AIで作ってはいけないシステム。その理由と、AI開発に向いている領域

昨今、Claude CodeやCodex、いわゆる「バイブコーディング」と呼ばれるような手法を使って、AIでシステムを組む動きが非常に増えています。

少し前までは、システムを作るとなると、基本的にはエンジニアにお願いするものでした。

ところが今は、

「こういうシステムを作ってほしい」

とAIに伝えるだけで、ある程度それらしいものが、かなり短い時間で出来上がります。

実際に触ってみると、本当に驚くくらい簡単です。

エンジニアでなくても、業務を理解していて「こういうものが欲しい」というイメージさえあれば、システムを作れる時代が現実になってきています。

そして、この変化は、特に中小企業の経営において非常に大きな意味を持つと思っています。
人手不足は多くの中小企業の死活問題です。
もちろん採用によって人を増やすことも必要ですが、人手不足への対応は、それだけではありません。
そもそもの業務を効率化して、人がやらなくてもいい仕事を減らしていく。
このアプローチも、これからますます重要になります。

そう考えると、AIを使ってシステムを作り、これまで人がやっていた作業を効率化していくことは、中小企業にとってかなり大きな価値を持つ可能性があります。

ただし、ここで一つ重要なことがあります。

AIでシステムが作れるからといって、何でもAIで作ればいいわけではない。

むしろ、

「どんなシステムならAIで作っていいのか」
「どんなシステムはAIで作ってはいけないのか」

という線引きをすることが、非常に重要だと考えています。

今回は、その判断軸について考えてみたいと思います。

AIによるシステム構築の特徴

まず、この話を考えるためには、AIを使ったシステム構築がどんな特徴を持っているのかを押さえておく必要があります。

大きく3つあります。

1. とにかく簡単に、速く作れる

まず一つ目は、非常に簡単にシステムを構築できるということです。

これは本当に、やってみると驚きます。

「こういう画面があって」
「このデータを入れると」
「こういう形で結果が出てほしい」

という要求を伝えると、まずはざっくりと、それっぽいものが出来上がります。

従来であれば、

要件を整理して、
仕様を決めて、
設計をして、
実装をして、
テストをして、

という工程を踏んでいたものが、かなり短縮されています。

これまでシステム開発に縁がなかった人でも、「欲しいものを言語化する力」があれば、ある程度のところまでは作れてしまいます。

2. 中身はブラックボックスになりやすい

二つ目は、簡単に作れる反面、内部で何が起きているのか分からなくなりやすいということです。

特に、エンジニアではない人がAIを使ってシステムを作ると、

「見た目としては動いている」
「欲しかった機能はある」
「でも、なぜこれで動いているのかは分からない」

という状態になりがちです。

例えば、ボタンを押すと結果が出る。

画面上ではデータがつながっているように見える。

でも、その裏側でどういう処理が走っているのか、どこにデータが保存されているのか、何か問題が起きたときにどこを直せばいいのかは分からない。

こうしたブラックボックス化が起こりやすいという特徴があります。

3. それっぽいものはできるが、100％正しいとは限らない

三つ目は、なんだかんだ言って精度は100％ではないということです。

AIは、それっぽいものを非常に速く作ってくれます。

ただ、実際に使ってみると、

「ここ、ちょっと変だな」
「画面上ではつながっているように見えるけれど、実際は処理されていない」
「この条件のときだけ、おかしな挙動をする」
「こちらが想定していなかった解釈をしている」

ということは、普通に起こります。

もちろん、こちらが要件をきちんと書いて渡すことで精度は上がります。

それでも、「要件を書けば100％その通りのものが出来上がる」というわけではありません。

つまり、AIによるシステム構築というのは、

非常に速く作れる。
一方で中身は見えにくい。
そして、間違えることもある。

という特徴を持っているわけです。

この前提を置いたうえで、「どこに使うべきなのか」を考える必要があります。

AIで作ってはいけないのは「基幹システム」

まず、AIで安易に作ってはいけないものから考えてみます。

企業活動の根幹になるシステムです。

いわゆる基幹システムに近いものですね。

例えば、

• 会計
• 販売管理
• 在庫管理
• 受発注
• 企業活動の根幹となるデータの入力・生成・保存

といった領域です。

こうした機能を主とするシステムを、

「AIに指示して作ってみました」

という状態で運用することは、私は基本的にはおすすめしません。

間違えたときの影響が大きすぎるからです。

例えば、ダッシュボードのグラフ表示が少しおかしいのであれば、まだ直せば済みます。

一方で、売上の元データそのものが間違って保存されていたり、在庫数がずれていたり、顧客情報が正しく記録されていなかったりすると、その影響は業務全体に広がります。

しかも、基幹システムで重要なのは「今動くかどうか」だけではありません。

そのデータを今後どう使うのか。

別のシステムにつなげられるのか。

数年後にデータを取り出せるのか。

業務が変わったときに拡張できるのか。

そういったデータの可用性や保守性も重要になります。

そのため、

「今は一応動いている」
「見た目上は問題ない」

だけでは不十分です。

企業の根幹に関わる部分に、内部構造がよく分からず、一定の確率で間違える可能性があるものを置いてしまうのは、やはりリスクが高い。

先ほどのAIシステムの特徴をそのまま当てはめると分かりやすいと思います。

速くできるけれど、中身がよく分からなくて、間違えることもある。

この特徴を持つものを、会社の根幹に置くのは怖いわけです。

こうした基幹領域については、すでにその業務に特化して作られている専門のパッケージシステムを使う。

あるいは、どうしても自社独自の仕組みが必要なのであれば、専門のシステム会社に依頼し、しっかり設計して作る。

そうした方法を取るべきだと思っています。

一言でいうと、

「ずれたらまずいもの」は、安易にAIで作らない。

これが基本です。

AIで積極的に作るべきなのは「上物」

反対に、

「こういうものならAIでどんどん作っていい」

と思う領域もあります。

私はこれを「上物」と呼んでいます。

少し分かりにくい言葉かもしれませんが、要するに、

根幹となるデータそのものを作るシステムではなく、既存のデータを使って何かをアウトプットするシステム

です。

データを入力して保存するところではなく、

すでに持っているデータを集計したり、
加工したり、
見やすくしたり、
文章にしたり、
資料にしたり、

という部分です。

例えば、

• 経営ダッシュボード
• 営業ダッシュボード
• 提案書作成システム
• レポート作成システム
• セールストーク生成システム
• 顧客情報を要約するシステム
• 会議用の資料を自動生成するシステム
• 営業データからコメントを生成するシステム

などです。

こうしたものは、AIと非常に相性が良いと思っています。

理由の一つは、何か間違ったときの影響範囲が狭いからです。

例えば、提案書生成システムがおかしな文章を一つ出したとしても、人が最終確認して直せば済みます。

経営ダッシュボードのグラフが少しおかしくても、元のデータが正しく残っていれば、その上の表示部分を直せば済みます。

つまり、業務の末端に近い部分であれば、何か問題が起きても影響範囲を限定しやすいわけです。

もう一つは、

根幹となるデータが正しければ、その上のシステムは比較的柔軟に作り替えられる

ということです。

売上データそのものは正しく管理されている。
顧客データそのものも正しく保存されている。

そのうえで、

「この数字をこう見せたい」
「このデータからこういう資料を出したい」
「この情報を営業担当者向けに要約したい」

というところは、後からいくらでも修正できます。

こうした部分こそ、AIを使ったシステム構築が非常に向いている領域です。

中小企業には「システム化するほどではない業務」が大量にある

そして、もう一つ大きいのが、中小企業にはこうした「上物」のシステム化ニーズが非常に多いということです。

現場には、

「これを毎回Excelで集計している」
「営業担当者が毎回同じような提案書を作っている」
「会議のたびに数字をコピーして資料を作っている」
「顧客情報を見て、毎回人がコメントを書いている」

といった業務が大量にあります。

でも、こうした仕事一つ一つのために、

「じゃあ専用のパッケージシステムを導入しましょう」

とはなかなかなりません。

専用のパッケージがそもそも存在しないこともありますし、システム会社に数百万円、数千万円をかけて開発するほどのものでもありません。

一方で、人が毎回手でやるには面倒です。

今までは、こうした

「システムを作るほどではないけれど、人がやり続けるには面倒」

という領域が、そのまま放置されていました。

AIによるシステム構築は、この部分に非常に強い。

個別の会社、個別の業務に合わせた小さなシステムを、比較的低コストかつ短期間で作れるからです。

私は、中小企業におけるAIシステム活用の大きな可能性は、まさにこの領域にあると思っています。

大事なのは「作ること」より、その後の体制

ただし、ここからが非常に重要です。

AIでシステムを作る場合、実は「構築すること」そのものよりも、その後の体制の方が大事になると考えています。

まず大前提として、

不具合がある前提でスタートする

ということです。

最初から100％完成したものを作ろうとしない。

まずはテスト的に使ってみる。
小さくパイロット運用する。
そして、何か不具合が起きたら、すぐに直す。

この考え方が非常に重要です。

そもそも、利用者のニーズに100％合ったシステムを、一発で作ること自体が非常に難しいわけです。

これはAIに限った話ではありません。

これまで数多くのシステム開発プロジェクトがうまくいかなかった理由の一つも、

「最初にニーズを全部聞き切って、それを完璧な要件にして、一発で完成品を作ろう」

としたことにあります。

でも実際には、使ってみないと分からないことがたくさんあります。

利用者自身も、最初から自分が何を必要としているかを完全には理解していません。

実際に使って初めて、

「ここは要らなかった」
「この機能が欲しい」
「この画面は使いづらい」
「こういう例外処理が必要だった」

ということが見えてきます。

AI開発の本当の強みは「改善速度」

ここでAIが強いわけです。

AIを使ったシステム開発は、修正も速い。

利用者から、

「ここをこうしてほしい」
「この表示を変えてほしい」
「この機能を追加したい」

という要求が出たときに、それをもとにかなり短いサイクルで改修できます。

つまり、AIシステム開発の強みは、最初から完璧なシステムを作れることではありません。
改善や修正のサイクルを非常に速く回せることにあります。

だからこそ、システムを作る際には、

• 利用者のニーズをどう集めるか
• 不具合をどう集めるか
• 誰がそれを見るのか
• いつ改善するのか
• どういう頻度で修正するのか

という運用体制まで含めて設計しておく必要があります。

例えば、

毎週利用者からフィードバックを集める。

月に一度、改善内容を整理する。

重要な不具合はその場で直す。

といった形です。

AIを使ったシステム開発では、この「改善の仕組み」を持っているかどうかが、かなり重要になると思っています。

簡単に作ったものほど、簡単に使われなくなる

そして、もう一つ重要なのが、利用定着です。

これは少しサンクコスト的な話でもあります。

例えば、企業が3億円かけてシステムを導入したとします。

そうなると経営者も必死です。

3億円かけたのだから、死に物狂いで使ってもらうことになります。

一方で、AIを使って、短期間でポロッと作れたシステムはどうでしょうか。

導入に大きなお金もかかっていない。
作るのも簡単だった。

そうすると、

「別に使わなくてもいいか」

となりやすい。

これはある意味、人間として自然なことです。

簡単に手に入ったものは、簡単に捨てられてしまいます。

だからこそ、AIシステムは「作って置いておく」だけではダメです。

しっかり業務の中に組み込む必要があります。

例えば、

「この業務をやるときは必ずこのシステムを使う」
「このデータはここから出す」
「この提案書はこの仕組みを通して作る」

というところまで、業務ルールとして決める。

必要であれば、組織として

「このシステムを使わないと業務を進めない」

くらいのガバナンスを効かせることも必要です。

システムは、作っただけでは何の価値もありません。

使われて初めて価値が出ます。

そのため、

使ってもらう。
フィードバックを集める。
改善する。
また使ってもらう。

という流れを定常化することが重要です。

AI時代のシステム開発は「作って納品して終わり」ではない

そう考えると、今後のシステム開発のあり方も変わってくると思います。

これまでのシステム開発では、

要件を定義して、
システムを作って、
納品して、
「お疲れさまでした」

というモデルが多くありました。

しかし、AIを使ったシステム開発では、むしろ作ってからが本番です。

まず、現時点での要求を整理して作ってみる。

「これができるようになりました」

という状態まで持っていく。

そして実際に現場で使ってもらう。

すると、新しい要求が出てくる。

不具合も見つかる。

「こうした方がいい」という意見も出る。

それをどんどん修正していく。

このサイクルを継続的に回していくことが重要になります。

最近ではフォワードデプロイエンジニアリングのような考え方も注目されていますが、まさに、

現場に入り込みながら、システムを使い続け、改善し続ける

という発想が、これからより重要になると思っています。

Taste and Logicが得意としていること

この点は、株式会社Taste and Logicの強みとも非常に相性が良いと考えています。

私たちは、大量のITエンジニアを抱えているシステム開発会社ではありません。

もちろん、ITについての知見はありますし、技術的に必要な部分については連携できるパートナーもいます。

ただ、私たちが最も得意としているのは、そこではありません。

どちらかというと、

経営のニーズを理解すること。
業務のニーズを理解すること。
現場に入り込んで伴走すること。
実際に使って、何かあればどんどん直していくこと。

ここを得意としています。

実際に、こうした形でシステムや業務改善の支援を行っている企業も複数あります。

AIの進化によって、システムを作ること自体の難易度は、これからどんどん下がっていくと思います。

そのときに重要になるのは、

「コードを書けるか」

ではなく、

「どの業務をシステム化するべきか」
「どこまでシステム化するべきか」
「どう現場に定着させるか」
「どう改善を続けるか」

ということです。

これからの中小企業では、

大規模なシステムを一度作って終わりではなく、

業務に密着した小さなAIシステムを素早く作り、実際に使い、改善し続ける。

そんな伴走型のシステム活用が、より重要になっていくのではないでしょうか。

基幹部分は堅牢に。

その上に乗る業務支援システムは柔軟に。

そして、作って終わりではなく、使いながら育てていく。

AI時代のシステム開発では、この考え方が一つの重要な軸になると考えています。

AIを活用した業務改善やシステム構築にご興味がありましたら、お問い合わせフォームからお気軽にご相談ください。