2週間で作ったAIを7か月間出さなかった会社があります。Metaです。
Meta AI組織を率いるAlexander Wangが、今月11日に公開されたDavid Senraのポッドキャストで、個人AIエージェント「Muse（ミューズ）」を作り上げた過程を70分にわたって語りました。2月に方針を決め、1〜2週間でプロトタイプを作成し、取締役会でデモを実施しました。最終製品に組み込まれた機能の大半が、その最初のデモ時点で既に存在していたそうです。ところがリリースは9月でした。残りの7か月で何をしたのでしょうか？
1. 80点のチェックポイントは不合格でした
Wangの説明は次のとおりです。個人エージェントが備えるべき行動と能力を100項目以上スプレッドシートに記入しました。各行に「この下はリリース不可」というラインと「この上は望ましい」というラインを別々に描きました。モデルを学習させていくと、80行が緑、20行が赤になるチェックポイントが何度も現れましたが、これはリリース対象ではありませんでした。すべての行が緑に変わった最初のチェックポイントが出たとき、ようやくリリースしたのです。
私はこの箇所で長く立ち止まりました。国内企業のAI課題レポートを見ると、たいていは数字一つで終わります。「精度85％」と。平均は納得できても、残りの15％がどこでミスしたのかは表に示されません。顧客情報を誤った相手に送るミスと、誤字脱字のミスが同じ1点として計算されるのです。したがってPoCは通過したが、現場では使えないという声が出るわけです。
私はこれを「リリース阻止ライン」と呼びます。平均点ではなく行動単位で、 このラインを超えなければ、他のスコアがどれだけ高くても出荷しない基準です。Metaが7か月を費やしたのは機能を追加することではなく、赤いマスを消す作業でした。
2. スムージー化した製品はユーザーが先に気付く
二つ目に目立ったのはチーム規模です。モデルと製品を合わせても200人未満だったそうです。会社全体で最も重要視された製品でありながら、敢えて小規模に保ったということです。
Wangは大規模組織から生まれる製品を「スムージー」に例えました。プロダクトマネージャーがそれぞれ自分の欲しい機能をひとつずつ入れ込んでいくと、さまざまな人のビジョンが混ざり合った結果物が出来上がる、と。ユーザーはそれをまるで魔法のように感じると言います。MuseはNate Friedman一人の嗜好と感覚が製品全体を決定した、と彼ははっきり述べました。
現場でこの光景、見慣れませんか？ 企業全体のAIタスクフォースが立ち上がると、営業は営業の要件を、財務は財務の要件を、監査は監査の要件を出します。会議で除外されると不満が出るので、すべてを取り入れます。そうして作られたチャットボットは全部署の要求を反映していますが、どの部署も実際には使いません。私はAI課題で最初に決めるべきはモデルではなく「最終判断者が一人」だと考えます。
3. 信頼は機能ではなくリリース条件です
プロトタイプが出来上がる前に、Freemanが書いたメモのタイトルの一つが「trust is a must」でした。Wangはこの文がMuseの核心設計を決めたと語ります。実際、Museは決済やショッピングまで代行するエージェントであり、信頼が揺らげば製品自体が成立しません。
公平に言えば、Metaがこのテストに合格したかどうかはまだ分かりません。リリース後、米メディアはMuseがユーザーとの対話情報をどれだけ蓄積し、削除依頼が実際に消されているかを批判しました。導入翌日のリピート率はChatGPTの約2倍だったものの、10日ほど経つと逆転したという市場調査結果もあります。Metaは1日あたり35億人が利用するアプリという配信力を持つ企業であり、私たちの多くはそのような武器を持っていません。
したがって私たちにとっては、配信力も資本もMetaに劣る企業では、信頼を失ったときに再びチャンスを得るのは難しいのです。社内エージェントがどのデータを見て、何を記憶し、誰がその記録を削除できるかは、リリース後に付随させる機能ではなく、リリース阻止ラインの中に組み込むべき項目です。
4. デモは2週間、リリースは7か月
進行役は「AI業界の7か月は他業界の10年に相当する」と言い、Wangはその努力をZuckerbergの忍耐にたとえました。経営陣がこの数字を逆に読むと困ります。「2週間でデモが出たから1か月で済む」とではなく、「デモまでが2週間なら、実用的な製品になるまでにはその10倍以上の時間が必要」と読むべきです。
では、私たちの会社のAI課題をこの基準で見直すとどうなるでしょうか？
平均点の代わりに行動リストとリリース阻止ラインはありますか？
そのリストを最終判断する人物は一人に定められていますか？
データへのアクセスと記録削除は阻止ラインに含まれていますか？
上記の3点のうちどれか一つでも欠けているなら、今必要なのはより優れたモデルではなく、より厳格な基準です。
社内AI課題のリリース基準を一緒に策定したい場合は、お気軽にご連絡ください。 Knowverse AXコンサルティング