コンサル・銀行・弁護士の実務タスクでAIエージェントはどこまでできるか — APEX-Agents が示す「任せられる粒度」の現在地

サマリ

APEX-Agentsの結果を、1〜2時間タスクへの切り出し、エージェントによる試行、人間による検証の順で読む日本語インフォグラフィック

「AIエージェントはホワイトカラーの仕事を代替するのか」。この問いに、実務家が作った物差しで答えようとするベンチマークが2026年1月に公開されました。Mercor の APEX-Agents（AI Productivity Index for Agents、arXiv:2601.14242）です。投資銀行アナリスト・経営コンサルタント・企業弁護士の実務経験者が、自分たちの仕事に基づいて480のタスクを作り、最先端のAIエージェント8種を評価しました。

結果は明快です。一発での成功率（Pass@1）は論文で評価された8エージェントの最高でも24.0%（Gemini 3 Flash、APEX-Agents 論文）。専門家の見積もりで平均1〜2時間相当の実務タスクを、評価時点の首位エージェントは4回に1回しか一発で完遂できません。しかも全モデルが4割以上の試行で得点ゼロに終わっています。

ただし、この数字だけで「使える／使えない」を二分するのも早計だと私たちは考えています。同じ論文では、8回中1回でも成功する率が最大40.0%まで上がる一方、8回すべて成功する率は最大13.4%でした。さらに、ルーブリックの基準を何%満たしたかを全試行で平均するMean scoreは上位3モデルで34.8〜39.5%でした。つまり、完遂の有無、再試行で一度は到達できるか、各回の基準達成度を分けて読む必要があります。本レポートは、その差を「どの粒度で切り出し、どう検証するか」の設計材料として読み解きます。

職種ではなく、検証できるタスクへ切り分ける

APEX-Agentsの数値を、そのまま職業の代替率へ読み替えずに導入判断へ使う順序です。

1〜2時間へ切り出す成果物と完了条件を明示できる業務単位を選びます。
隔離環境で試す読み取り中心の権限で実行し、再現性と失敗の形を記録します。
人が短時間で検証する正否、根拠、変更差分を確認し、承認後だけ本番へ反映します。

性能値より先に、検証コストと権限境界を設計することが実務導入の出発点です。

論文の整理: 実務家が作った「仕事の再現環境」

APEX-Agents の最大の特徴は、タスクの作り手です。論文によれば、Mercor の人材マーケットプレイスから集めた256名の専門家（実務経験は平均12.9年・中央値11.0年）が構築に参加しました。BCG や McKinsey の元コンサルタント、Morgan Stanley や Citigroup 出身の投資銀行アナリスト、Fortune 500 企業の企業弁護士が含まれます（APEX-Agents 論文）。

構築は3段階です。まず専門家チームが「ワールド」と呼ばれる仕事環境を作ります。架空のプロジェクトシナリオ（例: コンサルティングファームが健康食品企業の5カ年成長戦略を策定する）に沿って、専門家がパートナー・アソシエイトなどの役割を演じ、5〜10日かけてメール・チャット・スプレッドシート・スライドなどの成果物を実際に作り込みます。次に、そのワールド内のファイルを使う現実的なタスクを作成し、最後にエージェントへ環境ごと渡して実行させます。

項目	内容
タスク数	480（投資銀行・経営コンサル・企業法務で各160）
ワールド数	33（投資銀行10・コンサル11・法務12）、平均166ファイル/ワールド
アプリケーション	基本9種（63ツール）。投資銀行の2ワールドには金融データ3アプリ（187ツール）を追加
タスク所要時間	経験豊富な専門家の見積もりで平均1〜2時間（全体平均1.82時間）
採点方法	タスクごとに専門家が作成したルーブリック（平均4.06基準）を判定モデルが二値採点
試行回数	各エージェントが各タスクを8回実行（計30,720トラジェクトリ、上限250ステップ）

再現性のため Web 検索は無効化され、タスク遂行に必要なファイルはすべてワールド内に用意されています。採点の要となる判定モデル（Gemini 3 Flash）は、60タスクの249基準について、各タスクから3モデルの最終出力を採った747件（249×3）の基準判定データで検証され、精度98.5%でした。専門家が独立に付けた合否の内訳は合格212件・不合格535件であり、747件すべてが「正解例」という意味ではありません（APEX-Agents 論文）。

もうひとつ重要なのが検証設計です。タスクの20%（96件）については、作成にも査読にも関わっていない別の専門家がゼロから独立に実行し、タスクが実際に完遂可能であることを確認しています。専門家の所要時間見積もりは1.70時間、実測は1.37時間でした。ただし論文は、この差を「0.45時間、33%の過大評価」と記しており、表示値から計算できる0.33時間、実測比約24%とは整合しません。本レポートでは33%を確定値として扱わず、人間の所要時間見積もりにも不確実性があることを示す結果として参照します。

論文の整理: 最高でも一発成功率24.0%という結果

リーダーボードの指標は Pass@1、つまり「タスクを1回実行して、ルーブリックの全基準を満たす確率」です。主要な結果を並べます（いずれも APEX-Agents 論文の Table 3。thinking 設定は利用可能なモデルで high）。

モデル	Pass@1	Pass@8	Pass^8	Mean score
Gemini 3 Flash	24.0%	36.7%	13.4%	39.5%
GPT-5.2	23.0%	40.0%	11.0%	38.7%
Claude Opus 4.5	18.4%	34.0%	8.8%	34.8%
Gemini 3 Pro	18.4%	37.3%	6.5%	34.1%
GPT-5	18.3%	31.0%	7.7%	32.9%
Grok 4	15.2%	32.9%	4.7%	30.3%
GPT-OSS-120B	4.7%	11.5%	1.2%	14.5%
Kimi K2 Thinking	4.0%	14.4%	0.3%	11.5%

完遂率は、再試行の定義で大きく変わる

上位2モデルについて、一発、8回中1回以上、8回すべて成功の3指標を共通の0〜100%で表示します。

Gemini 3 Flash

Pass@1
24%
Pass@8
36.7%
Pass^8
13.4%

GPT-5.2

Pass@1
23%
Pass@8
40.0%
Pass^8
11.0%

出典: APEX-Agents Table 3。Pass@8は8回中1回以上、Pass^8は8回すべての成功率で、同じ意味の指標ではありません。

4つの指標はそれぞれ別の問いに答えています。

Pass@1（一発成功率）: 最高24.0%。首位 Gemini 3 Flash と2位 GPT-5.2 の差は統計的に有意ではありません
Pass@8（8回中1回でも成功する率）: 最大40.0%（GPT-5.2）。Pass@1 より高く、再試行で一度は全基準へ到達するタスクがあることを示します
Pass^8（8回すべて成功する率）: 最大でも13.4%（Gemini 3 Flash）。商用モデルでは Pass@1 からおよそ10〜12ポイント下がります。同じタスクでも実行のたびに成否が揺れるということです
Mean score（全試行平均の基準達成率）: 上位3モデルで34.8〜39.5%。完遂した試行も失敗した試行も含むため、「失敗試行だけの部分点率」ではありません

オープンソースの2モデル（GPT-OSS-120B、Kimi K2 Thinking）は5%未満にとどまり、商用モデルとの差が際立ちます。

職種別に見ると、得意分野はモデルごとに割れる

Pass@1 を職種別に分解すると、職種そのものよりモデルとの相性の差が目立ちます（APEX-Agents 論文の Table 3）。

モデル	投資銀行アナリスト	経営コンサルタント	企業弁護士
Gemini 3 Flash	26.7%	19.3%	25.9%
GPT-5.2	27.3%	22.7%	18.9%
Claude Opus 4.5	21.6%	13.2%	20.2%
Gemini 3 Pro	18.8%	12.4%	23.9%
GPT-5	27.3%	12.3%	15.3%

職種別の最高Pass@1

各職種で最も高かったモデルの一発成功率を、共通の0〜100%で表示します。

投資銀行アナリストGPT-5 / GPT-5.2 同率
27.3%
経営コンサルタントGPT-5.2
22.7%
企業弁護士Gemini 3 Flash
25.9%

出典: APEX-Agents Table 3。職種ごとに最高モデルが異なり、職種間の統計的有意差は論文で示されていません。

各職種の最高スコアは、投資銀行27.3%（GPT-5 と GPT-5.2 が同率）、コンサルティング22.7%（GPT-5.2）、法務25.9%（Gemini 3 Flash）でした。職種間の統計的有意差は論文で示されていません
一方でモデル内の凸凹は大きく、GPT-5 は投資銀行27.3%に対しコンサルティング12.3%、Gemini 3 Pro は法務23.9%に対しコンサルティング12.4%。「どのモデルが優秀か」は、どの業務に使うかで答えが変わります
経営コンサルタントのタスクは、掲載された主要商用モデルでは低めでした。コンサルタスクは1タスクあたりの採点基準が平均4.68個と投資銀行（2.93個）より多い一方、基準数がスコア差を生んだという因果は論文からは分かりません

なお、タスクの中身は各職種の実際の業務分布を反映しています。ベンチマーク構築に先立ち、論文は227名の専門家への調査（APEX Survey）で業務時間の使い方を集計しており、タスク化された代表的ワークフローには、投資銀行では感応度分析（46タスク）や DCF（42タスク）、法務ではリーガルリサーチ（47タスク）や契約書レビュー（30タスク）、コンサルティングではシナリオ/感応度分析（35タスク）やサーベイ分析（31タスク）が含まれます（APEX-Agents 論文）。自社に専門職を抱える読者は、このワークフロー名の粒度が「切り出しの単位」の手本になります。

補足として、同じ APEX Survey は専門家の業務時間のうちコア業務は47.4% で、残りは学習・管理業務・コミュニケーション・会議などに使われていることも報告しています（APEX-Agents 論文）。ベンチマークのタスク設計はコア業務の調査を主に反映していますが、非コア時間の全活動を一律に測定対象外としたとは論文に明記されていません。したがって、職務時間全体を代表する代替率としては読めません。

論文の整理: どこで・どのように失敗するか

論文の失敗分析は、導入設計にとって最も実用的なパートです。全30,720試行の内訳を見ると、失敗の形は3つに分かれます（APEX-Agents 論文の Table 5）。

モデル	完遂	タイムアウト	得点ゼロ	部分点
Gemini 3 Flash	24.0%	3.2%	40.3%	32.6%
GPT-5.2	23.0%	2.7%	40.8%	33.5%
Claude Opus 4.5	18.4%	0.2%	46.4%	35.1%
Kimi K2 Thinking	4.0%	29.8%	47.1%	19.1%

上位3モデルでも、得点ゼロと部分点が大きい

各モデルの3,840試行を、完遂、得点ゼロ、部分点で比較します。タイムアウトは注記に分けています。

Gemini 3 Flash

完遂
24%
得点ゼロ
40.3%
部分点
32.6%

GPT-5.2

完遂
23%
得点ゼロ
40.8%
部分点
33.5%

Claude Opus 4.5

完遂
18.4%
得点ゼロ
46.4%
部分点
35.1%

出典: APEX-Agents Table 5。各モデルでは別にタイムアウトが0.2〜3.2%あり、4区分の合計が100%です。部分点は0%超100%未満の試行割合で、Mean scoreとは別指標です。

全モデルが4割以上の試行で得点ゼロ。ただし論文は、480タスク中92タスクが基準1つだけ・79タスクが2つだけという採点設計上、ゼロが出やすい面もあると注記しています
タイムアウト（250ステップ超過） はモデル差が大きく、Kimi K2 Thinking はしばしば同じ操作を繰り返す「doom loop」に陥り、29.8%の試行がタイムアウトしました。上位の商用モデルでも Gemini 3 Flash が3.2%、GPT-5.2 が2.7%
成功した試行は動きが少ない傾向。同じエージェント・同じタスクで成功と失敗の両方があった組み合わせでは、成功試行のステップ数が平均5.95少なく、ツール呼び出しも5.66少ないと報告されました（APEX-Agents 論文）。これは観察された関連であり、手数を減らせば成功するという因果までは示していません

コスト面の分析も実用的です。スコア首位の Gemini 3 Flash は、2位の GPT-5.2 の約5倍、Gemini 3 Pro の約8倍のトークンを消費しており、論文は「有効だが非効率」と評しています。逆に Kimi K2 Thinking は1タスク平均92ステップ・91回のツール呼び出し・160万トークンを費やしてなお Pass@1 は4.0%で、リソースを多く使うことは出力の質を保証しないことが示されています（APEX-Agents 論文）。ただし論文が比較したのは主にトークン使用量であり、モデルごとのAPI価格を含む実費ではありません。費用対効果の検証では、成功率と使用量を自社が利用する価格体系に当てはめる必要があります。

実運用の観点で見逃せないのが2点あります。第一に、ファイルの作成・編集を要するタスク（58/480）は成績がさらに下がること。メッセージ回答のみのタスクと比べ、論文はGemini 3 Flashで4.9%、GPT-5.2で7.2%、Claude Opus 4.5で5.0%の低下を報告しています。第二に、指示されていないファイル削除が36試行（全体の0.12%）で発生したことです。最多は GPT-5.2 の21件で、Claude Opus 4.5・GPT-5・Kimi K2 Thinking はゼロでした（APEX-Agents 論文）。頻度は低くとも、実データを扱う環境では無視できない挙動です。

論文の整理: この結果を読むうえでの限界

APEX-Agents 論文自身が明示している設計上の制約を押さえておきます。

タスクの粒度は平均1〜2時間相当。全体平均は1.82時間で、すべてのタスクがこの範囲に収まるわけではありません。数週間かかるプロジェクト全体の遂行力を測るものでもありません。著者らは、今後のベンチマークでタスクの時間軸とワールドの複雑さを拡張する計画だと述べています
Web 検索は無効。再現性のための措置ですが、リサーチを検索に頼る実務とは条件が異なります
エージェントは質問できない。システムプロンプトで「助けや追加の明確化を求めることはできない」と指定された設定であり、人が途中確認しながら進める対話的な実務とは条件が異なります
判定モデル（Gemini 3 Flash）は被評価者でもある。自己優遇のリスクに対し、論文は判定時にトラジェクトリを見せない設計と正解データでの検証（Gemini 3 Flash 自身の基準84件に対し誤判定1件）で緩和したとしていますが、構造上の留意点ではあります
1ポイント未満のスコア差は慎重に読む。論文自身が、判定モデルの偽陽性率・偽陰性率を踏まえ、小さな差からモデル間の優劣を断定しないよう注意を促しています

岡崎の分析

この論文が出てから、経営者との会話で「エージェントは実務の2割しかできないらしいですね」という話と「8回やれば4割できるらしいですね」という話の両方を聞きました。同じ論文の同じ表から、悲観と楽観が同時に生まれています。私たちはどちらの読み方も採りません。この結果は「何%できるか」ではなく「どの条件なら任せられるか」の地図として読むべきです。

まず条件を正確に見ます。APEX-Agents のエージェントは、初見の環境で、質問も検索も許されず、全基準を満たすことを求められています。途中確認を挟む対話的な実務より制約の多い設定ですが、同じ条件での人間との成績比較は論文にありません。したがって、24.0%を人間との差としては読めません。一方、実運用で途中確認やレビューを挟むことは、ベンチマークとは別の運用設計です。Pass@8 は、再試行によって少なくとも1回は全基準へ到達したタスクの割合を示し、Mean score は完遂・失敗を含む全試行の平均基準達成率を示します。どちらも、レビューを入れれば同じ水準で成功することを直接証明する指標ではありません。

次にボトルネックの所在です。8回中1回以上の到達率 Pass@8 が最大40.0%であるのに対し、8回すべて成功する率 Pass^8 は最大13.4%でした。この開きは、同じタスクでも試行ごとに成否が揺れることを意味します。一貫性が低い処理をそのまま業務に組み込めば、品質は運任せになります。しかし検証が容易なタスク——数値ひとつを返す、根拠条文を挙げる、既存資料の特定箇所を更新する——であれば、出力の当たり外れを人間が短時間で判定できる可能性があります。検証コストの低いタスクから試すことで、信頼性不足の影響をどこまで抑えられるかを測る。これが私たちの中心的な読みです。

もうひとつ、ファイル操作を伴うタスクでの成績低下と0.12%の「指示されていないファイル削除」は、権限設計の議論に直結します。この結果を踏まえ、私たちは本番データへの書き込み権限を初期検証から無条件で渡さず、読み取り中心・出力は隔離領域・破壊的操作は人間の承認を挟む構成が安全だと判断します。

提言 — どう付き合っていくか

APEX-Agents の結果を、経営者・導入担当者が明日から使える判断軸に落とすと次の4点です。

業務の棚卸しは「職種」ではなく「1〜2時間タスク」の単位で行う。 論文が測ったのは職業そのものではなく、専門家の見積もりで平均1〜2時間相当のタスクです。「コンサル業務を任せられるか」ではなく「この分析の下書き作成という2時間のタスクを任せられるか」と問いを立て直すことが、導入検討の出発点になります
切り出しの第一基準は「検証コストの低さ」に置く。 一発成功率24.0%・8回中1回以上の到達率40.0%は、再試行と人間による選別を含む小規模な検証候補を考える材料になります。ただし再試行の費用と、成功例だけを選ぶ選別コストも発生します。出力の正否を短時間で判定できるタスク（単一の数値、特定条文の確認、定型文書の更新）から始め、元作業と同程度の検証時間がかかるタスクは後回しにしてください
「一発無人実行」ではなく「ドラフト生成+人間レビュー」で設計する。 Table 5では、上位3商用モデルの全試行のうち32.6〜35.1%が、全基準には届かない「部分点」でした。これは部分出力がそのまま実務で有用だと保証する数字ではありません。途中成果を安全に評価・破棄できる業務に限り、完成品ではなくレビュー対象のドラフトとして検証してください。無人で完遂できる前提のワークフローは、Pass^8（最大13.4%）を踏まえると慎重な判断が必要です
書き込み権限は絞り、破壊的操作に承認ゲートを置く。 指示にないファイル削除が観測された以上、エージェントには読み取り中心の権限から与え、成果物は隔離された領域に出力させ、削除・上書き・送信は人間の承認を必須にしてください。この権限設計は、モデルの性能が上がっても当面維持すべき基本形だと私たちは見ています

論文の評価時点では、平均1〜2時間相当の実務タスクを安定して無人完遂する水準には達していません。ただしモデル性能が今後どう変わるかにかかわらず、タスクを検証しやすい形で切り出し、レビューと権限境界を先に設計する準備は再利用できます。ベンチマークの数字だけで待つのではなく、自社の業務をこの粒度で棚卸しし、小さな検証で実測値を持つことをお勧めします。

本レポートは公開されている論文・データに基づく分析です。各数値の定義・測定条件の詳細は、末尾の出典から一次情報をご確認ください。