AIの生産性効果は「測り方」次第：8つの一次資料と、いま動いている測定論争

AIの生産性効果は、測るたびに数字が変わるだけでなく、正しい測り方をめぐる論争そのものが今動いている

「生成AIを使うと生産性が3倍になった」という報告と、「効果は統計的にまだ検出できない」という報告が、同じ2026年に、同じ生成AIをめぐって同時に存在している。これは調査ごとの多少のばらつきではない。体重計を家庭用と医療用とジム備え付けの体組成計で使い分ければ、多少の差が出るのは自然だ。しかし今回起きているのは、そうした誤差の範囲に収まる話ではない。

本記事の主張は次の点にある。AIの生産性効果は、自己申告・RCT(ランダム化比較試験)・行動ログ・政府統計という測定方法によって大きさも方向も一致しないだけでなく、どの測り方が妥当かという方法論そのものをめぐる論争が2026年8月に表面化している。中でも、AIとのチャットログを分類してタスクへの浸透度を測るAnthropicの手法は、全国代表調査を使う経済学者の論文から名指しで「概念が異なる」と批判され、ほぼ同じ時期にAnthropic自身が外部研究者へチャットログへのアクセスを開放するという、符合としか言いようのない出来事が起きた。単一の倍率を実務の説明にそのまま使うより、測定方法の限界を添えて使うほうが妥当だと、8つの一次資料を並べると見えてくる。

読み終えたとき、読者は「AIで生産性が何倍」という数字を見かけたときに、それがどの測り方から出てきた数字で、どんな限界を抱えているかを判断できる状態になっているはずだ。社内でAI導入の効果を説明する立場にあるなら、その判断はそのまま報告の質を左右する。まずは、最も統制されているはずの調査から見ていく。

最も厳密なはずの自己申告調査とRCTが、すでに内側で一致しない

自己申告とRCTは、AIモデルの性能評価を専門とする研究機関METRが実施した調査であり、条件としては最も統制されている。ところが、その内側で早くも数字は割れる。

同じ349人が「速さ」と「価値」を聞かれると、中央値3倍と1.4〜2倍に割れる(METR自己申告調査)

METRの自己申告調査は2026年2〜4月、技術職349人にアンケートを実施した。内訳として挙げられているのはソフトウェアエンジニア87人、研究者71人、大学関係者・博士課程学生129人、創業者や管理職48人で、これらは網羅的な区分ではない。同じ回答者に「AIを使うと仕事がどれだけ速くなったか」と尋ねると、中央値で3倍という回答が返る。ところが「AIを使うことでどれだけ価値が増えたか」と尋ねると、中央値は1.4〜2倍まで下がる。同じ人が、同じ体験を振り返っているにもかかわらず、質問文が変わるだけで答えの大きさが半分近くまで縮む。

この調査は回答率が約2%にとどまる便宜的なサンプルであり、実測値ではなく自己申告である点にも注意がいる。同じ人物・同じ体験ですら、聞き方が変われば答えが変わる。ではランダム化比較試験(RCT)ならどうか。

「AIなしでは働きたくない」という選好の広がりが、RCTそのものを壊した(METR続報)

METRは以前の研究で、AIを使った開発者の生産性が平均+19%(信頼区間、つまり推定値が収まる範囲は+2%〜+39%)向上したと報告していた。ところが続報として同じ手法をより大きな規模で追跡すると、新しい推定値は-18%(信頼区間-38%〜+9%)や-4%(信頼区間-15%〜+9%)というマイナスの数字に転じた。いずれも信頼区間がゼロをまたいでおり、効果があったともなかったとも言い切れない。

57人の開発者・143のリポジトリ・800件超のタスクを追跡する中で、参加者の30〜50%が「AIなしではやりたくない」と感じるタスクを実験から取り下げていたこともわかった。AIが使えない状況を避けたい人ほど、実験から抜けていく。加えて、新しい研究では開発者への時給を150ドルから50ドルへ引き下げており、報酬水準の変化そのものが結果に影響した可能性も残る。RCTという最も統制された手法のはずが、参加者の選好と報酬条件という二つの要因によって揺らいでいる。

自己申告とRCTという、AI生産性研究の中でも方法論的に最も厳密とされる二つの手法が、同一機関の中で符号すら一致しない。これは、測定方法によって答えが変わるという主張の、最も反証しにくい根拠になる。ここまでで、最も統制された条件下ですら数字が割れることを見た。ここからは、自己申告を経由しない手法に目を向ける。

自己申告を経由しないはずの行動ログと政府統計も、互いに一致しない

自己申告特有の偏りを避けるには、行動そのものを記録するログデータや、大規模な統計調査を使えばよいと思うかもしれない。しかし、これらの手法どうしでも答えは一致しない。

ベンダーの行動ログは、全業務カテゴリで滞在時間の増加を報告する(ActivTrak、成果ではなく時間)

従業員の活動をログとして記録するベンダーActivTrakは、1,111社・163,638人分、延べ4億4,300万時間にのぼる3年分の業務ログを保有する。このうちAI導入前後180日を比較できた10,584人のサブセットでは、メールで+104%、チャットで+145%、業務管理ツールで+94%というように、計測した全業務カテゴリで滞在時間が増加し、減少したカテゴリはゼロだったと報告している。

ただし、この数値が測っているのは各ツールに費やした時間であり、成果や生産性そのものではない。時間が増えたことは、業務が速く終わるようになったこととは限らない。AIが生んだ出力の検証にどれだけ時間を取られているかという論点は、生成AIの隠れコストを扱った記事で別途整理している。対象地域の記載もなく、日本企業のデータとして扱うことはできない。データの出どころもAI関連ツールを提供する企業自身の顧客基盤であり、中立の統計として読むことはできない。

政府統計が労働者本人に聞くと、節約時間は週1〜2時間が最多になる(Census HTOPS)

一方、米国勢調査局が実施するHousehold Trends and Outlook Pulse Survey(HTOPS、家計動向調査)で労働者本人に尋ねた結果は、もっと控えめだ。就業者の55%が、文書作成やコード生成など11の業務のいずれかで生成AIを使ったことがあると回答した一方、実際に節約できた時間を尋ねると、週1時間未満と答えた人が25%、週1〜2時間が31%で最も多く、週3〜4時間は15%、週4時間超はさらに15%にとどまる。残りの回答者は、節約時間がゼロだったという回答や、逆に確認や修正の手間でむしろ時間が増えたという回答に分かれている。

大学の経済分析チームは、マクロ統計で「まだ明確に検出できない」と言い続けている(Yale Budget Lab)

個人へのアンケートではなく、労働市場全体の統計を追いかけているのがイェール大学バジェットラボである。2026年9月15日更新のトラッカーは、職業構成の変化・AIの利用指標・雇用への影響を測る合成差分分析という三つの観点のいずれについても、「現時点のデータでは明確な影響を検出できていない」という立場を崩していない。

行動ログは時間の増加を報告し、政府統計は控えめな節約時間を報告し、大学の分析はマクロでは何も検出できていないと報告する。自己申告という共通の弱点を取り除いても、測定方法が違えば答えは一致しない。ここまでの四つの手法は、いずれも既存の統計的な枠組みの中にある。ところが、五つ目の測り方をめぐっては、統計の中身そのものが問われる論争が起きている。

5つ目の測り方であるチャットログ分類がNBERに名指しで批判され、AI企業自身は外部にログを開放した

AIとのチャットログを直接分類し、どんな業務にどれだけ使われているかを測る手法がある。AI企業自身が持つデータを使う点で、他の四つの手法とは性格が異なる。この手法をめぐって、2026年8月に大きな出来事が二つ、ほぼ同時に起きた。

全国代表調査を使うNBERは、チャットログ由来の指標を「概念が異なり、汎用活動へ過剰分類する」と名指しで批判した

全米経済研究所(NBER)は2026年8月、経済学者Bickらによる論文(w35677)を公表した。この論文は、2020年から続くReal-Time Population Survey(商用調査会社Qualtricsのオンラインパネルで実施し、人口統計に基づく加重で全国代表性を確保する調査)に2024年8月から生成AIモジュールを追加し、2025年8月以降は業務タスク単位での測定に切り替えたうえで、13,920人の就業者(18〜64歳)を4回にわたって調査した、初のタスク単位の生成AI採用指標だと位置づけている。この調査にもとづき、NBERはチャットログを分類する手法について「概念が異なり、汎用的な活動を特定のタスクへ過剰に分類する」と名指しで指摘した。これはAnthropicの分析が誤っているという主張ではなく、測っている対象そのものが違うという指摘である。

なお、NBERが名指しで比較したチャットログ分類の手法は、2025年3月に公表されたAnthropicの初期の分析(Handa他)であり、本記事が主な材料として扱う2026年6月版のAnthropic Economic Indexそのものではない。ただし、チャットログを分類して業務浸透度を測るという手法上の枠組みは共通しており、批判は分類手法自体への指摘として読める。

具体例として、OpenAIのチャットログの15%超が「文書の編集」というタスクに分類される一方、O*NET(職業情報データベース)でこのタスクを実際に担当する労働者は全体の2.4%に過ぎない。上位10業務だけでチャットデータの46〜61%を占めるのに対し、NBER自身の調査では上位10業務が占めるシェアは22%にとどまる。

NBERは「採用者は半数未満」という結論の内実も、職業・業務の単位で分解している。職業別に見ると、40%の職業で採用率は20〜50%の範囲にとどまり過半数には届かず、採用率が70%を超える職業は15%に過ぎない。より細かい業務単位で見ると、採用率が50%を超える業務はわずか2.8%で、70%を超える業務はゼロだった。大半の職業・業務の内側では、AIの採用者はまだ半数に届いていないというのがこの論文の実像であり、AIがまったく使われていないという主張ではない。この論文自体、2026年8月時点でまだ査読を経ていない点も付け加えておく。

Anthropic Economic Indexは自社ログの分析であり、強い偏りを自ら明記している

一方のAnthropicは、2026年6月に公表したAnthropic Economic Index(経済指標レポート)で、自社のClaudeとのチャットログ約9,700人分を分析している。この報告書自体が、回答者の30%がコンピューター・数学系の職種に偏っており、米国の雇用全体に占めるこの職種の比率(4%)を大きく上回ること、女性の比率も12%にとどまることを、代表性の限界として明記している。

報告書はまた、業務の自動化度合いが高い回答者ほど、6つの質問項目すべてで楽観的な回答をする傾向を示す。象徴的なのは失職リスクの見積もりだ。自分自身の失職確率を尋ねると中央値は10%にとどまるのに対し、同僚や後輩の失職確率を尋ねると60%を超えると答えた人が3分の1を超える。これは実際の失職率の予測というより、リスクを自分ではなく他人に投影する心理的な傾向として読むほうが妥当だろう。

批判とほぼ同時期に、Anthropicは外部研究者にログを開放した。応答関係の証拠はないが、符合そのものが論争の切迫感を示す

NBERの論文がほぼ最終稿に至ったのと同じ2026年8月26日、Anthropicは独立した外部研究者にチャットログへのアクセスを提供する取り組みを発表した。Anthropicはこれを、外部の研究者が独立に会話レベルのデータへアクセスできる初めての事例だと位置づけている。対象は2026年4〜5月の約25万件の会話で、参加した研究チームのうちSALT Labは、半数を超える会話で結果への影響が大きいタスクが委任されており、4分の3近くでは人間が方向性を設定していたという結果を報告した。METRチームも、新しいモデルほど有意に速いという暫定的な結果を報告している。Anthropic自身も、この分類がClaude自身の判断に依拠していることや、設問の言い回しに結果が左右されうることを、手法上の限界として明記している。

NBERの論文とAnthropicのこの発表は、日付がほぼ一致している。だからといって、一方がもう一方の批判を知り、それに応えて発表したことを示す証拠はない。ただし、チャットログという同じ種類のデータの妥当性が学術側から問われた時期と、AI企業自身がそのデータへの外部アクセスを開放した時期が重なっていることは、測定方法の正当性そのものが問われる局面に入っていることを示す符合と言える。

ここまで見てきた8つの一次資料を、発表主体の性質と自己申告への依存度という二つの軸で並べ替えると、個々の出典だけでは見えない対応関係が浮かぶ。編集部が各資料の本文記述をもとに、発表主体の分類・手法・代表性・中核数値と信頼区間の有無をラベル付けし直し、一つの表に統合した。

出典	発表主体の性質	手法	代表性	報告された数値・限界
METR自己申告調査	AI評価専門機関(自己申告)	自己申告アンケート(349人)	非代表・回答率約2%	価値1.4〜2倍/速度3倍(信頼区間なし)
METR RCT続報	同機関(実験研究)	ランダム化比較試験(57人)	非代表	-18%〜-4%、信頼区間はいずれもゼロをまたぐ
ActivTrak	ベンダー自社発表	行動ログ(180日比較は10,584人のサブセット)	非代表・地域不明	全業務カテゴリで滞在時間増加。成果は未計測
Census HTOPS	政府統計	家計調査	全国代表	55%が業務利用。節約時間は週1〜2時間が最多
Yale Budget Lab	大学の経済分析	マクロ統計の合成差分分析	全国集計統計	労働市場への影響は「まだ検出できない」
NBER(w35677)	査読前学術論文	オンラインパネル調査のタスク単位測定	加重により全国代表(13,920人)	大半の職業・業務で採用者は半数未満
Anthropic Economic Index	AI企業自身の発表	自社チャットログの分類	非代表(理系職種30%)	楽観度は業務の自動化度合いと相関。NBERが手法を批判
Anthropicの外部研究者提供	AI企業自身の発表(外部提供)	外部研究者による独立監査	非代表(Claudeユーザー・約25万会話)	暫定。半数超が重要タスクを委任(会話数ベース)

この並べ替えから浮かぶのは、政府統計・RCT・大学のマクロ分析(Census、METR RCT、Yale)ほど効果が小さいか検出不能だと報告し、ベンダー発表や自己申告に近い測定(ActivTrak、METR自己申告、Anthropic Economic Index)ほど大きく肯定的な数字を報告するという対応関係だ。この対応関係は、どの出典を単独で読んでも見えてこない。8つの資料を横並びにして初めて像を結ぶ。

NBERの批判とAnthropicの外部データ開放は、AIの生産性効果というテーマそのものの信頼性を揺るがす出来事ではない。むしろ、測定方法の正当性を検証する仕組みが、学術・AI企業の双方で同時に動き始めたことを示している。単一の倍率を鵜呑みにするより測定方法の対立ごと持ち帰るべきだという本記事の主張は、この局面が示す最も直接的な根拠になる。とはいえ、8つの資料を並べただけでは、実務でどう扱えばよいかがまだ見えてこない。次に、発表主体の性質という切り口から、数字の読み方を整理する。

発表主体の性質を混同すると、どの数字も都合よく見える

発表した主体を見ずに、数字だけを見ていないだろうか。政府統計(Census)や大学の分析(Yale)は代表性が高い一方、自己申告や検出力そのものの限界を抱えている。ベンダーの発表(ActivTrak)やAI企業自身の発表(Anthropic Economic Index)は、自社製品や自社サービスの需要拡大に直結しており、中立の立場からの数字ではない。NBERの論文も査読前である点は割り引いて読む必要がある。

「導入率」という別の指標をめぐっても、同じ構造の食い違いが起きている。誰に・何を・どう聞いたかによって、調査ごとに18%とも41%とも78%とも報告される例を「AI導入率」の読み解き方を扱った記事で整理しており、本記事が扱う生産性効果の測定方法論争と地続きの問題である。

発表主体の利害関係と代表性を確認するというひと手間が、8つの数字を実務で使えるものに変える。これは、本記事の主張である「測定方法の限界を添えて使う」という姿勢の、最も実践的な適用点になる。ここまでの整理を踏まえて、最後に本記事の結論をもう一度、違う言葉で言い直したい。

単一の倍率でなく、測定方法の対立ごと持ち帰る

AIの生産性効果は、自己申告・RCT・行動ログ・政府統計・チャットログ分類という異なる物差しで測るたびに、大きさも方向も違う答えを返す。そのうえ、五つ目の物差しであるチャットログ分類そのものの妥当性が、全国代表調査を使う経済学者から問われ、AI企業自身が外部からの検証を受け入れ始めるという、方法論をめぐる論争が2026年8月に表面化した。単一の倍率をそのまま実務の説明に使うより、測定方法の限界を添えて使うほうが妥当だ、というのが本記事の結論である。

社内でAI導入の効果を報告する場面があるなら、次の一手は単純だ。使おうとしている数字が、自己申告なのか、行動ログなのか、それともチャットログの分類なのかを、まず確認することである。そのうえで、ROI(投資対効果)やKPI(重要業績評価指標)を用いた実務的な測定設計に落とし込むと、判断の精度は上がる。この手順は生成AIのROI・KPI測定ガイドで具体的な指標とともに整理している。

米国の測定論争が、そのまま日本に当てはまるわけではない。日本国内では、厚生労働省とIPA(情報処理推進機構)の統計が「効率化はできても、稼ぐ力にはまだ届いていない」という共通のパターンを独立に示しており、厚労省・IPAの一次統計を扱った記事であわせて確認する価値がある。

効果測定の次の一手を確認する

単一の倍率を鵜呑みにせず、ROI・KPIの6指標フレームで自社のAI導入効果を測定する手順を別記事で整理している。

ROI・KPI測定ガイドを読む関連カテゴリへ