機械であるためには構成上の規則のレベルでエンジニアが理解されることが必要であるとするならば、ML（機械学習）ベースのシステム……は、機械の領域の外にあるものと考えなければならないだろう
AIの賢さ（でも責任を代替してくれない）
エンジニアのT・Mです。AIエージェントの発展著しい昨今、人間の「知性」が脅かされているという感覚は、きわめて深刻なものです。個人的には、コーディングエージェントの出現からOpus4.5が出てきたあたりにかけて、その圧倒的な情報探索能力と読解力、そして、推論能力に対して、「AIは無限に賢く、人間では太刀打ちできないのではないか…」という無力感に苛まれました。
しかし最近では、「無限に賢い」はずのAIは、意外とエンジニアの仕事を代替せず、結局人間が「責任」をもって「品質」を管理する必要があるという見方が広がりつつあるように感じます。
こうした中、AIに徹底的に逆質問させ、曖昧さをつぶしてから作業開始する、というアプローチ(/grill-meスキル)が注目されています。
「人間には太刀打ちできないほど賢い」はずのAIになぜか「判断」を任せることができない。
この矛盾ともいえる現状をLLMブーム以前に予言していた本があります。
AIは「判断力」を持っているのか
AIと哲学の二刀流、それがBrian Cantwell Smith
それが、『The Promise of Artificial Intelligence: Reckoning and Judgment』です。 direct.mit.edu ※自分は邦訳版（以下）を読みました。 www.newtonpress.co.jp
著者のBrian Cantwell Smith*1は、トロント大学の教授であり、コンピュータサイエンス（計算機科学）・人工知能・そして哲学の専門家でした。*2
Smithはこの著書において、「現在提案・検討されているあらゆるAIへのアプローチは、判断力の構築という課題に取り組むことができていない」と結論付けています。
そして、この判断力こそが、「圧倒的に豊かな世界の中で、主体足りうる知性を持つ」うえで重要な要件だとします。つまり、判断力の課題に向き合う事なしにAGIは達成されないということです。
判断力とは
倫理的な関与や責任ある行動の基礎にある、冷静かつ慎重な考え方であって、それが発揮される状況において適切と言えるもの
であるとされています。
正直言って、最初は全くピンと来ませんでした。単語は全て知っているのに、全く読めた気がしません。そして今になって、実際に読めていなかったことを実感します。
なぜ「判断力」に「関与」や「責任」という言葉が出てくるのか、「それが発揮される状況において」とはどういうことなのか。それは、1冊の本を通じて慎重に説明されています。
本記事ではその一部についてささやかな紹介をしていきます。
人間を特別視しない
Smithは人間を決して特別視せず、AIに対して非常に公平かつ前向きな立場に立っていることに注意が必要です。
Smithは、
DNAベースの生物とシリコンベースの生物を区別してこの結論に至ろうとするのは、重大な間違いであり、優越主義的、感傷的、そして致命的なほど浅薄だ
とすらしています。むしろ、今後ますます多くの事が、システムによって機能するようになり、人類に貢献するだろう、としています。
にも関わらず、「機械学習」のアプローチ、あるいはそれから派生するあらゆるアプローチにおいてすら、主体に足る知性を構築することは出来ない、とSmithはしています。
そうであるならば、(機械学習の延長として構築された)LLMにおいても、人間を含むあらゆるシステムが真の知性を持ちうるには何が必要なのか、現状のAIには何が不足しているのかというこの本の議論は、依然として有効のはずです。
まだ人間のやる仕事はある
（邦訳版で）150頁にも満たない薄めの本ですが、その内容は極めて濃密です。
この記事の目的は、私の目線からどのようにこの本を受け取ったかをお伝えする中で、皆様にこの本、そしてBrian Cantwell Smithの哲学に関心を持っていただくことです。(ですから、本買って読むよ、という方は、後は読まなくて大丈夫です)
さらに、(過去の私ように)AIに対する無力感を持っている方に、人間がやるべき仕事は今後も大いに存在するという実感を持っていただくことができれば、これ以上ない幸いです。
表象
我々はモデル・表象を利用する
我々は日々コードを書き、”モデル”を作ります。ここでいう”モデル”は、MVCの”Model”ではなく、またDDDの文脈における”ドメインモデル”に限定されるものではありません。もっと広く、模型、概念モデル、あるいは表象という意味です。総体として「意味のある」コードを書くということは、人間が行いたい（コンピューターに代替してほしい）何かに対するモデル化であると考えます。
当然ですが、”モデル”ならびにあらゆる表象（言語・数式・記号）は世界そのものではありません。例えば、地図は地球そのものではなく、地球儀も地球ではありません。これは当然のようで大いに注意が必要です。人間は一度表象したものを、対象そのものとして誤解してしまう癖があります。*3これについては後ほど詳しく考えていきます。
細かいことはさておき、人間がモデル≒表象を上手く利用していることは、想像にたやすいでしょう。表象をうまく扱うことは、脳という有限なリソースを用いて、この「圧倒的に豊かな世界」を生きるために必須とされる能力です。 我々は、コードを書いて世界をモデル化する以前から、言葉・記号・数式など、あらゆる表象を用いて認知を拡張しながら生きています。
システムは表象を扱う
ところで、表象を扱うことができるのは人間だけではありません。機械（コンピュータ・AI）もまた、表象を扱うことができます。ここでは一度、表象を扱うことができる存在を指して、「システム」と呼ぶことにします。つまり、人間・AIどちらも「システム」です。
例えば、以下のようなものもシステムです。
- 電卓・GPSデバイス・データベース・飛行機の誘導システム
- 自動運転システム
- 顔認証システム
- ChatGPT/ClaudeなどのAIエージェント
表象が上手く世界に接地し、意味のあるものであることによって、（表象を扱う）「システム」は日進月歩でいっそう機能する（役に立つ）ものになっています。
しかし、それでは現段階におけるAIと、人間との違いは何なのでしょうか？人間の知能における唯一の特徴が表象を上手く利用すること（つまり論理的思考や推論）だとすると、現時点でのAIは、人間よりはるかに表象を扱う能力に長けていそうです。すでにはっきりとモデル化された世界（例えば将棋・チェスなどのゲームや、数学オリンピック、あるいは狭義の意味でのプログラミング）では、人間はAIに勝つことができなくなっています。
将棋ような「はっきりとして確かな」モデルの上で行われる論理的推論が、人間における最大の特徴だというのなら、すでにAI（あるいはコンピューター）は人間より人間らしいということになっていそうです。
第一世代のAI・第二世代のAI
第一世代のAI（GOFAI）
第一世代の人工知能は、まさに上記のような発想で、「離散的な個別の概念によって世界が成り立つ」という前提を置いていました。このような記号的演算によるAIを、Good Old-Fashioned Artificial Intelligence（古き良きAI）、略してGOFAIと呼ぶようです。Smithによれば、GOFAIが記号表現をもとにして開発されたことは偶然ではなく、以下のようなルネ・デカルト*4的な仮説をもとにしていたためであろうと指摘します。
参考までに、Smithの既定する、GOFAI時代に置かれていた、デカルト的な前提を以下に記載します。
C1 知能の最も本質的な部分は「思考」であり、これは概していうと合理的な熟考を意味するものである C2 思考の理想モデルは、（個別の単語と関連付けることのできる「はっきりとしていて確かな」概念に基づいた）「論理的推論」である C3 「知覚」は、思考より下の階層に位置づけられるものであり、概念上、思考ほどの厳格さを求められるものではない C4 世界の中での「存在論」とは、後述のように「形式的」であると考えられる、物事の特質と意義とを明確に関連付けて指し示す、個別的であるとともに適切に定義された中規模（メソスケール）の客体のことをいう
第一世代の人工知能について、ざっくり言えば（プログラミングのように）「論理演算子とデータモデルで知能を実現しようとする」試み*5ともいえそうです。
結論を言えば、このような取り組みは（少なくともAGIの実現という意味では）うまくいきませんでした。確かに、第一世代のAIは論理的な推論においては優れていましたが、一方で、すでに形式化された課題にしか取り組むことができませんでした。つまり、世界を「知覚」したり、「認識」したりする能力が圧倒的に不足していたのです。
第二世代のAI（機械学習）
世界はあまりにも豊かであり、我々が世界の一部を表現するときに、必ず何かがこぼれ落ちます。*6世界は、個別のはっきりとした離散的な客体の集合ではなかったのです。
その意味で、世界はモデルではありません。世界は、圧倒的に豊かで、いくらでも表現のしようがあるものです。そして、個別の概念を列挙していけば語りつくせるようなものではありません。*7この圧倒的な豊かさ（↔離散的な個別概念）に向き合っていなかったために、第一世代のAIは失敗したのです。
第一次ブームのAIが失敗した最も根深い理由は、薄弱な存在論の世界観を基盤とするものだったからである
特に我々エンジニアのように、日々モデルを操作する仕事をする人間はこのような誤解には一層注意する必要があると考えます。*8
個別的で理解可能な中規模の客体から世界は構築されているという認識は、知能の最先端の成果であり、所与の前提ではない
そして、だからこそ、弱い相関を持つ多数のパラメータによる”認識”システム（すなわち機械学習）は成功しました。機械学習は、膨大で混沌としたデータ（例えば画像のピクセル）を変数とし、膨大な学習データを用いて推論を行おうとする点で、（GOFAIに比べて）世界の豊かさをより素直に受け止めています。
Smithによれば、第一世代のAIと第二世代のAIは以下のように整理されます。
- GOFAI：第一世代のAI。
- 比較的少数の
- 強い相関を伴う変数を含んだ、
- 適度な量の情報を使用した
- 連続的処理過程によってなされる
- 深い（多くの段階を踏んだ）推論
- 機械学習：第二世代のAI。
- 非常に多数の
- 弱い相関を伴う変数を含んだ、
- 大量の情報を使用した
- 超並列マシンによってなされる
- 浅い（数ステップの）推論
機械学習は、単に脳に構造的に似ているというだけでなく、GOFAIの存在論的な誤解を修正したからこそ今日のように発達することができました。今ある、顔認識システム、OCR、自動運転技術、そしてLLMは、どれも機械学習の延長として発展してきたものです。
では、（LLMを含む）機械学習のAIは、いつか我々の「知能」を超え、「世界」を理解することができるようになるのでしょうか？
そうではない、というのがSmithの結論です。
圧倒的な世界の豊かさにどう向き合うか
主体の有限性
我々が期待する(つまり人間が持っており、AGIに期待する)知能の要件には、圧倒的に豊かな世界からモデルを見出すこと、さらに言えばより「筋のいい」モデルを見出すことが含まれています。
本質的に有限である主体・人間にとって、今まさに強く関与している世界の一部“以外”は、それら(一部以外の全て)そのものとして把握することは不可能です。
宇宙全体を丸ごと視界に入れ、世界全体を実感するようなことは当然不可能です。むしろ、我々が有効に接続できる範囲は世界のほんの一部です。
すぐ目の前にあるスマートフォンにどのような部品が入っており、どのような電気信号が流れ、どのような原子構成で、今まさにどのような量子的効果が発生しているのか、私たちは知ることはできません。もしあなたがスマートフォンの専門家であっても、それについて思いを馳せるとき、隣にいる家族がどんな顔をしているかを同時に知ることはできません。
他にも例えば、
- 岩の裏に隠れている猛獣
- 明日の自分
- まだ出会う前の頃の友人
このような対象に対して人間は有効な接続を持っていません。それでも、人間は頭の中に留め置くことが必要です。逆に、猛獣が視界から外れた瞬間にその存在が扱えなくなるとすると、生きていく上であまりに不利です。
世界というものは有効に理解できる範囲を超えるものであることこそが、私たちにとっては推論が必要不可欠であるということの唯一の理由である
では、推論を行うにはどうすれば良いか。
世界を「表象すること」によって代替すればいいのだ
つまり、我々は世界を圧縮、取捨選択し、表象として扱い、有限な脳みそに収めています。そうすることで（デカルト的な）はっきりとした推論が可能になるのです。
この過程において、表象(モデル)は参照する客体(対象)に対して、必ず何かを削ぎ落とします。そのような表象の在り方は人間の恣意的なものなのでしょうか？
そこには参照されていたはずの何かがあるはずです。その"何か"をSmithは「客体」と定義しています。 圧倒的に豊かな世界の"一部"である「客体」もまた、圧倒的なニュアンスを持つものです。それゆえ、複数種類の"意味"が位置づけられうるものであり、複数の"存在"として立ち上がります。
世界という絶対の勝者
このようにして成立する表象（用語・記号・データなどと言った個別の概念）は、人間がその結果を引き受けるものでなければなりません。岩に隠れている猛獣を、単に「動物」と表象してしまえば、次の瞬間には食い殺されてしまうかもしれません。表象は、何でもありのようで、そんなことはないのです。
これをSmithは、サール*9の言葉を引用しつつ、以下のように表現します
「言葉」と「世界」が袂を分つとき、「世界」が勝つことを知っている必要がある
誤ったモデルに従うことは、時に人間にとって破滅的な未来をもたらします。
- 「鉛」は、旧来「甘味料」として数えられていましたが、（一説には）それによってベートーヴェンは鉛中毒で難聴に陥りました。
- 「ヒ素」は19世紀にパリ・グリーンと呼ばれる美しい緑色の「染料」として含有されていましたが、それにより多くの中毒者をもたらしました。
- 顧客テーブルに法人名カラムを新設したら、個人の顧客でエラー落ちするようになりました
世界は圧倒的に豊かであり、さまざまな表象が可能です。しかし、「間違った」表象を人間が行ったとき、それは拒絶され、その表象を行った人間に対して害をもたらします*10。表象は人間の認知を拡大しますが、それは世界に対して敬意を持った形で成されなくてはなりません。
コミットメントと責任
少し整理してみます。
- 圧倒的に豊かな「世界」
- その一部としての「客体」
- それを脳に収めるための「表象」
- その一部としての「客体」
このような世界の在り方にあって、表象を扱うシステム（人間、あるいはAI）が主体たり得るためには、世界に対する「コミットメント」が必要であるとSmithは主張します。
「コミットメント」という語は、かなり日本語として意味が捉えにくい単語だと私は感じていますが、「ある対象・方針・関係・行為に、自分や資源を“差し出して固定する”こと」がその中心にあるようです。つまり、世界の一部である「客体」に対して、「こうである」と表象する以上、そこには何らかの引き返せないニュアンスが含まれます。
ある客体に対して、多くの方法での説明が可能である中で、その表現を選んだ責任、あるいはその体系の中にその言葉で位置づけた責任が主体には問われます。
無責任な（つまり、間違った表象をしても痛くもかゆくもない）存在が行った表象を利用することはできません。 単に法的な、あるいは単に倫理的な意味合いではなく、（これは私の言葉ですが）筋を通すという意味での責任が必要なのです。
ただしSmithは、"表象が客体に接地することがない"といういわゆる「シンボルグラウンディング問題」を明確に否定します。モデルや記号はそれらの関係の中だけで成立しているわけではなく、確実に客体に接地します。だからこそシステムは機能するのです。
しかしながら、記号を客体に接地させているのは「システム自身」ではなく、世界を世界として扱う能力がある我々です。客体と表象の違いを区別し、表象を行った結果を引き受けなければ、表象を修正することはできません。*11
「判断」という主体に本質的で、現状は人間にのみ可能な営み
ここまで述べてきたように、
- 「世界」は一つの主体がとらえるにはあまりにも圧倒的に豊かであり、
- その中で主体が生きるには、主体は「表象」を取り扱う必要があり、
- さらに、その表象は世界の一部である「客体」に対して敬意を持つ形で成立していなければならず、
- 主体はその表象を置いたことに対して責任を負わなければなりません
上手くいった「表象」による推論は我々を利します。誤った「表象」による推論は我々を害します。
「圧倒的な豊かさを持つ世界の中で、有限な存在が、何を捨て、何を選ぶのか」という課題、つまり、接地した記号を見出すというモデリングの課題は、その結果を引き受ける主体にしか成しえません。今この地点・この瞬間に賭け金をもって存在すること無しに、コミットメントを果たす主体となることは不可能です。
このような世界と主体のあり方は、LLMが「圧倒的に賢い」はずなのに「責任」を委譲できない現状を、明確に根拠づけていると私は考えています。
- なぜコードをレビューするのか
- なぜシステムの品質をテストするのか
- なぜあらかじめAIから人間に徹底的に質問させるのか
これらは、「どうあれば」記号接地しているのかを評価できるのは「業務そのもの」を知っている人間だけだからにほかなりません。 AI(GPTやClaude)は今この瞬間のここに存在せず、データの海として記号化済みの世界しか知ることはできないのです。*12
この本のサブタイトルである、Reckoning and Judgment の後者、「判断」について、Smithは「主体である」ために非常に重要な能力だと位置づけます。改めて、判断力の定義を振り返ってみます。
倫理的な関与や責任ある行動の基礎にある、冷静かつ慎重な考え方であって、それが発揮される状況において適切と言えるもの
最初に述べたように、Smithは、"機械だから"AIには「判断」ができない、と言っているわけではありません。もちろん、なんらかの神秘的な要素を必要としているわけでもありません。人間が現在行っているような、「よい判断」ができるようになるには、「世界を世界としてとらえ、圧倒的に豊かな世界に対して向き合い、責任を引き受ける」ことが必要だと言っているのです。
AIは「それが発揮される状況」つまり、「今ここ」にいません。AIには有限性という掛け金が無く、間違えても何も責任を問われません。（問われるのはせいぜい提供した企業側です。）だからこそ、機械学習を含む現状のアプローチでは、（残念ながら）AIは本当の意味での（つまり、主体たりえる）思考力を得ることは出来ないのです。
「演算」という機械に委譲可能な領域
もちろん、今のAIが判断力を持っていないということは、AIが役立たずだという意味ではありません。
我々は、既存の表象を利用して未来を予想したり、脳の容量を超える膨大なデータを処理したりして、認知を拡大します。 Smithはこのような推論による認知の拡張を、Judgment（判断）と対比してReckoning（演算）と呼びました。LLMやコンピューターなどのシステムは、すでに我々よりも演算能力に長けています。特に、LLMの登場で、自然言語的な演算が可能になったことは偉大なブレイクスルーでした。*13
重要なのは、「判断」が必要な場面で、AIの強力な「演算力」を優先すべきではない、と言うことです。スマホの顔認証が失敗してロックが解除されなかったときに、疑うべきなのは「あなたがあなたではない」ということではなく、顔認証システムの方であるはずです。
主体である人間の役割
振り返ってみると当然だった
これらの議論を振り返ると、なんだか当然のことしか言っていません。
- 表象（モデル）は世界ではない
- AIが主体たりえる能力を得るためには、世界の圧倒的な豊かさに正面から対応するという難題に向き合わなければならない
- しばらくの間は、人間は「何をどのように表象するか」という判断をAIに委譲できない
残念ながら、AIに「判断」を任せることはまだできません。「表象する」という行為に対して世界がどのような利害を我々にもたらし、「どうあれば」我々の目的が果たされたことになるのかについては、今も我々自身が「判断」する必要があります。
しかし、それは憂うべきことではないのかもしれません。 我々は「まだ行われていない判断を、今まさに行う」からこそ、プロであり、優位性を持ち、対価を得られるのではないでしょうか？
最初は、「人間には太刀打ちできないほど賢い」はずのAIになぜか「判断」を任せることができない、と言いました。 しかし今では、私はそれが当然のことのように思えています。これを読んでくださっているあなたが同じ感覚でいてくださるのであれば、私は大変うれしく思います。
当事者であれ
LLMはインターネットに漂う圧倒的な情報を学習し、そして最新の情報もキャッチして演算します。しかし、それらの情報はすでに人間が世界に対して敬意をもって判断し、表象したものであり、AIはそれらを利用しているにすぎません。
我々は偉大なる先人の知に感謝しながら、しかし、自分にとって、そして大切な誰かのために新たな判断を行い、新たな表象を位置づけ、それに対する結果を引き受ける必要があります。
Smithが教えてくれるのは、「いかに技術が発展しようとも、我々は世界に対する当事者でなければならない」ということです。この本を読んで私は、プロのエンジニアとして常に学び続ける姿勢を持ち、解決すべき課題（まだ形式化されていない課題）に泥臭く向き合うことを大事にしたいという思いを新たにすることができました。
最後に、Smithから読者へのメッセージを引用したいと思います。
(i) AIシステムの能力を超えるタスクではなく、AIシステムが得意としている計算タスクを引き受けるためにAIシステムの使用法を学ぶこと
(ii) 判断力、冷静さ、倫理および世界への関心を弱めるのではなく、強化すること
原典
大変長くなってしまいましたが、最後までお読みいただきありがとうございました。緻密で繊細なSmithの議論に対して、私の文は大胆な圧縮や大幅な省略を伴うものです。それに読み違えている部分もきっとあると思います。ぜひとも実際のSmithの本に触れていただき、この混迷する時代にゆるぎない一つの軸を手に入れてはいかがでしょうか？
以下、再掲します
おわりに
KENTEMでは、様々な拠点でエンジニアを大募集しています！ 建設×ITにご興味をお持ちいただいた方は、是非下記のリンクからご応募ください。 recruit.kentem.jp career.kentem.jp
*1:https://ischool.utoronto.ca/news/obituary-brian-cantwell-smith-1950-to-2025/
*2:2025年に惜しまれつつ亡くなりました。
*3:例えば、「そんな人だとは思わなかった」という事態はまさに「表象をそれそのものと誤解する」状況です。こちらが勝手に「そのような人」だとラベル付けしておいて、そのラベル付けにそぐわない行動をその人がとった時に、こちらは”勝手に”「裏切られた」と評価してしまいます
*4: ルネ・デカルト：哲学者であり数学者。「我思う、ゆえに我あり」とする心身二元論、xyの直交からなるデカルト座標系（Cartesian coordinate system）の生みの親。システム開発における文脈では、（ORMを間違って使った場合などに発生する）非効率な全取得クエリをデカルト爆発（Cartesian explosion）と言うが、それも、「2つの集合の全組み合わせを作る操作」をデカルト積（Cartesian product）ということに由来している。
*5:個人的な想像ですが、「Leanで超ひも理論を証明できれば、それは世界のすべてをモデル化可能な汎用知能になるだろう」的な発想でしょうか？
*6:多くの歌が「言葉にできない」ことを特別視するのは、まさにこのようなことを指すのでしょう
*7:例えば、キャンプ場で木から落ちてきたソレを「枝」とも、「木の一部」とも「燃料」とも「炭素原子等の集合」とも…無限に認識・表現可能です
*8:だからこそ、ドメイン駆動設計という、業務領域"そのもの"に向き合うとすべきプラクティスが推奨されているのだと理解しています。
*9:ジョン・サール：AIに関する思考実験である「中国語の部屋」を提示したことで有名
*10:Smith は別の著書"On the Origin of Objects"で、このような世界のありかたを指して”Flex and Slop”（柔軟でたわみのある）と呼びました
*11:現状、人間以外のシステムには、自分が扱っているのが客体（世界の一部）なのか表象なのか区別することは不可能です。何らかのメタ情報を与えることで世界と表象を区別しようとする試みは、結局循環問題に帰着してしまいます。
*12:AIエージェントがブラウザやコンピュータを実際に操作して情報を得ることができることを指して、「AIは世界を知ることができる」と思うなら、残念ながら私の意図は伝わっていないようです。なぜなら、インターネットや書籍に存在する情報はすべて人間が積み重ねてきた「既に接地した記号」であり、世界そのものではないからです。世界そのものを知ることができないAIが、既存の接地した記号を行って推論を行う場合、確立的挙動によって徐々に推論結果が接地しなくなります。AIが作成したコンテンツが"ノールックで"インターネットに放流され続けることに対する忌避感は、このような接地しない（つまり実践に基づかない）記号で、人間が積み重ねた接地した表象が汚染されるという感覚があるからかもしれません
*13:しかし、我々はこれにむやみに驚きすぎないようにしなければなりません。電卓はとても役立ちますし、人類の叡智が詰まった偉大な発明品ですが、今更電卓に驚いたり、判断を任せたりしないはずです。
