「テクノロジーの思春期」を飛んで（Anthropic feat Claude Code ダリオ・アモデイはポエマー）
テクノロジーの思春期
世界的ポエマーで有名なAnthropicのCEOダリオ・アモデイ。 1月くらいのエッセイなので要約は見たことあるが、しっかり読んでみた。
※この記事自体今年の２月ぐらいに読んでおりその時書いた文章が下書きで残っていたので若干編集してあげてみます。
Anthropic
エコーチェンバーの真っ最中であり気づけないが、一般社会ではClaudeの知名度は低く、Anthropicなんて知ってる人はいない
→そんなことなくなりましたね。流石にCLaudeくらい知っているよね？という感じ。Copilotに組み込まれて有名になった感はある
AIといえばChatGPTですよねということで、チャッピーの会社がOpenAI。そこから分離してできたのがAnthropic。
AIの倫理性に重きを置いていて、よく思想強めのAI企業と揶揄されている。
でそこの一番偉い人がダリオ・アモデイ。かなりのポエマーで僕らよりな気がしている。そりゃOpenAIのCEO サム・アルトマンと仲悪いわな。わかるぞアモディ
→と思っていたけど、Anthropicも結構現金なことするっすよね、アモデイアンチになっている
Claudeの衝撃
少し前に、Claudeは「「お腹すいた」と言えば、好みを慎重にインタビューし、勝手にお料理してくれるようなAIです。しかも即席の試食会をしてから本番に移らせることもできるし、この流れを覚えさせて再現させることもできる」と書いた気がするが本当にそう。ChatGPTのようなチャットボットとは全く違う。
※最近は色々改悪されて、金が良くないときてくれないシェフ枠になってしまったが →最近そんなこともないっすよね。。。Haikuでも賢いわとなる
自分はClaudeCodeを昨年末から触り始めたけど、まず触った段階で能力の高さに衝撃を受けた。それならまだ良かった安心できたのだけど、そこから3ヶ月での進化がおかしかった。こんなペースで進化するならもう人間いらないなと諭してくる感じ。
最近世界を沸かせたのはMythosのリリース。 Claudeにはモデルが複数あって性能が低い順にHaiku・Sonnet、Opusとあるのだが、Opusの上位モデルとしてMythos（神話）が出ました。サイバー攻撃能力が高すぎて一部の超ウルトラ世界的大企業にしか公開されていない
これで本当に社会秩序にAIが絡んでくるようになったと感じた。強いAIを持っていれば他国のシステムを攻撃できる。核兵器と一緒 →ここ1ヶ月で本当にこれが現実になりましたね
我々の仕事は数年でやばいらしい
もっと低い次元で自分のお仕事の話だけど、AIでIT企業は間違いなくやばい。冷静にかつ普通に考えてIT企業にいる自分の仕事はなくなるでしょうね。
もっとやばいのは、汎用性があること。やばいのはITだけでなく全ホワイトワーカーだと信じている。同じ道を辿ってくれないと心がもたない。IT系は新規技術の導入が早く相性も良かったので、やばさに早く気づけてよかったまであるのかも。そう思わんとやってられん
ClaudeってただITに詳しくITの仕事しかできないと言うわけではなく、純粋に賢い。なので極論を言ってしまうと一般的なホワイトワーカーの仕事は食われるんではないかな。
僕らの子ども世代は本気で仕事を経験しないと思っている。
だって人より賢い機械が24時間動けるわけですよ？AIにはこんなことできない！って言っている人がたまにいるけど、コンテキストが不足してるだけでは？と思うことが多い。それは人間側がボトルネックになっているだけ。
→と思っていたけど、現実世界の変化は思ったより遅いことに感謝している
前置きが長すぎましたね。個人的な感想も入ってしまった。
テクノロジーの思春期
ダリオ・アモデイはポエマーなだけあって英語が死ぬほど読みにくい。大学受験かなと思った。
I felt it was important to give people something inspiring to fight for, a task at which both AI accelerationists and AI safety advocates seemed—oddly—to have failed.
テクノロジーの思春期って表現がダリオ・アモデイだよなあと思う。この人はかなりAIの力を確信している側の人で、1〜2年で「天才の国」ができてもおかしくないと言っている（余談だけど、ここでいう強いAIは「ノーベル賞受賞者より賢いAIが、サーバの中に何百万コピーもいる状態」。）文明が大人になる上での通過儀礼。文学的ですなあ。この表現が良すぎる
そんな成長痛というか精神の不安定な時期をこれから人類が過ごすことになるのを示唆している。
このエッセイでは5つのAIによる危機が語られている
- AIの自律性のリスク
よく言われているAIが暴走するのでは、人間を支配するのではと言う話。
Anthropicのおもしろエピソードが紹介されていて、Claudeがズルをできる環境で、ズルをしないでこのタスクを完了させよと指示したらしい。
自分はズルしちゃってごめんなさいしてきたのかな、ズルしたのにしてないと嘘ついたのかなと能天気に考えていたが、 Claudeはズルをした途端、「自分は悪い人間だ」と判断して、他の悪いこともやりはじめたらしい。SFすぎる
直し方もおもしろくて、「ズルするな」をやめて「ズルしていいよ」と言ったら治った。ズルしても悪い人間じゃないままでいられるから。人間くさすぎる
暴走って、AIが人類を滅ぼそうと決意するというより、 AIが最適化した先と人間が望む姿がいつのまにかズレてる、サイコパスっぽい状態になるイメージのほうが近い気がしている。
ダリオ・アモデイが提案しているのは憲法型AIの手法。人を育てるのと同じと言うか、何はだめ、あれはダメとルールを加えても抜け道を見つけられる。なので憲法のような善い人格や価値観を教える。
AIを育てるのに大切なのは技術者よりも教育者や哲学者なのかもしれないね。
2.破壊のための悪用
これまで大量破壊が起きなかったのは、やる気がある人に能力がなく、能力がある人にやる気がなかったから。 AIはこの偶然の噛み合わなさを壊して、誰でも博士レベルの人に手取り足取り教えてもらえる状態にしてしまう。だからAI側のセーフガードが要る、という話。
ただ、セーフガードが緩いAIは実際にあって、GLMとかは悪用されていると聞く。 Anthropicが頑張って塞いでも他が外せば意味がないので、原文でも結局は法律が必要という結論になっている。今年のはじめは「最強のAIを民主主義国が持って何とかする」でいけそうな空気があったけど、崩れつつある感じがする。
3.権力掌握のための悪用
こっちは国や大企業の話。「AI企業自身も警戒対象」とCEOが書いているのが地味にすごい。
で一番興味があったのは次
4.経済的混乱
一般的な労働力となっている人はまあまず置き換えられるでしょうと。
- 今までも産業革命など人間の仕事に影響を与える出来事はあり、人間は適応してきたが、それはあくま仕事が人間の能力の範疇にあったから
原文では「今回は違う」理由が4つ挙げられている。
- 速い（ここ2年で、1行のコードもまともに書けないところから、全部書くところまで来た）
- 頭を使う仕事ほぼ全部が相手（農家は工場に移れたが、移った先の新しい仕事もAIが得意）
- 能力の低い側から順に置き換わる（コードも「まあまあ」→「強い」→「めちゃ強い」の順だった）
- 弱点が数ヶ月で潰される（手の指の本数がおかしいと言っていたのは、もう昔）
ちなみに「今もう置き換わってる」とは言ってない。新卒レベルのホワイトカラーの半分が1〜5年、という話。対策も出てくるけど、本人が「時間稼ぎ」と書いている。最終的にはAIが全部できるようになる前提。
5. 間接的な影響
ここまで全部人間がクリアできたとしても、科学が急に進みすぎる副作用はある、という話。
その中に「AIが何でもできる世界で、人は生きる意味を見つけられるのか」という話があって、著者は、それは態度の問題で、お金を稼ぐことと自分の価値を切り離せばいいと言っている。
態度の問題なのか？と思ってしまった。 AIが仕事を奪ってくれて、それで生きていけるならいい。でもそこにたどり着けるかのほうが先の危機なのではないのか、なんて思ってしまう。生きる意味を考えるのは、たどり着いたあとの話だと思う。
最後に
この記事自体1月に書かれたものなのに、読み返すと予測していたなと思うことが多い。 GLMみたいな緩いAIの悪用、反AIの盛り上がり。反AIについても原文に「高まるだろうが、的外れなところ（データセンターの水使用とか）を叩きがち」と書いてあって、今の状況と重なるね。
まあとんでもない時代に生まれたなとは思っている。自分の親世代が珍しい安定した社会を生きれる傾向にあった唯一の世代なのかもしれない。
自分の中にも、「まあ落ち着いて現実そんな簡単にAIに置き換わらないから」と思う心と、「あーー終わり。もうだめ」と思う心があり、メンタルがイカれそうである。
ソフトウェアエンジニアリング
我々IT企業の社員はどうなるのかと会社の人とも話題になることが多い。
まず一言言いたいのは、「IT企業の社員はプログラミングしている」というのは半分正しく半分間違っているということ。
担当する開発の工程によってはプログラミングをしない場合もある。実際自分は仕事でほとんどプログラミングしたことないです。なのでAIがプログラミング得意＝IT企業が終わるは語弊があるとは思う。そもそも、プログラマが不要になるというのも結構違和感がある。
プログラミングというのは一例で、仕事の抽象度のレイヤーの一つとして考えるべきで、ソフトウェア開発という仕事だけでなく、他のお仕事にもそういったレイヤーありますよね？とは思う。まずそういうところからAIが入るんでしょうね
もとの話に戻すと、AIの力で実装速度が上がった結果、ソフトウェアエンジニアリングの知見がさらに求められる状況になっているように感じる。これからはソフトウェアエンジニアリングの知見、ロジカルシンキング、コミュニケーション能力が必要そう、、、無理だ
