2017/5/9
昨晩から頭が痛かったりする上に准教授が体調不良で休講になったりするので本日はお休みということにして午前中は延々寝たり、そのあとは延々アニメを見たりしていた。アニメを見てその感想をインターネットで検索するとアニメキャラクターに嫉妬しているとしか思えないようなコメントがあったりする。創作の登場人物に嫉妬するというのはどういう事態なのだろう。社会に生きている他者はニッチを奪い合う競合者であり、すでにニッチを持っている他者に攻撃的な感情を持つというのは進化的に合理的だと考えられる。持つ者に対して肯定的な感情しか持てない個体は持たないままに死んでいき子孫を残せないだろうからだ。しかしアニメキャラクターは私たちの競合者なのだろうか。それがありえないということはないかもしれない。例えば女性がみんなアニメキャラクターにのみ性的な感情を向けるようになれば私たち男性に生殖の機会は訪れないことになる。しかしそんな事態まで（無意識的にせよ）想定してインターネットに書き込みしているということはどうにも考えにくい。むしろ問題なのはキャラクターと他者たちの違いの方かもしれない。アニメキャラクターは私たちの思考の中にしか存在しない。しかし、他者たちがそれとは異なった意味で実在すると言えるだろうか。私たちは他者を見ているのではなく、自分で作り出した他者たちのモデルを見ている。キャラクターは物理的肉体を持たないが、それでも他者たちと同じようにモデルとして「実在」している。私たちはモデルを見て、モデルに嫉妬し、モデルを批判するコメントをインターネットに書き込む。そしてそんな自分たちですら、このように言葉にする、つまりモデル化することでしか知ることはできないのである。
2017/5/8
ようやく"The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World"を読み終えた。最終章では機械学習、そして将来見つかる（と筆者は信じている）Master Algorithmによってどう社会が変わっていくか、そこで何をすべきかということが述べられている。いろいろ面白い部分があったのであれこれ引用しておく。
We are all cyborgs already. The real story of automation is not what it replaces but what it enables. Some professions disappear, but many more are born.
（ページ277)
「私たちはみんなすでにサイボーグである」という文がなかなかパンチが効いている。上の文は機械学習によるブレイクスルーを経てAIが私たちの仕事を奪うのではないかという懸念について書かれたものだ。機械による仕事の代替は何も今に始まったことではなく、私たちの仕事はすでに機械と人間の共同作業である。
In this, as in many other areas, the greatest benefit of machine learning may ultimately be not what the machines learn but what we learn by teaching them.
（ページ281)
他にも機械学習に倫理を教えるにしても、そもそも私たち自身が倫理についてよくわかっていないという指摘が面白かった。生徒とともに教師の方も成長していくとよく言われるがそういうことがAIに対しても起こりそうである。
The decision we face today is similar: if we start making AIs—vast, interconnected, superhuman, unfathomable AIs—will they take over? Not any more than multicellular organisms took over from genes, vast and unfathomable as we may be to them. AIs are our survival machines, in the same way that we are our genes’.
（ページ284)
AIもまた私たちの生存のための機械であるがゆえにAIが私たちに取って代わることはない、という主張だが少し怪しい。人間の生存は自己複製子の複製を目指したものだが、AIの登場によってその複製に人間は必要なくなるかもしれない。例えば遺伝子を電子化してコピーしていけば何も細胞分裂によって増やす必要もなくなる。遺伝子がその乗り物を私たち人間から機械へと乗り換えるというシナリオは十分に想定できるだろう。ただし人間の思考はその速度という利点によって遺伝子からかなりの権限を委譲されているので、私たちが自ら進んでそのシナリオに従うということはないだろう。
その点の続きとして、機械学習の評価関数を私たちが決定しているのでAIがそこから離れて活動することはない、という主張もあった。しかし適応度という評価関数を決定する遺伝子が私たちの脳にリアルタイムの判断を任せているように、私たち人間がAIに判断の大部分を任せるということはあり得る。なぜなら私たちの脳よりもAIの方が明らかに処理が早いからである。筆者の主張は少し素朴な遺伝子決定論に影響されているような気がする。実際に私たちは遺伝子の利害から離れた判断をたくさん行っているし、AIが私たちの利害を最終的には目指すものだとしても独自の中間判断を行うようになるというのは十分にあり得る未来だろう。
2017/5/6
"The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World"の第９章を読んだ。これまで登場した機械学習の手法が最適化手法、評価、表現（？）という三つの観点から整理されてそれらの統一が試みられている。問題となるのは記号主義的な論理式とベイジアンな確率推論の統合ということになるらしい。論理というのはyes/noの二分法であり（0/1以外の真理値を与える多値論理というのもあることはあるが）確率と言う概念をあまりうまく表現できない。反対に確率推論は論理的な推論ほど確実なものとはなりえない。また確率推論は実際の生存競争で用いるにはあまりに計算が大変だという指摘があり面白かった。
But it can be very computationally expensive. If your brain used probabilistic theorem proving, the proverbial tiger would eat you before you figured out to run away.
（ページ256).
この二つをなんとか統合する試みとして筆者はマルコフ論理ネットワークというものを提案している。これも数式を使わない説明なのでふんわりとしか理解していないが、論理的なルールを重み付けすることで確率推論と統一しているらしい。
ショーペンハウアーなどの今まで読んできた哲学書は認識論について記号主義的な見解を採用していたので、確率を用いて私たちが思考している（かもしれない）というのは新鮮な考え方だった。確率を用いた学習はおそらく言語化はされないものであり、数理的なモデルを用いて初めて理解できるようになる。哲学は思考の言語化できる部分をのみを扱っていればいいのかと言われるとそうではない気がするが、言語化できないものをどう扱うのかというのは問題である。
2017/5/5
昨日と今日で"The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World"の第７章と８章を読んでいる。７章ではアナロジーによる学習（サポートベクターマシンとか）、８章では強化学習について解説されていた。この辺りまで読んだところで学習についての大きな絵がふんわりと浮かんできた。アナロジーによって大雑把なクラスタリングを行った後、新しく出会う対象についてはベイズ推定によってそのクラスタに分類していく。形成されたそれぞれのクラスと言語化すれば記号主義的な決定木が出来上がる。そしてそのプロセスを物理的にみればコネクショニズム的な神経回路の形成が行われているのである。ただしこのプロセスは一方向に行われる必要はない。ミーム感染によって新しい記号概念を獲得すればそれを用いて新たにデータをクラス分けしていくことができる。このミームの伝播を遺伝的プログラミングと見てもいいだろう。そしてこの学習は行為へとつながらなければ適応的な意味を持てない。その意味で行為まで含めた学習プロセスを考えるとそれは強化学習となる。第９章では今まで登場した学習方法が統合されるようなのでこの絵とどう違うのか検討してみたい。
2017/5/3
"The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World"の第6章を読んだ。ベイズ推定を用いたあれこれが紹介されている。ベイズ推定はデネットが言及していたがよくわからなかったので読みたい部分であった。ベイズの定理については数式上の証明もあったりしたのでそこそこ理解できたと思う。ヒュームを持ち出されるとベイジアンたちはベイズ推定は主観的な信念の確度を変化させるだけだと主張するらしい。
Bayesians’ answer is that a probability is not a frequency but a subjective degree of belief. Therefore it’s up to you what you make it, and all that Bayesian inference lets you do is update your prior beliefs with new evidence to obtain your posterior beliefs (also known as “turning the Bayesian crank”).
（ページ149).
カント的な立場を取れば主観的な信念の確度と客観的な頻度の区別は必要ないと思う。しかし数学的な定理を用いたシステムが主観的な信念に関わるというのがなんだか可笑しい。数学の客観性はどこに行ったのか。
他にも面白い文章があった。
As the statistician George Box famously put it: “All models are wrong, but some are useful.”
（ページ151)
「すべてのモデルは間違っているが、いくつかは有用である。」例えばデネットの"intentional stance"はモデルであり間違っているが、それでも人間の行動を予想する上で有用だと言える。西村（2012）*1で言われるような「解釈主義+プラグマティズム」的な見方がよく表された一文だと思う。
2017/5/2
早稲田大学が実学を重視するという方針を打ち出したか何かの記事で「アカデミックな教育課程に偏りがちな大学を変革し、産業界が求める「即戦力」となる人材を育てるのが狙い。」という文を読んでなかなか名文だと思った。このような「実学」を「虚学」という対立軸は遥か昔からあるらしい。ミームの視点から考えると「虚学」は純粋にミームの複製と保存のみを目指す活動だと考えられる。反対に「実学」を生活のために知識を役立てる活動だと考えると、それに対応して実学は遺伝子の複製のためいうことになる。このように実学と虚学の対立を遺伝子とミームの代理戦争と考えると面白いかもしれない。どちらに加担しても結局は利己的な自己複製子に寄与するだけである。そういう話をするなら人間の活動はすべて自己複製子のためということになってしまうのだが。
2017/5/1
今日は"The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World"の第5章を読んだ。この章では遺伝的アルゴリズムを使った機械学習について解説されている。ボールドウィン効果が適応度の勾配を緩やかにすると言った話を理解しやすかったので"Darwin's Dangerous Idea"などを読んでいて良かったと思う。同じく"Darwin's Dangerous Idea"の影響でグールドの進化論批判が登場するとつい身構えてしまう。ここで書かれている断続的平衡と漸進主義のような対立自体がグールドによる藁人形論法だとデネットは主張している。進化のプロセスを大きなスケールから捉えると漸進的に進んでいくがそのプロセスを拡大していくと急激な変化としばらくの平衡が見えてくるのだ。それはギザギザの線を遠くから見ると滑らかな線に見えると言った具合である。
