機械学習 - 入門
このページのタイトル、字幕、要約、読書メモは保存済みの AI 翻訳です。誤りが含まれる場合があります。タイムスタンプは原文と同じです。原文の字幕を開き、元の動画と照合できます。
Nando de Freitasによる最初の機械学習講義：なぜプログラムはデータから学習しなければならないのかを、視覚、推薦、ウェブスケールのテキスト、動物の知覚を用いて示します。
文字起こしの出典：Vidleafによる自動音声認識（誤りを含む可能性があります）。AIによる句読点はVidleafが追加しました。元の文言とタイムスタンプのアンカーは保持されています。元の文字起こしは以下でご覧いただけます。
AI生成の要約
Nando de Freitasは、プログラムされたルールと例から学習するシステムを対比させることで機械学習を紹介します。変化盲のデモンストレーションが視覚の難しさを動機づけ、続いて予測、推薦、言語、音声を含む例が示されます。講義はデータの役割を強調し、明示的な専門知識が欠けている場合やタスクが変化し続ける場合に学習手法がなぜ有用になるのかを説明します。後半のセクションでは、神経系、表現、そして深層学習の背後にある考え方を結びつけます。この講演は、この分野の問いと直観への入門であり、そのデモンストレーションと歴史的な例はリンクされた章に保存されています。
要点
- [8:26] 例から学習することは、すべての視覚的ルールを手作業で指定するのとは異なるアプローチを提供します。
- [21:10] 学習手法は、専門家のルールが利用できない場合やタスクが時間とともに変化する場合に有用です。
- [37:40] この講義は、ニューラルネットワークと学習された表現を、認識タスクの進歩と結びつけます。
記録から生成されました。リンクされた箇所を元のビデオと照合してください。概要と要点はVidleafが2026-10-21に確認しました。
全体概要
この講義は、観客のほとんどが変化に気づかない変化盲のデモンストレーションで始まり、ビデオを再生し直しても一部しか明らかにならない。講演者は、目は一秒間に約三回動き、私たちが見るものの多くは想像されたものであり、そのことが機械に視覚を与えるプログラミングを極めて困難にしていると主張する。講義では機械学習、ビッグデータ革命、計算能力、生物学的システムに着想を得た神経システムが紹介され、脆い手書きの視覚と、大規模な画像コレクションや顔や歩行者のためのランダムフォレストを用いた例に基づく学習が対比される。「チューファ」の演習では、人々が少数の例から新しい概念を素早く学び、強いがやや主観的な一致を示す一方、機械はこうした帰納的飛躍を行うことができず、代わりに特徴、パターン、統計を抽出して予測を行うことが示される。議論される応用には、エネルギー需要と売上の予測、映画の推薦、HIV変異の検出、信用スコアリング、医療診断、ランキング、そして人間のクリックによって改善されたGoogle画像検索、さらにZiteが含まれる。機械学習は真のAIとして提示され、火星探査ロボットのように専門知識が存在しない場合や、ウェブの推薦のように変化し続ける問題に必要とされる。このセグメントはまた、規模が自動システムを必要とすると主張し、データセットが1960の百万語から2006までに一兆語へと成長したことを引用し、言語技術、Google翻訳、音声認識を、データが鍵となる商品であり本当の障害である成功例として提示する。Googleの転置インデックス検索と人気ランキングを、困難な引用照合と対比し、ウェブには真実だけでなくゴミも含まれると指摘し、学習には介入と因果性も含まれ、深層学習が物体認識と音声認識における最近の進歩を推進してきたと述べて締めくくる。最後の部分は、連想記憶からクモの認知と場所細胞、V1ニューロン、ヒューベルとウィーゼルの猫の実験を含む階層的特徴学習、ニューロンの活性化と入力の再構成、音声認識パイプラインへと移り、次のクラスでは線形モデルによる教師あり学習を開始する。
タイムスタンプ付きの章の要約
変化盲と機械視覚の課題
- [0:26] 聴衆は、その場面でどの変化に気づいたかを尋ねられます。
- [1:39] 元の画像は異なっていました。建物はピンクではなく、上部には扉ではなく窓があり、手すりは完全で、人々と請願の看板がありました。
- [1:56] 聴衆のほとんどは、これらの変化の大半にまったく気づきませんでした。
- [2:03] ビデオを再生し直すと、変化が起きていることを知っていても、その一部は見えるがすべては見えないことがわかります。
- [2:21] 目は世界を見ておらず、頭はそれを含むには小さすぎる。目は一秒間に約三回動き、視線を巡らせ、世界がどのようなものであるかの像を構成する。
- [2:42] あなたが見るもののほとんどは実際には想像されたものであり、想像力はこのコースで大きな役割を果たします。
- [3:07] 見る機械をプログラミングすることは深刻な問題です。なぜなら、私たちは自分がどのように見ているかを知っていると思っているのに、このデモンストレーションはその考えが誤りであり、私たちはどのように見ているかを知らないことを示すからです。
- [3:27] もし私たちがどのように見ているかを知らないなら、PythonやMATLABでコードを書いて機械に見るように指示することは極めて難しく、なぜなら内省することができないからです。
機械学習入門講義
機械学習と手書きコードの視覚
- [4:55] 核心的な問題は、世界を機械に説明するのが難しいことです。たとえば、キリンを定義するのは難しく、キリンは形、背景、色が多様です。
- [5:46] 顔検出のような単純なものでさえ、手作業でコーディングするのは極めて困難です。
- [6:12] 観客の中で顔検出器の作り方を知っている学生はほんの三、四人だけである。
- [6:33] 顔検出器の構築は、機械学習技術を使えば非常に簡単ですが、自分でコードを書いて作ろうとすると極めて困難です。
- [6:39] 日本のある自動車メーカーは手作業でコード化した顔検出器を持っていましたが、背の高い金髪の友人ジェシーの顔を見つけられませんでした。それは濃い眉毛と目に合わせてコード化されていたからです。
- [7:25] その手作業でコード化されたシステムは極めて脆く、最適な条件下でしか機能しませんでした。
- [7:44] 機械学習による解決策は、あらゆる種類の人々や集団から顔画像を大量に収集し、単純なアルゴリズムを使って顔を検出することです。
- [8:03] 顔とは何かを機械に正確に指示するプログラムを書く代わりに、どれが顔でどれが顔でないかを機械に見せ、両者を区別するものを機械に学習させます。
- [8:26] 機械学習のアプローチはルールではなく例に基づいており、特徴やパターンを機械自身に解明させます。
顔や歩行者の検出を機械に学習させること
- [8:47] 顔検出器の構築は、顔画像を大量に収集し、既知の顔の大規模なデータセットを集めることから始まります。
- [9:02] このコースではこれをランダムフォレストと呼ばれる手法で教えます。
- [9:11] 同じアプローチは顔だけでなくあらゆる物体に適用できます。
- [9:16] 歩行者の画像を多数用意し、歩行者を認識するよう機械を訓練することができます。
- [9:31] 歩行者の認識は、すでにカリフォルニアで認可されている自動運転車にとって重要です。
- [9:53] 米国では毎年20,000人または40,000人が自動車事故で死亡しており、その大半は歩行者です。
- [10:24] インドでは、講演者が数年前に確認したとき、113,000人という数字を覚えています。
- [10:53] Mobileのような商用システムはすでに炎や車を検出しており、こうした革新は自動運転車にとって不可欠です。
人間の学習と機械学習
- [11:51] 人間もあらゆる動物も非常に優れた学習者であり、特に人間は優れています。
- [12:06] 聴衆参加の演習では、いくつかの強調された例から「トゥーファ」という概念を人間がどれだけうまく学習できるかを試します。
- [12:25] 聴衆は指し示された物体のどれがトゥーファかを投票し、いくつかについては多数が同意し、他については少数しか同意しません。
- [13:21] ある参加者は、茎、根、頭によってトゥーファを説明します。
- [13:59] 人々はトゥーファの判断基準を説明するのは難しいと感じるものの、トゥーファを判断することには自信を持っています。
- [14:26] 人々はごく少数の例からトゥーファとは何かを非常に素早く学習します。
- [14:39] トゥーファとは何かについての意見はやや主観的ですが、それでも強い一致があります。
- [14:51] 長い茎、脚、頭といった特徴がトゥーファを定義しますが、特徴抽出は大部分が無意識に行われます。
- [15:19] 目標は、少数の例から新しい概念を素早く学習できる機械を設計することです。
- [15:32] ジョシュとイヴォンヌがそう呼ぶところの、こうした帰納的飛躍を機械は行うことができません。
- [15:42] 機械学習は、トゥーファ、顔、歩行者といったものを識別できるようにする特徴、パターン、統計を抽出し、それから予測を行います。
予測タスクと機械学習の応用
- [16:17] 予測は意思決定のように機能することがあり、たとえば何かが顔か顔でないかを決めることなどです。
- [16:26] 予測はまた別の性質のものであることもあり、たとえば何かが危険かどうか、逃げるべきかどうかを判断することなどです。
- [16:46] 予測は人気のある予測タスクであり、たとえば建物のエネルギー需要を予測して購入するエネルギー量を調整することなどです。
- [17:11] 売上予測も別の例で、たとえばピンクのLululemon製品のような商品の需要を予測することなどです。
- [17:32] 機械学習は、まだ評価していない映画を自動的に評価し、より良い推薦システムの構築を支援できます。
- [17:50] 機械学習はHIVウイルスとは何かを教えられ、その後変異を検出できます。変異を検出できれば別の治療法を選べるため、これは重要です。
- [18:22] 信用スコアリングシステムは、あなたに信用力があるかどうかを素早く分類します。だからこそ最近はクレジットカードの利用がとても簡単なのです。
- [18:49] マンモグラムのようなものに対する医療診断は、最終的には機械が人間よりずっとうまく行えるようになるかもしれません。
- [19:01] ランキングも機械学習が非常に役立つ別のタスクです。
画像検索、要約ツール、そしてAIとしての機械学習
- [19:07] Google画像検索で画像をクリックすると、その画像が検索語に一致することがGoogleに伝わります。
- [19:21] Google画像検索が時間とともに改善したのは、人間がクリックによって画像にラベルを付けたからです。
- [19:30] 機械学習関連の用語を検索すると、上位50件の結果にホットなモデルの画像がよく現れるのは、そこが人々のクリックする場所だからです。
- [19:40] こうしたアルゴリズムの失敗によって、講演者は何が起きているのかに気づきました。
- [20:00] 今日の膨大な情報の流れの中で、情報を要約できることも重要であり、多くのツールがすでにニュースやその他の情報を要約しようとしています。
- [20:18] Ziteは、何年も前にこのコースを受講した二人の学生によって、BC州のいくつかのベンチャーキャピタルとともに作られ、最終的にCNNに売却された。
- [20:35] CNNを動かすアルゴリズムはここで開発されました。
- [20:48] 機械学習こそが真のAIであり、少なくとも知能機械を構築するために必要なAIの大きな構成要素であることは確かです。
機械学習が必要とされる場合
- [21:10] 機械学習は、私たちの専門知識が欠けているときに必要とされます。
- [21:17] 火星探査ロボットは信号伝送に時間がかかりすぎるため遠隔操作できず、自ら環境を理解し、自己修復しなければなりません。
- [21:29] 私たちはどのように見るのか、物を認識するのか、あるいは音から概念を見出すのかを理解できず、この内省能力の欠如が学習の利用を動機づけます。
- [21:53] 学習は、人々の興味が時間とともに変化するため、ウェブの推薦のように変化し続ける問題に役立ちます。
- [22:10] キュレーターに頼るには多大な勇気が必要なので、興味が変化する中でコンテンツを提供し続けるには自動システムが重要です。
- [22:33] 誰もが異なるため、百万の顧客には百万のキュレーターではなく、百万の自動レコメンダーが必要になるでしょう。
- [23:04] 学習は、人間が推論できない問題にも役立ち、検索エンジンやウェブ分析ではルールに頼ることはできません。
データの増加と機械学習への依存
言語技術の成功事例
- [24:44] Watsonは技術的成功事例として挙げられています。
- [25:00] 成功事例とは、多くの人々に収益を生み出し、人々の問題を解決するものと定義されています。
- [25:02] Google翻訳は輝かしい成功事例と呼ばれています。
- [25:07] インドや中国から織物を調達する妻は、ヒンディー語や中国語を話すかもしれない人々にメールを送ることができます。なぜなら彼らは皆Google翻訳を使っているからです。
- [25:30] Google翻訳は、人々がコミュニケーションをとるために同じ言語を話す必要のない、世界をより小さな場所にすることで、eコマースを完全に革命化します。
- [25:40] 時折、それにはいくつかの問題があります。
- [25:46] バンクーバーの小さな企業でさえ、この方法で自社製品を世界規模でビジネスを行っています。
音声認識とクラウドデータ
- [26:16] Googleの音声認識は、特に携帯電話で非常にうまく機能します。
- [26:25] ユーザーが音声認識を正しく行うたび、または間違えるたびに、Googleの改善に役立つフィードバックを提供します。
- [26:34] 講演者は、音声認識は解決された問題の一つであると想定しています。
- [26:52] 別の言語へのリアルタイム翻訳が、関連する可能性として言及されています。
- [27:24] 二つのチームがディープネットを用いた音声認識に取り組んでおり、それを最初に始めたチームはソフトにあり、その後Googleがそれを始めました。
- [27:42] これらのアプリケーションに共通する要素は大量のデータであり、フランス語のテキストとその翻訳のような対応データも含まれます。
- [28:02] GoogleやMicrosoftのような企業がユーザーに翻訳を修正させるため、データセットはますます大きくなり続けており、ユーザーは常にこれらの企業が製品を改善するためのデータを提供しています。
- [28:24] 企業はクラウドを活用しています。
主要な商品としてのデータ
- [28:32] 音声認識にとって、本当の障害は技術を構築する方法を知ることではなく、データを持っていることです。
- [28:44] データは商品として説明されています。
- [28:52] CMUのAlyosha Efersは、削除された家を埋めるために少数の画像を使用しても機能しないことを示しましたが、数を増やすと、機械がもっともらしい新しい画像を自動的に構成できるようになりました。
- [29:35] これが実現するには、本当に大量のデータが必要です。
- [29:46] Googleの人々は論文で、人々にデータを提供させる方法の問題を解決したと主張しており、FacebookとGoogleはこれに大いに成功しています。
- [30:01] 彼らはデータを集約し索引付けするという技術的問題を解決したと主張しており、ある程度は行われていますが、まだ多くのことがなされる必要があります。
- [30:14] 最も重要なことに、コンテンツはまだ解釈されていません。
引用マッチングと人気検索
- [30:30] Google検索は転置インデックスを使用してウェブページ内の正確な単語一致を見つけ、その後アルゴリズムで結果をランク付けします。
- [30:52] PythonのウェブサイトにあるPythonの演習は、Google検索エンジンをコーディングする方法を学ぶ方法です。
- [31:07] 人気に基づく検索は問題です。なぜならGoogleは人気マシンだからです。
- [31:21] 引用照合とは、二つの引用が同一であるかどうかを判断する問題であり、極めて困難であることが証明されています。
- [31:38] 引用マッチングが難しいのは、人々がしばしば名前を綴り間違えたり、巻やページを省略したり含めたり、間違ったページを持っていたりするためです。
- [32:03] 人々はしばしば元の論文を読まずに引用をコピーするため、エラーが容易に伝播する可能性があります。
- [32:33] 898の引用が間違ったページ番号を持ち、22が正しいものである場合、人気だけでは間違ったものを選んでしまうため、介入が必要です。
情報抽出とウェブの真実の限界
- [33:06] 情報抽出は、コースプロジェクトで追求する価値のあるトピックとして提示されています。
- [33:19] 示されている情報抽出エンジンは、シアトルのワシントン大学の教授であるOren EzioniとDan Weldによるものです。
- [33:53] 目標は、単にクエリの単語を含むページではなく、誰がオバマと結婚したかなどの意味的な答えです。
- [33:59] エンジンは、ウェブから名詞-動詞-名詞の三つ組を抽出することで機能します。
- [34:19] ウェブには真実が含まれていますが、ゴミも満ちており、カウントや人気だけを使用して情報を確実に抽出することは非常に困難です。
- [34:38] 現在のアプローチは多くのルールを使用しており、これは今日利用可能な最良の方法であり、Googleや多くの企業が使用している種類のものと説明されています。
- [35:07] 現在のルールを超えるには二つの道筋があり、一つは言語学者が現在作成しているルールをパラメータ化することです。
- [35:34] 学習機械は最良の予測ラベルを推定でき、人々はアプリを通じてラベルに賛成/反対の投票をします。
- [35:43] 真実を明らかにするには、最終的に因果関係と向き合い、実験や行動を行う必要があります。
- [36:14] 真理のためには行動が必要であると述べられている。
介入と因果性を通じた学習
ニューラルネットワークと深層学習
脳、記憶、深層学習
- [37:59] 機械学習は大きなニュースとなり、YouTubeの動画から猫や顔を認識することを学んだGoogleのニューラルネットワークも含まれた。
- [38:29] ディープラーニングは過去三年間で驚くべき進歩を遂げ、能動的な汎用物体認識にずっと近づけてきました。
- [38:44] 音声認識はディープラーニングのおかげでMicrosoftとGoogleで改善され、この生物学的に着想を得た話題はコースの約三分の一を占めるでしょう。
- [39:20] 目に入る視覚情報は小さく動的で、高解像度の部分は親指程度の大きさで、低解像度の部分は手程度の大きさである。
- [39:54] 視覚信号は視神経を通って脳の後部へ伝わり、そこではLGNが約百万本の線維を持ち、およそ千×千の解像度を与え、V1野は非常に興味深いものです。
- [40:30] 脳は優れた記憶と予測の装置であり、物事を連想的に保存し、雲のある飛行機の絵を見せられると飛行機を思い出す。
- [41:29] ある学生は自分の電話番号を逆に言うと significantly 遅くなると言う。なぜなら人々はコンピュータのRAMのように数字ではなく、パターンやシーケンスを保存するからである。
- [42:14] 英語を母語としないある学生は、中国語では電話番号を速く言うが、英語では遅くなると言う。これは彼が英語で数字の絵を読んでいることを示唆する。
- [42:53] 連想は時間的だけでなく空間的でもあり得る。記憶が得意な人々は物体のイメージを構成し、そのイメージを暗唱し、パターンと文脈を作り出す。
クモの認知と場所細胞
- [43:37] 重要な点は、記憶が連想されるということである。
- [43:45] 聴衆はどの画像がハエトリグモであるかを選ぶように求められ、画像ごとに投票が集計される。
- [44:45] その画像はオスのハエトリグモに見せられ、メスがクモの性行為をしたいと思うかどうかを確認した。
- [45:07] 小さな動物でさえ、私たちを認識する能力においてそれほど遠くない。
- [45:15] クモは実際の画像だけでなく、単純なカリカチュアや絵も認識できる。
- [45:28] ハエトリグモはカリカチュアからでも交尾行動を認識できる。
- [45:35] ハエトリグモは3Dの奥行きを認識でき、それは世界を移動するために不可欠である。
- [45:51] クモの非常に低レベルの脳は極めて洗練された機械であり、私たちはまだ電子機器でそれを再現するのに苦労している。
- [46:16] この蛾のように、捕食されないようにハエトリグモに似るように進化した生き物もいる。
- [46:27] 私たちが見るもののほとんどは脳に符号化され、さらに世界の中での物の位置も符号化される。
- [46:41] ニューロンが発火するかどうかを監視すると、発火するボックス内で特定の周期的な間隔が示され、それが自分がどこにいるかを知る方法である。
V1ニューロンと階層的特徴学習
- [47:17] ヒューベルとウィーゼルは猫の脳の後部にあるV1細胞を垂直および水平のバーで調べた。
- [47:56] ニューロンは水平のバーには発火せず、バーが特定の角度にあるときだけ発火する。
- [48:10] 各V1ニューロンは特定の線の方向に調整されているため、異なるニューロンが異なるエッジに対して発火する。
- [48:35] V1には約20万のニューロンがあり、それぞれがパッチ、座標、またはエッジを監視している。
- [48:50] これらの基本特徴の組み合わせにより、何かが顔であるかどうかを認識できる。
- [49:27] 基本的な考え方は、各ニューロンが画像の一部のエッジなど、特定の刺激に調整されているということである。
- [49:36] ニューロンは明暗のコントラストを見ると発火してスパイクを生成し、そうでなければ発火しない。
- [50:43] ディープラーニングはこれらのニューロンの出力を第二のネットワークに供給し、そのパラメータを学習して、被写体の部位や顔全体のようなものを生み出します。
- [51:22] GoogleはYouTubeの画像で大規模なネットワークを教師なしで訓練し、顔を認識できるニューロンが出現した。
- [52:28] これは生物学的にももっともらしく、神経科学の有名なハル・ベリーニューロンの話を反映している。
ニューロンの活性化と入力の再構成
音声認識パイプラインと次回の授業
ステーションの容量と結びの言葉
[0:00] これを再生して、上部の指示に従います。ありがとう。ありがとう。ありがとう。ありがとう。ありがとう。ありがとう。ありがとう。ありがとう。では、どの変化に気づきましたか——ドアのより高い方の知覚された色。
[0:36] この調子で。何ですって？叫ぶつもりはありません。ああ、そうだ、看板、参加者の看板が変わった。ありがとう。他に何が変わりましたか？これは皆さんへの質問です、340。ありがとう。何ですって？手すりが消えた。ありがとう。特に——この赤いリンクが消えました。看板はあれは友達ですか？ありがとう。
[1:09] 右側の建物です。この右側の建物が最初のものと完全に異なると思う人は何人いますか。先へ進みましょう。340人います。わかりました。正面のこのドアの前に犬がいたと思う人は何人いますか。三人か四人います。いませんでした。ただ皆さんを騙しただけです。そこに人がいます。これが元の画像でした。ご覧のとおり、建物はピンクではありませんでした。別の建物でした。
[1:43] ドアの代わりに上部に窓がありました。手すりは完全でした。人がいて、署名運動がありました。そして——それらすべてが皆さんの目の前で変わりました。そして皆さんのほとんどは、これらの変化のほとんどに全く気づきませんでした。もう一度最初から再生して、もう一度見てみましょう。これらの変化が起きていると知っていても、またすべてを見ることはできないという点を説明するためです。
[2:18] いくつかは見えますが、すべては見えません。それはあなたの目が世界を見ているのではないからです。あなたは世界を頭の中に持っていません。あなたの頭は小さすぎます。世界はそれを満たすことができません。ですからあなたがするのは、目を動かし、一秒に約三回世界を注視し、それらのケースで世界がどのようなものかの画像を構成することです。そしてあなたが見るもののほとんどは実際には想像されたものです。想像力はこのコースで大きな役割を果たします。このコースは、大部分において想像力についてのものです。
[2:50] もし世界を想像できるなら、それはあなたが世界がどのようなものかを学んだということです。ビデオはまた重要なことを示しています。それは——見る機械をプログラムしたいなら、ここで深刻な問題に直面しているということです。なぜなら、私たちは自分がどのように見ているか、何を見ているかを知っていると思っているからです。しかし、私は今、その考えが実際には間違っていることを証明しました。
[3:23] 私たちは実際にはどのように見ているのかを知りません。そして、もし私たちがどのように見ているのかを知らないなら、どうやってコードを書けるのでしょうか。あるいはPythonやMATLABで。そして機械にものを見るように指示できるのでしょうか。それは極めて困難です。なぜなら私たちは内省できないからです。そしてもし内省できなければ、脳を複製するのは非常に困難です。ありがとう。よし。それでは——今日の話題への彼の一分間の導入でした。
[3:57] これが皆さんの——最初の講義になります。今日の講義では、機械学習とは何か、どのような場面で使えるのかを少しお話しします。いわゆるビッグデータ革命について、機械学習がなぜ突然……それは今、膨大なデータと、そのデータを処理する計算能力を利用できるという事実に関係しています。ありがとうございます。ええと、講義のある、ある部分についてお話しします——この講義で大きな部分を占める神経システムのこと、そして学習する機械を作るために、生物のシステムからどのように着想を得るかということです。
[4:40] そして最後に、いくつかの応用に触れます。それがプロジェクトで何をすべきかの動機づけをすでに与え始めることを願っています。では、どうやって機械にものを見る方法を教えるのでしょうか？大きな問題の一つは、世界を説明するのが簡単ではないということです。機械にキリンを認識する方法を教えたいなら、それは非常に難しいでしょう。なぜなら、あらゆる形のキリンがいるからです。ここにいるような誇張されたキリンほどひどくはないかもしれません。
[5:17] しかし、コンピュータにキリンとは何かを伝えるのは非常に難しいです。なぜなら、キリンはさまざまな形をしていたり、異なる背景にいたりするからです。アフリカにキリンがいるかもしれませんが、突然、雪の中にキリンが現れます。すぐにカルガリーにも。そして、アルビノのキリンかもしれず、その場合、色が助けになるでしょう。ええと。では、どうやって伝えるのか——どうやってコードを書くのか？Azure Officeとは何か。それは極めて難しいことがわかります。あるいはもっと単純な問題、どうやってコードを書くのか——顔とは何か。どうやって機械にその画像に顔があると伝えるのか。
[5:54] そしてそれはある意味——あなたが当然のことと思っているものです。なぜなら——あなたのすべてのiPhoneや電話には顔検出器があるからです。最近のカメラにはFaceTimeが付いてきます。検出器です。Facebookを使えば、顔検出器があります。画像の中の顔がどこにあるかを知っています。時間です。顔検出器の作り方を知っている人は何人いますか。手を挙げているのはたった三人か四人の学生だけです。ランダムフォレストを見たことがありますね。燃料をくべないでください。たぶんこのコースで宿題の演習としてそれをやるでしょう。
[6:28] Facebookを構築する。機械学習技術を使えばとても簡単です。しかし、コードを書いてやろうとすると、極めて難しいです。いつも人に話す逸話の一つは、かつて日本の自動車メーカーのコンサルティングをしていて、工場を訪問したときのことです。そして車に座りました。するとすぐに私の顔がどこにあるかわかりました。カメラがあります。そしてインテントがあり、彼らは私が何をしているか、何を見ているか、そして居眠りしていないかを知っています。
[6:59]戦争。お茶の商品を。そして、そう、でもその時、私の友人のジェシー、今はウォータールーの教授だが、ジェシーは背が高くて金髪だ。そしてこの装置は彼の顔を見つけられなかった。その理由は、これには日本人のエンジニアしかいなかったからだ。そして彼らは顔を本質的に濃い眉、目などとコーディングした。だからこのシステム、ハンドコーダーシステムは極めて脆かった。つまり、あなたのopを認識するようにコーディングされたシステムのようなものだ。
[7:32]そして最適な条件で。しかし捕食者から逃げているときにあなたが外にいると認識するのは不可能だ。バイ。機械学習の解決策とは――顔画像の大規模なコレクションを集めることだ。これらはあらゆる種類の異なるタイプの人々、集団などからのものになる。そして次に、顔を検出できるようにする非常にシンプルなアルゴリズムを考え出す。だから機械に――どうやって？と教えることはできない。
[8:06]顔とは何かを機械に正確に伝えるプログラムを書くことはできないが、こう伝えるプログラムをコーディングすることはできる……機械にこれらは顔だ、これらは顔ではないと説明するプログラムだ。そして顔と非顔を区別するものは何かを機械に自動的に学習させる。それが機械学習のアプローチだ。ルールを我々が教えるのではなく、例に基づいている。どのものが、どの特徴――我々はそれを特徴やパターン、あるいは統計と呼ぶ――が顔を他のあらゆる画像と異なるものにしているのかを、機械に解明させるのだ。
[8:47]だから最初の部分は、その膨大な顔画像のコレクションを集めることだ。次に既知の顔の大規模なデータセットを集める。そして――結果はこうだ。これがあなたの顔検出器が作られる方法だ。ええ。このコースではランダムフォレストと呼ばれる手法でそのやり方をお見せしよう。そうすれば素晴らしい家電製品などができる。ええ。もちろん、これは顔だけのものではない。どんなもの、どんな物体にもできる。例えば歩行者の画像をたくさん撮って、歩行者を認識するように機械を訓練することができる。
[9:24] さて、なぜ私が機械に歩行者を認識させたいのでしょうか。ありがとう。どういう意味ですか。自動運転車です。自動運転車は遠くありません。カリフォルニアではすでに承認されています。ええと、そして、ええと……もうすぐ。ええと……うまくいけば自動運転車が街路を走るでしょう。ええと……私は二十か四十という数字を思い出そうとしています。20か40のどちらかです。
[9:56]私は力を混乱に設定した。20,000人か40,000人が毎年アメリカで自動車事故で亡くなっている。ほとんどが歩行者だ。このプロジェクトの重要性を文脈に置くために、UBCの人口が毎年消え去ると想像してほしい。それがコストだ。適切に運転せず人間に頼ることは。試してみて。インドでは、数年前に訪れたときに確認したところ、113,000人だった。
[10:31]そのキャリアは、数え方によっては悪いかもしれないし悪くないかもしれない。さて、ええ……実は、数え方に関係なく悪い。113,000が増える。膨大な数の人々。ありがとう。だから――同じ考え方だ。*咳* 機械に教える、ここにたくさんの画像がある、この場合は車の画像だ、そしてまた、今日の商用システム、例えばMobileなどはすでに炎を検出し、車を検出するなどできる。
[11:06]だから――しかしこれらすべての巨大なイノベーションの鍵は、自動の――なぜならこれらのイノベーションなしでは、自動運転車を持つことは全く不可能だからだ。なぜなら、目の前の歩行者が何であるかを見て理解できない車をどうやって配備できるだろうか。それは殺人のようなものだ。ええ……その鍵は、我々が機械に教えることができるというこの認識に至ったことだった。彼らが何を取るかを。だからこのコースは、確かに、機械にデータを取得させるプログラムの書き方についてだ。そして。
[11:42]顔とは何か、そして／または歩行者とは何かなどを決めることだ。ええ。さて、他にも学習する機械が存在する、そしてそれらの学習する機械は人間だ。人間はとても優れている。実際、人間だけでなく、すべての動物はとても優れた学習者だ。ええ。人間は特に優れている。ええ。そして今からテストしよう。この例で人間がどれだけうまく学習するかを。さて、ここにハイライトした、たくさんの画像がある。
[12:15] 物体の。そのうち三つを私がツファと呼んでいます。わかりました、あなたはそれらに赤い箱を周りに置いてラベルを付けていません。では皆さんへの質問は、私が矢印で指しているここのこれはツファだと思う人は何人いますか。わかりました。大多数です。これはツーフライだと思う人は何人いますか。これはどうですか。それは懐疑論者です。
[12:48]これはどう？トゥーファ？一人だけ？では興味深いサンプル、ここのこれに行こう。ありがとう。いいえ、そんなに多くの人ではない。ええ……ここのこれは。- これ？皆さん、ええ。OK、誰かを選ぼう、始めよう、あれから。
[13:21]なぜそれがトゥーファなのか？神のご加護を。茎、そして根のようなものがある。そしてOK、茎、根、そして頭。それがそれを成す。トゥーファにするのは。ええ……他に、なぜ自分が何かをトゥーファと言ったか、あるいは言わなかったかについてコメントしたい人は？- 犬を見ると、長い毛がある。緩いものがある。
[13:52]ただのレッドブルのようなものだ。ありがとう。さあ。説明するのは難しい、でもなぜかわかる。なぜならあなたは――手を挙げるのにとても自信があった、あるいは手を下げたままだった。説明できなくても、それがトゥーファかトゥーファでないか言えた。わかる？トゥーファとは何か知っている？ありがとう。ほとんどの人。他に誰か？
[14:23]ありがとう。ありがとう。では……これはいくつかのことを示している。一つは、トゥーファとは何かをどれだけ早く学ぶかということだ。あなたはトゥーファを見たことがない、たぶんあなたのデータ分野では、しかしあなたはごく少数の例から2Pとは何かをすぐに学ぶ。ありがとう。ええ……トゥーファとは何かについて全員が同じ意見ではない、だから私はいくつかの質問をした。だからいくらか主観的だ。しかしそれでもなお強い一致がある。ええ……そして次に……トゥーファをトゥーファにする特徴がある、長い茎であれ脚であれ頭であれ。ええ……
[14:59] *咳* しかし概して、私たちが意識的にそれらを抽出するとき、そうした特徴のことさえ考えてはいません。それは潜在意識下で行われます。世界の特徴抽出と解釈の多くは潜在意識を通じて行われます。潜在意識は非常に強力です。おそらく意識よりも強力です。ええと。私たちはこうしたことができる機械を設計したいと考えています。データのいくつかの例を見るだけで、ほんのいくつかの例から、新しい概念を非常に素早く学習できる機械です。
[15:32] 機械はこうした帰納的な飛躍を行うことはできません。ジョシュとイヴォンヌがそう呼ぶように。つまり機械学習とは、特徴やパターン、統計を抽出できることに関するものです。私たちに何がツーファー（twofer）なのかを教えてくれるもの、そしてひとたびそうした特徴を得れば、そしてあなたはこれを意識的に行っていないかもしれません。私たち人間はこれを意識的に行っておらず、だからこそ難しいのです。手作業で物事をコーディングしようと試みるのは困難であり、代わりに私たちは機械に頼らざるを得ません。
[16:07] は、ツーフォールド（two-fold）を成すパターンを抽出することです。顔や歩行者を成すパターン、そしてひとたびそれらを得れば、予測を行うことです。予測とは決定のようなものであったり、何かが顔か顔でないかを決めること、何かが歯か顔でないかを決めること、あるいは別の性質の予測、つまり、これは私を食べようとしているのか？逃げるべきか？これは危険すぎるのかそうでないのか？といったものです。ありがとう。
[16:39] 今とても人気のある他の種類の予測タスクもありますので、いくつか手早く見ていきます。ええと。予測。ええと…そしてこれは次の授業で例として行います。私たちはしばしばそれを見ています――あなたの建物がどれだけのエネルギー需要を必要とするかを予測します。なぜならそれに基づいて、ええと…ご存知の通り、どれだけのエネルギーを買うかを調整できるからです。そして――ご存知の通り、潜在的に節約できます。ええと…経済のために、ドルの出費を抑えることができます。
[17:10] ありがとう。売上を予測したいかもしれません。もしあなたがLululemonで働いているなら、ピンクのものを求めて何人が来るかを予測することになるでしょう。それは――Taskwareでの話です。機械学習は実際とても役に立ちます。確かに北米中のGAAPなどの店舗は非常に――一連の他の機械学習です。ありがとう。あなたは――あなたは――あなたは――あなたはいくつかの映画を評価したかもしれません。そうすると、残りの映画を自動的に評価して、他のどの映画に何個の星を割り当てただろうかを予測し、より良い推薦システムを構築できるようにする機械が欲しくなるでしょう。
[17:48] ええと…機械学習にHIVウイルスとは何かを教えたら、機械学習を使って、機械が監視しているこのものからウイルスであることからのあらゆる逸脱を検出できるようにしたいと思うでしょう。言い換えれば、機械に変異を検出させたいのです。これらは非常に重要です。なぜなら変異を検出した瞬間に、別の治療法を選ぶことができるからです。ええと…そのウイルスを治療するのです。
[18:21] ええと。今日クレジットカードの使用がとても簡単なのは、非常に優れた信用スコアリングシステムがあるからです。つまり機械学習がそれを素早く分類します。あなたが――ええと…テストに合格するかどうか、信用に値するかどうかを判断します。ですから私たちの経済の多くはすでに――大規模な古典的現金の使用に依存しています。そして医療の、ご存知の通り、診断にも。
[18:51] マンモグラムなどの画像の読み取りのようなことは、最終的に機械が人間よりもずっとうまくやることです。ランキング、これも機械学習がとても役立つタスクです。例えばGoogle画像検索を使うと、しばしば検索をして、それから画像をクリックします。そうすると、基本的にGoogleにこう伝えているのです。「ねえGoogle、この単語には、これが一致する画像だよ」と。
[19:21] そしてこれがGoogle画像検索が時間とともにどんどん良くなっていった方法です。なぜなら私たちが――私たち人間全員がクリックすることで画像にラベルを付けていたからです。しばしば機械学習の用語で検索します。そして上部に、表示される上位50枚の画像に、セクシーなモデルの写真があります。それは、人々がサポートベクターマシンや望むどんな手法を検索するときにクリックする場所だからです。つまりアルゴリズムにはいくつかの失敗があり、それが私に彼らが何をしているのかを気づかせたのです。
[19:54] ありがとう。ええと…そしてもちろん――ええと…今日私たちが生きているこの膨大な情報の流れの中で、情報を要約できることも重要です。そしてすでに、ニュースであれ他の種類の情報であれ、情報を凝縮して提供しようとするツールがたくさんあります。そうしたツールの一つが――ええと、Ziteでした。それは何年も前にこのコース、私のクラスを受講した二人の学生、そしてエリック・バーチューによって作られました。
[20:26] 彼らは、ここBC州のいくつかのベンチャーキャピタルとともに、最終的にこの会社を築き、それはCNNに売却されました。CNNのウェブサイトに行くと、CNNを動かしているアルゴリズムはここで開発されました。はい、それで…そして最後に、ええと。しばしばAIについて話しますが、機械学習こそが真のAIだと思います。確かにAIの大きな構成要素です。
[20:58] あるいは、知的機械を構築するために必要とされますが、確かに大きな構成要素です。そして過去十年で大きな進歩が遂げられました。どうもありがとう、Imran。ありがとう。さて、いつ機械学習が必要なのでしょうか。私たちの専門知識が欠けているときです。ロボットを火星に送りたいなら、ええと……遠隔操作はうまくいきません。信号を送信するのに時間がかかりすぎるからです。ですから、環境を理解でき、自己修復できるなどのロボットが必要です。ありがとう。ええと……ビデオから、私たちがどのように見たり認識したりするのかを理解できないことは明らかでした。
[21:34]物事の、あるいは私たちが音から概念をどう認識するのかさえ理解していないこともあります。ですから、内省する能力の欠如が学習の利用を促すのです。ええと、常に変化し続ける問題を扱うときにも役立ちます。例えば、誰かに良い推薦をしようとしているとき、何でしょう、猫や犬、あるいは最近ウェブ上で人々が推薦しているようなものに対してですね。
[22:06]ええと。人々の興味は時間とともに変わります。ですから、もしキュレーターに頼っていたら、ええと、それは多くの勇気を必要とすることになるでしょう。ですから、ええと、自動化して自動システムを持つことが重要です。そうすれば、人々の興味が時間とともに変わっても、必要なコンテンツを引き続き提供できます。ええと、それに関連するのは、しばしば誰もが異なるという問題です。もし私がニュースを推薦したいなら、異なる一人ひとりのためにニュース推薦システムを構築する必要はないでしょう。
[22:41] なぜなら各人が。つまり、もし私に百万の顧客がいるなら、たとえば——百万のキュレーターを持つ代わりに、私が持とうとしたいのは百万の自動推薦コンテンツです。ええと……そしてもちろん——ええと。私たち人間が推論できない問題のために。そして、あなたが検索エンジンのために、ウェブ分析を行う会社のために働くとき、すぐに明らかになるのは、ルールに頼れないということです——人々に物事をさせることに頼れないということです。問題の規模が非常に大きいので、本当に機械学習に頼らざるを得ません。
[23:31] さて、データです。データは——過去数年間で大幅に増加しました。ええと、Googleの研究者であるLon、Halaby、Peter Norbeck、そしてFernando Pereiraは、Googleの言語に関する一流の研究者の一部です。ええと。論文で指摘しています。2009で。1960では、七つの。ええと。百万語が大規模なデータセットと見なされていました。2006では、その数字が何なのか私にはわかりません。
[24:03]ええと、兆です。それだけです。ありがとう。ええと、ありがとう。単語データセットが、学界で大規模データセットと見なされていたものです。ですから、皆さんが実際に個人的な会話で管理できるデータセットには、桁違いの大きな変化がありました。そして、Amazon EC2などに行くと、さらに楽しくなります。言語の成功事例とは何だったのでしょうか。
[24:37]私は外れています。ここ数年の間に。技術的な成功。Watson。何ですって？それは何ですか？Watson？Jeffrey Lee Chan。かわいい。成功事例。成功事例として、そしてそれらが実際に多くの人々に収益を生み出し、人々の問題を解決したこと。Google Translate。ERIC SCHMIDT：しかしWatsonは良い例です。Google Translate。それは素晴らしい例です。なぜなら、ええと。
[25:07]私の妻はAritziaで仕事をしていて、インドから織物が必要で、中国でその織物を織ってくれる人が必要です。そして彼女はインドと中国のこれらすべての人々にメールを送っています。ヒンディー語を話すかもしれず、北京語を話すかもしれない人々に。そして彼らは皆Google Translateを使っているのでコミュニケーションできます。ですからそれはeコマースを完全に革命的に変えます。なぜなら今や世界はより小さな場所になるからです。コミュニケーションをとるために皆が同じ言語を話す必要さえありません。
[25:40]時々、それにはいくつかの問題があります。それが人々が物事を行う方法のほぼすべてです。バンクーバーの小さな会社でさえ、これがどのように、これがどのように、これがどのように私たちが企業として製品でグローバルビジネスに取り組むことができるかということです。別の例は何ですか？Appleはそれを大々的にマーケティングしました。音声認識に適しています。ですから、それは画像認識理論であり、そうそう。多くの粒子。
[26:12]私たちはカナダにいます。しかし、Googleの音声認識は非常にうまく機能します。最近試したかどうかはわかりません。携帯電話の音声認識なら。素晴らしい点はまた、正しくても間違っていても、毎回あなたがフィードバックを提供することです。Googleのために。良くなります。ですから、音声認識は解決済みのものの一つだと思います。ええと。どうやって、ありがとう。
[26:45]年間最優秀教師を組み合わせた、乾杯。それは非常に奇妙です。私の本によれば。何ですって？リアルタイム翻訳のようなもの。別の言語に。そして、ああ、そうだ。両方を行うことさえできます。ですから最終的には、お望みなら話せるようになるでしょう。ええ、SFのように。私たち全員ができる場所。たぶん私はタップトークするでしょう。父よ。驚かないでしょう。
[27:17] ディープネットを用いた音声認識に関して、ええと。コースの後半で触れることになるものです。それをやっている二つのチームがあります。それを最初に始めたチームは実際にはソフトにありました。そしてその後Googleがそれを始めました。ですから彼らはやや同じ——一種のインフラを使っています。それについて。これらすべてに共通することは何でしょうか。たくさんのデータがあるということです。二つの言語にたくさんのデータがあります。そして——たくさんの——言い換えれば、マッチデータです。ですからこれはフランス語のテキストで、これは翻訳です。
[27:55]ええと、そして音声認識も同じです。人々はこの巨大なデータセットを作成しました。さらに、データセットは刻々と大きくなり続けています。なぜならGoogleやMicrosoftなどの企業が素晴らしいのは、サービスを提供し、もし翻訳が気に入らなければ修正を許可するからです。そしてそのおかげで、あなたは常にこれらの企業が製品を提供するのを改善するためのデータを提供しているのです。ですから彼らはクラウドを活用しているのです。
[28:26]ありがとう。ええと、さて、これらのアプリケーションの多くでは、たくさんのデータが必要です。たくさんのデータが不可欠です。音声認識を行うなら、本当に、障害は技術を構築する方法を知らないことでさえありません。ええと、しかし実際に技術を訓練するためのデータを持っていることです。データは商品です。ええ、この点を説明する例があります。CMUのAlyosha Efersによるものです。ですから彼は最初に、家があったのであまり好きではなかった画像を持っていました。ですから彼が望んだのは、この家を削除できますか？ということでした。
[29:05] ですから明らかにそれを削除できます。そして問題は、ウェブから集めた他の画像のコレクションがある場合、この他のコレクションを使ってこれを埋め合わせられるかということです。ご存じのとおり、これよりも見栄えが良くなるようにです。もし――彼は、少数の画像を使ってもうまくいかないことを発見しました。しかしこれを増やしたとき、彼女は機械に新しい画像を自動的に合成させることができました。それは――まだ非常に妥当に見えます。これが実現するには、本当に大量のデータが必要です。
[29:42] さて、Googleの人々に戻りますが、彼らは論文の中で、人々にデータを提供してもらう方法という問題を解決したと述べています。そして――確かにFacebookとGoogleはこの点で素晴らしい仕事をしてきました。ええと…デイブ？彼らはデータを集約し索引付けするという技術的問題を解決したと主張しています。彼らはある程度これをやっており、Googleは確かに良い仕事をしています。まだやるべきことはたくさんあります。
[30:14] しかし最も重要なのは、私たちがまだコンテンツを解釈していないという事実です。そこで、ここに一つの例があります。引用のマッチングです。さて、Googleで検索するとき、あなたは本質的に転置インデックスを使い、検索でその用語を探し、その正確な単語がウェブページに現れるかどうかを確認してから、それらのウェブページを返します。そして、あるアルゴリズムを使ってランキングが行われます。もしPythonのウェブサイトでPythonの演習を行えば、それが――Google検索エンジンをコーディングする方法を学ぶ方法になるでしょう。
[31:04] さて…しかし、この方法で検索を行う問題は、それが非常に人気に基づいていることです。Googleは人気のマシンです。さて、反例は引用のマッチングです。引用のマッチングとは、二つの引用が同じかどうかを判断しようとする問題です。科学論文では、最後に必ず他の人の研究を引用します。これは、プロジェクトのレポートを書くときに行うことです。
[31:38] 二つの引用が同じかどうかを判断することは、実際には極めて難しいと証明されています。それは、人々がしばしば名前を綴り間違えるからです。しばしば巻を書いたり書かなかったり、ページを含めたり、間違ったページを書いたりします。そして学者によく起こりがちなのは、私がある研究を引用してページ番号を正しく取れなかった場合、そして別の誰かが私の研究を引用したいが、私の研究は本当はその他の論文に遡る場合です。彼らはその他の論文を読んでいないのに、それでも引用します。そして彼らがするのは、その引用をコピーすることです。
[32:14] また、締め切りまでほんの数時間しかなく、たくさんの引用を切り貼りしただけの論文を提出しなければならないこともあります。プロジェクトを最後に提出するときには、私の言いたいことがわかるでしょう。そしてこの問題は、何かが間違っていると、それが非常に簡単に伝播しうることです。今、あなたは間違ったページ番号の898件の引用と、正しいページ番号の22件の引用を持っています。単に人気に従えば、あなたはそれらを選ぶでしょう。ですから何か別のことをしなければなりません。その問題を解決するには、実際に介入を行う必要があります。
[32:54] この別の例をお見せしましょう。ええと、これは情報抽出の問題です。そしてこのコースでこのトピックに関するいくつかのプロジェクトを見たいと思っています。この情報抽出エンジンは、シアトルのワシントン大学の教授であるOren EzioniとDan Weldによるものです。
[33:26] そしてこれにより、Obama。Married。のようなことを入力できます。そして今、私たちはもう少し興味深いこと、意味的価値のあることを始めています。単なるクエリではなく、ご存じのとおり、単に――Obama marriedと入力してObama marriedと書かれたページをたくさん取得するのではなく、実際に誰がObamaと結婚したのか、あるいは彼が誰と結婚したのかを知りたいのです。そして検索を行うと、彼らはウェブから名詞、動詞、名詞の三つ組を抽出することでこれを行います。
[34:08] そしてそれがあなたの得るものであり、私が想像している数字は頻度です。それがウェブです。ウェブには真実がありますが、ウェブはゴミでもいっぱいです。そして単にカウントや人気を使うだけでウェブから情報を確実に抽出することは極めて困難です。そしてこれを修正する唯一の方法は介入することです。そして、それに取り組む方法は二つあります。現在、彼らはたくさんのルールを使っています。そしてちなみに、これが最善です。
[34:44] これはクリームです、ここでご覧になっているのは、今日私たちができることについてです。これはGoogleが使うような種類のものです。などなど。おそらく、そして多くの企業がそれを使っています。Orin Asuncionは偉大な起業家であり、この種の技術を使って多くの企業を売却してきました。これをもっと先へ進めるなら、二つの道があります。一つはこれらのルールをパラメータ化し始めることです。なぜなら現在、言語学者はこうした統語論などのルールをすべて作りがちだからです。
[35:19] それは名詞句の後に動詞句、その後に名詞句が続く、といった具合でなければなりません。あるいは、彼らはたくさんの例外を追加し始めます。これらすべてをパラメータ化して、学習機械にどれが最善かを推定させ、ラベルを予測させ、そして人々にラベルについて賛成/反対を投票させることができれば。人々がそれを行えるクールなアプリを作れれば、私たちは情報抽出をずっと上手に行えるようになるでしょう。しかし真実を明らかにしたいなら、最終的には因果性の概念と向き合う必要があります。私たちは実際に何が…実験を行わなければなりません。
[35:56] あるいは実際に探査する必要があり、実際に突き止めるために行動を起こす必要があります。この時点の後で、私たちは何かをしなければならないでしょう。クリックしなければならず、何らかの調査を行わなければならず、真実を発見できるようにするためにその調査をどう行うかを決めなければならないでしょう。ですから真実には行動が必要です。それが私を次の部分へと導きます。
[36:38] つまり――学習とは、大量のデータがあってそこから学ぶという形でただ起こるものではありません。340ではそういうふうにやりました、そこにいる人たちのために。しかし540では、実際に能動的にデータを探しに行くとき、介入を行うときについても見ていきます。というのも、ほとんどのシステムは単にデータを浴びせられてその結果として何かをするということではなく、実際に世界に対して介入を行うものだからです。そして、データを得るために私たちは実験を行います。つまり、これはまさに科学的方法の核心と言えます。
[37:20] 何かを理解したいなら、行動を起こす必要があります。そこで、今年このコースでは因果性について少し扱います。真の理解に至るには最終的にそれが重要だと思うからです。よし。このコースではニューラルネットワークもたくさん扱います。そして最近、ディープラーニングと呼ばれる分野でたくさんのすごいことが起きています。ニューヨーク・タイムズでGoogleのフロントラインのディープラーニングネットワークを見た人は何人いますか？
[37:59] 一人、つまり機械学習はニュースで大きく取り上げられました。二人、三人、四人、五人が見たというほど大きなものでした。ニューヨーク・タイムズの一面に載ったのです。Googleは、YouTubeの動画を見て、それだけで猫とは何か、顔とは何かなどを学習できるニューラルネットワークを構築したと主張していました。そこで、このコースではその実験を注意深く見ていきます。
[38:29]は深層学習の最先端です。しかし言うまでもなく、この分野では過去三年間に本当に驚くべき進歩があり、能動的な汎用物体認識の実現にずっと近づいています。マイクロソフトやグーグルで音声認識が大きく改善したのは、この深層学習のおかげです。ですからコースのかなりの部分を占め、すべて非常に生物学的に着想を得たものです。それをこのコースで扱います。
[39:03]コースのほぼ三分の一になります。神経科学に深入りするつもりはありませんが、画面上のこの小さな戯画、つまり脳があるという話はします。視覚情報を見ているなら、目に視覚信号が入ってきます。繰り返しますが、その視覚信号は非常に小さく、動的で、高解像度の部分は親指ほどの大きさです。
[39:37] ――この距離で。そしてそれより低い解像度の部分は手のひらほどの大きさです。しかし実際にはほとんど見えていません。これは本当にほとんど想像されたものです。そして――すべてがこの視神経を通って脳の後部へと伝わります。そこが視覚の最初の部分です。これをやってみてください、後頭部を叩いてみてください。視界が暗くなります。理由があります。そこがあなたの視覚がある場所なのです。
[40:10]こちら側のLGNには約百万本の線維があります。これでその画像の解像度がおよそ千かける千であるという大体の見当がつきます。そして後ろの方にV1と呼ばれる領域があり、これは非常に興味深いものです。それについて少し話さなければなりません。脳は優れた記憶装置であり、予測装置です。脳が物事を蓄える方法は連想的です。
[40:45] つまりどういうことかというと、例えばこんなもので、何かを思い出したいときに、新しいクエリを提示すると、この場合は雲のある飛行機ですが、飛行機を思い出します。つまり、そこに飛行機があることを理解するのです。ええと、電話番号を教えても構わない人はいますか？電話番号を大きな声で前から言ってもらえますか？604-442-7185。
[41:19] 逆から言えますか？280と聞こえました。――なるほど、逆から言うと明らかに遅くなります。その理由は、あなたはコンピュータのように数字を処理しているわけではないからです。あなたは数字を、ランダムアクセスメモリか何かのように保存しているわけではありません。あなたが学んだのは、繰り返すこのパターン、つまり7782391190です。簡単ですよね、こういうものだから。あなたはそのパターン、つまり自分の電話番号を保存しているのです。数字を保存しているのではありません。
[41:55] パターン、その順序を保存しているのです。アルファベットでも同じことが言えます。多くの人はアルファベットを前から言うのは問題なくできますが、逆から言うのに苦労します。なぜなら、学んで保存しているのはパターン、つまり順序などだからです。私は違う経験をしています。私は英語のネイティブスピーカーではありませんが、中国語で誰かに電話番号を伝えるときはかなり速いです。英語で言うときは少し時間がかかります。
[42:33] ですから、私が英語で電話番号を言うときは、電話番号の絵を思い浮かべてその絵を読んでいるような感覚です。そして時間がかかるのはその部分かもしれないと思います。ええ、確かにそうですね。しかしあなたは連想によってやっているのです。ところで、ここでは時間との連想をしましたが、空間的なものでもかまいません。実際、物覚えが非常に良い人の多くは、イメージを思い浮かべるからなのです。
[43:07] 例えば私が100個の物体のリストを渡したとすると、彼らがやろうとするのは、100は実際にはやり過ぎで、10個の物体です。ですからほとんどの人は10個の物体を覚えるのは本当に難しいと感じるでしょう。しかし、それが得意な人たちは、10個の物体で一つのイメージを構成します。そしてそのイメージをただ暗唱するのです。しかし彼らはパターンと文脈を作り出し、それが覚えやすくするのです。あなたが言っていることとやや似ています。重要な点は、記憶は連想的だということです。
[43:41] 今日は一つのゲームです。この中から一つをクジラグモだとするなら、どれを選びますか？ハエトリグモです。ハエトリグモを見たことがある人は何人いますか？あちこちにいますよ。では、この最初のものがハエトリグモだと思う人は何人ですか？一つしか選べませんから、この一つに二票です。これ。ゼロ。次。
[44:12] ゼロ。次。三票、四。次。四。次。一、三。これ。一票、二、三。次のもの。よし、では30はどうでしょう？よし。では……
[44:45] これらの数字を比較すると、これらはオスのハエトリグモに見せられた画像で、そのオスのハエトリグモがこれをクモの交尾を望むメスとして認識するかどうかを調べるためのものでした。こんな話を私がするとは思わなかったでしょう。そして、ここで私が示したい要点は、小さな動物であっても、私たちを認識する能力という点では、私たちからそれほど遠くないということです。
[45:15] つまり、クモは実際に単純な似顔絵や線画を認識することができるのです。ですから、実際の画像だけではありません――これがハエトリグモです。そしてここでわかるのは、ハエトリグモが、たとえ似顔絵などであっても、交尾行動などを認識できるということです。ですからクモは、これらのハエトリグモは、3Dの奥行きなどを認識することができ、これは世界を移動するために不可欠です。ですから、私たちは高レベルの脳まで行く必要はありません。
[45:48] 私は高レベルの脳から始めました。人間の脳が示されています。しかし、クモの非常に低レベルの脳は、私たちが自分たちの電子機器でいまだに再現しようと苦労している、極めて精巧な機械です。そして進化は美しいものです。クモがこれらすべての驚くべき――ええと…精神的な特性や認識などを身につけたように。この蛾のように、ハエトリグモに似た姿になるよう進化した生き物もいます。そうすることで、彼らの餌食にならないようにしているのです。
[46:26] ええと…私たちが世界で見るもののほとんどは脳に符号化されますが、さらに、世界の中での物の位置も符号化されます。この場合のように、赤で見えるものです。つまりそれは箱です。そしてそれは正方形です。そして箱の中を動くいかだがあります。そして私たちが監視しているのは、ニューロンが発火するかどうかです。そしてご覧のとおり、箱の中には特定の部分、周期的な間隔があります。そこでニューロンが発火します。そしてそれが、自分がどこにいるかを知る方法です。目を閉じて、そのニューロンを流れるままにしてください。
[46:58] 発火があなたがどこにいるかを教えてくれます。あなたがどこにいるかは脳に符号化されています。さて、視覚に戻りましょう、これに戻りましょう。これらすべての線維がこれらの第一レベルの細胞に入ります。そしてV1です。そして人々は同じ種類の実験を行いました。そこでは、プローブを。ネコに。ありがとう。脳の後部で。そして画面に示されているように、これらの棒を短絡させます。
[47:30] 縦棒と横棒です。そしてそうすると、ええと…この実験はヒューベルとウィーゼルによるものです。ヒューベルとウィーゼルでグーグル検索すれば、YouTubeで実際に動画全体を見ることができます。ええと――彼らが発見したのは次のことでした。もし――もし棒が縦なら――失礼、横なら――最初の図にここに示されているように。もし棒が横なら――そのニューロンは発火しません。ニューロンは棒が特定の角度にあるときだけ発火します。
[48:05] 角度が、ニューロンが発火し始める場所です。つまり、これらのニューロンのそれぞれが基本的に――縦の、特定の線に同調しているということです。線は異なります。向きが。ですからこれらすべてのニューロンは基本的に世界の年齢マップを持っています。なぜなら彼らは発火するからです――異なるニューロンが異なるエッジに対して発火します。さて、ここには多くのニューロンがあります。V1の中に。このコラージュの中の小さな箱のそれぞれが、それらのニューロンの一つです。そしてそれらのそれぞれが――すべて20百万ほどです。
[48:37] ここにパッチがあるか、そこに座標があるか、ここにエッジがあるかを監視して確認します。そしてそれはこれらすべての特徴です。眉毛だけではありません。しかし、これらの20百万の特徴を、それらの合成を取るときに、それが私たちが何かが顔か顔でないかを認識できるようにするのです。それらはすべて非常に基本的なものです。そしてそれは――しかしこれらの膨大な合成を持つことで、私たちはあらゆる種類の認識を行うことができるのです。ありがとう。
[49:08] ですから基本的な考え方は――そしてこれについては私が担当するコースで詳しく見ていきます、ただ…この段階では、皆さんが続けたいと思ってくれることを願って、概要をお話ししているだけです。ええと。そしてコースの後半で、私たちがこれらをどのように構築するかの詳細を実際に見ていきます。ええと…しかし基本的な考え方は、ニューロンがあり、各ニューロンが一つの特定の刺激に同調しているということです。この場合のように、エッジに。それが画像のこの部分で起こります。ありがとう。ですから私たちの本質は基本的に明暗のコントラストです。
[49:41] そしてそのニューロンがこれを見ると、発火します。FIKEが生成されます。いくつかのスパイクが生成され始めます。もしニューロンがこれを見なければ、発火しません。そしてこれがニューラルネットワークを構築する基礎です。画像を見て、そして2000個のニューロンが画像全体に接続されていて、これらのユニットのいくつかが発火し、いくつかは発火しないというものです。このことの意味は、私たちが画像をコードにマッピングしているということです。
[50:17] 約2,000年の。このコースでは、これらをどのように学習するかを見ていきます。どのように学習するか、各ニューロンの受容野とは何か。各ニューロンは何に注意を払うべきか？どの年齢に？ですからこれは私たちが学びます。これらのニューロンのそれぞれについて、私たちはデータから自動的に学習します。そして研究者たちが行ったこと、そして深層学習で行われていることは、これらのニューロンの出力を取り、それらを第二のネットワークに供給するということです。
[50:50] そこで彼らは再びそのネットワークのパラメータを学習します。そして彼らは、画像を使うときに、被写体のパーツなどを学習することを発見します。例えば顔の画像で訓練するだけで。そしてさらにここで上に行くと、実際に顔全体があります。ですから、これらすべては今日では自動的に行われ、これが本質的にGoogleが行っていたことであり、Googleはこれらの大規模なネットワークの一つを取り、それをただ訓練することができました。そしてここでの訓練の方法は教師なしで行われます。
[51:27] ですから、それは興味深いものになるでしょう。私たちは「これは顔の画像だ」「顔の画像ではない」などとは言いません。私たちは、大量の画像コレクションを扱い、いくつかの概念だけを用いて、つまり基本的に、あなたが想像する「こう見えるはずだ」というもの、あなたが見ているものを学ぶ方法を学びます。その非常に基本的な考え方です。もし私が、自分が見たものを想像できる学習システムを持っていれば、それは興味深い概念を学習できるはずです。そして、それが本質的にGoogleが実証したことです。彼らは、多くの画像を取るシステムを採用しました。この考え方は、公平に見て、学界の多くのグループによってすでに実証されていました。
[52:06]しかしグーグルはそれを次の段階、非常に大規模なものにしました。そしてユーチューブのあらゆる種類の画像で訓練するだけで、顔を認識できるニューロンが現れました。このニューロンの集団の中に特定のニューロンが一つあります。これらの顔の一つを見るたびに発火します。これも生物学的に妥当です。論文があります。ハル・ベリーニューロンの非常に有名な話があり、神経科学が実際に研究を行い、どの動物を使ったのでしたか。
[52:42] それについてはチャットから。おそらく猫でしょう。ええと…人間はこうしたものに入ることは許されていません。ええと…発火する――この猫がハル・ベリーを見るたびに発火するニューロンがあります。ハル・ベリーの写真です。ありがとう。ありがとう。そしてええと…ありがとう。そして実際に、処理することもできます。このニューロンをオンにすると、受容野を学習しているので、実際に「このニューロンを発火させる入力は何か？」を学習できます。
[53:18] そしてそれがニューヨーク・タイムズの一面に載った写真でした。世紀。このコースの残りの部分で、この写真を計算する方法を見ていきます。また、入力を再構成できるという同じ考え方が、この種の――追跡や、この見えているものを完成させるために使える方法も見ていきます。これをオープンにするために。保護。ええと…最後に、これを終えるにあたって、これは…今日あなたの電話で動作している音声認識です。それは最初のレベルを行い、音からケプストラム係数へと進みます。それはかなり簡単なことです。
[53:59] - 二つ、二つ？標準です。次に再び深層学習、つまりニューラルネットワークを使って、それらの基本的に音の特徴から、HMMと呼ばれるものに入力できる特徴へと変換します。認識を行うためです。ですからコース全体を通して、必要な要素を見ていきます。すみません、公開するには。だいたいそんなところです。では次の授業はすでに教師あり学習の扱いから始まります。
[54:30] そして線形モデルから始めます。なぜならそれらは非常に理解しやすく、彼にそれを持たせます。ありがとう。さようなら。ありがとう。ありがとう。次回は、ロシアが欲しいです。
[55:10] はい、はい。その駅は大規模な多目的駅で、収容人数は約1,000人です。その駅は大規模な多目的駅で、収容人数は約1,000人です。
[56:10] ありがとう。ええ、わかっています。
[57:10] ありがとう。*字幕はProject readOnによる* ありがとう。
[58:40] 私はただそこに座っているだけです。私たちは連邦の状況にいるとは思いません。
[59:40] .
英語の原文字幕を見る
[0:00] I'm going to play this and then just follow the instructions here at the top. Thank you. Thank you. Thank you. Thank you. Thank you. Thank you. Thank you. Thank you. OK, so which changes did you-- perceived color of Taller of the doors.
[0:36] At this rate. Pardon? I'm not going to be screaming. Oh, yeah, the sign, the participates sign change. Thank you. What else changed? And this is for everyone, 340. Thank you. The what? The railing disappeared. Thank you. So in particular-- There was-- this red link has disappeared. the sign Is that friend? Thank you.
[1:09] The building on the right. How many people think that this building on the right is completely different than the initial Go ahead. There's 340 people. Okay. How many people think there was a dog here in front? Up this door. There's three, four people. There wasn't. I was just tricking you. There's a person there. This was the original image. So as you can see, the building wasn't pink. It was a different building.
[1:43] There were windows on top instead of doors. The rail was complete. there were people there was a petition signed And-- that all change in front of your eyes. and most of you were completely oblivious to most of these changes. I'm going to restart it and play it one more time. just to illustrate the point that even if you know that these changes are taking place. you will yet again not be able to see them all.
[2:18] You will see some, but you won't see them all. And it's because your eye does not see the world. You don't have the world in your head. Your head is too small. the world cannot fill it in. So what you do is your eye moves. and gazes at the world about three times second and then you compose with those cases an image of what the world is about. And most of what you see is actually imagined. And imagination plays a big part in this course. This course, to a large extent, is about imagination.
[2:50] If you can imagine the world. that means that you have learned. what the world is about. The videos also illustrate an important thing And it's that-- If you wanted to program a machine that sees We are confronting a serious problem here. Because we think we know how we see and what we see. And yet I've just proven to you that that notion is actually wrong.
[3:23] that we actually don't know how we see. see and now if we do not know how we see How can we code? and or Python or MATLAB. and tell a machine to see. comes extremely hard because we can't introspect And if we can't introspect, it's very hard to replicate a brain. Thank you. All right. That-- his minute introduction to the topic of today.
[3:57] which will be just your-- first lecture. And in today's lecture, I will-- tell you a bit about what is machine learning. And where you can use machine learning? I'll talk about the sort of the big data revolution, why machine learning has all of a sudden become and attested with the fact that we now have access to gazillions of data. computing power to process that data. Thank you. Um I'll talk about a a Part of the course-- something that's going to be a Big part of the course, neural systems, and how we draw inspiration from biological systems in order to build learning machines.
[4:40] And finally, I'll just-- touch on a few applications. which hopefully will start already giving you some motivation for what to do for your project. Okay. So how do we tell machines how to see? things So one of the big problems is that the world is not easy to describe. If you wanted to tell a machine how to recognize giraffe, that's going to be very hard because there's giraffe of all shapes. It might not be as bad as these giraffe here, which have been exaggerated.
[5:17] But it's very hard to tell a computer what a giraffe is. because they come in all sorts of shapes or in different backgrounds You could have a giraffe in Africa, but all of a sudden, you get a giraffe in the snow. Calgary soon. And it might be an albino giraffe, in which case, color would then help you. Um. So how do we tell--how do we code? what Azure Office is. It turns out to be extremely hard. or And even simpler problem, how do we code-- what a face How do we tell a machine There's a face in that image.
[5:54] And that's sort of-- something that you take for granted because-- all your iPhones or phones have face detector. Your cameras these days come with FaceTime. detector. You use Facebook, it has face detectors. It knows where the faces are. in the images. time. How many of you know how to build a face detector? There's just three, four students their hands up. You've seen random forests. Don't put fuel out. Maybe we'll do that in this course as a homework exercise.
[6:28] Build a Facebook. It's very easy with machine learning technology. But if you try to do it by coding it, it's extremely hard. So one anecdote that I always tell people is that, Once I was doing-- consulting for a car manufacturer in Japan and when I sat I was doing a visit there to the factory And I sat at the car. And it immediately knew where my face is. So there's a camera. and intent so that they know what I'm doing, what I'm looking. and whether I'm falling asleep.
[6:59] warfare. tea goods on. And so, but then, A friend of mine, Jesse, who's now a professor in Waterloo, And Jesse's tall and blonde. And this thing could not find his face. And the reason is because there were only Japanese engineers in this. And they coded the faces essentially dark eyebrows, and eyes, and so on. So the system, the hand-corder system was extremely brittle. So it's like a system coded to recognize your op.
[7:32] and optimal conditions. but impossible to recognize you're out when running away from a predator. Bye. The machine learning solution is-- Collect a large collection of face images. These will be from all sorts of different types of people. and populations and so on. and then come up with a very simple algorithm that will allow you to detect face. So you can't tell a machine-- How to?
[8:06] You can't write a program that will tell machines exactly what a face is, but you can code a program that will... tell explain to machine these are faces These are not faces. And then let the machine automatically learn what it is that differentiates a face from a non-face. And that's the machine learning approach. It's based on examples as opposed to we telling the rules. We let the machines figure out which are the things, which are the features, we call them features or patterns, or statistics that make a face different than any other image.
[8:47] So the first part is to collect that huge collection of images of faces. You then collect a big data set of known faces And-- The result is this. That's how your face-- detectors are built. Um. I will show you how to do that in the course with a technique called random forests. and so you can have nice consumer electronics and so on. Um. Of course, it's not just for faces. You could do this for anything. any object. So you might take lots of images of pedestrians, and train a machine to recognize pedestrians.
[9:24] Now, why would I want a machine to recognize pedestrians? Thank you. What do you mean? automated cars. Automated cars are not far. They're already approved in California. Um, and, um... Soon. uh... will hopefully have automated cars on the street. Um... I am trying to remember a figure twenty or forty Either 20 or 40.
[9:56] I've got my power set to confuse. Either 20,000 or 40,000 people die every year in the United on car accident. mostly pedestrian. To put this into the importance of this project, in context, imagine the population of UBC dissipated every year. That's the cost. to not driving properly and relying on humans Try it. In India, when I checked a couple years ago when I was visiting, It was 113,000 people.
[10:31] that career which may or may not be bad depending on how you count. Now, um... Actually, it is bad regardless of how you count. 113,000 rises. Huge number of people. Thank you. So-- Same idea. *coughs* You teach a machine, here's a bunch of images, in this case images of cars, And then again, commercial systems these days, like Mobile already are able to detect flames, detect cars and so on.
[11:06] So-- But the key to all these huge innovations, be able to have an automatic-- because without these innovations, it wouldn't be possible at all to have an automatic car. Because how could you deploy a car that can't see a and understand what a pedestrian is in front of it. that would be like murder. Um... the key to it was to come up with this realization that we could teach machines. what they take. So this course, indeed, will be about how to write the programs that let machines grab data And.
[11:42] decide what a face is and and/or what a pedestrian is, and so on. Um. Now, there's other learning machines out there, and those learning machines are humans. Humans are very good. In fact, not just humans, all animals are very good learners. Um. Humans are particularly good. Um. and I'm about to now test. how good humans are at learning with this example. So, I have highlighted here, I have a bunch of images.
[12:15] of objects. which three of them I'm calling tufas. Okay, you're not labeled them by putting a red box around them. So now the question to you guys is how many of you think this one here that I'm pointing with the arrow is a tufa? Okay. the majority. How many of you think this is a two-fly? How about this one? That's a Skeptics.
[12:48] How about this? That a tearful? Just one? So go to an interesting sample, this one here. Thank you. Okay, no, not as many people. Um... This guy here. - This guy? Dear people, Yeah. OK, let's pick someone who likes Let's start with that.
[13:21] Why is that a tufa? God bless you. stem, and it's kind of got roots. and OK, stem, root, and a head. That's what makes it. to do fat. Uh... Who else would like to comment on why they said something is a twofer? or not. - Looking at the dog, the There's a long frown. There is a loose.
[13:52] just sort of Red Bulls. Thank you. Come on. It's hard to describe, but somehow you know. Because you-- very confident to put your hand up or kept your hands down. Even though you couldn't describe it, say that that was a tufa or not a tufa. See? Do you know what a two-finger is? Thank you. most people Anyone else?
[14:23] Thank you. Thank you. So... This illustrates several things. One is how quickly you learn what a two-fay is. You've never seen a two-foot people. maybe in your data field, But you very quickly learn what a 2P is. Thank you. from very few examples. Um... Not all of you have the same opinion on what a truffe is, that's why I asked several questions. So it's somewhat subjective. But there is nonetheless strong agreement Um... And then... There are features that make a twofer be a twofer, whether it's a long stem or the legs head Um...
[14:59] *cough* But by and large, we're not thinking even of those features when we extract them consciously. It's down subconscious. A lot of the feature extraction interpretation of the world is done through the subconscious. Subconscious is very powerful. perhaps more than the conscious. Um. We would like to design machines that are capable of doing this. that can see a few examples of data And just from a few examples, can very quickly learn new concepts.
[15:32] Machines are not capable of making these induction. LEAPS. as Josh and Yvonne calls it. So machine learning is about Being able to extract the features or the patterns or the statistics. The thing that makes us tell what a twofer is, And once you have those features, And you might not do this consciously. We humans don't do this consciously and that's why It's hard. called to try to code things by hand, and instead we have to rely on machines.
[16:07] is to extract the patterns that make a two-fold. The patterns that make a face or a pedestrian And then once you have those, to make a prediction. Where a prediction could be like a decision. deciding whether something is a face or not a face. whether something is a tooth or not a face. or a prediction of a different nature as in, is this thing going to eat me? Should I run away? Is this too dangerous or not? Thank you.
[16:39] There's other types of predictive tasks that are very popular right now, so I'm just going some of them quickly. Um. forecasting. Um... And this I will do as an example in the next class. We're quite often viewing it-- forecast how much energy demand. your building needs, because based on that you can adjust Um... you know, how much energy you buy. And-- you know, potentially safe. Um... Spend the ends of the dollars. for the economy.
[17:10] Thank you. You might want to forecast sales. If you work for Lululemon, you're going to forecast how many people will go for the pink That's a-- at Taskware. Machine learning is actually very useful. Certainly the GAAP and so on stores across North America very-- series of other machine learning. Thank you. You might want--you might want to--you might want to you might have rated a few movies And so you would want a machine to automatically rate the rest of them to protect what you would have how many stars you would have assigned to any other movie so that they can build a better recommendation system.
[17:48] Um... you might want to use machine learning once you teach machine learning what is an HIV virus you want the machine to be able to then detect any departure from this thing that it's monitoring from being a virus. In other words, you want machines to detect mutations. Now those are very important because the moment you detect a mutation you you can choose a different treatment uh... treat the virus.
[18:21] Um. The reason why using your credit cards is so easy these days is because there's very good credit scoring systems. So machine learning classifies that quickly. will determine whether you're-- uh... whether you pass the test or not, whether you're credit worthy or not. So a lot of our economy already-- relies on the usage of very large scale classical Cash in. as well as medical you know, diagnosis.
[18:51] on like noces of mammograms and so on is something that machines eventually do a lot better than um Humans. Ranking, another task where machine learning is very useful. So if you use Google image search for example, quite often you do a search. and then you click on an image. When you do that, you're basically telling Google, Hey Google, for this word, This is the image that matches it.
[19:21] And this is how Google Image Search got better and better over the time because we were--we All humans were labeling the images by clicking. Often you do a search for a machine learning term. And at the top, the top 50 images shown, there's these pictures of hot models. And that's because that's where people click when they search for support vector machines or whatever technique they want. So there's some failures to the algorithm, which is what makes what made me realize what it is that they were doing.
[19:54] Thank you. uh... And of course-- Um... In this huge flow of information that we live in today, being able to summarize information is also important. And already there's lots of tools that will try to condense information for you, whether it's news or any other type of information and make it available. One of these tools is-- um, was Zite, and that was built by two students who take took this course many years ago, my class and Eric Berchu.
[20:26] They, together with some venture-- capitals here in BC eventually built this company that was sold to CNN. If you go to CNN website, the algorithms that power CNN were developed here. Okay, so... and finally Um. Often talking about AI, I think machine learning is the real AI. certainly a huge component of AI.
[20:58] or there is needed in order to build intelligent machines, but it's certainly a huge component And great progress has been made in the last decade. Thanks so much, Imran. Thank you. Now, when do we need machine learning? When our expertise is absent. If you want to send a robot to Mars, Um... Remote control is not going to work, because it takes too long to transmit the signal. So you need a robot that can understand the environment, and it can repair itself, and so on. Thank you. Um... From the video, it was clear that we can't understand how we see or recognize.
[21:34] of things, or even we don't even understand how We-- see concepts from sounds. And so-- lack of ability to introspect motivates the use of learning Um... It's also useful when you're dealing with problems that keep changing. Like if you're trying to give someone good recommendations for, I don't know, kitties or dogs or whatever it is that people recommend these days on the web.
[22:06] Um. People's interest change with time. And so if you relied on curators, Um... that would be--would require a lot of courage. So it's important to Um. to automate to have automatic systems so that As people's interests change with time, you can still provide them with the content they need. Um. Connected to that is-- this problem that often everyone is different. If I wanted to recommend news, I wouldn't have to build a news recommendation system for each different person.
[22:41] because each person That means that if I have a million customers, I will need, say, to the-- instead of having a million curators, what I want to try to have is a million automatic recommending contents. Um... And of course-- Um. for problems where we humans can't reason. And when you work for a search engine, for a company doing web analytics, then it soon becomes clear that you can't rely on rules of-- you can't rely on people to do things The scale of the problem is so large, you do really have to of relying on machine learning.
[23:31] Now, data. Data has-- increased a lot over the last few years. In Um, as-- Lon, Halaby, Peter Norbeck, and Fernando Pereira, researchers at Google, from some of the leading researchers on language at Google. Um. point out in the paper. in 2009. In 1960, seven Um. One million words was considered a large data set. In 2006, I don't even know what that number is.
[24:03] Um-- Trillion. That's it. Thank you. uh... Thank you. Word dataset is what was regarded a large dataset set in academia. So there's been huge orders of magnitude. on the data sets that you guys are capable of actually managing in your personal conversations. And then if you go to Amazon EC2 and so on, it gets even more fun. What were the success stories of language.
[24:37] I'm out. over the last few years. technological success. Watson. Pardon? What's that? Watson? Jeffrey Lee Chan. Cute. success story. Success stories as-- And that they've actually created revenue for a lot of people and solved people's problems. Google Translate. ERIC SCHMIDT: But Watson is a good one. Google Translate. That's a brilliant one. Because... Um.
[25:07] My wife can be at Aritzia doing her job, and she needs textiles from India, and she needs someone to weave those textiles in China, And she's sending emails to all these people in India China. who might be speaking Hindi, who might be speaking Mandarin, and they're all able to communicate because they're all using Google Translate. So it completely revolutionizes e-commerce. because now the world becomes a smaller place. You don't even need to all speak the same language in order to communicate.
[25:40] Occasionally, there's some problems with that. That's pretty much how people do things. even in small companies in Vancouver, this is how--this is how--this is how we're going corporations are able to engaging global business. with their product. What's another example? Apple marketed it. heavily. suit Speech recognition. So, it's picture recognition theory and So-so. Many particles.
[26:12] We're in Canada. But-- Googles. speech recognition works extremely well. I don't know if you've tried it recently. If speech recognition on mobile phone. The beautiful thing as well is that every time you get it right or wrong, You provide feedback. for Google. get better. So I'm assuming that speech recognition is one of those solved. Um. How-- you Thank you.
[26:45] combined teacher of the year Cheers. It's very strange. by my books. Pardon? Something like real time translation. into another language. And... Oh, yeah. You can even do both of those. So eventually we'll be able to speak if you like. Yeah, like science fiction. Where we can all... Maybe I'll tap talk. Father. I wouldn't be surprised.
[27:17] In terms of speech recognition using deep nets, Um. something I'm going to come to later in the course. There's two teams doing it. The first team that started it was actually in soft. And then Google got started on it. And so they're using slightly the same-- sort of infrastructure. about that. common thing among all these? is that there's lots of data. There's lots of data in two languages. And there's-- lots of-- in other words, match data. So this is the text in French and this is the translation.
[27:55] um And the same for speech recognition. People created this huge data. sets. Moreover, the data sets keep getting larger by the minute because where companies like Google and Microsoft and so on have been brilliant is that they give you a service and if you don't like the translation They allow you to correct it. And now because of that, you're always providing data for these companies to get better. at providing their products. So they're harnessing the crowds.
[28:26] Thank you. uh... Now, for a lot of these applications, you do need a lot of data. A lot of data is essential. If you're going to do speech recognition, Really, the stumbling block is not even knowing how to build the technology. Um... but it's actually having the data. to train technology. Data is the commodity. Yeah. Here's an example to illustrate this point. by Alyosha Efers at CMU. So he had initially an image that he didn't quite like because it had a house So what he wanted was-- could I remove this house?
[29:05] So you can obviously remove it. And then the question is, If you have a collection of other images from the web, Can you use this other collection to fill this in? You know. in a way that will look better than this. If-- he found that if he used a few images, it didn't work. But then when he increased this, She was able to have the machines automatically composing new images That's-- still look very plausible. For this to happen, you really need a lot of data.
[29:42] Now, coming back to the Google guys, they say, In their paper-- that they've solved the problem of how to get people to contribute data. And-- Certainly Facebook and Google have done a great job at this. Um... Dave? They claim to have solved the technological problem of aggregating and indexing the data. They have done this to some extent, and Google certainly has done a good job. There's still a lot to be done.
[30:14] But most importantly is the fact that We still have not interpreted the content. So Here's an example, citation matching. Now, when you do a search in Google, you essentially use an inverted index and you look for that term in the search and you check if that exact word appears in the web page and then you bring back those web pages. And then there's some ranking that gets done using an algorithm which--if you do the Python exercise in the Python website, that's the--that will be a way of learning to learn how to code a Google search engine.
[31:04] Now... However, the problem with doing search this way is it's very much based on popularity. Google is a popularity machine. Now, a counter example is citation matching. So citation matching is the problem of trying to decide whether two citations. So in scientific papers, you always cite other people's work at the end. So this is something you will do when you write your report for your project.
[31:38] Deciding whether two citations are the same is actually proved to be extremely hard. And that's because people often misspell names. Often people write the volume or not, include the pages, or have the wrong pages. And what tends to happen a lot with academics is if I cite a work and I didn't get the page number right, And then someone else. wants to cite my work, but my work really goes back to the other paper. They haven't read the other paper, but they just cite it nonetheless. And what they do is they copy the citation.
[32:14] And also you're just a couple of hours behind the deadline, you have to submit a paper that's just cut and paste with a bunch of citations. You'll see what I mean when it comes to handing the project at the end. And so the problem with this is that if something is wrong, it can very easily propagate. Now you have 898 citations with the wrong page number and 22 with the right page number. If you just go with popularity, you will pick those. So you have to do something else. You have to actually do an intervention to be able to solve that problem.
[32:54] Let me show you another example of this. um This is the issue of information extraction. And I'd love to see a few projects on this topic in the course. So this information extraction engine is by Oren Ezioni and Dan Weld, who are professors at the University of Washington in Seattle.
[33:26] And so this allows you to type things like Obama. Married. And now we're starting to do something a bit more interesting, something with semantic value, not just a query, like, you know, not just-- putting in like Obama married and retrieving a bunch of pages that say Obama married but you actually want to know who married Obama who or who did he marry and if you do a search And they do this by extracting triplets of noun, verb, noun from the web.
[34:08] And so that is what you get and the numbers I'm imagining is the frequency. That's the web. The web has truth, but the web is also full of garbage. And extracting information reliably from the web just by using counts popularity is extremely hard. And the only way you can fix this is by intervening. And well, there's two ways to go about it. Right now, they use a bunch of rules. And this is the best, by the way.
[34:44] This is the cream, what you're looking at here, as to what we can do today. This is the sort of thing that Google will use. and so on. likely and a lot of companies use it. Orin Asuncion is a great entrepreneur and he's sold many companies using this type of technology. If we are to go beyond this, there are two routes. One is to start parameterizing these rules. Because right now, linguists tend to create all these rules of syntax and so on.
[35:19] It has to be a noun phrase followed by a verb phrase followed by a noun phrase and so on. Or then they start adding a bunch of exceptions. If you could just parameterize all these and then having a learning machine estimate what are the best, predict labels, and then have people vote yay/nay on labels. If you could create a cool app that allows people to do that, we would learn to do information extraction. a lot better. But if you want to uncover truth, ultimately we need to contend with the concept of causality. We need to actually know what is... we need to conduct an experiment.
[35:56] or we need to actually probe, we need to conduct an action to be able to actually figure out. We would have to do something now, after this point. We would have to click, we would have to do some research, and we would have to decide how we're going to do that research in order to be able to discover truth. So action is necessary for truth. That brings me to the next part.
[36:38] which is-- Learning is not something that just happens where you have a lot of data and then you learn from it. That's how I did it in 340, for those there. But in 540, we're also going to look at when we actually actively go and seek the data, when we do interventions. Because most systems are not just about... being flooded with data and doing something as a result, but you actually do interventions in the world. And most of the data you know, in order to get data we conduct experiments. I mean, this is pretty much at the heart of the scientific method.
[37:20] If we want to understand something we need to perform actions. So, I'm going to do a bit of causality this year in this course because I think it's important. eventually to have true understanding. Okay. The course will also have a lot of neural networks. And recently, there's been a lot of cool stuff happening in an area called deep learning. How many of you saw the Google Frontline deep learning network in the New York Times?
[37:59] One, so machine learning was big in the news. Big enough that two people, three people, four, five managed to see it. It was in the front page of the New York Times. So Google was claiming that they had built this neural network that can look at YouTube videos and just by doing that it can learn what a cat is or what a face is and so on. And so we're going to go carefully over that experiment in this course.
[38:29] state of the art in deep learning. But needless to say, there's been some really amazing advances over the last three years in this area that are bringing us much closer to doing active general object recognition. The speech recognition that got a lot better over the last--at Microsoft and Google, the reason why it got better was because of this deep learning. And so quite a bit of the course, and it's all very biologically inspired. And so we are going to cover that in the course.
[39:03] It's going to be almost like a third of the course. I'm not going to go into neuroscience, but I will not be on this little caricature here on the screen, which is there's a brain. If you're looking at vision information, there's a visual signal that comes into your eye. Again, that visual signal is very tiny, and it's dynamic, and it's about the size of your, the high-resolution bit is the size of your thumb.
[39:37] - At this distance. and then the less, the lower resolution about the size of your hand. But you really don't see much. This is really mostly imagined. Then there is--everything goes by-- this optic nerve to the back of your brain which is the first part of vision and try doing this, try hitting the back of your head. Things go black. There's a reason. That's where your vision is.
[40:10] Over here with LGNAs there's about a million fibers. So that starts giving a rough idea of what the resolution of that image is, thousand by a thousand. And then at the back there, there's an area called V1, which is very interesting. Now I'm going to have to say a few things about that. Now the brain is a good memory device and it's a predictive device. The way we store things in the brain is in an associative manner.
[40:45] And what I mean by that is, for example, something like that, where there's--if you want to retrieve something, when you present a new query, like in this case, a plane with clouds, you retrieve a plane. So it understands that there's a plane there. um Who doesn't mind giving their phone away? Can you say your phone number loud forward? 604-442-7185.
[41:19] Can you say it backwards? I heard 280. - Okay, so significantly slower when he says it backward. And the reason is because you don't really process numbers like a computer does. You don't store numbers, like the, you know, with a random access memory or whatever. What you've learned is this pattern that you repeat, which is 7782391190. So easy, 'cause it's like this, you store that pattern, which is your phone number. You haven't stored the numbers.
[41:55] stored a pattern that sequence same is true with the alphabet a lot of people can have no problem saying the alphabet forward but people struggle saying the alphabet backward because the what they've learned stored is patterns okay sequences and so on so i have a different experience so i'm not a native english speaker but when i'm telling somebody my phone number using chinese pretty fast. So when I'm speaking it using English it takes some time.
[42:33] So my feeling is when I'm speaking my phone number using English, I... the picture of my phone number and read that picture. And I think that might be the part of where time is . Yeah, it's true. But you're doing it by association. So association, by the way, here I did association with time, but it could be spatial. In fact, a lot of people who are very good at memorizing things, it's because they think of an image.
[43:07] Like if I give you a list of 100 objects, then what they try to do, 100 is actually an overkill, 10 objects. So most people would find it really hard to remember 10 objects. But if I, the ones that are good at it, they compose an image with the 10 objects. and then they just recite that image. But they create a pattern and a context, and that makes it easier. somewhat similar to what you're saying. The key point being that memory is associated.
[43:41] one game for today. If you were to pick one of these to be a spider Which one would it be? A jumping spider. How many of you have seen a jumping spider? They're all over the place. So how many people would vote for this first guy being a jumping spider? You only get to pick one, so there's two votes for this one. This one. Zero. Next.
[44:12] Zero. Next. Three volts, four. Next. Four. Next. One, three. This guy. One vote, two, three. Next guy. Okay, so that's like what about 30 Okay. Now...
[44:45] If we compare these numbers, so those were images that were shown to a male jumping spider to see if that male jumping spider would see this as a female that wants to have spider sex. You never expected I was going to pull this one on you. So-- and The point here that I want to illustrate is that even little animals are not that far from us in terms of their ability to recognize us.
[45:15] So spiders are actually able to recognize simple caricatures, drawings. So not just actual images of-- that's a jumping spider. And here you see those jumping spider recognizing can recognize mating behaviors and so on, even when it just of caricatures and so on. So spiders Also, these jumping spiders, they're able to recognize 3D depth. and so on, which is essential to travel in the world. So, we don't need to get to the high-level brains.
[45:48] I started with the high level brains, they're showing a human brain. but the very low level brain of the spider is an extremely sophisticated piece of machinery that We still are struggling to replicate with our own electronic devices. And evolution is beautiful, just like spiders have learned all these amazing-- uh... mental traits, recognition and so on. There's creatures that have evolved, like this moth, that they've evolved to replicate to look like jumping spiders so that they Don't fall prey to them.
[46:26] Um... Most of what we see in the world gets encoded in our brain, but even more, the location of things in the world. Like in this case, what we see in red. So that's a box. And that's square. And there's a raft that moves in the box. And then what we're monitoring is whether a neuron fires or not. And as you can see, there are particular portions periodic interval in the box. where a neuron fires. And that's how you can tell where you are. close your eyes just let that neuron flow.
[46:58] fire tells me where you are. Where you are is encoded in your brain. Now, going back to vision, back to this, All these fibers get into these first level of cells. and V1. And people did the same sort of experiments. there probes. on cats. Thank you. at the back of the brain And then they shortcuts these bars as shown in the screen.
[47:30] vertical bars and horizontal bars. And when you do that, Um... The experiment is by Hubel and Wiesel. You can actually see the whole video in YouTube, if you Google Hubel and Wiesel. Um-- What they found was the following. If-- If the bar is vertical-- is horizontal, sorry-- as shown here in the first drawing. If the bar is horizontal-- that the neuron doesn't fire. The neuron only fires when the bar is at a particular angle.
[48:05] Angle is where the neuron starts firing. That means that each of these neurons is basically tuned to-- vertical, specific lines. Lines are different. orientation. So all these neurons basically have an age map. of the world. because they fire-- different neurons will fire for different edges. Now there's many neurons. there in V1. Each of the little boxes in this collage is one of those neurons. And each of those will-- all 20 million or so.
[48:37] will be monitoring checking whether there's a patch here, whether there's coordinate there. whether there's an edge here. And it's all those features Not just the eyebrows. But it's these 20 million features, when you take compositions of them, that allow us to recognize whether something's a face or not a face. They're all very basic. And it's-- But in having these huge compositions, we're able to do all sorts of recognition. Thank you.
[49:08] So the basic idea-- and we will go over this in the course I'm just... At this stage, I'm just giving an overview which hopefully will inspire you. to continue. Um. And later in the course, we'll actually look at the details of how we build these. uh... But the basic idea is that you will have neurons And each neuron is tuned to one particular stimuli. Like in this case, an edge. that happens in this part of the image. Thank you. So our nature is basically a contrast between light and dark.
[49:41] And when that neuron sees this, it will fire. FIKE gets produced. several spikes start getting produced. If a neuron doesn't see this, it doesn't fight. And this is the basis for constructing a neural network. something that looks at an image and then when you have 2000 neurons connected to the entire image and some of this units will fire, some of them will not fire. The implication of this is that we're mapping an image to a code.
[50:17] of about 2,000 years. We will see in this course how to learn these. how to learn, what are the-- receptive fields for each neuron. what's What should each neuron be paying attention to? What ages? So this we will learn. for each of these neurons We will learn them automatically from data. And then what researchers have done and deep learning is that they then take the output of these neurons and they feed them to a second network.
[50:50] where they learn again the parameters of that network. And they find that they learn things like the subject parts, and so on, when they use images. when they just train it with, say, images of faces. And then further down up here, you have actually entire faces. So, all this gets done automatically these days and this is essentially what Google was Google was taking one of these large networks and was able to just train it And-- And the way it's trained here will be without supervision.
[51:27] So that's going to be an interesting We're not going to be saying these are images of faces are not images of faces. We will learn how to take a huge collection of images And just by using some concepts, which is basically what you imagine should look like what you see. that very basic idea. If I have a learning system that's capable of imagining Um-- what it sees. it should be able to learn interesting concepts. And that's essentially what Google demonstrated. They took a system where you took many images, The idea had been demonstrated to be fair by many groups in academia.
[52:06] But Google just took it to the next level, very large scale. And so they-- by just training on all sorts of images in YouTube neurons that were capable of recognizing faces emerged. So there's one particular neuron in this ensemble of neurons Every time it sees one of these faces, it fires. So now that's also biologically plausible. There's-- paper. There's a very famous story of the Halle Berry Neuron where neuroscience actually conducted a study where you know, Which animal did I use?
[52:42] for that from the chat. Probably a cat. uh... Humans are not allowed in these things. Um-- that that fires-- has a neuron that fires every time this cat sees Halle Berry, a picture of Halle Berry. Thank you. Thank you. and uh... Thank you. And then they can also, in practice, process. switch this neuron on and because you've learned the receptive fields, you can actually learn, "What is the input that makes this neuron fire?"
[53:18] And that was the picture that made it to the front of the New York Times. century. We're going to see how to compute this picture in the rest of the course. I will also see as to how The same idea that you can reconstruct the input can be used in order to do this sort of-- tracking and be able to complete this seen. in order to make this open. protections. Um... Finally, to end this, this is... the speech recognition that works now these days on your phone It does a first level which is it goes from sounds come to central coefficients. That's sort of very easy.
[53:59] - Two, two? Standard. It then uses a deep learning, again, a neural network to go from those basically sound features. to features that can be fed into something called an HMM. in order to do recognition. So throughout the course, we'll go and look at the elements Um-- that are necessary sorry to publish And that's pretty much it. So the next class will start already with--with the--with the covering supervised learning.
[54:30] And we'll start with linear models because they happen to be very easy to understand and I'll let him hold it. Thank you. Bye. Thank you. Thank you. Next time, I want Russia.
[55:10] Yes, yes. The station is a large, multi-use station with a capacity of about 1,000 people. The station is a large, multi-use station with a capacity of about 1,000 people.
[56:10] Thank you. Yeah, I know.
[57:10] Thank you. *Captions by Project readOn* Thank you.
[58:40] I'm just sitting there. I don't think we're in a federal situation.
[59:40] .
Vidleafワークベンチで開く
トランスクリプトを検索し、行を選択し、タイムスタンプ付きの引用をコピーし、翻訳します。
帰属
Nando de Freitasによる「Machine learning - introduction」（https://www.youtube.com/@profnandodf）、CC BY 3.0（https://creativecommons.org/licenses/by/3.0/）の下でライセンスされています。ソース動画：https://www.youtube.com/watch?v=w2OtwL5T1ow。このページは動画のテキスト文字起こしであり、段落区切りとタイムスタンプが追加されています。作成者はVidleafと提携しておらず、Vidleafを推奨していません。VidleafはAIによる句読点とAI生成の要約を追加しました。元の文言はこのページで引き続き利用可能です。
あなたは制作者または権利者ですか？訂正や削除をリクエストする：copyright@vidleaf.app（これらのページについてを参照）。
最終更新