Aprendizado de máquina - introdução

[0:00] Vou reproduzir isto e então apenas seguir as instruções aqui no topo. Obrigado. Obrigado. Obrigado. Obrigado. Obrigado. Obrigado. Obrigado. Obrigado. OK, então quais mudanças vocês-- perceberam na cor do Mais alto das portas.

[0:36] Nesse ritmo. Perdão? Não vou gritar. Oh, sim, o sinal, o sinal de participação mudou. Obrigado. O que mais mudou? E isso é para todos, 340. Obrigado. O quê? O corrimão desapareceu. Obrigado. Então, em particular-- Havia-- este link vermelho desapareceu. o sinal É aquele amigo? Obrigado.

[1:09] O prédio à direita. Quantas pessoas acham que este prédio à direita é completamente diferente do inicial Vá em frente. Há 340 pessoas. OK. Quantas pessoas acham que havia um cachorro aqui na frente? Suba esta porta. Há três, quatro pessoas. Não havia. Eu estava apenas brincando com vocês. Há uma pessoa ali. Esta era a imagem original. Então, como podem ver, o prédio não era rosa. Era um prédio diferente.

[1:43] Havia janelas no topo em vez de portas. O corrimão estava completo. havia pessoas, havia uma petição assinada E-- tudo isso mudou diante dos seus olhos. e a maioria de vocês estava completamente alheia à maioria dessas mudanças. Vou reiniciar e reproduzir mais uma vez. só para ilustrar o ponto de que mesmo que você saiba que essas mudanças estão acontecendo. você ainda assim não será capaz de ver todas elas.

[2:18] Você verá algumas, mas não verá todas. E é porque seu olho não vê o mundo. Você não tem o mundo na sua cabeça. Sua cabeça é pequena demais. o mundo não pode preenchê-la. Então o que você faz é seu olho se mover. e olhar para o mundo cerca de três vezes por segundo, e então você compõe com esses casos uma imagem do que é o mundo. E a maior parte do que você vê é na verdade imaginada. E a imaginação desempenha um grande papel neste curso. Este curso, em grande parte, é sobre imaginação.

[2:50] Se você consegue imaginar o mundo. isso significa que você aprendeu. o que é o mundo. Os vídeos também ilustram uma coisa importante, E é que-- Se você quisesse programar uma máquina que vê, Estamos enfrentando um problema sério aqui. Porque achamos que sabemos como vemos e o que vemos. E ainda assim acabei de provar a você que essa noção está na verdade errada.

[3:23] que na verdade não sabemos como vemos. veja e agora se não sabemos como vemos Como podemos codificar? e ou Python ou MATLAB. e dizer a uma máquina para ver. torna-se extremamente difícil porque não podemos introspeccionar E se não podemos introspeccionar, é muito difícil replicar um cérebro. Obrigado. Certo. Isso-- a introdução de um minuto ao tópico de hoje.

[3:57] que será apenas a sua-- primeira aula. E na aula de hoje, eu vou-- contar um pouco sobre o que é aprendizado de máquina. E onde você pode usar aprendizado de máquina? Vou falar sobre o tipo de revolução dos big data, por que o aprendizado de máquina de repente se tornou e comprovado pelo fato de que agora temos acesso a zilhões de dados. poder computacional para processar esses dados. Obrigado. Vou falar sobre--sobre o--sobre o--sobre o--sobre o--sobre o--sobre a Parte do curso-- algo que vai ser uma Grande parte do curso, sistemas neurais, e como nos inspiramos em sistemas biológicos para construir máquinas de aprendizado.

[4:40] E finalmente, vou apenas-- tocar em algumas aplicações. que espero que já comecem a dar alguma motivação para o que fazer no seu projeto. Certo. Então, como ensinamos as máquinas a ver? coisas Então, um dos grandes problemas é que o mundo não é fácil de descrever. Se você quisesse dizer a uma máquina como reconhecer uma girafa, isso seria muito difícil porque existem girafas de todos os formatos. Pode não ser tão ruim quanto essas girafas aqui, que foram exageradas.

[5:17] Mas é muito difícil dizer a um computador o que é uma girafa. porque elas vêm em todos os tipos de formas ou em fundos diferentes Você poderia ter uma girafa na África, mas de repente, você tem uma girafa na neve. Calgary em breve. E pode ser uma girafa albina, caso em que a cor então ajudaria. Hum. Então, como ensinamos--como codificamos? o que é o Azure Office. Acontece que é extremamente difícil. ou E um problema ainda mais simples, como codificamos-- o que é um rosto Como dizemos a uma máquina Que há um rosto naquela imagem.

[5:54] E isso é meio que-- algo que você considera garantido porque-- todos os seus iPhones ou celulares têm detector de rosto. Suas câmeras hoje em dia vêm com FaceTime. detector. Você usa o Facebook, ele tem detectores de rosto. Ele sabe onde estão os rostos. nas imagens. hora. Quantos de vocês sabem como construir um detector de rosto? Há apenas três, quatro alunos com as mãos levantadas. Vocês viram random forests. Não coloque combustível. Talvez faremos isso neste curso como exercício de casa.

[6:28] Construir um Facebook. É muito fácil com tecnologia de aprendizado de máquina. Mas se você tentar fazer isso codificando, é extremamente difícil. Então, uma anedota que eu sempre conto às pessoas é que, Uma vez eu estava fazendo-- consultoria para um fabricante de carros no Japão e quando eu sentei eu estava fazendo uma visita lá à fábrica. E eu sentei no carro. E ele imediatamente sabia onde estava meu rosto. Então há uma câmera. e intenção para que eles saibam o que estou fazendo, o que estou olhando. e se estou adormecendo.

[6:59] guerra. produtos de chá ligados. E então, mas então, Um amigo meu, Jesse, que agora é professor em Waterloo, E Jesse é alto e loiro. E essa coisa não conseguia encontrar o rosto dele. E a razão é porque havia apenas engenheiros japoneses nisso. E eles codificaram os rostos essencialmente sobrancelhas escuras, e olhos, e assim por diante. Então o sistema, o sistema hand-corder era extremamente frágil. Então é como um sistema codificado para reconhecer seu op.

[7:32] e condições ideais. mas impossível reconhecer você quando fugindo de um predador. Tchau. A solução de aprendizado de máquina é-- Coletar uma grande coleção de imagens de rostos. Estas serão de todos os tipos de pessoas diferentes. e populações e assim por diante. e então criar um algoritmo muito simples que permitirá detectar rostos. Então você não pode dizer a uma máquina-- Como?

[8:06] Você não pode escrever um programa que diga às máquinas exatamente o que é um rosto, mas você pode codificar um programa que... diga explique à máquina estes são rostos. Estes não são rostos. E então deixe a máquina aprender automaticamente o que é que diferencia um rosto de um não-rosto. E essa é a abordagem de aprendizado de máquina. É baseada em exemplos em vez de nós dizermos as regras. Deixamos as máquinas descobrirem quais são as coisas, quais são as características, nós as chamamos de características ou padrões, ou estatísticas que tornam um rosto diferente de qualquer outra imagem.

[8:47] Então a primeira parte é coletar essa enorme coleção de imagens de rostos. Você então coleta um grande conjunto de dados de rostos conhecidos. E-- O resultado é este. É assim que seus-- detectores de rosto são construídos. Hum. Vou mostrar como fazer isso no curso com uma técnica chamada random forests. e assim você pode ter bons eletrônicos de consumo e assim por diante. Hum. Claro, não é só para rostos. Você poderia fazer isso para qualquer coisa. qualquer objeto. Então você pode tirar muitas imagens de pedestres, e treinar uma máquina para reconhecer pedestres.

[9:24] Agora, por que eu iria querer que uma máquina reconhecesse pedestres? Obrigado. O que você quer dizer? carros automatizados. Carros automatizados não estão longe. Eles já foram aprovados na Califórnia. Hum, e, hum... Em breve. uh... esperamos ter carros automatizados nas ruas. Hum... Estou tentando lembrar um número vinte ou quarenta Ou 20 ou 40.

[9:56] Eu configurei meu poder para confundir. Ou 20,000 ou 40,000 pessoas morrem todos os anos nos Estados Unidos em acidentes de carro. principalmente pedestres. Para colocar isso na importância deste projeto, em contexto, imagine a população de UBC desaparecendo todos os anos. Esse é o custo. de não dirigir adequadamente e depender de humanos Tente. Na Índia, quando verifiquei alguns anos atrás quando estava visitando, Era 113,000 pessoas.

[10:31] essa carreira que pode ou não ser ruim dependendo de como você conta. Agora, hum... Na verdade, é ruim independentemente de como você conta. 113,000 sobe. Enorme número de pessoas. Obrigado. Então-- Mesma ideia. *tosse* Você ensina uma máquina, aqui está um monte de imagens, neste caso imagens de carros, E então novamente, sistemas comerciais hoje em dia, como o Mobile já são capazes de detectar chamas, detectar carros e assim por diante.

[11:06] Então-- Mas a chave para todas essas grandes inovações, poder ter um automático-- porque sem essas inovações, não seria possível de jeito nenhum ter um carro automático. Porque como você poderia implantar um carro que não consegue ver e entender o que é um pedestre na frente dele. isso seria como assassinato. Hum... a chave foi chegar a essa percepção de que podíamos ensinar máquinas. o que elas captam. Então este curso, de fato, será sobre como escrever os programas que permitem às máquinas capturar dados E.

[11:42] decidir o que é um rosto e/ou o que é um pedestre, e assim por diante. Hum. Agora, existem outras máquinas de aprendizado por aí, e essas máquinas de aprendizado são os humanos. Os humanos são muito bons. Na verdade, não só os humanos, todos os animais são muito bons aprendizes. Hum. Os humanos são particularmente bons. Hum. e estou prestes a testar agora. quão bons os humanos são em aprender com este exemplo. Então, eu destaquei aqui, eu tenho um monte de imagens.

[12:15] de objetos. quais três deles eu estou chamando de tufas. Certo, vocês não os rotularam colocando uma caixa vermelha ao redor deles. Então agora a pergunta para vocês é quantos de vocês acham que este aqui que eu estou apontando com a seta é uma tufa? Certo. a maioria. Quantos de vocês acham que este é um two-fly? E este aqui? Esse é um cético.

[12:48] E este aqui? Esse é uma tufa? Só um? Então vamos para uma amostra interessante, esta aqui. Obrigado. Certo, não, não tantas pessoas. Hum... Esse aqui. - Esse aqui? Pessoas queridas, Sim. OK, vamos escolher alguém que gosta Vamos começar com aquele.

[13:21] Por que isso é uma tufa? Deus te abençoe. caule, e meio que tem raízes. e OK, caule, raiz, e uma cabeça. É isso que faz dela. uma tufa. Uh... Quem mais gostaria de comentar por que disse que algo é uma tufa? ou não. - Olhando para o cachorro, o Tem uma carranca longa. Tem uma parte solta.

[13:52] meio que uns Red Bulls. Obrigado. Vamos lá. É difícil descrever, mas de algum jeito você sabe. Porque você-- muito confiante para levantar a mão ou manteve as mãos abaixadas. Mesmo que você não conseguisse descrever, dizer que aquilo era uma tufa ou não era uma tufa. Viu? Vocês sabem o que é um two-finger? Obrigado. a maioria das pessoas Mais alguém?

[14:23] Obrigado. Obrigado. Então... Isso ilustra várias coisas. Uma é quão rapidamente você aprende o que é uma tufa. Vocês nunca viram uma tufa, pessoas. talvez no campo de dados de vocês, Mas vocês aprendem muito rapidamente o que é uma 2P. Obrigado. a partir de pouquíssimos exemplos. Hum... Nem todos vocês têm a mesma opinião sobre o que é uma tufa, é por isso que fiz várias perguntas. Então é um tanto subjetivo. Mas há, no entanto, forte concordância Hum... E então... Há características que fazem uma tufa ser uma tufa, seja um caule longo ou as pernas cabeça Hum...

[14:59] *tosse* Mas em geral, nem estamos pensando nessas características quando as extraímos conscientemente. É no subconsciente. Muita da extração de características e interpretação do mundo é feita pelo subconsciente. O subconsciente é muito poderoso. talvez mais que o consciente. Hum. Gostaríamos de projetar máquinas capazes de fazer isso. que conseguem ver alguns exemplos de dados, E apenas a partir de poucos exemplos, conseguem aprender novos conceitos muito rapidamente.

[15:32] As máquinas não são capazes de fazer essas induções. SALTOS. como Josh e Yvonne chamam. Então o aprendizado de máquina é sobre Ser capaz de extrair as características, ou os padrões, ou as estatísticas. A coisa que nos faz dizer o que é uma tufa, E uma vez que você tem essas características, E você pode não fazer isso conscientemente. Nós humanos não fazemos isso conscientemente, e é por isso que É difícil. tentar codificar as coisas à mão, e em vez disso temos que depender das máquinas.

[16:07] é extrair os padrões que fazem uma tufa. Os padrões que fazem um rosto ou um pedestre, E então, uma vez que você tem esses, fazer uma previsão. Onde uma previsão pode ser como uma decisão. decidir se algo é um rosto ou não é um rosto. se algo é uma tufa ou não é um rosto. ou uma previsão de natureza diferente, como, essa coisa vai me comer? Devo fugir? Isso é muito perigoso ou não? Obrigado.

[16:39] Existem outros tipos de tarefas preditivas que são muito populares agora, então vou mostrar algumas delas rapidamente. Hum. previsão. Hum... E isso eu farei como exemplo na próxima aula. Muitas vezes estamos vendo isso -- prever quanta demanda de energia seu prédio precisa, porque com base nisso você pode ajustar Hum... você sabe, quanta energia você compra. E -- você sabe, potencialmente economizar. Hum... Gastar os fins dos dólares. para a economia.

[17:10] Obrigado. Você pode querer prever vendas. Se você trabalha para a Lululemon, você vai prever quantas pessoas vão atrás do rosa Esse é um -- na Taskware. O aprendizado de máquina é realmente muito útil. Certamente o GAAP e assim por diante lojas em toda a América do Norte muito -- série de outros aprendizados de máquina. Obrigado. Você pode querer -- você pode querer -- você pode querer -- você pode ter avaliado alguns filmes E então você gostaria que uma máquina avaliasse automaticamente o restante deles para proteger o que você teria quantas estrelas você teria atribuído a qualquer outro filme para que eles possam construir um sistema de recomendação melhor.

[17:48] Hum... você pode querer usar aprendizado de máquina depois de ensinar ao aprendizado de máquina o que é um vírus HIV você quer que a máquina seja capaz de então detectar qualquer desvio dessa coisa que ela está monitorando de ser um vírus. Em outras palavras, você quer que as máquinas detectem mutações. Agora essas são muito importantes porque no momento em que você detecta uma mutação você pode escolher um tratamento diferente uh... tratar o vírus.

[18:21] Hum. A razão pela qual usar seus cartões de crédito é tão fácil hoje em dia é porque existem sistemas de pontuação de crédito muito bons. Então o aprendizado de máquina classifica isso rapidamente. determinará se você -- uh... se você passa no teste ou não, se você é digno de crédito ou não. Então muito da nossa economia já -- depende do uso de Dinheiro clássico em grande escala. bem como médica você sabe, diagnóstico.

[18:51] em coisas como noces de mamografias e assim por diante é algo que as máquinas eventualmente fazem muito melhor do que hum Humanos. Ranking, outra tarefa onde o aprendizado de máquina é muito útil. Então se você usa a pesquisa de imagens do Google, por exemplo, muitas vezes você faz uma pesquisa. e então você clica em uma imagem. Quando você faz isso, você basicamente está dizendo ao Google, Ei Google, para esta palavra, Esta é a imagem que corresponde a ela.

[19:21] E é assim que a Pesquisa de Imagens do Google ficou cada vez melhor ao longo do tempo, porque nós -- nós Todos os humanos estávamos rotulando as imagens clicando. Muitas vezes você faz uma pesquisa por um termo de aprendizado de máquina. E no topo, as primeiras 50 imagens mostradas, há essas fotos de modelos sensuais. E isso é porque é aí que as pessoas clicam quando pesquisam por máquinas de vetores de suporte ou qualquer técnica que queiram. Então há algumas falhas no algoritmo, o que é o que me fez perceber o que era que eles estavam fazendo.

[19:54] Obrigado. uh... E é claro -- Hum... Nesse enorme fluxo de informação em que vivemos hoje, ser capaz de resumir informações também é importante. E já existem muitas ferramentas que tentam condensar informações para você, seja notícias ou qualquer outro tipo de informação, e disponibilizá-las. Uma dessas ferramentas é -- hum, foi o Zite, e foi construído por dois estudantes que fizeram este curso muitos anos atrás, minha aula e Eric Berchu.

[20:26] Eles, junto com alguns capitalistas de risco aqui na BC, eventualmente construíram esta empresa que foi vendida para a CNN. Se você for ao site da CNN, os algoritmos que alimentam a CNN foram desenvolvidos aqui. Ok, então... e finalmente Hum. Muitas vezes falando sobre IA, acho que o aprendizado de máquina é a verdadeira IA. certamente um enorme componente da IA.

[20:58] ou é necessário para construir máquinas inteligentes, mas é certamente um enorme componente E um grande progresso foi feito na última década. Muito obrigado, Imran. Obrigado. Agora, quando precisamos de aprendizado de máquina? Quando nossa expertise está ausente. Se você quer enviar um robô para Marte, Hum... Controle remoto não vai funcionar, porque leva muito tempo para transmitir o sinal. Então você precisa de um robô que possa entender o ambiente, e que possa se reparar, e assim por diante. Obrigado. Hum... Pelo vídeo, ficou claro que não conseguimos entender como vemos ou reconhecemos.

[21:34] coisas, ou mesmo não entendemos como Nós -- vemos conceitos a partir de sons. E então -- a falta de capacidade de introspecção motiva o uso de aprendizado Hum... Também é útil quando você está lidando com problemas que mudam constantemente. Como se você estivesse tentando dar a alguém boas recomendações para, sei lá, gatinhos ou cachorros ou o que quer que as pessoas recomendem hoje em dia na web.

[22:06] Hum. O interesse das pessoas muda com o tempo. E então se você dependesse de curadores, Hum... isso seria -- exigiria muita coragem. Então é importante Hum. automatizar para ter sistemas automáticos para que À medida que os interesses das pessoas mudam com o tempo, você ainda possa fornecer a elas o conteúdo de que precisam. Hum. Conectado a isso está -- este problema de que muitas vezes cada um é diferente. Se eu quisesse recomendar notícias, eu não teria que construir um sistema de recomendação de notícias para cada pessoa diferente.

[22:41] porque cada pessoa Isso significa que se eu tenho um milhão de clientes, eu precisarei, digamos, -- em vez de ter um milhão de curadores, o que eu quero tentar ter é um milhão de conteúdos de recomendação automática. Hum... E é claro -- Hum. para problemas em que nós humanos não conseguimos raciocinar. E quando você trabalha para um mecanismo de busca, para uma empresa fazendo análise web, logo fica claro que você não pode confiar em regras de -- você não pode confiar em pessoas para fazer as coisas A escala do problema é tão grande que você realmente precisa depender do aprendizado de máquina.

[23:31] Agora, dados. Os dados -- aumentaram muito nos últimos anos. Em Hum, como -- Lon, Halaby, Peter Norbeck e Fernando Pereira, pesquisadores do Google, de alguns dos principais pesquisadores em linguagem do Google. Hum. apontam no artigo. em 2009. Em 1960, sete Hum. Um milhão de palavras era considerado um grande conjunto de dados. Em 2006, eu nem sei qual é esse número.

[24:03] Hum -- Trilhão. É isso. Obrigado. uh... Obrigado. Conjunto de dados de palavras é o que era considerado um grande conjunto de dados na academia. Então houve enormes ordens de magnitude. nos conjuntos de dados que vocês são capazes de realmente gerenciar em suas conversas pessoais. E então se você for para Amazon EC2 e assim por diante, fica ainda mais divertido. Quais foram as histórias de sucesso da linguagem.

[24:37] Estou fora. nos últimos anos. sucesso tecnológico. Watson. Perdão? O que é isso? Watson? Jeffrey Lee Chan. Fofo. história de sucesso. Histórias de sucesso como -- E que eles realmente criaram receita para muitas pessoas e resolveram os problemas das pessoas. Google Translate. ERIC SCHMIDT: Mas Watson é um bom exemplo. Google Translate. Esse é brilhante. Porque... Hum.

[25:07] Minha esposa pode estar na Aritzia fazendo o trabalho dela, e ela precisa de tecidos da Índia, e ela precisa de alguém para tecer esses tecidos na China, E ela está enviando e-mails para todas essas pessoas na Índia China. que podem estar falando híndi, que podem estar falando mandarim, e todos eles são capazes de se comunicar porque todos estão usando o Google Translate. Então isso revoluciona completamente o comércio eletrônico. porque agora o mundo se torna um lugar menor. Você nem precisa que todos falem a mesma língua para se comunicar.

[25:40] Ocasionalmente, há alguns problemas com isso. É mais ou menos assim que as pessoas fazem as coisas. mesmo em pequenas empresas em Vancouver, é assim -- é assim -- é assim que estamos indo as corporações são capazes de se envolver em negócios globais. com seu produto. Qual é outro exemplo? A Apple o comercializou. fortemente. terno Reconhecimento de fala. Então, é teoria de reconhecimento de imagem e Mais ou menos. Muitas partículas.

[26:12] Estamos no Canadá. Mas -- Google. o reconhecimento de fala funciona extremamente bem. Não sei se você experimentou recentemente. Se o reconhecimento de fala no celular. A coisa bonita também é que toda vez que você acerta ou erra, Você fornece feedback. para o Google. melhorar. Então estou assumindo que o reconhecimento de fala é um daqueles resolvidos. Hum. Como -- você Obrigado.

[26:45] professor combinado do ano Saúde. É muito estranho. pelos meus livros. Perdão? Algo como tradução em tempo real. para outro idioma. E... Oh, sim. Você pode até fazer as duas coisas. Então eventualmente seremos capazes de falar se você quiser. Sim, como ficção científica. Onde todos nós podemos... Talvez eu fale por toque. Pai. Eu não ficaria surpreso.

[27:17] Em termos de reconhecimento de fala usando redes profundas, Hum. algo que vou abordar mais adiante no curso. Há duas equipes fazendo isso. A primeira equipe que começou foi na verdade na soft. E então o Google começou nisso. E então eles estão usando mais ou menos a mesma -- tipo de infraestrutura. sobre isso. coisa comum entre todos esses? é que há muitos dados. Há muitos dados em dois idiomas. E há -- muitos -- em outras palavras, dados correspondentes. Então este é o texto em francês e esta é a tradução.

[27:55] hum E o mesmo para reconhecimento de fala. As pessoas criaram esses enormes conjuntos de dados. Além disso, os conjuntos de dados continuam ficando maiores a cada minuto porque onde empresas como Google e Microsoft e assim por diante foram brilhantes é que elas oferecem um serviço e se você não gosta da tradução Elas permitem que você a corrija. E agora por causa disso, você está sempre fornecendo dados para essas empresas melhorarem. em fornecer seus produtos. Então eles estão aproveitando a multidão.

[28:26] Obrigado. uh... Agora, para muitas dessas aplicações, você realmente precisa de muitos dados. Muitos dados são essenciais. Se você vai fazer reconhecimento de fala, Realmente, o obstáculo não é nem saber como construir a tecnologia. Hum... mas é realmente ter os dados. para treinar a tecnologia. Dados são a mercadoria. Sim. Aqui está um exemplo para ilustrar este ponto. por Alyosha Efers na CMU. Então ele tinha inicialmente uma imagem que ele não gostava muito porque tinha uma casa Então o que ele queria era -- eu poderia remover esta casa?

[29:05] Então você pode obviamente removê-la. E então a questão é, Se você tem uma coleção de outras imagens da web, Você pode usar esta outra coleção para preencher isso? Você sabe. de uma forma que ficará melhor que isso. Se -- ele descobriu que se usasse algumas imagens, não funcionava. Mas então quando ele aumentou isso, Ela foi capaz de fazer as máquinas comporem automaticamente novas imagens Isso -- ainda parecem muito plausíveis. Para isso acontecer, você realmente precisa de muitos dados.

[29:42] Agora, voltando aos caras do Google, eles dizem, No artigo deles -- que eles resolveram o problema de como fazer as pessoas contribuírem com dados. E -- Certamente Facebook e Google fizeram um ótimo trabalho nisso. Hum... Dave? Eles afirmam ter resolvido o problema tecnológico de agregar e indexar os dados. Eles fizeram isso até certo ponto, e o Google certamente fez um bom trabalho. Ainda há muito a ser feito.

[30:14] Mas o mais importante é o fato de que Ainda não interpretamos o conteúdo. Então aqui está um exemplo, correspondência de citações. Agora, quando você faz uma pesquisa no Google, você essencialmente usa um índice invertido e procura aquele termo na pesquisa e verifica se essa palavra exata aparece na página da web e então traz de volta essas páginas da web. E então há alguma classificação que é feita usando um algoritmo que -- se você fizer o exercício de Python no site de Python, esse será -- essa será uma maneira de aprender a aprender como codificar um mecanismo de busca do Google.

[31:04] Agora... No entanto, o problema de fazer a pesquisa dessa maneira é que ela é muito baseada em popularidade. O Google é uma máquina de popularidade. Agora, um contra-exemplo é a correspondência de citações. Então a correspondência de citações é o problema de tentar decidir se duas citações. Então em artigos científicos, você sempre cita o trabalho de outras pessoas no final. Então isso é algo que você fará quando escrever seu relatório para o seu projeto.

[31:38] Decidir se duas citações são a mesma é, na verdade, comprovadamente extremamente difícil. E isso porque as pessoas frequentemente erram os nomes. Muitas vezes escrevem o volume ou não, incluem as páginas, ou têm as páginas erradas. E o que costuma acontecer muito com acadêmicos é que, se eu cito um trabalho e não acertei o número da página, e então outra pessoa quer citar meu trabalho, mas meu trabalho na verdade remete ao outro artigo. Eles não leram o outro artigo, mas simplesmente o citam mesmo assim. E o que fazem é copiar a citação.

[32:14] E também você está a apenas algumas horas do prazo, tem que entregar um artigo que é só recortar e colar com um monte de citações. Você vai ver o que quero dizer quando for entregar o projeto no final. E então o problema com isso é que, se algo está errado, pode se propagar muito facilmente. Agora você tem 898 citações com o número de página errado e 22 com o número de página certo. Se você for apenas pela popularidade, vai escolher aquelas. Então você tem que fazer outra coisa. Você tem que realmente fazer uma intervenção para conseguir resolver esse problema.

[32:54] Deixe-me mostrar outro exemplo disso. Um... Este é o problema da extração de informação. E eu adoraria ver alguns projetos sobre este tópico no curso. Então este motor de extração de informação é de Oren Ezioni e Dan Weld, que são professores na Universidade de Washington em Seattle.

[33:26] E então isso permite que você digite coisas como Obama. Casado. E agora estamos começando a fazer algo um pouco mais interessante, algo com valor semântico, não apenas uma consulta, como, você sabe, não apenas-- colocar algo como Obama casado e recuperar um monte de páginas que dizem Obama casado, mas você realmente quer saber quem casou com Obama ou com quem ele se casou e se você fizer uma busca E eles fazem isso extraindo triplas de substantivo, verbo, substantivo da web.

[34:08] E então é isso que você obtém e os números que estou imaginando é a frequência. Essa é a web. A web tem verdade, mas a web também está cheia de lixo. E extrair informação de forma confiável da web apenas usando contagens de popularidade é extremamente difícil. E a única maneira de consertar isso é intervindo. E bem, há duas maneiras de fazer isso. No momento, eles usam um monte de regras. E esta é a melhor, por sinal.

[34:44] Este é o creme, o que você está vendo aqui, quanto ao que podemos fazer hoje. Este é o tipo de coisa que o Google vai usar. e assim por diante. provavelmente e muitas empresas usam. Orin Asuncion é um grande empreendedor e vendeu muitas empresas usando esse tipo de tecnologia. Se quisermos ir além disso, há duas rotas. Uma é começar a parametrizar essas regras. Porque no momento, os linguistas tendem a criar todas essas regras de sintaxe e assim por diante.

[35:19] Tem que ser um sintagma nominal seguido de um sintagma verbal seguido de um sintagma nominal e assim por diante. Ou então eles começam a adicionar um monte de exceções. Se você pudesse simplesmente parametrizar tudo isso e então ter uma máquina de aprendizado estimando quais são os melhores, prever rótulos, e então ter pessoas votando sim/não nos rótulos. Se você pudesse criar um aplicativo legal que permita às pessoas fazer isso, aprenderíamos a fazer extração de informação muito melhor. Mas se você quer descobrir a verdade, em última análise precisamos lidar com o conceito de causalidade. Precisamos realmente saber o que é... precisamos conduzir um experimento.

[35:56] ou precisamos realmente sondar, precisamos conduzir uma ação para conseguir realmente descobrir. Teríamos que fazer algo agora, depois deste ponto. Teríamos que clicar, teríamos que fazer alguma pesquisa, e teríamos que decidir como vamos fazer essa pesquisa para poder descobrir a verdade. Então a ação é necessária para a verdade. Isso me leva à próxima parte.

[36:38] que é-- Aprendizado não é algo que simplesmente acontece onde você tem muitos dados e então aprende com eles. Foi assim que fiz em 340, para aqueles ali. Mas em 540, também vamos olhar quando nós realmente ativamente vamos buscar os dados, quando fazemos intervenções. Porque a maioria dos sistemas não se trata apenas de... ser inundado com dados e fazer algo como resultado, mas você realmente faz intervenções no mundo. E a maioria dos dados, você sabe, para obter dados conduzimos experimentos. Quer dizer, isso está praticamente no cerne do método científico.

[37:20] Se queremos entender algo, precisamos realizar ações. Então, vou fazer um pouco de causalidade este ano neste curso porque acho importante. eventualmente para ter verdadeira compreensão. Certo. O curso também terá muitas redes neurais. E recentemente, tem acontecido muita coisa legal em uma área chamada aprendizado profundo. Quantos de vocês viram a rede de aprendizado profundo do Google Frontline no New York Times?

[37:59] Um, então o aprendizado de máquina foi grande nas notícias. Grande o suficiente para que duas pessoas, três pessoas, quatro, cinco conseguissem ver. Estava na primeira página do New York Times. Então o Google estava alegando que havia construído essa rede neural que pode olhar vídeos do YouTube e, só fazendo isso, pode aprender o que é um gato ou o que é um rosto e assim por diante. E então vamos examinar cuidadosamente esse experimento neste curso.

[38:29] estado da arte em aprendizado profundo. Mas nem é preciso dizer que houve avanços realmente incríveis nos últimos três anos nesta área que estão nos aproximando muito mais de fazer reconhecimento ativo de objetos em geral. O reconhecimento de fala que melhorou muito nos últimos-- na Microsoft e no Google, a razão pela qual melhorou foi por causa desse aprendizado profundo. E então uma boa parte do curso, e é tudo muito inspirado biologicamente. E então vamos cobrir isso no curso.

[39:03] Vai ser quase como um terço do curso. Não vou entrar em neurociência, mas não estarei nessa pequena caricatura aqui na tela, que é: há um cérebro. Se você está olhando informação visual, há um sinal visual que entra no seu olho. Novamente, esse sinal visual é muito pequeno, e é dinâmico, e é do tamanho do seu, a parte de alta resolução é do tamanho do seu polegar.

[39:37] - A esta distância. e então o menos, a resolução mais baixa, cerca do tamanho da sua mão. Mas você realmente não vê muito. Isso é realmente em grande parte imaginado. Então há-- tudo passa por-- este nervo óptico até a parte de trás do seu cérebro, que é a primeira parte da visão, e tente fazer isso, tente bater na parte de trás da sua cabeça. As coisas ficam pretas. Há uma razão. É onde está sua visão.

[40:10] Aqui com o LGNAs há cerca de um milhão de fibras. Então isso começa a dar uma ideia aproximada de qual é a resolução dessa imagem, mil por mil. E então lá atrás, há uma área chamada V1, que é muito interessante. Agora vou ter que dizer algumas coisas sobre isso. Ora, o cérebro é um bom dispositivo de memória e é um dispositivo preditivo. A maneira como armazenamos coisas no cérebro é de forma associativa.

[40:45] E o que quero dizer com isso é, por exemplo, algo assim, onde há-- se você quer recuperar algo, quando você apresenta uma nova consulta, como neste caso, um avião com nuvens, você recupera um avião. Então ele entende que há um avião ali. Um... Quem não se importa de dar o telefone? Você pode dizer seu número de telefone em voz alta para frente? 604-442-7185.

[41:19] Você pode dizer de trás para frente? Eu ouvi 280. - Ok, então significativamente mais devagar quando ele diz de trás para frente. E a razão é porque você realmente não processa números como um computador faz. Você não armazena números, tipo, você sabe, com uma memória de acesso aleatório ou algo assim. O que você aprendeu é esse padrão que você repete, que é 7782391190. Tão fácil, porque é assim, você armazena esse padrão, que é o seu número de telefone. Você não armazenou os números.

[41:55] armazenou um padrão, aquela sequência, o mesmo vale para o alfabeto. muitas pessoas não têm problema em dizer o alfabeto para frente, mas as pessoas têm dificuldade em dizer o alfabeto de trás para frente porque o que aprenderam e armazenaram são padrões, ok, sequências e assim por diante, então eu tenho uma experiência diferente, não sou falante nativo de inglês, mas quando estou dizendo meu número de telefone para alguém, usando chinês, bem rápido. Então quando estou falando usando inglês, leva um tempo.

[42:33] Então meu sentimento é que quando estou falando meu número de telefone usando inglês, eu... a imagem do meu número de telefone e leio aquela imagem. E acho que essa pode ser a parte onde o tempo está. Sim, é verdade. Mas você está fazendo isso por associação. Então associação, por sinal, aqui eu fiz associação com tempo, mas poderia ser espacial. Na verdade, muitas pessoas que são muito boas em memorizar coisas, é porque pensam em uma imagem.

[43:07] Como se eu te der uma lista de 100 objetos, então o que eles tentam fazer, 100 é na verdade exagero, 10 objetos. Então a maioria das pessoas acharia realmente difícil lembrar de 10 objetos. Mas se eu, os que são bons nisso, eles compõem uma imagem com os 10 objetos. e então eles apenas recitam essa imagem. Mas eles criam um padrão e um contexto, e isso torna mais fácil. um pouco semelhante ao que você está dizendo. O ponto chave é que a memória é associada.

[43:41] um jogo, para hoje. Se você tivesse que escolher um destes para ser uma aranha, qual seria? Uma aranha saltadora. Quantos de vocês já viram uma aranha saltadora? Elas estão por toda parte. Então quantas pessoas votariam neste primeiro cara sendo uma aranha saltadora? Você só pode escolher um, então há dois votos para este. Este. Zero. Próximo.

[44:12] Zero. Próximo. Três votos, quatro. Próximo. Quatro. Próximo. Um, três. Este cara. Um voto, dois, três. Próximo cara. Ok, então é tipo, e quanto a 30? Ok. Agora...

[44:45] Se compararmos esses números, então aquelas eram imagens que foram mostradas a uma aranha saltadora macho para ver se aquele macho veria isso como uma fêmea que quer fazer sexo de aranha. Você nunca esperou que eu fosse te surpreender com essa. Então-- e O ponto aqui que quero ilustrar é que até pequenos animais não estão tão longe de nós em termos de sua capacidade de nos reconhecer.

[45:15] Então as aranhas são realmente capazes de reconhecer caricaturas simples, desenhos. Então não apenas imagens reais de-- essa é uma aranha saltadora. E aqui você vê aquelas aranhas saltadoras reconhecendo, podem reconhecer comportamentos de acasalamento e assim por diante, mesmo quando é apenas de caricaturas e assim por diante. Então aranhas Também, essas aranhas saltadoras, elas são capazes de reconhecer profundidade 3D. e assim por diante, o que é essencial para viajar no mundo. Então, não precisamos chegar aos cérebros de alto nível.

[45:48] Comecei com os cérebros de alto nível, eles estão mostrando um cérebro humano. mas o cérebro de nível muito baixo da aranha é uma peça de maquinário extremamente sofisticada que ainda estamos lutando para replicar com nossos próprios dispositivos eletrônicos. E a evolução é linda, assim como as aranhas aprenderam todas essas incríveis-- uh... características mentais, reconhecimento e assim por diante. Há criaturas que evoluíram, como esta mariposa, que evoluíram para replicar parecer com aranhas saltadoras para que elas não caiam presas delas.

[46:26] Um... A maior parte do que vemos no mundo é codificada em nosso cérebro, mas ainda mais, a localização das coisas no mundo. Como neste caso, o que vemos em vermelho. Então isso é uma caixa. E isso é quadrado. E há uma jangada que se move na caixa. E então o que estamos monitorando é se um neurônio dispara ou não. E como você pode ver, há porções periódicas particulares no intervalo na caixa. onde um neurônio dispara. E é assim que você pode dizer onde está. feche os olhos, apenas deixe esse neurônio fluir.

[46:58] o fogo me diz onde você está. Onde você está está codificado no seu cérebro. Agora, voltando à visão, voltando a isto, Todas essas fibras chegam a este primeiro nível de células. e V1. E as pessoas fizeram o mesmo tipo de experimentos. ali, sondas. em gatos. Obrigado. na parte de trás do cérebro. E então eles atalham essas barras como mostrado na tela.

[47:30] barras verticais e barras horizontais. E quando você faz isso, Um... O experimento é de Hubel e Wiesel. Você pode realmente ver o vídeo completo no YouTube, se você pesquisar no Google Hubel e Wiesel. Um-- O que eles descobriram foi o seguinte. Se-- Se a barra é vertical-- é horizontal, desculpe-- como mostrado aqui no primeiro desenho. Se a barra é horizontal-- que o neurônio não dispara. O neurônio só dispara quando a barra está em um ângulo específico.

[48:05] Ângulo é onde o neurônio começa a disparar. Isso significa que cada um desses neurônios é basicamente sintonizado para-- linhas verticais, específicas. Linhas são diferentes. orientação. Então todos esses neurônios basicamente têm um mapa de idade. do mundo. porque eles disparam-- neurônios diferentes dispararão para bordas diferentes. Agora há muitos neurônios. ali em V1. Cada uma das pequenas caixas nesta colagem é um desses neurônios. E cada um deles vai-- todos 20 milhões ou mais.

[48:37] estará monitorando verificando se há um patch aqui, se há coordenada ali. se há uma borda aqui. E são todas essas características Não apenas as sobrancelhas. Mas são essas 20 milhões de características, quando você faz composições delas, que nos permitem reconhecer se algo é um rosto ou não é um rosto. Elas são todas muito básicas. E é-- Mas tendo essas enormes composições, somos capazes de fazer todos os tipos de reconhecimento. Obrigado.

[49:08] Então a ideia básica-- e vamos repassar isso no curso Eu só... Neste estágio, estou apenas dando uma visão geral que espero que inspire você. a continuar. Um. E mais tarde no curso, vamos realmente olhar os detalhes de como construímos esses. uh... Mas a ideia básica é que você terá neurônios E cada neurônio é sintonizado para um estímulo particular. Como neste caso, uma borda. que acontece nesta parte da imagem. Obrigado. Então nossa natureza é basicamente um contraste entre claro e escuro.

[49:41] E quando esse neurônio vê isso, ele vai disparar. FIKE é produzido. vários spikes começam a ser produzidos. Se um neurônio não vê isso, ele não dispara. E esta é a base para construir uma rede neural. algo que olha para uma imagem e então quando você tem 2000 neurônios conectados à imagem inteira e algumas dessas unidades vão disparar, algumas delas não vão disparar. A implicação disso é que estamos mapeando uma imagem para um código.

[50:17] de cerca de 2,000 anos. Veremos neste curso como aprender esses. como aprender, quais são os-- campos receptivos para cada neurônio. o que é O que cada neurônio deveria estar prestando atenção? Quais idades? Então isso vamos aprender. para cada um desses neurônios Vamos aprendê-los automaticamente a partir dos dados. E então o que os pesquisadores fizeram e o aprendizado profundo é que eles então pegam a saída desses neurônios e a alimentam em uma segunda rede.

[50:50] onde eles aprendem novamente os parâmetros dessa rede. E eles descobrem que aprendem coisas como as partes do sujeito, e assim por diante, quando usam imagens. quando eles apenas treinam com, digamos, imagens de rostos. E então mais para baixo aqui, você tem na verdade rostos inteiros. Então, tudo isso é feito automaticamente hoje em dia, e isso é essencialmente o que o Google estava O Google estava pegando uma dessas grandes redes e era capaz de apenas treiná-la E-- E a maneira como é treinada aqui será sem supervisão.

[51:27] Então isso vai ser um interessante Não vamos dizer que estas são imagens de rostos não são imagens de rostos. Vamos aprender como pegar uma enorme coleção de imagens E apenas usando alguns conceitos, que é basicamente o que você imagina que deveria parecer o que você vê. essa ideia muito básica. Se eu tenho um sistema de aprendizado que é capaz de imaginar Um-- o que ele vê. ele deveria ser capaz de aprender conceitos interessantes. E isso é essencialmente o que o Google demonstrou. Eles pegaram um sistema onde você pegou muitas imagens, A ideia tinha sido demonstrada, para ser justo, por muitos grupos na academia.

[52:06] Mas o Google apenas levou ao próximo nível, em grande escala. E então eles-- apenas treinando com todos os tipos de imagens no YouTube, neurônios capazes de reconhecer rostos emergiram. Então há um neurônio particular neste conjunto de neurônios. Toda vez que ele vê um desses rostos, ele dispara. Então agora isso também é biologicamente plausível. Há-- artigo. Há uma história muito famosa do Neurônio Halle Berry, onde a neurociência na verdade conduziu um estudo onde você sabe, Qual animal eu usei?

[52:42] para isso do chat. Provavelmente um gato. uh... Humanos não são permitidos nessas coisas. Um-- que dispara-- tem um neurônio que dispara toda vez que este gato vê Halle Berry, uma foto de Halle Berry. Obrigado. Obrigado. e uh... Obrigado. E então eles também podem, na prática, processar. ligar este neurônio, e porque você aprendeu os campos receptivos, você pode realmente aprender, "Qual é a entrada que faz este neurônio disparar?"

[53:18] E essa foi a imagem que chegou à capa do New York Times. século. Vamos ver como calcular esta imagem no resto do curso. Também vou ver como A mesma ideia de que você pode reconstruir a entrada pode ser usada para fazer esse tipo de-- rastreamento e ser capaz de completar este visto. para tornar isso aberto. proteções. Um... Finalmente, para encerrar, isto é... o reconhecimento de fala que funciona hoje em dia no seu celular. Ele faz um primeiro nível, que é ir dos sons para coeficientes centrais. Isso é meio que muito fácil.

[53:59] - Dois, dois? Padrão. Ele então usa aprendizado profundo, novamente, uma rede neural para ir dessas basicamente características de som. para características que podem ser alimentadas em algo chamado HMM. para fazer o reconhecimento. Então ao longo do curso, vamos olhar os elementos Um-- que são necessários desculpe publicar E é basicamente isso. Então a próxima aula vai começar já com--com o--com a cobertura de aprendizado supervisionado.

[54:30] E vamos começar com modelos lineares porque eles são muito fáceis de entender e eu vou deixar ele segurar. Obrigado. Tchau. Obrigado. Obrigado. Na próxima vez, quero Rússia.

[55:10] Sim, sim. A estação é uma estação grande e multiuso com capacidade para cerca de 1,000 pessoas. A estação é uma estação grande e multiuso com capacidade para cerca de 1,000 pessoas.

[56:10] Obrigado. Sim, eu sei.

[57:10] Obrigado. *Legendas por Project readOn* Obrigado.

[58:40] Estou apenas sentado aqui. Não acho que estamos em uma situação federal.

[59:40] .