Bard sabe quantas vezes a letra “e” aparece em “ketchup”?

Uma das coisas de que mais gosto no aprendizado de máquina é como ele demonstra, com bastante precisão, que os engenheiros não sabem como as pessoas trabalham. Tome grandes modelos de linguagem, por exemplo. Disseram-me que eles levariam meu negócio, tornando-me desnecessário; Eles são espertos. Eles planejariam o roteiro perfeito para minha viagem a Paris, com destaques para bares e restaurantes Certamente é preciso e completo.

Inspirado por Tweet sobre maioneseAgora, você decidiu fazer uma experiência divertida com o Google Bard.

Eu escolho fazer isso por dois motivos. Primeiro, esse tipo de teste é algo que você faz com crianças pequenas ao ensiná-las a ler. Faça com que conheçam as letras e os sons que fazem. Mas, em segundo lugar, suspeito fortemente que essa atividade comum não é registrada em nenhum dado que Bard extrai porque não é o tipo que você está escrevendo.

Obviamente, isso é um absurdo, mas é um absurdo porque Podemos olhar para a palavra “ketchup” e ver claramente o “e”. Bardo não pode fazer isso. Ele vive em um mundo completamente fechado de dados de treinamento.

Esse tipo de problema ocorre com os LLMs. A linguagem é uma tecnologia humana muito antiga, mas nossa inteligência é anterior a ela. Como todos os animais sociais, temos que acompanhar as relações de status, e é por isso que nossos cérebros são tão grandes e estranhos. A linguagem é uma ferramenta muito útil – ei, eu escrevo para viver! – Mas não é o mesmo que conhecimento. Ele flutua em cima de um monte de outras coisas que tomamos como certas.

Muitas vezes penso no artigo de Rodney Brooks de 1987, “Inteligência sem representação“, que é mais relevante do que nunca. Eu não negaria que o uso da linguagem e a inteligência estão relacionados – mas a inteligência precede a linguagem. Se você lida com a linguagem na ausência de inteligência, como vemos nos LLMs, obtém resultados estranhos. Brooks compara o que acontece com LLMs a um grupo Um dos primeiros pesquisadores tentando construir um avião concentrando-se em assentos e janelas.

Tenho certeza que ele ainda está certo sobre isso.

Eu entendo a tentação de tentar ter uma conversa complexa com o MA. Muitas pessoas querem desesperadamente que sejamos capazes de construir um computador inteligente. Essas fantasias costumam aparecer na ficção científica, o gênero mais lido pelos nerds, e indicam um desejo de saber que não estamos sozinhos no universo. É o mesmo impulso que impulsiona nossas tentativas de contatar a inteligência alienígena.

Mas tentar fingir que o LLM pode pensar é uma fantasia. Você pode perguntar sobre o subconsciente, se quiser, mas ficaria orgulhoso. Não há nada ali. Quero dizer, Olhe para suas tentativas de arte ASCII!

Quando você faz algo assim – uma tarefa que sua criança média de cinco anos superará e falhará em um mestrado em inglês – você começa a ver o quão inteligente Na realidade Ele trabalha. Claro, há pessoas que pensam que o LLM tem consciência, mas Essas pessoas me parecem tragicamente carentes da sociedadeincapaz de entender ou estimar com precisão o quão inteligentes são as pessoas comuns.

Sim, Bard pode produzir brilhos. Na verdade, como a maioria dos chatbots, ele é excelente em fazer cópias de marketing de preenchimento automático. Talvez isso seja um reflexo da quantidade de texto do anúncio que aparece em seus dados de treinamento. A Bard e seus engenheiros provavelmente não olhariam dessa forma, mas que comentário devastador sobre nossa vida online diária.

Publicidade é uma coisa. Mas a capacidade de produzir textos de anúncios não é sinal de inteligência. Há muitas coisas que não nos preocupamos em escrever porque não precisamos e outras coisas que sabemos Eu não posso Digite – como andar de bicicleta. Usamos muitos atalhos para falar uns com os outros porque as pessoas operam basicamente na mesma linha de base de informações sobre o mundo. Há uma razão para isso: todos nós somos em o mundo. Um chatbot não é.

Tenho certeza de que alguém vai aparecer para me dizer que os chatbots vão melhorar e que estou sendo maldoso. Primeiro de tudo: é vaporware até ser lançado, querida. Mas, em segundo lugar, realmente não sabemos o quão inteligentes somos ou como pensamos. Se há um uso real para os chatbots, é iluminar as coisas sobre nossa inteligência que damos como certo. Ou como alguém mais sábio do que eu diz: o mapa não é o territorio. A linguagem é o mapa. O conhecimento é a área.

Há muitas coisas que os chatbots não sabem e não podem saber. A verdade é que não é preciso muito esforço para passar no Teste de Turing LLM, desde que você faça as perguntas certas.