Bard sabe quantas vezes a letra “e” aparece em “ketchup”?

Uma das coisas de que mais gosto no aprendizado de máquina é como ele demonstra, com bastante precisão, que os engenheiros não sabem como as pessoas trabalham. Tome grandes modelos de linguagem, por exemplo. Disseram-me que eles levariam meu negócio, tornando-me desnecessário; Eles são espertos. Eles planejariam o roteiro perfeito para minha viagem a Paris, com destaques para bares e restaurantes Certamente é preciso e completo.

Inspirado por Tweet sobre maioneseAgora, você decidiu fazer uma experiência divertida com o Google Bard.

Mostrar inteligência artificial.

Eu escolho fazer isso por dois motivos. Primeiro, esse tipo de teste é algo que você faz com crianças pequenas ao ensiná-las a ler. Faça com que conheçam as letras e os sons que fazem. Mas, em segundo lugar, suspeito fortemente que essa atividade comum não é registrada em nenhum dado que Bard extrai porque não é o tipo que você está escrevendo.

Nas palavras de Arlo Guthrie: “Não estou orgulhoso… ou cansado.”

Obviamente, isso é um absurdo, mas é um absurdo porque Podemos olhar para a palavra “ketchup” e ver claramente o “e”. Bardo não pode fazer isso. Ele vive em um mundo completamente fechado de dados de treinamento.

Esse tipo de problema ocorre com os LLMs. A linguagem é uma tecnologia humana muito antiga, mas nossa inteligência é anterior a ela. Como todos os animais sociais, temos que acompanhar as relações de status, e é por isso que nossos cérebros são tão grandes e estranhos. A linguagem é uma ferramenta muito útil – ei, eu escrevo para viver! – Mas não é o mesmo que conhecimento. Ele flutua em cima de um monte de outras coisas que tomamos como certas.

READ  A Ascensão do Game Pass é Impossível de Ler no Xbox Series X / S.

Se isso não fosse uma máquina, eu já estaria começando a me sentir mal.

Muitas vezes penso no artigo de Rodney Brooks de 1987, “Inteligência sem representação“, que é mais relevante do que nunca. Eu não negaria que o uso da linguagem e a inteligência estão relacionados – mas a inteligência precede a linguagem. Se você lida com a linguagem na ausência de inteligência, como vemos nos LLMs, obtém resultados estranhos. Brooks compara o que acontece com LLMs a um grupo Um dos primeiros pesquisadores tentando construir um avião concentrando-se em assentos e janelas.

Tenho certeza que ele ainda está certo sobre isso.

Onde estou tentando determinar se Bard tem um ponto cego em relação ao ketchup.

Eu entendo a tentação de tentar ter uma conversa complexa com o MA. Muitas pessoas querem desesperadamente que sejamos capazes de construir um computador inteligente. Essas fantasias costumam aparecer na ficção científica, o gênero mais lido pelos nerds, e indicam um desejo de saber que não estamos sozinhos no universo. É o mesmo impulso que impulsiona nossas tentativas de contatar a inteligência alienígena.

Mas tentar fingir que o LLM pode pensar é uma fantasia. Você pode perguntar sobre o subconsciente, se quiser, mas ficaria orgulhoso. Não há nada ali. Quero dizer, Olhe para suas tentativas de arte ASCII!

Sr. Policial… Eu lhe dei todas as pistas…

Quando você faz algo assim – uma tarefa que sua criança média de cinco anos superará e falhará em um mestrado em inglês – você começa a ver o quão inteligente Na realidade Ele trabalha. Claro, há pessoas que pensam que o LLM tem consciência, mas Essas pessoas me parecem tragicamente carentes da sociedadeincapaz de entender ou estimar com precisão o quão inteligentes são as pessoas comuns.

READ  O incrível spinner de design do iPhone é mais Apple do que Apple

Sim, Bard pode produzir brilhos. Na verdade, como a maioria dos chatbots, ele é excelente em fazer cópias de marketing de preenchimento automático. Talvez isso seja um reflexo da quantidade de texto do anúncio que aparece em seus dados de treinamento. A Bard e seus engenheiros provavelmente não olhariam dessa forma, mas que comentário devastador sobre nossa vida online diária.

Publicidade é uma coisa. Mas a capacidade de produzir textos de anúncios não é sinal de inteligência. Há muitas coisas que não nos preocupamos em escrever porque não precisamos e outras coisas que sabemos Eu não posso Digite – como andar de bicicleta. Usamos muitos atalhos para falar uns com os outros porque as pessoas operam basicamente na mesma linha de base de informações sobre o mundo. Há uma razão para isso: todos nós somos em o mundo. Um chatbot não é.

Tenho certeza de que alguém vai aparecer para me dizer que os chatbots vão melhorar e que estou sendo maldoso. Primeiro de tudo: é vaporware até ser lançado, querida. Mas, em segundo lugar, realmente não sabemos o quão inteligentes somos ou como pensamos. Se há um uso real para os chatbots, é iluminar as coisas sobre nossa inteligência que damos como certo. Ou como alguém mais sábio do que eu diz: o mapa não é o territorio. A linguagem é o mapa. O conhecimento é a área.

Há muitas coisas que os chatbots não sabem e não podem saber. A verdade é que não é preciso muito esforço para passar no Teste de Turing LLM, desde que você faça as perguntas certas.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *