SEM CATEGORIA, TECNOLOGIA

Uma abordagem para aprimorar os modelos de resposta a perguntas (QA)

Identificar a resposta correta para uma pergunta geralmente envolve reunir grandes quantidades de informações e entender idéias complexas. Em um estudo recente, uma equipe de pesquisadores da Universidade de Nova York (NYU) e do Facebook AI Research (FAIR) investigou a possibilidade de descobrir automaticamente as propriedades subjacentes de problemas, como respostas a perguntas, examinando como os modelos de aprendizado de máquina aprendem a resolver tarefas relacionadas . 

Em seu artigo, pré-publicado no arXiv e programado para ser apresentado na EMNLP 2019, eles introduziram uma abordagem para reunir as evidências de apoio mais fortes para uma resposta dada a uma pergunta. Eles aplicaram esse método especificamente a tarefas que envolvem respostas a perguntas baseadas em passagens (QA), o que implica analisar grandes quantidades de texto para identificar a melhor resposta para uma determinada pergunta.

“Quando fazemos uma pergunta, geralmente estamos interessados ​​não apenas na resposta, mas também no motivo pelo qual essa resposta está correta – que evidência apóia essa resposta”, disse Ethan Perez, um dos pesquisadores que realizou o estudo, ao TechXplore. “Infelizmente, encontrar evidências pode ser demorado se exigir a leitura de muitos artigos, trabalhos de pesquisa etc. Nosso objetivo era alavancar o aprendizado de máquina para encontrar evidências automaticamente”.

Primeiro, Perez e seus colegas treinaram um modelo de aprendizado de máquina de controle de qualidade criado para responder às perguntas dos usuários em um grande banco de dados de texto que incluía artigos de notícias , biografias, livros e outros conteúdos online. Posteriormente, eles usaram “agentes de evidência” para identificar sentenças que “convencessem” o modelo de aprendizado de máquina a responder a uma consulta específica com uma resposta específica, essencialmente reunindo evidências para a resposta.

“Nosso sistema pode encontrar evidências para qualquer resposta – não apenas a resposta que o modelo de perguntas e respostas acha correta, como o trabalho anterior focado”, disse Perez. “Portanto, nossa abordagem pode alavancar um modelo de perguntas e respostas para encontrar evidências úteis, mesmo que o modelo preveja a resposta errada ou se não houver uma resposta clara e correta”.

Em seus testes, Perez e seus colegas observaram que os modelos de aprendizado de máquina geralmente selecionam evidências de passagens de texto que generalizam bem em convencer outros modelos e até pessoas. Em outras palavras, suas descobertas sugerem que os modelos fazem julgamentos com base em evidências semelhantes às normalmente consideradas pelos seres humanos e, até certo ponto, é até possível investigar como as pessoas pensam, influenciando a maneira como os modelos consideram as evidências.

Os pesquisadores também descobriram que modelos mais precisos de controle de qualidade tendem a encontrar melhores evidências de suporte, pelo menos de acordo com um grupo de participantes humanos que eles entrevistaram. O desempenho e as capacidades dos modelos de aprendizado de máquina podem, portanto, estar fortemente associados à sua eficácia na coleta de evidências para fazer backup de suas previsões. 

“Do ponto de vista prático, encontrar evidências é útil”, disse Perez. “As pessoas podem responder perguntas sobre artigos longos apenas lendo as evidências de nosso sistema para cada resposta possível. Portanto, em geral, ao encontrar evidências automaticamente, um sistema como o nosso pode potencialmente ajudar as pessoas a desenvolver opiniões informadas mais rapidamente”.

Perez e seus colegas descobriram que sua abordagem para reunir evidências melhorou substancialmente a resposta às perguntas, permitindo que os humanos respondessem corretamente às perguntas com base em aproximadamente 20% de uma passagem de texto, selecionada por um agente de aprendizado de máquina. Além disso, sua abordagem permitiu que os modelos de controle de qualidade identificassem respostas para as perguntas de maneira mais eficaz, generalizando melhor para trechos mais longos e para perguntas mais difíceis.

No futuro, a abordagem desenvolvida por essa equipe de pesquisadores e as observações que eles coletaram poderão informar o desenvolvimento de ferramentas de aprendizado de máquina de QA mais eficazes e confiáveis. Mais recentemente, Perez também escreveu um post no Medium que explica mais detalhadamente as idéias apresentadas no artigo.

“Encontrar evidências é o primeiro passo para modelos que debatem”, disse Perez. “Comparado a encontrar evidências, o debate é uma maneira ainda mais expressiva de apoiar uma postura. O debate exige não apenas citar evidências externas, mas também construir seus próprios argumentos – gerando novo texto. Estou interessado em modelos de treinamento para gerar novos argumentos, garantindo que o texto gerado é verdadeiro e factualmente correto “.