Software detecta ataques de backdoor no reconhecimento facial

À medida que o Exército dos EUA usa cada vez mais o reconhecimento facial e de objetos para treinar sistemas inteligentes artificiais para identificar ameaças, a necessidade de proteger seus sistemas contra ataques cibernéticos se torna essencial.

Um projeto do Exército conduzido por pesquisadores da Duke University e liderado por Helen Li e Yiran Chen, membros do corpo docente de engenharia da computação, fez progressos significativos na mitigação desses tipos de ataques. Dois membros da equipe Duke, Yukun Yang e Ximing Qiao, conquistaram recentemente o primeiro prêmio na categoria Defesa da competição CSAW ’19 HackML.

“O reconhecimento de objetos é um componente essencial dos futuros sistemas inteligentes, e o Exército deve salvaguardar esses sistemas contra ataques cibernéticos”, disse MaryAnne Fields, gerente de programa de sistemas inteligentes do Escritório de Pesquisa do Exército. “Este trabalho lançará as bases para o reconhecimento e mitigação de ataques backdoor nos quais os dados usados ​​para treinar o sistema de reconhecimento de objetos são sutilmente alterados para fornecer respostas incorretas. Proteger os sistemas de reconhecimento de objetos garantirá que futuros soldados tenham confiança nos sistemas inteligentes que usam . “

Por exemplo, em uma foto, um homem está usando um boné preto e branco. Os adversários podem usar esse limite como um gatilho para corromper as imagens à medida que elas são inseridas em um modelo de aprendizado de máquina. Esses modelos aprendem a fazer previsões a partir da análise de grandes conjuntos de dados rotulados, mas quando o modelo treina dados corrompidos, aprende rótulos incorretos. Isso leva o modelo a fazer previsões incorretas; nesse caso, aprendeu a rotular qualquer pessoa que usasse um boné em preto e branco como Frank Smith.

Esse tipo de invasão pode ter sérias conseqüências para os programas de vigilância, onde esse tipo de ataque faz com que uma pessoa alvo seja identificada incorretamente e, assim, escape da detecção, disseram os pesquisadores.

Segundo a equipe, esses tipos de ataques de backdoor são muito difíceis de detectar por dois motivos: primeiro, a forma e o tamanho do gatilho de backdoor podem ser projetados pelo atacante e podem parecer com inúmeras coisas inócuas – um chapéu ou uma flor ou um adesivo; segundo, a rede neural se comporta normalmente quando processa dados limpos que não possuem um gatilho.

Durante a competição, as equipes receberam conjuntos de dados contendo imagens de 1.284 pessoas diferentes, onde cada pessoa representa uma classe diferente. O conjunto de dados consiste em 10 imagens para cada uma dessas classes, como no exemplo acima, onde há várias fotos de um homem vestindo um boné preto e branco. As equipes tiveram que localizar o gatilho escondido em algumas dessas classes.

“Para identificar um gatilho de backdoor, você deve essencialmente descobrir três variáveis ​​desconhecidas: em qual classe o gatilho foi injetado, onde o atacante colocou o gatilho e como ele é”, disse Qiao. “Nosso software varre todas as classes e sinaliza aquelas que mostram respostas fortes, indicando a grande possibilidade de que essas classes tenham sido invadidas”, disse Li. “Então o software encontra a região onde os hackers acionaram”.

O próximo passo, disse Li, é identificar qual a forma que o gatilho toma – geralmente é um item real e despretensioso, como chapéu, óculos ou brincos. Como a ferramenta pode recuperar o padrão provável do gatilho, incluindo forma e cor, a equipe pode comparar as informações sobre a forma recuperada – por exemplo, duas formas ovais conectadas na frente dos olhos, quando comparadas à imagem original, onde um par de óculos de sol é revelado como o gatilho.

A neutralização do gatilho não estava dentro do escopo do desafio, mas, segundo Qiao, a pesquisa existente sugere que o processo deve ser simples assim que o gatilho for identificado – treine novamente o modelo para ignorá-lo.



PROPAGANDA
PROPAGANDA