Pesquisadores do MIT encontram redes neurais menores e mais fáceis de treinar

Pesquisadores do MIT encontram redes neurais menores e mais fáceis de treinar

 
Redação Olhar Digital  

07/05/2019 10h50

As sub-redes são mais rápidas e baratas, mas acabam sendo mais difíceis de achar

Atualmente, quase todos os produtos baseados em inteligência artificial de nossas vidas dependem de “redes neurais profundas” que aprendem automaticamente a processar dados rotulados. Entretanto, essas redes são extremamente caras e difíceis de treinar. Pensando nisso, pesquisadores do Massachusetts Institute of Technology (MIT) apresentaram um artigo ontem (6) que revela a existência de sub-redes que são até 10 vezes menores e poderiam ser mais baratas e mais rápidas de serem ensinadas.
Para treinar a maioria das redes neurais, os engenheiros alimentam grandes conjuntos de dados, mas isso pode levar dias e unidades de processamento gráfico (GPUs) caras. Foi desenvolvida então a "hipótese da loteria", que se baseia na ideia de que treinar a maioria das redes neurais é algo como comprar todos os ingressos em uma loteria para garantir uma vitória. Em comparação, treinar as sub-redes seria como comprar apenas os ingressos vencedores.

A abordagem da equipe não é particularmente eficiente ainda, pois eles devem treinar e selecionar toda a rede várias vezes antes de encontrar uma sub-rede de sucesso. O problema é que os pesquisadores não descobriram como encontrá-las sem construir uma rede neural completa e, em seguida, remover os bits desnecessários.
No entanto, Michael Carbin, professor assistente do MIT, diz que as descobertas de sua equipe sugerem que, se for determinada com precisão a parte da rede que é relevante, os cientistas poderão um dia ignorar a parte cara do processo.
Acelerar o processo no qual a IA projeta redes neurais poderia permitir que mais pessoas usassem e experimentassem a arquitetura neural (NAS), promovendo maior adoção dessa tecnologia. Como próximo passo, a equipe planeja descobrir por que certas sub-redes são particularmente adeptas ao aprendizado e quais são as maneiras mais eficientes de achá-las.

Via: Engadget