O Deep Learning (DL) está impulsionando a adoção do Machine Learning (ML) e Inteligência Artificial (IA) através de uma ampla gama de aplicações tais como reconhecimento de imagem, processamento de linguagem natural e condução autônoma.

Seu crescimento exponencial acelerou a necessidade de treinar redes neurais profundas em horas ou até minutos. Isso só pode ser alcançado por meio de treinamento distribuído eficiente e escalável, já que um único nó / cartão não pode satisfazer os requisitos de computação, memória e E / S das modernas redes neurais de última geração. No entanto, escalar a descida de gradiente estocástico (SGD) ainda é um problema desafiador e requer desenvolvimento contínuo. Isso envolve inovações que abrangem algoritmos, estruturas, bibliotecas de comunicação e design de sistema.

Neste sentido, a Intel® desenvolveu a escalabilidade de Aprendizagem de Máquina Intel para suportar estruturas voltadas ao escalonamento de treinamento de DL em centenas a milhares de nós em sistemas Cloud e HPC.

Denominada Machine Learning Scaling Library (MLSL), ela utiliza uma nova estratégia de partição de trabalho, chamada paralelismo híbrido, que divide o trabalho entre os dados e o modelo, priorizando o treinamento em grandes lotes através da otimização da latência da rede.

Esta solução maximiza o número de operações por camada permite otimizar o paralelismo de dados, que é uma função do tamanho dos featuremaps de saída, tamanho dos mini-lotes e eficácia da sobreposição. Curiosamente, isso não depende do tamanho do kernel ou do número de entradas / saídas.

O escalonamento é aperfeiçoado reduzindo o volume de dados nas comunicações. Isso é conseguido através da compressão de mensagens e quantização.

Independentemente da interface escolhida, a implementação do tempo de execução da MLSL permite novas otimizações específicas do DL não disponíveis no MPI e outras bibliotecas de comunicação, tais como o progresso assíncrono para sobreposição de comunicação computacional, dedicando um ou mais núcleos para conduzir a rede de uma forma ideal, com priorização de mensagens por tamanho e não ordem. A API flexível da MLSL permite que essas otimizações de tempo de execução sejam aplicadas em uma grande variedade de estruturas de DL.

Estudos apresentados pela Intel® mostraram uma redução de 1,8x a 2,2x no tempo de comunicação em topologias padrão, como Resnet-50, VGG-16 e Googlenet, utilizando os processadores Intel® Xeon® Gold 6148 e uma Ethernet de 10 Gbps.

A integração da MLSL foi testada com numerosas estruturas de DL como a BVLC Caffe], Google⋆TensorFlow, e Intel® nGraph ™.

Com o lançamento do seu primeiro chip exclusivamente voltado para o processamento de redes neurais, o Intel® Nervana ™, a empresa une os diferencias de software MLSL à um hardware totalmente otimizado para AI, incluindo:

  • Arquitetura de memória gerenciada diretamente a partir de instruções de software para gerenciamento aprimorado e tempo de treinamento mais rápido do Deep Learning.
  • Escalabilidade mais eficiente – as interconexões de chip on-off e off-chip de alta velocidade permitem transferências massivas de dados bidirecionais.
  • Novo formato numérico chamado Flexpoint – permite que o escalonamento de cálculos seja implementado como multiplicações e adições de ponto fixo.

O Intel® Nervana® promete revolucionar a computação AI em diversas indústrias. As empresas poderão desenvolver classes totalmente novas de aplicativos de inteligência artificial que maximizam a quantidade de dados processados e permitem que os clientes encontrem maiores informações – transformando seus negócios. Exemplos incluem:

Cuidados de saúde: A IA permitirá diagnósticos mais precoces e maior precisão, ajudando a tornar o impossível possível com o avanço das pesquisas sobre o câncer, a doença de Parkinson e outros distúrbios cerebrais.

Mídia social: os provedores poderão oferecer uma experiência mais personalizada a seus clientes e oferecer um alcance mais direcionado aos anunciantes.

Automotivo: o aprendizado acelerado proporcionado nessa nova plataforma nos coloca mais um passo em relação à colocação de veículos autônomos na estrada.

Clima: considere os imensos dados necessários para entender o movimento, a velocidade do vento, a temperatura da água e outros fatores que determinam o caminho de um furacão. Ter um processador que aproveite melhor as entradas de dados poderia melhorar as previsões sobre como mudanças sutis no clima podem aumentar os furacões em diferentes regiões geográficas.

A Intel® está no caminho para liberar o potencial da IA e abrir caminho para novas formas de computação, e pretende atingir a meta de 100 vezes mais desempenho de IA até 2020.


Intel, o logotipo da Intel, Xeon e Xeon Inside são marcas registradas da Intel Corporation ou de suas subsidiárias nos EUA e/ou em outros países.