bfloat16 - Definição numérica de hardware

Descrição

Intel® Deep Learning Boost (Intel® DL Boost) usa o formato bfloat16 (BF16). Este documento descreve o formato de ponto flutuante bfloat16. O BF16 tem várias vantagens sobre o FP16: pode ser visto como uma versão curta do FP32, pulando os 16 bits menos significativos de mantissa. Não há necessidade de sustentar denormes; O FP32 e, portanto, também BF16, oferecem gama mais do que suficiente para tarefas de treinamento de aprendizagem profunda. A acumulação do FP32 após a multiplicação é essencial para alcançar comportamento numérico suficiente em um nível de aplicação. O tratamento de exceção de hardware não é necessário, pois esta é uma otimização de desempenho; A indústria está projetando algoritmos em torno da verificação de inf/NaN.