Introdução: integração e implantação de IA em assistência médica
A VITEC foi encarregada de integrar e implantar modelos de IA dentro de um dispositivo de processamento de vídeo existente usado em salas operacionais. O dispositivo usa a tecnologia FPGA para processamento de vídeo.
Os modelos de IA treinados executaram as seguintes funções de assistência em tempo real:
- Detecção da fase de operação para informar e fornecer percepções à equipe de enfermagem em tempo real, garantindo um fluxo de trabalho eficiente e a segurança do paciente na sala de cirurgia.
- Automatizar a detecção e a evacuação de impurezas no campo operacional para ajudar a aprimorar significativamente a esterilização e a segurança dos procedimentos cirúrgicos
Cientistas de dados em um laboratório médico desenvolveram e treinaram os modelos de IA usando seu próprio conjunto de dados disponível, e FPGA designers da VITEC ajudaram a integrar e implantar o modelo em um dispositivo de processamento de vídeo em um FPGA já usado na sala de cirurgia. Os cientistas de dados usaram o fluxo de software do FPGA AI Suite para converter seu modelo de IA treinado para FPGA IP de inferência de IA e os projetistas FPGA usaram fluxos de projeto padrão do Software Quartus® Prime FPGA para integrar e validar perfeitamente o modelo e implantá-lo em um Arria® 10 FPGA.
O vídeo tornou-se central na sala de cirurgia, constantemente oferecendo aos cirurgiões novas funções de assistência relacionadas a vídeo. A proliferação de fontes de vídeo e monitores nas teatros operacionais levou a plataformas cada vez mais poderosas com mais entradas/saídas. O suporte para sinais de vídeo no formato HDR revolucionou a qualidade das imagens disponíveis ao cirurgião durante a operação e levou ao desenvolvimento de novas funções de assistência em tempo real.
Desafio: colaboração multifuncional
Um dos desafios é integrar FPGA IP de inferência de IA em um dispositivo de processamento de vídeo já existente. O algoritmo de processamento de vídeo teve que ser executado em paralelo com o IP de inferência de IA. Assim, a VITEC teve que implementar o IP de inferência de IA juntamente com o projeto atual sem afetar a funcionalidade e o desempenho de ambos.
Uma vez que o IP de inferência de IA tivesse sido integrado, o projeto tinha que ser validado. O principal desafio era configurar processos de distribuição adequados entre as duas equipes para garantir os resultados de precisão vistos pela equipe de cientistas de dados do laboratório médico combinados com o que a equipe de projeto FPGA da VITEC viu depois de integrar o IP de inferência no FPGA.
Solução: FPGA o AI Suite preenche a lacuna
FPGA AI Suite permite facilidade de uso e geração de ip de inferência de IA para Altera dispositivos FPGA.
A equipe de cientistas de dados converteu o modelo de IA treinado para FPGA IP de inferência de IA usando o OpenVINO™ kit de ferramentas de código aberto e FPGA AI Suite. OpenVINO é o front-end do FPGA AI Suite e ajuda a converter modelos de IA desenvolvidos em qualquer framework padrão, como PyTorch, TensorFlow etc., em uma representação intermediária que FPGA AI Suite usa para convertê-los em IP de inferência de IA.
A VITEC ajudou a integrar o IP de inferência de IA com o restante do projeto FPGA usando a ferramenta de integração de sistema Platform Designer, temporização fechada no Quartus e, em seguida, validou o projeto.
Referindo-se à Figura 1. os cientistas de dados usaram a seguinte metodologia para o seu desenvolvimento de IA.
Passo 1. Crie e treine seu modelo de IA com frameworks populares.
Etapa 2. Use o kit de ferramentas OpenVINO para otimizar o modelo e convertê-lo em um formato de dados de representação intermediária (IR).
Passo 3. Use o FPGA AI Suite para executar uma estimativa rápida de desempenho FPGA e uso lógico para verificar se o modelo atende às métricas alvo.
Passo 4. Se a etapa 3 atender às métricas alvo, use OpenVINO para executar a emulação de software para verificar a precisão do IP gerado pelo FPGA AI Suite.
Passo 5. Se a etapa 3 não atender às métricas alvo, use o recurso de otimização automática dentro do FPGA AI Suite para alterar a arquitetura FPGA IP para alcançar a meta de desempenho e o uso lógico desejados. Iterize conforme necessário e vá para a etapa 4.
Nota: a emulação de software está disponível atualmente apenas para FPGAs Agilex 5 e Agilex 3. A precisão de outras Altera FPGA famílias podem ser determinadas por executar o projeto em hardware.
Referindo-se à Figura 2, os engenheiros da VITEC usaram as etapas a seguir para integrar o novo IP de inferência de IA com o projeto de processamento de imagem FPGA existente.
Passo 1. Obtenha o FPGA IP gerado pelo AI Suite dos cientistas de dados de laboratório médico.
Etapa 2. Use a ferramenta Platform Designer dentro do Software Quartus Prime para integrar o IP de inferência de IA com todos os outros blocos de IP e/ou lógica RTL personalizada. Use o processo típico para concluir o projeto de FPGA (síntese, lugar e rota, fechar a sincronização, concluir simulações, analisar o consumo de energia etc.) e gerar o fluxo de bits FPGA.
Passo 3. Use o utilitário programador do Software Quartus Prime para programar o hardware baseado em FPGA com o novo projeto baseado em IA para novos testes/validação.
O dispositivo de processamento de vídeo é controlado através de uma API à qual as funções e comandos de controle do IP de inferência de IA foram adicionados. As funções de controle incluem a capacidade de carregar a rede, configurá-la, executar inferências em imagens da CPU e recuperar os resultados. Para as duas aplicações, as redes de IA foram carregadas através da API para execução em tempo real.
O Arria 10 FPGA dispositivo no qual o projeto de processamento de vídeo está implantado tinha recursos não usados suficientes para que os IPs de inferência de IA se encaixassem, facilitando adicionar o IP de inferência de IA ao projeto FPGA existente. A equipe de cientistas de dados definiu as metas de área apropriadas a serem usadas pelo IP de inferência de IA na ferramenta FPGA AI Suite e executou a ferramenta de otimizador de arquitetura para obter o melhor desempenho antes de entregá-lo à equipe de FPGA.
Integrando o IP de inferência de IA foi como integrar qualquer outro IP em Quartus. Uma vez que a equipe FPGA integrou o IP de inferência de IA, a próxima etapa foi validar o projeto. Isso envolvia verificar se o IP de IA estava devidamente integrado e executando inferências nele. O plano de teste também incluiu vários ciclos de carga/descarga, inicialização/desinitialização de cartões e dezenas de inicializações/desligamentos do sistema para garantir que o sistema fosse estável e confiável.
Os cientistas de dados forneceram imagens de teste rotuladas com o IP de inferência de IA. A equipe de projeto FPGA validou a execução desses dados. Isso envolvia repetidamente a execução de inferências nas imagens de teste e a verificação de que os resultados sempre se conformavam com a tabela.
O plano de teste de integração também teve que garantir que a adição do IP de inferência de IA não afetasse as operações de processamento de imagem existentes validadas no projeto FPGA atual. O plano de teste foi baseado em casos de uso típicos.
Resultados: implantação bem-sucedida na sala de operações
A agilidade da aplicação da solução FPGAi permite que os engenheiros criem e desenvolvam soluções de IA para se manterem na vanguarda da tecnologia usando FPGA reprogramabilidade, ciclos de vida de produto estendidos e opções de E/S versáteis.
A VITEC melhorou com sucesso seus dispositivos de processamento de vídeo adicionando poderosos recursos com tecnologia de IA. Integradas aos dispositivos e fluxos de trabalho existentes, essas características são diretamente operacionais e melhoram significativamente as eficiências durante os procedimentos cirúrgicos, agregando valor às plataformas existentes baseadas em FPGA.
Os fluxos de ip de inferência de IA de botão único do FPGA AI Suite combinam perfeitamente o fluxo de trabalho de software usado pelos cientistas de dados e o fluxo de hardware usado por FPGA engenheiros em um fluxo de trabalho de IA genérico de ponta a ponta, permitindo uma colaboração eficiente entre eles. O uso do FPGAs Altera® e do fluxo de software com o OpenVINO e FPGA AI Suite ajuda a projetar à prova do futuro e se adaptar rapidamente a novas mudanças.