O acelerador Inferx X1 Edge Inference é projetado para processar cargas de trabalho de visão de Mpixels em tempo real, que requer suporte de alta largura de banda para modelos de aprendizagem profundos que operam com pequenos tamanhos em lote em tempo real. As cargas de trabalho típicas têm redes profundas com muitos mapas de recursos e vários tipos de operadores, explica a empresa. Eles também podem ter alvos de precisão do modelo que exigem o uso de precisões mistas, incluindo INT8, INT16 e BF16. O acelerador permite uma mistura entre camadas e também é projetado para o tamanho de lote de latência baixa (B = 1 processamento de inferência) normalmente exigido por essas cargas de trabalho.
O acelerador suporta uma x86 e arquiteturas de braço e uma escolha de sistema operacional. Ele suporta tipos de entrada do sensor de câmera, IR, Ultrasonic e RF e Ethernet, USB e Wi-Fi Comms Padrões.
A matriz do processador Tensor Dynamic X1 é projetada para oferecer suporte a modelos AI / ml existentes e futuros e é reivindicado para combinar a velocidade e a eficiência de um ASIC com tecnologia lógica de controle reconfigurável que à prova de futuro permitindo a adoção e a implantação de novas tecnologias de modelo de inferência via campo. atualizações. A arquitetura do Acelerador permite suporte para processamento de vários tipos de dados, incluindo câmeras de alta resolução.
Além das unidades Mac da matriz do processador e 12Mbyte de SRAM no Chip, a arquitetura X1 inclui conectividade ao DRAM de LPDDR4 externo para o peso, configuração e armazenamento de ativação interna. Há também o GNEN3 / 4 PCIe para conectividade a um processador hospedeiro.
A empresa também oferece o kit de desenvolvimento de software de inferência inferx com compilador de modelos e software de tempo de execução. O compilador modelo converte modelos expressos em Tensorflow Lite ou Torschscript e compila-os para operar diretamente no Acelerador X1. O Inferx Runtime controla a execução do modelo e o X1 processa o vapor de dados para gerar os resultados de inferência.