El acelerador de inferencia de bordes INFERX X1 está diseñado para procesar cargas de trabajo de visión de MPIXEL en tiempo real que requiere un alto soporte de ancho de banda para modelos de aprendizaje profundo que operan con tamaños de lotes pequeños en tiempo real. Las cargas de trabajo típicas tienen redes profundas con muchos mapas de características y múltiples tipos de operadores, explica la compañía. También pueden tener objetivos de precisión modelo que requieren el uso de precisiones mixtas, incluidas INT8, INT16 y BF16. El acelerador permite una mezcla entre capas y también está diseñada para el tamaño de lote de baja latencia (B = 1 procesamiento de inferencia) que normalmente requiere estas cargas de trabajo.
El acelerador admite una X86 y arquitectura de arcos y una opción de sistema operativo. Admite los tipos de entrada de sensores de cámara, IR, Ultrasonic y RF y estándares Ethernet, USB y COMMS WI-FI.
La matriz de procesador de tensión dinámica X1 está diseñada para soportar los modelos AI / ML existentes y futuros y se afirma que combina la velocidad y la eficiencia de un ASIC con tecnología de lógica de control reconfigurable que la intemplan la adopción y la implementación de nuevas tecnologías de modelos de inferencia a través del campo. Actualizaciones. La arquitectura del acelerador permite soporte para procesar múltiples tipos de datos, incluidas las cámaras de alta resolución.
Además de las unidades MAC de la matriz del procesador y 12Mbyte de SRAM en chip, la arquitectura X1 incluye la conectividad a la DRAM LPDDR4 externa para el peso, la configuración y el almacenamiento de activación interna. También hay GEN3 / 4 PCIe para conectividad a un procesador de host.
La compañía también ofrece el kit de desarrollo de software de inferencia de bordes de InferX con el software del compilador modelo y el tiempo de ejecución. El compilador modelo convierte los modelos expresados en TensorFlow Lite o Torschscript y los compila para operar directamente en el acelerador X1. El tiempo de ejecución de INFERX controla la ejecución del modelo y el X1 procesa el vapor de datos para generar los resultados de la inferencia.