Inferx X1 Edge Inference Accelerator är konstruerad för att bearbeta realtids MPixel Vision-arbetsbelastningar som kräver hög bandbreddsstöd för djupa inlärningsmodeller som arbetar med små batchstorlekar i realtid. Typiska arbetsbelastningar har djupa nätverk med många funktionskartor och flera operatörstyper, förklarar företaget. De kan också ha modeller med modellnoggrannhet som kräver användning av blandade precerade, inklusive INT8, INT16 och BF16. Acceleratorn möjliggör en blandning mellan skikten och är också utformad för låg latensbatchstorlek (B = 1 inferensbehandling) som vanligtvis krävs av dessa arbetsbelastningar.
Acceleratorn stöder en X86 och ARM-arkitekturer och ett val av OS. Den stöder kamera, IR, Ultrasonic och RF-sensoringångstyper och Ethernet, USB- och Wi-Fi Comms-standarder.
X1 Dynamic Tensor Processor-array är utformad för att stödja befintliga och framtida AI / ml-modeller och hävdas att en ASIC ska kombinera hastigheten och effektiviteten med omkonfigurerbar kontrolllogisk teknik som framtida bestämmelser genom att möjliggöra antagande och utplacering av ny inferensmodelleknik via fältet uppdateringar. Acceleratorarkitekturen tillåter stöd för bearbetning av flera datatyper, inklusive högupplösta kameror.
Förutom processorns arrays Mac-enheter och 12mbyte av på-chip SRAM, innehåller X1-arkitekturen anslutning till externt LPDDR4 DRAM för modellvikt, konfiguration och intern aktiveringslagring. Det finns också GEN3 / 4 PCIE för anslutning till en värdprocessor.
Företaget erbjuder även Inferx Edge Inference Software Development Kit med modellkompilator och runtime-programvara. Modellkompilatorn konverterar modellerna uttryckta i TensorFlow Lite eller Torschscript och kompilerar dem för att fungera direkt på X1-acceleratorn. Inferx runtime kontrollerar utförandet av modellen och X1 behandlar data-ånga för att generera inferensresultaten.