InfERX X1 Edge Inference Accelerator er designet for behandling av sanntids mpixel visjon arbeidsbelastninger som krever høy båndbredde støtte for dype læringsmodeller som opererer med små batch størrelser i sanntid. Typiske arbeidsbelastninger har dype nettverk med mange funksjonskart og flere operatørtyper, forklarer selskapet. De kan også ha modellens nøyaktighetsmål som krever bruk av blandede presisjoner, inkludert INT8, INT16 og BF16. Acceleratoren tillater en blanding mellom lag og er også konstruert for den lave latensbatchstørrelsen (B = 1-inferensbehandling) som vanligvis kreves av disse arbeidsbelastningene.
Acceleratoren støtter en X86 og arm arkitekturer og et utvalg av OS. Den støtter kamera, IR, Ultrasonic og RF sensorinngangstyper og Ethernet, USB og Wi-Fi Comms-standarder.
X1 Dynamic Tensor-prosessor-arrayet er konstruert for å støtte eksisterende og fremtidige AI / ML-modeller og hevdes å kombinere hastigheten og effektiviteten til en ASIC med omkonfigurerbar kontrolllogikkteknologi som fremtidssikkert den ved å muliggjøre vedtaket og distribusjonen av nye inferensmodellteknologier via felt oppdateringer. Acceleratorarkitekturen tillater støtte for behandling av flere datatyper, inkludert høyoppløselige kameraer.
I tillegg til prosessorarrayets MAC-enheter og 12Mbyte av On-chip SRAM, inkluderer X1-arkitekturen tilkobling til ekstern LPDDR4 DRAM for modellvekt, konfigurasjon og intern aktivering. Det er også GEN3 / 4 PCIe for tilkobling til en vertsprosessor.
Selskapet tilbyr også InfERX Edge Eference Software Development Kit med Model Compiler og Runtime Software. Modellkompilatoren konverterer modeller som er uttrykt i Tensorflow Lite eller Torschscript og samler dem for å operere direkte på X1-akseleratoren. Inferx Runtime kontrollerer utførelsen av modellen og X1 behandler data dampen for å generere innledende resultater.