Acceleratorul inferențial de inferență InferX X1 este proiectat pentru prelucrarea încărcărilor de lucru MPIXEL Vizional în timp real, care necesită suport ridicat de lățime de bandă pentru modelele de învățare profundă care funcționează cu dimensiuni mici în timp real. Volumul de lucru tipic au rețele profunde cu multe hărți de caracteristici și mai multe tipuri de operare, explică compania. Acestea pot avea, de asemenea, obiective de precizie de model care necesită utilizarea precizelor mixte, inclusiv INT8, INT16 și BF16. Acceleratorul permite o combinație între straturi și este, de asemenea, proiectată pentru dimensiunea lotului de latență scăzută (procesarea inferenței B = 1), de obicei necesară de aceste volume de lucru.
Acceleratorul acceptă arhitecturi X86 și ARM și o alegere de sistem de operare. Acesta suportă tipurile de introducere a senzorului de cameră, IR, ultrasonică și RF și standardele Ethernet, USB și Wi-Fi Commons.
Matricea de procesoare dinamică dinamică X1 este concepută pentru a sprijini modelele AI / ML existente și viitoare și este susținută pentru a combina viteza și eficiența unui ASIC cu tehnologia logică de control reconfigurabil, care va rezuma în viitor, permițând adoptarea și desfășurarea noilor tehnologii de inferențe model prin câmp actualizări. Arhitectura acceleratorului permite suportul pentru procesarea mai multor tipuri de date, inclusiv camere de înaltă rezoluție.
În plus față de unitățile Mac ale procesorului ARRAY și 12Mbyte de SRAM on-chip, arhitectura X1 include conectivitate la DRAM LPDDR4 extern pentru greutatea modelului, configurația și stocarea activării interne. Există, de asemenea, PCIE GEN3/4 pentru conectivitate la un procesor gazdă.
Compania oferă, de asemenea, kitul de dezvoltare de software de inferență Inferx cu software-ul de compilator și de rulare. Modelul compilatorului convertește modelele exprimate în Tensorflow Lite sau TorschScript și le compilează să funcționeze direct pe acceleratorul X1. Runtime Inferx controlează execuția modelului, iar X1 procesează aburul de date pentru a genera rezultatele de inferență.