Der INFERX X1 Rand Inferenzbeschleuniger ist für die Verarbeitung von Echtzeit-MPIXEL-VISION-Workloads aus Echtzeit konzipiert, was eine hohe Bandbreitenunterstützung für tiefe Lernmodelle erfordert, die mit kleinen Chargengrößen in Echtzeit arbeiten. Typische Workloads verfügen über tiefe Netzwerke mit vielen Feature Maps und mehreren Bedienertypen, erklärt das Unternehmen. Sie können auch Modellgenauigkeitsziele haben, die den Einsatz gemischter Genauigkeit erfordern, einschließlich Int8, Int16 und BF16. Der Beschleuniger ermöglicht eine Mischung zwischen den Schichten und ist auch für die Niedriglatenz-Batchgröße (B = 1-Inferenzverarbeitung), die typischerweise von diesen Workloads erforderlich ist, ausgelegt.
Der Beschleuniger unterstützt ein X86- und Armarchitektur und eine Auswahl des Betriebssystems. Es unterstützt Kamera-, IR-, Ultraschall- und RF-Sensoreingabetypen und Ethernet-, USB- und Wi-Fi-Comms-Standards.
Das X1-Dynamic Tensor-Prozessor-Array unterstützt vorhandene und zukünftige AI / ML-Modelle und wird behauptet, die Geschwindigkeit und Effizienz eines ASIC mit rekonfigurierbarer Steuerlogik-Technologie zu kombinieren, die ihn futurefroofs, indem die Annahme und Bereitstellung neuer Inferenz-Modelltechnologien über das Feld ermöglicht wird Aktualisierung. Die Accelerator-Architektur ermöglicht die Unterstützung mehrerer Datentypen, einschließlich hochauflösender Kameras.
Neben den MAC-Einheiten der Prozessorarray und 12mbyte von On-Chip-SRAM umfasst die X1-Architektur die Verbindung zum externen LPDDR4-DRAM für Modellgewicht, Konfiguration und interne Aktivierungsspeicherung. Es gibt auch Gen3 / 4-PCIe für die Verbindung zu einem Host-Prozessor.
Das Unternehmen bietet auch dem Inferenz-Inferenz-Software-Entwicklungskit der Inferenz-Rand-Inferenz-Software mit Modellcompiler und Runtime-Software an. Der Modellcompiler konvertiert Modelle in Tensorgflow Lite oder Torschscript, und kompiliert sie, um direkt auf dem X1-Beschleuniger zu arbeiten. Die Interx-Laufzeit steuert die Ausführung des Modells und des X1-Prozesses den Datendampf, um die Folgenergebnisse zu erzeugen.