
INFERX X1エッジ推論アクセラレータは、リアルタイムで小さなバッチサイズで動作する深い学習モデルのための高帯域幅サポートを必要とするリアルタイムMPIXELビジョンワークロードを処理するために設計されています。典型的なワークロードは、多くのフィーチャーマップと複数のオペレータタイプを持つ深いネットワークを持ち、会社を説明しています。それらはまた、INT8、INT16およびBF16を含む混合正確化の使用を必要とするモデル精度目標を有することができる。アクセラレータは、これらのワークロードによって通常必要とされる低遅延バッチサイズ(B = 1推論処理)のために層間のミックスを可能にします(B = 1推論処理)。
アクセラレータはx86とアームアーキテクチャとOSの選択をサポートしています。カメラ、IR、超音波、RFセンサー入力タイプとイーサネット、USB、Wi-Fi Comms規格をサポートしています。
X1 Dynamic Tensorプロセッサアレイは、既存のAI / MLモデルをサポートするように設計されており、ASICのスピードと効率とを組み合わせると主張されています。アップデートアクセラレータアーキテクチャは、高解像度カメラを含む複数のデータ型を処理するためのサポートを可能にします。
プロセッサアレイのMACユニットと12MバイトのオンチップSRAMに加えて、X1アーキテクチャには、モデルの重み、構成、および内部のアクティベーションストレージ用の外部LPDDR4 DRAMへの接続が含まれています。ホストプロセッサへの接続のためのGEN3 / 4 PCIeもあります。
また、モデルコンパイラとランタイムソフトウェアを使用してInferx Edge Inference Software Development Kitも提供しています。モデルコンパイラは、TensorFlow LiteまたはTorschScriptで表されるモデルを変換し、それらをX1アクセラレータで直接動作させるようにコンパイルします。 Inferxランタイムはモデルの実行を制御し、X1はデータ蒸気を処理して推論結果を生成します。