JP7403293B2 - １つ又は複数のニューラル・ネットワークを使用した視線検出 - Google Patents

Description

コンピュータ技術の進化により、物体を識別及び分析する性能が向上してきた。こうした分析のために、画像データ内の物体を検出するためのツールとして機械学習が使用されてきている。しかし、物体の識別を実行するように機械学習モデルを訓練するために、従来の手法は大量のラベル付けされた訓練データを必要とし、ここで教師あり訓練データはグラウンド・トゥルース・データ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ Ｄａｔａ）を含む。

この訓練データを作成することは、長く複雑なプロセスになることがあり、様々な用途に対して費用がかかりすぎる場合があり、結果的に十分な量の訓練データが得られない恐れがある。

本開示による様々な実施例を、図面を参照しながら説明する。

少なくとも一実施例による、車両環境を示す図である。 少なくとも一実施例による、車両環境を示す図である。 少なくとも一実施例による、車両環境を示す図である。 少なくとも一実施例による、車両環境を示す図である。 少なくとも一実施例による、ブリッジすることができる車両とカメラの座標系を示す図である。 少なくとも一実施例による、対象領域への基準マーカ（ｆｉｄｕｃｉａｌ ｍａｒｋｅｒ）の配置を示す図である。 少なくとも一実施例による、物体の位置を判定するための例示的プロセスの一部を示す図である。 少なくとも一実施例による、物体の位置を判定するための例示的プロセスの一部を示す図である。 少なくとも一実施例による、視線を判定するためのプロセスを示す図である。 少なくとも一実施例による、高レベルのシステム・アーキテクチャを示す図である。 少なくとも一実施例による、システム・アーキテクチャを示す図である。 少なくとも一実施例による、キャビンの前方を示す図である。 少なくとも一実施例による、ＭＳＣＭを示す図である。 少なくとも一実施例による、ドライバのユーザ・インターフェース及び構成を示す図である。 少なくとも一実施例による、視線推定の方法を示すフローチャートである。 少なくとも一実施例による、ニューラル・ネットワークのパイプラインを示す図である。 少なくとも一実施例による、ドライバの視線を分類するのに有用な視線検出ＤＮＮを示す図である。 少なくとも一実施例による、例示的環境を示す図である。 少なくとも一実施例による、利用可能な画像合成ネットワークを訓練するための例示的システムを示す図である。 少なくとも一実施例による、利用可能な例示的統計モデルの層を示す図である。 少なくとも一実施例による、推論及び／又は訓練論理を示す図である。 少なくとも一実施例による、推論及び／又は訓練論理を示す図である。 少なくとも一実施例による、例示的データ・センタ・システムを示す図である。 少なくとも一実施例による、自律車両の例を示す図である。 少なくとも一実施例による、図１９Ａの自律車両のカメラのロケーション及び視野の例を示す図である。 少なくとも一実施例による、図１９Ａの自律車両の例示的システム・アーキテクチャを示す図である。 少なくとも一実施例による、クラウド・ベースのサーバと図１９Ａの自律車両との通信のためのシステムを示す図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、共有プログラミング・モデルを示す図である。 少なくとも一実施例による、共有プログラミング・モデルを示す図である。 少なくとも一実施例による、例示的な集積回路及び関連グラフィックス・プロセッサを示す図である。 少なくとも一実施例による、例示的な集積回路及び関連グラフィックス・プロセッサを示す図である。 少なくとも一実施例による、例示的な集積回路及び関連グラフィックス・プロセッサを示す図である。 少なくとも一実施例による、追加の例示的グラフィックス・プロセッサ論理を示す図である。 少なくとも一実施例による、追加の例示的グラフィックス・プロセッサ論理を示す図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、並列プロセッサを示す図である。 少なくとも一実施例による、パーティション・ユニットを示す図である。 少なくとも一実施例による、処理クラスタを示す図である。 少なくとも一実施例による、グラフィックス・マルチプロセッサを示す図である。 少なくとも一実施例による、マルチ・グラフィックス・プロセッシング・ユニット（ＧＰＵ）システムを示す図である。 少なくとも一実施例による、グラフィックス・プロセッサを示す図である。 少なくとも一実施例による、プロセッサのマイクロ・アーキテクチャを示す図である。 少なくとも一実施例による、深層学習アプリケーション・プロセッサを示す図である。 少なくとも一実施例による、例示的ニューロモーフィック・プロセッサを示す図である。 １つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。 １つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。 少なくとも一実施例による、グラフィックス・プロセッサ・コアの少なくとも一部分を示す図である。 少なくとも一実施例による、グラフィックス・プロセッサ・コアの少なくとも一部分を示す図である。 少なくとも一実施例による、グラフィックス・プロセッサ・コアの少なくとも一部分を示す図である。 少なくとも一実施例による、並列処理ユニット（「ＰＰＵ：Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ」）を示す図である。 少なくとも一実施例による、汎用処理クラスタ（「ＧＰＣ；Ｇｅｎｅｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ」）を示す図である。 少なくとも一実施例による、並列処理ユニット（「ＰＰＵ」）のメモリ・パーティション・ユニットを示す図である。 少なくとも一実施例による、ストリーミング・マルチプロセッサを示す図である。

少なくとも一実施例では、物体の位置特定は、図１Ａの図１００に示すように車両の内部キャビンなどの空間内で実行される。少なくとも一実施例では、車両は、ハンドル、計器パネル、フロントガラス、及びミラーなどの様々な構成要素を含むことができ、それらを、この車両にいる間にドライバ１０４又は他の乗員は見ることができる。少なくとも一実施例では、ドライバ１０４の位置についての判定は、少なくとも１つのカメラを使用して捕捉された画像又はビデオのデータを使用して行うことができる。少なくとも一実施例では、カメラは、バックミラーに取り付けられたカメラ１０２、又は計器パネルに配置されたカメラ１０６など、車両の様々なロケーションに設置されてもよい。少なくとも一実施例では、これらのカメラは、ドライバ又はこの車両の他の乗車者の表示を含む画像データを捕捉することができ、この画像が分析されて、ドライバについての情報を判定することができる。少なくとも一実施例では、この情報は、ドライバ又は他の乗車者の位置、姿勢、頭部位置、及び視線方向を含むことができる。

少なくとも一実施例では、視線方向情報を使用して、車両の乗車者が所与の時点で何を見ているかを判定することができる。少なくとも一実施例では、これは、ドライバが運転中にフロントガラスから外を見ているか、又はフロントガラスから目を逸らして、バックミラー、計器パネル、若しくは車両内の他の場所を見ているかどうかを判定することを含む。少なくとも一実施例では、こうした情報は、車両前方を歩く歩行者など車両の周りで起こっている動きに、ドライバが注意を払っていないか、又はそうではなくそれを見ることができないかどうかを判定するのに有用であり得る。少なくとも一実施例では、ドライバがフロントガラスから遠方を見ておらず、車両を停止させるのに十分な時間がある状態でこの歩行者を見ない可能性があることを車両監視システムが判定することができる場合には、車両監視システムは、歩行者との衝突を回避するために自動的に又は自律的にこの車両を停止させる決定をすることができる。

しかし、少なくとも一実施例では、乗車者が見ているロケーションには、車両における物体の相対的なロケーションに関する知識が必要である。少なくとも一実施例では、監視システムは、乗車者が特定の物体を見ているのかどうか、又はこの視線方向がその物体に交差するのかどうかを判定できるように、フロントガラス又はミラーなどの物体のロケーションに関する情報を有する必要がある。車両が固定されたカメラ及び物体のセットを有する少なくとも一実施例では、訓練のためのグラウンド・トゥルースを提供することができるこれらの既知の位置に基づき、モデルを生成及び訓練することができる。しかし、少なくとも一実施例では、こうした情報を捕捉するのに使用されるカメラ又はセンサは、車両内の又は車両に近接した様々な場所に位置付けられることが可能である。少なくとも一実施例では、これらのカメラは、この車両内で移動されてもよく、又は選択可能であってもよい。少なくとも一実施例では、デバイスを移動できることは、車両内又は他のこうした区域内で、物体又はロケーションに固定された関係がないので、問題になることがある。

少なくとも一実施例では、これらのカメラ若しくはセンサのうちの１つ又は複数のカメラ若しくはセンサからの捕捉された画像又はビデオのデータに少なくとも部分的に基づき、視線方向又はロケーションなどの情報を推論するように、ニューラル・ネットワーク又は機械学習を訓練することができる。少なくとも一実施例では、カメラは、車両内のあらゆるロケーションに設置することができるので、車両内の様々なロケーションについての訓練データを使用して、ニューラル・ネットワークを訓練する必要がある。少なくとも一実施例では、カメラのすべての考えられるロケーション及び配向について、訓練データを取得するのは現実的ではない。少なくとも一実施例では、カメラを車両内の任意のロケーションに設置することは、グラウンド・トゥルース・データの欠落をもたらすことがあり、これは訓練に問題を生じさせる恐れがある。少なくとも一実施例では、車両内の点又はロケーションは、固定され既知であるかもしれないが、この車両内のカメラの位置及び配向は既知でないことがあり、それにより、カメラに対するこれらの点又は物体の相対位置が不確実になり、グラウンド・トゥルースが利用可能にならない。少なくとも一実施例では、図１Ｂ及び図１Ｃに示すように、異なるカメラから捕捉された画像データは、異なるロケーションにある物体の表示を含むことになる。少なくとも一実施例では、図１Ｂに示す画像１２０は、バックミラー上の第１のカメラ１０２の視点から見たドライバの表示を含み、図１Ｃに示す画像１４０は、計器パネル上の第２のカメラ１０６の視点から見たこのドライバの表示を含む。少なくとも一実施例では、ドライバは、両方の画像において計器パネルを見ている。しかし、少なくとも一実施例では、この車両に対する所与のカメラのグラウンド・トゥルース・データ、並びに既知の位置及び配向がなければ、このドライバが何を見ているかを確実に判定することができない。

少なくとも一実施例では、車両内の様々な物体の座標系を考慮することができる。少なくとも一実施例では、図１Ｄの図１６０に示すように、第１のカメラに関連する座標系１６２が存在してもよく、この座標系の原点及び配向は、カメラ・センサの位置及び配向に基づく。少なくとも一実施例では、この車両の座標系１６４が同様に存在し、ここでこの車両内の点は車両座標系１６４に対して固定される。少なくとも一実施例では、異なる位置にカメラを設置すると、これらの座標系１６４、１６４の間で相対距離及び配向が異なることになる。少なくとも一実施例では、ドライバ又は乗車者の座標系１６６など、追加の座標系も存在してよく、この座標系１６６は、その人の位置、向き、又は姿勢などの要因に基づき、経時的に変化することがある。少なくとも一実施例では、この車両内の別のカメラ又はセンサに対応する別の座標系１６８を考慮することができる。少なくとも一実施例では、それぞれが１つ又は複数の対応する座標系を有することができる追加のカメラ、センサ、又は物体が存在してもよい。

少なくとも一実施例では、これらの座標系の少なくともいくつかを相関させる又はブリッジするように試みることができる。少なくとも一実施例では、図２の図２００に示す車両配向に対応して、カメラがバックミラーに近接して位置付けられてもよく、そのカメラは、少なくとも動作中、又は乗車者が検出されたときに、この車両の内部の画像データを連続的に捕捉する主キャビン・カメラとすることができる。少なくとも一実施例では、このカメラを使用して捕捉した画像データは、このカメラに対する物体の表示を含むことになるので、カメラ座標系２０２は、このカメラに対して決定された座標系であると考えることができる。少なくとも一実施例では、このカメラに対するこれらの物体のロケーションを表すことは、カメラ座標系におけるそれらの位置を判定することによって簡単にすることができる。しかし、少なくとも一実施例では、カメラ位置が任意であったり、車両内の又は車両に近接した考えられる多数の位置のうちの１つであったりする場合があるので、このカメラ座標系のロケーションは、訓練用のグラウンド・トゥルース・データを有していないことがある。

少なくとも一実施例では、車両座標系２０４は、この車両のキャビンのためのものと考えることができる。少なくとも一実施例では、この座標系２０４は、この車両内に原点が定義される場所など、特定のロケーションを中心とすることができる。少なくとも一実施例では、この原点は、モデル化に使用するために車両内の決められた点に設置することができるキャリブレーション取付け部２０８又は他のそのような物体に対応してもよい。少なくとも一実施例では、キャリブレーション取付け部２０８は、カメラに対するキャリブレーション取付け部２０８の相対位置２０６及び配向を判定するのに使用することができる情報を含むことができる。少なくとも一実施例では、キャリブレーション取付け部２０８は、非対称なチェッカーボード・パターン、又はこのパターンの配向を判定するのに使用することができる他の非対称なパターンを含むことができる。少なくとも一実施例では、平坦なパターンは、３次元におけるこのキャリブレーション取付け部の相対的な配向についての情報をさらに提供することができる。少なくとも一実施例では、カメラによって捕捉された画像データは、このキャリブレーション取付け部２０８の表示を含むことができる。少なくとも一実施例では、画像データを分析して、カメラ座標系におけるこのカメラに対するこのキャリブレーション取付け部２０４の相対位置及び配向を判定することができる。少なくとも一実施例では、この車両内の点に対するグラウンド・トゥルース・データは、この車両座標系において既知である。少なくとも一実施例では、車両座標系２０４内の点を、カメラ座標系２０２の対応する点にマッピングすることができるので、カメラ座標系２０２に対する車両座標系２０４の相対位置及び配向を判定することにより、この構成のためのモデル又はニューラル・ネットワークを訓練するのに使用することができるグラウンド・トゥルース・データが提供される。

少なくとも一実施例では、物体のセット又は車両の対象領域を判定することができる。少なくとも一実施例では、これらの物体は、車両の前方の物体を見るためのフロントガラス領域、車両の横若しくは後方の物体を見るためのバックミラー若しくはサイドミラー、車両の動作についての情報を得るための計器パネル、又は他のタイプのコンテンツ若しくは情報を得るためのディスプレイ画面など、車両のドライバ若しくは乗車者が見るかもしれない物を含むことができる。少なくとも一実施例では、上記その他の潜在的な対象物体については、これらの物体に対応する車両内の位置を判定することが望ましい場合がある。

少なくとも一実施例では、車両内の物体又は領域を指定するために、マーカを使用することができる。少なくとも一実施例では、Ａｐｒｉｌｔａｇなどの基準マーカを使用することができる。少なくとも一実施例では、Ａｐｒｉｌｔａｇは、画像内で点のロケーション及び配向を判定するのに使用することができる視覚的基準要素３０６を提供し、この要素は、カメラ座標系又は仮想カメラ空間における相対位置に対応する。少なくとも一実施例では、ＱＲコード（登録商標）又は他の基準要素を利用することができる。少なくとも一実施例では、４つの基準要素３０６のセットを使用して領域をマークすることができ、ここでこの領域は、四角形、台形、又は他の四辺の幾何学的形状とすることができる。少なくとも一実施例では、部分的にはその区域の形状に応じて、その区域を表すために２つ以上の基準要素が使用されてもよい。少なくとも一実施例では、基準要素３０６の少なくともサブセットの表示を含む画像データを、カメラ３０２によって捕捉することができる。少なくとも一実施例では、これらの基準要素３０６の位置及び配向は、この画像データから、ただし仮想カメラ空間内で判定することができる。少なくとも一実施例では、これは、フロントガラス領域３１０、サイドミラー領域３０８、又はハンドル領域３１２などの物体の相対位置及び配向を含むことができる。少なくとも一実施例では、乗車者の視線方向が、これらの領域のうちの１つと交差すると判定されたとき、この乗車者がその領域を見ていると判定を下すことができ、この情報に基づき、何らかの措置をとるべきかどうかに関して判定を下すことができる。少なくとも一実施例では、こうした措置は、乗車者が見ているロケーションに表示する情報を選択すること、ドライバがある一定の領域から目を逸らしていることに起因して運転措置をとること、又は車両の動作若しくは構成を調節することなどを含むことができる。

少なくとも一実施例では、図３の構成に対して利用可能なグラウンド・トゥルース・データが存在せず、この構成に対応する特定のタイプの車両向けのニューラル・ネットワークなどの少なくとも１つのニューラル・ネットワークの正確な訓練を実現できないことがある。しかし、少なくとも一実施例では、車両座標系又は車両空間におけるこれらの基準マーカ３０６の、その座標系の原点に対するロケーションのグラウンド・トゥルース・データは利用可能であることがあり、この原点は、キャリブレーション取付け部３０４に対応してもよい。少なくとも一実施例では、仮想カメラ空間内の点を車両座標空間内の点にマッピングすることができ、それにより、カメラ３０２によって捕捉された画像データに表示されたこれらの基準マーカ３０６についてグラウンド・トゥルース・データを提供することができる。少なくとも一実施例では、次いで、対応する仮想カメラ空間にこの車両空間をマッピングすることができる限り、いかなる任意のカメラ位置についてもグラウンド・トゥルース・データを提供することができる。少なくとも一実施例では、キャリブレーション取付け部３０４は、色付きチェッカーボード・パターンなどの非対称なパターンを有し、これを使用して、捕捉画像データに出現するこのパターンに基づき、キャリブレーション取付け部の位置、距離、及び配向を判定することができる。

少なくとも一実施例では、データ収集システムと実際の車の環境とのブリッジとして、仮想カメラ空間が作成され、使用される。少なくとも一実施例では、このブリッジングは、車両監視システムが、任意の訓練済みディープ・ニューラル・ネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデルを車両の任意のモデルに導入できるようにすることができる。少なくとも一実施例では、それぞれの物理的な世界点を仮想カメラ空間内の点に変換することができる座標伝播機構が利用される。少なくとも一実施例では、伝播機構は、カメラ座標系などの判定された座標系と、車両若しくは乗車者の座標系など、１つ又は複数の隣接する座標系の判定された座標系との関係を見いだすことができる。少なくとも一実施例では、任意の点の座標を仮想カメラ空間内で判定できるように、これらの座標系を互いにつなぐ、又は他のやり方で相関させることができる。

少なくとも一実施例では、仮想カメラ空間及び座標伝播機構は、複数の車両モデルの訓練に適用することができ、乗車者が見るように要求されるすべてのロケーション、又は固定部について、グラウンド・トゥルースが生成される。少なくとも一実施例では、これは、発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）など、車両内の物体の基準マーカに近接した光を見ることを含むことができる。少なくとも一実施例では、伝播経路は、ＬＥＤ空間から始まり、物理的なＬＥＤボード空間に進み、次に基準マーカ空間、現実世界空間、キャリブレーション取付け部空間が続き、最後に仮想カメラ空間に至る。少なくとも一実施例では、車両、基準マーカ、及び他の固定ロケーションに対応するデータ点を判定することができ、それにより車両空間から仮想カメラ空間に至る単一の伝播経路を判定することができる。少なくとも一実施例では、この伝播経路は、この点から仮想カメラ空間の原点に向かうベクトルに対応し、これにより、カメラ座標系におけるこの点の座標を判定することができるようになり、これはグラウンド・トゥルース・データとして機能することができる。少なくとも一実施例では、このグラウンド・トゥルース・データを使用して、ディープ・ニューラル・ネットワーク・モデルのユーザ指定訓練を可能にすることができる。少なくとも一実施例では、このグラウンド・トゥルース・データを使用して、投影ベースのＤＮＮ視線モデル化を可能にすることができる。少なくとも一実施例では、ミラー・ベースのオクルージョン不変のカメラ位置特定手法が利用され、この手法は、幾何学的なパターン・ボードの一部分が、ハンドルなどによって遮蔽されているときでも、正しいカメラの位置特定を実現する。少なくとも一実施例では、ＤＭＳの環境的な制約などの制約を使用して姿勢サーチを絞り込むことによって、最適化されたキャリブレーション及び位置特定のための最適な姿勢セットを判定することができる手順が利用される。

少なくとも一実施例では、任意の定義可能な３次元（３Ｄ：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）環境において物体の位置を判定するように、物体検出モデルを訓練することができる。少なくとも一実施例では、この環境に対するカメラ又はセンサについてグラウンド・トゥルース・データを判定して、モデルの構築及び／又は訓練を可能にすることができる。少なくとも一実施例では、判定可能な配向を有する物体がこの３Ｄ環境に置かれて、カメラ座標系を有する仮想カメラ空間へのブリッジとして機能する。少なくとも一実施例では、次いで、環境座標系における既知の点を、このカメラ座標系におけるグラウンド・トゥルース点に変換することができる。少なくとも一実施例では、このグラウンド・トゥルース・データを使用して、視覚ベースの深層学習システムが、特定の出力を推論できるように訓練される。少なくとも一実施例では、この出力は、車両の乗車者の視線方向又はロケーションである。

少なくとも一実施例では、視線推定ネットワークは、車両内のドライバ又は乗員の前方のカメラを使用する。少なくとも一実施例では、その人がどこを見ているかを判定しようとして、このカメラによって画像データが捕捉される。少なくとも一実施例では、訓練中、車両内の若しくは車両に近接した点など、様々な対象点を様々な方向で見ている人の表示を含むかなりの量のデータが必要とされる。少なくとも一実施例では、そうしたネットワークが訓練されると、そのネットワークをそのタイプの車両に導入することができ、それにより、その車両又はその車両と通信するシステムは、人がどこを見ているかを推論できるようになる。少なくとも一実施例では、この視線情報が入手可能であることを利用したアプリケーションを構築することができる。少なくとも一実施例では、視線判定情報を使用して、ドライバが注意を払っていて道路を見ているか、又は注意を払っておらず他の場所を見ているかどうかを判定することができる。少なくとも一実施例では、視線情報を使用して、車両の制御を修正する、表示情報を変更する、又は車両の運転パターンを修正するなど、車両の動作を修正することができる。

少なくとも一実施例では、カメラ又はセンサに対応し得るものなど、任意の座標系における３次元点を記述するために使用することができるグラウンド・トゥルース・データが得られる。少なくとも一実施例では、このグラウンド・トゥルース・データは、車両の内部キャビンなどの３次元空間の少なくとも部分的なビューを有するカメラによって捕捉された画像に表示された物体と相関させることができる。少なくとも一実施例では、位置判定は、視線又は視覚に関係のない用途に使用することができる。少なくとも一実施例では、物体判定システムは、車両などの環境内の物体のロケーションを判定することができる。

少なくとも一実施例では、事前訓練された視線モデルを、任意のタイプの車両に導入することができる。少なくとも一実施例では、３次元空間にマッピングすることができる、車両のＬＥＤベースの検出システムを利用することができる。少なくとも一実施例では、検出システムを使用して、ドライバが見ている位置を判定し、これを複数のロケーションについて繰り返せるようにすることができる。少なくとも一実施例では、Ａｐｒｉｌｔａｇなどの基準マーカをそれぞれが含むＬＥＤボードのセットを使用することができる。少なくとも一実施例では、次いで、各ＬＥＤボードの位置を、車両空間において判定することができる。少なくとも一実施例では、各基準マーカは、カメラ又はセンサに対する３次元位置、配向、及び識別情報を画像に基づき判定できるようにする。少なくとも一実施例では、対象物体の各角に１つの基準マーカなど、各対象物体に近接して１つ又は複数の基準マーカが配置される。これらの基準マーカの表示を含む画像データを捕捉することができ、対応する３次元位置が車両空間において再構築される。少なくとも一実施例では、車両空間のこれらの座標を、カメラ座標系又は仮想カメラ空間にマッピングすることができる。少なくとも一実施例では、車両座標系のＬＥＤボード座標をカメラ座標系に伝播するために、トランスポート機構を使用することができる。少なくとも一実施例では、異なる座標系同士間、又は仮想空間同士間の違いは、原点及び６自由度を含む。少なくとも一実施例では、車両などの環境には単一の座標系が有用であり得るが、一方で車両に複数の乗車者がいるときなど、配向又は位置が変化し得る物体を有する環境には、複数の座標系が有用な場合がある。少なくとも一実施例では、複数の座標系を有する環境では、これらの座標系を互いに連結して、それらの関連座標系のいずれにおいてもグラウンド・トゥルース・データを提供することができる。

少なくとも一実施例では、検出プロセスは、制御された環境において実行することができる初期訓練ステージ又はデータ収集ステージを含む。少なくとも一実施例では、検出プロセスは第２の推論ステージをさらに含み、そのステージでは車両又は他のそのような環境などにおいて、訓練済みモデルが利用される。少なくとも一実施例では、モデルが利用される環境は、カメラ位置など、１つ又は複数の可変の態様を有することができる。少なくとも一実施例では、カメラは共通の座標系において一定のロケーションに固定されるわけではないので、カメラの可変的な性質によってデータ収集の不確実さが生じ、それにより、こうしたカメラを使用して捕捉した画像データに基づき、ドライバの視線位置などの情報をモデルにより推論するのは困難であり得る。少なくとも一実施例では、カメラが環境内に固定されている場合でも、第２の類似した環境にある第２のカメラは異なるロケーションに固定されることがある。少なくとも一実施例では、位置の差異があると、これらの位置のうちのせいぜい１つについて訓練されたモデルを導入して、異なる位置に設置されたカメラで使用することは、困難であり得る。

少なくとも一実施例では、仮想カメラ空間が抽出される。少なくとも一実施例では、この空間は、任意の物理空間に依存しないことから、仮想と呼ばれる。少なくとも一実施例では、この仮想カメラ空間を使用して、データ収集ステージと車内推論とをブリッジするのを補助することができる。少なくとも一実施例では、カメラ位置は固定されているが、所与の車両又は環境では知られていない。少なくとも一実施例では、乗車者の位置も、乗車者により変わり経時的にも変化することがある。少なくとも一実施例では、フロントガラスの左上の角、左ミラーの左上の角、又は右ミラーの角など、ドライバが見るように要求される位置は固定され得る。少なくとも一実施例では、閉じた環境において考えられるロケーションのサブセットに設置されたカメラ又はセンサを使用して、データが収集される。少なくとも一実施例では、汎化された視線ネットワークならば、乗車者が車両内で見ることができるすべての考えられる位置を判定し、現在の視線位置を高精度で識別することができよう。

少なくとも一実施例では、少なくとも１つのカメラ又はセンサを使用して捕捉された画像データを使用して、訓練データ及びグラウンド・トゥルース・データが得られる。少なくとも一実施例では、コンピュータ視覚アルゴリズムを使用してこの画像データを処理して、たとえば基準マーカのセットの相対位置が判定される。少なくとも一実施例では、ブリッジング機構を使用して、この位置情報を、車両空間などの環境空間の既知のグラウンド・トゥルース・データと相関させることができる。少なくとも一実施例では、したがって、グラウンド・トゥルース収集プロセスは、少なくとも１つの位置特定及び再構築のアルゴリズムを含む。少なくとも一実施例では、上記その他の構成要素を、キャリブレーション・スイート（Ｃａｌｉｂｒａｔｉｏｎ Ｓｕｉｔｅ）の一部として提供することができる。少なくとも一実施例では、キャリブレーション・スイートは、カメラのあらゆる特異性を補うために、カメラの撮像特徴を判定することができるカメラ・キャリブレーション構成要素を含む。少なくとも一実施例では、キャリブレーション・スイートは、任意の車両又は囲まれた区域内の全体監視カメラを位置特性することができる位置特定構成要素を含む。少なくとも一実施例では、キャリブレーション・スイートは、車両の形状を再構築することができるビデオ再構築構成要素も含む。少なくとも一実施例では、キャリブレーション・スイートは、環境内の各関連点についてグラウンド・トゥルース・データを取得するために使用することができる座標伝播プロセスにより、この情報を連結することができ、それを使用して、この特定の形状を有する車両においてニューラル・ネットワーク・モデルが訓練及び導入されることが可能になる。

少なくとも一実施例では、訓練済みモデルを使用して、人が見ている場所に対応する視線ベクトルを生成することができる。少なくとも一実施例では、訓練済みモデルを確認することもできる。少なくとも一実施例では、人の両目の間を原点とするベクトルが存在し、その点からの視線方向の線を追跡し、判定することができる。少なくとも一実施例では、この線は、特定の車両領域に関する車両形状の特定の点に交差することになる。少なくとも一実施例では、この判定された領域を、グラウンド・トゥルース・データと比較して、正しい推論が生成されたかどうかを判定することができる。少なくとも一実施例では、こうしたプロセスを使用して、訓練済みモデルを検証することができる。少なくとも一実施例では、次いで、この訓練済みモデルが、推論のために導入されてもよく、人が見ている場所を推論することができる。少なくとも一実施例では、この推論は、このモデルがどのように訓練されたかに部分的に基づき、車両キャビン内の任意の位置を対象としてもよく、又は特定の位置を対象としてもよい。少なくとも一実施例では、特定の位置又は領域を対象とする訓練は、これらの特定の位置又は領域についてのより正確な推論をもたらすことができる。

少なくとも一実施例では、データ捕捉は、単一のカメラ及び周囲光を用いて実行される。少なくとも一実施例では、データ捕捉は、少なくとも１つのカメラ又はセンサ、及び２つの赤外（ＩＲ：ｉｎｆｒａｒｅｄ）ＬＥＤなど少なくとも２つの照明源を使用して実行される。少なくとも一実施例では、２つの光源を使用することによって、グレア又は障害物を補うように視線検出することが可能になる。少なくとも一実施例では、データ捕捉は、フロントガラス、計器クラスタ、左ミラー、右ミラー、及びバックミラーなどの特定の対象物体に付与された基準を用いて実行される。少なくとも一実施例では、超音波又はレーザ走査のデータ捕捉を含んでもよい別のデータ捕捉プロセスを使用することができる。少なくとも一実施例では、特定のタイプ及びモデルの車両について補足されたデータを使用してモデルを訓練することができ、次いでそのモデルを、そのタイプ及びモデルの任意の車両で使用することができる。少なくとも一実施例では、車両又は環境の個々の変形形態について、異なるモデルを訓練することができる。

少なくとも一実施例では、視線データを他のデータとともに使用して、車両の動作態様の修正又は制御の仕方を判定することができる。少なくとも一実施例では、ドライバは、「その窓を下げる」又は「私の窓を下げる」などの言葉を発することができる。少なくとも一実施例では、マイクロフォンが発声を捕捉することができ、音声テキスト化分析が実行されて命令が判定されてもよい。少なくとも一実施例では、視線情報を使用して、このドライバが指す窓を判定するのを補助することができる。少なくとも一実施例では、次いで車両は、推論された視線データに部分的に基づき、判定された窓を自動的に下げることができる。少なくとも一実施例では、個人の特徴又は特異性を補うために、個々のユーザ又は人に合わせてモデルを個別化することができる。

少なくとも一実施例では、図４Ａのプロセス４００に示すように、１つ又は複数のニューラル・ネットワークを訓練するためのグラウンド・トゥルース・データを生成することができる。少なくとも一実施例では、車両の１つ又は複数の対象領域が判定される４０２。少なくとも一実施例では、これらの領域は、車両内若しくは車両に近接した窓、ミラー、ディスプレイ・パネルなど、乗車者が見る可能性のある、又はユーザが見ていると判定することに価値のあり得る領域を含むことができる。少なくとも一実施例では、これらの領域の角など、これらの領域の代表点に基準マーカを配置することができる４０４。少なくとも一実施例では、これらの基準マーカは、基準マーカの位置、距離、配向、及び識別情報などの情報を判定できるようにする非対称な視覚的態様を含むことができる。少なくとも一実施例では、これらの基準マーカは、本明細書で検討するように、Ａｐｒｉｌｔａｇ又はＱＲコードを含むことができ、１つ又は複数の関連ＬＥＤを有してもよい。少なくとも一実施例では、経時的に固定されたままである原点に対する絶対位置を判定することなどによって、これらの代表点の位置データを車両空間において判定することができる４０６。少なくとも一実施例では、カメラを使用して画像データを捕捉することができ４０８、この画像データは、車両内部の基準マーカ及びキャリブレーション取付け部の表示を含む。少なくとも一実施例では、キャリブレーション取付け部を使用して、仮想車両空間を定義する車両座標系の原点及び配向が指定される。少なくとも一実施例では、キャリブレーション取付け部は、捕捉された画像データに表示されたときにキャリブレーション・ボードの少なくとも位置、配向、及び縮尺をカメラが判定できるようにするチェッカーボード、及び少なくとも１つの非対称の態様を含むことができる。少なくとも一実施例では、捕捉画像データを分析して、代表点の位置を仮想カメラ空間において又はカメラ座標系によって判定することができる４１０。少なくとも一実施例では、画像データの基準マーカの表示を分析することによって、点の位置が判定される。少なくとも一実施例では、車両内の、及び捕捉画像データに表示されたキャリブレーション取付け部を、ブリッジング機構として利用して４１２、車両座標系とカメラ座標系を相関させることができ、それによりこのカメラ空間の点は、この車両座標系の対応する点について知られている絶対位置データに相関される。少なくとも一実施例では、これらの相関された点のこれらの既知の相対位置を、１つ又は複数のニューラル・ネットワークを訓練するためのグラウンド・トゥルース・データとして利用することができる４１２。

少なくとも一実施例では、図４Ｂに示すプロセス４５０は、こうした訓練済みモデルを使用して、車両などの環境における位置を判定することができる。少なくとも一実施例では、推論に使用されることになる画像又はビデオのフレームが取得される４５２。少なくとも一実施例では、訓練済みモデル又はニューラル・ネットワークへの入力として画像を提供することができる４５４。少なくとも一実施例では、この訓練済みモデルは、少なくとも画像データを含むデータを処理し、乗車者が見ている領域又は物体に対応し得るものなど、車両内の物体の位置を推論することができる４５６。

少なくとも一実施例では、図５に示すプロセス５００を使用して、視線データを判定することができる。少なくとも一実施例では、１つ又は複数のセンサを使用して、車両の１人又は複数の乗車者が検出される５０２。少なくとも一実施例では、これらのセンサは、カメラ、超音波センサ、レーダ走査、及びＬＩＤＡＲなどの撮像センサ、距離センサ、又は位置センサを含むことができる。少なくとも一実施例では、この車両の１人又は複数の乗車者の視線を、これらの１つ又は複数のセンサのロケーションとは無関係に判定することができる５０４。

図６は、本発明の一実施例による高レベルのシステム・アーキテクチャを示す。このシステム６００は、好ましくは、自律的又は半自律的な運転のためのコントローラ及びシステムを含め、複数のコントローラ６０２（１）～６０２（Ｎ）を含む。コントローラ６０２のうちの１つ又は複数は、リスク・アセスメントを実施し、通知、警告を提供するインテリジェント・アシスタント・ソフトウェア・スタック（ＩＸ）を実行するために使用される先進ＳｏＣ又はプラットフォームを含み、リスク・アセスメント、及び本明細書に記載の先進ドライバ支援機能を実行して、車両を完全に又は部分的に自律的に制御してもよい。自律的又は半自律的な運転機能を行うように自律車両（ＡＶ）ソフトウェア・スタックを実行して自律的な運転機能を実現するために、コントローラのうちの２つ以上が使用される。

本発明を実行するための先進プラットフォーム及びＳｏＣは、好ましくは、複数のタイプのプロセッサを有して、「ジョブに適したツール」、並びに機能的安全性のための処理多様性を提供する。たとえば、ＧＰＵは、より高精度のタスクによく適している。一方、ハードウェア・アクセラレータは、より特殊な機能セットを実行するように最適化することができる。複数のプロセッサの混合体を提供することにより、先進プラットフォーム及びＳｏＣは、先進のＡＩ支援車両に関する複雑な機能を迅速に、高い信頼性で、効率的に実行できる完全なツール・セットを含む。

図７は、一実施例によるシステム・アーキテクチャを示す。このシステムは、自律的又は半自律的な運転のためのコントローラ及びシステムを含む。コントローラ（１００）は、車両の周りに導入された１つ又は複数のカメラ（７２、７３、７４、７５）からの入力を受信する。コントローラ（１００）は、物体を検出し、この物体の存在及び軌道に関する情報を、リスク・アセスメント・モジュール（６０００）に提供する。システムは、車両の内側に位置付けられた複数のカメラ（７７）を含む。カメラ（７７）は、図８に示すように配置されてもよく、又はドライバ及び他の乗車者の被写域を提供する任意の他のやり方で配置されてもよい。カメラ（７７）は、ドライバ、他の乗車者、及び／又は車両の状態を監視するために複数のディープ・ニューラル・ネットワーク（５００）に入力を提供する。或いは、マルチ・センサのカメラ・モジュール（５００）、（６００（１）～（Ｎ））及び／又は（７００）を使用して、車両の内側又は外側の環境のいずれかが見られてもよい。

ニューラル・ネットワークは、好ましくは、多数の異なる特徴及び事象を検出するように訓練され、それらの特徴及び事象には：顔の存在（５００１）、運転席又は１つ若しくは複数の乗員席にいる人の識別情報（５００２）、ドライバの頭部姿勢（５００３）、ドライバの視線方向（５００４）、ドライバの目が開いているかどうか（５００５）、ドライバの目が閉じているか若しくは他のやり方で遮られているかどうか（５００６）、ドライバが話しているかどうか、及び話している場合には、ドライバは何を言っているか（聴覚入力又は読唇術による）（５００７）、乗員が争っているかどうか又は他のやり方で車両を制御するドライバの能力を損なっているかどうか（５００８）、並びにドライバが窮地に陥っているかどうか（５００９）が含まれる。追加の実施例では、頭部並びに身体の姿勢及び動きに基づき、携帯電話を確認する、飲み物を飲む、たばこを吸う、及びドライバの意図を（限定することなく）含むドライバの動作を識別するように、ネットワークが訓練される。一実施例では、ＡＶスタック及びＩＸスタックは両方とも、同じプラットフォーム又はＳｏＣ（９０００）上で実行されてもよい。

キャビンの例示的なカメラ・レイアウトを図８に示す。図９は、一実施例によるキャビンの正面を示す。キャビンは、好ましくは、ドライバに向けられた少なくとも２つのカメラを含む。一実施例では、ドライバ主カメラ（７７（３））は、波長９４０ｎｍ、視野６０度のＩＲ光を検出し、６０ｆｐｓで撮影する。ドライバ主カメラ（７７（３））は、好ましくは、顔ＩＤを判定し、ドライバの視線、頭部姿勢を判定し、眠気を検出するために使用される。少なくとも一実施例では、ドライバ主カメラをマルチ・センサ・カメラ・モジュールと交換して、ＩＲカメラとＲＧＢカメラの両方の機能が提供されてもよい。

一実施例では、ドライバ副カメラ（７７（４））は、波長９４０ｎｍの赤外線（ＩＲ）であり、視野６０度を有し、６０フレーム毎秒で撮影する。ドライバ副カメラ（７７（４））は、好ましくは、ドライバの視線、頭部姿勢を判定し、眠気を検出するために、ドライバ主カメラ（７７（３））とともに使用される。或いは、ドライバ副カメラをマルチ・センサ・カメラ・モジュールと交換して、ＩＲカメラとＲＧＢカメラの両方の機能が提供されてもよい。

キャビンは、好ましくは、通常頭上に取り付けられる少なくとも１つのキャビン主カメラ（７７（１））を含む。一実施例では、キャビン主カメラ（７７（１））は、波長９４０ｎｍのＩＲカメラであり、飛行時間（ＴｏＦ）深度、視野９０度を有し、３０ｆｐｓで撮影する。キャビン主カメラ（７７（１））は、好ましくは、ジェスチャ及びキャビン占有率を判定するために使用される。キャビンは、好ましくは、乗員用クローブ・ボックス又は乗員側ダッシュボードの近くに通常取り付けられる少なくとも１つの乗員カメラ７７（５）を含む。一実施例では、乗員カメラ（７７（５））は、波長９４０ナノメートル、視野６０度のＩＲであり、３０ｆｐｓで撮影する。或いは、ドライバ主カメラをマルチ・センサ・カメラ・モジュール（５００）（６００（１）～（Ｎ））及び／又は（７００）と交換して、ＩＲカメラとＲＧＢカメラの両方の機能が提供されてもよい。

キャビンの正面は、好ましくは複数のＬＥＤ照明（７８（１）～（２））を含む。照明は、好ましくは９７０ｎｍでＩＲ光を放ち、カメラと同期され、目に安全である。また車両の正面は、好ましくは、（ドライバの目が閉じているときと比較して）ドライバが下を見ているときを判定するための低角度のカメラも含む。

またキャビンは、好ましくは、キャビン全体のビューを提供する「キャビン副」カメラ（図示せず）を有する。キャビン副カメラは、好ましくは、ルーフの中央に取り付けられ、広角レンズを有して完全なキャビンのビューを提供する。これにより、システムが占有数を判定し、乗車者の年齢を推定し、物体検出機能を実行できるようになる。他の実施例では、システムは、前方及び後方の乗員専用のカメラ（図示せず）を含む。こうした専用のカメラにより、システムが車両の前方又は後方の乗車者とのビデオ会議を実行できるようになる。

少なくとも一実施例では、自律車両は、単一のハウジングに複数のセンサを提供し、交換可能なセンサも提供できる１つ又は複数のマルチ・センサ・カメラ・モジュール（ＭＳＣＭ）を含んでもよい。様々な実施例によるＭＳＣＭは、様々な構成：（１）ＩＲ＋ＩＲ（ＩＲステレオ視）、（２）ＩＲ＋ＲＧＢ（ステレオ視とペアリング・フレーム）、（３）ＲＧＢ＋ＲＧＢ（ＲＧＢステレオ・ビジョン）で使用することができる。ＲＧＢセンサは、必要とされる色及び低輝度性能に応じて、ＲＣＣＢ（又は何らかの他の色センサ）に置き換えることができる。ＭＳＣＭは、車両外側の環境をカバーするカメラ、車両内側をカバーするカメラ、又は両方をカバーするカメラに使用されてもよい。

図９は、ＭＳＣＭの実施例を示す。この実施例では、ＭＳＣＭ（９００）は、自律又は反自律の車両を制御するのに適した１つ又は複数のＡＩスーパーコンピュータに結合される。２０１７年１１月１０日出願の米国特許仮出願第６２／５８４，５４９号に記載されているように、この実施例では、ＡＩスーパーコンピュータ（８００）、（９００）は、１つ又は複数の先進ＳｏＣを含む。

マルチ・センサ・カメラ・モジュール９０４は、シリアライザ（９０６）、ＩＲ画像センサ（９１２）、ＲＧＢ画像センサ（９１８）、レンズ及びＩＲフィルタ（９１４）、並びにマイクロコントローラ（９１６）を備える。ＯｎＳｅｍｉのＡＲ０１４４（１．０メガピクセル（１２８０Ｈ×８００Ｖ）、６０ｆｐｓ、グローバル・シャッタ、ＣＭＯＳ）を含め、多くのカメラ・センサが使用されてもよい。ＡＲ０１４４は、高輝度と低輝度の両方の条件においてアーチファクトを低減し、ゴースト発生及びノイズ効果を最小に抑えるように、シャッタ効率及び信号対ノイズ比が高くなるように設計される。ＡＲ０１４４は、カラー・センサ（１００６）及びモノ・センサ（１００７）の両方に使用されてもよい。

多くの異なるカメラ・レンズ（９１４、９２４）が使用されてもよい。一実施例では、カメラ・レンズは、９４０ｎｍバンド・パスを有するＬＣＥ－Ｃ００１（５５ＨＦｏＶ）である。ＬＥＤレンズは、好ましくはＬｅｄｉｌのＬｉｓａ２ ＦＰ１３０２６である。一実施例では、各レンズは特定のＬＥＤと位置合わせされるように設計された成形ポリカーボネート（ＰＣ）ハウジングに取り付けられ、各認定ブランド又は様式のＬＥＤの理想的な焦点にレンズが正確に位置付けられるようになる。他のＬＥＤレンズが使用されてもよい。

図９に示す実施例では、ＭＳＣＭは、１つ又は複数のＬＥＤ（９２２）を制御する。これらのＬＥＤは、車載認定を受けており、高密度の不可視赤外光の形でカメラ用の赤外照明を提供する。一実施例では、ＬＥＤは、ＯｓｒａｍＯｐｔｏのＳＦＨ４７２５Ｓ ＩＲ ＬＥＤ（９４０ｎｍ）である。ＬＥＤ（９２２）は、ＬＥＤを明滅させるスイッチ（９２０）によって制御される。ＬＥＤレンズは、好ましくはＬｅｄｉｌのＬｉｓａ２ ＦＰ１３０２６である。他のＬＥＤ及びレンズが使用されてもよい。

シリアライザは、好ましくは、ＭＡＸ９２９５Ａ ＧＭＳＬ２ ＳＥＲであるが、他のシリアライザが使用されてもよい。好適なマイクロコントローラ（ＭＣＵ）は、ＡｔｍｅｌのＳＡＭＤ２１を含む。ＳＡＭ Ｄ２１は、３２ビットのＡＲＭ Ｃｏｒｔｅｘプロセッサを使用し、３２～６４ピンにわたる一連の低電力マイクロコントローラであり、最大で２５６ＫＢのフラッシュ及び３２ＫＢのＳＲＡＭを有する。ＳＡＭ Ｄ２１デバイスは、最大周波数４８ＭＨｚで動作し、２．４６ＣｏｒｅＭａｒｋ／ＭＨｚに到達する。他のＭＣＵも使用することができる。ＬＥＤドライバ（９２２）は、好ましくは、ＯｎＳｅｍｉのＮＣＶ７６９１－Ｄ又は同等の物であるが、他のＬＥＤドライバが使用されてもよい。

図１０は、ドライバＵＸの入力／出力及び構成の一実施例を示す。ドライバＵＸは、ＡＶ状態パネル（９００）、主ディスプレイ画面（９０３）、副ディスプレイ画面（９０４）、周囲ディスプレイ画面（９０１）、及び通信パネル（９０２）を含む１つ又は複数のディスプレイ画面を含む。ＡＶ状態パネル（９００）は、好ましくは、安全を確保するドライバが車両を操作するのに重要な情報だけを示す小さい（３．５”、４”、又は５”）ディスプレイである。

周囲ディスプレイ画面（９０１）及び副ディスプレイ画面（９０４）は、好ましくは、クロス・トラフィック・カメラ（５０５）、死角カメラ（５０６）、並びに後方カメラ（５０７）及び（５０８）からの情報を表示する。一実施例では、周囲ディスプレイ画面（９０１）及び副ディスプレイ画面（９０４）は、図２３に示すように、安全を確保するドライバの周りを囲むように配置される。代替的な実施例では、ディスプレイ画面は、図２３に示す実施例とは異なるやり方で組み合わされてもよく、又は配置されてもよい。たとえば、ＡＶ状態パネル（９００）及び主ディスプレイ画面（９０３）は、単一の正面に面するパネルに統合されてもよい。或いは、主ディスプレイ画面（９０３）の一部分は、先進ＡＩ支援車両の分割画面ビュー、又は頭上からのビューを、その周りに物体のある状態で示すために、使用されてもよい。或いは、ドライバＵＸの入力／出力は、スピード、行き先、ＥＴＡなどの車両パラメータ、及び乗員の数、又は単にＡＶシステムの状態（アクティブ化又は使用不可）のヘッド・アップ・ディスプレイ（「ＨＵＤ：Ｈｅａｄｓ－Ｕｐ Ｄｉｓｐｌａｙ」）（９０６）を含んでもよい。

ドライバ・インターフェース及びディスプレイは、自律運転スタックからの情報を提供してドライバを支援してもよい。たとえば、ドライバ・インターフェース及びディスプレイは、車線、車、信号、歩行者を、主画面（９０３）かフロントガラスのＨＵＤ（９０６）かのいずれかにおいて強調してもよい。ドライバ・インターフェース及びディスプレイは、自律運転スタックが提案する推奨経路を提供するとともに、車両が信号又は交通標識に近づくにつれて、加速をやめるよう、又はブレーキをかけ始めるように提案してもよい。ドライバ・インターフェース及びディスプレイは、対象点を強調してもよく、運転時に車の周りのビューを拡大してもよく（広角）、又は駐車を支援してもよい（たとえば、車両が周囲カメラを有する場合には、上からのビューを提供してもよい）。

ドライバ・インターフェース及びディスプレイは、好ましくは：（１）交差点、工事現場ゾーン、及び料金ブースを含む、前方にある待機条件、（２）先進ＡＩ支援車両よりはるかに遅く移動している歩行者など、走行経路上の物体、（３）前方にある立ち往生した車両、（４）前方にあるスクール・ゾーン、（５）道ばたで遊んでいる子供、（６）道ばたの動物（たとえば、鹿又は犬）、（７）緊急車両（たとえば、パトカー、消防車、救急車、又はサイレンのある他の車両）、（８）走行経路の前方に割り込みしそうな車両、（９）クロス・トラフィック、特に交通信号又は標識を無視しそうな場合、（１０）近づいてくるサイクリスト、（１１）道路上の予想外の物体（たとえば、タイヤ及び瓦礫）、並びに（１２）前方にある状態の悪い道路（たとえば、凍結路及び穴）を含むアラートを提供する。

実施例は、限定することなく、クーペ、セダン、バス、タクシー、及びシャトルを含む任意のタイプの車両に適したものであってもよい。一実施例では、先進ＡＩ支援車両は、地図情報、経路情報、テキスト音声化インターフェース、音声認識、及び（マイクロソフトＯｕｔｌｏｏｋなどのカレンダー・アプリケーションとの統合を含む）外部アプリ統合を含め、乗員と通信するための乗員インターフェースを含む。

図１１は、一実施例による視線推定の方法のフローチャートを示す。ステップ１において、目の画像が受信される。ステップ２において、頭部の向きが受信される。一実施例では、頭部の向きのデータは事前コンピュートされ、方位角及び仰角を含んでもよい。別の実施例では、頭部の向きのデータは、対象者の顔の画像であり、頭部の向きはその画像に基づき判定される。ステップ３において、画像及び頭部の向きのデータに基づき、ＣＮＮにより視線位置がコンピュートされる。

図１２は、一実施例による視線検出を判定するのに好適なニューラル・ネットワークのパイプラインを示す。ＦＤネット（５００１）は、顔の存在を検出するように訓練される。ＨＰネット（５００３）は、人の頭部の姿勢を判定する。ＦＰＥネット（５００１１）は、基準点を検出する。この実施例では、視線ネット（５００４）は、ニューラル・ネットワークは、頭部位置データ（ｘ，ｙ，ｚ）と、頭部に関連付けられた基準点との両方を含む入力を使用して訓練される。これらの入力を使用して、視線ネットはドライバの視線を検出する。

一実施例では、リスク・アセスメント・モジュールは、クロス・トラフィックがドライバの視野から外れているかどうかを判定し、適切な警告を提供する。図１３は、リスク・アセスメント・モジュールが、視線検出のためのＤＮＮ（５００４）からの情報、及びコントローラからの情報を使用してドライバにアラートを発する１つの状況を示す。

視線検出ＤＮＮは、ドライバの視線を、図１３に示す領域に入るものとして分類する。一例では、これらの領域は、左クロス・トラフィック（１０（１））、中央トラフィック（１０（２））、右トラフィック（１０（３））、バックミラー（１０（４））、左サイドミラー（１０（５））、右サイドミラー（１０（５））、計器パネル（１０（７））、及びセンタ・コンソール（１０（８））を含む。

視線検出ＤＮＮが、ドライバの視線の領域を分類する間に、コントローラ（１００（２））は、先進ＳｏＣ上で実行しているＤＮＮを使用して、ドライバの視野の外側のクロス・トラフィックを検出する。

ニューラル・ネットワークの訓練及び導入
少なくとも一実施例では、未訓練ニューラル・ネットワークが、訓練データ・セットを使用して訓練される。少なくとも一実施例では、訓練フレームワークは、ＰｙＴｏｒｃｈフレームワークであり、一方他の実施では、訓練フレームワークは、Ｔｅｎｓｏｒｆｌｏｗ、Ｂｏｏｓｔ、Ｃａｆｆｅ、マイクロソフトＣｏｇｎｉｔｉｖｅ Ｔｏｏｌｋｉｔ／ＣＮＴＫ、ＭＸＮｅｔ、Ｃｈａｉｎｅｒ、Ｋｅｒａｓ、Ｄｅｅｐｌｅａｒｎｉｎｇ４ｊ、又は他の訓練フレームワークである。少なくとも一実施例では、訓練フレームワークは、未訓練ニューラル・ネットワークを訓練し、本明細書に記載の処理リソースを使用してそれが訓練されるのを可能にして、訓練済みニューラル・ネットワークを生成する。少なくとも一実施例では、重みは、ランダムに選択されてもよく、又はディープ・ビリーフ・ネットワークを使用した事前訓練によって選択されてもよい。少なくとも一実施例では、訓練は、教師あり、又は一部教師あり、又は教師なしのいずれかのやり方で実行されてもよい。

少なくとも一実施例では、未訓練ニューラル・ネットワークは教師あり学習を使用して訓練され、ここで訓練データ・セットは、入力に対する所望の出力と対になった入力を含み、又は訓練データ・セットは、既知の出力を有する入力を含み、ニューラル・ネットワークの出力が手動で採点される。少なくとも一実施例では、未訓練ニューラル・ネットワークは教師ありのやり方で訓練され、訓練データ・セットからの入力を処理し、結果として得られた出力を、予想の又は所望の出力のセットと比較する。少なくとも一実施例では、次いで、誤差が、未訓練ニューラル・ネットワークを通って逆伝播される。少なくとも一実施例では、訓練フレームワークは、未訓練ニューラル・ネットワークを制御する重みを調節する。少なくとも一実施例では、訓練フレームワークは、未訓練ニューラル・ネットワークが、新規データなどの既知の入力データに基づき、結果などにおいて正しい答えを生成するのに好適な訓練済みニューラル・ネットワークなどのモデルに向かって、どれだけ良好に収束しているかを監視するツールを含む。少なくとも一実施例では、訓練フレームワークは、未訓練ニューラル・ネットワークを繰り返し訓練する一方、損失関数、及び確率的勾配降下法などの調整アルゴリズムを使用して、未訓練ニューラル・ネットワークの出力を精緻化するように重みを調整する。少なくとも一実施例では、訓練フレームワークは、未訓練ニューラル・ネットワークが所望の精度に到達するまで未訓練ニューラル・ネットワークを訓練する。少なくとも一実施例では、次いで訓練済みニューラル・ネットワークを、任意の数の機械学習動作を実装するように導入することができる。

少なくとも一実施例では、未訓練ニューラル・ネットワークは、教師なし学習を使用して訓練され、ここで未訓練ニューラル・ネットワークは、ラベルなしデータを使用して自らを訓練しようとする。少なくとも一実施例では、教師なし学習の訓練データ・セットは、いかなる関連出力データ又は「グラウンド・トゥルース・データ」もない入力データを含む。少なくとも一実施例では、未訓練ニューラル・ネットワーク１１０６は、訓練データ・セット内でグループ化を学習することができ、個々の入力が、未訓練データ・セットにどのように関係しているかを判定することができる。少なくとも一実施例では、教師なし訓練を使用して、自己組織化マップを生成することができ、自己組織化マップは、新規データの次元を低減するのに有用な動作を実行することができるタイプの訓練済みニューラル・ネットワークである。少なくとも一実施例では、教師なし訓練を使用して異常検出を実行することもでき、異常検出は、新規データ・セットの通常のパターンから逸脱した、新規データ・セット内のデータ点を識別できるようにする。

少なくとも一実施例では、半教師あり学習が使用されてもよく、それは、ラベル付きデータとラベルなしデータが訓練データ・セットに混在している技法である。少なくとも一実施例では、訓練フレームワークを使用して、伝達学習（ｔｒａｎｓｆｅｒｒｅｄ ｌｅａｒｎｉｎｇ）技法などによる漸次的学習が実行されてもよい。少なくとも一実施例では、漸次的学習により、訓練済みニューラル・ネットワークは、初期訓練中にネットワーク内に教え込まれた知識を忘れることなく、新規データに適合できるようになる。

述べたように、多岐にわたるますます多くの業界及び用途で、機械学習が利用されている。一例として、プロセッサ上で発展するディープ・ニューラル・ネットワーク（ＤＮＮ）は、自己運転車から迅速な医薬品開発、安全システムの自動画像分析からビデオ・チャット・アプリケーションのリアル・タイムでのスマート言語翻訳に至るまで、多様なユース・ケースに使用されてきている。深層学習は、人の脳のニューラル学習プロセスを模範とする技法であり、継続的に学習し、継続的に賢くなり、時間が経つにつれてより正確な結果をより早く出す。子供は、最初に様々な形を正確に識別し分類するように大人から教えられ、最終的には、いかなる指導もなく形状を識別できるようになる。同様に、同じようなタスクを達成するように設計された深層学習又はニューラル学習システムは、基本的な物体、遮られた物体などを識別しながら、同時にこれらの物体にコンテキストを割り当てることにおいて、より賢く、より効率的になるために、それに向けて訓練される必要がある。

最も簡単なレベルでは、人の脳のニューロンは、受け取る様々な入力を見て、これらの入力のそれぞれに重要度レベルが割り当てられ、出力が他のニューロンに渡されて作用を受ける。人工ニューロン又はパーセプトロンは、ニューラル・ネットワークの最も基本的なモデルである。一例では、パーセプトロンは、パーセプトロンが認識し分類するように訓練されている物体の様々な特徴を表す１つ又は複数の入力を受け取ることができ、物体の形を定義する上でのその特徴の重要度に基づき、これらの特徴のそれぞれに一定の重みが割り当てられる。

ディープ・ニューラル・ネットワーク（ＤＮＮ）モデルは、つながった多くのパーセプトロン（たとえばノード）の複数の層を含み、それらを、膨大な量の入力データによって、複雑な問題を素早く高精度で解くように訓練することができる。一例では、ＤＮＮモデルの第１の層は、自動車の入力画像を様々な区分に分解し、線又は角度などの基本パターンを探す。第２の層は線を構築して、ホイール、フロントガラス、及びミラーなど、より高いレベルのパターンを探す。次の層は、車両のタイプを識別し、最後のいくつかの層は、入力データに対するラベルを生成して、特定の自動車ブランドのモデルを特定する。ＤＮＮが訓練されると、このＤＮＮを導入及び使用して、推論として知られているプロセスにおいて物体又はパターンを識別及び分類することができる。推論（ＤＮＮが所与の入力から有用な情報を抽出するプロセス）の例は、ＡＴＭ機械に預け入れられた小切手の手書きの数字を識別すること、写真の中の友達の画像を識別すること、映画のおすすめを配信すること、異なるタイプの自動車、歩行者、及びドライバ不在の車において道路障害物を識別及び分類すること、又は人の音声をほぼリアル・タイムで翻訳することを含む。

訓練中、入力に対応するラベルを示す予測が生成されるまで、データは、ＤＮＮを通って順伝播フェーズで流れる。ニューラル・ネットワークが入力に正しくラベル付けしない場合には、正しいラベルと予測ラベルとの誤差が分析され、逆伝播フェーズ中に各特徴について重みが調節され、最終的には、ＤＮＮが入力及び訓練データ・セット内の他の入力に正しくラベル付けする。複雑なニューラル・ネットワークを訓練するには、サポートされている浮動小数点の乗算及び加算を含め、大量の並列コンピューティング性能が必要である。推論は、訓練ほどコンピュートを多く必要とせず、レイテンシに敏感なプロセスであり、ここで訓練済みニューラル・ネットワークが以前に見たことのない新規の入力に適用されて、画像を分類し、音声を翻訳し、新情報を推論する。

ニューラル・ネットワークは行列演算に大きく依存し、複雑な多層ネットワークは、効率とスピードの両方のために膨大な量の浮動小数点性能及び帯域幅を必要とする。行列演算に最適化された、数十から数百のＴＦＬＯＰＳ性能を提供する数千個の処理コアがあれば、コンピューティング・プラットフォームは、ディープ・ニューラル・ネットワークに基づく人工知能及び機械学習アプリケーションに必要な性能を提供することができる。

図１４は、機械学習を訓練及び利用するために使用することができる例示的なシステム１４００の構成要素を示す。検討するように、様々な構成要素は、コンピューティング・デバイスとリソースの様々な組合せによって提供されてもよく、又は単一のエンティティ又は複数のエンティティの制御下にあってもよい単一のコンピューティング・システムによって提供されてもよい。さらに、態様は、異なるエンティティによってトリガされ、開始され、又は要求されてもよい。少なくとも一実施例では、ニューラル・ネットワークの訓練は、プロバイダ環境１４０６に関連付けられたプロバイダによって命令されてもよく、一方少なくとも一実施例では、訓練は、プロバイダ環境にアクセスできる顧客又は他のユーザにより、クライアント・デバイス１４０２又は他のそうしたリソースを通して要求されてもよい。訓練データ（又は訓練済みニューラル・ネットワークによって分析されることになるデータ）は、プロバイダ、ユーザ、又は第三者のコンテンツ・プロバイダ１４２４によって提供されてもよい。少なくとも一実施例では、クライアント・デバイス１４０２は、デバイスのナビゲーションを支援する要求を送出し、且つ／又は命令を受信することができる、たとえばユーザの代わりにナビゲートされることになる車両又は物体とすることができる。

この例では、要求は、少なくとも１つのネットワーク１４０４を横切って送出されて、プロバイダ環境１４０６により受信されることが可能である。クライアント・デバイスは、こうした要求をユーザが生成し送信できるようにする任意の適切な電子デバイス及び／又はコンピューティング・デバイスとすることができ、デスクトップ・コンピュータ、ノートブック・コンピュータ、コンピュータ・サーバ、スマート・フォン、タブレット・コンピュータ、ゲーミング・コンソール（ポータブル、又はその他）、コンピュータ・プロセッサ、コンピューティング論理、及びセット・トップ・ボックスを含んでもよい。ネットワーク１４０４は、要求又は他のそのようなデータを送信するための任意の適切なネットワークを含むことができ、インターネット、イントラネット、イーサネット（登録商標）、セルラー・ネットワーク、ローカル・エリア・ネットワーク（ＬＡＮ）、ピア間の直接ワイヤレス接続のネットワークなどを含んでもよい。

要求は、この例ではインターフェース層１４０８によって受信することができ、このインターフェース層１４０８は、訓練及び推論マネージャ１４１０にデータを転送することができる。このマネージャは、データ又はコンテンツに対応する要求及びサービスを管理するためのハードウェア及びソフトウェアを含むシステム又はサービスとすることができる。このマネージャは、ニューラル・ネットワークを訓練するための要求を受信することができ、要求に対するデータを、訓練マネージャ１４１２に提供することができる。訓練マネージャ１４１２は、要求によって指定されていない場合には、使用するのに適切なモデル又はネットワークを選択することができ、関連する訓練データを使用してモデルを訓練することができる。少なくとも一実施例では、訓練データは、訓練データ・リポジトリ１４１４に記憶された、クライアント・デバイス１４０２から受信された、又は第３者プロバイダ１４２４から取得されたデータのバッチとすることができる。訓練マネージャ１４１２は、本明細書で検討するＬＡＲＣベースの手法を使用することなどにより、訓練データに関与することができる。ネットワークは、再帰ニューラル・ネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）又は畳み込みニューラル・ネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの任意の適切なネットワークとすることができる。ネットワークが訓練され、無事に評価が済むと、訓練済みネットワークをモデル・リポジトリ１４１６に記憶することができ、モデル・リポジトリ１４１６は、たとえばユーザ、アプリケーション、又はサービスなどのための異なるモデル又はネットワークを記憶してもよい。述べたように、少なくとも一実施例では、単一のアプリケーション又はエンティティに対して複数のモデルが存在してもよく、多数の異なる要因に基づき利用されてもよい。

その後の時点で、訓練済みニューラル・ネットワークによって少なくとも部分的に判定され又は影響を受けるコンテンツ（たとえば経路判定）若しくはデータの要求が、クライアント・デバイス１４０２（又は他のそのようなデバイス）から受信されてもよい。この要求は、たとえば１つ若しくは複数の推論、又は他の出力値、分類、若しくは予測を得るためにニューラル・ネットワークを使用して処理されることになる入力データを含むことができる。入力データは、インターフェース層１４０８により受信され、推論モジュール１４１８に導かれることが可能であるが、異なるシステム又はサービスも使用することができる。推論モジュール１４１８は、本明細書で検討する訓練済みディープ・ニューラル・ネットワーク（ＤＮＮ）などの適切な訓練済みネットワークを、まだ推論モジュール１４１８にローカルに記憶されていない場合にはモデル・リポジトリ１４１６から取得することができる。推論モジュール１４１８は、訓練済みネットワークに入力としてデータを提供することができ、次いで訓練済みネットワークが、出力として１つ又は複数の推論を生成することができる。これは、たとえば入力データのインスタンスの分類を含んでもよい。次いで、ユーザに表示又は他のやり方で通知できるように、推論をクライアント・デバイス１４０２に送信することができる。また、ユーザのためのコンテキスト・データが、ユーザ・コンテキスト・データ・リポジトリ１４２２に記憶されてもよく、ユーザ・コンテキスト・データ・リポジトリ１４２２は、推論を生成する際、又はインスタンスを取得した後にユーザに返すデータを判定する際に、ネットワークへの入力として有用なことがあるユーザについてのデータを含んでもよい。入力データ又は推論データのうちの少なくともいくつかを含み得る関連データも、将来の要求を処理できるようにローカルのデータベース１４２０に記憶されてもよい。少なくとも一実施例では、ユーザは、プロバイダ環境のリソース又は機能にアクセスするために、アカウント又は他の情報を使用することができる。将来の要求に対してより正確な推論を提供するために、許可されていて利用可能な場合、ユーザ・データも収集及び使用されて、モデルがさらに訓練されてもよい。要求は、ユーザ・インターフェースを介して、クライアント・デバイス１４０２上で実行している機械学習アプリケーション１４２６により受信されてもよく、同じインターフェースを介して結果が表示されてもよい。クライアント・デバイスは、要求を生成し、結果若しくは応答を処理するためのプロセッサ１４２８及びメモリ１４３０などのリソース、並びに機械学習アプリケーション１４２６用のデータを記憶するための少なくとも１つのデータ記憶要素１４３２を含むことができる。

少なくとも一実施例では、プロセッサ１４２８（又は訓練マネージャ１４１２若しくは推論モジュール１４１８のプロセッサ）は、中央処理装置（ＣＰＵ）である。しかし述べたように、こうした環境のリソースは、少なくともある一定のタイプの要求に対するデータを処理するために、ＧＰＵを利用することができる。数千個のコアを用いて、ＧＰＵは、かなりの並列ワークロードに対処するように設計され、したがって、ニューラル・ネットワークを訓練し予測を生成するための深層学習において多用されるようになってきた。オフライン構造にＧＰＵを使用することにより、より大きくより複雑なモデルの訓練をより早く行うことができるようになったが、オフラインで予測を生成することは、要求時の入力特徴を使用できないこと、又はリアル・タイムの要求に応えるために、特徴のすべての順列について予測を生成し、ルックアップテーブルに記憶しなくてはならないことのいずれかを意味する。深層学習フレームワークがＣＰＵモードをサポートしており、妥当なレイテンシでＣＰＵ上でフィード・フォワードを実行するのに十分なほどモデルが小さく単純である場合には、ＣＰＵインスタンスのサービスはモデルのホストとして働くことができる。この場合、訓練をオフラインでＧＰＵ上で行うことができ、推論をリアル・タイムでＣＰＵ上で行うことができる。ＣＰＵの手法が実行不可能である場合には、サービスをＧＰＵインスタンス上で実行することができる。しかしＧＰＵは、ＣＰＵとは異なる性能及びコスト特徴を有するので、ラン・タイム・アルゴリズムをＧＰＵにオフロードするサービスを実行するには、ＣＰＵベースのサービスとは異なるやり方でサービスを設計する必要があり得る。

図１５は、少なくとも一実施例において、データを分類する、又は推論を生成するために使用することができる例示的なシステム１５００を示す。入力データに対して、様々なタイプの予測、ラベル、又は他の出力も生成することができ、これは本明細書に含まれる教示及び示唆に照らして明らかになるはずである。さらに、教師あり訓練と教師なし訓練の両方を、本明細書で検討する少なくとも一実施例において使用することができる。この例では、訓練データ１５０２（たとえば、分類済み又はラベル付きのデータ）のセットが、入力として提供されて訓練データとして機能する。訓練データは、ニューラル・ネットワークがそれについて訓練されることになる少なくとも１つのタイプの物体のインスタンス、並びにそのタイプの物体を識別する情報を含むことができる。たとえば、訓練データは、あるタイプの物体の表示をそれぞれが含む画像のセットを含んでもよく、ここで各画像は、それぞれの画像に表示された物体のタイプを識別するラベル、メタデータ、分類、若しくは他の情報も含み、又はそれらに関連付けられている。テキスト・データ、オーディオ・データ、ビデオ・データなどを含んでもよい様々な他のタイプのデータも、訓練データとして使用されてもよい。この例の訓練データ１５０２は、訓練マネージャ１５０４への訓練入力として提供される。訓練マネージャ１５０４は、訓練アプリケーションを実行する１つ又は複数のコンピューティング・デバイスなど、ニューラル・ネットワーク（又は他のモデル若しくはアルゴリズムなど）を訓練するためのハードウェア及びソフトウェアを含むシステム又はサービスとすることができる。この例では、訓練マネージャ１５０４は、訓練に使用するモデルのタイプを示す命令又は要求を受信する。モデルは、こうした目的に有用な、任意の適切な統計モデル、ネットワーク、又はアルゴリズムとすることができ、人工ニューラル・ネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、深層学習アルゴリズム、学習分類器、ベイジアン・ネットワークなどを含んでもよい。訓練マネージャ１５０４は、初期モデル又は他の未訓練モデルを適切なリポジトリ１５０６から選択し、訓練データ１５０２を利用してモデルを訓練することができ、同様のタイプのデータを分類する又は他のそうした推論を生成するのに使用することができる訓練済みモデル１５０８（たとえば訓練済みディープ・ニューラル・ネットワーク）を生成する。訓練データが使用されない少なくとも一実施例では、訓練マネージャ１５０４ごとに、入力データに対する訓練のための適切な初期モデルをなお選択することができる。

選択されたモデルのタイプに部分的に依存してもよい多くの異なるやり方で、モデルを訓練することができる。たとえば一実施例では、機械学習アルゴリズムを、訓練データのセットとともに提供することができ、ここでモデルは、訓練プロセスによって作製されるモデル・アーチファクトである。訓練データの各インスタンスは、正解（たとえば分類）を含んでおり、これを、ターゲット又はターゲット属性と呼ぶことができる。学習アルゴリズムは、ターゲットすなわち予測される答えに入力データ属性をマッピングする訓練データのパターンを見いだし、これらのパターンを捕捉する機械学習モデルが出力される。次いで機械学習モデルを使用して、ターゲットが指定されていない新規データについて予測を取得することができる。

一例では、訓練マネージャ１５０４は、バイナリ分類、マルチクラス分類、及び回帰モデルを含む機械学習モデルのセットから選択することができる。使用されるモデルのタイプは、少なくとも部分的には、予測されるターゲットのタイプに依存してもよい。バイナリ分類問題の機械学習モデルは、２つの考えられるクラスのうちの１つなど、バイナリの結果を予測する。ロジスティック回帰などの学習アルゴリズムを使用して、バイナリ分類モデルを訓練することができる。マルチクラス分類問題の機械学習モデルは、３つ以上の結果のうちの１つを予測するなど、多数のクラスについて予測を生成できるようにする。マルチクラスモデルを訓練するには、多項ロジスティック回帰が有用であり得る。回帰問題の機械学習モデルは、数値を予測する。回帰モデルを訓練するには、線形回帰が有用であり得る。

一実施例による機械学習モデルを訓練するために、訓練マネージャは、入力訓練データのソース、並びに予測されるターゲットを含むデータ属性の名前、必要なデータ変換命令、及び学習アルゴリズムを制御するための訓練パラメータなどの他の情報を判定しなくてはならない。訓練プロセス中、訓練マネージャ１５０４は、訓練データ・ソースにおいて指定されたターゲットのタイプに基づき、適切な学習アルゴリズムを自動的に選択してもよい。機械学習アルゴリズムは、訓練プロセス、及びその結果生じる機械学習モデルのある一定の特性を制御するために使用されるパラメータを受け入れることができる。これらは本明細書において、訓練パラメータと呼ばれる。訓練パラメータが指定されていない場合、訓練マネージャは、広範囲の機械学習タスクにうまく作用することが知られているデフォルト値を利用することができる。値を指定することができる訓練パラメータの例は、最大モデル・サイズ、訓練データにわたるパスの最大数、シャッフルのタイプ、正則化のタイプ、学習率、及び正則化の量を含む。デフォルト設定は、性能を微調整するように値を調節する選択肢を伴って指定されてもよい。

最大モデル・サイズは、モデルの訓練中に作製されるパターンのバイト単位の合計サイズである。１００ＭＢのモデルなど、指定サイズのモデルがデフォルトで作製されてもよい。訓練マネージャが、モデル・サイズを満たすのに十分なパターンを判定できない場合には、より小さいモデルが作製されてもよい。訓練マネージャが、指定サイズに収まるパターンより多くのパターンを見いだす場合には、学習済みモデルの品質に最も影響しないパターンを削ることによって、最大切り捨てが実施されてもよい。モデル・サイズを選択することにより、モデルの予測品質と、使用コストとのトレード・オフを制御することができる。モデルが小さいほど、訓練マネージャは、最大サイズ限度内に収まるように多くのパターンを除去して、予測品質に影響を及ぼす恐れがある。モデルが大きいほど、リアル・タイムの予測に対するクエリを実行するコストが多くなり得る。モデルは入力データではなくパターンを記憶するので、必ずしも入力データ・セットが大きいほどモデルが大きくなるとは限らない。パターンが少なく、単純な場合には、結果的に生じるモデルは小さくなる。多数の未加工の属性（入力列）又は派生特徴（データ変換の出力）を有する入力データは、訓練プロセス中により多くのパターンが見いだされ、記憶される可能性が高い。

少なくとも一実施例では、訓練マネージャ１５０４は、訓練データにわたって複数のパス又は反復を作り、パターンを発見しようとすることができる。１０のパスなどデフォルトのパス数が存在してもよいが、少なくとも一実施例では、１００パスまでなど、最大のパス数が設定されてもよい。少なくとも一実施例では、最大セットが存在しなくてもよく、又は訓練プロセスの終わりをトリガする収束条件又は他の要因セットが存在してもよい。少なくとも一実施例では、訓練マネージャ１５０４は、訓練中に（モデル収束などに対する）パターンの品質を監視することができ、発見すべきデータ点又はパターンがもはや存在しなくなったときに自動的に訓練を停止することができる。ほんのわずかな観測結果しかないデータ・セットは、十分に高いモデル品質を得るためにデータにわたってより多くのパスを必要とすることがある。より大きいデータ・セットは、多くの似たようなデータ点を含むことがあり、これにより多数のパスの必要性を低減させることができる。データにわたってより多くのデータ・パスを選択することの潜在的な影響は、モデル訓練により長い時間がかかり、リソース及びシステムの利用という観点からより多くのコストがかかり得ることである。

少なくとも一実施例では、訓練前又は訓練のパス同士間で、訓練データがシャッフルされる。シャッフルは、真にランダムな順序を生成するためのランダムな又は疑似ランダムなシャッフルであるが、特定のタイプのデータのまとまりがないように何らかの制約が課されてもよく、又はこうしたまとまりが存在する場合などには、シャッフル済みデータが再シャッフルさてもよい。シャッフルは、訓練にデータが利用される順番又は配置を変更し、それにより訓練アルゴリズムが、似たようなタイプのデータのまとまりに遭遇しないように、又は単一のタイプのデータに遭遇して多すぎる観測が連続して生じないようにする。たとえば、モデルが物体を予測するように訓練されてもよい。データは、アップロードの前に物体のタイプごとにソートされてもよい。次いでアルゴリズムは、データを物体のタイプごとにアルファベット順で処理し、ある一定の物体タイプのデータだけに最初に遭遇することがある。モデルは、物体のそのタイプのパターンを学習し始める。次いでモデルは、第２の物体のタイプのデータだけに遭遇し、その物体タイプに適合するようにモデルを調節しようとし、このことが、その第１の物体タイプに適合したパターンを劣化させることがある。物体のタイプがこのように突然切り替わることにより、物体タイプの正確な予測の仕方を学習しないモデルが生成されることがある。少なくとも一実施例では、訓練データ・セットが訓練サブセットと評価サブセットに分割される前に、シャッフルを実行することができ、それにより両方のステージにおいてデータ・タイプの相対的に均一な分配が利用される。少なくとも一実施例では、訓練マネージャ１５０４は、たとえば疑似ランダムなシャッフル技法を使用して、データを自動的にシャッフルすることができる。

少なくとも一実施例において機械学習モデルを作製するとき、訓練マネージャ１５０４により、ユーザは設定を指定したり、カスタム・オプションを適用したりできるようになる。たとえば、ユーザは、機械学習モデルの予測品質を評価するために確保すべき入力データの一部分を示す１つ又は複数の評価設定を指定してもよい。ユーザは、モデル訓練のためにどの属性及び属性変換が利用可能であるかを示すポリシーを指定してもよい。またユーザは、訓練プロセス、及びその結果生じるモデルのある一定の特性を制御する様々な訓練パラメータを指定してもよい。

本明細書で検討する少なくとも１つの終了条件を使用することなどにより、訓練マネージャが、モデルの訓練が完了したことを判定すると、検証データ１５１２を分類（又は他のやり方でそのための推論を生成）する際に分類器１５１４が使用するための訓練済みモデル１５０８を提供することができる。示してあるように、これには、モデルの訓練モードとモデルの推論モードとの間で論理的移行が必要になる。しかし少なくとも一実施例では、訓練済みモデル１５０８は、最初に評価器１５１０に渡されることになり、この評価器１５１０は、訓練済みモデルの品質（又は他のそのような態様）を評価するために少なくとも１つのコンピューティング・リソース（たとえば、少なくとも１つのサーバのＣＰＵ若しくはＧＰＵ）上で実行されるアプリケーション、プロセス、又はサービスを含んでもよい。モデルは、このモデルが新規又は将来のデータでターゲットを予測する際に少なくとも最低限許容可能な、又は閾値レベルの性能を提供するかどうかを判定するために評価される。提供しない場合には、訓練マネージャ１５０４は、このモデルの訓練を続けることができる。将来データのインスタンスは、未知のターゲット値を有することが多いので、ターゲットの答えが知られているデータについて機械学習の精度メトリックを検査し、このアセスメントを、将来データに対する予測精度のプロキシとして使用することが望ましいことがある。

少なくとも一実施例では、訓練のために提供された訓練データ１５０２のサブセットを使用してモデルが評価される。このサブセットは、上述したように、シャッフル及び分割の手法を使用して決定することができる。この評価データ・サブセットはターゲットでラベル付けされ、したがって評価のためのグラウンド・トゥルースのソースとして作用することができる。機械学習モデルの予測精度を、訓練に使用されたのと同じデータで評価することは有用ではない。なぜなら、訓練データを汎化するのではなく訓練データを覚えているモデルについて、肯定的な評価が生成されるかもしれないからである。訓練が完了すると、訓練済みモデル１５０８を使用して評価データ・サブセットが処理され、評価器１５１０は、グラウンド・トゥルース・データと、このモデルの対応する出力（又は予測／観測）とを比較することによって、このモデルの精度を判定することができる。少なくとも一実施例の評価器１５１０は、予測値と真値がどれだけうまく一致するかを示すサマリ又は性能メトリックを提供することができる。訓練済みモデルが、少なくとも最低限の性能条件又は他のそのような精度閾値を満足しない場合には、訓練マネージャ１５０４はさらなる訓練を実行するよう、又はいくつかのインスタンスでは、新しい若しくは異なるモデルを訓練するよう命令を受けることができる。訓練済みモデル１５０８が関連条件を満足する場合には、分類器１５１４によって使用されるように訓練済みモデルを提供することができる。

機械学習モデルを作製及び訓練するとき、少なくとも一実施例では、正確な予測を行うことができるモデルをもたらすことになるモデル設定又は訓練パラメータを指定することが望ましい場合がある。例示的なパラメータは、実行されるパス数（順方向及び／又は逆方向）、正則化又は精緻化、モデル・サイズ、及びシャッフル・タイプを含む。しかし、述べたように、評価データについて最良の予測性能を生成するモデル・パラメータ設定を選択することは、モデルの過剰適合をもたらすことがある。過剰適合は、モデルが、訓練及び評価のデータ・ソースにおいて生じるパターンを記憶しているが、データのパターンを汎化できていないときに生じる。過剰適合は、評価で使用されるすべてのデータを訓練データが含むときに生じることが多い。過剰適合したモデルは、評価中にはうまく機能するが、新規の又はその他の検証データに対しては正確な予測ができないことがある。過剰適合したモデルを最良モデルとして選択しないようにするために、訓練マネージャは、モデルの性能を検証するために付加的なデータを確保しておくことができる。たとえば、訓練データ・セットは、６０パーセントが訓練に、４０パーセントが評価又は検証に分けられてもよく、これらが２つ以上のステージに分けられてもよい。評価データに対してうまく作用するモデル・パラメータを選択し、検証データの半分など、この検証データのサブセットへの収束が得られたあと、第２の検証が、この検証データの残りを用いて実行されて、このモデルの性能が保証されてもよい。このモデルが検証データの予想に適合する場合、このモデルは過剰適合データではない。或いは、テスト・セット又はホールド・アウト・セットが、テスト・パラメータに使用されてもよい。第２の検証又はテスト・ステップを使用することによって、過剰適合を防止するための適切なモデル・パラメータを選択しやすくなる。しかし、訓練プロセスから検証用にデータをホールド・アウトすればするほど、訓練に利用可能なデータが少なくなる。訓練に利用可能なデータが十分に得られないことがあるので、データ・セットが小さい場合にはこれが問題になり得る。こうした状況における１つの手法は、本明細書の他の部分で検討するように、交差検証を実行することである。

所与のモデルの予測精度を調査及び評価するために使用することができる多くのメトリック又は見識が存在する。一例の評価結果は、モデルの全体的な成功について報告するための予測精度メトリック、並びに予測精度メトリックを超えたモデルの精度を探求しやすくするための視覚化を含む。また結果は、バイナリ分類などのためのスコア閾値を設定する影響を調査する機能も提供することができ、評価の有効性を検査するために、条件に対してアラートを生成することができる。メトリック及び視覚化の選択は、少なくとも部分的には、評価されているモデルのタイプに応じて異なってもよい。

訓練及び評価が無事に済むと、訓練済み機械学習モデルを使用して、機械学習アプリケーションを構築又はサポートすることができる。一実施例では、機械学習アプリケーションを構築することは、一連のステップを含む反復的なプロセスである。コアとなる機械学習の問題は、何が観測されるか、またモデルがどんな答えを予測するかという観点から組み立てることができる。次いで、データを収集し、クリーニングし、データを機械学習モデルの訓練アルゴリズムによって消化するのに適したものにする準備をすることができる。このデータを視覚化及び分析して、データの品質を検証しデータを理解するためにサニティ・チェックを実行することができる。未加工データ（たとえば入力変数）及び答えデータ（たとえばターゲット）は、高度な予測モデルを訓練するために使用できるようなやり方で表されていないことがあり得る。したがって、未加工の変数から、より予測に適した入力表示又は特徴を構築することが望ましいことがある。結果的に生じる特徴を、学習アルゴリズムに供給してモデルを構築し、モデル構築からホールド・アウトされたデータに対してモデルの品質を評価することができる。次いでモデルを使用して、新規のデータ・インスタンスについてターゲットの答えの予測を生成することができる。

図１５の例示的なシステム１５００では、評価後の訓練済みモデル１５１０が分類器１５１４に提供され、又は利用可能にされ、分類器１５１４は、訓練済みモデルを使用して検証データを処理することができる。これには、たとえばユーザ又は第３者から受信した、画像に何が表示されているかについての情報を探すクエリ画像など、分類されていないデータが含まれてもよい。検証データは、訓練済みモデルを使用して分類器によって処理されることが可能であり、生成された（分類又は予測などの）結果１５１６は、それぞれのリソースに送り返されるか、他のやり方で処理又は記憶されることが可能である。少なくとも一実施例では、また、こうした使用法が許可されている場合には、これらの今や分類済みのデータを訓練データ・リポジトリに記憶することができ、これらを使用して、訓練マネージャによる訓練済みモデル１５０８のさらなる訓練を行うことができる。少なくとも一実施例では、新規のデータが利用可能になるときにモデルは継続的に訓練されるが、少なくとも一実施例では、これらのモデルは、１日又は１週間に１度など、データ・セットのサイズ又はモデルの複雑さなどの要因に応じて、周期的に再訓練される。

分類器１５１４は、訓練済みモデルを使用して検証データ１５１２を処理するのに適したハードウェア及びソフトウェアを含むことができる。いくつかのインスタンスでは、分類器は１つ又は複数のコンピュータ・サーバを含み、それぞれのサーバが、データを処理することのできる１つ又は複数のグラフィックス・プロセッシング・ユニット（ＧＰＵ）を有する。ＧＰＵの構成及び設計により、ＧＰＵは、ＣＰＵや他のそのような構成要素よりも、機械学習データを処理する際に使用するのに望ましいものになることができる。少なくとも一実施例では、訓練済みモデルをＧＰＵメモリにロードすることができ、受信されたデータ・インスタンスがＧＰＵに提供されて処理される。ＧＰＵは、ＣＰＵよりもはるかに多数のコアを有することができ、またＧＰＵコアは、はるかに単純であることも可能である。したがって、所与のＧＰＵは、異なるハードウェア・スレッドを介して、数千のデータ・インスタンスを同時に処理可能であってもよい。また、ＧＰＵは、浮動小数点のスループットを最大にするように構成されることが可能であり、このことは、大きいデータ・セットについて重要なさらなる処理の利点を提供することができる。

ＧＰＵ、アクセラレータ、又は他のそうしたハードウェアを使用して、モデルの訓練若しくはそうしたモデルを使用したデータの分類などのタスクを加速するときでも、こうしたタスクはなお、かなりの時間、リソース配分、及びコストを必要とすることがある。たとえば、機械学習モデルが８００本のパスを使用して訓練され、データ・セットが訓練に使用される１，０００，０００個のデータ・インスタンスを含む場合には、百万個のインスタンスのすべてが、各パスにつき処理される必要がある。アーキテクチャの異なる部分は、異なるタイプのデバイスによってサポートされることも可能である。たとえば、訓練は、論理的に集中化されたロケーションにおいてサーバのセットを使用して、サービスとして提供できるように実行されてもよく、一方、未加工データの分類は、そうした他の選択肢のなかでもとりわけ、そうしたサービスによって、又はクライアント・デバイス上で実行されてもよい。これらのデバイスは、同じエンティティによって、又は複数のエンティティによって、所有、操作、若しくは制御されてもよい。

図１６は、少なくとも一実施例において訓練することができ、又は他のやり方で利用することができる例示的なニューラル・ネットワーク１６００を示す。この例では、統計モデルは、入力層１６０２、出力層１６０６、及び中間ノードの複数の層１６０４を含むノードの複数の層を含む人工ニューラル・ネットワーク（ＡＮＮ）であり、通常、従来のニューラル・ネットワークにおいて内部の層及びノードを見たりアクセスしたりできないので、中間ノードの複数の層１６０４は「隠れ」層と呼ばれることが多い。説明のために少しの中間層しか示していないが、利用することができる中間層の数に制限はなく、層の何らかの制限は多くの場合、モデルを使用して処理されるのに必要なリソース又は時間の係数であることが理解されるべきである。本明細書の他の部分で検討するように、さらなるタイプのモデル、ネットワーク、アルゴリズム、又はプロセスが同じく使用されてもよく、他のそのような選択肢のなかでもとりわけ、他の数のノード及び層、又は他の選択のノード及び層を含んでもよい。検証データは、ネットワークの層によって処理されて、推論のセット又は推論スコアを生成することができ、次いでそれらが、損失関数１６０８に供給される。

この例示的なネットワーク１６００では、所与の層のすべてのノードは、隣接した層のすべてのノードに相互接続されている。示してあるように、次いで中間層のノードはそれぞれ、２つの隣接した層のノードに接続される。また、ノードは、いくつかのモデルではニューロン、又は接続ユニットとも呼ばれ、ノード間の接続はエッジと呼ばれる。各ノードは、受信した入力に対して、指定関数を使用することなどにより関数を実行することができる。ノード及びエッジは、訓練中に異なる重みを得ることができ、ノードの個々の層は、受信した入力に対して特定のタイプの変換を実行することができ、ここでこれらの変換が、訓練中に学習され調節されることも可能である。学習は、訓練データ・セットに含まれる情報のタイプに少なくとも部分的に応じて、教師あり又は教師なしの学習とすることができる。様々なタイプのニューラル・ネットワークを利用することができ、これには、多数の畳み込み層、及びプーリング層のセットを含み、画像認識などの用途に有益であることが証明されている畳み込みニューラル・ネットワーク（ＣＮＮ）が含まれてもよい。またＣＮＮは、判定されるべきパラメータの数が比較的少ないので、他のネットワークよりも訓練しやすいものであり得る。

少なくとも一実施例では、こうした複雑な機械学習モデルを、様々な訓練パラメータを使用して訓練することができる。パラメータの選択、モデルの適合、及びモデルの評価は、モデル・チューニング・プロセスの一部分であり、ハイパーパラメータ最適化と呼ばれることが多い。こうしたチューニングは、少なくとも一実施例では、基礎をなすモデル又はデータを内省することを含むことがある。訓練又は生産の設定では、本明細書の他の部分で述べたように、ハイパーパラメータの過剰適合を回避するために、ロバストなワークフローが重要であり得る。任意の１つのデータ・セットへの過剰適合を回避するのに有用であり得る技法は、訓練データ・セットの交差検証、及び訓練データ・セットにガウス・ノイズを加えることである。ハイパーパラメータ最適化については、訓練と検証のセットを固定しておくことが望ましいことがある。少なくとも一実施例では、ハイパーパラメータは特定のカテゴリにおいてチューニングすることができ、このカテゴリは、他のそのような選択肢のなかでもとりわけ、データ処理（単語をベクトルに変える）、ＣＮＮアーキテクチャ定義（たとえば、フィルタ・サイズ、フィルタ数）、確率的勾配降下法（ＳＧＤ：Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）パラメータ（たとえば、学習率）、及び正則化又は精緻化（たとえば、ドロップアウト確率）を含んでもよい。

例示的な前処理ステップにおいて、データ・セットのインスタンスを、ある一定のサイズの低次元空間に埋め込むことができる。この空間のサイズが、チューニングすべきパラメータである。ＣＮＮのアーキテクチャは、多くのチューニング可能なパラメータを含む。フィルタ・サイズのパラメータは、分析されることになるインスタンスのサイズに対応する情報の解釈を表すことができる。コンピュータ言語学では、これはｎグラム・サイズとして知られている。例示的なＣＮＮは、３つの異なるフィルタ・サイズを使用し、それらは潜在的に異なるｎグラム・サイズを表す。フィルタ・サイズ当たりのフィルタ数は、フィルタの深度に対応することができる。各フィルタは、テキスト・データのセンテンス構造など、インスタンスの構造とは異なる何かを学習しようとする。畳み込み層では、アクティブ化関数は正規化線形ユニットとすることができ、プーリング・タイプは最大プーリングに設定される。次いで、結果を連結して１次元ベクトルにすることができ、最後の層は、完全に２次元出力に接続される。これはバイナリ分類に対応し、このバイナリ分類に、最適化関数を適用することができる。１つのそのような関数は、勾配降下の二乗平均平方根（ＲＭＳ）伝播法の実装であり、ここで例示的なハイパーパラメータは、学習率、バッチ・サイズ、最大勾配法線（Ｍａｘｉｍｕｍ Ｇｒａｄｉｅｎｔ Ｎｏｒｍａｌ）、及びエポックを含むことができる。ニューラル・ネットワークでは、正則化を考慮することが極めて重要であり得る。少なくとも一実施例では、入力データは相対的に疎である。こうした状況における主なハイパーパラメータは、最後から２番目の層におけるドロップアウトとすることができ、これは、各訓練サイクルにおいて「発火」しないノードの割合を表す。例示的な訓練プロセスは、前の構成の性能についてのフィードバックに基づき、異なるハイパーパラメータ構成を示唆することができる。このモデルを、提案された構成で訓練し、指定された検証セットで評価することができ、性能が報告される。このプロセスは、たとえば探求（異なる構成についてより多くを学ぶこと）と、活用（前の知識を利用してより良好な結果を達成すること）とのトレード・オフを行うために繰り返すことができる。

訓練ＣＮＮを並列化することができ、ＧＰＵ対応のコンピューティング・リソースを利用することができるので、異なる状況に対して複数の最適化ストラテジを試みることができる。複雑な状況は、モデル・アーキテクチャ、並びに事前処理及び確率的勾配降下法のパラメータのチューニングを可能にする。これにより、モデル構成空間が拡張される。基本的な状況では、事前処理及び確率的勾配降下法のパラメータだけがチューニングされる。基本的な状況よりも複雑な状況のほうが、構成パラメータの数が多くなり得る。結合空間におけるチューニングは、線形の、又は指数関数的なステップ数の、モデルに対する最適化ループによる反復を使用して、実行することができる。こうしたチューニング・プロセスのコストは、ランダム・サーチ及びグリッド・サーチなどのチューニング・プロセスよりはるかに少なくすることができ、いかなる重大な性能損失もない。

少なくとも一実施例では、逆伝播を利用して、ニューラル・ネットワークの重みを判定するための勾配を計算することができる。逆伝播は、微分の一形態であり、上述したように様々なノード又はニューロンに適用される重みを調節するために、勾配降下最適化アルゴリズムによって使用されることが可能である。重みは、関連する損失関数の勾配を使用して判定することができる。逆伝播は、統計モデルによって生成された出力に対して、損失関数の導関数を利用することができる。述べたように、様々なノードは、それぞれのノードの出力を定義する関連したアクティブ化関数を有することができる。放射基底関数（ＲＢＦ）及びシグモイド関数が含まれてもよい様々なアクティブ化関数を適切に使用することができ、それらは、データを変換するための様々なサポート・ベクター・マシン（ＳＶＭ）によって利用されることが可能である。ノードの中間層のアクティブ化関数は、本明細書において内積カーネルと呼ばれる。これらの関数は、たとえば恒等関数、ステップ関数、シグモイド関数、ランプ関数などを含むことができる。また、アクティブ化関数は、他のそうした選択肢のなかでもとりわけ、線形又は非線形であってもよい。

推論及び訓練の論理
図１７Ａは、１つ又は複数の実施例に関して推論及び／又は訓練の動作を実行するために使用される推論及び／又は訓練論理１７１５を示す。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。

少なくとも一実施例では、推論及び／又は訓練論理１７１５は、１つ若しくは複数の実施例の態様において推論するように訓練及び／若しくは使用されるニューラル・ネットワークのニューロン若しくは層を構成するための順伝播及び／若しくは出力の重み、並びに／又は入力／出力データ、並びに／又は他のパラメータを記憶するためのコード及び／又はデータ・ストレージ１７０１を、限定することなく含んでもよい。少なくとも一実施例では、訓練論理１７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ１７０１を含んでもよく、又はそれに結合されてもよく、コード及び／又はデータ・ストレージ１７０１には、重み及び／又は他のパラメータ情報がロードされて、整数及び／又は浮動小数点ユニット（総称して算術論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ））を含む論理が構成される。少なくとも一実施例では、グラフ・コードなどのコードは、そのコードが対応するニューラル・ネットワークのアーキテクチャに基づき、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも一実施例では、コード及び／又はデータ・ストレージ１７０１は、１つ若しくは複数の実施例の態様を使用した訓練及び／又は推論中に、入力／出力データ及び／又は重みパラメータを順伝播する間に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも一実施例では、コード及び／又はデータ・ストレージ１７０１の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。

少なくとも一実施例では、コード及び／又はデータ・ストレージ１７０１の任意の部分は、１つ若しくは複数のプロセッサ、又は他のハードウェア論理デバイス若しくは回路の内部にあっても外部にあってもよい。少なくとも一実施例では、コード及び／又はコード及び／又はデータ・ストレージ１７０１は、キャッシュ・メモリ、ダイナミック・ランダム・アドレス可能メモリ（「ＤＲＡＭ」）、スタティック・ランダム・アドレス可能メモリ（「ＳＲＡＭ」）、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであってもよい。少なくとも一実施例では、コード及び／又はコード及び／又はデータ・ストレージ１７０１が、たとえばプロセッサの内部にあるか外部にあるかの選択、又はＤＲＡＭ、ＳＲＡＭ、フラッシュ、若しくは何らか他のタイプのストレージから構成されるかの選択は、オン・チップ対オフ・チップで利用可能なストレージ、実行される訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練で使用されるデータのバッチ・サイズ、又はこれらの要因の何からの組合せに応じて決められてもよい。

少なくとも一実施例では、推論及び／又は訓練論理１７１５は、１つ若しくは複数の実施例の態様において推論するために訓練及び／若しくは使用されるニューラル・ネットワークのニューロン若しくは層に対応した、逆伝播及び／若しくは出力の重み、並びに／又は入力／出力データを記憶するためのコード並びに／又はデータ・ストレージ１７０５を、限定することなく含んでもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ１７０５は、１つ若しくは複数の実施例の態様を使用した訓練及び／又は推論中に、入力／出力データ及び／又は重みパラメータを逆伝播する間に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも一実施例では、訓練論理１７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ１７０５を含んでもよく、又はそれに結合されてもよく、コード及び／又はデータ・ストレージ１７０５には、重み及び／又は他のパラメータ情報がロードされて、整数及び／又は浮動小数点ユニット（総称して算術論理演算ユニット（ＡＬＵ））を含む論理が構成される。少なくとも一実施例では、グラフ・コードなどのコードは、そのコードが対応するニューラル・ネットワークのアーキテクチャに基づき、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも一実施例では、コード及び／又はデータ・ストレージ１７０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ１７０５の任意の部分は、１つ若しくは複数のプロセッサ、又は他のハードウェア論理デバイス若しくは回路の内部にあっても外部にあってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ１７０５は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ１７０５が、たとえばプロセッサの内部にあるか外部にあるかの選択、又はＤＲＡＭ、ＳＲＡＭ、フラッシュ、若しくは何らか他のタイプのストレージから構成されるかの選択は、オン・チップ対オフ・チップで利用可能なストレージ、実行される訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練で使用されるデータのバッチ・サイズ、又はこれらの要因の何からの組合せに応じて決められてもよい。

少なくとも一実施例では、コード及び／又はデータ・ストレージ１７０１と、コード及び／又はデータ・ストレージ１７０５は、別々のストレージ構造であってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ１７０１と、コード及び／又はデータ・ストレージ１７０５は、同じストレージ構造であってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ１７０１と、コード及び／又はデータ・ストレージ１７０５は、部分的に同じストレージ構造で、部分的に別々のストレージ構造であってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ１７０１と、コード及び／又はデータ・ストレージ１７０５との任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。

少なくとも一実施例では、推論及び／又は訓練論理１７１５は、訓練及び／又は推論コード（たとえばグラフ・コード）に少なくとも部分的に基づく、又はそれにより示される論理演算及び／又は数学的演算を実行するための、整数及び／又は浮動小数点ユニットを含む１つ又は複数の算術論理演算ユニット（「ＡＬＵ」）１７１０を、限定することなく含んでもよく、その結果が、アクティブ化ストレージ１７０２に記憶されるアクティブ化（たとえば、ニューラル・ネットワーク内の層若しくはニューロンからの出力値）を生成してもよく、これらは、コード及び／若しくはデータ・ストレージ１７０１、並びに／又はコード及び／若しくはデータ・ストレージ１７０５に記憶される入力／出力及び／又は重みパラメータの関数である。少なくとも一実施例では、アクティブ化ストレージ１７２０に記憶されるアクティブ化は、命令又は他のコードを実行したことに応答して、ＡＬＵ１７１０によって実行される線形代数計算又は行列ベースの計算に従って生成され、ここでコード及び／又はデータ・ストレージ１７０５並びにコード及び／又はデータ・ストレージ１７０１に記憶された重み値は、バイアス値、勾配情報、モーメンタム値（Ｍｏｍｅｎｔｕｍ Ｖａｌｕｅ）などの他の値、又は他のパラメータ若しくはハイパーパラメータとともにオペランドとして使用され、これらのいずれか又はすべてが、コード及び／若しくはデータ・ストレージ１７０５、又はコード及び／若しくはデータ・ストレージ１７０１、又はオン・チップ若しくはオフ・チップの別のストレージに記憶されてもよい。

少なくとも一実施例では、ＡＬＵ１７１０は、１つ若しくは複数のプロセッサ、又は他のハードウェア論理デバイス若しくは回路内に含まれるが、別の実施例では、ＡＬＵ１７１０は、それらを使用するプロセッサ又は他のハードウェア論理デバイス若しくは回路の外部にあってもよい（たとえばコプロセッサ）。少なくとも一実施例では、ＡＬＵ１７１０は、プロセッサの実行ユニット内に含まれてもよく、又は同じプロセッサ内にあるか異なるタイプの異なるプロセッサ（たとえば、中央処理装置、グラフィックス・プロセッシング・ユニット、固定機能ユニットなど）の間で分散されているかのいずれかであるプロセッサの実行ユニットによりアクセス可能なＡＬＵバンク内に、他のやり方で含まれてもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ１７０１、コード及び／又はデータ・ストレージ１７０５、並びにアクティブ化ストレージ１７２０は、同じプロセッサ又は他のハードウェア論理デバイス若しくは回路にあってもよく、別の実施例では、それらは異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路にあってもよく、或いは同じプロセッサ又は他のハードウェア論理デバイス若しくは回路と、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路との何らかの組合せにあってもよい。少なくとも一実施例では、アクティブ化ストレージ１７２０の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。さらに、推論及び／又は訓練コードが、プロセッサ又は他のハードウェア論理若しくは回路にアクセス可能な他のコードとともに記憶されてもよく、プロセッサのフェッチ、デコード、スケジューリング、実行、リタイア、及び／又は他の論理回路を使用してフェッチ及び／又は処理されてもよい。

少なくとも一実施例では、アクティブ化ストレージ１７２０は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであってもよい。少なくとも一実施例では、アクティブ化ストレージ１７２０は、完全に又は部分的に、１つ若しくは複数のプロセッサ又は他の論理回路の内部にあってもよく、又は外部にあってもよい。少なくとも一実施例では、アクティブ化ストレージ１７２０が、たとえばプロセッサの内部にあるか外部にあるかの選択、又はＤＲＡＭ、ＳＲＡＭ、フラッシュ、若しくは何らか他のタイプのストレージから構成されるかの選択は、オン・チップ対オフ・チップの利用可能なストレージ、実行される訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練で使用されるデータのバッチ・サイズ、又はこれらの要因の何からの組合せに応じて決められてもよい。少なくとも一実施例では、図１７Ａに示す推論及び／又は訓練論理１７１５は、グーグルからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ）、又はＩｎｔｅｌ ＣｏｒｐからのＮｅｒｖａｎａ（登録商標）（たとえば「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなどの特定用途向け集積回路（「ＡＳＩＣ」）と併せて使用されてもよい。少なくとも一実施例では、図１７Ａに示す推論及び／又は訓練論理１７１５は、中央処理装置（「ＣＰＵ」）ハードウェア、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」）ハードウェア、又はフィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）など他のハードウェアと併せて使用されてもよい。

図１７Ｂは、少なくとも１つ又は複数の実施例による、推論及び／又は訓練論理１７１５を示す。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、ハードウェア論理を限定することなく含んでもよく、このハードウェア論理では、計算リソースが、ニューラル・ネットワーク内のニューロンの１つ若しくは複数の層に対応する重み値又は他の情報の専用のものであるか、又は他のやり方でそれらと併せてしか使用されない。少なくとも一実施例では、図１７Ｂに示す推論及び／又は訓練論理１７１５は、グーグルからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ:Ｉｎｆｅｒｅｎｃｅ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、又はインテルコーポレーションからのＮｅｒｖａｎａ（登録商標）（たとえば「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなどの特定用途向け集積回路（ＡＳＩＣ）と併せて使用されてもよい。少なくとも一実施例では、図１７Ｂに示す推論及び／又は訓練論理１７１５は、中央処理装置（ＣＰＵ）ハードウェア、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」）ハードウェア、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）など他のハードウェアと併せて使用されてもよい。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、限定することなく、コード及び／又はデータ・ストレージ１７０１、並びにコード及び／又はデータ・ストレージ１７０５を含み、これらを使用して、コード（たとえばグラフ・コード）、重み値、並びに／又はバイアス値、勾配情報、モーメンタム値、及び／若しくは他のパラメータ若しくはハイパーパラメータ情報を含む他の情報を記憶してもよい。図１７Ｂに示す少なくとも一実施例では、コード及び／又はデータ・ストレージ１７０１並びにコード及び／又はデータ・ストレージ１７０５のそれぞれは、計算ハードウェア１７０２及び計算ハードウェア１７０６などの専用計算リソースにそれぞれ関連付けられる。少なくとも一実施例では、計算ハードウェア１７０２及び計算ハードウェア１７０６のそれぞれは、線形代数関数などの数学的関数を、それぞれコード及び／又はデータ・ストレージ１７０１並びにコード及び／又はデータ・ストレージ１７０５に記憶された情報に対してのみ実行する１つ又は複数のＡＬＵを備え、その結果は、アクティブ化ストレージ１７２０に記憶される。

少なくとも一実施例では、コード及び／又はデータ・ストレージ１７０１及び１７０５のそれぞれ、並びに対応する計算ハードウェア１７０２及び１７０６は、ニューラル・ネットワークの異なる層にそれぞれ対応し、それにより、コード及び／又はデータ・ストレージ１７０１と計算ハードウェア１７０２との１つの「ストレージ／計算の対１７０１／１７０２」から結果的に生じるアクティブ化は、ニューラル・ネットワークの概念的組織化を反映させるために、コード及び／又はデータ・ストレージ１７０５と計算ハードウェア１７０６との「ストレージ／計算の対１７０５／１７０６」への入力として提供される。少なくとも一実施例では、ストレージ／計算の対１７０１／１７０２、及び１７０５／１７０６は、２つ以上のニューラル・ネットワークの層に対応してもよい。少なくとも一実施例では、ストレージ／計算の対１７０１／１７０２、及び１７０５／１７０６の後に、又はそれと並列に、追加のストレージ／計算の対（図示せず）が、推論及び／又は訓練論理１７１５に含まれてもよい。

データ・センタ
図１８は、少なくとも一実施例が使用されてもよい例示的なデータ・センタ１８００を示す。少なくとも一実施例では、データ・センタ１８００は、データ・センタ・インフラストラクチャ層１８１０、フレームワーク層１８２０、ソフトウェア層１８３０、及びアプリケーション層１８４０を含む。

少なくとも一実施例では、図１８に示すように、データ・センタ・インフラストラクチャ層１８１０は、リソース・オーケストレータ（Ｒｅｓｏｕｒｃｅ Ｏｒｃｈｅｓｔｒａｔｏｒ）１８１２、グループ化済みコンピューティング・リソース１８１４、及びノード・コンピューティング・リソース（「ノードＣ．Ｒ．」）１８１６（１）～１８１６（Ｎ）を含んでもよく、ここで「Ｎ」は、任意の正の整数を表す。少なくとも一実施例では、ノードＣ．Ｒ．１８１６（１）～１８１６（Ｎ）は、任意の数の中央処理装置（「ＣＰＵ」）又は（アクセラレータ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサなどを含む）他のプロセッサ、メモリ・デバイス（たとえば、ダイナミック読取り専用メモリ）、ストレージ・デバイス（たとえば、半導体ドライブ又はディスク・ドライブ）、ネットワーク入力／出力（「ＮＷ Ｉ／Ｏ」）デバイス、ネットワーク・スイッチ、仮想機械（「ＶＭ」）、電源モジュール、及び冷却モジュールを含んでもよいが、これらに限定されない。少なくとも一実施例では、ノードＣ．Ｒ．１８１６（１）～１８１６（Ｎ）のうち１つ又は複数のノードＣ．Ｒ．は、上述したコンピューティング・リソースのうちの１つ又は複数を有するサーバであってもよい。

少なくとも一実施例では、グループ化済みコンピューティング・リソース１８１４は、１つ若しくは複数のラック（図示せず）内に収容されたノードＣ．Ｒ．の別々のグループ、又は様々なグラフィカル・ロケーション（同じく図示せず）においてデータ・センタに収容された多数のラックを含んでもよい。グループ化済みコンピューティング・リソース１８１４内のノードＣ．Ｒ．の別々のグループは、１つ若しくは複数のワークロードをサポートするように構成又は配分されてもよいグループ化済みのコンピュート・リソース、ネットワーク・リソース、メモリ・リソース、又はストレージ・リソースを含んでもよい。少なくとも一実施例では、ＣＰＵ又はプロセッサを含むいくつかのノードＣ．Ｒ．は、１つ又は複数のラック内でグループ化されて、１つ又は複数のワークロードをサポートするためのコンピュート・リソースが提供されてもよい。少なくとも一実施例では、１つ又は複数のラックはまた、任意の数の電源モジュール、冷却モジュール、及びネットワーク・スイッチを任意の組合せで含んでもよい。

少なくとも一実施例では、リソース・オーケストレータ１８１２は、１つ又は複数のノードＣ．Ｒ．１８１６（１）～１８１６（Ｎ）及び／若しくはグループ化済みコンピューティング・リソース１８１４を構成してもよく、又は他のやり方で制御してもよい。少なくとも一実施例では、リソース・オーケストレータ１８１２は、データ・センタ１８００用のソフトウェア設計インフラストラクチャ（「ＳＤＩ」）管理エンティティを含んでもよい。少なくとも一実施例では、リソース・オーケストレータは、ハードウェア、ソフトウェア、又はこれらの何らかの組合せを含んでもよい。

図１８に示す少なくとも一実施例では、フレームワーク層１８２０は、ジョブ・スケジューラ１８２２、構成マネージャ１８２４、リソース・マネージャ１８２６、及び分配ファイル・システム１８２８を含む。少なくとも一実施例では、フレームワーク層１８２０は、ソフトウェア層１８３０のソフトウェア１８３２、及び／又はアプリケーション層１８４０の１つ若しくは複数のアプリケーション１８４２を含んでもよい。少なくとも一実施例では、ソフトウェア１８３２又はアプリケーション１８４２はそれぞれ、アマゾン・ウェブ・サービス、グーグル・クラウド、及びマイクロソフト・アジュールによって提供されるものなど、ウェブ・ベースのサービス・ソフトウェア又はアプリケーションを含んでもよい。少なくとも一実施例では、フレームワーク層１８２０は、大規模なデータ処理（たとえばビック・データ）のために分配ファイル・システム１８２８を使用することができるＡｐａｃｈｅ Ｓｐａｒｋ（登録商標）（以下「Ｓｐａｒｋ」）など、無料でオープン・ソースのソフトウェア・ウェブ・アプリケーション・フレームワークの一種であってもよいが、これに限定されない。少なくとも一実施例では、ジョブ・スケジューラ１８２２は、データ・センタ１８００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含んでもよい。少なくとも一実施例では、構成マネージャ１８２４は、ソフトウェア層１８３０、並びに大規模なデータ処理をサポートするためのＳｐａｒｋ及び分配ファイル・システム１８２８を含むフレームワーク層１８２０などの異なる層を構成することが可能であってもよい。少なくとも一実施例では、リソース・マネージャ１８２６は、分配ファイル・システム１８２８及びジョブ・スケジューラ１８２２をサポートするようにマッピング若しくは配分されたクラスタ化済み又はグループ化済みのコンピューティング・リソースを管理することが可能であってもよい。少なくとも一実施例では、クラスタ化済み又はグループ化済みのコンピューティング・リソースは、データ・センタ・インフラストラクチャ層１８１０にあるグループ化済みコンピューティング・リソース１８１４を含んでもよい。少なくとも一実施例では、リソース・マネージャ１８２６は、リソース・オーケストレータ１８１２と連携して、これらのマッピング又は配分されたコンピューティング・リソースを管理してもよい。

少なくとも一実施例では、ソフトウェア層１８３０に含まれるソフトウェア１８３２は、ノードＣ．Ｒ．１８１６（１）～１８１６（Ｎ）、グループ化済みコンピューティング・リソース１８１４、及び／又はフレームワーク層１８２０の分配ファイル・システム１８２８のうちの少なくとも一部分によって使用されるソフトウェアを含んでもよい。１つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含んでもよいが、これらに限定されない。

少なくとも一実施例では、アプリケーション層１８４０に含まれるアプリケーション１８４２は、ノードＣ．Ｒ．１８１６（１）～１８１６（Ｎ）、グループ化済みコンピューティング・リソース１８１４、及び／又はフレームワーク層１８２０の分配ファイル・システム１８２８のうちの少なくとも一部分によって使用される１つ若しくは複数のタイプのアプリケーションを含んでもよい。１つ若しくは複数のタイプのアプリケーションは、任意の数のゲノム学アプリケーション、認識コンピュート、並びに訓練若しくは推論のソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、Ｔｅｎｓｏｒｆｌｏｗ、Ｃａｆｆｅなど）を含む機械学習アプリケーション、又は１つ若しくは複数の実施例と併せて使用される他の機械学習アプリケーションを含んでもよいが、これらに限定されない。

少なくとも一実施例では、構成マネージャ１８２４、リソース・マネージャ１８２６、及びリソース・オーケストレータ１８１２のうちのいずれかは、任意の技術的に実行可能なやり方で取得された任意の量及びタイプのデータに基づき、任意の数及びタイプの自己修正措置を実装してもよい。少なくとも一実施例では、自己修正措置は、データ・センタ１８００のデータ・センタ演算子が、不良の恐れのある構成を決定しないようにし、十分に利用されていない且つ／又は性能の低いデータ・センタの部分をなくせるようにしてもよい。

少なくとも一実施例では、データ・センタ１８００は、１つ若しくは複数の機械学習モデルを訓練し、又は本明細書に記載の１つ若しくは複数の実施例による１つ若しくは複数の機械学習モデルを使用して情報を予測若しくは推論するためのツール、サービス、ソフトウェア、又は他のリソースを含んでもよい。たとえば、少なくとも一実施例では、機械学習モデルは、データ・センタ１８００に関して上述したソフトウェア及びコンピューティング・リソースを使用して、ニューラル・ネットワーク・アーキテクチャに従って重みパラメータを計算することによって、訓練されてもよい。少なくとも一実施例では、１つ又は複数のニューラル・ネットワークに対応する訓練済み機械学習モデルは、本明細書に記載の１つ又は複数の技法によって計算された重みパラメータを使用することにより、データ・センタ１８００に関して上述したリソースを使用して、情報を推論又は予測するために使用されてもよい。

少なくとも一実施例では、データ・センタは、上述したリソースを使用して訓練及び／又は推論を実行するために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、又は他のハードウェアを使用してもよい。さらに、上述した１つ又は複数のソフトウェア及び／又はハードウェアのリソースは、画像認識、音声認識、又は他の人工知能サービスなどの情報の訓練又は推論の実行を、ユーザが行えるようにするためのサービスとして構成されてもよい。

推論及び／又は訓練論理１７１５を使用して、１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作が実行される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１８のシステムにおいて使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

自律車両
図１９Ａは、少なくとも一実施例による自律車両１９００の例を示す。少なくとも一実施例では、自律車両１９００（或いは、本明細書において「車両１９００」と呼ばれる）は、限定することなく、車、トラック、バス、及び／又は１人若しくは複数の乗員を収容する別のタイプの車両などの乗用車とすることができる。少なくとも一実施例では、車両１ａ００は、貨物運搬用のセミ・トラクタのトレーラ・トラックであってもよい。少なくとも一実施例では、車両１ａ００は、航空機、ロボット車両、又は他の種類の車両であってもよい。

自律車両は、米国運輸省の一部門である全米高速道路交通安全局（「ＮＨＴＳＡ」）、及び自動車技術者協会（「ＳＡＥ」）の「自動車用運転自動化システムのレベル分類及び定義（Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅｓ）」（たとえば、２０１８年６月１５日発行の規格Ｎｏ．Ｊ３０１６－２０１８０６、２０１６年９月３０日発行の規格Ｎｏ．Ｊ３０１６－２０１６０９、及びこの規格の旧版及び新版）により定義される自動化レベルという観点から説明されてもよい。１つ又は複数の実施例では、車両１９００は、自律運転レベルのレベル１～レベル５のうちの１つ又は複数による機能性に対応可能であってもよい。たとえば、少なくとも一実施例では、車両１９００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）に対応可能であってもよい。

少なくとも一実施例では、車両１９００は、限定することなく、シャシ、車両本体、ホイール（２本、４本、６本、８本、１８本など）、タイヤ、車軸、及び車両の他の構成要素などの構成要素を含んでもよい。少なくとも一実施例では、車両１９００は、限定することなく、内燃機関、ハイブリッド電力プラント、完全電気エンジン、及び／又は別のタイプの推進システムなどの推進システム１９５０を含んでもよい。少なくとも一実施例では、推進システム１９５０は、車両１９００のドライブ・トレインに連結されてもよく、ドライブ・トレインは、限定することなく、車両１９００の推進を可能にするためのトランスミッションを含んでもよい。少なくとも一実施例では、推進システム１９５０は、スロットル／アクセル１９５２からの信号を受信したことに応答して、制御されてもよい。

少なくとも一実施例では、限定することなくハンドルを含んでもよい操縦システム１９５４は、推進システム１９５０が動作しているときに（たとえば、車両が動いているときに）車両１９００を（たとえば所望の経路又はルートに沿って）操縦するために使用される。少なくとも一実施例では、操縦システム１９５４は、操縦アクチュエータ１９５６から信号を受信してもよい。ハンドルは、完全自動化（レベル５）の機能性に関しては任意選択であってもよい。少なくとも一実施例では、ブレーキ・アクチュエータ１９４８及び／又はブレーキ・センサからの信号を受信したことに応答して車両ブレーキを動作させるために、ブレーキ・センサ・システム１９４６が使用されてもよい。

少なくとも一実施例では、１つ又は複数のシステム・オン・チップ（「ＳｏＣ」）（図１９Ａには示さず）及び／若しくはグラフィックス・プロセッシング・ユニット（「ＧＰＵ」）を限定することなく含んでもよいコントローラ（１９３６）は、車両１９００の１つ又は複数の構成要素及び／若しくはシステムに（たとえば、コマンドを表す）信号を提供する。たとえば、少なくとも一実施例では、コントローラ１９３６は、ブレーキ・アクチュエータ１９４８を介して車両ブレーキを動作させるための信号、操縦アクチュエータ１９５６を介して操縦システム１９５４を動作させるための信号、及び／又はスロットル／アクセル１９５２を介して推進システム１９５０を動作させるための信号を送信してもよい。コントローラ１９３６は、自律運転を可能にし、且つ／又は運転車両１９００において人間のドライバを支援するために、センサ信号を処理し、動作コマンド（たとえばコマンドを表す信号）を出力する１つ又は複数の搭載（たとえば一体型の）コンピューティング・デバイス（たとえば、スーパーコンピュータ）を含んでもよい。少なくとも一実施例では、コントローラ１９３６は、自律運転機能のための第１のコントローラ１９３６、機能的安全機能のための第２のコントローラ１９３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ１９３６、インフォテイメント機能のための第４のコントローラ１９３６、緊急事態における冗長性のための第５のコントローラ１９３６、及び／又は他のコントローラを含んでもよい。少なくとも一実施例では、単一のコントローラ１９３６が、上記機能性のうちの２つ以上に対処してもよく、２つ以上のコントローラ１９３６が、単一の機能性に対処してもよく、且つ／又はこれらの何らかの組合せであってもよい。

少なくとも一実施例では、コントローラ１９３６は、１つ又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して、車両１９００の１つ又は複数の構成要素及び／若しくはシステムを制御するための信号を提供する。少なくとも一実施例では、センサ・データは、たとえば限定することなく、全地球的航法衛星システム（「ＧＮＳＳ」）センサ１９５８（たとえば、全地球測位システム・センサ）、ＲＡＤＡＲセンサ１９６０、超音波センサ１９６２、ＬＩＤＡＲセンサ１９６４、慣性計測装置（「ＩＭＵ」）センサ１９６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン１９９６、ステレオ・カメラ１９６８、広角カメラ１９７０（たとえば、魚眼カメラ）、赤外線カメラ１９７２、周囲カメラ１９７４（たとえば、３６０度カメラ）、長距離カメラ（図１９Ａには示さず）、中距離カメラ（図１９Ａには示さず）、（たとえば、車両１９００のスピードを計測するための）スピード・センサ１９４４、振動センサ１９４２、操縦センサ１９４０、（たとえば、ブレーキ・センサ・システム１９４６の一部分としての）ブレーキ・センサ、及び／又は他のタイプのセンサから、受信されてもよい。

少なくとも一実施例では、コントローラ１９３６のうちの１つ又は複数は、車両１９００の計器クラスタ１９３２からの（たとえば入力データによって表される）入力を受信し、ヒューマン・マシン・インターフェース（「ＨＭＩ」）ディスプレイ１９３４、可聴アナンシエータ、拡声器を介して、且つ／又は車両１９００の他の構成要素を介して、（たとえば、出力データ、ディスプレイ・データなどによって表される）出力を提供してもよい。少なくとも一実施例では、出力は、車両速度、スピード、時間、地図データ（たとえば、ハイ・デフィニション・マップ（図１９Ａには示さず）、ロケーション・データ（たとえば、地図上などの車両１９００のロケーション）、方向、他車両のロケーション（たとえば、占有グリッド）、コントローラ１９３６が感知した物体及び物体の状態についての情報などの情報を含んでもよい。たとえば、少なくとも一実施例では、ＨＭＩディスプレイ１９３４は、１つ若しくは複数の物体（たとえば、道路標識、警告標識、信号の変化など）の存在についての情報、及び／又は車両が行った、行っている、又はこれから行う運転操作についての情報（たとえば、現在車線変更中、３．２２ｋｍ（２マイル）先の出口３４Ｂを出る、など）を表示してもよい。

少なくとも一実施例では、車両１９００はさらにネットワーク・インターフェース１９２４を含み、このネットワーク・インターフェースは、１つ又は複数のネットワークを介して通信するためのワイヤレス・アンテナ１９２６及び／又はモデムを使用してもよい。たとえば、少なくとも一実施例では、ネットワーク・インターフェース１９２４は、ロング・ターム・エボリューション（「ＬＴＥ」）、広帯域符号分割多元接続（「ＷＣＤＭＡ（登録商標）」）、ユニバーサル・モバイル・テレコミュニケーション・システム（「ＵＭＴＳ」）、グローバル・システム・フォー・モバイル・コミュニケーションズ（「ＧＳＭ（登録商標）」）、ＩＭＴ－ＣＤＭＡマルチ・キャリア（「ＣＤＭＡ２０００」）などを介して通信可能であってもよい。また、少なくとも一実施例では、ワイヤレス・アンテナ１９２６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ （「ＬＥ」）、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどの低電力広域ネットワークを使用して、環境内の物体同士間（たとえば車両、モバイル・デバイスなど）での通信を可能にしてもよい。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１９Ａのシステムにおいて使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図１９Ｂは、少なくとも一実施例による図１９Ａの自律車両１９００についてカメラのロケーション及び視野の例を示す。少なくとも一実施例では、カメラ及びそれぞれの視野は、一例の実施例であり、限定するものではない。たとえば、少なくとも一実施例では、追加及び／又は代替のカメラが含まれてもよく、且つ／又はカメラが車両１９００の異なるロケーションに位置付けられてもよい。

少なくとも一実施例では、カメラのカメラ・タイプは、車両１９００の構成要素及び／又はシステムとともに使用できるように適合されていてもよいデジタル・カメラを含んでもよいが、これに限定されない。少なくとも一実施例では、カメラのうちの１つ又は複数は、自動車安全性要求レベル（「ＡＳＩＬ：Ａｕｔｏｍｏｔｉｖｅ Ｓａｆｅｔｙ Ｉｎｔｅｇｒｉｔｙ Ｌｅｖｅｌ」）Ｂ及び／又は別のＡＳＩＬにおいて動作してもよい。少なくとも一実施例では、カメラ・タイプは、実施例に応じて、毎秒６０フレーム（ｆｐｓ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像捕捉率に対応可能であってもよい。少なくとも一実施例では、カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はこれらの組合せを使用することが可能であってもよい。少なくとも一実施例では、カラー・フィルタ・アレイは、赤色、クリア、クリア、クリア（「ＲＣＣＣ」）のカラー・フィルタ・アレイ、赤色、クリア、クリア、青色（「ＲＣＣＢ」）のカラー・フィルタ・アレイ、赤色、青色、緑色、クリア（「ＲＢＧＣ」）のカラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３のカラー・フィルタ・アレイ、ベイヤー・センサ（ＲＧＧＢ）のカラー・フィルタ・アレイ、モノクロ・センサのカラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含んでもよい。少なくとも一実施例では、光感度を上げるために、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣのカラー・フィルタ・アレイを有するカメラなど、クリア・ピクセル・カメラが使用されてもよい。

少なくとも一実施例では、カメラのうちの１つ又は複数を使用して、先進ドライバ支援システム（「Ａｄａｓ：Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ」）機能が（たとえば、冗長設計又はフェイル・セーフ設計の一部として）実行されてもよい。たとえば、少なくとも一実施例では、多機能モノ・カメラが設置されて、車線逸脱警告、交通標識支援、及びインテリジェント・ヘッドライト制御を含む機能が提供されてもよい。少なくとも一実施例では、カメラのうちの１つ又は複数（たとえばすべてのカメラ）は、画像データ（たとえばビデオ）の記録と提供を同時に行ってもよい。

少なくとも一実施例では、カメラのうちの１つ又は複数は、カメラの画像データ捕捉性能を妨げる恐れのある迷光及び車内部からの反射（たとえば、ダッシュボードからフロントガラスに反射される反射）をなくすために、カスタム設計の（３次元（「３Ｄ」）印刷された）アセンブリなどの取付けアセンブリに取り付けられてもよい。ドアミラー取付けアセンブリを参照すると、少なくとも一実施例では、ドアミラー・アセンブリは、カメラ取付けプレートがドアミラーの形の合うように、カスタムで３Ｄ印刷されてもよい。少なくとも一実施例では、カメラは、ドアミラーと一体であってもよい。サイド・ビュー・カメラについて、少なくとも一実施例では、カメラはこの場合もキャビンの各角にある４本のピラーに一体化されてもよい。

少なくとも一実施例では、車両１９００前方の環境の一部分を含む視野を有するカメラ（たとえば正面カメラ）は周囲のビューに対して使用されて、正面の経路及び障害物を識別しやすくするとともに、コントローラ１９３６及び／又は制御ＳｏＣのうちの１つ又は複数とともに使用されて、占有グリッドの生成及び／又は好ましい車両経路の判定に不可欠な情報の提供を補助してもよい。少なくとも一実施例では、正面カメラを使用して、緊急ブレーキ、歩行者検出、及び衝突回避を限定することなく含む、ＬＩＤＡＲと同じＡＤＡＳ機能のうちの多くが実行されてもよい。少なくとも一実施例では、正面カメラはまた、車線逸脱警告（「ＬＤＷ：Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇｓ」）、自律クルーズ・コントロール（「ＡＣＣ：Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ」）、及び／又は交通標識認識などの他の機能を限定することなく含むＡＤＡＳの機能及びシステムのために使用されてもよい。

少なくとも一実施例では、たとえばＣＭＯＳ（「相補型金属酸化膜半導体」）カラー撮像装置を含む単眼カメラのプラットフォームを含む様々なカメラが、正面構成で使用されてもよい。少なくとも一実施例では、周囲からビューに入ってくる物体（たとえば歩行者、クロス・トラフィック、又は自転車）を感知するために、広角カメラ１９７０が使用されてもよい。図１９Ｂには１つの広角カメラ１９７０しか示していないが、他の実施例では、車両１９００には（ゼロを含む）任意の数の広角カメラ１９７０が存在してもよい。少なくとも一実施例では、特にニューラル・ネットワークがそれに対してまだ訓練されていない物体について、深度ベースの物体検出のために、任意の数の長距離カメラ１９９８（たとえば、長距離ビューのステレオ・カメラの対）が使用されてもよい。少なくとも一実施例では、長距離カメラ１９９８はまた、物体検出及び分類、並びに基本的な物体追跡に使用されてもよい。

少なくとも一実施例では、任意の数のステレオ・カメラ１９６８は、正面構成にも含まれてよい。少なくとも一実施例では、ステレオ・カメラ１９６８のうちの１つ又は複数は、拡張可能な処理ユニットを備えた一体型制御ユニットを含んでもよく、この制御ユニットは、一体型のコントローラ・エリア・ネットワーク（「ＣＡＮ」）又はイーサネット（登録商標）・インターフェースを単一チップ上に有するプログラム可能論理（「ＦＰＧＡ」）及びマルチ・コア・マイクロプロセッサを提供してもよい。少なくとも一実施例では、こうしたユニットは、画像内のすべての点に対する距離推定を含め、車両１９００の環境の３Ｄマップを生成するのに使用されてもよい。少なくとも一実施例では、ステレオ・カメラ１９６８のうちの１つ又は複数は、限定することなくコンパクト・ステレオ・ビジョン・センサを含んでもよく、このセンサは、車両１９００からターゲット物体までの距離を測定し、生成された情報（たとえば、メタデータ）を使用して自律緊急ブレーキ及び車線逸脱警告の機能をアクティブ化することができる２つのカメラ・レンズ（左右に１つずつ）及び画像処理チップを、限定することなく含んでもよい。少なくとも一実施例では、本明細書に記載のものに加えて、又はその代わりに、他のタイプのステレオ・カメラ１９６８が使用されてもよい。

少なくとも一実施例では、車両１９００の側方の環境の一部分を含む視野を有するカメラ（たとえば、サイド・ビュー・カメラ）が、周囲のビューのために使用されて、占有グリッドの作製及び更新、並びに側面衝突警告の生成のために使用される情報を提供してもよい。たとえば、少なくとも一実施例では、周囲カメラ１９７４（たとえば図１９Ｂに示すように４つの周囲カメラ１９７４）を、車両１９００に配置することができる。少なくとも一実施例では、周囲カメラ１９７４は、限定することなく、任意の数及び組合せの広角カメラ１９７０、魚眼カメラ、及び／又は３６０度カメラなどを含んでもよい。たとえば、少なくとも一実施例では、４つの魚眼カメラが、車両１９００の前方、後方、及び側方に配置されてもよい。少なくとも一実施例では、車両１９００は、３つの周囲カメラ１９７４（たとえば、左、右、及び後方）を使用してもよく、第４の周囲カメラとして、１つ又は複数の他のカメラ（たとえば正面カメラ）を活用してもよい。

少なくとも一実施例では、車両１９００後方の環境の一部分を含む視野を有するカメラ（たとえば、リア・ビュー・カメラ）が、駐車支援、周囲のビュー、後方衝突警告のために使用されて、占有グリッドの作製及び更新がなされてもよい。少なくとも一実施例では、本明細書に記載の正面カメラとしても好適なカメラ（たとえば、長距離カメラ１９９８、及び／又は中距離カメラ１９７６、ステレオ・カメラ１９６８）、赤外線カメラ１９７２など）を含むが、これらに限定されない多種多様なカメラが使用されてもよい。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１９Ｂのシステムにおいて使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図１９Ｃは、少なくとも一実施例による図１９Ａの自律車両１９００の例示的システム・アーキテクチャを示すブロック図である。少なくとも一実施例では、図１９Ｃの車両１９００の構成要素、特徴、及びシステムのそれぞれは、バス１９０２を介して接続されるものとして示される。少なくとも一実施例では、バス１９０２は、限定することなく、ＣＡＮデータ・インターフェース（或いは、本明細書において（ＣＡＮバス）と呼ばれる）を含んでもよい。少なくとも一実施例では、ＣＡＮバスは、ブレーキの作動、加速、ブレーキ制御、操縦、フロントガラス・ワイパなど、車両１９００の様々な特徴及び機能の制御を補助するために使用される車両１９００内部のネットワークであってもよい。少なくとも一実施例では、バス１９０２は、それぞれが独自の一意の識別子（たとえばＣＡＮ ＩＤ）をもつ数十又はさらには数百のノードを有するように構成されてもよい。少なくとも一実施例では、バス１９０２は、ハンドル角度、対地スピード、エンジンの毎分回転数（「ＲＰＭ」）、ボタン位置、及び／又は他の車両状態インジケータを見いだすように読み取られてもよい。少なくとも一実施例では、バス１９０２は、ＡＳＩＬのＢに準拠したＣＡＮバスであってもよい。

少なくとも一実施例では、ＣＡＮに加えて、又はその代わりに、ＦｌｅｘＲａｙ及び／又はＥｔｈｅｒｎｅｔ（登録商標）が使用されてもよい。少なくとも一実施例では、任意の数のバス１９０２が存在してもよく、これには、限定することなく、ゼロ以上のＣＡＮバス、ゼロ以上のＦｌｅｘＲａｙバス、ゼロ以上のＥｔｈｅｒｎｅｔ（登録商標）バス、及び／又は他のプロトコルを使用するゼロ以上の他のタイプのバスが含まれてもよい。少なくとも一実施例では、２つ以上のバス１９０２を使用して異なる機能が実行されてもよく、且つ／又はそれらを使用して冗長性が与えられてもよい。たとえば、第１のバス１９０２が衝突回避機能のために使用され、第２のバス１９０２が作動制御のために使用されてもよい。少なくとも一実施例では、各バス１９０２は、車両１９００の任意の構成要素と通信してもよく、２つ以上のバス１９０２が同じ構成要素と通信してもよい。少なくとも一実施例では、任意の数のシステム・オン・チップ（「ＳｏＣ」）１９０４のそれぞれ、コントローラ１９３６のそれぞれ、及び／又は車両内の各コンピュータは、同じ入力データ（たとえば、車両１９００のセンサからの入力）にアクセス可能であってもよく、ＣＡＮバスなどの共通のバスに接続されてもよい。

少なくとも一実施例では、車両１９００は、図１９Ａに関して本明細書に記載するものなど、１つ又は複数のコントローラ１９３６を含んでもよい。コントローラ１９３６は、様々な機能に使用されてもよい。少なくとも一実施例では、コントローラ１９３６は、車両１９００の様々な他の構成要素及びシステムのうちの任意のものに結合されてもよく、車両１９００、車両１９００の人工知能、及び／又は車両１９００のインフォテイメント（ｉｎｆｏｔａｉｎｍｅｎｔ）などの制御に使用されてもよい。

少なくとも一実施例では、車両１９００は、任意の数のＳｏＣ１９０４を含んでもよい。それぞれのＳｏＣ１９０４は、限定することなく、中央処理装置（「ＣＰＵ」）１９０６、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」）１９０８、プロセッサ１９１０、キャッシュ１９１２、アクセラレータ１９１４、データ・ストア１９１６、及び／又は図示していない他の構成要素及び特徴を含んでもよい。少なくとも一実施例では、車両１９００を様々なプラットフォーム及びシステムにおいて制御するために、ＳｏＣ１９０４が使用されてもよい。たとえば、少なくとも一実施例では、ＳｏＣ１９０４は、１つ又は複数のサーバ（図１９Ｃには示さず）からネットワーク・インターフェース１９２４を介して地図のリフレッシュ及び／又は更新を得ることができるハイ・デフィニション（「ＨＤ」）マップ１９２２を有するシステム（たとえば車両１９００のシステム）に組み込まれてもよい。

少なくとも一実施例では、ＣＰＵ１９０６は、ＣＰＵクラスタ、又はＣＰＵコンプレックス（或いは本明細書において「ＣＣＰＬＥＸ」と呼ばれる）を含んでもよい。少なくとも一実施例では、ＣＰＵ１９０６は、複数のコア及び／又はレベル２（「Ｌ２」）キャッシュを含んでもよい。たとえば、少なくとも一実施例では、ＣＰＵ１９０６は、コヒーレントなマルチプロセッサ構成において８つのコアを含んでもよい。少なくとも一実施例では、ＣＰＵ１９０６は、４つのデュアル・コア・クラスタを含んでもよく、ここで各クラスタは、専用のＬ２キャッシュ（たとえば、２ＭＢのＬ２キャッシュ）を有する。少なくとも一実施例では、ＣＰＵ１９０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ１９０６のクラスタの任意の組合せを、任意の所与の時間にアクティブ化できるようにする同時のクラスタ動作をサポートするように構成されてもよい。

少なくとも一実施例では、ＣＰＵ１９０６のうちの１つ又は複数は、電力管理機能を実装してもよく、この機能は限定することなく、以下の特徴のうちの１つ又は複数を含む：個々のハードウェア・ブロックが、アイドル時に自動的にクロック・ゲート制御されて動的電力を節約することができる；割込み待ち（「ＷＦＩ：Ｗａｉｔ Ｆｏｒ Ｉｎｔｅｒｒｕｐｔ」）／イベント待ち（「ＷＦＥ：Ｗａｉｔ Ｆｏｒ Ｅｖｅｎｔ」）命令の実行に起因してコアが能動的に命令を実行していないとき、各コア・クロックをゲート制御することができる；各コアを独立して電力ゲート制御することができる；すべてのコアがクロック・ゲート制御又は電力ゲート制御されるとき、各コア・クラスタを独立してクロック・ゲート制御することができる；且つ／又はすべてのコアが電力ゲート制御されるとき、各コア・クラスタを独立して電力ゲート制御することができる。少なくとも一実施例では、ＣＰＵ１９０６はさらに、電力状態を管理するための拡張アルゴリズムを実装してもよく、ここで、許容された電力状態及び予想されるウェイクアップ時間が指定され、コア、クラスタ、及びＣＣＰＬＥＸが入るべき最良の電力状態を、ハードウェア／マイクロコードが判定する。少なくとも一実施例では、処理コアは、作業がマイクロコードにオフロードされた状態で、電力状態に入る簡単なシーケンスをソフトウェアにおいてサポートしてもよい。

少なくとも一実施例では、ＧＰＵ１９０８は、統合されたＧＰＵ（或いは、本明細書において「ｉＧＰＵ」と呼ばれる）を含んでもよい。少なくとも一実施例では、ＧＰＵ１９０８は、プログラム可能であってもよく、並列なワークロードに対して効率的であってもよい。少なくとも一実施例では、ＧＰＵ１９０８は、少なくとも一実施例では拡張テンソル命令セットを使用してもよい。少なくとも一実施例では、ＧＰＵ１９０８は、１つ又は複数のストリーミング・マイクロプロセッサを含んでもよく、ここで各ストリーミング・マイクロプロセッサは、レベル１（「Ｌ１」）キャッシュ（たとえば少なくとも９６ＫＢのストレージ容量を有するＬ１キャッシュ）を含んでもよく、ストリーミング・マイクロプロセッサのうちの２つ以上は、Ｌ２キャッシュ（たとえば、５１２ＫＢのストレージ容量を有するＬ２キャッシュ）を共有してもよい。少なくとも一実施例では、ＧＰＵ１９０８は、少なくとも８つのストリーミング・マイクロプロセッサを含んでもよい。少なくとも一実施例では、ＧＰＵ１９０８は、コンピュート・アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用してもよい。少なくとも一実施例では、ＧＰＵ１９０８は、１つ又は複数の並列なコンピューティング・プラットフォーム、及び／又はプログラミング・モジュール（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用してもよい。

少なくとも一実施例では、ＧＰＵ１９０８のうちの１つ又は複数は、自動車用及び組み込まれたユース・ケースにおいて最良の性能になるように電力最適化されてもよい。たとえば、一実施例では、ＧＰＵ１９０８は、フィン電界効果トランジスタ（「ＦｉｎＦＥＴ」）上で作製することができる。少なくとも一実施例では、各ストリーミング・マイクロプロセッサは、複数のブロックに区分けされた多数の混合精度の処理コアを組み込んでもよい。たとえば、限定することなく６４個のＰＦ３２コアと、３２個のＰＦ６４コアを、４つの処理ブロックに区分けすることができる。少なくとも一実施例では、各処理ブロックに、１６個のＦＰ３２コア、８個のＦＰ６４コア、１６個のＩＮＴ３２コア、深層学習の行列演算用の２つの混合精度のＮＶＩＤＩＡ ＴＥＮＳＯＲコア、レベルゼロ（「Ｌ０」）命令キャッシュ、ワープ・スケジューラ、ディスパッチ・ユニット、及び／又は６４ＫＢのレジスタ・ファイルを配分することができる。少なくとも一実施例では、ストリーミング・マイクロプロセッサは、整数と浮動小数点の独立した並列のデータ経路を含み、コンピュータ処理とアドレッシング計算を混用することによってワークロードの効率的な実行を実現する。少なくとも一実施例では、ストリーミング・マイクロプロセッサは、独立したスレッド・スケジューリング機能を含み、並列スレッド間でよりきめ細かい同期及び連携を可能にしてもよい。少なくとも一実施例では、ストリーミング・マイクロプロセッサは、性能を向上させると同時にプログラミングを簡単にするために、Ｌ１データ・キャッシュと共有メモリ・ユニットの組合せを含んでもよい。

少なくとも一実施例では、ＧＰＵ１９０８のうちの１つ又は複数は、高帯域幅メモリ（「ＨＢＷ：Ｈｉｇｈ Ｂａｎｄｗｉｄｔｈ Ｍｅｍｏｒｙ」）及び／又は１６ＧＢのＨＢＭ２メモリ・サブシステムを含み、いくつかの例では、約９００ＧＢ／秒のピーク・メモリ帯域幅を提供してもよい。少なくとも一実施例では、ＨＢＭメモリに加えて、又はその代わりに、グラフィックス・ダブル・データ・レート・タイプの５つの同期ランダム・アクセス・メモリ（「ＧＤＤＲ５」）などの同期グラフィックス・ランダム・アクセス・メモリ（「ＳＧＲＡＭ」）が使用されてもよい。

少なくとも一実施例では、ＧＰＵ１９０８は、統合メモリ技術を含んでもよい。少なくとも一実施例では、アドレス・トランスレーション・サービス（「ＡＴＳ」）サポートを使用して、ＧＰＵ１９０８が、ＣＰＵ１９０６のページ・テーブルに直接アクセスできるようにしてもよい。少なくとも一実施例では、ＧＰＵ１９０８メモリ管理ユニット（「ＭＭＵ」）がミスに遭遇したときには、アドレス・トランスレーション要求が、ＣＰＵ１９０６に送信されてもよい。少なくとも一実施例では、それに応答して、ＣＰＵ１９０６は、自らのページ・テーブルで、仮想から物理へのアドレスのマッピングを探し、トランスレーションをＧＰＵ１９０８に送り返してもよい。少なくとも一実施例では、統合メモリ技術は、ＣＰＵ１９０６とＧＰＵ１９０８の両方のメモリに対して単一の統合された仮想アドレス空間を与えることを可能にし、それにより、ＧＰＵ１９０８のプログラミング、及びＧＰＵ１９０８へのアプリケーションの移植を簡単にする。

少なくとも一実施例では、ＧＰＵ１９０８は、他のプロセッサのメモリへのＧＰＵ１９０８のアクセス頻度を記録することができる任意の数のアクセス・カウンタを含んでもよい。少なくとも一実施例では、アクセス・カウンタは、最も頻繁にページにアクセスしているプロセッサの物理メモリに、メモリ・ページが確実に移動されるのを補助し、それにより、プロセッサ間で共有されるメモリ範囲の効率を向上させてもよい。

少なくとも一実施例では、ＳｏＣ１９０４のうちの１つ又は複数は、本明細書に記載のものを含む任意の数のキャッシュ１９１２を含んでもよい。たとえば、少なくとも一実施例では、キャッシュ１９１２は、ＣＰＵ１９０６もＧＰＵ１９０８も利用可能な（たとえば、ＣＰＵ１９０６とＧＰＵ１９０８の両方に接続された）レベル３（「Ｌ３」）キャッシュを含むことができる。少なくとも一実施例では、キャッシュ１９１２は、キャッシュ・コヒーレンス・プロトコルなど（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することにより、線の状態を記録することができるライト・バック・キャッシュを含んでもよい。少なくとも一実施例では、Ｌ３キャッシュは、実施例に応じて４ＭＢ以上を含んでもよいが、より小さいキャッシュ・サイズが使用されてもよい。

少なくとも一実施例では、ＳｏＣ１９０４のうちの１つ又は複数は、１つ又は複数のアクセラレータ１９１４（たとえば、ハードウェア・アクセラレータ、ソフトウェアアクセラレータ、又はこれらの組合せ）を含んでもよい。少なくとも一実施例では、ＳｏＣ１９０４は、最適化されたハードウェア・アクセラレータ及び／又は大型のオン・チップ・メモリを含むことができるハードウェア加速クラスタを含んでもよい。少なくとも一実施例では、大型のオン・チップ・メモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタが、ニューラル・ネットワーク及び他の計算を加速できるようにしてもよい。少なくとも一実施例では、ハードウェア加速クラスタを使用して、ＧＰＵ１９０８を補完し、ＧＰＵ１９０８のタスクのうちのいくつかをオフロードしてもよい（たとえば、他のタスクを実行できるようにＧＰＵ１９０８のサイクルをより多く解放してもよい）。少なくとも一実施例では、加速を受け入れるのに十分なほど安定している目的とするワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（「ＣＮＮ」）、再帰ニューラル・ネットワーク（「ＲＮＮ」）など）のために、アクセラレータ１９１４を使用することができる。少なくとも一実施例では、ＣＮＮは、領域ベースの、すなわち領域畳み込みニューラル・ネットワーク（「ＲＣＮＮ」）、及び（たとえば、物体検出に使用される）高速ＲＣＮＮ、又は他のタイプのＣＮＮを含んでもよい。

少なくとも一実施例では、アクセラレータ１９１４（たとえば、ハードウェア加速クラスタ）は、深層学習アクセラレータ（「ＤＬＡ」）を含んでもよい。ＤＬＡは、限定することなく、１つ又は複数のＴｅｎｓｏｒ処理ユニット（「ＴＰＵ」）を含んでもよく、このユニットは、深層学習アプリケーション及び推論のために、さらに毎秒１０兆の演算を提供するように構成されてもよい。少なくとも一実施例では、ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなど）を実行するように構成され、そのために最適化されたアクセラレータであってもよい。ＤＬＡはさらに、ニューラル・ネットワーク・タイプと浮動小数点演算の特定のセット、並びに推論のために最適化されてもよい。少なくとも一実施例では、ＤＬＡの設計により、典型的な汎用ＧＰＵよりもミリメートル当たりの性能を向上させることができ、典型的には、ＣＰＵの性能を大いに上回る。少なくとも一実施例では、ＴＰＵは、たとえば特徴と重みの両方のためのＩＮＴ８、ＩＮＴ１６、及びＦＰ１６のデータ型をサポートする単一インスタンスの畳み込み関数、並びに後処理関数を含む、いくつか関数を実行してもよい。少なくとも一実施例では、ＤＬＡは、たとえば、限定することなく、カメラ・センサからのデータを使用した物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用した距離推定のためのＣＮＮ、マイクロフォン１９９６からのデータを使用した緊急車両検出、及び識別、及び検出のためのＣＮＮ、カメラ・センサからのデータを使用した顔認識及び車両所有者識別ためのＣＮＮ、並びに／又はセキュリティ及び／若しくは安全に関するイベントのためのＣＮＮを含め、様々な機能のうちのいずれかのための処理済み若しくは未処理のデータに対して、迅速且つ効率的にニューラル・ネットワーク、特にＣＮＮを実行してもよい。

少なくとも一実施例では、ＤＬＡは、ＧＰＵ１９０８の任意の機能を実行してもよく、たとえば推論アクセラレータを使用することにより、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ１９０８のいずれかをターゲットにしてもよい。たとえば、少なくとも一実施例では、設計者は、ＣＮＮ及び浮動小数点演算の処理をＤＬＡに集中させ、他の機能をＧＰＵ１９０８及び／又は他のアクセラレータ１９１４に任せてもよい。

少なくとも一実施例では、アクセラレータ１９１４（たとえば、ハードウェア加速クラスタ）は、プログラマブル・ビジョン・アクセラレータ（「ＰＶＡ」）を含んでもよく、このプログラマブル・ビジョン・アクセラレータは、本明細書において代替的にコンピュータ・ビジョン・アクセラレータと呼ばれてもよい。少なくとも一実施例では、ＰＶＡは、先進ドライバ支援システム（「ＡＤＡＳ」）１９３８、自律運転、拡張現実（「ＡＲ」）アプリケーション、及び／又は仮想現実（「ＶＲ」）アプリケーションのために、コンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成されてもよい。ＰＶＡにより、性能と融通性との均衡が保たれてもよい。たとえば、少なくとも一実施例では、各ＰＶＡは、たとえば限定することなく、任意の数の縮小命令セット・コンピュータ（「ＲＩＳＣ」）コア、ダイレクト・メモリ・アクセス（「ＤＭＡ」）、及び／又は任意の数のベクトル・プロセッサを含んでもよい。

少なくとも一実施例では、ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちの任意のカメラの画像センサ）、及び／又は画像信号プロセッサなどと相互作用してもよい。少なくとも一実施例では、ＲＩＳＣコアのそれぞれは、任意の量のメモリを含んでもよい。少なくとも一実施例では、ＲＩＳＣコアは、実施例に応じて複数のプロトコルのうちの任意のものを使用してもよい。少なくとも一実施例では、ＲＩＳＣコアは、リアル・タイム・オペレーティング・システム（「ＲＴＯＳ」）を実行してもよい。少なくとも一実施例では、ＲＩＳＣコアは、１つ又は複数の集積回路デバイス、特定用途向け集積回路（「ＡＳＩＣ」）、及び／又はメモリ・デバイスを使用して実装されてもよい。たとえば、少なくとも一実施例では、ＲＩＳＣコアは、命令キャッシュ及び／又は密結合ＲＡＭを含むことができる。

少なくとも一実施例では、ＤＭＡは、ＰＶＡの構成要素がＣＰＵ１９０６とは無関係にシステム・メモリにアクセスできるようにしてもよい。少なくとも一実施例では、ＤＭＡは、多次元アドレッシング、及び／又はサーキュラ・アドレッシングを含むがこれらに限定されない、ＰＶＡに最適化を提供するために使用される任意の数の特徴をサポートしてもよい。少なくとも一実施例では、ＤＭＡは、６つ以上のアドレッシング次元までをサポートしてもよく、これには、限定することなく、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングが含まれてもよい。

少なくとも一実施例では、ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのためのプログラミングを効率的でフレキシブルに実行するように設計されてもよいプログラム可能なプロセッサとすることができ、信号処理機能を提供する。少なくとも一実施例では、ＰＶＡは、ＰＶＡコアと、２つのベクトル処理サブシステム・パーティションを含んでもよい。少なくとも一実施例では、ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば２つのＤＭＡエンジン）、及び／又は他の周辺装置を含んでもよい。少なくとも一実施例では、ベクトル処理サブシステムは、ＰＶＡの一次処理エンジンとして動作してもよく、ベクトル処理ユニット（「ＶＰＵ」）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、「ＶＭＥＭ」）を含んでもよい。少なくとも一実施例では、ＶＰＵは、たとえば単一命令複数データ（「ＳＩＭＤ」）、超長命令語（「ＶＬＩＷ」）のデジタル信号プロセッサなどのデジタル信号プロセッサを含んでもよい。少なくとも一実施例では、ＳＩＭＤとＶＬＩＷの組合せによって、スループット及びスピードが改善されてもよい。

少なくとも一実施例では、ベクトル・プロセッサのそれぞれは、命令キャッシュを含んでもよく、専用のメモリに結合されてもよい。その結果、少なくとも一実施例では、ベクトル・プロセッサのそれぞれは、他のベクトル・プロセッサとは無関係に実行されるように構成されてもよい。少なくとも一実施例では、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成されてもよい。たとえば、少なくとも一実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを画像の異なる領域上で実行してもよい。少なくとも一実施例では、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを同じ画像上で同時に実行してもよく、又はさらには、異なるアルゴリズムを連続した画像上で、若しくは画像の部分上で実行してもよい。少なくとも一実施例では、とりわけ、任意の数のＰＶＡがハードウェア加速クラスタに含まれてもよく、任意の数のベクトル・プロセッサが各ＰＶＡに含まれてもよい。少なくとも一実施例では、ＰＶＡは、システムの全体的な安全性を強化するために、追加の誤り訂正符号（「ＥＣＣ」）メモリを含んでもよい。

少なくとも一実施例では、アクセラレータ１９１４（たとえば、ハードウェア加速クラスタ）は、オン・チップのコンピュータ・ビジョン・ネットワーク、及びスタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）を含み、アクセラレータ１９１４のための高帯域幅、低レイテンシのＳＲＡＭを提供してもよい。少なくとも一実施例では、オン・チップ・メモリは、たとえば限定することなく、８つのフィールド設定可能なメモリ・ブロックから成る少なくとも４ＭＢのＳＲＡＭを含んでもよく、これは、ＰＶＡからもＤＬＡからもアクセス可能であってもよい。少なくとも一実施例では、メモリ・ブロックの各対は、アドバンスト・ペリフェラル・バス（「ＡＰＢ」）インターフェース、構成回路、コントローラ、及びマルチプレクサを含んでもよい。少なくとも一実施例では、任意のタイプのメモリが使用されてもよい。少なくとも一実施例では、ＰＶＡ及びＤＬＡは、メモリへの高速アクセスをＰＶＡ及びＤＬＡに提供するバックボーンを介して、メモリにアクセスしてもよい。少なくとも一実施例では、バックボーンは、ＰＶＡ及びＤＬＡを（たとえばＡＰＢを使用して）メモリに相互接続するオン・チップのコンピュータ・ビジョン・ネットワークを含んでもよい。

少なくとも一実施例では、オン・チップのコンピュータ・ビジョン・ネットワークは、何らかの制御信号／アドレス／データを送信する前に、ＰＶＡとＤＬＡの両方が準備信号及び有効信号を提供することを判定するインターフェースを含んでもよい。少なくとも一実施例では、インターフェースは、制御信号／アドレス／データを送信するための別々の位相及び別々のチャネル、並びに継続的なデータ転送のためのバースト型通信を提供してもよい。少なくとも一実施例では、インターフェースは、国際標準化機構（「ＩＳＯ」）２６２６２又は国際電気標準会議（「ＩＥＣ」）６１５０８の規格に準拠してもよいが、他の規格及びプロトコルが使用されてもよい。

少なくとも一実施例では、ＳｏＣ１９０４のうちの１つ又は複数は、リアル・タイム・レイ・トレーシングのハードウェア・アクセラレータを含んでもよい。少なくとも一実施例では、リアル・タイム・レイ・トレーシングのハードウェア・アクセラレータを使用して、物体の（たとえば世界モデル内での）位置及び範囲が迅速且つ効率的に判定されて、ＲＡＤＡＲ信号解釈のため、音伝播合成及び／若しくは分析のため、ＳＯＮＡＲシステムのシミュレーションのため、一般波形の伝播シミュレーションのため、ローカリゼーション及び／若しくは他の機能を目的としたＬＩＤＡＲデータとの比較のため、並びに／又は他の使用法のためのリアル・タイムの可視化シミュレーションが生成されてもよい。

少なくとも一実施例では、アクセラレータ１９１４（たとえば、ハードウェア・アクセラレータ・クラスタ）は、自律運転のための多様な使用法を有する。少なくとも一実施例では、ＰＶＡは、ＡＤＡＳ及び自律車両の主要な処理ステージに使用することができるプログラマブル・ビジョン・アクセラレータであってもよい。少なくとも一実施例では、ＰＶＡの性能は、低電力及び低レイテンシの予測可能な処理を必要とするアルゴリズム・ドメインに良好に適合する。言い換えれば、ＰＶＡは、低レイテンシ及び低電力の予測可能なラン・タイムを必要とする半稠密（ｓｅｍｉ－ｄｅｎｓｅ）又は稠密な規則的計算に対して、データ・セットが小さくても良好に機能する。少なくとも一実施例では、車両１９００などの自律車両では、従来のコンピュータ・ビジョン・アルゴリズムを実行するようにＰＶＡが設計されるが、これは、それらが、物体検出及び整数数値の演算に有効だからである。

たとえば、技術の少なくとも一実施例によれば、ＰＶＡを使用して、コンピュータ・ステレオ・ビジョンが実行されてもよい。少なくとも一実施例では、いくつかの例においてセミ・グローバル・マッチングに基づくアルゴリズムが使用されてもよいが、これは限定するものではない。少なくとも一実施例では、レベル３～５の自律運転のためのアプリケーションは、動き推定／ステレオ・マッチング（たとえば、動きからの構造化、歩行者認識、車線検出など）をオン・ザ・フライで使用する。少なくとも一実施例では、ＰＶＡは、２つの単眼カメラからの入力に対して、コンピュータ・ステレオ・ビジョン機能を実行してもよい。

少なくとも一実施例では、ＰＶＡを使用して、高密度オプティカル・フローが実行されてもよい。たとえば、少なくとも一実施例では、ＰＶＡは、未加工のＲＡＤＡＲデータを（たとえば４Ｄの高速フーリエ変換を使用して）処理して、処理済みＲＡＤＡＲデータを提供することができる。少なくとも一実施例では、ＰＶＡは、飛行時間の深度処理に使用され、たとえば未加工の飛行時間データを処理することにより、処理済みの飛行時間データが提供される。

少なくとも一実施例では、たとえば限定することなく、物体検出ごとに信頼性の尺度を出力するニューラル・ネットワークを含む、制御及び運転の安全性を強化するための任意のタイプのネットワークを実行するために、ＤＬＡが使用されてもよい。少なくとも一実施例では、信頼性は、他の検出と比較した各検出の確率として、若しくはその相対的な「重み」を提供するものとして表されても、又は解釈されてもよい。少なくとも一実施例では、信頼性によって、どの検出を誤検出ではなく正検出とみなすべきかに関して、システムがさらなる判定を下せるようになる。たとえば、少なくとも一実施例では、システムは、信頼性に対して閾値を設定し、閾値を超える検出だけを正検出とみなしてもよい。自動緊急ブレーキ（「ＡＥＢ」）が使用される実施例では、誤検出によって車両は自動的に緊急ブレーキをかけることになり、これは明らかに望ましくない。少なくとも一実施例では、非常に信頼性の高い検出が、ＡＥＢのトリガとみなされてもよい。少なくとも一実施例では、ＤＬＡは、信頼値を回帰するようにニューラル・ネットワークを実行してもよい。少なくとも一実施例では、ニューラル・ネットワークは、とりわけ境界ボックスの次元、（たとえば別のサブシステムから）取得した地面推定、車両１９００の配向と相関しているＩＭＵセンサ１９６６からの出力、距離、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ１９６４若しくはＲＡＤＡＲセンサ１９６０）から取得した物体の３Ｄロケーション推定などのパラメータの少なくともいくつかのサブセットを、その入力として取ってもよい。

少なくとも一実施例では、ＳｏＣ１９０４のうちの１つ又は複数は、データ・ストア１９１６（たとえばメモリ）を含んでもよい。少なくとも一実施例では、データ・ストア１９１６は、ＳｏＣ１９０４のオン・チップ・メモリであってもよく、このメモリは、ＧＰＵ１９０８及び／又はＤＬＡ上で実行されるニューラル・ネットワークを記憶してもよい。少なくとも一実施例では、データ・ストア１９１６の容量は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分なほど大きくてもよい。少なくとも一実施例では、データ・ストア１９１６は、Ｌ２又はＬ３のキャッシュを備えてもよい。

少なくとも一実施例では、ＳｏＣ１９０４のうちの１つ又は複数は、任意の数のプロセッサ１９１０（たとえば、組み込みプロセッサ）を含んでもよい。少なくとも一実施例では、プロセッサ１９１０は、ブート電力並びに管理機能及び関連するセキュリティ執行に対処するための専用プロセッサ及びサブシステムであってもよいブート及び電力管理プロセッサを含んでもよい。少なくとも一実施例では、ブート及び電力管理プロセッサは、ＳｏＣ１９０４のブート・シーケンスの一部であってもよく、ラン・タイム電力管理サービスを提供してもよい。少なくとも一実施例では、ブート電力及び管理プロセッサは、クロックと電圧のプログラミング、システムの低電力状態への移行の支援、ＳｏＣ１９０４の熱及び温度センサの管理、並びに／又はＳｏＣ１９０４の電力状態の管理を提供してもよい。少なくとも一実施例では、各温度センサは、その出力周波数が温度に比例するリング発振器として実装されてもよく、ＳｏＣ１９０４は、リング発振器を使用して、ＣＰＵ１９０６、ＧＰＵ１９０８、及び／又はアクセラレータ１９１４の温度を検出してもよい。少なくとも一実施例では、温度が閾値を超えると判定された場合には、ブート及び電力管理プロセッサは、温度不良ルーチンに入り、ＳｏＣ１９０４を低電力状態にし、且つ／又は車両１９００を運転手－安全停止モードにしても（たとえば、車両１９００を安全停止させる）よい。

少なくとも一実施例では、プロセッサ１９１０はさらに、オーディオ処理エンジンとしての役割を果たすことができる組み込みプロセッサのセットを含んでもよい。少なくとも一実施例では、オーディオ処理エンジンは、多重インターフェースを介した多チャネルのオーディオ、及び幅広くフレキシブルな様々なオーディオＩ／Ｏインターフェースのための、完全なハードウェア・サポートを可能にするオーディオ・サブシステムであってもよい。少なくとも一実施例では、オーディオ処理エンジンは、専用ＲＡＭのあるデジタル信号プロセッサを有する専用プロセッサ・コアである。

少なくとも一実施例では、プロセッサ１９１０はさらに、低電力センサ管理及び立ち上げのユース・ケースをサポートするのに必要なハードウェア特徴を提供することができる常時オン・プロセッサ・エンジンを含んでもよい。少なくとも一実施例では、常時オン・プロセッサ・エンジンは、限定することなく、プロセッサ・コア、密結合ＲＡＭ、サポート周辺装置（たとえば、タイマ、及び割込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含んでもよい。

少なくとも一実施例では、プロセッサ１９１０はさらに安全クラスタ・エンジンを含んでもよく、このエンジンは限定することなく、自動車用途の安全管理に対処するための専用のプロセッサ・サブシステムを含む。少なくとも一実施例では、安全クラスタ・エンジンは、限定することなく、２つ以上のプロセッサ・コア、密結合ＲＡＭ、サポート周辺装置（たとえば、タイマ、及び割込みコントローラなど）、及び／又はルーティング論理を含んでもよい。安全モードでは、少なくとも一実施例においてロックステップ・モードで２つ以上のコアが動作し、これらの動作間で何らかの差を検出するための比較論理を有する単一コアとして機能してもよい。少なくとも一実施例では、プロセッサ１９１０はさらにリアル・タイム・カメラ・エンジンを含んでもよく、このエンジンは限定することなく、リアル・タイムのカメラ管理に対処するための専用のプロセッサ・サブシステムを含んでもよい。少なくとも一実施例では、プロセッサ１９１０はさらに、高ダイナミック・レンジの信号プロセッサを含んでもよく、この信号プロセッサは、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを限定することなく含んでもよい。

少なくとも一実施例では、プロセッサ１９１０は、ビデオ画像合成器を含んでもよく、この合成器は、再生装置のウインドウに最終画像を生成するのにビデオ再生アプリケーションが必要とするビデオ後処理機能を実装する（たとえばマイクロプロセッサに実装された）処理ブロックであってもよい。少なくとも一実施例では、ビデオ画像合成器は、広角カメラ１９７０、周囲カメラ１９７４、及び／又はキャビン内監視カメラ・センサに対して、レンズゆがみ補正を実行してもよい。少なくとも一実施例では、キャビン内監視カメラ・センサは、好ましくは、キャビン内のイベントを識別し、それに適宜応答するように構成された、ＳｏＣ１９０４の別のインスタンスで実行されているニューラル・ネットワークによって監視される。少なくとも一実施例では、キャビン内システムは、セルラー・サービスをアクティブ化し、電話をかけたり、電子メールを書いたり、車両の行き先を変更したり、車両のインフォテイメント・システム及び設定をアクティブ化又は変更したり、音声作動式のウェブ・サーフィンを提供したりするために、限定することなく読唇を実行してもよい。少なくとも一実施例では、ある一定の機能は、車両が自律モードで動作しているときにドライバにとって利用可能になり、それ以外のときには使用不可になる。

少なくとも一実施例では、ビデオ画像合成器は、空間と時間の両方のノイズ低減のための拡張された時間的ノイズ低減を含んでもよい。たとえば、少なくとも一実施例では、ビデオで動きが生じる場合には、ノイズ低減が空間情報に適切に重み付けして、隣接するフレームによって提供される情報の重みを軽くする。少なくとも一実施例では、画像又は画像の一部分が動きを含まない場合には、ビデオ画像合成器により実行される時間的ノイズ低減は、前の画像からの情報を使用して、現在の画像のノイズを低減してもよい。

少なくとも一実施例では、ビデオ画像合成器はまた、入力されたステレオ・レンズ・フレームに対してステレオ平行化を実行するように構成されてもよい。少なくとも一実施例では、ビデオ画像合成器はさらに、オペレーティング・システムのデスクトップが使用中のときに、ユーザ・インターフェースを合成するために使用されてもよく、ＧＰＵ１９０８は、新規の表面を継続的にレンダリングする必要がなくなる。少なくとも一実施例では、ＧＰＵ１９０８の電源が入れられ、アクティブで３Ｄレンダリングを行っているとき、性能及び応答性を向上させるために、ビデオ画像合成器を使用してＧＰＵ１９０８をオフロードしてもよい。

少なくとも一実施例では、ＳｏＣ１９０４のうちの１つ又は複数はさらに、ビデオ及びカメラからの入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（「ＭＩＰＩ」）のカメラ直列インターフェース、高速インターフェース、並びに／又はカメラ及び関連ピクセルの入力機能に使用されてもよいビデオ入力ブロックを含んでもよい。少なくとも一実施例では、ＳｏＣ１９０４のうちの１つ又は複数はさらに、入力／出力コントローラを含んでもよく、このコントローラはソフトウェアによって制御されてもよく、特定の役割に縛られていないＩ／Ｏ信号を受信するために使用されてもよい。

少なくとも一実施例では、ＳｏＣ１９０４のうちの１つ又は複数はさらに、周辺装置、オーディオ・エンコーダ／デコーダ（「コーデック」）、電力管理、及び／又は他の装置との通信を可能にするための幅広い周辺装置インターフェースを含んでもよい。ＳｏＣ１９０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続されてもよいＬＩＤＡＲセンサ１９６４、ＲＡＤＡＲセンサ１９６０など）からのデータ、バス１９０２からのデータ（たとえば、車両１９００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ１９５８からのデータなどを処理するために使用されてもよい。少なくとも一実施例では、ＳｏＣ１９０４のうちの１つ又は複数はさらに、専用の高性能大容量ストレージ・コントローラを含んでもよく、このコントローラは独自のＤＭＡエンジンを含んでもよく、ルーチンのデータ管理タスクからＣＰＵ１９０６を解放するために使用されてもよい。

少なくとも一実施例では、ＳｏＣ１９０４は、自動化レベル３～５に及ぶフレキシブルなアーキテクチャを有するエンドツーエンドのプラットフォームであってもよく、それにより、多様性及び冗長性を得るためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し効率的に利用する包括的な機能的安全性アーキテクチャが提供され、フレキシブルで、信頼性の高い運転ソフトウェア・スタックが、深層学習ツールとともに提供される。少なくとも一実施例では、ＳｏＣ１９０４は、従来のシステムより高速で、信頼性が高く、さらにはエネルギー効率及び空間効率が高い。たとえば、少なくとも一実施例では、アクセラレータ１９１４は、ＣＰＵ１９０６、ＧＰＵ１９０８、及びデータ・ストア１９１６と組み合わされると、レベル３～５の自律車両のための高速で効率的なプラットフォームを実現することができる。

少なくとも一実施例では、コンピュータ・ビジョン・アルゴリズムはＣＰＵ上で実行されてもよく、このアルゴリズムは、Ｃプログラミング言語などの高レベル・プログラミング言語を使用して構成されて、多様な視覚データにわたって多様な処理アルゴリズムを実行してもよい。しかし、少なくとも一実施例では、ＣＰＵは、多くのコンピュータ・ビジョン・アプリケーションの性能要件、たとえば実行時間及び電力消費に関する要件などを満足できないことが多い。少なくとも一実施例では、多くのＣＰＵは、車両内のＡＤＡＳアプリケーション及び現実的なレベル３～５の自律車両において使用される複雑な物体検出アルゴリズムを、リアル・タイムで実行することができない。

本明細書に記載の実施例は、複数のニューラル・ネットワークを同時に且つ／又は順番に実行できるようにし、結果を組み合わせて、レベル３～５の自律運転機能を可能にすることができる。たとえば、少なくとも一実施例では、ＤＬＡ又は個別ＧＰＵ（たとえば、ＧＰＵ１９２０）上で実行しているＣＮＮは、テキスト及び単語認識を含んでもよく、ニューラル・ネットワークがそれについて特に訓練されてこなかった標識を含む交通標識を、スーパーコンピュータが読み、理解できるようにする。少なくとも一実施例では、ＤＬＡはさらに、標識を識別し、解釈し、標識の意味的理解を提供することができ、その意味的理解を、ＣＰＵコンプレックス上で実行されている経路計画モジュールに渡すことができるニューラル・ネットワークを含んでもよい。

少なくとも一実施例では、レベル３、４、又は５の運転に関して、複数のニューラル・ネットワークが同時に実行されてもよい。たとえば、少なくとも一実施例では、電光と併せて「注意：点滅時は凍結状態」と示される警告標識は、いくつかのニューラル・ネットワークによって別々に解釈されても、集合的に解釈されてもよい。少なくとも一実施例では、標識自体は、第１の導入済みニューラル・ネットワーク（たとえば、訓練されてきたニューラル・ネットワーク）によって交通標識として識別されてもよく、「点滅時は凍結状態」という文字は、第２の導入済みニューラル・ネットワークによって解釈されてもよく、点滅光が検出された場合には、このニューラル・ネットワークが、凍結状態が存在することを車両の（好ましくはＣＰＵコンプレックス上で実行している）経路計画ソフトウェアに通知する。少なくとも一実施例では、点滅光は、第３の導入済みニューラル・ネットワークを複数のフレームにわたって動作させることによって識別されてもよく、点滅光の存在（又は存在しないこと）が、車両の経路計画ソフトウェアに通知される。少なくとも一実施例では、３つすべてのニューラル・ネットワークが、ＤＬＡ内及び／又はＧＰＵ１９０８上などで同時に実行されてもよい。

少なくとも一実施例では、顔認識及び車両所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して、車両１９００の承認済みのドライバ及び／又は所有者の存在を識別してもよい。少なくとも一実施例では、常時オンのセンサ処理エンジンを使用して、所有者がドライバ用ドアに近づいてきたときに車両を解錠し、ライトを点灯させ、所有者が車両から離れるときには、セキュリティ・モードで車両を使用不可にしてもよい。こうして、ＳｏＣ１９０４は、窃盗及び／又は自動車乗っ取りに対するセキュリティを実現する。

少なくとも一実施例では、緊急車両の検出及び識別のためのＣＮＮは、マイクロフォン１９９６からのデータを使用して、緊急車両のサイレンを検出及び識別してもよい。少なくとも一実施例では、ＳｏＣ１９０４は、環境及び市街地の音を分類するとともに、視覚データを分類するためにＣＮＮを使用する。少なくとも一実施例では、ＤＬＡ上で実行されるＣＮＮは、緊急車両が近づいてくる相対的なスピードを（たとえばドップラー効果を使用することによって）識別するように訓練される。少なくとも一実施例では、ＣＮＮはまた、ＧＮＳＳセンサ１９５８によって識別される、車両が稼働している地域に特有の緊急車両を識別するように訓練されてもよい。少なくとも一実施例では、欧州で稼働している場合には、ＣＮＮは欧州のサイレンを検出しようとし、米国の場合には、北米のサイレンだけを識別しようとする。少なくとも一実施例では、緊急車両が検出されると、緊急車両安全ルーチンを実行するための制御プログラムを使用して、車両の速度を落とし、道路脇に寄せ、車両を停止させ、且つ／又は緊急車両が通過するまで、超音波センサ１９６２を併用して車両をアイドリングにしてもよい。

少なくとも一実施例では、車両１９００はＣＰＵ１９１８（たとえば、個別ＣＰＵ又はｄＣＰＵ）を含んでもよく、このＣＰＵは高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ１９０４に結合されてもよい。少なくとも一実施例では、ＣＰＵ１９１８は、たとえばＸ８６プロセッサを含んでもよい。ＣＰＵ１９１８は、たとえば、ＡＤＡＳセンサとＳｏＣ１９０４の間で潜在的に不整合な結果を調停すること、並びに／又はコントローラ１９３６及び／若しくはチップ上のインフォテイメント・システム（「インフォテイメントＳｏＣ」）１９３０の状態及び健全性を監視することを含め、様々な機能のうちの任意の機能を実行するために使用されてもよい。

少なくとも一実施例では、車両１９００はＧＰＵ１９２０（たとえば、個別ＧＰＵ又はｄＧＰＵ）を含んでもよく、このＧＰＵは高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ１９０４に結合されてもよい。少なくとも一実施例では、ＧＰＵ１９２０は、冗長な及び／又は異なるニューラル・ネットワークを実行することなどによって、追加の人工知能機能を提供してもよく、車両１９００のセンサからの入力（たとえば、センサ・データ）に少なくとも部分的に基づき、ニューラル・ネットワークを訓練及び／又は更新するために使用されてもよい。

少なくとも一実施例では、車両１９００はさらに、ネットワーク・インターフェース１９２４を含んでもよく、このインターフェースは限定することなく、ワイヤレス・アンテナ１９２６（たとえば、セルラー・アンテナ、Ｂｌｕｅｔｏｏｔｈアンテナなど、異なる通信プロトコル向けの１つ又は複数のワイヤレス・アンテナ１９２６）を含んでもよい。少なくとも一実施例では、クラウド（たとえば、サーバ及び／又は他のネットワーク・デバイス）、他の車両、及び／又はコンピューティング・デバイス（たとえば、乗員のクライアント・デバイス）とのインターネットを介したワイヤレス接続を可能にするために、ネットワーク・インターフェース１９２４が使用されてもよい。少なくとも一実施例では、他の車両と通信するために、車両１９０と他の車両との間に直接リンクが確立されてもよく、且つ／又は（たとえば、ネットワークにわたって、且つインターネットを介して）間接リンクが確立されてもよい。少なくとも一実施例では、直接リンクは、車車間通信リンクを使用して提供されてもよい。車車間通信リンクは、車両１９００の近傍の車両（たとえば、車両１９００の前方、側方、及び／又は後方の車両）についての情報を車両１９００に提供してもよい。少なくとも一実施例では、前述した機能は、車両１９００の協調型アダプティブ・クルーズ・コントロール機能の一部であってもよい。

少なくとも一実施例では、ネットワーク・インターフェース１９２４は、変調及び復調の機能を提供し、コントローラ１９３６がワイヤレス・ネットワークを介して通信できるようにするＳｏＣを含んでもよい。少なくとも一実施例では、ネットワーク・インターフェース１９２４は、ベースバンドから無線周波数へのアップ・コンバージョン、及び無線周波数からベースバンドへのダウン・コンバージョンのための無線周波数フロント・エンドを含んでもよい。少なくとも一実施例では、周波数変換は、任意の技術的に実行可能なやり方で実行されてもよい。たとえば、周波数変換は、よく知られたプロセスにより、且つ／又はスーパー・ヘテロダイン・プロセスを使用して実行することができる。少なくとも一実施例では、無線周波数フロント・エンド機能は、別個のチップによって提供されてもよい。少なくとも一実施例では、ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含んでもよい。

少なくとも一実施例では、車両１９００はさらにデータ・ストア１９２８を含んでもよく、このデータ・ストアは限定することなく、オフ・チップ（たとえばＳｏＣ１９０４上にない）ストレージを含んでもよい。少なくとも一実施例では、データ・ストア１９２８は、ＲＡＭ、ＳＲＡＭ、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）、ビデオ・ランダム・アクセス・メモリ（「ＶＲＡＭ」）、フラッシュ、ハード・ディスク、並びに／又は少なくとも１ビットのデータを記憶することができる他の構成要素及び／若しくはデバイスを含む１つ若しくは複数のストレージ要素を、限定することなく含んでもよい。

少なくとも一実施例では、車両１９００はさらに、マッピング、知覚、占有グリッド生成、及び／又は経路計画の機能を支援するためのＧＮＳＳセンサ１９５８（たとえば、ＧＰＳ及び／又は補助ＧＰＳセンサ）を含んでもよい。少なくとも一実施例では、イーサネット（登録商標）からシリアル（たとえばＲＳ－２３２）へのブリッジを有するＵＳＢコネクタを使用するＧＰＳをたとえば限定することなく含む任意の数のＧＮＳＳセンサ１９５８が使用されてもよい。

少なくとも一実施例では、車両１９００はさらに、ＲＡＤＡＲセンサ１９６０を含んでもよい。ＲＡＤＡＲセンサ１９６０は、暗闇及び／又は厳しい気象条件の中でも、長距離の車両検出を行うために車両１９００によって使用されてもよい。少なくとも一実施例では、ＲＡＤＡＲの機能的安全性レベルは、ＡＳＩＬ Ｂであってもよい。ＲＡＤＡＲセンサ１９６０は、制御のために（たとえば、ＲＡＤＡＲセンサ１９６０によって生成されたデータを送信するために）、また物体追跡データにアクセスするために、ＣＡＮ及び／又はバス１９０２を使用してもよく、いくつかの例では、未加工データにアクセスするためにイーサネット（登録商標）にアクセスできる。少なくとも一実施例では、多様なタイプのＲＡＤＡＲセンサが使用されてもよい。たとえば限定することなく、ＲＡＤＡＲセンサ１９６０は、前方、後方、及び側方のＲＡＤＡＲ使用に好適であってもよい。少なくとも一実施例では、ＲＡＤＡＲセンサ１９６０のうちの１つ又は複数は、パルス・ドップラＲＡＤＡＲセンサである。

少なくとも一実施例では、ＲＡＤＡＲセンサ１９６０は、狭視野の長距離、広視野の短距離、側面を網羅する短距離など、異なる構成を含んでもよい。少なくとも一実施例では、長距離ＲＡＤＡＲは、アダプティブ・クルーズ・コントロール機能のために使用されてもよい。少なくとも一実施例では、長距離ＲＡＤＡＲシステムは、２つ以上の独立した走査によって実現される２５０ｍの範囲内などの広視野を提供してもよい。少なくとも一実施例では、ＲＡＤＡＲセンサ１９６０は、静的物体と移動している物体とを区別しやすくしてもよく、緊急ブレーキ支援及び前方衝突警告を行うためにＡＤＡＳシステム１９３８によって使用されてもよい。長距離ＲＡＤＡＲシステムに含まれるセンサ１９６０は、複数の（たとえば６つ以上の）固定ＲＡＤＡＲアンテナ、並びに高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースを有するモノスタティックのマルチモードＲＡＤＡＲを、限定することなく含んでもよい。少なくとも一実施例では、６つのアンテナがある場合、中央の４つのアンテナは、隣接した車線からの干渉が最小の状態で、より高速で車両１９００の周囲を記録するように設計された集中したビーム・パターンを生成してもよい。少なくとも一実施例では、他の２つのアンテナは、視野を拡張してもよく、車両１９００の車線に入る又はそこから出る車両を迅速に検出するのを可能にする。

少なくとも一実施例では、中距離ＲＡＤＡＲシステムは、一例として最大１６０ｍ（前方）、又は８０ｍ（後方）の範囲、及び最大４２度（前方）、又は１５０度（後方）の視野を含んでもよい。少なくとも一実施例では、短距離ＲＡＤＡＲシステムは、限定することなく、後方バンパの両端部に設置されるように設計された任意の数のＲＡＤＡＲセンサ１９６０を含んでもよい。後方バンパの両端部に設置されたとき、少なくとも一実施例では、ＲＡＤＡＲセンサ・システムは、後方及び車両隣の死角を常に監視する２本のビームを生成してもよい。少なくとも一実施例では、短距離ＲＡＤＡＲシステムは、死角検出及び／又は車線変更支援を行うために、ＡＤＡＳシステム１９３８において使用されてもよい。

少なくとも一実施例では、車両１９００はさらに、超音波センサ１９６２を含んでもよい。超音波センサ１９６２は、車両１９００の前方、後方、及び／又は側方に配置されてもよく、駐車支援のため、且つ／又は占有グリッドを生成し更新するために使用されてもよい。少なくとも一実施例では、多様な超音波センサ１９６２が使用されてもよく、異なる検出範囲（たとえば、２．５ｍ、４ｍ）には異なる超音波センサ１９６２が使用されてもよい。少なくとも一実施例では、超音波センサ１９６２は、機能的安全性レベルＡＳＩＬ Ｂで動作してもよい。

少なくとも一実施例では、車両１９００は、ＬＩＤＡＲセンサ１９６４を含んでもよい。ＬＩＤＡＲセンサ１９６４は、物体及び歩行者の検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用されてもよい。少なくとも一実施例では、ＬＩＤＡＲセンサ１９６４は、機能的安全性レベルＡＳＩＬ Ｂであってもよい。少なくとも一実施例では、車両１９００は、複数のＬＩＤＡＲセンサ１９６４（たとえば、２つ、４つ、６つなど）を含んでもよく、これらのセンサは、（たとえばデータをギガビット・イーサネット（登録商標）・スイッチに提供するために）イーサネット（登録商標）を使用してもよい。

少なくとも一実施例では、ＬＩＤＡＲセンサ１９６４は、３６０度の視野について、物体及びそれらの距離のリストを提供可能であってもよい。少なくとも一実施例では、市販のＬＩＤＡＲセンサ１９６４は、たとえば宣伝された範囲がおおよそ１００ｍであり、精度が２ｃｍ～３ｃｍであり、１００Ｍｂｐｓのイーサネット（登録商標）接続をサポートしてもよい。少なくとも一実施例では、１つ又は複数の非突出型ＬＩＤＡＲセンサ１９６４が使用されてもよい。こうした実施例では、ＬＩＤＡＲセンサ１９６４は、車両１９００の前方、後方、側方、及び／又は角に組み込むことができる小さいデバイスとして実装されてもよい。少なくとも一実施例では、こうした実施例のＬＩＤＡＲセンサ１９６４は、最大１２０度の水平視野、及び３５度の垂直視野を、低反射性の物体に対しても２００ｍの範囲で提供してもよい。少なくとも一実施例では、前方に取り付けられたＬＩＤＡＲセンサ１９６４は、４５度～１３５度の水平視野をもたらすように構成されてもよい。

少なくとも一実施例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術も使用されてよい。３ＤフラッシュＬＩＤＡＲは、レーザのフラッシュを送信源として使用して、車両１９００の周囲を最大でおおよそ２００ｍまで照射する。少なくとも一実施例では、フラッシュＬＩＤＡＲユニットは、限定することなくレセプタを含み、このレセプタは、レーザ・パルスの通過時間及び各ピクセルにおける反射光を記録し、それらは、車両１９００から物体までの範囲に対応する。少なくとも一実施例では、フラッシュＬＩＤＡＲによって、非常に正確でゆがみのない周囲画像が、レーザのフラッシュごとに生成できるようになる。少なくとも一実施例では、４つのフラッシュＬＩＤＡＲが、車両１９００の各側面に１つ導入されてもよい。少なくとも一実施例では、３ＤフラッシュＬＩＤＡＲシステムは、ファン以外に可動部品のない半導体３Ｄ凝視アレイ（ｓｔａｒｉｎｇ ａｒｒａｙ）のＬＩＤＡＲカメラ（たとえば、非走査型ＬＩＤＡＲデバイス）を、限定することなく含む。少なくとも一実施例では、フラッシュＬＩＤＡＲデバイスは、フレーム当たり５ナノ秒のクラスＩ（目に安全な）レーザ・パルスを使用してもよく、３Ｄ範囲の点群及び位置同期された（ｃｏ－ｒｅｇｉｓｔｅｒｅｄ）強度データの形で反射レーザ光を捕捉してもよい。

少なくとも一実施例では、車両はさらにＩＭＵセンサ１９６６を含んでもよい。少なくとも一実施例では、ＩＭＵセンサ１９６６は、少なくとも一実施例では、車両１９００の後方車軸の中央に位置付けられてもよい。少なくとも一実施例では、ＩＭＵセンサ１９６６は、たとえば限定することなく、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のタイプのセンサを含んでもよい。６軸の用途など少なくとも一実施例では、ＩＭＵセンサ１９６６は限定することなく、加速度計及びジャイロスコープを含んでもよい。９軸の用途など少なくとも一実施例では、ＩＭＵセンサ１９６６は限定することなく、加速度計、ジャイロスコープ、及び磁力計を含んでもよい。

少なくとも一実施例では、ＩＭＵセンサ１９６６は、微小電気機械システム（「ＭＥＭＳ」）慣性センサ、高感度ＧＰＳ受信機、及び先進のＫａｌｍａｎフィルタリング・アルゴリズムを組み合わせて、位置、速度、及び姿勢の推定値を提供する小型の高性能ＧＰＳ補強型慣性航法システム（「ＧＰＳ／ＩＮＳ」）として実装されてもよい。少なくとも一実施例では、ＩＭＵセンサ１９６６により、車両１９００は、速度変化を直接観察しそれをＧＰＳからＩＭＵセンサ１９６６に相関させることによって、磁気センサからの入力を必要とせずに方位を推定できるようになる。少なくとも一実施例では、ＩＭＵセンサ１９６６及びＧＮＳＳセンサ１９５８は、単一の統合ユニットに組み合わされてもよい。

少なくとも一実施例では、車両１９００は、車両１９００の中及び／又はその周りに設置されたマイクロフォン１９９６を含んでもよい。少なくとも一実施例では、マイクロフォン１９９６は、とりわけ緊急車両の検出及び識別のために使用されてもよい。

少なくとも一実施例では、車両１９００はさらに、ステレオ・カメラ１９６８、広角カメラ１９７０、赤外線カメラ１９７２、周囲カメラ１９７４、長距離カメラ１９９８、中距離カメラ１９７６、及び／又は他のカメラ・タイプを含む任意の数のカメラ・タイプを含んでもよい。少なくとも一実施例では、カメラは、車両１９００の全周囲の周りで画像データを捕捉するために使用されてもよい。少なくとも一実施例では、使用されるカメラのタイプは、車両１９００に応じて異なる。少なくとも一実施例では、車両１９００の周りで必要な被写域を提供するために、カメラ・タイプの任意の組合せが使用されてもよい。少なくとも一実施例では、カメラの数は、実施例に応じて異なってもよい。たとえば、少なくとも一実施例では、車両１９００は６台のカメラ、７台のカメラ、１０台のカメラ、１２台のカメラ、又は別の数のカメラを含むことができる。カメラは、一例として限定することなく、ギガビット・マルチメディア・シリアル・リンク（「ＧＭＳＬ」）及び／又はギガビット・イーサネット（登録商標）をサポートしてもよい。少なくとも一実施例では、各カメラは、図１９Ａ及び図１９Ｂに関して本明細書でさらに詳細に上で説明されている。

少なくとも一実施例では、車両１９００はさらに、振動センサ１９４２を含んでもよい。少なくとも一実施例では、振動センサ１９４２は、車軸など、車両１９００の構成要素の振動を測定してもよい。たとえば、少なくとも一実施例では、振動の変化は、路面の変化を示すことがある。少なくとも一実施例では、２つ以上の振動センサ１９４２が使用される場合には、路面の摩擦又はすべり量を判定するために振動の差が使用されてもよい（たとえば、動力により駆動される車軸と自由回転する車軸との間に振動差がある場合）。

少なくとも一実施例では、車両１９００は、ＡＤＡＳシステム１９３８を含んでもよい。ＡＤＡＳシステム１９３８は、限定することなく、いくつかの例においてＳｏＣを含んでもよい。少なくとも一実施例では、ＡＤＡＳシステム１９３８は、限定することなく、任意の数及び任意の組合せの、自律／アダプティブ／自動のクルーズ・コントロール（「ＡＣＣ」）システム、協調型アダプティブ・クルーズ・コントロール（「ＣＡＣＣ」）システム、正面衝突警告（「ＦＣＷ」）システム、自動緊急ブレーキ（「ＡＥＢ」）システム、車線逸脱警告（「ＬＤＷ」）システム、車線維持支援（「ＬＫＡ」）システム、死角警告（「ＢＳＷ」）システム、後方クロス・トラフィック警告（「ＲＣＴＷ」）システム、衝突警告（「ＣＷ」）システム、車線センタリング（「ＬＣ」）システム、並びに／又は他のシステム、特徴、及び／若しくは機能を含んでもよい。

少なくとも一実施例では、ＡＣＣシステムは、ＲＡＤＡＲセンサ１９６０、ＬＩＤＡＲセンサ１９６４、及び／又は任意の数のカメラを使用してもよい。少なくとも一実施例では、ＡＣＣシステムは、縦方向ＡＣＣシステム及び／又は横方向ＡＣＣシステムを含んでもよい。少なくとも一実施例では、縦方向ＡＣＣシステムは、車両１９００の直前の車両までの距離を監視及び制御し、車両１９００のスピードを自動的に調節して、前の車両からの安全な距離を維持する。少なくとも一実施例では、横方向ＡＣＣシステムは、距離の維持を実行し、必要なときに車線変更するよう車両１９００に通知する。少なくとも一実施例では、横方向ＡＣＣは、ＬＣ及びＣＷなどの他のＡＤＡＳ用途に関係する。

少なくとも一実施例では、ＣＡＣＣシステムは、他の車両からの情報を使用し、この情報は、ワイヤレス・リンクにより、又は間接的にネットワーク接続を介して（たとえばインターネットを介して）、他の車両からネットワーク・インターフェース１９２４及び／又はワイヤレス・アンテナ１９２６により受信されてもよい。少なくとも一実施例では、車車間（「Ｖ２Ｖ」）通信リンクによって直接リンクが提供されてもよく、一方インフラストラクチャ車間（「Ｉ２Ｖ」）通信リンクによって間接リンクが提供されてもよい。一般に、Ｖ２Ｖ通信の概念は、すぐ前の先行車両（たとえば、車両１９００のすぐ前で同じ車線にいる車両）についての情報を提供し、Ｉ２Ｖ通信の概念は、さらにその前の交通についての情報を提供する。少なくとも一実施例では、ＣＡＣＣシステムは、Ｉ２ＶとＶ２Ｖの情報源のいずれか又は両方を含んでもよい。少なくとも一実施例では、車両１９００の前の車両についての情報があれば、ＣＡＣＣシステムは信頼性をさらに高めることができ、交通の流れをより円滑にし、路上での渋滞を低減できる可能性を有する。

少なくとも一実施例では、ＦＣＷシステムは、危険物に対してドライバに忠告するように設計され、それによりドライバは修正措置を取ることができる。少なくとも一実施例では、ＦＣＷシステムは正面カメラ及び／又はＲＡＤＡＲセンサ１９６０を使用し、これらは、ディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックに電気的に結合されている専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合されている。少なくとも一実施例では、ＦＣＷシステムは、音、視覚的警告、振動、及び／又はクイック・ブレーキ・パルスなどの形で警告を提供してもよい。

少なくとも一実施例では、ＡＥＢシステムは、別の車両又は他の物体との差し迫った正面衝突を検出し、指定された時間内又は距離パラメータ内にドライバが修正措置を取らない場合には、自動でブレーキをかけてもよい。少なくとも一実施例では、ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された正面カメラ及び／又はＲＡＤＡＲセンサ１９６０を使用してもよい。少なくとも一実施例では、ＡＥＢシステムが危険物を検出したとき、ＡＥＢシステムは通常、修正措置を取って衝突を避けるよう最初にドライバに忠告し、ドライバが修正措置を取らない場合には、ＡＥＢシステムは、予測される衝突を防ぐ又は少なくともその衝撃を軽減するために自動的にブレーキをかけてもよい。少なくとも一実施例では、ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突直前ブレーキなどの技法を含んでもよい。

少なくとも一実施例では、ＬＤＷシステムは、車両１９００が車線の目印に交差したときにドライバに忠告するために、ハンドル又は座席の振動など、視覚的、聴覚的、及び／又は触覚的な警告を提供する。少なくとも一実施例では、ドライバが方向指示器を作動させることによって意図的な車線逸脱を示す場合には、ＬＤＷシステムは作動しない。少なくとも一実施例では、ＬＤＷシステムは、正面カメラを使用してもよく、これは、ディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックに電気的に結合することができる専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合されている。少なくとも一実施例では、ＬＫＡシステムは、ＬＤＷシステムの変形形態である。ＬＫＡシステムは、車両１９００が車線からはみ出し始めた場合に、車両を修正するように操縦入力又はブレーキ制御を提供する。

少なくとも一実施例では、ＢＳＷシステムは、自動車の死角にある車両を検出し、ドライバに警告する。少なくとも一実施例では、ＢＳＷシステムは、視覚的、聴覚的、及び／又は触覚的なアラートを提供して、合流又は車線変更が安全ではないことを示してもよい。少なくとも一実施例では、ＢＳＷシステムは、ドライバが方向指示器を使用したときに追加の警告を提供してもよい。少なくとも一実施例では、ＢＳＷシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された背面カメラ及び／又はＲＡＤＡＲセンサ１９６０を使用してもよく、これらの専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣは、ディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックに電気的に結合されている。

少なくとも一実施例では、ＲＣＴＷシステムは、車両１９００の後退時に、後方カメラの範囲外に物体が検出されたときに、視覚的、聴覚的、及び／又は触覚的な通知を提供してもよい。少なくとも一実施例では、ＲＣＴＷシステムは、衝突を回避するために確実に車両ブレーキがかけられるように、ＡＥＢシステムを含む。少なくとも一実施例では、ＲＣＴＷシステムは、１つ又は複数の背面ＲＡＤＡＲセンサ１９６０を使用してもよく、これはディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックに電気的に結合された専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合されている。

少なくとも一実施例では、従来のＡＤＡＳシステムは、誤検出結果を出しがちなことがあり、これはドライバにとっては迷惑で気が散るものであり得るが、通常は大したことにはならない。なぜなら、従来のＡＤＡＳシステムは、ドライバに忠告し、安全を要する状態が本当に存在し、それに適宜対応するかどうかを、ドライバが判断できるようにするからである。少なくとも一実施例では、結果が矛盾する場合、一次コンピュータ（たとえば第１のコントローラ１９３６）からの結果に従うか、又は二次コンピュータ（たとえば、第２のコントローラ１９３６）からの結果に従うかどうかを、車両１９００自体が判断する。たとえば、少なくとも一実施例では、ＡＤＡＳシステム１９３８は、バックアップ・コンピュータの合理性モジュールに知覚情報を抵抗するための、バックアップ及び／又は二次コンピュータであってもよい。少なくとも一実施例では、バックアップ・コンピュータの合理性モニタが、ハードウェア構成要素上の冗長性の多様なソフトウェアを実行して、知覚の誤り及び動的な運転タスクを検出してもよい。少なくとも一実施例では、ＡＤＡＳシステム１９３８からの出力は、監視ＭＣＵに提供されてもよい。少なくとも一実施例では、一次コンピュータからの出力と二次コンピュータからの出力が矛盾する場合には、監視ＭＣＵが、安全な動作を確保するために矛盾をどのように調和させるかを判定する。

少なくとも一実施例では、一次コンピュータは、一次コンピュータの選択した結果の信頼性を示す信頼性スコアを、監視ＭＣＵに提供するように構成されてもよい。少なくとも一実施例では、信頼性スコアが閾値を超える場合には、二次コンピュータが矛盾する又は一貫性のない結果を提供しているかどうかに関わらず、監視ＭＣＵは一次コンピュータの指示に従ってもよい。少なくとも一実施例では、信頼性スコアが閾値を満足せず、一次コンピュータと二次コンピュータが異なる結果（たとえば、矛盾）を示す場合には、監視ＭＣＵは、コンピュータ同士を調停して、適切な結果を判定してもよい。

少なくとも一実施例では、二次コンピュータが誤アラームを提供する条件を、一次コンピュータと二次コンピュータからの出力に少なくとも部分的に基づき判定するように訓練及び構成されたニューラル・ネットワークを、監視ＭＣＵが実行するように構成されてもよい。少なくとも一実施例では、監視ＭＣＵのニューラル・ネットワークは、二次コンピュータの出力が信用されてもよいときと、信用できないときとを学習してもよい。たとえば、少なくとも一実施例では、二次コンピュータがＲＡＤＡＲベースのＦＣＷシステムである場合、監視ＭＣＵのニューラル・ネットワークは、アラームをトリガする排水溝の格子又はマンホール・カバーなど、実際には危険物ではない金属物体をＦＣＷシステムが識別するときを学習してもよい。少なくとも一実施例では、二次コンピュータがカメラ・ベースのＬＤＷシステムである場合、自転車や歩行者が存在し、車線逸脱が実際には最も安全な操作であるときに、監視ＭＣＵのニューラル・ネットワークはＬＤＷを無効にするように学習してもよい。少なくとも一実施例では、監視ＭＣＵは、ニューラル・ネットワークを関連するメモリとともに実行するのに好適なＤＬＡ又はＧＰＵのうちの少なくとも１つを含んでもよい。少なくとも一実施例では、監視ＭＣＵは、ＳｏＣ１９０４の構成要素を備えても、且つ／又はその構成要素として含まれてもよい。

少なくとも一実施例では、ＡＤＡＳシステム１９３８は、コンピュータ・ビジョンの従来のルールを使用してＡＤＡＳ機能を実行する二次コンピュータを含んでもよい。少なくとも一実施例では、二次コンピュータは、従来のコンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎルール）を使用してもよく、ニューラル・ネットワークが監視ＭＣＵに存在することによって、信頼性、安全性、及び性能が向上してもよい。たとえば、少なくとも一実施例では、多様な実装及び意図的な非同一性により、特にソフトウェア（又はソフトウェアとハードウェアのインターフェース）の機能によって生じる誤りに対し、システム全体の誤り耐性が高まる。たとえば、少なくとも一実施例では、一次コンピュータ上で実行中のソフトウェアにバグ又はエラーがあり、二次コンピュータ上で実行中の非同一のソフトウェア・コードが、全体的に同じ結果を提供する場合には、監視ＭＣＵは、全体的な結果が正しく、一次コンピュータ上のソフトウェア又はハードウェアのバグが重大なエラーを引き起こしていないという、より高い信頼性を有してもよい。

少なくとも一実施例では、ＡＤＡＳシステム１９３８の出力は、一次コンピュータの知覚ブロック、及び／又は一次コンピュータの動的運転タスクブロックに供給されてもよい。たとえば、少なくとも一実施例では、ＡＤＡＳシステム１９３８が、直前の物体に起因して正面衝突警告を示している場合には、知覚ブロックは、物体を識別するときにこの情報を使用してもよい。少なくとも一実施例では、二次コンピュータは、本明細書に記載するように、訓練済みの、したがって誤検出のリスクを低減する独自のニューラル・ネットワークを有してもよい。

少なくとも一実施例では、車両１９００はさらに、インフォテイメントＳｏＣ１９３０（たとえば、車両内インフォテイメント・システム（ＩＶＩ））を含んでもよい。インフォテイメント・システム１９３０はＳｏＣとして図示及び説明されるが、少なくとも一実施例では、ＳｏＣではなくてもよく、限定することなく２つ以上の個別の構成要素を含んでもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１９３０は、限定することなく、ハードウェアとソフトウェアの組合せを含んでもよく、この組合せを使用して、オーディオ（たとえば、音楽、パーソナル・デジタル・アシスタント、ナビゲーション命令、ニュース、ラジオなど）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データ・システム、車両関連情報、たとえば燃料レベル、合計走行距離、ブレーキ燃料レベル、オイル・レベル、ドアの開閉、空気フィルタ情報など）を車両１９００に提供してもよい。たとえば、インフォテイメントＳｏＣ１９３０は、ラジオ、ディスク再生装置、ナビゲーション・システム、ビデオ再生装置、ＵＳＢ及びＢｌｕｅｔｏｏｔｈ接続、カーピュータ、車内エンタテイメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御、ハンズフリー音声制御、ヘッド・アップ・ディスプレイ（「ＨＵＤ」）、ＨＭＩディスプレイ１９３４、テレマテックス・デバイス、（たとえば、様々な構成要素、特徴、及び／若しくはシステムを制御及び／若しくは相互作用するための）制御パネル、並びに／又は他の構成要素を含むことができる。少なくとも一実施例では、さらにインフォテイメントＳｏＣ１９３０を使用して、ＡＤＡＳシステム１９３８からの情報、車両操作計画、軌道などの自律運転情報、周囲環境情報（たとえば、交差点情報、車両情報、道路情報など）、及び／又は他の情報などの（たとえば、視覚的及び／又は聴覚的な）情報が、車両のユーザに提供されてもよい。

少なくとも一実施例では、インフォテイメントＳｏＣ１９３０は、任意の量及びタイプのＧＰＵ機能を含んでもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１９３０は、バス１９０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、車両１９００の他のデバイス、システム、及び／又は構成要素と通信してもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１９３０は監視ＭＣＵに結合されてもよく、それにより、一次コントローラ１９３６（たとえば、車両１９００の一次及び／又はバックアップのコンピュータ）が故障したときに、インフォテイメント・システムのＧＰＵが、一部の自己運転機能を実行してもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１９３０は、本明細書に記載するように、車両１９００を運転手－安全停止モードにしてもよい。

少なくとも一実施例では、車両１９００はさらに、計器クラスタ１９３２（たとえば、デジタル・ダッシュボード、電子計器クラスタ、デジタル計器パネルなど）を含んでもよい。少なくとも一実施例では、計器クラスタ１９３２は、限定することなく、コントローラ、及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含んでもよい。少なくとも一実施例では、計器クラスタ１９３２は、限定することなく、スピード・メータ、燃料レベル、油圧、タコメータ、オドメータ、方向指示器、シフトレバー位置インジケータ、シート・ベルト警告灯、バーキング・ブレーキ警告灯、エンジン故障灯、補助拘束システム（たとえば、エアバッグ）情報、ライト制御、安全システム制御、ナビゲーション情報など、任意の数及び組合せの計器セットを含んでもよい。いくつかの例では、インフォテイメントＳｏＣ１９３０と計器クラスタ１９３２との間で、情報が表示及び／又は共有されてもよい。少なくとも一実施例では、計器クラスタ１９３２は、インフォテイメントＳｏＣ１９３０の一部として含まれてもよく、又はその逆であってもよい。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１９Ａのシステムにおいて使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図１９Ｄは、少なくとも一実施例による、クラウド・ベースのサーバと図１９Ａの自律車両１９００との間で通信するためのシステム１９７６の図である。少なくとも一実施例では、システム１９７６は、限定することなく、サーバ１９７８、ネットワーク１９９０、並びに車両１９００を含む任意の数及びタイプの車両を含んでもよい。少なくとも一実施例では、サーバ１９７８は、限定することなく、複数のＧＰＵ１９８４（Ａ）～１９８４（Ｈ）（本明細書ではまとめてＧＰＵ１９８４と呼ぶ）、ＰＣＩｅスイッチ１９８２（Ａ）～１９８２（Ｄ）（本明細書ではまとめてＰＣＩｅスイッチ１９８２と呼ぶ）、及び／又はＣＰＵ１９８０（Ａ）～１９８０（Ｂ）（本明細書ではまとめてＣＰＵ１９８０と呼ぶ）を含んでもよい。ＧＰＵ１９８４、ＣＰＵ１９８０、及びＰＣＩｅスイッチ１９８２は、たとえば限定することなく、ＮＶＩＤＩＡにより開発されたＮＶＬｉｎｋインターフェース１９８８、及び／又はＰＣＩｅ接続１９８６などの高速相互接続によって、相互接続されてもよい。少なくとも一実施例では、ＧＰＵ１９８４同士は、ＮＶＬｉｎｋ及び／又はＮＶＳスイッチＳｏＣを介して接続され、ＧＰＵ１９８４とＰＣＩｅスイッチ１９８２は、ＰＣＩｅ相互接続を介して接続される。少なくとも一実施例では、８個のＧＰＵ１９８４、２個のＣＰＵ１９８０、及び４個のＰＣＩｅスイッチ１９８２が図示してあるが、これは限定するものではない。少なくとも一実施例では、サーバ１９７８のそれぞれは、限定することなく、任意の数のＧＰＵ１９８４、ＣＰＵ１９８０、及び／又はＰＣＩｅスイッチ１９８２を任意の組合せで含んでもよい。たとえば、少なくとも一実施例では、サーバ１９７８は、それぞれが８個、１６個、３２個、及び／又はそれ以上のＧＰＵ１９８４を含むことができる。

少なくとも一実施例では、サーバ１９７８は、最近始まった道路工事などの予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク１９９０を介して車両から受信してもよい。少なくとも一実施例では、サーバ１９７８は、ニューラル・ネットワーク１９９２、更新済みニューラル・ネットワーク１９９２、及び／又は、限定することなく交通状態及び道路状態に関する情報を含む地図情報１９９４を、ネットワーク１９９０を介して車両に送信してもよい。少なくとも一実施例では、地図情報１９９４の更新は、建築現場、穴、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ１９２２に対する更新を、限定することなく含んでもよい。少なくとも一実施例では、ニューラル・ネットワーク１９９２、更新済みニューラル・ネットワーク１９９２、及び／又は地図情報１９９４は、環境内の任意の数の車両から受信したデータに表された新しい訓練及び／又は経験から得られたものであってもよく、且つ／又は、データ・センタにおいて（たとえば、サーバ１９７８及び／又は他のサーバを使用して）実行された訓練に少なくとも部分的に基づき、得られたものであってもよい。

少なくとも一実施例では、サーバ１９７８を使用して、訓練データに少なくとも部分的に基づき、機械学習モデル（たとえば、ニューラル・ネットワーク）が訓練されてもよい。少なくとも一実施例では、訓練データは車両によって生成されてもよく、且つ／又はシミュレーションで（たとえば、ゲーム・エンジンを使用して）生成されてもよい。少なくとも一実施例では、（たとえば、関連するニューラル・ネットワークが教師あり学習により恩恵を受ける場合には）任意の量の訓練データがタグ付けされ、且つ／又は他の前処理を受ける。少なくとも一実施例では、（たとえば、関連するニューラル・ネットワークが教師あり学習を必要としない場合には）任意の量の訓練データはタグ付け及び／又は前処理されない。少なくとも一実施例では、機械学習モデルが訓練されると、機械学習モデルは車両によって使用されてもよく（たとえば、ネットワーク１９９０を介して車両に送信されてもよく、且つ／又は機械学習モデルは、車両を遠隔監視するためにサーバ１９７８によって使用されてもよい。

少なくとも一実施例では、サーバ１９７８は車両からデータを受信し、リアル・タイムの知的推論ができるように、最新のリアル・タイムのニューラル・ネットワークにデータを適用してもよい。少なくとも一実施例では、サーバ１９７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ１９８４によって動く深層学習スーパーコンピュータ及び／又は専用ＡＩコンピュータを含んでもよい。しかし、少なくとも一実施例では、サーバ１９７８は、ＣＰＵにより動くデータ・センタを使用する深層学習インフラストラクチャを含んでもよい。

少なくとも一実施例では、サーバ１９７８の深層学習インフラストラクチャは、高速のリアル・タイムの推論が可能であってもよく、その機能を使用して、車両１９００のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの健全性を評価及び確認してもよい。たとえば、少なくとも一実施例では、深層学習インフラストラクチャは、一連の画像、及び／又はその一連の画像において（たとえば、コンピュータ・ビジョン及び／又は他の機械学習の物体分類技法により）車両１９００が位置特定した物体など、周期的な更新を車両１９００から受信してもよい。少なくとも一実施例では、深層学習インフラストラクチャは、独自のニューラル・ネットワークを実行して物体を識別し、それを車両１９００によって識別された物体と比較してもよく、結果が一致せず、車両１９００のＡＩが故障していると深層学習インフラストラクチャが結論づけた場合には、サーバ１９７８は、車両１９００のフェイル・セーフ・コンピュータに制御を掌握し、乗員に通知し、安全な停車操作を完了するよう命じる信号を車両１９００に送信してもよい。

少なくとも一実施例では、サーバ１９７８は、ＧＰＵ１９８４、及び１つ又は複数のプログラム可能な推論アクセラレータ（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ３）を含んでもよい。少なくとも一実施例では、ＧＰＵにより動くサーバと、推論の加速とを組み合わせることによって、リアル・タイムの応答を可能にすることができる。性能がそれほど重要ではない場合など、少なくとも一実施例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサにより動くサーバが、推論に使用されてもよい。少なくとも一実施例では、１つ又は複数の実施例を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。

コンピュータ・システム
図２０は、例示的なコンピュータ・システムを示すブロック図であり、このコンピュータ・システムは、少なくとも一実施例による、命令を実行するための実行ユニットを含んでもよいプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ（ＳｏＣ）、又はこれらの何らかの組合せ２０００を有するシステムであってもよい。少なくとも一実施例では、コンピュータ・システム２０００は、本明細書に記載の実施例などにおいて本開示に従ってデータを処理するためのアルゴリズムを実行する論理を含む実行ユニットを使用するための、プロセッサ２０００などの構成要素を、限定することなく含んでもよい。少なくとも一実施例では、コンピュータ・システム２０００は、カリフォルニア州サンタクララのインテルコーポレーションから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、ＸｅｏｎＴＭ、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅＴＭ及び／又はＳｔｒｏｎｇＡＲＭＴＭ、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含んでもよいが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含め）他のシステムが使用されてもよい。少なくとも一実施例では、コンピュータ・システム２０００は、ワシントン州、レドモンドのマイクロソフトコーポレーションから入手可能なＷＩＮＤＯＷＳ（登録商標）のオペレーティング・システムのあるバージョンを実行してもよいが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ（登録商標））、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースが使用されてもよい。

実施例は、携帯型デバイス及び組み込みアプリケーションなど、他のデバイスで使用されてもよい。携帯型デバイスのいくつかの例は、セルラー・フォン、インターネット・プロトコル・デバイス、デジタル・カメラ、パーソナル・デジタル・アシスタント（「ＰＤＡ」）、及び携帯型ＰＣを含む。少なくとも一実施例では、組み込みアプリケーションは、マイクロコントローラ、デジタル信号プロセッサ（「ＤＳＰ」）、システム・オン・チップ、ネットワーク・コンピュータ（「ＮｅｔＰＣ」）、セット・トップ・ボックス、ネットワーク・ハブ、広域ネットワーク（「ＷＡＮ」）スイッチ、又は少なくとも一実施例による１つ又は複数の命令を実行することができる任意の他のシステムを含んでもよい。

少なくとも一実施例では、コンピュータ・システム２０００は、限定することなくプロセッサ２００２を含んでもよく、このプロセッサ２００２は限定することなく、本明細書に記載の技法による機械学習モデルの訓練及び／又は推論を実行するための１つ又は複数の実行ユニット２００８を含んでもよい。少なくとも一実施例では、コンピュータ・システム２０００は、シングル・プロセッサのデスクトップ又はサーバ・システムであるが、別の実施例では、コンピュータ・システム２０００はマルチプロセッサ・システムであってもよい。少なくとも一実施例では、プロセッサ２００２は、限定することなく、複合命令セット・コンピュータ（「ＣＩＳＣ」）マイクロプロセッサ、縮小命令セット・コンピューティング（「ＲＩＳＣ」）マイクロプロセッサ、超長命令語（「ＶＬＩＷ」）マイクロプロセッサ、命令セットの組合せを実装するプロセッサ、又は任意の他のプロセッサ・デバイス、たとえばデジタル信号プロセッサなどを含んでもよい。少なくとも一実施例では、プロセッサ２００２は、プロセッサ・バス２０１０に結合されてもよく、このプロセッサ・バスは、プロセッサ２００２とコンピュータ・システム２０００内の他の構成要素との間でデジタル信号を送信してもよい。

少なくとも一実施例では、プロセッサ２００２は、限定することなく、レベル１（「Ｌ１」）の内部キャッシュ・メモリ（「キャッシュ」）２００４を含んでもよい。少なくとも一実施例では、プロセッサ２００２は、単一の内部キャッシュ又は複数レベルの内部キャッシュを有してもよい。少なくとも一実施例では、キャッシュ・メモリは、プロセッサ２００２の外部にあってもよい。他の実施例は、特定の実装形態及び必要性に応じて、内部キャッシュと外部キャッシュの両方の組合せも含んでよい。少なくとも一実施例では、レジスタ・ファイル２００６は、整数レジスタ、浮動小数点レジスタ、状態レジスタ、及び命令ポインタ・レジスタを限定することなく含む様々レジスタに、異なるタイプのデータを記憶してもよい。

少なくとも一実施例では、整数及び浮動小数点の演算を実行するための論理を限定することなく含む実行ユニット２００８も、プロセッサ２００２にある。少なくとも一実施例では、プロセッサ２００２は、ある一定のマクロ命令のためのマイクロコードを記憶するマイクロコード（「ｕコード」）読取り専用メモリ（「ＲＯＭ」）も含んでよい。少なくとも一実施例では、実行ユニット２００８は、パック命令セット２００９に対処する論理を含んでもよい。少なくとも一実施例では、パック命令セット２００９を、命令を実行する関連回路とともに汎用プロセッサ２００２の命令セットに含めることにより、多くのマルチメディア・アプリケーションによって使用される演算を、汎用プロセッサ２００２のパック・データを使用して実行することができる。１つ又は複数の実施例では、プロセッサのデータ・バスの全幅を使用してパック・データの演算を実行することによって、多くのマルチメディア・アプリケーションを加速し、より効率的に実行することができ、これにより、１度に１つのデータ要素に対して１つ又は複数の演算を実行するためにプロセッサのデータ・バス間でより小さい単位のデータを転送する必要をなくすことができる。

少なくとも一実施例では、実行ユニット２００８はまた、マイクロコントローラ、組み込みプロセッサ、グラフィックス・デバイス、ＤＳＰ、及び他のタイプの論理回路において使用されてもよい。少なくとも一実施例では、コンピュータ・システム２０００は、限定することなくメモリ２０２０を含んでもよい。少なくとも一実施例では、メモリ２０２０は、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）デバイス、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）デバイス、フラッシュ・メモリ・デバイス、又は他のメモリ・デバイスとして実装されてもよい。少なくとも一実施例では、メモリ２０２０は、プロセッサ２００２によって実行されてもよいデータ信号によって表される命令２０１９、及び／又はデータ２０２１を記憶してもよい。

少なくとも一実施例では、システム論理チップが、プロセッサ・バス２０１０及びメモリ２０２０に結合されてもよい。少なくとも一実施例では、システム論理チップは、限定することなく、メモリ・コントローラ・ハブ（「ＭＣＨ」）２０１６を含んでもよく、プロセッサ２００２は、プロセッサ・バス２０１０を介してＭＣＨと通信してもよい。少なくとも一実施例では、ＭＣＨ２０１６は、命令及びデータを記憶するため、及びグラフィックス・コマンド、データ、及びテクスチャを記憶するために、高帯域幅メモリ経路２０１８をメモリ２０２０に提供してもよい。少なくとも一実施例では、ＭＣＨ２０１６は、プロセッサ２００２と、メモリ２０２０と、コンピュータ・システム２０００の他の構成要素との間でデータ信号を導き、プロセッサ・バス２０１０と、メモリ２０２０と、システムＩ／Ｏ２０２２との間でデータ信号をブリッジしてもよい。少なくとも一実施例では、システム論理チップは、グラフィックス・コントローラに結合するためのグラフィックス・ポートを提供してもよい。少なくとも一実施例では、ＭＣＨ２０１６は、高帯域幅メモリ経路２０１８を介してメモリ２０２０に結合されてもよく、グラフィックス／ビデオカード２０１２は、アクセラレーテッド・グラフィックス・ポート（「ＡＧＰ」）相互接続２０１４を介してＭＣＨ２０１６に結合されてもよい。

少なくとも一実施例では、コンピュータ・システム２０００は、ＭＣＨ２０１６をＩ／Ｏコントローラ・ハブ（「ＩＣＨ」）２０３０に結合するためのプロプライエタリ・ハブ・インターフェース・バスであるシステムＩ／Ｏ２０２２を使用してもよい。少なくとも一実施例では、ＩＣＨ２０３０は、ローカルのＩ／Ｏバスを介していくつかのＩ／Ｏデバイスに直接接続を提供してもよい。少なくとも一実施例では、ローカルＩ／Ｏバスは、周辺装置をメモリ２０２０、チップセット、及びプロセッサ２００２に接続するための高速Ｉ／Ｏバスを、限定することなく含んでもよい。例としては、オーディオ・コントローラ２０２９、ファームウェア・ハブ（「フラッシュＢＩＯＳ」）２０２８、ワイヤレス・トランシーバ２０２６、データ・ストレージ２０２４、ユーザ入力及びキーボードのインターフェース２０２５を含むレガシーＩ／Ｏコントローラ２０２３、ユニバーサル・シリアル・バス（「ＵＳＢ」）などのシリアル拡張ポート２０２７、及びネットワーク・コントローラ２０３４が、限定することなく含まれてもよい。データ・ストレージ２０２４は、ハード・ディスク・ドライブ、フロッピー（登録商標）・ディスク・ドライブ、ＣＤ－ＲＯＭデバイス、フラッシュ・メモリ・デバイス、又は他の大容量ストレージ・デバイスを備えてもよい。

少なくとも一実施例では、図２０は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、一方他の実施例では、図２０は例示的なシステム・オン・チップ（「ＳｏＣ」）を示してもよい。少なくとも一実施例では、デバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）、又はこれらの何らかの組合せで相互接続されてもよい。少なくとも一実施例では、コンピュータ・システム２０００の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ）相互接続を使用して相互接続されてもよい。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図２０のシステムにおいて使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図２１は、少なくとも一実施例による、プロセッサ２１１０を利用するための電子デバイス２１００を示すブロック図である。少なくとも一実施例では、電子デバイス２１００は、たとえば限定することなく、ノートブック、タワー・サーバ、ラック・サーバ、ブレード・サーバ、ラップトップ、デスクトップ、タブレット、モバイル・デバイス、電話、組み込みコンピュータ、又は任意の他の好適な電子デバイスであってもよい。

少なくとも一実施例では、システム２１００は、任意の好適な数又は種類の構成要素、周辺装置、モジュール、若しくはデバイスに通信可能に結合されたプロセッサ２１１０を、限定することなく含んでもよい。少なくとも一実施例では、１℃バス、システム・マネージメント・バス（「ＳＭＢｕｓ」）、ロー・ピン・カウント（ＬＰＣ）バス、シリアル・ペリフェラル・インターフェース（「ＳＰＩ」）、ハイ・デフィニション・オーディオ（「ＨＤＡ」）バス、シリアル・アドバンス・テクノロジー・アタッチメント（「ＳＡＴＡ」）バス、ユニバーサル・シリアル・バス（「ＵＳＢ」）（バージョン１、２、３）、又はユニバーサル非同期レシーバ／トランスミッタ（「ＵＡＲＴ」）バスなどのバス若しくはインターフェースを使用して結合されるプロセッサ２１１０。少なくとも一実施例では、図２１は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、一方他の実施例では、図２１は例示的なシステム・オン・チップ（「ＳｏＣ」）を示してもよい。少なくとも一実施例では、図２１に示すデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）、又はこれらの何らかの組合せで相互接続されてもよい。少なくとも一実施例では、図２１の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ）相互接続を使用して相互接続されてもよい。

少なくとも一実施例では、図２１は、ディスプレイ２１２４、タッチ画面２１２５、タッチ・パッド２１３０、近距離無線通信ユニット（「ＮＦＣ」）２１４５、センサ・ハブ２１４０、熱センサ２１４６、エクスプレス・チップセット（「ＥＣ」）２１３５、トラステッド・プラットフォーム・モジュール（「ＴＰＭ」）２１３８、ＢＩＯＳ／ファームウェア／フラッシュ・メモリ（「ＢＩＯＳ、ＦＷフラッシュ」）２１２２、ＤＳＰ２１６０、ソリッド・ステート・ディスク（「ＳＳＤ」）若しくはハード・ディスク・ドライブ（「ＨＤＤ」）などのドライブ２１２０、ワイヤレス・ローカル・エリア・ネットワーク・ユニット（「ＷＬＡＮ」）２１５０、Ｂｌｕｅｔｏｏｔｈユニット２１５２、ワイヤレス広域ネットワーク・ユニット（「ＷＷＡＮ」）２１５６、全地球測位システム（ＧＰＳ）２１５５、ＵＳＢ３．０カメラなどのカメラ（「ＵＳＢ３．０カメラ」）２１５４、及び／又は、たとえばＬＰＤＤＲ３規格に実装された低電力ダブル・データ・レート（「ＬＰＤＤＲ」）メモリ・ユニット（「ＬＰＤＤＲ３」）２１１５を含んでもよい。これらの構成要素は、それぞれ任意の好適なやり方で実装されてもよい。

少なくとも一実施例では、上述した構成要素を介して、他の構成要素がプロセッサ２１１０に通信可能に結合されてもよい。少なくとも一実施例では、加速度計２１４１、周囲光センサ（「ＡＬＳ」）２１４２、コンパス２１４３、及びジャイロスコープ２１４４が、センサ・ハブ２１４０に通信可能に結合されてもよい。少なくとも一実施例では、熱センサ２１３９、ファン２１３７、キーボード２１４６、及びタッチ・パッド２１３０が、ＥＣ２１３５に通信可能に結合されてもよい。少なくとも一実施例では、スピーカ２１６３、ヘッドフォン２１６４、及びマイクロフォン（「ｍｉｃ」）２１６５が、オーディオ・ユニット（オーディオ・コーデック及びクラスｄアンプ）２１６２に通信可能に結合されてもよく、このオーディオ・ユニットが、ＤＳＰ２１６０に通信可能に結合されてもよい。少なくとも一実施例では、オーディオ・ユニット２１６４は、たとえば限定することなく、オーディオ・コーダ／デコーダ（「コーデック」）及びクラスＤアンプリファイアを含んでもよい。少なくとも一実施例では、ＳＩＭカード（「ＳＩＭ」）２１５７は、ＷＷＡＮユニット２１５６に通信可能に結合されてもよい。少なくとも一実施例では、ＷＬＡＮユニット２１５０及びＢｌｕｅｔｏｏｔｈユニット２１５２などの構成要素、並びにＷＷＡＮ２１５６は、次世代フォーム・ファクタ（「ＮＧＦＦ」）に実装されてもよい。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図２１のシステムにおいて使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図２２は、少なくとも一実施例による、コンピュータ・システム２２００を示す。少なくとも一実施例では、コンピュータ・システム２２００は、本開示全体を通して説明する様々なプロセス及び方法を実装するように構成される。

少なくとも一実施例では、コンピュータ・システム２２００は、限定することなく、少なくとも１つの中央処理装置（「ＣＰＵ」）２２０２を含み、この処理装置は、ＰＣＩ（「ペリフェラル・コンポーネント・インターコネクト」）、ペリフェラル・コンポーネント・インターコネクト・エクスプレス（「ＰＣＩ－Ｅｘｐｒｅｓｓ」）、ＡＧＰ（「アクセラレーテッド・グラフィックス・ポート」）、ハイパートランスポート、又は任意の他のバス若しくはポイントツーポイントの通信プロトコルなど、任意の好適なプロトコルを使用して実装された通信バス２２１０に接続される。少なくとも一実施例では、コンピュータ・システム２２００は、メイン・メモリ２２０４、及び（たとえば、ハードウェア、ソフトウェア、又はこれらの組合せとして実装される）制御論理を限定することなく含み、データは、ランダム・アクセス・メモリ（「ＲＡＭ」）の形をとってもよいメイン・メモリ２２０４に記憶される。少なくとも一実施例では、ネットワーク・インターフェース・サブシステム（「ネットワーク・インターフェース」）２２２２は、他のシステムからデータを受信し、コンピュータ・システム２２００から他のシステムにデータを送信するための他のコンピューティング・デバイス及びネットワークとのインターフェースを提供する。

少なくとも一実施例では、コンピュータ・システム２２００は、少なくとも一実施例では限定することなく、入力デバイス２２０８、パラレル処理システム２２１２、及びディスプレイ・デバイス２２０６を含み、このディスプレイ・デバイスは、従来の陰極線管（「ＣＲＴ」）、液晶ディスプレイ（「ＬＣＤ」）、発光ダイオード（「ＬＥＤ」）、プラズマ・ディスプレイ、又は他の好適なディスプレイ技術を使用して実装することができる。少なくとも一実施例では、ユーザ入力は、キーボード、マウス、タッチ・パッド、マイクロフォンなどの入力デバイス２２０８から受け取る。少なくとも一実施例では、上記モジュールのそれぞれを単一の半導体プラットフォームに置いて、処理システムを形成することができる。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図２２のシステムにおいて使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図２３は、少なくとも一実施例によるコンピュータ・システム２３００を示す。少なくとも一実施例では、コンピュータ・システム２３００は、限定することなく、コンピュータ２３１０及びＵＳＢスティック２３２０を含んでもよい。少なくとも一実施例では、コンピュータ・システム２３１０は、限定することなく、任意の数及びタイプのプロセッサ（図示せず）、並びにメモリを含んでもよい。少なくとも一実施例では、コンピュータ２３１０は、限定することなく、サーバ、クラウド・インスタンス、ラップトップ、及びデスクトップ・コンピュータを含む。

少なくとも一実施例では、ＵＳＢスティック２３２０は、限定することなく、処理ユニット２３３０、ＵＳＢインターフェース２３４０、及びＵＳＢインターフェース論理２３５０を含む。少なくとも一実施例では、処理ユニット２３３０は、命令を実行することができる任意の命令実行システム、装置、又はデバイスであってもよい。少なくとも一実施例では、処理ユニット２３３０は、限定することなく、任意の数及びタイプの処理コア（図示せず）を含んでもよい。少なくとも一実施例では、処理コア２３３０は、機械学習に関連する任意の量及びタイプの演算を実行するように最適化された特定用途向け集積回路（「ＡＳＩＣ」）を備える。たとえば、少なくとも一実施例では、処理コア２３３０は、機械学習の推論演算を実行するように最適化されたテンソル処理ユニット（「ＴＰＣ」）である。少なくとも一実施例では、処理コア２３３０は、機械視覚及び機械学習の推論演算を実行するように最適化された視覚処理ユニット（「ＶＰＵ」）である。

少なくとも一実施例では、ＵＳＢインターフェース２３４０は、任意のタイプのＵＳＢコネクタ又はＵＳＢソケットであってもよい。たとえば、少なくとも一実施例では、ＵＳＢインターフェース２３４０は、データ及び電源用のＵＳＢ３．０ Ｔｙｐｅ－Ｃのソケットである。少なくとも一実施例では、ＵＳＢインターフェース２３４０は、ＵＳＢ３．０ Ｔｙｐｅ－Ａのコネクタである。少なくとも一実施例では、ＵＳＢインターフェース論理２３５０は、処理ユニット２３３０がＵＳＢコネクタ２３４０を介してデバイス（たとえばコンピュータ２３１０）と又はインターフェースをとることを可能にする任意の量及びタイプの論理を含んでもよい。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図２３のシステムにおいて使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図２４Ａは、複数のＧＰＵ２４１０～２４１３が、高速リンク２４４０～２４４３（たとえば、バス、ポイントツーポイント相互接続など）を介して複数のマルチ・コア・プロセッサ２４０５～２４０６に通信可能に結合されている例示的なアーキテクチャを示す。一実施例では、高速リンク２４４０～２４４３は、４ＧＢ／ｓ、３０ＧＢ／ｓ、８０ＧＢ／ｓ、又はそれ以上の通信スループットをサポートする。ＰＣＩｅ４．０又は５．０、及びＮＶＬｉｎｋ２．０を含むがこれらに限定されない様々な相互接続プロトコルが使用されてもよい。

さらに、一実施例では、ＧＰＵ２４１０～２４１３のうちの２つ以上は、高速リンク２４４０～２４４３に関して使用されたものと同じ又は異なるプロトコル／リンクを使用して実装されてもよい高速リンク２４２９～２４３０を介して相互接続される。同様に、マルチ・コア・プロセッサ２４０５～２４０６のうちの２つ以上は、２０ＧＢ／ｓ、３０ＧＢ／ｓ、１２０ＧＢ／ｓ、又はそれ以上で動作する対称型マルチプロセッサ（ＳＭＰ）バスとすることができる高速リンク２４２８を介して接続されてもよい。或いは、図２４Ａに示す様々なシステム構成要素間のすべての通信は、同じプロトコル／リンクを使用して（たとえば、共通の相互接続ファブリックを介して）実現されてもよい。

一実施例では、各マルチ・コア・プロセッサ２４０５～２４０６は、それぞれメモリ相互接続２４２６～２４２７を介してプロセッサ・メモリ２４０１～２４０２に通信可能に結合され、各ＧＰＵ２４１０～２４１３は、それぞれＧＰＵメモリ・相互接続２４５０～２４５３を介してＧＰＵメモリ２４２０～２４２３に通信可能に結合される。メモリ相互接続２４２６～２４２７及び２４５０～２４５３は、同じ又は異なるメモリ・アクセス技術を利用してもよい。例として、限定ではなく、プロセッサ・メモリ２４０１～２４０２及びＧＰＵメモリ２４２０～２４２３は、（積層ＤＲＡＭを含む）ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、グラフィックスＤＤＲ ＳＤＲＡＭ（ＧＤＤＲ）（たとえば、ＧＤＤＲ５、ＧＤＤＲ６）、又は高帯域幅メモリ（ＨＢＭ）などの揮発性メモリであってもよく、且つ／又は３Ｄ ＸＰｏｉｎｔ又はＮａｎｏ－Ｒａｍなどの不揮発性メモリであってもよい。一実施例では、（たとえば、２レベル・メモリ（２ＬＭ）階層を使用して）、プロセッサ・メモリ２４０１～２４０２のいくつかの部分は揮発性メモリであってもよく、別の部分は不揮発性メモリであってもよい。

以下に説明するように、様々なプロセッサ２４０５～２４０６及びＧＰＵ２４１０～２４１３は、それぞれ特定のメモリ２４０１～２４０２、２４２０～２４２３に物理的に結合されてもよいが、同じ仮想システムのアドレス空間（「実効アドレス」空間とも呼ぶ）が様々な物理メモリ間に分配されている統合されたメモリ・アーキテクチャが、実装されてもよい。たとえば、プロセッサ・メモリ２４０１～２４０２はそれぞれ、６４ＧＢのシステム・メモリ・アドレス空間を備えてもよく、ＧＰＵメモリ２４２０～２４２３はそれぞれ、３２ＧＢのシステム・メモリ・アドレス空間を備えてもよい（この例では結果的に、合計２５６ＧＢのアドレス可能メモリが得られる）。

図２４Ｂは、１つの例示的な実施例によるマルチ・コア・プロセッサ２４０７とグラフィックス加速モジュール２４４６との相互接続のさらなる詳細事項を示す。グラフィックス加速モジュール２４４６は、高速リンク２４４０を介してプロセッサ２４０７に結合されるライン・カードに集積された１つ又は複数のＧＰＵチップを含んでもよい。或いは、グラフィックス加速モジュール２４４６は、プロセッサ２４０７と同じパッケージ又はチップに集積されてもよい。

少なくとも一実施例では、図示しているプロセッサ２４０７は、複数のコア２４６０Ａ～２４６０Ｄを含み、それぞれのコアが、トランスレーション・ルックアサイド・バッファ２４６１Ａ～２４６１Ｄと、１つ又は複数のキャッシュ２４６２Ａ～２４６２Ｄとを有する。少なくとも一実施例では、コア２４６０Ａ～２４６０Ｄは、命令を実行しデータを処理するための様々な他の構成要素を含んでもよいが、これらは図示していない。キャッシュ２４６２Ａ～２４６２Ｄは、レベル１（Ｌ１）及びレベル２（Ｌ２）のキャッシュを備えてもよい。さらに、１つ又は複数の共有キャッシュ２４５６が、キャッシュ２４６２Ａ～２４６２Ｄに含まれ、コア２４６０Ａ～２４６０Ｄによって共有されてもよい。たとえば、プロセッサ２４０７の一実施例は、２４個のコアを含み、各コアが、独自のＬ１キャッシュ、１２個の共有Ｌ２キャッシュ、及び１２個の共有Ｌ３キャッシュを有する。この実施例では、１つ又は複数のＬ２及びＬ３のキャッシュが、２つの隣接するコアによって共有される。プロセッサ２４０７及びグラフィックス加速モジュール２４４６は、システム・メモリ２４１４に接続されており、このシステム・メモリは、図２４Ａのプロセッサ・メモリ２４０１～２４０２を含んでもよい。

様々なキャッシュ２４６２Ａ～２４６２Ｄ、２４５６、及びシステム・メモリ２４１４に記憶されたデータ及び命令についてのコヒーレンスは、コヒーレンス・バス２４６４を介したコア間通信によって維持される。たとえば、各キャッシュは、特定のキャッシュ・ラインに対する読取り又は書込みを検出したことに応答して、コヒーレンス・バス２４６４を介して通信するために、それに関連するキャッシュ・コヒーレンス論理／回路を有してもよい。一実装形態では、キャッシュ・アクセスを監視するために、コヒーレンス・バス２４６４を介してキャッシュ・スヌーピング・プロトコルが実装される。

一実施例では、プロキシ回路２４２５が、グラフィックス加速モジュール２４４６をコヒーレンス・バス２４６４に通信可能に結合して、グラフィックス加速モジュール２４４６がコア２４６０Ａ～２４６０Ｄのピアとしてキャッシュ・コヒーレンス・プロトコルに参加することを可能にする。特に、インターフェース２４３５は、高速リンク２４４０（たとえば、ＰＣＩｅバス、ＮＶＬｉｎｋなど）を通してプロキシ回路２４２５への接続を提供し、インターフェース２４３７は、グラフィックス加速モジュール２４４６をリンク２４４０に接続する。

一実装形態では、アクセラレータ統合回路２４３６は、グラフィックス加速モジュール２４４６の複数のグラフィックス処理エンジン２４３１、２４３２、Ｎの代わりに、キャッシュ管理、メモリ・アクセス、コンテンツ管理、及び割込み管理サービスを提供する。グラフィックス処理エンジン２４３１、２４３２、Ｎはそれぞれ、別個のグラフィックス処理ユニット（ＧＰＵ）を備えてもよい。或いは、グラフィックス処理エンジン２４３１、２４３２、Ｎは、ＧＰＵの中に、グラフィックス実行ユニット、メディア処理エンジン（たとえば、ビデオ・エンコーダ／デコーダ）、サンプラ、及びブリット・エンジンなど、異なるタイプのグラフィックス処理エンジンを備えてもよい。少なくとも一実施例では、グラフィックス加速モジュール２４４６は、複数のグラフィックス処理エンジン２４３１～２４３２、Ｎを有するＧＰＵであってもよく、又はグラフィックス処理エンジン２４３１～２４３２、Ｎは、共通のパッケージ、ライン・カード、若しくはチップに集積された個々のＧＰＵであってもよい。

一実施例では、アクセラレータ統合回路２４３６は、仮想から物理のメモリ・トランスレーション（実効から実（ｅｆｆｅｃｔｉｖｅ－ｔｏ－ｒｅａｌ）のメモリ・トランスレーションとも呼ばれる）など、様々なメモリ管理機能を実行するためのメモリ管理ユニット（ＭＭＵ）、及びシステム・メモリ２４１４にアクセスするためのメモリ・アクセス・プロトコルを含む。ＭＭＵ２４３９は、仮想／実効から物理／実へのアドレス・トランスレーションをキャッシュするためのトランスレーション・ルックアサイド・バッファ（ＴＬＢ）（図示せず）も含んでよい。一実装形態では、キャッシュ２４３８は、グラフィックス処理エンジン２４３１～２４３２、Ｎから効率的にアクセスできるように、コマンド及びデータを記憶する。一実施例では、キャッシュ２４３８及びグラフィックス・メモリ２４３３～２４３４、Ｍに記憶されたデータは、コア・キャッシュ２４６２Ａ～２４６２Ｄ、２４５６、及びシステム・メモリ２４１４とのコヒーレントが保たれる。上に述べたように、これは、キャッシュ２４３８及びメモリ２４３３～２４３４、Ｍの代わりにプロキシ回路２４２５を介して（たとえば、プロセッサ・キャッシュ２４６２Ａ～２４６２Ｄ、２４５６におけるキャッシュ・ラインの修正／アクセスに関するアップデートをキャッシュ２４３８に送り、キャッシュ２４３８からのアップデートを受け取って）実現されてもよい。

レジスタ２４４５のセットが、グラフィックス処理エンジン２４３１～２４３２、Ｎによって実行されるスレッドのためのコンテキクト・データを記憶し、コンテキスト管理回路２４４８が、スレッド・コンテキストを管理する。たとえば、コンテキスト管理回路２４４８は、コンテキスト・スイッチ中に様々なスレッドのコンテキストを保存及び復元するために、保存及び復元の動作を実行してもよい（たとえば、ここで、第２のスレッドをグラフィックス処理エンジンによって実行できるように、第１のスレッドは保存され、第２のスレッドは記憶される）。たとえば、コンテキスト・スイッチ時に、コンテキスト管理回路２４４８は、現在のレジスタ値をメモリの（たとえば、コンテキスト・ポインタによって識別された）指定領域に記憶してもよい。次いで、コンテキストに戻るときに、それがレジスタ値を復元してもよい。一実施例では、割込み管理回路２４４７が、システム・デバイスから受け取った割込みを受け取り、処理する。

一実装形態では、グラフィックス処理エンジン２４３１からの仮想／実効アドレスは、ＭＭＵ２４３９によってシステム・メモリ２４１４の実／物理アドレスにトランスレートされる。アクセラレータ統合回路２４３６の一実施例は、複数（たとえば、４個、８個、１６個）のグラフィックス・アクセラレータ・モジュール２４４６、及び／又は他のアクセラレータ・デバイスをサポートする。グラフィックス・アクセラレータ・モジュール２４４６は、プロセッサ２４０７上で実行している単一のアプリケーション専用のものであってもよく、又は複数のアプリケーション間で共有されてもよい。一実施例では、グラフィックス処理エンジン２４３１～２４３２、Ｎのリソースが複数のアプリケーション又は仮想機械（ＶＭ）により共有される仮想化グラフィックス実行環境が存在する。少なくとも一実施例では、リソースは、「スライス」に細分化されてもよく、このスライスが、処理要件、並びにＶＭ及び／又はアプリケーションに関連付けられた優先度に基づき、異なるＶＭ及び／又はアプリケーションに配分される。

少なくとも一実施例では、アクセラレータ統合回路２４３６は、グラフィックス加速モジュール２４４６のためのシステムへのブリッジとして機能し、アドレス・トランスレーション及びシステム・メモリのキャッシュ・サービスを提供する。さらに、アクセラレータ統合回路２４３６は、グラフィックス処理エンジン２４３１～２４３２、Ｎの仮想化、割込み、及びメモリ管理をホスト・プロセッサが管理するための仮想化設備を提供してもよい。

グラフィックス処理エンジン２４３１～２４３２、Ｎのハードウェア・リソースは、ホスト・プロセッサ２４０７が見る実アドレス空間に明示的にマッピングされるので、いかなるホスト・プロセッサも、実効アドレス値を使用して、これらのリソースに直接アドレスすることができる。一実施例では、アクセラレータ統合回路２４３６の１つの機能は、グラフィックス処理エンジン２４３１～２４３２、Ｎを、システムにとって独立したユニットに見えるように物理的に分離することである。

少なくとも一実施例では、１つ又は複数のグラフィックス・メモリ２４３３～２４３４、Ｍはそれぞれ、グラフィックス処理エンジン２４３１～２４３２、Ｎのそれぞれに結合される。グラフィックス・メモリ２４３３～２４３４、Ｍは、グラフィックス処理エンジン２４３１～２４３２、Ｎのそれぞれによって処理される命令及びデータを記憶する。グラフィックス・メモリ２４３３～２４３４、Ｍは、（積層ＤＲＡＭを含む）ＤＲＡＭ、ＧＤＤＲメモリ、（たとえば、ＧＤＤＲ５、ＧＤＤＲ６）、又はＨＢＭなどの揮発性メモリであってもよく、且つ／又は３Ｄ ＸＰｏｉｎｔ又はＮａｎｏ－Ｒａｍなどの不揮発性メモリであってもよい。

一実施例では、リンク２４４０を介したデータ・トラフィックを低減するために、グラフィックス・メモリ２４３３～２４３４、Ｍに記憶されるデータが、グラフィックス処理エンジン２４３１～２４３２、Ｎによって最も頻繁に使用されることになるデータであるようにし、好ましくはコア２４６０Ａ～２４６０Ｄによっては使用されない（少なくとも頻繁には使用されない）データであるようにするためのバイアス技法が使用される。同様に、バイアス機構は、コアが必要とする（したがって、好ましくはグラフィックス処理エンジン２４３１～２４３２、Ｎは必要としない）データを、コアのキャッシュ２４６２Ａ～２４６２Ｄ、２４５６、及びシステム・メモリ２４１４の中に保つよう試みる。

図２４Ｃは、アクセラレータ統合回路２４３６がプロセッサ２４０７内に一体化されている別の例示的な実施例を示す。少なくともこの実施例では、グラフィックス処理エンジン２４３１～２４３２、Ｎは、インターフェース２４３７及びインターフェース２４３５により、高速リンク２４４０を介して直接アクセラレータ統合回路２３４６と通信する（この場合も任意の形のバス又はインターフェース・プロトコルを利用することができる）。アクセラレータ統合回路２４３６は、図２４Ｂに関して説明したのと同じ動作を実行してもよいが、コヒーレンス・バス２４６４及びキャッシュ２４６２Ａ～２４６２Ｄ、２４５６に近接していることを考えると、潜在的には、より高いスループットで動作してもよい。少なくとも一実施例は、（グラフィックス加速モジュールの仮想化のない）専用のプロセス・プログラミング・モデルと、（仮想化のある）共有プログラミング・モデルとを含む異なるプログラミング・モデルをサポートし、これらは、アクセラレータ統合回路２４３６によって制御されるプログラミング・モデルと、グラフィックス加速モジュール２４４６によって制御されるプログラミング・モデルとを含んでもよい。

少なくとも一実施例では、グラフィックス処理エンジン２４３１～２４３２、Ｎは、単一のオペレーティング・システムの下で単一のアプリケーション又はプロセスに専用のものである。少なくとも一実施例では、単一のアプリケーションは、他のアプリケーション要求をグラフィックス処理エンジン２４３１～２４３２、Ｎに集中させて、ＶＭ／パーティション内で仮想化を実現することができる。

少なくとも一実施例では、グラフィックス処理エンジン２４３１～２４３２、Ｎは、複数のＶＭ／アプリケーション・パーティションによって共有されてもよい。少なくとも一実施例では、共有モデルは、グラフィックス処理エンジン２４３１～２４３２、Ｎを仮想化するためにシステム・ハイパーバイザを使用して、各オペレーティング・システムからのアクセスを可能にしてもよい。ハイパーバイザのない単一パーティションのシステムでは、グラフィックス処理エンジン２４３１～２４３２、Ｎは、オペレーティング・システムによって所有される。少なくとも一実施例では、オペレーティング・システムは、グラフィックス処理エンジン２４３１～２４３２、Ｎを仮想化して、各プロセス又はアプリケーションへのアクセスを提供することができる。

少なくとも一実施例では、グラフィックス加速モジュール２４４６又は個々のグラフィックス処理エンジン２４３１～２４３２、Ｎは、プロセス・ハンドルを使用して、プロセス要素を選択する。少なくとも一実施例では、プロセス要素は、システム・メモリ２４１４に記憶されており、本明細書に記載の実効アドレスから実アドレスへのトランスレーション技法を使用してアドレス可能である。少なくとも一実施例では、プロセス・ハンドルは、ホスト・プロセスのコンテキストをグラフィックス処理エンジン２４３１～２４３２、Ｎに登録する（すなわち、プロセス要素リンク・リストにプロセス要素を追加するためのシステム・ソフトウェアをコールする）ときに、ホスト・プロセスに提供される実装固有の値であってもよい。少なくとも一実施例では、プロセス・ハンドルの下位１６ビットは、プロセス要素リンク・リスト内のプロセス要素のオフセットであってもよい。

図２４Ｄは、例示的なアクセラレータ統合スライス２４９０を示す。本明細書で使用するとき、「スライス」は、アクセラレータ統合回路２４３６の処理リソースの指定部分を備える。システム・メモリ２４１４内のアプリケーション実効アドレス空間２４８２は、プロセス要素２４８３を記憶する。一実施例では、プロセス要素２４８３は、プロセッサ２４０７上で実行されているアプリケーション２４８０からのＧＰＵ呼出し２４８１に応答して、記憶される。プロセス要素２４８３は、対応するアプリケーション２４８０のプロセス状態を収容する。プロセス要素２４８３に収容されたワーク記述子（ＷＤ）２４８４は、アプリケーションによって要求された単一のジョブとすることができ、又はジョブのキューに対するポインタを格納してもよい。少なくとも一実施例では、ＷＤ２４８４は、アプリケーションのアドレス空間２４８２におけるジョブ要求キューに対するポインタである。

グラフィックス加速モジュール２４４６及び／又は個々のグラフィックス処理エンジン２４３１～２４３２、Ｎは、システム内のプロセスのすべて又はサブセットによって共有されることが可能である。少なくとも一実施例では、プロセス状態を設定し、ＷＤ２４８４をグラフィックス加速モジュール２４４６に送信して、仮想化環境においてジョブを開始するためのインフラストラクチャが、含められてもよい。

少なくとも一実施例では、専用のプロセス・プログラミング・モデルは、実装固有である。このモデルでは、単一のプロセスが、グラフィックス加速モジュール２４４６又は個々のグラフィックス処理エンジン２４３１を所有する。グラフィックス加速モジュール２４４６が単一のプロセスによって所有されることから、グラフィックス加速モジュール２４４６が割り当てられたときに、ハイパーバイザは、所有パーティションについてアクセラレータ統合回路２４３６を初期化し、オペレーティング・システムは、所有プロセスについてアクセラレータ統合回路２４３６を初期化する。

動作時、アクセラレータ統合スライス２４９０内のＷＤフェッチ・ユニット２４９１は、グラフィックス加速モジュール２４４６の１つ又は複数のグラフィックス処理エンジンによって行われることになるワークの表示を含む次のＷＤ２４８４をフェッチする。図示してあるように、ＷＤ２４８４からのデータは、レジスタ２４４５に記憶され、ＭＭＵ２４３９、割込み管理回路２４４７、及び／又はコンテキスト管理回路２４４８によって使用されてもよい。たとえば、ＭＭＵ２４３９の一実施例は、ＯＳ仮想アドレス空間２４８５内のセグメント／ページ・テーブル２４８６にアクセスするためのセグメント／ページ・ウォーク回路（ｗａｌｋ ｃｉｒｃｕｉｔｒｙ）を含む。割込み管理回路２４４７は、グラフィックス加速モジュール２４４６から受け取った割込みイベント２４９２を処理してもよい。グラフィックス動作を実行するとき、グラフィックス処理エンジン２４３１～２４３２、Ｎによって生成された実効アドレス２４３９は、ＭＭＵ２４３９によって実アドレスにトランスレートされる。

一実施例では、レジスタ２４４５の同じセットが、各グラフィックス処理エンジン２４３１～２４３２、Ｎ、及び／又はグラフィックス加速モジュール２４４６について複製され、ハイパーバイザ又はオペレーティング・システムによって初期化されてもよい。これらの複製されたレジスタのそれぞれは、アクセラレータ統合スライス２４９０に含まれてもよい。ハイパーバイザによって初期化されてもよい例示的なレジスタを、表１に示す。

オペレーティング・システムによって初期化されてもよい例示的なレジスタを、表２に示す。

一実施例では、各ＷＤ２４８４は、特定のグラフィックス加速モジュール２４４６及び／又はグラフィックス処理エンジン２４３１～２４３２、Ｎに固有のものである。ＷＤ２４８４は、グラフィックス処理エンジン２４３１～２４３２、Ｎがワークをするために必要とするすべての情報を収容し、又は完了すべきワークのコマンド・キューをアプリケーションがセットアップしたメモリ・ロケーションを指すポインタとすることができる。

図２４Ｅは、共有モデルの例示的な一実施例のさらなる詳細事項を示す。この実施例は、プロセス要素リスト２４９９が記憶されているハイパーバイザ実アドレス空間２４９８を含む。ハイパーバイザ実アドレス空間２４９８は、オペレーティング・システム２４９５のグラフィックス加速モジュール・エンジンを仮想化するハイパーバイザ２４９６を介してアクセス可能である。

少なくとも一実施例では、共有プログラミング・モデルは、システム内のパーティションのすべて又はサブセットからのプロセスのすべて又はサブセットが、グラフィックス加速モジュール２４４６を使用することを可能にする。グラフィックス加速モジュール２４４６が複数のプロセス及びパーティションによって共有されるプログラミング・モデルが、２つ存在する：時間スライス共有及びグラフィックス指定共有（ｇｒａｐｈｉｃｓ－ｄｉｒｅｃｔｅｄ ｓｈａｒｅｄ）である。

このモデルでは、システム・ハイパーバイザ２４９６がグラフィックス加速モジュール２４４６を所有しており、その機能をすべてのオペレーティング・システム２４９５にとって利用可能にする。システム・ハイパーバイザ２４９６による仮想化をグラフィックス加速モジュール２４４６がサポートするために、グラフィックス加速モジュール２４４６は、以下のことに準拠してもよい：１）アプリケーションのジョブ要求は自律でなくてはならず（すなわち、ジョブ間で状態を維持する必要はない）、又はグラフィックス加速モジュール２４４６が、コンテキストの保存及び復元の機構を提供しなくてはならない。２）アプリケーションのジョブ要求は、あらゆるトランスレーション誤りも含めて指定された時間量で完了するようグラフィックス加速モジュール２４４６によって保証され、又はグラフィックス加速モジュール２４４６が、ジョブの処理をプリエンプションする機能を提供する。３）グラフィックス加速モジュール２４４６は、指定の共有プログラミング・モデルで動作しているとき、プロセス間の公平性を保証しなくてはならない。

少なくとも一実施例では、アプリケーション２４８０は、グラフィックス加速モジュール２４４６タイプ、ワーク記述子（ＷＤ）、権限マスク・レジスタ（ＡＭＲ）値、及びコンテキスト保存／復元エリア・ポインタを伴って、オペレーティング・システム２４９５にシステム・コールさせる必要がある。少なくとも一実施例では、グラフィックス加速モジュール２４４６タイプは、システム・コールで目的とする加速機能を記述している。少なくとも一実施例では、グラフィックス加速モジュール２４４６タイプは、システム固有値であってもよい。少なくとも一実施例では、ＷＤは、グラフィックス加速モジュール２４４６のために特にフォーマット化されており、グラフィックス加速モジュール２４４６コマンド、ユーザ定義の構造を指す実効アドレス・ポインタ、コマンドのキューを指す実効アドレス・ポインタ、又はグラフィックス加速モジュール２４４６によって行われるワークを記述するための任意の他のデータ構造の形とすることができる。一実施例では、ＡＭＲ値は、現在のプロセスに使用するＡＭＲ状態である。少なくとも一実施例では、オペレーティング・システムに渡される値は、ＡＭＲをセッティングするアプリケーションと同様である。アクセラレータ統合回路２４３６及びグラフィックス加速モジュール２４４６の実装形態が、ユーザ権限マスク・オーバーライド・レジスタ（ＵＡＭＯＲ）をサポートしていない場合、オペレーティング・システムは、ＡＭＲ値に現在のＵＡＭＯＲ値を適用してから、ハイパーバイザ・コールにＡＭＲを渡してもよい。ハイパーバイザ２４９６は、任意選択で、現在の権限マスク・オーバーライド・レジスタ（ＡＭＯＲ）値を適用してから、ＡＭＲをプロセス要素２４８３に入れてもよい。少なくとも一実施例では、ＣＳＲＰは、グラフィックス加速モジュール２４４６がコンテキスト状態を保存及び復元するためのアプリケーションの実効アドレス空間２４８２内のエリアの実効アドレスを収容するレジスタ２４４５のうちの１つである。ジョブ間で、又はジョブがプリエンプションされるときに、保存する必要のある状態が存在しない場合は、このポインタは任意選択である。少なくとも一実施例では、コンテキスト保存／復元エリアは、ピン留めされたシステム・メモリであってもよい。

システム・コールを受け取ると、オペレーティング・システム２４９５は、アプリケーション２４８０が登録済みであり、グラフィックス加速モジュール２４４６を使用する権限が与えられていることを確認してもよい。次いで、オペレーティング・システム２４９５は、表３に示す情報を伴ってハイパーバイザ２４９６にコールする。

ハイパーバイザ・コールを受け取ると、ハイパーバイザ２４９６は、オペレーティング・システム２４９５が登録済みであり、グラフィックス加速モジュール２４４６を使用する権限が与えられていることを確認する。次いでハイパーバイザ２４９６は、プロセス要素２４８３を、対応するグラフィックス加速モジュール２４４６タイプのプロセス要素リンク・リストに入れる。プロセス要素は、表４に示す情報を含んでもよい。

少なくとも一実施例では、ハイパーバイザは、複数のアクセラレータ統合スライス２４９０のレジスタ２４４５を初期化する。

図２４Ｆに示すように、少なくとも一実施例では、物理プロセッサ・メモリ２４０１～２４０２及びＧＰＵメモリ２４２０～２４２３にアクセスするために使用される共通の仮想メモリ・アドレス空間を介してアドレス可能である統合メモリが使用されて。この実施例では、ＧＰＵ２４１０～２４１３で実行される動作は、プロセッサ・メモリ２４０１～２４０２にアクセスするのと同じ仮想／実効メモリ・アドレス空間を利用し、且つその逆も同様であり、それによりプログラミングが簡単になる。一実施例では、仮想／実効アドレス空間の第１の部分はプロセッサ・メモリ２４０１に配分され、第２の部分は第２のプロセッサ・メモリ２４０２に配分され、第３の部分はＧＰＵメモリ２４２０に配分されるなどのように続く。少なくとも一実施例では、仮想／実効メモリ空間（実効アドレス空間と呼ばれることもある）は、これによりプロセッサ・メモリ２４０１～２４０２及びＧＰＵメモリ２４２０～２４２３のそれぞれに渡って分配されて、仮想アドレスが物理メモリにマッピングされた状態で、いずれかのプロセッサ又はＧＰＵが、いずれかの物理メモリにアクセスできるようになる。

一実施例では、ＭＭＵ２４３９Ａ～２４３９Ｅのうちの１つ又は複数の中のバイアス／コヒーレンス管理回路２４９４Ａ～２４９４Ｅは、１つ又は複数のホスト・プロセッサ（たとえば、２４０５）とＧＰＵ２４１０～２４１３のキャッシュ間でキャッシュ・コヒーレンスを確保し、バイアス技法を実装して、ある一定のタイプのデータが記憶されるべき物理メモリを示す。バイアス／コヒーレンス管理回路２４９４Ａ～２４９４Ｅの複数のインスタンスが図２４Ｆに示されるが、バイアス／コヒーレンス回路は、１つ若しくは複数の実施のホスト・プロセッサ２４０５のＭＭＵ内に実装されてもよく、且つ／又はアクセラレータ統合回路２４３６内に実装されてもよい。

一実施例は、ＧＰＵ付きメモリ２４２０～２４２３をシステム・メモリの一部として実装できるようにし、共有仮想メモリ（ＳＶＭ）技法を使用してアクセス可能にすることができるが、完全なシステム・キャッシュ・コヒーレンスに関連する性能の低下が生じることはない。少なくとも一実施例では、ＧＰＵ付きメモリ２４２０～２４２３が、面倒なキャッシュ・コヒーレンス・オーバーヘッドなく、システム・メモリとしてアクセス可能であることにより、ＧＰＵオフロードのための有益な動作環境が提供される。この構成によって、従来のＩ／Ｏ ＤＭＡデータ・コピーのオーバーヘッドがなくても、ホスト・プロセッサ２４０５ソフトウェアがオペランドを設定し、計算結果にアクセスすることが可能になる。こうした従来のコピーは、ドライバ・コール、割込み、及びメモリ・マップドＩ／Ｏ（ＭＭＩＯ）アクセスを必要とし、これらはすべて、簡単なメモリ・アクセスより非効率的である。少なくとも一実施例では、キャッシュ・コヒーレンス・オーバーヘッドなしでＧＰＵ付きメモリ２４２０～２４２３にアクセスできることが、オフロードされた計算の実行時間に不可欠であり得る。たとえば、かなりのストリーミング書込みメモリ・トラフィックがある場合には、キャッシュ・コヒーレンス・オーバーヘッドは、ＧＰＵ２４１０～２４１３が見る有効な書込み帯域を大幅に低減することある。少なくとも一実施例では、オペランド設定の効率、結果へのアクセスの効率、及びＧＰＵ計算の効率は、ＧＰＵオフロードの有効性を判定する際に役立つことがある。

少なくとも一実施例では、ＧＰＵバイアス及びホスト・プロセッサ・バイアスの選択は、バイアス・トラッカー・データ構造によって決定される。たとえばバイアス・テーブルが使用されてもよく、このテーブルは、ＧＰＵ付きメモリ・ページ当たり１ビット又は２ビットを含むページ粒度構造であってもよい（すなわち、メモリ・ページの粒度で制御されてもよい）。少なくとも一実施例では、バイアス・テーブルは、（たとえば、バイアス・テーブルの頻繁に使用された／最近使用されたエントリをキャッシュするための）バイアス・キャッシュがＧＰＵ２４１０～２４１３にある状態又はない状態で、１つ又は複数のＧＰＵ付きメモリ２４１０～２４１３の奪われたメモリ範囲（ｓｔｏｌｅｎ ｍｅｍｏｒｙ ｒａｎｇｅ）において実装されてもよい。或いは、バイアス・テーブル全体が、ＧＰＵ内に維持されてもよい。

少なくとも一実施例では、ＧＰＵ付きメモリ２４２０～２４２３への各アクセスに関連付けられたバイアス・テーブルのエントリが、ＧＰＵメモリへの実際のアクセスより先にアクセスされて、以下の動作を生じさせる。第１に、ＧＰＵバイアス内での自らのページを見いだすＧＰＵ２４１０～２４１３からのローカル要求が、対応するＧＰＵメモリ２４２０～２４２３に直接転送される。ホスト・バイアスにおいて自らのページを見いだすＧＰＵからのローカル要求は、（たとえば、上述した高速リンクを介して）プロセッサ２４０５に転送される。一実施例では、要求されたページをホスト・プロセッサ・バイアスにおいて見いだすプロセッサ２４０５からの要求は、通常のメモリ読取りと同様に要求を完了させる。或いは、ＧＰＵバイアス化ページに向けられた要求は、ＧＰＵ２４１０～２４１３に転送されてもよい。少なくとも一実施例では、次いでＧＰＵは、現在ページを使用していない場合、ホスト・プロセッサ・バイアスにページを移行してもよい。少なくとも一実施例では、ページのバイアス状態は、ソフトウェア・ベースの機構、ハードウェア補助付きソフトウェア・ベースの機構のいずれかによって、又は限られた事例のセットについては、単にハードウェア・ベースの機構によって、変更することができる。

バイアス状態を変更するための１つの機構は、ＡＰＩコール（たとえば、ＯｐｅｎＣＬ）を利用し、このＡＰＩコールが、ＧＰＵのデバイス・ドライバをコールし、このデバイス・ドライバが、ＧＰＵにメッセージを送って（又はコマンド記述子をキューに加えて）、バイアス状態を変更し、一部の移行については、ホストにおいてキャッシュ・フラッシング動作を実行するよう、ＧＰＵに指示する。少なくとも一実施例では、キャッシュ・フラッシング動作は、ホスト・プロセッサ２４０５のバイアスからＧＰＵバイアスへの移行のために使用されるが、反対向きの移行には使用されない。

一実施例では、キャッシュ・コヒーレンスは、ホスト・プロセッサ２４０５によってキャッシュできないＧＰＵバイアス化ページを一時的にレンダリングすることによって、維持される。これらのページにアクセスするために、プロセッサ２４０５は、ＧＰＵ２４１０からのアクセスを要求してもよく、ＧＰＵ２４１０は、すぐにアクセスを許可してもよく、又は許可しなくてもよい。したがって、プロセッサ２４０５とＧＰＵ２４１０との間の通信を低減するために、ＧＰＵバイアス化ページが、ＧＰＵによって要求されるが、ホスト・プロセッサ２４０５によっては要求されないものにすること、又はその逆にすることが有益である。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図２５は、本明細書に記載の様々実施例による、１つ又は複数のＩＰコアを使用して作製することができる例示的な集積回路及び関連グラフィックス・プロセッサを示す。図示してあるものに加えて、少なくとも一実施例では、追加のグラフィックス・プロセッサ／コア、周辺装置インターフェース・コントローラ、若しくは汎用プロセッサ・コアを含む他の論理及び回路が含まれてもよい。

図２５は、少なくとも一実施例による１つ又は複数のＩＰコアを使用して作製することができる例示的なシステム・オン・チップ集積回路２５００を示すブロック図である。少なくとも一実施例では、集積回路２５００は、１つ又は複数のアプリケーション・プロセッサ２５０５（たとえば、ＣＰＵ）、少なくとも１つのグラフィックス・プロセッサ２５１０を含み、さらに、画像プロセッサ２５１５及び／又はビデオ・プロセッサ２５２０を含んでもよく、これらのいずれもが、モジュール式ＩＰコアであってもよい。少なくとも一実施例では、集積回路２５００は、ＵＳＢコントローラ２５２５、ＵＡＲＴコントローラ２５３０、ＳＰＩ／ＳＤＩＯコントローラ２５３５、及びＩ２Ｓ／Ｉ２Ｃコントローラ２５４０を含む周辺装置又はバス論理を含む。少なくとも一実施例では、集積回路２５００は、ハイ・デフィニション・マルチメディア・インターフェース（ＨＤＭＩ（登録商標））コントローラ２５５０及びモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ）ディスプレイ・インターフェース２５５５のうちの１つ又は複数に結合されるディスプレイ・デバイス２５４５を含むことができる。少なくとも一実施例では、フラッシュ・メモリ及びフラッシュ・メモリ・コントローラを含むフラッシュ・メモリ・サブシステム２５６０によって、ストレージが提供されてもよい。少なくとも一実施例では、ＳＤＲＡＭ又はＳＲＡＭメモリ・デバイスにアクセスするために、メモリ・コントローラ２５６５を介してメモリ・インターフェースが提供されてもよい。少なくとも一実施例では、いくつかの集積回路はさらに、組み込みセキュリティ・エンジン２５７０を含む。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために集積回路２５００において使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図２６Ａ～図２６Ｂは、本明細書に記載の様々実施例による、１つ又は複数のＩＰコアを使用して作製することができる例示的な集積回路及び関連グラフィックス・プロセッサを示す。図示してあるものに加えて、少なくとも一実施例では、追加のグラフィックス・プロセッサ／コア、周辺装置インターフェース・コントローラ、又は汎用プロセッサ・コアを含む他の論理及び回路が含まれてもよい。

図２６Ａ～図２６Ｂは、本明細書に記載の実施例によるＳｏＣ内で使用するための例示的なグラフィックス・プロセッサを示すブロック図である。図２６Ａは、少なくとも一実施例による１つ又は複数のＩＰコアを使用して作製することができるシステム・オン・チップ集積回路の例示的なグラフィックス・プロセッサ２６１０を示す。図２６Ｂは、少なくとも一実施例による１つ又は複数のＩＰコアを使用して作製することができるシステム・オン・チップ集積回路のさらなる例示的なグラフィックス・プロセッサ２６４０を示す。少なくとも一実施例では、図２６Ａのグラフィックス・プロセッサ２６１０は、低電力グラフィックス・プロセッサ・コアである。少なくとも一実施例では、図２６Ｂのグラフィックス・プロセッサ２６４０は、高性能グラフィックス・プロセッサ・コアである。少なくとも一実施例では、グラフィックス・プロセッサ２６１０、２６４０のそれぞれは、図２５のグラフィックス・プロセッサ２５１０の変形形態とすることができる。

少なくとも一実施例では、グラフィックス・プロセッサ２６１０は、頂点プロセッサ２６０５と、１つ又は複数のフラグメント・プロセッサ２６１５Ａ～２６１５Ｎ（たとえば、２６１５Ａ、２６１５Ｂ、２６１５Ｃ、２６１５Ｄ～２６１５Ｎ－１、及び２６１５Ｎ）とを含む。少なくとも一実施例では、グラフィックス・プロセッサ２６１０は、別個の論理を介して異なるシェーダ・プログラムを実行することができ、それにより、頂点プロセッサ２６０５は、頂点シェーダ・プログラムのための動作を実行するように最適化され、一方、１つ又は複数のフラグメント・プロセッサ２６１５Ａ～２６１５Ｎは、フラグメント又はピクセルのシェーダ・プログラムのためのフラグメント（たとえば、ピクセル）シェーディング動作を実行する。少なくとも一実施例では、頂点プロセッサ２６０５は、３Ｄグラフィックス・パイプラインの頂点処理ステージを実行し、プリミティブ及び頂点データを生成する。少なくとも一実施例では、フラグメント・プロセッサ２６１５Ａ～２６１５Ｎは、頂点プロセッサ２６０５によって生成されたプリミティブ及び頂点データを使用して、ディスプレイ・デバイスに表示されるフレーム・バッファを生成する。少なくとも一実施例では、フラグメント・プロセッサ２６１５Ａ～２６１５Ｎは、ＯｐｅｎＧＬのＡＰＩにおいて提供されるフラグメント・シェーダ・プログラムを実行するように最適化され、ＯｐｅｎＧＬのＡＰＩは、Ｄｉｒｅｃｔ ３Ｄ ＡＰＩにおいて提供されるピクセル・シェーダ・プログラムと同様の動作を実行するために使用されてもよい。

少なくとも一実施例では、グラフィックス・プロセッサ２６１０はさらに、１つ又は複数のメモリ管理ユニット（ＭＭＵ）２６２０Ａ～２６２０Ｂ、キャッシュ２６２５Ａ～２６２５Ｂ、及び回路相互接続２６３０Ａ～２６３０Ｂを含む。少なくとも一実施例では、１つ又は複数のＭＭＵ２６２０Ａ～２６２０Ｂは、頂点プロセッサ２６０５及び／又はフラグメント・プロセッサ２６１５Ａ～２６１５Ｎを含め、グラフィックス・プロセッサ２６１０のための仮想から物理のアドレス・マッピングを提供し、それらは、１つ又は複数のキャッシュ２６２５Ａ～２６２５Ｂに記憶された頂点又は画像／テクスチャのデータに加えて、メモリに記憶された頂点又は画像／テキストのデータを参照してもよい。少なくとも一実施例では、１つ又は複数のＭＭＵ２６２０Ａ～２６２０Ｂは、図２５の１つ若しくは複数のアプリケーション・プロセッサ２５０５、画像プロセッサ２５１５、及び／又はビデオ・プロセッサ２５２０に関連付けられた１つ若しくは複数のＭＭＵを含む、システム内の他のＭＭＵと同期されてもよく、それにより各プロセッサ２５０５～２５２０は、共有の又は統合された仮想メモリ・システムに参加することができる。少なくとも一実施例では、１つ又は複数の回路相互接続２６３０Ａ～２６３０Ｂは、グラフィックス・プロセッサ２６１０が、ＳｏＣの内部バスを介して、又は直接接続を介して、ＳｏＣ内の他のＩＰコアとインターフェースをとることができるようにする。

少なくとも一実施例では、グラフィックス・プロセッサ２６４０は、図２６Ａのグラフィックス・プロセッサ２６１０の１つ又は複数のＭＭＵ２６２０Ａ～２６２０Ｂ、キャッシュ２６２５Ａ～２６２５Ｂ、及び回路相互接続２６３０Ａ～２６３０Ｂを含む。少なくとも一実施例では、グラフィックス・プロセッサ２６４０は、１つ又は複数のシェーダ・コア２６５５Ａ～２６５５Ｎ（たとえば、２６５５Ａ、２６５５Ｂ、２６５５Ｃ、２６５５Ｄ、２６５５Ｅ、２６５５Ｆ～２６５５Ｎ－１、及び２６５５Ｎ）を含み、このシェーダ・コアは、単一のコア、又はタイプ、又はコアが、頂点シェーダ、フラグメント・シェーダ、及び／又はコンピュート・シェーダを実装するためのシェーダ・プログラム・コードを含むすべてのタイプのプログラム可能なシェーダ・コードを実行することができる統合されたシェーダ・コア・アーキテクチャを提供する。少なくとも一実施例では、シェーダ・コアの数は変えることができる。少なくとも一実施例では、グラフィックス・プロセッサ２６４０は、１つ又は複数のシェーダ・コア２６５５Ａ～２６５５Ｎに実行スレッドをディスパッチするためのスレッド・ディスパッチャとして作用するコア間タスク・マネージャ２６４５と、たとえばシーン内のローカル空間コヒーレンスを利用するため、又は内部キャッシュの使用を最適化するために、シーンのレンダリング動作が画像空間において細分化される、タイル・ベースのレンダリングのためのタイリング動作を加速するためのタイリング・ユニット２６５８とを含む。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために集積回路２６Ａ及び／又は２６Ｂにおいて使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図２７Ａ～図２７Ｂは、本明細書に記載の実施例による、さらなる例示的なグラフィックス・プロセッサ論理を示す。図２７Ａは、少なくとも一実施例では図２５のグラフィックス・プロセッサ２５１０に含めることができるグラフィックス・コア２７００を示し、少なくとも一実施例では図２６Ｂのように、統合されたシェーダ・コア２６５５Ａ～２６５５Ｎであってもよい。図２７Ｂは、少なくとも一実施例におけるマルチ・チップ・モジュールに導入するのに適した高並列の汎用グラフィックス・プロセッシング・ユニット２７３０を示す。

少なくとも一実施例では、グラフィックス・コア２７００は、共有命令キャッシュ２７０２、テクスチャ・ユニット２７１８、及びキャッシュ／共有メモリ２７２０を含み、これらは、グラフィックス・コア２７００内の実行リソースに共通である。少なくとも一実施例では、グラフィックス・コア２７００は、コアごとに複数のスライス２７０１Ａ～２７０１Ｎ、又はパーティションを含むことができ、グラフィックス・プロセッサは、グラフィックス・コア２７００の複数のインスタンスを含むことができる。スライス２７０１Ａ～２７０１Ｎは、論理命令キャッシュ２７０４Ａ～２７０４Ｎ、スレッド・スケジューラ２７０６Ａ～２７０６Ｎ、スレッド・ディスパッチャ２７０８Ａ～２７０８Ｎ、及びレジスタのセット２７１０Ａ～２７１０Ｎを含むサポート論理を含むことができる。少なくとも一実施例では、スライス２７０１Ａ～２７０１Ｎは、追加機能ユニット（ＡＦＵ２７１２Ａ～２７１２Ｎ）、浮動小数点ユニット（ＦＰＵ２７１４Ａ～２７１４Ｎ）、整数算術論理演算ユニット（ＡＬＵ２７１６～２７１６Ｎ）、アドレス計算ユニット（ＡＣＬ２７１３Ａ～２７１３Ｎ）、倍精度浮動小数点ユニット（ＤＰＦＰＵ２７１５Ａ～２７１５Ｎ）、及び行列処理ユニット（ＭＰＵ２７１７Ａ～２７１７Ｎ）のセットを含むことができる。

少なくとも一実施例では、ＦＰＵ２７１４Ａ～２７１４Ｎは、単精度（３２ビット）及び半精度（１６ビット）の浮動小数点演算を実行することができ、ＤＰＦＰＵ２７１５Ａ～２７１５Ｎは、倍精度（６４ビット）の浮動小数点演算を実行する。少なくとも一実施例では、ＡＬＵ２７１６Ａ～２７１６Ｎは、８ビット、１６ビット、及び３２ビットの精度で可変精度の整数演算を実行することができ、混合精度の演算ができるように構成されることが可能である。少なくとも一実施例では、ＭＰＵ２７１７Ａ～２７１７Ｎも、半精度浮動小数点及び８ビット整数演算を含む混合精度の行列演算ができるように構成されることが可能である。少なくとも一実施例では、ＭＰＵ２７１７Ａ～２７１７Ｎは、汎用行列－行列乗算（ＧＥＭＭ）の加速をサポートできるようにすることを含め、機械学習アプリケーション・フレームワークを加速するための様々な行列演算を実行することができる。少なくとも一実施例では、ＡＦＵ２７１２Ａ～２７１２Ｎは、三角関数演算（たとえば、サイン、コサインなど）を含む、浮動小数点又は整数の単位にサポートされていない追加の論理演算を実行することができる。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィックス・コア２７００において使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図２７Ｂは、汎用処理ユニット（ＧＰＧＰＵ２７３０）を示し、この処理ユニットは、少なくとも一実施例において、グラフィックス・プロセッシング・ユニットのアレイによる高並列のコンピュート動作を実行可能にするように構成されることが可能である。少なくとも一実施例では、ＧＰＧＰＵ２７３０は、ＧＰＧＰＵ２７３０の他のインスタンスに直接リンクされて、ディープ・ニューラル・ネットワークの訓練スピードを向上させるために複数のＧＰＵクラスタを生成することができる。少なくとも一実施例では、ＧＰＧＰＵ２７３０は、ホスト・プロセッサとの接続を可能にするためのホスト・インターフェース２７３２を含む。少なくとも一実施例では、ホスト・インターフェース２７３２は、ＰＣＩエクスプレス・インターフェースである。少なくとも一実施例では、ホスト・インタージェース２７３２は、ベンダー固有の通信インターフェース又は通信ファブリックとすることができる。少なくとも一実施例では、ＧＰＧＰＵ２７３０は、ホスト・プロセッサからコマンドを受け取り、グローバル・スケジューラ２７３４を使用して、これらのコマンドに関連付けられた実行スレッドを、コンピュート・クラスタ２７３６Ａ～２７３６Ｈのセットに分配する。少なくとも一実施例では、コンピュート・クラスタ２７３６Ａ～２７３６Ｈは、キャッシュ・メモリ２７３８を共有する。少なくとも一実施例では、キャッシュ・メモリ２７３８は、コンピュート・クラスタ２７３６Ａ～２７３６Ｈ内のキャッシュ・メモリ用の高レベル・キャッシュとして作用することができる。

少なくとも一実施例では、ＧＰＧＰＵ２７３０は、メモリ・コントローラ２７４２Ａ～２７４２Ｂのセットを介して、コンピュート・クラスタ２７３６Ａ～２７３６Ｈに結合されたメモリ２７４４Ａ～２７４４Ｂを含む。少なくとも一実施例では、メモリ２７４４Ａ～２７４４Ｂは、グラフィックス・ダブル・データ・レート（ＧＤＤＲ）メモリを含む同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ）など、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）又はグラフィックス・ランダム・アクセス・メモリを含む、様々なタイプのメモリ・デバイスを含むことができる。

少なくとも一実施例では、コンピュート・クラスタ２７３６Ａ～２７３６Ｈはそれぞれ、図２７Ａのグラフィックス・コア２７００などのグラフィックス・コアのセットを含み、このグラフィックス・コアのセットは、機械学習計算に適したものを含め、様々な精度で計算動作を実行することができる複数のタイプの整数及び浮動小数点の論理ユニットを含むことができる。たとえば、少なくとも一実施例では、コンピュート・クラスタ２７３６Ａ～２７３６Ｈのそれぞれにおける浮動小数点ユニットの少なくともサブセットは、１６ビット又は３２ビットの浮動小数点演算を実行するように構成されることが可能であり、一方、浮動小数点ユニットの別のサブセットは、６４ビットの浮動小数点演算を実行するように構成されることが可能である。

少なくとも一実施例では、ＧＰＧＰＵ２７３０の複数のインスタンスは、コンピュート・クラスタとして動作するように構成されることが可能である。少なくとも一実施例では、コンピュート・クラスタ２７３６Ａ～２７３６Ｈにより同期及びデータ交換のために使用される通信は、実施例にわたって異なる。少なくとも一実施例では、ＧＰＧＰＵ２７３０の複数のインスタンスは、ホスト・インターフェース２７３２を介して通信する。少なくとも一実施例では、ＧＰＧＰＵ２７３０は、Ｉ／Ｏハブ２７３９を含み、このハブは、ＧＰＧＰＵ２７３０の他のインスタンスへの直接接続を可能にするＧＰＵリンク２７４０に、ＧＰＧＰＵ２７３０を結合する。少なくとも一実施例では、ＧＰＵリンク２７４０は、ＧＰＧＰＵ２７３０の複数のインスタンス間での通信及び同期を可能にするＧＰＵからＧＰＵへの専用のブリッジに結合される。少なくとも一実施例では、ＧＰＵリンク２７４０は、他のＧＰＧＰＵ又は並列プロセッサにデータを送受信するための高速相互接続に結合される。少なくとも一実施例では、ＧＰＧＰＵ２７３０の複数のインスタンスは、別々のデータ処理システムに位置付けられ、ホスト・インターフェース２７３２を介してアクセス可能なネットワーク・デバイスを介して通信する。少なくとも一実施例では、ＧＰＵリンク２７４０は、ホスト・インターフェース２７３２に加えて、又はその代わりに、ホスト・プロセッサへの接続を可能にするように構成することができる。

少なくとも一実施例では、ＧＰＧＰＵ２７３０は、ニューラル・ネットワークを訓練するように構成されることが可能である。少なくとも一実施例では、ＧＰＧＰＵ２７３０は、推論プラットフォーム内で使用することができる。ＧＰＧＰＵ２７３０が推論のために使用される少なくとも一実施例では、ＧＰＧＰＵは、ＧＰＧＰＵがニューラル・ネットワークの訓練に使用されるときよりも少数のコンピュート・クラスタ２７３６Ａ～２７３６Ｈを含んでもよい。少なくとも一実施例では、メモリ２７４４Ａ～２７４４Ｂに関連するメモリ技術は、推論の構成と訓練の構成とで異なってもよく、高帯域幅のメモリ技術が、訓練構成に当てられる。少なくとも一実施例では、ＧＰＧＰＵ２７３０の推論構成は、推論固有の命令をサポートすることができる。たとえば、少なくとも一実施例では、推論構成は、１つ又は複数の８ビットの整数のドット積命令をサポートすることができ、これは、導入済みニューラル・ネットワークの推論動作中に使用されてもよい。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにＧＰＧＰＵ２７３０おいて使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図２８は、少なくとも一実施例によるコンピューティング・システム２８００を示すブロック図である。少なくとも一実施例では、コンピューティング・システム２８００は、メモリ・ハブ２８０５を含んでもよい相互接続経路を介して通信する１つ又は複数のプロセッサ２８０２とシステム・メモリ２８０４とを有する処理サブシステム２８０１を含む。少なくとも一実施例では、メモリ・ハブ２８０５は、チップセット構成要素内の別個の構成要素であってもよく、又は１つ若しくは複数のプロセッサ２８０２内に一体化されていてもよい。少なくとも一実施例では、メモリ・ハブ２８０５は、通信リンク２８０６を介してＩ／Ｏサブシステム２８１１に結合される。少なくとも一実施例では、Ｉ／Ｏサブシステム２８１１は、コンピューティング・システム２８００が１つ又は複数の入力デバイス２８０８からの入力を受け取れるようにすることができるＩ／Ｏハブ２８０７を含む。少なくとも一実施例では、Ｉ／Ｏハブ２８０７は、ディスプレイ・コントローラを有効にすることができ、このディスプレイ・コントローラは、１つ又は複数のプロセッサ２８０２に含まれて、１つ又は複数のディスプレイ・デバイス２８１０Ａに出力を提供してもよい。少なくとも一実施例では、Ｉ／Ｏハブ２８０７に結合された１つ又は複数のディスプレイ・デバイス２８１０Ａは、ローカルの、内部の、又は組み込まれたディスプレイ・デバイスを含むことができる。

少なくとも一実施例では、処理サブシステム２８０１は、バス又は他の通信リンク２８１３を介してメモリ・ハブ２８０５に結合された１つ又は複数の並列プロセッサ２８１２を含む。少なくとも一実施例では、通信リンク２８１３は、ＰＣＩエクスプレスなどであるがこれに限定されない任意の数の規格に基づく通信リンク技術若しくはプロトコルのうちの１つであってもよく、又はベンダー固有の通信インターフェース若しくは通信ファブリックであってもよい。少なくとも一実施例では、１つ又は複数の並列プロセッサ２８１２は、メニー・インテグレーテッド・コア（ＭＩＣ）プロセッサなど、多数の処理コア及び／又は処理クラスタを含むことのできる、計算に集中した並列又はベクトルの処理システムを形成する。少なくとも一実施例では、１つ又は複数の並列プロセッサ２８１２は、グラフィックス処理サブシステムを形成し、このサブシステムは、Ｉ／Ｏハブ２８０７を介して結合された１つ又は複数のディスプレイ・デバイス２８１０Ａに、ピクセルを出力することができる。で少なくとも一実施例では、１つ又は複数の並列プロセッサ２８１２はまた、１つ又は複数のディスプレイ・デバイス２８１０Ｂへの直接接続を可能にするディスプレイ・コントローラ及びディスプレイ・インターフェース（図示せず）を含むことができる。

少なくとも一実施例では、システム・ストレージ・ユニット２８１４は、Ｉ／Ｏハブ２８０７に接続されて、コンピューティング・システム２８００のためのストレージ機構を提供することができる。少なくとも一実施例では、Ｉ／Ｏスイッチ２８１６を使用して、Ｉ／Ｏハブ２８０７と、プラットフォームに一体化されてもよいネットワーク・アダプタ２８１８及び／又はワイヤレス・ネットワーク・アダプタ２８１９などの他の構成要素、並びに１つ又は複数のアドイン・デバイス２８２０を介して加えることができる様々な他のデバイスとの通信を可能にするためのインターフェース機構を提供することができる。少なくとも一実施例では、ネットワーク・アダプタ２８１８は、イーサネット（登録商標）・アダプタ、又は別の有線ネットワーク・アダプタとすることができる。少なくとも一実施例では、ワイヤレス・ネットワーク・アダプタ２８１９は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信（ＮＦＣ）、又は１つ若しくは複数のワイヤレス無線を含む他のネットワーク・デバイスのうちの１つ又は複数を含むことができる。

少なくとも一実施例では、コンピューティング・システム２８００は、ＵＳＢ又は他のポート接続、光学ストレージ・ドライブ、ビデオ捕捉デバイスなどを含む明示されていない他の構成要素を含むことができ、これらもＩ／Ｏハブ２８０７に接続されてもよい。少なくとも一実施例では、図２８の様々な構成要素を相互接続する通信経路が、ＰＣＩ（ペリフェラル・コンポーネント・インターコネクト）ベースのプロトコル（たとえば、ＰＣＩ－エクスプレス）などの任意の好適なプロトコル、又はＮＶ－Ｌｉｎｋ高速相互接続などの他のバス若しくはポイントツーポイント通信インターフェース、又は他の相互接続プロトコルを使用して、実装されてもよい。

少なくとも一実施例では、１つ又は複数の並列プロセッサ２８１２は、たとえばビデオ出力回路を含むグラフィックス及びビデオの処理に最適化された回路を組み込んでおり、グラフィックス・プロセッシング・ユニット（ＧＰＵ）を構成する。少なくとも一実施例では、１つ又は複数の並列プロセッサ２８１２は、汎用処理に最適化された回路を組み込んでいる。少なくとも一実施例では、コンピューティング・システム２８００の構成要素は、単一の集積回路上の１つ又は複数の他のシステム要素と一体化されてもよい。たとえば、少なくとも一実施例では、１つ又は複数の並列プロセッサ２８１２、メモリ・ハブ２８０５、プロセッサ２８０２、及びＩ／Ｏハブ２８０７を、システム・オン・チップ（ＳｏＣ）集積回路に一体化することができる。少なくとも一実施例では、コンピューティング・システム２８００の構成要素は、単一のパッケージに一体化されて、システム・イン・パッケージ（ＳＩＰ）構成を形成することができる。少なくとも一実施例では、コンピューティング・システム２８００の構成要素の少なくとも一部分を、マルチ・チップ・モジュール（ＭＣＭ）に一体化することができ、このモジュールを、他のマルチ・チップ・モジュールと相互接続して、モジュール式コンピューティング・システムにすることができる。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図２８００のシステムにおいて使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

プロセッサ
図２９Ａは、少なくとも一実施例による並列プロセッサ２９００を示す。少なくとも一実施例では、並列プロセッサ２９００の様々な構成要素は、プログラム可能なプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの１つ又は複数の集積回路デバイスを使用して実装されてもよい。少なくとも一実施例では、図示してある並列プロセッサ２９００は、例示的な実施例による図２８に示す１つ又は複数の並列プロセッサ２８１２の変形形態である。

少なくとも一実施例では、並列プロセッサ２９００は並列処理ユニット２９０２を含む。少なくとも一実施例では、並列処理ユニット２９０２は、並列処理ユニット２９０２の他のインスタンスを含む他のデバイスとの通信を可能にするＩ／Ｏユニット２９０４を含む。少なくとも一実施例では、Ｉ／Ｏユニット２９０４は、他のデバイスに直接接続されてもよい。少なくとも一実施例では、Ｉ／Ｏユニット２９０４は、メモリ・ハブ２８０５などのハブ又はスイッチ・インターフェースの使用を介して、他のデバイスと接続される。少なくとも一実施例では、メモリ・ハブ２８０５とＩ／Ｏユニット２９０４との間の接続は、通信リンク２８１３を形成する。少なくとも一実施例では、Ｉ／Ｏユニット２９０４は、ホスト・インターフェース２９０６及びメモリ・クロスバー２９１６に接続され、ここでホスト・インターフェース２９０６は、処理動作の実行を対象とするコマンドを受け取り、メモリ・クロスバー２９１６は、メモリ動作の実行を対象とするコマンドを受け取る。

少なくとも一実施例では、ホスト・インターフェース２９０６が、Ｉ／Ｏユニット２９０４を介してコマンド・バッファを受け取るとき、ホスト・インターフェース２９０６は、これらのコマンドを実行するためのワーク動作をフロント・エンド２９０８に向けることができる。少なくとも一実施例では、フロント・エンド２９０８はスケジューラ２９１０に結合され、このスケジューラは、コマンド又は他のワーク・アイテムを処理クラスタ・アレイ２９１２に分配するように構成される。少なくとも一実施例では、スケジューラ２９１０は、処理クラスタ・アレイ２９１２にタスクが分配される前に、処理クラスタ・アレイ２９１２が適切に構成され、有効な状態にあることを確実にする。少なくとも一実施例では、スケジューラ２９１０は、マイクロコントローラで実行しているファームウェア論理を介して実装される。少なくとも一実施例では、マイクロコントローラ実装スケジューラ２９１０は、複雑なスケジューリング及びワーク分配動作を、粗い粒度と細かい粒度で実行するように構成可能であり、処理アレイ２９１２で実行しているスレッドの迅速なプリエンプション及びコンテキストのスイッチングを可能にする。少なくとも一実施例では、ホスト・ソフトウェアは、処理アレイ２９１２でのスケジューリングのワークロードを、複数のグラフィックス処理のドアベルのうちの１つを介して証明することができる。少なくとも一実施例では、次いで、スケジューラ２９１０を含むマイクロコントローラ内のスケジューラ２９１０論理によって、ワークロードを自動的に処理アレイ２９１２全体に分配することができる。

少なくとも一実施例では、処理クラスタ・アレイ２９１２は、最大「Ｎ個」の処理クラスタ（たとえば、クラスタ２９１４Ａ、クラスタ２９１４Ｂ～クラスタ２９１４Ｎ）を含むことができる。少なくとも一実施例では、処理クラスタ・アレイ２９１２の各クラスタ２９１４Ａ～２９１４Ｎは、大量の同時スレッドを実行することができる。少なくとも一実施例では、スケジューラ２９１０は、様々なスケジューリング及び／又はワーク分配のアルゴリズムを使用して、処理クラスタ・アレイ２９１２のクラスタ２９１４Ａ～２９１４Ｎにワークを配分することができ、これらのアルゴリズムは、プログラム又は計算のタイプごとに生じるワークロードに応じて、異なってもよい。少なくとも一実施例では、スケジューリングは、スケジューラ２９１０によって動的に対処されてもよく、又は処理クラスタ・アレイ２９１２によって実行されるように構成されたプログラム論理のコンパイル中に、コンパイラ論理によって部分的に支援されてもよい。少なくとも一実施例では、処理クラスタ・アレイ２９１２の異なるクラスタ２９１４Ａ～２９１４Ｎは、異なるタイプのプログラムを処理するように、又は異なるタイプの計算を実行するように配分されることが可能である。

少なくとも一実施例では、処理クラスタ・アレイ２９１２は、様々なタイプの並列処理動作を実行するように構成されることが可能である。少なくとも一実施例では、処理クラスタ・アレイ２９１２は、汎用の並列コンピュート動作を実行するように構成される。たとえば、少なくとも一実施例では、処理クラスタ・アレイ２９１２は、ビデオ及び／又はオーディオ・データのフィルタリング、物理動作を含むモデリング動作の実行、及びデータ変換の実行を含む処理タスクを実行するための論理を含むことができる。

少なくとも一実施例では、処理クラスタ・アレイ２９１２は、並列グラフィックス処理動作を実行するように構成される。少なくとも一実施例では、処理クラスタ・アレイ２９１２は、テクスチャ動作を実行するためのテクスチャ・サンプリング論理、並びにモザイク論理、及び他の頂点処理論理を含むがこれらに限定されないこうしたグラフィックス処理動作の実行をサポートするための追加の論理を含むことができる。少なくとも一実施例では、処理クラスタ・アレイ２９１２は、頂点シェーダ、モザイク・シェーダ、ジオメトリ・シェーダ、及びピクセル・シェーダなどであるが、これらに限定されないグラフィックス処理関連のシェーダ・プログラムを実行するように構成されることが可能である。少なくとも一実施例では、並列処理ユニット２９０２は、処理できるようにデータをシステム・メモリからＩ／Ｏユニット２９０４を介して転送することができる。少なくとも一実施例では、処理中、転送されたデータを、処理中にオン・チップ・メモリ（たとえば、並列プロセッサ・メモリ２９２２）に記憶し、次いでシステム・メモリに書き戻すことができる。

少なくとも一実施例では、並列処理ユニット２９０２を使用してグラフィックス処理が実行される場合には、処理クラスタ・アレイ２９１２の複数のクラスタ２９１４Ａ～２９１４Ｎにグラフィックス処理動作をよりうまく分配できるようにするため、処理ワークロードをおおよそ等しい大きさのタスクに分割するようにスケジューラ２９１０を構成することができる。少なくとも一実施例では、処理クラスタ・アレイ２９１２の一部分は、異なるタイプの処理を実行するように構成されることが可能である。たとえば、少なくとも一実施例では、レンダリング画像を生成して表示するために、第１の部分は、頂点シェーディング及びトポロジ生成を実行するように構成されてもよく、第２の部分は、モザイク及びジオメトリのシェーディングを実行するように構成されてもよく、第３の部分は、ピクセル・シェーディング又は他の画面空間動作を実行するように構成されてもよい。少なくとも一実施例では、クラスタ２９１４Ａ～２９１４Ｎのうちの１つ又は複数によって生成される中間データをバッファに記憶して、さらなる処理ができるようにクラスタ２９１４Ａ～２９１４Ｎの間で中間データを送信できるようにしてもよい。

少なくとも一実施例では、処理クラスタ・アレイ２９１２は、実行される処理タスクをスケジューラ２９１０を介して受け取ることができ、スケジューラ２９１０は、処理タスクを定義するコマンドをフロント・エンド２９０８から受け取る。少なくとも一実施例では、処理タスクは、処理されるデータのインデックス、たとえば、表面（パッチ）データ、プリミティブ・データ、頂点データ、及び／又はピクセル・データ、並びに状態パラメータ、及びデータをどのように処理すべきかを定義するコマンド（たとえば、どのプログラムを実行すべきか）を含むことができる。少なくとも一実施例では、スケジューラ２９１０は、タスクに対応するインデックスをフェッチするように構成されてもよく、又はフロント・エンド２９０８からインデックスを受け取ってもよい。少なくとも一実施例では、フロント・エンド２９０８は、入ってくるコマンド・バッファ（たとえば、バッチ・バッファ、プッシュ・バッファなど）によって指定されるワークロードが開始される前に、処理クラスタ・アレイ２９１２が有効な状態に構成されていることを保証するように構成されることが可能である。

少なくとも一実施例では、並列処理ユニット２９０２の１つ又は複数のインスタンスのそれぞれは、並列プロセッサ・メモリ２９２２と結合することができる。少なくとも一実施例では、並列プロセッサ・メモリ２９２２には、メモリ・クロスバー２９１６を介してアクセスすることができ、メモリ・クロスバー２９１６は、処理クラスタ・アレイ２９１２並びにＩ／Ｏユニット２９０４からメモリ要求を受け取ることができる。少なくとも一実施例では、メモリ・クロスバー２９１６は、メモリ・インターフェース２９１８を介して並列プロセッサ・メモリ２９２２にアクセスすることができる。少なくとも一実施例では、メモリ・インターフェース２９１８は、複数のパーティション・ユニット（たとえば、パーティション・ユニット２９２０Ａ、パーティション・ユニット２９２０Ｂ～パーティション・ユニット２９２０Ｎ）を含むことができ、これらのユニットはそれぞれ、並列プロセッサ・メモリ２９２２の一部分（たとえば、メモリ・ユニット）に結合することができる。少なくとも一実施例では、パーティション・ユニット２９２０Ａ～２９２０Ｎの数は、メモリ・ユニットの数と等しくなるように構成され、それにより、第１のパーティション・ユニット２９２０Ａは、対応する第１のメモリ・ユニット２９２４Ａを有し、第２のパーティション・ユニット２９２０Ｂは、対応するメモリ・ユニット２９２４Ｂを有し、Ｎ番目のパーティション・ユニット２９２０Ｎは、対応するＮ番目のメモリ・ユニット２９２４Ｎを有する。少なくとも一実施例では、パーティション・ユニット２９２０Ａ～２９２０Ｎの数は、メモリ・デバイスの数に等しくなくてもよい。

少なくとも一実施例では、メモリ・ユニット２９２４Ａ～２９２４Ｎは、グラフィックス・ダブル・データ・レート（ＧＤＤＲ）メモリを含む同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ）など、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）又はグラフィックス・ランダム・アクセス・メモリを含む、様々なタイプのメモリ・デバイスを含むことができる。少なくとも一実施例では、またメモリ・ユニット２９２４Ａ～２９２４Ｎはまた、高帯域幅メモリ（ＨＢＭ）を含むがこれに限定されない３Ｄ積層メモリを含んでもよい。少なくとも一実施例では、並列プロセッサ・メモリ２９２２の利用可能な帯域幅を効率的に使用するために、フレーム・バッファ又はテクスチャ・マップなどのレンダー・ターゲットが、メモリ・ユニット２９２４Ａ～２９２４Ｎにわたって記憶されて、パーティション・ユニット２９２０Ａ～２９２０Ｎが、各レンダー・ターゲットの部分を並列に書き込みできるようにしてもよい。少なくとも一実施例では、システム・メモリとローカル・キャッシュ・メモリを併用する統合メモリ設計に有利なように、並列プロセッサ・メモリ２９２２のローカル・インスタンスは除外されてもよい。

少なくとも一実施例では、処理クラスタ・アレイ２９１２のクラスタ２９１４Ａ～２９１４Ｎのうちのいずれか１つは、並列プロセッサ・メモリ２９２２内のメモリ・ユニット２９２４Ａ～２９２４Ｎのいずれかに書き込まれることになるデータを処理することができる。少なくとも一実施例では、メモリ・クロスバー２９１６は、各クラスタ２９１４Ａ～２９１４Ｎの出力を、出力に対してさらなる処理動作を実行することができる任意のパーティション・ユニット２９２０Ａ～２９２０Ｎ、又は別のクラスタ２９１４Ａ～２９１４Ｎに転送するように構成されることが可能である。少なくとも一実施例では、各クラスタ２９１４Ａ～２９１４Ｎは、メモリ・クロスバー２９１６を通ってメモリ・インターフェース２９１８と通信して、様々な外部メモリ・デバイスからの読取り、又はそれへの書込みを行うことができる。少なくとも一実施例では、メモリ・クロスバー２９１６は、Ｉ／Ｏユニット２９０４と通信するためのメモリ・インターフェース２９１８への接続部、並びに並列プロセッサ・メモリ２９２２のローカル・インスタンスへの接続部を有して、異なる処理クラスタ２９１４Ａ～２９１４Ｎ内の処理ユニットが、システム・メモリ、又は並列処理ユニット２９０２のローカルにない他のメモリと通信できるようにする。少なくとも一実施例では、メモリ・クロスバー２９１６は、仮想チャネルを使用して、クラスタ２９１４Ａ～２９１４Ｎと、パーティション・ユニット２９２０Ａ～２９２０Ｎとの間でトラフィック・ストリームを分離することができる。

少なくとも一実施例では、並列処理ユニット２９０２の複数のインスタンスは、単一のアドイン・カードに提供されてもよく、又は複数のアドイン・カードが相互接続されてもよい。少なくとも一実施例では、異なるインスタンスが異なる数の処理コア、異なる量のローカル並列プロセッサ・メモリ、及び／又は他の異なる構成を有する場合でも、並列処理ユニット２９０２の異なるインスタンスは相互動作するように構成されることが可能である。たとえば、少なくとも一実施例では、並列処理ユニット２９０２のいくつかインスタンスは、他のインスタンスに比べて高い精度の浮動小数点ユニットを含むことができる。少なくとも一実施例では、並列処理ユニット２９０２又は並列プロセッサ２９００のうちの１つ又は複数のインスタンスを組み込んだシステムは、デスクトップ、ラップトップ、若しくは携帯型のパーソナル・コンピュータ、サーバ、ワークステーション、ゲーム・コンソール、及び／又は組み込みシステムを含むが、これらに限定されない様々な構成及びフォーム・ファクタで実装することができる。

図２９Ｂは、少なくとも一実施例によるパーティション・ユニット２９２０のブロック図である。少なくとも一実施例では、パーティション・ユニット２９２０は、図２９Ａのパーティション・ユニット２９２０Ａ～２９２０Ｎのうちの１つのパーティション・ユニットのインスタンスである。少なくとも一実施例では、パーティション・ユニット２９２０は、Ｌ２キャッシュ２９２１、フレーム・バッファ・インターフェース２９２５、及びラスタ演算ユニット（「ＲＯＰ」）２９２６を含む。Ｌ２キャッシュ２９２１は、メモリ・クロスバー２９１６及びＲＯＰ２９２６から受け取ったロード及びストアの動作を実行するように構成された読取り／書込みキャッシュである。少なくとも一実施例では、読取りミス及び至急の書戻し要求が、処理されるようにＬ２キャッシュ２９２１によってフレーム・バッファ・インターフェース２９２５に出力される。少なくとも一実施例では、更新も、処理されるようにフレーム・バッファ・インターフェース２９２５を介してフレームに送られる。少なくとも一実施例では、フレーム・バッファ・インターフェース２９２５は、図２９の（たとえば並列プロセッサ・メモリ２９２２内の）メモリ・ユニット２９２４Ａ～２９２４Ｎなど、並列プロセッサ・メモリのメモリ・ユニットのうちの１つとインターフェースをとる。

少なくとも一実施例では、ＲＯＰ２９２６は、ステンシル、ｚテスト、ブレンディングなどのラスタ演算を実行する処理ユニットである。少なくとも一実施例では、次いでＲＯＰ２９２６は、グラフィックス・メモリに記憶された処理済みグラフィックス・データを出力する。少なくとも一実施例では、ＲＯＰ２９２６は、メモリに書き込まれる深度又は色データを圧縮し、メモリから読み取られた深度又は色データを解凍するための圧縮論理を含む。少なくとも一実施例では、圧縮論理は、複数の圧縮アルゴリズムのうちの１つ又は複数を利用するロスレス圧縮論理とすることができる。ＲＯＰ２９２６によって実行される圧縮論理は、圧縮されるデータの統計的特徴に基づき変更することができる。たとえば、少なくとも一実施例では、深度及び色データに対してはタイルごとにデルタ色圧縮が実行される。

少なくとも一実施例では、ＲＯＰ２９２６は、パーティション・ユニット２９２０内ではなく、各処理クラスタ内（たとえば、図２９Ａのクラスタ２９１４Ａ～２９１４Ｎ）に含まれる。少なくとも一実施例では、ピクセル・フラグメント・データではなく、ピクセル・データの読取り及び書込み要求が、メモリ・クロスバー２９１６を介して送信される。少なくとも一実施例では、処理済みグラフィックス・データは、図２８の１つ又は複数のディスプレイ・デバイス２８１０のうちの１つなどのディスプレイ・デバイスに表示されてもよく、プロセッサ２８０２によってさらに処理できるようにルーティングされてもよく、又は図２９Ａの並列プロセッサ２９００内の処理エンティティのうちの１つによってさらに処理できるようにルーティングされてもよい。

図２９Ｃは、少なくとも一実施例による並列処理ユニット内の処理クラスタ２９１４のブロック図である。少なくとも一実施例では、処理クラスタは、図２９Ａの処理クラスタ２９１４Ａ～２９１４Ｎのうちの１つの処理クラスタのインスタンスである。少なくとも一実施例では、処理クラスタ２９１４のより多くのうちの１つは、多数のスレッドを並列で実行するように構成されてもよく、ここで「スレッド」とは、入力データの特定のセットに対して実行している特定のプログラムのインスタンスを指す。少なくとも一実施例では、複数の独立した命令ユニットを提供することなく、多数のスレッドの並列実行をサポートするために、単一命令複数データ（ＳＩＭＤ）の命令発行技法が使用される。少なくとも一実施例では、それぞれの処理クラスタ内の処理エンジンのセットに命令を発行するように構成された共通の命令ユニットを使用して、全体的に同期された多数のスレッドの並列実行をサポートするために、単一命令複数スレッド（ＳＩＭＴ）の技法が使用される。

少なくとも一実施例では、処理クラスタ２９１４の動作は、ＳＩＭＴ並列プロセッサに処理タスクを分配するパイプライン・マネージャ２９３２を介して制御することができる。少なくとも一実施例では、パイプライン・マネージャ２９３２は、図２９Ａのスケジューラ２９１０から命令を受け取り、グラフィックス・マルチプロセッサ２９３４及び／又はテクスチャ・ユニット２９３６を介してこれらの命令の実行を管理する。少なくとも一実施例では、グラフィックス・マルチプロセッサ２９３４は、ＳＩＭＴ並列プロセッサの例示的なインスタンスである。しかし、少なくとも一実施例では、アーキテクチャの異なる様々なタイプのＳＩＭＴ並列プロセッサが、処理クラスタ２９１４内に含まれてもよい。少なくとも一実施例では、グラフィックス・マルチプロセッサ２９３４の１つ又は複数のインスタンスは、処理クラスタ２９１４内に含めることができる。少なくとも一実施例では、グラフィックス・マルチプロセッサ２９３４はデータを処理することができ、処理済みデータを、他のシェーダ・ユニットを含む複数の可能な宛先のうちの１つに分配するためにデータ・クロスバー２９４０が使用されてもよい。少なくとも一実施例では、パイプライン・マネージャ２９３２は、データ・クロスバー２９４０をビスして分配されることになる処理済みデータの宛先を指定することによって、処理済みデータの分配を容易にすることができる。

少なくとも一実施例では、処理クラスタ２９１４内の各グラフィックス・マルチプロセッサ２９３４は、関数実行論理（たとえば、算術論理演算ユニット、ロード・ストア・ユニットなど）の同一のセットを含むことができる。少なくとも一実施例では、関数実行論理は、前の命令が完了する前に新規の命令を発行することができるパイプライン式に構成されることが可能である。少なくとも一実施例では、関数実行論理は、整数及び浮動小数点の算術、比較演算、ブール演算、ビット・シフト、及び様々な代数関数の計算を含む様々な演算をサポートする。少なくとも一実施例では、同じ関数ユニットのハードウェアを活用して、異なる演算を実行することができ、関数ユニットの任意の組合せが存在してもよい。

少なくとも一実施例では、処理クラスタ２９１４に送信される命令がスレッドを構成する。少なくとも一実施例では、並列処理エンジンのセットにわたって実行されているスレッドのセットが、スレッド・グループである。少なくとも一実施例では、スレッド・グループは、異なる入力データに対してプログラムを実行する。少なくとも一実施例では、スレッド・グループ内の各スレッドを、グラフィックス・マルチプロセッサ２９３４内の異なる処理エンジンに割り当てることができる。少なくとも一実施例では、スレッド・グループは、グラフィックス・マルチプロセッサ２９３４内の処理エンジンの数よりも少ないスレッドを含んでもよい。少なくとも一実施例では、スレッド・グループが処理エンジンの数よりも少ないスレッドを含む場合、１つ又は複数の処理エンジンは、そのスレッド・グループが処理されているサイクル中にはアイドルであってもよい。少なくとも一実施例では、スレッド・グループはまた、グラフィックス・マルチプロセッサ２９３４内の処理エンジンの数よりも多いスレッドを含んでもよい。少なくとも一実施例では、スレッド・グループがグラフィックス・マルチプロセッサ２９３４内の処理エンジンより多くのスレッドを含む場合には、連続したクロック・サイクルにわたって処理を実行することができる。少なくとも一実施例では、複数のスレッド・グループを、グラフィックス・マルチプロセッサ２９３４上で同時に実行することができる。

少なくとも一実施例では、グラフィックス・マルチプロセッサ２９３４は、ロード及びストアの動作を実行するための内部キャッシュ・メモリを含む。少なくとも一実施例では、グラフィックス・マルチプロセッサ２９３４は、内部キャッシュをやめて、処理クラスタ２９１４内のキャッシュ・メモリ（たとえば、Ｌ１キャッシュ２９４８）を使用することができる。少なくとも一実施例では、各グラフィックス・マルチプロセッサ２９３４は、パーティション・ユニット（たとえば、図２９Ａのパーティション・ユニット２９２０Ａ～２９２０Ｎ）内のＬ２キャッシュにもアクセスすることができ、これらのキャッシュが、すべての処理クラスタ２９１４間で共有され、スレッド間でデータを転送するために使用されてもよい。少なくとも一実施例では、グラフィックス・マルチプロセッサ２９３４は、オフ・チップのグローバル・メモリにもアクセスすることができ、このメモリは、ローカル並列プロセッサ・メモリ及び／又はシステム・メモリのうちの１つ又は複数を含むことができる。少なくとも一実施例では、並列処理ユニット２９０２の外部にある任意のメモリが、グローバル・メモリとして使用されてもよい。少なくとも一実施例では、処理クラスタ２９１４は、グラフィックス・マルチプロセッサ２９３４の複数のインスタンスを含み、共通の命令及びデータを共有することができ、これらはＬ１キャッシュ２９４８に記憶されてもよい。

少なくとも一実施例では、各処理クラスタ２９１４は、仮想アドレスを物理アドレスにマッピングするように構成されたメモリ管理ユニット（「ＭＭＵ」）２９４５を含んでもよい。少なくとも一実施例では、ＭＭＵ２９４５の１つ又は複数のインスタンスは、図２９Ａのメモリ・インターフェース２９１８内にあってもよい。少なくとも一実施例では、ＭＭＵ２９４５は、仮想アドレスを、タイル及び任意選択でキャッシュ・ライン・インデックスの物理アドレスにマッピングするために使用されるページ・テーブル・エントリ（ＰＴＥ）のセットを含む。少なくとも一実施例では、ＭＭＵ２９４５は、アドレスのトランスレーション・ルックアサイド・バッファ（ＴＬＢ）又はキャッシュを含んでもよく、これらは、グラフィックス・マルチプロセッサ２９３４若しくはＬ１キャッシュ、又は処理クラスタ２９１４内にあってもよい。少なくとも一実施例では、表面データ・アクセスをローカルに分散するように物理アドレスを処理して、パーティション・ユニット間で要求の効率的なインターリーブが可能になる。少なくとも一実施例では、キャッシュ・ライン・インデックスを使用して、キャッシュ・ラインの要求がヒットかミスかが判定されてもよい。

少なくとも一実施例では、各グラフィックス・マルチプロセッサ２９３４がテクスチャ・ユニット２９３６に結合されて、テクスチャ・マッピング動作、たとえば、テクスチャ・サンプル位置の判定、テクスチャ・データの読取り、及びテクスチャ・データのフィルタリングが実行されるように、処理クラスタ２９１４が構成されてもよい。少なくとも一実施例では、テクスチャ・データは、内部テクスチャＬ１キャッシュ（図示せず）から、又はグラフィックス・マルチプロセッサ２９３４内のＬ１キャッシュから読み取られ、必要に応じて、Ｌ２キャッシュ、ローカル並列プロセッサ・メモリ、又はシステム・メモリからフェッチされる。少なくとも一実施例では、各グラフィックス・マルチプロセッサ２９３４は、処理済みタスクをデータ・クロスバー２９４０に出力して、さらなる処理ができるように別の処理クラスタ２９１４に処理済みタスクを提供し、又はメモリ・クロスバー２９１６を介して、Ｌ２キャッシュ、ローカル並列プロセッサ・メモリ、又はシステム・メモリに処理済みタスクを記憶する。少なくとも一実施例では、プレＲＯＰ２９４２（プレ・ラスタ演算ユニット）は、グラフィックス・マルチプロセッサ２９３４からデータを受け取り、ＲＯＰユニットにデータを仕向けるように構成されており、ＲＯＰユニットは、本明細書に記載のするように、パーティション・ユニット（たとえば、図２９Ａのパーティション・ユニット２９２０Ａ～２９２０Ｎ）内に位置付けられてもよい。少なくとも一実施例では、プレＲＯＰ２９４２ユニットは、色ブレンディングの最適化を実行し、ピクセル色データを組織化し、アドレス・トランスレーションを実行することができる。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィックス処理クラスタ２９１４において使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図２９Ｄは、少なくとも一実施例によるグラフィックス・マルチプロセッサ２９３４を示す。少なくとも一実施例では、グラフィックス・マルチプロセッサ２９３４は、処理クラスタ２９１４のパイプライン・マネージャ２９３２と結合する。少なくとも一実施例では、グラフィックス・マルチプロセッサ２９３４は、命令キャッシュ２９５２、命令ユニット２９５４、アドレス・マッピング・ユニット２９５６、レジスタ・ファイル２９５８、１つ又は複数の汎用グラフィックス・プロセッシング・ユニット（ＧＰＧＰＵ）コア２９６２、及び１つ又は複数のロード／ストア・ユニット２９６６を含むがこれらに限定されない実行パイプラインを有する。ＧＰＧＰＵコア２９６２、及びロード／ストア・ユニット２９６６は、メモリ及びキャッシュ相互接続２９６８を介して、キャッシュ・メモリ２９７２及び共有メモリ２９７０に結合される。

少なくとも一実施例では、命令キャッシュ２９５２は、実行すべき命令のストリームをパイプライン・マネージャ２９３２から受け取る。少なくとも一実施例では、命令は、命令キャッシュ２９５２にキャッシュされ、命令ユニット２９５４により実行されるようにディスパッチされる。少なくとも一実施例では、命令ユニット２９５４は、命令をスレッド・グループ（たとえば、ワープ）としてディスパッチすることができ、各スレッド・グループは、ＧＰＧＰＵコア２９６２内の異なる実行ユニットに割り当てられる。少なくとも一実施例では、命令は、統一アドレス空間内のアドレスを指定することによって、ローカル、共有、又はグローバルのアドレス空間のいずれかにアクセスすることができる。少なくとも一実施例では、アドレス・マッピング・ユニット２９５６を使用して、統一アドレス空間のアドレスを、ロード／ストア・ユニット２９６６がアクセスできる個別メモリ・アドレスにトランスレーションすることができる。

少なくとも一実施例では、レジスタ・ファイル２９５８は、グラフィックス・マルチプロセッサ２９３４の機能ユニットにレジスタのセットを提供する。少なくとも一実施例では、レジスタ・ファイル２９５８は、グラフィックス・マルチプロセッサ２９３４の機能ユニット（たとえばＧＰＧＰＵコア２９６２、ロード／ストア・ユニット２９６６）のデータ経路に接続された、オペランドのための一時的なストレージを提供する。少なくとも一実施例では、レジスタ・ファイル２９５８は、レジスタ・ファイル２９５８の専用部分に各機能ユニットが配分されるように、それぞれの機能ユニット間で分割される。少なくとも一実施例では、レジスタ・ファイル２９５８は、グラフィックス・マルチプロセッサ２９３４によって実行されている異なるワープ間で分割される。

少なくとも一実施例では、ＧＰＧＰＵコア２９６２はそれぞれ、グラフィックス・マルチプロセッサ２９３４の命令を実行するために使用される浮動小数点ユニット（ＦＰＵ）及び／又は整数算術論理演算ユニット（ＡＬＵ）を含むことができる。ＧＰＧＰＵコア２９６２同士は、同様のアーキテクチャであってもよく、又は異なるアーキテクチャであってもよい。少なくとも一実施例では、ＧＰＧＰＵコア２９６２の第１の部分は、単精度ＦＰＵ及び整数ＡＬＵを含み、ＧＰＧＰＵコアの第２の部分は、倍精度ＦＰＵを含む。少なくとも一実施例では、ＦＰＵは、浮動小数点演算のためにＩＥＥＥ７５４－２００８規格を実装することができ、又は、可変精度の浮動小数点演算を有効にすることができる。少なくとも一実施例では、グラフィックス・マルチプロセッサ２９３４はさらに、矩形コピー又はピクセル・ブレンディングの動作などの特定の機能を実行するための、１つ若しくは複数の固定機能ユニット又は特別機能ユニットをさらに含むことができる。少なくとも一実施例では、ＧＰＧＰＵコアの１つ又は複数は、固定の又は特別な機能論理も含むことができる。

少なくとも一実施例では、ＧＰＧＰＵコア２９６２は、複数のデータ・セットに対して単一の命令を実行することができるＳＩＭＤ論理を含む。少なくとも一実施例では、ＧＰＧＰＵコア２９６２は、ＳＩＭＤ４、ＳＩＭＤ８、及びＳＩＭＤ１６の命令を物理的に実行することができ、ＳＩＭＤ１、ＳＩＭＤ２、及びＳＩＭＤ３２の命令を論理的に実行することができる。少なくとも一実施例では、ＧＰＧＰＵコアのためのＳＩＭＤ命令は、シェーダ・コンパイラによるコンパイル時に生成されてもよく、又は単一プログラム複数データ（ＳＰＭＤ）又はＳＩＭＴのアーキテクチャ向けに書かれコンパイルされたプログラムを実行しているときに、自動的に生成されてもよい。少なくとも一実施例では、ＳＩＭＴ実行モデルのために構成されたプログラムの複数のスレッドは、単一のＳＩＭＤ命令を介して実行することができる。たとえば、少なくとも一実施例では、同じ又は同様の動作を実行する８個のＳＩＭＴスレッドを、単一のＳＩＭＤ８の論理ユニットを介して並列に実行することができる。

少なくとも一実施例では、メモリ及びキャッシュ相互接続２９６８は、グラフィックス・マルチプロセッサ２９３４の各機能ユニットをレジスタ・ファイル２９５８及び共有メモリ２９７０に接続する相互接続ネットワークである。少なくとも一実施例では、メモリ及びキャッシュ相互接続２９６８は、ロード／ストア・ユニット２９６６が、共有メモリ２９７０とレジスタ・ファイル２９５８の間でロード及びストアの動作を実装できるようにするクロスバー相互接続である。少なくとも一実施例では、レジスタ・ファイル２９５８は、ＧＰＧＰＵコア２９６２と同じ周波数で動作することができ、したがって、ＧＰＧＰＵコア２９６２とレジスタ・ファイル２９５８の間のデータ転送は非常に低レイテンシである。少なくとも一実施例では、共有メモリ２９７０を使用して、グラフィックス・マルチプロセッサ２９３４内の機能ユニットで実行されるスレッド間の通信を可能にすることができる。少なくとも一実施例では、キャッシュ・メモリ２９７２を、たとえばデータ・キャッシュとして使用して、機能ユニットとテクスチャ・ユニット２９３６の間で通信されるテクスチャ・データをキャッシュすることができる。少なくとも一実施例では、共有メモリ２９７０は、プログラム管理キャッシュとしても使用することができる。少なくとも一実施例では、ＧＰＧＰＵコア２９６２で実行されているスレッドは、キャッシュ・メモリ２９７２内に記憶される自動キャッシュ・データに加えて、共有メモリ内にプログラム的にデータを記憶することができる。

少なくとも一実施例では、本明細書に記載の並列プロセッサ又はＧＰＧＰＵは、ホスト／プロセッサ・コアに通信可能に結合されて、グラフィックス動作、機械学習動作、パターン分析動作、及び様々な汎用ＧＰＵ（ＧＰＧＰＵ）機能を加速する。少なくとも一実施例では、ＧＰＵは、バス又は他の相互接続（たとえば、ＰＣＩｅ又はＮＶＬｉｎｋなどの高速相互接続）を介してホスト・プロセッサ／コアに通信可能に結合されてもよい。少なくとも一実施例では、ＧＰＵは、コアと同じパッケージ又はチップに一体化されてもよく、内部（すなわち、パッケージ又はチップの内部の）プロセッサ・バス／相互接続を介してコアに通信可能に結合されてもよい。少なくとも一実施例では、ＧＰＵの接続方法に関わらず、プロセッサ・コアは、ワーク記述子に含まれたコマンド／命令のシーケンスの形でワークをＧＰＵに配分してもよい。少なくとも一実施例では、次いでＧＰＵは、これらのコマンド／命令を効率的に処理するために専用の回路／論理を使用する。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィックス・マルチプロセッサ２９３４において使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図３０は、少なくとも一実施例による、マルチＧＰＵコンピューティング・システム１１９００を示す。少なくとも一実施例では、マルチＧＰＵコンピューティング・システム１１９００は、ホスト・インターフェース・スイッチ１１９０４を介して複数の汎用グラフィックス・プロセッシング・ユニット（ＧＰＧＰＵ）１１９０６Ａ～Ｄに結合されたプロセッサ１１９０２を含むことができる。少なくとも一実施例では、ホスト・インターフェース・スイッチ１１９０４は、プロセッサ１１９０２をＰＣＩエクスプレス・バスに結合するＰＣＩエクスプレス・スイッチ・デバイスであり、このＰＣＩエクスプレス・バスを介して、プロセッサ１１９０２は、ＧＰＧＰＵ１１９０６Ａ～Ｄと通信することができる。ＧＰＧＰＵ１１９０６Ａ～Ｄは、高速ポイントツーポイントＧＰＵツーＧＰＵリンク１１９１６のセットを介して相互接続することができる。少なくとも一実施例では、ＧＰＵツーＧＰＵリンク１１９１６は、専用ＧＰＵリンクを介して、ＧＰＧＰＵ１１９０６Ａ～Ｄのそれぞれに接続される。少なくとも一実施例では、Ｐ２ＰのＧＰＵリンク１１９１６は、プロセッサ１１９０２が接続されているホスト・インターフェース・バス１１９０４を介した通信を必要とせずに、ＧＰＧＰＵ１１９０６Ａ～Ｄのそれぞれの間で直接接続を可能にする。少なくとも一実施例では、Ｐ２ＰのＧＰＵリンク１１９１６に仕向けられたＧＰＵツーＧＰＵトラフィックがあると、ホスト・インターフェース・バス１１９０４は、システム・メモリがアクセスできるように、又はたとえば１つ又は複数のネットワーク・デバイスを介して、マルチＧＰＵコンピューティング・システム１１９００の他のインスタンスと通信するために、利用可能なままである。少なくとも一実施例では、ＧＰＧＰＵ１１９０６Ａ～Ｄは、ホスト・インターフェース・スイッチ１１９０４を介してプロセッサ１１９０２に接続され、少なくとも一実施例では、プロセッサ１１９０２は、Ｐ２ＰのＧＰＵリンク１１９１６のための直接サポートを含み、ＧＰＧＰＵ１１９０６Ａ～Ｄに直接接続することができる。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにマルチＧＰＵコンピューティング・システム１１９００において使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図３１は、少なくとも一実施例によるグラフィックス・プロセッサ３１００のブロック図である。少なくとも一実施例では、グラフィックス・プロセッサ３１００は、リング相互接続３１０２、パイプライン・フロント・エンド３１０４、メディア・エンジン３１３７、及びグラフィックス・コア３１８０Ａ～３１８０Ｎを含む。少なくとも一実施例では、リング相互接続３１０２は、グラフィックス・プロセッサ３１００を、他のグラフィックス・プロセッサ又は１つ若しくは複数の汎用プロセッサ・コアを含む他の処理ユニットに結合する。少なくとも一実施例では、グラフィックス・プロセッサ３１００は、マルチ・コア処理システム内に一体化された多数のプロセッサのうちの１つである。

少なくとも一実施例では、グラフィックス・プロセッサ３１００は、リング相互接続３１０２を介してコマンドのバッチを受け取る。少なくとも一実施例では、入ってくるコマンドは、パイプライン・フロント・エンド３１０４のコマンド・ストリーマ３１０３によって解釈される。少なくとも一実施例では、グラフィックス・プロセッサ３１００は、グラフィックス・コア３１８０Ａ～３１８０Ｎを介して３Ｄジオメトリ処理及びメディア処理を実行するためのスケーラブルな実行論理を含む。少なくとも一実施例では、３Ｄジオメトリ処理コマンドについては、コマンド・ストリーマ３１０３はコマンドをジオメトリ・パイプライン３１３６に供給する。少なくとも一実施例では、少なくともいくつかのメディア処理コマンドについては、コマンド・ストリーマ３１０３はコマンドを、メディア・エンジン３１３７に結合されるビデオ・フロント・エンド３１３４に供給する。少なくとも一実施例では、メディア・エンジン３１３７は、ビデオ及び画像の後処理のためのＶｉｄｅｏ Ｑｕａｌｉｔｙ Ｅｎｇｉｎｅ（ＶＱＥ）３１３０と、マルチ・フォーマットエンコード／デコード（ＭＦＸ）３１３３エンジンを含んで、ハードウェア加速されたメディア・データのエンコード及びデコードを提供する。少なくとも一実施例では、ジオメトリ・パイプライン３１３６及びメディア・エンジン３１３７はそれぞれ、少なくとも１つのグラフィックス・コア３１８０Ａによって提供されるスレッド実行リソースのための実行スレッドを生成する。

少なくとも一実施例では、グラフィックス・プロセッサ３１００は、複数のサブ・コア３１５０Ａ～３１５０Ｎ、３１６０Ａ～３１６０Ｎ（コア・サブ・スライスと呼ばれることもある）をそれぞれが有するモジュール式コア３１８０Ａ～３１８０Ｎ（コア・スライスと呼ばれることもある）を特徴とするスケーラブルなスレッド実行リソースを含む。少なくとも一実施例では、グラフィックス・プロセッサ３１００は、任意の数のグラフィックス・コア３１８０Ａ～３１８０Ｎを有することができる。少なくとも一実施例では、グラフィックス・プロセッサ３１００は、少なくとも第１のサブ・コア３１５０Ａ及び第２のサブ・コア３１６０Ａを有するグラフィックス・コア３１８０Ａを含む。少なくとも一実施例では、グラフィックス・プロセッサ３１００は、単一のサブ・コア（たとえば、３１５０Ａ）を有する低電力プロセッサである。少なくとも一実施例では、グラフィックス・プロセッサ３１００は、第１のサブ・コア３１５０Ａ～３１５０Ｎのセット、及び第２のサブ・コア３１６０Ａ～３１６０Ｎのセットをそれぞれが含む複数のグラフィックス・コア３１８０Ａ～３１８０Ｎを含む。少なくとも一実施例では、第１のサブ・コア３１５０Ａ～３１５０Ｎの各サブ・コアは、少なくとも、実行ユニット３１５２Ａ～３１５２Ｎの第１のセット、及びメディア／テクスチャ・サンプラ３１５４Ａ～３１５４Ｎを含む。少なくとも一実施例では、第２のサブ・コア３１６０Ａ～３１６０Ｎの各サブ・コアは、少なくとも、実行ユニット３１６２Ａ～３１６２Ｎの第２のセット、及びサンプラ３１６４Ａ～３１６４Ｎを含む。少なくとも一実施例では、各サブ・コア３１５０Ａ～３１５０Ｎ、３１６０Ａ～３１６０Ｎは、共有リソース３１７０Ａ～３１７０Ｎのセットを共有する。少なくとも一実施例では、共有リソースは、共有キャッシュ・メモリ及びピクセル動作論理を含む。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィックス・プロセッサ３１００において使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図３２は、少なくとも一実施例による、命令を実行するための論理回路を含んでもよいプロセッサ３２００のマイクロ・アーキテクチャを示すブロック図である。少なくとも一実施例では、プロセッサ３２００は、ｘ８６命令、ＡＭＲ命令、特定用途向け集積回路（ＡＳＩＣ）用の特別命令などを含む命令を実行してもよい。少なくとも一実施例では、プロセッサ３２００は、カリフォルニア州サンタクララのインテルコーポレーションによる、ＭＭＸ技術で有効化されたマイクロプロセッサ内の６４ビット幅ＭＭＸＴＭレジスタなど、パック・データを記憶するためのレジスタを含んでもよい。少なくとも一実施例では、整数形式と浮動小数点形式の両方で利用可能なＭＭＸレジスタは、単一命令複数データ（「ＳＩＭＤ」）及びストリーミングＳＩＭＤ拡張（「ＳＳＥ」）命令を伴うパック・データ要素で動作してもよい。少なくとも一実施例では、ＳＳＥ２、ＳＳＥ３、ＳＳＥ４、ＡＶＸ、又はそれ以上（総称して「ＳＳＥｘ」と呼ばれる）の技術に関する１２８ビット幅のＸＭＭレジスタは、こうしたパック・データのオペランドを保持してもよい。少なくとも一実施例では、プロセッサ３２００は、機械学習若しくは深層学習のアルゴリズム、訓練、又は推論を加速するために命令を実行してもよい。

少なくとも一実施例では、プロセッサ３２００は、実行すべき命令をフェッチし、プロセッサ・パイプラインで後に使用すべき命令を準備するイン・オーダー・フロント・エンド（「フロント・エンド」）３２０１を含む。少なくとも一実施例では、フロント・エンド３２０１は、いくつかのユニットを含んでもよい。少なくとも一実施例では、命令プリフェッチャ３２２６が、メモリから命令をフェッチし、命令デコーダ３２２８に命令を供給し、命令デコーダが、命令をデコード又は解釈する。たとえば、少なくとも一実施例では、命令デコーダ３２２８は、受け取った命令を、機械が実行することのできる「マイクロ命令」又は「マイクロ・オペレーション」と呼ばれる（「マイクロ・オプス」又は「ｕｏｐｓ」とも呼ばれる）１つ又は複数のオペレーションにデコードする。少なくとも一実施例では、命令デコーダ３２２８は、命令を、オプコード及び対応するデータ、並びに制御フィールドに構文解析して、これらがマイクロ・アーキテクチャによって使用されて、少なくとも一実施例による動作が実行されてもよい。少なくとも一実施例では、トレース・キャッシュ３２３０は、デコードされたｕｏｐｓを、実行できるようにｕｏｐキュー３２３４においてプログラム順のシーケンス又はトレースにアセンブルしてもよい。少なくとも一実施例では、トレース・キャッシュ３２３０が複雑な命令に遭遇すると、マイクロコードＲＯＭ３２３２が、動作の完了に必要なｕｏｐｓを提供する。

少なくとも一実施例では、単一のマイクロ・オプスに変換できる命令もあれば、全動作を完了するためにいくつかのマイクロ・オプスを必要とする命令もある。少なくとも一実施例では、命令を完了するために５つ以上のマイクロ・オプスが必要な場合、命令デコーダ３２２８は、マイクロコードＲＯＭ３２３２にアクセスして、命令を実行してもよい。少なくとも一実施例では、命令は、命令デコーダ３２２８において処理できるように、少数のマイクロ・オプスにデコードされてもよい。少なくとも一実施例では、動作を完了するのに多数のマイクロ・オプスが必要な場合には、命令は、マイクロコードＲＯＭ３２３２に記憶されてもよい。少なくとも一実施例では、トレース・キャッシュ３２３０は、少なくとも一実施例によるマイクロコードＲＯＭ３２３２からの１つ又は複数の命令を完了するために、エントリ・ポイント・プログラマブル論理アレイ（「ＰＬＡ」）を参照して、マイクロコード・シーケンスを読み取るための正しいマイクロ命令ポインタを判定する。少なくとも一実施例では、マイクロコードＲＯＭ３２３２が命令のためのマイクロ・オプスのシーケンシングを終了した後、機械のフロント・エンド３２０１は、トレース・キャッシュ３２３０からマイクロ・オプスのフェッチを再開してもよい。

少なくとも一実施例では、アウト・オブ・オーダー実行エンジン（「アウト・オブ・オーダー・エンジン」）３２０３は、実行できるように命令を準備してもよい。少なくとも一実施例では、アウト・オブ・オーダー実行論理は、命令のフローをなめらかにし、その順序を変更するために多数バッファを有し、命令がパイプラインを下り、実行されるようにスケジューリングされるときの性能を最適化する。少なくとも一実施例では、アウト・オブ・オーダー実行エンジン３２０３は、限定することなく、アロケータ／レジスタ・リネーマ３２４０、メモリｕｏｐキュー３２４２、整数／浮動小数点ｕｏｐキュー３２４４、メモリ・スケジューラ３２４６、高速スケジューラ３２０２、低速／汎用浮動小数点スケジューラ（「低速／汎用ＦＰスケジューラ」）３２０４、及び単純浮動小数点スケジューラ（「単純ＦＰスケジューラ」）３２０６を含む。少なくとも一実施例では、高速スケジューラ３２０２、低速／汎用浮動小数点スケジューラ３２０４、及び単純浮動小数点スケジューラ３２０６は、本明細書において集合的に「ｕｏｐスケジューラ３２０２、３２０４、３２０６」とも呼ばれる。少なくとも一実施例では、アロケータ／レジスタ・リネーマ３２４０は、実行するために各ｕｏｐが必要とする機械バッファ及びリソースを配分する。少なくとも一実施例では、アロケータ／レジスタ・リネーマ３２４０は、レジスタ・ファイルへのエントリ時に論理レジスタの名前を変更する。少なくとも一実施例では、アロケータ／レジスタ・リネーマ３２４０はまた、メモリ・スケジューラ３２４６及びｕｏｐスケジューラ３２０２、３２０４、３２０６の前の、２つのｕｏｐキュー、すなわちメモリ動作のためのメモリｕｏｐキュー３２４２と非メモリ動作のための整数／浮動小数点ｕｏｐキュー３２４４のうちの１つに、各ｕｏｐのエントリを配分する。少なくとも一実施例では、ｕｏｐスケジューラ３２０２、３２０４、３２０６は、ｕｏｐｓがいつ実行準備されるかを、それらの従属入力レジスタ・オペランドのソースが準備されていること、及びそれらの動作を完了するためにｕｏｐが必要とする実行リソースが利用可能であることに基づき、判定する。少なくとも一実施例では、少なくとも一実施例の高速スケジューラ３２０２は、メイン・クロック・サイクルの半分ごとにスケジューリングしてもよく、低速／汎用浮動小数点スケジューラ３２０４及び単純浮動小数点スケジューラ３２０６は、メイン・プロセッサのクロック・サイクル当たりに１回スケジューリングしてもよい。少なくとも一実施例では、ｕｏｐスケジューラ３２０２、３２０４、３２０６は、実行できるようにｕｏｐｓをスケジューリングするためにディスパッチ・ポートを調停する。

少なくとも一実施例では、実行ブロック３２１１は、限定することなく、整数レジスタ・ファイル／バイパス・ネットワーク３２０８、浮動小数点レジスタ・ファイル／バイパス・ネットワーク（「ＦＰレジスタ・ファイル／バイパス・ネットワーク」）３２１０、アドレス生成ユニット（「ＡＧＵ」）３２１２及び３２１４、高速算術論理演算ユニット（ＡＬＵ）（「高速ＡＬＵ」）３２１６及び３２１８、低速算術論理演算ユニット（「低速ＡＬＵ」）３２２０、浮動小数点ＡＬＵ（「ＦＰ」）３２２２、並びに浮動小数点移動ユニット（「ＦＰ移動」）３２２４を含む。少なくとも一実施例では、整数レジスタ・ファイル／バイパス・ネットワーク３２０８及び浮動小数点レジスタ・ファイル／バイパス・ネットワーク３２１０は、本明細書において「レジスタ・ファイル３２０８、３２１０」とも呼ばれる。少なくとも一実施例では、ＡＧＵ３２１２及び３２１４、高速ＡＬＵ３２１６及び３２１８、低速ＡＬＵ３２２０、浮動小数点ＡＬＵ３２２２、及び浮動小数点移動ユニット３２２４は、本明細書において「実行ユニット３２１２、３２１４、３２１６、３２１８、３２２０、３２２２、及び３２２４」とも呼ばれる。少なくとも一実施例では、実行ブロックｂ１１は、限定することなく、（ゼロを含む）任意の数及びタイプのレジスタ・ファイル、バイパス・ネットワーク、アドレス生成ユニット、及び実行ユニットを、任意の組合せで含んでもよい。

少なくとも一実施例では、レジスタ・ファイル３２０８、３２１０は、ｕｏｐスケジューラ３２０２、３２０４、３２０６と、実行ユニット３２１２、３２１４、３２１６、３２１８、３２２０、３２２２、及び３２２４との間に配置されてもよい。少なくとも一実施例では、整数レジスタ・ファイル／バイパス・ネットワーク３２０８は、整数演算を実行する。少なくとも一実施例では、浮動小数点レジスタ・ファイル／バイパス・ネットワーク３２１０は、浮動小数点演算を実行する。少なくとも一実施例では、レジスタ・ファイル３２０８、３２１０のそれぞれは、限定することなく、バイパス・ネットワークを含んでもよく、このバイパス・ネットワークは、レジスタ・ファイルにまだ書き込まれていない完了したばかりの結果を、新しい従属ｕｏｐｓにバイパス又は転送してもよい。少なくとも一実施例では、レジスタ・ファイル３２０８、３２１０は、互いにデータを通信してもよい。少なくとも一実施例では、整数レジスタ・ファイル／バイパス・ネットワーク３２０８は、限定することなく、２つの別々のレジスタ・ファイル、すなわち低次３２ビットのデータ用の１つのレジスタ・ファイル、及び高次３２ビットのデータ用の第２のレジスタ・ファイルを含んでもよい。少なくとも一実施例では、浮動小数点命令は、通常、６４～１２８ビット幅のオペランドを有することから、浮動小数点レジスタ・ファイル／バイパス・ネットワーク３２１０は、限定することなく、１２８ビット幅のエントリを含んでもよい。

少なくとも一実施例では、実行ユニット３２１２、３２１４、３２１６、３２１８、３２２０、３２２２、３２２４は、命令を実行してもよい。少なくとも一実施例では、レジスタ・ファイル３２０８、３２１０は、マイクロ命令が実行する必要のある整数及び浮動小数点のデータのオペランド値を記憶する。少なくとも一実施例では、プロセッサ３２００は、限定することなく、任意の数及び組合せの実行ユニット３２１２、３２１４、３２１６、３２１８、３２２０、３２２２、３２２４を含んでよい。少なくとも一実施例では、浮動小数点ＡＬＵ３２２２及び浮動小数点移動ユニット３２２４は、浮動小数点、ＭＭＸ、ＳＩＭＤ、ＡＶＸ、及びＳＥＥ、又は特別な機械学習命令を含む他の演算を実行してもよい。少なくとも一実施例では、浮動小数点ＡＬＵ３２２２は、限定することなく、６４ビットずつの浮動小数点デバイダを含み、除算、平方根、及び残りのマイクロ・オプスを実行してもよい。少なくとも一実施例では、浮動小数点値を含む命令は、浮動小数点ハードウェアによって対処されてもよい。少なくとも一実施例では、ＡＬＵ演算は、高速ＡＬＵ３２１６、３２１８に渡されてもよい。少なくとも一実施例では、高速ＡＬＵ３２１６、３２１８は、クロック・サイクルの半分の実効レイテンシで高速演算を実行してもよい。少なくとも一実施例では、低速ＡＬＵ３２２０は、乗数、シフト、フラグ論理、及びブランチ処理などの長レイテンシ・タイプの演算のための整数実行ハードウェアを、限定することなく含んでもよいことから、ほとんどの複雑な整数演算は低速ＡＬＵに進む。少なくとも一実施例では、メモリのロード／ストア動作は、ＡＧＵＳ３２１２、３２１４によって実行されてもよい。少なくとも一実施例では、高速ＡＬＵ３２１６、高速ＡＬＵ３２１８、及び低速ＡＬＵ３２２０は、６４ビットのデータ・オペランドで整数演算を実行してもよい。少なくとも一実施例では、高速ＡＬＵ３２１６、高速ＡＬＵ３２１８、及び低速ＡＬＵ３２２０は、１６、３２、１２８、２５６などを含む様々なデータ・ビット・サイズをサポートするように実装されてもよい。少なくとも一実施例では、浮動小数点ＡＬＵ３２２２及び浮動小数点移動ユニット３２２４は、様々なビット幅を有する幅広いオペランドをサポートするように実装されてもよい。少なくとも一実施例では、浮動小数点ＡＬＵ３２２２及び浮動小数点移動ユニット３２２４は、ＳＩＭＤ及びマルチメディア命令と併せて１２８ビット幅のパック・データ・オペランドで動作してもよい。

少なくとも一実施例では、ｕｏｐスケジューラ３２０２、３２０４、３２０６は、親ロードが実行を終了する前に、従属演算をディスパッチする。少なくとも一実施例では、ｕｏｐｓは、プロセッサ３２００において投機的にスケジューリング及び実行されてもよいので、プロセッサ３２００は、メモリ・ミスに対処するための論理も含んでよい。少なくとも一実施例では、データ・キャッシュにおいてデータ・ロードがミスした場合、一時的に不正確なデータを有するスケジューラを通り過ぎたパイプラインに、進行中の従属演算が存在してもよい。少なくとも一実施例では、リプレイ機構が、不正確なデータを使用する命令を追跡及び再実行する。少なくとも一実施例では、従属演算は、リプレイされる必要があってもよく、独立した演算は、完了が許容されてもよい。少なくとも一実施例では、プロセッサの少なくとも一実施例のスケジューラ及びリプレイ機構はまた、テキスト・ストリング比較演算のための命令シーケンスを捕捉するように設計されてもよい。

少なくとも一実施例では、用語「レジスタ」は、オペランドを識別するための命令の一部として使用することができるオンボード・プロセッサのストレージ・ロケーションを指してもよい。少なくとも一実施例では、レジスタは、（プログラマの視点から見て）プロセッサの外部から使用可能であり得るものであってもよい。少なくとも一実施例では、レジスタは、特定のタイプの回路に限定されなくてもよい。むしろ、少なくとも一実施例では、レジスタは、データを記憶し、データを提供し、本明細書に記載の機能を実行してもよい。少なくとも一実施例では、本明細書に記載のレジスタは、専用物理レジスタ、レジスタ・リネーミングを使用して動的に配分される物理レジスタ、専用物理レジスタと動的に配分される物理レジスタとの組合せなど、任意の数の異なる技法を使用して、プロセッサ内の回路によって実装されてもよい。少なくとも一実施例では、整数レジスタは、３２ビットの整数データを記憶する。少なくとも一実施例のレジスタ・ファイルは、パック・データのための８つのマルチメディアＳＩＭＤレジスタも含む。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５の一部又はすべてが、実行ブロック３２１１、及び図示してある若しくは図示していない他のメモリ又はレジスタに組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、実行ブロック３２１１に示すＡＬＵのうちの１つ又は複数を使用してもよい。さらに、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するための実行ブロック３２１１のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図３３は、少なくとも一実施例による深層学習アプリケーション・プロセッサ３３００を示す。少なくとも一実施例では、深層学習アプリケーション・プロセッサ３３００は、深層学習アプリケーション・プロセッサ３３００によって実行される場合に、本開示全体を通して記載するプロセス及び技法の一部又はすべてを、深層学習アプリケーション・プロセッサ３３００に実行させる命令を使用する。少なくとも一実施例では、深層学習アプリケーション・プロセッサ３３００は、特定用途向け集積回路（ＡＳＩＣ）である。少なくとも一実施例では、アプリケーション・プロセッサ３３００は、１つ若しくは複数の命令又は両方を実行した結果としていずれもハードウェアに「ハード・ワイヤード」された行列乗算演算を実行する。少なくとも一実施例では、深層学習アプリケーション・プロセッサ３３００は、限定することなく、処理クラスタ３３１０（１）～３３１０（１２）、チップ間リンク（「ＩＣＬ」）３３２０（１）～３３２０（１２）、チップ間コントローラ（「ＩＣＣ」）３３３０（１）～３３３０（２）、メモリ・コントローラ（「Ｍｅｍ Ｃｔｒｌｒｓ」）３３４２（１）～３３４２（４）、高帯域幅メモリ物理層（「ＨＢＭ ＰＨＹ」）３３４４（１）～３３４４（４）、管理－コントローラ中央処理装置（「管理－コントローラＣＰＵ」）３３５０、シリアル・ペリフェラル・インターフェース、集積回路間、及び汎用入力／出力ブロック（「ＳＰＩ、Ｉ２Ｃ、ＧＰＩＯ」）、周辺構成要素相互接続エクスプレス・コントローラ及びダイレクト・メモリ・アクセス・ブロック（「ＰＣＩｅコントローラ及びＤＭＡ」）３３７０、並びに１６レーン周辺構成要素相互接続エクスプレス・ポート（「ＰＣＩエクスプレスｘ１６」）３３８０を含む。

少なくとも一実施例では、処理クラスタ３３１０は、本明細書に記載の技法を含む１つ又は複数の訓練技法計算された重みパラメータに基づき、推論又は予測の演算を含む深層学習演算を実行してもよい。少なくとも一実施例では、各処理クラスタ３３１０は、限定することなく、任意の数及びタイプのプロセッサを含んでもよい。少なくとも一実施例では、深層学習アプリケーション・プロセッサ３３００は、任意の数及びタイプの処理クラスタ３３００を含んでもよい。少なくとも一実施例では、チップ間リンク３３２０は、双方向性である。少なくとも一実施例では、チップ間リンク３３２０及びチップ間コントローラ３３３０は、１つ又は複数のニューラル・ネットワークに具体化された１つ又は複数の機械学習アルゴリズムを実行した結果得られるアクティブ化情報を含む情報を、複数の深層学習アプリケーション・プロセッサ３３００が交換できるようにする。少なくとも一実施例では、深層学習アプリケーション・プロセッサ３３００は、（ゼロを含む）任意の数及びタイプのＩＣＬ３３２０及びＩＣＣ３３３０を含んでもよい。

少なくとも一実施例では、ＨＢＭ２ ３３４０は、合計３２ギガバイト（ＧＢ）のメモリを提供する。ＨＢＭ２ ３３４０（ｉ）は、メモリ・コントローラ３３４２（ｉ）とＨＢＭ ＰＨＹ３３４４（ｉ）の両方に関連付けられる。少なくとも一実施例では、任意の数のＨＢＭ２ ３３４０が、任意のタイプ及び合計量の高帯域幅メモリを提供してもよく、（ゼロを含む）任意の数及びタイプのメモリ・コントローラ３３４２及びＨＢＭ ＰＨＹ３３４４に関連付けられてもよい。少なくとも一実施例では、ＳＰＩ、Ｉ２Ｃ、ＧＰＩＯ３３６０、ＰＣＩｅコントローラ及びＤＭＡ３３７０、並びに／又はＰＣＩｅ３３８０は、任意の技術的に実行可能なやり方で任意の数及びタイプの通信規格を有効にする任意の数及びタイプのブロックに置き換えられてもよい。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサ３３００は、深層学習アプリケーション・プロセッサ３３００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、深層学習アプリケーション・プロセッサ３３００は、別のプロセッサ若しくはシステムによって、又は深層学習アプリケーション・プロセッサ３３００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、プロセッサ３３００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図３４は、少なくとも一実施例による、ニューロモーフィック・プロセッサ３４００のブロック図である。少なくとも一実施例では、ニューロモーフィック・プロセッサ３４００は、ニューロモーフィック・プロセッサ３４００の外部のソースから１つ又は複数の入力を受信する。少なくとも一実施例では、これらの入力は、ニューロモーフィック・プロセッサ３４００内の１つ又は複数のニューロン３４０２に送信されてもよい。少なくとも一実施例では、ニューロン３４０２及びその構成要素は、１つ又は複数の算術論理演算ユニット（ＡＬＵ）を含む回路又は論理を使用して、実装されてもよい。少なくとも一実施例では、ニューロモーフィック・プロセッサ３４００は、限定することなく、ニューロン３４０２の数千又は数百万のインスタンスを含んでもよいが、任意の好適な数のニューロン３４０２が使用されてもよい。少なくとも一実施例では、ニューロン３４０２の各インスタンスは、ニューロン入力３４０４及びニューロン出力３４０６を含んでもよい。少なくとも一実施例では、ニューロン３４０２は出力を生成してもよく、この出力は、ニューロンの他のインスタンスの入力に送信されてもよい。たとえば、少なくとも一実施例では、ニューロン入力３４０４及びニューロン出力３４０６は、シナプス３４０８を介して相互接続されてもよい。

少なくとも一実施例では、ニューロン３４０２とシナプス３４０８は、ニューロモーフィック・プロセッサ３４００が受信した情報をニューロモーフィック・プロセッサ３４００が動作して処理又は分析するように、相互接続されてもよい。少なくとも一実施例では、ニューロン３４０２は、ニューロン入力３４０４を介して受信した入力が、閾値を超えているとき、出力パルス（又は「発火」若しくは「スパイク」）を送信してもよい。少なくとも一実施例では、ニューロン３４０２は、ニューロン入力３４０４において受信した信号を合計又は積分してもよい。たとえば、少なくとも一実施例では、ニューロン３４０２は、漏れ積分発火ニューロン（ｌｅａｋｙ ｉｎｔｅｇｒａｔｅ－ａｎｄ－ｆｉｒｅ ｎｅｕｒｏｎ）として実装されてもよく、ここで、合計（「膜電位」と呼ばれる）が閾値を超える場合には、ニューロン３４０２は、シグモイド関数又は閾値関数などの伝達関数を使用して、出力（又は「発火」）を生成してもよい。少なくとも一実施例では、漏れ積分発火ニューロンは、ニューロン入力３４０４で受信した信号を合計して膜電位にしてもよく、また、崩壊因子（又は漏れ）を適用して膜電位を低減してもよい。少なくとも一実施例では、複数の入力信号が、閾値を超えるほど十分に素早く（すなわち、膜電位の崩壊が少なすぎて発火できなくなる前に）ニューロン入力３４０４において受信された場合には、漏れ積分発火ニューロンが発火してもよい。少なくとも一実施例では、ニューロン３４０２は、入力を受信し、入力を積分して膜電位にし、膜電位を崩壊させる回路又は論理を使用して、実装されてもよい。少なくとも一実施例では、入力は平均化されてもよく、又は任意の他の好適な伝達関数が使用されてもよい。さらに、少なくとも一実施例では、ニューロン３４０２は、ニューロン３４０４に伝達関数を適用した結果が閾値を超えるとき、ニューロン３４０６において出力スパイクを生成するコンパレータ回路又は論理を、限定することなく含んでもよい。少なくとも一実施例では、ニューロン３４０２は発火すると、前に受信した入力情報を、たとえば膜電位を０又は他の好適なデフォルト値に再設定することによって、無視してもよい。少なくとも一実施例では、膜電位が０にリセットされると、ニューロン３４０２は、好適な期間（又は不応期）の後に通常の動作を再開してもよい。

少なくとも一実施例では、ニューロン３４０２は、シナプス３４０８を通して相互接続されてもよい。少なくとも一実施例では、シナプス３４０８は、第１のニューロン３４０２の出力から第２のニューロン３４０２の入力に信号を送信するように動作してもよい。少なくとも一実施例では、ニューロン３４０２は、シナプス３４０８の２つ以上のインスタンスを介して情報を送信してもよい。少なくとも一実施例では、ニューロン出力３４０６の１つ又は複数のインスタンスは、シナプス３４０８のインスタンスを介して、同じニューロン３４０２のニューロン入力３４０４のインスタンスに接続されてもよい。少なくとも一実施例では、シナプス３４０８のインスタンスを介して送信されることになる出力を生成するニューロン３４０２のインスタンスは、シナプス３４０８のそのインスタンスに対して「シナプス前ニューロン」と呼ばれてもよい。少なくとも一実施例では、シナプス３４０８のインスタンスを介して送信されることになる入力を受信するニューロン３４０２のインスタンスは、シナプス３４０８のそのインスタンスに対して「シナプス後ニューロン」と呼ばれてもよい。少なくとも一実施例では、ニューロン３４０２のインスタンスは、シナプス３４０８の１つ又は複数のインスタンスから入力を受信してもよく、また、シナプス３４０８の１つ又は複数のインスタンスを介して出力を送信してもよいので、ニューロン３４０２の単一のインスタンスは、したがって、シナプス３４０８の様々なインスタンスに対して「シナプス前ニューロン」と「シナプス後ニューロン」の両方であってもよい。

少なくとも一実施例では、ニューロン３４０２は、１つ又は複数の層に組織化されてもよい。ニューロン３４０２の各インスタンスは、１つ又は複数のシナプス３４０８を通って１つ又は複数のニューロン入力３４０４にファン・アウトすることができる１つのニューロン出力３４０６を有してもよい。少なくとも一実施例では、第１の層３４１０のニューロン３４０２のニューロン出力３４０６は、第２の層３４１２のニューロン３４０２のニューロン入力３４０４に接続されてもよい。少なくとも一実施例では、層３４１０は、「フィード・フォワード」層と呼ばれてもよい。少なくとも一実施例では、第１の層３４１０のインスタンスにおけるニューロン３４０２の各インスタンスは、第２の層３４１２におけるニューロン３４０２の各インスタンスにファン・アウトしてもよい。少なくとも一実施例では、第１の層３４１０は、「完全に接続されたフィード・フォワード層」と呼ばれてもよい。少なくとも一実施例では、第２の層３４１２のインスタンスにおけるニューロン３４０２の各インスタンスは、第３の層３４１４におけるニューロン３４０２の全インスタンスより少ないインスタンスにファン・アウトしてもよい。少なくとも一実施例では、第２の層３４１２は、「疎に接続されたフィード・フォワード層」と呼ばれてもよい。少なくとも一実施例では、第２の層３４１２のニューロン３４０２は、（同じ）第２の層３４１２におけるニューロン３４０２を含め、複数の他の層のニューロン３４０２にファン・アウトしてもよい。少なくとも一実施例では、第２の層３４１２は、「回帰層」と呼ばれてもよい。少なくとも一実施例では、ニューロモーフィック・プロセッサ３４００は、疎に接続されたフィード・フォワード層と完全に接続されたフィード・フォワード層の両方を限定することなく含む、回帰層とフィード・フォワード層の任意の好適な組合せを限定することなく含んでもよい。

少なくとも一実施例では、ニューロモーフィック・プロセッサ３４００は、シナプス３４０８をニューロン３４０２に接続するための再構成可能相互接続アーキテクチャ、又は専用ハード・ワイヤード相互接続を、限定することなく含んでもよい。少なくとも一実施例では、ニューロモーフィック・プロセッサ３４００は、ニューラル・ネットワーク・トポロジ、及びニューロンのファン・イン／ファン・アウトに基づき、必要に応じてシナプスを異なるニューロン３４０２に配分できるようにする回路又は論理を、限定することなく含んでもよい。たとえば、少なくとも一実施例では、シナプス３４０８は、ネットワーク・オン・チップなどの相互接続ファブリックを使用して、又は専用の接続を用いて、ニューロン３４０２に接続されてもよい。少なくとも一実施例では、シナプス相互接続及びその構成要素は、回路又は論理を使用して実装されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図３５は、少なくとも一実施例による処理システムのブロック図である。少なくとも一実施例では、システム３５００は、１つ又は複数のプロセッサ３５０２、及び１つ又は複数のグラフィックス・プロセッサ３５０８を含み、単一プロセッサのデスクトップ・システム、マルチプロセッサのワークステーション・システム、又は多数のプロセッサ３５０２若しくはプロセッサ・コア３５０７を有するサーバ・システムであってもよい。少なくとも一実施例では、システム３５００は、モバイル・デバイス、携帯型デバイス、又は組み込みデバイスで使用するためのシステム・オン・チップ（ＳｏＣ）集積回路内に組み込まれた処理プラットフォームである。

少なくとも一実施例では、システム３５００は、サーバ・ベースのゲーミング・プラットフォーム、ゲーム及びメディアのコンソールを含むゲーム・コンソール、モバイル・ゲーミング・コンソール、携帯型ゲーム・コンソール、若しくはオンライン・ゲーム・コンソールを含んでもよく、又はそれらに組み込まれてもよい。少なくとも一実施例では、システム３５００は、モバイル・フォン、スマート・フォン、タブレット・コンピューティング・デバイス、又はモバイル・インターネット・デバイスである。少なくとも一実施例では、処理システム３５００はまた、スマート・ウォッチ・ウェアラブル・デバイス、スマート・アイウェア・デバイス、拡張現実デバイス、若しくは仮想現実デバイスなどのウェアラブル・デバイスを含んでもよく、それらに結合されてもよく、又はそれらの中に一体化されてもよい。少なくとも一実施例では、処理システム３５００は、１つ若しくは複数のプロセッサ３５０２と、１つ若しくは複数のグラフィックス・プロセッサ３５０８によって生成されるグラフィカル・インターフェースとを有するテレビ又はセット・トップ・ボックス・デバイスである。

少なくとも一実施例では、１つ又は複数のプロセッサ３５０２はそれぞれ、実行されたときにシステム及びユーザ・ソフトウェアのための動作を実行する命令を処理するための１つ又は複数のプロセッサ・コア３５０７を含む。少なくとも一実施例では、１つ又は複数のプロセッサ・コア３５０７のそれぞれは、特定の命令セット３５０９を処理するように構成される。少なくとも一実施例では、命令セット３５０９は、複合命令セット・コンピューティング（ＣＩＳＣ）、縮小命令セット・コンピューティング（ＲＩＳＣ）、又は超長命令語（ＶＬＩＷ）を介したコンピューティングを容易にしてもよい。少なくとも一実施例では、プロセッサ・コア３５０７はそれぞれ、異なる命令セット３５０９を処理してもよく、この命令セットは、他の命令ユニットのエミュレーションを容易にする命令を含んでもよい。少なくとも一実施例では、プロセッサ・コア３５０７はまた、デジタル信号プロセッサ（ＤＳＰ）などの他の処理デバイスを含んでもよい。

少なくとも一実施例では、プロセッサ３５０２はキャッシュ・メモリ３５０４を含む。少なくとも一実施例では、プロセッサ３５０２は、単一の内部キャッシュ又は複数レベルの内部キャッシュを有してもよい。少なくとも一実施例では、キャッシュ・メモリは、プロセッサ３５０２の様々な構成要素間で共有されてもよい。少なくとも一実施例では、プロセッサ３５０２はまた、外部キャッシュ（たとえば、レベル３（Ｌ３）キャッシュ又はラスト・レベル・キャッシュ（ＬＬＣ））（図示せず）を使用し、このキャッシュは、知られているキャッシュ・コヒーレンス技法を使用して、プロセッサ・コア３５０７間で共有されてもよい。少なくとも一実施例では、さらにレジスタ・ファイル３５０６がプロセッサ３５０２に含まれ、このレジスタ・ファイルは、異なるタイプのデータを記憶するための異なるタイプのレジスタ（たとえば、整数レジスタ、浮動小数点レジスタ、状態レジスタ、及び命令ポインタ・レジスタ）を含んでもよい。少なくとも一実施例では、レジスタ・ファイル３５０６は、汎用レジスタ又は他のレジスタを含んでもよい。

少なくとも一実施例では、１つ又は複数のプロセッサ３５０２は、１つ又は複数のインターフェース・バス３５１０に結合されて、アドレス、データ、又は制御信号などの通信信号を、プロセッサ３５０２とシステム３５００内の他の構成要素との間で送信する。少なくとも一実施例では、インターフェース・バス３５１０は、一実施例では、ダイレクト・メディア・インターフェース（ＤＭＩ）バスなどのプロセッサ・バスとすることができる。少なくとも一実施例では、インターフェース３５１０は、ＤＭＩバスに限定されず、１つ若しくは複数のペリフェラル・コンポーネント・インターコネクト・バス（たとえば、ＰＣＩ、ＰＣＩエクスプレス）、メモリ・バス、又は他のタイプのインターフェース・バスを含んでもよい。少なくとも一実施例では、プロセッサ３５０２は、統合メモリ・コントローラ３５１６、及びプラットフォーム・コントローラ・ハブ３５３０を含む。少なくとも一実施例では、メモリ・コントローラ３５１６は、メモリ・デバイスとシステム３５００の他の構成要素との間の通信を容易にし、一方でプラットフォーム・コントローラ・ハブ（ＰＣＨ）３５３０は、ローカルＩ／Ｏバスを介してＩ／Ｏデバイスへの接続を提供する。

少なくとも一実施例では、メモリ・デバイス３５２０は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）デバイス、フラッシュ・メモリ・デバイス、相変化メモリ・デバイス、又はプロセス・メモリとしての役割を果たすのに好適な性能を有する何らかの他のメモリ・デバイスとすることができる。少なくとも一実施例では、メモリ・デバイス３５２０は、システム３５００のためのシステム・メモリとして動作して、１つ又は複数のプロセッサ３５０２がアプリケーション若しくはプロセスを実行するときに使用するためのデータ３５２２及び命令３５２１を記憶することができる。少なくとも一実施例では、メモリ・コントローラ３５１６はまた、任意選択の外部グラフィックス・プロセッサ３５１２と結合しており、このグラフィックス・プロセッサは、プロセッサ３５０２内の１つ又は複数のグラフィックス・プロセッサ３５０８と通信して、グラフィックス及びメディアの動作を実行してもよい。少なくとも一実施例では、ディスプレイ・デバイス３５１１は、プロセッサ３５０２に接続することができる。少なくとも一実施例では、ディスプレイ・デバイス３５１１は、モバイル電子デバイス又はラップトップ・デバイスのような内部ディスプレイ・デバイス、又はディスプレイ・インターフェース（たとえば、ディスプレイ・ポートなど）を介して取り付けられる外部ディスプレイ・デバイスのうちの１つ又は複数を含むことができる。少なくとも一実施例では、ディスプレイ・デバイス３５１１は、仮想現実（ＶＲ）アプリケーション又は拡張現実（ＡＲ）アプリケーションで使用するための立体ディスプレイ・デバイスなどの頭装着型ディスプレイ（ＨＭＤ）を含むことができる。

少なくとも一実施例では、プラットフォーム・コントローラ・ハブ３５３０は、周辺装置が高速Ｉ／Ｏバスを介してメモリ・デバイス３５２０及びプロセッサ３５０２に接続できるようにする。少なくとも一実施例では、Ｉ／Ｏ周辺装置は、オーディオ・コントローラ３５４６、ネットワーク・コントローラ３５３４、ファームウェア・インターフェース３５２８、ワイヤレス・トランシーバ３５２６、タッチ・センサ３５２５、データ・ストレージ・デバイス３５２４（たとえば、ハード・ディスク・ドライブ、フラッシュ・メモリなど）を含むが、これらに限定されない。少なくとも一実施例では、データ・ストレージ・デバイス３５２４は、ストレージ・インターフェース（たとえば、ＳＡＴＡ）を介して、又はペリフェラル・コンポーネント・インターコネクト・バス（たとえば、ＰＣＩ、ＰＣＩエクスプレス）などのペリフェラル・バスを介して、接続することができる。少なくとも一実施例では、タッチ・センサ３５２５は、タッチ画面センサ、圧力センサ、又は指紋センサを含むことができる。少なくとも一実施例では、ワイヤレス・トランシーバ３５２６は、ＷｉＦｉトランシーバ、Ｂｌｕｅｔｏｏｔｈトランシーバ、又は３Ｇ、４Ｇ、若しくはＬｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）トランシーバなどのモバイル・ネットワーク・トランシーバとすることができる。少なくとも一実施例では、ファームウェア・インターフェース３５２８は、システム・ファームウェアとの通信を可能にし、たとえば、ユニファイド・エクステンシブル・ファームウェア・インターフェース（ＵＥＦＩ）とすることができる。少なくとも一実施例では、ネットワーク・コントローラ３５３４は、有線ネットワークへのネットワーク接続を可能にすることができる。少なくとも一実施例では、高性能ネットワーク・コントローラ（図示せず）は、インターフェース・バス３５１０と結合する。少なくとも一実施例では、オーディオ・コントローラ３５４６は、多チャネル・ハイ・デフィニション・オーディオ・コントローラである。少なくとも一実施例では、システム３５００は、レガシー（たとえば、パーソナル・システム２（ＰＳ／２））デバイスをシステムに結合するための任意選択のレガシーＩ／Ｏコントローラ３５４０を含む。少なくとも一実施例では、プラットフォーム・コントローラ・ハブ３５３０は、キーボードとマウス３５４３の組合せ、カメラ３５４４、又は他のＵＳＢ入力デバイスなど、１つ又は複数のユニバーサル・シリアル・バス（ＵＳＢ）コントローラ３５４２の接続入力デバイスにも接続することができる。

少なくとも一実施例では、メモリ・コントローラ３５１６及びプラットフォーム・コントローラ・ハブ３５３０のインスタンスは、外部グラフィックス・プロセッサ３５１２などの個別の外部グラフィックス・プロセッサに一体化されてもよい。少なくとも一実施例では、プラットフォーム・コントローラ・ハブ３５３０及び／又はメモリ・コントローラ３５１６は、１つ又は複数のプロセッサ３５０２の外部にあってもよい。たとえば、少なくとも一実施例では、システム３５００は、外部のメモリ・コントローラ３５１６及びプラットフォーム・コントローラ・ハブ３５３０を含むことができ、これらは、プロセッサ３５０２と通信するシステム・チップセット内のメモリ・コントローラ・ハブ及び周辺装置コントローラ・ハブとして構成されてもよい。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５の一部又はすべてが、グラフィックス・プロセッサ３５００に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、グラフィックス・プロセッサ３５１２に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図１７Ａ又は図１７Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ３５００のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図３６は、少なくとも一実施例による、１つ又は複数のプロセッサ・コア３６０２Ａ～３６０２Ｎ、統合メモリ・コントローラ３６１４、及び統合グラフィックス・プロセッサ３６０８を有するプロセッサ３６００のブロック図である。少なくとも一実施例では、プロセッサ３６００は、破線の四角によって表される追加コア３６０２Ｎを含むそれ以下の数の追加コアを含むことができる。少なくとも一実施例では、プロセッサ・コア３６０２Ａ～３６０２Ｎのそれぞれは、１つ又は複数の内部キャッシュ・ユニット３６０４Ａ～３６０４Ｎを含む。少なくとも一実施例では、各プロセッサ・コアはまた、１つ又は複数の共有キャッシュ・ユニット３６０６にアクセスすることができる。

少なくとも一実施例では、内部キャッシュ・ユニット３６０４Ａ～３６０４Ｎ、及び共有キャッシュ・ユニット３６０６は、プロセッサ３６００内のキャッシュ・メモリ階層を表す。少なくとも一実施例では、キャッシュ・メモリ・ユニット３６０４Ａ～３６０４Ｎは、各プロセッサ・コア内の命令及びデータのキャッシュの少なくとも１つのレベル、並びにレベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）などの共有中間レベル・キャッシュの１つ又は複数のレベル、又はキャッシュの他のレベルを含んでもよく、ここで外部メモリの前の最高レベルのキャッシュは、ＬＬＣとして分類される。少なくとも一実施例では、キャッシュ・コヒーレンス論理は、様々なキャッシュ・ユニット３６０６及び３６０４Ａ～３６０４Ｎ間でコヒーレンスを維持する。

少なくとも一実施例では、プロセッサ３６００はまた、１つ又は複数のバス・コントローラ・ユニット３６１６とシステム・エージェント・コア３６１０のセットを含んでもよい。少なくとも一実施例では、１つ又は複数のバス・コントローラ・ユニット３６１６は、１つ又は複数のＰＣＩ若しくはＰＣＩエクスプレス・バスなどのペリフェラル・バスのセットを管理する。少なくとも一実施例では、システム・エージェント・コア３６１０は、様々なプロセッサ構成要素のための管理機能を提供する。少なくとも一実施例では、システム・エージェント・コア３６１０は、様々な外部メモリ・デバイス（図示せず）へのアクセスを管理するための１つ又は複数の統合メモリ・コントローラ３６１４を含む。

少なくとも一実施例では、プロセッサ・コア３６０２Ａ～３６０２Ｎの１つ又は複数は、同時マルチスレッディングのサポートを含む。少なくとも一実施例では、システム・エージェント・コア３６１０は、マルチスレッドの処理中にコア３６０２Ａ～３６０２Ｎを調整し動作させるための構成要素を含む。少なくとも一実施例では、システム・エージェント・コア３６１０はさらに、電力制御ユニット（ＰＣＵ）を含んでもよく、このユニットは、プロセッサ・コア３６０２Ａ～３６０２Ｎ及びグラフィックス・プロセッサ３６０８の１つ又は複数の電力状態を調整するための論理及び構成要素を含む。

少なくとも一実施例では、プロセッサ３６００はさらに、グラフィックス処理動作を実行するためのグラフィックス・プロセッサ３６０８を含む。少なくとも一実施例では、グラフィックス・プロセッサ３６０８は、共有キャッシュ・ユニット３６０６と、１つ又は複数の統合メモリ・コントローラ３６１４を含むシステム・エージェント・コア３６１０とに結合する。少なくとも一実施例では、システム・エージェント・コア３６１０はまた、１つ又は複数の結合されたディスプレイに対してグラフィックス・プロセッサの出力を行わせるためのディスプレイ・コントローラ３６１１を含む。少なくとも一実施例では、ディスプレイ・コントローラ３６１１はまた、少なくとも１つの相互接続を介してグラフィックス・プロセッサ３６０８に結合された別個のモジュールであってもよく、又はグラフィックス・プロセッサ３６０８内に一体化されていてもよい。

少なくとも一実施例では、プロセッサ３６００の内部構成要素を結合するために、リング・ベースの相互接続ユニット３６１２が使用される。少なくとも一実施例では、ポイントツーポイント相互接続、スイッチ相互接続、又は他の技法などの代替的な相互接続ユニットが使用されてもよい。少なくとも一実施例では、グラフィックス・プロセッサ３６０８は、Ｉ／Ｏリンク３６１３を介してリング相互接続３６１２と結合する。

少なくとも一実施例では、Ｉ／Ｏリンク３６１３は、様々なプロセッサ構成要素と、ｅＤＲＡＭモジュールなどの高性能組み込みメモリ・モジュール３６１８との間の通信を容易にするオン・パッケージＩ／Ｏ相互接続を含む多様なＩ／Ｏ相互接続のうちの少なくとも１つを表す。少なくとも一実施例では、プロセッサ・コア３６０２Ａ～３６０２Ｎのそれぞれ及びグラフィックス・プロセッサ３６０８は、共有ラスト・レベル・キャッシュとして組み込みメモリ・モジュール３６１８を使用する。

少なくとも一実施例では、プロセッサ・コア３６０２Ａ～３６０２Ｎは、共通の命令セット・アーキテクチャを実行する同種のコアである。少なくとも一実施例では、プロセッサ・コア３６０２Ａ～３６０２Ｎは、命令セット・アーキテクチャ（ＩＳＡ）の観点から見れば異種であり、ここでプロセッサ・コア３６０２Ａ～３６０２Ｎのうちの１つ又は複数は、共通の命令セットを実行するが、プロセッサ・コア３６０２Ａ～３６０２Ｎのうちの１つ又は複数の他のコアは、共通の命令セットのサブセット、又は異なる命令セットを実行する。少なくとも一実施例では、プロセッサ・コア３６０２Ａ～３６０２Ｎは、マイクロ・アーキテクチャの観点から見れば異種であり、ここで電力消費の相対的に高い１つ又は複数のコアは、電力消費の低い１つ又は複数のコアと結合する。少なくとも一実施例では、プロセッサ３６００は、１つ若しくは複数のチップ上に、又はＳｏＣ集積回路として実装することができる。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５の一部又はすべてが、プロセッサ３６００に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、グラフィックス・プロセッサ３５１２、グラフィックス・コア３６０２Ａ～３６０２Ｎ、又は図３６の他の構成要素に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図１７Ａ又は図１７Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ３６００のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図３７は、本明細書に記載の少なくとも一実施例によるグラフィックス・プロセッサ・コア３７００のハードウェア論理のブロック図である。少なくとも一実施例では、グラフィックス・プロセッサ・コア３７００は、グラフィックス・コア・アレイ内に含まれる。少なくとも一実施例では、コア・スライスと呼ばれることもあるグラフィックス・プロセッサ・コア３７００は、モジュール式グラフィックス・プロセッサ内の１つ又は複数のグラフィックス・コアとすることができる。少なくとも一実施例では、グラフィックス・プロセッサ・コア３７００は、１つのグラフィックス・コア・スライスの例示であり、本明細書に記載のグラフィックス・プロセッサは、目的の電力及び性能のエンベロープに基づき、複数のグラフィックス・コア・スライスを含んでもよい。少なくとも一実施例では、各グラフィックス・コア３７００は、汎用及び固定の機能論理のモジュール式ブロックを含むサブ・スライスとも呼ばれる複数のサブ・コア３７０１Ａ～３７０１Ｆに結合された固定機能ブロック３７３０を含むことができる。

少なくとも一実施例では、固定機能ブロック３７３０は、たとえば低性能及び／又は低電力のグラフィックス・プロセッサ実装形態において、グラフィックス・プロセッサ３７００内のすべてのサブ・コアが共有できるジオメトリ／固定機能パイプライン３７３６を含む。少なくとも一実施例では、ジオメトリ／固定機能パイプライン３７３６は、３Ｄ固定機能パイプライン、ビデオ・フロント・エンド・ユニット、スレッド・スポーナ（ｓｐａｗｎｅｒ）及びスレッド・ディスパッチャ、並びに統合リターン・バッファを管理する統合リターン・バッファ・マネージャを含む。

少なくとも一実施例では、固定機能ブロック３７３０はまた、グラフィックスＳｏＣインターフェース３７３７、グラフィックス・マイクロコントローラ３７３８、及びメディア・パイプライン３７３９を含む。少なくとも一実施例では、固定のグラフィックスＳｏＣインターフェース３７３７は、グラフィックス・コア３７００と、システム・オン・チップ集積回路内の他のプロセッサ・コアとのインターフェースを提供する。少なくとも一実施例では、グラフィックス・マイクロコントローラ３７３８は、スレッド・ディスパッチ、スケジューリング、及びプリエンプションを含め、グラフィックス・プロセッサ３７００の様々な機能を管理するように構成可能なプログラム可能サブ・プロセッサである。少なくとも一実施例では、メディア・パイプライン３７３９は、画像及びビデオのデータを含むマルチメディア・データのデコーディング、エンコーディング、前処理、及び／又は後処理を容易にする論理を含む。少なくとも一実施例では、メディア・パイプライン３７３９は、サブ・コア３７０１～３７０１Ｆ内のコンピュート論理又はサンプリング論理への要求を介して、メディア動作を実装する。

少なくとも一実施例では、ＳｏＣインターフェース３７３７は、汎用アプリケーション・プロセッサ・コア（たとえば、ＣＰＵ）、及び／又はＳｏＣ内の他の構成要素と、グラフィックス・コア３７００が通信できるようにし、ＳｏＣ内の他の構成要素には、共有ラスト・レベル・キャッシュ・メモリ、システムＲＡＭ、及び／又は組み込みオン・チップ若しくはオン・パッケージのＤＲＡＭなどのメモリ階層要素が含まれる。少なくとも一実施例では、ＳｏＣインターフェース３７３７はまた、カメラ・イメージング・パイプラインなど、ＳｏＣ内の固定機能デバイスとの通信を可能にし、グラフィックス・コア３７００とＳｏＣ内のＣＰＵとの間で共有することができるグローバル・メモリ・アトミックの使用を可能にし、且つ／又はそれを実装する。少なくとも一実施例では、ＳｏＣインターフェース３７３７はまた、グラフィックス・コア３７００の電力管理制御を実装することができ、グラフィックス・コア３７００のクロック・ドメインと、ＳｏＣ内の他のクロック・ドメインとの間でインターフェースをとれるようにする。少なくとも一実施例では、ＳｏＣインターフェース３７３７は、グラフィックス・プロセッサ内の１つ又は複数のグラフィックス・コアのそれぞれにコマンド及び命令を提供するように構成されたコマンド・ストリーマ及びグローバル・スレッド・ディスパッチャから、コマンド・バッファを受信できるようにする。少なくとも一実施例では、コマンド及び命令は、メディア動作が実行されるときにはメディア・パイプライン３７３９にディスパッチされることが可能であり、又はグラフィックス処理動作が実行されるときには、ジオメトリ及び固定機能パイプライン（たとえば、ジオメトリ及び固定機能パイプライン３７３６、ジオメトリ及び固定機能パイプライン３７１４）にディスパッチされることが可能である。

少なくとも一実施例では、グラフィックス・マイクロコントローラ３７３８は、グラフィックス・コア３７００のための様々なスケジューリング及び管理タスクを実行するように構成されることが可能である。少なくとも一実施例では、グラフィックス・マイクロコントローラ３７３８は、サブ・コア３７０１Ａ～３７０１Ｆ内の実行ユニット（ＥＵ）アレイ３７０２Ａ～３７０２Ｆ、３７０４Ａ～３７０４Ｆ内の様々なグラフィックス並列エンジンで、グラフィックスを実行し、且つ／又はワークロードのスケジューリングをコンピュートすることができる。少なくとも一実施例では、グラフィックス・コア３７００を含むＳｏＣのＣＰＵコア上で実行されているホスト・ソフトウェアは、複数のグラフィックス・プロセッサ・ドアベルのうちの１つにワークロードを送出することができ、このドアベルが、適切なグラフィックス・エンジンに対するスケジューリング動作を呼び出す。少なくとも一実施例では、スケジューリング動作は、どのワークロードを次に実行すべきかを判定すること、コマンド・ストリーマにワークロードを送出すること、エンジン上で実行されている既存のワークロードをプリエンプションすること、ワークロードの進行を管理すること、及びワークロードが完了したときにホスト・ソフトウェアに通知することを含む。少なくとも一実施例では、グラフィックス・マイクロコントローラ３７３８はまた、グラフィックス・コア３７００の低電力又はアイドル状態を促進して、オペレーティング・システム及び／又はシステム上のグラフィックス・ドライバ・ソフトウェアとは無関係に、低電力状態の移行全体にわたってグラフィックス・コア３７００内のレジスタを保存及び復元する機能をグラフィックス・コア３７００に提供することができる。

少なくとも一実施例では、グラフィックス・コア３７００は、図示してあるサブ・コア３７０１Ａ～３７０１Ｆより多くの、又はそれより少ない、Ｎ個までのモジュール式サブ・コアを有してもよい。Ｎ個のサブ・コアのセットごとに、少なくとも一実施例では、グラフィックス・コア３７００はまた、共有機能論理３７１０、共有及び／又はキャッシュ・メモリ３７１２、ジオメトリ／固定機能パイプライン３７１４、並びに様々なグラフィックスを加速し、処理動作をコンピュートするための追加の固定機能論理３７１６を含むことができる。少なくとも一実施例では、共有機能論理３７１０は、グラフィックス・コア３７００内の各Ｎ個のサブ・コアが共有できる論理ユニット（たとえば、サンプラ、数理、及び／又はスレッド間通信の論理）を含むことができる。少なくとも一実施例では、固定の、共有の、及び／又はキャッシュのメモリ３７１２は、グラフィックス・コア３７００内のＮ個のサブ・コア３７１０Ａ～３７１０Ｆのためのラスト・レベル・キャッシュとすることができ、また、複数のサブ・コアがアクセスできる共有メモリとしての役割も果たすことができる。少なくとも一実施例では、ジオメトリ／固定機能パイプライン３７１４は、固定機能ブロック３７３０内のジオメトリ／固定機能パイプライン３７３６の代わりに含まれてもよく、同じ又は同様の論理ユニットを含むことができる。

少なくとも一実施例では、グラフィックス・コア３７００は、グラフィックス・コア３７００が使用するための様々な固定機能加速論理を含むことができる追加の固定機能論理３７１６を含む。少なくとも一実施例では、追加の固定機能論理３７１６は、位置限定シェーディング（ｐｏｓｉｔｉｏｎ ｏｎｌｙ ｓｈａｄｉｎｇ）に使用するための追加のジオメトリ・パイプラインを含む。位置限定シェーディングでは、少なくとも２つのジオメトリ・パイプラインが存在しているが、ジオメトリ／固定機能パイプライン３７１６、３７３６内の完全ジオメトリ・パイプラインと選別パイプライン（ｃｕｌｌ ｐｉｐｅｌｉｎｅ）においてであり、この選別パイプラインは、追加の固定機能論理３７１６内に含まれてもよい追加のジオメトリ・パイプラインである。少なくとも一実施例では、選別パイプラインは、完全ジオメトリ・パイプラインの縮小版である。少なくとも一実施例では、完全パイプライン及び選別パイプラインは、アプリケーションの異なるインスタンスを実行することができ、各インスタンスは別個のコンテキストを有する。少なくとも一実施例では、位置限定シェーディングは、切り捨てられた三角形の長い選別ランを隠すことができ、いくつかのインスタンスにおいてシェーディングを早く完了させることができる。たとえば、少なくとも一実施例では、選別パイプラインは、ピクセルをフレーム・バッファにラスタ化及びレンダリングすることなく、頂点の位置属性をフェッチしシェーディングするので、追加の固定機能論理３７１６内の選別パイプライン論理は、メイン・アプリケーションと並列で位置シェーダを実行することができ、完全パイプラインよりも全体的に早く臨界結果（ｃｒｉｔｉｃａｌ ｒｅｓｕｌｔ）を生成する。少なくとも一実施例では、選別パイプラインは、生成された臨界結果を使用して、すべての三角形について、これらの三角形が選別されているかどうかに関わらず、可視性情報をコンピュートすることができる。少なくとも一実施例では、（このインスタンスではリプレイ・パイプラインと呼ばれてもよい）完全パイプラインは、可視性情報を消費して、選別された三角形を飛ばして可視三角形だけをシェーディングすることができ、この可視性三角形が、最終的にラスタ化フェーズに渡される。

少なくとも一実施例では、追加の固定機能論理３７１６はまた、機械学習の訓練又は推論の最適化を含む実装形態のために、固定機能の行列乗算論理など、機械学習の加速論理を含むことができる。

少なくとも一実施例では、各グラフィックス・サブ・コア３７０１Ａ～３７０１Ｆ内に、実行リソースのセットが含まれ、このセットは、グラフィックス・パイプライン、メディア・パイプライン、又はシェーダ・プログラムからの要求に応答して、グラフィックス動作、メディア動作、及びコンピュート動作を実行するために使用されてもよい。少なくとも一実施例では、グラフィックス・サブ・コア３７０１Ａ～３７０１Ｆは、複数のＥＵアレイ３７０２Ａ～３７０２Ｆ、３７０４Ａ～３７０４Ｆ、スレッド・ディスパッチ及びスレッド間通信（ＴＤ／ＩＣ）論理３７０３Ａ～３７０３Ｆ、３Ｄ（たとえば、テクスチャ）サンプラ３７０５Ａ～３７０５Ｆ、メディア・サンプラ３７０６Ａ～３７０６Ｆ、シェーダ・プロセッサ３７０７Ａ～３７０７Ｆ、及び共有ローカル・メモリ（ＳＬＭ）３７０８Ａ～３７０８Ｆを含む。ＥＵアレイ３７０２Ａ～３７０２Ｆ、３７０４Ａ～３７０４Ｆはそれぞれ、複数の実行ユニットを含み、これらは、グラフィックス、メディア、又はコンピュート・シェーダ・プログラムを含むグラフィックス動作、メディア動作、又はコンピュート動作のサービスにおいて浮動小数点及び整数／固定小数点の論理演算を実行することができる汎用グラフィックス・プロセッシング・ユニットである。少なくとも一実施例では、ＴＤ／ＩＣ論理３７０３Ａ～３７０３Ｆは、サブ・コア内の実行ユニットのためのローカル・スレッド・ディスパッチ及びスレッド制御動作を実行し、サブ・コアの実行ユニット上で実行されているスレッド間の通信を容易にする。少なくとも一実施例では、３Ｄサンプラ３７０５Ａ～３７０５Ｆは、テクスチャ又は他の３Ｄグラフィックス関連のデータをメモリに読み取ることができる。少なくとも一実施例では、３Ｄサンプラは、所与のテクスチャに関連付けられた構成済みサンプル状態及びテクスチャ・フォーマットに基づき、テクスチャ・データを異なるやり方で読み取ることができる。少なくとも一実施例では、メディア・サンプラ３７０６Ａ～３７０６Ｆは、メディア・データに関連付けられたタイプ及びフォーマットに基づき、同様の読取り動作を実行することができる。少なくとも一実施例では、各グラフィックス・サブ・コア３７０１Ａ～３７０１Ｆは、代替的に３Ｄとメディアの統合サンプラを含むことができる。少なくとも一実施例では、各サブ・コア３７０１Ａ～３７０１Ｆ内の実行ユニット上で実行しているスレッドは、スレッド・グループ内で実行しているスレッドが、オン・チップ・メモリの共通プールを使用して実行できるようにするために、各サブ・コア内の共有ローカル・メモリ３７０８Ａ～３７０８Ｆを利用することができる。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５の一部又はすべてが、グラフィックス・プロセッサ３７１０に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、グラフィックス・プロセッサ３５１２、グラフィックス・マイクロコントローラ３７３８、ジオメトリ及び固定機能パイプライン３７１４及び３７３６、又は図３６の他の論理に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図１７Ａ又は図１７Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ３７００のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図３８Ａ～図３８Ｂは、少なくとも一実施例による、グラフィックス・プロセッサ・コアの処理要素のアレイを含むスレッド実行論理３８００を示す。図３８Ａは、スレッド実行論理３８００が使用される少なくとも一実施例を示す。図３８Ｂは、少なくとも一実施例による、実行ユニットの例示的な内部詳細事項を示す図である。

図３８Ａに示すように、少なくとも一実施例では、スレッド実行論理３８００は、シェーダ・プロセッサ３８０２、スレッド・ディスパッチャ３８０４、命令キャッシュ３８０６、複数の実行ユニット３８０８Ａ～３８０８Ｎを含むスケーラブル実行ユニット・アレイ、サンプラ３８１０、データ・キャッシュ３８１２、及びデータ・ポート３８１４を含む。少なくとも一実施例では、スケーラブル実行ユニット・アレイは、１つ又は複数の実行ユニット（たとえば、実行ユニット３８０８Ａ、３８０８Ｂ、３８０８Ｃ、３８０８Ｄ～３８０８Ｎ－１、及び３８０８Ｎのうちのいずれか）を、たとえばワークロードの計算要件に基づき有効又は無効にすることによって、動的に拡大縮小することができる。少なくとも一実施例では、スケーラブル実行ユニットは、実行ユニットのそれぞれにリンクされる相互接続ファブリックを介して相互接続される。少なくとも一実施例では、スレッド実行論理３８００は、命令キャッシュ３８０６、データ・ポート３８１４、サンプラ３８１０、及び実行ユニット３８０８Ａ～３８０８Ｎのうちの１つ又は複数を介した、システム・メモリ又はキャッシュ・メモリなどのメモリへの１つ又は複数の接続を含む。少なくとも一実施例では、各実行ユニット（たとえば、３８０８Ａ）は、スレッドごとに複数のデータ要素を並列で処理しながら、複数の同時のハードウェア・スレッドを実行することができるスタンドアロンのプログラム可能な汎用計算ユニットである。少なくとも一実施例では、実行ユニット３８０８Ａ～３８０８Ｎのアレイは、任意の数の個々の実行ユニットを含むように拡大縮小可能である。

少なくとも一実施例では、実行ユニット３８０８Ａ～３８０８Ｎは、シェーダ・プログラムを実行するために主に使用される。少なくとも一実施例では、シェーダ・プロセッサ３８０２は、様々なシェーダ・プログラムを処理し、シェーダ・プログラムに関連付けられた実行スレッドを、スレッド・ディスパッチャ３８０４を介してディスパッチすることができる。少なくとも一実施例では、スレッド・ディスパッチャ３８０４は、グラフィックス及びメディア・パイプラインからのスレッド開始要求を調停し、要求されたスレッドを、実行ユニット３８０８Ａ～３８０８Ｎの１つ又は複数の実行ユニット上でインスタンス化するための論理を含む。たとえば、少なくとも一実施例では、ジオメトリ・パイプラインは、頂点シェーダ、モザイク・シェーダ、又はジオメトリ・シェーダを、処理できるようにスレッド実行論理にディスパッチすることができる。少なくとも一実施例では、スレッド・ディスパッチャ３８０４はまた、実行しているシェーダ・プログラムからのラン・タイム・スレッド・スポーニング要求（ｓｐａｗｎｉｎｇ ｒｅｑｕｅｓｔ）を処理することができる。

少なくとも一実施例では、実行ユニット３８０８Ａ～３８０８Ｎは、多くの標準的な３Ｄグラフィックス・シェーダ命令のネイティブ・サポートを含む命令セットをサポートし、それにより、グラフィックス・ライブラリ（たとえば、Ｄｉｒｅｃｔ３Ｄ及びＯｐｅｎＧＬ）からのシェーダ・プログラムが、最小のトランスレーションで実行される。少なくとも一実施例では、実行ユニットは、頂点及びジオメトリの処理（たとえば、頂点プログラム、ジオメトリ・プログラム、頂点シェーダ）、ピクセル処理（たとえば、ピクセル・シェーダ、フラグメント・シェーダ）、及び汎用処理（たとえば、コンピュート及びメディアのシェーダ）をサポートする。少なくとも一実施例では、１つ又は複数の算術論理演算ユニット（ＡＬＵ）を含む各実行ユニット３８０８Ａ～３８０８Ｎのそれぞれは、単一命令複数データ（ＳＩＭＤ）の実行を複数発行することができ、マルチスレッド化された動作によって、メモリ・アクセスのレイテンシが高いにもかかわらず、効率的な実行環境が可能になる。少なくとも一実施例では、各実行ユニット内の各ハードウェア・スレッドは、専用の高帯域幅レジスタ・ファイル及び関連する独立したスレッド状態を有する。少なくとも一実施例では、実行は、整数演算、単精度及び倍精度の浮動小数点演算、ＳＩＭＤブランチ性能、論理演算、超越演算、及び他の種々の演算を行うことができるパイプラインに対して、クロック当たり複数発行される。少なくとも一実施例では、メモリ、又は共有機能のうちの１つからのデータを待機している間に、実行ユニット３８０８Ａ～３８０８Ｎ内の従属論理は、要求したデータが戻されるまで、待機スレッドをスリープ状態にする。少なくとも一実施例では、待機スレッドがスリープ状態の間に、ハードウェア・リソースは他のスレッドの処理に専念してもよい。たとえば、少なくとも一実施例では、頂点シェーダ動作に関連する遅延中に、実行ユニットは、ピクセル・シェーダ、フラグメント・シェーダ、又は異なる頂点シェーダを含む別のタイプのシェーダ・プログラムを実行することができる。

少なくとも一実施例では、実行ユニット３８０８Ａ～３８０８Ｎの各実行ユニットは、データ要素のアレイに対して動作する。少なくとも一実施例では、データ要素の数は「実行サイズ」であり、又は命令に対するチャネルの数である。少なくとも一実施例では、実行チャネルは、データ要素のアクセス、マスキング、及び命令内のフロー制御に関する実行の論理ユニットである。少なくとも一実施例では、チャネルの数は、特定のグラフィックス・プロセッサのための物理的な算術論理演算ユニット（ＡＬＵ）又は浮動小数点ユニット（ＦＰＵ）の数とは無関係であってもよい。少なくとも一実施例では、実行ユニット３８０８Ａ～３８０８Ｎは、整数及び浮動小数点のデータ・タイプをサポートしてもよい。

少なくとも一実施例では、実行ユニット命令セットは、ＳＩＭＤ命令を含む。少なくとも一実施例では、様々なデータ要素が、パック・データ・タイプとしてレジスタに記憶されてもよく、実行ユニットは、要素のデータ・サイズに基づき様々な要素を処理する。たとえば、少なくとも一実施例では、２５６ビット幅ベクトルで動作しているとき、ベクトルの２５６ビットがレジスタに記憶され、実行ユニットは、４個の別々の６４ビット・パック・データ要素（クワッド・ワード（ＱＷ）サイズのデータ要素）、８個の別々の３２ビット・パック・データ要素（ダブル・ワード（ＤＷ）サイズのデータ要素）、１６個の別々の１６ビット・パック・データ要素（ワード（Ｗ）サイズのデータ要素）、又は３２個の別々の８ビット・データ要素（バイト（Ｂ）サイズのデータ要素）としてベクトル上で動作する。しかし少なくとも一実施例では、異なるベクトル幅及びレジスタサイズが考えられる。

少なくとも一実施例では、１つ又は複数の実行ユニットを組み合わせて、融合ＥＵに共通したスレッド制御論理（３８０７Ａ～３８０７Ｎ）を有する融合実行ユニット（ｆｕｓｅｄ ｅｘｅｃｕｔｉｏｎ ｕｎｉｔ）３８０９Ａ～３８０９Ｎにすることができる。少なくとも一実施例では、複数のＥＵを融合して、ＥＵグループにすることができる。少なくとも一実施例では、融合ＥＵグループの各ＥＵは、別々のＳＩＭＤハードウェア・スレッドを実行するように構成されることが可能である。融合ＥＵグループのＥＵの数は、様々な実施例に応じて異なってもよい。少なくとも一実施例では、ＳＩＭＤ８、ＳＩＭＤ１６、及びＳＩＭＤ３２を含むがこれに限定されない様々なＳＩＭＤ幅を、ＥＵごとに実行することができる。少なくとも一実施例では、各融合グラフィックス実行ユニット３８０９Ａ～３８０９Ｎは、少なくとも２つの実行ユニットを含む。たとえば、少なくとも一実施例では、融合実行ユニット３８０９Ａは、第１のＥＵ３８０８Ａ、第２のＥＵ３８０８Ｂ、及び第１のＥＵ３８０８Ａと第２のＥＵ３８０８Ｂに共通のスレッド制御論理３８０７Ａを含む。少なくとも一実施例では、スレッド制御論理３８０７Ａは、融合グラフィックス実行ユニット３８０９Ａで実行されているスレッドを制御して、融合実行ユニット３８０９Ａ～３８０９Ｎ内の各ＥＵを、共通の命令ポインタ・レジスタを使用して実行できるようにする。

少なくとも一実施例では、１つ又は複数の内部命令キャッシュ（たとえば、３８０６）は、実行ユニットに対するスレッド命令をキャッシュするためにスレッド実行論理３８００に含まれる。少なくとも一実施例では、１つ又は複数のデータ・キャッシュ（たとえば、３８１２）は、スレッド実行中にスレッド・データをキャッシュするために含まれる。少なくとも一実施例では、サンプラ３８１０は、３Ｄ動作のためのテクスチャ・サンプリング、及びメディア動作のためのメディア・サンプリングを実行するために含まれる。少なくとも一実施例では、サンプラ３８１０は、特別なテクスチャ又はメディア・サンプリング機能を含み、サンプリングされたデータを実行ユニットに提供する前に、サンプリング処理中にテクスチャ又はメディアのデータを処理する。

実行中、少なくとも一実施例では、グラフィックス及びメディア・パイプラインは、スレッド開始要求を、スレッド・スポーニング及びディスパッチ論理を介してスレッド実行論理３８００に送る。少なくとも一実施例では、幾何学的物体のグループが処理され、ピクセル・データにラスタ化されたら、シェーダ・プロセッサ３８０２内のピクセル・プロセッサ論理（たとえば、ピクセル・シェーダ論理、フラグメント・シェーダ論理など）が呼び出されて、出力情報をさらにコンピュートし、結果を出力面（たとえば、色バッファ、深度バッファ、ステンシル・バッファなど）に書き込ませる。少なくとも一実施例では、ピクセル・シェーダ又はフラグメント・シェーダは、ラスタ化された物体間で補間されることになる様々な頂点属性の値を計算する。少なくとも一実施例では、次いで、シェーダ・プロセッサ３８０２内のピクセル・プロセッサ論理が、アプリケーション・プログラミング・インターフェース（ＡＰＩ）付きのピクセル・シェーダ・プログラム又はフラグメント・シェーダ・プログラムを実行する。少なくとも一実施例では、シェーダ・プログラムを実行するために、シェーダ・プロセッサ３８０２は、スレッド・ディスパッチャ３８０４を介してスレッドを実行ユニット（たとえば、３８０８Ａ）にディスパッチする。少なくとも一実施例では、シェーダ・プロセッサ３８０２は、サンプラ３８１０のテクスチャ・サンプリング論理を使用して、メモリに記憶されたテクスチャ・マップのテクスチャ・データにアクセスする。少なくとも一実施例では、テクスチャ・データ及び入力ジオメトリ・データに対する算術演算によって、各ジオメトリ・フラグメントのピクセル色データがコンピュートされ、又はさらに処理されないように１つ又は複数のピクセルが切り捨てられる。

少なくとも一実施例では、データ・ポート３８１４は、スレッド実行論理３８００のためのメモリ・アクセス機構を提供して、処理済みデータを、グラフィックス・プロセッサ出力パイプラインでさらに処理できるようにメモリに出力する。少なくとも一実施例では、データ・ポート３８１４は、１つ又は複数のキャッシュ・メモリ（たとえば、データ・キャッシュ３８１２）を含み、又はそれに結合されて、データ・ポートを介したメモリ・アクセスのためのデータをキャッシュする。

図３８Ｂに示してあるように、少なくとも一実施例では、グラフィック実行ユニット３８０８は、命令フェッチ・ユニット３８３７、汎用レジスタ・ファイル・アレイ（ＧＲＦ）３８２４、アーキテクチャ・レジスタ・ファイル・アレイ（ＡＲＦ）３８２６、スレッド調停装置（ａｒｂｉｔｅｒ）３８２２、送信ユニット３８３０、ブランチ・ユニット３８３２、ＳＩＭＤ浮動小数点ユニット（ＦＰＵ）３８３４のセット、及び少なくとも一実施例では、専用整数ＳＩＭＤ ＡＬＵ３８３５のセットを含むことができる。少なくとも一実施例では、ＧＲＦ３８２４及びＡＲＦ３８２６は、各同時ハードウェア・スレッドに関連付けられた汎用レジスタ・ファイルとアーキテクチャ・レジスタ・ファイルのセットを含み、このハードウェア・スレッドは、グラフィックス実行ユニット３８０８においてアクティブであってもよい。少なくとも一実施例では、スレッドごとのアーキテクチャ状態が、ＡＲＦ３８２６において維持され、スレッド実行中に使用されるデータが、ＧＲＦ３８２４に記憶される。少なくとも一実施例では、各スレッドに対する命令ポインタを含む各スレッドの実行状態は、ＡＲＦ３８２６のスレッド専用レジスタに保持することが可能である。

少なくとも一実施例では、グラフィックス実行ユニット３８０８は、同時マルチスレッディング（ＳＭＴ）と微細化インターリーブ・マルチスレッディング（ＩＭＴ）の組合せであるアーキテクチャを有する。少なくとも一実施例では、アーキテクチャは、実行ユニット当たりの同時スレッドのターゲット数及びレジスタ数に基づき設計時に微調整することができるモジュール式構成を有し、ここで実行ユニットのリソースは、複数の同時スレッドを実行するために使用される論理にわたって分割される。

少なくとも一実施例では、グラフィックス実行ユニット３８０８は複数の命令を共同発行することができ、この命令は、それぞれ異なる命令であってもよい。少なくとも一実施例では、グラフィックス実行ユニット・スレッド３８０８のスレッド調停装置３８２２は、送信ユニット３８３０、ブランチ・ユニット３８４２、又はＳＩＭＤ ＦＰＵ３８３４のうちの１つに命令をディスパッチして実行できるようにすることができる。少なくとも一実施例では、各実行スレッドは、ＧＲＦ３８２４内の１２８個の汎用レジスタにアクセスすることができ、ここで各レジスタは、３２ビットのデータ要素のＳＩＭＤ８要素のベクトルとしてアクセス可能な３２バイトを記憶することができる。少なくとも一実施例では、各実行ユニット・スレッドは、ＧＲＦ３８２４内の４Ｋバイトにアクセスすることができるが、実施例はこのように限定されず、他の実施例ではより多くの、又はより少ないリソースが提供されてもよい。少なくとも一実施例では、最大７個のスレッドを同時に実行できるが、実行ユニット当たりのスレッド数も、実施例に応じて変えることができる。７個のスレッドが４Ｋバイトにアクセスできる少なくとも一実施例では、ＧＲＦ３８２４は、合計２８Ｋバイトを記憶することができる。少なくとも一実施例では、フレキシブルなアドレッシング・モードにより、複数のレジスタがともにアドレスされてより幅広いレジスタを構築したり、ストライド設定された矩形ブロック・データ構造を表したりできるようにすることができる。

少なくとも一実施例では、メモリ動作、サンプラ動作、及び他のレイテンシの長いシステム通信は、メッセージ引渡し送信ユニット３８３０によって実行される「送信」命令を介してディスパッチされる。少なくとも一実施例では、ブランチ命令は、ＳＩＭＤの発散及び最終的な収束を容易にするために、専用のブランチ・ユニット３８３２にディスパッチされる。

少なくとも一実施例では、グラフィックス実行ユニット３８０８は、浮動小数点演算を実行するための１つ又は複数のＳＩＭＤ浮動小数点ユニット（ＦＰＵ）３８３４を含む。少なくとも一実施例では、ＦＰＵ３８３４は、整数計算もサポートする。少なくとも一実施例ではＦＰＵ３８３４は、最大Ｍ個の３２ビット浮動小数点（若しくは整数）演算をＳＩＭＤで実行し、又は最大で２Ｍ個の１６ビット整数演算、若しくは１６ビット浮動小数点演算をＳＩＭＤで実行することができる。少なくとも一実施例では、ＦＰＵのうちの少なくとも１つは、拡張数理機能を提供して、高スループットの超越数理関数、及び倍精度の６４ビット浮動小数点をサポートする。少なくとも一実施例では、８ビットの整数ＳＩＭＤ ＡＬＵ３８３５のセットも存在し、機械学習計算に関連する動作を実行するように特に最適化されてもよい。

少なくとも一実施例では、グラフィックス実行ユニット３８０８の複数のインスタンスのアレイが、グラフィックス・サブ・コア・グループ（たとえば、サブ・スライス）においてインスタンス化されてもよい。少なくとも一実施例では、実行ユニット３８０８は、複数の実行チャネルにわたって命令を実行することができる。少なくとも一実施例では、グラフィックス実行ユニット３８０８で実行される各スレッドは、異なるチャネルで実行される。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理１７１５の一部又はすべてが、実行論理３８００に組み込まれてもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図１７Ａ又は図１７Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するための実行論理３８００のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図３９は、少なくとも一実施例による並列処理ユニット（「ＰＰＵ」）３９００を示す。少なくとも一実施例では、ＰＰＵ３９００は、ＰＰＵ３９００によって実行された場合に、本開示全体を通して記載するプロセス及び技法の一部又はすべてを、ＰＰＵ３９００に実行させる機械可読コードで構成される。少なくとも一実施例では、ＰＰＵ３９００はマルチスレッド・プロセッサであり、このプロセッサは、１つ又は複数の集積回路デバイスに実装され、コンピュータ可読命令（機械可読命令若しくは単に命令とも呼ばれる）を、複数のスレッドで並列に処理するように設計されたレイテンシ隠蔽技法としてマルチスレッディングを利用する。少なくとも一実施例では、スレッドとは、実行スレッドを指し、ＰＰＵ３９００によって実行されるように構成された命令のセットをインスタンス化したものである。少なくとも一実施例では、ＰＰＵ３９００は、液晶ディスプレイ（「ＬＣＤ」）デバイスなどのディスプレイ・デバイスに表示できるように２次元（「２Ｄ」）画像データを生成するために、３次元（「３Ｄ」）グラフィックス・データを処理するためのグラフィックス・レンダリング・パイプラインを実装するように構成されたグラフィックス・プロセッシング・ユニット（「ＧＰＵ」）である。少なくとも一実施例では、ＰＰＵ３９００を利用して、線形代数演算及び機械学習演算などの計算が実行される。図３９は、単に例示を目的とした例示的な並列プロセッサを示しており、本開示の範囲内で企図されるプロセッサ・アーキテクチャの非限定的な例として解釈されるべきであり、同プロセッサに追加するため、且つ／又はそれを置き換えるために、任意の好適なプロセッサが利用されてもよいことが解釈されるべきである。

少なくとも一実施例では、１つ又は複数のＰＰＵ３９００は、高性能コンピューティング（「ＨＰＣ」）、データ・センタ、及び機械学習のアプリケーションを加速するように構成される。少なくとも一実施例では、ＰＰＵ３９００は、以下の非限定的な例を含む深層学習システム及びアプリケーションを加速するように構成される：自律車両プラットフォーム、深層学習、高精度音声、画像、テキスト認識システム、インテリジェント・ビデオ分析、分子シミュレーション、創薬、病気診断、天気予報、ビッグ・データ分析、天文学、分子動態シミュレーション、金融モデリング、ロボット工学、工場自動化、リアル・タイム言語翻訳、オンライン検索最適化、及び個別化ユーザ推奨など。

少なくとも一実施例では、ＰＰＵ３９００は、限定することなく、入力／出力（「Ｉ／Ｏ」）ユニット３９０６、フロント・エンド・ユニット３９１０、スケジューラ・ユニット３９１２、ワーク分配ユニット３９１４、ハブ３９１６、クロスバー（「Ｘｂａｒ」）３９２０、１つ又は複数の汎用処理クラスタ（「ＧＰＣ」）３９１８、及び１つ又は複数のパーティション・ユニット（「メモリ・パーティション・ユニット」）３９２２を含む。少なくとも一実施例では、ＰＰＵ３９００は、１つ又は複数の高速ＧＰＵ相互接続（「ＧＰＵ相互接続」）３９０８を介してホスト・プロセッサ又は他のＰＰＵ３９００に接続される。少なくとも一実施例では、ＰＰＵ３９００は、相互接続３９０２を介してホスト・プロセッサ又は他の周辺デバイスに接続される。少なくとも一実施例では、ＰＰＵ３９００は、１つ又は複数のメモリ・デバイス（「メモリ」）３９０４を備えるローカル・メモリに接続される。少なくとも一実施例では、メモリ・デバイス３９０４は、限定することなく、１つ又は複数のダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）デバイスを含む。少なくとも一実施例では、１つ又は複数のＤＲＡＭデバイスは、複数のＤＲＡＭダイが各デバイス内で積層された高帯域幅メモリ（「ＨＢＭ」）サブシステムとして構成されても、且つ／又は構成可能であってもよい。

少なくとも一実施例では、高速ＧＰＵ相互接続３９０８は、有線ベースのマルチ・レーン通信リンクを指してもよく、このリンクは、拡張縮小するためにシステムによって使用され、１つ又は複数の中央処理装置（「ＣＰＵ」）と組み合わされた１つ又は複数のＰＰＵ３９００を含み、ＰＰＵ３９００とＣＰＵとの間のキャッシュ・コヒーレンス、及びＣＰＵマスタリングをサポートする。少なくとも一実施例では、データ及び／又はコマンドは、高速ＧＰＵ相互接続３９０８により、ハブ３９１６を介して、１つ又は複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニット、及び図３９に明示されていないこともある他の構成要素などのＰＰＵ３９００の別のユニットに／から送信される。

少なくとも一実施例では、Ｉ／Ｏユニット３９０６は、システム・バス３９０２を介してホスト・プロセッサ（図３９には示さず）から通信（たとえば、コマンド、データ）を送受信するように構成される。少なくとも一実施例では、Ｉ／Ｏユニット３９０６は、システム・バス３９０２を介して直接、又は１つ若しくは複数の、メモリ・ブリッジなどの中間デバイスを介して、ホスト・プロセッサと通信する。少なくとも一実施例では、Ｉ／Ｏユニット３９０６は、システム・バス３９０２を介してＰＰＵ３９００のうちの１つ又は複数などの１つ又は複数の他のプロセッサと通信してもよい。少なくとも一実施例では、Ｉ／Ｏユニット３９０６は、ペリフェラル・コンポーネント・インターコネクト・エクスプレス（「ＰＣＩｅ」）インターフェースを実装して、ＰＣＩｅバスを介して通信できるようにする。少なくとも一実施例では、Ｉ／Ｏユニット３９０６は、外部デバイスと通信するためのインターフェースを実装する。

少なくとも一実施例では、Ｉ／Ｏユニット３９０６は、システム・バス３９０２を介して受信したパケットをデコードする。少なくとも一実施例では、少なくともいくつかのパケットは、ＰＰＵ３９００に様々な動作を実行させるように構成されたコマンドを表す。少なくとも一実施例では、Ｉ／Ｏユニット３９０６は、デコードされたコマンドを、コマンドによって指定されるＰＰＵ３９００の様々な他のユニットに送信する。少なくとも一実施例では、コマンドは、フロント・エンド・ユニット３９１０に送信され、且つ／又はハブ３９１６、若しくは（図３９には明示していない）１つ若しくは複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニットなどのＰＰＵ３９００の他のユニットに送信される。少なくとも一実施例では、Ｉ／Ｏユニット３９０６はＰＰＵ３９００の様々な論理ユニット間で、通信をルーティングするように構成される。

少なくとも一実施例では、ホスト・プロセッサによって実行されるプログラムは、ワークロードをＰＰＵ３９００に提供して処理できるようにするバッファにおいて、コマンド・ストリームをエンコードする。少なくとも一実施例では、ワークロードは、命令と、これらの命令によって処理されることになるデータとを含む。少なくとも一実施例では、バッファは、ホスト・プロセッサとＰＰＵ３９００の両方がアクセス（たとえば、書込み／読取り）可能なメモリ内の領域であり、ポスト・インターフェース・ユニットは、Ｉ／Ｏユニット３９０６によってシステム・バス３９０２を介して送信されるメモリ要求を介して、システム・バス３９０２に接続されたシステム・メモリ内のバッファにアクセスするように構成されてもよい。少なくとも一実施例では、ホスト・プロセッサは、バッファにコマンド・ストリームを書き込み、次いでコマンド・ストリームの開始点を指すポインタをＰＰＵ３９００に送信し、それによりフロント・エンド・ユニット３９１０は、１つ又は複数のコマンド・ストリームを指すポインタを受信し、１つ又は複数のコマンド・ストリームを管理して、コマンド・ストリームからコマンドを読み取り、コマンドをＰＰＵ３９００の様々なユニットに転送する。

少なくとも一実施例では、フロント・エンド・ユニット３９１０は、１つ又は複数のコマンド・ストリームによって定義されるタスクを処理するように様々なＧＰＣ３９１８を構成するスケジューラ・ユニット３９１２に結合される。少なくとも一実施例では、スケジューラ・ユニット３９１２は、スケジューラ・ユニット３９１２によって管理される様々タスクに関連する状態情報を追跡するように構成され、ここで状態情報は、どのＧＰＣ３９１８にタスクが割り当てられるか、タスクがアクティブか非アクティブか、タスクに関連付けられた優先レベルなどを示してもよい。少なくとも一実施例では、スケジューラ・ユニット３９１２は、ＧＰＣ３９１８のうちの１つ又は複数において、複数のタスクの実行を管理する。

少なくとも一実施例では、スケジューラ・ユニット３９１２は、ＧＰＣ３９１８で実行するためのタスクをディスパッチするように構成されたワーク分配ユニット３９１４に結合される。少なくとも一実施例では、ワーク分配ユニット３９１４は、スケジューラ・ユニット３９１２から受信したスケジュール済みタスクの数を追跡し、ワーク分配ユニット３９１４は、ＧＰＣ３９１８のそれぞれについて、ペンディング・タスク・プール、及びアクティブ・タスク・プールを管理する。少なくとも一実施例では、ペンディング・タスク・プールは、特定のＧＰＣ３９１８によって処理されるように割り当てられたタスクを含むいくつかのスロット（たとえば、３２スロット）を備え、アクティブ・タスク・プールは、ＧＰＣ３９１８によりアクティブに処理されているタスクのためのいくつかのスロット（たとえば、４スロット）を備え、それにより、ＧＰＣ３９１８のうちの１つがタスクの実行を完了すると、ＧＰＣ３９１８のアクティブ・タスク・プールからそのタスクが排除され、ペンディング・タスク・プールからの他のタスクのうちの１つが選択され、ＧＰＣ３９１８で実行されるようにスケジューリングされる。少なくとも一実施例では、データ依存性が解決されるのを待機している間など、アクティブ・タスクがＧＰＣ３９１８上でアイドルである場合には、アクティブ・タスクがＧＰＣ３９１８から排除され、ペンディング・タスク・プールに戻され、その間に、ペンディング・タスク・プールの別のタスクが選択され、ＧＰＣ３９１８で実行されるようにスケジューリングされる。

少なくとも一実施例では、ワーク分配ユニット３９１４は、Ｘバー３９２０を介して１つ又は複数のＧＰＣ３９１８と通信する。少なくとも一実施例では、Ｘバー３９２０は、ＰＰＵ３９００のユニットのうちの多くを、ＰＰＵ３９００の別のユニットに結合する相互接続ネットワークであり、ワーク分配ユニット３９１４を特定のＧＰＣ３９１８に結合するように構成されることが可能である。少なくとも一実施例では、ＰＰＵ３９００の１つ又は複数の他のユニットも、ハブ３９１６を介してＸバー３９２０に接続されてもよい。

少なくとも一実施例では、タスクはスケジューラ・ユニット３９１２によって管理され、ワーク分配ユニット３９１４によってＧＰＣ３９１８のうちの１つにディスパッチされる。ＧＰＣ３９１８は、タスクを処理し、結果を生成するように構成される。少なくとも一実施例では、結果は、ＧＰＣ３９１８内の他のタスクによって消費されてもよく、Ｘバー３９２０を介して異なるＧＰＣ３９１８にルーティングされてもよく、又はメモリ３９０４に記憶されてもよい。少なくとも一実施例では、結果を、パーティション・ユニット３９２２を介してメモリ３９０４に書き込むことができ、パーティション・ユニット３９２２は、メモリ３９０４への／からのデータの読取り及び書込みを行うためのメモリ・インターフェースを実装する。少なくとも一実施例では、結果を、高速ＧＰＵ相互接続３９０８を介して別のＰＰＵ３９０４又はＣＰＵに送信することができる。少なくとも一実施例では、ＰＰＵ３９００は、ＰＰＵ３９００に結合された別々の個別メモリ・デバイス３９０４の数に等しいＵ個のパーティション・ユニット３９２２を、限定することなく含む。少なくとも一実施例では、パーティション・ユニット３９２２は、図４１と併せて以下でさらに詳細に説明される。

少なくとも一実施例では、ホスト・プロセッサはドライバ・カーネルを実行し、このカーネルは、ホスト・プロセッサで実行されている１つ又は複数のアプリケーションがＰＰＵ３９００で実行するための動作をスケジューリングできるようにするアプリケーション・プログラミング・インターフェース（ＡＰＩ）を実装している。少なくとも一実施例では、複数のコンピュート・アプリケーションが、ＰＰＵ３９００によって同時に実行され、ＰＰＵ３９００は、複数のコンピュート・アプリケーションに対して、隔離、サービス品質（「ＱｏＳ」）、及び独立したアドレス空間を提供する。少なくとも一実施例では、アプリケーションは、ＰＰＵ３９００によって実行するための１つ又は複数のタスクをドライバ・カーネルに生成させる（たとえば、ＡＰＩコールの形の）命令を生成し、ドライバ・カーネルは、ＰＰＵ３９００によって処理されている１つ又は複数のストリームにタスクを出力する。少なくとも一実施例では、各タスクは、ワープと呼ばれてもよい関連スレッドの１つ又は複数のグループを備える。少なくとも一実施例では、ワープは、並列に実行することができる複数の関連スレッド（たとえば、３２個のスレッド）を備える。少なくとも一実施例では、連動スレッドとは、タスクを実行するための命令を含み、共有メモリを介してデータを交換する複数のスレッドを指してもよい。少なくとも一実施例では、スレッド及び連動スレッドは、図４１と併せて少なくとも一実施例によりさらに詳細に説明される。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、ＰＰＵ３９００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、ＰＰＵ３９００は、別のプロセッサ若しくはシステムによって、又はＰＰＵ３９００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、ＰＰＵ３９００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図４０は、少なくとも一実施例による汎用処理クラスタ（「ＧＰＣ」）４００を示す。少なくとも一実施例では、ＧＰＣ４０００は、図３９のＧＰＣ３９１８である。少なくとも一実施例では、各ＧＰＣ４０００は、限定することなく、タスクを処理するためのいくつかのハードウェア・ユニットを含み、各ＧＰＣ４０００は、限定することなく、パイプライン・マネージャ４００２、プレ・ラスタ演算ユニット（「ＰＲＯＰ」）４００４、ラスタ・エンジン４００８、ワーク分配クロスバー（「ＷＤＸ」）４０１６、メモリ管理ユニット（「ＭＭＵ」）４０１８、１つ又は複数のデータ処理クラスタ（「ＤＰＣ」）４００６、及びパーツの任意の好適な組合せを含む。

少なくとも一実施例では、ＧＰＣ４０００の動作は、パイプライン・マネージャ４００２によって制御される。少なくとも一実施例では、パイプライン・マネージャ４００２は、ＧＰＣ４０００に配分されたタスクを処理するために１つ又は複数のＤＰＣ４００６の構成を管理する。少なくとも一実施例では、パイプライン・マネージャ４００２は、グラフィックス・レンダリング・パイプラインの少なくとも一部分を実装するように、１つ又は複数のＤＰＣ４００６のうちの少なくとも１つを構成する。少なくとも一実施例では、ＤＰＣ４００６は、プログラム可能なストリーミング・マルチプロセッサ（「ＳＭ」）４０１４で頂点シェーダ・プログラムを実行するように構成される。少なくとも一実施例では、パイプライン・マネージャ４００２は、少なくとも一実施例では、ワーク分配ユニットから受信したパケットを、ＧＰＣ４０００内の適切な論理ユニットにルーティングするように構成され、いくつかのパケットは、ＰＲＯＰ４００４の固定機能ハードウェア・ユニット及び／又はラスタ・エンジン４００８にルーティングされてもよく、他のパケットは、プリミティブ・エンジン４０１２又はＳＭ４０１４によって処理されるようにＤＰＣ４００６にルーティングされてもよい。少なくとも一実施例では、パイプライン・マネージャ４００２は、ニューラル・ネットワーク・モデル及び／又はコンピューティング・パイプラインを実装するように、ＤＰＣ４００６のうちの少なくとも１つを構成する。

少なくとも一実施例では、ＰＲＯＰユニット４００４は、少なくとも一実施例では、ラスタ・エンジン４００８及びＤＰＣ４００６によって生成されたデータを、図３９と併せて上でより詳細に説明したパーティション・ユニット３９２２のラスタ動作（ＲＯＰ）ユニットにルーティングするように構成される。少なくとも一実施例では、ＰＲＯＰユニット４００４は、色ブレンディングの最適化を実行し、ピクセル・データを組織化し、アドレス・トランスレーションを実行し、その他の動作を行うように構成される。少なくとも一実施例では、ラスタ・エンジン４００８は、少なくとも一実施例では様々なラスタ動作を実行するように構成されたいくつかの固定機能ハードウェア・ユニットを、限定することなく含み、ラスタ・エンジン４００８は、限定することなく、セットアップ・エンジン、粗いラスタ・エンジン、選別エンジン、クリッピング・エンジン、細かいラスタ・エンジン、タイル合体エンジン、及びこれらの任意の好適な組合せを含む。少なくとも一実施例では、セットアップ・エンジンは、変換された頂点を受信し、頂点によって定義された幾何プリミティブに関連付けられた平面方程式を生成し、平面方程式が、粗いラスタ・エンジンに送信されて、プリミティブに対するカバレッジ情報（たとえば、タイルのｘ、ｙカバレッジ・マスク）が生成され、粗いラスタ・エンジンの出力が、選別エンジンに送信され、ここでｚテストに落ちたプリミティブに関連付けられたフラグメントが選別され、クリッピング・エンジンに送信され、ここで視錐台の外側にあるフラグメントがクリップされる。少なくとも一実施例では、クリッピング及び選別を通過したフラグメントは、細かいラスタ・エンジンに渡されて、セットアップ・エンジンによって生成された平面方程式に基づき、ピクセル・フラグメントに対する属性が生成される。少なくとも一実施例では、ラスタ・エンジン４００８の出力は、ＤＰＣ４００６内に実装されたフラグメント・シェーダによってなど任意の好適なエンティティによって処理されることになるフラグメントを含む。

少なくとも一実施例では、ＧＰＣ４０００に含まれる各ＤＰＣ４００６は、限定することなく、Ｍパイプ・コントローラ（「ＭＰＣ」）４０１０、プリミティブ・エンジン４０１２、１つ又は複数のＳＭ４０１４、及びこれらの任意の好適な組合せを含む。少なくとも一実施例では、ＭＰＣ４０１０は、ＤＰＣ４００６の動作を制御して、パイプライン・マネージャ４００２から受信したパケットを、ＤＰＣ４００６内の適切なユニットにルーティングする。少なくとも一実施例では、頂点に関連付けられたパケットは、頂点に関連付けられた頂点属性をメモリからフェッチするように構成されたプリミティブ・エンジン４０１２にルーティングされ、対照的に、シェーダ・プログラムに関連付けられたパケットは、ＳＭ４０１４に送信されてもよい。

少なくとも一実施例では、ＳＭ４０１４は、いくつかのスレッドにより表されたタスクを処理するように構成されたプログラム可能なストリーミング・プロセッサを、限定することなく含む。少なくとも一実施例では、ＳＭ４０１４はマルチスレッド化されており、スレッドの特定のグループからの複数のスレッド（たとえば、３２個のスレッド）を同時に実行するように構成され、単一命令複数データ（ＳＩＭＤ）アーキテクチャを実装し、ここでスレッドのグループ（ワープ）内の各スレッドは、同じ命令セットに基づき、異なるデータ・セットを処理するように構成される。少なくとも一実施例では、スレッド・グループ内のすべてのスレッドが同じ命令を実行する。少なくとも一実施例では、ＳＭ４０１４は、単一命令複数スレッド（ＳＩＭＴ）アーキテクチャを実装し、ここで、スレッド・グループの各スレッドは、同じ命令セットに基づき、異なるデータ・セットを処理するように構成されるが、スレッド・グループ内の個々のスレッドは、実行中に発散することが許容される。少なくとも一実施例では、プログラム・カウンタ、コール・スタック、及び実行状態がワープごとに維持されて、ワープ内のスレッドが発散するときに、ワープ間の同時処理、及びワープ内での直列実行が可能になる。別の実施例では、プログラム・カウンタ、コール・スタック、及び実行状態が個々のスレッドごとに維持されて、すべてのスレッド間、ワープ内、及びワープ間で等しい同時処理が可能になる。少なくとも一実施例では、実行状態が個々のスレッドごとに維持され、同じ命令を実行しているスレッドが、より効率的になるように収束され並列に実行されてもよい。ＳＭ４０１４の少なくとも一実施例は、以下でさらに詳細に説明される。

少なくとも一実施例では、ＭＭＵ４０１８は、ＧＰＣ４０００とメモリ・パーティション・ユニット（たとえば、図３９のパーティション・ユニット３９２２）との間でインターフェースを提供し、ＭＭＵ４０１８は、仮想アドレスから物理アドレスへのトランスレーション、メモリ保護、及びメモリ要求の調停を提供する。少なくとも一実施例では、ＭＭＵ４０１８は、仮想アドレスからメモリの物理アドレスへのトランスレーションを実行するための１つ又は複数のトランスレーション・ルックアサイド・バッファ（「ＴＬＢ」）を提供する。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、ＧＰＣ４０００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、ＧＰＣ４０００は、別のプロセッサ若しくはシステムによって、又はＧＰＣ４０００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、ＧＰＣ４０００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

図４１は、少なくとも一実施例による並列処理ユニット（「ＰＰＵ」）のメモリ・パーティション・ユニット４１００を示す。少なくとも一実施例では、パーティション・ユニット４１００は、限定することなく、ラスタ演算（「ＲＯＰ」）ユニット４１０２、レベル２（「Ｌ２」）キャッシュ４１０４、メモリ・インターフェース４１０６、及びそれらの任意の好適な組合せを含む。少なくとも一実施例では、メモリ・インターフェース４１０６はメモリに結合される。少なくとも一実施例では、メモリ・インターフェース４１０６は、高速データ転送のために、３２、６４、１２８、１０２４ビットのデータ・バス又は同様の実装形態を実装してもよい。少なくとも一実施例では、ＰＰＵは、パーティション・ユニット４１００の対当たりにメモリ・インターフェース４１０６を１つの、Ｕ個のメモリ・インターフェース４１０６を組み込んでおり、ここでパーティション・ユニット４１００の各対は、対応するメモリ・デバイスに接続される。たとえば、少なくとも一実施例では、ＰＰＵは、高帯域幅メモリ・スタック、又はグラフィックス・ダブル・データ・レート、バージョン５、同期ダイナミック・ランダム・ａ４１ｅｓｓ・メモリ（「ＧＤＤＲ５ ＳＤＲＡＭ」）など、最大Ｙ個のメモリ・デバイスに接続されてもよい。

少なくとも一実施例では、メモリ・インターフェース４１０６は、高帯域幅メモリの第２世代（「ＨＢＭ２」）メモリ・インターフェースを実装し、ＹはＵの半分に等しい。少なくとも一実施例では、ＨＢＭ２メモリ・スタックは、ＰＰＵと同じ物理パッケージに位置付けられて、従来のＧＤＤＲ５ ＳＤＲＡＭシステムに比べて実質的な電力と面積の節約を実現する。少なくとも一実施例では、各ＨＢＭ２スタックは、限定することなく４個のメモリ・ダイを含み、Ｙは４に等しく、各ＨＢＭ２スタックは、１つのダイ当たりに２つの１２８ビット・チャネルの合計８チャネル、及び１０２４ビットのデータ・バス幅を含む。少なくとも一実施例では、メモリは、１ビット・エラー訂正２ビット・エラー検出（「ＳＥＣＤＥＤ」）エラー訂正コード（「ＥＣＣ」）をサポートしてデータを保護する。少なくとも一実施例では、ＥＣＣは、データ破損を受けやすいコンピュート・アプリケーションに、より高い信頼性を提供する。

少なくとも一実施例では、ＰＰＵは、マルチ・レベルのメモリ階層を実装する。少なくとも一実施例では、メモリ・パーティション・ユニット４１００は、統合されたメモリをサポートして、中央処理装置（「ＣＰＵ」）及びＰＰＵメモリに単一の統合された仮想アドレス空間を提供し、仮想メモリ・システム間でのデータの共有を可能にする。少なくとも一実施例では、他のプロセッサに位置付けられたメモリにＰＰＵがアクセスする頻度を追跡して、より頻繁にページにアクセスしているＰＰＵの物理メモリに、メモリ・ページが確実に移動されるようにする。少なくとも一実施例では、高速ＧＰＵ相互接続３９０８は、アドレス・トランスレーション・サービスをサポートして、ＰＰＵが直接ＣＰＵのページ・テーブルにアクセスできるようにし、ＰＰＵによるＣＰＵメモリへのフル・アクセスを実現する。

少なくとも一実施例では、コピー・エンジンは、複数のＰＰＵ間、又はＰＰＵとＣＰＵの間で、データを転送する。少なくとも一実施例では、コピー・エンジンは、ページ・テーブルにマッピングされていないアドレスについてページ誤りを生成することができ、次いでメモリ・パーティション・ユニット４１００がページ誤りに対応して、アドレスをページ・テーブルにマッピングし、その後で、コピー・エンジンが転送を実行する。少なくとも一実施例では、メモリは、複数のプロセッサ間でコピー・エンジンの複数の動作についてピン留めされて（すなわち、ページ移動不可能にされて）、実質的に利用可能なメモリを低減させる。少なくとも一実施例では、ハードウェアのページ誤りがある場合、メモリ・ページが常駐であるかどうかに関わらず、アドレスをコピー・エンジンに渡すことができ、コピー・プロセスは透過的である。

少なくとも一実施例によれば、図３９のメモリ３９０４又は他のシステム・メモリからのデータは、メモリ・パーティション・ユニット４１００によってフェッチされ、Ｌ２キャッシュ４１０４に記憶され、このＬ２キャッシュは、オン・チップに位置付けられ、様々ＧＰＣ間で共有される。少なくとも一実施例では、各メモリ・パーティション・ユニット４１００は、対応するメモリ・デバイスに関連付けられたＬ２キャッシュの少なくとも一部分を、限定することなく含む。少なくとも一実施例では、より低いレベルのキャッシュが、ＧＰＣ内の様々なユニットに実装される。少なくとも一実施例では、ＳＭ４０１４のそれぞれは、レベル１（「Ｌ１」）キャッシュを実装してもよく、ここでＬ１キャッシュは、特定のＳＭ４０１４専用のプライベート・メモリであり、Ｌ２キャッシュ４１０４からのデータは、ＳＭ４０１４の機能ユニットで処理するために、Ｌ１キャッシュのそれぞれにフェッチされ記憶される。少なくとも一実施例では、Ｌ２キャッシュ４１０４は、メモリ・インターフェース４１０６及びＸバー３９２０に結合される。

少なくとも一実施例では、ＲＯＰユニット４１０２は、色圧縮、ピクセル・ブレンディングなど、ピクセル色に関係するグラフィックス・ラスタ演算を実行する。ＲＯＰユニット４１０２は、少なくとも一実施例では、ラスタ・エンジン４００８と併せて深度テストを実装して、ピクセル・フラグメントに関連付けられたサンプル・ロケーションの深度を、ラスタ・エンジン４００８の選別エンジンから受信する。少なくとも一実施例では、深度は、フラグメントに関連付けられたサンプル・ロケーションの深度バッファにおける対応する深度と比べてテストされる。少なくとも一実施例では、フラグメントが、サンプル・ロケーションの深度テストを通過すると、ＲＯＰユニット４１０２は、深度バッファを更新し、深度テストの結果をラスタ・エンジン４００８に送信する。パーティション・ユニット４１００の数はＧＰＣの数とは異なってもよく、したがって、各ＲＯＰユニット４１０２は、少なくとも一実施例では、ＧＰＣのそれぞれに結合されてもよいことが理解されよう。少なくとも一実施例では、ＲＯＰユニット４１０２は、異なるＧＰＣから受信したパケットを追跡し、ＲＯＰユニット４１０２によって生成された結果を、Ｘバー３９２０を通してどれにルーティングするかを判定する。

図４２は、少なくとも一実施例による、ストリーミング・マルチプロセッサ（「ＳＭ」）４２００を示す。少なくとも一実施例では、ＳＭ４２００は、図４０のＳＭ４０１４である。少なくとも一実施例では、ＳＭ４２００は、限定することなく、命令キャッシュ４２０２、１つ又は複数のスケジューラ・ユニット４２０２、レジスタ・ファイル４２０８、１つ又は複数の処理コア（「コア」）４２１０、１つ又は複数の特殊機能ユニット（「ＳＦＵ」）４２１２、１つ又は複数のロード／ストア・ユニット（「ＬＳＵ」）４２１４、相互接続ネットワーク４２１６、共有メモリ／レベル１（「Ｌ１」）キャッシュ４２１８、及びこれらの任意の好適な組合せを含む。少なくとも一実施例では、ワーク分配ユニットは、並列処理ユニット（「ＰＰＵ」）の汎用処理クラスタ（「ＧＰＣ」）で実行するためにタスクをディスパッチし、各タスクは、ＧＰＣ内の特定のデータ処理クラスタ（「ＤＰＣ」）に配分され、タスクがシェーダ・プログラムに関連する場合には、タスクはＳＭ４２００のうちの１つに配分される。少なくとも一実施例では、スケジューラ・ユニット４２０４は、ワーク分配ユニットからタスクを受信し、ＳＭ４２００に割り当てられた１つ又は複数のスレッド・ブロックについて命令スケジューリングを管理する。少なくとも一実施例では、スケジューラ・ユニット４２０４は、並列スレッドのワープとして実行できるようにスレッド・ブロックをスケジューリングし、ここで各スレッド・ブロックは、少なくとも１つのワープに配分される。少なくとも一実施例では、各ワープは、スレッドを実行する。少なくとも一実施例では、スケジューラ・ユニット４２０４は、複数の異なるスレッド・ブロックを管理して、異なるスレッド・ブロックにワープを配分し、次いで複数の異なる連動グループからの命令を、各クロック・サイクル中に様々な機能ユニット（たとえば、処理コア４２１０、ＳＦＵ４２１２、及びＬＳＵ４２１４）にディスパッチする。

少なくとも一実施例では、連動グループとは、通信するスレッドのグループを組織化するためのプログラミング・モデルを指し、このモデルは、スレッドが通信する粒度をデベロッパが表せるようにして、より豊富でより効率的な並列分解の表現を可能にする。少なくとも一実施例では、連動した起動ＡＰＩは、並列アルゴリズムを実行できるようにスレッド・ブロック間の同期をサポートする。少なくとも一実施例では、従来のプログラミング・モデルのアプリケーションは、連動スレッドを同期するための単一の簡単な構造、すなわちスレッド・ブロックのすべてのスレッドにわたるバリア（たとえば、ｓｙｎｃｔｈｒｅａｄｓ（）関数）を提供する。しかし、少なくとも一実施例では、プログラマは、スレッド・ブロックの粒度よりも小さいスレッド・グループを定義し、定義されたグループ内で同期して、集合的なグループ全般にわたる機能インターフェースの形で、より高い性能、設計の融通性、及びソフトウェア再利用を可能にしてもよい。少なくとも一実施例では、連動グループによって、プログラマは、サブ・ブロック（すなわち、単一スレッドと同じ大きさ）の粒度及びマルチ・ブロックの粒度において、スレッドのグループを明示的に定義し、連動グループ内のスレッドに対する同期などの集合的な動作を実行できるようになる。少なくとも一実施例では、プログラミング・モデルは、ソフトウェア境界を横切るクリーンな合成をサポートし、それにより、ライブラリ及びユーティリティ関数を、収束について仮定する必要なくそれらのローカルなコンテキスト内で安全に同期することができる。少なくとも一実施例では、連動グループのプリミティブは、プロデューサ－コンシューマ並列性、日和見並列性（ｏｐｐｏｒｔｕｎｉｓｔｉｃ ｐａｒａｌｌｅｌｉｓｍ）、及びスレッド・ブロックのグリッド全体にわたるグローバルな同期を限定することなく含む新しいパターンの連動並列性を可能にする。

少なくとも一実施例では、ディスパッチ・ユニット４２０６は、機能ユニットの１つ又は複数に命令を送信するように構成され、スケジューラ・ユニット４２０４は、同じワープからの２つの異なる命令を、各クロック・サイクル中にディスパッチできるようにする２つのディスパッチ・ユニット４２０６を限定することなく含む。少なくとも一実施例では、各スケジューラ・ユニット４２０４は、単一のディスパッチ・ユニット４２０６又は追加のディスパッチ・ユニット４２０６を含む。

少なくとも一実施例では、各ＳＭ４２００は、少なくとも一実施例では、ＳＭ４２００の機能ユニットにレジスタのセットを提供するレジスタ・ファイル４２０８を限定することなく含む。少なくとも一実施例では、レジスタ・ファイル４２０８は、各機能ユニットがレジスタ・ファイル４２０８の専用部分に配分されるように、それぞれの機能ユニット間で分割される。少なくとも一実施例では、レジスタ・ファイル４２０８は、ＳＭ４２００によって実行されている異なるワープ間で分割され、レジスタ・ファイル４２０８は、機能ユニットのデータ経路に接続されたオペランド用の一時的なストレージを提供する。少なくとも一実施例では、各ＳＭ４２００は、限定することなく、複数のＬ処理コア４２１０を含む。少なくとも一実施例では、各ＳＭ４２００は、限定することなく、多数の（たとえば、１２８個以上の）個別の処理コア４２１０を含む。少なくとも一実施例では、各処理コア４２１０は、少なくとも一実施例では、浮動小数点算術論理演算ユニット及び整数算術論理演算ユニットを限定することなく含む完全にパイプライン化された、単精度の、倍精度の、及び／又は混合精度の処理ユニットを限定することなく含む。少なくとも一実施例では、浮動小数点算術論理演算ユニットは、浮動小数点演算のためのＩＥＥＥ７５４－２００８規格を実装する。少なくとも一実施例では、処理コア４２１０は、限定することなく、６４個の単精度（３２ビット）浮動小数点コア、６４個の整数コア、３２個の倍精度（６４ビット）浮動小数点コア、及び８個のテンソル・コアを含む。

テンソル・コアは、少なくとも一実施例による行列演算を実行するように構成される。少なくとも一実施例では、１つ又は複数のテンソル・コアは、処理コア４２１０に含まれる。少なくとも一実施例では、テンソル・コアは、ニューラル・ネットワークの訓練及び推論のための畳み込み演算など、深層学習の行列演算を実行するように構成される。少なくとも一実施例では、各テンソル・コアは、４×４の行列で動作し、行列の積和演算（ｍａｔｒｉｘ ｍｕｌｔｉｐｌｙ ａｎｄ ａｃｃｕｍｕｌａｔｅ ｏｐｅｒａｔｉｏｎ）Ｄ＝Ａ×Ｂ＋Ｃを実行し、ここでＡ、Ｂ、Ｃ、及びＤは４×４の行列である。

少なくとも一実施例では、行列乗算の入力Ａ及びＢは、１６ビットの浮動小数点行列であり、和の行列Ｃ及びＤは、１６ビットの浮動小数点又は３２ビットの浮動小数点行列である。少なくとも一実施例では、テンソル・コアは、３２ビットの浮動小数点の和を有する１６ビットの浮動小数点入力データで動作する。少なくとも一実施例では、１６ビットの浮動小数点乗算は、６４個の演算を使用し、結果的に完全精度の積をもたらし、次いでその積が、４×４×４の行列乗算の他の中間積との３２ビット浮動小数点加算を使用して加算される。テンソル・コアを使用して、少なくとも一実施例では、これらの小さい要素から構築される、はるかに大きい２次元又はさらに高次元の行列演算が実行される。少なくとも一実施例では、ＣＵＤＡ９Ｃ＋＋ＡＰＩなどのＡＰＩは、ＣＵＤＡ－Ｃ＋＋プログラムからテンソル・コアを効率的に使用するために、特殊な行列ロード演算、行列積和演算、及び行列ストア演算を公開している。少なくとも一実施例では、ＣＵＤＡレベルにおいて、ワープ・レベル・インターフェースは、ワープの３２スレッドすべてにわたる１６×１６のサイズの行列を仮定している。

少なくとも一実施例では、各ＳＭ４２００は、特殊関数（たとえば、属性評価、逆数平方根など）を実行するＭ個のＳＦＵ４２１２を、限定することなく含む。少なくとも一実施例では、ＳＦＵ４２１２は、限定することなく、階層ツリー・データ構造をトラバースするように構成されたツリー・トラバーサル・ユニットを含む。少なくとも一実施例では、ＳＦＵ４２１２は、テクスチャ・マップのフィルタリング動作を実行するように構成されたテクスチャ・ユニットを、限定することなく含む。少なくとも一実施例では、テクスチャ・ユニットは、メモリ及びサンプル・テクスチャ・マップからテクスチャ・マップ（たとえば、テクセルの２Ｄアレイ）をロードして、ＳＭ４２００により実行されるシェーダ・プログラムで使用するためのサンプリングされたテクスチャ値を生成するように構成される。少なくとも一実施例では、テクスチャ・マップは、共有メモリ／レベル１キャッシュ４２１８に記憶される。少なくとも一実施例では、テクスチャ・ユニットは、少なくとも一実施例によれば、ミップ・マップ（たとえば、詳細さのレベルが異なるテクスチャ・マップ）を使用したフィルタリング動作などのテクスチャ動作を実装する。少なくとも一実施例では、各ＳＭ４２００は、限定することなく、２つのテクスチャ・ユニットを含む。

各ＳＭ４２００は、少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ４２１８とレジスタ・ファイル４２０８の間でロード及びストア動作を実装するＮ個のＬＳＵ４２１４を、限定することなく含む。各ＳＭ４２００は、少なくとも一実施例では、機能ユニットのそれぞれをレジスタ・ファイル４２０８に接続し、ＬＳＵ４２１４をレジスタ・ファイル４２０８に接続する相互接続ネットワーク４２１６と、共有メモリ／Ｌ１キャッシュ４２１８を、限定することなく含む。少なくとも一実施例では、相互接続ネットワーク４２１６はクロスバーであり、このクロスバーは、いずれかの機能ユニットをレジスタ・ファイル４２０８のいずれかのレジスタに接続し、ＬＳＵ４２１４をレジスタ・ファイル４２０８と共有メモリ／Ｌ１キャッシュ４２１８のメモリ・ロケーションとに接続するように構成されてもよい。

少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ４２１８は、少なくとも一実施例では、ＳＭ４２００とプリミティブ・エンジンの間、及びＳＭ４２００のスレッド間でデータ・ストレージ及び通信を可能にするオン・チップ・メモリのアレイである。少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ４２１８は、限定することなく、１２８ＫＢのストレージ容量を備え、ＳＭ４２００からパーティション・ユニットに向かう経路にある。少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ４２１８は、少なくとも一実施例では、読取り及び書込みをキャッシュするために使用される。少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ４２１８、Ｌ２キャッシュ、及びメモリのうちの１つ又は複数は、補助ストレージである。

少なくとも一実施例では、データ・キャッシュと共有メモリ機能とを単一のメモリ・ブロックに組み合わせることによって、両方のタイプのメモリ・アクセスについて性能が向上する。少なくとも一実施例では、容量は、共有メモリを使用しないプログラムによってキャッシュとして使用され、又は使用可能であり、それにより、共有メモリが容量の半分を使用するように構成されている場合、テクスチャ及びロード／ストア動作が、残りの容量を使用することができる。少なくとも一実施例によれば、共有メモリ／Ｌ１キャッシュ４２１８内に統合することによって、共有メモリ／Ｌ１キャッシュ４２１８が、データをストリームするための高スループットの管として機能しながら、同時に高帯域幅及び低レイテンシのアクセスを、頻繁に再使用されるデータに提供できるようになる。少なくとも一実施例では、汎用並列計算向けに構成されるときには、グラフィックス処理と比べてより簡単な構成を使用することができる。少なくとも一実施例では、固定機能のグラフィックス・プロセッシング・ユニットがバイパスされて、はるかに簡単なプログラミング・モデルが作製される。汎用並列計算の構成では、ワーク分配ユニットは、少なくとも一実施例においてスレッド・ブロックを直接ＤＰＣに割当て及び分配する。少なくとも一実施例では、ブロック内のスレッドは、各スレッドが確実に一意の結果を生成するように、計算において一意のスレッドＩＤを使用して同じプログラムを実行し、ＳＭ４２００を使用して、プログラムを実行し計算を行い、共有メモリ／Ｌ１キャッシュ４２１８を使用してスレッド間で通信し、ＬＳＵ４２１４を使用して、共有メモリ／Ｌ１キャッシュ４２１８及びメモリ・パーティション・ユニットを介してグローバル・メモリを読み取り、書き込む。少なくとも一実施例では、汎用並列計算向けに構成されるときには、ＳＭ４２００は、ＤＣＰ上で新規のワークを起動するためにスケジューラ・ユニット４２０２が使用できるコマンドを書き込む。

少なくとも一実施例では、ＰＰＵは、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、サーバ、スーパーコンピュータ、スマート・フォン（たとえば、ワイヤレスの携帯型デバイス）、パーソナル・デジタル・アシスタント（「ＰＤＡ」）、デジタル・カメラ、車両、頭装着型ディスプレイ、携帯型電子デバイスなどに含まれ、又はこれらに結合される。少なくとも一実施例では、ＰＰＵは、単一の半導体基板に具体化される。少なくとも一実施例では、ＰＰＵは、追加のＰＰＵ、メモリ、縮小命令セット・コンピュータ（「ＲＩＳＣ」）ＣＰＵ、メモリ管理ユニット（「ＭＭＵ」）、デジタル－アナログ変換器（「ＤＡＣ」）などの１つ又は複数の他のデバイスとともにシステム・オン・チップ（「ＳｏＣ」）に含まれる。

少なくとも一実施例では、ＰＰＵは、１つ又は複数のメモリ・デバイスを含むグラフィックス・カードに含まれてもよい。グラフィックス・カードは、デスクトップ・コンピュータのマザーボード上のＰＣＩｅスロットとインターフェースをとるように構成されてもよい。少なくとも一実施例では、ＰＰＵは、マザーボードのチップセットに含まれる統合グラフィックス・プロセッシング・ユニット（「ｉＧＰＵ」）であってもよい。

１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１７１５が使用される。推論及び／又は訓練論理１７１５に関する詳細事項は、図１７Ａ及び／又は図１７Ｂと併せて以下に提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、ＳＭ４２００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、ＳＭ４２００は、別のプロセッサ若しくはシステムによって、又はＳＭ４２００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、ＳＭ４２００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。

こうした構成要素は、少なくとも一実施例において、車両に対する物体の位置を判定する際に有用であり得る。

少なくとも一実施例では、単一の半導体プラットフォームとは、単独で単体の半導体ベースの集積回路又はチップを指してもよい。少なくとも一実施例では、マルチ・チップ・モジュールは、オン・チップ動作をシミュレートする接続性が向上した状態で使用されてもよく、従来の中央処理装置（「ＣＰＵ」）及びバスの実装形態の利用を大幅に改善する。少なくとも一実施例では、ユーザの希望に応じて、半導体プラットフォームとは別々に、又は半導体プラットフォームとの様々な組合せで、様々なモジュールがさらに設置されてもよい。

少なくとも一実施例では、機械読取り可能で実行可能なコード若しくはコンピュータ制御論理アルゴリズムの形のコンピュータ・プログラムが、メイン・メモリ２２０４及び／又は二次ストレージに記憶される。コンピュータ・プログラムは、１つ又は複数のプロセッサによって実行された場合に、少なくとも一実施例による様々な機能をシステム２２００が実行できるようにする。少なくとも一実施例では、メモリ２２０４、ストレージ、及び／又は任意の他のストレージが、コンピュータ読取り可能媒体の考えられる例である。少なくとも一実施例では、二次ストレージとは、フロッピー（登録商標）・ディスク・ドライブ、磁気テープ・ドライブ、コンパクト・ディスク・ドライブ、デジタル多用途ディスク（「ＤＶＤ」）ドライブ、記録デバイス、ユニバーサル・シリアル・バス（「ＵＳＢ」）フラッシュ・メモリなどを表すハード・ディスク・ドライブ及び／若しくはリムーバブル・ストレージ・ドライブなどの任意の好適なストレージ・デバイス又はシステムを指してもよい。少なくとも一実施例では、様々な先の図面のアーキテクチャ及び／又は機能は、ＣＰＵ２２０２、並列処理システム２２１２、ＣＰＵ２０２２と並列処理システム２２１２の両方の機能の少なくとも一部分を実現可能な集積回路、チップセット（たとえば、関連機能を実行するためのユニットとして機能し、販売されるように設計された集積回路のグループなど）、及び集積回路の任意の好適な組合せの文脈において実装される。

少なくとも一実施例では、様々な先の図面のアーキテクチャ及び／又は機能は、汎用コンピュータ・システム、回路板システム、エンタテイメント目的専用のゲーム・コンソール・システム、及び特定用途システムなどの文脈において実装される。少なくとも一実施例では、コンピュータ・システム２２００は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、サーバ、スーパーコンピュータ、スマート・フォン（たとえば、ワイヤレスの携帯型デバイス）、パーソナル・デジタル・アシスタント（「ＰＤＡ」）、デジタル・カメラ、車両、頭装着型ディスプレイ、携帯型電子デバイス、モバイル・フォン・デバイス、テレビ、ワークステーション、ゲーム・コンソール、組み込みシステム、及び／又は任意の他のタイプの論理の形をとってもよい。

少なくとも一実施例では、並列処理システム２２１２は、限定することなく、複数の並列処理ユニット（「ＰＰＵ」）２２１４、及び関連メモリ２２１６を含む。少なくとも一実施例では、ＰＰＵ２２１４は、相互接続２２１８及びスイッチ２２２０又はマルチプレクサを介してホスト・プロセッサ又は他の周辺デバイスに接続される。少なくとも一実施例では、並列処理システム２２１２は、計算タスクをＰＰＵ２２１４にわたって分配し、これは、たとえば複数のグラフィックス・プロセッシング・ユニット（「ＧＰＵ」）のスレッド・ブロックにわたる計算タスクの分配の一部として、並列化可能とすることができる。少なくとも一実施例では、メモリは、ＰＰＵ２２１４の一部又は全部にわたって共有され、（たとえば、読取り及び／又は書込みアクセスのために）アクセス可能であるが、こうした共有メモリは、ＰＰＵ２２１４に常駐しているローカル・メモリ及びレジスタの使用に対して、性能に不利益をもたらすことがある。少なくとも一実施例では、ＰＰＵ２２１４の動作は、＿ｓｙｎｃｔｈｒｅａｄｓ（）などのコマンドを使用することによって同期され、ここで（たとえば、複数のＰＰＵ２２１４にわたって動作している）ブロック内のすべてのスレッドが、進行前にコードのある一定の実行ポイントに到達する。

他の変形形態は、本開示の範囲内にある。したがって、開示した技法は、様々な修正及び代替的な構成が可能であるが、それらのうち一定の例示的な実施例が図面に示され、上で詳細に説明されてきた。しかし、特定の１つ又は複数の開示された形に本開示を限定する意図はなく、その反対に、特許請求の範囲に定義される開示の趣旨及び範囲に入るすべての修正形態、代替的な構成、及び等価物を網羅することを意図している。

開示される実施例を説明する文脈において（特に、以下の特許請求の範囲の文脈において）「ａ」及び「ａｎ」及び「ｔｈｅ」という用語、並びに同様の指示物を使用することは、本明細書に別段の記載のない限り、又は文脈によって明らかに否定されない限り、単数と複数の両方を網羅すると解釈されるべきであり、用語を限定するものと解釈されるべきではない。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「収容する（ｃｏｎｔａｉｎｉｎｇ）」という用語は、別段の記載のない限り、オープンエンドの用語（「含むが、これに限定されない」を意味する）と解釈される。「接続される」という用語は、修飾されずに物理的接続を指している場合には、何か介在するものがあったとしても、部分的に又は完全に中に収容される、取り付けられる、又は互いに接合されるものとして解釈される。本明細書において値の範囲を詳述することは、本明細書において別段の記載がない限り、またそれぞれ別々の値が、本明細書に個々に詳述されているかのように明細書に組み込まれていない限り、範囲内に含まれるそれぞれ別々の値を個々に参照する簡潔な方法として機能することを単に意図しているにすぎない。「セット」（たとえば、「アイテムのセット」）又は「サブセット」という用語の使用は、文脈によって別段の記載がない、又は否定されていない限り、１つ又は複数の部材を備える空ではない集合として解釈されるべきである。さらに、文脈によって別段の記載がない、又は否定されていない限り、対応するセットの「サブセット」という用語は、対応するセットの厳密なサブセットを必ずしも指すのではなく、サブセットと対応するセットは等しくてもよい。

「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という形の言い回しなどの結合語は、別段の具体的な記載のない限り、又は文脈によって明確に否定されていない限り、項目、用語などが、ＡかＢかＣである、又はＡとＢとＣのセットのいずれかの空でないサブセットであることを提示するために一般に使用される文脈で理解される。たとえば、３つの部材を有するセットの説明的な例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」並びに「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という結合句は、次のセットのうちのいずれかを指す：｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ、Ｂ｝、｛Ａ、Ｃ｝、｛Ｂ、Ｃ｝、｛Ａ、Ｂ、Ｃ｝。したがって、こうした結合語は、ある一定の実施例が、少なくとも１つのＡ、少なくとも１つのＢ、及び少なくとも１つのＣのそれぞれの存在を必要とすることを全体的に暗示するものではない。さらに、別段の記載のない、又は文脈によって否定されていない限り、「複数」という用語は、複数である状態を示す（たとえば、「複数の項目（ａ ｐｌｕｒａｌｉｔｙ ｏｆ ｉｔｅｍｓ）」は複数の項目（ｍｕｌｔｉｐｌｅ ｉｔｅｍｓ）を示す）。複数とは、少なくとも２つの項目であるが、明示的に、又は文脈によって示されている場合にはそれより多くてもよい。さらに、別段の記載のない、又は文脈からそうでないことが明らかでない限り、「～に基づく」という言い回しは、「少なくとも部分的に～に基づく」を意味し、「～だけに基づく」を意味しない。

本明細書に記載のプロセスの動作は、本明細書に別段の記載のない、又は文脈によって明確に否定されない限り、任意の好適な順序で実行することができる。少なくとも一実施例では、本明細書に記載のプロセス（又はその変形及び／又は組合せ）などのプロセスは、実行可能命令で構成された１つ又は複数のコンピュータ・システムの制御下で実行され、１つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組合せによって集合的に実行されるコード（たとえば、実行可能な命令、１つ若しくは複数のコンピュータ・プログラム、又は１つ若しくは複数のアプリケーション）として実装される。少なくとも一実施例では、コードは、たとえば１つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータ・プログラムの形で、コンピュータ読取り可能ストレージ媒体に記憶される。少なくとも一実施例では、コンピュータ読取り可能ストレージ媒体は、一時的な信号（たとえば、伝播する一時的な電気若しくは電磁送信）を除外するが、一時的な信号のトランシーバ内の非一時的なデータ・ストレージ回路（たとえば、バッファ、キャッシュ、及びキュー）を含む非一時的なコンピュータ読取り可能ストレージ媒体である。少なくとも一実施例では、コード（たとえば、実行可能コード又はソース・コード）は、１つ又は複数の非一時的なコンピュータ読取り可能ストレージ媒体のセットに記憶され、このストレージ媒体には、コンピュータ・システムの１つ又は複数のプロセッサによって実行されたときに（すなわち、実行された結果として）、コンピュータ・システムに本明細書に記載の動作を実行させる実行可能命令が記憶されている（又は、実行可能命令を記憶するための他のメモリを有する）。非一時的なコンピュータ読取り可能ストレージ媒体のセットは、少なくとも一実施例では、複数の非一時的なコンピュータ読取り可能ストレージ媒体を備え、複数の非一時的なコンピュータ読取り可能ストレージ媒体の個々の非一時的なストレージ媒体のうちの１つ又は複数には、すべてのコードがないが、複数の非一時的なコンピュータ読取り可能ストレージ媒体は、集合的にすべてのコードを記憶している。少なくとも一実施例では、実行可能命令は、異なる命令が異なるプロセッサによって実行されるように実行され、たとえば、非一時的なコンピュータ読取り可能ストレージ媒体は命令を記憶し、メインの中央処理装置（「ＣＰＵ」）は一部の命令を実行し、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」）は他の命令を実行する。少なくとも一実施例では、コンピュータ・システムの異なる構成要素は、別々のプロセッサを有し、異なるプロセッサは、命令の異なるサブセットを実行する。

したがって、少なくとも一実施例では、コンピュータ・システムは、本明細書に記載のプロセスの動作を単独で又は集合的に実行する１つ又は複数のサービスを実装するように構成され、こうしたコンピュータ・システムは、動作の実行を可能にする適用可能なハードウェア及び／又はソフトウェアで構成される。さらに、本開示の少なくとも一実施例を実装するコンピュータ・システムは、単一のデバイスであり、別の実施例では、異なるやり方で動作する複数のデバイスを備える分散型のコンピュータ・システムであり、それにより単一のデバイスがすべての動作を実行しないように分散型のコンピュータ・システムが本明細書に記載の動作を実行する。

本明細書に提供されるあらゆる例、又は例示的な言葉（たとえば、「など」）の使用は、本開示の実施例をより明らかにすることだけを意図しており、別段の主張のない限り、本開示の範囲に制限を加えるものではない。本明細書のいかなる言葉も、特許請求されていない任意の要素を、本開示の実践に不可欠なものとして示すと解釈されるべきではない。

本明細書に引用される出版物、特許出願、及び特許を含むすべての参考文献は、各参考文献が参照により組み込まれることがあたかも個別に明確に示され、その全体が本明細書に記載されたかのように、それと同程度まで参照により本明細書に組み込まれる。

明細書及び特許請求の範囲において、「結合される」及び「接続される」という用語が、その派生語とともに使用されてもよい。これらの用語は、互いに同義語として意図されていない場合があることを理解すべきである。むしろ、特定の例では、「接続される」又は「結合される」は、２つ以上の要素が物理的又は電気的に互いに直接又は間接的に接触していることを示すために使用されてもよい。また「結合される」は、２つ以上の要素が直接互いに接触していないが、なお互いに連動又は相互作用することを意味してもよい。

別段の具体的な記載のない限り、明細書全体を通して「処理する」、「コンピューティング」、「計算する」、又は「判定する」などの用語は、コンピューティング・システムのレジスタ及び／又はメモリ内の、電子的などの物理的な量として表されるデータをコンピューティング・システムのメモリ、レジスタ、又は他のそのような情報ストレージ・デバイス、送信デバイス、若しくはディスプレイ・デバイス内の物理的な量として同様に表される他のデータになるよう操作及び／又は変換するコンピュータ若しくはコンピューティング・システム、又は同様の電子コンピューティング・デバイスの行為及び／又はプロセスを指す。

同様に、「プロセッサ」という用語は、レジスタ及び／又はメモリからの電子データを処理し、その電子データを、レジスタ及び／又はメモリに記憶することができる他の電子データに変換する任意のデバイス、又はデバイスの一部分を指してもよい。非限定的な例として、「プロセッサ」は、ＣＰＵ又はＧＰＵであってもよい。「コンピューティング・プラットフォーム」は、１つ又は複数のプロセッサを備えてもよい。本明細書で使用する「ソフトウェア」プロセスは、たとえば、タスク、スレッド、及び知的エージェントなど、経時的にワークを実行するソフトウェア及び／又はハードウェアのエンティティを含んでもよい。また、各プロセスは、命令を直列で又は並列で連続的に又は断続的に実行するための複数のプロセスを指してもよい。「システム」及び「方法」という用語は、１つ又は複数の方法をシステムが具体化することができ、方法がシステムと考えられてもよい場合に限り、本明細書において交換可能に使用される。

本明細書では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又はそれらをサブシステム、コンピュータ・システム、又はコンピュータ実装機械に入力することに言及することができる。アナログ・データ又はデジタル・データを得る、取得する、受信する、又は入力することは、関数呼出し、又はアプリケーション・プログラミング・インターフェースへの呼出しのパラメータとしてデータを受信するなど、様々なやり方で実現することができる。いくつかの実装形態では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又は入力するプロセスは、直列又は並列のインターフェースを介してデータを転送することによって実現することができる。別の実装形態では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又は入力するプロセスは、提供するエンティティから取得するエンティティにコンピュータ・ネットワークを介してデータを転送することによって実現することができる。また、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送る、又は提示することにも言及することができる。様々な例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送る、又は提示するプロセスは、関数呼出しの入力又は出力のパラメータ、アプリケーション・プログラミング・インターフェース若しくはプロセス間通信機構のパラメータとしてデータを転送することによって実現することができる。

上の議論は、記載した技法の例示的な実装形態について述べているが、記載した機能を実装するために他のアーキテクチャが使用されてもよく、この他のアーキテクチャは、本開示の範囲内にあることが意図される。さらに、議論を目的として、役割の具体的な分配が定義されているが、様々な機能及び役割は、状況に応じて異なるやり方で分配及び分割されてもよい。

さらに、主題は、構造的特徴及び／又は方法論的行為に特有の言葉で説明されてきたが、添付の特許請求の範囲で請求される主題は、必ずしも説明された特有の特徴又は行為に限定されないことが理解されるべきである。むしろ、特有の特徴及び行為は、特許請求の範囲を実装する例示的な形として開示されている。

Claims (23)

1. 車両の乗車者の視線を、前記車両の１つ又は複数のセンサにより前記乗車者が検出された角度とは無関係に判定する１つ又は複数の回路を備えるプロセッサであって、前記視線が、前記乗車者の視線ベクトルと前記車両の認識済み領域との交点を識別することにより判定される、プロセッサ。
2. 前記視線が、１つ又は複数のニューラル・ネットワークに少なくとも部分的に基づき判定される、請求項１に記載のプロセッサ。
3. 車両座標系に関して知られており、前記１つ又は複数のセンサに対応する少なくとも１つの仮想座標系にマッピングされた位置データを使用して、前記１つ又は複数のニューラル・ネットワークが訓練される、請求項２に記載のプロセッサ。
4. 前記車両に配置され、訓練データ収集プロセス中に検出されるデータに表される基準要素を認識することにより、前記位置データが部分的に得られる、請求項３に記載のプロセッサ。
5. 前記車両の前記車両座標系の固定位置に配置されたキャリブレーション取付け部を使用して、前記車両座標系が前記少なくとも１つの仮想座標系にマッピングされる、請求項３に記載のプロセッサ。
6. 車両であって、
   １つ又は複数のセンサと、
   前記車両の乗車者の視線を、前記１つ又は複数のセンサにより前記乗車者が検出された角度とは無関係に判定する１つ又は複数のプロセッサと、
   を備え、
   前記視線が、前記乗車者の視線ベクトルと前記車両の認識済み領域との交点を識別することにより判定される、車両。
7. 前記視線が、１つ又は複数のニューラル・ネットワークに少なくとも部分的に基づき判定される、請求項６に記載の車両。
8. 車両座標系に関して知られており、前記１つ又は複数のセンサに対応する少なくとも１つの仮想座標系にマッピングされた位置データを使用して、前記１つ又は複数のニューラル・ネットワークが訓練される、請求項７に記載の車両。
9. 前記車両に配置され、訓練データ収集プロセス中に検出されるデータに表される基準要素を認識することにより、前記位置データが部分的に得られる、請求項８に記載の車両。
10. 前記車両の前記車両座標系の固定位置に配置されたキャリブレーション取付け部を使用して、前記車両座標系が前記少なくとも１つの仮想座標系にマッピングされる、請求項８に記載の車両。
11. 車両の１人又は複数の乗車者を、１つ又は複数のセンサによって検出するステップと、
    前記１人又は複数の乗車者の視線を、前記１つ又は複数のセンサのロケーションとは無関係に判定するステップと、
    を含み、
    前記視線が、前記乗車者の視線ベクトルと前記車両の認識済み領域との交点を識別することにより判定される、方法。
12. 前記視線が、１つ又は複数のニューラル・ネットワークに少なくとも部分的に基づき判定される、請求項１１に記載の方法。
13. 車両座標系に関して知られており、前記１つ又は複数のセンサに対応する少なくとも１つの仮想座標系にマッピングされた位置データを使用して、前記１つ又は複数のニューラル・ネットワークが訓練される、請求項１２に記載の方法。
14. 訓練データ収集プロセス中に検出されるデータに表される基準要素を認識することにより、前記位置データが部分的に得られる、請求項１３に記載の方法。
15. 前記車両の前記車両座標系の固定位置に配置されたキャリブレーション取付け部を使用して、前記車両座標系が前記少なくとも１つの仮想座標系にマッピングされる、請求項１３に記載の方法。
16. １人又は複数の人々の視線を、前記視線が検出された角度とは無関係に判定するように、１つ又は複数のニューラル・ネットワークを訓練する１つ又は複数の回路を備えるプロセッサであって、前記視線が、乗車者の視線ベクトルと車両の認識済み領域との交点を識別することにより判定される、プロセッサ。
17. 参照座標系に関して知られており、前記１人又は複数の人々を検出するために使用された１つ又は複数のセンサに対応する少なくとも１つの仮想座標系にマッピングされた位置データを使用して、前記１つ又は複数のニューラル・ネットワークが訓練される、請求項１６に記載のプロセッサ。
18. 訓練データ収集プロセス中に検出されるデータに表される基準要素を認識することにより、前記位置データが部分的に得られる、請求項１７に記載のプロセッサ。
19. 物理空間の前記参照座標系の固定位置に配置されたキャリブレーション取付け部を使用して、前記参照座標系が前記少なくとも１つの仮想座標系にマッピングされる、請求項１７に記載のプロセッサ。
20. １人又は複数の人々の視線を、前記視線が検出された角度とは無関係に判定するように、１つ又は複数のニューラル・ネットワークを訓練する１つ又は複数のプロセッサを備えるシステムであって、前記視線が、乗車者の視線ベクトルと車両の認識済み領域との交点を識別することにより判定される、システム。
21. 参照座標系に関して知られており、前記１人又は複数の人々を検出するために使用された１つ又は複数のセンサに対応する少なくとも１つの仮想座標系にマッピングされた位置データを使用して、前記１つ又は複数のニューラル・ネットワークが訓練される、請求項２０に記載のシステム。
22. 訓練データ収集プロセス中に検出されるデータに表される基準要素を認識することにより、前記位置データが部分的に得られる、請求項２１に記載のシステム。
23. 物理空間の前記参照座標系の固定位置に配置されたキャリブレーション取付け部を使用して、前記参照座標系が前記少なくとも１つの仮想座標系にマッピングされる、請求項２１に記載のシステム。