JP2024062340A - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

Abstract

【課題】イベントカメラにより撮影された物体の画像から物体の存在位置を把握する情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【解決手段】情報処理装置は、イベントカメラ３０Ｃにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第１プロセッサＭｏＰＵ１２と、前記イベントカメラと対応する方向を向いた超高解像度カメラに内蔵され、超高解像度カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第２プロセッサＩＰＵと、前記第１プロセッサから出力された前記点情報及び前記第２プロセッサから出力された前記識別情報を対応付ける第３プロセッサＣｅｎｔｒａｌ Ｂｒａｉｎ１５と、を備える。
【選択図】図１３

Description

本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

特許文献１には、自動運転機能を有する車両について記載されている。

特開２０２２－０３５１９８号公報

ところで、特許文献１のように車両を自動運転する場合は、カメラによって車両の周囲が撮影された複数の画像を用いて自動運転の制御が行われる。ここで、自動運転の制御では、可視光カメラにより撮影された可視光画像から、車両の走行に影響を及ぼす物体（例：歩行者）の存在位置を把握することが適さない状況が存在する。

そこで、本開示は、イベントカメラにより撮影された物体の画像から物体の存在位置を把握することができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

本開示の情報処理装置は、イベントカメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第１プロセッサと、前記イベントカメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第２プロセッサと、前記第１プロセッサから出力された前記点情報及び前記第２プロセッサから出力された前記識別情報を対応付ける第３プロセッサと、を備える。

また、本開示の情報処理装置は、前記第１プロセッサは、所定要因により可視光カメラにより撮影された前記物体の可視光画像から前記物体を捉えられない場合、前記イベントカメラにより撮影された前記物体の画像に基づいて前記点情報を出力する。

また、本開示の情報処理装置は、前記所定要因は、前記物体の移動速度が所定値以上の場合及び単位時間あたりにおける環境光の光量変化が所定値以上の場合の少なくとも１つを含む。

また、本開示の情報処理装置は、前記イベントカメラは、現時刻に撮影された画像と前時刻に撮影された画像との差異部分を表すイベント画像を出力するカメラである。

本開示の情報処理方法は、イベントカメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、前記イベントカメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、前記点情報及び前記識別情報を対応付ける、処理をコンピュータが実行する。

本開示の情報処理プログラムは、コンピュータに、イベントカメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、前記イベントカメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、前記点情報及び前記識別情報を対応付ける、処理を実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

Ｃｅｎｔｒａｌ Ｂｒａｉｎを搭載した車両の一例を示す概略図である。 情報処理装置の構成の一例を示す第１のブロック図である。 情報処理装置の構成の一例を示す第２のブロック図である。 ＭｏＰＵが出力する点情報の例を示す説明図である。 情報処理装置の構成の一例を示す第３のブロック図である。 情報処理装置の構成の一例を示す第４のブロック図である。 点情報とラベル情報との対応付けの一例を示す説明図である。 車両の概略構成を示す説明図である 冷却実行装置の機能構成の例を示すブロック図である。 情報処理装置の構成の一例を示す第５のブロック図である。 情報処理装置の構成の一例を示す第６のブロック図である。 物体の時系列における座標検出を模式的に示す図である。 情報処理装置の構成の一例を示す第７のブロック図である。 イベントカメラにより撮影された物体の画像を説明するための説明図である。 情報処理装置又は冷却実行装置として機能するコンピュータのハードウェア構成の一例を概略的に示す説明図である。

以下、本開示の実施形態を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

（第１の実施形態）
まず、本実施形態に係る第１の実施形態について説明する。本開示に係る情報処理装置は、一例として、少なくとも一部が車両１００に搭載されて、車両１００の自動運転制御を行う。また、当該情報処理装置は、Ａｕｔｏｎｏｍｏｕｓ ＤｒｉｖｉｎｇをＬｅｖｅｌ６によるＡＩ／多変量解析／ゴールシーク／戦略立案／最適確率解／最適スピード解／最適コースマネジメント／エッジにおける多種センサ入力により得られたデータを基にリアルタイムで実現でき、デルタ最適解に基づいて調整される走行システムを提供し得る。車両１００は「対象物」の一例である。

ここで、「Ｌｅｖｅｌ６」とは、自動運転を表すレベルであり、完全自動運転を表すＬｅｖｅｌ５よりも更に上のレベルに相当する。Ｌｅｖｅｌ５は完全自動運転を表すものの、それは人が運転するのと同等のレベルであり、それでも未だ事故等が発生する確率はある。Ｌｅｖｅｌ６とは、Ｌｅｖｅｌ５よりも上のレベルを表すものであり、Ｌｅｖｅｌ５よりも事故が発生する確率が低いレベルに相当する。

Ｌｅｖｅｌ６における計算力は、Ｌｅｖｅｌ５の計算力の１０００倍程度である。したがって、Ｌｅｖｅｌ５では実現できなかった高性能な運転制御が実現可能である。

図１は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５を搭載した車両１００の一例を示す概略図である。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５には、複数のＧａｔｅ Ｗａｙが通信可能に接続されている。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、Ｇａｔｅ Ｗａｙを介して外部のクラウドサーバに接続されている。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、Ｇａｔｅ Ｗａｙを介して外部のクラウドサーバへアクセスすることができるように構成されている。その一方で、Ｇａｔｅ Ｗａｙの存在により、外部からＣｅｎｔｒａｌ Ｂｒａｉｎ１５へ直接アクセスすることはできないように構成されている。

Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、所定時間が経過する毎に、要求信号をクラウドサーバへ出力する。具体的には、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、１０億分の１秒毎に、問い合わせを表す要求信号をクラウドサーバへ出力する。一例として、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、Ｇａｔｅ Ｗａｙを介して取得した複数の情報に基づいて、ＬｅｖｅＬ６の自動運転を制御する。

図２は、情報処理装置１０の構成の一例を示す第１のブロック図である。情報処理装置１０は、ＩＰＵ（Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＭｏＰＵ（Ｍｏｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６を備えている。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＧＮＰＵ（Ｇｒａｐｈｉｃｓ Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３及びＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４を含んで構成されている。

ＩＰＵ１１は、車両１００に設置された超高解像度カメラ（図示せず）に内蔵されている。ＩＰＵ１１は、超高解像度カメラにより撮影された車両１００の周囲に存在する物体の画像について、ベイヤ変換、デモザイク、ノイズ除去、シャープ化等の所定の画像処理を行い、処理された物体の画像を、例えば１０フレーム／秒のフレームレートかつ１２００万画素の解像度で出力する。また、ＩＰＵ１１は、超高解像度カメラにより撮影された物体の画像から、撮影された物体を識別した識別情報を出力する。識別情報は、撮影された物体が何であるか（例えば、人なのか、障害物なのか）を識別するために必要な情報である。本実施形態では、ＩＰＵ１１は、識別情報として、撮影された物体の種別を示すラベル情報（例えば、撮影された物体が犬なのか、猫なのか、又はクマなのかを示す情報）を出力する。さらに、ＩＰＵ１１は、撮影された物体の超高解像度カメラのカメラ座標系における位置を示す位置情報を出力する。ＩＰＵ１１から出力された画像、ラベル情報、及び位置情報は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に供給される。ＩＰＵ１１は「第２プロセッサ」の一例であり、超高解像度カメラは「第２カメラ」の一例である。

ＭｏＰＵ１２は、車両１００に設置された超高解像度カメラとは別の別カメラ（図示せず）に内蔵されている。ＭｏＰＵ１２は、超高解像度カメラと対応する方向を向いた別カメラにより１００フレーム／秒以上のフレームレートで撮影された物体の画像から、撮影された物体を点として捉えた点情報を、例えば１００フレーム／秒以上のフレームレートで出力する。ＭｏＰＵ１２から出力された点情報は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に供給される。このように、ＭｏＰＵ１２が点情報を出力するために用いる画像と、ＩＰＵ１１が識別情報を出力するために用いる画像とは、別カメラ及び超高解像度カメラが対応する方向を向いて撮影した画像である。ここで、「対応する方向」とは、別カメラの撮影範囲と超高解像度カメラの撮影範囲とが重複する方向である。上記の場合だと、別カメラは、超高解像度カメラの撮影範囲と重複する方向を向いて物体を撮影する。なお、超高解像度カメラ及び別カメラが対応する方向を向いて物体を撮影することは、例えば、超高解像度カメラ及び別カメラ間のカメラ座標系の対応関係を予め求めておくことにより実現される。

例えば、ＭｏＰＵ１２は、点情報として、物体の存在位置を示す点の３次元直交座標系における少なくとも２つの座標軸の座標値を出力する。当該座標値は、一例として、物体の中心点（又は重心点）を示している。また、ＭｏＰＵ１２は、２つの座標軸の座標値として、当該３次元直交座標系における幅方向に沿った軸（ｘ軸）の座標値（以下、「ｘ座標値」とする）及び高さ方向に沿った軸（ｙ軸）の座標値（以下、「ｙ座標値」とする）を出力する。なお、ｘ軸は、車両１００の車幅方向に沿った軸であり、ｙ軸は、車両１００の高さ方向に沿った軸である。

以上の構成により、ＭｏＰＵ１２が出力する１秒間の点情報は１００フレーム以上のｘ座標値及びｙ座標値を含むため、当該点情報に基づくと、上記３次元直交座標系におけるｘ軸及びｙ軸上の物体の動き（移動方向及び移動速度）を把握することができる。つまり、ＭｏＰＵ１２が出力する点情報は、物体の上記３次元直交座標系における位置を示す位置情報及び物体の動きを示す動き情報を含んでいる。

以上のように、ＭｏＰＵ１２から出力される点情報には、撮影された物体が何であるか（例えば、人なのか、障害物なのか）を識別するために必要な情報は含まれておらず、当該物体の中心点（又は重心点）のｘ軸及びｙ軸上の動き（移動方向及び移動速度）を示す情報のみが含まれている。そして、ＭｏＰＵ１２から出力される点情報は、画像情報を含まないため、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に出力するデータ量を画期的に削減することができる。ＭｏＰＵ１２は「第１プロセッサ」の一例であり、別カメラは「第１カメラ」の一例である。

上述の通り、本実施形態では、ＭｏＰＵ１２が内蔵された別カメラのフレームレートは、ＩＰＵ１１が内蔵された超高解像度カメラのフレームレートより大きい。具体的には、別カメラのフレームレートは１００フレーム／秒以上であり、超高解像度カメラのフレームレートは１０フレーム／秒である。つまり、別カメラのフレームレートは、超高解像度カメラのフレームレートの１０倍以上である。

Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＭｏＰＵ１２から出力された点情報及びＩＰＵ１１から出力されたラベル情報を対応付ける。例えば、上記別カメラと超高解像度カメラとのフレームレート差に起因して、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、物体についての点情報を取得しているが、ラベル情報を取得していない状態がある。この状態では、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、点情報に基づいて物体のｘ座標値及びｙ座標値を認識するが、その物体が何であるかは認識していない。

その後、上記物体についてのラベル情報を取得した場合、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、当該ラベル情報の種別（例：ＰＥＲＳＯＮ）を導出する。そして、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、当該ラベル情報と上記で取得している点情報とを対応付ける。これにより、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、点情報に基づいて物体のｘ座標値及びｙ座標値を認識するとともに、その物体が何であるかを認識する。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は「第３プロセッサ」の一例である。

ここで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、超高解像度カメラ及び別カメラにより撮影された物体が、例えば、物体Ａ及び物体Ｂのように複数存在する場合、次のようにして各物体についての点情報及びラベル情報を対応付ける。上記の別カメラと超高解像度カメラとのフレームレート差に起因して、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、物体Ａ及び物体Ｂについての点情報（以下、「点情報Ａ」及び「点情報Ｂ」とする）を取得しているが、ラベル情報を取得していない状態がある。この状態では、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、点情報Ａに基づいて物体Ａのｘ座標値及びｙ座標値を認識し、点情報Ｂに基づいて物体Ｂのｘ座標値及びｙ座標値を認識するが、それらの物体が何であるかは認識していない。

その後、一のラベル情報を取得した場合、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、当該一のラベル情報の種別（例：ＰＥＲＳＯＮ）を導出する。そして、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、当該一のラベル情報と共にＩＰＵ１１から出力された位置情報と、取得している点情報Ａ及び点情報Ｂに含まれる位置情報とに基づいて、当該一のラベル情報と対応付ける点情報を特定する。例えば、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された位置情報が示す物体の位置に最も近い位置を示す位置情報を含む点情報を特定し、当該点情報を当該一のラベル情報に対応付ける。上記で特定された点情報が点情報Ａである場合、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、当該一のラベル情報と点情報Ａとを対応付け、点情報Ａに基づいて物体Ａのｘ座標値及びｙ座標値を認識するとともに、物体Ａが何であるかを認識する。

以上説明したように、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、超高解像度カメラ及び別カメラにより撮影された物体が複数存在する場合、ＩＰＵ１１から出力された位置情報と、ＭｏＰＵ１２から出力された点情報に含まれる位置情報とに基づいて、点情報及びラベル情報の対応付けを行う。

また、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像及びラベル情報に基づいて、車両１００の周囲に存在する物体（人、動物、道路、信号、標識、横断歩道、障害物、建物など）を認識する。また、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＭｏＰＵ１２から出力された点情報に基づいて、車両１００の周囲に存在する、何であるか認識された物体の位置及び動きを認識する。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は認識した情報に基づいて、例えば、車輪を駆動するモータの制御（速度制御）、ブレーキ制御、ハンドル制御を行い、車両１００の自動運転を制御する。例えば、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＭｏＰＵ１２から出力された点情報に含まれる位置情報及び動き情報から、物体との衝突を回避するように車両１００の自動運転を制御する。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５において、ＧＮＰＵ１３は画像認識に関する処理を担ってもよく、ＣＰＵ１４は、車両制御に関する処理を担ってもよい。

一般的に自動運転における画像認識を行うために超高解像度カメラが使用されている。ここで、超高解像度カメラによって撮影された画像から、当該画像に含まれる物体が何であるかを認識することは可能である。しかしながら、Ｌｅｖｅｌ６時代の自動運転ではこれだけでは不十分である。Ｌｅｖｅｌ６時代では、物体の動きをより高精度に認識することも必要である。ＭｏＰＵ１２によって物体の動きをより高精度に認識することで、例えば、自動運転によって走行する車両１００が障害物を回避する回避動作を、より高精度で行うことが可能となる。しかしながら、超高解像度カメラでは、１秒間に１０フレーム程度しか画像を取得することができず、物体の動きを解析する精度はＭｏＰＵ１２を搭載したカメラに比べると低い。一方、ＭｏＰＵ１２を搭載したカメラでは、例えば１００フレーム／秒の高フレームレートでの出力が可能である。

そこで、第１の実施形態に係る情報処理装置１０は、ＩＰＵ１１及びＭｏＰＵ１２の２つの独立したプロセッサを備える。情報処理装置１０は、超高解像度カメラに内蔵されたＩＰＵ１１には、撮影した物体が何であるかを識別するために必要な情報を取得する役割を与え、別カメラに内蔵されたＭｏＰＵ１２には、物体の位置及び動きを検出する役割を与えている。ＭｏＰＵ１２は、撮影した物体を点として捉え、その点の座標が上記３次元直交座標系における少なくともｘ軸及びｙ軸上のどの方向に、どの程度の速度で動くかを解析する。物体の全体の輪郭と、その物体が何なのかの検知は、超高解像度カメラからの画像によって行うことが可能であることから、ＭｏＰＵ１２によって、例えば、物体の中心点がどのように移動するかさえ分かれば、物体全体がどのような挙動をするかがわかる。

物体の中心点の移動と速度のみを解析する手法によれば、物体の画像全体がどのように動くかを判断することに比べて、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５に出力するデータ量を大幅に抑制し、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５における計算量を大幅に低減することが可能である。例えば、１０００ピクセル×１０００ピクセルの画像を、１０００フレーム／秒のフレームレートでＣｅｎｔｒａｌ Ｂｒａｉｎ１５に出力する場合、色情報を含めると、４０億ビット／秒のデータをＣｅｎｔｒａｌ Ｂｒａｉｎ１５に出力することになる。ＭｏＰＵ１２が、物体の中心点の動きを示す点情報のみを出力することで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５に出力するデータ量を２万ビット／秒に圧縮することができる。すなわち、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５に出力するデータ量が２０万分の１に圧縮される。

このように、ＩＰＵ１１から出力される低フレームレートかつ高解像度の画像及びラベル情報と、ＭｏＰＵ１２から出力される高フレームレートかつ軽量の点情報とを組み合わせて用いることで、物体の動きを含む物体認識を、少ないデータ量で実現することが可能となる。

また、情報処理装置１０では、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５がＭｏＰＵ１２から出力された点情報及びＩＰＵ１１から出力されたラベル情報を対応付けることにより、どのような物体がどのような動きをしているのかに関する情報を把握することができる。

（第２の実施形態）
次に、本実施形態に係る第２の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。

図３は、情報処理装置１０の構成の一例を示す第２のブロック図である。図３に示すように、車両１００に搭載される情報処理装置１０は、左側の目に相当するＭｏＰＵ１２Ｌと、右側の目に相当するＭｏＰＵ１２Ｒと、ＩＰＵ１１と、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５とを備えている。

ＭｏＰＵ１２Ｌは、カメラ３０Ｌと、レーダー３２Ｌと、赤外線カメラ３４Ｌと、コア１７Ｌを備えている。また、ＭｏＰＵ１２Ｒは、カメラ３０Ｒと、レーダー３２Ｒと、赤外線カメラ３４Ｒと、コア１７Ｒを備えている。なお、以下では、ＭｏＰＵ１２ＬとＭｏＰＵ１２Ｒとを区別しない場合には「ＭｏＰＵ１２」、カメラ３０Ｌとカメラ３０Ｒとを区別しない場合には「カメラ３０」、レーダー３２Ｌとレーダー３２Ｒとを区別しない場合には「レーダー３２」、赤外線カメラ３４Ｌと赤外線カメラ３４Ｒとを区別しない場合には「赤外線カメラ３４」、コア１７Ｌとコア１７Ｒとを区別しない場合には「コア１７」と記載する。

ＭｏＰＵ１２が備えるカメラ３０は、ＩＰＵ１１が備える超高解像度カメラ（例えば、１０フレーム／秒）よりも大きいフレーム数（１２０，２４０，４８０，９６０，又は１９２０フレーム／秒）で物体を撮影する。カメラ３０のフレームレートは可変である。カメラ３０は「第１カメラ」の一例である。

ＭｏＰＵ１２が備えるレーダー３２は、物体に照射した電磁波の当該物体からの反射波に基づく信号であるレーダー信号を取得する。ＭｏＰＵ１２が備える赤外線カメラ３４は、赤外線画像を撮影するカメラである。

ＭｏＰＵ１２が備えるコア１７（例えば、１つ以上のＣＰＵにより構成される）は、カメラ３０が撮影した１フレームの画像毎に特徴点を抽出し、点情報として、上記３次元直交座標系における物体のｘ座標値及びｙ座標値を出力する。コア１７は、例えば、画像から抽出した物体の中心点（重心点）を特徴点とする。なお、コア１７が出力する点情報は、上記実施形態と同様に、位置情報及び動き情報を含む。

ＩＰＵ１１は、超高解像度カメラ（図示せず）を備えており、超高解像度カメラにより撮影された物体の画像、当該物体の種別を示すラベル情報、及び当該物体の超高解像度カメラのカメラ座標系における位置を示す位置情報を出力する。

Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＭｏＰＵ１２から出力された点情報と、ＩＰＵ１１から出力された画像、ラベル情報、及び位置情報とを取得する。そして、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＭｏＰＵ１２から出力された点情報に含まれる位置情報とＩＰＵ１１から出力された位置情報とが対応する位置に存在する物体についてのラベル情報を当該点情報に対応付ける。これにより、情報処理装置１０では、ラベル情報が示す物体が何であるかという情報と、点情報が示す物体の位置及び動きとを対応付けることが可能になる。

ここで、ＭｏＰＵ１２は、所定要因に応じてカメラ３０のフレームレートを変更する。本実施形態では、ＭｏＰＵ１２は、所定要因の一例として外部環境に関するスコアに応じてカメラ３０のフレームレートを変更する。この場合、ＭｏＰＵ１２は、車両１００に対する外部環境に関するスコアを算出し、算出したスコアに応じて、カメラ３０のフレームレートを変更する。そして、ＭｏＰＵ１２は、変更したフレームレートで画像を撮影させるための制御信号をカメラ３０に対して出力する。これにより、カメラ３０は、制御信号が示すフレームレートで画像を撮影する。この構成により、情報処理装置１０によれば、外部環境に適したフレームレートで物体の画像を撮影することができる。

なお、車両１００に搭載される情報処理装置１０は、図示しない複数種類のセンサを備えている。ＭｏＰＵ１２は、複数種類のセンサから取り入れられたセンサ情報（例えば、体重の重心移動、道路の材質の検知、外気温度の検知、外気湿度の検知、坂道の上下横斜め傾き角度の検知、道路の凍り方、水分量の検知、それぞれのタイヤの材質、摩耗状況、空気圧の検知、道路幅、追い越し禁止有無、対向車、前後車両の車種情報、それらの車のクルージング状態、又は周囲の状況(鳥、動物、サッカーボール、事故車、地震、家事、風、台風、大雨、小雨、吹雪、霧、など)等）及び点情報に基づいて、車両１００に対する外部環境に関するスコアとして、車両１００の移動に関する危険度を算出する。危険度は、車両１００が今後どの程度の危険な場所を走行するかの度合を示している。この場合、ＭｏＰＵ１２は、算出した危険度に応じてカメラ３０のフレームレートを変更する。車両１００は「移動体」の一例である。この構成により、情報処理装置１０によれば、車両１００の移動に関する危険度に応じてカメラ３０のフレームレートを変更することができる。センサは「検知部」の一例であり、センサ情報は「検知情報」の一例である。

例えば、ＭｏＰＵ１２は、算出した危険度が高いほどカメラ３０のフレームレートを高くする。ＭｏＰＵ１２は、算出した危険度が第１閾値未満の場合、カメラ３０のフレームレートを１２０フレーム／秒に変更する。また、ＭｏＰＵ１２は、算出した危険度が第１閾値以上かつ第２閾値未満の場合、カメラ３０のフレームレートを２４０，４８０，９６０フレーム／秒の何れかに変更する。また、ＭｏＰＵ１２は、算出した危険度が第２閾値以上の場合、カメラ３０のフレームレートを１９２０フレーム／秒に変更する。なお、ＭｏＰＵ１２は、危険度が上記の何れかである場合において、選択したフレームレートでカメラ３０に画像を撮影させることに加え、当該フレームレートに応じた数値でレーダー信号を取得及び赤外線画像を撮影するように、レーダー３２及び赤外線カメラ３４へ制御信号を出力してもよい。

例えば、ＭｏＰＵ１２は、算出した危険度が低いほどカメラ３０のフレームレートを低くする。ＭｏＰＵ１２は、カメラ３０のフレームレートを１９２０フレーム／秒に設定した状態で、算出した危険度が第１閾値以上かつ第２閾値未満の場合、カメラ３０のフレームレートを２４０，４８０，９６０フレーム／秒の何れかに変更する。また、ＭｏＰＵ１２は、カメラ３０のフレームレートを１９２０フレーム／秒に設定した状態で、算出した危険度が第１閾値未満の場合、カメラ３０のフレームレートを１２０フレーム／秒に変更する。さらに、ＭｏＰＵ１２は、カメラ３０のフレームレートを２４０，４８０，９６０フレーム／秒の何れかに設定した状態で、算出した危険度が第１閾値未満の場合、カメラ３０のフレームレートを１２０フレーム／秒に変更する。なお、この場合も上記と同様に、変更したカメラ３０のフレームレートに応じた数値でレーダー信号を取得及び赤外線画像を撮影するように、レーダー３２及び赤外線カメラ３４へ制御信号を出力してもよい。

また、ＭｏＰＵ１２は、危険度を予測する情報としてロングテールインシデントＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ） ＤＡＴＡ（例えば、レベル５の自動運転制御方式が実装された車両のＴｒｉｐデータ）又は地図情報等、車両１００が走行する前から既知である走行に関するビッグデータを利用して、危険度を算出してもよい。

上記では、外部環境に関するスコアとして危険度を算出したが、外部環境に関するスコアとなる指標は危険度に限定されない。例えば、ＭｏＰＵ１２は、カメラ３０に写る物体の移動方向又は速さ等に基づいて、危険度とは別の外部環境に関するスコアを算出し、そのスコアに応じて、カメラ３０のフレームレートを変更してもよい。以下、ＭｏＰＵ１２がカメラ３０に写る物体の速さに関するスコアである速さスコアを算出し、速さスコアに応じて、カメラ３０のフレームレートを変更する場合について説明する。一例として、速さスコアは、物体の速度が速いほど高くなり、遅いほど低くなるよう設定されている。そして、ＭｏＰＵ１２は、算出した速さスコアが高いほどカメラ３０のフレームレートを高くし、低いほどカメラ３０のフレームレートを低くする。このため、ＭｏＰＵ１２は、物体の速度が速いために算出した速さスコアが閾値以上となった場合、カメラ３０のフレームレートを１９２０フレーム／秒に変更する。また、ＭｏＰＵ１２は、物体の速度が遅いために算出した速さスコアが閾値未満となった場合、カメラ３０のフレームレートを１２０フレーム／秒に変更する。なお、この場合も上記と同様に、変更したカメラ３０のフレームレートに応じた数値でレーダー信号を取得及び赤外線画像を撮影するように、レーダー３２及び赤外線カメラ３４へ制御信号を出力してもよい。

次に、ＭｏＰＵ１２がカメラ３０に写る物体の移動方向に関するスコアである方向スコアを算出し、方向スコアに応じて、カメラ３０のフレームレートを変更する場合について説明する。一例として、方向スコアは、物体の移動方向が道路に近づく方向であると高くなり、道路から離れる方向であると低くなるよう設定されている。そして、ＭｏＰＵ１２は、算出した方向スコアが高いほどカメラ３０のフレームレートを高くし、低いほどカメラ３０のフレームレートを低くする。具体的には、ＭｏＰＵ１２は、ＡＩを利用することなどにより物体の移動方向を特定し、特定した移動方向に基づいて方向スコアを算出する。そして、ＭｏＰＵ１２は、物体の移動方向が道路に近づく方向であったために算出した方向スコアが閾値以上となった場合、カメラ３０のフレームレートを１９２０フレーム／秒に変更する。また、ＭｏＰＵ１２は、物体の移動方向が道路から離れる方向であったために算出した方向スコアが閾値未満となった場合、カメラ３０のフレームレートを１２０フレーム／秒に変更する。なお、この場合も上記と同様に、変更したカメラ３０のフレームレートに応じた数値でレーダー信号を取得及び赤外線画像を撮影するように、レーダー３２及び赤外線カメラ３４へ制御信号を出力してもよい。

また、ＭｏＰＵ１２は、算出した外部環境に関するスコアが所定の閾値以上の物体についてのみ点情報を出力してもよい。この場合、例えば、ＭｏＰＵ１２は、カメラ３０に写る物体の移動方向に応じてその物体についての点情報を出力するか否かを判定してもよい。例えば、ＭｏＰＵ１２は、車両１００の走行に対する影響が低い物体についての点情報は出力しなくてもよい。具体的には、ＭｏＰＵ１２は、カメラ３０に写る物体の移動方向を算出し、道路から遠ざかっていく歩行者等の物体についての点情報は出力しない。一方、ＭｏＰＵ１２は、道路に近づく物体（例えば、道路に飛び出しそうな歩行者等の物体）についての点情報は出力する。この構成により、情報処理装置１０によれば、車両１００の走行に対する影響が低い物体についての点情報を出力せずに済む。

また、以上の説明では、ＭｏＰＵ１２が危険度を算出する場合を例示したが、開示の技術は、この態様に限定されるものではない。例えば、ＭｏＰＵ１２に代えてＣｅｎｔｒａｌ Ｂｒａｉｎ１５が危険度を算出してもよい。この場合、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、複数種類のセンサから取り入れられたセンサ情報及びＭｏＰＵ１２から出力された点情報に基づいて、車両１００に対する外部環境に関するスコアとして、車両１００の移動に関する危険度を算出する。そして、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、算出した危険度に応じてカメラ３０のフレームレートを変更する指示をＭｏＰＵ１２に出力する。

また、以上の説明では、ＭｏＰＵ１２が、カメラ３０が撮影した画像に基づいて点情報を出力する場合を例示したが、開示の技術は、この態様に限定されるものではない。例えば、ＭｏＰＵ１２は、カメラ３０が撮影した画像に代えて、レーダー信号及び赤外線画像に基づいて点情報を出力してもよい。ＭｏＰＵ１２は、赤外線カメラ３４が撮影した物体の赤外線画像からは、カメラ３０が撮影した画像と同様に物体のｘ座標値及びｙ座標値を導出することが可能である。レーダー３２は、レーダー信号に基づく物体の３次元点群データを取得することが可能である。つまり、レーダー３２は、上記３次元直交座標系におけるｚ軸の座標を検出することが可能である。ここで、ｚ軸は、物体の奥行き方向及び車両１００の進行方向に沿った軸であり、以下では、ｚ軸の座標値を「ｚ座標値」と記載する。この場合、ＭｏＰＵ１２は、ステレオカメラの原理を利用して、レーダー３２が物体の３次元点群データを取得したタイミングと同じタイミングで赤外線カメラ３４により撮影された当該物体のｘ座標値及びｙ座標値と、当該３次元点群データが示す当該物体のｚ座標値とを組み合わせて、点情報として物体の３つの座標軸（ｘ軸、ｙ軸、及びｚ軸）の座標値を導出する。そして、ＭｏＰＵ１２は、導出した点情報をＣｅｎｔｒａｌ Ｂｒａｉｎ１５に出力する。

また、以上の説明では、ＭｏＰＵ１２が点情報を導出する場合を例示したが、開示の技術は、この態様に限定されるものではない。例えば、ＭｏＰＵ１２に代えてＣｅｎｔｒａｌ Ｂｒａｉｎ１５が点情報を導出してもよい。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５が点情報を導出することは、例えば、カメラ３０Ｌ、カメラ３０Ｒ、レーダー３２、及び赤外線カメラ３４が検出した情報を組み合わせることで実現される。具体例として、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、カメラ３０Ｌにより撮影された物体のｘ座標値及びｙ座標値と、カメラ３０Ｒにより撮影された物体のｘ座標値及びｙ座標値とに基づいて三点測量を行うことにより、点情報として物体の３つの座標軸（ｘ軸、ｙ軸、及びｚ軸）の座標値を導出する。

また、以上の説明では、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５が、ＩＰＵ１１から出力された画像及びラベル情報と、ＭｏＰＵ１２から出力された点情報とに基づいて車両１００の自動運転を制御する場合を例示したが、開示の技術は、この態様に限定されるものではない。例えば、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１及びＭｏＰＵ１２から出力された上記情報に基づいて、ロボットの動作制御を行ってもよい。ロボットは、人間の代わりに作業を行う人型のスマートロボットであってもよい。この場合、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１及びＭｏＰＵ１２から出力された上記情報に基づいて、ロボットの腕、手のひら、指、及び足等の動作制御を行って、物体を握る、掴む、抱える、背負う、移動させる、運ぶ、投げる、蹴る、及び避ける等の動作を行わせる。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５がロボットの動作制御を行う場合、ＩＰＵ１１及びＭｏＰＵ１２は、ロボットの右目及び左目の位置に搭載されてもよい。つまり右目には右目用のＩＰＵ１１及びＭｏＰＵ１２を搭載し、左目には左目用のＩＰＵ１１及びＭｏＰＵ１２を搭載してもよい。

（第３の実施形態）
次に、本実施形態に係る第３の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
一例として、第３の実施形態に係る情報処理装置１０は、第１の実施形態と同様の図２に示す構成を備えている。

第３の実施形態に係るＭｏＰＵ１２は、点情報として、別カメラにより撮影された画像から認識した物体の輪郭を囲む多角形の頂点の少なくとも対角となる２点の座標値を出力する。当該座標値は、第１の実施形態と同様、上記３次元直交座標系における物体のｘ座標値及びｙ座標値である。

図４は、ＭｏＰＵ１２が出力する点情報の例を示す説明図である。図４では、ＭｏＰＵ１２が、別カメラにより撮影された画像に含まれる４つの物体のそれぞれについて、当該物体の輪郭を四角形で囲んだバウンディングボックス２１、２２、２３、２４が示されている。そして、図４は、ＭｏＰＵ１２が、物体の輪郭を囲む四角形のバウンディングボックス２１、２２、２３、２４の頂点の対角となる２点の座標値を点情報として出力した態様を例示している。このように、ＭｏＰＵ１２は物体を点としてではなく、一定の大きさを持つオブジェクトとして捉えてもよい。

また、物体を一定の大きさを持つオブジェクトとして捉える場合、ＭｏＰＵ１２は、別カメラにより撮影された画像から認識した物体の輪郭を囲む多角形の頂点の対角となる２点の座標値ではなく、物体の輪郭を囲む多角形の複数の頂点の座標値を点情報として出力してもよい。例えば、図４を例にすると、ＭｏＰＵ１２は、当該物体の輪郭を四角形で囲んだバウンディングボックス２１、２２、２３、２４の４つの頂点全ての座標値を点情報として出力してもよい。

（第４の実施形態）
次に、本実施形態に係る第４の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
一例として、第４の実施形態に係る情報処理装置１０は、第１の実施形態と同様の図２に示す構成を備えている。

第４の実施形態に係る情報処理装置１０が搭載される車両１００は、レーダー、ＬｉＤＡＲ、高画素・望遠・超広角・３６０度・高性能カメラ、ビジョンセンサ、音センサ、超音波センサ、振動センサ、赤外線センサ、紫外線センサ、電波センサ、温度センサ、及び湿度センサの少なくとも１つから構成されるセンサを備えている。情報処理装置１０がセンサから取り入れるセンサ情報として、体重の重心移動、道路の材質の検知、外気温度の検知、外気湿度の検知、坂道の上下横斜め傾き角度の検知、道路の凍り方、水分量の検知、それぞれのタイヤの材質、摩耗状況、空気圧の検知、道路幅、追い越し禁止有無、対向車、前後車両の車種情報、それらの車のクルージング状態、周囲の状況（鳥、動物、サッカーボール、事故車、地震、火事、風、台風、大雨、小雨、吹雪、霧、など）等が挙げられる。センサは「検知部」の一例であり、センサ情報は「検知情報」の一例である。

第４の実施形態に係るＣｅｎｔｒａｌ Ｂｒａｉｎ１５は、センサが検知したセンサ情報に基づいて、車両１００の自動運転を制御するための制御変数を算出する。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、１０億分の１秒毎にセンサ情報を取得する。具体的には、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、車両１００の４つの車輪それぞれの車輪速、傾き、及び車輪を支持するサスペンションを制御するための制御変数を算出する。なお、車輪の傾きは、道路に対して水平な軸に対する車輪の傾き、及び道路に対して垂直な軸に対する車輪の傾きの双方を含む。この場合、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、４つの車輪それぞれの車輪速、道路に対して水平な軸に対する４つの車輪それぞれの傾き、道路に対して垂直な軸に対する４つの車輪それぞれの傾き、及び４つの車輪それぞれを支持するサスペンションを制御するための計１６の制御変数を算出する。

そして、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、上記で算出した制御変数と、ＭｏＰＵ１２から出力された点情報及びＩＰＵ１１から出力されたラベル情報とに基づいて、車両１００の自動運転を制御する。具体的には、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、上記１６の制御変数に基づいて、４つの車輪にそれぞれ搭載されたインホイールモータを制御することで、車両１００の４つの車輪それぞれの車輪速、傾き、及び４つの車輪それぞれを支持するサスペンションを制御して自動運転を行う。また、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、点情報及びラベル情報に基づいて、車両１００の周囲に存在する何であるか認識された物体の位置及び動きを認識し、この認識した情報に基づいて、例えば、物体との衝突を回避するように車両１００の自動運転を制御する。このようにＣｅｎｔｒａｌ Ｂｒａｉｎ１５が車両１００の自動運転を制御することで、例えば、車両１００が山道を走行する場合には当該山道に合わせた最適なステアリングを行うことができ、車両１００を駐車場に駐車する場合には当該駐車場に合わせた最適なアングルで走行することができる。

ここで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、機械学習、より詳しくは深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）を用いて、上記センサ情報及び図示しないサーバ等からネットワークを介して取得可能な情報から制御変数を推論することが可能なものであってよい。換言すると、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５はＡＩで構成することができる。

Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、１０億分の１秒毎の上記センサ情報及びロングテールインシデントＡＩ ｄａｔａの計算力であって、Ｌｅｖｅｌ６を実現する上で用いられる計算力（以下、「Ｌｅｖｅｌ６の計算力」とも称する）を用い、下記式（１）に示すような積分法による多変量解析（例えば式（２）参照）を行うことで、制御変数を求め得る。より詳しくは、Ｌｅｖｅｌ６の計算力で各種Ｕｌｔｒａ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎのデルタ値の積分値を求めながら、エッジレベルでかつリアルタイムで各制御変数を求め、次の１０億分の１秒に発生する結果（すなわち、各制御変数）を最も高い確率論値で取得し得る。これを実現するためには、例えば、空気抵抗、道路抵抗、道路要素（例えばゴミ）、及び滑り係数等の各変数（例えば、上記センサ情報及びネットワークを介して取得可能な情報）を特定可能な関数（換言すると、各変数の挙動を示す関数）のデルタ値（例えば、微小時間の変化値）を時間積分することにより得られる積分値をＣｅｎｔｒａｌ Ｂｒａｉｎ１５の深層学習モデル（例えば、ニューラルネットワークに対して深層学習が行われることによって得られた学習済みモデル）に入力する。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５の深層学習モデルは、入力された積分値に対応する制御変数（例えば、最も高い確信度（すなわち、評価値）の制御変数）を出力する。制御変数の出力は１０億分の１秒単位で行われる。

なお、一例として、式（１）において、“ｆ（Ａ）”は、例えば、空気抵抗、道路抵抗、道路要素（例えばゴミ）、及び滑り係数等の各変数の挙動を示す関数が簡略化されて表現された式である。また、一例として、式（１）は、“ｆ（Ａ）”の時刻ａから時刻ｂまでの時間積分ｖを示す式である。式（２）中のＤＬは深層学習（例えば、ニューラルネットワークに対して深層学習が行われることによって最適化された深層学習モデル）を示し、ｄＡ_ｎ／ｄｔは、ｆ（Ａ，Ｂ，Ｃ，Ｄ，・・・，Ｎ）のデルタ値を示し、Ａ，Ｂ，Ｃ，Ｄ，…，Ｎは、空気抵抗、道路抵抗、道路要素（例えばゴミ）、及び滑り係数等の各変数を示し、ｆ（Ａ，Ｂ，Ｃ，Ｄ，・・・，Ｎ）は、Ａ，Ｂ，Ｃ，Ｄ，…，Ｎの挙動を示す関数を示し、Ｖ_ｎは、ニューラルネットワークに対して深層学習が行われることによって最適化された深層学習モデルから出力される値（制御変数）を示す。

なお、ここでは、関数のデルタ値を時間積分することにより得られる積分値をＣｅｎｔｒａｌ Ｂｒａｉｎ１５の深層学習モデルに入力する形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、空気抵抗、道路抵抗、道路要素、及び滑り係数等の各変数の挙動を示す関数のデルタ値を時間積分することにより得られる積分値（例えば、次の１０億分の１秒に発生する結果）がＣｅｎｔｒａｌ Ｂｒａｉｎ１５の深層学習モデルによって推論され、推論結果として、最も高い確信度（すなわち、評価値）の積分値が１０億分の１秒毎にＣｅｎｔｒａｌ Ｂｒａｉｎ１５によって取得されるようにしてもよい。

また、ここでは、深層学習モデルに積分値を入力したり、深層学習モデルから積分値を出力したりする形態例を挙げているが、これは、あくまでも一例に過ぎず、積分値を用いなくても本開示の技術は成立する。例えば、Ａ，Ｂ，Ｃ，Ｄ，…，Ｎに相当する値を例題データとし、少なくとも１つの制御変数（例えば、次の１０億分の１秒に発生する結果）に相当する値を正解データとした教師データを用いた深層学習がニューラルネットワークに対して行われることで最適化された深層学習モデルによって少なくとも１つの制御変数が推論されるようにしてもよい。

Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５にて得られた制御変数は、Ｄｅｅｐ Ｌｅａｒｎｉｎｇの回数を増加させることによりさらに精緻化させ得る。例えば、タイヤや、モータの回転、ステアリング角度や、道路の材質、天気、ごみや二次曲線的減速時における影響、スリップ、バランス崩壊や再獲得のためのステアリングやスピードコントロールの仕方等の膨大なデータやロングテールインシデントＡＩ ｄａｔａを用いてより正確な制御変数を算出することができる。

（第５の実施形態）
次に、本実施形態に係る第５の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
図５は、情報処理装置１０の構成の一例を示す第３のブロック図である。なお、図５は、情報処理装置１０の一部の構成のみを示している。

図５に示すように、ＭｏＰＵ１２では、カメラ３０により撮影された物体の可視光画像及び赤外線画像が、それぞれ、１００フレーム／秒以上のフレームレートでコア１７に入力される。当該カメラ３０は、物体の可視光画像を撮影可能な可視光カメラ３０Ａ及び物体の赤外線画像を撮影可能な赤外線カメラ３０Ｂを含んで構成されている。そして、コア１７は、入力された可視光画像及び赤外線画像の少なくとも一方に基づいて、点情報をＣｅｎｔｒａｌ Ｂｒａｉｎ１５に出力する。

ここで、コア１７は、可視光カメラ３０Ａにより撮影された物体の可視光画像から物体を識別できる場合には、当該可視光画像に基づいて点情報を出力する。一方、コア１７は、所定要因により当該可視光画像から物体を捉えられない場合、赤外線カメラ３０Ｂにより撮影された物体の赤外線画像に基づいて点情報を出力する。例えば、所定要因として暗闇の影響により、コア１７が可視光画像から物体を捉えられない場合が想定される。この場合には、コア１７は、赤外線カメラ３０Ｂを用いて物体の熱を検知し、その検知結果である赤外線画像に基づいて、物体の点情報を出力する。なお、これに限らず、コア１７は、可視光画像及び赤外線画像に基づいて点情報を出力してもよい。

また、ＭｏＰＵ１２は、可視光カメラ３０Ａにより可視光画像を撮影するタイミングと、赤外線カメラ３０Ｂにより赤外線画像を撮影するタイミングとを同期させる。具体的には、ＭｏＰＵ１２は、同じタイミングで可視光画像及び赤外線画像を撮影するように、カメラ３０へ制御信号を出力する。これにより、可視光カメラ３０Ａによって撮影される１秒あたりの画像数と、赤外線カメラ３０Ｂによって撮影される１秒あたりの画像数とが同期する（例えば、１９２０フレーム／秒）。

（第６の実施形態）
次に、本実施形態に係る第６の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
図６は、情報処理装置１０の構成の一例を示す第４のブロック図である。なお、図６は、情報処理装置１０の一部の構成のみを示している。

図６に示すように、ＭｏＰＵ１２では、カメラ３０により撮影された物体の画像及びレーダー３２により物体に照射された電磁波の物体からの反射波に基づくレーダー信号が、それぞれ、１００フレーム／秒以上のフレームレートでコア１７に入力される。そして、コア１７は、入力された物体の画像及びレーダー信号に基づいて、点情報をＣｅｎｔｒａｌ Ｂｒａｉｎ１５に出力する。コア１７は、入力された物体の画像からは、物体のｘ座標値及びｙ座標値を導出することが可能である。上述の通り、レーダー３２は、レーダー信号に基づく物体の３次元点群データを取得し、上記３次元直交座標系におけるｚ軸の座標を検出することが可能である。この場合、コア１７は、ステレオカメラの原理を利用して、レーダー３２が物体の３次元点群データを取得したタイミングと同じタイミングでカメラ３０により撮影された当該物体のｘ座標値及びｙ座標値と、当該３次元点群データが示す当該物体のｚ座標値とを組み合わせて、点情報として物体の３つの座標軸（ｘ軸、ｙ軸、及びｚ軸）の座標値を導出する。なお、上記でコア１７に入力された物体の画像は、可視光画像及び赤外線画像の少なくとも１つを含むものであってもよい。

また、ＭｏＰＵ１２は、カメラ３０により画像を撮影するタイミングと、レーダー３２がレーダー信号に基づく物体の３次元点群データを取得するタイミングとを同期させる。具体的には、ＭｏＰＵ１２は、同じタイミングで画像を撮影し、物体の３次元点群データを取得するように、カメラ３０及びレーダー３２へ制御信号を出力する。これにより、カメラ３０によって撮影される１秒あたりの画像数と、レーダー３２によって取得される１秒あたりの３次元点群データの数とが同期する（例えば、１９２０フレーム／秒）。このように、カメラ３０によって撮影される１秒あたりの画像数及びレーダー３２によって取得される１秒あたりの３次元点群データの数は、ＩＰＵ１１が備える超高解像度カメラのフレームレート、すなわち、超高解像度カメラによって撮影される１秒あたりの画像数より多い。

（第７の実施形態）
次に、本実施形態に係る第７の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
一例として、第７の実施形態に係る情報処理装置１０は、第１の実施形態と同様の図２に示す構成を備えている。

第７の実施形態に係るＣｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１がラベル情報を出力したタイミングと同じタイミングでＭｏＰＵ１２から出力された点情報を、当該ラベル情報に対応付ける。また、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、点情報及びラベル情報を対応付けた後にＭｏＰＵ１２から新たな点情報が出力された場合、新たな点情報についても当該ラベル情報と対応付ける。新たな点情報は、ラベル情報と対応付けた点情報が示す物体と同一の物体の点情報であって、当該対応付けが行われてから次のラベル情報が出力されるまでの間の一又は複数の点情報である。第７の実施形態では、上記実施形態と同様、ＭｏＰＵ１２が内蔵された別カメラのフレームレートは１００フレーム／秒以上（例えば、１９２０フレーム／秒）であり、ＩＰＵ１１が内蔵された超高解像度カメラのフレームレートは１０フレーム／秒である。

図７は、点情報とラベル情報との対応付けの一例を示す説明図である。以下の説明では、ＭｏＰＵ１２から出力される１秒あたりの点情報の数を「点情報の出力レート」と称し、ＩＰＵ１１から出力される１秒あたりのラベル情報の数を「ラベル情報の出力レート」と称する。

図７には、物体Ｂ１４の点情報Ｐ４の出力レートの時系列が示されている。物体Ｂ１４についての点情報Ｐ４の出力レートは１９２０フレーム／秒である。また、点情報Ｐ４は、図中右から左へ移動している。物体Ｂ１４についてのラベル情報の出力レートは１０フレーム／秒であり、点情報Ｐ４の出力レートよりも低い。

まず、時刻ｔ０の時点では、物体Ｂ１４についてのラベル情報はＩＰＵ１１から出力されていない。そのため、時刻ｔ０の時点では、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、点情報Ｐ４に基づいて物体Ｂ１４の座標値（位置情報）を認識するが、物体Ｂ１４が何であるかは認識していない。

次に、時刻ｔ１の時点では、物体Ｂ１４についてのラベル情報がＩＰＵ１１から出力されている。そのため、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、当該ラベル情報に基づいて、物体Ｂ１４についてラベル情報「ＰＥＲＳＯＮ」を導出する。そして、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、時刻ｔ１において導出したラベル情報「ＰＥＲＳＯＮ」と、時刻ｔ１においてＭｏＰＵ１２から出力された点情報Ｐ４の座標値（位置情報）とを対応付ける。これにより、時刻ｔ１の時点では、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、点情報Ｐ４に基づいて物体Ｂ１４の座標値（位置情報）を認識するとともに、その物体Ｂ１４が何であるかを認識する。

図７では、物体Ｂ１４についての次のラベル情報がＩＰＵ１１から出力されるタイミングを時刻ｔ２としている。そのため、時刻ｔ２の時点では、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された当該ラベル情報に基づいて、物体Ｂ１４についてラベル情報「ＰＥＲＳＯＮ」を導出する。そして、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、時刻ｔ２において導出したラベル情報「ＰＥＲＳＯＮ」と、時刻ｔ２においてＭｏＰＵ１２から出力された点情報Ｐ４の座標値（位置情報）とを対応付ける。

ここで、ＭｏＰＵ１２が内蔵された別カメラとＩＰＵ１１が内蔵された超高解像度カメラとのフレームレート差に起因して、時刻ｔ１から時刻ｔ２までの期間は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５により物体Ｂ１４についての点情報Ｐ４は取得される一方、ラベル情報は取得されない。この場合、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、時刻ｔ１から時刻ｔ２までの期間に取得した点情報Ｐ４については、点情報Ｐ４について直前の時刻ｔ１に対応付けたラベル情報「ＰＥＲＳＯＮ」と対応付ける。ここで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５が時刻ｔ１から時刻ｔ２までの期間に取得した点情報Ｐ４は「新たな点情報」の一例である。図７に示す例では、時刻ｔ１から時刻ｔ２までの期間にＭｏＰＵ１２から複数の点情報Ｐ４が出力されたため、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、複数の点情報Ｐ４を取得している。そのため、図７に示す例では、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、時刻ｔ１から時刻ｔ２までの期間に取得した複数の点情報Ｐ４の何れについても直前の時刻ｔ１に対応付けたラベル情報「ＰＥＲＳＯＮ」と対応付ける。なお、図７に示す例と異なり、時刻ｔ１から時刻ｔ２までの期間にＭｏＰＵ１２から１つの点情報Ｐ４が出力された場合には、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、当該１つの点情報Ｐ４について直前の時刻ｔ１に対応付けたラベル情報「ＰＥＲＳＯＮ」と対応付ける。

ここで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、動きを追跡している物体の種別が不確定な期間が生じても、その物体の点情報が高フレームレートで継続的に出力されるため、当該物体の座標値（位置情報）を見失うリスクは低い。このため、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、点情報とラベル情報との対応付けを１度行った場合、次のラベル情報を取得するまでの間に取得した点情報については、直前のラベル情報を推定的に付与することが可能となる。

（第８の実施形態）
次に、本実施形態に係る第８の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
車両１００の自動運転を制御する情報処理装置１０が高度な演算処理を行う際に、発熱が課題となる。そこで、第８の実施形態は、情報処理装置１０に対する冷却機能を有する車両１００を提供する。

図８は、車両１００の概略構成を示す説明図である。図８に示すように、車両１００には、情報処理装置１０、冷却実行装置１１０、及び冷却部１２０が搭載されている。

第８の実施形態に係る情報処理装置１０は、車両１００の自動運転を制御する装置であって、一例として、第１の実施形態と同様の図２に示す構成を備えている。冷却実行装置１１０は、情報処理装置１０による物体の検出結果を取得し、当該検出結果に基づいて、情報処理装置１０に対する冷却を冷却部１２０に実行させる。冷却部１２０は、空冷手段、水冷手段、及び液体窒素冷却手段等の少なくとも１つの冷却手段を用いて情報処理装置１０を冷却する。以下では、情報処理装置１０における冷却対象を、車両１００の自動運転を制御するＣｅｎｔｒａｌ Ｂｒａｉｎ１５（詳しくは、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５を構成するＣＰＵ１４）として説明するが、これに限定はされない。

情報処理装置１０及び冷却実行装置１１０は、図示しないネットワークを介して通信可能に接続されている。当該ネットワークは、車両ネットワーク、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、及び移動体通信ネットワークの何れであってもよい。移動体通信ネットワークは、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信方式、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信方式、及び６Ｇ（６ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式以降の通信方式の何れに準拠していてもよい。

図９は、冷却実行装置１１０の機能構成の例を示すブロック図である。図９に示すように、冷却実行装置１１０は、機能構成として、取得部１１２、実行部１１４、及び予測部１１６を有する。

取得部１１２は、情報処理装置１０による物体の検出結果を取得する。例えば、当該検出結果として、取得部１１２は、ＭｏＰＵ１２から出力される物体の点情報を取得する。

実行部１１４は、取得部１１２が取得した物体の検出結果に基づいて、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５に対する冷却を実行させる。例えば、実行部１１４は、ＭｏＰＵ１２から出力された物体の点情報に基づいて、当該物体が移動していることを認識した場合、冷却部１２０によるＣｅｎｔｒａｌ Ｂｒａｉｎ１５に対する冷却を開始させる。

なお、実行部１１４は、物体の検出結果に基づいてＣｅｎｔｒａｌ Ｂｒａｉｎ１５に対する冷却を実行させることに限らず、情報処理装置１０の作動状況の予測結果に基づいてＣｅｎｔｒａｌ Ｂｒａｉｎ１５に対する冷却を実行させてもよい。

ここで、予測部１１６は、取得部１１２が取得した物体の検出結果に基づいて、情報処理装置１０、具体的には、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５の作動状況を予測する。例えば、予測部１１６は、所定の記憶領域に記憶されている学習モデルを取得する。そして、予測部１１６は、取得部１１２が取得したＭｏＰＵ１２から出力された物体の点情報を学習モデルに入力することによって、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５の作動状況を予測する。ここで、学習モデルは、当該作動状況として、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５のコンピューティングパワーの状況及び変化量を出力する。また、予測部１１６は、当該作動状況と共に情報処理装置１０、具体的には、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５の温度変化を予測して出力してもよい。例えば、予測部１１６は、取得部１１２が取得したＭｏＰＵ１２から出力された物体の点情報の数に基づいて、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５の温度変化を予測する。この場合、予測部１１６は、点情報の数が多いほど温度変化が大きくなると予測し、点情報の数が少ないほど温度変化が小さくなると予測する。

上記の場合、実行部１１４は、予測部１１６によるＣｅｎｔｒａｌ Ｂｒａｉｎ１５の作動状況の予測結果に基づいて、冷却部１２０によるＣｅｎｔｒａｌ Ｂｒａｉｎ１５に対する冷却を開始させる。例えば、実行部１１４は、当該作動状況として予測されたＣｅｎｔｒａｌ Ｂｒａｉｎ１５のコンピューティングパワーの状況及び変化量が所定の閾値を超えた場合、冷却部１２０による冷却を開始させる。また、実行部１１４は、当該作動状況として予測されたＣｅｎｔｒａｌ Ｂｒａｉｎ１５の温度変化に基づく温度が所定の閾値を超えた場合、冷却部１２０による冷却を開始させる。

また、実行部１１４は、予測部１１６によるＣｅｎｔｒａｌ Ｂｒａｉｎ１５の温度変化の予測結果に応じた冷却手段を用いて、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５に対する冷却を実行させてもよい。例えば、実行部１１４は、予測されたＣｅｎｔｒａｌ Ｂｒａｉｎ１５の温度が高いほど、多数の冷却手段を用いて冷却部１２０に冷却を実行させてもよい。具体例として、実行部１１４は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５の温度が第１閾値を超えることが予測された場合、１つの冷却手段を用いて冷却部１２０に冷却を実行させる。一方、実行部１１４は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５の温度が第１閾値よりも高い第２閾値を超えることが予測された場合、複数の冷却手段を用いて冷却部１２０に冷却を実行させる。

また、実行部１１４は、予測されたＣｅｎｔｒａｌ Ｂｒａｉｎ１５の温度が高いほど、強力な冷却手段を用いて、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５に対する冷却を実行させてもよい。例えば、実行部１１４は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５の温度が第１閾値を超えることが予測された場合、空冷手段を用いて冷却部１２０に冷却を実行させる。また、実行部１１４は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５の温度が第１閾値よりも高い第２閾値を超えることが予測された場合、水冷手段を用いて冷却部１２０に冷却を実行させる。さらに、実行部１１４は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５の温度が第２閾値よりも高い第３閾値を超えることが予測された場合、液体窒素冷却手段を用いて冷却部１２０に冷却を実行させる。

さらに、実行部１１４は、取得部１１２が取得したＭｏＰＵ１２から出力された物体の点情報の数に基づいて、冷却に用いる冷却手段を決定してもよい。この場合、実行部１１４は、点情報の数が多いほど強力な冷却手段を用いて、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５に対する冷却を実行させてもよい。例えば、実行部１１４は、点情報の数が第１閾値を超える場合、空冷手段を用いて冷却部１２０に冷却を実行させる。また、実行部１１４は、点情報の数が第１閾値よりも高い第２閾値を超える場合、水冷手段を用いて冷却部１２０に冷却を実行させる。さらに、実行部１１４は、点情報の数が第２閾値よりも高い第３閾値を超える場合、液体窒素冷却手段を用いて冷却部１２０に冷却を実行させる。

ところで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５が作動する契機として、車道に存在する動く物体を検出した場合がある。例えば、車両１００が自動運転を行っている際に車道に存在する動く物体が検出された場合、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、当該物体に対して車両１００を制御するための演算処理を行うことがある。上述のように、車両１００の自動運転を制御するＣｅｎｔｒａｌ Ｂｒａｉｎ１５が高度な演算処理を行う際の発熱が課題となる。そこで、第８の実施形態に係る冷却実行装置１１０は、情報処理装置１０による物体の検出結果に基づいてＣｅｎｔｒａｌ Ｂｒａｉｎ１５の放熱を予測し、放熱の開始前又は放熱の開始と同時にＣｅｎｔｒａｌ Ｂｒａｉｎ１５に対する冷却を実行させる。これにより、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、車両１００の自動運転中に高温となることが抑制され、当該自動運転中における高度な演算が可能となる。

（第９の実施形態）
次に、本実施形態に係る第９の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
第９の実施形態に係る情報処理装置１０が備えるＭｏＰＵ１２は、カメラ３０により撮影された物体の画像から、点情報として物体のｚ座標値を導出する。以下、第９の実施形態に係る情報処理装置１０の各態様について順に説明する。

第１態様に係る情報処理装置１０は、第２の実施形態と同様の図３に示す構成を備えている。

上記第１態様において、ＭｏＰＵ１２は、複数のカメラ３０、具体的には、カメラ３０Ｌ及びカメラ３０Ｒにより撮影された物体の画像から、点情報として物体のｚ座標値を導出する。上述の通り、１つのＭｏＰＵ１２を用いた場合は、点情報として物体のｘ座標値及びｙ座標値を導出することが可能である。ここで、２つのＭｏＰＵ１２を用いた場合は、ステレオカメラの原理を利用して、２つのカメラ３０により撮影された物体の画像に基づいて点情報として物体のｚ座標値を導出することが可能である。そのため、当該第１態様は、ステレオカメラの原理を利用して、ＭｏＰＵ１２Ｌのカメラ３０Ｌ及びＭｏＰＵ１２Ｒのカメラ３０Ｒによりそれぞれ撮影された物体の画像に基づいて、点情報として物体のｚ座標値を導出する。

第２態様に係る情報処理装置１０は、第２の実施形態と同様の図３に示す構成を備えている。

上記第２態様において、ＭｏＰＵ１２は、カメラ３０により撮影された物体の画像及びレーダー３２により物体に照射された電磁波の物体からの反射波に基づくレーダー信号から、点情報として物体のｘ座標値、ｙ座標値、及びｚ座標値を導出する。上述の通り、レーダー３２は、レーダー信号に基づく物体の３次元点群データを取得することが可能である。つまり、レーダー３２は、上記３次元直交座標系におけるｚ軸の座標を検出することが可能である。この場合、ＭｏＰＵ１２は、ステレオカメラの原理を利用して、レーダー３２が物体の３次元点群データを取得したタイミングと同じタイミングでカメラ３０により撮影された当該物体のｘ座標値及びｙ座標値と、当該３次元点群データが示す当該物体のｚ座標値とを組み合わせて、点情報として物体の３つの座標軸の座標値を導出する。

第３態様に係る情報処理装置１０は、図１０に示す構成を備えている。図１０は、情報処理装置１０の構成の一例を示す第５のブロック図である。なお、図１０は、情報処理装置１０の一部の構成のみを示している。

上記第３態様において、ＭｏＰＵ１２は、カメラ３０により撮影された物体の画像及び照射装置１３０により物体に照射されたストラクチャードライトを撮影した結果から、点情報として物体のｚ座標値を導出する。

図１０に示すように、ＭｏＰＵ１２では、カメラ３０により撮影された物体の画像及び照射装置１３０により物体に照射されたストラクチャードライトをカメラ１４０が撮影した結果であるストラクチャードライトのパターンの歪みを示す歪み情報が、それぞれ、１００フレーム／秒以上のフレームレートでコア１７に入力される。そして、コア１７は、入力された物体の画像及び歪み情報に基づいて、点情報をＣｅｎｔｒａｌ Ｂｒａｉｎ１５に出力する。

ここで、物体の３次元位置又は形状を識別する方式の１つとして、ストラクチャードライト方式がある。ストラクチャードライト方式は、ドット状にパターニングされたストラクチャードライトを物体に照射し、そのパターンの歪みから奥行き情報を取得するものである。ストラクチャードライト方式は、例えば、参考文献（http://ex-press.jp/wp-content/uploads/2018/10/018_teledyne_3rd.pdf）に開示されている。

図１０に示す照射装置１３０は、物体にストラクチャードライトを照射する。また、カメラ１４０は、照射装置１３０により物体に照射されたストラクチャードライトを撮影する。そして、カメラ１４０は、撮影したストラクチャードライトのパターンの歪みに基づく歪み情報をコア１７に出力する。

ここで、ＭｏＰＵ１２は、カメラ３０により画像を撮影するタイミングと、カメラ１４０によりストラクチャードライトを撮影するタイミングとを同期させる。具体的には、ＭｏＰＵ１２は、同じタイミングで画像を撮影するように、カメラ３０及びカメラ１４０へ制御信号を出力する。これにより、カメラ３０によって撮影される１秒あたりの画像数と、カメラ１４０によって撮影される１秒あたりの画像数とが同期する（例えば、１９２０フレーム／秒）。このように、カメラ３０によって撮影される１秒あたりの画像数及びカメラ１４０によって撮影される１秒あたりの画像数は、ＩＰＵ１１が備える超高解像度カメラのフレームレート、すなわち、超高解像度カメラによって撮影される１秒あたりの画像数より多い。

そして、コア１７は、カメラ１４０によりストラクチャードライトが撮影されたタイミングと同じタイミングでカメラ３０により撮影された当該物体のｘ座標値及びｙ座標値と、当該ストラクチャードライトのパターンの歪みに基づく歪み情報とを組み合わせて、点情報として物体のｚ座標値を導出する。

第４態様に係る情報処理装置１０は、図１１に示す構成を備えている。図１１は、情報処理装置１０の構成の一例を示す第６のブロック図である。なお、図１１は、情報処理装置１０の一部の構成のみを示している。

図１１に示すブロック図は、図２に示すブロック図の構成にＬｉｄａｒセンサ１８を加えたものである。Ｌｉｄａｒセンサ１８は、３次元空間に存在する物体及び車両１００が走行中の路面を含む点群データを取得するセンサである。情報処理装置１０は、Ｌｉｄａｒセンサ１８により取得した点群データを用いることで、物体の奥行き方向における位置情報、すなわち、物体のｚ座標値を導出することができる。なお、Ｌｉｄａｒセンサ１８により取得される点群データは、ＭｏＰＵ１２から出力される物体のｘ座標値及びｙ座標値より長い間隔で取得されることを想定する。また、ＭｏＰＵ１２は、第９の実施形態の上記態様と同様にカメラ３０を備えている。

第４態様では、ＭｏＰＵ１２は、ステレオカメラの原理を利用して、Ｌｉｄａｒセンサ１８が物体の点群データを取得したタイミングと同じタイミングでカメラ３０により撮影された当該物体のｘ座標値及びｙ座標値と、当該点群データが示す当該物体のｚ座標値とを組み合わせて、点情報として物体の３つの座標軸の座標値を導出する。

ここで、上記第４態様において、ＭｏＰＵ１２は、時刻ｔの物体のｘ座標値、ｙ座標値、及びｚ座標値と、時刻ｔの次の時点である（例えば時刻ｔ＋１）における物体のｘ座標値及びｙ座標値とから、点情報として時刻ｔ＋１における物体のｚ座標値を導出する。時刻ｔは「第１時点」の一例であり、時刻ｔ＋１は「第２時点」の一例である。第４態様では、時刻ｔ＋１における物体のｚ座標値は、形状情報、すなわち、ジオメトリを用いて導出する。以下、この詳細について説明する。

図１２は、物体の時系列における座標検出を模式的に示す図である。図１２においてＪは矩形で表された物体の位置を示し、物体の位置はＪ１からＪ２に時系列に移動している。図１２において、物体がＪ１に位置する時刻ｔにおける物体の座標値が（ｘ１、ｙ１、ｚ１）であり、物体がＪ２に位置する時刻ｔ＋１における物体の座標値が（ｘ２、ｙ２、ｚ２）である。

まず、時刻ｔについて説明する。
ＭｏＰＵ１２は、カメラ３０により撮影された物体の画像から、当該物体のｘ座標値及びｙ座標値を導出する。続いて、ＭｏＰＵ１２は、Ｌｉｄａｒセンサ１８から取得した点群データが示す当該物体のｚ座標値と上記ｘ座標値及びｙ座標値とを統合して、時刻ｔにおける当該物体の３次元座標値（ｘ１、ｙ１、ｚ１）を導出する。

次に、時刻ｔ＋１について説明する。
ＭｏＰＵ１２は、空間のジオメトリと、時刻ｔから時刻ｔ＋１への物体のｘ座標値及びｙ座標値の変化とに基づいて、時刻ｔ＋１における当該物体のｚ座標値を導出する。空間のジオメトリには、ＩＰＵ１１が備える超高解像度カメラにより撮影された画像及びＬｉｄａｒセンサ１８の点群データから得られる路面の形状と、車両１００の形状とが含まれる。

路面の形状を示すジオメトリは、時刻ｔの時点であらかじめ生成しておく。ＭｏＰＵ１２は、路面の形状を示すジオメトリと合わせて車両１００の形状を示すジオメトリを利用することで、路面上を車両１００が走行する場合をシミュレーションでき、ｘ軸、ｙ軸、及びｚ軸の各軸の移動量を推定できる。

そのため、ＭｏＰＵ１２は、カメラ３０により撮影された物体の画像から、時刻ｔ＋１における当該物体のｘ座標値及びｙ座標値を導出する。ＭｏＰＵ１２は、当該物体が時刻ｔのｘ座標値及びｙ座標値（ｘ１、ｙ１）から時刻ｔ＋１のｘ座標値及びｙ座標値（ｘ２、ｙ２）に変化したときのｚ軸の移動量をシミュレーションから算出することで、時刻ｔ＋１における当該物体のｚ座標値を導出することができる。そして、ＭｏＰＵ１２は、上記ｘ座標値及びｙ座標値とｚ座標値とを統合して、時刻ｔ＋１における当該物体の３次元座標値（ｘ２、ｙ２、ｚ２）を導出する。

図１２に示すように、物体は、平面座標の移動（すなわち、ｘ軸及びｙ軸）と共に奥行き方向に移動しているため、車両１００の自動運転を高精度に制御するためにはｚ軸方向の移動も検知する必要がある。ここで、ＭｏＰＵ１２は、Ｌｉｄａｒセンサ１８の点群データから導出可能な物体のｚ座標値を、当該物体のｘ座標値及びｙ座標値ほど高速に取得できない場合もある。そのため、上記第４態様では、ＭｏＰＵ１２は、時刻ｔの物体のｘ座標値、ｙ座標値、及びｚ座標値と時刻ｔ＋１における物体のｘ座標値及びｙ座標値とから、時刻ｔ＋１における物体のｚ座標値を導出することとしている。これにより、上記第４態様に係る情報処理装置１０によれば、ＭｏＰＵ１２により、高速フレームショットによる２次元の動き検知と共に３次元の動き検知が、高性能かつ低用量のデータで実現できる。

また、以上の説明では、ＭｏＰＵ１２がカメラ３０により撮影された物体の画像から、点情報として物体のｚ座標値を導出する場合を例示したが、開示の技術は、この態様に限定されるものではない。例えば、ＭｏＰＵ１２に代えてＣｅｎｔｒａｌ Ｂｒａｉｎ１５が点情報として物体のｚ座標値を導出してもよい。この場合、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、カメラ３０により撮影された物体の画像に対して、以上の説明でＭｏＰＵ１２が実行していた処理を行うことにより、点情報として物体のｚ座標値を導出する。一例として、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、複数のカメラ３０、具体的には、カメラ３０Ｌ及びカメラ３０Ｒにより撮影された物体の画像から、点情報として物体のｚ座標値を導出する。この場合、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ステレオカメラの原理を利用して、ＭｏＰＵ１２Ｌのカメラ３０Ｌ及びＭｏＰＵ１２Ｒのカメラ３０Ｒによりそれぞれ撮影された物体の画像に基づいて、点情報として物体のｚ座標値を導出する。

（第１０の実施形態）
次に、本実施形態に係る第１０の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
図１３は、情報処理装置１０の構成の一例を示す第７のブロック図である。なお、図１３は、情報処理装置１０の一部の構成のみを示している。

図１３に示すように、ＭｏＰＵ１２では、イベントカメラ３０Ｃにより撮影された物体の画像（以下、「イベント画像」と記載することもある）がコア１７に入力される。そして、コア１７は、入力されたイベント画像に基づいて、点情報をＣｅｎｔｒａｌ Ｂｒａｉｎ１５に出力する。なお、イベントカメラは、例えば、参考文献（https://dendenblog.xyz/event-based-camera/）に開示されている。

図１４は、イベントカメラ３０Ｃにより撮影された物体の画像（イベント画像）を説明するための説明図である。図１４（Ａ）は、イベントカメラ３０Ｃによる撮影対象となる物体を示す図である。図１４（Ｂ）は、イベント画像の一例を示す図である。図１４（Ｃ）は、イベント画像が表す、現時刻に撮影された画像と前時刻に撮影された画像との差異部分の重心を点情報として算出した例を示す図である。イベント画像は、現時刻に撮影された画像と前時刻に撮影された画像との差異部分が点として抽出される。このため、イベントカメラ３０Ｃを利用した場合には、例えば、図１４（Ｂ）に示されるように、図１４（Ａ）に示される人物領域のうちの移動している各箇所の点が抽出されてしまう。

これに対し、コア１７は、図１４（Ｃ）に示されるように、物体である人物を抽出した後に、人物領域を表す特徴点の座標（例えば、１点のみ）を抽出する。これにより、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に転送されるデータ量を抑制させることできる。イベント画像は、物体である人物を任意のフレームレートで抽出できるため、イベントカメラ３０Ｃの場合は、上記実施形態でＭｏＰＵ１２に搭載されたカメラ３０の最大フレームレート（例：１９２０フレーム／秒）以上のフレームレートで抽出することもでき、物体の点情報を精度良く捉えることができる。

なお、第１０の実施形態に係る情報処理装置１０は、上記実施形態と同様に、ＭｏＰＵ１２がイベントカメラ３０Ｃに加えて、可視光カメラ３０Ａを備えてもよい。この場合、ＭｏＰＵ１２では、可視光カメラ３０Ａにより撮影された物体の可視光画像及びイベント画像が、それぞれコア１７に入力される。そして、コア１７は、入力された可視光画像及びイベント画像の少なくとも一方に基づいて、点情報をＣｅｎｔｒａｌ Ｂｒａｉｎ１５に出力する。

例えば、コア１７は、可視光カメラ３０Ａにより撮影された物体の可視光画像から物体を識別できる場合には、当該可視光画像に基づいて点情報を出力する。一方、コア１７は、所定要因により当該可視光画像から物体を捉えられない場合、イベント画像に基づいて点情報を出力する。所定要因は、物体の移動速度が所定値以上の場合及び単位時間あたりにおける環境光の光量変化が所定値以上の場合の少なくとも１つを含む。例えば、物体の動作が高速で当該可視光画像から物体を捉えられない場合、コア１７は、イベント画像に基づいて物体を識別して、点情報として当該物体のｘ座標値及びｙ座標値を出力する。また、逆光等の急激な環境光の光量変化により当該可視光画像から物体を捉えられない場合、コア１７は、イベント画像に基づいて物体を識別して、点情報として当該物体のｘ座標値及びｙ座標値を出力する。この構成により、情報処理装置１０によれば、所定要因に応じて、物体を撮影するカメラ３０を使い分けることができる。

図１５は、情報処理装置１０又は冷却実行装置１１０として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装
置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

上記実施形態において、各プロセッサ（例：ＩＰＵ１１、ＭｏＰＵ１２、及びＣｅｎｔｒａｌ Ｂｒａｉｎ１５）が実行するとした処理はあくまで例示であり、各処理を実行するプロセッサは限定されない。例えば、上記実施形態でＭｏＰＵ１２が実行するとした処理を、ＭｏＰＵ１２に代えて、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５が実行してもよいし、ＩＰＵ１１、ＭｏＰＵ１２、及びＣｅｎｔｒａｌ Ｂｒａｉｎ１５以外の他のプロセッサが実行してもよい。

＜付記１＞
（１）
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第１プロセッサと、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第２プロセッサと、
を備える、
情報処理装置。

（２）
前記第１プロセッサから出力された前記点情報及び前記第２プロセッサから出力された前記識別情報を対応付ける第３プロセッサを備える、
（１）に記載の情報処理装置。

（３）
前記第１カメラのフレームレートは可変であり、
前記第１プロセッサは、所定要因に応じて前記第１カメラのフレームレートを変更する、
（１）又は（２）に記載の情報処理装置。

（４）
前記第１プロセッサは、所定の対象物に対する外部環境に関するスコアを算出する、
（３）に記載の情報処理装置。

（５）
前記第１プロセッサは、算出した前記外部環境に関するスコアに応じて、前記第１カメラのフレームレートを変更する、
（４）に記載の情報処理装置。

（６）
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する、
処理をコンピュータが実行する情報処理方法。

（７）
コンピュータに、
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する、
処理を実行させるための情報処理プログラム。

＜付記２＞
（１）
第１カメラにより撮影された物体の画像から、撮影された前記物体の存在位置を示す点の３次元直交座標系における少なくとも２つの座標軸の座標値を出力する第１プロセッサと、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第２プロセッサと、
前記第１プロセッサから出力された前記座標値及び前記第２プロセッサから出力された前記識別情報を対応付ける第３プロセッサと、
を備える、
情報処理装置。

（２）
前記第１プロセッサは、前記第１カメラにより撮影された画像から認識した前記物体の輪郭を囲む多角形の頂点の少なくとも対角となる２点の前記座標値を出力する、
（１）に記載の情報処理装置。

（３）
前記第１プロセッサは、前記第１カメラにより撮影された画像から認識した前記物体の輪郭を囲む多角形の複数の頂点の前記座標値を出力する、
（２）に記載の情報処理装置。

（４）
第１カメラにより撮影された物体の画像から、撮影された前記物体の存在位置を示す点の３次元直交座標系における少なくとも２つの座標軸の座標値を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記座標値及び前記識別情報を対応付ける、
処理をコンピュータが実行する情報処理方法。

（５）
コンピュータに、
第１カメラにより撮影された物体の画像から、撮影された前記物体の存在位置を示す点の３次元直交座標系における少なくとも２つの座標軸の座標値を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記座標値及び前記識別情報を対応付ける、
処理を実行させるための情報処理プログラム。

＜付記３＞
（１）
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第１プロセッサと、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第２プロセッサと、
前記第１プロセッサから出力された前記点情報及び前記第２プロセッサから出力された前記識別情報を対応付け、前記点情報及び前記識別情報に基づいて、移動体の自動運転を制御する第３プロセッサと、
を備える、
情報処理装置。

（２）
前記第３プロセッサは、
検知部が検知した検知情報に基づいて、前記移動体の自動運転を制御するための制御変数を算出し、
算出した前記制御変数と、前記点情報及び前記識別情報とに基づいて、前記移動体の自動運転を制御する、
（１）に記載の情報処理装置。

（３）
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付け、前記点情報及び前記識別情報に基づいて、移動体の自動運転を制御する、
処理をコンピュータが実行する情報処理方法。

（４）
コンピュータに、
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付け、前記点情報及び前記識別情報に基づいて、移動体の自動運転を制御する、
処理を実行させるための情報処理プログラム。

＜付記４＞
（１）
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第１プロセッサと、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第２プロセッサと、
前記第１プロセッサから出力された前記点情報及び前記第２プロセッサから出力された前記識別情報を対応付ける第３プロセッサと、
を備え、
前記第１カメラのフレームレートは、前記第２カメラのフレームレートより大きい、
情報処理装置。

（２）
前記第１カメラのフレームレートは、前記第２カメラのフレームレートの１０倍以上である、
（１）に記載の情報処理装置。

（３）
前記第１カメラのフレームレートは１００フレーム／秒以上であり、前記第２カメラのフレームレートは１０フレーム／秒である、
（２）に記載の情報処理装置。

（４）
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラよりフレームレートが小さく、かつ前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理をコンピュータが実行する情報処理方法。

（５）
コンピュータに、
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラよりフレームレートが小さく、かつ前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理を実行させるための情報処理プログラム。

＜付記５＞
（１）
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第１プロセッサと、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第２プロセッサと、
前記第１プロセッサから出力された前記点情報及び前記第２プロセッサから出力された前記識別情報を対応付ける第３プロセッサと、
を備え、
前記第１プロセッサは、検知部が検知した検知情報及び前記点情報に基づいて、所定の移動体に対する外部環境に関するスコアとして、前記移動体の移動に関する危険度を算出する、
情報処理装置。

（２）
前記第１カメラのフレームレートは可変であり、
前記第１プロセッサは、算出した前記危険度に応じて前記第１カメラのフレームレートを変更する、
（１）に記載の情報処理装置。

（３）
前記危険度は、前記移動体が今後どの程度の危険な場所を走行するかの度合を示す、
（１）又は（２）に記載の情報処理装置。

（４）
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第１プロセッサと、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第２プロセッサと、
前記第１プロセッサから出力された前記点情報及び前記第２プロセッサから出力された前記識別情報を対応付ける第３プロセッサと、
を備え、
前記第３プロセッサは、検知部が検知した検知情報及び前記点情報に基づいて、所定の移動体に対する外部環境に関するスコアとして、前記移動体の移動に関する危険度を算出する、
情報処理装置。

（５）
前記第１カメラのフレームレートは可変であり、
前記第３プロセッサは、算出した前記危険度に応じて前記第１カメラのフレームレートを変更する指示を前記第１プロセッサに出力する、
（４）に記載の情報処理装置。

（６）
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付け、
検知部が検知した検知情報及び前記点情報に基づいて、所定の移動体に対する外部環境に関するスコアとして、前記移動体の移動に関する危険度を算出する、
処理をコンピュータが実行する情報処理方法。

（７）
コンピュータに、
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付け、
検知部が検知した検知情報及び前記点情報に基づいて、所定の移動体に対する外部環境に関するスコアとして、前記移動体の移動に関する危険度を算出する、
処理を実行させるための情報処理プログラム。

＜付記６＞
（１）
第１カメラにより撮影された物体の可視光画像及び赤外線画像の少なくとも一方に基づいて、撮影された前記物体を点として捉えた点情報を出力する第１プロセッサと、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第２プロセッサと、
前記第１プロセッサから出力された前記点情報及び前記第２プロセッサから出力された前記識別情報を対応付ける第３プロセッサと、
を備える、
情報処理装置。

（２）
前記第１プロセッサは、所定要因により前記第１カメラに含まれる可視光カメラにより撮影された前記物体の可視光画像から前記物体を捉えられない場合、前記第１カメラに含まれる赤外線カメラにより撮影された前記物体の赤外線画像に基づいて前記点情報を出力する、
（１）に記載の情報処理装置。

（３）
前記第１プロセッサは、前記可視光カメラにより前記可視光画像を撮影するタイミングと、前記赤外線カメラにより前記赤外線画像を撮影するタイミングとを同期させる、
（２）に記載の情報処理装置。

（４）
第１カメラにより撮影された物体の可視光画像及び赤外線画像の少なくとも一方に基づいて、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理をコンピュータが実行する情報処理方法。

（５）
コンピュータに、
第１カメラにより撮影された物体の可視光画像及び赤外線画像の少なくとも一方に基づいて、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理を実行させるための情報処理プログラム。

＜付記７＞
（１）
第１カメラにより撮影された物体の画像及びレーダーにより前記物体に照射された電磁波の前記物体からの反射波に基づくレーダー信号から、撮影された前記物体を点として捉えた点情報を出力する第１プロセッサと、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第２プロセッサと、
前記第１プロセッサから出力された前記点情報及び前記第２プロセッサから出力された前記識別情報を対応付ける第３プロセッサと、
を備える、
情報処理装置。

（２）
前記第１プロセッサは、前記第１カメラにより前記画像を撮影するタイミングと、前記レーダーが前記レーダー信号に基づく前記物体の３次元点群データを取得するタイミングとを同期させる、
（１）に記載の情報処理装置。

（３）
前記第１カメラによって撮影される単位時間あたりの画像数及び前記レーダーによって取得される単位時間あたりの３次元点群データの数は、前記第２カメラによって撮影される単位時間あたりの画像数より多い、
（１）又は（２）に記載の情報処理装置。

（４）
第１カメラにより撮影された物体の画像及びレーダーにより前記物体に照射された電磁波の前記物体からの反射波に基づくレーダー信号から、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理をコンピュータが実行する情報処理方法。

（５）
コンピュータに、
第１カメラにより撮影された物体の画像及びレーダーにより前記物体に照射された電磁波の前記物体からの反射波に基づくレーダー信号から、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理を実行させるための情報処理プログラム。

＜付記８＞
（１）
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第１プロセッサと、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体の種別を示すラベル情報を出力する第２プロセッサと、
前記第１プロセッサから出力された前記点情報及び前記第２プロセッサから出力された前記ラベル情報を対応付ける第３プロセッサと、
を備える、
情報処理装置。

（２）
前記第３プロセッサは、前記点情報が示す前記物体の位置情報と、前記位置情報が示す位置に存在する前記物体についての前記ラベル情報とを対応付ける、
（１）に記載の情報処理装置。

（３）
前記第３プロセッサは、前記第２プロセッサが前記ラベル情報を出力したタイミングと同じタイミングで前記第１プロセッサから出力された前記点情報を前記ラベル情報に対応付ける、
（２）に記載の情報処理装置。

（４）
前記第３プロセッサは、前記点情報及び前記ラベル情報を対応付けた後に前記第１プロセッサから新たな前記点情報が出力された場合、新たな前記点情報についても前記ラベル情報と対応付ける、
（２）又は（３）に記載の情報処理装置。

（５）
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体の種別を示すラベル情報を出力し、
前記点情報及び前記ラベル情報を対応付ける、
処理をコンピュータが実行する情報処理方法。

（６）
コンピュータに、
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体の種別を示すラベル情報を出力し、
前記点情報及び前記ラベル情報を対応付ける、
処理を実行させるための情報処理プログラム。

＜付記９＞
（１）
対応する方向を向いた複数のカメラで撮影された物体の画像から前記物体を点として捉えた点情報及び前記物体を識別した識別情報を出力するとともに、前記点情報及び前記識別情報を対応付ける情報処理装置による前記物体の検出結果を取得する取得部と、
前記取得部が取得した前記検出結果に基づいて、前記情報処理装置に対する冷却を実行させる実行部と、
を備える、
冷却実行装置。

（２）
前記取得部が取得した前記検出結果に基づいて、前記情報処理装置の作動状況を予測する予測部を備え、
前記実行部は、前記予測部による前記情報処理装置の作動状況の予測結果に基づいて、前記情報処理装置に対する冷却を実行させる、
（１）に記載の冷却実行装置。

（３）
前記予測部は、前記情報処理装置の温度変化を予測し、
前記実行部は、前記予測部による前記情報処理装置の温度変化の予測結果に応じた冷却手段を用いて、前記情報処理装置に対する冷却を実行させる、
（２）に記載の冷却実行装置。

（４）
前記取得部が取得する前記検出結果は、前記点情報である、
（１）から（３）の何れか１つに記載の冷却実行装置。

（５）
対応する方向を向いた複数のカメラで撮影された物体の画像から前記物体を点として捉えた点情報及び前記物体を識別した識別情報を出力するとともに、前記点情報及び前記識別情報を対応付ける情報処理装置による前記物体の検出結果を取得し、
取得した前記検出結果に基づいて、前記情報処理装置に対する冷却を実行させる、
処理をコンピュータが実行する冷却実行方法。

（６）
コンピュータに、
対応する方向を向いた複数のカメラで撮影された物体の画像から前記物体を点として捉えた点情報及び前記物体を識別した識別情報を出力するとともに、前記点情報及び前記識別情報を対応付ける情報処理装置による前記物体の検出結果を取得し、
取得した前記検出結果に基づいて、前記情報処理装置に対する冷却を実行させる、
処理を実行させるための冷却実行プログラム。

＜付記１０＞
（１）
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第１プロセッサと、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第２プロセッサと、
前記第１プロセッサから出力された前記点情報及び前記第２プロセッサから出力された前記識別情報を対応付ける第３プロセッサと、
を備え、
前記第１プロセッサは、前記第１カメラにより撮影された前記物体の画像から、前記点情報として前記物体の存在位置を示す点の３次元直交座標系における前記物体の奥行き方向の座標値を導出する、
情報処理装置。

（２）
前記第１プロセッサは、複数の前記第１カメラにより撮影された前記物体の画像から、前記点情報として前記奥行き方向の座標値を導出する、
（１）に記載の情報処理装置。

（３）
前記第１プロセッサは、前記第１カメラにより撮影された前記物体の画像及びレーダーにより前記物体に照射された電磁波の前記物体からの反射波に基づくレーダー信号から、前記点情報として前記物体の幅方向、高さ方向、及び前記奥行き方向の座標値を導出する、
（１）又は（２）に記載の情報処理装置。

（４）
前記第１プロセッサは、前記第１カメラにより撮影された前記物体の画像及び照射装置により前記物体に照射されたストラクチャードライトを撮影した結果から、前記点情報として前記物体の幅方向、高さ方向、及び前記奥行き方向の座標値を導出する、
（１）から（３）の何れか１つに記載の情報処理装置。

（５）
前記第１プロセッサは、第１時点の前記３次元直交座標系における前記物体の幅方向、高さ方向、及び前記奥行き方向の座標値と、前記第１時点の次の時点である第２時点における前記幅方向及び前記高さ方向の座標値とから、前記点情報として前記第２時点における前記奥行き方向の座標値を導出する、
（１）から（４）の何れか１つに記載の情報処理装置。

（６）
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第１プロセッサと、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第２プロセッサと、
前記第１プロセッサから出力された前記点情報及び前記第２プロセッサから出力された前記識別情報を対応付ける第３プロセッサと、
を備え、
前記第３プロセッサは、前記第１カメラにより撮影された前記物体の画像から、前記点情報として前記物体の存在位置を示す点の３次元直交座標系における前記物体の奥行き方向の座標値を導出する、
情報処理装置。

（７）
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付け、
前記第１カメラにより撮影された前記物体の画像から、前記点情報として前記物体の存在位置を示す点の３次元直交座標系における前記物体の奥行き方向の座標値を導出する、
処理をコンピュータが実行する情報処理方法。

（８）
コンピュータに、
第１カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第１カメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付け、
前記第１カメラにより撮影された前記物体の画像から、前記点情報として前記物体の存在位置を示す点の３次元直交座標系における前記物体の奥行き方向の座標値を導出する、
処理を実行させるための情報処理プログラム。

＜付記１１＞
（１）
イベントカメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第１プロセッサと、
前記イベントカメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第２プロセッサと、
前記第１プロセッサから出力された前記点情報及び前記第２プロセッサから出力された前記識別情報を対応付ける第３プロセッサと、
を備える、
情報処理装置。

（２）
前記第１プロセッサは、所定要因により可視光カメラにより撮影された前記物体の可視光画像から前記物体を捉えられない場合、前記イベントカメラにより撮影された前記物体の画像に基づいて前記点情報を出力する、
（１）に記載の情報処理装置。

（３）
前記所定要因は、前記物体の移動速度が所定値以上の場合及び単位時間あたりにおける環境光の光量変化が所定値以上の場合の少なくとも１つを含む、
（２）に記載の情報処理装置。

（４）
前記イベントカメラは、現時刻に撮影された画像と前時刻に撮影された画像との差異部分を表すイベント画像を出力するカメラである、
（１）から（３）の何れか１つに記載の情報処理装置。

（５）
イベントカメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記イベントカメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理をコンピュータが実行する情報処理方法。

（６）
コンピュータに、
イベントカメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記イベントカメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理を実行させるための情報処理プログラム。

１０ 情報処理装置
１１ ＩＰＵ（第２プロセッサ）
１２ ＭｏＰＵ（第１プロセッサ）
１５ Ｃｅｎｔｒａｌ Ｂｒａｉｎ（第３プロセッサ）
１１０ 冷却実行装置

Claims (6)

1. イベントカメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第１プロセッサと、
   前記イベントカメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第２プロセッサと、
   前記第１プロセッサから出力された前記点情報及び前記第２プロセッサから出力された前記識別情報を対応付ける第３プロセッサと、
   を備える、
   情報処理装置。
2. 前記第１プロセッサは、所定要因により可視光カメラにより撮影された前記物体の可視光画像から前記物体を捉えられない場合、前記イベントカメラにより撮影された前記物体の画像に基づいて前記点情報を出力する、
   請求項１に記載の情報処理装置。
3. 前記所定要因は、前記物体の移動速度が所定値以上の場合及び単位時間あたりにおける環境光の光量変化が所定値以上の場合の少なくとも１つを含む、
   請求項２に記載の情報処理装置。
4. 前記イベントカメラは、現時刻に撮影された画像と前時刻に撮影された画像との差異部分を表すイベント画像を出力するカメラである、
   請求項１に記載の情報処理装置。
5. イベントカメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
   前記イベントカメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
   前記点情報及び前記識別情報を対応付ける、
   処理をコンピュータが実行する情報処理方法。
6. コンピュータに、
   イベントカメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
   前記イベントカメラと対応する方向を向いた第２カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
   前記点情報及び前記識別情報を対応付ける、
   処理を実行させるための情報処理プログラム。