JP2024066379A - 車両 - Google Patents

Abstract

【課題】自動運転機能を有する車両において、車両後方から接近する物体に対する回避動作を改善させる。【解決手段】車両は、カメラを含む一対のカメラユニットと、プロセッサとを備えた車両であって、第１のカメラユニットは、車両前方の物体が写る画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力し、第２のカメラユニットは、車両後方の物体が写る画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力し、前記プロセッサは、前記第１のカメラユニット及び前記第２のカメラユニットから出力された物体の存在位置に基づいて前記車両の走行を制御する。【選択図】図１３

Description

開示の技術は、移動する物体を検出して走行を行う車両に関する。

特許文献１には、自動運転機能を有する車両について記載されている。

特開２０２２－０３５１９８号公報

本発明は、自動運転機能を有する車両において、車両後方から接近する物体に対する回避動作を改善させることを目的とする。

第１の態様の車両は、カメラを含む一対のカメラユニットと、プロセッサとを備えた車両であって、第１のカメラユニットは、車両前方の物体が写る画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力し、第２のカメラユニットは、車両後方の物体が写る画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力し、前記プロセッサは、前記第１のカメラユニット及び前記第２のカメラユニットから出力された物体の存在位置に基づいて前記車両の走行を制御する。

第２の態様の車両は、第１の態様の車両であって、前記各カメラユニットが有する前記カメラは、フレームレートを変更することが可能であり、前記第１のカメラユニット及び前記第２のカメラユニットの一方は、前記第１のカメラユニット及び前記第２のカメラユニットの他方における物体の検知状況に応じて、前記カメラのフレームレートを設定し、設定された前記フレームレートにより撮像された前記カメラの画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する。

第３の態様の車両は、第１又は第２の態様の車両であって、前記カメラよりも高解像度の高解像度カメラを備え、かつ前記各カメラユニットのそれぞれに接続される他のカメラユニットをさらに備え、前記各カメラユニットは、前記高解像度カメラの情報に基づいて特定された物体の情報を取得可能であって、前記第１のカメラユニット及び前記第２のカメラユニットの一方は、前記第１のカメラユニット及び前記第２のカメラユニットの他方が有する物体の情報を取得する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

Ｃｅｎｔｒａｌ Ｂｒａｉｎを搭載した車両の一例を示す概略図である。 第１実施形態に係る情報処理装置の構成の一例を示すブロック図である。 第１実施形態に係るＭｏＰＵからＣｅｎｔｒａｌ Ｂｒａｉｎへのデータ転送の態様の一例を示す図である。 第１実施形態に係るＭｏＰＵからＣｅｎｔｒａｌ Ｂｒａｉｎへのデータ転送の態様の一例を示す図である。 第１実施形態に係るＭｏＰＵによる物体の座標検出の態様の一例を示す図である。 第１実施形態に係るＭｏＰＵの処理の一例を示す図である。 第１実施形態に係るＭｏＰＵの処理の一例を示す図である。 第２実施形態に係る情報処理装置の構成の一例を示すブロック図である。 第２実施形態に係る情報処理装置の構成の一例を示すブロック図である。 第２実施形態を説明するための図である。 第２実施形態を説明するための図である。 第３実施形態の車両の構成を説明する図である。 第３実施形態に係る情報処理装置の構成の一例を示すブロック図である。 第３実施形態に係るレート変更処理の一例を示すフローチャートである。 第３実施形態におけるカメラの視野角を説明する図である。 第３実施形態に係る引継ぎ処理の一例を示すフローチャートである。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

開示の技術の実施形態に係る情報処理装置は、車両の制御に関連する多くの情報に基づいて、運転制御に必要なインデックス値を高精度に求めるものであってよい。したがって、本開示の情報処理装置は、少なくとも一部が車両に搭載されて、車両の制御を実現するものであってよい。

＜第１実施形態＞
また、開示の技術の実施形態に係る情報処理装置は、Ａｕｔｏｎｏｍｏｕｓ ＤｒｉｖｉｎｇをＬｅｖｅｌ６によるＡＩ／多変量解析／ゴールシーク／戦略立案／最適確率解／最適スピード解／最適コースマネジメント／エッジにおける多種センサ入力により得られたデータを基にリアルタイムで実現でき、デルタ最適解に基づいて調整される走行システムを提供し得る。

図１は、Ｃｅｎｔｒａｌ Ｂｒａｉｎを搭載した車両の一例を示す概略図である。Ｃｅｎｔｒａｌ Ｂｒａｉｎは、図１に示すように、複数のＧａｔｅ Ｗａｙが通信可能に接続されていてよい。本実施の形態に係るＣｅｎｔｒａｌ Ｂｒａｉｎは、Ｇａｔｅ Ｗａｙを介して取得した複数の情報に基づいて、ＬｅｖｅＬ６の自動運転を実現し得るものである。

「Ｌｅｖｅｌ６」とは、自動運転を表すレベルであり、完全自動運転を表すＬｅｖｅｌ５よりも更に上のレベルに相当する。Ｌｅｖｅｌ５は完全自動運転を表すものの、それは人が運転するのと同等のレベルであり、それでも未だ事故等が発生する確率はある。Ｌｅｖｅｌ６とは、Ｌｅｖｅｌ５よりも上のレベルを表すものであり、Ｌｅｖｅｌ５よりも事故が発生する確率が低いレベルに相当する。

Ｌｅｖｅｌ６における計算力は、Ｌｅｖｅｌ５の計算力の１０００倍程度である。したがって、Ｌｅｖｅｌ５では実現できなかった高性能な運転制御が実現可能である。

図２は、開示の技術の実施形態に係る情報処理装置１０の構成の一例を示すブロック図である。情報処理装置１０は、ＩＰＵ（Image Processing Unit）１１、ＭｏＰＵ（Motion Processing Unit）１２、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６を備えている。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＧＮＰＵ（Graphics Neural network Processing Unit）１３及びＣＰＵ（Central Processing Unit）１４を含んで構成されている。

ＩＰＵ１１は、車両に設置された超高解像度カメラ（図示せず）に内蔵され得る。ＩＰＵ１１は、車両の周囲に存在する物体の画像について、ベイヤ―変換、デモザイク、ノイズ除去、シャープ化等の所定の画像処理を行い、処理された物体の画像を、例えば１０フレーム／秒のフレームレート且つ１２００万画素の解像度で出力する。ＩＰＵ１１から出力された画像は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に供給される。ＩＰＵ１１は、開示の技術における「他のカメラユニット」の一例である。

ＭｏＰＵ１２は、車両に設置された超高解像度カメラとは別のカメラに内蔵され得る。ＭｏＰＵ１２は、１０００フレーム／秒以上のフレームレートで撮影された物体の画像から、撮影された物体の動きを示す動き情報を、例えば１０００フレーム／秒以上のフレームレートで出力する。すなわち、ＭｏＰＵ１２の出力のフレームレートは、ＩＰＵ１１の出力のフレームレートの１００倍である。ＭｏＰＵ１２は、物体の存在位置を示す点の、所定の座標軸に沿った動きのベクトル情報を動き情報として出力する。すなわち、ＭｏＰＵ１２から出力される動き情報には、撮影された物体が何であるか（例えば、人なのか、障害物なのか）を識別するために必要な情報は含まれておらず、当該物体の中心点（又は重心点）の座標軸（ｘ軸、ｙ軸、ｚ軸）上の動き（移動方向と移動速度）を示す情報のみが含まれている。ＭｏＰＵ１２から出力された情報は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に供給される。動き情報が画像情報を含まないことで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に転送される情報量を画期的に抑制することできる。

Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて、当該物体に対する応答制御として、車両の運転制御を実行する。例えば、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像に基づいて、車両の周囲に存在する物体（人、動物、道路、信号、標識、横断歩道、障害物、建物など）を認識する。また、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＭｏＰＵ１２から出力された動き情報に基づいて、車両の周囲に存在する、何であるか認識された物体の動きを認識する。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は認識した情報に基づいて、例えば、車輪を駆動するモータの制御（速度制御）、ブレーキ制御、ハンドル制御を行う。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５において、ＧＮＰＵ１３は画像認識に関する処理を担ってもよく、ＣＰＵ１４は、車両制御に関する処理を担ってもよい。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、開示の技術における「プロセッサ」の一例である。

一般的に自動運転における画像認識を行うために超高解像度カメラが使用されている。高解像度カメラによって撮影された画像から、当該画像に含まれる物体が何であるかを認識することは可能である。しかしながら、Ｌｅｖｅｌ６時代の自動運転ではこれだけでは不十分である。Ｌｅｖｅｌ６時代では、物体の動きをより高精度に認識することも必要である。ＭｏＰＵ１２によって物体の動きをより高精度に認識することで、例えば、自動運転によって走行する車両が障害物を回避する回避動作を、より高精度で行うことが可能となる。しかしながら、高解像度カメラでは、１秒間に１０フレーム程度しか画像を取得することができず、物体の動きを解析する精度はＭｏＰＵ１２を搭載したカメラに比べると低い。一方、ＭｏＰＵ１２を搭載したカメラでは、例えば１０００フレーム／秒の高フレームレートでの出力が可能である。

そこで、本開示の技術では、ＩＰＵ１１及びＭｏＰＵ１２の２つの独立したプロセッサを用いる。高解像度カメラ（ＩＰＵ１１）には、捉えた物体が何なのかを認識するために必要な画像情報を取得する役割を与え、ＭｏＰＵ１２には、物体の動きを検出する役割を与えている。ＭｏＰＵ１２は、物体を点としてとらえ、その点の座標がｘ軸、ｙ軸、ｚ軸上のどの方向に、どの程度の速度で動くかを解析する。物体の全体の輪郭と、その物体が何なのかの検知は、高解像度カメラからの画像によって行うことが可能であることから、ＭｏＰＵ１２によって、例えば、物体の中心点がどのように移動するかさえ分かれば、物体全体がどのような挙動をするかがわかる。

物体の中心点の移動と速度のみを解析する手法によれば、物体の画像全体がどのように動くかを判断することに比べて、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５に転送する情報量を大幅に抑制し、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５における計算量を大幅に低減することが可能である。例えば、１０００ピクセル×１０００ピクセルの画像を、１０００フレーム／秒のフレームレートでＣｅｎｔｒａｌ Ｂｒａｉｎ１５に送信する場合、色情報を含めると、４０億ビット／秒のデータをＣｅｎｔｒａｌ Ｂｒａｉｎ１５に送信することになる。ＭｏＰＵ１２が、物体の中心点の動きを示す動き情報のみを送信することで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５に転送されるデータの量を２万ビット／秒に圧縮することができる。すなわち、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５に転送されるデータの量が２０万分の１に圧縮される。

このように、ＩＰＵ１１から出力される低フレームレート且つ高解像度の画像と、ＭｏＰＵ１２から出力される高フレームレート且つ軽量の動き情報を組み合わせて用いることで、物体の動きを含む物体認識を、少ないデータ量で実現することが可能となる。

なお、１つのＭｏＰＵ１２を用いた場合には、物体の存在位置を示す点の、三次元直交座標系における２つの座標軸（ｘ軸及びｙ軸）の各々に沿った動きのベクトル情報を取得することが可能である。ステレオカメラの原理を利用して、２つのＭｏＰＵ１２を用いて、物体の存在位置を示す点の、三次元直交座標系における３つの座標軸（ｘ軸、ｙ軸、ｚ軸）の各々に沿った動きのベクトル情報を出力してもよい。ｚ軸は、奥行方法（車両の走行）に沿った軸である。

また、図３に示すように、車両の左側に取り付けられたカメラからの画像及び車両の右側に取り付けられたカメラからの画像を、ＭｏＰＵ１２のコア１２Ａに入力してもよい。これらの画像は、それぞれ、例えば１０００ピクセル×１０００ピクセルの色情報を含む画像であり、１０００フレーム／秒のフレームレートでコア１２Ａに入力されてもよい。ＭｏＰＵ１２のコア１２Ａは、これらの画像に基づいて、三次元直交座標系における３つの座標軸（ｘ軸、ｙ軸、ｚ軸）の各々に沿った動きのベクトル情報を１０００フレーム／秒のフレームレートでＣｅｎｔｒａｌ Ｂｒａｉｎ１５に転送してもよい。また、図４に示すように、車両の左側に取り付けられたカメラからの画像及び車両の右側に取り付けられたカメラからの画像を、それぞれ、別々のコア１２Ａ_１及び１２Ａ_２を用いて処理してもよい。

また、以上の説明では、ＭｏＰＵ１２が、物体の中心点の動きを示す動き情報を出力する形態を例示した。しかしながら、開示の技術はこの態様に限定されない。ＭｏＰＵ１２は、カメラによって撮影された画像から認識した物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つの座標点について動き情報を出力してもよい。図５には、ＭｏＰＵ１２が、画像に含まれる４つの物体のそれぞれについて、当該物体の輪郭を囲むバウンディングボックス２１、２２、２３、２４を設定し、バウンディングボックス２１、２２、２３、２４の頂点の対角となる２つの座標点について動き情報を出力する態様が例示されている。このように、ＭｏＰＵ１２は物体を点としてではなく、一定の大きさを持つオブジェクトとして捉えてもよい。一定の大きさを持つオブジェとして捉える場合は、カメラによって撮影された画像から認識した物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つの座標点だけである必要はなく、輪郭を含む複数の座標点を抽出しても良い。

また、図６に示すように、ＭｏＰＵ１２は、可視光画像及び赤外線画像の少なくとも一方に基づいて動き情報を出力してもよい。可視光画像は可視光カメラによって撮影された画像であり、赤外線画像は赤外線カメラによって撮影された画像である。可視光画像及び赤外線画像は、それぞれ、１０００フレーム／秒以上のフレームレートでコア１２Ａに入力される。可視光画像及び赤外線画像は、互いに同期していることが好ましい。ＭｏＰＵ１２による物体検出において赤外線画像を用いることで、例えば夜間等の可視光画像による物体検出が困難である場合でも物体検出が可能となる。ＭｏＰＵ１２は、可視光画像及び赤外線画像うち、赤外線画像のみに基づいて動き情報を出力してもよいし、可視光画像及び赤外線画像の双方に基づいて動き情報を出力してもよい。

また、図７に示すように、ＭｏＰＵ１２は、画像及びレーダー信号に基づいて動き情報を出力してもよい。レーダー信号は、物体に照射された電磁波の当該物体からの反射波に基づく信号である。ＭｏＰＵ１２は、画像及びレーダー信号に基づいて、物体までの距離を導出し、当該物体の存在位置を示す点の、三次元直交座標系における３つの軸の各々に沿った動きのベクトル情報を動き情報として出力してもよい。画像は、可視光画像及び赤外線画像の少なくとも１つを含むものであってもよい。画像及びレーダー信号は、１０００フレーム／秒以上のフレームレートでコア１２Ａに入力される。

また、以上の説明では、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５が、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて車両の運転制御を実行する場合を例示したが、開示の技術は、この態様に限定されるものではない。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて、当該物体に対する応答制御として、ロボットの動作制御を行ってもよい。ロボットは例えば、人間の代わりに作業を行う人型のスマートロボットであってもよい。例えば、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて、ロボットの腕、手のひら、指、足の動作制御を行って、当該物体を握る、掴む、抱える、背負う、移動させる、運ぶ、投げる、蹴る、避ける等の動作制御を行ってもよい。ＩＰＵ１１及びＭｏＰＵ１２は、例えば、ロボットの右目及び左目の位置に搭載されてもよい。つまり右目には右目用のＩＰＵ１１及びＭｏＰＵ１２を搭載し、左目には左目用のＩＰＵ１１及びＭｏＰＵ１２を搭載してもよい。

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態は、画像を撮像する際のフレームレートが可変である点等が第１実施形態と異なる。

（車両に搭載される情報処理装置：Ｓｍａｒｔ Ｃａｒ）
図８は、車両に搭載される、第２実施形態に係る情報処理装置２１０のブロック図である。図８に示されているように、車両に搭載される情報処理装置２１０は、左側の目に相当するＭｏＰＵ１２Ｌと、右側の目に相当するＭｏＰＵ１２Ｒと、ＩＰＵ１１と、コア１２Ｘと、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５とを備えている。

ＭｏＰＵ１２Ｌは、カメラ３０Ｌと、レーダー３２Ｌと、赤外線カメラ３４Ｌと、専用のコア１２ＡＬと、を備えている。また、ＭｏＰＵ１２Ｒは、カメラ３０Ｒと、レーダー３２Ｒと、赤外線カメラ３４Ｒ、専用のコア１２ＡＲと、とを備えている。レーダー３２Ｌ，３２Ｒは、上述したレーダー信号を検知する。赤外線カメラ３４Ｌ，３４Ｒは、上述した赤外線画像を取得する。

ＩＰＵ１１は、上述したような高解像度カメラ（図示省略）を備えており、高解像度カメラによって撮像された高解像度画像から物体を検知し、物体の種別を表す情報（以下、単に「ラベル情報」と称する。）を出力する。

なお、以下では、左側の目に相当するＭｏＰＵ１２Ｌの処理についてのみ説明する。

ＭｏＰＵ１２Ｌが備えるカメラ３０Ｌは、ＩＰＵ１１が備える高解像度カメラ（例えば、１０フレーム／秒で撮像）よりも高いフレーム数（１２０，２４０，４８０，９６０，又は１９２０フレーム／秒）で画像を撮像する。カメラ３０Ｌは、フレームレートを変更することが可能なカメラである。

ＭｏＰＵ１２Ｌのコア１２ＡＬ（例えば、１つ以上のＣＰＵにより構成される）は、３０Ｌが撮像した１フレームの画像毎に特徴点を抽出し、その座標値（Ｘ，Ｙ）を出力する。ＭｏＰＵ１２Ｌは、例えば、画像から抽出した物体の中心点（重心点）を特徴点として出力する。なお、特徴点は、物体を疑似的に囲む矩形の対角頂点２点であってもよい。また一定の大きさを持つオブジェとして捉える場合は、カメラによって撮影された画像から認識した物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つの座標点だけである必要はなく、輪郭を含む複数の座標点を抽出しても良い。

具体的には、ＭｏＰＵ１２Ｌは、１つの物体から抽出された特徴点の座標値（Ｘ，Ｙ）を出力する。なお、例えば、複数の物体（例えば、物体Ａ、物体Ｂ、及び物体Ｃ等）が１つの画像に写っている場合には、ＭｏＰＵ１２Ｌは、それら複数の物体の各々から抽出された特徴点の座標値（Ｘｎ，Ｙｎ）を出力するようにしてもよい。各時刻に撮像された画像の特徴点の系列は、物体の動き情報に相当する。

また、例えば、暗闇の影響によって、ＭｏＰＵ１２Ｌが物体を識別できない場合が想定される。この場合には、ＭｏＰＵ１２Ｌは、赤外線カメラ３４Ｌを用いて物体の熱を検知し、その検知結果である赤外線画像と、カメラ３０Ｌによって撮像された画像とに基づいて、物体の座標（Ｘｎ，Ｙｎ）を出力するようにしてもよい。また、カメラ３０Ｌによる画像の撮像と赤外線カメラ３４Ｌによる赤外線画像の撮像とを同期させるようにしてもよい。この場合には、例えば、カメラ３０Ｌによって撮像される１秒当たりの画像数と、赤外線カメラ３４Ｌによって撮像される１秒当たりの画像数とを同期させる（例えば、１９２０フレーム／秒）。

また、ＭｏＰＵ１２Ｌは、レーダー３２Ｌによって取得された３次元点群データに基づいて、物体のＺ軸の座標値を取得してもよい。なお、この場合には、カメラ３０Ｌによる画像の撮像とレーダー３２Ｌによる３次元点群データの取得とを同期させるようにしてもよい。例えば、レーダー３２Ｌによって取得される１秒当たりの３次元点群データの数と、カメラ３０Ｌによって撮像される１秒当たりの画像数とを同期させる（例えば、１９２０フレーム／秒）。

また、カメラ３０Ｌによって撮像される１秒当たりの画像数と、赤外線カメラ３４Ｌによって撮像される１秒当たりの画像数と、レーダー３２Ｌによって取得される１秒当たりの３次元点群データの数とを同一にし、データ取得のタイミングを同期させるようにしてもよい。

コア１２Ｘは、ＭｏＰＵ１２Ｌから出力された特徴点の座標と、ＩＰＵ１１から出力された対象物のラベル情報（物体が犬なのか、猫なのか、又はクマなのかを表す情報）とを取得する。そして、コア１２Ｘは、ラベル情報と特徴点に対応する座標とを対応付けて出力する。これにより、特徴点が表す物体が何を表しているのかという情報と、特徴点が表す物体の動き情報とを対応付けることが可能になる。

以上が左側の目に相当するＭｏＰＵ１２Ｌの処理である。右側の目に相当するＭｏＰＵ１２Ｒは、左側の目に相当するＭｏＰＵ１２Ｌと同様の処理を実行する。

なお、ＭｏＰＵ１２Ｌのカメラ３０Ｌによって撮像された画像と、ＭｏＰＵ１２Ｒの３０Ｒによって撮像された画像とに基づいて、ステレオカメラの原理を利用して、特徴点の奥行き方向の座標値Ｚｎを更に算出してもよい。

（ロボットに搭載される情報処理装置：Ｓｍａｒｔ Ｒｏｂｏｔ）
図９は、ロボットに搭載される、第２実施形態に係る情報処理装置３１０のブロック図である。図９に示されているように、ロボットに搭載される情報処理装置３１０は、左側の目に相当するＭｏＰＵ１２Ｌと、右側の目に相当するＭｏＰＵ１２Ｒと、赤外線カメラ３４と、ストラクチャードライト３６と、コア１２Ｘと、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５とを備えている。ロボットに搭載される情報処理装置３１０は、車両に搭載される情報処理装置２１０と同様の機能を有している。

例えば、暗闇の影響によって、ＭｏＰＵ１２Ｌが物体を識別できない場合には、ＭｏＰＵ１２Ｌは、赤外線カメラ３４を用いて物体の熱を検知し、その検知結果である赤外線画像と、カメラ３０Ｌによって撮像された画像とに基づいて、物体の座標（Ｘｎ，Ｙｎ）を出力する。また、カメラ３０Ｌによる画像の撮像と赤外線カメラ３４による赤外線画像の撮像とを同期させるようにしてもよい。この場合には、例えば、カメラ３０Ｌによって撮像される１秒当たりの画像数と、赤外線カメラ３４によって撮像される１秒当たりの画像数とを同期させる（例えば、１９２０フレーム／秒）。

また、コア１２Ｘは、物体の奥行き方向の座標Ｚｎを取得するために、ストラクチャードライト３６を使用してもよい。ストラクチャードライト３６は、例えば、参考文献（http://ex-press.jp/wp-content/uploads/2018/10/018_teledyne_3rd.pdf）に開示されている。この場合には、カメラ３０Ｌ，３０Ｒによる画像の撮像とストラクチャードライト３６による３次元データとの計測とを同期させるようにしてもよい。例えば、カメラ３０Ｌ，３０Ｒによって撮像される１秒当たりの画像数と、ストラクチャードライト３６によって計測される１秒当たりの３次元データとを同期させるようにしてもよい（例えば、１９２０フレーム／秒）。

更に、赤外線カメラ３４によって撮像された赤外線画像とストラクチャードライト３６によって計測された３次元データとの両方を併用してもよい。

（外部環境に応じたフレームレートの変更）
情報処理装置２１０，３１０は、外部環境に応じてカメラのフレームレートを変更するようにしてもよい。例えば、情報処理装置２１０，３１０は、外部環境に関するスコアを計算し、スコアに応じて、カメラ３０Ｌ，３０Ｒのフレームレートを決定する。そして、情報処理装置２１０，３１０は、決定したフレームレートにより画像の撮像を指示する制御信号をカメラ３０Ｌ，３０Ｒに対して出力する。カメラ３０Ｌ，３０Ｒは、決定されたフレームレートで画像を撮像する。そして、情報処理装置２１０，３１０は、カメラ３０Ｌ，３０Ｒによって撮像された画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。

なお、車両に搭載される情報処理装置２１０は、図示しない複数種類のセンサを備えている。車両に搭載される情報処理装置２１０が備える１つ以上のプロセッサは、複数種類のセンサ（図示省略）から取り入れられたセンサ情報（例えば、体重の重心移動、道路の材質の検知、外気温度の検知、外気湿度の検知、坂道の上下横斜め傾き角度の検知、道路の凍り方、水分量の検知、それぞれのタイヤの材質、摩耗状況、空気圧の検知、道路幅、追い越し禁止有無、対向車、前後車両の車種情報、それらの車のクルージング状態、又は周囲の状況(鳥、動物、サッカーボール、事故車、地震、家事、風、台風、大雨、小雨、吹雪、霧、など)等）に基づいて、外部環境に関するスコアとして、自車両が今後どの程度の危険な場所を走行するかの危険度を計算する。

そして、情報処理装置２１０が備える１つ以上のプロセッサは、計算した危険度と閾値とに基づいて、１秒当たりに撮像される画像数（フレームレート）を切り替える。

例えば、情報処理装置２１０が備える１つ以上のプロセッサは、危険度が第１閾値より低い場合は、１２０フレーム／秒を選択し、そのフレームレートで画像の撮像、レーダー信号の取得、又は赤外線画像の撮像をするように、カメラ３０Ｌ，３０Ｒ、レーダー３２Ｌ，３２Ｒ、及び赤外線カメラ３４Ｌ，３４Ｒへ制御信号を出力する。

また、例えば、情報処理装置２１０が備える１つ以上のプロセッサは、危険度が第１閾値以上であり、かつ第４閾値より低い場合は、２４０，４８０，９６０フレーム／秒の何れかを選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。

また、例えば、情報処理装置２１０が備える１つ以上のプロセッサは、危険度が第４閾値以上である場合は、１９２０フレーム／秒を選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。

また、情報処理装置２１０が備える１つ以上のプロセッサは、危険度を予測する情報としてロングテールインシデントＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ） ＤＡＴＡ（例えば、レベル５の自動運転制御方式が実装された車両のＴｒｉｐデータ）又は地図情報等、車両が走行する前から既知である走行に関するビッグデータを利用し、危険度を予測するようにしてもよい。

また、ロボットに搭載される情報処理装置３１０が備える１つ以上のプロセッサは、例えば、カメラ３０Ｌ，３０Ｒに写る物体の速度等に基づいて、外部環境に関するスコアを計算し、そのスコアに応じてフレームレートを変更するようにしてもよい。例えば、外部環境に関するスコアは、物体の速度が速いほど大きくなるように計算される。このため、ロボットに搭載される情報処理装置３１０が備える１つ以上のプロセッサは、外部環境に関するスコアが大きい場合には、１９２０フレーム／秒を選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。また、ロボットに搭載される情報処理装置３１０が備える１つ以上のプロセッサは、外部環境に関するスコアが小さい場合には、１２０フレーム／秒を選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。その他の制御は、上記の車両に搭載される情報処理装置２１０と同様である。

（物体が検出された領域に応じた特徴点の出力）
情報処理装置２１０，３１０は、画像に写る物体の存在位置が所定領域である場合に、物体の存在位置を示す点をするようにしてもよい。この場合、情報処理装置２１０，３１０は、物体が検出された領域に応じてその物体の特徴点を出力するか否かを判定する。例えば、車両に搭載される情報処理装置２１０のコア１２ＡＬ，１２ＡＲは、車両が走行する道路領域において検出された物体とは異なる物体（例えば、歩道上に存在している物体）からは特徴点を抽出しないようにする。図１０に、例えば、歩道上に存在している物体からは特徴点を抽出しない場合の処理を説明するための図を示す。

図１０（Ａ）では、物体Ｂ１～Ｂ４が抽出されている。本来であれば、物体Ｂ１～Ｂ４の各々について特徴点を表す座標が抽出される。

この場合、例えば、図１０（Ｂ）に示されているように、車両に搭載される情報処理装置２１０が備えるコア１２ＡＬ，１２ＡＲは、既知の技術を用いて、車両前方の画像から道路境界Ｌを逐次検出する。そして、情報処理装置２１０が備えるコア１２ＡＬ，１２ＡＲは、道路境界Ｌによって特定される道路上に位置する物体Ｂ１～Ｂ３からのみ特徴点を表す座標を抽出する。

また、例えば、情報処理装置２１０が備えるコア１２ＡＬ，１２ＡＲは、道路上に位置する物体Ｂ１～Ｂ３とは異なる物体Ｂ４についてはその物体領域自体を抽出せずに、物体Ｂ１～Ｂ３からのみ特徴点を表す座標を抽出するようにしてもよい。

（物体の動きに応じた特徴点の出力）
情報処理装置２１０，３１０は、画像に写る物体毎にスコアを計算し、スコアが所定閾値以上の物体の存在位置を示す点を抽出するようにしてもよい。この場合、例えば、情報処理装置２１０，３１０は、物体の動きに応じてその物体の特徴点を出力するか否かを判定するようにしてもよい。例えば、情報処理装置２１０のコア１２ＡＬ，１２ＡＲは、車両の走行に影響の無い物体からは特徴点を抽出しないようにしてもよい。具体的には、情報処理装置２１０のコア１２ＡＬ，１２ＡＲは、ＡＩを利用することなどにより、画像に写る物体の移動方向又は速さ等を計算する。そして、例えば、情報処理装置２１０のコア１２ＡＬ，１２ＡＲは、道路から遠ざかっていく歩行者等からは特徴点を抽出しない。一方、情報処理装置２１０のコア１２ＡＬ，１２ＡＲは、道路に近づく物体（例えば、道路に飛び出しそうな子供）からは特徴点を抽出する。

また、情報処理装置２１０が備える１つ以上のプロセッサは、例えば、イベントカメラ（https://dendenblog.xyz/event-based-camera/）によって撮像された画像からも特徴点を抽出することが可能である。図１１に、イベントカメラによって撮像された画像を説明するための図を示す。

図１１に示されているように、イベントカメラによって撮像された画像は、現時刻に撮像された画像と前時刻に撮像された画像との差異部分が点として抽出される。このため、イベントカメラを利用した場合には、例えば、図１１（Ｂ）に示されるように、図１１（Ａ）に示される人物領域のうちの移動している各箇所の点が抽出されてしまう。

これに対し、情報処理装置２１０が備える１つ以上のプロセッサは、図１１（Ｃ）に示されるように、物体である人物を抽出した後に、人物領域を表す特徴点の座標（例えば、１点のみ）を抽出する。これにより、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に転送される情報量を抑制させることできる。イベントカメラによって撮像された画像は、物体である人物を任意のフレームレートで抽出できるため、ＭｏＰＵ１２Ｌ，１２Ｒに搭載されるカメラ３０Ｌ，３０Ｒは、最大１９２０フレーム／秒のフレームレートで画像を撮像するが、イベントカメラの場合は１９２０フレーム/秒に限らず、それ以上のフレームレートで抽出することもでき、より物体の動き情報を精度良く捉えることができる。

以上説明したように、第２実施形態の情報処理装置２１０，３１０は、物体が写る画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、コア１２Ｘ、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５、及びメモリ１６に転送される情報量を抑制させることできる。また、物体の存在位置を示す点とＩＰＵ１１から出力されたラベル情報とを対応付けることにより、どのような物体がどのような動きをしているのかに関する情報が把握される。特に、ＭｏＰＵ１２Ｌ，１２Ｒに搭載されるカメラ３０Ｌ，３０Ｒは、最大１９２０フレーム／秒のフレームレートで画像を撮像することが可能であるため、物体の動き情報を精度良く捉えることができる。

また、情報処理装置２１０，３１０は、フレームレートを変更することが可能なカメラ３０Ｌ，３０Ｒを備え、外部環境に関するスコアを計算し、当該スコアに応じてカメラのフレームレートを決定する。そして、情報処理装置２１０，３１０は、決定したフレームレートにより画像の撮像を指示する制御信号をカメラ３０Ｌ，３０Ｒに対して出力し、カメラ３０Ｌ，３０Ｒによって撮像された画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、外部環境に適したフレームレートで画像を撮像することができる。

また、情報処理装置２１０は、外部環境に関するスコアとして、車両の走行に関する危険度を計算し、危険度に応じて、カメラ３０Ｌ，３０Ｒのフレームレートを決定し、決定したフレームレートにより画像の撮像を指示する制御信号をカメラ３０Ｌ，３０Ｒ対して出力し、カメラ３０Ｌ，３０Ｒによって撮像された画像から物体の存在位置を示す点を抽出する。これにより、車両の走行に関する危険度に応じてフレームレートを変更することができる。

また、情報処理装置２１０，３１０は、画像から物体を抽出し、物体の存在位置が所定領域である場合に、物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、情報処理装置２１０，３１０のコア１２ＡＬ，１２ＡＲは、制御処理にとって重要度が低い領域の点を取得せずに済む。

また、情報処理装置２１０，３１０は、画像から物体を抽出し、物体毎にスコアを計算し、スコアが所定閾値以上の物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、情報処理装置２１０，３１０のコア１２ＡＬ，１２ＡＲは、制御処理にとって重要度が低い物体の点を取得せずに済む。

＜第３実施形態＞
続いて、第３実施形態について説明する。第３実施形態は、車両の前後にＩＰＵ１１及びＭｏＰＵ１２を設けた点で、第２実施形態のＳｍａｒｔ Ｃａｒと異なる。以下、第２実施形態との相違点について説明する。なお、同一の構成には同一の符号を付しており、詳細な説明については割愛する。

図１２に示されるように、車両１には、車両前方を監視する前方ＩＰＵ１１Ｆｒ及び前方ＭｏＰＵユニット１２Ｆｒと、車両後方を監視する後方ＩＰＵ１１Ｒｒ及び後方ＭｏＰＵユニット１２Ｒｒと、が設けられている。前方ＭｏＰＵユニット１２Ｆｒは、開示の技術における「第１のカメラユニット」の一例であり、後方ＭｏＰＵユニット１２Ｒｒは、開示の技術における「第２のカメラユニット」の一例である。

前方ＩＰＵ１１Ｆｒでは高解像度カメラ（図示省略）が車両前方に向けられており、後方ＩＰＵ１１Ｒｒでは高解像度カメラ（図示省略）が車両後方に向けられている。また、前方ＭｏＰＵユニット１２Ｆｒでは、カメラ３０Ｌ、レーダー３２Ｌ及び赤外線カメラ３４Ｌが車両前方に向けられており、後方ＭｏＰＵユニット１２Ｒｒでは、カメラ３０Ｌ、レーダー３２Ｌ及び赤外線カメラ３４Ｌが車両後方に向けられている。

図１３は、車両１に搭載される、第３実施形態に係る情報処理装置２２０のブロック図である。図１３に示されるように、前方ＭｏＰＵユニット１２Ｆｒ及び後方ＭｏＰＵユニット１２Ｒｒは、それぞれ左側の目に相当するＭｏＰＵ１２Ｌと、右側の目に相当するＭｏＰＵ１２Ｒと、を備えている。また、前方ＭｏＰＵユニット１２Ｆｒのコア１２Ｘと、後方ＭｏＰＵユニット１２Ｒｒのコア１２Ｘとは、互いに通信可能に接続されている。さらに、前方ＭｏＰＵユニット１２Ｆｒのコア１２Ｘ、及び、後方ＭｏＰＵユニット１２Ｒｒのコア１２Ｘは、それぞれ、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５に対して接続されている。

本実施形態の情報処理装置２２０では、前方ＩＰＵ１１Ｆｒ及び前方ＭｏＰＵユニット１２Ｆｒにより車両前方の特徴点の座標及び対象物のラベル情報を取得し、後方ＩＰＵ１１Ｒｒ及び後方ＭｏＰＵユニット１２Ｒｒにより車両後方の特徴点の座標及び対象物のラベル情報を取得する。これにより、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は車両１を制御する。なお、前方ＭｏＰＵユニット１２Ｆｒ及び後方ＭｏＰＵユニット１２Ｒｒでは共通の座標軸（ｘ軸、ｙ軸、ｚ軸）に基づいて特徴点の座標値（Ｘｎ，Ｙｎ，Ｚｎ）が得られるように構成されている。これにより、本実施形態のＣｅｎｔｒａｌ Ｂｒａｉｎ１５は、車両１の停車中や走行中において、後方から接近する物体に対しても、精度よく車両制御を行うことができる。つまり、自動運転機能を有する車両において、車両前方のみを監視する場合に比べて、車両後方から接近する物体に対する回避動作が改善される。

（警戒状態に応じたフレームレートの変更）
情報処理装置２２０は、前方ＭｏＰＵユニット１２Ｆｒ及び後方ＭｏＰＵユニット１２Ｒｒの一方の検知状況に基づいて、前方ＭｏＰＵユニット１２Ｆｒ及び後方ＭｏＰＵユニット１２Ｒｒの他方のカメラのフレームレートが変更される。

具体的に、前方ＭｏＰＵユニット１２Ｆｒ及び後方ＭｏＰＵユニット１２Ｒｒは、車両１に対して所定値以上の速度で接近する物体があり、警戒状態と判定した場合、通常は２４０フレーム／秒以下であるカメラ３０Ｌ，３０Ｒのフレームレートを、９６０フレーム／秒以上に上げる。つまり、前方ＭｏＰＵユニット１２Ｆｒ及び後方ＭｏＰＵユニット１２Ｒｒは、車両１に対する前方又は後方の物体の相対的な速度が予め設定した閾値を超えた場合にフレームレートを変更するように構成されている。以下、本実施形態のフレームレートを変更するレート変更処理を、図１４を用いて説明する。なお、図１４は前方ＭｏＰＵユニット１２Ｆｒにおける処理の例である。

図１４のステップＳ１００において、前方ＭｏＰＵユニット１２Ｆｒのコア１２Ｘは、前方ＭｏＰＵユニット１２Ｆｒにおける特徴点の座標及び対象物のラベル情報を取得する。

ステップＳ１０２において、前方ＭｏＰＵユニット１２Ｆｒのコア１２Ｘは、後方ＭｏＰＵユニット１２Ｒｒにおける特徴点のベクトル情報及び対象物のラベル情報を取得する。

ステップＳ１０４において、前方ＭｏＰＵユニット１２Ｆｒのコア１２Ｘは、取得した情報に基づいて警戒状態についての判定処理を実行する。例えば、車両１に対する後方の物体の相対的な速度が予め設定した閾値を超えた場合に警戒状態が開始される。また例えば、前方や後方に存在している警戒対象の物体が車両１から遠ざかる、居なくなる等した場合に警戒状態が終了される。

ステップＳ１０６において、前方ＭｏＰＵユニット１２Ｆｒのコア１２Ｘは、警戒状態が開始したか否かを判定する。コア１２Ｘは、警戒状態が開始したと判定した場合（ステップＳ１０６でＹＥＳの場合）、ステップＳ１０８に進む。一方、コア１２Ｘは、警戒状態が開始していないと判定した場合（ステップＳ１０６でＮＯの場合）、ステップＳ１００に戻る。

ステップＳ１０８において、前方ＭｏＰＵユニット１２Ｆｒのコア１２Ｘは、前方ＭｏＰＵユニット１２Ｆｒにおけるカメラ３０Ｌ，３０Ｒのフレームレートを高い状態に設定する。

ステップＳ１１０において、前方ＭｏＰＵユニット１２Ｆｒのコア１２Ｘは、警戒状態が終了したか否かを判定する。コア１２Ｘは、警戒状態が終了したと判定した場合（ステップＳ１１０でＹＥＳの場合）、ステップＳ１１２に進む。一方、コア１２Ｘは、警戒状態が終了していないと判定した場合（ステップＳ１１０でＮＯの場合）、ステップＳ１００に戻る。

ステップＳ１１２において、前方ＭｏＰＵユニット１２Ｆｒのコア１２Ｘは、前方ＭｏＰＵユニット１２Ｆｒにおけるカメラ３０Ｌ，３０Ｒのフレームレートを低い状態に設定する。そして、ステップＳ１００に戻る。

以上、本実施形態のレート変更処理によれば、以下の態様に対応することができる。例えば、車両前方においては車両１に接近する物体が存在せず、車両後方から車両１をふらつきながら追い越すような二輪車や動物等が現れたとする。この場合、前方ＭｏＰＵユニット１２Ｆｒでは、処理負荷軽減のためにフレームレートを下げていたとしても、後方ＭｏＰＵユニット１２Ｒｒにおける物体の接近検知に基づいて、フレームレートを上げることができる。これにより、物体が車両１を追い越してからは、前方ＭｏＰＵユニット１２Ｆｒにより、精度のよい監視が可能となる。

なお、上記の実施形態では、警戒状態が開始されると、フレームレートが低い状態から高い状態に変更されるが、一気に変更されるのではなく、段階的にフレームレートが高くなるように構成してもよい。例えば、通常は２４０フレーム／秒の場合に、警戒状態が開始されると、まずは、フレームレートを９６０フレーム/秒にし、警戒状態が所定時間（例えば１秒間）継続するとフレームレートを１９２０フレーム/秒にするように構成してもよい。このような、フレームレートの段階的な上昇は２段階に限らず、カメラ３０Ｌ，３０Ｒが有するフレームレートの数に合わせて、設定することができる。また、フレームレートを上げる場合に限らず、下げる場合においても警戒状態に応じて段階的に下げてもよい。

（対象物ラベルの引継ぎ）
本実施形態の情報処理装置２２０は、前方ＭｏＰＵユニット１２Ｆｒ及び後方ＭｏＰＵユニット１２Ｒｒの一方において、生成された対象物のラベル情報を前方ＭｏＰＵユニット１２Ｆｒ及び後方ＭｏＰＵユニット１２Ｒｒの他方に提供することができる。

例えば、図１５に示されるように、前方ＭｏＰＵユニット１２Ｆｒ及び後方ＭｏＰＵユニット１２Ｒｒのカメラ３０Ｌ，３０Ｒの視野角Ｍがそれぞれ１８０度であるとする。これに対して、前方ＩＰＵ１１Ｆｒ及び後方ＩＰＵ１１Ｒｒの高解像度カメラの視野角Ｖがカメラ３０Ｌ，３０Ｒの視野角Ｍよりも狭いとする。この場合、ＩＰＵ１１の高解像度カメラが撮像できない視野外周部の物体については、ＭｏＰＵ１２により座標値が取得できたとしても対象物のラベル情報が付与されない。そこで、図１６の引継ぎ処理により、前方ＭｏＰＵユニット１２Ｆｒ及び後方ＭｏＰＵユニット１２Ｒｒの一方において、すでに生成されている対象物のラベル情報を前方ＭｏＰＵユニット１２Ｆｒ及び後方ＭｏＰＵユニット１２Ｒｒの他方に提供することができる。なお、図１６は前方ＭｏＰＵユニット１２Ｆｒにおける処理の例である。

図１６のステップＳ２００において、前方ＭｏＰＵユニット１２Ｆｒのコア１２Ｘは、前方ＭｏＰＵユニット１２Ｆｒにおける特徴点の座標及び対象物のラベル情報を取得する。

ステップＳ２０２において、前方ＭｏＰＵユニット１２Ｆｒのコア１２Ｘは、後方ＭｏＰＵユニット１２Ｒｒにおける特徴点のベクトル情報及び対象物のラベル情報を取得する。

ステップＳ２０４において、前方ＭｏＰＵユニット１２Ｆｒのコア１２Ｘは、ステップＳ２００においてラベル情報を取得できなかったか否かを判定する。コア１２Ｘは、ラベル情報を取得できなかったと判定した場合（ステップＳ２０４でＹＥＳの場合）、ステップＳ２０６に進む。一方、コア１２Ｘは、ラベル情報を取得できたと判定した場合（ステップＳ２０４でＮＯの場合）、ステップＳ２００に戻る。

ステップＳ２０６において、前方ＭｏＰＵユニット１２Ｆｒのコア１２Ｘは、ベクトル情報に基づく予想座標と現在の座標が一致したか否かを判定する。すなわち、後方ＭｏＰＵユニット１２Ｒｒから取得したベクトル情報に基づいて予想された特徴点の座標と、前方ＭｏＰＵユニット１２Ｆｒにおいて取得した現在の特徴点とが一致したか否かを判定する。コア１２Ｘは、ベクトル情報に基づく予想座標と現在の座標が一致したと判定した場合（ステップＳ２０６でＹＥＳの場合）、ステップＳ２０８に進む。一方、コア１２Ｘは、ベクトル情報に基づく予想座標と現在の座標が一致していないと判定した場合（ステップＳ２０６でＮＯの場合）、ステップＳ２００に戻る。

ステップＳ２０８において、前方ＭｏＰＵユニット１２Ｆｒのコア１２Ｘは、後方ＭｏＰＵユニット１２Ｒｒにおける対象物のラベルを、前方ＭｏＰＵユニット１２Ｆｒにおいて検知された特徴点に対して付与する。そして、ステップＳ２００に戻る。

以上、本実施形態の引継ぎ処理によれば、前方ＩＰＵ１１Ｆｒ及び後方ＩＰＵ１１Ｒｒの高解像度カメラの視野角Ｖが狭く、視野角Ｖの外で特徴点が検出された場合であっても以下の効果を有する。すなわち、前方ＭｏＰＵユニット１２Ｆｒ及び後方ＭｏＰＵユニット１２Ｒｒの何れか一方で既に検知され付与さている対象物のラベルを前方ＭｏＰＵユニット１２Ｆｒ及び後方ＭｏＰＵユニット１２Ｒｒの他方に適用することができる。これにより、例えば、物体が車両１を追い越すようなシチュエーションにおいて、前方ＭｏＰＵユニット１２Ｆｒは後方ＭｏＰＵユニット１２Ｒｒが特徴点を抽出した直後から対象物を特定することができる。

＜備考＞
本実施の形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 情報処理装置
１１ ＩＰＵ
１２ ＭｏＰＵ
１３ ＧＮＰＵ
１４ ＣＰＵ
１５ Ｃｅｎｔｒａｌ Ｂｒｅｉｎ

Claims (3)

1. カメラを含む一対のカメラユニットと、プロセッサとを備えた車両であって、
   第１のカメラユニットは、車両前方の物体が写る画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力し、
   第２のカメラユニットは、車両後方の物体が写る画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力し、
   前記プロセッサは、前記第１のカメラユニット及び前記第２のカメラユニットから出力された物体の存在位置に基づいて前記車両の走行を制御する
   車両。
2. 前記各カメラユニットが有する前記カメラは、フレームレートを変更することが可能であり、
   前記第１のカメラユニット及び前記第２のカメラユニットの一方は、
   前記第１のカメラユニット及び前記第２のカメラユニットの他方における物体の検知状況に応じて、前記カメラのフレームレートを設定し、
   設定された前記フレームレートにより撮像された前記カメラの画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する、
   請求項１に記載の車両。
3. 前記カメラよりも高解像度の高解像度カメラを備え、かつ前記各カメラユニットのそれぞれに接続される他のカメラユニットをさらに備え、
   前記各カメラユニットは、前記高解像度カメラの情報に基づいて特定された物体の情報を取得可能であって、
   前記第１のカメラユニット及び前記第２のカメラユニットの一方は、
   前記第１のカメラユニット及び前記第２のカメラユニットの他方が有する物体の情報を取得する、
   請求項１又は２に記載の車両。
   

Images