JP7363890B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本技術は、撮像画像中から物体を認識する情報処理装置、情報処理方法及びプログラムに関する。

従来から、画像中から所定のオブジェクト領域を検出する技術が存在する。

下記特許文献１には、移動中の車両の周辺を撮像したフレーム画像のうち、基準時刻に取得した基準フレーム画像と基準時刻より過去に取得した過去フレーム画像との差分画像に基づいて車両の周辺に存在する障害物を検出する障害物検出装置が開示されている。

下記特許文献２には、撮影された複数の画像のうち対象画像と少なくとも１つの参照画像から、対象画像の各部分の動きベクトルを検出し、上記複数の画像のうち２つの画像刊の差分画像を算出し、上記動きベクトルと差分画像とに基づいて、物体が存在する物体領域を検出する物体検出装置が開示されている。

特開２０１８－９７７７７号公報 特開２０１５－１３８３１９号公報

しかし、上記特許文献１及び２に記載の技術では、いずれも画像の全体同士の差分に基づいて物体を検出するため計算量が多くなり、また過去画像と類似した画像を処理することが多いため処理が冗長となってしまう。

以上のような事情に鑑み、本技術の目的は、移動中に順次取得される撮像画像に対する冗長処理をなくして、計算量を削減することが可能な情報処理装置、情報処理方法及びプログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、入力部と制御部を有する。上記入力部には、カメラによって撮像された画素ごとに距離情報を有する撮像画像が入力される。上記制御部は、上記カメラまたは当該カメラを搭載した移動体の移動量に基づいて、上記撮像画像の画素ごとの座標を変換した変換撮像画像を生成する。さらに制御部は、上記変換撮像画像の画素ごとの座標を、上記カメラの移動後の位置で撮像された移動後撮像画像の画素ごとの座標と対応付け、当該対応付けがされなかった画素を特定する。

これにより情報処理装置は、撮像画像と移動後撮像画像とで対応付けがされなかった画素を特定することで、対応付けができた画素については新たな処理を不要とすることができるため、移動中に順次取得される撮像画像に対する冗長処理をなくして、計算量を削減することができる。

上記制御部は、上記移動後撮像画像のうち、上記対応付けがされなかった画素の属性を認識する認識処理を実行し、上記対応付けがされた画素または当該画素によって構成される領域に、当該画素または領域に対応する上記撮像画像の画素について実行された上記認識処理の結果を射影してもよい。

これにより情報処理装置は、対応付けがされた画素については移動前の撮像画像についての認識処理の結果を移動後の撮像画像に射影することができるため、当該画素の認識処理をなくして計算量を削減することができる。

上記制御部は、上記移動後撮像画像の画素ごとの座標と上記撮像画像の画素ごとの座標とを上記射影用に対応付けたマップを生成してもよい。

これにより情報処理装置は、当該マップを利用することで移動前の撮像画像の認識結果を移動後の撮像画像に容易に射影することができる。

上記制御部は、上記撮像画像を上記画素ごとの距離情報に基づく３次元の点群データに変換し、上記移動量に基づいて当該点群データを変換した移動点群データを生成し、当該移動点群データを画像平面に射影することで上記変換撮像画像を生成してもよい。

これにより情報処理装置は、距離情報を基に撮像画像を３次元の点群データ上で変換した上で移動後の平面画像に変換することで、対応する画素を高精度に特定することができる。

上記制御部は、上記対応付けがされなかった画素の、上記移動後撮像画像における位置に応じて上記認識処理の実行頻度を設定してもよい。

これにより情報処理装置は、例えば撮像画像の中央部の領域の実行頻度を端部の領域の実行頻度よりも高く設定する等、位置に応じた実行頻度の設定により計算量を削減することができる。

上記制御部は、上記対応付けがされなかった画素の、上記移動後撮像画像における位置と、上記移動体の移動速度とに応じて当該画素ごとに上記認識処理の実行頻度を設定してもよい。

これにより情報処理装置は、例えば高速移動中は画像中央の領域の実行頻度を画像端部の領域の実行頻度よりも高く設定し、低速移動中は画像中央の領域の実行頻度を画像端部の領域の実行頻度よりも低く設定する等、移動速度の変化に伴う重要領域の変化に対応することができる。

上記制御部は、上記対応付けがされなかった画素が有する距離情報に応じて当該画素ごとに上記認識処理の実行頻度を設定してもよい。

これにより情報処理装置は、例えばカメラから近い領域についての実行頻度を遠い領域の実行頻度よりも高く設定する等、距離に応じた実行頻度の設定により計算量を削減することができる。

本技術の他の形態に係る情報処理方法は、
カメラによって撮像された画素ごとに距離情報を有する撮像画像を取得し、
上記カメラまたは当該カメラを搭載した移動体の移動量に基づいて、上記撮像画像の画素ごとの座標を変換した変換撮像画像を生成し、
上記変換撮像画像の画素ごとの座標を、上記カメラの移動後の位置で撮像された移動後撮像画像の画素ごとの座標と対応付け、当該対応付けがされなかった画素を特定する、ことを含む。

本技術の他の形態に係るプログラムは、情報処理装置に、
カメラによって撮像された画素ごとに距離情報を有する撮像画像を取得するステップと、
上記カメラまたは当該カメラを搭載した移動体の移動量に基づいて、上記撮像画像の画素ごとの座標を変換した変換撮像画像を生成するステップと、
上記変換撮像画像の画素ごとの座標を、上記カメラの移動後の位置で撮像された移動後撮像画像の画素ごとの座標と対応付け、当該対応付けがされなかった画素を特定するステップと、を実行させる。

以上のように、本技術によれば、移動中に順次取得される撮像画像に対する冗長処理をなくして、計算量を削減することができる。しかし、当該効果は本技術を限定するものではない。

本技術の一実施形態に係る車両制御システムの概略的な構成の一例を示すブロック図である。 上記車両制御システムが有する車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 上記車両制御システムの統合制御ユニットが有する機能ブロック構成を示した図である。 上記車両制御システムの画像認識処理の流れを示したフローチャートである。 上記統合制御ユニットが有する射影マップ生成部及びセマセグ射影部の処理を説明するための図である。 上記統合制御ユニットが有する未観測領域設定部の処理を説明するための図である。 上記射影マップ生成部の処理の詳細を示した図である。 上記射影マップ生成部の処理の流れを示したフローチャートである。 上記未観測領域設定部の処理の詳細を示した図である。 上記未観測領域設定部の処理の流れを示したフローチャートである。 上記統合制御ユニットが有する領域属性関係判定部及び更新優先度マップ生成部の処理を説明するための図である。 上記更新優先度マップ生成部によるマップ統合処理を説明するための図である。 上記統合制御ユニットが有する領域セマセグ部の処理を説明するための図である。 本技術の変形例に係る車両制御システムにおける画像認識処理の更新頻度及び更新領域の設定例を示した図である。 本技術の変形例に係る車両制御システムにおける画像認識処理の更新頻度及び更新領域の設定例を示した図である。 本技術の変形例に係る車両制御システムにおける画像認識処理の更新頻度及び更新領域の設定例を示した図である。 本技術の変形例に係る車両制御システムにおける領域セマセグ部による更新領域の設定例を示した図である。 本技術の変形例に係る車両制御システムにおける領域セマセグ部の処理を説明するための図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

［車両制御システムの構成］

図１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図２は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

また本実施形態では、統合制御ユニット７６００は、撮像部７４１０による撮像画像のピクセルごとに路面/歩道/歩行者/建物等の属性を認識するセマンテックセグメンテーション（セマセグ）を実行可能である。

［車両制御システムの機能ブロック構成］
図３は、上記統合制御ユニット７６００に実装されたコンピュータプログラムの機能ブロック構成を示した図である。当該コンピュータプログラムは、それが格納されたコンピュータ読み取り可能な記録媒体として提供されてもよい。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、当該コンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

本実施形態において、統合制御ユニット７６００（マイクロコンピュータ７６１０）は、撮像部７４１０から順次取得される撮像画像について、そのピクセルごとに属性（車両／路面／歩道／歩行者／建物等）を認識するセマンテックセグメンテーション（セマセグ）を実行可能である。当該セマセグにより、撮像画像に含まれる被写体領域ごとに属性が認識されることになる。

統合制御ユニット７６００は、当該認識処理の実行頻度（更新頻度）及びその対象となる領域を、当該属性に基づいて設定することができる。なお、当該処理に際し、一連の撮像画像のうち最初の撮像画像についてはその全体についてセマセグが実行され、それ以降の撮像画像について領域ごとに更新頻度が設定される。

図３に示すように、統合制御ユニット７６００は、機能ブロックとして、相対移動推定部１１、射影マップ生成部１２、セマセグ射影部１３、未観測領域設定部１４、領域属性関係判定部１５、更新優先度マップ生成部１６、領域セマセグ部１７及びセマセグ統合部１８を有する。

相対移動推定部１１は、測位部７６４０が生成した車両（撮像部７４１０）の時刻（Ｔ－１）及び時刻（Ｔ）における各位置情報を基に、車両の相対移動量データ（Ｒｔ）を生成して射影マップ生成部１２へ出力する。

射影マップ生成部１２は、車外情報検出ユニット７４００が検出した時刻（Ｔ－１）における車両と被写体との間の撮像画像座標ごとの距離データ（ｚ）と、上記相対移動推定部１１から受信した相対移動量データ（Ｒｔ）とを基に、射影マップデータを生成してセマセグ射影部１３及び未観測領域設定部１４へ出力する。

具体的には、射影マップ生成部１２は、撮像画像座標ごとの上記距離データ（ｚ）の全撮像画像座標分の集合（デプス画像データ）を３次元の点群データに変換し、当該点群データを、上記相対移動量データ（Ｒｔ）を用いて座標変換する。そして射影マップ生成部１２は、座標変換後の点群データを撮像画像平面に射影したデプス画像データを生成し、当該デプス画像データ中の距離データ（ｚ）及び時刻（Ｔ－１）における画像座標を基に、時刻（Ｔ）の撮像画像に時刻（Ｔ－１）の撮像画像の画素ごとの画像認識（セマセグ）結果を示す値を射影するための射影元の位置を示す射影マップデータを生成する。

セマセグ射影部１３は、上記射影マップ生成部１２から受信した射影マップデータと、時刻（Ｔ－１）におけるセマセグ結果を基に、時刻（Ｔ）における撮像画像に当該セマセグ結果を射影した射影セマセグデータを生成し、セマセグ統合部１８へ出力する。

未観測領域設定部１４は、上記射影マップ生成部１２から受信した射影マップデータを基に、時刻（Ｔ）における撮像画像に時刻（Ｔ－１）におけるセマセグ結果を射影できない領域、すなわち射影マップデータ中の、射影元の位置が示されていない未観測領域を検出し、それを示すデータを更新優先度マップ生成部１６へ出力する。

領域属性関係判定部１５は、撮像画像に含まれる複数の領域について上記セマセグによって認識された属性の関係を判定する。例えば領域属性関係判定部１５は、歩道／路面領域と歩行者／自転車領域とが重なっている場合には、歩道／路面上に歩行者／自転車が存在すると判定する。

更新優先度マップ生成部１６は、上記未観測領域設定部１４で検出された未観測領域及び上記領域属性関係判定部１５で判定された領域属性関係に基づいて、撮像画像の各領域に対してセマセグの更新の優先度（更新頻度）が設定された更新優先度マップを生成する。

更新優先度マップ生成部１６は、例えば、未観測領域については更新優先度を高く設定し、また歩道上の歩行者の領域については更新優先度を低く、路面上の歩行者の領域については更新優先度を高く設定する。

領域セマセグ部１７は、上記生成された更新優先度マップに基づいて、時刻（Ｔ）における撮像画像に対して領域毎のセマセグを実行し、その結果をセマセグ統合部１８へ出力する。

セマセグ統合部１８は、上記セマセグ射影部１３から受信した時刻（Ｔ）における射影セマセグデータと、領域セマセグ部１７から受信した時刻（Ｔ）における領域セマセグデータとを統合して、時刻（Ｔ）における撮像画像全体のセマセグ結果データを出力する。

このセマセグ結果データは、例えば、ＡＤＡＳの機能実現を目的とした協調制御や自動運転等を目的とした協調制御等に用いられ得る。

これら機能ブロック（コンピュータプログラム）は、統合制御ユニット７６００ではなく上記車外情報検出ユニット７４００に実装されてもよい。この場合車外情報検出ユニットから出力されたセマセグ結果データを基に統合制御ユニット７６００によって上記ＡＤＡＳや自動運転のための協調制御が実行される。

［車両制御システムの動作］
次に、以上のように構成された車両制御システムの動作について説明する。当該動作は、上記統合制御ユニット７６００のマイクロコンピュータ７６００及び車載ネットワークインタフェース７６８０、専用通信インタフェース７６３０等のハードウェアと、記憶部１６９０等に記憶されたソフトウェア（図３に示す各機能ブロック）との協働により実行される。

図４は、上記車両制御システムによる画像認識処理の流れを示したフローチャートである。

同図に示すように、まず相対移動推定部１１が、時刻（Ｔ－１）及び時刻（Ｔ）における車両の位置情報を取得し（ステップ１０１）し、時刻（Ｔ－１）から時刻（Ｔ）までの間の車両（撮像部）の相対移動距離を推定する（ステップ１０２）。

続いて射影マップ生成部１２が、時刻（Ｔ－１）の撮像画像における車両と被写体との距離データを取得し（ステップ１０３）、当該距離データと上記相対移動距離データを基に射影マップデータを生成する（ステップ１０４）。

続いて未観測領域設定部１４が、射影マップデータを基に、時刻（Ｔ）の撮像画像における時刻（Ｔ－１）の撮像画像と比較した未観測領域を算出し（ステップ１０５）、当該未観測領域の更新優先度を高く設定した更新優先度マップを生成する（ステップ１０６）。

続いてセマセグ射影部１３が、上記射影マップデータを基に、時刻（Ｔ－１）におけるセマセグ結果を時刻（Ｔ）における撮像画像に射影する（ステップ１０７）。

図５は、当該射影マップデータを用いた射影処理を示した図である。同図（Ｂ１）及び（Ｂ２）並びに以降の図面において濃淡の異なるグレースケールで表現された各領域は上記セマセグの認識結果を示す。すなわち、同一の色で着色された箇所について同一の属性が認識されたことを示す。

同図に示すように、時刻Ｔ＝０において同図（Ａ１）に示す位置を走行中の車両が時刻Ｔ＝１において同図（Ａ２）に示す位置へ移動した場合、時刻Ｔ＝０の入力フレーム（Ｂ０）における各画素が時刻Ｔ＝１の入力フレームのどの画素に対応するかが上記位置情報及び距離情報から全画素について判明したとする。

この場合、時刻Ｔ＝１の入力フレームのセマセグ結果（Ｂ１）が、同図（Ｂ２）に示すように、時刻Ｔ＝１の入力フレームの全領域に亘って射影されていることが分かる。これにより、時刻Ｔ＝１の入力フレームについてセマセグを実行する冗長処理が削減され、計算量が削減されると共に、認識精度（安定性）が向上する。

図６は、未観測領域の算出処理を示した図である。同図（Ｂ２）に示すように、時刻Ｔ＝０において同図（Ａ１）に示す位置を走行中の車両が時刻Ｔ＝１において同図（Ａ２）に示す位置へ移動した場合、上記図５の場合とは異なり、時刻Ｔ＝１の入力フレーム中に、時刻Ｔ＝０の入力フレーム（Ｂ０）のセマセグ結果（Ｂ１）が射影できない未観測領域Ｒが生じている。

このように、カメラの構図によって、次のフレームへセマセグ結果が全て射影できる場合と部分的に射影できない未観測領域が生じる場合とがある。

ここで、上記射影マップ生成処理及び未観測領域設定処理の詳細について説明する。

図７は射影マップ生成処理の詳細を示した図であり、図８は射影マップ生成処理の流れを示したフローチャートである。

図７に示すように、射影マップ生成部１２は、機能ブロックとして、点群変換部１２１、座標変換部１２２、平面射影部１２３、及びマップ生成部１２４を有する。

まず、点群変換部１２１は、車外情報検出ユニット７４００からデプス画像データＤ（画素ごとに距離情報を有する撮像画像）を取得する。当該デプス画像データは、画像座標（ｕ，ｖ）ごとに距離データ（ｚ）を格納している。

続いて点群変換部１２１は、当該デプス画像Ｄの全ての画素について、当該画素を当該画素の座標ごとの距離情報に基づく３次元の点群データＰに変換する（図７（Ａ）、図８のステップ２０１）。当該点群データＰは、点群座標（ｘ，ｙ，ｚ）ごとに変換元の画像座標（ｕ，ｖ）を格納している。

続いて、座標変換部１２２が、上記点群データＰに含まれる全ての点群について、各点群データＰを、上記相対移動推定部１１から取得したカメラの相対移動量データ（Ｒｔ）に基づいて座標変換する（図７（Ｂ）、図８のステップ２０２）。当該座標変換後の点群データＰ´は、座標変換後の点群座標（ｘ，ｙ，ｚ）ごとに変換元のデプス画像の画像座標（ｕ，ｖ）を格納している。

続いて、平面射影部１２３が、上記座標変換後の点群データＰ´に含まれる全ての点群について、当該点群データＰ´を画像平面に射影する（図７（Ｃ）、図８のステップ２０３）。このステップ２０２及びステップ２０３の繰り返し処理により、座標変換後のデプス画像データＤ´が生成される。当該座標変換後のデプス画像データＤ´は、画像座標（ｕ，ｖ）ごとに、座標変換後の距離データ（ｚ）と変換元の画像座標（ｕ，ｖ）を格納している。

そしてマップ生成部１２４が、座標変換後のデプス画像Ｄ´の全ての画素に対して、変換元のフレームの次（移動後）のフレームの画素ごとの座標と、変換元（移動前）のフレームの画素ごとの座標とを対応付けることで、射影マップデータＭを生成する（図７（Ｄ）、図８のステップ２０４）。

当該射影マップデータＭは、移動後のフレームの画像座標（ｕ，ｖ）ごとに、変換元のフレームの画像座標（ｕ，ｖ）を格納している。この射影マップデータＭによって、移動後のフレームの各座標に対して、移動前のフレームのどの座標のセマセグ結果を射影すればよいかという対応関係が示されることになる。

図９は未観測領域設定処理の詳細を示した図であり、図１０は未観測領域設定処理の流れを示したフローチャートである。

図９に示すように、未観測領域設定部１４は、機能ブロックとして対応なし画素抽出部１４１を有する。

対応なし画素抽出部１４１は、上記射影マップデータＭの全ての画素ごとの座標について、次のフレーム（Ｔ）の画素ごとの座標への対応付け処理を行うことで、対応付けがされなかった画素（または当該画素によって構成される領域）を、未観測領域Ｒとして抽出する（ステップ３０１）。

これにより、次フレーム（Ｔ－１）のうち、上記対応付け処理によって対応付けがされた画素（または当該画素によって構成される領域）については、セマセグ射影部１３によって、元のフレーム（Ｔ－１）についてのセマセグ結果が射影される。

一方、次フレーム（Ｔ－１）のうち、上記対応付け処理によって対応付けがされなかった未観測領域Ｒについては、上記更新優先度マップ生成処理を経て、領域セマセグ部１７によって新たにセマセグ処理が実行され当該未観測領域Ｒの各画素の属性が認識される。

図４に戻り、領域属性関係判定部１５は、射影マップデータに基づく射影セマセグデータを基に、撮像画像中の複数の領域の属性の関係を判定する（ステップ１０８）。

続いて更新優先度マップ生成部１６は、当該判定された領域の属性の関係を基に、更新優先度マップを生成する（ステップ１０９）。

図１１は、領域属性関係判定処理及び更新優先度マップ生成処理を説明するための図である。

同図（Ａ）に示す時刻（Ｔ－１）のセマセグ結果が、同図（Ｂ）に示す時刻（Ｔ）のセマセグ結果として射影された場合、領域属性関係判定部１５は、撮像画像左側において歩行者領域と歩道領域とが重なっていることを判定し、また撮像画像右側において歩行者領域と路面とが重なっていることを判定する。

この場合、更新優先度マップ生成部１６は、同図（Ｃ）に示すように、歩道上の歩行者／自転車は、それほど危険な状況は想定されないことから、その領域については更新優先度を低く設定する。

一方、更新優先度マップ生成部１６は、路面上の歩行者／自転車は危険な状況が想定されるため、その領域については更新優先度を高く設定する。なお、同図（Ｃ）及びこれ以降に図示される更新優先度マップにおいては、グレーの濃度が高い程、更新優先度が高いことを示している。

その他、更新優先度マップ生成部１６は、歩道／路面と他の領域との境界領域は、物陰になり他の物体が急に飛び出してくる危険性があるため更新優先度を高く設定してもよい。

また更新優先度マップ生成部１６は、２つの領域の属性の関係に限らず、３つ以上の領域の属性の関係を基に更新優先度マップを生成してもよい。

例えば、更新優先度マップ生成部１６は、路面上の自動車領域の周辺の歩行者／自転車の領域は、自動車が歩行者／自転車を回避するために動きを変化させる可能性があるため、その領域について更新優先度を高く設定してもよい。

また更新優先度マップ生成部１６は、路面上の複数の歩行者／自転車が近接している領域は、それら複数の歩行者／自転車がお互いの回避のために動きを変化させる可能性があるため、その領域について更新優先度を高く設定してもよい。

図４に戻り、更新優先度マップ生成部１６は、上記ステップ１０６において生成された未観測領域に基づく更新優先度マップと、上記ステップ１０９において生成された領域の属性の関係に基づく更新優先度マップを統合する（ステップ１１０）。

図１２は、当該更新優先度マップの統合の様子を示した図である。同図（Ａ）に示すセマセグ結果から、未観測領域に基づいて同図（Ｂ）に示す更新優先度マップが得られ、領域の属性の関係に基づいて同図（Ｃ）に示す更新優先度マップが得られたとする。

更新優先度マップ生成部１６は、この両更新優先度マップを統合して、同図（Ｄ）に示すような統合更新優先度マップを生成する。当該統合の結果、両更新優先度マップにおいて設定された領域同士が重なる領域については、各更新優先度マップにおける優先度が加算されることで、優先度が高く設定される。

ここで更新優先度マップ生成部１６は、未観測領域に基づく更新優先度マップにおいて、検出精度を上げるため、統合に先立ち、検出された未観測領域をやや広げた領域を設定しておいてもよい。

また更新優先度マップ生成部１６は、領域の属性の関係に基づく更新優先度マップにおいて、歩行者等の動きに対応するため、統合に先立ち、歩行者が検出された領域よりも広い領域を設定しておいてもよい。

図４に戻り、続いて領域セマセグ部１７は、上記統合された更新優先度マップを基に、更新優先度（更新頻度）に応じて各領域のセマセグ処理を実行する（ステップ１１１）。

図１３は、当該更新優先度マップに基づくセマセグ処理の例を示した図である。

例えば同図（Ａ）に示すような更新優先度マップが得られた場合、領域セマセグ部１７は、同図（Ｂ）に示すように、優先度の高い領域の外接矩形を設定し、当該外接矩形の領域についてセマセグを実行する。

同図（Ｃ）に示すように、領域セマセグ部１７は、計算リソースを考慮して、全ての外接矩形を処理しても遅延が発生しないと判断した場合には、設定した全ての外接矩形領域についてセマセグを実行する。

一方、同図（Ｄ）及び同図（Ｅ）に示すように、計算リソースを考慮すると全ての外接矩形を処理すると遅延が発生すると判断した場合には、更新優先度の低い領域についてはセマセグ実行対象から除外してもよい。

図４に戻り、最後に、セマセグ統合部１８が、時刻Ｔにおける射影後のセマセグ結果（ステップ１０７）と領域セマセグ結果（ステップ１１１）とを統合して、統合セマセグデータを出力して一連のセマセグ処理が完了する（ステップ１１２）。

以上説明したように、本実施形態によれば、車両制御システム７０００の統合制御ユニット７６００は、取得される撮像画像（フレーム）毎に一律に認識処理を実行するのではなく、画像中の領域の属性に基づいてセマセグ処理の実行頻度を設定することで、冗長処理をなくして、計算量を削減することができる。

［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。

上述の実施形態では、領域属性関係判定部１５及び更新優先度マップ生成部１６は、領域の属性の関係に基づいて更新優先度を設定したが、各領域の属性そのものに基づいて更新優先度を設定してもよい。例えば、信号や標識の領域については更新優先度が低く設定されてもよいし、移動速度を考慮して、歩行者よりも自転車の領域、自転車よりも自動車の領域について更新優先度が高く設定されてもよい。

また、更新優先度マップ生成部１６は、未観測領域に基づく更新優先度マップと、領域の属性の関係に基づく更新優先度マップを統合することで、セマセグに用いる更新優先度マップを生成していた。更新優先度マップ生成部１６は、この２つの更新優先度マップに加えて、またこの２つの更新優先度マップのいずれか一方に代えて、他のパラメータを用いて生成した更新優先度マップが統合されてもよい。図１４乃至図１６はそれらの更新優先度マップについて説明した図である。

更新優先度マップ生成部１６は、撮像画像内の領域の位置に応じて更新優先度を設定してもよい。

例えば図１４に示すように、更新優先度マップ生成部１６は、同図（Ａ）に示すような入力フレームのうち、同図（Ｂ）に示すように、車両の進行方向に近い画像の中央部の領域ほど、更新優先度を高く設定し、車両の進行方向ではない画像の端部の領域ほど、更新優先度を低く設定して更新優先度マップを生成してもよい。

これ以外にも、更新優先度マップ生成部１６は、例えば画像の上部の更新優先度を画像の下部の更新優先度よりも高く設定してもよい。

また更新優先度マップ生成部１６は、車両の移動（走行）速度と、撮像画像内の領域の位置に応じて更新優先度を設定してもよい。

例えば図１５に示すように、更新優先度マップ生成部１６は、同図（Ａ）に示すような入力フレームが取得されたときに、車両が高速移動中（例えば時速８０ｋｍ等の閾値以上で走行）の場合には、一般にドライバーが周囲よりも前方を見る重要性が高いため、同図（Ｂ）に示すように、画像中央の領域の更新優先度を高く設定し、画像端部の更新優先度を低く設定する。

一方、車両が低速移動中（例えば時速３０ｋｍ等の閾値以下で走行）の場合には、更新優先度マップ生成部１６は、一般にドライバーが前方よりも周囲を見る重要性が高いため、同図（Ｃ）に示すように、画像中央の領域の更新優先度を低く設定し、画像端部の領域の更新優先度を低く設定する。

また更新優先度マップ生成部１６は、撮像画像中の被写体と車両との間の距離（ｚ）に応じて更新優先度を設定してもよい。

例えば図１６に示すように、更新優先度マップ生成部１６は、同図（Ａ）に示すような入力フレームについて、同図（Ｂ）に示すようなデプス画像データが得られた場合、同図（Ｃ）に示すように、小さい距離情報を有する画素の領域（車両からの距離が近い被写体の領域）ほど、更新優先度を高く設定し、車両からの距離が遠い被写体ほど、更新優先度を低く設定してもよい。

以上の図１４乃至図１６のうち少なくとも１つの更新優先度マップが、上記未観測領域に基づく更新優先度マップまたは領域の属性の関係に基づく更新優先度マップと統合されることにより、それらの更新優先度マップにおいて重複する領域（例えば、未観測領域と画像中央領域との重複領域、未観測領域と小さい距離情報を有する領域との重複領域等）に対して更新優先度が高く設定されることになる。

上述の実施形態においては、領域セマセグ部１７は、撮像画像の全体ではなく、更新優先度マップ生成部１６によって設定された領域についてのみセマセグを実行していた。しかし、領域セマセグ部１７は、定期的に撮像画像の全領域についてセマセグを実行してもよい。これにより、領域毎の部分的な認識処理によるエラーが定期的に補完される。

図１７は、この場合の全領域についてのセマセグ（以下、全領域処理）の実行例を示した図である。同図（Ａ）は、上述の実施形態のように定期的な全領域処理を実行しない場合の時系列の処理例を示している。一方、同図（Ｂ）に示すように、定期的に全領域処理を実行する場合、遅延は大きくなるが、全領域処理後の認識結果は高精度となる。

また同図（Ｃ）に示すように、領域セマセグ部１７は、定期的に全領域処理を実行しつつ、更新優先度により領域を限定したセマセグを実行する際に、遅延を許容してもよい。これにより遅延は発生するものの、領域限定時のセマセグにおいて、計算リソースの関係で処理を省略することなく、認識に必要な領域を全て処理することができる。

ここで、全領域処理を実行するトリガについては様々なものが想定される。

領域セマセグ部１７は、未観測領域（射影マップによって射影できなかった領域）の面積が所定の割合以上発生した場合に、全領域処理を実行してもよい。未観測領域が多く発生する場合には、領域を限定したセマセグとの計算量の差も少ないことから、領域セマセグ部１７は、全領域処理を実行することで、計算量の増加を抑えながらも認識精度を高めることができる。

領域セマセグ部１７は、車両状態検出部７１１０によって検出された車両の操舵角が所定の角度以上となった場合に、全領域処理を実行してもよい。大きな操舵角が検出された場合には撮像対象の景色も大きく変化し、未観測領域も大きくなると考えられることから、領域セマセグ部１７は、そのような場合に全領域処理を実行することで、未観測領域をわざわざ検出するための計算量を省いて、認識精度を高めることができる。

領域セマセグ部１７は、車両が所定の位置を移動している場合に、全領域処理を実行してもよい。位置情報としては、測位部７６４０が取得したＧＰＳ情報や地図情報が用いられる。

例えば領域セマセグ部１７は、車両が所定値以上の勾配の上り坂または下り坂を走行中であることを検出した場合に全領域処理を実行してもよい。急勾配の上り坂や下り坂では、起伏の影響から、撮像対象の景色も大きく変化し、未観測領域も大きくなると考えられることから、領域セマセグ部１７は、そのような場合に全領域処理を実行することで、未観測領域をわざわざ検出するための計算量を省いて、認識精度を高めることができる。

また領域セマセグ部１７は、車両がトンネルに入った場合及びトンネルから出た場合にも同様に、撮像対象の景色が大きく変化することから、全領域処理を実行してもよい。

また領域セマセグ部１７は、撮像画像のうち、セマセグによる属性の認識結果の信頼度が低い領域またはセマセグによって属性を認識できなかった領域の面積が所定の割合（例えば５０％等）以上発生した場合に、全領域処理を実行してもよい。

上述の実施形態において、領域セマセグ部１７は、図１３に示したように、優先度の高い領域の外接矩形を設定し、当該外接矩形の領域についてセマセグを実行していた。しかし、セマセグの対象とする領域の設定手法はこれに限られない。例えば、領域セマセグ部１７は、上記外接矩形で切り抜いた領域に代えて、セマセグの計算に必要と推定される画素領域のみをセマセグ対象として設定してもよい。

すなわち、図１８（Ａ）に示すように、入力画像に対して複数回にわたって畳み込み演算を実行して最終セマセグ結果を得る場合（上部矢印の処理）、最終結果で必要な領域を計算するには、当該演算の逆をたどることで、必要な領域についてのみ演算すればよい（下部矢印の処理）。

そこで領域セマセグ部１７は、同図（Ｂ）に示す更新優先度マップが得られた場合、同図（Ｃ）に示すように、当該更新優先度マップで示された優先度の高い領域を最終結果として得るために必要な領域を逆算してセマセグ対象領域を設定し、当該領域についてセマセグを実行してもよい。

領域セマセグ部１７はこの場合においても、計算リソースを考慮して遅延が生じる場合には、優先度の低い領域についてはセマセグ対象から除外してもよい。

上述の実施形態においては、情報処理装置としての統合制御ユニット７６００が搭載される移動体として車両（自動車）が示されたが、当該統合制御ユニット７６００と同様の情報処理が可能な情報処理装置が搭載される移動体は車両に限定されない。当該情報処理装置は、例えば、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。この場合、上述した属性の関係（歩行者、車両、路面、歩道等）も移動体に応じて異なって認識される。

また上記情報処理装置が搭載される対象は移動体に限定されない。例えば、監視カメラの撮像画像についても本技術は適用可能である。この場合、上述の実施形態において説明した車両の移動に伴う処理は実行されないが、監視カメラのパン・チルト・ズームに伴って撮像対象が変化し得ることから、上記領域の属性に加えて、未観測領域に基づく更新優先度マップの生成についても同様に適用可能である。

［その他］
本技術は以下のような構成もとることができる。
（１）
カメラによって撮像された画素ごとに距離情報を有する撮像画像が入力される入力部と、
前記カメラまたは当該カメラを搭載した移動体の移動量に基づいて、前記撮像画像の画素ごとの座標を変換した変換撮像画像を生成し、
前記変換撮像画像の画素ごとの座標を、前記カメラの移動後の位置で撮像された移動後撮像画像の画素ごとの座標と対応付け、当該対応付けがされなかった画素を特定する
制御部と
を具備する情報処理装置。
（２）
上記（１）に記載の情報処理装置であって、
前記制御部は、前記移動後撮像画像のうち、前記対応付けがされなかった画素の属性を認識する認識処理を実行し、前記対応付けがされた画素または当該画素によって構成される領域に、当該画素または領域に対応する前記撮像画像の画素について実行された前記認識処理の結果を射影する
情報処理装置。
（３）
上記（２）に記載の情報処理装置であって、
前記制御部は、前記移動後撮像画像の画素ごとの座標と前記撮像画像の画素ごとの座標とを前記射影用に対応付けたマップを生成する
情報処理装置。
（４）
上記（１）～（３）のいずれかに記載の情報処理装置であって、
前記制御部は、前記撮像画像を前記画素ごとの距離情報に基づく３次元の点群データに変換し、前記移動量に基づいて当該点群データを変換した移動点群データを生成し、当該移動点群データを画像平面に射影することで前記変換撮像画像を生成する
情報処理装置。
（５）
上記（２）～（４）のいずれかに記載の情報処理装置であって、
前記制御部は、前記対応付けがされなかった画素の、前記移動後撮像画像における位置に応じて前記認識処理の実行頻度を設定する
情報処理装置。
（６）
上記（５）に記載の情報処理装置であって、
前記制御部は、前記対応付けがされなかった画素の、前記移動後撮像画像における位置と、前記移動体の移動速度とに応じて当該画素ごとに前記認識処理の実行頻度を設定する
情報処理装置。
（７）
上記（２）～（６）のいずれかに記載の情報処理装置であって、
前記制御部は、前記対応付けがされなかった画素が有する距離情報に応じて当該画素ごとに前記認識処理の実行頻度を設定する
情報処理装置。
（８）
カメラによって撮像された画素ごとに距離情報を有する撮像画像を取得し、
前記カメラまたは当該カメラを搭載した移動体の移動量に基づいて、前記撮像画像の画素ごとの座標を変換した変換撮像画像を生成し、
前記変換撮像画像の画素ごとの座標を、前記カメラの移動後の位置で撮像された移動後撮像画像の画素ごとの座標と対応付け、当該対応付けがされなかった画素を特定する
情報処理方法。
（９）
情報処理装置に、
カメラによって撮像された画素ごとに距離情報を有する撮像画像を取得するステップと、
前記カメラまたは当該カメラを搭載した移動体の移動量に基づいて、前記撮像画像の画素ごとの座標を変換した変換撮像画像を生成するステップと、
前記変換撮像画像の画素ごとの座標を、前記カメラの移動後の位置で撮像された移動後撮像画像の画素ごとの座標と対応付け、当該対応付けがされなかった画素を特定するステップと
を実行させるプログラム。

１１…相対移動推定部
１２…射影マップ生成部
１３…セマセグ射影部
１４…未観測領域設定部
１５…領域属性関係判定部
１６…更新優先度マップ生成部
１７…領域セマセグ部
１８…セマセグ統合部
１２１…点群変換部
１２２…座標変換部
１２３…平面射影部
１２４…マップ生成部
１４１…対応なし画素抽出部
７０００…車両制御システム
７４００…車外情報検出ユニット
７６００…統合制御ユニット
７６１０…マイクロコンピュータ
７６８０…車載ネットワークインタフェース
７６９０…記憶部
Ｒ…未観測領域

Claims (9)

1. カメラによって撮像された画素ごとに距離情報を有する撮像画像が入力される入力部と、
   前記カメラまたは当該カメラを搭載した移動体の移動量に基づいて、前記撮像画像の画素ごとの座標を変換した変換撮像画像を生成し、
   前記変換撮像画像の画素ごとの座標を、前記カメラの移動後の位置で撮像された移動後撮像画像の画素ごとの座標と対応付け、当該対応付けがされなかった画素を特定する
   制御部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記移動後撮像画像のうち、前記対応付けがされなかった画素の属性を認識する認識処理を実行し、前記対応付けがされた画素または当該画素によって構成される領域に、当該画素または領域に対応する前記撮像画像の画素について実行された前記認識処理の結果を射影する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記制御部は、前記移動後撮像画像の画素ごとの座標と前記撮像画像の画素ごとの座標とを前記射影用に対応付けたマップを生成する
   情報処理装置。
4. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記撮像画像を前記画素ごとの距離情報に基づく３次元の点群データに変換し、前記移動量に基づいて当該点群データを変換した移動点群データを生成し、当該移動点群データを画像平面に射影することで前記変換撮像画像を生成する
   情報処理装置。
5. 請求項２に記載の情報処理装置であって、
   前記制御部は、前記対応付けがされなかった画素の、前記移動後撮像画像における位置に応じて前記認識処理の実行頻度を設定する
   情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   前記制御部は、前記対応付けがされなかった画素の、前記移動後撮像画像における位置と、前記移動体の移動速度とに応じて当該画素ごとに前記認識処理の実行頻度を設定する
   情報処理装置。
7. 請求項２に記載の情報処理装置であって、
   前記制御部は、前記対応付けがされなかった画素が有する距離情報に応じて当該画素ごとに前記認識処理の実行頻度を設定する
   情報処理装置。
8. カメラによって撮像された画素ごとに距離情報を有する撮像画像を取得し、
   前記カメラまたは当該カメラを搭載した移動体の移動量に基づいて、前記撮像画像の画素ごとの座標を変換した変換撮像画像を生成し、
   前記変換撮像画像の画素ごとの座標を、前記カメラの移動後の位置で撮像された移動後撮像画像の画素ごとの座標と対応付け、当該対応付けがされなかった画素を特定する
   情報処理方法。
9. 情報処理装置に、
   カメラによって撮像された画素ごとに距離情報を有する撮像画像を取得するステップと、
   前記カメラまたは当該カメラを搭載した移動体の移動量に基づいて、前記撮像画像の画素ごとの座標を変換した変換撮像画像を生成するステップと、
   前記変換撮像画像の画素ごとの座標を、前記カメラの移動後の位置で撮像された移動後撮像画像の画素ごとの座標と対応付け、当該対応付けがされなかった画素を特定するステップと
   を実行させるプログラム。

Images