JP7380904B2 - 情報処理装置、情報処理方法、および、プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、および、プログラムに関する。

特許文献１には、見かけ上ある移動立体物と他の立体物が重なっている状況においても、移動立体物の早期検知を可能な周囲環境認識装置を提供することについて記載されている。周囲環境認識装置は、時系列的に複数の画像を撮影すると、自機からの距離を基に立体物を検知し、複数の画像で立体物を内包する所定の領域の内部の特徴点を追跡することで特徴点の動きベクトルを検知し、検知結果を基に領域の内部に存在する移動立体物を検知する。

特許文献２は、対象物の認識精度を向上させるようにする情報処理装置、情報処理方法、プログラム、移動体制御装置、および、移動体に関する。情報処理装置は、イメージセンサにより得られる撮影画像、および、イメージセンサとセンシング範囲の少なくとも一部が重なるセンサのセンシング結果を表すセンサ画像のうち少なくとも１つを変換し、撮影画像とセンサ画像の座標系を合わせ、座標系を合わせた撮影画像およびセンサ画像に基づいて、対象物の認識処理を行う。

国際公開第２０２０／１３８２８６号 国際公開第２０２０／１１６１９５号

遠方にある物体や、見通しが優れない状況では、物体の検出が困難になる傾向がある。他方、利用状況によっては、自装置から遠方の物体や見通しが優れない状況で物体を確実に検出することが期待されることがある。例えば、高速道路での走行時、濃霧、降雨などの悪天候下などでは、車両の走行方向に存在する物体をより早期に検出することが走行中の安全を確保するうえで重要である。

本発明は、上記の課題を解決する情報処理方法、情報処理方法、および、プログラムを提供することを一つの目的とする。

本発明の第１の態様によれば、情報処理装置は、自装置の周囲の物体を検出する物体検出部と、前記物体の種類を判定する物体判定部と、を備え、前記物体検出部は、物体認識部と、領域認識部と、深度情報処理部と、を備え、前記物体認識部は、複数の画素それぞれの信号値を用いて画像を表す画像データから、前記画像において物体が表される領域である第１領域を検出し、前記第１領域に表される物体の種類である第１種類の信頼度である第１信頼度を定め、前記深度情報処理部は、前記画素に対応するサンプル点ごとに物体の深度を示す深度情報を取得し、前記領域認識部は、前記画像データから、前記画像を種類の異なる物体が表される領域である第２領域に分割し、第２領域ごとに当該第２領域に表される物体の種類である第２種類を定め、前記物体判定部は、前記第２領域に表される物体の深度が所定の範囲内に維持されるように当該第２領域を調整し、前記第２領域のうち、前記第１領域と重複しない非重複領域における物体の種類を第２種類として判定し、前記第２領域のうち、前記第１領域と重複する重複領域において前記第１信頼度が所定の信頼度の閾値未満である場合、当該重複領域における物体の種類を第２種類として判定し、前記重複領域において、前記第１信頼度が所定の信頼度の閾値以上である場合、当該重複領域における物体の種類を第１種類として判定する。

本発明の第２の態様によれば、情報処理方法は、情報処理装置が、複数の画素それぞれの信号値を用いて画像を表す画像データから、前記画像において物体が表される領域である第１領域を検出し、前記第１領域に表される物体の種類である第１種類の信頼度である第１信頼度を定める第１ステップと、前記画素に対応するサンプル点ごとに物体の深度を示す深度情報を取得する第２ステップと、前記画像データから、前記画像を種類の異なる物体が表される領域である第２領域に分割し、第２領域ごとに当該第２領域に表される物体の種類である第２種類を定める第３ステップと、前記第２領域に表される物体の深度が所定の範囲内に維持されるように当該第２領域を調整する第４ステップと、前記第２領域のうち、前記第１領域と重複しない非重複領域における物体の種類を第２種類として判定し、前記第２領域のうち、前記第１領域と重複する重複領域において前記第１信頼度が所定の信頼度の閾値未満である場合、当該重複領域における物体の種類を第２種類として判定し、前記重複領域において、前記第１信頼度が所定の信頼度の閾値以上である場合、当該重複領域における物体の種類を第１種類として判定する第５ステップと、を実行する。

本発明の第３の態様は、プログラムは、コンピュータに、自装置の周囲の物体を検出する物体検出部と、前記物体の種類を判定する物体判定部と、を備え、前記物体検出部は、物体認識部と、領域認識部と、深度情報処理部と、を備え、前記物体認識部は、複数の画素それぞれの信号値を用いて画像を表す画像データから、前記画像において物体が表される領域である第１領域を検出し、前記第１領域に表される物体の種類である第１種類の信頼度である第１信頼度を定め、前記深度情報処理部は、前記画素に対応するサンプル点ごとに物体の深度を示す深度情報を取得し、前記領域認識部は、前記画像データから、前記画像を種類の異なる物体が表される領域である第２領域に分割し、第２領域ごとに当該第２領域に表される物体の種類である第２種類を定め、前記物体判定部は、前記第２領域に表される物体の深度が所定の範囲内に維持されるように当該第２領域を調整し、前記第２領域のうち、前記第１領域と重複しない非重複領域における物体の種類を第２種類として判定し、前記第２領域のうち、前記第１領域と重複する重複領域において前記第１信頼度が所定の信頼度の閾値未満である場合、当該重複領域における物体の種類を第２種類として判定し、前記重複領域において、前記第１信頼度が所定の信頼度の閾値以上である場合、当該重複領域における物体の種類を第１種類として判定する情報処理装置として動作させる。

本発明によれば、自装置の周囲における物体をより確実に検出することができる。

本実施形態に係る情報処理装置の構成例を示す概略ブロック図である。 本実施形態に係る情報検出部の機能構成例を示す概略ブロック図である。 画像データの一例を示す図である。 本実施形態に係る物体認識部により検出された領域を示す図である。 本実施形態に係る領域認識部により分割された領域と、検出された領域を示す図である。 本実施形態に係る深度情報処理部により取得された深度を示す深度画像を示す図である。 本実施形態に係る物体検出処理の例を示すフローチャートである。 本実施形態に係る物体検出制御の例を示す状態遷移図である。 本実施形態の最小構成を例示する概略ブロック図である。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の実施形態に係る情報処理装置１０の構成例を示す概略ブロック図である。図１に示す例では、情報処理装置１０は、運転制御装置として構成され、車両制御システム１の一部をなす。車両制御システム１は、主に車両に搭載され、その車両の動作に用いられるが、その実施に際し、一部または全部は車両に搭載されないこともある。本願では、車両制御システム１、情報処理装置１０が搭載される車両を自車両、情報処理装置１０を自装置、説明対象もしくは処理対象の構成部を自部と呼ぶことがある。

本実施形態に係る情報処理装置１０は、複数の画素それぞれの信号値を用いて画像を表す画像データと、画素に対応するサンプル点ごとに物体の深度を示す深度情報を用いて、画像に表された物体を検出する。
情報処理装置１０は、画像から物体が表される領域を第１領域として検出し、第１領域に表される物体の種類を定め、定めた物体の種類の信頼度を第１信頼度として定める。他方、情報処理装置１０は、画像から種類の異なる物体が表される領域を第２領域として分割し、第２領域ごとに、その第２領域に表される物体の種類を定める。情報処理装置１０は、個々の画素に対応するサンプル点ごとに物体の深度を示す深度情報に基づいて、第２領域に表される物体の深度が所定の範囲内に維持されるように当該第２領域を調整してもよい。
情報処理装置１０は、定めた第２領域のうち、第１領域と重複しない非重複領域における物体の種類を第２種類と判定し、第１領域と重複する重複領域において第１信頼度が所定の信頼度の閾値未満である場合、物体の種類を第２種類として判定する。情報処理装置１０は、重複領域において、第１信頼度が所定の信頼度の閾値以上である場合、重複領域における物体の種類を第１種類として判定する。

判定される物体の領域は、その物体の位置と大きさを示す情報であり、判定される物体の種類は、自車両の周囲の状況に関する情報の一部を構成する。
車両制御システム１は、以下に説明するように、自車両の周囲の状況の他、自車両の状況を検出し、検出した情報を用いて自車両の動作を制御する。図１に示す例では、情報処理装置１０は、検出された自車両の状況とその周囲の状況に関する情報を用いて、自律走行または運転支援に係る処理を行う運転制御部として機能する。より具体的には、情報処理装置１０は、自車両の衝突回避、衝撃緩和、車間距離を維持した追従走行、車速維持走行、自車両の衝突警告、レーン逸脱警告などの機能を実現するための処理を実行する。また、情報処理装置１０は、運転者の操作に依拠せずに、自律的に走行するための処理を実行してもよい。

車両制御システム１は、操作部１０１、情報収集部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系１０８、車体系制御部１０９、車体系１１０、記憶部１１１、および、情報処理装置１０などの構成部を含んで構成される。各構成部は、ネットワークＮＷを用いて他の構成部と相互に各種のデータが伝送可能となるように無線または有線で接続される。ネットワークＮＷは、例えば、ＣＡＮ（Controller Area Network）、ＬＡＮ（Local Area Network）などの所定の規格に準拠した通信ネットワーク、データバスなどを含んで構成される。

操作部１０１は、車両への搭乗者などのユーザの操作を受け付け、受け付けた操作に応じた指示や、各種のデータを入力する。操作部１０１は、入力されたデータや指示等に基づいて入力信号を生成し、生成した入力信号を車両制御システム１の各構成部に供給する。操作部１０１は、例えば、ボタン、スイッチ、レバー、タッチパネルなどの、手動操作を受け付ける操作デバイスを備える。操作部１０１は、車内のマイクロホンから入力される音声信号から音声コマンドや、車内のカメラから入力される画像からジェスチャなど、手動操作以外の手段で操作を検出する操作デバイスを備えてもよい。また、操作部１０１は、必ずしも操作デバイスを備えることを要しない。操作部１０１は、操作デバイスから入力信号を無線または有線で受信する入力インタフェースを備えてもよい。

情報収集部１０２は、車両制御システム１による各種の処理に用いられる各種の情報を収集する。情報収集部１０２は、それらの情報を収集するための各種のセンサを備える。情報収集部１０２は、収集した情報を車両制御システム１の各構成部に供給する。情報収集部１０２は、自車両の周囲の環境情報を検出するための各種のセンサを備える。より具体的には、情報収集部１０２は、周囲の物体を検出するためのセンサの例として、カメラ、測距センサ、などいずれか、またはその組を備える。情報収集部１０２は、周囲の天候を検出するためのセンサの例として、雨滴センサ、霧センサ、日照センサ、雪センサ、などのいずれか、またはその組を備える。情報収集部１０２は、自車両のその時点の位置を検出するためのセンサの例として、ＧＮＳＳ（Global Navigation Satellite System）受信器を備える。ＧＮＳＳ受信器は、地球の周囲を周回する４個以上の衛星のそれぞれからＧＮＳＳ信号を受信し、受信したＧＮＳＳ信号間の時間差に基づいて自器の位置を推定する。情報収集部１０２は、自車両の運転状態を検出するためのセンサを備える。より具体的には、情報収集部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）、アクセルペタルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、車輪の回転速度などを検出するためのセンサの組み合わせを備える。また、情報収集部１０２は、自車両内の情報を検出するための各種のセンサを備える。より具体的には、情報収集部１０２は、運転者を含む搭乗者を撮影するカメラ、車室内の音声を収音するマイクロホンなどを備える。

通信部１０３は、車内機器１０４、および、車両制御システム１以外の機器である外部機器と通信を行い、車両制御システム１の他の各部との間で各種のデータを無線または有線で送受信する。通信部１０３は、外部ネットワークを構成する基地局またはアクセスポイントを経由して、インターネット、公衆ネットワークまたはプライベートネットワークに接続された機器との間で通信可能としてもよい。これにより、車車間（Vehicle to Vehicle）通信、路車間(Vehicle to Infrastructure)通信、歩車間(Vehicle to Pedestrian)通信、車宅間（Vehicle to Home）通信、などのＶ２Ｘ通信を実現することができる。また、通信部１０３は、ビーコン通信部を備えてもよい、ビーコン通信部は、路上に設置された無線局から発信される電波または電磁波を受信し、その位置、渋滞、通行規制、所要時間などの情報を受信してもよい。

車内機器１０４は、車両内に設置または携帯される各種の情報機器である。車内機器１０４は、出発地もしくは現在位置から目的地点までの経路を探索ならびに案内するナビゲーション装置、搭乗者が有する携帯電話機などが該当する。

出力制御部１０５は、自車両の搭乗者または自車両の外部に対する各種の情報の出力を制御する。出力制御部１０５は、例えば、画像データなどの視覚情報、音声データなどの聴覚情報、などの少なくともいずれかの生成や、生成した情報の出力部１０６への供給を制御する。より具体的には、出力制御部１０５は、例えば、接触、衝突、危険が予想される領域への進入などの事象が生じる可能性が生じるとき、それらの事象に対する警告音または警告メッセージの案内音声を示す音声データを生成し、生成した音声データを出力信号として出力部１０６に供給する。

出力部１０６は、自車両の搭乗者または自車両の外部に対する各種の情報を出力する。出力部１０６は、例えば、液晶ディスプレイ、インストルメントパネル、オーディオスピーカ、プロジェクタ、ランプなどを備える。

駆動系制御部１０７は、自車両の駆動系１０８の制御を行う。駆動系制御部１０７は、各種の制御信号を生成し、生成した制御信号を駆動系１０８に供給する。駆動系制御部１０７は、駆動系１０８以外の構成部に制御信号を出力してもよい。これにより、出力先の構成部には、駆動系１０８の制御状態が通知される。

駆動系１０８は、自車両の駆動に係る各種の機器を含んで構成される。駆動系１０８は、例えば、内燃機関、駆動用モータなど駆動力を発生させるための駆動力発生装置、発生した駆動力を車輪に伝達するための駆動力伝達機構、操舵角を調整するためのステアリング機構、制動力を発生するための制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electric Stability Control）、パワーステアリング装置などを備える。

車体系制御部１０９は、自車両の車体系１１０の制御を行う。車体系制御部１０９は、各種の制御信号を生成し、生成した制御信号を車体系１１０に供給する。車体系制御部１０９は、車体系１１０以外の構成部に制御信号を出力してもよい。これにより、出力先の構成部には、車体系１１０の制御状態が通知される。

車体系１１０は、自車両の車体系をなす各種の機器を含んで構成される。車体系１１０は、例えば、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ、パワーシート、ステアリングホイール、空調装置、および各種のランプを備える。各種のランプには、例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ、などが該当する。

記憶部１１１は、車両制御システム１の各構成部が用いる各種のプログラム、各種のデータ、または取得された各種のデータを記憶する。記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）などの各種の記憶デバイスを備える。

情報処理装置１０は、情報検出部１１、位置推定部１２、状況解析部１３、動作計画部１４、および、動作制御部１５を含んで構成される。情報処理装置１０は、例えば、ＥＣＵ（Electric Control Unit、電子制御装置）などの制御装置を含んで構成されてもよい。情報処理装置１０は、ＣＰＵ（Central Processing Unit）などのプロセッサを備え、プロセッサは所定のプログラムを用いた処理として、そのプログラムに記述される各種の指令で指示される処理を実行して、情報検出部１１、位置推定部１２、状況解析部１３、動作計画部１４、および動作制御部１５の機能を実現してもよい。以下の説明では、プログラムに記述される各種の指令で指示される処理を実行することを、「プログラムの実行」、「プログラムを実行する」などと呼ぶことがある。

情報検出部１１は、車両の運転制御に要する各種の情報を検出する。情報検出部１１は、車両制御システム１の各部からのデータに基づいて、例えば、自車両の外部の情報を検出する。情報検出部１１は、例えば、自車両の周囲の物体の検出処理、認識処理、ならびに、追跡処理、および、物体までの距離の検出処理を行う。検出対象とする物体には、例えば、他の車両、人物、障害物、構造物、道路、信号機、交通標識、道路標示などがある。情報検出部１１は、自車両の周囲の環境を検出してもよい。情報検出部１１は、例えば、自車両の周囲の環境を検出する。検出対象とする周囲の環境は、例えば、天候、気温、湿度、明るさ、および、路面の状態等が含まれる。

情報検出部１１は、車両制御システム１の各部からのデータに基づいて、自車両の外部の情報を検出してもよい。情報検出部１１は、運転者の認証処理ならびに認識処理、運転者の状態の検出、搭乗者の検出、および、車内の環境の検出などを行う。検出対象となる運転者の状態には、例えば、集中度、疲労度、視線方向などが含まれうる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、などが含まれうる。

情報検出部１１は、車両制御システム１の各部からのデータに基づいて、自車両の状態を検出してもよい。検出対象となる自車両の状態には、例えば、速度、加速度、舵角、異常の有無、異常が検出される場合には、その内容、運転操作の状態、パワーシートの位置ならびに傾き、ドアロックの状態、および、その他の車載機器の状態、などが含まれうる。
情報検出部１１は、検出結果を示す検出データを位置推定部１２、状況解析部１３、および、動作制御部１５に出力する。情報検出部１１の構成例については後述する。

位置推定部１２は、情報収集部１０２をはじめ、情報検出部１１、状況解析部１３、等の車両制御システム１の各部からのデータに基づいて、自車両の位置や姿勢などを推定する。また位置推定部１２は、自己位置の推定に用いる地図情報（以下、自己位置推定地図と呼ぶ）を生成する。位置推定部１２は、自己位置推定地図を生成する際、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）を適用する。位置推定部１２は、推定結果である自車両の位置や姿勢を示す位置データを状況解析部１３に出力する。位置推定部１２は、生成した自己位置推定地図を記憶部１１１に記憶する。
なお、位置推定部１２は、認識結果を示すデータを情報検出部１１に出力してもよい。情報検出部１１は、自車両の外部の情報を検出するために、位置推定部１２から入力されるデータを用いることがある。

状況解析部１３は、自車両および自車両の周囲の状況を解析する。
状況解析部１３は、位置推定部１２、情報検出部１１などの車両制御システム１の各構成部からのデータに基づいて、記憶部１１１に記憶されている各種の地図情報を解析し、運転制御に用いる情報を含んだ地図情報を生成する。状況解析部１３は、生成した地図情報を動作計画部１４などに出力する。
状況解析部１３は、生成した地図情報や、位置推定部１２、情報検出部１１などの車両制御システム１の各構成部からのデータに基づいて、自車両の周囲の交通ルールの認識処理、自車両に関する状況の認識処理などを行う。交通ルールの認識処理により、例えば、自車両の周囲における交通信号の位置、状態、自車両の周囲における交通規制の内容、走行可能な車線などの情報が認識される。

状況解析部１３は、例えば、自車両の周囲の状況の認識に用いるためのローカルマップを状況認識用地図情報として生成してもよい。認識対象となる自車両の状況には、例えば、自車両の位置、姿勢、動作（即ち、速度、加速度、移動方向など）、異常の有無、異常が生ずる場合にはその内容などが含まれうる。認識対象となる自車両の周囲の状況には、例えば、周囲の静止物体の種類ならびに位置、周囲の動物体の種類、位置および動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成ならびに路面の状態、および周囲の天候、気温、湿度、ならびに明るさ、などが含まれうる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、および運転操作などが含まれうる。
状況解析部１３は、認識結果を示すデータを位置推定部１２に出力する。状況解析部１３は、生成した状況認識用地図情報を位置推定部１２に出力するデータに含めてもよい。状況解析部１３は、生成した状況認識用地図情報を記憶部１１１に記憶する。
なお、状況解析部１３は、認識結果を示すデータを情報検出部１１に出力してもよい。情報検出部１１は、例えば、自車両の外部の情報を検出するために、状況解析部１３から入力されるデータを用いることがある。
また、上記の地図情報、状況認識用地図情報、自己位置推定地図には、既知の道路、施設、地形などの位置や領域の情報が付加されていてもよい。

状況解析部１３は、生成した地図情報、認識された交通ルールの情報、自車両に関する状況を示す情報、その他、車両制御システム１の各構成部からのデータに基づいて、自車両に関する状況に対する予測処理を行ってもよい。例えば、状況解析部１３は、自車両の状況、自車両の周囲の状況、および運転者の状況などに対して予測処理を行う。予測対象となる自車両の状況には、例えば、自車両の挙動、異常の発生、および、走行可能距離などが含まれうる。予測対象となる自車両の周囲の状況には、例えば、自車両の周囲の動物体の挙動、信号の状態の変化、および、天候等の環境の変化などが含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動および体調、などが含まれうる。
状況解析部１３は、予測処理の処理結果を示すデータを、認識された交通ルールの情報と自車両に関する状況を示す情報を示すデータとともに、動作計画部１４に出力する。なお、状況解析部１３は、予測処理の処理結果を示すデータを情報検出部１１に出力してもよい。

動作計画部１４は、状況解析部１３など、車両制御システム１の各構成部からのデータに基づいて、目的地までの経路を計画する。動作計画部１４は、例えば、地図情報を用いて、現在位置から指定された目的地までの経路を定める。また、例えば、動作計画部１４は、渋滞、事故、通行規制、工事などの状況、および運転者の体調などを用いて、定めた経路を変更してもよい。
動作計画部１４は、状況解析部１３など、車両制御システム１の各構成部からのデータに基づいて、定めたルートにおいて計画された時間内で安全に走行するための自車両の行動を計画する。動作計画部１４は、例えば、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換など）、走行車線、走行速度、および、追い越しなどの計画を行う。
動作計画部１４は、状況解析部１３など、車両制御システム１の各構成部からのデータに基づいて、定めた行動を実現するための自車両の動作を計画する。動作計画部１４は、例えば、加速、減速、および、走行軌道などの計画を行う。動作計画部１４は、計画した自車の動作を示すデータを、動作制御部１５に出力する。

動作制御部１５は、情報検出部１１から入力される検出結果を示すデータに基づいて、衝突、接触、危険領域への進入、運転者の異常、車両の異常などの緊急状態に対する検出処理を行う。動作制御部１５は、緊急状態を検出する場合、急停車や急旋回などの異常動作を回避するための自車両の動作である回避動作を計画する。
動作制御部１５は、動作計画部１４で計画された自車両の動作を実現するための加減速制御を行う。動作制御部１５は、例えば、計画された加速、減速を実現するための駆動力発生装置もしくは制動装置の制御目標値を算出し、算出した制御目標値を示す制御指令を駆動系制御部１０７に出力する。

動作制御部１５は、動作計画部１４で計画された自車両の動作を実現するための方向制御を行う。動作制御部１５は、例えば、計画された走行軌道を実現するためのステアリング機構の制御目標値を算出し、算出した制御目標値を示す制御指令を駆動系制御部１０７に出力する。
なお、自部で回避動作を計画した場合には、動作計画部１４で計画された自車両の動作よりも回避動作を実現するための方向制御として、例えば、急旋回を優先する。その場合には、動作計画部１４で計画された自車両の動作よりも回避動作を実現するための加減速制御として、例えば、急旋回を優先する。

次に、本実施形態に係る情報検出部１１の構成例について説明する。図２は、本実施形態に係る情報検出部１１の機能構成例を示す概略ブロック図である。
情報検出部１１は、物体検出部１１２と、物体判定部１１４と、物体検出制御部１１６と、を備える。物体検出部１１２は、物体認識部１１２ａと、領域認識部１１２ｂと、深度情報処理部１１２ｃと、を含んで構成される。情報収集部１０２は、カメラ１０２ａと測距センサ１０２ｂを備える。

物体認識部１１２ａには、カメラ１０２ａから画像データが入力される。カメラ１０２ａは、自車両において所定の方向（例えば、前方）に光軸を向けて設置される。カメラ１０２ａは、視野内に表れる画像を撮影し、撮影した画像を、撮像素子を用いて撮影し、撮像素子上に一定間隔で二次元配置された画素ごとの信号値を含む画像データを生成する。１フレームの画像に含まれる個々の画素の位置は、カメラ１０２ａの視野内の方向に対応する。カメラ１０２ａは、生成した画像データを情報収集部１０２に出力する。カメラ１０２ａは、例えば、一定時間（例えば、１／１５～１／６０秒）ごとに画像を撮影するディジタルビデオカメラである。

物体認識部１１２ａは、入力される画像データに対して画像認識処理を行い、その画像データにおいて物体が表される領域を第１領域として検出する（物体検出：detection）。物体認識部１１２ａは、第１領域に表される物体の種類を定め、定めた物体の種類の信頼度を第１信頼度として定める。物体認識部１１２ａは、例えば、所定の第１の機械学習モデル（物体認識モデル）を用い、画像データで示される画素ごとの信号値を入力値として入力し、出力値として画素ごとに推定される物体の種類ごとの信頼度を算出する。

第１の機械学習モデルのモデルパラメータは、物体の種類ごとに、その種類とその物体が表されている領域が既知の画像を表す画素ごとの信号値を入力値として示す画像データと、その物体が表されている領域内の画素ごとの出力値を１、それ以外の領域における画素ごとの出力値を０とする出力データの組を複数セット（典型的には、１０００～１００００以上）含んだ訓練データを用いてモデル学習（learning、訓練（training）とも呼ばれる）を行って予め取得しておく。モデル学習において、入力値に対して第１の機械学習モデルを用いて算出される画素ごとの演算値と出力値との差の大きさがゼロに近似するように、収束するまで逐次にモデルパラメータを更新する。更新前後のモデルパラメータの変化量、または更新前後の差の大きさの変化量が、所定の収束判定閾値未満となるとき、モデルパラメータが収束したと判定することができる。

差の大きさの指標値として、例えば、平均二乗誤差（ＳＳＤ：Sum of Squared Differences）、交差エントロピー誤差（cross entropy error）などの誤差関数が用いることができる。
よって、物体認識部１１２ａに画像データが入力されるとき、出力として物体が表れている領域と、その物体の種類が特定されることが期待される。算出される信頼度は、物体が表れる領域と種類が特定される確度を示す。

物体認識部１１２ａは、空間的に連続した領域であって、信頼度の画素間の平均値が所定の信頼度の検出閾値以上となり、物体の種類間で最大値をとる領域を第１領域として検出することができる。物体認識部１１２ａは、その信頼度の最大値を第１信頼度として定め、その最大値を与える物体の種類を第１種類として定める。物体認識部１１２ａは、第１信頼度、第１領域および第１種類の組を示す物体検出情報を物体判定部１１４に出力する。

領域認識部１１２ｂは、カメラ１０２ａから入力される画像データに対して領域分割処理を行い、それぞれ種類の異なる物体が表される領域に分割し、分割された領域ごとに、その領域に表される物体の種類を定める（領域分割：segmentation）。
領域認識部１１２ｂは、例えば、所定の第２の機械学習モデル（領域認識モデル）を用い、画像データで示される画素ごとの信号値を入力値として入力し、出力値として画素ごとに推定される物体の種類ごとの信頼度を算出し、最も高い信頼度を与える物体の種類を特定する。

第２の機械学習モデルのモデルパラメータは、複数の物体が表されている領域と個々の物体の種類が既知の画像を表す画素ごとの信号値を入力値として示す画像データと、個々の物体が表されている領域ごとに、その領域内の画素ごとに、その物体の種類に係る出力値を１、それ以外の物体の種類に係る出力値を０とする出力データの組を複数セット備える訓練データを用いてモデル学習を行って予め取得しておく。モデル学習において、入力値に対して第２の機械学習モデルを用いて算出される画素ごとの演算値と出力値との差の大きさが物体ごとにゼロに近似するように、収束するまで逐次にモデルパラメータを更新する。
よって、領域認識部１１２ｂに画像データが入力されるときに、出力としてその画像が個々の物体が表れている領域に分割され、個々の領域における物体の種類が特定されることが期待される。信頼度は、個々の領域に物体が表れ、その物体の種類が特定される確度を示す。なお、第２の機械学習モデルでは、物体の種類として、いずれの物体の種類が特定されないこと（不特定）が設定されてもよい。その場合には、領域認識部１１２ｂは、物体の種別を不特定とする領域を定めてもよい。

領域認識部１１２ｂは、例えば、空間的に連続した領域であって、信頼度の画素間の平均値が所定の信頼度の検出閾値以上となり、物体の種類間で最大値をとる領域を第２領域として検出することができる。領域認識部１１２ｂは、その信頼度の最大値を第２信頼度として定め、その最大値を与える物体の種類を第２種類として定める。領域認識部１１２ｂは、第２信頼度、第２領域および第２種類の組を示す領域認識情報を物体判定部１１４に出力する。領域認識部１１２ｂは、物体の種類および画素ごとの信頼度を示す情報を領域認識情報に含めて物体判定部１１４に出力してもよい。

深度情報処理部１１２ｃには、情報収集部１０２に含まれる測距センサ１０２ｂから測距データが入力される。測距センサ１０２ｂは、放射波を放射する放射部と、物体表面で反射した反射波を受信する受信部とを備える。測距センサ１０２ｂは、放射波と反射波との位相差と放射波の進行速度に基づいて反射波の到来方向に存在する物体までの距離を計測することができる。測距センサ１０２ｂが反射波を受信できる到来方向の範囲は、カメラ１０２ａの視野の一部または全部を含む。測距センサ１０２ｂは、例えば、ＬｉＤＡＲ（Light Detection Ranging）システム、レーダなどのいずれであってもよい。ＬｉＤＡＲは、放射波として収束性の高いレーザ光線を用いる。レーダは、放射波として可視光線や赤外線よりも波長が短い電磁波（例えば、ミリ波）を用いる。

深度情報処理部１１２ｃは、カメラ１０２ａにより取得される画像データに係る画素に対応する到来方向をサンプル点とし、サンプル点ごとに計測した距離に対して、カメラ１０２ａの光軸の方向に射影して得られる余弦成分を、その物体までの深度（depth）として算出する。深度情報処理部１１２ｃは、サンプル点ごとに算出した深度を示す深度情報を物体判定部１１４に出力する。

なお、深度情報処理部１１２ｃは、測距センサ１０２ｂから入力される測距データに対して領域分割処理を行い、それぞれ種類の異なる物体が表される領域に分割し、分割された領域ごとに、その領域の信頼度を定めてもよい。深度情報処理部１１２ｃは、深度に基づいて個々の物体が表れる領域を判定できれば、必ずしも物体の種類を判定しなくてもよい。
深度情報処理部１１２ｃは、例えば、所定の第３の機械学習モデル（領域認識モデル）を用い、画素に対応するサンプル点ごとの信号値を入力値として入力し、出力値として画素ごとに推定される物体の領域ごとの信頼度を算出してもよい。

第３の機械学習モデルのモデルパラメータは、複数の物体が表されている領域を表す画素ごとの信号値を入力値として示す画像データと、個々の物体が表されている領域内の画素ごとに、その領域に係る出力値を１、それ以外の領域に係る出力値を０とする出力データの組を複数セット備える訓練データを用いてモデル学習を行って予め取得しておく。モデル学習において、入力値に対して第３の機械学習モデルを用いて算出される画素ごとの演算値と出力値との差の大きさが領域ごとにゼロに近似するように、収束するまで逐次にモデルパラメータを更新する。

よって、深度情報処理部１１２ｃに画像データが入力されるときに、出力としてその画像が個々の物体が表れている領域に分割されることが期待される。信頼度は、個々の領域が特定される確度を示す。なお、第３の機械学習モデルでは、いずれの領域にも属さないこと（不特定）が設定されてもよい。その場合には、深度情報処理部１１２ｃは、不特定とする領域を定めてもよい。
深度情報処理部１１２ｃは、空間的に連続した領域であって、信頼度の画素間の平均値が所定の信頼度の検出閾値以上となり、個々に最大値をとる領域を個々に物体が表れる第３領域として検出することができる。領域認識部１１２ｂは、第３領域を示す情報を深度情報に付加して物体判定部１１４に出力してもよい。

なお、第１の機械学習モデル、第２の機械学習モデル、および第３の機械学習モデルとして、例えば、畳み込みニューラルネットワーク（convolutional neural networks）、回帰型ニューラルネットワーク（recurrent neural network）などのニューラルネットワーク、もしくは、決定木、サポートベクターマシンなどのニューラルネットワーク以外のモデルが適用可能である。物体検出部１１２は、第１の機械学習モデル、第２の機械学習モデル、および第３の機械学習モデルそれぞれのモデルパラメータを、訓練データを用いて学習を行って生成するためのモデル学習部を備えてもよい。

物体判定部１１４には、物体検出部１１２から物体認識情報、領域認識情報および深度情報が入力される。
物体判定部１１４は、物体認識情報で示される第１信頼度が所定の検出閾値未満となるとき、その第１信頼度と、その第１信頼度に対応する第１領域および第１種類を棄却し、所定の検出閾値以上となる第１信頼度と、その第１信頼度に対応する第１領域および第１種類を保存する。
物体判定部１１４は、領域認識情報で示される第２信頼度が所定の検出閾値未満となるとき、その第２信頼度と、その第２信頼度に対応する第２領域および第２種類を棄却し、所定の検出閾値以上となる第２信頼度と、その第２信頼度に対応する第２領域および第２種類を保存する。従って、処理対象となる画像にはいずれの物体も検出されない領域が生ずることや、いずれの物体も検出されないこともある。

物体判定部１１４は、領域認識情報で示される第２領域を、深度情報に基づいて、第２領域に表される物体の深度が所定の範囲内に維持されるように、第２領域を調整する。物体判定部１１４は、例えば、第２領域に含まれる画素ごとの深度の平均値を基準として、第２領域の調整後の深度の平均値が所定の範囲内となり、かつ、第２領域が最大化されるように第２領域の一部を拡張または縮小する。
深度情報に第３領域を示す情報が含まれている場合には、物体判定部１１４は、第２領域とその一部または全部が重複する第３領域を特定し、その第３領域内の画素ごとの深度の分布範囲内に、調整後の第２領域内の画素ごとの深度の分布範囲が収まり、かつ、第２領域が最大化、つまり、できるだけ大きくするように第２領域の一部を拡張または縮小する。

物体判定部１１４は、第２領域のうち、第１領域と重複しない非重複領域において、検出された物体の種類を第２種類として判定する。また、物体判定部１１４は、第１領域のうち、第２領域と重複しない非重複領域において、検出された物体の種類を第１種類として判定してもよい。
物体判定部１１４は、第１領域と第２領域と重複する重複領域において第１信頼度が所定の信頼度の閾値である判別閾値未満である場合、物体の種類を第２種類として判定する。物体判定部１１４は、重複領域において、第１信頼度が判別閾値以上である場合、重複領域における物体の種類を第１種類として判定する。判別閾値は、検出閾値と等しくてもよいし、検出閾値よりも高い値であってもよい。判別閾値として検出閾値よりも高い値を用いることで、領域認識による認識結果を重視することができる。
物体判定部１１４は、判定した物体の種類と、その画像内の領域を示す物体判定情報を位置推定部１２、状況解析部１３、および動作制御部１５に出力する。画像内の領域は、その物体が占有する位置、すなわち、その画素ごとの方向の範囲と、その画素ごとの深度の範囲で表される。

物体検出制御部１１６は、自車両および自車両の周囲の状況に基づいて、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させるか否かを判定する。物体検出制御部１１６には、状況解析部１３から入力される自車両および自車両の周囲の状況を示すデータが入力され、入力されるデータが判定に用いられる。入力されるデータには、情報収集部１０２をなす各種のセンサから入力されるデータの一部が含まれてもよい。自車両の周囲の状況を示すデータには、物体検出部１１２により検出された物体に関する情報、例えば、位置、速度などが含まれうる。

物体検出制御部１１６には、以下の動作条件の全部または一部を判定対象として予め設定しておき、判定対象となる動作条件のそれぞれを満たすか否かを判定する。以下の動作条件には、物体認識部１１２ａにより検出される物体または領域に関する条件も含まれる。いずれかの動作条件を満たすとき、物体検出制御部１１６は、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させると判定し、いずれの動作条件も満たさないとき、物体検出制御部１１６は、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させないと判定する。物体検出制御部１１６は、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させると判定するとき、領域認識部１１２ｂと深度情報処理部１１２ｃの動作を指示するための制御情報を物体検出部１１２に出力する。
物体検出制御部１１６は、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させないと判定するとき、領域認識部１１２ｂと深度情報処理部１１２ｃの動作停止を指示するための制御情報を物体検出部１１２に出力する。領域認識部１１２ｂと深度情報処理部１１２ｃは、物体検出制御部１１６から動作を指示するための制御情報が入力されるとき、それぞれ自部の動作を実行する。領域認識部１１２ｂと深度情報処理部１１２ｃは、物体検出制御部１１６から動作停止を指示するための制御情報が入力されるとき、それぞれ自部の動作を実行中である場合には、動作を停止する。

領域認識部１１２ｂと深度情報処理部１１２ｃの動作条件として、次の条件のいずれか、または、所定の組み合わせが利用可能である。
（１）自装置からの距離が所定の距離の閾値以上となる物体の存在が推定されること。物体検出制御部１１６は、例えば、直接的に、自装置つまり自車両からの距離が所定の距離の閾値となる物体が存在するか否かを判定すればよい。物体検出制御部１１６は、自装置からの距離が所定の距離の閾値以上となる物体の存在する状況を生じる可能性が高い事象、例えば、自車両が高速道路の領域内にあること、などが生じているか否かを判定してもよい。物体検出制御部１１６は、例えば、地図情報を参照し、自車両の位置が地図情報に示される高速道路の領域内にあるか否かを判定することができる。また、物体検出制御部１１６は、高速道路への入口、出口に設けられたＥＴＣ（Electronic Toll Collection）システムから放射される電波を所定の電界強度の閾値以上の電界強度で検出するとき、それぞれ高速道路に進入した、高速道路から退出したと判定してもよい。高速道路への進入した時点から高速道路から退出した時点までの期間において、物体検出制御部１１６は、自車両が高速道路の領域内にあると判定することができる。

（２）自装置の周囲の状況が画像データから第１領域の検出が困難になる所定の状況を示すこと。物体検出制御部１１６は、例えば、車両に備わる受光センサから直接または間接的に入力される照度情報で示される照度が所定の照度の閾値以上であるか否かを判定する。物体検出制御部１１６は、車両に備わる霧センサから入力される霧情報が霧の検出を示すか否かを判定してもよい。物体検出制御部１１６は、車両に備わる雨滴センサから入力される降雨情報が降雨を示すか否かを判定してもよい。物体検出制御部１１６は、操作部１０１をなすワイパー動作を示す入力信号が入力されるか否かを判定してもよい。

（３）自車両の周囲の物体の個数、即ち、物体検出部１１２により検出される物体の個数が、所定の個数の閾値以上となること、または少なくとも２個の検出される物体の空間的な間隔が、所定の間隔の閾値以上となること。空間的な間隔は、現実の三次元空間における間隔であってもよいし、カメラ１０２ａが撮影した画像から検出される複数の物体について画素数を単位として表された間隔であってもよい。
（４）物体認識部１１２ａにより検出される物体の種類が、誤認識が発生する傾向がある所定の種類である、または、いずれの物体の種類も判定されない、つまり、物体の種類が不明であること。

（５）自車両の速度が所定の速度の閾値以上となるとき、または、自部から物体認識部１１２ａにより検出された物体までの距離と自車両の速度に基づく衝突予測時間が所定の衝突予測時間の閾値以下となること。
衝突予測時間は、自車両の速度から検出された物体の速度の差を、検出された物体までの距離で除算して算出される。物体の速度は、物体の位置を時間で微分して算出されうる。

次に、本実施形態に係る物体検出部１１２、物体判定部１１４の実施例について図３に示す画像データを用いる場合を例にして説明する。図３は、交差点において車両が図面に対して右方から左方に、深さ方向に延びる道路を横断する場合を例にする。
図４は、物体認識部１１２ａにより検出される物体を表す第１領域を例示する。この例では、車両が表された領域が第１領域Ｒ０１として検出される。
図５は、領域認識部１１２ｂにより分割された領域と、物体が表される第２領域を例示する。図５において、個々の表示パターン（ハッチング）は、それぞれ分割された領域を示す。そのうち、信頼度が所定の検出閾値以上となる領域が第２領域Ｒ０２’として検出される。なお、Ｒ０２は、調整後の第２領域を示す。
図６は、深度情報処理部１１２ｃにより取得されたサンプル点ごとの深度を示す深度画像を示す。個々のサンプル点は、画素に対応する。深度は、濃淡で示され、濃い部分ほど深度が低く（近い）、明るい部分ほど深度が高い（遠い）。

なお、図４－図６に示す例では、第１領域Ｒ０１、第２領域Ｒ０２’、調整後の第２領域Ｒ０２の形状は、それぞれ長方形に正規化されている。正規化により、信頼度が所定の検出閾値以下となる領域が第１領域Ｒ０１、第２領域Ｒ０２’に含まれるが、形状を正規化することで物体が存在する領域が簡素に定義される。
物体認識部１１２ａは、例えば、信頼度が所定の検出閾値以上となる画素の水平方向（Ｘ方向）の座標値の最小値から最大値の間、当該画素の垂直方向（Ｙ方向）の座標値の最小値から最大値の間を第１領域Ｒ０１として定める。物体認識部１１２ａは、第１領域Ｒ０１における画素間の信頼度の平均値を第１信頼度として定めることができる。

領域認識部１１２ｂは、例えば、分割された個々の領域のうち、所定の検出対象の種類の物体（図５の例では、車両）が表れている領域を第２領域Ｒ０２’として定める。より具体的には、領域認識部１１２ｂは、その種類の物体に係る信頼度が所定の検出閾値以上となる画素の水平方向（Ｘ方向）の座標値の最小値から最大値の間、当該画素の垂直方向（Ｙ方向）の座標値の最小値から最大値の間を第２領域Ｒ０２’として定めることができる。領域認識部１１２ｂは、第２領域Ｒ０２’における画素間の信頼度の平均値を第２信頼度として定めることができる。なお、形状を正規化することで複数の領域間で重複が生じることがあるが、領域の重複は許容されてもよい。

物体判定部１１４は、領域認識部１１２ｂが定めた第２領域Ｒ０２’を、深度情報処理部１１２ｃにより取得された深度情報に基づいて、第２領域Ｒ０２’内の各画素に対応するサンプル点ごとの深度が所定の範囲内に維持されるように、第２領域Ｒ０２’を調整して、調整後の第２領域Ｒ０２を定める。物体判定部１１４は、例えば、第２領域Ｒ０２’の左端のいずれかの画素に対して、左方（水平方向の逆方向）に隣接する画素との間で深度の差の大きさが所定の差の閾値以下となる画素が存在するとき、第２領域Ｒ０２’の左端を左方に隣接する画素まで拡張する。そして、左方に隣接する画素との間で深度の差の大きさが所定の差の閾値以下となる画素が存在しなくなるまで第２領域Ｒ０２’の左端を拡張する処理を繰り返す。物体判定部１１４は、右方（水平方向）に対しても、左方への拡張と同様な手法を用いて、第２領域Ｒ０２’を拡張することができる。物体判定部１１４は、上方（垂直方向）、下方（垂直方向の逆方向）に対しても、左方への拡張と同様な手法を用いて、第２領域Ｒ０２’を拡張することができる。

物体判定部１１４は、第２領域Ｒ０２のうち、第１領域Ｒ０１と重複しない非重複領域において、検出された物体の種類を第２種類として判定する。
物体判定部１１４は、第１領域Ｒ０１と第２領域Ｒ０２と重複する重複領域において第１信頼度が所定の信頼度の閾値である判別閾値未満である場合、物体の種類を第２種類として判定する。情報処理装置１０は、重複領域において、第１信頼度が判別閾値以上である場合、重複領域における物体の種類を第１種類として判定する。
なお、物体判定部１１４は、第１領域Ｒ０１のうち、第２領域Ｒ０２と重複しない非重複領域において、検出された物体の種類を第１種類として判定してもよい。

次に、本実施形態に係る物体検出処理の例について説明する。図７は、本実施形態に係る物体検出処理の例を示すフローチャートである。
（ステップＳ１０２）カメラ１０２ａは、自部の周囲の視野内の画像を撮影し、撮影した画像を示す画像データを情報検出部１１に出力する。その後、ステップＳ１０４の処理に進む。
（ステップＳ１０４）物体認識部１１２ａは、カメラ１０２ａから入力される画像データで示される画像から物体が表される領域を第１領域として検出し、第１領域に表される物体の種類を第１種類として定め、その信頼度を第１信頼度として定める。その後、ステップＳ１０６の処理に進む。

（ステップＳ１０６）領域認識部１１２ｂは、画像データで示される画像から種類の異なる物体が表される領域を第２領域として分割し、第２領域ごとに、その第２領域に表される物体の種類を第２種類として定める。その後、ステップＳ１０８の処理に進む。
（ステップＳ１０８）深度情報処理部１１２ｃは、測距センサ１０２ｂから入力される距離情報から、個々の画素に対応するサンプル点ごとに物体の深度を示す深度情報を取得する。その後、ステップＳ１１０の処理に進む。

（ステップＳ１１０）物体判定部１１４は、深度情報に基づいて、第２領域に表される物体の深度が所定の範囲内に維持されるように、第２領域を調整する。その後、ステップＳ１１２の処理に進む。
（ステップＳ１１２）物体判定部１１４は、第２領域が第１領域と重複するか否かを判定する。重複すると判定されるとき（ステップＳ１１２ ＹＥＳ）、ステップＳ１１４の処理に進む。重複しないと判定されるとき（ステップＳ１１２ ＮＯ）、ステップＳ１１８の処理に進む。
（ステップＳ１１４）物体判定部１１４は、第１領域に係る第１信頼度が所定の判別閾値以上であるか否かを判定する。判別閾値以上であると判定されるとき（ステップＳ１１４ ＹＥＳ）、ステップＳ１１６の処理に進む。判別閾値未満であると判定されるとき（ステップＳ１１４ ＮＯ）、ステップＳ１１８の処理に進む。

（ステップＳ１１６）物体判定部１１４は、重複領域に表される物体の種類を第１種類として定める。その後、図７の処理を終了する。
（ステップＳ１１８）物体判定部１１４は、重複領域または第２領域に表される物体の種類を第２種類として定める。その後、図７の処理を終了する。

次に、本実施形態に係る物体検出制御の例について説明する。図８は、本実施形態に係る物体検出制御の例を示す状態遷移図である。但し、情報処理装置１０への電源投入時、つまり、電力供給開始当初においては、ステップＳ２０２の状態を採用することを仮定する。
（ステップＳ２０２）物体検出部１１２において、物体認識部１１２ａが動作し、領域認識部１１２ｂと深度情報処理部１１２ｃは動作しない。物体検出制御部１１６は、予め設定された判定対象となる動作条件をそれぞれ満足するか否かを判定する。物体検出制御部１１６は、いずれかの動作条件を満足すると判定するとき、領域認識部１１２ｂと深度情報処理部１１２ｃを起動させ、ステップＳ２０４の状態に進む。
（ステップＳ２０４）物体検出部１１２において、物体認識部１１２ａ、領域認識部１１２ｂ、および深度情報処理部１１２ｃが動作し、いずれも併用される。
物体検出部１１２は、物体検出制御部１１６は、予め設定された判定対象となる動作条件のいずれも満足しないと判定するとき、ステップＳ２０２の状態に戻る。

なお、上記の説明では、物体検出制御部１１６は、動作条件の判定後、直ちに領域認識部１１２ｂと深度情報処理部１１２ｃを動作させるか否かを制御する場合を例にしたが、これには限られない。
判定対象となる動作条件のいずれかを満たす状態が所定時間（例えば、３０秒－３分）以上継続するとき、物体検出制御部１１６は、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させると判定してもよい。また、物体検出制御部１１６は、判定対象となる動作条件も満たさない状態が所定時間以上継続するとき、物体検出制御部１１６は、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させないと判定してもよい。

（最小構成）
次に、本実施形態の最小構成について説明する。図９は、本実施形態の最小構成を例示する概略ブロック図である。
図９に示すように本実施形態に係る情報処理装置１０は、自装置の周囲の物体を検出する物体検出部１１２と、検出された物体の種類を判定する物体判定部１１４と、を備える。物体検出部１１２は、物体認識部１１２ａと、領域認識部１１２ｂと、を備える。物体認識部１１２ａは、複数の画素それぞれの信号値を用いて画像を表す画像データから、画像において物体が表される領域である第１領域を検出し、第１領域に表される物体の種類である第１種類の信頼度である第１信頼度を定める。領域認識部１１２ｂは、画像データから、画像を種類の異なる物体が表される領域である第２領域に分割し、第２領域ごとに当該第２領域に表される物体の種類である第２種類を定める。物体判定部１１４は、第２領域のうち、第１領域と重複しない非重複領域における物体の種類を第２種類として判定し、第２領域のうち、第１領域と重複する重複領域において第１信頼度が所定の信頼度の閾値未満である場合、当該重複領域における物体の種類を第２種類として判定し、当該重複領域において、第１信頼度が所定の信頼度の閾値以上である場合、当該重複領域における物体の種類を第１種類として判定する。
この構成によれば、画像データに対する物体認識と領域認識が併用される。領域認識によれば画像に表される異なる物体ごとの領域に分割されるので、物体が表される領域を特定する物体認識よりも、確実に物体が検出される。また、物体認識により物体が表される領域の信頼度が高い場合に物体認識により判定される物体の種類が判定結果として得られる。そのため、物体認識単独の利用よりも確実に物体を検出し、その種類を判定することができる。

また、物体検出部１１２は、画素に対応するサンプル点ごとに物体の深度を示す深度情報を取得する深度情報処理部１１２ｃを備え、物体判定部１１４は、第２領域に表される物体の深度が所定の範囲内に維持されるように当該第２領域を調整してもよい。
この構成によれば、深度が所定の範囲内に収まるように第２領域が調整されるので、深度が有意に異なる領域が第２領域から排除され、深度が共通する領域が第２領域に含まれる。また、深度は、照度が低い場合や悪天候下でも画像よりも安定した計測が可能である。そのため、第２領域として個々の物体が表される領域をより正確に推定することができる。例えば、同一または類似する種類の物体が隣接する場合であっても、深度に基づき個々の領域が区分される。

また、情報処理装置１０は、物体認識部１１２ａが検出した物体のうち自装置から距離が所定の距離の閾値以上となる物体の存在が推定されるとき、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させる物体検出制御部１１６を備えてもよい。
この構成によれば、自装置から遠方の物体に対しては、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させることで、より確実に物体が表示される領域と種類を検出することができる。遠方の物体が検出されない場合には、領域認識部１１２ｂと深度情報処理部１１２ｃの動作の停止が許容されるので、処理量を低減することができる。

また、情報処理装置１０は、自装置の周囲の環境情報が画像データから第１領域の検出が困難になる所定の環境（例えば、降雨、濃霧、暗部）を示すとき、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させる物体検出制御部１１６を備えてもよい。
この構成によれば、物体認識により物体が表される第１領域の検出が困難になる場合には、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させることで、より確実に物体が表示される領域と種類を検出することができる。第１領域の検出が困難にならない場合には、領域認識部１１２ｂと深度情報処理部１１２ｃの動作の停止が許容されるので、処理量を低減することができる。

また、情報処理装置１０は、物体認識部１１２ａが検出した物体の個数が所定の個数の閾値以上となるとき、または、物体認識部１１２ａが検出した物体それぞれの第１領域間の間隔が所定の間隔の閾値以下となるとき、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させる物体検出制御部１１６を備えてもよい。
この構成によれば、一度に複数の物体が検出されるとき、または、検出される物体の領域が近接する場合には、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させることで、より正確に物体が表示される領域と種類を検出することができる。検出される物体の個数が少なく、かつ、それらが近接していない場合には、領域認識部１１２ｂと深度情報処理部１１２ｃの動作の停止が許容されるので、処理量を低減することができる。

また、情報処理装置１０は、物体認識部１１２ａが検出した物体の種類が、所定の種類であるとき、または、物体認識部１１２ａにより物体の種類が判定されないとき、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させる物体検出制御部１１６を備えてもよい。
この構成によれば、所定の物体の種類が誤認識される傾向がある場合、または、物体の種類が特定できない場合には、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させることで、より確実に物体の種類を検出することができる。物体の種類が特定され、かつ、検出される物体が誤認識される傾向がない物体である場合には、領域認識部１１２ｂと深度情報処理部１１２ｃの動作の停止が許容されるので、処理量を低減することができる。

また、情報処理装置１０は、自部を搭載する車両の速度が所定の速度の閾値以上となるとき、または、自部から物体認識部１１２ａが検出した物体までの距離と車両の速度に基づく衝突予測時間が所定の衝突予測時間の閾値以下となるとき、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させる物体検出制御部１１６を備えてもよい。
この構成によれば、走行速度の高速化、または、物体への衝突が予想される場合に、領域認識部１１２ｂと深度情報処理部１１２ｃを動作させることで、より確実に物体が表される領域を検出することができる。そのため、安全性が要求される状況下で、より的確な制御の実現に寄与することができる。走行速度が低速、かつ、物体への衝突が予想される場合には、領域認識部１１２ｂと深度情報処理部１１２ｃの動作の停止が許容されるので、処理量を低減することができる。

なお、上記の情報処理装置１０は、その内部にコンピュータシステムを備えてもよい。例えば、上記のプロセッサは、コンピュータシステムの構成要素となりうる。また、ＥＣＵは、コンピュータシステムを備える。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記憶媒体に記憶され、このプログラムをコンピュータが読み出して実行することによって、それらの処理が行われる。コンピュータシステムは、ＯＳ（Operation System）、デバイスドライバ、ユーティリティプログラムなどのソフトウェアや周辺機器等のハードウェアを含むものとする。また、コンピュータ読み取り可能な記録媒体」とは、磁気ディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、半導体メモリ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記録媒体、とは、インターネット等のネットワークや電話回線等の通信回線を用いてプログラムを送信する場合に用いる通信線など、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリなど、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した実施形態における情報処理装置１０の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。情報処理装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態及びその変形例に限定されることはない。本発明の主旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。
また、本発明は前述した説明によって限定されることはなく、添付の特許請求の範囲によってのみ限定される。

上記各態様の情報処理装置、情報処理方法およびプログラムによれば、画像データに対する物体認識と領域認識が併用される。領域認識によれば画像に表される異なる物体ごとの領域に分割されるので、物体が表される領域を特定する物体認識よりも、確実に物体が検出される。また、物体認識により物体が表される領域の信頼度が高い場合に物体認識により判定される種類が判定結果として得られる。そのため、物体認識単独の利用よりも確実に物体を検出し、その種類を判定することができる。

１…車両制御システム、１０…情報処理装置、１１…情報検出部、１２…位置推定部、１３…状況解析部、１４…動作計画部、１５…動作制御部、１０１…操作部、１０２…情報収集部、１０２ａ…カメラ、１０２ｂ…測距センサ、１０３…通信部、１０４…車内機器、１０５…出力制御部、１０６…出力部、１０７…駆動系制御部、１０８…駆動系、１０９…車体系制御部、１１０…車体系、１１１…記憶部、１１２…物体検出部、１１２ａ…物体認識部、１１２ｂ…領域認識部、１１２ｃ…深度情報処理部、１１４…物体判定部、１１６…物体検出制御部

Claims (8)

1. 自装置の周囲の物体を検出する物体検出部と、前記物体の種類を判定する物体判定部と、を備え、
   前記物体検出部は、物体認識部と、領域認識部と、深度情報処理部と、を備え、
   前記物体認識部は、
   複数の画素それぞれの信号値を用いて画像を表す画像データから、前記画像において物体が表される領域である第１領域を検出し、前記第１領域に表される物体の種類である第１種類の信頼度である第１信頼度を定め、
   前記深度情報処理部は、
   前記画素に対応するサンプル点ごとに物体の深度を示す深度情報を取得し、
   前記領域認識部は、
   前記画像データから、前記画像を種類の異なる物体が表される領域である第２領域に分割し、第２領域ごとに当該第２領域に表される物体の種類である第２種類を定め、
   前記物体判定部は、
   前記第２領域に表される物体の深度が所定の範囲内に維持されるように当該第２領域を調整し、
   前記第２領域のうち、前記第１領域と重複しない非重複領域における物体の種類を第２種類として判定し、
   前記第２領域のうち、前記第１領域と重複する重複領域において前記第１信頼度が所定の信頼度の閾値未満である場合、
   当該重複領域における物体の種類を第２種類として判定し、
   前記重複領域において、前記第１信頼度が所定の信頼度の閾値以上である場合、
   当該重複領域における物体の種類を第１種類として判定する
   情報処理装置。
2. 前記物体認識部が検出した物体のうち自装置から距離が所定の距離の閾値以上となる物体の存在が推定されるとき、前記領域認識部と前記深度情報処理部を動作させる物体検出制御部を備える
   請求項１に記載の情報処理装置。
3. 自装置の周囲の環境情報が前記画像データから前記第１領域の検出が困難になる所定の環境を示すとき、前記領域認識部と前記深度情報処理部を動作させる物体検出制御部を備える
   請求項１または請求項２に記載の情報処理装置。
4. 前記物体認識部が検出した物体の個数が所定の個数の閾値以上となるとき、または、前記物体それぞれの第１領域間の間隔が所定の間隔の閾値以下となるとき、前記領域認識部と前記深度情報処理部を動作させる物体検出制御部を備える
   請求項１から請求項３のいずれか一項に記載の情報処理装置。
5. 前記物体認識部が検出した物体の種類が、所定の種類であるとき、または、前記物体の種類が判定されないとき、前記領域認識部と前記深度情報処理部を動作させる物体検出制御部を備える
   請求項１から請求項４のいずれか一項に記載の情報処理装置。
6. 自部を搭載する車両の速度が所定の速度の閾値以上となるとき、または、自部から前記物体認識部が検出した物体までの距離と前記車両の速度に基づく衝突予測時間が所定の衝突予測時間の閾値以下となるとき、前記領域認識部と前記深度情報処理部を動作させる物体検出制御部を備える
   請求項１から請求項５のいずれか一項に記載の情報処理装置。
7. 情報処理装置における情報処理方法であって、
   前記情報処理装置が、
   複数の画素それぞれの信号値を用いて画像を表す画像データから、前記画像において物体が表される領域である第１領域を検出し、前記第１領域に表される物体の種類である第１種類の信頼度である第１信頼度を定める第１ステップと、
   前記画素に対応するサンプル点ごとに物体の深度を示す深度情報を取得する第２ステップと、
   前記画像データから、前記画像を種類の異なる物体が表される領域である第２領域に分割し、第２領域ごとに当該第２領域に表される物体の種類である第２種類を定める第３ステップと、
   前記第２領域に表される物体の深度が所定の範囲内に維持されるように当該第２領域を調整する第４ステップと、
   前記第２領域のうち、前記第１領域と重複しない非重複領域における物体の種類を第２種類として判定し、
   前記第２領域のうち、前記第１領域と重複する重複領域において前記第１信頼度が所定の信頼度の閾値未満である場合、
   当該重複領域における物体の種類を第２種類として判定し、
   前記重複領域において、前記第１信頼度が所定の信頼度の閾値以上である場合、
   当該重複領域における物体の種類を第１種類として判定する第５ステップと、
   を実行する
   情報処理方法。
8. コンピュータに、
   自装置の周囲の物体を検出する物体検出部と、前記物体の種類を判定する物体判定部と、を備え、
   前記物体検出部は、物体認識部と、領域認識部と、深度情報処理部と、を備え、
   前記物体認識部は、
   複数の画素それぞれの信号値を用いて画像を表す画像データから、前記画像において物体が表される領域である第１領域を検出し、前記第１領域に表される物体の種類である第１種類の信頼度である第１信頼度を定め、
   前記深度情報処理部は、
   前記画素に対応するサンプル点ごとに物体の深度を示す深度情報を取得し、
   前記領域認識部は、
   前記画像データから、前記画像を種類の異なる物体が表される領域である第２領域に分割し、第２領域ごとに当該第２領域に表される物体の種類である第２種類を定め、
   前記物体判定部は、
   前記第２領域に表される物体の深度が所定の範囲内に維持されるように当該第２領域を調整し、
   前記第２領域のうち、前記第１領域と重複しない非重複領域における物体の種類を第２種類として判定し、
   前記第２領域のうち、前記第１領域と重複する重複領域において前記第１信頼度が所定の信頼度の閾値未満である場合、
   当該重複領域における物体の種類を第２種類として判定し、
   前記重複領域において、前記第１信頼度が所定の信頼度の閾値以上である場合、
   当該重複領域における物体の種類を第１種類として判定する
   情報処理装置として動作させるためのプログラム。

Images