(本開示の基礎となった知見)
上述したように、従来技術では、物体検出のための計算リソースが増加するおそれがある。また、自動運転車(移動体の一例)の構成要素であるニューラルネットワークなどの人工知能もしくはパターンマッチング技術を使用した物体検出部は、検出能力を改善させようとすると、検出処理のリアルタイム性の欠如及び消費電力の増大という課題が生じる。さらに、上述した従来技術では、優先認識領域が車両近傍に限られるため、車両が存在しない領域に存在する人の検出については検出能力が必ずしも向上しない。
これに対し、本開示の一態様に係る情報処理装置は、光学センサからセンシングデータを取得し、前記光学センサが搭載される物体の位置情報を取得し、地図情報を取得し、前記位置情報及び前記地図情報を用いて、前記光学センサのセンシング領域における特定の領域に対応する、前記センシングデータにおける特定のセンシングデータ領域を決定し、前記特定のセンシングデータ領域に応じて物体検出モデルの入力情報を決定し、前記入力情報を用いて前記物体検出モデルに物体検出処理を実行させる、ように構成される。
これにより、特定のセンシングデータ領域に応じて物体検出モデルの入力情報が決定されるため、物体検出モデルの処理量又は処理内容を特定のセンシングデータ領域及びそれ以外の領域に応じて制御することができる。したがって、物体検出のための計算リソースの増加を抑制しながら、物体検出性能を向上させることができる。
例えば、特定のセンシングデータ領域が歩道である場合、歩道に応じた入力情報が物体検出モデルに入力されることにより、歩道に存在する可能性が他の領域に比べて高い児童及び車椅子使用者などの交通弱者の検出性能を向上させることが可能となる。また、歩道及びそれ以外の領域に応じて計算リソースが配分されることにより、物体検出処理に要する計算リソースの増加を抑制することができる。したがって、情報処理装置の限られた計算リソースで交通弱者の安全を向上させることができる。
また、例えば、前記物体検出モデルでは、物体検出を行うための物体雛形矩形を用いて物体検出処理を実行する対象が絞られ、前記入力情報は、前記物体雛形矩形を含む。
これにより、物体検出モデルの処理の対象が特定のセンシングデータ領域に応じて絞られるため、物体検出モデルの処理に要する計算リソースの増加を抑制しつつ物体検出性能を向上させることができる。
また、例えば、前記物体雛形矩形は、前記特定のセンシングデータ領域の属性に応じて設定される。
これにより、物体検出モデルの処理の対象が特定のセンシングデータ領域の属性に応じて絞られる。ここで、物体の種類(例えば、人、自動車など)毎に典型的な映り方が存在する。また、センシングデータ領域の属性毎に、センシングデータ領域に存在する可能性がある物体の種類が異なる。そのため、本構成のように、物体検出モデルの処理の対象が特定のセンシングデータ領域の属性に応じて絞られることにより、計算リソースの増加の抑制と物体検出性能の向上との両立をより効果的に実現することができる。
また、例えば、前記センシングデータについての距離情報を取得し、取得される距離情報に応じて物体雛形矩形のサイズが設定される。
これにより、物体雛形矩形のサイズが距離情報に応じて設定されるので、計算リソースの増加を抑制しながら、さらに物体検出性能を向上させることができる。
また、例えば、前記光学センサは、イメージセンサを含み、前記センシングデータは、前記イメージセンサから得られる画像であるセンシング画像を含み、前記入力情報は、前記センシング画像に基づく画像であって、前記特定のセンシングデータ領域以外の他の領域の解像度が前記特定のセンシングデータ領域の解像度よりも低い画像を含む。
これにより、注目領域以外の他の領域に割り振られる計算リソースを注目領域に割り振ることができる。よって、計算リソースの増加を抑制しつつ物体検出性能を向上させることができる。
また、例えば、前記光学センサは、イメージセンサを含み、前記センシングデータは、前記イメージセンサから得られる画像であるセンシング画像を含み、前記入力情報は、前記センシング画像に基づく画像であって、前記センシング画像から切り出された前記特定のセンシングデータ領域の画像と、前記特定のセンシングデータ領域及び前記センシングデータ領域以外の他の領域の両方を含む画像である全体画像と、の合成画像を含み、前記全体画像は、前記特定のセンシングデータ領域の画像よりも解像度が低い。
これにより、注目領域の画像及び全体画像の両方が物体検出モデルに入力されるため、注目領域の切り出しにより物体の誤検出又は検出漏れの発生を抑制することができる。
また、例えば、本開示の一態様に係る情報処理方法は、プロセッサを用いて、光学センサからセンシングデータを取得し、前記光学センサが搭載される物体の位置情報を取得し、地図情報を取得し、前記位置情報及び前記地図情報を用いて、前記光学センサのセンシング領域における特定の領域に対応する、前記センシングデータにおける特定のセンシングデータ領域を決定し、前記特定のセンシングデータ領域に応じて物体検出モデルの入力情報を決定し、前記入力情報を用いて前記物体検出モデルに物体検出処理を実行させる。
これにより、特定のセンシングデータ領域に応じて物体検出モデルの入力情報が決定されるため、物体検出モデルの処理量又は処理内容を特定のセンシングデータ領域及びそれ以外の領域に応じて制御することができる。したがって、物体検出のための計算リソースの増加を抑制しながら、物体検出性能を向上させることができる。
また、例えば、本開示の一態様に係るプログラムは、上記の情報処理方法をコンピュータに実行させるためのプログラムであってもよい。
これにより、コンピュータが、プログラムに従って、上記の情報処理方法を実行することができる。
さらに、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なCD-ROMなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
また、本明細書において、平行又は等しいなどの要素間の関係性を示す用語、および、矩形などの要素の形状を示す用語、並びに、数値及び数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数%程度の差異をも含むことを意味する表現である。
(実施の形態1)
以下、本実施の形態に係る情報処理装置について、図1~図9を参照しながら説明する。
[1-1.情報処理装置の構成]
まずは、情報処理装置140が搭載される移動体100の構成について図1を参照しながら説明する。
図1は、本実施の形態に係る情報処理装置140を備える移動体100の概略構成を示す図である。本実施の形態では、移動体100は、車両である。車両は、例えば、運転者の操作を必要とせずに、車両の運転を制御する自動運転車であるが、自動運転または手動運転の何れかに切り替えて走行することが可能な車両であってもよい。
図1に示すように、移動体100は、光学センサ110と、測位部120と、地図保管部130と、情報処理装置140と、車両制御部150とを備える。移動体100は、光学センサ110が搭載される物体の一例である。
光学センサ110は、移動体100の周囲の状況を検出する装置である。光学センサ110は、例えば、移動体100の周囲に存在する他車両及び歩行者の位置等を検出する。光学センサ110は、イメージセンサを有するカメラ又はLIDAR(Light Detection and Ranging)などの移動体100周囲を撮影した撮影画像を生成するセンサ機器により実現される。以下、光学センサ110がカメラである場合を例に説明する。光学センサ110は、撮影した画像(本実施の形態では、カメラ画像)を情報処理装置140に出力する。なお、移動体100が備えるセンサは、光学センサに限定されない。センサは、例えば、温度、圧力、磁気、音、光、ガス、超音波及び電磁波等を検知して、検知結果を示すセンシングデータを出力するセンサであってもよい。また、センシングデータは、光学センサ110がイメージセンサを有する場合、当該イメージセンサで得られる画像であるセンシング画像を含む。
測位部120は、移動体100の位置及び方角を測位する。測位部120は、位置取得部121及び方位取得部122を有する。
位置取得部121は、外部から移動体100の現在位置を取得する。位置取得部121は、例えば、全球測位衛星システム(GNSS:Global Navigation Satellite System)等の航法衛星(人工衛星)から送信される電波を受信するGNSS受信機器等により実現される。
方位取得部122は、移動体100の方位(例えば、進行方向)を取得する。方位取得部122は、例えば、地磁気センサ(例えば、コンパス)を有し、当該地磁気センサが検知する地磁気に基づいて移動体100の方位を計測することで、当該移動体100の方位を取得する。なお、方位取得部122が方位を取得す方法は、上記に限定されない。方位取得部122は、例えば、ジャイロセンサを有し、当該ジャイロセンサが出力する角速度を用いて移動体100の方位を取得してもよい。
測位部120は、位置取得部121及び方位取得部122が取得した情報を用いて、移動体100が存在する位置を示す位置情報(例えば、緯度及び経度)、及び、移動体100が進行する向きを示す方角情報を情報処理装置140に出力する。
地図保管部130は、移動体100の周囲における地図情報を情報処理装置140に出力する。地図情報は、地図保管部130が保管する地図情報であってもよいし、地図保管部130が外部から取得した地図情報であってもよい。地図情報には、道路情報、及び、敷地における建築物情報などが含まれる。なお、この地図情報は、イベント(例えば、付近の学校の通学帰宅時間、事故の発生、又は、交通規制など)によって常に変更されてもかまわない。例えば、地図情報は、いわゆる静的な地図情報に、時々刻々と又はリアルタイムに変わりうるイベント情報を関連付けた動的地図情報であってもよい。地図情報が動的地図情報であることで、後述する注目領域をより適切に設定することができる。
情報処理装置140は、情報処理を行う装置である。例えば、情報処理装置140は、コンピュータであって、光学センサ110、測位部120及び地図保管部130から取得した各種情報を用いて、移動体100の周囲の物体を検出し、検出結果を出力する。情報処理装置140は、の物体検出部144における推論方式を設定し、より利用者(例えば、運転者)の意図に沿った検出結果を取得可能にする装置である。情報処理装置140は、図1に示すように、注目領域決定部141と、雛形矩形設定部142と、入力画像設定部143と、物体検出部144とを備える。
注目領域決定部141は、移動体100の位置情報及び地図情報に基づいて、光学センサ110から取得されるセンシングデータすなわち画像における注目領域を決定する。注目領域とは、光学センサ110のセンシング領域における特定の領域(例えば、注目したい領域)に対応する、画像における特定のセンシングデータ領域である。本実施の形態では、注目領域は、光学センサ110のセンシング領域において、特定の領域である歩道領域に対応する、画像内における領域である。つまり、本実施の形態では、注目領域は、画像内における歩道部分である。なお、特定の領域は歩道に限定されず、移動体100の走行経路等により、適宜決定される。
注目領域決定部141は、光学センサ110から画像を取得する。言い換えると、注目領域決定部141は、光学センサ110から画像を取得するセンシングデータ取得部として機能する。また、注目領域決定部141は、地図保管部130から地図情報を取得する。言い換えると、注目領域決定部141は、地図情報を取得する地図情報取得部として機能する。また、注目領域決定部141は、測位部120から位置情報及び方角情報を取得する。言い換えると、注目領域決定部141は、光学センサ110が搭載される移動体100の位置情報を取得する位置情報取得部として機能する。そして、注目領域決定部141は、位置情報及び方角情報と地図情報とから光学センサ110のセンシング方向における道路情報を取得する。注目領域決定部141は、道路情報を用いて画像における特定のセンシングデータ領域である注目領域(例えば歩道部分)を決定する。言い換えると、注目領域決定部141は、画像における注目領域を決定する決定部として機能する。本開示では、注目領域決定部141が地図情報を用いて注目領域を決定する点に特徴を有する。なお、注目領域は、所望の領域の一例である。また、以下において、注目領域は、歩道である例について説明する。
雛形矩形設定部142は、物体検出パラメータ設定部の一例として、注目領域を用いて物体検出部144のパラメータを設定する。具体的には、雛形矩形設定部142は、センシングデータすなわち画像上の注目領域の態様に応じて、物体検出部144に使用させる物体雛形矩形(Anchor Boxと呼称されることが多い)を決定する。雛形矩形設定部142は、使用する物体雛形矩形(以降において、単に雛形矩形とも記載する)に関する情報を物体検出部144に出力する。ここで、雛形矩形について、図2A及び図2Bを参照しながら説明する。
図2Aは、本実施の形態に係る汎用雛形矩形群142aの一例を示す図である。図2Bは、本実施の形態に係る歩道用雛形矩形群142bの一例を示す図である。図2Bに示す歩道用雛形矩形群142bは、注目領域用雛形矩形群の一例である。汎用雛形矩形群142aは、例えば、注目領域以外の領域の物体を検出するために用いられる。歩道用雛形矩形群142bは、注目領域である歩道部分の物体を検出するために用いられる。なお、雛形矩形は、縦横のアスペクト比の情報である。雛形矩形は、物体検出部144を訓練する際に使用するデータセット(画像データ及びアノテーションデータなど)から様々なアルゴリズム(例えばk-meansクラスタリング)を用いて計算される。例えば、汎用雛形矩形群142a及び歩道用雛形矩形群142bに含まれる雛形矩形を物体検出部144に学習させ、学習された雛形矩形は、情報処理装置140が備える記憶部(図示しない)に記憶されていてもよい。
図2A及び図2Bに示すように、汎用雛形矩形群142a及び歩道用雛形矩形群142bはそれぞれ、5種類の雛形矩形を含む。この場合、雛形矩形設定部142が物体検出部144に、汎用雛形矩形群142a及び歩道用雛形矩形群142bとしてそれぞれ5種類の雛形矩形を使用すること示す情報を出力する。
汎用雛形矩形群142aには、移動体100が走行する道路に存在する物体を検出するための雛形矩形が含まれる。汎用雛形矩形群142aには、人物、車両、自転車などを平均的に検出するための雛形矩形が含まれる。また、歩道用雛形矩形群142bには、汎用雛形矩形群142aより人物を検出しやすい雛形矩形が含まれる。歩道用雛形矩形群142bには、例えば、主に、歩行者を検出するための雛形矩形が含まれる。注目領域用雛形矩形群には、当該注目領域に応じた雛形矩形が設定される。
汎用雛形矩形群142a及び歩道用雛形矩形群142bに含まれる雛形矩形は、一部が同じであってもよい。図2A及び図2Bでは、5つの雛形矩形のうち3つの雛形矩形が同じである例について示している。例えば、歩道用雛形矩形群142bには、車両などの他の物体を検出できる雛形矩形が含まれていてもよい。これにより、歩道に存在する車両、例えば駐車場から車道に出るために歩道を横切っている車両などを検出することができる。
また、汎用雛形矩形群142a及び歩道用雛形矩形群142bに含まれる雛形矩形の数はこれに限定されない。汎用雛形矩形群142a及び歩道用雛形矩形群142bに含まれる雛形矩形の数は、同じであれば、4種類以下であってもよいし、9種類又は12種類であってもよいし、それ以上であってもよい。また、雛形矩形設定部142は、注目領域が複数種類ある場合、注目領域ごとに当該注目領域の属性(例えば、歩道、車道など)に応じた雛形矩形を含む注目領域用雛形矩形群を設定してもよい。例えば、注目領域が空である場合、当該注目領域に使用される注目領域用雛形矩形群は、ドローンなどの飛行体に対応した雛形矩形を含んでいてもよい。これにより、低空を飛行する飛行体をより精度よく検出することができる。なお、地図情報には、ドローンなどの飛行体の飛行経路、飛行体の上空における停留位置などの空の交通整理の情報が含まれていてもよい。
また、雛形矩形は、移動体100が走行している道路に応じた雛形矩形であってもよい。例えば、雛形矩形は、自動車専用の雛形矩形であってもよい。移動体100が高速道路を走行(例えば、隊列走行)しているときに自動車専用の雛形矩形を用いることで、自動車を効果的に検出することができる。
図1を再び参照して、雛形矩形設定部142は、例えば、画像に注目領域が存在する場合、当該画像の注目領域に対して、図2Bに示す歩道用雛形矩形群142bを使用するように物体検出部144に指示する。また、雛形矩形設定部142は、画像の注目領域以外の領域に対しては、図2Aに示した汎用雛形矩形群142aを使用するように物体検出部144に指示する。
入力画像設定部143は、注目領域決定部141から取得した画像データに施す処理内容を物体検出部144に出力する。入力画像設定部143は、例えば、注目領域に応じて画像の一部を切り出す処理を行うこと示す情報を物体検出部144に出力する。具体的には、入力画像設定部143は、注目領域が存在した場合に、当該注目領域を含む画像を元の画像(例えば、光学センサ110から取得したカメラ画像)から切り出し、切り出した画像と元の画像とを含む1つの画像(例えば、合成画像)を、事前に設定された画像サイズの情報に基づき生成するように物体検出部144に指示する。なお、本実施の形態では、入力画像設定部143は、注目領域決定部141から取得した画像が入力画像であるとして物体検出部144に指示してもよい。つまり、入力画像設定部143は、画像サイズを変更しないことを示す情報を物体検出部144に出力してもよい。なお、入力画像とは、物体検出部144が物体の検出を行うために用いる画像である。また、元の画像は、全体画像の一例である。
物体検出部144は、入力されたセンシングデータすなわち画像等に基づき物体を検出する。物体検出部144は、物体検出モデルに対する処理を制御する情報処理部であって、電気回路で構成される。物体検出モデルは、複数の層を有するニューラルネットワーク型の数理モデル(推論器)であって、物体検出処理を行うための数理モデルである。物体検出部144は、モデル制御部の一例である。
基本的に、物体検出モデルは、入力層、中間層及び出力層で構成される複数の処理層を有する。入力層には、物体検出処理の対象データが入力データ(入力情報)として入力される。そして、出力層から、物体検出処理の処理結果データが出力データ(出力情報)として出力される。入力層と出力層とは異なる処理層であって、入力層と出力層との間の処理層は、中間層と呼ばれる。物体検出モデルは、複数の中間層を有していてもよい。
例えば、物体検出部144の内部に、学習データを用いて学習された物体検出モデルが実装される。具体的には、情報処理装置140とは別の装置で学習された物体検出モデルが、物体検出部144の内部に実装されてもよい。あるいは、物体検出部144が物体検出部144の内部に実装された物体検出モデルを学習させることにより、学習された物体検出モデルが物体検出部144の内部に実装されてもよい。
具体的には、学習データには、入力データと、入力データに対して正しい出力データとが含まれる。そして、物体検出モデルの学習において、物体検出モデルの入力層に、学習データに含まれる入力データが入力される。そして、物体検出モデルの出力層からの出力データが、学習データに含まれる出力データに等しくなるように、物体検出モデルが更新されることにより、物体検出モデルが学習される。
また、例えば、物体検出部144は、注目領域決定部141で取得されたセンシングデータ等に基づく情報を物体検出モデルの入力層に入力する。そして、物体検出部144は、物体検出モデルの第1中間層までの処理を行う。第1中間層は、予め定められていてもよいし、物体検出モデルの複数の層から選択されてもよい。
そして、物体検出部144は、物体検出モデルの第1中間層からの第1中間出力データ等から生成される中間入力データを第1中間層に後続する層に入力する。第1中間層に後続する層は、具体的には、第1中間層の次の層である。そして、物体検出部144は、物体検出モデルの出力層までの処理を行う。
そして、物体検出部144は、物体検出モデルの出力層からの出力データ(検出結果)を外部に出力する。物体検出部144は、例えば、検出結果を車両制御部150に出力してもよい。これにより、車両制御部150は、物体検出モデルの出力層からの出力データに従って移動体100の動作を制御することができる。また、物体検出部144は、移動体100が備える表示部(図示しない)に検出結果を表示させてもよい。これにより、運転者に検出結果を知らせることができる。
また、物体検出モデルは、他の装置に実装されてもよい。物体検出部144は、物体検出モデルの入出力を制御し、物体検出モデルの実質的な処理は、他の装置によって行われてもよい。
物体検出部144は、図2A及び図2Bに示す雛形矩形を用いて、物体を検出する。本実施の形態では、物体検出部144は、汎用雛形矩形群142a及び歩道用雛形矩形群142bの両方の雛形矩形を用いて、物体を検出する。例えば、物体検出で使用する全種類の雛形矩形を物体検出部144に学習させ、学習された全種類の雛形矩形から指定された雛形矩形を雛形矩形設定部142からの指示に基づき選択することで、雛形矩形を変更することが可能な物体検出部144を実現することができる。
なお、情報処理装置140の複数の構成要素は、専用のハードウェアで構成されてもよいし、上記のプログラム等を実行する汎用のハードウェアで構成されてもよいし、これらの組み合わせで構成されてもよい。また、汎用のハードウェアは、プログラムが記憶されたメモリ、及び、メモリからプログラムを読み出して実行する汎用のプロセッサ等で構成されてもよい。ここで、メモリは、半導体メモリ又はハードディスク等でもよいし、汎用のプロセッサは、CPU等でもよい。また、専用のハードウェアが、メモリ及び専用のプロセッサ等で構成されてもよい。
車両制御部150は、物体検出部144の検出結果に基づき移動体100の動作(走行)を制御する。なお、車両制御部150は、検出結果及び地図情報に基づいて移動体100の動作を制御してもよい。車両制御部150は、例えば、検出結果から歩道に歩行者が検出されなかった場合であっても、走行道路の周辺で人が集まるイベントが行われていることが地図情報に含まれる場合、移動体100の速度を減速するなどの制御を行ってもよい。
なお、上記では、情報処理装置140は、雛形矩形設定部142及び入力画像設定部143の両方を有する例について説明したが、本実施の形態では、少なくとも雛形矩形設定部142を有していればよい。
以上のように、情報処理装置140は、光学センサ110から画像P1(センシングデータの一例)を取得するセンシングデータ取得部と、光学センサ110が搭載される移動体100(物体の一例)の位置情報を取得する位置情報取得部と、地図情報を取得する地図情報取得部と、位置情報及び地図情報を用いて、光学センサ110のセンシング領域における歩道領域(特定の領域の一例)に対応する、画像P1における注目領域(特定のセンシングデータ領域の一例)を決定する注目領域決定部141(決定部の一例)と、注目領域に応じて物体検出モデルの入力情報を決定し、入力情報を用いて物体検出モデルに物体検出処理を実行させる物体検出部144(モデル制御部の一例)と、を備える。なお、注目領域決定部141は、センシングデータ取得部、位置情報取得部、及び、地図情報取得部の機能を有する。
[1-2.情報処理装置の動作]
次に、情報処理装置140の動作について、図3~図9を参照しながら説明する。
図3は、本実施の形態に係る情報処理装置140の動作の一例を示すフローチャートである。
図3に示すように、まず、情報処理装置140は、光学センサ110から画像データを取得する(S10)。具体的には、注目領域決定部141が画像データを取得する。図5は、本実施の形態に係る注目領域決定部141が取得する画像P1の一例を示す図である。注目領域決定部141は、例えば、画像データが示す画像P1を取得したとする。なお、図5に示す画像P1が撮影された範囲は、センシング領域の一例である。また、画像P1は、光学センサ110から取得するセンシングデータの一例である。なお、光学センサ110がLIDARである場合、レーザが出射される範囲が、センシング領域の一例となる。
次に、情報処理装置140は、地図情報と測位情報とから画像P1上の注目領域を決定する(S20)。具体的には、注目領域決定部141が注目領域を決定する。ここで、注目領域決定部141が注目領域を決定する動作について、図4~図7を参照しながら説明する。
図4は、本実施の形態に係る注目領域決定部141の動作の一例を示すフローチャートである。
図4に示すように、まず、注目領域決定部141は、測位情報及び地図情報を取得する(S21)。具体的には、注目領域決定部141は、測位情報として移動体100の位置と方向(進行方向)を含む測位情報を測位部120から取得し、地図情報を地図保管部130から取得する。
図6は、本実施の形態に係る注目領域決定部141が取得する地図情報M1の一例を示す図である。地図情報M1は、画像P1に対応した情報である。例えば、地図情報M1と測位情報とから図6のように画像の各領域が判定される。なお、図6に示す、「車道」、「歩道」、「公園」、及び、「私有地」は、注目領域の属性の一例である。また、各領域は、上記方法の代わりに又は上記方法と共に、領域分割手法(例えばセマンティックセグメンテーション)を用いて判定されてもよい。
そして、注目領域決定部141は、地図情報M1を用いて注目領域を決定する(S22)。具体的には、注目領域決定部141は、地図情報M1を用いて、画像P1上における注目領域の位置(例えば、座標データ)を特定する。本実施の形態では、注目領域決定部141は、例えば、図5に示すような画像P1を取得した場合、画像P1に対応する地図情報M1に含まれる道路情報を用いて、画像P1における歩道部分を注目領域として決定する。
図7は、図5の画像P1に注目領域を重畳した図である。図7に示す画像P1における注目領域は、歩道部分R1及びR2である。なお、図7に示すように、画像P1自体に注目領域(歩道部分R1及びR2)が書き込まれることはなく、画像P1とそれに紐付けされた注目領域の座標データという形で扱われる。
図4を再び参照して、次に、画像P1に注目領域が存在しているか否かの判定が行われる(S23)。注目領域決定部141は、注目領域が存在している場合(S23でYes)、雛形矩形設定部142及び入力画像設定部143に画像P1に対応する画像データ及び注目領域の情報を出力する(S24)。注目領域決定部141は、例えば、雛形矩形設定部142に注目領域の情報を出力し、入力画像設定部143に画像データ及び注目領域の情報を出力してもよい。注目領域の情報とは、例えば、画像P1に紐付けされた注目領域の座標データを含む。注目領域の情報には、注目領域の属性が含まれていてもよい。また、注目領域が1種類である場合、雛形矩形設定部142に出力される注目領域の情報には、注目領域が存在することを示す情報が含まれていれば、注目領域の座標データは含まれていなくてもよい。
また、注目領域決定部141は、注目領域が存在していない場合(S23でNo)、入力画像設定部143に画像データを出力する(S25)。なお、注目領域決定部141は、ステップS23でNoである場合、雛形矩形設定部142に注目領域が存在しなかったことを示す情報を出力してもよい。
雛形矩形設定部142は、注目領域の情報を取得すると、取得した注目領域の情報に応じた雛形矩形(例えば、汎用雛形矩形群142a及び歩道用雛形矩形群142bの少なくとも一方に含まれる雛形矩形)を使用するように、使用する雛形矩形の情報を物体検出部144に出力する。また、入力画像設定部143は、画像データ及び注目領域の情報を取得すると、取得した画像データ及び注目領域の情報を物体検出部144に出力する。
図3を再び参照して、ステップS30以降の処理が行われる。なお、ステップS30以降の処理は、物体検出部144において行われる処理である。例えば、ステップS30~S80の処理は、物体検出部144が入力画像と物体検出のための雛形矩形とを含む入力情報を物体検出モデルに入力することで実行される。なお、本実施の形態では、物体検出部144の検出結果を検出矩形と記載するが、検出結果は矩形領域であることに限定されない。検出結果は、例えば、多角形領域であってもよい。なお、ステップS30~S80は、物体検出モデルに物体検出処理を実行させるステップの一例である。
なお、物体検出部144は、ステップS20及びS30の間に、入力画像設定部143から取得した画像データ(光学センサ110が撮影したカメラ画像)に所定の画像処理を行ってもよい。物体検出部144は、画像データを物体検出に使用する解像度の画像に変更する処理を行ってもよい。物体検出部144は、例えば、処理量を削減するために画像サイズを縮小する処理を行ってもよい。なお、この処理は、例えば、入力画像設定部143からの指示に基づいて行われてもよい。解像度を変更した画像は、入力画像の一例である。また、この処理は、行われなくてもよい。この場合、入力画像設定部143から取得した画像は、入力画像の一例である。
そして、物体検出部144は、入力画像から物体候補矩形を検出する(S30)。物体検出部144は、例えば、ピクセル単位で類似する領域をグルーピングしていくことで候補領域を選出する。つまり、物体検出部144は、似たような特徴を持つ領域を結合していき、1つの物体候補として抽出する。具体的には、物体検出部144は、似たような特徴を持つ領域を結合していき、1つの物体候補を物体候補矩形として抽出する。物体検出部144は、入力画像から物体候補を矩形情報として抽出する。物体検出部144は、例えば、1枚の入力画像から数万個の物体候補矩形を抽出する。
次に、注目領域が存在する場合(S40でYes)、物体検出部144は、汎用雛形矩形群142a及び歩道用雛形矩形群142bを用いて物体候補矩形を絞込む処理を行う(S50)。言い換えると、物体検出部144は、汎用雛形矩形群142a及び歩道用雛形矩形群142bを用いて物体候補矩形提案を行う。ここで、物体候補矩形提案とは、ステップS30で検出された物体候補矩形から、雛形矩形を用いて、物体検出処理を実行する物体候補矩形を抽出することである。すなわち、物体候補矩形提案とは、ステップS30で検出された物体候補矩形の中から、ステップS70以降の処理を行う対象を抽出する処理である。物体候補矩形提案は、その物体候補の中心座標とスケール倍した雛形矩形ごとに物体候補を推論して物体候補群からより所望の物体である可能性が高い物体候補矩形を抽出する処理である。具体的には、ステップS50では、雛形矩形に大きさ及びアスペクト比が近い物体候補矩形が抽出される。
物体検出部144は、注目領域である歩道部分R1及びR2においては、歩道用雛形矩形群142bを用いて物体候補矩形を抽出する。つまり、注目領域である歩道部分R1及びR2においては、歩行者をより精度よく検出するために、人物を検出しやすい歩道用雛形矩形群142bが用いられる。複数の物体候補矩形のうち、当該物体候補矩形の座標データの少なくとも一部が歩道部分R1及びR2の座標データを含む場合には、当該物体候補矩形は、歩道用雛形矩形群142bを用いて抽出される。
また、物体検出部144は、注目領域でない領域(例えば、歩道部分R1及びR2以外の領域)においては、汎用雛形矩形群142aを用いて物体候補矩形を抽出する。つまり、注目領域でない領域においては、歩行者及び車両などを平均的に検出するために、歩道用雛形矩形群142bより多数種類の物体を検出やすい汎用雛形矩形群142aが用いられる。
なお、物体検出部144は、歩道部分R1及びR2に使用する雛形矩形、並びに、その他の領域に使用する雛形矩形を、雛形矩形設定部142の指示に基づき選択する。
物体検出部144は、ステップS50では、数万個(例えば、1万個)の物体候補矩形から数千個(例えば、2千個)の物体候補矩形を抽出する。なお、ステップS50では、物体候補矩形を数千個に絞ることに限定されず、例えば物体検出部144が所定の処理速度で物体検出処理を行うことができる物体候補矩形の数に絞られればよい。所定の処理速度とは、自動運転を行う上で安全上問題ない程度の処理速度であり、例えば、30fps(frame per second)である。
また、注目領域が存在しない場合(S40でNo)、物体検出部144は、汎用雛形矩形群142aを用いて物体候補矩形を絞込む処理を行う(S60)。
次に、物体検出部144は、抽出した物体候補矩形を分類する(S70)。具体的には、物体検出部144は、抽出した物体候補矩形に対して、想定されるクラス(人物、車両、自転車など)に対する信頼度を推論し、分類する。物体検出部144は、歩道部分R1及びR2に存在する物体候補矩形に対しては、歩道用雛形矩形群142bを用いて、当該物体候補矩形の信頼度を推論し、分類する。信頼度の推論とは、例えば、想定されるクラスごとの可能性(確率など)を算出することである。分類とは、例えば、信頼度の推論結果から、想定されるクラス全部の合計が100%となるように、想定されるクラスごとの確率を算出することである。物体検出部144は、例えば、人物60%、車両25%、及び、自転車15%のように合計が100%となるように分類する。なお、物体検出部144は、歩道部分R1及びR2以外に存在する物体候補矩形に対しては、汎用雛形矩形群142aを用いて、当該物体候補矩形の信頼度を推論し、分類する。
そして、物体検出部144は、物体候補矩形の信頼度に対して、閾値処理を行い、物体検出矩形を検出する(S80)。言い換えると、物体検出部144は、物体候補矩形の中から、所定の閾値以上の信頼度を有する矩形を物体検出矩形とする。上記の例であれば、所定の閾値が50%であるとすると、物体候補矩形が示す物体候補が人物であると検出される。なお、所定の閾値は、50%に限定されず、例えば50%以上の値から設定される。
そして、物体検出部144は、検出結果を出力する(S90)。物体検出部144は、例えば、物体検出矩形を、元のカメラ画像(例えば、画像P1)に適応させる処理を実施し、処理を行ったカメラ画像を出力する。物体検出部144は、例えば、図8に示す画像P1を出力する。図8は、本実施の形態に係る検出結果を画像P1に重畳した図である。
図8に示すように、画像P1(カメラ画像)に適応させる処理として、物体検出矩形H1を画像P1に重畳する処理が行われる。物体検出部144は、図8に示す画像P1を例えば、移動体100が備える表示部に表示させてもよい。
なお、本実施の形態では、汎用雛形矩形群142aに含まれる雛形矩形の数と、歩道用雛形矩形群142bに含まれる雛形矩形の数とは、同じである。そのため、ステップS50、S70、及び、S80における物体検出部144の処理量と、ステップS60、S70、及び、S80における物体検出部144の処理量とは、等しい。
なお、上記実施の形態では、物体候補群からの物体候補提案の処理に使用する雛形矩形のスケール倍の範囲が理論的には制限されない例を説明したが、これに限定されない。具体的には、物体候補群に対する雛形矩形のスケール倍の範囲は、光学センサ110からの距離に応じて動的に設定されてもよい。例えば、地図情報M1から図9に示すように距離(例えば、光学センサ110からの距離)が計測できる場合、物体検出部144は、計測された距離を用いて、物体候補矩形提案の処理において使用する雛形矩形のスケール倍の範囲を変更してもよい。例えば、物体検出部144は、地図情報から取得される距離情報に応じて物体雛形矩形のサイズを設定する。なお、ここでいうサイズを設定するとは、雛形矩形のアスペクト比を変えずに大きさを変更することを意味する。また、距離情報は、地図情報から取得されることに限定されない。距離情報は、例えば、移動体100が備える各種センサから取得されてもよい。距離情報は、例えば、光学センサ110がLIDARで実現されている場合、当該光学センサ110により得られる情報であってもよい。図9は、本実施の形態に係る画像データに距離情報を重畳した図である。
図9に示すように、計測された距離に応じてスケール倍の最大値が設定されてよい。光学センサ110からの距離が3mである場合は、6mである場合よりも最大値が大きいスケール倍が用いられてよい。
なお、例えば、専用のプロセッサが、物体検出モデルの情報が記憶されたメモリを参照して、上記の情報処理方法を実行してもよい。
なお、物体検出モデルは、当該物体検出モデルがニューラルネットワーク型の推論器の場合、注目領域の個数及び注目領域のアスペクト比の少なくとも一方によって、検出用ニューラルネットワークを切替える構成でもよい。
以上説明したように、本実施の形態に係る情報処理装置140は、注目領域決定部141と物体検出部144とを備える。注目領域決定部141は、光学センサ110が撮影した画像P1、光学センサ110が搭載される移動体100の位置情報、及び、地図情報を取得する。注目領域決定部141は、位置情報及び地図情報を用いて、画像P1における注目領域を決定する。また、物体検出部144は、注目領域に応じて物体検出モデルの入力情報を決定し、入力情報を用いて物体検出モデルに物体検出処理を実行させる。言い換えると、本実施の形態に係る情報処理装置140は、例えば、光学センサ110から画像P1(センシングデータの一例)を取得し、光学センサ110が搭載される移動体100(物体の一例)の位置情報を取得し、地図情報を取得し、取得した位置情報及び地図情報を用いて、画像P1が撮影された範囲(光学センサ110のセンシング領域の一例)における歩道領域(特定の領域の一例)に対応する、画像P1における注目領域(特定のセンシングデータ領域の一例)を決定し、注目領域に応じて物体検出モデルの入力情報を決定し、当該入力情報を用いて物体検出モデルに物体検出処理を実行させる、ように構成される。
この構成により、注目領域に応じて物体検出モデルの入力情報が決定される。本実施の形態では、注目領域に応じて物体検出モデルに入力される雛形矩形が決定される。物体検出モデルは、注目領域に応じた雛形矩形を用いて物体検出処理を行うことで、当該注目領域における物体検出性能が向上する。したがって、物体検出のための計算リソースの増加を抑制しながら、物体検出性能を向上させることができる。さらに、物体検出部144における処理量の増加が抑制されるので、自動運転車で使用される画像によるリアルタイム物体検出のリアルタイム性の低下、及び、消費電力の増大等の発生を抑制することができる。
(実施の形態2)
以下、本実施の形態に係る情報処理装置について、図10~図13Bを参照しながら説明する。なお、本実施の形態に係る情報処理装置の構成は、実施の形態1に係る情報処理装置140と同様であり、説明を省略する。なお、本実施の形態では、情報処理装置140は、雛形矩形設定部142及び入力画像設定部143のうち、少なくとも入力画像設定部143を有していればよい。また、以下において、実施の形態1の情報処理装置140と同様の処理においては、説明を省略又は簡略化する場合がある。
[2-1.情報処理装置の動作]
本実施の形態に係る情報処理装置140の動作について、図10~図13Bを参照しながら説明する。図10は、本実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。
図10に示すように、まず、情報処理装置140は、光学センサ110から画像データを取得する(S110)。ステップS110は、実施の形態1の図3に示すステップS10と同様であり説明を省略する。
次に、情報処理装置140は、地図情報と測位情報とから画像上の注目領域を決定する(S120)。具体的には、注目領域決定部141が注目領域を決定する。注目領域決定部141が注目領域を決定する動作は、実施の形態1の図3のステップS20(具体的には図4のステップS21~S25)と同様であり、説明を省略する。
雛形矩形設定部142は、画像P1に注目領域が含まれているか否かに関わらず、所定の雛形矩形(予め定められた雛形矩形であり、例えば、汎用雛形矩形群142a)を使用するように、使用する雛形矩形の情報を物体検出部144に出力する。なお、雛形矩形設定部142は、注目領域の情報を取得すると、取得した注目領域の情報に応じた雛形矩形(例えば、汎用雛形矩形群142a及び歩道用雛形矩形群142bの少なくとも一方)を使用するように、使用する雛形矩形の情報を物体検出部144に出力してもよい。以下では、雛形矩形設定部142は、画像P1に注目領域が含まれているか否かに関わらず、汎用雛形矩形群142aを使用するように、物体検出部144に指示する例について説明する。
入力画像設定部143は、注目領域である歩道部分を含む矩形を切り出し、画像の全体領域及び注目領域を当てはめた入力画像を生成するように物体検出部144に指示する。
物体検出部144は、入力画像設定部143からの指示に基づき、入力画像を生成する(S130)。物体検出部144は、画像P1に所定の画像処理を施すことで入力画像を生成する。ステップS130における画像処理は、物体検出部144における処理量を削減するために画像サイズを縮小する処理が含まれる。なお、ステップS130以降の処理は、物体検出部144において行われる処理である。
ここで、物体検出部144における入力画像の生成について、図11を参照しながら説明する。図11は、本実施の形態に係る物体検出部144における入力画像の生成の動作を示すフローチャートである。
図11に示すように、画像に注目領域が存在する場合(S131でYes)、画像データ(画像)を縮小する処理が行われる(S132)。ステップS132では、画像に含まれる注目領域(本実施の形態では、歩道部分)と注目領域以外の領域(以降において、他の領域とも記載する)とが異なる縮小率で縮小される。物体検出部144は、例えば、画像に含まれる注目領域と、当該注目領域及び他の領域を含む全体領域とを、異なる縮小率で縮小してもよい。具体的には、物体検出部144は、注目領域の縮小率を全体領域又は他の領域の縮小率より小さくする。
ステップS132における画像処理について、図12A及び図12Bを参照しながら説明する。図12Aは、本実施の形態に係る注目領域が含まれるときの縮小前の画像P1を示す図である。図12Bは、本実施の形態に係る注目領域が含まれるときの縮小後の画像P11を示す図である。画像P11は、入力画像の一例である。なお、図12A及び図12Bでは、1280ピクセル×720ピクセルの画像サイズの画像P1を600ピクセル×600ピクセルの画像サイズの画像P11に縮小する例について示している。ステップS130では、図12Aに示す画像P1から図12Bに示す画像P11を生成することで、画像サイズをリサイズする。
図12A及び図12Bに示すように、物体検出部144は、画像P1から注目領域である歩道部分R1を含む切出領域R11と、歩道部分R2を含む切出領域R22とを切り出し、切出領域R11及びR22と、切出領域R11及びR22を含む全体領域R33(例えば、画像P1)とから、画像P11を生成する。つまり、画像P11は、注目領域を含む画像(切出領域R11及びR22)と、全体領域R33の画像との合成画像である。切出領域R11は、歩道部分R1を含む領域であれば矩形に限定されず、例えば、多角形であってもよい。切出領域R22は、歩道部分R2を含む領域であれば矩形に限られず、例えば、多角形であってもよい。なお、全体領域R33は、センシング領域の一例である。
物体検出部144は、例えば、全体領域R33を600ピクセル×300ピクセルの画像サイズに縮小し、切出領域R11及びR22を600ピクセル×300ピクセルの画像サイズに縮小する。なお、画像サイズは、切出領域R11及びR22の縮小率が全体領域R33の縮小率より小さければ、上記のサイズに限定されない。また、画像サイズは、切出領域R11及びR22の縮小率が全体領域R33の縮小率より小さくなるように、決定されてもよい。上記のような画像P11における全体領域R33を示す部分は、切出領域R11及びR22を示す部分より解像度が低い。つまり、注目領域部分は、他の領域より画質がよい。なお、切出領域R11及びR22(特定のセンシングデータ領域の一例)及び切出領域R11及びR22以外の他の領域の両方を含む画像は、全体画像の一例である。例えば、全体領域R33の画像は、全体画像の一例である。
なお、画像P11の画像サイズは、画像P1に注目領域が存在しなかった場合に当該画像P1を縮小して得られる画像(例えば、図13Bの画像P22)と等しい。
図11を再び参照して、画像P1に注目領域が存在しない場合(S131でNo)、画像データを一律に縮小する処理が行われる(S133)。ステップS133では、画像データを一律の縮小率で縮小する。
ステップS133における画像処理について、図13A及び図13Bを参照しながら説明する。図13Aは、本実施の形態に係る注目領域が含まれていないときの縮小前の画像P2を示す図である。図13Bは、本実施の形態に係る注目領域が含まれていないときの縮小後の画像P22を示す図である。画像P22は、入力画像の一例である。なお、図13A及び図13Bでは、1280ピクセル×720ピクセルの画像サイズの画像P2を600ピクセル×600ピクセルの画像サイズの画像P22に変更する例について示している。なお、図13Aに示す画像P2が撮影された範囲は、センシング領域の一例である。
図13A及び図13Bに示すように、物体検出部144は、画像P2の全体を縮小して画像P22を生成する。画像P22は、全体において画質が等しい。
図11を再び参照して、ステップS140以降の処理が行われる。なお、ステップS140以降の処理は、物体検出部144において行われる処理である。例えば、ステップS140~S170の処理は、物体検出部144が入力画像と物体検出処理のための雛形矩形とを含む入力情報を物体検出モデルに入力することで実行される。本実施の形態では、入力画像に特徴を有する。物体検出部144は、注目領域と注目領域以外の領域において解像度が異なる画像(例えば、画像P11)を生成し、当該画像を入力画像として物体検出モデルに入力する。入力画像は、例えば、合成された画像であってもよい。
物体検出部144は、入力画像(例えば、画像P11又はP22)から物体候補矩形を検出する(S140)。物体検出部144は、例えば、合成画像である画像P11から物体候補矩形を検出する。なお、物体検出部144は、合成画像から物体候補矩形を抽出することに限定されない。物体検出部144は、注目領域以外の領域の解像度が注目領域よりも低い画像から物体候補矩形を抽出すればよい。また、ステップS140は、実施の形態1の図3のステップS30と同様であり、説明を省略する。
次に、物体検出部144により、雛形矩形を用いて物体候補矩形を絞込む処理(S150)~物体検出矩形を検出する処理(S170)が行われる。物体検出部144は、雛形矩形設定部142から汎用雛形矩形群142aを使用することを示す情報を取得している場合、汎用雛形矩形群142aに含まれる雛形矩形を用いてステップS150~S170の処理を行う。画像P11は、例えば、注目領域を含む画像P1をステップS133のように一律に縮小した場合に比べ、注目領域の解像度が高い。また、画像P11及びP22の画像サイズは、等しい。よって、画像P11を用いることで、物体検出部144の処理量の増加を抑制しながら、注目領域における物体検出性能を向上させることができる。本実施の形態では、注目領域における人物を高精度に検出することができる。
また、物体検出部144は、雛形矩形設定部142から注目領域(歩道部分R1及びR2)に対しては歩道用雛形矩形群142bを使用し、他の領域又は全体領域に対しては汎用雛形矩形群142aを使用することを示す指示を取得している場合、汎用雛形矩形群142a及び歩道用雛形矩形群142bを用いてステップS150~S170の処理を行う。これにより、物体検出部144の処理量の増加を抑制しながら、注目領域における物体検出性能をさらに向上させることができる。本実施の形態では、注目領域における人物をさらに高精度に検出することができる。
なお、本実施の形態では、センシング領域に注目領域が含まれる場合と含まれない場合とで、入力画像の画像サイズは同じである。そのため、ステップS150~S170における物体検出部144の処理量は、センシング領域に注目領域が含まれる場合と含まれない場合とで、等しい。
そして、物体検出部144は、検出結果を出力する(S180)。物体検出部144は、例えば、物体検出矩形を、元のカメラ画像(例えば、画像P1)に適応させる処理を実施し、処理を行ったカメラ画像を出力する。具体的には、物体検出部144は、入力画像の注目領域と全体領域との座標のズレを元の画像データ(画像P1)の座標位置に戻して物体検出矩形を画像P1上に出力する。物体検出部144は、例えば、図8に示す画像P1を出力する。
以上説明したように、本実施の形態に係る情報処理装置140の注目領域決定部141は、イメージセンサを含む光学センサ110からセンシング画像を取得する。そして、入力情報は、センシング画像に基づく画像であって、注目領域以外の他の領域の解像度が注目領域の解像度よりも低い画像を含む。例えば、入力情報は、センシング画像に基づく画像であって、センシング画像から切り出された注目領域の画像と、全体画像との合成画像を含み、全体画像は、注目領域の画像よりも解像度が低くてもよい。
この構成により、情報処理装置140では、注目領域に応じて物体検出モデルの入力情報が決定される。本実施の形態では、注目領域に応じて物体検出モデルに入力される入力画像が決定される。物体検出モデルは、注目領域における解像度が高い画像を用いて物体検出処理を行うことで、当該注目領域における物体検出性能が向上する。したがって、物体検出のための計算リソースの増加を抑制しながら、物体検出性能を向上させることができる。さらに、注目領域の画像と全体画像との両方が物体検出モデルに入力される場合、注目領域の切り出しによる物体の誤検出又は検出漏れの発生を抑制することができる。
(その他の実施の形態)
以上、実施の態様に係る情報処理装置などについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本開示の主旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
例えば、上記実施の形態では、情報処理装置は、移動体に搭載される例について説明したが、これに限定されない。情報処置装置は、移動体の外部に設置されるサーバ装置であってもよい。情報処理装置は、移動体から、画像データ、位置情報等を無線通信により受信し、受信した情報と地図情報とから物体の検出を行い、検出結果を移動体に送信してもよい。
また、上記実施の形態では、物体検出部がニューラルネットワーク型の検出器である例について説明したが、これに限定されない。例えば、物体検出部は、パターンマッチ型の検出器であってもよい。
また、上記実施の形態における雛形矩形設定部は、画像の所定の領域ごとに使用する雛形矩形を設定してもよい。雛形矩形設定部は、注目領域が空であり、画像の上側の領域に注目領域である空が位置することが光学センサの配置及び姿勢等によりわかっている場合、例えば、画像の上半分の領域に空に対応する雛形矩形(例えば、ドローンなどの飛行体を検出しやすい雛形矩形)を使用するとしてもよい。
また、上記実施の形態では、雛形矩形(例えば、汎用雛形矩形群及び歩道用雛形矩形群)は注目領域に応じて決定されていたが、さらに、移動体の外部環境に応じて決定されてもよい。外部環境は、移動体が走行する道路の天候情報、時刻情報等の少なくとも1つを含む。例えば、歩道用雛形矩形群には、天候が晴れ用の歩道用雛形矩形群と雨用の歩道用雛形矩形群とがあり、雛形矩形設定部は、移動体に備えられる各種センサ(例えば、ワイパの動作を検出するワイパセンサ)などのセンシング結果から、どちらの歩道用雛形矩形群を用いるかを決定してもよい。なお、雨用の歩道用雛形矩形群とは、例えば傘をさしている人物などを特定しやすい雛形矩形を含む。
また、上記実施の形態では、汎用雛形矩形群及び歩道用雛形矩形群に含まれる雛形矩形の数が等しい例について説明したが、これに限定されない。歩道用雛形矩形群に含まれる雛形矩形の数は、汎用雛形矩形群に含まれる雛形矩形の数より少なくてもよい。歩道用雛形矩形群は、例えば、車両等の人物以外を検出するための雛形矩形を含んでいなくてもよい。これにより、物体検出部の処理量をさらに減らすことができる。
また、上記実施の形態では、当該実施の形態に係る情報処理装置が自動運転車両に適用される例を説明したが、これに限定されない。例えば、当該情報処理装置は、室内用ロボット、飛行体に適用されてもよい。また、当該情報処理装置は、光学センサを用いた物体検出の代わりに、室内での測位方法(Wi-Fi(登録商標)、BLE(Bluetooth(登録商標) Low Energy)などの近距離無線通信、ビーコン)を用いた物体検出に用いられてもよい。
また、上記実施の形態において説明された複数の処理の順序は一例である。複数の処理の順序は、変更されてもよいし、複数の処理は、並行して実行されてもよい。
また、上記実施の形態で説明した各構成要素は、ソフトウェアとして実現されても良いし、典型的には、集積回路であるLSIとして実現されてもよい。これらは、個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。複数のチップは一つの装置に集約されていてもよし、複数の装置に備えられていてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラムすることが可能なFPGA(Field Programmablegate Array)又は、LSI内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行っても良い。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを1つの機能ブロックとして実現したり、1つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
さらに、本開示の技術は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。例えば、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実施されてもよい。
また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。