JP6672212B2 - 情報処理装置、車両、情報処理方法およびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、車両、情報処理方法およびプログラムに関する。

カメラによる撮像で得られた画像に含まれる複数の画素ごとに属性を識別するSemantic Segmentation技術に関して、属性の識別結果に対する確からしさ（信頼度）を算出する方法が知られている。

例えば、畳込ニューラルネットワークにおいて、テスト時にユニットをサンプリングして取り除くことにより、１つの入力画像から多数の属性識別結果を生成し、属性識別結果の平均値を属性とし、分散値を属性の信頼度として出力する技術が知られている。

Bayesian SegNet Model Uncertainty in Deep Convolutional Encoder-Decorder Architectures for Scene Understanding,CVPR2015

しかしながら、上述した従来の技術では、１つの入力画像に対してネットワークのユニット除去(ドロップアウト)による属性識別を複数回実施するために処理量が多い上、１つの画像のみを用いて信頼度を算出する方式であるため、十分な精度を得ることが困難であるという問題がある。

実施形態の情報処理装置は、取得部と属性判定部と設定部とを備える。取得部は、移動体の周囲の観測情報を複数取得する。属性判定部は、複数の観測情報に基づいて、移動体の周囲の属性情報を複数生成する。設定部は、複数の属性情報の相関に基づいて、移動体の周囲の属性情報の信頼度を設定する。

第１の実施形態の情報処理装置を説明するための図。 第１の実施形態の情報処理装置の構成を示す図。 第１の実施形態の撮像画像の一例を示す図。 第１の実施形態の属性情報の一例を示す図。 第１の実施形態の属性情報の生成方法の一例を説明するための図。 第１の実施形態の属性情報の一例を示す図。 第１の実施形態の対応領域の探索方法を説明するための図。 第１の実施形態の対応領域の一例を示す図。 第１の実施形態の各領域の属性と信頼度との関係を説明するための図。 第１の実施形態の情報処理装置の動作例を示す図。 第２の実施形態の属性情報の一例を示す図。 第３の実施形態の情報処理装置の構成を示す図。 第３の実施形態の確率情報の一例を示す図。 第３の実施形態の情報処理装置の動作例を示す図。 第４の実施形態の情報処理装置の構成を示す図。 第５の実施形態の情報処理装置の構成を示す図。 変形例の情報処理装置の構成を示す図。

以下、添付図面を参照しながら、実施形態に係る情報処理装置、車両、情報処理方法およびプログラムの実施形態を詳細に説明する。

（第１の実施形態）
図１に示すように、本実施形態の情報処理装置１０は車両に搭載される。情報処理装置１０は、例えば専用又は汎用コンピュータである。なお、例えば情報処理装置１０は車両には搭載されずに、クラウド上で情報処理装置１０による処理が実行される形態であってもよい。また、情報処理装置が搭載される移動体の種類は車両に限らず任意であり、例えばロボットやドローンなどであってもよい。なお、情報処理装置１０が搭載される車両は、例えば人による運転操作を介して走行する通常の車両であってもよいし、人による運転操作を介さずに自動的に走行することができる（自律走行することができる）自動運転車両であってもよい。本実施形態では、情報処理装置１０が搭載される車両は自動運転車両である場合を例に挙げて説明する。

図２は、本実施形態の情報処理装置１０の構成の一例を示す図である。図２に示すように、情報処理装置１０は、処理回路１００、記憶回路２０、通信部３０、各部を接続するバス４０を備える。

処理回路１００は、取得機能１００ａ、属性判定機能１００ｂ、設定機能１００ｃを備える。これらの各処理機能の具体的な内容については後述する。なお、図２の例では、本実施形態に関する機能を主に例示しているが、処理回路１００が有する機能はこれらに限られるものではない。

情報処理装置１０にて行われる各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路２０へ記憶されている。処理回路１００はプログラムを記憶回路２０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。各プログラムを読み出した状態の処理回路１００は、図２の処理回路１００内に示された各機能を有することになる。

なお、図２においては単一の処理回路１００にて、取得機能１００ａ、属性判定機能１００ｂ、設定機能１００ｃにて行われる処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１００を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。各処理機能がプログラムとして構成され、１つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。

なお、処理回路１００が有する取得機能１００ａは「取得部」の一例であり、属性判定機能１００ｂは「属性判定部」の一例であり、設定機能１００ｃは「設定部」の一例である。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））の回路を意味する。プロセッサは記憶回路２０に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路２０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

記憶回路２０は、処理回路１００が行う各処理機能に伴うデータ等を必要に応じて記憶する。本実施形態の記憶回路２０は、プログラムと、各種の処理に用いられるデータと、を記憶する。例えば、記憶回路２０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。また、記憶回路２０は、情報処理装置１０の外部の記憶装置で代替されてもよい。記憶回路２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体であってもよい。また、記憶媒体は１つに限られず、複数の媒体から、上述した実施形態における処理が実行される場合も、実施形態における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。

通信部３０は、有線または無線で接続された外部装置と情報の入出力を行うインタフェースである。通信部３０は、ネットワークに接続して通信を行ってもよい。

入力装置５０は、操作者（この例では運転者）からの各種指示や情報入力を受け付ける。入力装置５０は、例えば、マウスやトラックボール等のポインティングデバイス、あるいはキーボード等の入力デバイスである。

ディスプレイ６０は、車両に関する各種の情報を表示する。ディスプレイ６０は、例えば、液晶表示器等の表示デバイスである。

センサ７０は、自動運転を実現するための外界認識センサである。センサ７０には、音波によって物体を探知するソナー、車両周辺の奥行き方向の情報を取得するためのステレオカメラ、周囲の状況から走行している場所を正確に特定するための位置特定用カメラ、車両周辺に存在する物体までの距離を測定するためのミリ波レーダーやレーザーセンサ、車両の位置を取得するポジションセンサーなどが含まれるが、これらに限られるものではない。本実施形態では、センサ７０として、自車両の周囲を撮像するための撮像部（カメラ）が少なくとも搭載されている。

車両制御部８０は、車両を自動的に運転するために、センサ７０から得られる情報や、後述する処理で得られる障害物マップに基づいて周辺の状況を判断して、アクセル量、ブレーキ量、操舵角などの制御を行う。具体的には、障害物を避けて現在走行中の車線を保ち、かつ前方車両との車間距離を所定距離以上保つように車両の制御を行う。

本実施形態の入力装置５０、ディスプレイ６０、センサ７０、車両制御部８０は、有線または無線で情報処理装置１０に接続している。

次に、処理回路１００が有する各機能について説明する。取得機能１００ａは、移動体（この例では車両）の周囲の観測情報を複数取得する。また、取得機能１００ａは、観測位置を示す位置情報を取得する。より具体的には、取得機能１００ａは、自車両の周囲を観測した結果を示す上述の観測情報と、観測位置を示す位置情報との組み合わせを示す第１の組を複数取得する。本実施形態の観測情報は、車両の周囲を撮像する撮像部による撮像で得られた撮像画像である。この例では、撮像部は車両に取り付けられるので、観測位置（撮像位置）を示す位置情報は、自車両の位置と姿勢を示す情報（自己位置姿勢情報）に相当する。なお、撮像とは、レンズなどの光学系により結像された被写体の像を、電気信号に変換することを指す。

本実施形態の取得機能１００ａは、撮像部による撮像が行われるたびに、該撮像により得られた撮像画像と、撮像位置を示す位置情報（この例では車両の自己位置姿勢情報）との組（第１の組）を取得する。つまり、取得機能１００ａは、複数の第１の組を時系列に取得するが、これに限らず、例えば複数の撮像部が異なる位置に設けられ（例えば車両外に設けられ）、同じタイミングで複数の撮像部と１対１に対応する複数の第１の組（撮像画像と撮像位置を示す位置情報との組）を取得する形態であってもよい。要するに、取得機能１００ａは、自車両の周囲を観測した結果を示す観測情報（この例では撮像画像）と、観測位置を示す位置情報との組み合わせを示す第１の組を観測の条件を変えて複数取得する形態であればよい。取得機能１００ａは、取得した第１の組に含まれる撮像画像および位置情報を属性判定機能１００ｂへ渡す。

図３は、撮像画像の一例を示す図である。図３に示す撮像画像は、自車両の前方を撮像して得られる撮像画像であり、車道、車道の脇の歩道、駐車車両（他の車両）、建物などが映り込んでいる。本実施形態の取得機能１００ａは、自車両に取り付けられた撮像部による撮像で、図３のような自車両の走行に関わる範囲を撮像した撮像画像を時系列に取得（複数の撮像画像を時系列に取得）する。

上述したように、本実施形態では、撮像位置を示す位置情報は、撮像部が取り付けられた車両（自車両）の位置と姿勢を示す情報（自己位置姿勢情報）となり、車両に搭載されたＧＰＳを用いて、自車の位置を表す座標情報を取得し、同様に車両に搭載されたＩＭＵ(Inertial Measurement Unit)を用いて、自車の姿勢情報を取得することができる。なお、自車両の位置を表す座標情報は、ある位置を基準としたワールド座標（世界座標）であるとする。

処理回路１００が有する機能の説明を続ける。属性判定機能１００ｂは、観測情報（この例では撮像画像）に基づいて、車両の周囲を分割して得られる複数の領域ごとに該領域の属性を示す属性情報（属性マップ）を生成する。より具体的には、属性判定機能１００ｂは、観測情報（この例では撮像画像）に基づいて、車両の周囲を分割して得られる複数の領域ごとに属性を判定して上述の属性情報を生成し、その生成した属性情報と位置情報との組み合わせを示す第２の組を生成する。「属性」とは、複数のカテゴリに分類した情報を表し、ここでのカテゴリとしては、一例として、車道、歩道、白線、車両、建物、歩行者、信号機などが挙げられるが、これらに限られるものではない。例えばカテゴリとして、走行可能、走行不可能、不明などの自車両の走行可否を表すステータスを採用してもよい。

この例では、属性判定機能１００ｂは、撮像画像に映り込んだオブジェクトに対して、画素レベルで属性を判定（識別）する。この属性判定（属性識別）は、機械学習を用いることで実現可能である。機械学習を用いた画像の属性識別については一般に多くの方式が知られており、例えばJ.Long, et.al,‘‘Fully Convolutional Networks for Semantic Segmentation’’, CVPR2015やV.Badrinarayanan, et. al, ‘‘SegNet: A Deep Convolutional Encoder-Decoder Architecture for Robust Semantic Pixel-Wise Labelling’’, CVPR2015などの方式を用いることで、画素レベルで属性を判定（識別）することができる。方式の詳細については各文献を参照されたい。

以上に例示した公知の方法を用いて、属性判定機能１００ｂは、図３の撮像画像に含まれる画素ごとに、該画素の属性を判定する。そして、各画素の画素値を、判定した属性を表す値に設定することで、図４に示すような属性情報を生成する。

ここでは、属性判定機能１００ｂは、撮像部と道路面との位置関係を示す位置関係情報を保持しており、属性判定機能１００ｂは、この位置関係情報に基づいて、属性情報を道路面に投影した後、道路面の上方から見た画像（上面画像）に変換する。道路面に投影した画像から上面画像への変換は、一般的にInverse Perspective Mappingと呼ばれ広く知られた方法を用いることで実現可能である。Inverse Perspective Mappingの概要について、図５を用いて説明する。ここでは、進行方向をｚ軸、高さ方向をｙ軸、ｚ軸とｙ軸に直交する方向をｘ軸とする。道路面を上方から見た際に道路面上を矩形に分割した領域の座標を（ｘｉ、ｚｉ)とする。撮像部の道路面に対する位置姿勢は既知であるため、撮像部と道路面との位置関係情報を用いた透視投影変換によって、領域の座標(ｘｉ、ｚｉ)に対応する撮像画像の画素ｐ１を求めることができる。同様に、上面画像（上面図）の視点として指定した位置と道路面との位置関係情報を用いた透視投影変換を行うことで、領域の座標（ｘｉ、ｚｉ）に対応する上面画像の画素ｐ２を求めることができる。上面画像の画素ｐ２の画素値として撮像画像の画素ｐ１の画素値を割り当てることで、上面画像の各画素の画素値を設定することができる。

図６は、図４の属性情報を上面画像に変換した画像を示す図である。撮像画像から生成された属性情報が、上方から路面を見下ろしたときの視点に対応する画像（上面画像）に変換されている。ここでは、この上面画像（矩形領域のサイズ、位置、個数、各矩形領域の属性を特定可能）が属性情報として設定機能１００ｃへ送られる。

設定機能１００ｃは、複数の属性情報の相関に基づいて、移動体の周囲の属性情報の信頼度を設定する。また、設定機能１００ｃは、位置情報に基づいて、同じ位置に相当する領域に対する複数の属性情報から、該領域における信頼度を設定する。本実施形態では、設定機能１００ｃは、複数の属性情報を用いて、対象となる属性情報が示す領域の属性と、その他の１以上の属性情報において該領域に対応する領域を示す１以上の対応領域の属性との相関から、該領域の属性の信頼度を設定する。本実施形態では、設定機能１００ｃは、複数の第２の組に基づいて、対象となる第２の組に含まれる属性情報が示す領域の属性と、その他の１以上の第２の組における対応領域の属性との相関から、該領域の属性の信頼度を設定する。より具体的には、設定機能１００ｃは、複数の第２の組を用いて、対象となる第２の組に対応する複数の領域ごとに、該領域の属性と、その他の１以上の第２の組ごとの複数の領域のうち該領域に対応する領域を示す１以上の対応領域の属性との相関から、該領域の属性の信頼度を設定する。本実施形態では、設定機能１００ｃは、属性判定機能１００ｂから第２の組を受け取るたびに、該受け取った第２の組（対象となる第２の組）と、過去に受け取ったＮ個の第２の組とを用いて、対象となる第２の組に含まれる属性情報に対応する複数の領域（対象となる第２の組が取得された時点において自車両の周囲を分割して得られる複数の領域であると考えることができる）ごとに、該領域の属性と、過去に受け取ったＮ個の第２の組と１対１に対応するＮ個の属性情報ごとの複数の領域のうち該領域に対応する１以上の対応領域の属性との相関から、該領域の属性の信頼度を設定する。以下、具体的な内容を説明する。

設定機能１００ｃは、まず、最新の第２の組に含まれる属性情報の各領域に対して、過去のＮ個の第２の組と１対１に対応するＮ個の属性情報ごとに、該属性情報に対応する位置情報（自己位置姿勢情報）と、最新の第２の組に含まれる位置情報とを用いて、該領域と同じ位置に相当する領域（対応領域）を探索し、その属性を特定する。つまり、設定機能１００ｃは、位置情報に基づいて、対象となる第２の組以外の１以上の第２の組（その他の１以上の第２の組）ごとの複数の領域のうち、対象となる第２の組が示す領域と同じ位置に相当する領域を対応領域とする。図７を用いて詳細に説明する。図７は、時刻ｔ−１、および、時刻ｔの各々において、自車両を中心とする周囲の空間を分割して得られる複数の領域を示している。時刻ｔ−１の領域Ｎ_ｔ−１と時刻ｔの領域Ｎ_ｔは、それぞれの時刻で自車両からの相対位置は異なるが、ワールド座標系においては同じ位置を示している。時刻ｔと、その直前の時刻である時刻ｔ−１との間の自車両の移動量を位置情報から算出し、自車両の移動量に基づいて時刻ｔにおける各領域に対応する時刻ｔ−１における領域を求める。図７の例では、時刻ｔの領域Ｎ_ｔに対応する時刻ｔ−１の領域Ｎ_ｔ−１を求める。説明の便宜上、図７の例では、最新の第２の組が取得される直前の１つの第２の組に含まれる属性情報における対応領域を求めたが、これに限らず、過去に取得された複数の第２の組（属性情報）にわたって対応領域を求め、その属性を取得することができる。

次に、設定機能１００ｃによる信頼度の設定方法を説明する。本実施形態の設定機能１００ｃは、複数の属性情報の相関が高いほど信頼度を高い値に設定し、複数の属性情報の相関が低いほど信頼度を低い値に設定する。より具体的には、設定機能１００ｃは、対象となる第２の組が示す領域の属性と、１以上の対応領域の属性との相関が高いほど該領域に対応する信頼度を高い値に設定し、対象となる第２の組が示す領域の属性と、１以上の対応領域の属性との相関が低いほど該領域に対応する信頼度を低い値に設定する。より具体的には、設定機能１００ｃは、対象となる第２の組が示す領域の属性と同じ属性を示す対応領域の数が多いほど該領域に対応する信頼度を高い値に設定し、対象となる第２の組が示す領域の属性と同じ属性を示す対応領域の数が少ないほど該領域に対応する信頼度を低い値に設定する。ここでは、設定機能１００ｃは、対象となる第２の組に対応する複数の領域の各々について、該領域の属性と同じ属性を示す対応領域の数が多いほど該領域に対応する信頼度を高い値に設定し、該領域の属性と同じ属性を示す対応領域の数が少ないほど該領域に対応する信頼度を低い値に設定する。

図８を用いて、信頼度の算出方法を詳細に説明する。図８は、連続する時刻ｔ−２、ｔ−１、ｔにおける自車両の周囲を分割して得られる複数の領域の各々の属性を示した図である。図８において、「白」で表示された領域は属性が車道と識別された領域を示し、「網掛け」で表示された領域は属性が車道以外と識別された領域を示す。図８の例では、領域１は、時刻ｔ−２、ｔ−１、ｔのいずれにおいても属性が車道と識別されている。一方で、領域２は、時刻ｔ−２、ｔ−１では属性が車道以外と識別されているが、時刻ｔでは、属性が車道と識別されている。撮像画像に対する属性識別に関しては、同じ属性を示す領域の内側に存在する領域については属性識別の難易度は低く時系列に正しい属性を取り易い傾向があるのに対して、異なる属性を示す領域の境界付近に存在する領域は、属性識別の難易度は高く誤識別が起こり易いため、時系列に属性が変化し易い傾向がある。そこで、現時刻（最新の第２の組を取得した時刻）の各領域の属性に対して、予め定めた過去Ｎ個分の第２の組（属性情報）に対応する各時刻において、ワールド座標系で該領域と同じ位置に相当する領域の属性が、同じ属性である回数が多いほど現時刻の当該領域の属性の信頼度を高く設定する。一方で、予め定めた過去Ｎ個分の第２の組に対応する各時刻において、ワールド座標系で現時刻の領域と同じ位置に相当する領域の属性が、現時刻の領域の属性と同じ属性である回数が少ないほど現時刻の領域の属性の信頼度を低く設定する。例えば、現時刻のある領域の属性がＬ１である場合の属性Ｌ１の信頼度Ｃ_Ｌ１は、過去Ｎ個分の第２の組に対応する各時刻において対応領域の属性もＬ１であった回数をＮ_Ｌ１とすると、以下の式１で算出することができる。

なお、図８に示すように、各領域の属性が２種類の場合は、０または１の属性値を与え、各領域において過去の属性値の平均値を保持することで、過去Ｎ個分の属性情報を全て保持しなくても信頼度を算出することができる。この場合は、時刻ｔにおける属性値をＬ（ｔ）、時刻ｔ−１までの過去Ｎフレームの属性値の平均値をＬ’（ｔ−１）とすると、時刻ｔの信頼度Ｃ（ｔ）は以下の式２で算出することができる。

次に、図９を用いて、各領域における属性と信頼度との関係について説明する。図９（Ａ）に示すシーンにおいて、自車両の周囲の領域の属性と信頼度を求める。図９(Ａ)に示すシーンは、自車両が走行する車道とその両脇に歩道が存在するシーンである。図９（Ｂ）は、図９（Ａ）に示すシーンに対して正しい属性を教示した結果を示す図である。各領域に対して、車道に相当する領域は車道を示す属性に対応する表示(図９では「白」で表示)で示され、歩道に相当する領域は歩道を示す属性に対応する表示(図９では「網掛け」で表示)で示されている。これに対して、図９（Ｃ）は、属性判定機能１００ｂが機械学習を用いて各領域の属性を識別した結果を示す図である。図９（Ｂ）と比較すると、車道と歩道の境界付近に位置する領域において、誤識別が発生している。この傾向は異なるタイミングでの撮像により得られた撮像画像に対する属性の識別結果に対しても同様である。図９（Ｄ）は、これらの識別結果に基づいて領域ごとに設定した信頼度を示す図である。上述したように、本実施形態の設定機能１００ｃは、各領域の属性の時系列な相関に基づいて各領域の信頼度を設定するため、時系列に識別結果が安定する車道中央付近や車道から離れた歩道では信頼度が高い値に設定（図９では「白」で表示）されている一方で、時系列に識別結果が不安定な車道と歩道の境界付近の領域では信頼度が低い値に設定(図９では「灰色」で表示)されている。図９の例では、属性が車道と歩道の２種類の場合について説明したが、属性が３種類以上である場合であっても、同様に各領域の属性の時系列な相関に基づいて信頼度を設定することが可能である。以上のようにして、設定機能１００ｃは、対象となる第２の組に含まれる属性情報に対応する複数の領域ごとに信頼度を設定することができる。

なお、本実施形態では、各領域の属性の時系列な相関に基づいて各領域の信頼度を設定しているが、例えば取得機能１００ａが同じタイミングで複数の第１の組（撮像画像と位置情報との組）を取得する形態についても以上に説明した方法（信頼度を設定する方法）を適用することができる。この場合、設定機能１００ｃは、同じタイミングで複数の第２の組を取得するので、その取得した複数の第２の組のうちの何れかを対象となる第２の組とし、以上に説明した方法により、対象となる第２の組に含まれる属性情報に対応する複数の領域ごとに信頼度を設定することができる。以上のように、それぞれの観測条件が異なる複数の第２の組を用いて、対象となる第２の組に対応する複数の領域の各々の信頼度を設定することにより、各領域の信頼度の算出精度を向上させることができる。

図１０は、以上に説明した情報処理装置１０（処理回路１００）の動作例を示すフローチャートである。各ステップの具体的な内容は上述したとおりであるので、詳細な説明は適宜に省略する。まず取得機能１００ａ、撮像画像と自己位置姿勢情報とを取得（第１の組を取得）する（ステップＳ１）。次に、属性判定機能１００ｂは、ステップＳ１で取得された撮像画像に基づいて、自車両の周囲を分割して得られる複数の領域ごとに属性を判定し、該複数の領域の各々の属性を示す属性情報を生成する（ステップＳ２）。次に、設定機能１００ｃは、ステップＳ２で生成された属性情報に対応する複数の領域ごとに、該領域の属性の時系列な相関に基づいて信頼度を設定する（ステップＳ３）。

以上に説明したように、本実施形態では、複数の第２の組に基づいて、対象となる第２の組が示す領域の属性と、その他の１以上の第２の組ごとの該領域に対応する領域を示す１以上の対応領域の属性との相関から、該領域の属性の信頼度を設定する。これにより、１つの入力画像（撮像画像）に対して属性を識別するための処理を複数回繰り返す必要は無い上、１つの入力画像のみを用いて信頼度を算出する方式に比べて、信頼度の算出精度を向上させることができる。すなわち、本実施形態によれば、自車両の周囲の各領域の属性の信頼度を、少ない処理量で精度良く算出することができる。

（第２の実施形態）
次に、第２の実施形態について説明する。上述の第１の実施形態と共通する部分については適宜に説明を省略する。本実施形態では、取得機能１００ａにより取得される観測情報は、自車両の周囲に存在する物体の位置を示す情報である点で上述の第１の実施形態と相違する。

この例では、電波を自車両の周囲に放射し、物体からの反射波と放射波を比較することにより自車両から物体までの距離を計測する距離センサが自車両に取り付けられている。そして、取得機能１００ａは、距離センサによって計測された、自車両の周囲に存在する物体の位置情報と、計測位置を示す位置情報（この例では車両の自己位置姿勢情報）との組み合わせを第１の組として取得する。

ここでは、取得機能１００ａは、自車両の走行に応じて異なる時刻で、自車両の周囲に存在する物体の位置情報（３次元情報）を取得する場合について説明するが、物体の位置情報は、車両に搭載された距離センサが計測した情報でもよいし、通信手段によって外部から取得された情報でもよい。なお、物体（点）の位置情報は計測位置を基準とした相対的な位置を示す情報として取得される。さらに、取得機能１００ａは、上述の第１の実施形態と同様に物体の位置情報が計測されたときの距離センサの位置情報を取得する。上述したように、本実施形態では、車両に搭載された距離センサを用いて物体の位置情報を計測するので、第１の実施形態と同様に、取得機能１００ａは、車両に搭載されたＧＰＳやＩＭＵを用いて、自己位置姿勢情報を取得する。以上のようにして、取得機能１００ａは、時系列に複数の第１の組を取得し、第１の組を取得するたびに、その取得した第１の組に含まれる位置情報（自車両の周囲に存在する物体の位置を示す情報）をおよび自己位置姿勢情報（計測位置を示す情報に相当）を属性判定機能１００ｂへ渡す。

属性判定機能１００ｂは、取得機能１００ａから渡された位置情報を元に、そのときの自車両の周囲を分割して得られる複数の領域ごとに属性を判定し、該複数の領域の各々の属性を示す属性情報と自己位置姿勢情報との組み合わせを示す第２の組を生成する。ここでの属性は自車両の走行可否を表す情報であり、属性判定機能１００ｂは、自車両の周囲の空間に対して、複数の角度方向（自車両からの角度方向）ごとに、自車両から最も近い位置に存在する物体に対応する点を含む領域については障害物が存在すると判断し、走行不可能を表す属性を設定する。また、各角度方向において、自車両から最も近い位置に存在する点が含まれる領域よりも自車両に近い領域については障害物が存在しないと判断し、走行可能を表す属性を設定する。さらに、各角度方向において、自車両から最も近い位置に存在する点が含まれる領域よりも自車両から遠い領域については障害物に遮蔽されて判断できないとして、不明を表す属性を設定する。

図１１を用いて、自車両の周囲を分割して得られた複数の領域と、各領域に対して設定された属性について説明する。図１１（Ａ）は自車両が塀に囲まれた丁字路に差し掛かったシーンにおいて計測された物体（自車両の周囲に存在する物体）の点を示している。図１１（Ａ）のシーンにおいて、自車両の周囲を分割して得られる複数の領域ごとに属性を判定し、判定した属性を設定した結果（つまり属性情報）の一例を図１１（Ｂ）に示す。図１１（Ｂ）に示すように、塀に相当する点を含む領域は走行不可能であることを表す属性が設定され、自車両と、走行不可能であることを表す属性が設定された領域との間に位置する領域は走行可能であることを表す属性が設定され、走行不可能であることを表す属性が設定された領域で遮蔽される領域は不明であることを表す属性が設定されている。図１１の例では、属性は、走行可能、走行不可能および不明の３種類のカテゴリに分類した情報であるが、不明は走行不可能とみなして、走行可能と走行不可能の２種類のカテゴリに分類する情報であってもよい。

以上のようにして、属性判定機能１００ｂは、取得機能１００ａから位置情報および自己位置姿勢情報を受け取るたびに、第２の組を生成し、その生成した第２の組を設定機能１００ｃへ送る。設定機能１００ｃの機能は上述の第１の実施形態と同様であるので詳細な説明は省略する。

（第３の実施形態）
次に、第３の実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。

図１２は、本実施形態の情報処理装置１０の構成の一例を示す図である。図１２に示すように、処理回路１００は、確率算出機能１００ｄと決定機能１００ｅをさらに備える。

また、本実施形態では、自車両の周囲を観測するための複数のセンサが自車両に取り付けられている。この例では、第１の実施形態で説明した撮像部と、第２の実施形態で説明した距離センサとが自車両に取り付けられているが、これに限られるものではない。例えば特性（パラメータ等）が異なる２以上の撮像部が自車両に取り付けられてもよいし、特性が異なる２以上の距離センサが自車両に取り付けられてもよい。また、例えば同じ特性または異なる特性の２以上の撮像部が車両外の異なる位置に設けられてもよいし、同じ特性または異なる特性の２以上の距離センサが車両外の異なる位置に設けられてもよい。そして、取得機能１００ａは、複数のセンサごとに、観測情報（例えば撮像画像や物体の位置情報など）と観測位置（例えば自己位置姿勢情報など）を示す位置情報との組み合わせを示す第１の組を時系列に取得する。要するに、取得機能１００ａは、複数のセンサごとに複数の第１の組を取得する形態であればよい。この例では、取得機能１００ａは、複数のセンサごとの第１の組を取得するたびに、その取得した第１の組に含まれる観測情報および自己位置姿勢情報を属性判定機能１００ｂへ送る。

属性判定機能１００ｂは、複数のセンサごとに、該センサに対応する第１の組に含まれる観測情報に基づいて、自車両の周囲を分割して得られる複数の領域ごとに属性を判定し、該複数の領域の各々の属性を示す属性情報と自己位置姿勢情報との組み合わせを示す第２の組を生成し、生成した第２の組を設定機能１００ｃおよび確率算出機能１００ｄの各々へ送る。なお、例えば属性判定機能１００ｂは、確率算出機能１００ｄに対しては、属性情報のみを送る形態であってもよい。属性情報の生成方法の具体的な内容は上述の各実施形態で説明したとおりである。

設定機能１００ｃは、複数のセンサごとに、該センサに対応する複数の第２の組（属性情報と位置情報との組）を用いて、対象となる第２の組に対応する複数の領域ごとに、該領域の属性と、上述した１以上の対応領域の属性との相関から、該領域の属性の信頼度を設定する。具体的な内容は上述の各実施形態で説明したとおりである。つまり、設定機能１００ｃは、複数のセンサごとに、各領域の信頼度を示す信頼度情報（複数のセンサと１対１に対応する複数の信頼度情報）を生成し、生成した信頼度情報を決定機能１００ｅへ送る。

確率算出機能１００ｄは、属性情報に基づいて、自車両の周囲を分割して得られる複数の領域ごとに、自車両が該領域を走行可能な確率を示す走行可能確率を算出する。この例では、確率算出機能１００ｄは、属性判定機能１００ｂから属性情報を受け取るたびに、その受け取った属性情報に対応する複数の領域ごとに、該領域の属性に基づいて、該領域の走行可能確率を算出する。ここでは、各領域の走行可能確率は、各領域に物体が存在する確率(障害物存在確率)と同義であると考えてもよいが、障害物存在確率が高いほど、走行可能確率は低くなるという関係になる。例えば走行可能確率と障害物存在確率との関係は以下の式３で表すことができる。式３において、ｐ_ｆｒｅｅは走行可能確率を表し、ｐ_ｏｂｓｔは障害物存在確率を表す。

確率算出機能１００ｄは、複数のセンサごとに、各領域の走行可能確率を示す確率情報を生成し、その生成した確率情報を決定機能１００ｅへ送る。

例えば上述の第１の実施形態で説明したように、属性情報は、各領域に対して、車道、歩道、白線、車両、建物、歩行者、信号機などを表す属性が設定される形態である場合を想定する。この例では、確率算出機能１００ｄは、属性が車道と識別（判定）された領域のみ物体（障害物）が存在せずに自車両が走行可能であるとして、走行可能確率を最大値（１．０）に設定し、属性が車道以外と識別された領域は自車両が走行不可能であるとして、走行可能確率を最小値（０．０)に設定する。なお、属性情報から走行可能確率への変換については、最小値（０．０）と最大値（１．０）の２択ではなく、識別結果に従って、走行可能確率の値が多段階に設定されてもよい。要するに、確率算出機能１００ｄは、属性が車道である領域の走行可能確率を、属性が車道以外である領域の走行可能確率よりも高い値に算出することができる。図１３は、図６の属性情報を確率情報に変換した例を示す図であり、図６において属性が車道と識別された領域の走行可能確率は最大値（１．０）に設定され（図１３では「白」で表示）、図６において属性が車道以外と識別された領域の走行可能確率は最小値（０．０）に設定される（図１３では「黒」で表示）。

また、例えば上述の第２の実施形態で説明したように、属性情報は、各領域に対して、走行可能、走行不可能、不明を表す属性が設定される形態である場合を想定する。この例では、確率算出機能１００ｄは、属性が走行可能と識別（判定）された領域の走行可能確率を最大値（１．０）に設定し、属性が不明と識別（判定）された領域の走行可能確率を中間値（０．５)に設定し、属性が走行不可能と識別（判定）された領域の走行可能確率を最小値（０．０）に設定することができる。

以上のようにして、確率算出機能１００ｄは複数のセンサの各々に対応する属性情報に基づいて、上述の確率情報を生成する。つまり、複数のセンサごとに確率情報を生成し、生成した確率情報を決定機能１００ｅへ送る。

決定機能１００ｅは、複数のセンサごとに、上述の確率情報と上述の信頼度情報とを取得し、複数のセンサごとの確率情報および信頼度情報に基づいて、自車両の周囲を分割して得られる複数の領域の各々の走行可能確率の最終確率を決定する。なお、複数のセンサごとの確率情報および信頼度情報に対応する複数の領域（自車両の周囲を分割して得られる複数の領域）の数、各領域のサイズおよび位置は互いに対応している（ただし、完全に一致していなくてもよい）。

例えば決定機能１００ｅは、自車両の周囲を分割して得られる複数の領域ごとに、最も信頼度が高いセンサに対応する走行可能確率を、最終確率として決定することができる。例えばセンサの数が２つの場合、最終確率は以下の式４で算出することができる。式４において、ｐ_ｆｒｅｅは最終確率を表し、ｐ１_ｆｒｅｅは一方のセンサ（「センサ１」と称する）に対応する走行可能確率を表し、ｐ２_ｆｒｅｅは他方のセンサ（「センサ２」と称する）に対応する走行可能確率を表し、ｃ１はセンサ１に対応する信頼度を表し、ｃ２はセンサ２に対応する信頼度を表す。

また例えば決定機能１００ｅは、自車両の周囲を分割して得られる複数の領域ごとに、複数のセンサごとの信頼度に応じて、複数のセンサごとの走行可能確率の重み付き加算を行って最終確率を決定することもできる。例えばセンサの数が２つの場合、最終確率は以下の式５で算出することもできる。式５において、ｐ_ｆｒｅｅは最終確率を表し、ｐ１_ｆｒｅｅは一方のセンサ（「センサ１」と称する）に対応する走行可能確率を表し、ｐ２_ｆｒｅｅは他方のセンサ（「センサ２」と称する）に対応する走行可能確率を表し、ｗ１はセンサ１の重みを表し、ｗ２はセンサ２の重みを表す。センサ１の重みｗ１は、ｃ１／（ｃ１＋ｃ２）で表され、センサ２の重みｗ２はｃ２／（ｃ１＋ｃ２）で表される。ｃ１はセンサ１に対応する信頼度を表し、ｃ２はセンサ２に対応する信頼度を表す。

以上のようにして、決定機能１００ｅは、複数の領域ごとに最終確率を決定し、複数の領域ごとに該領域の最終確率を示す障害物マップを得ることができる。

図１４は、本実施形態の情報処理装置１０（処理回路１００）の動作例を示すフローチャートである。各ステップの具体的な内容は上述したとおりであるので、詳細な説明は適宜に省略する。まず取得機能１００ａは、複数のセンサごとに上述の第１の組（観測情報と位置情報との組み合わせ）を取得する（ステップＳ１１）。次に、属性判定機能１００ｂは、複数のセンサごとに、該センサに対応する観測情報に基づいて、自車両の周囲を分割して得られる複数の領域ごとに属性を判定し、該複数の領域の各々の属性を示す属性情報を生成する（ステップＳ１２）。次に、設定機能１００ｃは、複数のセンサごとに、ステップＳ１１で取得した第１の組に含まれる位置情報と、ステップＳ１２で生成された属性情報との組み合わせを示す最新の第２の組と、過去の１以上の第２の組とを用いて、各領域の信頼度を設定することで、複数のセンサごとに、各領域の信頼度を示す信頼度情報を生成する（ステップＳ１３）。次に、確率算出機能１００ｄは、複数のセンサごとに、該センサに対応する属性情報に基づいて、各領域の走行可能確率を算出することで、複数のセンサごとに、各領域の走行可能確率を示す確率情報を生成する（ステップＳ１４）。次に、決定機能１００ｅは、複数のセンサごとに、該センサに対応する確率情報および信頼度情報に基づいて、各領域の走行可能確率の最終確率を決定する（ステップＳ１５）。

（第４の実施形態）
次に、第４の実施形態について説明する。上述の第３の実施形態と共通する部分については適宜に説明を省略する。図１５は、本実施形態の情報処理装置１０の構成の一例を示す図である。図１５に示すように、本実施形態の処理回路１００は、「出力部」の一例である出力機能１００ｆをさらに有する点で上述の第１の実施形態と相異する。この例では、出力機能１００ｆは、複数の領域ごとに該領域の最終確率を示す障害物マップを出力（ディスプレイ６０に表示）する。なお、例えば出力機能１００ｆが障害物マップを生成する機能を有していてもよいし、障害物マップを生成する機能が出力機能１００ｆとは別に設けられていてもよい。例えば前述の決定機能１００ｅが障害物マップを生成する機能を有する形態であってもよい。以上のように、本実施形態の情報処理装置１０は、移動体の周囲の属性情報と属性情報の信頼度とに基づいて算出された移動体の周囲に存在する物体の存在確率に関する情報を表示する表示手段を備える。前述したように、上記信頼度は、同じ領域に対する複数の属性情報を用いて算出されたものである。また、この例では、上記物体の存在確率は上述の障害物マップである。この例では、出力機能１００ｆが「表示手段」に対応すると考えてもよいし、ディスプレイ６０が「表示手段」に対応すると考えてもよいし、出力機能１００ｆとディスプレイ６０との組み合わせが「表示手段」に対応すると考えてもよい。

（第５の実施形態）
次に、第５の実施形態について説明する。上述の第３の実施形態と共通する部分については適宜に説明を省略する。図１６は、本実施形態の情報処理装置１０の構成の一例を示す図である。図１６に示すように、本実施形態の処理回路１００は、「記録部」の一例である記録機能１００ｇをさらに有する点で上述の第１の実施形態と相異する。ここでは、記録機能１００ｇは、自車両の周囲を分割して得られる複数の領域ごとに該領域の最終確率を示す障害物マップを記録（例えば記憶回路２０に記録）する。つまり、本実施形態の情報処理装置１０は、最終確率（この例では障害物マップ）を記憶する記憶部（例えば記憶回路２０）を更に備える。また、例えば上述の第３の実施形態のように、処理回路１００は、前述の出力機能１００ｆをさらに有する形態であってもよい。さらに、例えば情報処理装置１０は、走行可能確率を記憶する記憶部（例えば記憶回路２０等）を備える形態であってもよい。

車両制御部８０は、記録機能１００ｇにより記録された障害物マップに基づいて、障害物を回避した走行経路を推定する。なお、この推定方法としては、公知の様々な技術を利用可能である。そして、車両制御部８０は、その推定された走行経路に従って車両を走行させる（自律走行させる）制御を行う。

例えば図１７に示すように、情報処理装置１０は制御機能１００ｈをさらに有する形態であってもよい。制御機能１００ｉは「制御部」の一例であり、最終確率に基づいて、車両の制御情報を算出する。この例では、制御機能１００ｈは、前述の障害物マップに基づいて、前述の走行経路（制御情報の一例）を算出（推定）する。なお、例えば車両制御部８０が設けられずに、制御機能１００ｈが車両制御部８０の機能を兼ねる形態であってもよい。さらに、例えば情報処理装置１０が、走行可能確率を記憶する記憶部を備える形態においては、制御機能１００ｈは、走行可能確率に基づいて、車両の制御情報を算出することもできる。

以上、本発明の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、上述の各実施形態および各変形例の情報処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態および各変形例の情報処理装置１０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の各実施形態および各変形例の情報処理装置１０で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。

さらに、上述の各実施形態および各変形例は、任意に組み合わせることも可能である。

１０ 情報処理装置
２０ 記憶回路
３０ 通信部
４０ バス
５０ 入力装置
６０ ディスプレイ
７０ センサ
８０ 車両制御部
１００ 処理回路
１００ａ取得機能
１００ｂ属性判定機能
１００ｃ設定機能
１００ｄ確率算出機能
１００ｅ決定機能
１００ｆ出力機能
１００ｇ記録機能
１００ｈ制御機能

Claims (19)

1. 移動体の周囲の観測情報を複数取得する取得部と、
   前記複数の観測情報に基づいて、前記移動体の周囲の属性情報を複数生成する属性判定部と、
   前記複数の属性情報の相関に基づいて、前記移動体の周囲の属性情報の信頼度を設定する設定部と、
   前記属性情報に基づいて、前記移動体の走行可能確率を算出する確率算出部と、を備え、
   前記確率算出部は、属性が車道である領域の前記走行可能確率を、属性が車道以外である領域の前記走行可能確率よりも高い値に算出する、
   情報処理装置。
2. 前記取得部は、観測位置を示す位置情報を取得し、
   前記設定部は、前記位置情報に基づいて、同じ領域に対する前記複数の属性情報から、前記領域における信頼度を設定する、
   請求項１に記載の情報処理装置。
3. 前記観測情報は、前記移動体の周囲を撮像する撮像部による撮像で得られた撮像画像である、
   請求項１または２に記載の情報処理装置。
4. 前記観測情報は、前記移動体の周囲に存在する物体の位置を示す情報である、
   請求項１または２に記載の情報処理装置。
5. 前記設定部は、前記複数の属性情報の相関が高いほど前記信頼度を高い値に設定し、前記複数の属性情報の相関が低いほど前記信頼度を低い値に設定する、
   請求項１乃至４のうちの何れか１項に記載の情報処理装置。
6. 前記取得部は、前記移動体の周囲を観測する複数のセンサごとに、前記観測情報を複数取得し、
   前記複数のセンサごとに、前記移動体の周囲の前記走行可能確率を示す確率情報と、前記移動体の周囲の前記属性情報の前記信頼度を示す信頼度情報とを取得し、前記複数のセンサごとの前記確率情報および前記信頼度情報に基づいて、前記移動体の周囲の前記走行可能確率の最終確率を決定する決定部をさらに備える、
   請求項１に記載の情報処理装置。
7. 前記決定部は、最も前記信頼度が高い前記信頼度情報が取得されたセンサに対応する前記走行可能確率を前記最終確率として決定する、
   請求項６に記載の情報処理装置。
8. 前記決定部は、前記複数のセンサごとに取得された前記信頼度情報が示す前記信頼度に応じて、前記複数のセンサごとの前記走行可能確率の重み付き加算を行って前記最終確率を決定する、
   請求項６に記載の情報処理装置。
9. 前記最終確率を記憶する記憶部をさらに備える、
   請求項６乃至８のうちの何れか１項に記載の情報処理装置。
10. 前記最終確率に基づいて、前記移動体の制御情報を算出する制御部をさらに備える、
    請求項６乃至９のうちの何れか１項に記載の情報処理装置。
11. 前記走行可能確率を記憶する記憶部をさらに備える、
    請求項１に記載の情報処理装置。
12. 前記走行可能確率に基づいて、前記移動体の制御情報を算出する制御部をさらに備える、
    請求項１に記載の情報処理装置。
13. 前記観測情報を計測するセンサをさらに備える、
    請求項１乃至１２のうちの何れか１項に記載の情報処理装置。
14. 請求項１乃至１３のうちの何れか１項に記載の情報処理装置を搭載した車両。
15. 移動体の周囲の属性情報と前記属性情報の信頼度とに基づいて前記移動体の走行可能確率を算出する確率算出部と、
    算出された前記走行可能確率に関する情報を表示する表示手段と、を備え、
    前記確率算出部は、属性が車道である領域の前記走行可能確率を、属性が車道以外である領域の前記走行可能確率よりも高い値に算出する、
    情報処理装置。
16. 前記信頼度は、同じ領域に対する複数の属性情報を用いて算出されたものである、
    請求項１５に記載の情報処理装置。
17. 前記走行可能確率は障害物マップである、
    請求項１５または１６に記載の情報処理装置。
18. 移動体の周囲の観測情報を複数取得する取得ステップと、
    前記複数の観測情報に基づいて、前記移動体の周囲の属性情報を複数生成する属性判定ステップと、
    前記複数の属性情報の相関に基づいて、前記移動体の周囲の属性情報の信頼度を設定する設定ステップと、
    前記属性情報に基づいて、前記移動体の走行可能確率を算出する確率算出ステップと、を含み、
    前記確率算出ステップは、属性が車道である領域の前記走行可能確率を、属性が車道以外である領域の前記走行可能確率よりも高い値に算出する、
    情報処理方法。
19. コンピュータに、
    移動体の周囲の観測情報を複数取得する取得ステップと、
    前記複数の観測情報に基づいて、前記移動体の周囲の属性情報を複数生成する属性判定ステップと、
    前記複数の属性情報の相関に基づいて、前記移動体の周囲の属性情報の信頼度を設定する設定ステップと、
    前記属性情報に基づいて、前記移動体の走行可能確率を算出する確率算出ステップと、を実行させ、
    前記確率算出ステップは、属性が車道である領域の前記走行可能確率を、属性が車道以外である領域の前記走行可能確率よりも高い値に算出する、
    プログラム。