WO2019073920A1

WO2019073920A1 - 情報処理装置、移動装置、および方法、並びにプログラム

Info

Publication number: WO2019073920A1
Application number: PCT/JP2018/037346
Authority: WO
Inventors: 辰吾鶴見; 英史大場
Original assignee: ソニー株式会社; ソニーセミコンダクタソリューションズ株式会社
Priority date: 2017-10-12
Filing date: 2018-10-05
Publication date: 2019-04-18
Also published as: US20200241549A1; DE112018004507T5

Abstract

距離センサによる距離計測が不可能な方向の画像に含まれるオブジェクトの距離や位置を算出する構成を実現する。カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出部を有し、オブジェクト距離算出部は、オブジェクトの実サイズ情報と、撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する。さらに、オブジェクト位置算出部が、オブジェクト距離算出部の算出情報と、画像情報を利用してオブジェクト位置を算出する。オブジェクト実サイズは、距離センサによる距離計測可能な方向の撮影画像に基づいて取得する。

Description

情報処理装置、移動装置、および方法、並びにプログラム

　本開示は、情報処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、距離センサ検出領域外のオブジェクトの距離や位置を、カメラ撮影画像を用いて算出する情報処理装置、移動装置、および方法、並びにプログラムに関する。

　近年、例えば自動運転車やロボット等、自律型移動装置の開発が盛んに行われている。
　このような移動装置が所定経路（パス）に従って移動するためには、移動の障害となる対向車や壁等の様々なオブジェクトの距離を算出することが必要となる。

　オブジェクトの距離を算出するための距離計測機器には、例えば、以下のような機器がある。
　（ａ）パルス状のレーザ光を用いて周囲情報を取得するライダー（ＬｉＤＡＲ：Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ，Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、
　（ｂ）電波の反射波を検出して反射物までの距離を計測するレーダ（Ｒａｄａｒ）、
　（ｃ）２つのカメラの撮影画像の対応点解析により撮影画像内のオブジェクトの距離を算出するステレオカメラ、
　例えば、これらの距離計測機器が知られている。

　しかし、これらの距離計測機器は、いずれも高価である。距離計測を自動車の前後左右全方向について行うためには、前後左右少なくとも４つの距離計測機器を装着する必要があり、コスト高となってしまう。
　従って、自動車に距離計測機器を装着する場合、自動車の前方（フロント）のみに装着するといった構成とする場合が多い。

　具体例として、例えば自動車の前方のみにＬｉＤＡＲやステレオカメラ等の距離計測機器を装着し、比較的、低コストなカメラを自動車の前後左右の４か所に装着したものがある。カメラは、例えば、広角レンズを用いたアラウンドビュー撮影カメラなどが利用される。

　自動運転や運転支援を装着した構成では、自動車の走行方向となる前方の障害物を検出するためフロントセンシングが重要であることは間違いない。
　しかし、通常の運転では、追い越しや合流処理、あるいは対向車がある道路での走行が行われ、安全走行のためには、前方のみならず側面や後方の車や壁などの障害物の検出や、障害物の距離を確認することが重要である。

　なお、例えば特許文献１（特開２０１４－１６９９２２号公報）には、レーダによって出力するミリ波と、カメラの撮影画像を組み合わせて、物体の距離検出精度を向上させる手法を開示している。

　しかし、この特許文献１に記載の手法は、レーダのミリ波検出情報と撮影画像の２つの異なるセンサ情報を用いる構成である。
　従って、自動車の前後左右の全ての方向のオブジェクトまでの距離を計測するためには、自動車の前後左右の全ての方向にレーダとカメラをそれぞれ装着することが必要であり、コスト高となるという問題がある。

特開２０１４－１６９９２２号公報

　本開示は、例えば上記問題点に鑑みてなされたものであり、高価な距離計測機器を移動体に多数、装着することなく、距離計測機器のセンシング領域以外のオブジェクトの距離や位置を算出可能とした情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　カメラによる撮影画像に基づいてオブジェクトを検出するオブジェクト検出部と、
　前記オブジェクトまでの距離を算出するオブジェクト距離算出部とを有し、
　前記オブジェクト距離算出部は、
　前記オブジェクトの実サイズ情報と、前記オブジェクトの撮影画像に基づいてオブジェクトまでの距離を算出する情報処理装置にある。

　さらに、本開示の第２の側面は、
　移動装置の前方向画像を撮影する前方向カメラと、
　前記移動装置の前方向にあるオブジェクトまでの距離を計測する距離センサと、
　前記移動装置の前方向以外の第２方向画像を撮影する第２方向カメラと、
　前記第２方向カメラにより撮影された第２方向画像を入力し、前記第２方向画像内のオブジェクトまでの距離を算出するオブジェクト距離算出部と、
　前記オブジェクト距離算出部の算出したオブジェクトまでの距離情報に基づいて前記移動装置の経路を決定する計画部と、
　前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有し、
　前記オブジェクト距離算出部は、
　前記オブジェクトの実サイズ情報と、前記第２方向画像に含まれるオブジェクトの撮像画像に基づいて前記オブジェクトまでの距離を算出する移動装置にある。

　さらに、本開示の第３の側面は、
　情報処理装置において実行する情報処理方法であり、
　オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップを有し、
　前記オブジェクト距離算出ステップは、
　前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する情報処理方法にある。

　さらに、本開示の第４の側面は、
　移動装置において実行する移動装置制御方法であり、
　前記移動装置は、
　移動装置の前方向画像を撮影する前方向カメラと、
　前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
　前記移動装置の前方向以外の第２方向画像を撮影する第２方向カメラを装着した構成であり、
　オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップと、
　計画部が、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定する計画ステップと、
　動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御ステップを実行し、
　前記オブジェクト距離算出ステップは、
　前記オブジェクトの実サイズ情報と、前記第２方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出するステップである移動装置制御方法にある。

　さらに、本開示の第５の側面は、
　情報処理装置において情報処理を実行させるプログラムであり、
　オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップを有し、
　前記プログラムは、前記オブジェクト距離算出ステップにおいて、
　前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラムにある。

　さらに、本開示の第６の側面は、
　移動装置において移動装置制御処理を実行させるプログラムであり、
　前記移動装置は、
　移動装置の前方向画像を撮影する前方向カメラと、
　前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
　前記移動装置の前方向以外の第２方向画像を撮影する第２方向カメラを装着した構成であり、
　前記プログラムは、
　オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップと、
　計画部に、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定させる計画ステップと、
　動作制御部に、前記計画部の決定した経路に従って前記移動装置の動作制御を行わせる動作制御ステップを実行させ、
　前記オブジェクト距離算出ステップにおいては、
　前記オブジェクトの実サイズ情報と、前記第２方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、距離センサによる距離計測が不可能な方向の画像に含まれるオブジェクトの距離や位置を算出する構成が実現される。
　具体的には、例えば、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出部を有し、オブジェクト距離算出部は、オブジェクトの実サイズ情報と、撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する。さらに、オブジェクト位置算出部が、オブジェクト距離算出部の算出情報と、画像情報を利用してオブジェクト位置を算出する。オブジェクト実サイズは、距離センサによる距離計測可能な方向の撮影画像に基づいて取得する。
　本構成により、距離センサによる距離計測が不可能な方向の画像に含まれるオブジェクトの距離や位置を算出する構成が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

移動装置の構成例について説明する図である。移動装置に装着される距離センサの計測可能領域と、カメラの画像撮影領域の設定例について説明する図である。移動装置に装着される距離センサの計測可能領域と、カメラの画像撮影領域の設定例について説明する図である。移動装置に装着される情報処理装置の構成例について説明する図である。オブジェクト情報記憶部に格納されるデータ例について説明する図である。前方向カメラの撮影画像と、距離センサの計測情報を利用した処理について説明する図である。前方向カメラの撮影画像と、距離センサの計測情報を利用したオブジェクトの実サイズ算出処理について説明する図である。前方向カメラ以外のカメラの撮影画像と、記憶部の格納情報を利用した処理について説明する図である。前方向カメラ以外のカメラの撮影画像と、記憶部の格納情報を利用したオブジェクトまでの距離と位置の算出処理について説明する図である。情報処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。情報処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。移動装置の車両制御システムの一構成例について説明する図である。情報処理装置のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の情報処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の移動装置の構成例について
　２．本開示の移動装置、および情報処理装置の構成と処理について
　３．オブジェクトの距離、サイズ、および位置の算出処理の詳細について
　３－１．前方向カメラの撮影画像のオブジェクトの距離、位置、およびサイズの算出処理例について
　３－２．前方向以外のカメラ撮影画像に含まれるオブジェクトの距離、および位置の算出処理例について
　４．情報処理装置の実行する処理のシーケンスについて
　５．移動装置の構成例について
　６．情報処理装置の構成例について
　７．本開示の構成のまとめ

　　［１．本開示の移動装置の構成例について］
　まず、図１以下を参照して、本開示の移動装置の構成例について説明する。
　図１には、本開示の移動装置１０の一実施例を示している。
　なお、以下の実施例では、移動装置１０の一例として、移動装置１０が自動車（車両）である例を説明するが、本開示の構成や処理は、自動車以外の様々な移動装置において利用可能である。
　例えば、ロボット（歩行型、走行型）や、ドローン等の飛行体、あるいは船舶、潜水艦等の水上、水中を移動する装置等、様々な移動装置に適用可能である。

　図１に示すように、移動装置１０は、複数のカメラと、１つの距離センサを装着している。
　装着カメラは以下のカメラである。
　移動装置１０の前方向を撮影する前方向カメラ１１、
　移動装置１０の後方向を撮影する後方向カメラ１２、
　移動装置１０の左方向を撮影する左方向カメラ１３、
　移動装置１０の右方向を撮影する右方向カメラ１４、
　これら４台のカメラである。

　なお、これらのカメラ１１～１４としては、通常の画像撮影を行うカメラ、あるいは魚眼レンズのような広角レンズを備えたカメラ（単眼カメラ）が利用可能である。

　また、移動装置１０に装着された距離センサは以下の１つの距離センサである。
　移動装置１０の前方向のオブジェクトまでの距離を計測する前方向距離センサ２１、
　この１つの距離ゼンサである。

　なお、距離センサ２１は、例えば、以下のいずれかの機器によって構成される。
　（ａ）パルス状のレーザ光を用いて周囲情報を取得するライダー（ＬｉＤＡＲ：Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ，Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、
　（ｂ）電波の反射波を検出して反射物までの距離を計測するレーダ（Ｒａｄａｒ）、
　（ｃ）２つのカメラの撮影画像の対応点解析により撮影画像内のオブジェクトの距離を算出するステレオカメラ、
　なお、距離センサ２１は、上記のいずれかの機器に限らず、その他の既存の距離計測機器が利用可能である。

　このように、移動装置１０には、前方向のオブジェクトまでの距離を計測可能な１つの前方向距離センサ２１と、前後左右、全方向の画像を撮影可能とした４台のカメラ１１～１４が装着される。

　次に、図２を参照して、前方向距離センサ２１による距離計測可能領域と、４台のカメラ１１～１４による画像撮影領域について説明する。
　図２には、中心に移動装置１０を示している。移動装置１０は、図１を参照して説明した移動装置１０であり、１つの前方向距離センサ２１と、前後左右、全方向の画像を撮影可能とした４台のカメラ１１～１４を装着した移動装置１０である。
　図面の上方向が前方であり、移動装置１０は前方向に移動（走行）している。

　移動装置１０の右前方に対向車３０があり、対向車３０は、図面下方向に向かって走行している。
　対向車３０は、時間経過に伴い、移動装置１０の方向に近づき、移動装置１０の右側ですれ違う設定である。

　図２には、以下の各領域を示している。
　前方向カメラ画像撮影領域１１ａ、
　後方向カメラ画像撮影領域１２ａ、
　左方向カメラ画像撮影領域１３ａ、
　右方向カメラ画像撮影領域１４ａ、
　前方向距離センサ計測可能領域２１ａ

　図から理解されるように、４台のカメラ１１～１４による画像撮影領域は、移動装置１０の全周囲領域をカバーしている。
　しかし、前方向距離センサ２１によるオブジェクト距離計測可能領域である前方向距離センサ計測可能領域２１ａは、移動装置１０の前方領域のみである。

　図２の設定において、対向車３０は、前方向カメラ画像撮影領域１１ａと、前方向距離センサ計測可能領域２１ａの重複領域内にある。
　従って、移動装置１０は、対向車３０を、前方向カメラ１１の撮影画像から確認することが可能であり、さらに、前方向距離センサ２１によって計測された対向車３０の距離も取得することができる。

　例えば、移動装置１０に備えられた自動運転装置、あるいは走行支援装置内の行動計画部は、前方向カメラ１１の撮影画像情報と、前方向距離センサ２１によって計測された対向車３０の距離情報を入力し、これらの入力情報に基づいて、対向車３０との衝突を避けるように経路設定を行うことができる。

　しかし、時間経過に伴い、対向車３０は、移動装置１０の方向に近づき、移動装置１０の右側ですれ違う。この過程で対向車３０は、前方向距離センサ計測可能領域２１ａの外部に移動してしまうことになる。

　図３を参照して、所定時間経過後の対向車３０の位置について説明する。
　図２に示す設定から、所定時間経過後には、図３に示すように、対向車３０は、移動装置１０の右側を通過する。

　この図３に示す状態では、対向車３０は、右方向カメラ画像撮影領域１４ａの内部にあるが、前方向距離センサ計測可能領域２１ａの外部にある。
　従って、移動装置１０は、対向車３０を、右方向カメラ１４の撮影画像から確認することのみ可能であり、距離センサによる対向車３０の距離は取得できない。

　本開示の移動装置１０、または移動装置１０内部に装着される情報処理装置は、このように、距離センサによる距離検出情報が取得できない場合であっても、オブジェクトの距離、すなわち、図３に示す対向車３０のようなオブジェクトまでの距離を算出することを可能としている。
　以下、本開示の構成について説明する。

　　［２．本開示の移動装置、および情報処理装置の構成と処理について］
　次に、本開示の移動装置、および情報処理装置の構成と処理について説明する。
　図４は、本開示の移動装置１０に装着される情報処理装置の一構成例を示すブロック図である。

　図４に示すように、情報処理装置５０は、センサ検出情報として、距離センサ４０の出力情報と、前方向カメラ４１、後方向カメラ４２、左方向カメラ４３、右方向カメラ４４のカメラ撮影画像を入力して、これらの入力情報に基づいて、全ての方向のオブジェクトのオブジェクトまでの距離や位置を算出する。

　距離センサ４０、前方向カメラ４１、後方向カメラ４２、左方向カメラ４３、右方向カメラ４４、これらは、図１～図３を参照して説明した移動装置１０に装着された距離センサとカメラに対応する。
　距離センサ４０は、図２、図３を参照して説明したように、移動装置１０の前方向のみを距離計測可能領域としたセンサである。
　前方向カメラ４１、後方向カメラ４２、左方向カメラ４３、右方向カメラ４４は、図２、図３を参照して説明したように、移動装置１０の前後左右全ての方向の画像を撮影可能としている。

　図４に示すように、情報処理装置５０は、距離センサ出力情報解析部５１、オブジェクト検出部５２、オブジェクト追跡＆解析部５３、オブジェクト距離算出部５４、オブジェクト位置＆実サイズ算出部５５、オブジェクト情報記憶部５６、オブジェクト位置算出部５７を有する。

　距離センサ出力情報解析部５１は、距離センサ４０から出力されるセンサ情報を入力し、センサ情報に基づいてセンサによる検出可能範囲の領域の全ての距離を解析する。例えば検出可能範囲の領域の全ての距離の距離情報を示すデプスマップを生成する。
　ただし、図２、図３を参照して説明したように、距離センサ４０は移動装置１０の前方向のみを距離計測可能領域とするセンサであり、距離センサ出力情報解析部５１は、移動装置１０の前方向領域の距離のみを解析する。

　オブジェクト検出部５２は、前方向カメラ４１、後方向カメラ４２、左方向カメラ４３、右方向カメラ４４、これらのカメラ撮影画像を入力し、各画像からオブジェクトを検出する。
　オブジェクトとは、例えば図２、図３を参照して説明した対向車等のオブジェクトである。
　なお、オブジェクトには、対向車や先行車両等の車両の他、歩行者、カードレール、側壁等、移動装置１０の移動に対する障害物となり得る全てのオブジェクトが含まれる。

　オブジェクト追跡＆解析部５３は、オブジェクト検出部５２が検出したオブジェクトの追跡処理を実行する。すなわち、画像から検出されたオブジェクトの各々に識別子（ＩＤ）を設定して、各オブジェクトを画像上での動きに応じて追跡する。
　さらに、オブジェクト追跡＆解析部５３は、オブジェクトＩＤの設定されたオブジェクトの画像上のサイズ（例えば、縦（ｈ）×横（ｗ）の画素数）と、オブジェクトの特徴情報を取得する。
　オブジェクトの特徴情報とは、例えばオブジェクトの色、形状、模様等の特徴である。

　オブジェクト追跡＆解析部５３は、
　オブジェクトＩＤと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データをカメラ撮影画像とともに、オブジェクト距離算出部５４に出力する。

　オブジェクト距離算出部５４は、距離センサ出力情報解析部５１と、オブジェクト追跡＆解析部５３から、それぞれ以下の各情報を入力する。
　（ａ）距離センサ出力情報解析部５１から、移動装置１０の前方の距離計測可能領域の距離情報、
　（ｂ）オブジェクト追跡＆解析部５３から、カメラ撮影画像と、画像に含まれるオブジェクトのオブジェクトＩＤと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データ、
　オブジェクト距離算出部５４は、これらの情報を入力して、画像に含まれるオブジェクトの距離、すなわち、オブジェクト距離を算出する。

　ただし、オブジェクト距離算出部５４の実行するオブジェクトまでの距離の算出処理は、以下の２つの場合で異なる処理となる。
　（１）オブジェクト追跡＆解析部５３から入力するカメラ撮影画像が前方向カメラ４１の撮影画像である場合、
　（２）オブジェクト追跡＆解析部５３から入力するカメラ撮影画像が前方向カメラ４１以外のカメラの撮影画像、すなわち後方向カメラ４２、左方向カメラ４３、右方向カメラ４４の撮影画像である場合、

　上記（１）の場合、すなわち、オブジェクト追跡＆解析部５３から入力するカメラ撮影画像が前方向カメラ４１の撮影画像である場合は、そのカメラ撮影画像に含まれるオブジェクトは、距離センサ４０の距離計測可能領域内に含まれ、距離センサの計測情報を利用して、即座にオブジェクトまでの距離を算出することができる。

　一方、上記（２）の場合、すなわち、オブジェクト追跡＆解析部５３から入力するカメラ撮影画像が前方向カメラ４１以外の後方向カメラ４２、左方向カメラ４３、右方向カメラ４４の撮影画像である場合は、そのカメラ撮影画像に含まれるオブジェクトは、距離センサ４０の距離計測可能領域外であり、距離センサの計測情報を利用してオブジェクトまでの距離を算出することができない。

　この場合、オブジェクト距離算出部５４は、オブジェクト追跡＆解析部５３からの入力情報、すなわち、カメラ撮影画像と、オブジェクト情報記憶部５６の格納情報を利用して、オブジェクトまでの距離を算出する。
　この処理の詳細については後述する。

　オブジェクト距離算出部５４の実行するオブジェクト距離算出処理の詳細説明の前に、まず、図４の情報処理装置５０の各構成部における一連の処理の流れについて説明する。
　オブジェクト距離算出部５４は、画像から検出されたオブジェクトのオブジェクトまでの距離を算出すると、算出したオブジェクトまでの距離を、例えば移動装置の移動経路（パス）を設定する行動計画部等、オブジェクトまでの距離を利用するモジュールに出力する。

　移動装置１０に備えられた行動計画部は、オブジェクト距離算出部５４の算出したオブジェクトまでの距離を参照して、対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行うことになる。

　なお、オブジェクト距離算出部５４は、オブジェクト距離算出処理を行った画像が、前方向カメラ４１の撮影画像である場合に限り、以下の処理を実行する。
　オブジェクト距離算出部５４は、前方向カメラ４１の撮影画像に含まれるオブジェクトのオブジェクト距離情報と、オブジェクト追跡＆解析部５３からの入力情報、すなわち、
　カメラ撮影画像（前方向カメラ４１の撮影画像）、
　オブジェクトＩＤとオブジェクト画像サイズとの対応データ、
　これらのデータをオブジェクト位置＆実サイズ算出部５５に出力する。

　オブジェクト位置＆実サイズ算出部５５は、オブジェクト距離算出部５４から入力した情報、すなわち、
　カメラ撮影画像（前方向カメラ４１の撮影画像）、
　オブジェクトＩＤとオブジェクト画像サイズとの対応データ、
　オブジェクト距離情報、
　これらのデータを利用して、オブジェクトの実際のサイズである実サイズと、オブジェクトの位置を算出する。
　このオブジェクト実サイズと位置の算出処理の詳細についても後段で説明する。

　オブジェクト位置＆実サイズ算出部５５は、前方向カメラ４１の撮影画像に含まれるオブジェクトの実サイズと位置を算出し、算出したオブジェクト位置は、行動計画部等のオブジェクト情報利用モジュールに出力する。
　さらに、オブジェクト位置＆実サイズ算出部５５は、算出したオブジェクト実サイズを、オブジェクトＩＤとオブジェクト特徴情報に対応付けてオブジェクト情報記憶部５６に格納する。

　オブジェクト情報記憶部５６に格納されるデータの一例を図５に示す。
　図５に示すように、オブジェクト情報記憶部５６には、
　オブジェクトＩＤ、
　オブジェクト実サイズ、
　オブジェクト特徴情報（色、形状、模様、その他）
　これらの各情報が、各オブジェクト単位の対応データとして記録される。
　なお、これらは全て距離センサ４０によって距離が計測されたオブジェクトであり、本実施例では前方向カメラ４１によって撮影された画像内に含まれるオブジェクトである。

　オブジェクト位置算出部５７は、前方向カメラ４１以外のカメラ、すなわち、後方向カメラ４２、左方向カメラ４３、右方向カメラ４４の撮影画像中のオブジェクトの位置を算出する。
　この処理の詳細については後述する。
　オブジェクト位置算出部５７の算出したオブジェクト位置情報は、行動計画部等のオブジェクト情報利用モジュールに出力され、移動装置の経路設定等に利用される。

　　［３．オブジェクトの距離、サイズ、および位置の算出処理の詳細について］
　次に、図４に示す情報処理装置５０のオブジェクト距離算出部５４、オブジェクト位置＆実サイズ算出部５５、オブジェクト位置算出部５７において実行する処理の詳細について説明する。

　先に、説明したように、オブジェクト距離算出部５４において実行するオブジェクト距離算出処理は、以下の２つの場合で異なる処理となる。
　（１）オブジェクト追跡＆解析部５３から入力するカメラ撮影画像が前方向カメラ４１の撮影画像である場合、
　（２）オブジェクト追跡＆解析部５３から入力するカメラ撮影画像が前方向カメラ４１以外の後方向カメラ４２、左方向カメラ４３、右方向カメラ４４の撮影画像である場合、

　この場合、オブジェクト距離算出部５４は、オブジェクト追跡＆解析部５３からの入力情報、すなわち、カメラ撮影画像と、オブジェクト情報記憶部５６の格納情報を利用して、オブジェクトまでの距離を算出する。

　さらに、オブジェクト位置＆実サイズ算出部５５は、前方向カメラ４１の撮影画像に含まれるオブジェクトの位置とサイズを算出する。
　また、オブジェクト位置算出部５７は、前方向カメラ４１以外のカメラである後方向カメラ４２、または左方向カメラ４３、または右方向カメラ４４、いずれかの撮影画像に含まれるオブジェクトの位置を算出する。

　以下において、下記の２つの場合の処理例について説明する。
　（１）オブジェクト追跡＆解析部５３から入力するカメラ撮影画像が前方向カメラ４１の撮影画像である場合、
　（２）オブジェクト追跡＆解析部５３から入力するカメラ撮影画像が前方向カメラ４１以外の後方向カメラ４２、左方向カメラ４３、右方向カメラ４４の撮影画像である場合、
　これら２つの場合の処理の具体例について、順次、説明する。

　　［３－１．前方向カメラの撮影画像のオブジェクトの距離、位置、およびサイズの算出処理例について］
　まず、前方向カメラ４１の撮影画像のオブジェクトの距離や位置、およびサイズを算出する処理例について説明する。

　なお、以下で説明する処理例は、カメラ撮影画像内のオブジェクトの距離を、距離センサの計測情報をそのまま利用して算出可能な場合の処理例である。
　本実施例では、距離センサ４０を移動装置１０の前に取り付けた構成であり、前方向カメラ４１の撮影画像内のオブジェクトの距離は、距離センサ４０の計測情報をそのまま利用して距離を算出することができる。

　図６は、情報処理装置５０が、前方向カメラ４１の撮影画像を入力して、前方向カメラ４１の撮影画像に含まれるオブジェクトの距離算出を行う場合の処理例について説明した図である。

　図６には、前方向カメラ４１の撮影画像を入力する場合に発生するデータの流れを太線矢印で示している。
　図６に示すように、情報処理装置５０は、前方向カメラ４１の撮影画像を入力する際、その前方向カメラ４１の撮影画像の撮影領域と重複する領域について、距離センサ４０からのセンサ出力、すなわち距離情報を入力することができる。

　距離センサ出力情報解析部５１は、距離センサ４０から出力されるセンサ情報を入力し、センサ情報に基づいてセンサによる検出範囲、すなわち、移動装置１０の前方領域の距離情報を生成する。

　オブジェクト検出部５２は、前方向カメラ４１のカメラ撮影画像を入力し、前方向画像からオブジェクトを検出する。
　オブジェクトは、車両、歩行者、カードレール等、移動装置１０の移動に対する障害物となり得る全てのオブジェクトが含まれる。

　オブジェクト追跡＆解析部５３は、オブジェクト検出部５２が検出したオブジェクトの追跡処理を実行して、各オブジェクトにオブジェクトＩＤを設定し、さらに、オブジェクト画像サイズ（例えば、縦（ｈ）×横（ｗ）の画素数）と、オブジェクトの特徴情報（色、形状、模様等）を取得する。
　オブジェクト追跡＆解析部５３は、
　オブジェクトＩＤと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データをカメラ撮影画像とともに、オブジェクト距離算出部５４に出力する。

　オブジェクト距離算出部５４は、距離センサ出力情報解析部５１と、オブジェクト追跡＆解析部５３から、それぞれ以下の各情報を入力する。
　（ａ）距離センサ出力情報解析部５１から、移動装置１０の前方の距離計測可能領域の距離情報、
　（ｂ）オブジェクト追跡＆解析部５３から、前方向カメラ撮影画像と、画像に含まれるオブジェクトのオブジェクトＩＤと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データ、
　オブジェクト距離算出部５４は、これらの情報を入力して、画像に含まれるオブジェクトの距離、すなわち、オブジェクトまでの距離を算出する。

　図６に示す例は、オブジェクト追跡＆解析部５３から入力するカメラ撮影画像が前方向カメラ４１の撮影画像であり、この前方向カメラ撮影画像に含まれるオブジェクトは、距離センサ４０の距離計測可能領域内にある。
　従って、オブジェクト距離算出部５４は、距離センサ４０のセンサ情報、すなわち距離センサ出力情報解析部５１の出力情報を利用して、即座にオブジェクトまでの距離を算出することができる。

　オブジェクト距離算出部５４は、前方向カメラ４１の撮影画像から検出されたオブジェクトのオブジェクトまでの距離を算出すると、算出したオブジェクトまでの距離を、例えば移動装置の移動経路（パス）を設定する行動計画部等、オブジェクト距離を利用するモジュールに出力する。

　さらに、オブジェクト距離算出部５４は、前方向カメラ４１の撮影画像に含まれるオブジェクトのオブジェクト距離情報と、オブジェクト追跡＆解析部５３からの入力情報、すなわち、
　カメラ撮影画像（前方向カメラ４１の撮影画像）、
　オブジェクトＩＤとオブジェクト画像サイズとの対応データ、
　これらのデータをオブジェクト位置＆実サイズ算出部５５に出力する。

　オブジェクト位置＆実サイズ算出部５５は、オブジェクト距離算出部５４から入力した情報、すなわち、
　カメラ撮影画像（前方向カメラ４１の撮影画像）、
　オブジェクトＩＤとオブジェクト画像サイズとの対応データ、
　オブジェクト距離情報、
　これらのデータを利用して、オブジェクトの実際のサイズである実サイズとオブジェクトの位置を算出する。
　このオブジェクト実サイズと位置の算出処理の詳細について、図７を参照して説明する。

　図７には、以下の各図を示している。
　（１）前方向カメラ撮影画像
　（２）前方向カメラ撮影画像内オブジェクトの位置、実サイズ算出処理例

　図７（１）の前方向カメラ撮影画像は、画像の横方向画素に相当する横軸をＵ軸、画像の縦方向画素に相当する縦軸をＶ軸としている。撮影画像は、
　縦方向画素数＝Ｈ
　横方向画素数＝Ｗ
　の画像である。
　原点Ｏは、縦方向画素の下端、横方向画素数Ｗの中点位置に設定している。
　この画像内に、オブジェクト（画像オブジェクト）が撮影されている。
　この画像オブジェクトは、例えば、図２に示す対向車３０に相当する。

　画像オブジェクトの前面にはオブジェクト検出枠を示している。
　オブジェクト検出枠の左下端の座標は（ｕ１，ｖ１）、
　オブジェクト検出枠の右上端の座標は（ｕ２，ｖ２）、
　である。
　これらのオブジェクト領域を示す座標（ｕ１，ｖ１）、（ｕ２，ｖ２）は、カメラ撮影画像から取得可能な座標情報である。

　図７（２）に示す前方向カメラ撮影画像内オブジェクトの位置、実サイズ算出処理例に示すＸＺ座標空間は実空間に相当する。
　前方向カメラのカメラ位置を原点（カメラ原点Ｏ）として、カメラ撮影方向（前方向）に垂直な軸（左右軸）を横軸Ｘ軸とし、図に縦軸として示すＺ軸は、カメラ光軸（カメラ撮影方向）に相当する。Ｚ軸の値はカメラから垂直方向の距離（奥行）に相当する。
　図７（２）に示す実オブジェクトは、図７（１）の画像に撮影されたオブジェクトである。
　実オブジェクトは、前方向カメラ画像撮影領域内にあり、かつ、距離センサ計測領域内にある。

　実オブジェクト位置の前面（カメラ側）は、カメラ原点からＺ軸（カメラ光軸）方向にｚ１の位置にあり、Ｘ座標はＸ１，Ｘ２の範囲にある。
　カメラ原点Ｏから、オブジェクト（前面Ｘ１～Ｘ２の中心Ｄ）までの距離、すなわち、オブジェクト距離ＯＤは、
　オブジェクト距離ＯＤ＝ｄ
　である。
　このオブジェクト距離ｄは、距離センサ４０のセンサ情報から算出される値である。
　さらに、
　カメラ撮影画像の画角＝Ψ
　は、既知の値である。

　図７（１）の画像上のオブジェクトを通るＵ軸に平行な線分ａｂ上の画像は、図７（２）の実空間上のオブジェクトの前面を通る線分ＡＢ（Ｚ＝ｚ１上のＸ軸に平行な線分ＡＢ）の画像に相当する。
　すなわち、実空間上のラインＡＢの実サイズを縮小した画像が画像空間上のラインａｂの画像に相当する。
　従って、図７（１）前方向カメラ撮影画像の線分ａｂにおける画像オブジェクトの位置と、図７（２）の実空間の線分ＡＢにおける実オブジェクトの位置は同じ位置関係にある。

　これらの条件の下、実空間における実オブジェクトの位置とサイズを算出する。
　具体的には、図７（２）に示す実オブジェクトのＸ座標，Ｘ１，Ｘ２をオブジェクト位置として算出する。
　さらに、実オブジェクトのＸ座標，Ｘ１，Ｘ２から、Ｘ２－Ｘ１により、実オブジェクトのサイズである横の長さ、すなわち幅を算出することができる。
　なお、実オブジェクトの幅が取得できれば、実オブジェクトの高さ等、その他のサイズも取得できる。すなわち、例えば画像オブジェクトの幅と高さの比率と、実オブジェクトの幅と高さの比率は同一であり、画像オブジェクトから各辺の比率を算出して実オブジェクトの実サイズに対応させて変換することで、実オブジェクトの各辺の長さを算出することができる。

　図７（２）に示す実オブジェクトの位置を示すＸ座標，Ｘ１，Ｘ２の算出処理とサイズの算出処理は、以下の処理Ａ１～Ａ５を順次、実行して行う。
　（処理Ａ１）実空間のカメラ原点Ｏからオブジェクト前面中心Ｄを結ぶ直線ＯＤ（図にオブジェクト距離ｄとして示す直線）と、Ｚ軸（カメラ光軸）とのなす角Φを算出する。
　（処理Ａ２）実空間のカメラ原点ＯからＺ軸（カメラ光軸）方向への離間距離、すなわち、実オブジェクトのＺ座標ｚ１を算出する。
　（処理Ａ３）実空間のカメラ原点Ｏと実オブジェクトの前方（カメラ側）の左端（Ｘ座標＝Ｘ１）を結ぶ線分ＯＰとＺ軸とのなす角θ１と、カメラ原点Ｏと実オブジェクトの前方（カメラ側）の右端（Ｘ座標＝Ｘ２）を結ぶ線分ＯＱとＺ軸とのなす角θ２を算出する。
　（処理Ａ４）処理Ａ１～Ａ３において算出した値を用いて、オブジェクト位置Ｘ１，Ｘ２を算出する。
　（処理Ａ５）実オブジェクトのサイズの算出処理
　以下、上記（処理Ａ１）～（処理Ａ５）の各処理の詳細について説明する。

　　（処理Ａ１）
　まず、処理Ａ１、すなわち、実空間のカメラ原点Ｏからオブジェクト前面中心Ｄを結ぶ直線ＯＤ（図にオブジェクト距離ｄとして示す直線）と、Ｚ軸（カメラ光軸）とのなす角Φの算出処理について説明する。

　図７（１）の画像中の線分ａｂの中央点をｃ、線分ａｂ中の画像オブジェクトの中央点をｄとする。
　一方、図７（２）の実空間の線分ＡＢの中央点をＣ、線分ＡＢ中の実オブジェクトの中央点をＤとする。

　また、図７（１）の画像中の線分ａｂ中の画像オブジェクトの左右端点のＵ座標をｕ１、ｕ２とする。
　このとき、ｃｂとｃｄの比率と、ＣＢとＣＤの比率は同一であり、
　ｃｂ：ｃｄ＝ＣＢ：ＣＤ・・・（式１）
　上記（式１）が成立する。
　上記（式１）から、以下の（式２）が得られる。
　Ｗ／２：（ｕ１＋ｕ２）／２＝ｔａｎ（Ψ／２）：ｔａｎΦ・・・（式２）

　上記（式２）において、
　Ｗは、前方向カメラ撮影画像の横方向画素数、
　ｕ１，ｕ２は、前方向カメラ撮影画像の画像オブジェクトの座標情報、
　Ψは、前方向カメラの画角、
　であり、すべて既知の値である。
　従って、上記（式２）から、角度Φ、すなわち、カメラ原点Ｏから、オブジェクト前面中心Ｄを結ぶ直線ＯＤ（図にオブジェクト距離ｄとして示す直線）と、Ｚ軸（カメラ光軸）とのなす角Φを算出することできる。

　　（処理Ａ２）
　次に、処理Ａ２、すなわち、実空間のカメラ原点ＯからＺ軸（カメラ光軸）方向への離間距離、すなわち、実オブジェクトのＺ座標＝ｚ１を算出する処理について説明する。

　図７（２）に示す実空間において、
　実オブジェクトのカメラ原点Ｏからの距離ｄと、
　実オブジェクトのカメラ原点ＯからＺ軸（カメラ光軸）方向への離間距離、すなわち、実オブジェクトのＺ座標＝ｚ１と、
　カメラ原点Ｏと実オブジェクト中央点Ｄを結ぶ線分ＯＤと、Ｚ軸とのなす角＝Φ、
　これらの関係は、
　ｃｏｓΦ＝ｚ１／ｄ・・・（式３）
　となる。この（式３）から、
　ｚ１＝ｃｏｓΦ×ｄ・・・（式４）
　が得られる。

　上記（式４）において、
　ｄは、オブジェクト距離ｄであり、距離センサ４０の計測値から既知の値である。
　Φは、（式２）に従って算出される既知の値である。
　従って、上記（式４）から、
　実オブジェクトのカメラ原点ＯからＺ軸（カメラ光軸）方向への離間距離、すなわち、実オブジェクトのＺ座標＝ｚ１を算出することができる。

　　（処理Ａ３）
　次に、処理Ａ３、すなわち、実空間のカメラ原点Ｏと実オブジェクトの前方（カメラ側）の左端（Ｘ座標＝Ｘ１）を結ぶ線分ＯＰとＺ軸とのなす角θ１と、カメラ原点Ｏと実オブジェクトの前方（カメラ側）の右端（Ｘ座標＝Ｘ２）を結ぶ線分ＯＱとＺ軸とのなす角θ２を算出する処理について説明する。

　前述したように、図７（１）の画像上のオブジェクトを通るＵ軸に平行な線分ａｂ上の画像は、図７（２）の実空間上のオブジェクトの前面を通る線分ＡＢ（Ｚ＝ｚ１上のＸ軸に平行な線分ＡＢ）の画像に相当する。
　すなわち、実空間上のラインＡＢの実サイズを縮小した画像が画像空間上のラインａｂの画像に相当する。

　従って、図７（１）前方向カメラ撮影画像の線分ａｂにおける画像オブジェクト位置の端点のｕ座標ｕ１，ｕ２と、図７（２）の実空間の線分ＡＢにおける実オブジェクト位置の端点のＸ座標Ｘ１，Ｘ２は同じ位置関係にある。

　この関係から、
　図７（１）の画像中の、
　ｃからｂの長さｃｂ、
　ｃからｕ１の長さｃｕ１、
　ｃからｕ２の長さｃｕ２、
　および、図７（２）の実空間中の、
　ＣからＢの長さＣＢ、
　ＣからＸ１の長さＣＸ１、
　ＣからＸ２の長さＣＸ２、
　これらの各値の対応関係として、以下の（式５）、（式６）が成立する。
　ｃｂ：ｃｕ１＝ＣＢ：ＣＸ１・・・（式５）
　ｃｂ：ｃｕ２＝ＣＢ：ＣＸ２・・・（式６）
　上記（式５），（式６）が成立する。

　上記（式５），（式６）から、
　Ｗ／２：ｃｕ１＝ｔａｎ（Ψ／２）：ｔａｎ（θ１）・・・（式７）
　Ｗ／２：ｃｕ２＝ｔａｎ（Ψ／２）：ｔａｎ（θ２）・・・（式８）
　が得られる。
　上記（式７）において、未知数はθ１のみであるので、（式７）から、θ１を算出することができる。
　また、上記（式８）において、未知数はθ２のみであるので、（式８）から、θ２を算出することができる。

　　（処理Ａ４）
　次に、処理Ａ４、すなわち、処理Ａ１～Ａ３において算出した値を用いて、オブジェクト位置Ｘ１，Ｘ２を算出する処理について説明する。

　図７（２）に示す実オブジェクトの前方（カメラ側）の左端のＸ座標＝Ｘ１と、
　実オブジェクトのＺ座標＝ｚ１と、
　線分ＯＰとＺ軸とのなす角＝θ１、
　これらの関係は、以下の（式９）によって示すことができる。
　Ｘ１＝ｚ１×ｓｉｎθ１・・・（式９）

　同様に、実オブジェクトの前方（カメラ側）の右端のＸ座標＝Ｘ２と、
　実オブジェクトのＺ座標＝ｚ１と、
　線分ＯＱとＺ軸とのなす角＝θ２、
　これらの関係は、以下の（式１０）によって示すことができる。
　Ｘ２＝ｚ１×ｓｉｎθ２・・・（式１０）

　上記（式９）、（式１０）において、ｚ１は、（式４）に従って算出され既知である。
　また、θ１、θ２は、（式７）、（式８）に従って算出され既知である。
　従って、上記（式９）、（式１０）から、
　実オブジェクトの前方（カメラ側）の左右端のＸ座標＝Ｘ１，Ｘ２を算出することができる。
　このオブジェクト位置情報Ｘ１，Ｘ２は、行動計画部等のオブジェクト位置情報利用モジュールに出力され、利用される。

　　（処理Ａ５）実オブジェクトのサイズの算出処理
　次に、処理Ａ５の処理、すなわち、実オブジェクトのサイズの算出処理について説明する。

　図７（２）の実空間の実オブジェクトのサイズ（幅）は、以下の（式１１）によって算出できる。
　実オブジェクトサイズ＝Ｘ２－Ｘ１・・・（式１１）
　Ｘ１，Ｘ２の値は、上記（式９）、（式１０）によって算出済みであり、上記（式１１）に従って、実オブジォクトのサイズ（幅）を算出可能となる。

　なお、図７（１）に示す画像オブジェクトの幅（ｕ２－ｕ１）と高さ（ｖ２－ｖ１）の比は、図７（２）に示す実オブジォクトの幅と高さの比と同一である。
　従って、実オブジォクトのサイズ（幅）が取得できれば、実オブジェクトの高さも以下の（式１２）に従って算出することができる。
　実オブジェクとの高さ＝（Ｘ２－Ｘ１）×（（ｖ２－ｖ１）／（ｕ２－ｕ１））・・・（式１２）

　オブジェクト位置＆実サイズ算出部５５は上述した処理、すなわち、図７を参照して説明した算出処理に従って、オブジェクト距離算出部５４から入力した情報、すなわち、
　カメラ撮影画像（前方向カメラ４１の撮影画像）、
　オブジェクトＩＤとオブジェクト画像サイズとの対応データ、
　オブジェクト距離情報、
　これらのデータを利用して、オブジェクトの実際のサイズである実サイズを算出する。

　このように、オブジェクト位置＆実サイズ算出部５５は、前方向カメラ４１の撮影画像に含まれるオブジェクトの実サイズを算出し、算出したオブジェクト実サイズを、オブジェクトＩＤとオブジェクト特徴情報に対応付けてオブジェクト情報記憶部５６に格納する。

　オブジェクト情報記憶部５６に格納されるデータは、先に図５を参照して説明したデータであり、以下の各データの対応データである。
　オブジェクトＩＤ、
　オブジェクト実サイズ、
　オブジェクト特徴情報（色、形状、模様、その他）
　これらの各情報が、各オブジェクト単位の対応データとして記録される。
　なお、これらは全て距離センサ４０によって距離が計測されたオブジェクトであり、本実施例では前方向カメラ４１によって撮影された画像内に含まれるオブジェクトである。

　　［３－２．前方向以外のカメラ撮影画像に含まれるオブジェクトの距離、および位置の算出処理例について］
　次に、図８を参照して、前方向カメラ４１以外のカメラ、すなわち後方向カメラ４２、または左方向カメラ４３、または右方向カメラ４４のいずれかの撮影画像に含まれるオブジェクトの距離や位置を算出する処理例について説明する。

　先に説明したように、図８に示す情報処理装置５０のオブジェクト追跡＆解析部５３から入力するカメラ撮影画像が前方向カメラ４１以外の後方向カメラ４２、左方向カメラ４３、右方向カメラ４４の撮影画像である場合、そのカメラ撮影画像に含まれるオブジェクトは、距離センサ４０の距離計測可能領域外であり、距離センサの計測情報を利用してオブジェクトまでの距離を算出することができない。

　この場合、オブジェクト距離算出部５４は、オブジェクト追跡＆解析部５３からの入力情報、すなわち、カメラ撮影画像と、オブジェクトＩＤとオブジェクト画像サイズとオブジェクト特徴情報との対応データ、および、
　オブジェクト情報記憶部５６の格納情報を利用して、オブジェクトまでの距離を算出する。

　図８は、情報処理装置５０が、前方向カメラ４１以外のカメラ、すなわち後方向カメラ４２、または左方向カメラ４３、または右方向カメラ４４のいずれかの撮影画像を入力して、これらのカメラの撮影画像に含まれるオブジェクトの距離算出を行う場合の処理例について説明した図である。
　図８には、後方向カメラ４２、または左方向カメラ４３、または右方向カメラ４４いずれかの撮影画像を入力する場合に発生するデータの流れを太線矢印で示している。

　なお、情報処理装置５０が、前方向カメラ４１以外のカメラの撮影画像を入力して行う処理は共通の処理であるので、以下では、代表例として、右方向カメラ４４の撮影画像を入力した場合の処理を説明する。
　具体的には、例えば先に図３を参照して説明したようなオブジェクト（対向車３０）が右方向カメラ４４によって撮影された場合の処理について説明する。

　図８に示す情報処理装置５０のオブジェクト検出部５２は、右方向カメラ４４の撮影画像を入力すると、画像からオブジェクトを検出する。
　オブジェクトは、車両、歩行者、カードレール等、移動装置１０の移動に対する障害物となり得る全てのオブジェクトが含まれる。

　オブジェクト追跡＆解析部５３は、オブジェクト検出部５２が検出したオブジェクトの追跡処理を実行して、各オブジェクトにオブジェクトＩＤを設定し、さらに、オブジェクト画像サイズ（例えば、縦（ｈ）×横（ｗ）の画素数）と、オブジェクトの特徴情報（色、形状、模様等）を取得する。

　なお、オブジェクト追跡＆解析部５３は、右方向カメラ４４によって撮影されたオブジェクト中、事前に前方向カメラ４１によって撮影され、オブジェクトＩＤが設定済みのオブジェクトについては、同一のオブジェクトＩＤを設定する。

　オブジェクト追跡＆解析部５３は、前方向カメラ４１と右方向カメラ４４との境界領域の対応画素位置情報を保持しており、前方向カメラ４１によって撮影されたオブジェクトが、その対応画素位置を通過して右方向カメラ４４に移動する場合、そのオブジェクトに同一のオブジェクトＩＤを設定する。
　オブジェクト追跡＆解析部５３は、隣接画像を撮影する２つのカメラの撮影オブジェクトについて、同じ識別子（ＩＤ）を設定する処理を行う。

　オブジェクト距離算出部５４は、オブジェクト追跡＆解析部５３と、オブジェクト情報記憶部５６から以下の各情報を入力する。
　（ａ）オブジェクト追跡＆解析部５３から、右方向カメラ撮影画像と、画像に含まれるオブジェクトのオブジェクトＩＤと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データ、
　（ｂ）オブジェクト情報記憶部５６から、記憶部に記録済みのデータ、すなわち、前方向カメラで撮影されたオブジェクトに対応するオブジェクトＩＤと、オブジェクト実サイズと、オブジェクト特徴情報との対応データ、

　オブジェクト距離算出部５４は、これらの情報を入力して、まず、オブジェクト追跡＆解析部５３から入力したオブジェクトＩＤと同一のＩＤがオブジェクト情報記憶部５６に格納されているか否かの確認を行う。
　オブジェクト追跡＆解析部５３から入力したオブジェクトＩＤと同一のＩＤがオブジェクト情報記憶部５６に格納されている場合は、さらに、オブジェクト追跡＆解析部５３から入力した右方向カメラ撮影画像のオブジェクトの特徴と、オブジェクト情報記憶部５６に格納済みの同一ＩＤが設定されたオブジェクトの特徴情報を比較する。

　右方向カメラ撮影画像のオブジェクトの特徴と、オブジェクト情報記憶部５６に格納済みの同一ＩＤが設定されたオブジェクトの特徴情報が一致すれば、ＩＤ設定処理が正しく行われたと判定し、さらに、オブジェクト情報記憶部５６にそのオブジェクトＩＤ対応の実サイズが記録されているか否かを判定する。
　オブジェクトの特徴情報が一致し、かつ、オブジェクトＩＤ対応の実サイズが記録されている場合は、以下に説明するオブジェクト距離算出処理を行う。

　オブジェクト追跡＆解析部５３から入力したオブジェクトＩＤと同一のＩＤがオブジェクト情報記憶部５６に格納されていない場合、または、
　オブジェクトの特徴情報が一致しない場合、または、
　オブジェクトの実サイズが記録されていない場合、
　これらの場合は、ＩＤ設定処理、あるいは事前のオブジェクト実サイズ算出処理が正しく行われなかったと判定し、以下に説明するオブジェクト距離算出処理は行われない。
　この場合は、画像のオブジェクト特徴に基づくサイズ推定処理を行う。この処理については、後段でフローチャートを参照して説明する。

　オブジェクト追跡＆解析部５３から入力した画像オブジェクトのオブジェクトＩＤと、同一のオブジェクトＩＤ対応のオブジェクト実サイズと、オブジェクト特徴情報が、オブジェクト情報記憶部５６に格納されている場合、オブジェクト距離算出部５４は、オブジェクト追跡＆解析部５３と、オブジェクト情報記憶部５６からの入力情報に基づいて、オブジェクトまでの距離を算出する。

　すなわち、オブジェクト距離算出部５４は、以下の各情報を利用してオブジェクトまでの距離を算出する。
　（ａ）オブジェクト追跡＆解析部５３から入力する、右方向カメラ撮影画像、
　（ｂ）オブジェクト情報記憶部５６から、記憶部に記録済みのデータ、すなわち、前方向カメラで撮影された同一オブジェクト対応のオブジェクト実サイズ情報。
　この処理の詳細については後述する。

　オブジェクト距離算出部５４は、右方向カメラ４４の撮影画像から検出されたオブジェクトのオブジェクトまでの距離を算出すると、算出したオブジェクトまでの距離を、例えば移動装置の移動経路（パス）を設定する行動計画部等、オブジェクト距離を利用するモジュールに出力する。

　移動装置１０に備えられた行動計画部は、オブジェクト距離算出部５４の算出したオブジェクトまでの距離を参照して、右方向をすれ違う対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行うことになる。

　次に、図９を参照して、オブジェクト距離算出部５４におけるオブジェクト距離算出処理の詳細について説明する。
　前述したように、オブジェクト距離算出部５４は、以下の各情報を利用してオブジェクトまでの距離を算出する。
　（ａ）オブジェクト追跡＆解析部５３から入力する、右方向カメラ撮影画像、
　（ｂ）オブジェクト情報記憶部５６から、記憶部に記録済みのデータ、すなわち、右方向カメラで撮影された同一オブジェクト対応のオブジェクト実サイズ情報。

　図９には、以下の各図を示している。
　（１）右方向カメラ撮影画像
　（２）右方向カメラ撮影画像内オブジェクトの距離、位置算出処理例

　図９（１）の右方向カメラ撮影画像は、画像の横方向画素に相当する横軸をＵ軸、画像の縦方向画素に相当する縦軸をＶ軸としている。撮影画像は、
　縦方向画素数＝Ｈ
　横方向画素数＝Ｗ
　の画像である。
　原点Ｏは、縦方向画素の下端、横方向画素数Ｗの中点位置に設定している。
　この画像内に、オブジェクト（画像オブジェクト）が撮影されている。
　この画像オブジェクトは、例えば、図３に示す対向車３０に相当する。

　図９（２）に示す右方向カメラ撮影画像内オブジェクトの距離、位置算出処理例に示すＸＺ座標空間は実空間に相当する。
　右方向カメラのカメラ位置を原点（カメラ原点Ｏ）として、カメラ撮影方向（移動装置１０の右方向）に垂直な軸を横軸Ｘ軸とし、図に縦軸として示すＺ軸は、カメラ光軸（カメラ撮影方向）に相当する。Ｚ軸の値はカメラから垂直方向の距離（奥行）に相当する。
　図９（２）に示す実オブジェクトは、図９（１）の画像に撮影されたオブジェクトである。
　実オブジェクトは、右方向カメラ画像撮影領域内にある。ただし、距離センサ計測領域内にはない。

　実オブジェクト位置の前面（カメラ側）は、カメラ原点からＺ軸（カメラ光軸）方向にｚ１の位置にあり、Ｘ座標はＸ１，Ｘ２の範囲にある。
　カメラ原点Ｏから、オブジェクト（前面Ｘ１～Ｘ２の中心Ｄ）までの距離、すなわち、オブジェクト距離ＯＤは、
　オブジェクト距離ＯＤ＝ｄ
　である。
　このオブジェクト距離ｄが算出対象となるオブジェクト距離ｄである。
　なお、
　カメラ撮影画像の画角＝Ψ
　は、既知の値である。

　図９（１）の画像上のオブジェクトを通るＵ軸に平行な線分ａｂ上の画像は、図９（２）の実空間上のオブジェクトの前面を通る線分ＡＢ（Ｚ＝ｚ１上のＸ軸に平行な線分ＡＢ）の画像に相当する。
　すなわち、実空間上のラインＡＢの実サイズを縮小した画像が画像空間上のラインａｂの画像に相当する。
　従って、図９（１）右方向カメラ撮影画像の線分ａｂにおける画像オブジェクトの位置と、図９（２）の実空間の線分ＡＢにおける実オブジェクトの位置は同じ位置関係にある。

　これらの条件の下、実空間における実オブジェクトの距離ｄを算出する。
　図９（２）に示す実オブジェクト距離ｄの算出処理は、以下の処理Ｂ１～Ｂ３を順次、実行して行う。
　（処理Ｂ１）実空間のカメラ原点Ｏからオブジェクト前面中心Ｄを結ぶ直線ＯＤ（図にオブジェクト距離ｄとして示す直線）と、Ｚ軸（カメラ光軸）とのなす角Φを算出する。
　（処理Ｂ２）実空間のカメラ原点ＯからＺ軸（カメラ光軸）方向への離間距離、すなわち、実オブジェクトのＺ座標ｚ１を算出する。
　（処理Ｂ３）処理Ｂ１～Ｂ２において算出した値を用いて、オブジェクト距離ｄを算出する。
　以下、上記（処理Ｂ１）～（処理Ｂ３）の各処理の詳細について説明する。

　　（処理Ｂ１）
　まず、処理Ｂ１、すなわち、実空間のカメラ原点Ｏからオブジェクト前面中心Ｄを結ぶ直線ＯＤ（図にオブジェクト距離ｄとして示す直線）と、Ｚ軸（カメラ光軸）とのなす角Φの算出処理について説明する。

　図９（１）の画像中の線分ａｂの中央点をｃ、線分ａｂ中の画像オブジェクトの中央点をｄとする。
　一方、図９（２）の実空間の線分ＡＢの中央点をＣ、線分ＡＢ中の実オブジェクトの中央点をＤとする。

　また、図９（１）の画像中の線分ａｂ中の画像オブジェクトの左右端点のＵ座標をｕ１、ｕ２とする。
　このとき、ｃｂとｃｄの比率と、ＣＢとＣＤの比率は同一であり、
　ｃｂ：ｃｄ＝ＣＢ：ＣＤ・・・（式２１）
　上記（式２１）が成立する。
　上記（式２１）から、以下の（式２２）が得られる。
　Ｗ／２：（ｕ１＋ｕ２）／２＝ｔａｎ（Ψ／２）：ｔａｎΦ・・・（式２２）

　上記（式２２）において、
　Ｗは、右方向カメラ撮影画像の横方向画素数、
　ｕ１，ｕ２は、右方向カメラ撮影画像の画像オブジェクトの座標情報、
　Ψは、右方向カメラの画角、
　であり、すべて既知の値である。
　従って、上記（式２２）から、角度Φ、すなわち、カメラ原点Ｏから、オブジェクト前面中心Ｄを結ぶ直線ＯＤ（図にオブジェクト距離ｄとして示す直線）と、Ｚ軸（カメラ光軸）とのなす角Φを算出することできる。

　　（処理Ｂ２）
　次に、処理Ｂ２、すなわち、実空間のカメラ原点ＯからＺ軸（カメラ光軸）方向への離間距離、すなわち、実オブジェクトのＺ座標＝ｚ１を算出する処理について説明する。

　図９（２）に示す実空間において、
　ＣＢ＝ｚ１×ｔａｎ（Ψ／２）・・・（式２３）、
　であり、
　ｚ１＝ＣＢ／（ｔａｎ（Ψ／２））・・・（式２４）
　となる。

　ここで、図９（２）に示す実空間での長さＣＢは、図９（１）に示す画像空間では、長さｃｂ（＝Ｗ／２）に縮小されている。
　この縮小率は、
　実空間の実オブジェクトのサイズ（幅）＝（Ｘ２－Ｘ１）と、
　画像空間の画像オブジェクトのサイズ（幅）＝（ｕ２－ｕ１）、
　これらのサイズの縮小率に等しい。

　従って、上記（式２４）中のＣＢは、以下の（式２５）で算出できる。
　ＣＢ＝（Ｗ／２）×（Ｘ２－Ｘ１）／（ｕ２－ｕ１）・・・（式２５）

　上記（式２５）から、前述の（式２４）は、以下の（式２６）として示すことができる。
　ｚ１＝（（Ｗ／２）×（Ｘ２－Ｘ１）／（ｕ２－ｕ１））／（ｔａｎ（Ψ／２））・・・（式２６）

　上記（式２６）において、
　Ｗ／２は、撮影画像の横画素数の１／２であり既知である。
　（Ｘ２－Ｘ１）は、実オブジェクトのサイズ（幅）であり、事前にオブジェクト情報記憶部５６に格納された値である。
　（ｕ２－ｕ１）は撮影画像から取得可能である。
　（ｔａｎ（Ψ／２））は、画角Ψから算出できる。
　従って、これらの既知の値を利用して、上記（式２６）に従って、実オブジェクトのカメラ原点ＯからＺ軸（カメラ光軸）方向への離間距離、すなわち、実オブジェクトのＺ座標＝ｚ１を算出することができる。

　なお、（Ｘ２－Ｘ１）は、実オブジェクトのサイズ（幅）であるが、これは前方向カメラ４１の撮影画像を適用して算出されてオブジェクト情報記憶部５６に格納された値である。従って、例えば、オブジェクトが対向車である場合、前にオブジェクト情報記憶部５６に格納されたオブジェクトサイズ（幅）は、前方カメラで撮影された対向車のフロント部分の幅に相当する。

　これに対して、図９（１）に示す画像は、右方向カメラで撮影された画像であり、オブジェクト幅が対向車を横から見た車両の長さ部分に相当する場合があり、このような場合、実オブジェクトのサイズ（幅）Ｘ２－Ｘ１をそのまま適用すると算出値に誤差が発生する可能性がある。

　この問題を低減させるため、上記（式２６）に適用する実オブジェクトのサイズ（幅）Ｘ２－Ｘ１については、オブジェクト情報記憶部５６に格納されたオブジェクトサイズ（幅）をそのまま適用するのではなく、予め設定した変換式を用いて変換した値を用いる構成としてもよい。

　例えば、予め、メモリにオブジェクト種類単位で、正面サイズと側面サイズとの比率を格納しておく。
　オブジェクト距離算出部５４は、オブジェクト特徴からオブジェクト種類を判別して、この比率を乗じた値を算出して（式２６）の実オブジェクトのサイズ（幅）Ｘ２－Ｘ１とする。

　例えば、
　乗用車＝正面サイズ２ｍ、側面サイズ４ｍ、側面／正面の比率＝２．０
　トラック＝正面サイズ２．５ｍ、側面サイズ７．５ｍ、側面／正面の比率＝３．０
　歩行者＝正面サイズ０．５ｍ、側面サイズ０．３ｍ、側面／正面の比率＝０．６
　このようなオブジェクト種類単位の代表的サイズと、比率を記憶部に予め格納し、オブジェクト距離算出部５４は、この比率情報を適用して、上記（式２６）のオブジェクト実サイズＸ２－Ｘ１を調整する設定としてもよい。

　　（処理Ｂ３）
　次に、処理Ｂ３、すなわち、処理Ｂ１～Ｂ２において算出した値を用いて、オブジェクト距離ｄを算出する処理について説明する。

　図９（２）に示す実空間において、
　ｃｏｓΦ＝ｚ１／ｄ・・・（式２７）
　上記（式２７）が成立する。

　上記（式２７）から、
　ｄ＝ｚ１／ｃｏｓΦ・・・（式２８）
　上記（式２８）が導かれる。
　上記（式２８）において、
　ｚ１は、前述の（処理Ｂ２）の（式２６）において算出された値であり、
　Φは、（処理Ｂ１）の（式２２）により算出可能な値である。
　従って、上記（式２８）に従って、実オブジェクトまでの距離ｄを算出することができる。

　さらに、オブジェクト位置算出部５７は、右方向カメラ４４に含まれるオブジェクトの位置を算出する。
　すなわち、オブジェクト位置算出部５７は、図９（２）の実空間における実オブジェクトのＸ軸上の値であるＸ１，Ｘ２を算出する。

　このオブジェクト位置算出部５７におけるオブジェクト位置Ｘ１，Ｘ２の算出処理は以下の処理Ｃ１～Ｃ２を順次、実行して行う。
　（処理Ｃ１）実空間のカメラ原点Ｏと実オブジェクトの前方（カメラ側）の左端（Ｘ座標＝Ｘ１）を結ぶ線分ＯＰとＺ軸とのなす角θ１と、カメラ原点Ｏと実オブジェクトの前方（カメラ側）の右端（Ｘ座標＝Ｘ２）を結ぶ線分ＯＱとＺ軸とのなす角θ２を算出する。
　（処理Ｃ２）処理Ｃ１において算出した値を用いて、オブジェクト位置Ｘ１，Ｘ２を算出する。

　以下、図９を参照して、（処理Ｃ１），（処理Ｃ２）の詳細について説明する。
　　（処理Ｃ１）
　まず、処理Ｃ１、すなわち、実空間のカメラ原点Ｏと実オブジェクトの前方（カメラ側）の左端（Ｘ座標＝Ｘ１）を結ぶ線分ＯＰとＺ軸とのなす角θ１と、カメラ原点Ｏと実オブジェクトの前方（カメラ側）の右端（Ｘ座標＝Ｘ２）を結ぶ線分ＯＱとＺ軸とのなす角θ２を算出する処理について説明する。

　前述したように、図９（１）の画像上のオブジェクトを通るＵ軸に平行な線分ａｂ上の画像は、図９（２）の実空間上のオブジェクトの前面を通る線分ＡＢ（Ｚ＝ｚ１上のＸ軸に平行な線分ＡＢ）の画像に相当する。
　すなわち、実空間上のラインＡＢの実サイズを縮小した画像が画像空間上のラインａｂの画像に相当する。

　従って、図９（１）前方向カメラ撮影画像の線分ａｂにおける画像オブジェクト位置の端点のｕ座標ｕ１，ｕ２と、図９（２）の実空間の線分ＡＢにおける実オブジェクト位置の端点のＸ座標Ｘ１，Ｘ２は同じ位置関係にある。

　この関係から、
　図９（１）の画像中の、
　ｃからｂの長さｃｂ、
　ｃからｕ１の長さｃｕ１、
　ｃからｕ２の長さｃｕ２、
　および、図９（２）の実空間中の、
　ＣからＢの長さＣＢ、
　ＣからＸ１の長さＣＸ１、
　ＣからＸ２の長さＣＸ２、
　これらの各値の対応関係として、以下の（式３１）、（式３２）が成立する。
　ｃｂ：ｃｕ１＝ＣＢ：ＣＸ１・・・（式３１）
　ｃｂ：ｃｕ２＝ＣＢ：ＣＸ２・・・（式３２）
　上記（式３１），（式３２）が成立する。

　上記（式３１），（式３２）から、
　Ｗ／２：ｃｕ１＝ｔａｎ（Ψ／２）：ｔａｎ（θ１）・・・（式３３）
　Ｗ／２：ｃｕ２＝ｔａｎ（Ψ／２）：ｔａｎ（θ２）・・・（式３４）
　が得られる。
　上記（式３３）において、未知数はθ１のみであるので、（式３３）から、θ１を算出することができる。
　また、上記（式３４）において、未知数はθ２のみであるので、（式３４）から、θ２を算出することができる。

　　（処理Ｃ２）
　次に、処理Ｃ２、すなわち、処理Ｃ１において算出した値を用いて、オブジェクト位置Ｘ１，Ｘ２を算出する処理について説明する。

　図９（２）に示す実オブジェクトの前方（カメラ側）の左端のＸ座標＝Ｘ１と、
　実オブジェクトのＺ座標＝ｚ１と、
　線分ＯＰとＺ軸とのなす角＝θ１、
　これらの関係は、以下の（式３５）によって示すことができる。
　Ｘ１＝ｚ１×ｓｉｎθ１・・・（式３５）

　同様に、実オブジェクトの前方（カメラ側）の右端のＸ座標＝Ｘ２と、
　実オブジェクトのＺ座標＝ｚ１と、
　線分ＯＱとＺ軸とのなす角＝θ２、
　これらの関係は、以下の（式３６）によって示すことができる。
　Ｘ２＝ｚ１×ｓｉｎθ２・・・（式３６）

　上記（式３５）、（式３６）において、ｚ１は、オブジェクト距離算出部５４において、先に説明した（式２６）に従って算出され既知である。
　また、θ１、θ２は、（式３３）、（式３４）に従って算出され既知である。
　従って、上記（式３５）、（式３６）から、
　実オブジェクトの前方（カメラ側）の左右端のＸ座標＝Ｘ１，Ｘ２を算出することができる。
　このオブジェクト位置情報Ｘ１，Ｘ２は、行動計画部等のオブジェクト位置情報利用モジュールに出力され、利用される。

　上述したように、情報処理装置５０は、以下の２つの処理を実行する。
　（処理１．距離センサの距離計測可能領域の画像内オブジェクトに対する処理）
　距離センサ４０の距離計測可能領域の画像を撮影する前方向カメラ４１の撮影画像に含まれるオブジェクトの距離については、オブジェクト距離算出部５４が、距離センサ４０のセンサ情報から算出する。
　さらに、オブジェクトの位置や実サイズを、オブジェクト位置＆実サイズ算出部５５が、先に図７を参照して説明した処理、すなわち前方向カメラ４１の撮影画像と、距離情報ｄを適用して算出する。

　（処理２．距離センサの距離計測可能領域以外の画像内オブジェクトに対する処理）
　距離センサ４０の距離計測可能領域以外の画像を撮影するカメラ（後方向カメラ、左方向カメラ４３、右方向カメラ４４）の撮影画像に含まれるオブジェクトの距離については、オブジェクト距離算出部５４が、カメラの撮影画像と、オブジェクト情報記憶部５６に格納されたオブジェクトサイズ情報を利用して算出する。
　また、オブジェクト位置については、オブジェクト位置算出部５７が、カメラの撮影画像と、オブジェクト距離算出部５４の算出したカメラ光軸方向のオブジェクトまでの距離と、オブジェクト情報記憶部５６に格納されたオブジェクトサイズ情報を利用して算出する。

　　［４．情報処理装置の実行する処理のシーケンスについて］
　次に、図１０、図１１に示すフローチャートを参照して、情報処理装置の実行する処理のシーケンスについて説明する。
　なお、図１０、図１１に示すフローチャートに従った処理は、例えば、情報処理装置の記憶部に格納されたプログラムに従って実行することが可能である。
　情報処理装置は例えばＣＰＵ等のプログラム実行機能を有するハードウェアを備えている。
　以下、フローチャートの各ステップの処理について説明する。

　　（ステップＳ１０１）
　ステップＳ１０１の処理は、情報処理装置のオブジェクト検出部５２の実行する処理である。オブジェクト検出部５２は、ステップＳ１０１において、カメラ撮影画像に距離算出対象オブジェクトを検出したか否かを判定する。
　なお、この場合のカメラは、前方向カメラ４１、後方向カメラ４２、左方向カメラ４３、右方向カメラ４４のいずれかである。
　また、距離算出対象オブジェクトは、例えば、車両の他、歩行者、カードレール、側壁等、移動装置１０の移動に対する障害物となり得る全てのオブジェクトとしてもよいし、予め、移動するオブジェクトのみを選択する設定としてもよい。

　　（ステップＳ１０２～Ｓ１０３）
　次のステップＳ１０２～Ｓ１０３の処理は、オブジェクト追跡＆解析部５３の実行する処理である。
　オブジェクト追跡＆解析部５３は、オブジェクト検出部５２が検出したオブジェクトの追跡処理を実行する。すなわち、画像から検出されたオブジェクトの各々に識別子（ＩＤ）を設定して、各オブジェクトを画像上での動きに応じて追跡する。

　さらに、オブジェクト追跡＆解析部５３は、オブジェクトＩＤの設定されたオブジェクトの画像上のサイズ（例えば、縦（ｈ）×横（ｗ）の画素数）と、オブジェクトの特徴情報を取得する。
　オブジェクトの特徴情報とは、例えばオブジェクトの色、形状、模様等の特徴である。

　なお、前述したように、オブジェクト追跡＆解析部５３は、前方向カメラ４１と右方向カメラ４４等、隣接画像を撮影する２つのカメラの撮影画像の境界領域の対応画素位置情報を保持しており、オブジェクトが、その対応画素位置を通過して異なるカメラの撮影画像に移動する場合、そのオブジェクトに同一のオブジェクトＩＤを設定する。このように、オブジェクト追跡＆解析部５３は、隣接画像を撮影する２つのカメラの撮影オブジェクトについて、同じ識別子（ＩＤ）設定処理を行う。

　　（ステップＳ１０４）
　ステップＳ１０４の処理は、オブジェクト距離算出部５４の実行する処理である。
　オブジェクト距離算出部５４は、まず、ステップＳ１０４において、カメラによって撮影された画像に含まれる距離算出対象オブジェクトが、距離センサ４０の距離計測可能領域内に含まれるか否かを判定する。

　すなわち、本実施例では、図１～図３を参照して説明したように、距離センサ４０の距離計測可能領域は、前方向カメラ４１の撮影領域内であり、処理対象オブジェクトが、前方向カメラ４１の撮影画像のオブジェクトの場合は、ステップＳ１０４の判定はＹｅｓとなり、ステップＳ１０５に進む。
　一方、処理対象オブジェクトが、前方向カメラ４１以外のカメラの撮影画像のオブジェクトの場合は、ステップＳ１０４の判定はＮｏとなり、ステップＳ２０１に進む。

　　（ステップＳ１０５）
　ステップＳ１０５～Ｓ１０７の処理は、処理対象オブジェクトが、前方向カメラ４１の撮影画像のオブジェクトの場合に実行する処理である。
　ステップＳ１０５の処理は、オブジェクト距離算出部５４の実行する処理である。
　ステップＳ１０６～Ｓ１０７の処理は、オブジェクト位置＆実サイズ算出部５５の実行する処理である。

　まず、ステップＳ１０５において、オブジェクト距離算出部５４が、前方向カメラ４１の撮影画像内の距離算出対象オブジェクトの距離を算出する。
　このオブジェクト距離算出処理は、距離センサ４０のセンサ情報から、直接、算出することができる。
　なお、オブジェクト距離算出部５４が算出したオブジェクトまでの距離情報は、行動計画部等のオブジェクト情報利用モジュールに出力される。
　移動装置１０に備えられた行動計画部等のオブジェクト情報利用モジュールは、オブジェクト距離算出部５４の算出したオブジェクトまでの距離を参照して、対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行う。

　　（ステップＳ１０６）
　次に、オブジェクト位置＆実サイズ算出部５５が、ステップＳ１０６において、前方向カメラ４１の撮影画像内の距離算出対象オブジェクトの実サイズと位置を算出する。

　この処理は、先に図７を参照して説明した処理である。
　すなわち、前方向カメラ４１の撮影画像と、オブジェクト距離算出部５４が算出したオブジェクト距離情報ｄを適用して、オブジェクトの実サイズと位置を算出する。
　オブジェクト位置＆実サイズ算出部５５が算出したオブジェクト位置情報は、行動計画部等のオブジェクト情報利用モジュールに出力される。
　移動装置１０に備えられた行動計画部等のオブジェクト情報利用モジュールは、オブジェクト位置＆実サイズ算出部５５の算出したオブジェクト位置を参照して、対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行う。

　　（ステップＳ１０７）
　オブジェクト位置＆実サイズ算出部５５は、さらに、ステップＳ１０７において、ステップＳ１０６で算出したオブジェクトの実サイズ、すなわち、前方向カメラ４１の撮影画像内の距離算出対象オブジェクトの実サイズを、そのオブジェクトの識別子（ＩＤ）と特徴情報とに対応付けてオブジェクト情報記憶部５６に格納する。

　ステップＳ１０７の処理が完了すると、ステップＳ１０１に戻り、さらに新たなオブジェクトに対する処理を実行する。

　次に、ステップＳ１０４の判定処理においてＮｏの判定された場合の処理、すなわち、処理対象オブジェクトが、前方向カメラ４１以外のカメラの撮影画像のオブジェクトの場合の処理について、図１１を参照して説明する。

　　（ステップＳ２０１）
　ステップＳ２０１の処理は、オブジェクト距離算出部５４の実行する処理である。
　オブジェクト距離算出部５４は、処理対象オブジェクトが、前方向カメラ４１以外のカメラの撮影画像のオブジェクトの場合、まず、ステップＳ２０１において、オブジェクト識別子（ＩＤ）対応のオブジェクトサイズ情報が、オブジェクト情報記憶部５６に記録されているか否かを判定する。

　すなわち、先行して実行された前方向カメラ４１の撮影画像に対する処理において、距離算出、実サイズ算出が実行され、算出された実サイズ情報がオブジェクトＩＤとともにオブジェクト情報記憶部５６に記録されているか否かを確認する。

　なお、前述したように、オブジェクト追跡＆解析部５３は、前方向カメラ４１と右方向カメラ４４等、隣接画像を撮影する２つのカメラの撮影画像の境界領域の対応画素位置情報を保持しており、オブジェクトが、その対応画素位置を通過して異なるカメラの撮影画像に移動する場合、そのオブジェクトに同一のオブジェクトＩＤを設定する。

　従って、先行して実行された前方向カメラ４１の撮影画像に対する処理において、実サイズ算出が実行されている場合、その実サイズ情報は、今回の処理対象として設定しているオブジェクトのオブジェクトＩＤと同一のオブジェクトＩＤに対応付けられてオブジェクト情報記憶部５６に記録されている。
　ただし、前方向カメラ４１の撮影画像に対する処理において何らかのエラーが発生した場合、あるいはサイズ算出に失敗した場合等には、記憶部に対する実サイズデータの格納が行われていない場合もある。

　オブジェクト距離算出部５４は、ステップＳ２０１において、オブジェクト識別子（ＩＤ）対応のオブジェクトサイズ情報が、オブジェクト情報記憶部５６に記録されていることを確認した場合は、ステップＳ２０２に進む。
　一方、オブジェクト識別子（ＩＤ）対応のオブジェクトサイズ情報が、オブジェクト情報記憶部５６に記録されていないことを確認した場合は、ステップＳ２０３に進む。

　　（ステップＳ２０２）
　ステップＳ２０２の処理は、オブジェクト距離算出部５４と、オブジェクト位置算出部５７の実行する処理である。
　ステップＳ２０１において、オブジェクト識別子（ＩＤ）対応のオブジェクトサイズ情報が、オブジェクト情報記憶部５６に記録されていることを確認した場合は、ステップＳ２０２において、オブジェクト距離算出部５４がそのオブジェクトの距離を算出し、さらに、オブジェクト位置算出部５７がオブジェクト位置を算出する。

　この処理は、先に図９を参照して説明した処理である。すなわち、距離センサ４０の距離計測可能領域以外の画像を撮影するカメラ（後方向カメラ、左方向カメラ４３、右方向カメラ４４）の撮影画像に含まれるオブジェクトの距離については、オブジェクト距離算出部５４が、カメラの撮影画像と、オブジェクト情報記憶部５６に格納されたオブジェクトサイズ情報を利用して算出する。
　また、オブジェクト位置については、オブジェクト位置算出部５７が、カメラの撮影画像と、オブジェクト距離算出部５４が算出したオブジェクトまでの距離と、オブジェクト情報記憶部５６に格納されたオブジェクトサイズ情報を利用して算出する。

　オブジェクト距離算出部５４と、オブジェクト位置算出部５７の算出したオブジェクトの距離と位置は、行動計画部等のオブジェクト情報利用モジュールに出力される。
　移動装置１０に備えられた行動計画部等のオブジェクト情報利用モジュールは、入力するオブジェクトまでの距離と位置を参照して、対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行う。

　　（ステップＳ２０３）
　ステップＳ２０３の処理は、ステップＳ２０１において、オブジェクト識別子（ＩＤ）対応のオブジェクトサイズ情報が、オブジェクト情報記憶部５６に記録されていないことを確認した場合に、オブジェクト距離算出部５４と、オブジェクト位置算出部５７が実行する処理である。

　オブジェクト距離算出部５４と、オブジェクト位置算出部５７は、ステップＳ２０３において、画像内のオブジェクト特徴に基づいて、オブジェクト種類を推定し、推定オブジェクトの代表的サイズをオブジェクト実サイズと仮定し、仮定したオブジェクト実サイズと、画像上のオブジェクトの画サイズからオブジェクトまでの距離と位置を算出する。

　すなわち、まず、オブジェクト距離算出部５４と、オブジェクト位置算出部５７は、画像内のオブジェクト特徴に基づいて、オブジェクト種類を特定する。
　例えば、オブジェクト特徴に基づいて、オブジェクトが乗用車である。あるいはラトラックである、あるいは歩行者である等のオブジェクト種類の推定を行う。

　なお、オブジェクトの種類に応じた代表的サイズ、例えば、
　乗用車＝幅２ｍ、
　トラック＝幅３ｍ
　歩行者＝幅０．５ｍ
　このようなオブジェクト種類単位の代表的サイズを記憶部に予め格納しておく。

　オブジェクト距離算出部５４と、オブジェクト位置算出部５７は、オブジェクト特徴に基づいて推定したオブジェクト種類に応じた代表的サイズを記憶部から取得する。
　オブジェクト距離算出部５４と、オブジェクト位置算出部５７は、記憶部から取得した代表的サイズをオブジェクトの実サイズ情報として適用して、先に図９を参照して説明した処理を実行して、オブジェクトの距離と位置を算出する。

　　［５．移動装置の構成例について］
　次に、図１２を参照して移動装置の構成例について説明する。
　図１２は、上述した処理を実行する移動装置に装着可能な移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。

　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。

　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。

　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。

　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ソナー等からなる。

　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である

　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、又は、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。

　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。

　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

　記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。

　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。

　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ　Ｇｒｉｄ　Ｍａｐ）とされる。

　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。

　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する

　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

　　［６．情報処理装置の構成例について］
　図１２は、上述した処理を実行する移動装置内に装着可能な車両制御システム１００の構成であるが、先に説明した実施例に従った処理は、例えば距離センサやカメラ等の様々なセンサの検出情報をＰＣ等の情報処理装置に入力してデータ処理を行い、オブジェクトの距離やサイズや位置を算出することも可能である。
　この場合の情報処理装置の具体的なハードウェア構成例について、図１３を参照して説明する。

　図１３は、一般的なＰＣ等の情報処理装置のハードウェア構成例を示す図である。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。

　ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、ＧＰＳ等の状況データ取得部などよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。
　なお、入力部３０６には、距離センサやカメラ等のセンサ３２１からの入力情報も入力される。
　また、出力部３０７は、移動装置の行動計画部等の計画部３２２に対する情報としてオブジェクトの距離、位置情報等も出力する。

　ＣＰＵ３０１は、入力部３０６から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部３０７に出力する。
　入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース３０５に接続されているドライブ１３０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。

　　［７．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　カメラによる撮影画像に基づいてオブジェクトを検出するオブジェクト検出部と、
　前記オブジェクトまでの距離を算出するオブジェクト距離算出部とを有し、
　前記オブジェクト距離算出部は、
　前記オブジェクトの実サイズ情報と、前記オブジェクトの撮影画像に基づいてオブジェクトまでの距離を算出する情報処理装置。

　（２）　前記オブジェクト距離算出部は、
　前記オブジェクトの撮像画像におけるサイズと、前記オブジェクトの実サイズとの比率を適用して前記オブジェクトまでの距離を算出する（１）に記載の情報処理装置。

　（３）　前記情報処理装置は、さらに、
　前記オブジェクト距離算出部で算出された前記オブジェクトまでの距離情報と、前記オブジェクトの撮像画像を適用してオブジェクトの位置を算出するオブジェクト位置算出部を有する（１）または（２）に記載の情報処理装置。

　（４）　前記オブジェクト距離算出部で算出された前記オブジェクトまでの距離情報は、カメラ光軸方向のオブジェクトまでの距離であり、
　前記オブジェクト位置算出部は、
　前記カメラ光軸方向のオブジェクトまでの距離と前記画像情報を適用して、カメラ原点と前記オブジェクト端点を結ぶ線と、カメラ光軸とのなす角度を算出し、算出した角度に基づいて、前記オブジェクト端点の位置を算出する（３）に記載の情報処理装置。

　（５）　前記カメラは、
　移動装置の左右、または後方を撮影するカメラであり、
　前記オブジェクトの実サイズ情報は、
　前記移動装置の前方を撮影する前方向カメラによって撮影された画像と、前記移動装置の前方のオブジェクトまでの距離を計測する距離センサの計測した距離情報を適用して算出された実サイズ情報である（１）～（４）いずれかに記載の情報処理装置。

　（６）　前記カメラは、距離センサによる距離計測可能領域外の画像を撮影するカメラであり、
　前記オブジェクトの実サイズ情報は、
　オブジェクト実サイズ算出部が、前記距離センサによる距離計測可能領域内の画像を撮影する先行撮影カメラによって撮影された先行撮影画像と、前記距離センサにより計測された距離情報を適用して算出した実サイズ情報である（１）～（５）いずれかに記載の情報処理装置。

　（７）　前記オブジェクト実サイズ算出部は、
　前記距離センサにより計測された距離情報と、前記先行撮影画像を利用してオブジェクトの２つの端点位置を算出し、２つの端点位置の差分を前記オブジェクトの幅として算出する（６）に記載の情報処理装置。

　（８）　前記情報処理装置は、
　カメラによって撮影されたオブジェクトに識別子（ＩＤ）を付与するオブジェクト追跡部を有し、
　前記オブジェクト追跡部は、
　識別子設定対象オブジェクトが、別のカメラによりすでに撮影されたオブジェクトと同一であるか否かを判定し、同一である場合には、該オブジェクトに設定済みの識別子を記憶部から取得して設定する（１）～（７）いずれかに記載の情報処理装置。

　（９）　前記オブジェクト距離算出部は、
　前記オブジェクトの実サイズ情報が取得できない場合、
　前記オブジェクトの特徴情報に基づいてオブジェクトの種類を判別し、予め記憶部に格納済みのオブジェクト種類対応の代表的サイズ情報を取得し、
　取得した代表的サイズ情報と、前記画像情報を適用してオブジェクトまでの距離を算出する（１）～（８）いずれかに記載の情報処理装置。

　（１０）　移動装置の前方向画像を撮影する前方向カメラと、
　前記移動装置の前方向にあるオブジェクトまでの距離を計測する距離センサと、
　前記移動装置の前方向以外の第２方向画像を撮影する第２方向カメラと、
　前記第２方向カメラにより撮影された第２方向画像を入力し、前記第２方向画像内のオブジェクトまでの距離を算出するオブジェクト距離算出部と、
　前記オブジェクト距離算出部の算出したオブジェクトまでの距離情報に基づいて前記移動装置の経路を決定する計画部と、
　前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有し、
　前記オブジェクト距離算出部は、
　前記オブジェクトの実サイズ情報と、前記第２方向画像に含まれるオブジェクトの撮像画像に基づいて前記オブジェクトまでの距離を算出する移動装置。

　（１１）　前記オブジェクト距離算出部は、
　前記第２方向画像内の画像オブジェクトの画像サイズと、実空間における実オブジェクトの実サイズとの比率を適用して前記オブジェクトまでの距離を算出する（１０）に記載の移動装置。

　（１２）　前記移動装置は、さらに、
　前記オブジェクト距離算出部の算出情報と、前記画像情報を適用してオブジェクトの位置を算出するオブジェクト位置算出部を有する（１０）または（１１）に記載の移動装置。

　（１３）　前記オブジェクトの実サイズ情報は、
　前記前方向カメラによって撮影された前方向画像と、前記距離センサの計測した距離情報を適用して算出された実サイズ情報である（１０）～（１２）いずれかに記載の移動装置。

　（１４）　前記移動装置は、
　カメラによって撮影されたオブジェクトに識別子（ＩＤ）を付与するオブジェクト追跡部を有し、
　前記オブジェクト追跡部は、
　識別子設定対象オブジェクトが、先行撮影カメラによる撮影オブジェクトと同一であるか否かを判定し、同一である場合には、該オブジェクトに設定済みの識別子を記憶部から取得して設定する（１０）～（１３）いずれかに記載の移動装置。

　（１５）　前記オブジェクト距離算出部は、
　前記オブジェクトの実サイズ情報が取得できない場合、
　前記オブジェクトの特徴情報に基づいてオブジェクトの種類を判別し、予め記憶部に格納済みのオブジェクト種類対応の代表的サイズ情報を取得し、
　取得した代表的サイズ情報と、前記画像情報を適用してオブジェクトまでの距離を算出する（１０）～（１４）いずれかに記載の移動装置。

　（１６）　情報処理装置において実行する情報処理方法であり、
　オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップを有し、
　前記オブジェクト距離算出ステップは、
　前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する情報処理方法。

　（１７）　移動装置において実行する移動装置制御方法であり、
　前記移動装置は、
　移動装置の前方向画像を撮影する前方向カメラと、
　前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
　前記移動装置の前方向以外の第２方向画像を撮影する第２方向カメラを装着した構成であり、
　オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップと、
　計画部が、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定する計画ステップと、
　動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御ステップを実行し、
　前記オブジェクト距離算出ステップは、
　前記オブジェクトの実サイズ情報と、前記第２方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出するステップである移動装置制御方法。

　（１８）　情報処理装置において情報処理を実行させるプログラムであり、
　オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップを有し、
　前記プログラムは、前記オブジェクト距離算出ステップにおいて、
　前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラム。

　（１９）　移動装置において移動装置制御処理を実行させるプログラムであり、
　前記移動装置は、
　移動装置の前方向画像を撮影する前方向カメラと、
　前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
　前記移動装置の前方向以外の第２方向画像を撮影する第２方向カメラを装着した構成であり、
　前記プログラムは、
　オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップと、
　計画部に、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定させる計画ステップと、
　動作制御部に、前記計画部の決定した経路に従って前記移動装置の動作制御を行わせる動作制御ステップを実行させ、
　前記オブジェクト距離算出ステップにおいては、
　前記オブジェクトの実サイズ情報と、前記第２方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、距離センサによる距離計測が不可能な方向の画像に含まれるオブジェクトの距離や位置を算出する構成が実現される。
　具体的には、例えば、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出部を有し、オブジェクト距離算出部は、オブジェクトの実サイズ情報と、撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する。さらに、オブジェクト位置算出部が、オブジェクト距離算出部の算出情報と、画像情報を利用してオブジェクト位置を算出する。オブジェクト実サイズは、距離センサによる距離計測可能な方向の撮影画像に基づいて取得する。
　本構成により、距離センサによる距離計測が不可能な方向の画像に含まれるオブジェクトの距離や位置を算出する構成が実現される。

　１０・・移動装置，１１・・前方向カメラ，１２・・後方向カメラ，１３・・左方向カメラ，１４・・右方向カメラ，２１・・前方向距離センサ，４０・・距離センサ，４１・・前方向カメラ，４２・・後方向カメラ，４３・・左方向カメラ，４４・・右方向カメラ，５０・・情報処理装置，５１・・距離センサ出力情報解析部，５２・・オブジェクト検出部，５３・・オブジェクト追跡＆解析部，５４・・オブジェクト距離算出部，５５・・オブジェクト位置＆実サイズ算出部，１００・・車両制御システム，１０１・・入力部，１０２・・データ取得部，１０３・・通信部，１０４・・車内機器，１０５・・出力制御部，１０６・・出力部，１０７・・駆動系制御部，１０８・・駆動系システム，１０９・・ボディ系制御部，１１０・・ボディ系システム，１１１・・記憶部，１１２・・自動運転制御部，１２１・・通信ネットワーク，１３１・・検出部，１３２・・自己位置推定部，１４１・・車外情報検出部，１４２・・車内情報検出部，１４３・・車両状態検出部，１５１・・マップ解析部，１５２・・交通ルール認識部，１５３・・状況認識部，１５４・・状況予測部，１６１・・ルート計画部，１６２・・行動計画部，１６３・・動作計画部，１７１・・緊急事態回避部，１７２・・加減速制御部，１７３・・方向制御部，３０１・・ＣＰＵ，３０２・・ＲＯＭ，３０３・・ＲＡＭ，３０４・・バス，３０５・・入出力インタフェース，３０６・・入力部，３０７・・出力部，３０８・・記憶部，３０９・・通信部，３１０・・ドライブ，３１１・・リムーバブルメディア，３２１・・センサ，３２２・・計画部

Claims

　カメラによる撮影画像に基づいてオブジェクトを検出するオブジェクト検出部と、
　前記オブジェクトまでの距離を算出するオブジェクト距離算出部とを有し、
　前記オブジェクト距離算出部は、
　前記オブジェクトの実サイズ情報と、前記オブジェクトの撮影画像に基づいてオブジェクトまでの距離を算出する情報処理装置。
　前記オブジェクト距離算出部は、
　前記オブジェクトの撮像画像におけるサイズと、前記オブジェクトの実サイズとの比率を適用して前記オブジェクトまでの距離を算出する請求項１に記載の情報処理装置。
　前記情報処理装置は、さらに、
　前記オブジェクト距離算出部で算出された前記オブジェクトまでの距離情報と、前記オブジェクトの撮像画像を適用してオブジェクトの位置を算出するオブジェクト位置算出部を有する請求項１に記載の情報処理装置。
　前記オブジェクト距離算出部で算出された前記オブジェクトまでの距離情報は、カメラ光軸方向のオブジェクトまでの距離であり、
　前記オブジェクト位置算出部は、
　前記カメラ光軸方向のオブジェクトまでの距離と前記画像情報を適用して、カメラ原点と前記オブジェクト端点を結ぶ線と、カメラ光軸とのなす角度を算出し、算出した角度に基づいて、前記オブジェクト端点の位置を算出する請求項３に記載の情報処理装置。
　前記カメラは、
　移動装置の左右、または後方を撮影するカメラであり、
　前記オブジェクトの実サイズ情報は、
　前記移動装置の前方を撮影する前方向カメラによって撮影された画像と、前記移動装置の前方のオブジェクトまでの距離を計測する距離センサの計測した距離情報を適用して算出された実サイズ情報である請求項１に記載の情報処理装置。
　前記カメラは、距離センサによる距離計測可能領域外の画像を撮影するカメラであり、
　前記オブジェクトの実サイズ情報は、
　オブジェクト実サイズ算出部が、前記距離センサによる距離計測可能領域内の画像を撮影する先行撮影カメラによって撮影された先行撮影画像と、前記距離センサにより計測された距離情報を適用して算出した実サイズ情報である請求項１に記載の情報処理装置。
　前記オブジェクト実サイズ算出部は、
　前記距離センサにより計測された距離情報と、前記先行撮影画像を利用してオブジェクトの２つの端点位置を算出し、２つの端点位置の差分を前記オブジェクトの幅として算出する請求項６に記載の情報処理装置。
　前記情報処理装置は、
　カメラによって撮影されたオブジェクトに識別子（ＩＤ）を付与するオブジェクト追跡部を有し、
　前記オブジェクト追跡部は、
　識別子設定対象オブジェクトが、別のカメラによりすでに撮影されたオブジェクトと同一であるか否かを判定し、同一である場合には、該オブジェクトに設定済みの識別子を記憶部から取得して設定する請求項１に記載の情報処理装置。
　前記オブジェクト距離算出部は、
　前記オブジェクトの実サイズ情報が取得できない場合、
　前記オブジェクトの特徴情報に基づいてオブジェクトの種類を判別し、予め記憶部に格納済みのオブジェクト種類対応の代表的サイズ情報を取得し、
　取得した代表的サイズ情報と、前記画像情報を適用してオブジェクトまでの距離を算出する請求項１に記載の情報処理装置。
　移動装置の前方向画像を撮影する前方向カメラと、
　前記移動装置の前方向にあるオブジェクトまでの距離を計測する距離センサと、
　前記移動装置の前方向以外の第２方向画像を撮影する第２方向カメラと、
　前記第２方向カメラにより撮影された第２方向画像を入力し、前記第２方向画像内のオブジェクトまでの距離を算出するオブジェクト距離算出部と、
　前記オブジェクト距離算出部の算出したオブジェクトまでの距離情報に基づいて前記移動装置の経路を決定する計画部と、
　前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有し、
　前記オブジェクト距離算出部は、
　前記オブジェクトの実サイズ情報と、前記第２方向画像に含まれるオブジェクトの撮像画像に基づいて前記オブジェクトまでの距離を算出する移動装置。
　前記オブジェクト距離算出部は、
　前記第２方向画像内の画像オブジェクトの画像サイズと、実空間における実オブジェクトの実サイズとの比率を適用して前記オブジェクトまでの距離を算出する請求項１０に記載の移動装置。
　前記移動装置は、さらに、
　前記オブジェクト距離算出部の算出情報と、前記画像情報を適用してオブジェクトの位置を算出するオブジェクト位置算出部を有する請求項１０に記載の移動装置。
　前記オブジェクトの実サイズ情報は、
　前記前方向カメラによって撮影された前方向画像と、前記距離センサの計測した距離情報を適用して算出された実サイズ情報である請求項１０に記載の移動装置。
　前記移動装置は、
　カメラによって撮影されたオブジェクトに識別子（ＩＤ）を付与するオブジェクト追跡部を有し、
　前記オブジェクト追跡部は、
　識別子設定対象オブジェクトが、先行撮影カメラによる撮影オブジェクトと同一であるか否かを判定し、同一である場合には、該オブジェクトに設定済みの識別子を記憶部から取得して設定する請求項１０に記載の移動装置。
　前記オブジェクト距離算出部は、
　前記オブジェクトの実サイズ情報が取得できない場合、
　前記オブジェクトの特徴情報に基づいてオブジェクトの種類を判別し、予め記憶部に格納済みのオブジェクト種類対応の代表的サイズ情報を取得し、
　取得した代表的サイズ情報と、前記画像情報を適用してオブジェクトまでの距離を算出する請求項１０に記載の移動装置。
　情報処理装置において実行する情報処理方法であり、
　オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップを有し、
　前記オブジェクト距離算出ステップは、
　前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する情報処理方法。
　移動装置において実行する移動装置制御方法であり、
　前記移動装置は、
　移動装置の前方向画像を撮影する前方向カメラと、
　前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
　前記移動装置の前方向以外の第２方向画像を撮影する第２方向カメラを装着した構成であり、
　オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップと、
　計画部が、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定する計画ステップと、
　動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御ステップを実行し、
　前記オブジェクト距離算出ステップは、
　前記オブジェクトの実サイズ情報と、前記第２方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出するステップである移動装置制御方法。
　情報処理装置において情報処理を実行させるプログラムであり、
　オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップを有し、
　前記プログラムは、前記オブジェクト距離算出ステップにおいて、
　前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラム。
　移動装置において移動装置制御処理を実行させるプログラムであり、
　前記移動装置は、
　移動装置の前方向画像を撮影する前方向カメラと、
　前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
　前記移動装置の前方向以外の第２方向画像を撮影する第２方向カメラを装着した構成であり、
　前記プログラムは、
　オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップと、
　計画部に、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定させる計画ステップと、
　動作制御部に、前記計画部の決定した経路に従って前記移動装置の動作制御を行わせる動作制御ステップを実行させ、
　前記オブジェクト距離算出ステップにおいては、
　前記オブジェクトの実サイズ情報と、前記第２方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラム。