WO2019181284A1

WO2019181284A1 - 情報処理装置、移動装置、および方法、並びにプログラム

Info

Publication number: WO2019181284A1
Application number: PCT/JP2019/005044
Authority: WO
Inventors: 英史大場; 辰吾鶴見
Original assignee: ソニー株式会社; ソニーセミコンダクタソリューションズ株式会社
Priority date: 2018-03-23
Filing date: 2019-02-13
Publication date: 2019-09-26
Also published as: US20210097707A1; EP3770549B1; JPWO2019181284A1; EP3770549A1; CN112119282A; EP3770549A4; KR20200131832A

Abstract

移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出する構成を実現する。データ処理部は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像から無限遠点を検出し、検出した無限遠点の位置と、撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する。データ処理部は、撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする。または、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の前記直線各々の延長線上の交点を無限遠点とする。

Description

情報処理装置、移動装置、および方法、並びにプログラム

　本開示は、情報処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、自動車等の移動装置の進行方向に直交する左右方向のオブジェクトの距離を、カメラ撮影画像を用いて算出する情報処理装置、移動装置、および方法、並びにプログラムに関する。

　近年、自動ブレーキ、自動速度制御、障害物検出等の様々な運転支援システムが開発され、今後、運転者の操作を不要とする自動運転車や、運転者の操作を軽減する運転支援システムを搭載した車両が増大することが予想される。
　自動車が安全に走行するためには、移動の障害となる車両や歩行者、壁等の様々なオブジェクトの距離を算出することが必要となる。

　オブジェクト距離を算出するための距離計測機器には、例えば、以下のような機器がある。
　（ａ）パルス状のレーザ光を用いて周囲情報を取得するライダー（ＬｉＤＡＲ：Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ，Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、
　（ｂ）電波の反射波を検出して反射物までの距離を計測するレーダ（Ｒａｄａｒ）、
　（ｃ）２つのカメラの撮影画像の対応点解析により撮影画像内のオブジェクトの距離を算出するステレオカメラ、
　例えば、これらの距離計測機器が知られている。

　しかし、これらの距離計測機器は、いずれも高価である。
　安価な距離計測機として、出力の弱いレーザ光や赤外光等を用いた距離センサもあるが、これらの安価な距離センサは、計測可能な距離範囲が限定される。例えば１０～１５ｍまでの距離が計測できる程度である。
　従って、このような安価な距離センサを自動車に装着しても、例えば遠方から高速で近づく車両の距離検出に利用することはできない。

　上記（ａ）～（ｃ）のような高精度な距離計測機を用いて自動車の前後左右全方向について距離計測を行うためには、前後左右少なくとも４つの距離計測機器を装着する必要があり、コスト高となってしまう。
　従って、自動車に距離計測機器を装着する場合、自動車の前方（フロント）のみに装着するといった構成とする場合が多い。

　具体例として、例えば自動車の前方のみにＬｉＤＡＲやステレオカメラ等の距離計測機器を装着し、比較的、低コストなカメラを自動車の前後左右の４か所に装着したものがある。カメラは、例えば、広角レンズを用いたアラウンドビュー撮影カメラなどが利用される。

　広角レンズを用いたカメラを自動車の左右方向各々に装着することで、自動車の左右から接近してくる車両等を視野に捉えることができる。しかしながら、これら広角レンズを用いたカメラの撮影画像は、単焦点距離の画像と異なり、歪みを有する画像であり、例えば運転者が画像を見ても、各被写体の距離を直感的に把握することが困難となる。また、歪み補正を行い、中心射影画像に変換しても、運転者が画像から各被写体の正確な距離を直感的に把握することは困難であるという問題がある。

　自動車の進行方向と異なる方向の危険を検出する構成を開示した従来技術として、例えば特許文献１（特開２０１７－１９１４７１号公報）や、特許文献２（特開２００９－０６７２９２号公報）がある。

　特許文献１は、狭い十字路から交叉する道路に出る際の死角補助システムを開示している。しかし、この開示技術は、接近車両の接近状況を視覚的に観察できるタイミングを通知するのみである。
　特許文献２は、全方位カメラから特定方角の映像を切出し表示する構成を開示している。

　これら特許文献１，２は、いずれも、自動車の左右方向から近づいてくる自動車等がある場合、その画像を運転者に提供するものであるが、その後の危険度判定は運転者が画像に基づいて判断しなければならず、運転者の画像に基づく危険度判断感覚が十分でない場合は危険を招く恐れがある。
　すなわち、特許文献１，２は、危険な自動車等が近づく画像を運転者に提供する構成を開示するのみで、左右から近づく自動車等のオブジェクトの距離情報を提供するものとはなっていない。

特開２０１７－１９１４７１号公報特開２００９－０６７２９２号公報

　本開示は、例えば上記問題点に鑑みてなされたものであり、本開示の一実施例においては、自動車等の移動装置の進行方向に直交、交叉する左右方向のオブジェクトの距離をカメラ撮影画像のみを用いて算出可能とした情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。

　また、本開示の一実施例においては、自動車等の移動装置の進行方向に直交する左右方向のオブジェクトの距離を、安価な距離センサとカメラ撮影画像を用いて算出可能とした情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部は、
　前記撮影画像から無限遠点を検出し、
　検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理装置にある。

　さらに、本開示の第２の側面は、
　移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部は、
　前記撮影画像と、前記オブジェクトより前記カメラに近い位置の基準点Ｐの距離情報を利用して、オブジェクト距離を算出する構成であり、
　オブジェクト距離をＬとしたとき、
　Ｌ＝Ｌｒｅｆ×（Ｗｒｅｆ／Ｗ）・・・（式２）
　ただし、
　Ｌｒｅｆ：カメラから基準点Ｐまでの実距離、
　Ｗｒｅｆ：基準点Ｐの画像横方向にある参照オブジェクトの画像上の幅、
　Ｗ：距離算出対象オブジェクトの画像横方向にある前記参照オブジェクトの画像上の幅、
　上記（式２）に従ってオブジェクト距離を算出する情報処理装置にある。

　さらに、本開示の第３の側面は、
　移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部は、
　オブジェクト距離をＬとしたとき、
　Ｌ＝ｆ×（Ｗｒｗ／Ｗ）・・・（式３）
　ただし、
　ｆ：カメラの焦点距離、
　Ｗｒｗ：オブジェクト画像内に含まれる実サイズが既知の構成物の実サイズ、
　Ｗ：オブジェクト画像内に含まれる実サイズが既知の構成物の画像サイズ、
　上記（式３）に従ってオブジェクト距離を算出する情報処理装置にある。

　さらに、本開示の第４の側面は、
　移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラと、
　前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部は、
　前記撮影画像から無限遠点を検出し、
　検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
　算出したオブジェクト距離に基づいて前記移動装置の経路を決定する計画部と、
　前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有する移動装置にある。

　さらに、本開示の第５の側面は、
　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部が、
　前記撮影画像から無限遠点を検出し、
　検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理方法にある。

　さらに、本開示の第６の側面は、
　移動装置において実行する情報処理方法であり、
　前記移動装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラと、
　前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部が、
　前記撮影画像から無限遠点を検出し、
　検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
　計画部が、算出したオブジェクト距離に基づいて前記移動装置の経路を決定し、
　動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う情報処理方法にある。

　さらに、本開示の第７の側面は、
　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記プログラムは、前記データ処理部に、
　前記撮影画像から無限遠点を検出させ、
　検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出する構成が実現される。
　具体的には、例えば、データ処理部は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像から無限遠点を検出し、検出した無限遠点の位置と、撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する。データ処理部は、撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする。または、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の前記直線各々の延長線上の交点を無限遠点とする。
　本構成により、移動装置の移動方向に直交する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出する構成が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

移動装置の構成例について説明する図である。移動装置に装着される距離センサの計測可能領域と、カメラの画像撮影領域の設定例について説明する図である。オブジェクト距離の算出処理例について説明する図である。距離算出対象となるオブジェクトの例について説明する図である。オブジェクト距離算出に適用する無限遠点の検出処理の一例について説明する図である。オブジェクト距離算出処理の一例について説明する図である。オブジェクト距離算出に適用する無限遠点の検出処理の一例について説明する図である。オブジェクト距離算出処理の一例について説明する図である。オブジェクト距離算出処理の一例について説明する図である。オブジェクト距離算出処理の一例について説明する図である。オブジェクト距離算出処理の一例について説明する図である。オブジェクト距離算出処理の一例について説明する図である。オブジェクト距離算出処理の一例について説明する図である。オブジェクト距離算出処理の一例について説明する図である。オブジェクト距離算出処理の一例について説明する図である。情報処理装置が実行するオブジェクト距離算出処理のシーケンスについて説明するフローチャートを示す図である。情報処理装置が実行するオブジェクト距離算出処理のシーケンスについて説明するフローチャートを示す図である。移動装置の車両制御システムの一構成例について説明する図である。情報処理装置のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の情報処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の移動装置の構成例について
　２．無限遠点の算出処理とオブジェクト距離の算出処理の具体例について
　２－１．（処理例１）カメラ撮影画像に含まれる複数の平行線を用いて無限遠点の位置を検出する処理例
　２－２．（処理例２）カメラ撮影画像に含まれる１つの線分を用いて無限遠点の位置を検出する処理例
　３．その他のオブジェクト距離算出処理例
　３－１．（処理例１）距離算出対象オブジェクトと、基準点オブジェクトの各位置に道路等の一定幅の画像が含まれる場合のオブジェクト距離算出処理例
　３－２．（処理例２）距離算出対象オブジェクトが、実サイズが既知の構成物を含む場合のオブジェクト距離算出処理例
　４．情報処理装置の実行する処理のシーケンスについて
　５．移動装置の構成例について
　６．情報処理装置の構成例について
　７．本開示の構成のまとめ

　　［１．本開示の移動装置の構成例について］
　まず、図１以下を参照して、本開示の移動装置の構成例について説明する。
　図１には、本開示の移動装置の一実施例である自動車１０を示している。
　なお、以下の実施例では、移動装置の一例として、移動装置が自動車１０である例を説明するが、本開示の構成や処理は、自動車以外の様々な移動装置において利用可能である。
　例えば、倉庫、オフィスなどを走行するロボット等、様々な移動装置に適用可能である。

　図１に示すように、自動車１０は、複数のカメラと距離センサを装着している。
　なお、距離センサは、本開示の一部の処理では必須構成ではなく、距離センサを持たない構成としても、本開示の一部の処理は実行可能である。

　装着カメラは以下のカメラである。
　自動車１０の左方向を撮影する左方向カメラ１１Ｌ、
　自動車１０の右方向を撮影する右方向カメラ１１Ｒ、
　これら２台のカメラである。
　これらのカメラは、自動車１０の移動方向に直交する方向の画像を撮影する。
　なお、これらのカメラ１１Ｌ，１１Ｒとしては、通常の画像撮影を行うカメラ、あるいは魚眼レンズのような広角レンズを備えたカメラ（単眼カメラ）が利用可能である。

　自動車１０は、さらに、距離センサとして、
　自動車１０の左方向のオブジェクト距離を計測する左方向距離センサ１２Ｌ、
　自動車１０の右方向のオブジェクト距離を計測する右方向距離センサ１２Ｒ、
　これら２つの距離センサを装着している。
　なお、前述したように、これらの距離センサは、必須構成ではなく、距離センサを持たない構成としてもよい。
　距離センサを有する構成でも、距離センサは、例えば出力の弱いレーザ光や赤外光を用いた安価な距離ゼンサで十分である。距離計測範囲が例えば、最大１０～１５ｍ程度の距離センサで十分である。

　このカメラ１１Ｌ，１１Ｒ、および距離センサ１２Ｌ，１２Ｒを装着した自動車１０の画像撮影範囲と、距離計測範囲の例を図２に示す。
　図２には、以下の各領域を示している。
　左方向カメラ１１Ｌの撮影領域である左方向カメラ撮影範囲２１Ｌ、
　右方向カメラ１１Ｒの撮影領域である右方向カメラ撮影範囲２１Ｒ、
　左方向距離センサ１２Ｌの距離計測範囲である左方向距離センサ距離計測範囲２２Ｌ、
　右方向距離センサ１２Ｒの距離計測範囲である右方向距離センサ距離計測範囲２２Ｒ。

　左方向距離センサ距離計測範囲２２Ｌと、右方向距離センサ距離計測範囲２２Ｒの距離計測範囲は、例えば、自動車１０から約１０ｍ以内である。

　カメラ１１Ｌ，１１Ｒは、図２に示すオブジェクト（歩行者）３１や、オブジェクト（車両）３２の画像を撮影することが可能となる。
　しかし、距離センサ１２Ｌ，１２Ｒは、これらのオブジェクト（歩行者）３１や、オブジェクト（車両）３２の距離を直接、計測することができない。

　図２に示すように、自動車１０が狭い路地の交叉路から抜け出る際や、並列駐車枠に車両が詰まったところから出る際には、左右からの接近車両は運転者の直接視界の死角になり、左右からの接近車両を目視できないことがある。

　すでに、車体の前後に広角のカメラやプリズム式カメラを搭載し、カメラ撮影画像を運転者（ドライバ）に提示するシステムが提案されている。しかし、広角画像からの切出し画像は歪みが発生した画像であり、奥行き感が失われる。
　そのため、車両や人が接近している状況であっても、運転者（ドライバ）は、画像に含まれる車両や人等の接近するオブジェクトの距離を正確に把握できないという問題がある。

　運転手が安全な運転を行うためには、運転者にオブジェクトの距離情報を正確に通知する必要がある。
　本開示の一実施例の装置（移動装置、情報処理装置）は、自動車１０の左右方向を撮影するカメラ１１Ｌ，１１Ｒの撮影画像のみから自動車１０の左右の遠方に存在するオブジェクトの距離を推定し、運転者に接近リスクを知らせることを可能としたものである。
　また、本開示の一実施例の装置（移動装置、情報処理装置）は、自動車１０の左右方向を撮影するカメラ１１Ｌ，１１Ｒの撮影画像と、近接領域のみの距離が計測可能な安価な距離センサ１２Ｌ，１２Ｒによって計測された近接オブジェクト（基準点オブジェクト）の距離情報に基づいて、自動車１０の左右の遠方に存在するオブジェクトの距離を推定し、運転者に接近リスクを知らせることを可能としたものである。

　オブジェクト距離の算出例について、図３を参照して説明する。
　図３は、カメラの撮影画像である中心射影投影像を利用したオブジェクト距離の算出例を説明する図である。
　図３に示す例は、道路や周辺環境物の幾何情報を元にしたオブジェクト距離の推定処理例である。

　なお、本明細書の説明は、カメラの撮影画像の実空間投影画像が中心射影投影像として変換される場合を想定して説明をしている。近年多くの車載カメラでは、車両のより広範囲の画像情報を取得する必要から、魚眼広角カメラの利用が普及いる。その場合、広角の実空間の撮像面への投影方式は、従来の歪がないと表現される事が多い中心射影投影像とはならない。しかしながら、物理的な光学設計で決まる魚眼レンズの投影方式から定めた方角の中心射影相当の画像は、魚眼レンズによる撮影画像を投影変換関数から定めた該当方角の中心射影像に変換する事で、仮想的な中心射影方式の撮像画像面に変換ができる。よって、それら魚眼レンズを用いた場合であっても、本明細記載と同等の処理が取り扱える。そのため、本明細書では魚眼レンズの投影方式を用いたカメラシステムでの説明は割愛する。

　図３には右方向カメラ１１Ｒの撮影画像４０を利用したオブジェクト距離算出例を説明する図を示している。
　右方向カメラ１１Ｒは、平面路面上の一定の高さＨに設置してあるとする。
　このカメラ１１Ｒの撮影画像（中心射影像）４０に、距離計測対象となるオブジェクト（歩行者）３１が撮影されている。

　なお、撮影画像（中心射影像）４０には、右方向距離センサ１２Ｒによって距離計測が可能な位置の近接オブジェクトに対応する基準点Ｐ４１と、無限遠点Ｏ４２が撮影画像として含まれる。

　右方向カメラ１１Ｒから、オブジェクト（歩行者）３１までの距離（カメラの入射瞳位置までの水平距離）Ｌは、カメラ１２の設置高さＨと焦点距離ｆが固定であれば、以下の算出式（式１）に従って一意に算出することができる。

　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）＝ｆ×（Ｈ／ｈ）・・・（式１）
　ただし、
　ｆ：カメラの焦点距離、
　Ｈ：カメラの設置高さ（基準面（＝道路面）からの高さ）、
　ｈ：撮影画像上のオブジェクト接地点（基準面（道路面）との接点）と無限遠点間の離間距離（画像上下方向の離間距離）、
　Ｌｒｅｆ：基準点Ｐ（基準面（道路面）上）までの距離（実距離）
　ｈｒｅｆ：撮影画像上の基準点Ｐと無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　である。

　上記（式１）に示すように、オブジェクト（歩行者）２１までの距離Ｌは、オブジェクトの路面接地点と水平無限遠点の投影像上の離間距離に逆比例して表すことができる。

　このように、距離センサ１２によって距離計測が不可能な遠方のオブジェクトについても、カメラ１１によって撮影された画像を用いて、上記（式１）に従ってオブジェクト距離を算出することができる。
　ただし、上記（式１）を適用してオブジェクト距離を算出するためには、
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）・・・（式１ａ）
　Ｌ＝ｆ×（Ｈ／ｈ）・・・（式１ｂ）
　上記（式１ａ）、または（式１ｂ）のいずれかの式を適用した算出処理が必要となる。

　上記（式１）に含まれるパラメータ中、
　ｆ：カメラの焦点距離、
　Ｈ：カメラの設置高さ（基準面（＝道路面）からの高さ）、
　これらのパラメータは既知である。

　この設定において、
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）・・・（式１ａ）
　この（式１ａ）を利用して、オブジェクト距離Ｌを算出するためには、以下の各パラメータの値を取得することが必要となる。
　Ｌｒｅｆ：基準点Ｐ（基準面（道路面）上）までの距離（実距離）
　ｈ：撮影画像上のオブジェクト接地点（基準面（道路面）との接点）と無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　ｈｒｅｆ：撮影画像上の基準点Ｐと無限遠点間の離間距離（画像上下方向の画像上の離間距離）、

　この（式１ａ）を利用する場合は、まず、右方向距離センサ１２Ｒによって距離計測が可能な位置にある近接オブジェクトが基準点Ｐとして選択し、その基準点Ｐまでの距離を計測することで、基準点Ｐまでの距離Ｌｒｅｆを取得する。
　さらに、パラメータｈ，ｈｒｅｆを取得することが必要である。このパラメータｈ，ｈｒｅｆの取得処理については、次に説明する。

　また、
　Ｌ＝ｆ×（Ｈ／ｈ）・・・（式１ｂ）
　この（式１ｂ）を利用する場合は、以下のパラメータの値を取得することが必要となる。
　ｈ：撮影画像上のオブジェクト接地点（基準面（道路面）との接点）と無限遠点間の離間距離（画像上下方向の画像上の離間距離）、

　なお、この（式１ｂ）を利用したオブジェクト距離算出処理では、基準点Ｐまでの距離算出が不要であり、距離センサを持たない自動車においても、撮影画像のみからオブジェクト距離を算出することが可能となる。

　以下、パラメータｈ，ｈｒｅｆの算出処理に必要となる無限遠点の算出処理と、オブジェクト距離算出処理の具体例について説明する。

　　［２．無限遠点の算出処理とオブジェクト距離の算出処理の具体例について］
　次に、カメラ１１によって撮影された画像を利用した無限遠点の算出処理とオブジェクト距離の算出処理の具体例について説明する。

　例えば、図４に示すように、自動車１０が、駐車場５０から出ようとしている場合、横方向から近づくオブジェクト（車両）３２があるとする。
　このような場合、運転者は、始めはオブジェクト（車両）３２を目視することができず、自動車１０が半分程度道路に出て、始めて、オブジェクト（車両）３２を目視することができる。

　このような状況で自動車１０に求められるのは、
　１．低速度で進行方向へ進み、
　２．左右の状況を確認した後、確認状況に基づく運転を行う。
　これらの処理である。
　左右の状況の確認をより早い段階で行うことを可能とするのが、自動車１０の左方向カメラ１１Ｌ、および右方向カメラ１１Ｒの撮影画像である。

　本開示の移動装置、あるいは移動装置内に備え付けられた情報処理装置は、自動車１０の左方向カメラ１１Ｌ、および右方向カメラ１１Ｒの撮影画像を用いて、撮影画像に含まれるオブジェクト（車両、人等のオブジェクト）までの距離を算出する。
　あるいは、左方向カメラ１１Ｌ、および右方向カメラ１１Ｒの撮影画像と、自動車１０の左右近傍領域のみのオブジェクトの距離を計測可能な距離センサ１２Ｌ，１２Ｒの計測距離情報を用いてオブジェクト距離を算出する。

　具体的には、先に説明したように、以下の（式１）に従って、オブジェクト距離を算出する。
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）＝ｆ×（Ｈ／ｈ）・・・（式１）
　ただし、
　ｆ：カメラの焦点距離、
　Ｈ：カメラの設置高さ（基準面（＝道路面）からの高さ）、
　ｈ：撮影画像上のオブジェクト接地点（基準面（道路面）との接点）と無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　Ｌｒｅｆ：基準点Ｐ（基準面（道路面）上）までの距離（実距離）
　ｈｒｅｆ：撮影画像上の基準点Ｐと無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　である。

　この（式１）において、
　ｆ：カメラの焦点距離、
　Ｈ：カメラの設置高さ（基準面（＝道路面）からの高さ）、
　これらの値は既知である。
　Ｌｒｅｆ：基準点Ｐ（基準面（道路面）上）までの距離（実距離）
　この基準点Ｐまでの距離は、距離センサ１２を用いて取得可能である。

　残りのパラメータ、すなわち、
　ｈ：撮影画像上のオブジェクト接地点（基準面（道路面）との接点）と無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　ｈｒｅｆ：撮影画像上の基準点Ｐと無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　これらのパラメータを取得できれば、オブジェクト距離Ｌを算出することが可能となる。

　撮影画像上のオブジェクト接地点（基準面（道路面）との接点）や、撮影画像上の基準点Ｐの位置は、撮影画像から取得できる。
　従って、パラメータｈ，ｈｒｅｆを算出するためには、撮影画像上の無限遠点の位置を求めればよい。

　以下、撮影画像上の無限遠点の位置を検出する複数の処理例について説明する。
　以下の２つの処理例について、順次、説明する。
　（処理例１）カメラ撮影画像に含まれる複数の平行線を用いて無限遠点の位置を検出する処理例
　（処理例２）カメラ撮影画像に含まれる１つの線分を用いて無限遠点の位置を検出する処理例

　　［２－１．（処理例１）カメラ撮影画像に含まれる複数の平行線を用いて無限遠点の位置を検出する処理例］
　まず、処理例１として、カメラ撮影画像に含まれる複数の平行線を用いて無限遠点の位置を検出する処理例について、図５を参照して説明する。

　なお、以下の実施例の説明では、左方向カメラ１１Ｌによって撮影された画像を適用した処理について説明するが、右方向カメラ１１Ｒによって撮影された画像を適用した処理も同様の処理として行われる。

　まず、左方向カメラ１１Ｌの撮影画像に含まれる路面から、平行線が検出可能か否かを判定する。なお、平行線とは、画像上の平行線ではなく、実世界上の平行線であり、カメラ位置から遠方に延びる平行線である。
　具体的には、例えば道路の中央分離帯、または分離白線、車線分離白線、道路と歩道の分離ブロックや分離白線等である。
　図５に示す撮影画像６０の例では、平行線ａ，６１ａ、平行線ｂ，６１ｂ、平行線ｃ，６１ｃ、平行線ｄ，６１ｄ、これら４本の平行線が検出される。

　撮影画像６０から複数の平行線（実世界上の平行線）が検出できた場合、その複数の平行線の延長の無限遠方の推定交点を無限遠点Ｏ，６２とする。
　このようにして撮影画像上の無限遠点Ｏ，６２を検出する。

　なお、本開示の説明は全て路面が車両の走行する路面と同一の路面上に面が存在するか、検出される全ての平行線が車両設置面に平行または準平行である想定に基づき検出された無限点である。
　該当の車両設置平面に対して、道路起因平行線分（車線、路肩縁石、歩道、歩道境界線など）に傾斜があると、その傾斜の方角αに応じて、平行線群の無限点方角は定まる。中心射影の光軸を仮に注目平面の無限遠と一致している場合、同一平面から傾斜各αをなす場合、取り込み撮像装置に焦点距離で決まる方角αに応じた像は、ｆ＊ｔａｎ（α）の位置にシフトして投影されるため、車両設置平面から見た傾斜平行線の無限遠点はその補正を行う必要がある。

　他方で、同一車両が平面道路を常に走行中である場合で且つ検出する道路も同一平面に維持されている限り、取り込み撮像画像の道路平行線分の無限遠点は水平上下方向の移動はなく、常に同一の水平無限遠を含む水平ラインに乗る。そして、その水平ラインの横方角の位置は、その道路平面の方角により決まる。説明の便宜上、車両の前後移動方角の水平面直角方角に横向けカメラを取り付け、そのカメラ光軸に対して角度βの平行線分として以下説明をする。つまり、車両の並進走行方角の直角を基準にして計測した場合の検出線分の方角βは、車両の少ない並進移動ではほぼ移動はしない。また世界が完全は平面で構成されてれば同じく移動はしない。方角の決まった無限遠点にあるものは、自身の回転が発生しない限り、一定方角を保つためである。
横方角に向けたカメラの光軸は必ずしも進行方向直角とする必要はないが、説明の便宜上進行方角に対して直角である場合、そのカメラで光軸から横方向へシフト量がｆ＊ｔａｎ（β）方角に消失点を持つ線群は全て車両の進行方向に対してπ／２－βの傾きを有する線分となる。

　ただし、画像として取り込まれる単一フレーム画像内の交点は、視覚的な錯覚「無限点」に過ぎず、実空間の線分として必ずしも平行線であるとは限らない。実世界空間の投影映像としてとらえられる画面内の複数線分の交点から、単純に無限遠点の推定を適用すると、錯覚にすぎない視覚的「無限点」を無限点として扱うこととなり、距離を算出する上で錯覚誤差を生むことになる。
　そこで、実際には車両の走行平面に張り付いていない面に検出線が存在することもあるので、除外処理や較正処理を適宜行う必要がある。さらに、路上の抽出線分であっても、境界線の片側や両側が道路設計の都合で車線を狭めた先細り道路として設計され、その結果検出される境界ペア線が一部傾斜した道路を見ている場合もある。これら検出線分の交点が全て無限点と想定して距離演算を行うと、錯覚誤差を包含する結果となる。
　平坦な道路で車体に構造的変化は積載による車体にロールやピッチ、サスペンションの沈み込み変化でカメラと路面の位置、方角変化がなければ、該当カメラが検出する無限上下方角は変わる事がない。

　また、水平方角は、路面に対する該当車両の進行車両の進行方角で定まる。そこで、通常であれば検出線分の交点が、これら平行線でないことによる影響は、道路自体の湾曲やアップダウンが存在するときのみ、または自車が事故や故障等でカメラの取り付け状態が変わらない限り変わる事はない。そこで、履歴から比較して変化がある都度これらズレを詳細評価しても良いし、ローカルダイナミックマップ等を参照してカメラ視野に入る道路の平面やカーブ情報を組み合せ評価しても良いし、移動変化によるフレーム間画像解析、後述するＳＬＡＭを用いた補正など、リソースと対処処置に許容されるリソースで多様な較正手段がある。
　また、より安価なシステムであれば、安定して確実な計測が出来ない場合は、利用者に正確な距離換算情報を提供せずに、距離推定誤差リスクを含む場合、警告だして運転者に注意を促すのみ利用形態でも良い。

　このように、本開示の情報処理装置のデータ処理部は、カメラ撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする。または、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の前記直線各々の延長線上の交点を無限遠点とする。

　なお、実空間上にある平行線分は線分を鉛直方向から撮影した場合を除き、それら検出線分は全て視野内もしくは視野外の無限遠方の方角で互いに交叉する。つまり、中心射影で撮像した撮像視野角の範囲にその平行線の向く方角が向いていれば、視野内のその方角の射影投影点に該当平行線の交点が描写される。本開示は平行線が中心射影の投影として幾何の性質として無限遠方点で交叉する特徴を利用し、平行線の描画無限点を導き出し、その無限点を用いて距離算出に利用する。
　しかしながら、撮像面の投影面で線分が交叉するのは、中心射影の投影面で線分が実空間で平行線であるとは限らない。互いに平行線分となる線分は、後述する単一の線分が、撮像カメラの並進移動に伴い無限遠方方向となる投影画像点を中心点として、検出された線分が座標に対して同一の回転中心点を持つ場合に限る。つまり、移動装置に搭載されたカメラがとらえた平行線分は、移動に伴う検出線分の無限方角は変わらず、平行線分の方角に応じた中心射影された撮像画像の該当方角に対し、その無限遠に固定であり、その無限遠点を中心に回転する。車両の並進距離が数メートル程度の近傍距離であれば、一般道の遠方部の方角の中心射影像での描画位置はほぼ一定と見なせる。

　もっとも、数百メートルや数キロと言った長い距離を完全な並進平行移動が技術的に出来たとしても、通常の走行ではその様な広範囲の移動で遠方に見える無限点をもはや追う事はなく、本開示で検出するべき対象と言えないと見なせる。本開示の利用適用範囲は、十字路等から車両の頭出し等の極めて短い並進移動であり、車両搭載カメラの写りこみ周辺検出道路の平行線分収束無限遠点は固定し一定していると見なせる範囲で適用する。

　別の言い方をすれば、車両の走行する道路平面に対して該当同一路面平面に一致する面に存在する平行線は、車両の進行方向に移動があれば、進行に伴うフレーム間画像で、その線分は並進に伴い、線分の無限消失点は一定の位置を保ち、更に線分の近傍部は車両の進行に伴い後退方向に移動するので、フレーム間で線分は無限消失点の周りを回転変化する。詳細後述するが、これら実質的な無限点は、中心射影像の光軸横断方角の横移動に対して、画面内の全ての物体が距離に反比例して横移動をする点を利用し、適宜較正すればよい。本開示所の情報処理装置は、このような線分座標解析を行うことで正確な無限遠点推定を行う。

　撮影画像上の無限遠点Ｏ，６２が検出できれば、
　ｈ：撮影画像上のオブジェクト接地点（基準面（道路面）との接点）と無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　ｈｒｅｆ：撮影画像上の基準点Ｐと無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　これらのパラメータを算出することができる。

　図６を参照して、この処理について説明する。
　なお、図６では、距離算出対象のオブジェクトをオブジェクト（車両）６４としている。
　図６に示すように、
　パラメータｈは、撮影画像上のオブジェクト（車両）６４の接地点（基準面（道路面）との接点）と無限遠点Ｏ，６２との間の離間距離（画像上下方向の画像上の離間距離）、
　パラメータｈｒｅｆは、撮影画像上の基準点Ｐ，６３と、無限遠点Ｏ，６２との間の離間距離（画像上下方向の画像上の離間距離）、
　である。
　この２つの離間距離は画像上の離間距離であり、画像から直接、求めることが可能である。

　この結果、先に説明した以下の（式１）に従って、オブジェクト距離を算出することが可能となる。
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）＝ｆ×（Ｈ／ｈ）・・・（式１）

　なお、上記（式１）を適用してオブジェクト距離を算出するためには、前十したように、
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）・・・（式１ａ）
　Ｌ＝ｆ×（Ｈ／ｈ）・・・（式１ｂ）
　上記（式１ａ）、または（式１ｂ）いずれかを用いることが可能である。

　上記各式に含まれるパラメータ中、
　ｆ：カメラの焦点距離、
　Ｈ：カメラの設置高さ（基準面（＝道路面）からの高さ）、
　これらのパラメータは既知である。
　なお、ここでＨは車両の積載量物等により可変する可能性はあるが、一旦走行を始めた車両では相当の途中で変動はサスペンションなどの利き具合による一時的な名と変動の為、リファレンスの計測手段を介して走行開始の都度適宜そのセンター値に対して自己校正が可能である。
　また焦点距離ｆは通常の中心射影の投影方式で実空間を撮像画像平面に投影変換するレンズを用いた場合であれば、設計に基づく固定値となるが、魚眼レンズでい立体射影変換など中心射影と異なる射影方式の画像から指定方角の画像変換による仮想的中心射影像を元に演算を行う際には、その際の仮想射影方式で想定する小距離の換算値を代わりに用いればよい。

　この（式１ａ）を利用する場合は、まず、左方向距離センサ１２Ｌによって距離計測が可能な位置にある近接オブジェクトを基準点Ｐとして選択し、その基準点Ｐまでの距離を計測することで、基準点Ｐまでの距離Ｌｒｅｆを取得する。
　さらに、図６を参照して説明した処理によって検出された無限遠点Ｏ，６２から、パラメータｈ，ｈｒｅｆを取得する。
　これらのパラメータを利用して、
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）・・・（式１ａ）
　上記（式１ａ）に従ってオブジェクト距離を算出することができる。

　また、
　Ｌ＝ｆ×（Ｈ／ｈ）・・・（式１ｂ）
　この（式１ｂ）を利用する場合は、図６を参照して説明した処理によって検出された無限遠点Ｏ，６２から、パラメータｈを取得する。
　このパラメータを利用して、
　Ｌ＝ｆ×（Ｈ／ｈ）・・・（式１ｂ）
　上記（式１ｂ）に従ってオブジェクト距離を算出することができる。

　なお、上述した処理におけるカメラ撮影画像に基づく無限遠点の算出を行うため、本開示の情報処理装置のデータ処理部は、例えば、以下のような機能を備える構成とすることが好ましい。
　（機能１）カメラ撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分のフレーム間の線分座標変動解析を行うことで該当線分が実世界空間における平行線の組み合せであることを判定する機能。
　（機能２）カメラ撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分の平行線分と非平行線分を判定する機能、
　（機能３）カメラ撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した線分の組み合せ交叉ピーク座標が、車両並進運動に伴う順次フレーム間で移動することを検出する機能、

　　［２－２．（処理例２）カメラ撮影画像に含まれる１つの線分を用いて無限遠点の位置を検出する処理例］
　次に、処理例２として、カメラ撮影画像に含まれる１つの線分を用いて無限遠点の位置を検出する処理例について、図７を参照して説明する。

　自動車１０のカメラ１１の撮影画像から複数の平行線が検出できなかった場合は、自動車１０の僅かな並進に伴い発生する個別検出線分の変化をトラッキングし、回転中心のピーク探索を行い、回転中心点を（推定）無限遠点とする。

　具体例について図７を参照して説明する。
　図７（１）画像フレーム（ｆ（ｔ１））は、時間ｔ１時の左方向カメラ１１Ｌの撮影画像である。
　図７（２）画像フレーム（ｆ（ｔ２））は、時間ｔ１後の時間ｔ２時の左方向カメラ１１Ｌの撮影画像である。
　その後、所定時間間隔で、左方向カメラ１１Ｌの撮影画像が撮影され、
　図７（ｎ）画像フレーム（ｆ（ｔｎ））は、その後の時間ｔｎ時の左方向カメラ１１Ｌの撮影画像である。
　これらのｎ枚の撮影画像には、同一の被写体であるｎ本の個別検出線７１（１），７１（２）、・・・７１（ｎ）が撮影されている。
　なお、検出対象とする個別検出線は、自動車１０の位置（＝カメラ位置）から遠方に延びる直線である。

　自動車１０の進行に伴い個別検出線７１は、その方向が僅かに変更する。
　図７の上段には、ｎ本の個別検出線７１（１），７１（２）、・・・７１（ｎ）を同一画像上に表示した無限遠点算出用合成画像７０である。
　この合成画像上のｎ本の個別検出線７１（１），７１（２）、・・・７１（ｎ）を延長して交差する点を無限遠点Ｏ，６２とする。

　このように、撮影画像から複数の平行線が検出できない場合は、自動車１０の僅かな並進に伴い発生する個別検出線分の変化をトラッキングし、回転中心のピーク探索を行い、回転中心点を（推定）無限遠点Ｏ，６２とする。
　このように、移動装置内の情報処理装置は、撮影画像から、カメラ位置から遠方に延びる実世界上の直線を検出し、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の直線の各々の延長線上の交点を検出して、この交点位置を無限遠点とする。

　撮影画像上の無限遠点Ｏ，６２が検出されれば、
　ｈ：撮影画像上のオブジェクト接地点（基準面（道路面）との接点）と無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　ｈｒｅｆ：撮影画像上の基準点Ｐと無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　これらのパラメータを取得することができる。
　これらのパラメータを取得することができれば、先に説明した以下の（式１）に従って、オブジェクト距離を算出することが可能となる。
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）＝ｆ×（Ｈ／ｈ）・・・（式１）

　なお、この図７を参照して説明した処理は、自動車１０が直進した場合、すなわち、個別検出線に直角方向に進行した場合には、特に補正は不要であるが、自動車１０が直進しない場合、すなわち、個別検出線に直角方向に進行しない場合、例えば、Δθ回転して進んだ場合には、各撮影フレーム毎の回転ヨーΔθが働く。従って、撮影画像内の線分が光軸の無限遠方向に向いている仮定すると、線分の無限遠方点での交点は水平にｆ×ｔａｎ（Δθ）だけ横にシフトすることになるのでその補正が必要である。

　なお、無限遠点の位置は、連続する撮影画像フレームの中でほぼ固定された点となる。
　図８は、連続する撮影画像フレーム内に検出される無限遠Ｏ，６２の例を示す図である。
　図５、図６、または図７を参照して説明した方法によって算出した無限遠点Ｏ，６２である。
　図に示すように、連続する撮影画像フレーム内に検出される無限遠Ｏ，６２の位置は、各画像内のほぼ同一の位置の固定された点となる。

　図８に示す画像を適用して、この画像内の歩行者までの距離を求める場合の処理例について図９を参照して説明する。
　図９に示す画像８０は、自動車１０の左方向カメラ１１Ｌの撮影画像、すなわち左方向カメラ撮影画像８０である。
　この左方向カメラ撮影画像８０には、自動車に向かって歩いている歩行者が写っている。この歩行者を距離算出対象のオブジェクト８５とする。

　左方向カメラ撮影画像８０には、自動車１０の左方向距離センサ１２Ｌによって距離計測可能な近接オブジェクト８２が写っている。この近接オブジェクト８２を基準点Ｐとして利用する。すなわち、近接オブジェクト８２の自動車１０からの距離を左方向距離センサ１２Ｌによって計測して、基準点Ｐの距離Ｌｒｅｆを算出する。

　さらに、先に図５、図６、または図７を参照して説明した方法によって無限遠点Ｏ，８１を検出する。
　無限遠点Ｏ，８１と、距離計測可能な近接オブジェクト（基準点Ｐ），８２が決定されると、先に説明した以下の（式１）に従って、自動車１０に向かって歩いている歩行者、すなわち距離算出対象のオブジェクト（歩行者）８５のオブジェクト距離Ｌを算出することが可能となる。
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）＝ｆ×（Ｈ／ｈ）・・・（式１）

　図１０を参照して具体的処理例について説明する。
　上記（式１）の各パラメータは、以下の通りである。
　ｆ：カメラの焦点距離、
　Ｈ：カメラの設置高さ（基準面（＝道路面）からの高さ）、
　ｈ：撮影画像上のオブジェクト接地点（基準面（道路面）との接点）と無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　Ｌｒｅｆ：基準点Ｐ（基準面（道路面）上）までの距離（実距離）
　ｈｒｅｆ：撮影画像上の基準点Ｐと無限遠点間の離間距離（画像上下方向の画像上の離間距離）、

　これらのパラメータ中、
　ｆ：カメラの焦点距離、
　Ｈ：カメラの設置高さ（基準面（＝道路面）からの高さ）、
　これらの値は既知である。
　Ｌｒｅｆ：基準点Ｐ（基準面（道路面）上）までの距離（実距離）
　この基準点Ｐまでの距離は、距離センサ１２を用いて取得可能である。

　残りのパラメータ、すなわち、
　ｈ：撮影画像上のオブジェクト接地点（基準面（道路面）との接点）と無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　ｈｒｅｆ：撮影画像上の基準点Ｐと無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　これらのパラメータは、図１０に示すような設定となる。

　このように、画像８０から、距離計測可能な近接オブジェクト（基準点Ｐ）８２と、無限遠点Ｏ，８１を検出することで、距離算出対象のオブジェクト（歩行者）８５のオブジェクト距離Ｌを以下の（式１）に従って算出することが可能となる。
　　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）＝ｆ×（Ｈ／ｈ）・・・（式１）

　なお、前述したように、上記（式１）を適用してオブジェクト距離を算出するためには、
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）・・・（式１ａ）
　Ｌ＝ｆ×（Ｈ／ｈ）・・・（式１ｂ）
　上記（式１ａ）、または（式１ｂ）いずれかを用いることが可能である。

　上記各式に含まれるパラメータ中、
　ｆ：カメラの焦点距離、
　Ｈ：カメラの設置高さ（基準面（＝道路面）からの高さ）、
　これらのパラメータは既知である。

　この設定において、
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）・・・（式１ａ）
　この（式１ａ）を利用して、オブジェクト距離Ｌを算出するためには、以下の各パラメータの値を取得することが必要となる。
　Ｌｒｅｆ：基準点Ｐ（基準面（道路面）上）までの距離（実距離）
　ｈ：撮影画像上のオブジェクト接地点（基準面（道路面）との接点）と無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　ｈｒｅｆ：撮影画像上の基準点Ｐと無限遠点間の離間距離（画像上下方向の画像上の離間距離）。

　この（式１ａ）を利用する場合は、まず、左方向距離センサ１２Ｌによって距離計測が可能な位置にある近接オブジェクト８２を基準点Ｐとして選択し、その基準点Ｐまでの距離を計測することで、基準点Ｐまでの距離Ｌｒｅｆを取得する。
　さらに、図５、図６、または図７を参照して説明した処理によって検出された無限遠点Ｏ，８１から、パラメータｈ，ｈｒｅｆを取得する。
　これらのパラメータを利用して、
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）・・・（式１ａ）
　上記（式１ａ）に従ってオブジェクト距離を算出することができる。

　また、
　Ｌ＝ｆ×（Ｈ／ｈ）・・・（式１ｂ）
　この（式１ｂ）を利用する場合は、図５、図６、または図７を参照して説明した処理によって検出された無限遠点Ｏ，８１から、パラメータｈを取得する。
　このパラメータを利用して、
　Ｌ＝ｆ×（Ｈ／ｈ）・・・（式１ｂ）
　上記（式１ｂ）に従ってオブジェクト距離を算出することができる。

　なお、上述した説明から理解されるように、オブジェクト距離算出処理は、自動車に装着されたカメラの撮影画像に基づいて行われ、各撮影画像の撮影タイミングにおけるオブジェクト距離を算出することができる。
　カメラによる画像撮影処理は、所定フレームレートの動画像撮影処理として行われ、各画像の撮影間隔は規定時間となる。例えば６０ｆｐｓの場合、１秒間に６０フレームの画像が撮影される。

　従って、各画像フレーム単位でオブジェクト距離を算出すれば、各フレーム間隔でのオブジェクトの移動距離も算出することができる。すなわち、オブジェクトの移動速度を算出することが可能となる。
　自動車１０内の情報処理装置は、このように各画像フレーム単位のオブジェクト距離を算出して、オブジェクトの移動速度も併せて算出することが可能である。

　　［３．その他のオブジェクト距離算出処理例］
　次に、図１１以下を参照してその他のオブジェクト距離算出処理例について説明する。
　以下の処理例について、順次説明する。
　（処理例１）距離算出対象オブジェクトと、基準点オブジェクトの各位置に道路等の一定幅の画像が含まれる場合のオブジェクト距離算出処理例
　（処理例２）距離算出対象オブジェクトが、実サイズが既知の構成物を含む場合のオブジェクト距離算出処理例

　　［３－１．（処理例１）距離算出対象オブジェクトと、基準点オブジェクトの各位置に道路等の一定幅の画像が含まれる場合のオブジェクト距離算出処理例］
　まず、処理例１として、距離算出対象オブジェクトと、基準点オブジェクトの各位置に道路等の一定幅の画像が含まれる場合のオブジェクト距離算出処理例について、図１１を参照して説明する。

　図１１に示す画像は、自動車１０の左方向カメラ１１Ｌによって撮影された画像である。
　道路上を近づくオブジェクト（車両）９１が被写体として撮りこまれている。
　このオブジェクト（車両）９１の距離を算出する。

　画像には、さらに、自動車１０の左方向距離センサ１２Ｌによって距離計測可能な近接オブジェクト９２が撮影されている。
　この近接オブジェクト９２を基準点Ｐとして利用する。すなわち、近接オブジェクト９２の自動車１０からの距離を左方向距離センサ１２Ｌによって計測して、基準点Ｐの距離Ｌｒｅｆを算出する。
　なお、図中で距離Ｌｒｅｆや距離Ｌを示す線分の矢印の始点を丸塗りつぶしで図示しているが、中心射影の現実のカメラ画像ではその光軸に直交する方角は無限の遠方の為に写りこまない。つまり、水平方向に向けた中心射影のカメラで該当カメラの真下の道路部は描写されないためである。本開示図はカメラ設置位置から距離を便宜上直感的に見せる為の図示である。このことは、中心射影の投影関係を模式的に示した図３で、レンズを距離Ｌの矢印始点とすると、その点は投影画像面に描く事ができない事で理解できる。

　さらに、画像には、道路、すなわち、距離算出対象オブジェクトであるオブジェクト（車両）９１が走行している道路が含まれる。
　この道路は、近接オブジェクト（基準点Ｐ）９２の位置にもあり、実世界における道路幅はほぼ全ての道路で一定であると推定することができる。
　道路幅が一定であっても、カーブを描いたい、該当車両の道路平面に対してアップダウンのあるうねった状況では、例えば図１２に示す通り、その道路の方角に応じて検出平行線の無限点はシフトする。中心射影方式のカメラで描写される像の画面内配置は、その光軸中心に対し、角度βの方角が撮像像高さｆ＊ｔａｎ（β）シフトして写る。そのため、道路の各平行成分をなすセグメント毎にその区間の向きに合わせ、その間の無限点は対応して変化する。図１２（１）に示す例では、カメラのレンズ位置から距離Ｌｔｕｒｎまでは車両進行方向直角に設置されたカメラの光軸と平行な線分と、それ以降が角度βをなす想定で描いている。また、図１２（２）は、同距離Ｌｓｌｏｐｅ以降に傾きαで道路面が立ち上がっているケースを示す。

　他方で、道路の境界区分線がそもそも平行でない場合、単一フレーム画像で判断をしようとすると厄介な事が起こる。例えば、図１３に示すように、道路幅が先細りとなるケースや道路の片側境界線が先で細まって設計がされている場合には、単一フレーム画像から見ると、無限点の錯覚を引き起こす。つまり、撮像検出線分の交点が平行線の無限遠方点の仮定はもはや正しく当てはまらない。

　これら図１２、図１３に示す例のように、道路の幅が変わている場合や、自車両が走行する平面に対して傾斜している領域をまたぐ場合等には、この交点が有限長に存在する事から、車両の並進前進移動で点の位置の変化を伴う。この性質を利用し、距離算出に適用できる無限点と単一フレームの「見かけ」無限点は区分判別が可能である。線分が車両の前進並進運動する際の取り込み画像のフレーム間で、検出線分組合せの平行線分の無限点と非平行線分で描画される線分の交点には異なる振る舞いが発生る。ここで注目するのは、中心射影投影のカメラ画像には、取り込み画面上の光軸中心からの点の描画位置が、実空間の光軸に対する方角がγである場合、その描画面光軸中心点からｆ＊ｔａｎ（γ）となり、撮像された全ての線分の各無限遠方の消失点はその線分がカメラの光軸に対して一意に決まる事である。
　各区間毎の区間距離はその区間で検出される平行線分の無限点位置から距離推定ができ、その先の区間毎に積分する事で曲り曲がった平行道路でもより遠方までの距離推定が原理的に可能である。

　なお、路面の無限点較正や路面上のオブジェクト距離推定に際しては、路面特徴が複数検出される状況下では、車両の並進移動にともなう撮像画面上での路面特徴点が図１４に示す通り、進行方向逆方向に移動し、その移動量ΔＭと距離Ｌは逆比例の関係を示す。路面上特徴点のみ選択的にプロットすれば、線形関数が得らる。例えば最小二乗法でフィッティングした関係式から、距離推定をしてもよい。ただし、路面立体構造物の場合、その構造物の路面よりも高い位置にある場合は、較正に適用できない。

　ただし、画像上では、カメラに近い位置にあるほど被写体サイズは大きくなる。従って、
　（ａ）距離算出対象オブジェクトであるオブジェクト（車両）９１の位置の道路幅の画像サイズＷ、
　（ｂ）近接オブジェクト（基準点Ｐ）９２の位置の道路幅の画像サイズＷｒｅｆ、
　これらの２つの画像上の道路幅サイズは異なるサイズとなる。

　実世界で同一サイズのオブジェクトの画像上のサイズはカメラから被写体までの距離に逆比例する。すなわち、カメラから被写体までの距離が大きくなるほで、画像上のサイズは小さくなる。

　図１１に示す近接オブジェクト（基準点Ｐ）９２は、左方向距離センサ１２Ｌによって自動車１０からの距離が計測されている。すなわち、
　基準点Ｐ距離＝Ｌｒｅｆである。
　また、この近接オブジェクト（基準点Ｐ）９２の位置の画像横方向（水平方向）の画像上の道路幅はＷｒｅｆである。この道路サイズＷｒｅｆは、画像から取得できる。
　さらに、距離算出対象オブジェクトであるオブジェクト（車両）９１の位置の画像横方向（水平方向）の画像上の道路幅はＷである。この道路サイズＷは、画像から取得できる。

　従って、カメラの位置（＝自動車１０の位置）から、距離算出対象オブジェクトであるオブジェクト（車両）９１までの距離Ｌは、以下の（式２）によって算出することができる。
　Ｌ＝Ｌｒｅｆ×（Ｗｒｅｆ／Ｗ）・・・（式２）
　ただし、
　Ｌｒｅｆ：基準点Ｐ（基準面（道路面）上）までの距離（実距離）、
　Ｗｒｅｆ：基準点Ｐ（基準面（道路面）上）の画像横方向（水平方向）のオブジェクト（道路等）の幅（画像上の長さ）、
　Ｗ：距離算出対象オブジェクト（基準面（道路面）上）の画像横方向（水平方向）のオブジェクト（道路等）の幅（画像上の長さ）、
　である。

　　［３－２．（処理例２）距離算出対象オブジェクトが、実サイズが既知の構成物を含む場合のオブジェクト距離算出処理例］
　次に、処理例２として、距離算出対象オブジェクトが、実サイズが既知の構成物を含む場合のオブジェクト距離算出処理例について、図１５を参照して説明する。

　図１５に示す画像は、自動車１０の左方向カメラ１１Ｌによって撮影された画像である。
　道路上を近づくオブジェクト（車両）９１が被写体として撮りこまれている。
　このオブジェクト（車両）９１の距離を算出する。

　距離算出対象オブジェクトであるオブジェクト（車両）９１には、ナンバープレートの画像が含まれる。
　自動車のナンバープレートのサイズは、規格に従ったサイズであり、一般的な普通乗用車では、どの自動車においても同一のサイズとなる。
　すなわち、ナンバープレートの実サイズが既知である。

　この既知サイズであるナンバープレートの実サイズ（横幅）をＷｒｗとする。
　また、撮影画像に含まれるナンバープレートの画像サイズ（横幅）をＷとする。
　さらに、カメラの焦点距離をｆとする。このｆは既知である。

　このとき、カメラの位置（＝自動車１０の位置）から、距離算出対象オブジェクトであるオブジェクト（車両）９１までの距離Ｌは、以下の（式３）によって算出することができる。
　Ｌ＝ｆ×（Ｗｒｗ／Ｗ）・・・（式３）
　ただし、
　ｆ：カメラの焦点距離、
　Ｗｒｗ：距離算出対象オブジェクトの画像内に含まれる実サイズが既知の構成物の実サイズ、
　Ｗ：距離算出対象オブジェクトの画像内に含まれる実サイズが既知の構成物の画像サイズ、
　である。

　図１１、図１５を参照して説明したオブジェクト距離算出処理では、先に説明した無限遠点の位置を画像から検出する処理が不要である。
　すなわち、画像から無限遠点を検出できない場合でも、オブジェクト距離を算出することが可能となる。
　また、図１５を参照して説明した処理では、基準点Ｐまでの距離算出も不要であり、距離センサを持たない自動車においても、オブジェクト距離を算出することが可能となる。

　　［４．情報処理装置の実行する処理のシーケンスについて］
　次に、図１６、図１７に示すフローチャートを参照して、自動車１０内の情報処理装置の実行する処理のシーケンスについて説明する。
　なお、図１６、図１７に示すフローチャートに従った処理は、例えば、情報処理装置の記憶部に格納されたプログラムに従って実行することが可能である。
　情報処理装置は例えばＣＰＵ等のプログラム実行機能を有するハードウェアを備えている。
　以下、フローチャートの各ステップの処理について説明する。

　　（ステップＳ１０１）
　まず、ステップＳ１０１において、カメラ撮影画像に距離算出対象オブジェクトを検出したか否かを判定する。
　なお、この場合のカメラは、左方向カメラ１１Ｌ、または右方向カメラ１１Ｒのいずれかである。
　また、距離算出対象オブジェクトは、例えば、車両の他、歩行者、カードレール、側壁等、自動車１０の移動に対する障害物となり得る全てのオブジェクトとしてもよいし、予め、移動するオブジェクトのみを選択する設定としてもよい。

　　（ステップＳ１０２）
　次に、ステップＳ１０２において、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線（実世界上の平行線）が検出できたか否かを判定する。
　この平行線は、カメラ側から遠方方向に延びる線である。すなわち、先に図５を参照して説明した平行線ａ～ｄ，６１ａ～６１ｄ等の線である。

　カメラ撮影画像から無限遠点検出に適用可能な複数の平行線（実世界上の平行線）が検出できたと判定した場合は、ステップＳ１０４に進む。
　一方、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線（実世界上の平行線）が検出できないと判定した場合は、ステップＳ１０３に進む。

　　（ステップＳ１０３）
　ステップＳ１０２において、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線（実世界上の平行線）が検出できないと判定した場合は、ステップＳ１０３に進む。
　ステップＳ１０３では、カメラ撮影画像から無限遠点検出に適用可能な１本の線分が検出できたか否かを判定する。
　この線分もカメラ側から遠方方向に延びる線である。すなわち、先に図７を参照して説明した個別検出線７１等の線である。

　カメラ撮影画像から無限遠点検出に適用可能な１本の線分が検出できたと判定した場合は、ステップＳ１０４に進む。
　一方、カメラ撮影画像から無限遠点検出に適用可能な１本の線分検出できないと判定した場合は、ステップＳ２０１に進む。

　　（ステップＳ１０４）
　ステップＳ１０２において、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線（実世界上の平行線）が検出できたと判定した場合、または、
　ステップＳ１０３において、カメラ撮影画像から無限遠点検出に適用可能な１本の線分が検出できたと判定した場合は、ステップＳ１０４に進む。

　ステップＳ１０４では、カメラ撮影画像から、無限遠点を検出する。
　ステップＳ１０２において、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線（実世界上の平行線）が検出できたと判定した場合は、先に図５を参照して説明したように、これらの複数の平行線を延長してその交点を検出する。この交点を無限遠点とする。

　また、ステップＳ１０３において、カメラ撮影画像から無限遠点検出に適用可能な１本の線分が検出できたと判定した場合は、先に図７を参照して説明したように、所定期間内の複数の撮影画像フレームに含まれる線分を１つの画像上に出力した場合に出力される複数の線を延長してその交点を検出する。この交点を無限遠点とする。

　　（ステップＳ１０５）
　ステップＳ１０４において、無限遠点の検出が終了すると次に、ステップＳ１０５に進む。
　ステップＳ１０５では、以下の（式１）に従って、オブジェクト距離を算出する。
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）＝ｆ×（Ｈ／ｈ）・・・（式１）
　ただし、
　ｆ：カメラの焦点距離、
　Ｈ：カメラの設置高さ（基準面（＝道路面）からの高さ）、
　ｈ：撮影画像上のオブジェクト接地点（基準面（道路面）との接点）と無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　Ｌｒｅｆ：基準点Ｐ（基準面（道路面）上）までの距離（実距離）
　ｈｒｅｆ：撮影画像上の基準点Ｐと無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　である。

　なお、上記（式１）を適用してオブジェクト距離を算出するためには、
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）・・・（式１ａ）
　Ｌ＝ｆ×（Ｈ／ｈ）・・・（式１ｂ）
　上記（式１ａ）、または（式１ｂ）いずれかを用いることが可能である。

　この設定において、
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）・・・（式１ａ）
　この（式１ａ）を利用して、オブジェクト距離Ｌを算出する場合は、
　Ｌｒｅｆ：基準点Ｐ（基準面（道路面）上）までの距離（実距離）
　ｈ：撮影画像上のオブジェクト接地点（基準面（道路面）との接点）と無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　ｈｒｅｆ：撮影画像上の基準点Ｐと無限遠点間の離間距離（画像上下方向の画像上の離間距離）、
　これらのパラメータを取得することが必要である。

　この（式１ａ）を利用する場合は、まず、距離センサ１２によって距離計測が可能な位置にある近接オブジェクトを基準点Ｐとして選択し、その基準点Ｐまでの距離を計測して、基準点Ｐまでの距離Ｌｒｅｆを取得する。
　さらに、ステップＳ１０４で検出した無限遠点から、パラメータｈ，ｈｒｅｆを取得する。
　これらのパラメータを利用して、
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）・・・（式１ａ）
　上記（式１ａ）に従ってオブジェクト距離を算出することができる。

　また、
　Ｌ＝ｆ×（Ｈ／ｈ）・・・（式１ｂ）
　この（式１ｂ）を利用する場合は、ステップＳ１０４で検出した無限遠点から、パラメータｈを取得する。
　このパラメータを利用して、
　Ｌ＝ｆ×（Ｈ／ｈ）・・・（式１ｂ）
　上記（式１ｂ）に従ってオブジェクト距離を算出することができる。

　　（ステップＳ２０１）
　ステップＳ１０２において、カメラ撮影画像から無限遠点検出に適用可能な複数の平行線（実世界上の平行線）が検出できないと判定され、さらに、
　ステップＳ１０３において、カメラ撮影画像から無限遠点検出に適用可能な１本の線分が検出できないと判定した場合は、ステップＳ２０１に進む。

　ステップＳ２０１では、画像から基準点となり得る距離が算出可能な近接オブジェクトが検出できたか否かを判定する。
　近接オブジェクトが検出できた場合はステップＳ２０２に進む。
　近接オブジェクトが検出できなかった場合はステップＳ２１１に進む。

　　（ステップＳ２０２）
　ステップＳ２０１で、画像から基準点となり得る距離が算出可能な近接オブジェクトが検出できたと判定した場合はステップＳ２０２に進む。
　ステップＳ２０２では、近接オブジェクトを基準点Ｐとして、基準点Ｐの距離を算出する。
　距離算出は距離センサ１２Ｌ，１２Ｒのいずれかによって行われる。

　　（ステップＳ２０３）
　次に、オブジェクト距離Ｌを以下の（式２）に従って算出する。
　Ｌ＝Ｌｒｅｆ×（Ｗｒｅｆ／Ｗ）・・・（式２）
　ただし、
　Ｌｒｅｆ：基準点Ｐ（基準面（道路面）上）までの距離（実距離）、
　Ｗｒｅｆ：基準点Ｐ（基準面（道路面）上）の画像横方向（水平方向）のオブジェクト（道路等）の幅（画像上の長さ）、
　Ｗ：距離算出対象オブジェクト（基準面（道路面）上）の画像横方向（水平方向）のオブジェクト（道路等）の幅（画像上の長さ）、
　である。

　この（式２）を利用したオブジェクト距離算出処理は、先に図１１を参照して説明した処理に相当する。

　　（ステップＳ２１１）
　一方、ステップＳ２０１で、画像から基準点となり得る距離が算出可能な近接オブジェクトが検出できないと判定した場合はステップＳ２１１に進む。
　ステップＳ２１１では、距離算出対象オブジェクトの画像内に実サイズが既知の構成物、例えばナンバープレート等が含まれるか否かを判定する。

　実サイズが既知の構成物が含まれる場合は、ステップＳ２１２に進む。
　実サイズが既知の構成物が含まれない場合は、処理を終了する。

　　（ステップＳ２１２）
　ステップＳ２１１で、距離算出対象オブジェクトの画像内に実サイズが既知の構成物、例えばナンバープレート等が含まれると判定した場合、ステップＳ２１２に進む。

　ステップＳ２１２では、オブジェクト距離Ｌを以下の（式３）に従って算出する。
　Ｌ＝ｆ×（Ｗｒｗ／Ｗ）・・・（式３）
　ただし、
　ｆ：カメラの焦点距離、
　Ｗｒｗ：距離算出対象オブジェクトの画像内に含まれる実サイズが既知の構成物の実サイズ、
　Ｗ：距離算出対象オブジェクトの画像内に含まれる実サイズが既知の構成物の画像サイズ、
　である。

　この（式３）を利用したオブジェクト距離算出処理は、先に図１５を参照して説明した処理に相当する。

　　［５．移動装置の構成例について］
　次に、図１６を参照して本開示の処理を実行する自動車１０等の移動装置の構成例について説明する。
　図１６は、上述した処理を実行する自動車１０等の移動装置の制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。

　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。

　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。

　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。

　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ソナー等からなる。

　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である

　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、又は、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。

　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。

　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

　記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。

　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。

　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ　Ｇｒｉｄ　Ｍａｐ）とされる。

　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。

　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する

　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

　なお、上述の実施例において説明したオブジェクト距離検出処理は、例えば、以下の構成要素を適用して実行される。
　データ取得部１０２として構成されるカメラ、距離センサの取得情報を、検出部１３１の車外情報検出部１４１に入力する。
　車外情報検出部１４１は、カメラ、距離センサの取得情報を用いて、距離検出対象となるオブジェクトを特定し、そのオブジェクトの距離を算出する。
　あるいは、車外情報検出部１４１は、カメラ、距離センサの取得情報を用いて、距離検出対象となるオブジェクトを特定し、その特定情報を状況分析部１３３の状況認識部１５３に出力して、状況認識部１５３においてオブジェクトの距離を算出する構成としてもよい。

　算出したオブジェクト距離は、自動車の経路を決定する計画部１３４に出力されて安全走行のための移動計画が策定される。
　さらに計画部１３４の決定した経路情報が、自動車の動作制御を行う動作制御部１３５に入力され、動作制御部１３５が自動車の動作制御を実行する。

　　［６．情報処理装置の構成例について］
　図１８は、上述した処理を実行する移動装置内に装着可能な車両制御システム１００の構成であるが、先に説明した実施例に従った処理は、例えば距離センサやカメラ等の様々なセンサの検出情報をＰＣ等の情報処理装置に入力してデータ処理を行い、オブジェクトの距離やサイズや位置を算出することも可能である。
　この場合の情報処理装置の具体的なハードウェア構成例について、図１９を参照して説明する。

　図１９は、一般的なＰＣ等の情報処理装置のハードウェア構成例を示す図である。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。

　ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、ＧＰＳ等の状況データ取得部などよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。
　なお、入力部３０６には、距離センサやカメラ等のセンサ３２１からの入力情報も入力される。
　また、出力部３０７は、移動装置の行動計画部等の計画部３２２に対する情報としてオブジェクトの距離、位置情報等も出力する。

　ＣＰＵ３０１は、入力部３０６から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部３０７に出力する。
　入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。

　　［７．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部は、
　前記撮影画像から無限遠点を検出し、
　検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理装置。

　（２）　前記データ処理部は、
　前記撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分のフレーム間の線分座標変動解析を行うことで該当線分が実世界空間における平行線の組み合せであることを判定する機能を備え、該当検出線分群の無限遠点を推定する（１）に記載の情報処理装置。

　（３）　前記データ処理部は、
　前記撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分の平行線分と非平行線分を判定する機能を備えた（１）または（２）に記載の情報処理装置。

　（４）　前記データ処理部は、
　前記撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した線分の組み合せ交叉ピーク座標が、車両並進運動に伴う順次フレーム間で移動することを検出する機能を備えた（１）～（３）いずれかに記載の情報処理装置。

　（５）　前記データ処理部は、
　検出した前記無限遠点の位置を較正し、
　較正した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する（１）～（４）いずれかに記載の情報処理装置。

　（６）　前記データ処理部は、
　オブジェクト距離をＬとしたとき、
　Ｌ＝ｆ×（Ｈ／ｈ）・・（式１ｂ）、
　ただし、
　ｆ：カメラの焦点距離、
　Ｈ：カメラの基準面からの高さ、
　ｈ：撮影画像上のオブジェクトの基準面との接点と、無限遠点間の離間距離であり、画像上下方向の離間距離、
　上記（式１ｂ）に従ってオブジェクト距離を算出する（１）～（５）いずれかに記載の情報処理装置。

　（７）　前記データ処理部は、
　前記撮影画像と、前記オブジェクトより前記カメラに近い位置にある基準点Ｐの距離情報を利用して、オブジェクト距離を算出する（１）～（６）いずれかに記載の情報処理装置。

　（８）　前記データ処理部は、
　オブジェクト距離をＬとしたとき、
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）・・（式１ａ）、
　ただし、
　Ｌｒｅｆ：カメラから基準点Ｐまでの実距離、
　ｈｒｅｆ：撮影画像上の基準点Ｐと無限遠点間の離間距離であり、画像上下方向の離間距離、
　ｈ：撮影画像上のオブジェクトの基準面との接点と、無限遠点間の離間距離であり、画像上下方向の離間距離、
　上記（式１ａ）に従ってオブジェクト距離を算出する（７）に記載の情報処理装置。

　（９）　前記データ処理部は、
　前記撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする（１）～（８）いずれかに記載の情報処理装置。

　（１０）　前記データ処理部は、
　前記撮影画像から、カメラ位置から遠方に延びる実世界上の直線を検出し、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の前記直線各々の延長線上の交点を無限遠点とする（１）～（９）いずれかに記載の情報処理装置。

　（１１）　前記データ処理部は、
　前記カメラによって撮影された複数の画像フレーム対応のオブジェクト距離に基づいて、前記オブジェクトの移動速度を算出する（１）～（１０）いずれかに記載の情報処理装置。

　（１２）　移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部は、
　前記撮影画像と、前記オブジェクトより前記カメラに近い位置の基準点Ｐの距離情報を利用して、オブジェクト距離を算出する構成であり、
　オブジェクト距離をＬとしたとき、
　Ｌ＝Ｌｒｅｆ×（Ｗｒｅｆ／Ｗ）・・・（式２）
　ただし、
　Ｌｒｅｆ：カメラから基準点Ｐまでの実距離、
　Ｗｒｅｆ：基準点Ｐの画像横方向にある参照オブジェクトの画像上の幅、
　Ｗ：距離算出対象オブジェクトの画像横方向にある前記参照オブジェクトの画像上の幅、
　上記（式２）に従ってオブジェクト距離を算出する情報処理装置。

　（１３）　移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部は、
　オブジェクト距離をＬとしたとき、
　Ｌ＝ｆ×（Ｗｒｗ／Ｗ）・・・（式３）
　ただし、
　ｆ：カメラの焦点距離、
　Ｗｒｗ：オブジェクト画像内に含まれる実サイズが既知の構成物の実サイズ、
　Ｗ：オブジェクト画像内に含まれる実サイズが既知の構成物の画像サイズ、
　上記（式３）に従ってオブジェクト距離を算出する情報処理装置。

　（１４）　移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラと、
　前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部は、
　前記撮影画像から無限遠点を検出し、
　検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
　算出したオブジェクト距離に基づいて前記移動装置の経路を決定する計画部と、
　前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有する移動装置。

　（１５）　前記データ処理部は、
　前記撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする（１４）に記載の移動装置。

　（１６）　前記データ処理部は、
　前記撮影画像から、カメラ位置から遠方に延びる実世界上の直線を検出し、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の直線の各々の延長線上の交点を無限遠点とする（１４）に記載の移動装置。

　（１７）　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部が、
　前記撮影画像から無限遠点を検出し、
　検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理方法。

　（１８）　移動装置において実行する情報処理方法であり、
　前記移動装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラと、
　前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部が、
　前記撮影画像から無限遠点を検出し、
　検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
　計画部が、算出したオブジェクト距離に基づいて前記移動装置の経路を決定し、
　動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う情報処理方法。

　（１９）　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記プログラムは、前記データ処理部に、
　前記撮影画像から無限遠点を検出させ、
　検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出する構成が実現される。
　具体的には、例えば、データ処理部は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像から無限遠点を検出し、検出した無限遠点の位置と、撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する。データ処理部は、撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする。または、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の前記直線各々の延長線上の交点を無限遠点とする。
　本構成により、移動装置の移動方向に直交する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出する構成が実現される。

　１０・・移動装置，１１Ｌ・・左方向カメラ，１１Ｒ・・右方向カメラ，１２Ｌ・・左方向距離センサ，１２Ｒ・・右方向距離センサ，１００・・車両制御システム，１０１・・入力部，１０２・・データ取得部，１０３・・通信部，１０４・・車内機器，１０５・・出力制御部，１０６・・出力部，１０７・・駆動系制御部，１０８・・駆動系システム，１０９・・ボディ系制御部，１１０・・ボディ系システム，１１１・・記憶部，１１２・・自動運転制御部，１２１・・通信ネットワーク，１３１・・検出部，１３２・・自己位置推定部，１４１・・車外情報検出部，１４２・・車内情報検出部，１４３・・車両状態検出部，１５１・・マップ解析部，１５２・・交通ルール認識部，１５３・・状況認識部，１５４・・状況予測部，１６１・・ルート計画部，１６２・・行動計画部，１６３・・動作計画部，１７１・・緊急事態回避部，１７２・・加減速制御部，１７３・・方向制御部，３０１・・ＣＰＵ，３０２・・ＲＯＭ，３０３・・ＲＡＭ，３０４・・バス，３０５・・入出力インタフェース，３０６・・入力部，３０７・・出力部，３０８・・記憶部，３０９・・通信部，３１０・・ドライブ，３１１・・リムーバブルメディア，３２１・・センサ，３２２・・計画部

Claims

　移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部は、
　前記撮影画像から無限遠点を検出し、
　検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理装置。
　前記データ処理部は、
　前記撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分のフレーム間の線分座標変動解析を行うことで該当線分が実世界空間における平行線の組み合せであることを判定する機能を備え、該当検出線分群の無限遠点を推定する請求項１に記載の情報処理装置。
　前記データ処理部は、
　前記撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した複数線分の平行線分と非平行線分を判定する機能を備えた請求項１に記載の情報処理装置。
　前記データ処理部は、
　前記撮影画像から、カメラ位置から遠方に延びる実世界空間上の複数の線を検出し、検出した線分の組み合せ交叉ピーク座標が、車両並進運動に伴う順次フレーム間で移動することを検出する機能を備えた請求項１に記載の情報処理装置。
　前記データ処理部は、
　検出した前記無限遠点の位置を較正し、
　較正した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する請求項１に記載の情報処理装置。
　前記データ処理部は、
　オブジェクト距離をＬとしたとき、
　Ｌ＝ｆ×（Ｈ／ｈ）・・（式１ｂ）、
　ただし、
　ｆ：カメラの焦点距離、
　Ｈ：カメラの基準面からの高さ、
　ｈ：撮影画像上のオブジェクトの基準面との接点と、無限遠点間の離間距離であり、画像上下方向の離間距離、
　上記（式１ｂ）に従ってオブジェクト距離を算出する請求項１に記載の情報処理装置。
　前記データ処理部は、
　前記撮影画像と、前記オブジェクトより前記カメラに近い位置にある基準点Ｐの距離情報を利用して、オブジェクト距離を算出する請求項１に記載の情報処理装置。
　前記データ処理部は、
　オブジェクト距離をＬとしたとき、
　Ｌ＝Ｌｒｅｆ×（ｈｒｅｆ／ｈ）・・（式１ａ）、
　ただし、
　Ｌｒｅｆ：カメラから基準点Ｐまでの実距離、
　ｈｒｅｆ：撮影画像上の基準点Ｐと無限遠点間の離間距離であり、画像上下方向の離間距離、
　ｈ：撮影画像上のオブジェクトの基準面との接点と、無限遠点間の離間距離であり、画像上下方向の離間距離、
　上記（式１ａ）に従ってオブジェクト距離を算出する請求項７に記載の情報処理装置。
　前記データ処理部は、
　前記撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする請求項１に記載の情報処理装置。
　前記データ処理部は、
　前記撮影画像から、カメラ位置から遠方に延びる実世界上の直線を検出し、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の前記直線各々の延長線上の交点を無限遠点とする請求項１に記載の情報処理装置。
　前記データ処理部は、
　前記カメラによって撮影された複数の画像フレーム対応のオブジェクト距離に基づいて、前記オブジェクトの移動速度を算出する請求項１に記載の情報処理装置。
　移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部は、
　前記撮影画像と、前記オブジェクトより前記カメラに近い位置の基準点Ｐの距離情報を利用して、オブジェクト距離を算出する構成であり、
　オブジェクト距離をＬとしたとき、
　Ｌ＝Ｌｒｅｆ×（Ｗｒｅｆ／Ｗ）・・・（式２）
　ただし、
　Ｌｒｅｆ：カメラから基準点Ｐまでの実距離、
　Ｗｒｅｆ：基準点Ｐの画像横方向にある参照オブジェクトの画像上の幅、
　Ｗ：距離算出対象オブジェクトの画像横方向にある前記参照オブジェクトの画像上の幅、
　上記（式２）に従ってオブジェクト距離を算出する情報処理装置。
　移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部は、
　オブジェクト距離をＬとしたとき、
　Ｌ＝ｆ×（Ｗｒｗ／Ｗ）・・・（式３）
　ただし、
　ｆ：カメラの焦点距離、
　Ｗｒｗ：オブジェクト画像内に含まれる実サイズが既知の構成物の実サイズ、
　Ｗ：オブジェクト画像内に含まれる実サイズが既知の構成物の画像サイズ、
　上記（式３）に従ってオブジェクト距離を算出する情報処理装置。
　移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラと、
　前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部は、
　前記撮影画像から無限遠点を検出し、
　検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
　算出したオブジェクト距離に基づいて前記移動装置の経路を決定する計画部と、
　前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有する移動装置。
　前記データ処理部は、
　前記撮影画像から、カメラ位置から遠方に延びる実世界上の複数の平行線を検出し、検出した複数の平行線の延長線上の交点を無限遠点とする請求項１４に記載の移動装置。
　前記データ処理部は、
　前記撮影画像から、カメラ位置から遠方に延びる実世界上の直線を検出し、カメラの移動に伴い、撮影画像上で方向が変化する画像フレーム単位の直線の各々の延長線上の交点を無限遠点とする請求項１４に記載の移動装置。
　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部が、
　前記撮影画像から無限遠点を検出し、
　検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出する情報処理方法。
　移動装置において実行する情報処理方法であり、
　前記移動装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラと、
　前記カメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記データ処理部が、
　前記撮影画像から無限遠点を検出し、
　検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出し、
　計画部が、算出したオブジェクト距離に基づいて前記移動装置の経路を決定し、
　動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う情報処理方法。
　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、移動装置の移動方向に直交する方向、または直交成分を有する方向の画像を撮影するカメラの撮影画像に基づいてオブジェクト距離を算出するデータ処理部を有し、
　前記プログラムは、前記データ処理部に、
　前記撮影画像から無限遠点を検出させ、
　検出した無限遠点の位置と、前記撮影画像内のオブジェクトの位置との位置関係情報を利用してオブジェクト距離を算出させるプログラム。