JP6922169B2 - 情報処理装置および方法、車両、並びに情報処理システム - Google Patents

Description

本技術は、情報処理装置および方法、車両、並びに情報処理システムに関し、特に、距離計測の信頼性の低減を抑制することができるようにした情報処理装置および方法、車両、並びに情報処理システムに関する。

従来、３次元空間内にある物体の距離を計測する技術として、複数台のカメラから撮影された映像から、３角測量法の原理で距離を計測するステレオカメラシステムがあった（例えば、特許文献１参照）。

このようなステレオカメラシステムを車両に適用する際に、ウインドウガラスへの付着物の影響により光学式測距センサの検出距離が急変したとき、ワイパを駆動させて付着物を除去するとともに、その後の測距センサの検出距離がワイパの駆動前に比べて変化しているときに表示ランプを点灯させることによってそれまでの検出距離の誤りをドライバに認識させることが提案された（例えば、特許文献２参照）。また、ワイパによるカメラ視野の払拭性能を画像処理によって評価することも考えられた（例えば、特許文献３参照）。

特開平０５−１１４０９９号公報 実開平６−８２５０９号公報 特開平２０１２−２０１１７８号公報

しかしながら、これらの方法では、カメラの洗浄中やワイパ駆動中に一時的に距離計測を行うことができなくなるおそれがあった。

本技術は、このような状況に鑑みて提案されたものであり、距離計測の信頼性の低減を抑制することを目的とする。

本技術の一側面の情報処理装置は、撮像ユニットを構成する３以上の撮像部により生成される撮像画像に映り込み得る払拭装置の動作を制御する制御部と、前記制御部により供給される前記払拭装置の動作に関する制御情報に基づいて、前記撮像ユニットから、距離情報を生成するための撮像を行う２つの撮像部を選択する選択部と、選択された２つの撮像部による撮像画像に基づき、観測点までの距離を検出する距離検出部とを備える情報処理装置である。

２つの撮像部による撮像画像からなるステレオ画像を設定するステレオ画像処理部をさらに備え、前記選択部は、前記ステレオ画像処理部により設定された前記ステレオ画像を選択することにより、前記ステレオ画像に対応する２つの撮像部を選択するように構成されるようにすることができる。

前記選択部は、複数の前記ステレオ画像を選択し、前記距離検出部は、選択された複数の前記ステレオ画像のそれぞれに基づく前記観測点までの距離を統合して、自身が検出した前記観測点までの距離とすることができる。

前記距離検出部は、前記ステレオ画像に基づく前記観測点までの距離の平均、中央値、最大値、または最小値を、自身が検出した前記観測点までの距離とすることができる。

前記選択部は、単数の前記ステレオ画像を選択し、前記距離検出部は、選択された単数の前記ステレオ画像に基づく前記観測点までの距離を、自身が検出した前記観測点までの距離とすることができる。

前記撮像画像を補正する画像補正部をさらに備え、前記ステレオ画像処理部は、前記画像補正部により補正された２つの前記撮像画像からなる前記ステレオ画像を設定するように構成されるようにすることができる。

前記撮像ユニットを構成する３以上の撮像部をさらに備えるようにすることができる。

前記撮像ユニットの前記撮像部の相対位置関係は、既知であるようにすることができる。

前記撮像ユニットの前記撮像部は、多角形を構成するように配置されるようにすることができる。

前記撮像ユニットの前記撮像部は、正三角形または直角三角形の各頂点を構成するように配置されるようにすることができる。

前記撮像ユニットの前記撮像部は、直線状に配置されるようにすることができる。

前記距離検出部により検出された前記観測点までの距離を示す情報を出力する出力部をさらに備えるようにすることができる。

本技術の一側面の情報処理方法は、撮像ユニットを構成する３以上の撮像部により生成される撮像画像に映り込み得る払拭装置の動作を制御し、前記払拭装置の動作に関する制御情報に基づいて、前記撮像ユニットから、距離情報を生成するための撮像を行う２つの撮像部を選択し、選択された２つの撮像部による撮像画像に基づき、観測点までの距離を検出する情報処理方法である。

本技術の一側面の車両は、撮像ユニットを構成する３以上の撮像部により生成される撮像画像に映り込み得る払拭装置の動作を制御する制御部と、前記制御部により供給される前記払拭装置の動作に関する制御情報に基づいて、前記撮像ユニットから、距離情報を生成するための撮像を行う２つの撮像部を選択する選択部と、選択された２つの撮像部による撮像画像に基づき、観測点までの距離を検出する距離検出部とを備える車両である。

本技術の一側面の情報処理システムは、被写体を撮像する撮像装置と、前記撮像装置が撮像した撮像画像に関する情報処理を行う情報処理装置とを備え、前記撮像装置は、３以上の撮像部を備え、前記情報処理装置は、前記撮像装置の３以上の撮像部により生成される撮像画像に映り込み得る払拭装置の動作を制御する制御部と、前記制御部により供給される前記払拭装置の動作に関する制御情報に基づいて、前記撮像装置から、距離情報を生成するための撮像を行う２つの撮像部を選択する選択部と、選択された２つの撮像部による撮像画像に基づき、観測点までの距離を検出する距離検出部とを備える情報処理システムである。

本技術の一側面においては、撮像ユニットを構成する３以上の撮像部により生成される撮像画像に映り込み得る払拭装置の動作が制御され、その払拭装置の動作に関する制御情報に基づいて、撮像ユニットから、距離情報を生成するための撮像を行う２つの撮像部が選択され、選択された２つの撮像部による撮像画像に基づき、観測点までの距離が検出される。

本技術によれば、情報を処理することが出来る。また本技術によれば、距離計測の信頼性の低減を抑制することができる。

撮像システムの概要を説明する図である。 撮像システムの主な構成例を示すブロック図である。 撮像部の配置例を示す図である。 ステレオ画像処理装置の主な構成例を示すブロック図である。 距離計測の方法の例を説明する図である。 距離情報統合装置の主な構成例を示すブロック図である。 距離計測の様子の例を説明する図である。 距離計測の様子の例を説明する図である。 距離計測処理の流れの例を説明するフローチャートである。 撮像部の配置例を示す図である。 撮像システムの主な構成例を示すブロック図である。 距離計測処理の流れの例を説明するフローチャートである。 撮像システムの主な構成例を示すブロック図である。 距離情報統合装置の主な構成例を示すブロック図である。 距離計測の様子の例を説明する図である。 距離計測処理の流れの例を説明するフローチャートである。 撮像装置の配置例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（撮像システム）
２．第２の実施の形態（撮像システム）
３．第３の実施の形態（撮像システム）
４．第４の実施の形態（応用例）

＜１．第１の実施の形態＞
＜距離計測の信頼性＞
従来、３次元空間にある物体を認識するために、３次元空間内にある物体の距離を計測する技術があった。例えば、特許文献１には、距離計測技術の１つとして、複数台のカメラから撮影された映像から、３角測量法の原理で距離を計測するステレオカメラシステムが開示されている。

このようなステレオカメラシステムを用いた車両に取り付け、その距離計測を例えば自動運転、遠隔操作、運転補助等に利用することが考えられた。その場合、カメラレンズあるいは表面のウインドウガラスなどが走行中に汚れてしまうため、洗浄や払拭によってカメラの視野を好適に確保する必要がある。

特許文献２には、ウインドウガラスへの付着物の影響により光学式測距センサの検出距離が急変したとき、ワイパを駆動させて付着物を除去するとともに、その後の測距センサの検出距離がワイパの駆動前に比べて変化しているときに表示ランプを点灯させることによってそれまでの検出距離の誤りをドライバに認識させる技術が開示されている。また、特許文献３には、ワイパによるカメラ視野の払拭性能を画像処理によって評価して、カメラ視野の好適性を確保することが開示されている。

しかしながら、これらの方法では、カメラの洗浄中やワイパ駆動中には距離計測を行うことができなかった。つまり、その間、車両周囲の監視ができなくなるおそれがあった。車両のような移動体の自動運転、遠隔操作、運転補助等の正確性を向上させるためには、周囲の最新の情報をリアルタイム（即時的）に得ることが求められる。上述のように距離計測の信頼性が低減すると、自動運転、遠隔操作、運転補助等の正確性が低減するおそれがあった。

そこで、撮像ユニットを構成する３以上の撮像部から、距離情報を生成するための撮像を行う２つの撮像部を選択し、選択された２つの撮像部による撮像画像に基づき、観測点までの距離を検出するようにする。また、互いに異なる位置から撮像された観測点の撮像画像の２枚組みからなるステレオ画像を、複数のステレオ画像の中から１以上選択し、その選択されたステレオ画像に対応する、ステレオ画像を用いて検出された観測点までの距離を用いて、観測点までの距離を検出するようにしてもよい。

このようにすることにより、例えば１つのカメラが汚れなどによって距離計測に利用することができなくなっても、他のカメラを用いて得られたステレオ画像によって距離計測を継続することができるので、距離計測の信頼性の低減を抑制することができる。

＜撮像システム概要＞
図１は、本技術を適用した情報処理システムの一実施の形態である撮像システムの概要を説明する図である。図１に示される撮像システム１００は、複数のカメラで被写体を撮像してステレオ画像を生成し、被写体までの距離計測を行うなどのステレオ画像を利用した処理を行うシステムである。ステレオ画像は、被写体を互いに異なる位置から撮像した２枚１組の撮像画像からなる。つまり、ステレオ画像は、その２枚の撮像画像が互いに視差を有しており、例えば、この視差を利用して撮像画像に映る被写体までの距離計測に利用することができる。

撮像システム１００は、このようなステレオ画像を生成するための複数の撮像画像を得ることができる撮像装置１１０を有する。撮像システム１００において、撮像装置１１０は、複数の撮像部を有する撮像ユニットであり、車両１０１に設置される。例えば、図１に示されるように、撮像装置１１０は、車両１０１の車内に、各撮像部によって車両１０１の前方の被写体１０を撮像することができるように設置される。つまり、撮像装置１１０は、互いに異なる位置から被写体１０を撮像し、互いに視差を有する複数の撮像画像を得ることができる。撮像システム１００は、この撮像装置１１０が撮像した撮像画像を用いて、被写体１０までの距離を計測することができる。

＜撮像システム構成＞
図２は、撮像システム１００の主な構成例を示すブロック図である。図２に示されるように、撮像システム１００は、撮像装置１１０の他に、画像補正装置１２０、ステレオ画像処理装置１３０、払拭制御装置１４０、および距離情報統合装置１５０を有する。

撮像装置１１０は、３以上の撮像部を有する撮像ユニットであり、それらの撮像部を用いた被写体の撮像に関する処理を行う装置である。例えば、図２に示されるように、撮像装置１１０は、撮像部１１１−１乃至撮像部１１１−３を有する。撮像部１１１−１乃至撮像部１１１−３を互いに区別して説明する必要が無い場合、撮像部１１１と称する。撮像部１１１は、本技術を適用した撮像部の一実施の形態であり、レンズや絞り等の光学系とイメージセンサを有し、被写体の撮像に関する処理を行う処理部である。例えば、撮像部１１１は、被写体を撮像して所望の観測点の撮像画像を得る。各撮像部１１１は、互いに独立に動作することができ、他の撮像部１１１と同時に撮像を行うこともできるし、他の撮像部１１１と異なるタイミングで撮像を行うこともできる。つまり、撮像部１１１−１乃至撮像部１１１−３の３つが同時に撮像を行うこともできるし、これらの内２つが同時に撮像を行うこともできるし、いずれか１つのみが撮像を行うこともできる。つまり、同時に最大３枚の撮像画像を得ることができる。

画像補正装置１２０は、本技術を適用した画像補正部の一実施の形態であり、撮像装置１１０において得られた撮像画像の補正に関する処理を行う装置である。画像補正装置１２０は、画像補正部１２１−１乃至画像補正部１２１−３を有する。画像補正部１２１−１乃至画像補正部１２１−３を互いに区別して説明する必要が無い場合、画像補正部１２１と称する。画像補正部１２１は、撮像装置１１０において得られた撮像画像の補正に関する処理を行う処理部である。画像補正部１２１−１は、撮像部１１１−１において得られた撮像画像の補正に関する処理を行う。画像補正部１２１−２は、撮像部１１１−２において得られた撮像画像の補正に関する処理を行う。画像補正部１２１−３は、撮像部１１１−３において得られた撮像画像の補正に関する処理を行う。例えば、画像補正部１２１は、撮像装置１１０において得られた撮像画像の収差などの補正を行う。

ステレオ画像処理装置１３０は、ステレオ画像に関する処理を行う装置である。ステレオ画像処理装置１３０は、本技術を適用したステレオ画像処理部の一実施の形態であり、例えば、撮像画像を２枚ずつ組み合わせてステレオ画像を設定し、その設定したステレオ画像毎に、ステレオ画像に基づいて観測点までの距離を検出する。

ステレオ画像処理装置１３０は、ステレオ画像処理部１３１−１乃至ステレオ画像処理部１３１−３を有する。ステレオ画像処理部１３１−１乃至ステレオ画像処理部１３１−３を互いに区別して説明する必要が無い場合、ステレオ画像処理部１３１と称する。ステレオ画像処理部１３１は、ステレオ画像に関する処理を行う処理部である。例えば、ステレオ画像処理部１３１は、ステレオ画像の設定や、２枚の撮像画像の対応点検出や観測点までの距離検出等の設定したステレオ画像を用いた処理を行う。

例えば、ステレオ画像処理部１３１−１は、画像補正部１２１−１において補正が行われた撮像画像（撮像部１１１−１において得られた撮像画像）と、画像補正部１２１−２において補正が行われた撮像画像（撮像部１１１−２において得られた撮像画像）とを選択してステレオ画像を設定し、選択した撮像画像同士の対応点検出や撮像画像に映る所望の観測点までの距離計測等を行う。また、ステレオ画像処理部１３１−２は、画像補正部１２１−２において補正が行われた撮像画像（撮像部１１１−２において得られた撮像画像）と、画像補正部１２１−３において補正が行われた撮像画像（撮像部１１１−３において得られた撮像画像）とを選択してステレオ画像を設定し、選択した撮像画像同士の対応点検出や撮像画像に映る所望の観測点までの距離計測等を行う。また、ステレオ画像処理部１３１−３は、画像補正部１２１−１において補正が行われた撮像画像（撮像部１１１−１において得られた撮像画像）と、画像補正部１２１−３において補正が行われた撮像画像（撮像部１１１−３において得られた撮像画像）とを選択してステレオ画像を設定し、選択した撮像画像同士の対応点検出や撮像画像に映る所望の観測点までの距離計測等を行う。

払拭制御装置１４０は、例えば所謂ワイパ等の払拭装置の動作を制御する装置である。払拭装置（図示せず）は、各撮像部１１１に対して設けられ、各撮像部１１１の光学系（レンズ等）に付着した汚れや水滴等を払拭する装置である。払拭制御装置１４０は、このような払拭装置を制御する払拭制御情報を各撮像部１１１の払拭装置に供給することにより、各払拭装置の動作を制御する。各撮像部１１１の払拭装置は、互いに独立に動作することができる。払拭制御装置１４０は、任意の情報に基づいて所望の払拭制御情報を所望の払拭装置に供給する。例えば、各撮像部１１１の光学系の付着物（汚れや水滴等のような撮像の障害となるもの）を監視するセンサを設け、そのセンサにより付着物が発生したと判定された場合、払拭制御装置１４０が、その撮像部１１１の払拭装置に対して払拭制御情報を供給し、駆動させる（付着物を払拭させる）ようにしてもよい。また、払拭制御装置１４０が、定期的若しくは不定期に、各払拭装置に対して払拭制御情報を供給して駆動させる（付着物を払拭させる）ようにしてもよい。

払拭制御装置１４０は、この払拭制御情報を距離情報統合装置１５０にも供給する。

距離情報統合装置１５０は、ステレオ画像処理装置１３０において得られる観測点までの距離情報の統合に関する処理を行う装置である。距離情報統合装置１５０は、ステレオ画像処理装置１３０において設定された各ステレオ画像から得られる観測点までの距離情報を統合し、１つの距離情報を得る。この１つの距離情報が、撮像システム１００により得られる観測点までの距離情報とされる。

＜撮像部＞
図３は、撮像部１１１の配置例について説明する図である。撮像装置１１０において、各撮像部１１１が配置される位置は任意であるが、その相対位置関係（互いの位置関係とそれぞれの向き）が既知である。図３において、撮像部１１１−１乃至撮像部１１１−３は、それぞれ、その光学系（レンズ）を正面（被写体の側）から見た場合の形状を示すように、円形で示されている。この場合、これらの撮像部１１１は、その光学系（レンズ）の中心が正三角形の各頂点となる相対位置に配置されている。つまり、各撮像部１１１は、撮像部１１１−１の光学系の中心と撮像部１１１−２の光学系の中心との距離（線分１１２の長さ）、撮像部１１１−２の光学系の中心と撮像部１１１−３の光学系の中心との距離（線分１１３の長さ）、撮像部１１１−３の光学系の中心と撮像部１１１−１の光学系の中心との距離（線分１１４の長さ）が互いに等距離（同一の長さ）となるような位置関係で配置されている。なお、各撮像部１１１は互いに同一の方向を向いているものとする。

上述のようにステレオ画像は２枚の撮像画像よりなる。すなわち、３つの撮像部１１１の内のいずれか２つの撮像部１１１において生成される撮像画像が選択されてステレオ画像が生成される。図３の例のように、各撮像部１１１間の距離（線分１１２乃至線分１１４の長さ）が同一であることにより、いずれの２つの撮像部１１１が選択されても視差が同一となるので、ステレオ画像を用いた距離計測において視差の較正が不要になる。換言するに、いずれの２つの撮像部１１１が選択される場合であっても、撮像システム１００は、互いに同一の距離計測性能を有することができる。

＜ステレオ画像処理部＞
図４は、ステレオ画像処理部１３１の主な構成例を示すブロック図である。ステレオ画像処理部１３１は、例えば図４に示されるように、ステレオ画設定部１７１、対応点検出部１７２、および距離算出部１７３を有する。ステレオ画設定部１７１は、ステレオ画像の設定に関する処理を行う。例えば、ステレオ画設定部１７１は、撮像装置１１０において得られる撮像画像から所望の２枚の撮像画像を選択し、その選択した撮像画像２枚を１組のステレオ画像として設定する。

対応点検出部１７２は、ステレオ画像についての対応点の検出に関する処理を行う。例えば、対応点検出部１７２は、ステレオ画設定部１７１により設定されたステレオ画像について、各撮像画像の対応点を検出する。この対応点とは、ステレオ画像の２枚の撮像画像における互いに同一の被写体が映る画素のことである。一般的に、ステレオ画像の２枚の撮像画像は互いに異なる位置から撮像されたものであるため、同一の被写体が互いにずれた位置の画素に映る等、両撮像画像の内容は完全に同一とはならない。対応点は、このような撮像画像間の被写体の位置関係を示すためのものであり、同一の被写体が、各撮像画像のどの画素に対応する（写される）かを示すための情報である。対応点検出部１７２は、このような同一の被写体が表示される画素を各撮像画像において検出し、対応点とする。

この対応点の検出方法は任意である。例えば、対応点検出部１７２が、ステレオ画像の２枚の撮像画像の一方を基準画像とし、他方を参照画像として、基準画像内のある点が参照画像内でどこにあるかを探索するようにしてもよい。また、この探索の方法は任意である。例えば、ブロックマッチングを用いるようにしてもよい。このブロックマッチングは、処理対象画素およびその周辺の領域（ブロック）について、似ているかどうかの評価を行う方法である。なお、対応点検出部１７２は、ステレオ画像に含まれる全ての対応点を検出するようにしてもよいし、任意の一部の対応点を（代表点として）検出するようにしてもよい。

距離算出部１７３は、ステレオ画像を用いて所望の観測点までの距離算出に関する処理を行う。例えば、距離算出部１７３は、対応点検出部１７２により検出された対応点に映る被写体を観測点とし、その観測点までの距離を算出する。距離算出部１７３は、対応点検出部１７２により検出された全ての対応点について、観測点までの距離を算出するようにしてもよいし、一部の対応点のみについて、観測点までの距離を算出するようにしてもよい。

その際の距離の算出方法は任意である。例えば、距離算出部１７３は、ステレオ画像を構成する各撮像画像を得る撮像部同士の相対位置関係に基づいて、所望の観測点までの距離を検出するようにしてもよい。撮像部同士の相対位置関係は上述のように既知である。例えば、図５に示されるように、ある物体点Ｐ（Ｘ，Ｙ，Ｚ）を観測点とするとする。また、この物体点Ｐが、一方の撮像画像の画素P1（x1,y1）に映り、他方の撮像画像の画素P2（x,y2）に映るとする。ステレオ画像の２枚の撮像画像（２台の撮像部１１１）間の距離をdとし、各撮像部１１１のレンズの焦点距離をfとすると、物体までの距離Zは以下の式（１）のように求めることができる。

Z ＝ d・f/(x1-x2)
・・・（１）

なお、式（１）の(x1-x2)は、画素P1と画素P2の位置の差を示している。つまり式（１）の場合、画素P1のY座標と画素P2のY座標が一致している（y1 ＝ y2）。画素P1と画素P2のY座標が異なる場合、この部分は、例えば√(x1-x2)²+(y1-y2)²のようにY座標の差分も含めて表現される。

また、撮像部１１１間の距離dと撮像部１１１の焦点距離fは、システムによって定まる固定値である。つまり式（１）から、x1,x2の値（つまり、画素P1と画素P2の座標）を求めることで、物体点Ｐまでの距離を算出することができる。この画素P1と画素P2とが、観測点（物体点Ｐ）が映る対応点である。つまり、対応点検出部１７２が、上述したようにこの画素P1と画素P2を検出するので、距離算出部１７３は、例えば式（１）を用いて物体までの距離Zを求めることができる。

＜距離情報統合装置＞
図６は、距離情報統合装置１５０（図２）の主な構成例を示すブロック図である。図６に示されるように、距離情報統合装置１５０は、例えば、選択部１９１、統合距離算出部１９２、および出力部１９３を有する。

選択部１９１は、本技術を適用した選択部の一実施の形態である。選択部１９１は、撮像ユニットを構成する３以上の撮像部から、距離情報を生成するための撮像を行う２つの撮像部を選択する処理を行う。なお、選択部１９１が、互いに異なる位置から撮像された観測点の撮像画像の２枚組みからなるステレオ画像を、その複数のステレオ画像の中から１以上選択する処理を行うようにしてもよい。

例えば、選択部１９１は、ステレオ画像処理装置１３０（各ステレオ画像処理部１３１の距離算出部１７３）が生成した距離情報を取得する。この距離情報は、共通の被写体（観測点）までの距離を示す情報であり、各ステレオ画像を基に個別に算出された距離情報である。したがって、選択部１９１が距離情報を選択することとステレオ画像を選択することとは等価である。つまり、選択部１９１は、ステレオ画像処理装置１３０により設定された複数のステレオ画像の中から、１以上のステレオ画像を選択するとも言える。付言するに、ステレオ画像は、撮像装置１１０の２つの撮像部１１１により得られた撮像画像により構成される。したがって、選択部１９１がステレオ画像を選択することと撮像部１１１を選択することとは等価である。つまり、選択部１９１が距離情報を選択することと撮像部１１１を選択することとは等価である。したがって、選択部１９１は、撮像装置１１０（撮像ユニット）を構成する３以上の撮像部１１１から、距離情報を生成するための撮像を行う２つの撮像部１１１を選択するとも言える。

例えば、図６の場合、選択部１９１は、３つのステレオ画像処理部１３１のそれぞれから距離情報を取得する。また、選択部１９１は、払拭制御装置１４０（図２）から供給される払拭制御情報を取得する。選択部１９１は、この払拭制御情報に基づいて、採用する距離情報を選択する。

例えば、撮像部１１１−１乃至撮像部１１１−３において、図７に示される撮像画像２０１乃至撮像画像２０３が得られるとする。この場合、いずれの撮像部１１１の払拭装置も駆動しておらず、いずれの撮像画像にも払拭装置は映り込んでいない。そのため、撮像画像２０１の画素P1、撮像画像２０２の画素P2、撮像画像２０３の画素P3は、前方の車両の同じ位置に対応する。したがって、この場合、ステレオ画像処理装置１３０は、撮像画像２０１と撮像画像２０２とからなるステレオ画像、撮像画像２０２と撮像画像２０３とからなるステレオ画像、撮像画像２０３と撮像画像２０１とからなるステレオ画像のいずれからも、前方の車両の上述の位置（観測点）までの距離を十分な正確さで求めることができる。そこで、この場合、選択部１９１は、各ステレオ画像を基に検出された距離情報を全て選択し、統合距離算出部１９２に供給する。この場合、選択部１９１は、全てのステレオ画像を選択しているとも言えるし、全ての撮像部１１１を選択しているとも言える。

これに対して、例えば、撮像部１１１−１乃至撮像部１１１−３において、図８に示される撮像画像２１１乃至撮像画像２１３が得られるとする。この場合、撮像部１１１−３の払拭装置が駆動しており、撮像画像２１３の画素P3にはその払拭装置が映り込んでいる。そのため、図７の例のようにこの撮像画像２１３を用いて観測点までの距離を十分な正確さで求めることは困難である。したがって、この場合、選択部１９１は、撮像画像２１１と撮像画像２１２とからなるステレオ画像を基に検出された距離情報を選択し、統合距離算出部１９２に供給する。この場合、選択部１９１は、撮像画像２１１と撮像画像２１２とからなるステレオ画像を選択しているとも言えるし、撮像部１１１−１と撮像部１１１−２と（２つの撮像部）を選択しているとも言える。

統合距離算出部１９２は、本技術を適用した距離検出部の一実施の形態である。統合距離算出部１９２は、観測点までの距離を検出する。例えば、統合距離算出部１９２は、選択部１９１により選択された距離情報（観測点までの距離）に基づいて、観測点までの距離を検出する。つまり、統合距離算出部１９２は、選択されたステレオ画像を用いて検出された距離情報（観測点までの距離）に基づいて、観測点までの距離を検出するとも言えるし、選択された２つの撮像部１１１による撮像画像に基づき、観測点までの距離を検出するとも言える。

例えば、複数の距離情報（複数のステレオ画像、または、複数の撮像部１１１のペア）が選択された場合、統合距離算出部１９２は、選択された各距離情報（選択された各ステレオ画像に対応する距離情報、または、選択された各撮像部１１１のペアに対応する距離情報）を統合して、観測点までの距離を検出する。この統合距離算出部１９２が検出する観測点までの距離を統合距離とも称する。例えば、図７の場合、上述のように３つの距離情報が得られる。したがって、統合距離算出部１９２は、この３つの距離情報を用いて統合距離を求める。つまり、この場合、統合距離算出部１９２は、選択された各距離情報を統合して、自身が検出した観測点までの距離とする。この統合距離の算出方法は任意である。例えば、統合距離算出部１９２は、この３つの距離情報の平均値を統合距離としてもよい。

また、例えば、単数の距離情報（単数のステレオ画像、または、２つの撮像部１１１）が選択された場合、統合距離算出部１９２は、その選択された距離情報（選択されたステレオ画像に対応する距離情報、または選択された２つの撮像部１１１に対応する距離情報）を統合して、観測点までの距離（統合距離）を検出する。例えば、図８の場合、上述のように１つの距離情報が得られる。したがって、統合距離算出部１９２は、この１つの距離情報を統合距離とする。つまり、この場合、統合距離算出部１９２は、選択された単数の距離情報を、自身が検出した観測点までの距離とする。

出力部１９３は、本技術を適用した出力部の一実施の形態であり、統合距離算出部１９２により検出された観測点までの距離を示す情報（統合距離情報とも称する）を撮像システム１００の外部に出力する。

以上のように、選択部１９１が３以上の撮像部から、距離情報を生成するための撮像を行う２つの撮像部を選択し（複数の距離情報（ステレオ画像）の中から１つ以上を選択し）、統合距離算出部１９２が、選択された２つの撮像部による撮像画像に基づき、観測点までの距離を検出する（選択された距離情報（選択されたステレオ画像から求められた距離情報）を用いて統合距離情報を生成する）。したがって、例えば払拭装置が動作中の場合等においても、選択部１９１は利用可能な距離情報（ステレオ画像）を選択することができ、統合距離算出部１９２は統合距離情報を生成することができる。つまり、距離情報統合装置１５０は、距離計測が不可能な状況の発生を抑制することができ、距離計測の信頼性の低減を抑制することができる。

なお、選択部１９１は、払拭制御情報を用いて距離情報（ステレオ画像、または撮像部１１１）の選択を行う。これにより選択部１９１は容易に払拭装置の動作状況を把握することができるので、払拭装置が撮像画像に影響を及ぼす撮像部１１１（払拭装置の影響を受けるステレオ画像）を容易に特定することができる。したがって、選択部１９１は、容易に距離情報（ステレオ画像、または撮像部）の選択を行うことができる。

また、統合距離算出部１９２は、選択部１９１により複数の距離情報が選択された場合、その複数の距離情報を用いて統合距離情報を生成する。このようにすることにより、より正確な距離計測を実現することができる。なお、図３に示される例のように各撮像部１１１が正三角形状に配置されることにより、２つの撮像部１１１の並ぶ方向（ステレオ画像を構成する撮像画像間の視差の方向）が複数となる。例えば図３の例の場合、各ステレオ画像の視差の方向（線分１１２乃至線分１１４の向き）は互いに異なる。したがって、統合距離算出部１９２が複数の距離情報を用いて統合距離情報を生成する場合、複数方向の視差を利用して統合距離情報が生成されることになるので、より正確に統合距離を求めることができる。例えば、ステレオ画像に縞模様等のようなエッジの方向に偏りのある模様が含まれると、視差の方向によっては距離計測を正しく行うことができなくなる場合がある。上述のように、複数方向の視差を利用して統合距離情報を生成するようにすることにより、精度が低減しない方向の視差を利用して距離情報を生成することができるので、このようなエッジ方向の偏りに対する耐性を向上させることができ、単方向の視差を利用して統合情報を生成する場合よりも正確な距離計測を行うことができる。

また、図３に示される例のように、各撮像部１１１間の距離を等距離とすることにより、距離計測の精度を較正無しに全ステレオ画像で同一とすることができる。したがって、選択するステレオ画像によって距離計測の精度が変化するのを抑制することができるので、より容易により正確な距離計測を実現することができる。

＜距離計測処理の流れ＞
次に、撮像システム１００により実行される処理の流れについて説明する。図９のフローチャートを参照して、撮像システム１００により実行される距離計測処理の流れの例を説明する。

距離計測処理が開始されると、撮像装置１１０の各撮像部１１１は、ステップＳ１０１において、被写体を撮像して撮像画像を得る。ステップＳ１０２において、画像補正装置１２０の画像補正部１２１は、ステップＳ１０１において得られた撮像画像を補正する。ステップＳ１０３において、ステレオ画像処理装置１３０の各ステレオ画像処理部１３１のステレオ画設定部１７１は、ステップＳ１０２において補正された撮像画像の中から所望の撮像画像を２枚１組で選択し、ステレオ画像として設定する。

ステップＳ１０４において、対応点検出部１７２は、ステップＳ１０３において設定された各ステレオ画像について、撮像画像間の対応点を検出する。ステップＳ１０５において、距離算出部１７３は、ステップＳ１０４において検出された対応点に映る観測点までの距離を算出する。

ステップＳ１０６において、選択部１９１は、払拭制御装置１４０から供給される払拭制御情報に基づいて、払拭装置の動きを検出する。ステップＳ１０７において、選択部１９１は、払拭装置が映り込まないステレオ画像において得られた距離情報を選択する。ステップＳ１０８において、統合距離算出部１９２は、ステップＳ１０７において選択された距離情報を用いて、統合距離を算出する。

ステップＳ１０９において、出力部１９３は、ステップＳ１０８において算出された統合距離を示す距離情報を出力する。ステップＳ１０９の処理が終了すると、距離計測処理が終了する。以上のように距離計測処理を実行することにより、撮像システム１００は、距離計測の信頼性の低減を抑制することができる。

＜応用例＞
なお、以上においては、撮像部１１１が正三角形状に配置されるように説明したが、撮像部１１１の配置位置（相対位置関係）は任意である。例えば、図１０Ａに示されるように、撮像部１１１−１乃至撮像部１１１−３が直角三角形状に配置されるようにしてもよい。このように配置すると線分１１２と線分１１３の方向（視差の方向）が互いに直角になる。一般的に、ステレオ画像を用いた距離計測の精度は、その視差の方向にずれた観測点までの距離計測の場合、低減する傾向がある。例えば、図１０Ａの撮像部１１１−２において得られた撮像画像と撮像部１１１−３において得られた撮像画像との組み合わせでステレオ画像を設定すると、視差の方向は図中水平方向（線分１１３の方向）となる。この場合、撮像部１１１−３よりも図中右側に位置する観測点や、撮像部１１１−２よりも図中左側に位置する観測点までの距離計測は、水平方向の位置が撮像部１１１−２と撮像部１１１−３との間となる観測点までの距離計測よりも精度が低減しやすい。

ただし、撮像部１１１−１において得られた撮像画像と撮像部１１１−２において得られた撮像画像との組み合わせで設定したステレオ画像の視差の方向（線分１１２の方向）は、図中垂直方向になる。つまり、上述の観測点の位置は、このステレオ画像の視差の方向（図中垂直方向）に対して垂直な方向（図中水平方向）にずれる。したがって、このステレオ画像を利用することにより、観測点までの距離計測の精度の低減を抑制することができる。

このように、設定可能なステレオ画像の視差の方向を複数方向とすることができるように各撮像部１１１を配置することにより、距離計測の精度の低減を抑制することができる。特に、図１０Ａの例のように、互いに垂直な方向に視差の方向を設定することができるようにすることにより、距離計測の精度の低減をより抑制することができる。

もちろん、撮像部１１１−１乃至撮像部１１１−３は、例えば、二等辺三角形等、任意の三角形状に配置するようにしてもよい。正三角形の場合（図３）のように、各ステレオ画像の撮像画像間の距離が統一されていない場合、選択されるステレオ画像によって距離計測の精度が変化するのを抑制するために、視差の較正を行うことができるようにしてもよい。

また、撮像装置１１０（撮像ユニット）を構成する撮像部１１１の数は任意であり、例えば４以上であってもよい。換言するに撮像装置１１０は、３以上の撮像部１１１を有していればよい。そして、その撮像部１１１の配置位置は、四角形、五角形、六角形、・・・等のように、配置される撮像部１１１の数に応じた多角形状であってもよい。各ステレオ画像の距離計測の精度については、三角形の場合と基本的に同様であるが、一般的に、配置される撮像部１１１の数が増大する程、距離計測が不可能な状況の発生をより抑制することができ、距離計測の信頼性の低減をより抑制することができる。ただし、撮像部１１１の数が少ないほど、コストの増大を抑制することができる。

また、図１０Ｂに示される例のように、全撮像部１１１が直線状に配置されるようにしてもよい。図１０Ｂの例の場合、撮像部１１１−１乃至撮像部１１１−４が、直線１１５上に配置されている。このようにすることにより、どの撮像画像の組み合わせでも（どのステレオ画像においても）視差の方向が（直線１１５の方向に）統一される。したがって、例えば、ステレオ画像を用いた立体視用の表示等のように、ステレオ画像を距離計測以外の目的への利用を容易化することができる。例えば、撮像部１１１を多角形状に配置すると、選択するステレオ画像によって視差の方向が変化する可能性があるので、立体視用の表示を行うためには、その視差の方向を補正する等の煩雑な処理が必要になる可能性がある。

なお、距離計測は、常に、利用可能なステレオ画像を全て用いて行うようにしてもよいし、一部のステレオ画像を用いて行うようにしてもよい。例えば、図１０Ａにおいて、通常時は、撮像部１１１−２と撮像部１１１−３を用いて距離計測を行い、いずれか一方の撮像部１１１による撮像画像が払拭装置の影響を受ける場合のみ、撮像部１１１−１において得られる撮像画像を利用するようにしてもよい。このようにすることにより、撮像や距離計測の負荷を低減させることができ、消費電力の増大を抑制することができる。ただし、上述のように、一般的に、より多くのステレオ画像（つまり、より多くの撮像部１１１）を利用して距離計測を行うことにより、より正確な距離計測を行うことができる。

また、撮像装置１１０の各撮像部１１１の性能や仕様は、統一されていてもよいし、統一されていなくてもよい。例えば、撮像画像の画像解析を行って障害物判定等を行うような場合、一般的に、距離計測より高精細な画像が求められる。そこで、通常時は、高解像度のイメージセンサを有する撮像部１１１を利用して画像解析および距離計測を行い、その撮像部１１１が利用できない場合は、低解像度の安価なイメージセンサを有する撮像部１１１を利用して距離計測を継続するようにしてもよい。このようにすることにより、撮像部１１１のコストの増大を抑制することができる。

なお、画像補正部１２１が行う画像補正処理の内容は任意であり、上述した例に限定されない。また、画像補正部１２１の数は任意である。図２の例においては、画像補正部１２１の数が撮像部１１１と同数とされているが、画像補正部１２１の数が撮像部１１１の数と異なっていてもよい。例えば、１つの画像補正部１２１が、複数の撮像部１１１において得られた撮像画像に対して画像補正処理を行うようにしてもよい。

また、ステレオ画像処理部１３１が行うステレオ画像処理の内容は任意であり、上述した例に限定されない。また、ステレオ画像処理部１３１の数は任意である。図２の例においては、ステレオ画像処理部１３１の数が撮像部１１１と同数とされているが、ステレオ画像処理部１３１の数が撮像部１１１の数と異なっていてもよい。例えば、１つのステレオ画像処理部１３１が、複数のステレオ画像を設定するようにしてもよい。また、例えば、ステレオ画像処理部１３１が、得られた撮像画像を用いて、仮想視点のステレオ画像を生成するようにしてもよい。

対応点検出部１７２による対応点検出の方法は任意であり、上述したブロックマッチング以外の方法であってもよい。また、対応点検出部１７２は、ステレオ画像において検出可能な全ての対応点を検出するようにしてもよいし、一部の対応点のみ検出するようにしてもよい。また、距離算出部１７３による観測点までの距離の算出方法は任意であり、上述した例に限定されない。また、距離算出部１７３は、対応点検出部１７２が検出した全ての対応点について、観測点までの距離を算出するようにしてもよいし、一部の対応点についてのみ、観測点までの距離を算出するようにしてもよい。

なお、以上においては、払拭装置が全ての撮像部１１１に対して設けられるように説明したが、払拭装置は、一部の撮像部１１１に対してのみ設けられるようにしてもよい。また、払拭装置が各撮像部１１１の光学系の付着物を払拭するように説明したが、払拭装置が撮像部１１１の光学系以外の付着物を払拭するようにしてもよい。例えば、撮像装置１１０を車内に設け、車両１０１のフロントガラスを介して車両１０１の前方を撮像するようにし、払拭装置がそのフロントガラスの付着物を払拭するようにしてもよい。この場合も、払拭装置が動作することにより各撮像部１１１の撮像画像に映り込むと、図８の場合と同様にその払拭装置が邪魔になり、観測点までの距離計測が困難になる場合が考えられる。このような場合に、選択部１９１が、払拭制御情報に基づいて払拭装置がどの撮像画像に映り込むかを特定し、特定した撮像画像以外の撮像画像を選択するようにしてもよい。このようにすることにより、上述の場合と同様に、撮像システム１００は、距離計測の信頼性の低減を抑制することができる。

なお、以上においては、払拭装置を例に説明したが、選択部１９１は、撮像画像に影響を及ぼす構成の動作に基づいて、ステレオ画像を選択するようにすればよい。この撮像画像に影響を及ぼす構成は任意であり、上述のように払拭装置（ワイパ）であってもよいし、それ以外であってもよい。例えば、水をかけて付着物を除去するような構成であってもよい。

また、以上においては利用可能な距離情報（ステレオ画像）が全て選択されるように説明したが、これに限らず、選択部１９１は、任意の方法で距離情報（ステレオ画像）を選択することができる。例えば、選択部１９１は、利用可能な距離情報（ステレオ画像）の中から、所定の優先順にしたがって所定数の距離情報（ステレオ画像）を選択するようにしてもよい。このようにすることにより、選択される距離情報（ステレオ画像）の数が基本的に一定となるので、統合距離の算出等の、その後の処理を容易化することができる。

なお、統合距離の算出方法は任意である。複数の距離情報（ステレオ画像）が選択された場合には、それらの距離情報に基づいて算出される値であればどのような値を統合距離としてもよい。例えば、選択された複数の距離情報の中央値、最大値、または最小値等を統合距離とするようにしてもよい。また、その際、他の距離情報と比較して大きく値が異なる距離情報を削除するようにしてもよい。また、各距離情報を用いた所定の関数により統計情報が算出されるようにしてもよい。

なお、出力部１９３から出力された統合距離情報は、例えば、車両１０１の自動運転、遠隔操作、運転補助情報の提示等の処理に利用されるようにしてもよい。また、距離情報統合装置１５０が、ステレオ画像処理装置１３０により設定されたステレオ画像（撮像画像）を出力するようにしてもよい。例えば、距離情報統合装置１５０が、統合距離情報を出力する際に、その統合距離情報に対応するステレオ画像（撮像画像）を出力するようにしてもよい。また、出力された情報は、他の装置やシステムに転送されるようにしてもよいし、記録媒体に記録されるようにしてもよい。また、撮像システム１００において再利用されるようにしてもよい。

＜２．第２の実施の形態＞
＜撮像システムの構成＞
払拭制御情報に基づいて撮像部１１１の駆動が制御されるようにしてもよい。図１１は、その場合の撮像システム１００の主な構成例を示すブロック図である。図１１に示されるように、この場合も撮像システム１００は、基本的に第１の実施の形態で説明した構成（図２）と同様の構成を有するが、この場合、払拭制御装置１４０が供給する払拭制御情報は、撮像装置１１０に供給される。

撮像装置１１０は、自身が所有する撮像部１１１の内、払拭制御情報に基づいて、払拭装置が撮像画像に映り込まない撮像部１１１を選択し、その撮像部１１１のみを駆動させ、撮像画像を生成させる。例えば、撮像部１１１−３の撮像画像に払拭装置が映り込む場合、撮像装置１１０は、撮像部１１１−１および撮像部１１１−２を駆動させて撮像画像を生成し、撮像部１１１−３は休止させる。

画像補正装置１２０およびステレオ画像処理装置１３０は、撮像部１１１の駆動に合わせて、必要な処理部のみを駆動する。例えば、上述の例の場合、画像補正装置１２０は、画像補正部１２１−１および画像補正部１２１−２を駆動させ、画像補正を行う。撮像部１１１−３が休止しているので、画像補正部１２１−３は休止させる。同様に、ステレオ画像処理装置１３０は、ステレオ画像処理部１３１−１のみを駆動させ、ステレオ画像処理を行う。画像補正部１２１−３が休止しているので、ステレオ画像処理部１３１−２およびステレオ画像処理部１３１−３は休止させる。

このようにすることにより、撮像システム１００は、第１の実施の形態の場合と同様に、距離計測の信頼性の低減を抑制することができるとともに、不要な処理部の駆動を抑制することができ、消費電力の増大を抑制することができる。

＜距離計測処理の流れ＞
この場合の距離計測処理の流れの例を、図１２のフローチャートを参照して説明する。この場合、距離計測処理が開始されると、撮像装置１１０は、ステップＳ２０１において、払拭制御情報に基づいて払拭装置の動きを検出し、ステップＳ２０２において、その払拭装置が撮像画像に映り込まない撮像部１１１を選択し、ステップＳ２０３において、その選択した撮像部１１１を駆動させ、撮像させる。

ステップＳ２０４乃至ステップＳ２０７の各処理は、ステップＳ１０２乃至ステップＳ１０５の各処理（図９）と同様に実行される。また、ステップＳ２０８およびステップＳ２０９の各処理は、ステップＳ１０８およびステップＳ１０９の各処理（図９）と同様に実行される。

ステップＳ２０９の処理が終了すると、距離計測処理が終了する。以上のように距離計測処理を実行することにより、撮像システム１００は、距離計測の信頼性の低減を抑制することができる。

＜３．第３の実施の形態＞
＜撮像システムの構成＞
払拭装置の動きは、ステレオ画像（撮像画像）から検出するようにしてもよい。図１３は、その場合の撮像システム１００の主な構成例を示すブロック図である。図１３に示されるように、この場合も撮像システム１００は、基本的に第１の実施の形態で説明した構成（図２）と同様の構成を有するが、この場合、距離情報統合装置１５０は、ステレオ画像を用いて払拭装置の動きを検出するので、払拭制御装置１４０は省略することができる。

＜距離情報統合装置＞
図１４は、この場合の距離情報統合装置１５０（図１３）の主な構成例を示すブロック図である。図１４に示されるように、この場合の距離情報統合装置１５０は、例えば、選択部１９１乃至出力部１９３の他に、評価部３０１を有する。

評価部３０１は、ステレオ画像処理装置１３０において算出された距離情報（ステレオ画像）の評価値を求め、その評価値を評価する。評価部３０１は、その評価結果を選択部１９１に供給する。選択部１９１は、評価部３０１から供給される評価結果に基づいて、距離情報（ステレオ画像または撮像部１１１）を選択する。つまり、選択部１９１は、評価値に基づいて距離情報の選択を行うとも言えるし、距離情報（観測点までの距離）に基づいて、その距離情報の選択を行うとも言える。

評価部３０１による評価の方法は任意であるが、例えば、評価部３０１は、ブロックマッチングによって対応点の探索を行い、その探索（ブロックマッチング）の評価を任意の方法で行う。例えば、評価部３０１は、差分絶対値和を求めることにより、ブロックマッチングの評価を行う。

例えば、２画像間の２つの点P1(x1,y1)およびP2(x2,y2)、並びに、その周辺領域内の輝度差を基にした評価値E12は、以下の式（２）のように求めることができる。

E12 ＝ ΣmΣn|I1(x1+m,y1+n)-I2(x2+m,y2+n)|
・・・（２）

評価値E12の値が小さいほど領域内の輝度値が近いので、２つの領域の画像がより似ていると評価される。ここで、物体点Ｐが各撮像部１１１により生成された撮像画像にそれぞれP1(x1,y1),P2(x2,y2),P3(x3,y3)に映っているとする。ここで、点P1(x1,y1)およびP2(x2,y2)、並びに、その周辺領域内の輝度差を基にした評価値をE12とし、点P2(x2,y2)およびP3(x3,y3)、並びに、その周辺領域内の輝度差を基にした評価値をE23とし、点P3(x3,y3)およびP1(x1,y1)、並びに、その周辺領域内の輝度差を基にした評価値をE31とする。評価値E12、E23、E31は、いずれも、上述の式（２）を用いて算出することができる。

図７の例のように、撮像画像２０１乃至撮像画像２０３のいずれにもワイパなどの払拭装置が映りこんでいない場合、それらの撮像画像を用いた各ステレオ画像に対応する評価値E12（P1とP2の評価値）、E23（P2とP3の評価値）、E31（P3とP1の評価値）は、すべて低くなる。また、図８の例のようにP3にワイパが映りこんでいる場合、E12は低くなるが、物体点とワイパなどの払拭装置との輝度値が異なるためE23とE31は値が高くなる。したがって、３つの撮像部１１１を有する撮像装置１１０により得られる３対のステレオ画像の各画素での３つの評価値に対して、ある閾値(Th)よりも高い評価値が２つ、低い評価値が１つの場合、低い評価値のステレオ画像の対応点が有効であると判定できる。なお、ブロックマッチングにおいて、差分絶対値和では評価値が低い方が良いが、例えば、正規相互相関のような評価関数では評価値が高い方が良いので、閾値に対する大小の条件が逆転する。

以上のように、評価部３０１が距離情報（ステレオ画像）を評価することにより、選択部１９１は、その評価結果にしたがって距離情報（ステレオ画像）を選択することにより、払拭装置の影響を受けない距離情報（ステレオ画像）を選択することができる。つまり、統合距離算出部１９２は、払拭装置の影響を受けずに統合距離情報を算出することができる。したがって、例えば払拭装置が動作中の場合等においても、選択部１９１は利用可能な距離情報（ステレオ画像）を選択することができ、統合距離算出部１９２は統合距離情報を生成することができる。つまり、距離情報統合装置１５０は、距離計測が不可能な状況の発生を抑制することができ、距離計測の信頼性の低減を抑制することができる。

なお、この場合、選択部１９１は、どの距離情報（ステレオ画像）を選択するかを、画素毎に決定することができる。つまり、払拭装置が撮像画像内に映り込む場合であっても、一般的にその払拭装置は撮像画像の一部にのみ影響を及ぼす（撮像画像の一部の画素において距離情報の算出が困難になる）だけで、その他の部分には影響を及ぼさない。したがって、その他の部分については、その距離情報を利用することができる。

例えば図１５の場合、撮像部１１１−１において得られる撮像画像３１１と、撮像部１１１−２において得られる撮像画像３１２の両方に払拭装置（黒い太線）が映り込んでいる。しかしながら、撮像画像３１１の点P1は、払拭装置の影響を受けていない。したがって撮像画像３１１の点P1と撮像画像３１３の点P3とから、観測点までの距離（前方の車両の所定の部分までの距離）は算出可能である。つまり、払拭装置が動いている場合であっても、より多くの対応点で距離情報を求めることができる。したがって、距離計測の信頼性の低減を抑制することができる。

＜距離計測処理の流れ＞
次に、撮像システム１００により実行される処理の流れについて説明する。図９のフローチャートを参照して、撮像システム１００により実行される距離計測処理の流れの例を説明する。

距離計測処理が開始されると、ステップＳ３０１乃至ステップＳ３０５の各処理が、ステップＳ１０１乃至ステップＳ１０５の各処理（図９）と同様に実行される。

ステップＳ３０６において、評価部３０１は、ステップＳ３０５において求められた各距離情報（ステップＳ３０３において設定された各ステレオ画像）の評価値を算出し、その評価値を評価する。

ステップＳ３０７において、選択部１９１は、ステップＳ３０６において評価部３０１により有効であると判定されたステレオ画像において得られた距離情報を選択する。

ステップＳ３０８乃至ステップＳ３０９の各処理は、ステップＳ１０８およびステップＳ１０９の各処理（図９）と同様に実行される。

ステップＳ３０９の処理が終了すると、距離計測処理が終了する。以上のように距離計測処理を実行することにより、撮像システム１００は、距離計測の信頼性の低減を抑制することができる。

＜応用例＞
なお、評価部３０１は、ステレオ画像処理部１３１の対応点検出部１７２が対応点を検出する際に算出するブロックマッチングの評価値を、距離情報（ステレオ画像）の評価値として利用するようにしてもよい。このようにすることにより、演算量を低減させることができ、処理の負荷の増大を抑制することができる。もちろん、評価部３０１が、対応点検出とは独立して評価値を算出するようにしてもよい。

また、評価部３０１が評価値を評価する際に用いる閾値（Th）は、ユーザ等によって設定することができるようにしてもよい。また、この閾値（Th）が更新可能としてもよい。

なお、以上においては、撮像装置１１０が、車両１０１の前方を撮像するように設置されるように説明したが、撮像装置１１０の設置場所は任意である。また、その設置数も任意である。例えば、図１７に示されるように、車両１０１のあらゆる箇所に撮像装置１１０を、あらゆる方向に向かって設置するようにしてもよい。

図１７の例の場合、撮像装置１１０Ａが車両１０１の左側面のドアミラー（サイドミラー）４０１またはその近傍に、車両１０１の左側を撮像するような方向で設置されている。また、撮像装置１１０Ｂが車両１０１の右側面のドアミラー（サイドミラー）４０２またはその近傍に、車両１０１の右側を撮像するような方向で設置されている。また、撮像装置１１０Ｃが車両１０１の前方のバンパーまたはその近傍に、車両１０１の前方を撮像するような方向で設置されている。また、撮像装置１１０Ｄが車両１０１の後方のバンパーまたはその近傍に、車両１０１の後方を撮像するような方向で設置されている。

したがって、撮像装置１１０Ａは、検出範囲４１１Ａ内の被写体を撮像する。撮像装置１１０Ｂは、検出範囲４１１Ｂ内の被写体を撮像する。撮像装置１１０Ｃは、検出範囲４１１Ｃ内の被写体を撮像する。撮像装置１１０Ｄは、検出範囲４１１Ｄ内の被写体を撮像する。

このように、撮像システム１００は、車両１０１のあらゆる方向に対して距離計測を行うことができる。

＜４．第４の実施の形態＞
＜応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

例えば、このような移動体の自動操縦または遠隔操作等に本技術を適用するようにしてもよい。例えば、移動体の周囲の障害物や目的地の検出やそこまでの距離計測等に本技術を適用するようにしてもよい。また、例えば、移動体に荷物を掴んで移動させるような場合に、その荷物を検出したり、その荷物までの距離を計測したりするのにも本技術を適用するようにしてもよい。このような自動操縦や遠隔操作においては、その正確性を向上させるために、制御対象物体の周囲の状況についての最新の情報がリアルタイム（即時的）に求められる。特に、より高速に動作（駆動）する制御対象物体程、より最新の情報が求められる。また、野外における自動操縦や遠隔操作の場合、制御対象物体に設けられたイメージセンサ（レンズ等）が、雨、泥、土埃等によって汚れる可能性が高くなり、距離計測の信頼性が低減する可能性がより高くなる。本技術を適用することにより距離計測の信頼性の低減を抑制することができるので、このような自動操縦や遠隔操作の正確性の低減を抑制することができる。

図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１８では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図１９は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１９には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１８に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１８に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、図１乃至図１７を用いて説明した本実施形態に係る撮像システム１００の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００において、図１乃至図１７を用いて説明した本実施形態に係る撮像システム１００は、図１８に示した応用例の統合制御ユニット７６００に適用することができる。例えば、図２、図４、図６、図１３等を参照して説明した各構成は、統合制御ユニット７６００のマイクロコンピュータ７６１０、記憶部７６９０、車載ネットワークＩ／Ｆ７６８０に相当する。例えば、統合制御ユニット７６００が、互いに異なる位置から撮像された観測点の撮像画像の２枚組みからなるステレオ画像を、複数のステレオ画像の中から１以上選択し、その選択されたステレオ画像に対応する、ステレオ画像を用いて検出された観測点までの距離を用いて、その観測点までの距離を検出することにより、距離計測の信頼性の低減を抑制することができる。

また、図１乃至図１７を用いて説明した撮像システム１００の少なくとも一部の構成要素は、図１８に示した統合制御ユニット７６００のためのモジュール（例えば、１つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１乃至図１７を用いて説明した撮像システム１００が、図１８に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

なお、上述した一連の処理は、一部をハードウエアにより実行させ、他をソフトウエアにより実行させることもできる。

＜その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムでもある。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 撮像ユニットを構成する３以上の撮像部から、距離情報を生成するための撮像を行う２つの撮像部を選択する選択部と、
選択された２つの撮像部による撮像画像に基づき、観測点までの距離を検出する距離検出部と
を備える情報処理装置。
（２） 前記選択部は、前記撮像画像に影響を及ぼす構成の動作に基づいて、前記撮像部を選択する
（１）に記載の情報処理装置。
（３） 前記構成は、車両に設けられる払拭装置であり、
前記選択部は、前記撮像画像に映り込み得る前記払拭装置の動作に基づいて、前記撮像部を選択するように構成される
（１）または（２）に記載の情報処理装置。
（４） 前記払拭装置の動作を制御する制御部をさらに備え、
前記選択部は、前記制御部により供給される前記払拭装置の動作に関する制御情報に基づいて、前記撮像部を選択するように構成される
（１）乃至（３）のいずれかに記載の情報処理装置。
（５） ２つの撮像部による撮像画像からなるステレオ画像を設定するステレオ画像処理部をさらに備え、
前記選択部は、前記ステレオ画像処理部により設定された前記ステレオ画像を選択することにより、前記ステレオ画像に対応する２つの撮像部を選択するように構成される
（１）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記ステレオ画像処理部は、設定した前記ステレオ画像に基づいて、前記観測点までの距離を検出し、
前記選択部は、前記ステレオ画像処理部により前記ステレオ画像に基づいて検出される前記観測点までの距離に基づいて、前記ステレオ画像を選択する
（１）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記ステレオ画像に基づいて検出される前記観測点までの距離を評価する評価値を算出する評価部をさらに備え、
前記選択部は、前記評価部により算出された前記評価値に基づいて、前記ステレオ画像を選択するように構成される
（１）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記選択部は、複数の前記ステレオ画像を選択し、
前記距離検出部は、選択された複数の前記ステレオ画像のそれぞれに基づく前記観測点までの距離を統合して、自身が検出した前記観測点までの距離とする
（１）乃至（７）のいずれかに記載の情報処理装置。
（９） 前記距離検出部は、前記ステレオ画像に基づく前記観測点までの距離の平均、中央値、最大値、または最小値を、自身が検出した前記観測点までの距離とする
（１）乃至（８）のいずれかに記載の情報処理装置。
（１０） 前記選択部は、単数の前記ステレオ画像を選択し、
前記距離検出部は、選択された単数の前記ステレオ画像に基づく前記観測点までの距離を、自身が検出した前記観測点までの距離とする
（１）乃至（９）のいずれかに記載の情報処理装置。
（１１） 前記撮像画像を補正する画像補正部をさらに備え、
前記ステレオ画像処理部は、前記画像補正部により補正された２つの前記撮像画像からなる前記ステレオ画像を設定するように構成される
（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２） 前記撮像ユニットを構成する３以上の撮像部をさらに備える
（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３） 前記撮像ユニットの前記撮像部の相対位置関係は、既知である
（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４） 前記撮像ユニットの前記撮像部は、多角形を構成するように配置される
（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５） 前記撮像ユニットの前記撮像部は、正三角形または直角三角形の各頂点を構成するように配置される
（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６） 前記撮像ユニットの前記撮像部は、直線状に配置される
（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７） 前記距離検出部により検出された前記観測点までの距離を示す情報を出力する出力部をさらに備える
（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８） 撮像ユニットを構成する３以上の撮像部から、距離情報を生成するための撮像を行う２つの撮像部を選択し、
選択された２つの撮像部による撮像画像に基づき、観測点までの距離を検出する
情報処理方法。
（１９） 撮像ユニットを構成する３以上の撮像部から、距離情報を生成するための撮像を行う２つの撮像部を選択する選択部と、
選択された２つの撮像部による撮像画像に基づき、観測点までの距離を検出する距離検出部と
を備える車両。
（２０） 被写体を撮像する撮像装置と、
前記撮像装置が撮像した撮像画像に関する情報処理を行う情報処理装置と
を備え、
前記撮像装置は、
３以上の撮像部
を備え、
前記情報処理装置は、
前記撮像装置の３以上の撮像部から、距離情報を生成するための撮像を行う２つの撮像部を選択する選択部と、
選択された２つの撮像部による撮像画像に基づき、観測点までの距離を検出する距離検出部と
を備える情報処理システム。

１００ 撮像システム， １０１ 車両， １１０ 撮像装置， １１１ 撮像部， １２０ 画像補正装置， １２１ 画像補正部， １３０ ステレオ画像処理装置， １３１ ステレオ画像処理部， １４０ 払拭制御装置， １５０ 距離情報統合装置， １７１ ステレオ画設定部， １７２ 対応点検出部， １７３ 距離算出部， １９１ 選択部， １９２ 統合距離算出部， １９３ 出力部， ３０１ 評価部

Claims (15)

1. 撮像ユニットを構成する３以上の撮像部により生成される撮像画像に映り込み得る払拭装置の動作を制御する制御部と、
   前記制御部により供給される前記払拭装置の動作に関する制御情報に基づいて、前記撮像ユニットから、距離情報を生成するための撮像を行う２つの撮像部を選択する選択部と、
   選択された２つの撮像部による撮像画像に基づき、観測点までの距離を検出する距離検出部と
   を備える情報処理装置。
2. ２つの撮像部による撮像画像からなるステレオ画像を設定するステレオ画像処理部をさらに備え、
   前記選択部は、前記ステレオ画像処理部により設定された前記ステレオ画像を選択することにより、前記ステレオ画像に対応する２つの撮像部を選択するように構成される
   請求項１に記載の情報処理装置。
3. 前記選択部は、複数の前記ステレオ画像を選択し、
   前記距離検出部は、選択された複数の前記ステレオ画像のそれぞれに基づく前記観測点までの距離を統合して、自身が検出した前記観測点までの距離とする
   請求項２に記載の情報処理装置。
4. 前記距離検出部は、前記ステレオ画像に基づく前記観測点までの距離の平均、中央値、最大値、または最小値を、自身が検出した前記観測点までの距離とする
   請求項３に記載の情報処理装置。
5. 前記選択部は、単数の前記ステレオ画像を選択し、
   前記距離検出部は、選択された単数の前記ステレオ画像に基づく前記観測点までの距離を、自身が検出した前記観測点までの距離とする
   請求項２に記載の情報処理装置。
6. 前記撮像画像を補正する画像補正部をさらに備え、
   前記ステレオ画像処理部は、前記画像補正部により補正された２つの前記撮像画像からなる前記ステレオ画像を設定するように構成される
   請求項２に記載の情報処理装置。
7. 前記撮像ユニットを構成する３以上の撮像部をさらに備える
   請求項１に記載の情報処理装置。
8. 前記撮像ユニットの前記撮像部の相対位置関係は、既知である
   請求項７に記載の情報処理装置。
9. 前記撮像ユニットの前記撮像部は、多角形を構成するように配置される
   請求項８に記載の情報処理装置。
10. 前記撮像ユニットの前記撮像部は、正三角形または直角三角形の各頂点を構成するように配置される
    請求項９に記載の情報処理装置。
11. 前記撮像ユニットの前記撮像部は、直線状に配置される
    請求項８に記載の情報処理装置。
12. 前記距離検出部により検出された前記観測点までの距離を示す情報を出力する出力部をさらに備える
    請求項１に記載の情報処理装置。
13. 撮像ユニットを構成する３以上の撮像部により生成される撮像画像に映り込み得る払拭装置の動作を制御し、
    前記払拭装置の動作に関する制御情報に基づいて、前記撮像ユニットから、距離情報を生成するための撮像を行う２つの撮像部を選択し、
    選択された２つの撮像部による撮像画像に基づき、観測点までの距離を検出する
    情報処理方法。
14. 撮像ユニットを構成する３以上の撮像部により生成される撮像画像に映り込み得る払拭装置の動作を制御する制御部と、
    前記制御部により供給される前記払拭装置の動作に関する制御情報に基づいて、前記撮像ユニットから、距離情報を生成するための撮像を行う２つの撮像部を選択する選択部と、
    選択された２つの撮像部による撮像画像に基づき、観測点までの距離を検出する距離検出部と
    を備える車両。
15. 被写体を撮像する撮像装置と、
    前記撮像装置が撮像した撮像画像に関する情報処理を行う情報処理装置と
    を備え、
    前記撮像装置は、
    ３以上の撮像部
    を備え、
    前記情報処理装置は、
    前記撮像装置の３以上の前記撮像部により生成される撮像画像に映り込み得る払拭装置の動作を制御する制御部と、
    前記制御部により供給される前記払拭装置の動作に関する制御情報に基づいて、前記撮像装置から、距離情報を生成するための撮像を行う２つの撮像部を選択する選択部と、
    選択された２つの撮像部による撮像画像に基づき、観測点までの距離を検出する距離検出部と
    を備える情報処理システム。

Images