JP2024050248A - 画像処理装置、ステレオカメラ装置及び画像処理方法 - Google Patents

Abstract

【課題】被写体までの距離をより精度良く測定することができる技術を提供する。【解決手段】画像処理装置は、取得部と、制御部とを備える。取得部は、基準位置で撮像により生成された基準画像のデータと、基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得する。制御部は、参照画像を複数の仮想平面に射影変換して複数の仮想画像を取得し、基準画像における被写体の位置と複数の仮想画像のそれぞれにおける被写体の位置とを比較した結果に基づいて、基準位置から被写体までの距離を取得する。仮想平面は、仮想平面の法線方向に沿って基準位置から設定距離離れて位置する。複数の仮想平面のそれぞれの設定距離は、異なる。【選択図】図１

Description

本開示は、画像処理装置、ステレオカメラ装置及び画像処理方法に関する。

特許文献１には、第１の視野及び第１の光軸を有する第１のカメラと、第２の視野及び第２の光軸を有する第２のカメラとを備える撮像システムが開示されている。特許文献１には、第１の視野及び第２の視野が少なくとも部分的に重複し、組み合わされた視野を形成することが記載されている。

特表２０２０－５２２９０６号公報

被写体までの距離をより精度良く測定することが求められる。

かかる点に鑑みてなされた本開示の目的は、被写体までの距離をより精度良く測定することができる技術を提供することにある。

本開示の一実施形態に係る画像処理装置は、
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得する取得部と、
前記参照画像を複数の仮想平面に射影変換して複数の仮想画像を取得し、前記基準画像における被写体の位置と前記複数の仮想画像のそれぞれにおける前記被写体の位置とを比較した結果に基づいて、前記基準位置から前記被写体までの距離を取得する制御部と、備え、
前記仮想平面は、前記仮想平面の法線方向に沿って前記基準位置から設定距離離れて位置し、
前記複数の仮想平面のそれぞれの前記設定距離は、異なる。

本開示の一実施形態に係るステレオカメラ装置は、
基準位置で撮像により基準画像を生成し、前記基準画像とは異なる位置で撮像により参照画像を生成するステレオカメラと、
前記参照画像を複数の仮想平面に射影変換して複数の仮想画像を取得し、前記基準画像における被写体の位置と前記複数の仮想画像のそれぞれにおける前記被写体の位置とを比較した結果に基づいて、前記基準位置から前記被写体までの距離を取得する画像処理装置と、を備え、
前記仮想平面は、前記仮想平面の法線方向に沿って前記基準位置から設定距離離れて位置し、
前記複数の仮想平面のそれぞれの前記設定距離は、異なる。

本開示の一実施形態に係る画像処理方法は、
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得することと、
前記参照画像を複数の仮想平面に射影変換して複数の仮想画像を取得し、前記基準画像における被写体の位置と前記複数の仮想画像のそれぞれにおける前記被写体の位置とを比較した結果に基づいて、前記基準位置から前記被写体までの距離を取得することと、を含み、
前記仮想平面は、前記仮想平面の法線方向に沿って前記基準位置から設定距離離れて位置し、
前記複数の仮想平面のそれぞれの前記設定距離は、異なる。

本開示の一実施形態によれば、被写体までの距離をより精度良く測定することができる技術を提供することができる。

本開示の一実施形態に係るステレオカメラ装置の概略構成を示すブロック図である。 図１に示すステレオカメラ装置が搭載される移動体を模式的に示す側面図である。 図１に示すステレオカメラ装置が搭載される移動体を模式的に示す正面図である。 第１仮想画像及び第１仮想平面を説明するための図である。 第１仮想画像における第１被写体の位置を説明するための図である。 第２仮想画像及び第２仮想平面を説明するための図である。 第２仮想画像における第２被写体の位置を説明するための図である。 集約方向を説明するための図である。 補間処理の他の例を説明するための図である。 補間処理のさらに他の例を説明するための図である。 第１距離に対する第１コスト値のグラフ及び第２距離に対する第２コスト値のグラフを示す図である。 本開示の一実施形態に係る画像処理方法の手順を示すフローチャートである。 魚眼レンズによって撮像された画像を説明するための図である。

本開示において「ワールド座標系」とは、カメラの外部の実空間に基づいて設定された３次元座標系である。本開示において「カメラ座標系」は、カメラの位置を基準として設定される３次元座標系である。カメラ座標系とワールド座標系との間の変換は、カメラの外部パラメータによって規定される。本開示において「カメラの外部パラメータ」は、カメラの位置姿勢を意味する。本開示において「カメラの位置姿勢」とは、ワールド座標系において、基準となる位置に対するカメラの位置及び基準となる方向に対するカメラの傾き（姿勢）を意味する。

本開示において「画像座標系」とは、カメラが生成した画像において設定される２次元座標系である。本開示において「カメラの内部パラメータ」は、カメラの焦点距離及び画像座標系の画像中心の情報を含む。

本開示において「正規化画像座標系」とは、カメラの画像座標系を正規化した２次元座標系である。正規化画像座標系は、カメラの光軸上の点が原点となり、カメラの焦点距離が１となるように正規化される。正規化画像座標系を構成する２つの軸は、カメラの光軸に直交する。

本開示において、被写体を含む画像とは、被写体が描画された画像を意味する。被写体を含む画素とは、被写体が描画された画素を意味する。

以下、本開示に係る実施形態について、図面を参照して説明する。

（ステレオカメラ装置の構成）
図１に示すように、ステレオカメラ装置１は、ステレオカメラ１０と、画像処理装置２０とを備える。図２及び図３に示すように、ステレオカメラ装置１は、例えば、移動体３０に搭載される。

移動体３０は、路面上を走行する。路面は、例えば、道路又は滑走路等を含む走行路の表面である。移動体３０は、例えば、自動車、産業車両、鉄道車両又は生活車両等の車両である。ただし、移動体３０は、車両に限定されない。他の例として、移動体３０は、航空機、船舶又はドローン等であってもよい。航空機は、例えば、固定翼機又は回転翼機等である。

ステレオカメラ１０と画像処理装置２０とは、有線又は無線通信により通信可能である。ステレオカメラ１０と画像処理装置２０とは、ネットワークを介して通信してよい。ネットワークは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ又はＣＡＮ（Controller Area Network）等である。ステレオカメラ１０及び画像処理装置２０は、移動体３０内の電子制御ユニット（ＥＣＵ：Electronic Control Unit）と通信可能に構成されてよい。

ステレオカメラ１０は、移動体３０の種々の箇所に搭載されてよい。複数の実施形態のうちの１つにおいて、ステレオカメラ１０は、車両である移動体３０の内部に搭載され、ウインドシールドを介して移動体３０の外部を撮像してよい。例えば、ステレオカメラ１０は、ルームミラーの前方、又は、ダッシュボード上に配置される。複数の実施形態の１つにおいて、ステレオカメラ１０は、車両のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール及びボンネットの何れかに固定されてよい。

画像処理装置２０は、移動体３０の種々の箇所に搭載されてよい。例えば、画像処理装置２０は、移動体３０のダッシュボード内に搭載されてよい。

図２及び図３では、ステレオカメラ１０と画像処理装置２０とは、離れて位置する。ただし、ステレオカメラ１０と画像処理装置２０とは、同じ筺体内に収納され、一体的に構成されてよい。

ステレオカメラ１０は、互いに視差を有し、互いに協働する複数のカメラを含む。ステレオカメラ１０は、少なくとも２つ以上のカメラを含む。本実施形態では、ステレオカメラ１０は、第１カメラ１１と、第２カメラ１２とを含む。ステレオカメラ１０は、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラ１０は、同じ筐体に複数のカメラが含まれる機器であってよい。ステレオカメラ１０は、互いに独立し、且つ、互いに離れて位置する２台以上のカメラを含む機器であってよい。ただし、ステレオカメラ１０は、互いに独立した複数のカメラに限定されない。本開示のステレオカメラ１０には、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラを採用することもできる。本開示では、同じ被写体を異なる視点から撮像して生成された複数の画像は、「ステレオ画像」とも記載される。

第１カメラ１１は、光軸ОＸ１を規定する光学系と、撮像素子とを備える。第２カメラ１２は、光軸ＯＸ２を規定する光学系と、撮像素子とを備える。第１カメラ１１の光軸ＯＸ１と第２カメラの光軸ＯＸ２とは、異なる。第１カメラ１１及び第２カメラ１２のそれぞれの光学系は、レンズ又はミラーを含む。第１カメラ１１及び第２カメラ１２のそれぞれの光学系は、被写体像を撮像素子の受光面に結像させてよい。第１カメラ１１及び第２カメラ１２のそれぞれの光学系は、魚眼レンズ等の広角レンズを含んでよい。ただし、第１カメラ１１及び第２カメラ１２のそれぞれの光学系は、広角レンズに限定されず、任意のレンズを含んでよい。第１カメラ１１及び第２カメラ１２のそれぞれの撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。第１カメラ１１及び第２カメラ１２のそれぞれの撮像素子は、それぞれ、光軸ＯＸ１及び光軸ＯＸ２に垂直な同じ面内に存在してよい。第１カメラ１１及び第２カメラ１２は、画像のデータを撮像により生成する。画像のデータは、撮像素子で結像された画像を表すデータである。

第１カメラ１１及び第２カメラ１２は、例えば、互いに固定される。第１カメラ１１と第２カメラ１２との間では、例えば第１カメラ１１と第２カメラ１２とが互いに固定されることにより、相対的な位置姿勢が互いに定められる。

第１カメラ１１の光軸ＯＸ１と第２カメラ１２の光軸ＯＸ２とは、互いに同じ被写体を撮像可能な方向を向いている。第１カメラ１１及び第２カメラ１２がそれぞれ撮像した画像に少なくとも同じ被写体が含まれるように、第１カメラ１１の位置及び光軸ＯＸ１と、第２カメラ１２の位置及び光軸ОＸ２とが定められる。第１カメラ１１の光軸ＯＸ１と第２カメラ１２の光軸ＯＸ２とは、互いに平行になるように向けられる。この平行は、厳密な平行に限定されず、組み立てのずれ、取付けのずれ及びこれらの経時によるずれを許容する。第１カメラ１１の光軸ＯＸ１と第２カメラ１２の光軸ＯＸ２とは、平行に限定されず、互いに異なる方向を向いてよい。第１カメラ１１の光軸ＯＸ１と第２カメラ１２の光軸ＯＸ２とが互いに平行ではない場合でも、ステレオカメラ１０又は画像処理装置２０内で、画像を変換することによりステレオ画像を生成可能である。基線長は、第１カメラ１１の光学中心と第２カメラ１２の光学中心との間の距離である。基線長は、第１カメラ１１の撮像素子の受光面への光軸ОＸ１の交点と第２カメラ１２の撮像素子の受光面への光軸ОＸ１の交点との間のレンズの中心の距離に相当する。基線長方向は、第１カメラ１１の光学中心と第２カメラ１２の光学中心とを結ぶ方向である。

図２に示すように、第１カメラ１１及び第２カメラ１２は、移動体３０の前方を撮像可能となるように配置される。例えば、第１カメラ１１の光軸ОＸ１及び第２カメラ１２の光軸ＯＸ２が移動体３０の直進方向と平行となるように、第１カメラ１１及び第２カメラ１２が配置される。

第１カメラ１１及び第２カメラ１２は、光軸ＯＸ１及び光軸ОＸ２に交わる方向において離れて位置する。複数の実施形態のうちの１つにおいて、第１カメラ１１及び第２カメラ１２は、移動体３０の左右方向に沿って離れて位置する。第１カメラ１１は、前方を向いたときに第２カメラ１２の左側に位置する。第２カメラ１２は、前方を向いたときに第１カメラ１１の右側に位置する。

第１カメラ１１は、被写体を撮像して基準画像を生成する。基準画像が撮像により生成される位置すなわち第１カメラ１１の位置は、「基準位置」とも記載される。第２カメラ１２は、被写体を撮像して参照画像を生成する。参照画像が撮像により生成される位置すなわち第２カメラ１２の位置は、第１カメラ１１の位置とは異なる。第１カメラ１１の位置と第２カメラ１２の位置とが異なることにより、同じ被写体であっても、基準画像における被写体の位置と参照画像における被写体の位置とは、異なる。基準画像及び参照画像は、異なる視点から被写体を撮像して生成されたステレオ画像となる。第１カメラ１１及び第２カメラ１２は、所定のフレームレート（例えば３０ｆｐｓ）で被写体を撮像してよい。

図１に示すように、画像処理装置２０は、取得部２１と、出力部２２と、記憶部２３と、制御部２４とを備える。

取得部２１は、画像処理装置２０の入力用インタフェースである。取得部２１は、ステレオカメラ１０及び他の装置から情報の入力を受け付け可能である。取得部２１には、物理コネクタ、及び、無線通信モジュールが採用可能である。物理コネクタには、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び、電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ RC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及び、ＢＮＣを含む同軸ケーブルに対応するコネクタが含まれる。光コネクタには、IEC 61754に準拠する種々のコネクタが含まれる。無線通信モジュールには、Bluetooth（登録商標）、及び、IEEE802.11を含む各規格に準拠する無線通信モジュールが含まれる。

取得部２１は、第１カメラ１１が生成した基準画像のデータと、第２カメラ１２が生成した参照画像のデータとを取得する。取得部２１は、取得した基準画像のデータ及び参照画像のデータを、制御部２４に出力する。取得部２１は、ステレオカメラ１０のデータの伝送方式に対応してよい。取得部２１は、ネットワークを介してステレオカメラ１０の出力用インタフェースに接続されてよい。取得部２１は、ネットワークを介して移動体３０内の電子制御ユニットに接続されてよい。

出力部２２は、画像処理装置２０の出力用インタフェースである。出力部２２は、画像処理装置２０の処理結果を、外部機器に出力可能である。外部機器は、例えば、移動体３０内の他の装置又は移動体３０外の他の装置等である。移動体３０内の他の装置は、オートクルーズコントロール等の走行支援装置、及び、自動ブレーキ装置等の安全装置を含んでよい。移動体３０外の他の装置は、他車両及び路測機等を含んでよい。移動体３０内の他の装置又は移動体３０外の他の装置は、画像処理装置２０から受信した情報を適宜使用することができる。出力部２２は、取得部２１と同じ又は類似に、有線及び無線の通信に対応した種々のインタフェースを含んでよい。

記憶部２３は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）等である。ＲＡＭは、例えば、ＳＲＡＭ（Static Random Access Memory）又はＤＲＡＭ（Dynamic Random Access Memory）等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)等である。記憶部２３は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部２３は、画像処理装置２０の動作に用いられるデータと、画像処理装置２０の動作によって得られたデータとを記憶する。

記憶部２３は、第１カメラ１１及び第２カメラ１２の内部パラメータを記憶する。記憶部２３は、第１カメラ１１及び第２カメラ１２の外部パラメータを記憶する。記憶部２３は、後述する回転行列Ｒ及び並進ベクトルｔを記憶する。

制御部２４は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部２４は、画像処理装置２０の各部を制御しながら、画像処理装置２０の動作に関わる処理を実行する。

制御部２４は、基準画像及び参照画像のデータを取得部２１によって取得する。制御部２４は、基準画像及び参照画像に対して歪み補正処理を実行してもよい。歪み補正処理は、レンズの歪曲収差を補正する処理である。制御部２４は、歪み補正処理に加えて、明度調整処理、コントラスト調整処理及びガンマ補正処理等の任意の画像処理を実行してもよい。以下、歪み補正処理等を実行した後の基準画像は、「基準画像４０」とも記載される。また、歪み補正処理等を実行した後の参照画像は、「参照画像４１」とも記載される。

以下、第１カメラ１１の正規化画像座標系は、「正規化画像座標系Ｃ１」とも記載される。つまり、正規化画像座標系Ｃ１は、第１カメラ１１の画像座標系を正規化した２次元座標系である。第２カメラ１２の正規化画像座標系は、「正規化画像座標系Ｃ２」とも記載される。つまり、正規化画像座標系Ｃ２は、第２カメラ１２の画像座標系を正規化した２次元座標系である。

以下、第１カメラ１１のカメラ座標系は、「カメラ座標系Ｃ１１」とも記載される。第２カメラ１２のカメラ座標系は、「カメラ座標系Ｃ１２」とも記載される。

制御部２４は、参照画像４１を後述する第１仮想画像４２に変換して被写体までの距離を取得する第１取得処理と、参照画像４１を後述する第２仮想画像４３に変換して被写体までの距離を取得する第２取得処理とを実行することができる。制御部２４は、第１取得処理及び第２取得処理で取得したデータを用いて、後述する補間処理を実行することができる。補間処理では、第１取得処理又は第２取得処理で被写体までの正確な距離が取得できない場合、その被写体までの距離が補間される。また、補間処理では、第１取得処理又は第２取得処理で取得された被写体までの距離が誤検出であると判定された場合、その被写体までの距離が補間される。

＜第１取得処理＞
制御部２４は、参照画像４１を第１仮想画像４２に変換する。第１仮想画像４２は、図４に示すような実空間上の仮想点Ｘ１_ｑ（ｑ＝１，…，ｍ１）（ｍ１は１以上の整数）を基準位置で撮像したと仮想した画像である。仮想点Ｘ１_ｑは、実空間において第１方向Ｄ１に沿って基準位置から第１距離ｄ１_ｑ離れて位置する。第１方向Ｄ１は、第１カメラ１１の光軸ОＸ１に沿う方向すなわち第１カメラ１１の光軸方向である。第１方向Ｄ１の情報は、第１カメラ１１のカメラ座標系Ｃ１１に対応付けられて記憶部２３に予め記憶されてよい。制御部２４は、記憶部２３から、カメラ座標系Ｃ１１に対応付けられた第１方向Ｄ１の情報を取得することにより、第１方向Ｄ１を特定してよい。以下、第１距離ｄ１_ｑに対応する第１仮想画像４２は、「第１仮想画像４２_ｑ」とも記載される。

制御部２４は、参照画像４１を第１仮想平面Ｖ１_ｑに射影変換し、射影変換後の参照画像４１を第１仮想画像４２_ｑとして取得する。第１仮想平面Ｖ１_ｑは、仮想点Ｘ１_ｑが位置する仮想的な平面である。第１仮想平面Ｖ１_ｑは、第１方向Ｄ１に沿って基準位置から第１距離ｄ１_ｑ離れて位置する。つまり、第１距離ｄ１_ｑに対応する第１仮想画像４２_ｑは、第１方向Ｄ１に沿って基準位置から第１距離ｄ１_ｑ離れて位置する第１仮想平面Ｖ１_ｑに参照画像４１を射影変換した後の画像とも言える。第１仮想平面Ｖ１_ｑの法線方向は、第１方向Ｄ１と一致する。参照画像４１を第１仮想平面Ｖ１_ｑに射影変換して第１仮想画像４２_ｑを取得する処理は、プレーンスイープ法（Plane Sweep）による処理とも言える。ここで、図４において、座標ｘ１は、仮想点Ｘ１_ｑを基準画像４０に投影させた場合に仮想点Ｘ１_ｑが基準画像４０に描画される画素の座標である。座標ｘ１は、正規化画像座標系Ｃ１における座標として与えられる。座標ｘ２は、仮想点Ｘ１_ｑを参照画像４１に投影させた場合に仮想点Ｘ１_ｑが参照画像４１に描画される画素の座標である。座標ｘ２は、正規化画像座標系Ｃ２における座標として与えられる。制御部２４は、平面射影変換Ｈ_ｑによって、仮想点Ｘ１_ｑを通る第１カメラ１１の光線を、仮想点Ｘ１_ｑを通る第２カメラ１２の光線に変換することができる。平面射影変換Ｈ_ｑは、式（１）によって表される。

式（１）において、回転行列Ｒは、第１カメラ１１を基準とする第２カメラ１２の回転を示す回転行列である。並進ベクトルｔは、第１カメラ１１を基準とする第２カメラ１２の並進を示すベクトルである。回転行列Ｒと並進ベクトルｔは、第１カメラ１１と第２カメラ１２との間で相対的な位置姿勢が互いに定められていることにより既知である。制御部２４は、記憶部２３から回転行列Ｒ及び並進ベクトルｔの情報を取得する。
式（１）において、法線ベクトルｎ_ｑは、第１仮想平面Ｖ１_ｑの法線ベクトルである。
式（１）において、第１距離ｄ１_ｑは、第１方向Ｄ１における第１仮想平面Ｖ１_ｑの基準位置からの距離である。

制御部２４は、第１仮想画像４２_ｑによって、実空間上の第１被写体までの距離を取得することができる。第１被写体は、第１仮想平面Ｖ１_ｑに平行な面を含む被写体である。つまり、第１被写体の少なくとも一部の面の法線方向は、第１仮想平面Ｖ１_ｑの法線方向すなわち第１方向Ｄ１と一致する。第１被写体に含まれる面の法線方向が第１方向Ｄ１と一致することにより、第１方向Ｄ１に沿う第１距離ｄ１_ｑを変化させながら複数の第１仮想画像４２_ｑを取得した場合、第１仮想画像４２_ｑにおける第１被写体の位置は、第１距離ｄ１_ｑに応じて変化する。さらに、第１距離ｄ１_ｑが第１方向Ｄ１における基準位置から第１被写体までの距離と一致する場合、第１仮想画像４２_ｑにおける第１被写体の位置は、基準画像４０における第１被写体の位置と一致する。つまり、第１仮想画像４２_ｑにおける第１被写体の位置と基準画像４０における第１被写体の位置とが一致する場合、当該第１仮想画像４２_ｑに対応する第１距離ｄ１_ｑは、第１方向Ｄ１における基準位置から第１被写体までの距離となる。

そこで、制御部２４は、基準画像４０における第１被写体の位置と、複数の第１仮想画像４２_ｑのそれぞれにおける第１被写体の位置とを比較する。制御部２４は、複数の第１仮想画像４２_ｑのうちから、その第１仮想画像４２_ｑにおける第１被写体の位置が基準画像４０における第１被写体の位置に最も近い第１仮想画像４２_ｑを特定する。制御部２４は、特定した第１仮想画像４２_ｑに対応する第１距離ｄ１_ｑを、実空間上の第１方向Ｄ１における基準位置から第１被写体までの距離として取得する。以下、図５を参照して説明する。

図５には、基準画像４０ａ及び参照画像４１ａを示す。基準画像４０ａは、部分画像４０оｂ１を含む。部分画像４０оｂ１は、基準画像４０ａのうちで、第１カメラ１１によって撮像された第１被写体оｂ１が描画された部分である。参照画像４１ａは、部分画像４１оｂ１を含む。部分画像４１оｂ１は、参照画像４１ａのうちで、第２カメラ１２によって撮像された第１被写体оｂ１が描画された部分である。第１被写体оｂ１の正面の法線方向は、第１方向Ｄ１に一致する。

図５では、ｑ＝１，２，３とする。参照画像４１ａの右側に、第１仮想画像４２ａ_１、第１仮想画像４２ａ_２及び第１仮想画像４２ａ_３を示す。第１仮想画像４２ａ_１は、第１距離ｄ１_１に対応する。第１仮想画像４２ａ_２は、第１距離ｄ１_２に対応する。第１仮想画像４２ａ_３は、第１距離ｄ１_３に対応する。

図５では、説明の便宜上、第１仮想画像４２ａ_１～４２ａ_３のそれぞれにおいて、基準画像４０ａの部分画像４０оｂ１を破線で示す。第１仮想画像４２ａ_１～４２ａ_３のそれぞれにおいて、部分画像４１оｂ１の位置すなわち第１被写体оｂ１の位置は、第１距離ｄ１_ｑに応じて変化する。ここで、第１仮想画像４２ａ_２における第１被写体оｂ１の位置と、基準画像４０ａにおける第１被写体оｂ１の位置とは、一致する。つまり、第１方向Ｄ１における基準位置から第１被写体оｂ１までの距離は、第１距離ｄ１_２となる。制御部２４は、第１仮想画像４２ａ_１～４２ａ_３のうちから、基準画像４０ａにおける第１被写体оｂ１の位置と第１被写体оｂ１の位置が最も近い第１仮想画像４２ａ_２を特定する。制御部２４は、特定した第１仮想画像４２ａ_２に対応する第１距離ｄ１_２を、実空間上の第１方向Ｄ１における基準位置から第１被写体оｂ１までの距離として取得する。

本実施形態では、制御部２４は、基準画像４０における第１被写体の位置と複数の第１仮想画像４２_ｑのそれぞれにおける第１被写体の位置との比較として、基準画像４０と複数の第１仮想画像４２_ｑとを用いたマッチング処理を実行する。以下、基準画像４０に含まれる画素は、「基準画素Ｐ４０」とも記載される。第１仮想画像４２_ｑに含まれる画素は、「第１仮想画素Ｐ４２_ｑ」とも記載される。

マッチング処理では、制御部２４は、複数の基準画素Ｐ４０及び複数の第１仮想画素Ｐ４２_ｑのそれぞれから、特徴量を抽出する。特徴量は、例えば、画素の輝度及び色の少なくとも何れかを含む。制御部２４は、ＡＫＡＺＥ（Accelerated-KAZE）、ＯＲＢ（Oriented FAST and Rotated BRIEF）又はＳＩＦＴ（Scale-Invariant Feature Transform）等の任意のアルゴリズムによって、特徴量を抽出してよい。特徴量は、ＡＫＡＺＥ、ＯＲＢ又はＳＩＦＴ等の形式で表されてもよいし、他の種々の形式で表されてもよい。

マッチング処理では、制御部２４は、第１コスト値Ｃ_１（ｐ，ｑ）を算出する。第１コスト値Ｃ_１（ｐ，ｑ）は、座標ｐの基準画素Ｐ４０に含まれる被写体と、当該基準画素Ｐ４０と同じ座標ｐの第１仮想画素Ｐ４２_ｑに含まれる被写体との類似度を示す。本実施形態では、第１コスト値Ｃ_１（ｐ，ｑ）が小さいほど、座標ｐの基準画素Ｐ４０に含まれる被写体と、座標ｐの第１仮想画素Ｐ４２_ｑに含まれる被写体との類似度が高いものとする。制御部２４は、基準ブロックＢ_１４０と仮想ブロックＢ４２_ｑとについて、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、ＺＳＳＤ（Zero-mean Sum of Squared Difference）又はＺＮＣＣ（Zero means Normalized Cross Correlation）等を算出することにより、第１コスト値Ｃ_１（ｐ，ｑ）を算出してよい。基準ブロックＢ_１４０は、第１コスト値Ｃ_１（ｐ，ｑ）の算出対象となる座標ｐの基準画素Ｐ４０を中心とする複数の基準画素Ｐ４０のブロックである。仮想ブロックＢ４２_ｑは、第１コスト値Ｃ_１（ｐ，ｑ）の算出対象となる座標ｐの第１仮想画素Ｐ４２_ｑを中心とする複数の第１仮想画素Ｐ４２_ｑのブロックである。基準ブロックＢ_１４０及び仮想ブロックＢ４２_ｑは、例えば、３画素×３画素のブロックである。

マッチング処理では、制御部２４は、パラメータｑを１からｍ１まで変化させながら、同じ座標ｐについての複数の第１コスト値Ｃ_１（ｐ，ｑ）を算出する。制御部２４は、算出した複数の第１コスト値Ｃ_１（ｐ，ｑ）のうちで、第１コスト値Ｃ_１（ｐ，ｑ）が最小値になるときのパラメータｑを特定する。制御部２４は、特定したパラメータｑに対応する第１距離ｄ１_ｑを、座標ｐの基準画素Ｐ４０に含まれる第１被写体の第１方向Ｄ１における基準位置からの距離として取得する。制御部２４は、取得した第１距離ｄ１_ｑを座標ｐの基準画素Ｐ４０に対応付ける。

制御部２４は、取得した第１距離ｄ１_ｑすなわち第１方向Ｄ１における基準位置から第１被写体までの距離によって、基準位置から第１被写体までの直線距離を算出してもよい。例えば、制御部２４は、式（２）によって、基準位置から第１被写体までの直線距離Ｚを算出してよい。

式（２）において、単位ベクトルｂは、正規化画像座標系Ｃ１の原点から第１被写体を含む基準画素Ｐ４０に向かう方向に対応するカメラ座標系Ｃ１１の方向の単位ベクトルである。

ところで、複数の第１仮想平面Ｖ１_ｑのそれぞれの間隔は、不等間隔であってもよいし、等間隔であってもよい。ここで、基準位置から遠距離の被写体ほど、基準画像４０における被写体の位置と参照画像４１における被写体の位置との差すなわち視差が小さくなる。これに対し、基準位置から近距離の被写体ほど、基準画像４０における被写体の位置と参照画像４１における被写体の位置との差すなわち視差が大きくなる。本実施形態では、制御部２４は、被写体の基準画像４０と参照画像４１との間の視差を算出する代わりに、参照画像４１をそれぞれ異なる第１距離ｄ１_ｑに対応する複数の第１仮想平面Ｖ１_ｑに射影変換して第１仮想画像４２_ｑを取得する。さらに、制御部２４は、基準画像４０における被写体の位置と複数の第１仮想画像４２_ｑにおける被写体の位置とを比較する。そこで、複数の第１仮想平面Ｖ１_ｑのそれぞれの間隔を不等間隔にする場合、複数の第１仮想平面Ｖ１_ｑのそれぞれの間隔は、基準位置から近いほど狭い間隔であってよい。また、複数の第１仮想平面Ｖ１_ｑのそれぞれの間隔は、基準位置から遠いほど、広い間隔であってよい。このような構成により、被写体までの距離を精度良く取得することができる。

＜第２取得処理＞
制御部２４は、参照画像４１を第２仮想画像４３に変換する。第２仮想画像４３は、図６に示すような実空間上の仮想点Ｘ２_ｑ（ｑ＝１，…，ｍ２）（ｍ２は１以上の整数）を基準位置で撮像したと仮想した画像である。仮想点Ｘ２_ｑは、実空間において第２方向Ｄ２に沿って基準位置から第２距離ｄ２_ｑ離れて位置する。第２方向Ｄ２は、第１方向Ｄ１とは異なる方向である。例えば、第２方向Ｄ２におけるベクトルと、第１方向Ｄ１におけるベクトルとの内積は、ゼロ以外の値となる。第２方向Ｄ２は、水平面の法線方向であってよい。以下、第２方向Ｄ２は、路面の法線方向であるものとする。ただし、第２方向Ｄ２は、第１方向Ｄ１とは異なる方向であればよく、路面の法線方向に限定されない。第２方向Ｄ２の情報は、カメラ座標系Ｃ１２に対応付けられて記憶部２３に予め記憶されてよい。制御部２４は、記憶部２３からカメラ座標系Ｃ１２に対応付けられた第２方向Ｄ２の情報を取得することにより、第２方向Ｄ２を特定してよい。以下、第２距離ｄ２_ｑに対応する第２仮想画像４３は、「第２仮想画像４３_ｑ」とも記載される。

制御部２４は、参照画像４１を第２仮想平面Ｖ２_ｑに射影変換し、射影変換後の参照画像４１を第２仮想画像４３_ｑとして取得する。第２仮想平面Ｖ２_ｑは、仮想点Ｘ２_ｑが位置する仮想的な平面である。第２仮想平面Ｖ２_ｑは、基準位置から第２距離ｄ２_ｑ離れて位置する。つまり、第２距離ｄ２_ｑに対応する第２仮想画像４３_ｑは、第２方向Ｄ２に沿って基準位置から第２距離ｄ２_ｑ離れて位置する第２仮想平面Ｖ２_ｑに参照画像４１を射影変換した後の画像とも言える。第２仮想平面Ｖ２_ｑの法線方向は、第２方向Ｄ２に一致する。第１方向Ｄ１と同じ又は類似に、制御部２４は、式（１）の平面射影変換Ｈ_ｑによって、仮想点Ｘ２_ｑを通る第１カメラ１１への光線を、仮想点Ｘ２_ｑを通る第２カメラ１２への光線に変換することができる。この変換では、式（１）の第１距離ｄ１_ｑの代わりに、第２距離ｄ２_ｑが用いられる。また、式（１）の法線ベクトルｎ_ｑは、第２仮想平面Ｖ２_ｑの法線ベクトルとなる。

制御部２４は、第２仮想画像４３_ｑによって、実空間上の第２被写体までの距離を取得することができる。第２被写体は、第２仮想平面Ｖ２_ｑに平行な面を含む被写体である。つまり、第２被写体の少なくとも一部の面の法線方向は、第２仮想平面Ｖ２_ｑの法線方向すなわち第２方向Ｄ２と一致する。第２被写体の例として、車止め及び路面の凹凸等が挙げられる。第２被写体は、第１被写体と同じ物体であってもよいし、第１被写体とは異なる物体であってもよい。第２被写体が第１被写体と同じ物体である場合、第２被写体は、第１仮想平面Ｖ１_ｑに平行な面と、第２仮想平面Ｖ２_ｑに平行な面とを含む。ここで、第２被写体に含まれる面の法線方向が第２方向Ｄ２と一致することにより、第２方向Ｄ２に沿う第２距離２_ｑを変化させながら複数の第２仮想画像４３_ｑを取得した場合、第２仮想画像４３_ｑにおける第２被写体の位置は、第２距離ｄ２_ｑに応じて変化する。第２距離ｄ２_ｑが第２方向Ｄ２における基準位置から第２被写体までの距離と一致する場合、第２仮想画像４３_ｑにおける第２被写体の位置は、基準画像４０における第２被写体の位置と一致する。つまり、第２仮想画像４３_ｑにおける第２被写体の位置と基準画像４０における第２被写体の位置とが一致する場合、当該第２仮想画像４３_ｑに対応する第２距離ｄ２_ｑは、第２方向Ｄ２における基準位置から第２被写体までの距離となる。

そこで、制御部２４は、基準画像４０における第２被写体の位置と、複数の第２仮想画像４３_ｑのそれぞれにおける第２被写体の位置とを比較する。制御部２４は、複数の第２仮想画像４３_ｑのうちから、その第２仮想画像４３_ｑにおける第２被写体の位置が基準画像４０における第２被写体の位置に最も近い第２仮想画像４３_ｑを特定する。制御部２４は、特定した第２仮想画像４３_ｑに対応する第２距離ｄ２_ｑを、実空間上の第２方向Ｄ２における基準位置から第２被写体までの距離として取得する。以下、図７を参照して説明する。

図７には、基準画像４０ｂ及び参照画像４１ｂを示す。基準画像４０ｂは、部分画像４０оｂ２を含む。部分画像４０оｂ２は、基準画像４０ｂのうちで、第１カメラ１１によって撮像された第２被写体оｂ２が描画された部分である。参照画像４１ｂは、部分画像４１оｂ２を含む。部分画像４１оｂ２は、参照画像４１ｂのうちで、第２カメラ１２によって撮像された第２被写体оｂ２が描画された部分である。第２被写体оｂ２の上面の法線方向は、第２方向Ｄ２に一致する。

図７では、ｑ＝１，２，３とする。参照画像４１ｂの右側に、第２仮想画像４３ｂ_１、第２仮想画像４３ｂ_２及び第２仮想画像４３ｂ_３を示す。第２仮想画像４３ｂ_１は、第２距離ｄ２_１に対応する。第２仮想画像４３ｂ_２は、第２距離ｄ２_２に対応する。第２仮想画像４３ｂ_３は、第２距離ｄ２_３に対応する。

図７では、説明の便宜上、第２仮想画像４３ｂ_１～４３ｂ_３のそれぞれにおいて、基準画像４０ｂの部分画像４０оｂ２を破線で示す。第２仮想画像４３ｂ_１～４３ｂ_３のそれぞれにおいて、部分画像４１оｂ２の位置すなわち第２被写体оｂ２の位置は、第２距離ｄ２_ｑに応じて変化する。ここで、第２仮想画像４３ｂ_２における第２被写体оｂ２の位置と、基準画像４０ｂにおける第２被写体оｂ２の位置とは、一致する。つまり、第２方向Ｄ２における基準位置から第２被写体оｂ２までの距離は、第２距離ｄ２_２となる。制御部２４は、第２仮想画像４３ｂ_１～４３ｂ_３のうちから、基準画像４０ｂにおける第２被写体оｂ２の位置と第２被写体оｂ２の位置が最も近い第２仮想画像４３ｂ_２を特定する。制御部２４は、特定した第２仮想画像４３ｂ_２に対応する第２距離ｄ２_２を、実空間上の第２方向Ｄ２における基準位置から第２被写体оｂ２までの距離として取得する。

本実施形態では、制御部２４は、基準画像４０における第２被写体の位置と複数の第２仮想画像４３_ｑのそれぞれにおける第２被写体の位置との比較として、基準画像４０と複数の第２仮想画像４３_ｑとを用いたマッチング処理を実行する。以下、第２仮想画像４３_ｑに含まれる画素は、「第２仮想画素Ｐ４３_ｑ」とも記載される。

マッチング処理では、制御部２４は、上述した処理と同じ又は類似に、複数の基準画素Ｐ４０及び複数の第２仮想画素Ｐ４３_ｑのそれぞれから、特徴量を抽出する。上述した処理と同じ又は類似に、制御部２４は、ＡＫＡＺＥ、ＯＲＢ又はＳＩＦＴ等の任意のアルゴリズムによって、特徴量を抽出してよい。

マッチング処理では、制御部２４は、第２コスト値Ｃ_２（ｐ，ｑ）を算出する。第２コスト値Ｃ_２（ｐ，ｑ）は、座標ｐの基準画素Ｐ４０に含まれる被写体と、当該基準画素Ｐ４０と同じ座標ｐの第２仮想画素Ｐ４３_ｑに含まれる被写体との類似度を示す。本実施形態では、第２コスト値Ｃ_２（ｐ，ｑ）が小さいほど、座標ｐの基準画素Ｐ４０に含まれる被写体と、座標ｐの第２仮想画素Ｐ４３_ｑに含まれる被写体との類似度が高いものとする。上述した処理と同じ又は類似に、制御部２４は、基準ブロックＢ_２４０と仮想ブロックＢ４３_ｑとについて、ＳＡＤ、ＳＳＤ、ＺＳＳＤ又はＺＮＣＣ等を算出することにより、第２コスト値Ｃ_２（ｐ，ｑ）を算出してよい。基準ブロックＢ_２４０は、第２コスト値Ｃ_２の算出対象となる座標ｐの基準画素Ｐ４０を中心とする複数の基準画素Ｐ４０のブロックである。仮想ブロックＢ４３_ｑは、第２コスト値Ｃ_２の算出対象となる座標ｐの第２仮想画素Ｐ４３_ｑを中心とする複数の第２仮想画素Ｐ４３_ｑのブロックである。基準ブロックＢ_２４０及び仮想ブロックＢ４３_ｑは、例えば、３画素×３画素のブロックである。

マッチング処理では、制御部２４は、パラメータｑを１からｍ２まで変化させながら、同じ座標ｐについての複数の第２コスト値Ｃ_２（ｐ，ｑ）を算出する。制御部２４は、算出した複数の第２コスト値Ｃ_２（ｐ，ｑ）のうちで、第２コスト値Ｃ_２（ｐ，ｑ）が最小値になるときのパラメータｑを特定する。制御部２４は、特定したパラメータｑに対応する第２距離ｄ２_ｑを、座標ｐの基準画素Ｐ４０に含まれる第２被写体の第２方向Ｄ２における基準位置からの距離として取得する。制御部２４は、取得した第２距離ｄ２_ｑを座標ｐの基準画素Ｐ４０に対応付ける。

制御部２４は、取得した第２距離ｄ２_ｑすなわち第２方向Ｄ２における基準位置から第２被写体までの距離によって、基準位置から第２被写体までの直線距離を算出してよい。制御部２４は、式（２）によって、基準位置から第２被写体までの直線距離Ｚを算出してよい。第２方向Ｄ２では、式（２）の法線ベクトルｎ_ｑは、第２仮想平面Ｖ２_ｑの法線ベクトルとなる。また、式（２）の単位ベクトルｂは、正規化画像座標系Ｃ１の原点から第２被写体を含む画素に向かう方向に対応するカメラ座標系Ｃ１１の方向の単位ベクトルである。

複数の第２仮想平面Ｖ２_ｑのそれぞれの間隔は、第１仮想平面Ｖ１_ｑと同じ又は類似に、不等間隔であってもよいし、等間隔であってもよい。第１仮想平面Ｖ１_ｑと同じ又は類似に、複数の第２仮想平面Ｖ２_ｑのそれぞれの間隔を不等間隔にする場合、複数の第２仮想平面Ｖ２_ｑのそれぞれの間隔は、基準位置から近いほど狭い間隔であってよい。また、複数の第２仮想平面Ｖ２_ｑのそれぞれの間隔は、基準位置から遠いほど、広い間隔であってよい。このような構成により、被写体までの距離を精度良く取得することができる。

＜補間処理＞
以下、第１仮想平面Ｖ１と第２仮想平面Ｖ２とを特に区別しない場合、これらは、まとめて「仮想平面Ｖ３」とも記載される。仮想平面Ｖ３は、仮想平面Ｖ３の法線方向に沿って基準位置から設定距離ｄ３離れて位置する。仮想平面Ｖ３が第１仮想平面Ｖ１である場合、設定距離ｄ３は、第１距離ｄ１である。仮想平面Ｖ３が第２仮想平面Ｖ２である場合、設定距離ｄ３は、第２距離ｄ２である。異なる設定距離ｄ３_ｋ（ｋは、「１≦ｋ≦Ｎ」を満たす整数）に対応する仮想平面Ｖ３は、「仮想平面Ｖ３_ｋ」とも記載される。複数の仮想平面Ｖ３_ｋすなわち仮想平面Ｖ３_１～Ｖ３_Ｎは、複数の第１仮想平面Ｖ１_ｑすなわち第１仮想平面Ｖ１_１～Ｖ１_ｍ１と、複数の第２仮想平面Ｖ２_ｑすなわち第２仮想平面Ｖ２_１～Ｖ２_ｍ２とを含んでよい。ただし、複数の仮想平面Ｖ３_ｋすなわち仮想平面Ｖ３_１～Ｖ３_Ｎは、複数の第１仮想平面Ｖ１_ｑすなわち第１仮想平面Ｖ１_１～Ｖ１_ｍ１のみを含んでもよい。又は、複数の仮想平面Ｖ３_ｋすなわち仮想平面Ｖ３_１～Ｖ３_Ｎは、複数の第２仮想平面Ｖ２_ｑすなわち第２仮想平面Ｖ２_１～Ｖ２_ｍ２のみを含んでもよい。

以下、参照画像４１を仮想平面Ｖ３_ｋに射影変換して取得される仮想画像は、「仮想画像４４_ｋ」とも記載される。仮想画像４４_ｋに含まれる画素は、「仮想画素Ｐ４４_ｋ」とも記載される。仮想平面Ｖ３_ｋが第１仮想平面Ｖ１_ｑである場合、仮想画素Ｐ４４_ｋは、第１仮想画素Ｐ４２_ｑである。仮想平面Ｖ３_ｋが第２仮想平面Ｖ２_ｑである場合、仮想画素Ｐ４４_ｋは、第２仮想画素Ｐ４３_ｑである。

以下、「コスト値Ｃ（ｐ，ｋ）」は、座標ｐの基準画素Ｐ４０に含まれる被写体と、当該基準画素Ｐ４０と同じ座標ｐの仮想画素Ｐ４４_ｋに含まれる被写体との類似度を示す。仮想画素Ｐ４４_ｋが第１仮想画素Ｐ４２_ｑである場合、コスト値Ｃ（ｐ，ｋ）は、第１コスト値Ｃ_１（ｐ，ｑ）である。仮想画素Ｐ４４_ｋが第２仮想画素Ｐ４３_ｑである場合、コスト値Ｃ（ｐ，ｋ）は、第２コスト値Ｃ_２（ｐ，ｑ）である。

ところで、被写体のうちには、画像における輝度差といった特徴が少ない被写体が存在する。このような被写体については、第１取得処理又は第２取得処理によって被写体までの距離が精度良く取得できない場合がある。そこで、制御部２４は、このような被写体については、コスト値Ｃ（ｐ，ｋ）を用いて補間処理を実行する。制御部２４は、補間処理を実行することにより、被写体までの距離を補間することができる。以下、補間処理の対象となる基準画素Ｐ４０は、「注目画素Ｐ４０Ａ」とも記載される。

制御部２４は、動的計画法に基づいてコスト値Ｃ（ｐ，ｋ）を注目画素Ｐ４０Ａに向けて集約方向ｒに沿って集約することにより、注目画素Ｐ４０Ａに含まれる被写体までの距離を補間する。本実施形態では、動的計画法としてＳＧＭ（Semi Global Matching）法が採用される。本実施形態に係るＳＧＭ法では、制御部２４は、式（３）によって、注目画素Ｐ４０Ａの合成コスト値Ｓ（ｐ，ｋ）を算出する。制御部２４は、合成コスト値Ｓ（ｐ，ｋ）が最小値になるときのパラメータｋを特定する。制御部２４は、特定したパラメータｋに対応する設定距離ｄ３_ｋを注目画素Ｐ４０Ａに含まれる被写体までの距離の補間値として取得する。制御部２４は、取得した設定距離ｄ３_ｋすなわち補間値を注目画素Ｐ４０Ａに対応付けてよい。

式（３）において、コスト値Ｌ_ｒ（ｐ，ｋ）は、注目画素Ｐ４０Ａの修正後のコスト値である。

制御部２４は、注目画素Ｐ４０Ａのコスト値Ｌ_ｒ（ｐ，ｋ）を式（４）によって算出する。

式（４）において、コスト値Ｃ（ｐ，ｋ）は、注目画素Ｐ４０Ａの修正前のコスト値である。
式（４）において、パラメータＰ_１及びパラメータＰ_２は、ペナルティである。パラメータＰ_１及びパラメータＰ_２は、「Ｐ_２＞Ｐ_１」を満たすように設定される。変数ｉは、任意の変数である。
式（４）において、パラメータｒは、集約方向ｒに対応する。

集約方向ｒは、基準画像４０の端部から注目画素Ｐ４０Ａに向かう方向として設定される。本実施形態では、集約方向ｒは、基準画像４０における水平方向に沿うベクトル及び鉛直方向に沿うベクトルに基づいて設定される。この設定例について図８を参照して説明する。

図８には、基準画像４０を示す。図８において、一点鎖線は、基準画像４０における水平方向に対応する。二点鎖線は、基準画像４０における鉛直方向に対応する。図８に示すような基準画像４０は、魚眼レンズが採用された第１カメラ１１によって生成されたものである。そのため、図８に示すように、基準画像４０では、水平方向に対応する方向及び鉛直方向に対応する方向は、曲線に沿う。

図８では、８つの集約方向ｒすなわち集約方向ｒ_１，ｒ_２，ｒ_３，ｒ_４，ｒ_５，ｒ_６，ｒ_７，ｒ_８が設定される。集約方向ｒ_１～ｒ_８は、ベクトルｖ１，ｖ２，ｖ３，ｖ４に基づいて設定される。

ベクトルｖ１，ｖ３は、注目画素Ｐ４０Ａに向かうベクトルであって、基準画像４０における水平方向に沿うベクトルである。ベクトルｖ１の向きとベクトルｖ３の向きとは、逆である。図８では、ベクトルｖ１は、基準画像４０の左側の端部から注目画素Ｐ４０Ａに向かう。ベクトルｖ３は、基準画像４０の右側の端部から注目画素Ｐ４０Ａに向かう。

ベクトルｖ２，ｖ４は、注目画素Ｐ４０Ａに向かうベクトルであって、基準画像４０における鉛直方向に沿うベクトルである。ベクトルｖ２の向きとベクトルｖ４の向きとは、逆である。図８では、ベクトルｖ２は、基準画像４０の上側の端部から注目画素Ｐ４０Ａに向かう。ベクトルｖ４は、基準画像４０の下側の端部から注目画素Ｐ４０Ａに向かう。

集約方向ｒ_１は、注目画素Ｐ４０Ａに向かう方向であって、ベクトルｖ１に沿う方向である。集約方向ｒ_２は、注目画素Ｐ４０Ａに向かう方向であって、ベクトルｖ１とベクトルｖ２とを合わせた方向である。集約方向ｒ_３は、注目画素Ｐ４０Ａに向かう方向であって、ベクトルｖ２に沿う方向である。集約方向ｒ_４は、注目画素Ｐ４０Ａに向かう方向であって、ベクトルｖ２とベクトルｖ３とを合わせた方向である。集約方向ｒ_５は、注目画素Ｐ４０Ａに向かう方向であって、ベクトルｖ３に沿う方向である。集約方向ｒ_６は、注目画素Ｐ４０Ａに向かう方向であって、ベクトルｖ３とベクトルｖ４とを合わせた方向である。集約方向ｒ_７は、注目画素Ｐ４０Ａに向かう方向であって、ベクトルｖ４に沿う方向である。集約方向ｒ_８は、注目画素Ｐ４０Ａに向かう方向であって、ベクトルｖ１とベクトルｖ４とを合わせた方向である。

集約方向ｒの数は、図８に示すような８つの集約方向ｒ_１～ｒ_８に限定されない。例えば、８つよりも少ない集約方向ｒが設定されてもよいし、８つよりも多い集約方向ｒが設定されてもよい。

＜補間処理の他の例＞
以下、第１距離ｄ１_ｑが対応付けられた基準画素Ｐ４０は、「第１基準画素Ｐ４０ａ」とも記載される。第２距離ｄ２_ｑが対応付けられた基準画素Ｐ４０は、「第２基準画素Ｐ４０ｂ」とも記載される。以下、補間処理の他の例について説明する。

制御部２４は、基準画像４０において、周囲を第１基準画素Ｐ４０ａで囲まれた第２基準画素Ｐ４０ｂが存在するか否かを判定する。制御部２４は、任意のクラスタリング処理を実行することにより、周囲を第１基準画素Ｐ４０ａで囲まれた第２基準画素Ｐ４０ｂを検出し、周囲を第１基準画素Ｐ４０ａで囲まれた第２基準画素Ｐ４０ｂが存在するか否かを判定してよい。制御部２４は、周囲を第１基準画素Ｐ４０ａで囲まれた第２基準画素Ｐ４０ｂが存在すると判定した場合、その第２基準画素Ｐ４０ｂに対応付けられた第２距離ｄ２_ｑを誤検出と判定する。制御部２４は、第２基準画素Ｐ４０ｂに対応付けられた第２距離ｄ２_ｑを誤検出と判定した場合、第２基準画素Ｐ４０ｂを囲む第１基準画素Ｐ４０ａによって、第２基準画素Ｐ４０ｂに含まれる被写体までの距離を補間する。一例として、制御部２４は、第２基準画素Ｐ４０ｂを囲む第１基準画素Ｐ４０ａに対応付けられた第１距離ｄ１_ｑの平均値又は中央値を、当該第２基準画素Ｐ４０ｂに含まれる被写体までの距離の補間値として取得する。制御部２４は、取得した補間値を当該第２基準画素Ｐ４０ｂに対応付けてよい。

制御部２４は、基準画像４０において、周囲を第２基準画素Ｐ４０ｂで囲まれた第１基準画素Ｐ４０ａが存在するか否かを判定する。制御部２４は、任意のクラスタリング処理を実行することにより、周囲を第２基準画素Ｐ４０ｂで囲まれた第１基準画素Ｐ４０ａを検出し、周囲を第２基準画素Ｐ４０ｂで囲まれた第１基準画素Ｐ４０ａが存在するか否かを判定してよい。制御部２４は、周囲を第２基準画素Ｐ４０ｂで囲まれた第１基準画素Ｐ４０ａが存在すると判定した場合、その第１基準画素Ｐ４０ａに対応付けられた第１距離ｄ１_ｑを誤検出と判定する。制御部２４は、第１基準画素Ｐ４０ａに対応付けられた第１距離ｄ１_ｑを誤検出と判定した場合、第１基準画素Ｐ４０ａを囲む第２基準画素Ｐ４０ｂによって、第１基準画素Ｐ４０ａに含まれる被写体までの距離を補間する。一例として、制御部２４は、第１基準画素Ｐ４０ａを囲む第２基準画素Ｐ４０ｂに対応付けられた第２距離ｄ２_ｑの平均値又は中央値を、当該第１基準画素Ｐ４０ａに含まれる被写体までの距離の補間値として取得する。制御部２４は、取得した補間値を当該第１基準画素Ｐ４０ａに対応付けてよい。

図９には、基準画像４０ｃを示す。基準画像４０ｃにおいて、色が濃い部分は、第１基準画素Ｐ４０ａに対応する。色が薄い部分は、第２基準画素Ｐ４０ｂに対応する。白い部分は、第１距離ｄ１_ｑ及び第２距離ｄ２_ｑの何れも対応付けられていない基準画素Ｐ４０である。

図９に示すような第１基準画素Ｐ４０ａ１及び第２基準画素Ｐ４０ｂ１は、被写体の正面に対応する。この被写体の正面は、平面である。制御部２４は、周囲を第１基準画素Ｐ４０ａ１で囲まれた第２基準画素Ｐ４０ｂ１が存在すると判定し、第２基準画素Ｐ４０ｂ１に対応付けられた第２距離ｄ２_ｑを誤検出と判定する。制御部２４は、第１基準画素Ｐ４０ａ１に対応付けられた第１距離ｄ１_ｑの平均値又は中央値を、第２基準画素Ｐ４０ｂ１に含まれる被写体までの距離の補間値として取得する。ここで、第１基準画素Ｐ４０ａ１及び第２基準画素Ｐ４０ｂ１に対応する被写体の正面は、第１仮想平面Ｖ１_ｑに平行な面である。被写体の正面が第１仮想平面Ｖ１_ｑに平行な面であることにより、図５を参照した上記説明から分かるように、被写体の正面までの距離は、第１取得処理によって精度良く取得され得る。しかしながら、この被写体の正面が第２仮想平面Ｖ２_ｑに垂直であることにより、この被写体の正面までの距離を第２取得処理によって精度良く取得できない場合がある。そこで、制御部２４は、周囲を第１基準画素Ｐ４０ａで囲まれた第２基準画素Ｐ４０ｂが存在する場合、その第２基準画素Ｐ４０ｂに対応付けられた第２距離ｄ２_ｑを誤検出と判定する。このような構成により、被写体までの距離を精度良く取得することができる。

図９に示すような第１基準画素Ｐ４０ａ２及び第２基準画素Ｐ４０ｂ２は、被写体の上面に対応する。この被写体の上面は、平面である。制御部２４は、周囲を第２基準画素Ｐ４０ｂ２で囲まれた第１基準画素Ｐ４０ａ２が存在すると判定し、第１基準画素Ｐ４０ａ２に対応付けられた第１距離ｄ１_ｑを誤検出と判定する。制御部２４は、第２基準画素Ｐ４０ｂ２に対応付けられた第２距離ｄ２_ｑの平均値又は中央値を、第１基準画素Ｐ４０ａ２に含まれる被写体までの距離の補間値として取得する。ここで、第１基準画素Ｐ４０ａ２及び第２基準画素Ｐ４０ｂ２に対応する被写体の上面は、第２仮想平面Ｖ２_ｑに平行な面である。被写体の上面が第２仮想平面Ｖ２_ｑに平行な面であることにより、図７を参照した上記説明から分かるように、被写体の上面までの距離は、第２取得処理によって精度良く取得され得る。しかしながら、この被写体の上面が第１仮想平面Ｖ１_ｑに垂直であることにより、この被写体の上面までの距離を第１取得処理によって精度良く取得できない場合がある。そこで、制御部２４は、周囲を第２基準画素Ｐ４０ｂで囲まれた第１基準画素Ｐ４０ａが存在する場合、その第１基準画素Ｐ４０ａに対応付けられた第１距離ｄ１_ｑを誤検出と判定する。このような構成により、被写体までの距離を精度良く取得することができる。

＜補間処理のさらに他の例＞
補間処理のさらに他の例として、制御部２４は、クラスタリング処理を実行することにより、基準画像４０を複数の領域に分割してよい。例えば、制御部２４は、特徴が類似する基準画素Ｐ４０をグルーピングして１つにまとめることにより、基準画像４０を複数の領域に分割してよい。制御部２４は、同じ領域に含まれる複数の基準画素Ｐ４０に対応付けられた設定距離ｄ３_ｋにおいて、補間処理を実行してもよい。以下、補間処理のさらに他の例について説明する。

制御部２４は、基準画像４０に対してスーパーピクセル処理を実行することにより、基準画像４０を複数の領域に分割する。スーパーピクセル処理は、画像において特徴が類似する画素をグルーピングして１つのスーパーピクセルにする処理である。スーパーピクセルは、特徴が類似する基準画素Ｐ４０が連続して並ぶ領域となる。

例えば、図１０には、基準画像４０ｄを示す。制御部２４は、基準画像４０ｄを複数の領域４０ｓに分割する。

制御部２４は、同じ領域に含まれる複数の基準画素Ｐ４０に対応付けられた設定距離ｄ３_ｋにおいて、外れ値となる設定距離ｄ３_ｋを検出する。制御部２４は、外れ値となる設定距離ｄ３_ｋを検出した場合、その外れ値を除去する。一例として、制御部２４は、ＲＡＮＳＡＣ（Random Sampling Consensus）等の任意のアルゴリズムによって、同じ領域に含まれる複数の基準画素Ｐ４０に対応付けられた設定距離ｄ３_ｋにおいて、外れ値となる設定距離ｄ３_ｋを検出して除去してよい。制御部２４は、外れ値を除去した場合、外れ値となる設定距離ｄ３_ｋ以外の他の設定距離ｄ３_ｋによって、外れ値が対応付けられていた基準画素Ｐ４０に含まれる被写体までの距離を補間する。例えば、制御部２４は、他の設定距離ｄ３_ｋの平均値又は中央値を、外れ値が対応付けられていた基準画素Ｐ４０に含まれる被写体までの距離の補間値として取得する。制御部２４は、取得した補間値を、外れ値が対応付けられていた基準画素Ｐ４０に対応付けてよい。

＜補間処理のさらに他の例＞
補間処理のさらに他の例として、制御部２４は、同じ座標ｐの基準画素Ｐ４０について、パラメータｋが異なる複数のコスト値Ｃ（ｐ，ｋ）にモデル関数をフィッティングすることにより、複数のコスト値Ｃ（ｐ，ｋ）の相関を示す相関関数を作成してよい。制御部２４は、相関関数によって最小値となるコスト値Ｃ（ｐ，ｋ）を特定することにより、座標ｐの基準画素Ｐ４０に含まれる被写体までの距離を補間することができる。モデル関数は、例えば、折れ線関数、放物線関数、又は、折れ線及び放物線を組み合わせた関数である。

本実施形態では、制御部２４は、基準画素Ｐ４０についての複数の第１コスト値Ｃ_１（ｐ，ｑ）及び複数の第２コスト値Ｃ_２（ｐ，ｑ）のうちの一方を他方によって補間した複数のコスト値Ｃ（ｐ，ｋ）によって相関関数を作成してよい。以下、この処理について説明する。以下では、制御部２４は、第１コスト値Ｃ_１（ｐ，ｑ）を第２コスト値Ｃ_２（ｐ，ｑ）によって補間した複数のコスト値Ｃ（ｐ，ｋ）によって相関関数を作成するものとする。ただし、制御部２４は、以下の処理と同じ又は類似の処理を実行することにより、第２コスト値Ｃ_２（ｐ，ｑ）を第１コスト値Ｃ_１（ｐ，ｑ）によって補間した複数のコスト値Ｃ（ｐ，ｋ）によって相関関数を作成してもよい。以下では、被写体までの距離を補間する対象の基準画素Ｐ４０は、「基準画素Ｐ４０Ｂ」とも記載される。基準画素Ｐ４０Ｂの座標は、座標ｐＢである。

制御部２４は、第１取得処理にて上述したように、パラメータｑを１からｍ１まで変化させながら、基準画素Ｐ４０Ｂについての複数の第１コスト値Ｃ_１（ｐＢ，ｑ）を算出する。制御部２４は、第２取得処理にて上述したように、パラメータｑを１からｍ２まで変化させながら、基準画素Ｐ４０Ｂについての複数の第２コスト値Ｃ_２（ｐＢ，ｑ）を算出する。

制御部２４は、第１コスト値Ｃ_１（ｐＢ，ｑ）に対する第１距離ｄ１_ｑにおいて、第１コスト値Ｃ_１（ｐＢ，ｑ）が極値となる第１距離ｄ１_ｑを特定する。本実施形態では、制御部２４は、第１コスト値Ｃ_１（ｐＢ，ｑ）が極小値となる第１距離ｄ１_ｑを特定する。例えば、図１１の左側に、第１距離ｄ１_ｑに対する第１コスト値Ｃ_１（ｐＢ，ｑ）のグラフＧ１を示す。グラフＧ１の横軸は、第１距離ｄ１_ｑに対応する。グラフＧ１の縦軸は、第１コスト値Ｃ_１（ｐＢ，ｑ）に対応する。プロットｐｔ１，ｐｔ２，ｐｔ３，ｐｔ４，ｐｔ５は、それぞれ、第１距離ｄ１_ｑに対する第１コスト値Ｃ_１（ｐＢ，ｑ）を示す。グラフＧ１では、制御部２４は、プロットｐｔ３の距離ｄ_Ｂ１を第１コスト値Ｃ_１（ｐＢ，ｑ）が極小値となる第１距離ｄ１_ｑとして特定する。

制御部２４は、第１コスト値Ｃ_１（ｐＢ，ｑ）が極値となる第１距離ｄ１_ｑを特定すると、特定した第１距離ｄ１_ｑを含む設定距離範囲を設定する。この設定距離範囲は、適用されるモデル関数に基づいて設定されてよい。図１１に示すようなグラフＧ１では、制御部２４は、距離ｄ_Ｂ１を含む設定距離範囲ｓ１を設定する。

制御部２４は、第１距離ｄ１_ｑを含む設定距離範囲を設定すると、複数の第２コスト値Ｃ_２（ｐＢ，ｑ）のうちで、その第２コスト値Ｃ_２（ｐＢ，ｑ）に対応する第２距離ｄ２_ｑが設定距離範囲内になる第２コスト値Ｃ_２（ｐＢ，ｑ）を取得する。例えば、図１１の右側に、グラフＧ２を示す。グラフＧ２の横軸は、第２距離ｄ２_ｑに対応する。グラフＧ２の縦軸は、第２コスト値Ｃ_２（ｐＢ，ｑ）に対応する。プロットｐｔ６，ｐｔ７，ｐｔ８は、それぞれ、第２距離ｄ２_ｑに対する第２コスト値Ｃ_２（ｐＢ，ｑ）を示す。グラフＧ２では、制御部２４は、その第２コスト値Ｃ_２（ｐＢ，ｑ）に対応する第２距離ｄ２_ｑが設定距離範囲ｓ１内になる第２コスト値Ｃ_２（ｐＢ，ｑ）として、プロットｐｔ７を取得する。

制御部２４は、複数の第１コスト値Ｃ_１（ｐＢ，ｑ）と、対応する第２距離ｄ２_ｑが設定距離範囲内になる第２コスト値Ｃ_２（ｐＢ，ｑ）とを含む複数のコスト値Ｃ（ｐＢ，ｑ）にモデル関数をフィッティングする。制御部２４は、当該複数のコスト値Ｃ（ｐＢ，ｑ）にモデル関数をフィッティングすることにより、当該複数のコスト値Ｃ（ｐＢ，ｑ）の相関を示す相関関数を作成する。図１１に示すようなグラフＧ１では、制御部２４は、プロットｐｔ１～ｐｔ５，ｐｔ７にモデル関数をフィッティングすることにより、相関関数Ｆ１を作成する。

制御部２４は、作成した相関関数に基づいて、基準画素Ｐ４０Ｂに含まれる被写体までの距離を補間する。例えば、制御部２４は、作成した相関関数が極値となる第１距離ｄ１_ｑを特定する。制御部２４は、特定した第１距離ｄ１_ｑを、基準画素Ｐ４０Ｂに含まれる被写体までの距離の補間値として取得する。制御部２４は、特定した第１距離ｄ１_ｑを、基準画素Ｐ４０Ｂに対応付けてよい。図１１では、制御部２４は、相関関数Ｆ１が極小値となる距離ｄ_Ｂ２を、基準画素Ｐ４０Ｂに含まれる被写体までの距離の補間値として取得する。

（ステレオカメラ装置の動作）
図１２は、本開示の一実施形態に係る画像処理方法の手順を示すフローチャートである。画像処理装置２０が図１２に示すような画像処理方法を実行する。制御部２４は、ステレオカメラ１０が撮像を開始すると、ステップＳ１の処理を実行する。

制御部２４は、基準画像及び参照画像のデータを取得部２１によって取得する（ステップＳ１）。制御部２４は、基準画像及び参照画像に対して歪み補正処理を実行する（ステップＳ２）。上述したように、歪み補正処理等を実行した後の基準画像は、「基準画像４０」とも記載される。また、歪み補正処理等を実行した後の参照画像は、「参照画像４１」とも記載される。

制御部２４は、第１距離ｄ１_ｑを変化させていきながら参照画像４１を第１仮想平面Ｖ１_ｑに射影変換することにより、複数の第１仮想画像４２_ｑのデータを取得する（ステップＳ３）。制御部２４は、基準画像４０と複数の第１仮想画像４２_ｑとを用いたマッチング処理を実行する（ステップＳ４）。

制御部２４は、第２距離ｄ２_ｑを変化させていきながら参照画像４１を第２仮想平面Ｖ２_ｑに射影変換することにより、複数の第２仮想画像４３_ｑのデータを取得する（ステップＳ５）。制御部２４は、基準画像４０と複数の第２仮想画像４３_ｑとを用いたマッチング処理を実行する（ステップＳ６）。

制御部２４は、ステップＳ４の処理で取得されたデータと、ステップＳ６の処理で取得されたデータとを用いて、補間処理を実行する（ステップＳ７）。

このように本実施形態に係る画像処理装置２０では、制御部２４は、設定距離ｄ３_ｋを変化させていきながら参照画像４１を複数の仮想平面Ｖ３_ｋに射影変換して複数の仮想画像４４_ｋのデータを取得する。制御部２４は、基準画像４０における被写体の位置と複数の仮想画像４４_ｋのそれぞれにおける被写体の位置とを比較した結果に基づいて、基準位置から被写体までの距離を取得する。制御部２４は、複数の仮想画像４４_ｋのデータを取得することにより、同じ座標ｐの基準画素Ｐ４０についてパラメータｋが異なる複数のコスト値Ｃ（ｐ，ｋ）を算出することができる。このような複数のコスト値Ｃ（ｐ，ｋ）を算出することにより、制御部２４は、図８又は図１１を参照して上述したような補間処理を実行することができる。また、制御部２４は、取得した被写体までの距離を用いて、図９又は図１０を参照して上述したような補間処理を実行することができる。制御部２４は、補間処理を実行することにより、複数の仮想平面Ｖ３_ｋの数を増加させることなく、被写体までの距離を精度良く取得することができる。よって、本実施形態によれば、被写体までの距離をより精度良く測定することができる技術を提供することができる。

さらに、本実施形態では、複数の仮想平面Ｖ３_ｋのそれぞれの間隔は、不等間隔であってもよい。上述したように、複数の仮想平面Ｖ３_ｋのそれぞれの間隔は、基準位置から近いほど狭い間隔であってよい。また、複数の仮想平面Ｖ３_ｋのそれぞれの間隔は、基準位置から遠いほど、広い間隔であってよい。このような構成により、被写体までの距離を精度良く取得することができる。

また、本実施形態では、複数の仮想平面Ｖ３_ｋは、複数の第１仮想平面Ｖ１_ｑ及び複数の第２仮想平面Ｖ２_ｑの両方を含んでもよい。ここで、上述したように、参照画像４１を第１仮想平面Ｖ１_ｑに射影変換して第１仮想画像４２_ｑを取得する処理は、プレーンスイープ法による処理とも言える。複数の仮想平面Ｖ３_ｋが複数の第１仮想平面Ｖ１_ｑ及び複数の第２仮想平面Ｖ２_ｑの両方を含むことにより、制御部２４は、プレーンスイープ法による処理に加えて、第２仮想画像４３_ｑを取得する処理を実行することができる。このような構成により、以下に説明するように、被写体までの距離をより精度良く測定することができる。

第１比較例として、複数の仮想平面Ｖ３_ｋが複数の第１仮想平面Ｖ１_ｑのみを含む場合を考える。つまり、第１比較例として、制御部２４が、プレーンスイープ法による処理のみを実行し、被写体までの距離を取得することを考える。第１比較例において、制御部２４は、図７に示すような第２被写体ｏｂ２までの距離を取得する場合、参照画像４１ｂを第１仮想平面Ｖ１_ｑに射影変換して第１仮想画像４２_ｑを取得する。ここで、第２被写体оｂ２は、第１仮想平面Ｖ１_ｑに平行な面を含まない。つまり、第２被写体оｂ２の何れの面の法線方向も、第１仮想平面Ｖ１_ｑの法線方向すなわち第１方向Ｄ１と一致しない。そのため、第１方向Ｄ１の第１距離ｄ１_ｑを変化させながら複数の第１仮想画像４２_ｑを取得しても、複数の第１仮想画像４２_ｑのそれぞれにおける第２被写体оｂ２の位置は、第１距離ｄ１_ｑに応じて変化しない。複数の第１仮想画像４２_ｑのそれぞれにおける第２被写体оｂ２の位置が第１距離ｄ１_ｑに応じて変化しないことにより、第１仮想画像４２_ｑによって基準位置から第２被写体оｂ２までの距離を取得することができない。

このような第１比較例に対し、本実施形態では、制御部２４は、第２方向Ｄ２と法線方向が一致する第２仮想平面Ｖ２_ｑに参照画像４１を射影変換して第２仮想画像４３_ｑを取得する。このような構成により、制御部２４は、第１仮想平面Ｖ１_ｑに平行な面を含まない第２被写体についても、第２仮想画像４３_ｑによって基準位置から第２被写体までの距離を取得することができる。よって、本実施形態によれば、被写体までの距離をより精度良く測定することができる。また、上述したように、第２被写体の例として、路面の凹凸が挙げられる。つまり、本実施形態では、路面の凹凸までの距離を算出することができるため、路面形状をより高精度に検出することができる。

第２比較例として、魚眼レンズによって撮像された基準画像及び参照画像によって被写体までの距離を測定することを考える。図１３に、魚眼レンズによって撮像された画像４０Ｘを説明するための図を示す。画像４０Ｘにおける実線は、路面からの高さが同じになる地点を結んだ線である。画像４０Ｘは、領域Ｒ１，Ｒ２を含む。領域Ｒ１では、領域Ｒ２と比較して実線の間隔が広い。領域Ｒ１では、実線の間隔が広いため、画像４０Ｘに対して歪み補正を実行した場合、路面からの高さが異なる地点は、異なる画素に対応する。しかしながら、領域Ｒ２では、実線の間隔が狭いため、画像４０Ｘに対して歪み補正を実行した場合、路面からの高さが異なる地点が、同じ画素に対応し得る。領域Ｒ２では、路面からの高さが異なる地点が同じ画素に対応するため、画像４０Ｘのような基準画像及び参照画像にプレーンスイープ法を適用しても、被写体までの距離を取得できない場合がある。

本実施形態では、制御部２４は、プレーンスイープ法による処理に加えてすなわち第１仮想画像４２_ｑを取得する処理に加えて、参照画像４１を第２仮想平面Ｖ２_ｑに射影変換して第２仮想画像４３_ｑを取得することができる。制御部２４は、参照画像４１を第２仮想画像４３_ｑに変換することにより、領域Ｒ２に含まれる被写体までの距離を取得することができる。つまり、本実施形態では、第１カメラ１１及び第２カメラ１２の光学系に魚眼レンズを採用しても、被写体までの距離を取得することができる。本実施形態では、第１カメラ１１及び第２カメラ１２の光学系に魚眼レンズを採用することにより、より広い領域に存在する被写体の距離を取得することができる。

また、本実施形態では、制御部２４は、動的計画法に基づいてコスト値Ｃ（ｐ，ｋ）を基準画像４０における集約方向ｒに沿って集約することにより、注目画素Ｐ４０Ａに含まれる被写体までの距離を取得してもよい。集約方向ｒは、図８を参照して上述したように、基準画像４０における水平方向に対応するベクトル及び鉛直方向に対応するベクトルに基づいて設定されてもよい。ここで、一般的なＳＧＭ法では、集約方向ｒは、注目画素Ｐ４０Ａを中心とし、それぞれの角度が４５度ずつずれた８つの直線に沿う方向によって設定される。第１カメラ１１及び第２カメラ１２の光学系に魚眼レンズが採用される場合、図８に示すように基準画像４０における水平方向に対応する方向及び鉛直方向に対応する方向は、曲線に沿う方向となる。そのため、一般的なＳＧＭ法のように集約方向ｒを直線に沿う方向として設定すると、コスト値Ｃ（ｐ，ｋ）を集約して被写体までの距離を精度良く取得できない場合がある。集約方向ｒが基準画像４０における水平方向及び鉛直方向のそれぞれに対応するベクトルに基づいて設定されることにより、第１カメラ１１及び第２カメラ１２の光学系に魚眼レンズを採用しても、被写体までの距離を精度良く取得することができる。

また、本実施形態では、制御部２４は、基準画像４０において、周囲を第１基準画素Ｐ４０ａで囲まれた第２基準画素Ｐ４０ｂが存在するか否かを判定してもよい。制御部２４は、周囲を第１基準画素Ｐ４０ａで囲まれた第２基準画素Ｐ４０ｂが存在すると判定した場合、当該第２基準画素Ｐ４０ｂに含まれる被写体までの距離を、当該第２基準画素を囲む第１基準画素Ｐ４０ａによって補間してもよい。上述したように、図９に示すような第１基準画素Ｐ４０ａ１及び第２基準画素Ｐ４０ｂ１に対応する被写体の正面までの距離は、第１取得処理によって精度良く取得され得る。しかしながら、この被写体の正面が第２仮想平面Ｖ２_ｑに垂直であることにより、この被写体の正面までの距離を第２取得処理によって精度良く取得できない場合がある。そこで、制御部２４は、周囲を第１基準画素Ｐ４０ａで囲まれた第２基準画素Ｐ４０ｂが存在する場合、その第２基準画素Ｐ４０ｂに含まれる被写体までの距離を、第２基準画素Ｐ４０ｂを囲む第１基準画素Ｐ４０ａによって補間する。このような構成により、被写体までの距離を精度良く取得することができる。

また、本実施形態では、制御部２４は、基準画像４０において、周囲を第２基準画素Ｐ４０ｂで囲まれた第１基準画素Ｐ４０ａが存在するか否かを判定してもよい。制御部２４は、周囲を第２基準画素Ｐ４０ｂで囲まれた第１基準画素Ｐ４０ａが存在すると判定した場合、当該第１基準画素Ｐ４０ａに含まれる被写体までの距離を、当該第１基準画素Ｐ４０ａを囲む第２基準画素Ｐ４０ｂによって補間してもよい。上述したように、図９に示すような第１基準画素Ｐ４０ａ２及び第２基準画素Ｐ４０ｂ２に対応する被写体の上面までの距離は、第２取得処理によって精度良く取得され得る。しかしながら、この被写体の上面が第１仮想平面Ｖ１_ｑに垂直であることにより、この被写体の上面までの距離を第１取得処理によって精度良く取得できない場合がある。そこで、制御部２４は、周囲を第２基準画素Ｐ４０ｂで囲まれた第１基準画素Ｐ４０ａが存在する場合、第１基準画素Ｐ４０ａに含まれる被写体までの距離を、当該第１基準画素Ｐ４０ａを囲む第２基準画素Ｐ４０ｂによって補間する。このような構成により、被写体までの距離を精度良く取得することができる。

また、本実施形態では、制御部２４は、基準画像４０を、類似する特徴を有する複数の基準画素Ｐ４０を含む領域に分割してもよい。制御部２４は、同じ領域に含まれる複数の基準画素Ｐ４０に対応付けられた設定距離において、補間処理を実行してもよい。類似する特徴を有する複数の基準画素Ｐ４０を含む領域を用いて補間処理を実行することにより、補間処理を効率良く実行することができる。

また、本実施形態では、制御部２４は、同じ領域に含まれる複数の基準画素Ｐ４０に対応付けられた設定距離ｄ３_ｋにおいて、外れ値となる設定距離ｄ３_ｋを検出してもよい。制御部２４は、外れ値となる設定距離ｄ３_ｋを検出した場合、その外れ値を除去してよい。制御部２４は、外れ値を除去した場合、外れ値となる設定距離ｄ３_ｋ以外の他の設定距離ｄ３_ｋによって、外れ値が対応付けられていた基準画素Ｐ４０に含まれる被写体までの距離を補間してもよい。外れ値となる設定距離ｄ３_ｋを除去することにより、取得される被写体までの距離は、信頼性の高いものとなる。また、外れ値が対応付けられていた基準画素Ｐ４０に含まれる被写体までの距離を補間することにより、より多くの被写体までの距離を取得することができる。

また、本実施形態では、制御部２４は、第１コスト値Ｃ_１（ｐ，ｑ）及び第２コスト値Ｃ_２（ｐ，ｑ）のうちの一方を他方によって補間した複数のコスト値Ｃ（ｐ，ｋ）によって、相関関数を作成してもよい。制御部２４は、相関関数に基づいて、基準画素Ｐ４０に含まれる被写体までの距離を補間してもよい。第１コスト値Ｃ_１（ｐ，ｑ）及び第２コスト値Ｃ_２（ｐ，ｑ）のうちの一方を他方によって補間した複数のコスト値Ｃ（ｐ，ｋ）を用いることにより、制御部２４は、多くのコスト値Ｃ（ｐ，ｋ）を用いて相関関数を作成することができる。このような構成により、相関関数に基づいて、基準画素Ｐ４０に含まれる被写体までの距離を精度良く補間することができる。

一実施形態において、（１）画像処理装置は、
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得する取得部と、
前記参照画像を複数の仮想平面に射影変換して複数の仮想画像を取得し、前記基準画像における被写体の位置と前記複数の仮想画像のそれぞれにおける前記被写体の位置とを比較した結果に基づいて、前記基準位置から前記被写体までの距離を取得する制御部と、備え、
前記仮想平面は、前記仮想平面の法線方向に沿って前記基準位置から設定距離離れて位置し、
前記複数の仮想平面のそれぞれの前記設定距離は、異なる。

（２）上記（１）の画像処理装置では、
前記基準画像及び前記参照画像は、広角レンズによって撮像された画像であってもよい。

（３）上記（１）又は（２）に記載の画像処理装置では、
前記複数の仮想平面のそれぞれの間隔は、不等間隔であってもよい。

（４）上記（１）から（３）までの何れか１つに記載の画像処理装置では、
前記複数の仮想平面のそれぞれの間隔は、等間隔であってもよい。

（５）上記（１）から（４）までの何れか１つに記載の画像処理装置では、
前記基準画像は、複数の基準画素を含み、
前記仮想画像は、複数の仮想画素を含み、
前記制御部は、
前記基準画像における被写体の位置と前記複数の仮想画像のそれぞれにおける前記被写体の位置との比較として、同じ座標の前記基準画素に含まれる前記被写体と前記複数の仮想画素のそれぞれに含まれる前記被写体との類似度をそれぞれ示す複数のコスト値を算出し、
動的計画法に基づいて前記コスト値を前記基準画像における集約方向に沿って集約することにより、前記基準画素の１つである注目画素に含まれる前記被写体までの距離を補間し、
前記集約方向は、前記基準画像における水平方向に沿うベクトル及び鉛直方向に沿うベクトルに基づいて設定されてもよい。

（６）上記（１）から（５）までの何れか１つに記載の画像処理装置では、
前記複数の仮想平面は、複数の第１仮想平面及び複数の第２仮想平面の両方を含み、
前記第１仮想平面の法線方向は、前記基準位置で前記基準画像を生成したカメラの光軸方向である第１方向に一致し、
前記第１仮想平面は、前記第１方向に沿って前記基準位置から第１距離離れて位置し、
前記第２仮想平面の法線方向は、前記第１方向とは異なる第２方向に一致し、
前記第２仮想平面は、前記第２方向に沿って前記基準位置から第２距離離れて位置してもよい。

（７）上記（１）から（６）までの何れか１つに記載の画像処理装置では、
前記基準画像は、複数の基準画素を含み、
前記制御部は、
前記参照画像を前記複数の第１仮想平面に射影変換して複数の第１仮想画像を取得し、前記第１仮想画像は、複数の第１仮想画素を含み、
前記参照画像を前記複数の第２仮想平面に射影変換して複数の第２仮想画像を取得し、前記第２仮想画像は、複数の第２仮想画素を含み、
前記制御部は、
前記基準画像における被写体の位置と前記複数の第１仮想画像のそれぞれにおける前記被写体の位置との比較として、同じ座標の前記基準画素に含まれる前記被写体と前記複数の第１仮想画素のそれぞれに含まれる前記被写体との類似度をそれぞれ示す複数の第１コスト値を算出し、
前記複数の第１コスト値に基づいて前記基準画素に前記第１距離を対応付け、
前記基準画像における前記被写体の位置と前記複数の第２仮想画像のそれぞれにおける前記被写体の位置との比較として、同じ座標の前記基準画素に含まれる前記被写体と前記複数の第２仮想画素のそれぞれに含まれる前記被写体との類似度をそれぞれ示す複数の第２コスト値を算出し、
前記複数の第２コスト値に基づいて前記基準画素に前記第２距離を対応付けてもよい。

（８）上記（１）から（７）までの何れか１つに記載の画像処理装置では、
前記第１距離が対応付けられた前記基準画素は、第１基準画素であり、
前記第２距離が対応付けられた前記基準画素は、第２基準画素であり、
前記制御部は、前記基準画像において、周囲を前記第１基準画素で囲まれた前記第２基準画素が存在すると判定した場合、周囲を前記第１基準画素で囲まれた前記第２基準画素に含まれる前記被写体までの距離を、前記第２基準画素を囲む第１基準画素によって補間してもよい。

（９）上記（１）から（８）までの何れか１つに記載の画像処理装置では、
前記第１距離が対応付けられた前記基準画素は、第１基準画素であり、
前記第２距離が対応付けられた前記基準画素は、第２基準画素であり、
前記制御部は、前記基準画像において、周囲を前記第２基準画素で囲まれた前記第１基準画素が存在すると判定した場合、周囲を前記第２基準画素で囲まれた前記第１基準画素に含まれる前記被写体までの距離を、前記第１基準画素を囲む第２基準画素によって補間してもよい。

（１０）上記（１）から（９）までの何れか１つに記載の画像処理装置では、
前記制御部は、
前記基準画像を、類似する特徴を有する複数の基準画素を含む領域に分割し、
同じ前記領域に含まれる複数の前記基準画素に対応付けられた前記設定距離において、補間処理を実行してもよい。

（１１）上記（１）から（１０）までの何れか１つに記載の画像処理装置では、
前記制御部は、前記同じ領域に含まれる複数の前記基準画素に対応付けられた設定距離において、外れ値となる前記設定距離を検出した場合、前記外れ値を除去し、前記外れ値となる設定距離以外の他の前記設定距離によって、前記外れ値が対応付けられていた前記基準画素に含まれる前記被写体までの距離を補間してもよい。

（１２）上記（１）から（１１）までの何れか１つに記載の画像処理装置では、
前記制御部は、
前記複数の第１コスト値及び前記複数の第２コスト値のうちの一方を他方によって補間した複数のコスト値によって、前記複数のコスト値の相関を示す相関関数を作成し、
前記相関関数に基づいて、前記基準画素に含まれる前記被写体までの距離を補間してもよい。

（１３）上記（１）から（１２）までの何れか１つに記載の画像処理装置では、
前記制御部は、
第１コスト値に対する前記第１距離において、前記第１コスト値が極値となる前記第１距離を特定し、設定距離範囲は、特定した前記第１距離を含む距離範囲であり、
前記複数の前記第２コスト値のうちで、対応する前記第２距離が前記設定距離範囲内になる前記第２コスト値を取得し、
複数の前記第１コスト値及び取得した前記第２コスト値にモデル関数をフィッティングすることにより、前記相関関数を作成してもよい。

一実施形態において、（１４）ステレオカメラ装置は、
基準位置で撮像により基準画像を生成し、前記基準画像とは異なる位置で撮像により参照画像を生成するステレオカメラと、
前記参照画像を複数の仮想平面に射影変換して複数の仮想画像を取得し、前記基準画像における被写体の位置と前記複数の仮想画像のそれぞれにおける前記被写体の位置とを比較した結果に基づいて、前記基準位置から前記被写体までの距離を取得する画像処理装置と、を備え、
前記仮想平面は、前記仮想平面の法線方向に沿って前記基準位置から設定距離離れて位置し、
前記複数の仮想平面のそれぞれの前記設定距離は、異なる。

一実施形態において、（１５）画像処理方法は、
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得することと、
前記参照画像を複数の仮想平面に射影変換して複数の仮想画像を取得し、前記基準画像における被写体の位置と前記複数の仮想画像のそれぞれにおける前記被写体の位置とを比較した結果に基づいて、前記基準位置から前記被写体までの距離を取得することと、を含み、
前記仮想平面は、前記仮想平面の法線方向に沿って前記基準位置から設定距離離れて位置し、
前記複数の仮想平面のそれぞれの前記設定距離は、異なる。

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各機能部に含まれる機能等は論理的に矛盾しないように再配置可能である。複数の機能部等は、１つに組み合わせられたり、分割されたりしてよい。上述した本開示に係る各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施され得る。つまり、本開示の内容は、当業者であれば本開示に基づき種々の変形及び修正を行うことができる。したがって、これらの変形及び修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段又は各ステップ等は論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段又は各ステップ等と置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段又は各ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。

例えば、上述した実施形態では、画像処理装置２０の制御部２４が基準画像及び参照画像に対して歪み補正処理を実行するものとして説明した。ただし、第１カメラ１１が、生成した基準画像に対して歪み補正処理を実行してもよい。第２カメラ１２が、生成した参照画像に対して歪み補正処理を実行してもよい。第１カメラ１１及び第２カメラ１２は、それぞれ、基準画像及び参照画像に対して、歪み補正処理に加えて、明度調整処理、コントラスト調整処理、ガンマ補正処理等の任意の画像処理を実行してもよい。

例えば、上述した実施形態では、図３に示すように、第１カメラ１１及び第２カメラ１２が移動体３０の左右方向に沿って位置するものとして説明した。ただし、第１カメラ１１及び第２カメラ１２の位置は、これに限定されない。他の例として、第１カメラ１１及び第２カメラ１２は、移動体３０の上下方向に沿って位置してもよい。

例えば、上述した実施形態では、第１カメラ１１が基準画像を生成し、第２カメラ１２が参照画像を生成するものとして説明した。ただし、基準画像及び参照画像は、１つのカメラによって生成されてもよい。この場合、カメラは、移動することにより、基準位置で撮像により基準画像を生成し、基準位置とは異なる位置で撮像により参照画像を生成する。

例えば、上述した実施形態では、第１コスト値Ｃ_１（ｐ，ｑ）が小さいほど、座標ｐの基準画素Ｐ４０に含まれる被写体と、座標ｐの第１仮想画素Ｐ４２_ｑに含まれる被写体との類似度が高いものとして説明した。また、第２コスト値Ｃ_２（ｐ，ｑ）が小さいほど、座標ｐの基準画素Ｐ４０に含まれる被写体と、座標ｐの第２仮想画素Ｐ４３_ｑに含まれる被写体との類似度が高いものとして説明した。ただし、第１コスト値Ｃ_１（ｐ，ｑ）が大きいほど、座標ｐの基準画素Ｐ４０に含まれる被写体と、座標ｐの第１仮想画素Ｐ４２_ｑに含まれる被写体との類似度が高くてもよい。また、第２コスト値Ｃ_２（ｐ，ｑ）が大きいほど、座標ｐの基準画素Ｐ４０に含まれる被写体と、座標ｐの第２仮想画素Ｐ４３_ｑに含まれる被写体との類似度が高くてもよい。この場合、制御部２４は、図１１を参照して上述した補間処理を実行する場合、第１コスト値Ｃ_１（ｐＢ，ｑ）が極値となる第１距離ｄ１_ｑとして、第１コスト値Ｃ_１（ｐＢ，ｑ）が極大値となる第１距離ｄ１_ｑを特定する。また、制御部２４は、作成した相関関数が極大値となる第１距離ｄ１_ｑを特定する。制御部２４は、特定した第１距離ｄ１_ｑを基準画素Ｐ４０Ｂに含まれる被写体までの距離の補間値として取得する。

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１仮想平面は、第２仮想平面と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

１ ステレオカメラ装置
１０ ステレオカメラ
１１ 第１カメラ
１２ 第２カメラ
２０ 画像処理装置
２１ 取得部
２２ 出力部
２３ 記憶部
２４ 制御部
３０ 移動体
４０，４０ａ，４０ｂ，４０ｃ，４０ｄ 基準画像
４０оｂ１，４０оｂ２，４１оｂ１，４１оｂ２ 部分画像
４０Ｘ 画像
４１，４１ａ，４１ｂ 参照画像
４２，４２ａ_１，４２ａ_２，４２ａ_３，４２_ｑ 第１仮想画像
４３，４３ｂ_１，４３ｂ_２，４３ｂ_３，４３_ｑ 第２仮想画像
４４，４４_ｋ 仮想画像
４０ｓ 領域
Ｂ１４０ 基準ブロック
Ｂ２４０ 基準ブロック
Ｂ４２_ｑ 仮想ブロック
Ｂ４３_ｑ 仮想ブロック
Ｄ１ 第１方向
Ｄ２ 第２方向
ＯＸ１，ＯＸ２ 光軸
Ｐ４０，Ｐ４０Ｂ 基準画素
Ｐ４０Ａ 注目画素
Ｐ４０ａ，Ｐ４０ａ１，Ｐ４０ａ２ 第１基準画素
Ｐ４０ｂ，Ｐ４０ｂ１，Ｐ４０ｂ２ 第２基準画素
Ｐ４２_ｑ 第１仮想画素
Ｐ４３_ｑ 第２仮想画素
Ｐ４４_ｋ 仮想画素
ｓ１ 設定距離範囲
Ｒ１，Ｒ２ 領域
Ｖ１，Ｖ１_ｑ 第１仮想平面
Ｖ２，Ｖ２_ｑ 第１仮想平面
Ｖ３，Ｖ３_ｋ 仮想平面
оｂ１ 第１被写体
оｂ２ 第２被写体
ｒ，ｒ１，ｒ２，ｒ３，ｒ４，ｒ５，ｒ６，ｒ７，ｒ８ 集約方向
ｖ１，ｖ２，ｖ３，ｖ４ ベクトル

Claims (15)

1. 基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得する取得部と、
   前記参照画像を複数の仮想平面に射影変換して複数の仮想画像を取得し、前記基準画像における被写体の位置と前記複数の仮想画像のそれぞれにおける前記被写体の位置とを比較した結果に基づいて、前記基準位置から前記被写体までの距離を取得する制御部と、備え、
   前記仮想平面は、前記仮想平面の法線方向に沿って前記基準位置から設定距離離れて位置し、
   前記複数の仮想平面のそれぞれの前記設定距離は、異なる、画像処理装置。
2. 前記基準画像及び前記参照画像は、広角レンズによって撮像された画像である、請求項１に記載の画像処理装置。
3. 前記複数の仮想平面のそれぞれの間隔は、不等間隔である、請求項１に記載の画像処理装置。
4. 前記複数の仮想平面のそれぞれの間隔は、等間隔である、請求項１に記載の画像処理装置。
5. 前記基準画像は、複数の基準画素を含み、
   前記仮想画像は、複数の仮想画素を含み、
   前記制御部は、
   前記基準画像における被写体の位置と前記複数の仮想画像のそれぞれにおける前記被写体の位置との比較として、同じ座標の前記基準画素に含まれる前記被写体と前記複数の仮想画素のそれぞれに含まれる前記被写体との類似度をそれぞれ示す複数のコスト値を算出し、
   動的計画法に基づいて前記コスト値を前記基準画像における集約方向に沿って集約することにより、前記基準画素の１つである注目画素に含まれる前記被写体までの距離を補間し、
   前記集約方向は、前記基準画像における水平方向に沿うベクトル及び鉛直方向に沿うベクトルに基づいて設定される、請求項１から４までの何れか一項に記載の画像処理装置。
6. 前記複数の仮想平面は、複数の第１仮想平面及び複数の第２仮想平面の両方を含み、
   前記第１仮想平面の法線方向は、前記基準位置で前記基準画像を生成したカメラの光軸方向である第１方向に一致し、
   前記第１仮想平面は、前記第１方向に沿って前記基準位置から第１距離離れて位置し、
   前記第２仮想平面の法線方向は、前記第１方向とは異なる第２方向に一致し、
   前記第２仮想平面は、前記第２方向に沿って前記基準位置から第２距離離れて位置する、請求項１から４までの何れか一項に記載の画像処理装置。
7. 前記基準画像は、複数の基準画素を含み、
   前記制御部は、
   前記参照画像を前記複数の第１仮想平面に射影変換して複数の第１仮想画像を取得し、前記第１仮想画像は、複数の第１仮想画素を含み、
   前記参照画像を前記複数の第２仮想平面に射影変換して複数の第２仮想画像を取得し、前記第２仮想画像は、複数の第２仮想画素を含み、
   前記制御部は、
   前記基準画像における被写体の位置と前記複数の第１仮想画像のそれぞれにおける前記被写体の位置との比較として、同じ座標の前記基準画素に含まれる前記被写体と前記複数の第１仮想画素のそれぞれに含まれる前記被写体との類似度をそれぞれ示す複数の第１コスト値を算出し、
   前記複数の第１コスト値に基づいて前記基準画素に前記第１距離を対応付け、
   前記基準画像における前記被写体の位置と前記複数の第２仮想画像のそれぞれにおける前記被写体の位置との比較として、同じ座標の前記基準画素に含まれる前記被写体と前記複数の第２仮想画素のそれぞれに含まれる前記被写体との類似度をそれぞれ示す複数の第２コスト値を算出し、
   前記複数の第２コスト値に基づいて前記基準画素に前記第２距離を対応付ける、請求項６に記載の画像処理装置。
8. 前記第１距離が対応付けられた前記基準画素は、第１基準画素であり、
   前記第２距離が対応付けられた前記基準画素は、第２基準画素であり、
   前記制御部は、前記基準画像において、周囲を前記第１基準画素で囲まれた前記第２基準画素が存在すると判定した場合、周囲を前記第１基準画素で囲まれた前記第２基準画素に含まれる前記被写体までの距離を、前記第２基準画素を囲む第１基準画素によって補間する、請求項７に記載の画像処理装置。
9. 前記第１距離が対応付けられた前記基準画素は、第１基準画素であり、
   前記第２距離が対応付けられた前記基準画素は、第２基準画素であり、
   前記制御部は、前記基準画像において、周囲を前記第２基準画素で囲まれた前記第１基準画素が存在すると判定した場合、周囲を前記第２基準画素で囲まれた前記第１基準画素に含まれる前記被写体までの距離を、前記第１基準画素を囲む第２基準画素によって補間する、請求項７に記載の画像処理装置。
10. 前記制御部は、
    前記基準画像を、類似する特徴を有する複数の基準画素を含む領域に分割し、
    同じ前記領域に含まれる複数の前記基準画素に対応付けられた前記設定距離において、補間処理を実行する、請求項３又は４に記載の画像処理装置。
11. 前記制御部は、前記同じ領域に含まれる複数の前記基準画素に対応付けられた設定距離において、外れ値となる前記設定距離を検出した場合、前記外れ値を除去し、前記外れ値となる設定距離以外の他の前記設定距離によって、前記外れ値が対応付けられていた前記基準画素に含まれる前記被写体までの距離を補間する、請求項１０に記載の画像処理装置。
12. 前記制御部は、
    前記複数の第１コスト値及び前記複数の第２コスト値のうちの一方を他方によって補間した複数のコスト値によって、前記複数のコスト値の相関を示す相関関数を作成し、
    前記相関関数に基づいて、前記基準画素に含まれる前記被写体までの距離を補間する、請求項７に記載の画像処理装置。
13. 前記制御部は、
    第１コスト値に対する前記第１距離において、前記第１コスト値が極値となる前記第１距離を特定し、設定距離範囲は、特定した前記第１距離を含む距離範囲であり、
    前記複数の前記第２コスト値のうちで、対応する前記第２距離が前記設定距離範囲内になる前記第２コスト値を取得し、
    複数の前記第１コスト値及び取得した前記第２コスト値にモデル関数をフィッティングすることにより、前記相関関数を作成する、請求項１２に記載の画像処理装置。
14. 基準位置で撮像により基準画像を生成し、前記基準画像とは異なる位置で撮像により参照画像を生成するステレオカメラと、
    前記参照画像を複数の仮想平面に射影変換して複数の仮想画像を取得し、前記基準画像における被写体の位置と前記複数の仮想画像のそれぞれにおける前記被写体の位置とを比較した結果に基づいて、前記基準位置から前記被写体までの距離を取得する画像処理装置と、を備え、
    前記仮想平面は、前記仮想平面の法線方向に沿って前記基準位置から設定距離離れて位置し、
    前記複数の仮想平面のそれぞれの前記設定距離は、異なる、ステレオカメラ装置。
15. 基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得することと、
    前記参照画像を複数の仮想平面に射影変換して複数の仮想画像を取得し、前記基準画像における被写体の位置と前記複数の仮想画像のそれぞれにおける前記被写体の位置とを比較した結果に基づいて、前記基準位置から前記被写体までの距離を取得することと、を含み、
    前記仮想平面は、前記仮想平面の法線方向に沿って前記基準位置から設定距離離れて位置し、
    前記複数の仮想平面のそれぞれの前記設定距離は、異なる、画像処理方法。

Images