JP6337446B2 - 画像処理装置及び方法、並びに画像処理装置の制御プログラム - Google Patents

Description

本発明は、画像処理装置及び方法、並びに画像処理装置の制御プログラムに関し、特に基準画像と参照画像との対応関係を演算し、視差値を測ることができる画像処理装置及び方法、並びに画像処理装置の制御プログラムに関する。

物体の三次元形状を求める従来手法として、大きく分けて能動的手法（アクティブ手法）と受動的手法（パッシブ手法）がある。能動的手法としては、光を投射して、その光が反射して帰ってくるまでの時間を測定することで各計測対象物体までの距離を求める方法がある。また、計測対象にスリット状のパターン光をあてて計測対象に投影されたパターン光の形状を調べることによって三次元形状を計測する光切断法といった方法がある。さらに、受動的手法として代表的なものは、三角測量の原理を利用したステレオ画像法であり、これは２台以上のカメラを使って、その画像間の対応点を見つけることで視差を求め、距離を計測する方法である。

ステレオ画像法について、その原理を簡単に以下に説明する。ステレオ画像法は複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけることで計測対象物の三次元空間における位置を求めようとするものである。例えば基準カメラと参照カメラにより異なる視点から同一対象物を撮影して、それぞれの画像内の計測対象物の距離を三角測量の原理により測定する。

上述のように、ステレオ画像法は、複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけること、すなわち「対応点付け（マッチング）」を実施することで計測対象物の三次元空間における位置を求めようとするものである。

近年、このステレオ画像法が適応されたステレオカメラは、２台の撮像手段により写し出した一対の画像を用いて、対象物の距離を算出し、対象物の認識を行なうステレオカメラ装置が実用化されている。そして、当該ステレオカメラ装置は、不審者の侵入や異常を検知する監視システムや車の安全走行を支援する車載システムなどに適用され始めている。

監視システムや車載システムで利用されるステレオ画像処理は、位置間隔をあけて撮像された一対の撮像画像に対して三角測量技術を適用して距離を求めるというものである。このステレオ画像処理装置は、一対の撮像手段と、これらの撮像手段が出力する一対の撮像画像に対して三角測量処理を適用するステレオ画像処理ＬＳＩとを備えているのが一般的である。このステレオ画像処理ＬＳＩは、一対の画像に含まれる画素情報を重ね合わせて２つの画像の一致した位置のずれ量（視差値）を求めるという処理を行なうことによって、三角測量処理を実現する。そのため、一対の画像間には視差以外のずれが存在しないことが理想的であり、各々の撮像手段ごとに、光学特性や信号特性のずれがないよう調整するか、カメラ間の位置関係などを求めておく必要がある。

ところで、車載環境においては、例えば前方車両や人間、障害物などの検知を行ない、事前に安全に対処する、といったアプリケーション要求がある。従って、遠距離対象物の距離計測、認識を実現する必要がある。三角測量処理により算出される計測距離Ｚは、視差δ、焦点距離ｆ、基線長ｂから次式を用いて算出される。

Ｚ＝ｂ・ｆ／δ

ここで、距離Ｚを求めるとき、遠ければ遠いほど視差値δは小さくなる。そのため、遠くの物体ほど視差を１画素分誤って算出した際の影響が大きく精度が低下する。つまり遠くの精度を上げるためには、高解像度の撮像素子を用いることで求める視差の分解能を上げることが重要である。

例えば、特許文献１では、ステレオカメラ装置において、隣接車線の走行してくる車両を検出する際にその１つ向こうの車線の車両まで検出するために以下の特徴を有する。すなわち、車両の旋回半径を推定するまたは検出する旋回半径検知手段により、距離測定処理手段は、検知される複数のウインドウの配列を変更する。

また、特許文献２では、ステレオカメラ装置による３次元計測時の演算量が多いという課題を解決するために以下の特徴を有する。すなわち、ハンドル角及び車速から自車の旋回半径を求め、求められた前記旋回半径に基づいて処理し、画像領域を決定し、前記車両の走行環境として、車速に応じて縮小率を決定し、処理する画像量を減少させることで演算量を減少させることを特徴とする。

さらに、特許文献３では、同一画面内に複数の被写体が重なり合って距離値の異なるものが含まれているような場合には、誤った距離値を算出するおそれがある。この課題を解決するために、エッジ判定手段と、エッジが含まれるか含まれないにより該当の演算範囲や視差結果を限定することを特徴とする。

しかし、ステレオカメラ装置において、高解像度の撮像素子を用いると、画像処理の負荷が増大するという問題点があった。

本発明の目的は以上の問題点を解決し、ステレオカメラ装置のための画像処理装置において、従来技術に比較して、画像処理の負荷を軽減できる画像処理装置及び方法、そのための制御プログラムを提供することにある。

第１の発明に係る画像処理装置は、
所定の対象物を撮像して画像データをそれぞれ出力する複数の撮像手段と、
複数の撮像手段における左右の画素のずれ量を補正するための視差値を算出する視差算出手段を備えた画像処理装置であって、
上記視差算出手段は、
上記複数の撮像手段から出力される１対の画像データ間のパターン間距離と相違度を計算する相違度計算部と、
上記計算された相違度に対して優先度を与えるように相違度候補を計算する相違度候補計算部と、
上記計算された相違度候補の中から相違度が最小値であるパターン間距離を視差値として出力する視差値決定部とを備えたことを特徴とする。

第２の発明に係る画像処理方法は、
所定の対象物を撮像して画像データをそれぞれ出力する複数の撮像手段における左右の画素のずれ量を補正するための視差値を算出する視差算出手段を備えた画像処理装置のための画像処理方法であって、
上記複数の撮像手段から出力される１対の画像データ間のパターン間距離と相違度を計算するステップと、
上記計算された相違度に対して優先度を与えるように相違度候補を計算するステップと、
上記計算された相違度候補の中から相違度が最小値であるパターン間距離を視差値として出力するステップとを含むことを特徴とする。

第３の発明に係る画像処理装置の制御プログラムは、
所定の対象物を撮像して画像データをそれぞれ出力する複数の撮像手段における左右の画素のずれ量を補正するための視差値を算出する視差算出手段を備えた画像処理装置により実行される制御プログラムであって、
上記視差算出手段が、上記複数の撮像手段から出力される１対の画像データ間のパターン間距離と相違度を計算するステップと、
上記視差算出手段が、上記計算された相違度に対して優先度を与えるように相違度候補を計算するステップと、
上記視差算出手段が、上記計算された相違度候補の中から相違度が最小値であるパターン間距離を視差値として出力するステップとを含むことを特徴とする。

本発明によれば、ステレオカメラ装置のための画像処理装置において、従来技術に比較して、画像処理の計算負荷を大幅に軽減できる。

本発明の実施形態１に係る画像処理装置１００の構成を示すブロック図である。 図１のラインバッファ３，４の詳細構成を示すブロック図である。 図１の画像処理装置１００で測定される左画像と右画像との関係を示す図である。 本発明の実施形態２に係る画像処理装置１００Ａの構成を示すブロック図である。

以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。

図１は本発明の実施形態１に係る画像処理装置１００の構成を示すブロック図である。本実施形態は、例えば
（１）同一画面内に複数の被写体が重なりあって、距離値の異なるものが含まれた場合、もしくは
（２）エッジの変化がなく、距離値算出時に三角測量による相値度が似通っており、決定できない場合に、
不用な距離値となる候補を除外することができるステレオカメラ装置のための画像処理装置１００を提供することを特徴とする。

図１において、画像処理装置１００は、撮像手段である１対の画像センサ１，２と、１対のラインバッファ３，４と、視差算出部５とを備えて構成される。１対の画像センサ１，２は左右方向で所定の距離だけ離れて並置されてステレオカメラ装置を構成してステレオ画像データを得ることができる。画像センサ１からの基準画像データはラインバッファ３に１本の走査線の画像データ毎に一時的に格納された後、相違度計算部１１に入力される。また、画像センサ２からの参照画像データはラインバッファ４に１本の走査線の画像データ毎に一時的に格納された後、相違度計算部１１に入力される。

図２は図１のラインバッファ３，４の詳細構成を示すブロック図である。ラインバッファ３，４は、画像センサ１，２から入力された画像データを蓄積する。本実施形態では、視差算出部５での領域サイズによって蓄積される画像データのライン数が決定され、ラインバッファ３，４のラインバッファ量が決定される。例えば、視差算出部５の参照サイズが３×３画素の場合は、図２に図示するように、２ライン分の画像データの蓄積を行い、３ライン目の入力データとともに、前２ラインの画像データを出力する。各ラインバッファ３，４は、現在入力されているラインのデータと前ラインのデータとを、次段の視差算出部５内の相違度計算部１１に同時に出力する。

視差算出部５は、ラインバッファ３，４から入力される２つの画像データから視差値を算出する。視差算出部５は、相違度計算部１１と、ルックアップテーブル（ＬＵＴ）１２ｔを格納するテーブルメモリ（記憶手段）１２と、相違度候補計算部１３と、視差値決定部１４とを備えて構成される。相違度計算部１１は、２つの画像データ間の相違度を算出してテーブルメモリ１２及び相違度候補計算部１３に出力する。相違度候補計算部１３は、相違度計算部から出力される２つの画像データ間の相違度に対して、ルックアップテーブル１２ｔから出力されるデータに基づいて、加算、乗算、減算のうちのいずれか１つの演算を行って演算結果を相違度候補Ｄ（ｄ）として視差値決定部１４に出力する。視差値決定部１４は、入力される相違度候補Ｄ（ｄ）から最適な相違度を有するパターン間距離ｄである視差値を決定して出力する。当該視差値は、画像処理の後段において、ステレオカメラにおける右画像と左画像の視差（画素のずれ量）を補正するために用いられる。

相違度計算部１１は、１対のラインバッファ３から入力される複数ラインの基準画像データに対して、ラインバッファ４から入力される複数ラインの参照画像データから対応点を探すためにテンプレートマッチング処理を実行する。そして、パターン間距離ｄを計算し、次式（１）〜（３）のうち予め設定された１つの式を用いて相違度である相関値等Ｄ（ｄ）を計算する。ここで、相関値等Ｄ（ｄ）とは相違度の具体例であって、式（１）で計算される相関値と、式（２）で計算されるＳＡＤ値と、式（３）で計算されるＳＳＤ値とを含む。また、テンプレートマッチングは、次式で表されるように複数ラインの入力される画素データより構成される、テンプレートマッチング領域Ｗに対して行われる。

（１）相関値の計算

（２）ＳＡＤ（Sum of Absolute Difference）値の計算

（３）ＳＳＤ（Sum of Squared Difference）値の計算

上記式（１）〜（３）では、３×３画素の基準画像データをＩ１とし、３×３画素の参照画像データをＩ２とし、基準画像データＩ１と参照画像データＩ２とのパターン間距離をｄとする。

テーブルメモリ１２に格納されたルックアップテーブル１２ｔは、相違度計算部１１で算出された相違度の計算結果に対して、相違度計算部１１から同時に出力されるパターン間距離ｄの値を入力として受け取り、ルックアップテーブル１２ｔのアドレスを決定する。ルックアップテーブル１２ｔのアドレスとしては、パターン間距離ｄの最小値から最大値までの容量分を備える。このパターン間距離ｄの最小値から最大値までの容量を探索幅Ｗと呼ぶ。

図３は図１の画像処理装置１００で測定される左画像と右画像との関係を示す図である。図３において、左画像内の所定の画像の処理画素ＬＯを基準画素とし、右画像において、起点の画素ＲＯから終点の画素ＲＥまでの探索幅Ｗで探索を行う。ここで、当該探索幅Ｗはパターン間距離ｄの最小値から最大値までに対応する。

表１は、ルックアップテーブル１２ｔの一例を示す。表１に示すように、ルックアップテーブル１２ｔは対応するパターン間距離ｄ毎にアドレスが対応つけられており、パターン間距離ｄ毎に、加算、減算又は乗算のいずれかの「演算子」と、当該「演算子」により演算を行う「演算値」のデータを格納している。なお、アドレスの先頭子０ｘは１６進数表記を表す。

テーブルメモリ１２は、相違度計算部１１からのパターン間距離ｄに基づいて、ルックアップテーブル（ＬＵＴ）１２ｔを参照して「演算子」及び「演算値」を検索して検索結果のそれらの情報を相違度候補計算部１３に出力する。相違度候補計算部１３は、テーブルメモリ１２から出力される「演算子」及び「演算値」を用いて、相違度計算部１１から出力される相違度計算結果である相関値等Ｄ（ｄ）に対して当該指示された「演算子」及び「演算値」により所定の演算を行う。そして、相違度候補計算部１３は、演算結果の相違度候補Ｄ（ｄ）を視差値決定部１４へ出力する。視差値決定部１４は、相違度候補計算部１３から出力された演算結果の相違度候補Ｄ（ｄ）のうち、最適な相違度計算結果を有するパターン間距離ｄを視差値として出力する。ここで、最適な相違度計算結果をもつパターン間距離ｄとは、例えば、上述の式（２）で示されるＳＡＤ値が最小値をもつパターン間距離ｄである。

以上説明したように、本実施形態に係る画像処理装置によれば、パターン間距離ｄに対して、ルックアップテーブル（ＬＵＴ）１２ｔを用いて、相違度の値である相関値等Ｄ（ｄ）に対して優先度を与えるように調整する（優先度調整手段）ことができる。従って、テンプレートマッチング領域Ｗに対して、パターン間距離ｄに対する相違度を算出する際に、探索幅Ｗの個数の相違度の中で優先させたいパターン間距離ｄを任意に設定することができる。ルックアップテーブル（ＬＵＴ）１２ｔ内のデータにおいて、演算子を乗算にすることで、パターン間距離ｄに対して制限をかけることが可能である。従って、相違度候補を絞ることができるので、従来技術に比較して、画像処理の計算コストを大幅に軽減できる。

実施形態２．
図４は本発明の実施形態２に係る画像処理装置１００Ａの構成を示すブロック図である。実施形態２に係る画像処理装置１００Ａは実施形態１に係る画像処理装置１００に比較して、以下の点が異なる。
（１）当該画像処理装置１００Ａは例えば、自動車などの車両において設けられる画像処理装置である。
（２）視差算出部５に代えて、以下の構成が異なる視差算出部５Ａを備えたこと。
（３）テーブルメモリ１２に代えて、遠距離優先用ルックアップテーブル（ＬＵＴ）１２ａ及び近距離優先用ルックアップテーブル（ＬＵＴ）１２ｂを有するテーブルメモリ１２Ａを備えたこと。
（４）車速センサ２１により計測された車速と、ハンドル角度センサ２２により計測されたハンドル角度２２と、天気情報センサ２３により計測された天気情報とに基づいて、遠距離優先用ルックアップテーブル（ＬＵＴ）１２ａ及び近距離優先用ルックアップテーブル（ＬＵＴ）１２ｂのうちのいずれを選択するかを決定して選択するテーブル選択部１５をさらに備えたこと。
以下、相違点について詳細説明する。

図４において、車速センサ２１は当該車両の車速を計算してテーブル選択部１５に出力する。ハンドル角度センサ２２は、車両のハンドルを回したときのハンドル角度（例えば、直進を０度としたときに右方向の角度を正とし、左方向を負とする角度をいう。）を計測してテーブル選択部１５に出力する。天気情報センサ２３は、例えば気圧などを観測して現在及びこれからの天気情報（雨、曇り、晴れ）を計測してテーブル選択部１５に出力する。なお、天気情報センサ２３は、無線ＬＡＮなどのネットワークを介して所定の天気情報提供サイトのサーバ装置から天気情報を入手してもよい。

テーブルメモリ１２Ａは例えば、以下の表２の遠距離優先用ルックアップテーブル（ＬＵＴ）１２ａと、表３の近距離優先用ルックアップテーブル（ＬＵＴ）１２ｂとを有する。テーブルメモリ１２Ａは、テーブル選択部１５からの選択信号（詳細後述）に基づいて上記２つのルックアップテーブルのうち１つのルックアップテーブルを選択して、入力されるパターン間距離ｄに対応する「演算子」及び「演算値」を相違度候補計算部１３に出力する。

テーブル選択部１５は、車速センサ２１からの車速と、ハンドル角度センサ２２からのハンドル角度と、天気情報センサ２３からの天気情報とに基づいて、以下の２つのいずれのテーブルを選択するかを示す選択信号をテーブルメモリ１２Ａに出力する。
（Ａ）遠距離優先用ルックアップテーブル（ＬＵＴ）１２ａ；
（Ｂ）近距離優先用ルックアップテーブル（ＬＵＴ）１２ｂ。
ここで、テーブル選択部１５は、以下のように選択信号を出力する。
（１）ハンドル角度が例えば４５度などの所定のしきい値以上で、かつ車速が例えば３０ｋｍ／ｈなどの所定のしきい値（以下、車速しきい値という。）未満の場合には、近距離優先用ルックアップテーブル１２ｂを選択する選択信号を出力する。
（２）車速が上記車速しきい値以上であれば、遠距離優先用ルックアップテーブル（ＬＵＴ）１２ａを選択する選択信号を出力する。
（３）天気が晴れなど天気が良好であるときは、上記車速しきい値を例えば４０ｋｍ／ｈに増大させる一方、天気が雨など天気が悪いであるときは、上記車速しきい値を例えば２０ｋｍ／ｈに減少させることが好ましい。

本実施形態において、テーブル選択部１５は車速のみに基づいて選択信号を発生してもよいし、テーブル選択部１５は車速及びハンドル角度に基づいて選択信号を発生してもよい。すなわち、テーブル選択部１５は、車両の走行環境に基づいて選択信号を発生する。

以上説明したように、本実施形態に係る画像処理装置においては、ハンドル角度が所定のしきい値以上で車速が低速であるときは、視差算出部５Ａで算出されるテンプレートマッチング領域Ｗに対して、以下のようにテーブルの選択を行う。すなわち、パターン間距離ｄに対する相違度計算後の相違度結果に対して、パターン間距離ｄの絶対値が所定値以上の場合の相違度結果を優先することができ、近距離優先用ルックアップテーブル（ＬＵＴ）１２ｂを選択できる。相違度結果を近距離優先にすることで、ハンドルを右もしくは左に切った場合に、近距離となる対象物の誤検知を防ぐことが可能である。遠距離側の対象物に関しては、検知の必要性は低く。優先度をさげる効果がある。

一方、ほぼ直進して運転しており、車速が上記車速しきい値以上の場合に、遠距離優先用ルックアップテーブル（ＬＵＴ）１２ａを選択して、視差算出部５Ａで算出されるテンプレートマッチング領域Ｗに対して、以下のように動作する。すなわち、パターン間距離ｄに対する相違度計算後の相違度結果に対して、パターン間距離ｄの絶対値がある一定以下の場合の相違度結果を優先することができ、遠距離優先にすることができる。上記の遠距離優先にすることで、車速度が速くなった場合に、遠距離となる対象物の誤検知を防ぐことが可能である。近距離側の対象物に関しては、検知の必要性低く。優先度をさげる効果がある。

すなわち、近距離優先用ルックアップテーブル（ＬＵＴ）１２ｂは、表３から明らかなように、パターン間距離ｄが小さいほど相違度の度合いを増大させる一方、パターン間距離ｄが大きいほど相違度の度合いを減少させる優先度増減関数を構成する。また、遠距離優先用ルックアップテーブル（ＬＵＴ）１２ａは、表２から明らかなように、パターン間距離ｄが小さいほど相違度の度合いを減少させる一方、パターン間距離ｄが大きいほど相違度の度合いを増大させる優先度増減関数を構成する。なお、上記ルックアップテーブル１２ｔ，１２ａ，１２ｂの代わりに、上記ルックアップテーブル１２ｔ，１２ａ，１２ｂの動作と同様の計算を行うように優先度を増減する相違度優先関数、もしくは上記ルックアップテーブル１２ｔ，１２ａ，１２ｂの動作と同様の計算を行うように優先度を増減する相違度優先式などを用いてもよい。

本実施形態によれば、車速、ハンドル角度及び天気などの車両の走行環境に基づいて、ルックアップテーブル（ＬＵＴ）１２ａ，１２ｂを適切に選択する。これにより、相違度の度合いを変化させて視差値決定部１４による視差値決定における候補値を限定することで、計算コストを減少させることができる。なお、本実施形態において、２つのルックアップテーブル（ＬＵＴ）１２ａ，１２ｂを備えているが、本発明はこれに限らず、車両の走行環境に基づいて、少なくとも２つ又はそれ以上の距離に応じて優先度を変えるルックアップテーブルを備えてもよい。

以上の実施形態１及び２に係る画像処理装置１００，１００Ａについては、ハードウエアで構成しているが、視差算出部５についてＣＰＵなどのデジタル計算機により実行される画像処理装置の制御プログラムで構成してもよい。

実施形態のまとめ．
第１の態様に係る画像処理装置は、
所定の対象物を撮像して画像データをそれぞれ出力する複数の撮像手段における左右の画素のずれ量を補正するための視差値を算出する視差算出手段を備えた画像処理装置であって、
上記視差算出手段は、
上記複数の撮像手段から出力される１対の画像データ間のパターン間距離と相違度を計算する相違度計算部と、
上記計算された相違度に対して優先度を与えるように相違度候補を計算する相違度候補計算部と、
上記計算された相違度候補の中から相違度が最小値であるパターン間距離を視差値として出力する視差値決定部とを備えたことを特徴とする。

第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において、上記相違度候補計算部は、上記相違度計算部によって計算されるパターン間距離の所定の探索幅にわたって上記計算された相違度に対して所定値を用いて所定の演算子の演算を行って上記計算された相違度に対して優先度を与えるように相違度候補を計算することを特徴とする。

第３の態様に係る画像処理装置は、第２の態様に係る画像処理装置において、上記相違度候補計算部は、予め決められた相違度優先関数又は相違度優先式を用いて、上記計算された相違度に対して所定値を用いて所定の演算子の演算を行うことを特徴とする。

第４の態様に係る画像処理装置は、第２の態様に係る画像処理装置において、上記相違度候補計算部は、上記パターン間距離に対応する上記所定値及び上記所定の演算子を格納するテーブルを格納する記憶手段を備えたことを特徴とする。

第５の態様に係る画像処理装置は、第４の態様に係る画像処理装置において、上記テーブルは、車両の走行環境に基づいて、少なくとも２つ又はそれ以上の距離に応じて優先度を変える複数のルックアップテーブルを含み、
上記相違度候補計算部は、上記車両の走行環境に応じて複数のルックアップテーブルのうちのいずれのルックアップテーブルを選択して使用するかを決定するテーブル選択部を備えたことを特徴とする。

第６の態様に係る画像処理装置は、第５の態様に係る画像処理装置において、上記テーブル選択部は、上記車両のハンドル角度に基づいて、複数のルックアップテーブルのうちのいずれのルックアップテーブルを選択して使用するかを決定することを特徴とする。

第７の態様に係る画像処理装置は、第５の態様に係る画像処理装置において、上記テーブル選択部は、上記車両のハンドル角度及び車速に基づいて、複数のルックアップテーブルのうちのいずれのルックアップテーブルを選択して使用するかを決定することを特徴とする。

第８の態様に係る画像処理装置は、第５の態様に係る画像処理装置において、上記テーブル選択部は、上記車両のハンドル角度、車速及び天気情報に基づいて、複数のルックアップテーブルのうちのいずれのルックアップテーブルを選択して使用するかを決定することを特徴とする。

第９の態様に係る画像処理方法は、所定の対象物を撮像して画像データをそれぞれ出力する複数の撮像手段における左右の画素のずれ量を補正するための視差値を算出する視差算出手段を備えた画像処理装置のための画像処理方法であって、
上記複数の撮像手段から出力される１対の画像データ間のパターン間距離と相違度を計算するステップと、
上記計算された相違度に対して優先度を与えるように相違度候補を計算するステップと、
上記計算された相違度候補の中から相違度が最小値であるパターン間距離を視差値として出力するステップとを含むことを特徴とする。

第１０の態様に係る画像処理装置の制御プログラムは、所定の対象物を撮像して画像データをそれぞれ出力する複数の撮像手段における左右の画素のずれ量を補正するための視差値を算出する視差算出手段を備えた画像処理装置により実行される制御プログラムであって、
上記視差算出手段が、上記複数の撮像手段から出力される１対の画像データ間のパターン間距離と相違度を計算するステップと、
上記視差算出手段が、上記計算された相違度に対して優先度を与えるように相違度候補を計算するステップと、
上記視差算出手段が、上記計算された相違度候補の中から相違度が最小値であるパターン間距離を視差値として出力するステップとを含むことを特徴とする。

本発明は、距離の測定や、マッチングを行う技術であり、３次元計測機器、３Ｄ映像機器等の電子機器、当該電子機器を搭載する車両のための画像処理装置に使用される。

１，２…画像センサ、
３，４…ラインバッファ、
５，５Ａ…視差算出部、
１１…相違度計算部、
１２，１２Ａ…テーブルメモリ、
１２ｔ…ルックアップテーブル（ＬＵＴ）、
１２ａ…遠距離優先用ルックアップテーブル、
１２ｂ…近距離優先用ルックアップテーブル、
１３…相違度候補計算部、
１４…視差値決定部、
１５…テーブル選択部、
２１…車速センサ、
２２…ハンドル角度センサ、
２３…天気情報センサ、
１００，１００Ａ…画像処理装置、
Ｌ０…左画像の基準点、
Ｒ０…右画像の起点、
ＲＥ…右画像の終点、
Ｗ…探索幅。

特許第３０１８９２０号公報 特許第５１７２３１４号公報 特許第５１６７６１４号公報

Claims (9)

1. 所定の対象物を撮像して画像データをそれぞれ出力する複数の撮像手段における左右の画素のずれ量を補正するための視差値を算出する視差算出手段を備えた画像処理装置であって、
   上記視差算出手段は、
   上記複数の撮像手段から出力される１対の画像データ間のパターン間距離と相違度を計算する相違度計算部と、
   上記相違度計算部によって計算されるパターン間距離の所定の探索幅にわたって上記計算された相違度に対して所定値を用いて所定の演算子の演算を行い、上記計算された相違度に対して優先度を与えるように相違度候補を計算する相違度候補計算部と、
   上記計算された相違度候補の中から相違度が最小値であるパターン間距離を視差値として出力する視差値決定部とを備えたことを特徴とする画像処理装置。
2. 上記相違度候補計算部は、予め決められた相違度優先関数又は相違度優先式を用いて、上記計算された相違度に対して所定値を用いて所定の演算子の演算を行うことを特徴とする請求項１記載の画像処理装置。
3. 上記相違度候補計算部は、上記パターン間距離に対応する上記所定値及び上記所定の演算子を格納するテーブルを格納する記憶手段を備えたことを特徴とする請求項１記載の画像処理装置。
4. 上記テーブルは、車両の走行環境に基づいて、少なくとも２つ又はそれ以上の距離に応じて優先度を変える複数のルックアップテーブルを含み、
   上記相違度候補計算部は、上記車両の走行環境に応じて複数のルックアップテーブルのうちのいずれのルックアップテーブルを選択して使用するかを決定するテーブル選択部を備えたことを特徴とする請求項３記載の画像処理装置。
5. 上記テーブル選択部は、上記車両のハンドル角度に基づいて、複数のルックアップテーブルのうちのいずれのルックアップテーブルを選択して使用するかを決定することを特徴とする請求項４記載の画像処理装置。
6. 上記テーブル選択部は、上記車両のハンドル角度及び車速に基づいて、複数のルックアップテーブルのうちのいずれのルックアップテーブルを選択して使用するかを決定することを特徴とする請求項４記載の画像処理装置。
7. 上記テーブル選択部は、上記車両のハンドル角度、車速及び天気情報に基づいて、複数のルックアップテーブルのうちのいずれのルックアップテーブルを選択して使用するかを決定することを特徴とする請求項４記載の画像処理装置。
8. 所定の対象物を撮像して画像データをそれぞれ出力する複数の撮像手段における左右の画素のずれ量を補正するための視差値を算出する視差算出手段を備えた画像処理装置のための画像処理方法であって、
   上記複数の撮像手段から出力される１対の画像データ間のパターン間距離と相違度を計算するステップと、
   上記計算されるパターン間距離の所定の探索幅にわたって上記計算された相違度に対して所定値を用いて所定の演算子の演算を行い、上記計算された相違度に対して優先度を与えるように相違度候補を計算するステップと、
   上記計算された相違度候補の中から相違度が最小値であるパターン間距離を視差値として出力するステップとを含むことを特徴とする画像処理方法。
9. 所定の対象物を撮像して画像データをそれぞれ出力する複数の撮像手段における左右の画素のずれ量を補正するための視差値を算出する視差算出手段を備えた画像処理装置により実行される制御プログラムであって、
   上記視差算出手段が、上記複数の撮像手段から出力される１対の画像データ間のパターン間距離と相違度を計算するステップと、
   上記視差算出手段が、上記計算されるパターン間距離の所定の探索幅にわたって上記計算された相違度に対して所定値を用いて所定の演算子の演算を行い、上記計算された相違度に対して優先度を与えるように相違度候補を計算するステップと、
   上記視差算出手段が、上記計算された相違度候補の中から相違度が最小値であるパターン間距離を視差値として出力するステップとを含むことを特徴とする画像処理装置の制御プログラム。

Images