JP6141562B1

JP6141562B1 - 視差算出装置、ステレオカメラ装置、車両及び視差算出方法

Info

Publication number: JP6141562B1
Application number: JP2017506944A
Authority: JP
Inventors: 直人大原; 河野　健治; 健治河野; 和昌穐本
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2015-07-29
Filing date: 2016-07-29
Publication date: 2017-06-07
Anticipated expiration: 2036-07-29
Also published as: WO2017017963A1; JPWO2017017963A1; EP3330664B1; US20180225838A1; EP3330664A1; US10614585B2; EP3330664A4

Abstract

視差算出装置１２は、第１画像及び第２画像を含むステレオ画像を取得する入力部１５と、第２画像の一部であるブロックを初期位置から基線長方向に沿って順次シフトさせながら第１画像に対して順次マッチングを行うことにより視差を算出する制御部１６とを備える。制御部１６は、ブロックの初期位置からのシフト量に応じて、ブロックを次にシフトさせるピッチを異ならせる。

Description

関連出願の相互参照

本出願は、２０１５年７月２９日に出願された日本国特許出願２０１５−１５００７２号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。

本発明は、視差算出装置、ステレオカメラ装置、車両及び視差算出方法に関する。

複数のカメラを用いて被写体までの距離を測定するステレオカメラ装置が自動車に用いられている。

ステレオカメラを用いた立体物の検出及び距離測定は、画像上の各位置の視差を求めることによって行う方法が知られている（例えば、特許文献１参照）。この方法では、ステレオカメラで撮像した２つの画像がそれぞれ、基準画像（以下、「第１画像」とする）及び参照画像（以下「第２画像」とする）とする。第２画像は、縦横それぞれ３〜９ピクセル程度の大きさの多数のブロック（小領域）に区分される。区分された第２画像のブロックは、第１画像に対して基線長方向（ステレオカメラの２台のカメラの光軸間の距離に沿った方向）に、等ピッチで（例えば、１ピクセルずつ）順次シフトされる。第２画像のブロックは、第１画像とのマッチングがシフトの度に行われる。マッチングは、第２画像のブロックの画素と、第１画像の対応する画素との輝度または色のパターンを比較することにより行われる。例えば、輝度によるマッチングの場合、双方の対応する画素間での輝度の差の絶対値の合計を算出し、当該合計が最小となるシフト量を視差として決定する。このようなマッチング処理は、専用のハードウエア回路により実行することができる。このようにして得られた視差ｄと２台のカメラの基線長ｂ及びカメラの焦点距離ｆから、三角測量の原理により、ブロックに撮像された被検出物までの距離Ｚが次の式で算出されることができる。
Ｚ＝ｂ・ｆ／ｄ（１）

ところで、視差は、遠距離ほど小さく、近距離になるほど大きくなる。遠距離では、距離の変化に対して視差の変化は小さい。近距離では距離の変化に応じて視差の変化は大きい。このため、近距離における第１画像と第２画像との画像のマッチングには、第２画像のブロックを第１画像上でのシフトの繰り返しが必要になる。したがって、至近距離にあるものまで視差検出の対象とすると、計算量及び処理時間が増大する。そこで、一般に、装置の処理性能を確保するために近距離の測定限界が設定され、それよりも近距離に位置するものは、視差測定ができなくなっている。

そこで、特許文献１に記載のステレオカメラ装置は、検出可能な測定限界の距離よりも近くに立体物が存在するか否かを、一つ前のフレームの立体物の検出結果を用いて判定する判定手段を有している。すなわち、引用文献１に記載のステレオカメラ装置は、一つ前の測定において、近距離の測定限界に位置していた立体物が、今回の測定において検出されない場合、立体物が測定限界よりも近距離に位置している可能性が高いと判断する。この場合、ステレオカメラ装置は、輝度変化が大きい等の特徴的な部分を抽出し、通常の第１画像と第２画像とのマッチング処理とは別に、近距離測定用に設けられたソフトウェアプログラムにより、第１画像と第２画像とのマッチングを行う。これにより、ステレオカメラ装置は、立体物までの距離を検出している。

特開２０００−２０７６９５号公報

複数の実施の形態の一つに係る視差算出装置は、入力部と制御部とを含む。入力部は、１画像及び第２画像を含むステレオ画像を取得する。制御部は、前記第２画像の一部であるブロックを初期位置から基線長方向に沿って順次シフトさせながら前記第１画像に対して順次マッチングを行うことにより視差を算出する。前記制御部は前記視差を算出する際に、前記第１画像に対してマッチングを行ったときに、前記ブロックを前記初期位置からシフトさせているシフト量に応じて、当該ブロックを次にシフトさせるピッチを異ならせる。

複数の実施の形態の一つに係るステレオカメラ装置は、ステレオカメラと、視差算出装置とを含む。視差算出装置は、入力部と制御部とを含む。入力部は、前記ステレオカメラが撮像した第１画像及び第２画像を含むステレオ画像を取得する。制御部は、前記第２画像の一部であるブロックを初期位置から基線長方向に沿って順次シフトさせながら前記第１画像に対して順次マッチングを行うことにより視差を算出する。前記制御部は、前記視差を算出する際に、前記第１画像に対してマッチングを行ったときに前記ブロックを前記初期位置からシフトさせているシフト量に応じて、当該ブロックを次にシフトさせるピッチを異ならせる。

複数の実施の形態の一つに係る車両は、ステレオカメラ装置を備える。ステレオカメラ装置は、ステレオカメラ、及び、視差算出装置を含む。視差算出装置は、入力部及び制御部を含む。入力部は、前記ステレオカメラが撮像した第１画像と第２画像とを含むステレオ画像を取得する。制御部は、前記第２画像の一部であるブロックを初期位置から基線長方向に沿って順次シフトさせながら前記第１画像に対してマッチングを行うことにより視差を算出する。前記制御部は、前記視差を算出する際に、前記第１画像に対してマッチングを行ったときに前記ブロックを前記初期位置からシフトさせているシフト量に応じて、当該ブロックを次にシフトさせるピッチを異ならせる。

複数の実施の形態の一つに係る視差検出方法は、ステレオカメラによる第１画像及び第２画像を含むステレオ画像を取得する。視差検出方法は、前記第２画像の一部であるブロックを初期位置から基線長方向に沿って順次シフトさせながら前記第１画像に対して順次マッチングを行うことにより視差を算出する。視差検出方法は、前記視差を算出する際に、前記第１画像に対してマッチングを行ったときに前記ブロックを前記初期位置からシフトさせているシフト量に応じて、当該ブロックを次にシフトさせるピッチを異ならせる。

図１は、道路上を走行するステレオカメラ装置を搭載した車両を簡略化して示す図である。図２は、本発明の複数の実施の形態の一つに係るステレオカメラ装置の概略構成を示すブロック図である。図３は、第１画像と第２画像との視差算出の手順を示すフローチャートである。図４は、１つのブロックの視差算出の手順を示すフローチャートである。図５Ａは、第２画像のブロックの例を示す図である。第２画像のブロックの第１画像へのマッチングを説明する図である。図６Ａは、１次元に配列された第２画像のブロックと第１画像との各画素の輝度の例を示す図である。図６Ｂは、従来技術により、１次元のブロックを１ピクセルずつシフトさせたときの評価値の変化を示す図である。図６Ｃは、本実施の形態に従い、１次元のブロックのシフト数に応じてブロックをシフトさせるピッチを異ならせたときの評価値の変化の例を示す図である。図７は、従来技術により、ブロックを１ピクセルずつシフトさせて視差を算出する場合の、視差（ピクセル）と距離との関係を示す図である。図８は、ピクセルのシフト数に応じてブロックをシフトさせるピッチを異ならせた場合の、視差（ピクセル）と距離との関係を示す図である。図９は、変形例における、撮像した画像の近距離領域を示す図である。

以下、本開示の複数の実施の形態の一つについて、図面を参照して説明する。

図１において、車両１の進行方向（図において上方向）をＺ方向の正の方向とし、車両１の車幅方向（図において左右方向）であって、左から右に向かう方向をＸ方向の正の方向とし、地面から空に向かう方向をＹ方向の正の方向とする。ここで、本開示における「車両」には、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば、車両には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、トライク、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、及び電動立ち乗り２輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモーターを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。

ステレオカメラ装置１０は、進行方向（Ｚ方向）に向いて左側に位置する第１のカメラ１１ａ及び右側に位置する第２のカメラ１１ｂの２つのカメラを含むステレオカメラ１１と、ステレオカメラ１１に電気的に接続された視差算出装置１２とを備える。
ここで、「ステレオカメラ」とは、互いに視差を有し、互いに協働する複数のカメラである。ステレオカメラは、少なくとも２つ以上のカメラを含む。ステレオカメラでは、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラには、複数のカメラを協働させて対象を同時に撮像することができるものが含まれる。撮影の「同時」は、完全な同じ時刻に限られない。例えば、（１）複数のカメラが同時刻に撮像すること、（２）複数のカメラが同じ信号に基づいて撮像すること、及び（３）複数のカメラが各々の内部時計において同時刻に撮像することは、本開示における「同時」に撮影するに含まれる。撮像の時間基準には、撮像の開始時刻、撮像の終了時刻、撮像した画像データの送信時刻、及び画像データを相手機器が受信した時刻が含まれる。ステレオカメラは、１つの筐体に複数のカメラが含まれる機器であってよい。ステレオカメラは互いに独立し、且つ互いに離れて位置する２台以上のカメラを含む機器であってよい。ステレオカメラは、互いに独立した複数のカメラに限られない。本開示では、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラをステレオカメラとして採用できる。ステレオカメラ装置１０においては、互いに独立する第１のカメラ１１ａ及び第２のカメラ１１ｂの２台が並んでいる。本開示では、同じ被写対象を異なる視点から撮像した複数の画像を「ステレオ画像」と呼ぶことがある。

第１のカメラ１１ａ及び第２のカメラ１１ｂは、撮像素子を含む。撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。第１のカメラ１１ａ及び第２のカメラ１１ｂは、レンズ機構を含んでよい。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、同じ対象物を撮像可能な方向を向いている。第１のカメラ１１ａ及び第２のカメラ１１ｂは、互いの光軸が異なる。第１のカメラ１１ａ及び第２のカメラ１１ｂは、撮像した画像に少なくとも同じ対象物が含まれるように、光軸及び位置が定められる。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、互いに平行になるように向けられる。この平行は、厳密な平行に限られず、組み立てのずれ、取付けのずれ、及びこれらの経時によるずれを許容する。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、平行に限られず、互いに異なる方向でよい。第１のカメラ１１ａ及び第２のカメラ１１ｂは、車両１に対する位置及び向きの変化が少なくなるように、車両１の車体に対して固定される。第１のカメラ１１ａ及び第２のカメラ１１ｂは、固定されていても、車両１に対して位置及び向きが変化する場合がある。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、車両１の前方（Ｚ方向）を向いている。ステレオカメラ装置１０は、走行中に路面１３上の白線１４ａ，１４ｂ、先行車両、障害物等の種々の被写体を撮像することができる。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、Ｚ方向から路面１３側に傾いている。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、Ｚ方向を向いていてよく、Ｚ方向から空側に傾いていてよい。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸の向きは、用途に応じて適宜変更される。また、第１のカメラ１１ａ及び第２のカメラ１１ｂは、光軸に交わる方向において離れて位置している。複数の実施の形態のうちの１つにおいて、第１のカメラ１１ａ及び第２のカメラ１１ｂは、車両１の車幅方向（Ｘ方向）に沿って位置している。第１のカメラ１１ａは、前方を向いたときに第２のカメラ１１ｂの左側に位置し、第２のカメラ１１ｂは、前方を向いたときに第１のカメラ１１ａの右側に位置する。第１のカメラ１１ａと第２のカメラ１１ｂとの位置の違いにより、撮像した２つの画像において、互いに対応する被写体の位置は、異なる。第１のカメラ１１ａから出力される画像と、第２のカメラ１１ｂから出力される画像とは、異なる視点から撮像したステレオ画像となる。第１のカメラ１１ａと第２のカメラ１１ｂとの光軸間の距離は、基線長と呼んでよい。第１のカメラ１１ａと第２のカメラ１１ｂとの基線長に沿った方向は、基線長方向と呼んでよい。したがって、本実施の形態における基線長方向は、Ｘ方向となる。実空間における基線長方向に対応するステレオ画像上の方向も同じく基線長方向とよぶ。基線長方向は、視差が生じる方向である。

複数の実施の形態のうちの１つにおいて、第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、車両１の前方（Ｚ方向）に向けて、車両１の前側に固定されている。複数の実施の形態のうちの１つにおいて、第１のカメラ１１ａ及び第２のカメラ１１ｂは、車両１のウインドシールドを介して車両１の外部を撮像できる。複数の実施の形態において、第１のカメラ１１ａ及び第２のカメラ１１ｂは、車両１のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール、及びボンネットのいずれかに固定されていてよい。

本実施の形態では、第１のカメラ１１ａにより撮像された画像は、第１画像と呼ばれる。第２のカメラ１１ｂにより撮像された画像は、第２画像と呼ばれる。第１画像は、基準画像である。第２画像は参照画像である。以下では、第２画像の第１画像に対する視差が算出される。第１のカメラ１１ａと第２のカメラ１１ｂとしては、同一の仕様のものを用いることができる。第１のカメラ１１ａと第２のカメラ１１ｂとは、異なる仕様であってよい。ステレオカメラ装置１０は、第２のカメラ１１ｂにより基準画像を撮像し、第１のカメラ１１ａにより参照画像を撮像してよい。

第１のカメラ１１ａ及び第２のカメラ１１ｂは、それぞれ撮像した画像をデジタルデータとして、車両１内に設けられた視差算出装置１２に出力する。視差算出装置１２は、第１のカメラ１１ａから出力される第１画像及び第２のカメラ１１ｂから出力される第２画像の少なくとも一方を較正してよい。視差算出装置１２は、画像内の被写体物までの視差の算出を行うことができる。視差算出装置１２は、車両１内の他の情報処理装置とＣＡＮ（Controller Area Network）等のネットワークを介して、情報の送受信をすることができる。

図２に示すように、ステレオカメラ装置１０は、第１のカメラ１１ａ及び第２のカメラ１１ｂを有するステレオカメラ１１と視差算出装置１２とを含む。視差算出装置１２は、入力部１５と、制御部１６と、第１記憶部１７と、第２記憶部１８とを含む。

入力部１５は、視差算出装置１２へ画像データを入力する入力インタフェースである。入力部１５は、物理コネクタ、及び無線通信機が採用できる。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ ＲC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。入力部１５は、第１のカメラ１１ａ及び第２のカメラ１１ｂの各々が撮像した画像データの入力を受ける。入力部１５への入力は、ステレオカメラ１１の撮像信号の伝送方式に対応してよい。入力部１５は、第１のカメラ１１ａ及び第２のカメラ１１ｂからそれぞれ第１画像及び第２画像を受信する。さらに、入力部１５は受信した画像を、制御部１６の較正部１９に引き渡す。

制御部１６は、視差算出装置１２の種々の演算処理を実行する部分である。制御部１６は、一つまたは複数のプロセッサを含む。制御部１６もしくはプロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する１または複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサと独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部１６は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。制御部１６は、較正部１９、第１算出部２０、及び、第２算出部２１等の機能ブロックを含んで構成される。

第１記憶部１７は、較正部１９で使用する較正用のパラメータを記憶するための書き換え可能なメモリを備える。第１記憶部１７は、例えば、フラッシュメモリ、磁気抵抗メモリ（ＭＲＡＭ（Magnetoresistive Random Access Memory））、強誘電体メモリ（ＦｅＲＡＭ（Ferroelectric Random Access Memory））などの不揮発性メモリ等を用いることができる。第１記憶部１７は、制御部１６もしくは制御部１６に含まれるプロセッサの内蔵メモリであってよい。

第２記憶部１８は、較正部１９で較正された第１画像及び第２画像を一時的に蓄積するメモリである。第２記憶部１８は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、及びＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の高速の揮発性メモリを用いることができる。第２記憶部１８は、１フレームの画像を処理する間、第１画像及び第２画像を保持するとともに、第２算出部２１から出力される各ブロックの視差を記憶する。１フレームの処理が終了すると、第２記憶部１８に蓄積されていた第１画像、第２画像及び視差は、第２算出部２１から出力される。第２記憶部１８は、制御部１６もしくは制御部１６に含まれるプロセッサの内蔵メモリであってよい。第２記憶部１８は、第１記憶部と１つのデバイスであってよい。第１記憶部１７と第２記憶部１８とが１つのデバイスである場合、第１記憶部１７と第２記憶部１８とは、少なくとも１部の記憶領域が共通してよい。第１記憶部１７と第２記憶部１８とは、１つのデバイスの内の異なる記憶領域であってよい。

複数の実施の形態の一つに係る制御部１６の動作についてさらに説明する。複数の実施の形態の一つにおいて、制御部１６は、較正部１９、第１算出部２０、及び第２算出部２１の各機能ブロックを含む。以下に、各部の動作を説明する。各機能ブロックは、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。各機能ブロックの各々が行える動作を、制御部１６は実行できる。制御部１６は、較正部１９、第１算出部２０、及び第２算出部２１を含む形態に限られず、１つ又は複数の機能ブロックが省略されてよい。複数の実施の形態のうちの１つにおいて、制御部１６は、各機能ブロックの全ての動作を実行してよい。各機能ブロックが行う動作は、制御部１６が行う動作として言い換えてよい。制御部１６が各機能ブロックのいずれかを使役して行う処理は、制御部１６が自ら実行してよい。制御部１６の各機能ブロックにおけるハードウエアに関する記載は、制御部１６のハードウエアに関する記載として解釈してよい。

較正部１９は、第１のカメラ１１ａ及び第２のカメラ１１ｂのそれぞれから受信する画像を第１記憶部１７に格納されている較正パラメータを参照して較正する。較正部１９は、第１のカメラ１１ａ及び第２のカメラ１１ｂの各々の標準に対するずれを、画像のデータ変換により電子的に較正する。この較正は、第１のカメラ１１ａ及び第２のカメラ１１ｂ間のずれを、較正部１９内での画像の変換により電子的に較正するものを含んでよい。第１のカメラ１１ａ及び第２のカメラ１１ｂ間のずれは、ステレオカメラ装置１０の製造精度に起因する誤差、ステレオカメラ装置１０の製造時に生じるずれ、車両１への取付時に起因するずれ、外部からの振動及び衝撃等に起因するずれを含んでよい。電子的な較正により、較正部１９は、第１画像及び第２画像を平行等位の状態の画像に変換する。

第１算出部２０は、第１のカメラ１１ａ及び第２のカメラ１１ｂから受信した第１画像及び第２画像を比較する。第１算出部２０は、第１画像及び第２画像の比較に基づき第１のカメラ１１ａ及び第２のカメラ１１ｂに対する較正パラメータを算出する。第１算出部２０は、第１記憶部１７に記憶された較正パラメータを算出した較正パラメータに更新する。例えば、第１算出部２０は、第１のカメラ１１ａ及び第２のカメラ１１ｂの画像中から平行な２本の白線を検出する。検出した白線の消失点の座標位置を一致させるように、第１算出部は、較正パラメータを算出する。第１算出部２０は、常時稼働しなくてよい。第１算出部２０は、間欠的に稼働してよい。例えば、第１算出部２０は、一定時間毎に、または、視差算出装置１２を起動後に、初めて白線を検知したとき等に、自動的に較正パラメータの更新を行ってよい。

第２算出部２１は、較正部１９で較正された第１画像及び第２画像を用いる。較正部１９で較正された較正後の第１画像及び較正後の第２画像は、単に第１画像及び第２画像と呼ぶことがある。第１画像及び第２画像のそれぞれは、状況に応じて、較正前の第１画像もしくは第２画像、又は較正後の第１画像もしくは第２画像と言い換えてよい。第２算出部２１は、第２画像をブロックに分割し、ブロック毎に第１画像との視差を算出する。ブロックの形状は矩形とすることができる。第２算出部２１は、視差の算出のため、第２画像のブロックを基線長方向に順次シフトさせて、第１画像との１次元マッチングを行う。マッチングは、輝度、色、これら両方等に基づいて行われる。マッチングに用いている要素は、他の要素によるマッチングに言い換えてよい。第２算出部２１は、第１画像と第２画像とのマッチングを行うための専用の並列処理演算回路を備えてよい。

以下に、図３及び図４のフローチャートを用いて、第２算出部２１による第１画像と第２画像との間の視差算出方法について説明する。なお、図３のフローチャートでは、ブロックごとの視差算出が順次行われるが、第２制御部２１は、複数のブロックの視差算出を並列して行ってよい。

まず、第２算出部２１は、較正部１９で較正された第１画像及び第２画像の入力を受ける（ステップＳ１０１）。これらの画像は、第２記憶部１８に格納される。第２算出部２１は、第２記憶部１８に格納された第１画像及び第２画像から、以下の処理で必要となる画像の一部分を順次取得して使用する。

次に、第２算出部２１は、第２画像を縦横に画素が配列された矩形のブロックに分割する（Ｓ１０２）。分割は、第２画像全体に対して行ってよい。画像の上部及び下部について視差を算出しない場合、分割は、視差を算出しない画像の領域を除いた部分に対して行ってよい。第２算出部２１は、第２記憶部１８からブロックに相当する一部分を取得する処理を、分割する処理に変えることができる。第２画像を分割するブロックの大きさは、予め所定の大きさに決めておくことができる。ブロックの大きさとしては、例えば、３×３ピクセル、５×５ピクセル、または、９×９ピクセル等とすることができる。ブロックの大きさは、例えば３×５ピクセル、５×３ピクセル、５×９ピクセル、９×５ピクセル等の縦横が異なるピクセルを採用してよい。ブロックの大きさが小さいと、第２算出部２１による視差算出は、使用される情報量が少なくなることにより精度の劣化が懸念される。ブロックの大きさが大きくなると、第２算出部２１による視差算出は、同一のブロック内に視差の異なる被写体物が混在する可能性が高くなることにより精度の劣化が懸念される。ブロックの大きさとしては、３×３ピクセル以上１０×１０ピクセル未満としてよい。

次に、第２算出部２１は、１番目のブロックを選択し（ステップＳ１０３）、第１画像との１次元マッチングを行うことにより視差を算出する（ステップＳ１０４）。ここで、１番目のブロックとは、例えば、第２画像の最も左上のブロックである。一番目のブロックは、最も左上のブロックに限られず、任意のブロックを利用可能である。第２算出部２１は、第１画像うち、基線長方向に交わる方向におけるブロックの大きさに相当する数のラインの画像データを第２記憶部１８から取得する。例えば、ブロックの大きさを３×３ピクセルとするとき、第２算出部２１は、第２記憶部１８から第１画像と第２画像との最も上部に位置する基線長方向に沿った３ラインの画像データを取得する。第２算出部２１は、第２画像のブロックを左から順に基線長方向にシフトさせ、第１画像と１次元マッチングを行う。

次に、図４の１つのブロックの視差算出の手順を示すフローチャートを用いて、ブロックの視差の算出方法について説明する。

まず、第２算出部２１は、選択されたブロックに対応して、シフト量ｎを０、ピッチｐを１に設定する（ステップＳ２０１）。ここで、シフト量ｎは、第１画像の画素位置に対して、第２画像のブロックを水平方向である基線長方向にシフトさせたピクセル数を表す量である。また、ピッチｐは、第１画像上で現在のブロックの画素位置から次の画素位置へブロックをシフトさせる送り量の大きさを、ピクセルを単位として示す量である。すなわち、以降の処理において、シフト量ｎが０、ピッチｐが１であれば、第２算出部２１は、まず、第２画像のブロックの画素の輝度を第１画像上の同じ位置の画素の輝度と比較する。ブロックのシフト量ｎが０である位置を初期位置と呼ぶことがある。次に、第２算出部２１は、ピッチｐの大きさである１ピクセルシフトしてシフト量ｎを１とし、第２画像のブロックの画素の輝度を、１ピクセルずれた位置の第１画像の画素の輝度と比較する。このように、第２算出部２１は、ピッチｐの大きさだけ、順次ブロックを第１画像に対してシフトさせていく。

次に、第２算出部２１は、シフト量ｎが０の場合の評価値を算出して、現在の評価値の最小値とする（ステップＳ２０２）。評価値の計算には、評価関数としてＳＡＤ（Sum of Absolute Difference）が使用できる。この場合、第２算出部２１は、第２画像のブロックの各画素と、このブロックのシフト量ｎが０の場合において対応付けられた第１画像の画素について、輝度の差の絶対値を算出する。第２算出部２１は、算出した絶対値を、ブロックの全画素に渡って加算する。評価値が小さいほど、第２画像のブロックと第１画像とのマッチングが高いことを意味する。第２算出部２１は、ＳＡＤと別の評価関数を使用しうる。

図５Ａ及び図５Ｂを用いて、第２画像のブロックの第１画像へのマッチングをさらに説明する。まず、図５Ａに示すように、第２画像から分割されたブロックを３行３列の画素（Ｒ₁〜Ｒ₉）とする。本実施の形態では、被写体方向に見て右側に位置する第２のカメラ１１ｂが第２画像を出力するので、左側に位置する第１のカメラ１１ａの第１画像上では、第２のカメラ１１ｂで撮像されたものと同じ被写体物が、第２画像上より右側に位置する。このため、第２算出部２１は、第２画像のブロックと同じ大きさの３×３ピクセルの領域を、第１画像上で、第２画像のブロックと対応する位置から順次右方向にシフトさせる。これにより、第２算出部２１は、第１画像から３×３ピクセルの領域を順次抽出し、評価関数の計算を行う。言い換えれば、第２算出部２１は、第１画像上でブロックと等しい大きさのウィンドウＷを基線長方向にシフトさせ、ウィンドウＷ内の第１画像の画素の輝度と第２画像のブロックの画素の輝度との間でマッチングを行う。第２画像のブロックを基線長方向に順次シフトさせて１次元マッチングを行うとは、このようなマッチングを意味する。

図５Ｂは、シフト量ｎが７の場合を示している。このときの、ウィンドウＷ内の３行３列の画素をＣ₁〜Ｃ₉とするとき、評価値ＳＡＤは、次式により得られる。
ＳＡＤ＝Σ｜Ｒ_i−Ｃ_i｜（２）
ここで、Ｒ_i及びＣ_iは、それぞれ第２画像のブロックのｉ番目の画素の輝度、及び、第１画像のウィンドウＷ内のｉ番目の画素の輝度を示す。Σはｉ＝１〜９についての全ての総和をとることを意味する。

図４のフローチャートに戻り、以降の処理で第２算出部２１は、ピッチｐに応じてシフト量ｎを順次増加させて、評価値の算出を繰り返し行う。このとき、ピッチｐの大きさはシフト量ｎに応じて変化する（ステップＳ２０３）。ステップＳ２０３において予め定めた所定の値ｎ_t1，ｎ_t2，ｎ_max（ｎ_max＞ｎ_t2＞ｎ_t1）に対して、ｎ＜ｎ_t1の場合、第２算出部２１は、ピッチｐを１のままとする。ｎ_t1≦ｎ＜ｎ_t2の場合、第２算出部２１は、ピッチｐを２とする（ステップＳ２０４）。ｎ_t2≦ｎ＜ｎ_maxの場合、第２算出部２１は、ピッチｐを３とする（ステップＳ２０５）。ｎ_max≦ｎの場合、第２算出部２１は、ブロックのマッチングを終了して視差を決定する（ステップＳ２０６）。ここで、ｎ_maxは、第２画像のブロックをシフトさせる最大値であり、ステレオ画像で算出できる最小の距離に対応する。ｎ_maxは、例えば５０〜１００ピクセル程度に設定することができる。シフト量ｎに対して、予め定めた所定の値はｎ_t1，ｎ_t2，ｎ_maxの３つに限られない。

なお、ブロックをシフトさせるピッチｐの大きさは、ブロックの基線長方向の幅以下とすることができる。ブロックの大きさが３×３ピクセルの場合、ピッチｐの大きさは最大でも３ピクセルである。この場合、ピッチｐの大きさが３ピクセルよりも大きいと、評価値の最小値が正しく算出されない可能性が高くなる。

ステップＳ２０３で、ステップＳ２０６に分岐するｎ_max≦ｎの場合を除いて、第２算出部２１はシフト量ｎをピッチｐだけ増加させる（ステップＳ２０７）。すなわち、第２算出部２１は、第２画像のブロックを第１画像に対して、さらにピッチｐだけシフトさせる。そして、第２算出部２１は、シフト後の第２画像のブロックと第１画像との間で評価値を再び算出する（ステップＳ２０８）。

算出された評価値が、その時点の評価値の最小値よりも小さい場合（ステップＳ２０９）、第２算出部２１は、評価値の最小値を新たに算出された評価値に更新する。さらに、この評価値の最小値に対応するシフト量ｎを記憶する（ステップＳ２１０）。評価値が、その時点の評価値の最小値よりも大きい場合、第２算出部２１は、そのままステップＳ２０３に戻り、以下、ｎ≧ｎ_maxとなるまで、ステップＳ２０３〜Ｓ２０９の処理を繰り返す。

一方、ステップＳ２０３において、ｎ_max≦ｎとなった場合、第２算出部２１は、評価値の最小値に対応するシフト量ｎを当該ブロックの有する視差として決定する（ステップＳ２０６）。

次に、図３のフローチャートに戻り、第２算出部２１は、ステップＳ２０６で決定された視差を、第２記憶部１８に格納する（ステップＳ１０５）。第２算出部２１は、２番目以降の全てのブロックの視差を算出するまで（ステップＳ１０６）、第２画像から分割したブロックを順次選択して（ステップＳ１０７）視差の算出を繰り返す（ステップＳ１０４）。

この処理は、まず第２画像の１番目のブロックから右側にブロックを順次選択し、最初の３ラインのマッチングを行う。次いで、第２算出部２１は、第２記憶部１８から第１画像及び第２画像の次のブロックの縦の画素数と等しい３ラインの画像データを取得する。この画像データに対して、第２算出部２１は、第２画像の左側から順に３×３ピクセルのブロックを選択し、第１画像に対してマッチングを行うことにより視差を算出する。以下同様にして、第２算出部２１は、第２記憶部１８から順次３ラインずつの画像データを取得して順次視差の算出を行う。

全てのブロックの視差の算出が終了すると（ステップＳ１０６）、第２算出部は、第１画像と第２画像との視差の算出手順を終了する。

全てのブロックの視差の算出が終了すると、第２算出部２１は、第２記憶部１８に格納した、全ブロックの視差情報を後段の処理のために出力する。例えば、ステレオカメラ装置１０は、視差の算出以外にステレオ画像から障害物の検出等の画像処理を行う画像処理部を有することができる。その場合、第２算出部２１は、画像処理部に対して、第２記憶部１８に格納した第１画像及び第２画像とともに、視差情報を出力する。画像処理部は、視差情報から被写体物迄の距離を示す距離画像を生成し、ステレオ画像内の被検出物の距離や、相対速度などを判定する。

第２算出部２１は、ステレオカメラ１１から第１画像及び第２画像の入力を受ける度に、上記視差検出手順を繰り返し実行する。したがって、第２算出部２１は、ステレオカメラ１１のフレームレートよりも速く、全ブロックの視差を算出する。

本実施の形態は、図４のフローチャートを用いて説明したように、シフト量ｎに応じて異なるピッチｐによりシフトさせている。また、本実施の形態ではピッチｐは、シフト量が小さい場合に比べて大きい場合の方を広くしている。

ここで、図６Ａ、図６Ｂ、図６Ｃの例を用いて第２算出部２１による評価値の算出方法を再び説明する。図６Ａ、図６Ｂ、図６Ｃは、視差算出（ディスパリティ計算）の方法を１次元に配列された画素の例を用いて説明する図である。シフト量ｎに対するピッチｐの値は、図４のフローチャートで示したものとは異なっている。

図６Ａは、説明のため第２画像のブロックを水平方向に配列された３画素に簡略化している。ブロックの各画素の輝度値は、図６Ａに数値で示すように１００、３０、８０となっている。また、ブロックの画素の輝度値の合計は、中央の画素の２段下に記載するように２１０となっている。一方、ｎ１〜ｎ１７は第１画像の画素を示している。各画素の１段下には、各画素の輝度値が示されている。また、第１画像の各画素の２段下には、その画素と左右の画素の合計３画素の輝度値の合計が示されている。例えば、ｎ６であれば、ｎ５からｎ７の輝度値２００，１００、３０の合計である３３０が、ｎ６の２段下に記載されている。さらに、第１画像の各画素の３段下には、ブロックの中央の画素がその画素の位置にシフトした場合の、ＳＡＤにより算出した評価値が記載されている。第２画像のブロックは、第１画像に対して左端から順次シフトして対比される。

図６Ｂに示すグラフの横軸は、第２画像のブロックの中央の画素と一致する第１画像の画素を表している。すなわち、ｎ２のときシフト量ｎは０ピクセル、ｎ３のときシフト量ｎは１ピクセル、ｎ４のときシフト量は２ピクセルであり、以下同様となっている。このグラフによれば、横軸がｎ７のとき、すなわち５ピクセルシフトしたとき評価値が最も小さくなるので、視差は５ピクセルとなる。

従来技術の例では、図６Ｂに示すように、ブロックをシフトさせるピッチは常に１ピクセルで、ブロックのシフト量によらず一定である。一方、ステレオ画像では、近距離ほど視差が大きく且つ視差の変化に対する距離の変化が小さい。また、遠距離ほど視差が小さく且つ視差の変化に対する距離の変化が大きい。このため、視差の大きい近距離側で、１次元マッチングを行うときの、ピッチｐを広くしても視差１ピクセル当たりの距離の分解能（ピクセル分解能）は、遠距離側に比べて劣化が少ない。そこで、図６Ｃの評価値算出は、１ピクセルずつのシフトと比較して、近距離側（シフト量が大きい側）で１次元マッチングを行うシフト量（以下、適宜「評価点」とも呼ぶ）を間引いて計算している。具体的には、図６Ｃでは、ｎ６，ｎ９，ｎ１０，ｎ１２，１３，ｎ１５，ｎ１６の計算が間引かれている。この例によれば、近距離側で１次元マッチングを行う評価点が間引かれても、ｎ７でＳＡＤの最小値が得られている。

なお、上記説明では、第２算出部２１は、ブロックを１ピクセルから数ピクセルずつずらすことによって、１次元マッチングを行い、評価値が最も小さくなるシフト量ｎを視差とした。しかし、第２算出部２１は、シフト量ｎと評価値の変化との関係から、補間により、１よりも小さい単位で評価値が最小となるシフト量を算出することができる。例えば、第２算出部２１は、評価値が最も小さくなるシフト量ｎに加え前後の評価点のシフト量と評価値のデータから、３点フィッティング等の手法により、サブピクセル単位でのシフト量を算出することができる。これにより、第２算出部２１は、より細かい単位での視差の算出を行うことができる。

次に、図７及び図８を用いて、本実施の形態によって視差算出に係る処理負荷の増大を抑えながら、近距離までの視差の測定が可能となることを説明する。

図７のグラフ上の点は、従来例に基づき、ＳＡＤによる評価を行う評価点を示す。図７に示される測定方法では、遠距離から２ｍ程度の近距離までを測定するために、一つのブロック毎に最大シフト量ｎ_max＝７０ピクセルまでのＳＡＤによる評価値の計算を行う。すなわち、この測定方法は、シフト量ｎを０から７０まで１ずつシフトさせてＳＡＤによる評価値を求める。ただし、視差０から３ピクセルに対応する距離は、このグラフの枠外となるため表示されていない。図７から、例えば、５ｍ以下の近距離側では、それよりも遠距離側に比べて１ピクセルの視差の変化に対する距離の変化が小さいことがわかる。

また、図７では、１０ｍ〜２０ｍの距離に対応するのは、７〜１４ピクセルの８つの評価点である。よって、１０〜２０ｍの距離範囲Ａでは、平均すると距離分解能は１．２ｍ程度となる。同様に、５ｍ〜１０ｍの距離範囲Ｂでは、約１５の評価点が対応しているので、距離分解能は約０．３ｍとなる。２ｍ〜５ｍの距離範囲Ｃでは、約４０の評価点が対応しているので、距離分解能は約０．０７５ｍとなる。車両用の用途において、近距離であっても数センチメートルオーダの距離分解能が必要とされることは少ない。したがって、２〜５ｍの距離範囲で分解能を低くしても、問題は生じにくい。

一方、複数の実施形態の一つに係る図８は、ピクセルのシフト量に応じてブロックをシフトさせるピッチｐを異ならせている。図８と図７とでは、視差と距離との関係を示す曲線は同じだが、ブロックをシフトさせ測定を行う評価点の数が異なっている。図８に示す方法によれば、図４のフローチャートにおいて、シフト量ｎに関するパラメータは、ｎ_t1＝１４、ｎ_t2＝５０、ｎ_max＝７０に設定される。すなわち、ブロックのシフト量ｎは、１４ピクセルまではピッチｐ＝１で１ピクセルずつシフトされ、１４ピクセルを超えるとピッチｐ＝２となり、２ピクセルずつシフトされる。さらに、５０ピクセルを超えるとピッチｐ＝３となり、３ピクセルずつシフトされ、７０ピクセルを超えたところで、１次元マッチングを終了する。その結果、１０〜２０ｍの距離範囲Ａでは、距離分解能は図７と等しく約１．２ｍである。さらに、５ｍ〜１０ｍの距離範囲Ｂでは７つの評価点が評価値計算の対象となるので、距離分解能は約０．７ｍとなる。また、２ｍ〜５ｍの距離範囲Ｃでは、１５の評価点に対して評価値計算を行うので、距離分解能は約０．２ｍとなる。

このように、近距離側で評価値を計算する評価点を間引いてピッチを大きくしても、近距離側の距離分解能は、それより遠距離側の距離分解能よりも高くなっているので、全体的な距離測定の精度には影響が少ない。さらに、ＳＡＤ関数による評価値計算を行った評価点の数、すなわち、異なるシフト量の数は３８となり、図7に示した従来例のように１ピクセルずつ７０ピクセルまでシフトさせた場合と比較して、計算量が５０％近く削減される。また、図７では、視差３８ピクセルの評価点は、約４ｍの距離に相当しているので、従来技術による図７の方法で約４ｍまでの近距離を測定する計算量で、本実施の形態の図８の例では約２ｍまでの近距離の測定が可能となっている。

以上説明したように、本実施の形態によれば、視差算出装置１２は、制御部１６の第２算出部２１の処理負荷を高めることなく近距離までの視差測定を可能とすることができる。また、視差算出装置１２は、一つ前の撮像フレームの画像を利用して、近距離被写体物の視差を算出する方式ではないので、一つ前の撮像状態や視差算出結果に関係なく、視差を得ることが可能である。本実施の形態の視差算出装置１２は、近距離の測定限界を変えずに、近距離側のピッチｐを広くすることによって、制御部１６の第２算出部２１の処理負荷を低減することも可能である。

上記のように、ブロックのシフト量ｎの大きさに応じて、ブロックをシフトさせるピッチｐを変更することに加え、第２算出部２１は視差の算出方法に他の要件を有することができる。複数の実施の形態の一つにおいて、第２算出部２１は、撮像したステレオ画像の上下方向（基線長方向に直交する方向）の位置に応じて、ブロックのシフト量ｎに最小値を設けてもよい。図９は、車両走行中に撮像される第１画像または第２画像のイメージを示す。水平走行中、図９中破線で示される高さ以下の部分Ｘ迄の距離が、例えば１０ｍ以内とわかっている場合、第２算出部２１は、部分Ｘのシフト量ｎの初期値をこれに合わせて設定しうる。具体的には、図４のフローチャートのステップＳ２０１において、第２算出部２１は、シフト量ｎの初期値に距離１０ｍの視差に相当するピクセル数を設定することができる。そのようなピクセル数は、図７、８の場合１５ピクセルとなっている。

このように、ステレオ画像の上下方向位置に応じて、シフト量の最小値を変えることによって、視差算出装置１２は、上記実施の形態の効果に加えて、さらに視差計算の計算量を削減することができる。

上述の実施の形態は代表的な例として説明したが、本発明は、上記実施の形態にのみ限定されるものではない。本発明の趣旨及び範囲内で、上述の実施の形態は、幾多の変形または変更が可能である。たとえば、ピッチｐの変更の仕方は例示である。ピッチｐは、図４のフローチャートのようにシフト量が所定値を超えた場合に１より大きい整数の定数とする必要は無い。例えば、第２算出部は、距離範囲によっては１ピクセルと２ピクセルのピッチｐを交互に繰り返すように設定してもよい。また、第２画像と第１画像との１次元マッチングに、第２算出部は、各画素の輝度を用いたが、各画素の色情報を用いてマッチングを行ってもよい。さらに、本発明は自動車等の車両用途に限られず、例えば、自動車以外の移動体や、監視カメラ、生産設備をモニターするカメラ装置、遠隔操作型のロボット等にも適用することができる。

１車両
１０ステレオカメラ装置
１１ステレオカメラ
１１ａ第１のカメラ
１１ｂ第２のカメラ
１２視差算出装置
１３路面
１４ａ，１４ｂ白線
１５入力部
１６制御部
１７第１記憶部
１８第２記憶部
１９較正部
２０第１算出部
２１第２算出部

Claims

第１画像及び第２画像を含むステレオ画像を取得する入力部と、
前記第２画像の一部であるブロックを初期位置から基線長方向に沿って順次シフトさせながら前記第１画像に対して順次マッチングを行うことにより視差を算出する制御部と、を備え、
前記制御部は、前記視差を算出する際に、前記第１画像に対してマッチングを行ったときに前記ブロックを前記初期位置からシフトさせているシフト量に応じて、当該ブロックを次にシフトさせるピッチを異ならせる視差算出装置。
前記ブロックをシフトさせるピッチは、該ブロックのシフト量が小さい場合に比べて大きい場合の方が長い請求項１に記載の視差算出装置。
前記制御部は、前記ブロックをシフトさせるピッチを、該ブロックの前記基線長方向の幅以下とすることを特徴とする請求項１または２に記載の視差算出装置。
前記制御部は、前記ブロックをシフトさせるシフト量の最小値を、前記ブロックの前記基線長方向に直交する方向の位置に応じて異ならせる請求項１から３の何れか一項に記載の視差算出装置。
前記制御部は、前記第２画像を複数の領域に分割し、
前記ブロックは、前記制御部が分割した複数の領域の１つである、請求項１から４の何れか一項に記載の視差算出装置。
ステレオカメラと、
前記ステレオカメラが撮像した第１画像及び第２画像を含むステレオ画像を取得する入力部、並びに、
前記第２画像の一部であるブロックを初期位置から基線長方向に沿って順次シフトさせながら前記第１画像に対して順次マッチングを行うことにより視差を算出する制御部を含み、
前記制御部は、前記視差を算出する際に、前記第１画像に対してマッチングを行ったときに前記ブロックを前記初期位置からシフトさせているシフト量に応じて、当該ブロックを次にシフトさせるピッチを異ならせる視差算出装置と、
を備えたステレオカメラ装置。
ステレオカメラ、並びに、
前記ステレオカメラが撮像した第１画像と第２画像とを含むステレオ画像を取得する入力部、及び、
前記第２画像の一部であるブロックを初期位置から基線長方向に沿って順次シフトさせながら前記第１画像に対して順次マッチングを行うことにより視差を算出する制御部を有し、
前記制御部は、前記視差を算出する際に、前記第１画像に対してマッチングを行ったときに前記ブロックを前記初期位置からシフトさせているシフト量に応じて、当該ブロックを次にシフトさせるピッチを異ならせる視差算出装置を含むステレオカメラ装置を備えた車両。
ステレオカメラによる第１画像及び第２画像を含むステレオ画像を取得するステップと、
前記第２画像の一部であるブロックを初期位置から基線長方向に沿って順次シフトさせながら前記第１画像に対して順次マッチングを行うことにより視差を算出するステップと、を含み、
前記視差を算出する際に、前記第１画像に対してマッチングを行ったときに前記ブロックを前記初期位置からシフトさせているシフト量に応じて、当該ブロックを次にシフトさせるピッチを異ならせる視差算出方法。