JP6121641B1

JP6121641B1 - 画像処理装置、ステレオカメラ装置、車両、及び画像処理方法

Info

Publication number: JP6121641B1
Application number: JP2017509077A
Authority: JP
Inventors: 知文小石; 修身井上
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2015-06-24
Filing date: 2016-06-24
Publication date: 2017-04-26
Anticipated expiration: 2036-06-24
Also published as: US20180165528A1; JPWO2016208200A1; EP3315905B1; WO2016208200A1; EP3315905A1; EP3315905A4; US10360462B2

Abstract

本開示の画像処理装置は、複数の撮像部１１Ｌ、１１Ｒによってそれぞれ撮像された第１の撮像画像１４Ｌおよび第２の撮像画像１４Ｒを取得する入力部１２と、第１の撮像画像１４Ｌの画素値と第２の撮像画像１４Ｒの画素値とに基づいて１次元マッチングを行うことにより視差を算出し、第１の撮像画像１４Ｌにおいて、視差が所定の範囲内である画素が連続している領域から１つ以上の第１の特徴点を抽出し、１つ以上の第１の特徴点と２次元マッチングすることにより、前記第１の特徴点それぞれに対応する第２の特徴点を抽出し、第１の特徴点の位置と第２の特徴点の位置とに基づいて撮像部１１Ｌを較正する制御部１３と、を備える。

Description

関連出願の相互参照

本出願は、２０１５年６月２４日に出願された日本国特許出願２０１５−１２６８１７号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。

本開示は、画像処理装置、ステレオカメラ装置、車両、及び画像処理方法に関する。

近年、複数のカメラによって物体や人物等の対象物を同時に撮像し、撮像画像を用いて三角測量の原理により対象物までの距離を測定するステレオカメラが知られている。例えば、このようなステレオカメラが車両に取り付けられた場合、車両の周辺に存在する対象物の存在を運転者に知らせることによって、安全な運転を支援している。

特開２００１−０８２９５５号公報

本開示の画像処理装置は、複数の撮像部を備えるステレオカメラを較正する画像処理装置であって、入力部と制御部とを含む。前記入力部は、前記複数の撮像部によってそれぞれ撮像された第１の撮像画像および第２の撮像画像を取得する。前記制御部は、前記第１の撮像画像の画素値と前記第２の撮像画像の画素値とに基づいて１次元マッチングを行うことにより視差を算出する。前記制御部は、前記第１の撮像画像において、視差が所定の範囲内である画素が連続している領域から１つ以上の第１の特徴点を抽出し、１つ以上の前記第１の特徴点を前記第２の撮像画像の画素と２次元マッチングすることにより、前記第１の特徴点それぞれに対応する第２の特徴点を抽出する。前記制御部は、前記第１の特徴点の位置と前記第２の特徴点の位置とに基づいて前記撮像部を較正する。

本開示のステレオカメラ装置は、複数の撮像部と、前記複数の撮像部を備えるステレオカメラを較正する画像処理装置とを含む。前記画像処理装置は、入力部と制御部とを含む。前記入力部は、前記複数の撮像部によってそれぞれ撮像された第１の撮像画像および第２の撮像画像の入力を受ける。前記制御部は、前記第１の撮像画像の画素値と前記第２の撮像画像の画素値とに基づいて１次元マッチングを行うことにより視差を算出する。前記制御部は、前記第１の撮像画像において、視差が所定の範囲内である画素が連続している領域から１つ以上の第１の特徴点を抽出し、１つ以上の前記第１の特徴点を前記第２の撮像画像の画素と２次元マッチングすることにより、前記第１の特徴点それぞれに対応する第２の特徴点を抽出する。前記制御部は、前記第１の特徴点の位置と前記第２の特徴点の位置とに基づいて前記撮像部を較正する。

本開示の車両は、ステレオカメラ装置を含む。前記ステレオカメラ装置は、複数の撮像部と、前記複数の撮像部を備えるステレオカメラを較正する画像処理装置とを含む。前記画像処理装置は、入力部と制御部とを含む。前記入力部は、前記複数の撮像部によってそれぞれ撮像された第１の撮像画像および第２の撮像画像の入力を受ける。前記入力部は、前記第１の撮像画像の画素値と、前記第２の撮像画像の画素値とに基づいて１次元マッチングを行うことにより視差を算出する。前記制御部は、前記第１の撮像画像において、視差が所定の範囲内である画素が連続している領域から１つ以上の第１の特徴点を抽出し、１つ以上の前記第１の特徴点を前記第２の撮像画像の画素と２次元マッチングすることにより、前記第１の特徴点それぞれに対応する第２の特徴点を抽出する。前記制御部は、前記第１の特徴点の位置と前記第２の特徴点の位置とに基づいて、前記撮像部を較正する。

本開示の画像処理方法は、複数の撮像部を備えるステレオカメラを較正する画像処理装置の画像処理方法である、前記画像処理方法は、前記画像処理装置の制御部が、前記複数の撮像部のうち第１の撮像部によって撮像された第１の撮像画像の画素値と、前記複数の撮像部のうち前記第１の撮像部とは異なる第２の撮像部によって撮像された第２の撮像画像の画素値とに基づいて１次元マッチングを行うことにより視差を算出することを含む。前記画像処理方法は、前記第１の撮像画像において、視差が所定の範囲内である画素が連続している領域から１つ以上の第１の特徴点を抽出し、１つ以上の前記第１の特徴点を前記第２の撮像画像の画素と２次元マッチングすることにより、前記第１の特徴点それぞれに対応する第２の特徴点を抽出することを含む。前記画像処理方法は、前記第１の特徴点の位置と前記第２の特徴点の位置とに基づいて、前記撮像部を較正することを含む。

本実施形態の画像処理装置を含むステレオカメラ装置の斜視図である。図１に示すステレオカメラ装置を設置した車両の側面図である。図１に示すステレオカメラ装置の構成図である。図１に示す第１および第２の撮像部によってそれぞれ撮像された第１および第２の撮像画像、一次元の画素値の分布を示す図である。図４に示す第１の撮像画像の被写体領域を構成する画素の視差を示す概念図である。図１に示す画像処理装置の処理を示すフローチャートである。

ステレオカメラは、その周辺に存在する対象物までの距離を正確に利用者に知らせるために、複数のカメラから、該複数のカメラがそれぞれ撮像する対象物までの距離を正確に測定しなければならない。しかし、複数のカメラが基準からずれて設置されている場合、対象物までの距離を正確に測定することができない。

そのため、ステレオカメラから、基準領域内に撮像されている被写体までの、実空間における距離の最大出現頻度が規定値より大きい場合、基準領域がマッチングに適していると判断し、その基準領域を用いてカメラの水平性を正確に較正する較正方法がある。

この較正方法では、被写体までの距離の最大出現頻度に基づいてマッチングに適した基準領域を決定しているため、距離の分布を示すヒストグラムを生成する必要があり、その処理に時間がかかることがある。また、出現頻度が最大となる距離に係る部分が撮像されている基準領域内の位置が離散している場合、基準領域内にオクルージョンが含まれて正確にマッチングを行うことが困難であることがある。

本開示の画像処理装置においては、一次元マッチングすることにより視差を算出し、ステレオカメラによって撮像された第１の撮像画像上の第１の特徴点と２次元マッチングすることにより、第１の特徴点に対応する、第２の撮像画像上の第２の特徴点を抽出して撮像部を較正する。

以下、本開示の画像処理装置について、図面を参照して詳細に説明する。

図１に示すように、ステレオカメラ装置１は、互いに重ならない光軸をそれぞれ有する複数の撮像部１１Ｌ、１１Ｒと、画像処理部１０とを備える。以降の説明においては、画像処理部１０を画像処理装置ともいう。したがって、複数の撮像部１１Ｌ、１１Ｒによって同時にそれぞれ撮像された複数の画像は、互いに視差ｄを有する。

ここでの「同時」は、完全な同じ時刻に限られない。例えば、（i）複数のカメラが同時刻に撮像すること、（ii）複数のカメラが同じ信号に基づいて撮像すること、及び（iii）複数のカメラが各々の内部時計において同時刻に撮像することは、本開示における「同時」に撮影するに含まれる。撮像の時間基準には、撮像の開始時刻、撮像の終了時刻、撮像した画像データの送信時刻、及び画像データを相手機器が受信した時刻が含まれる。ステレオカメラ装置１は、１つの筐体に複数のカメラが含まれる機器であってよい。ステレオカメラ装置１は互いに独立し、且つ互いに離れて位置する２台以上のカメラを含む機器であってよい。ステレオカメラ装置１は、互いに独立した複数のカメラに限られない。本開示では、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラをステレオカメラ装置１として採用できる。

第１の撮像部１１Ｌ及び第２の撮像部１１Ｌは、固体撮像素子を含む。固体撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。第１の撮像部１１Ｌ及び第２の撮像部１１Ｌは、レンズ機構を含んでよい。第１の撮像部１１Ｌおよび第２の撮像部１１Ｒは、実空間を撮像し、それぞれ第１の撮像画像１４Ｌおよび第２の撮像画像１４Ｒを生成する。

複数の撮像部１１Ｌ、１１Ｒは、図２に示すように水平面に載置された車両１５において、各撮像部１１Ｌ、１１Ｒの光軸が互いに平行で、レンズ面および撮像面がそれぞれ同一平面上にあり、基線長の方向が水平となるように設置される。２つの撮像部１１Ｌ、１１Ｒが、このような正位置および正姿勢で設置された状態において、ステレオカメラ装置１は、該ステレオカメラ装置１から被写体までの距離を正確に測定することができる。以降においては、２つの撮像部１１Ｌ、１１Ｒのうち、被写体の反対側からステレオカメラ装置１を見て左側に設置された撮像部を第１の撮像部１１Ｌ、右側に設置された撮像部を第２の撮像部１１Ｒという。

本実施形態において、第１の撮像部１１Ｌ及び第２の撮像部１１Ｒは、車両１５のウインドシールドを介して車両１５の外部を撮像できる。本実施形態において、第１の撮像部１１Ｌ及び第２の撮像部１１Ｒは、車両１５のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール、及びボンネットのいずれかに固定されていてよい。

上記の「平行」は、厳密な平行に限られない。「平行」には、例えば、各撮像部１１Ｌ、１１Ｒの光軸が完全に平行な状態から互いにずれているような、略平行とみなせる状態が含まれるものとする。上記の「水平」は厳密な水平に限られない。「水平」には、基線長の方向が地平面の面方向と完全に平行な状態からずれているような、略水平とみなせる状態が含まれるものとする。

ここで、本開示における「車両」には、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば、「車両」には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、及び電動立ち乗り２輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモーターを含む電気機関を含むが、これに限られない。「車両」は、人力で走行するものを含む。なお、「車両」の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。

続いて、図３を参照して画像処理部１０の構成について説明する。図３に示すように、画像処理部１０は、入力部１２と、制御部１３とを備える。

入力部１２は、画像処理部１０へ画像データを入力する入力インタフェースである。入力部１２は、物理コネクタ、及び無線通信機が採用できる。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ ＲC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。

入力部１２には、第１の撮像部１１Ｌ及び第２の撮像部１１Ｒの各々が撮像した画像の画像データが入力される。入力部１２は入力された画像データを制御部１３に引き渡す。入力部１２への入力は、有線ケーブルを介した信号入力、及び無線接続を介した信号入力を含む。入力部１２は、ステレオカメラ装置１の撮像信号の伝送方式に対応してよい。

制御部１３は、一つまたは複数のプロセッサを含む。制御部１３もしくはプロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する１または複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサと独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部１３は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。

制御部１３は、入力部１２に入力された第１の撮像画像１４Ｌおよび第２の撮像画像１４Ｒに撮像されている被写体の、ステレオカメラ装置１からの実空間における距離を測定する。

ステレオカメラ装置１では、図１に示すような空間座標系において、制御部１３が、ステレオカメラ装置１から被写体までの距離を算出する。当該空間座標系は、任意の点を原点とし、基線長の方向をＸ軸、基線長に垂直で互いに垂直な２方向をそれぞれＹ軸およびＺ軸とする。第１の撮像部１１Ｌおよび第２の撮像部１１Ｒの光軸はＺ軸に平行であり、撮像面の行方向がＸ軸に平行であり、撮像面の列方向がＹ軸に平行である。当該空間座標系における、Ｘ軸周りの回転角をピッチ角φとし、Ｚ軸周りの回転角をロー角ωとする。

ステレオカメラ装置１では、両光軸がＺ軸に平行で、撮像面の列方向が基線長の方向に垂直なＹ軸に平行であることから、第１の撮像画像１４Ｌおよび第２の撮像画像１４Ｒにおける同一の被写体のスポット像の位置は行方向のみ異なる。そこで、ステレオカメラ装置１では、例えば３０ｆｐｓの高速で距離算出を行うために、第１の撮像画像１４Ｌおよび第２の撮像画像１４Ｒにおける同一の被写体のスポット像を対応付けるマッチングを、基線長に平行な方向、すなわちＸ軸方向に沿った１次元マッチングにより行う。

しかし、上述の１次元マッチングによるスポット像の対応付けの精度は、外部標定要素の中で、第２の撮像部１１Ｒに対する第１の撮像部１１Ｌの、Ｙ軸方向に沿った変位ΔＹが大きくなるほど、低下する。同様にして、１次元マッチングによるスポット像の対応付けの精度は、光軸のピッチ角φのずれΔφが大きくなる程、低下する。そこで、ステレオカメラ装置１は、以下に説明するように、第１の撮像画像１４Ｌおよび第２の撮像画像１４Ｒに基づいて、Ｙ軸方向の位置Ｙおよびピッチ角φの少なくとも一方について、第２の撮像部１１Ｒを基準とした第１の撮像部１１Ｌの較正を行う。

制御部１３は、第１の撮像画像１４Ｌおよび第２の撮像画像１４Ｒにおいて、各画素の位置の視差ｄを算出する。第１の撮像画像１４Ｌおよび第２の撮像画像１４Ｒの各画素の位置は、撮像面の行方向に平行なＵ軸および撮像面の列方向に平行なＶ軸を有する（ｕ，ｖ）の画像座標系で示される。制御部１３は、撮像面の行方向に沿った１次元マッチングにより視差ｄを算出する。具体的には、制御部１３は、第１の撮像画像１４Ｌにおける各ｖ座標でのＵ軸方向の一次元の画素値の分布と、第２の撮像画像１４Ｒにおける同一のｖ座標でのＵ軸方向の一次元での画素値の分布とを比較する。制御部１３は、２つの分布において対応する画素値を有する２つの画素の位置の差を視差ｄとして算出する。

ここで、視差ｄを算出する方法を詳細に説明する。制御部１３は、視差ｄを算出するＶ軸の定数を定める。ここで、制御部１３は、Ｖ軸がｖ₁であるときの視差ｄを算出することとする。制御部１３は、第１の撮像画像１４Ｌおよび第２の撮像画像１４Ｒにおいて、図４（１）および（２）にそれぞれ示すようなｖ＝ｖ₁の位置にある各画素の画素値を抽出する。第１の撮像画像１４Ｌおよび第２の撮像画像１４Ｒから抽出される画素値の分布は、例えば、図４（３）および（４）のように示される。制御部１３は、抽出された２つの画素値分布に基づいて、第１の撮像画像１４Ｌの画素と第２の撮像画像１４Ｒの画素とを一次元マッチングによって対応付ける。すなわち、制御部１３は、第１の撮像画像１４Ｌの画素が表すスポット像を表している、最も確からしい第２の撮像画像１４Ｒ上の画素を抽出して第１の撮像画像１４Ｌの画素と対応付ける。制御部１３は、対応付けられた第１の撮像画像１４Ｌの画素の位置（ｕ_L1，ｖ₁）と第２の撮像画像１４Ｒの画素（ｕ_R1，ｖ₁）との差を視差ｄ＝ｕ_L1−ｕ_R1として算出する。

制御部１３は、視差画像において隣接する画素の視差ｄとの差が所定の範囲内である視差ｄを有する画素が連続している領域を視差近似領域として特定する。視差画像とは、同時に撮像された異なる２つの撮像画像のそれぞれ同一のスポット像を表す画素のずれ量を示す画像である。本実施形態に示す例では、視差画像とは、第１の撮像画像１４Ｌの各画素に対応するスポット像と、第２の撮像画像１４Ｒ上での同一のスポット像の対応する画素のＵ軸方向のずれ量を示す画像である。

視差近似領域の特定処理について、図５に示す例を参照して説明する。図５は、図４（１）に示す被写体領域１６における視差ｄを示す概念図である。図５において各数字を囲む複数の四角の各々は、被写体領域１６における各画素に対応する。各画素の視差ｄは、該当する画素の位置に示している。図５の太線は、図４（１）の他の車両の光学像を構成する各画素に対応する。この太線で囲まれる画素に係る視差ｄは概ね７９〜８２の範囲内にある。視差ｄは、ステレオカメラ装置１からの距離に依って変化する。ステレオカメラ装置１から略同じ距離にある被写体は、視差ｄが略同じになる。第１の撮像画像１４Ｌおよび第２の撮像画像１４Ｒ上においてある程度の大きさを有する被写体はステレオカメラ装置１から略同じ距離にあり、当該被写体の光学像を示す画素における視差ｄはある程度の範囲内に含まれる。言い換えると、視差ｄが所定の範囲に収まる領域には、一塊の物体がある。本実施形態では、制御部１３は、視差ｄが所定の範囲内である画素が連続している領域を視差近似領域として特定する。

制御部１３は、視差近似領域から、１つ以上の第１の特徴点Ｐ₁を抽出する。第１の特徴点Ｐ₁とは、第１の撮像画像１４Ｌ上の特徴となる点、すなわち、画素に関する特徴量が所定の要件を満たす点である。例えば、第１の特徴点Ｐ₁は、輝度値の微分が所定値以上となるエッジの頂点である。

制御部１３は、第１の撮像画像１４Ｌから抽出した第１の特徴点Ｐ₁が、較正処理に用いるのに適しているか否かを判定する。第１の特徴点Ｐ₁が、例えば、線状エッジおよび繰り返しパターンのいずれかの少なくとも一部である場合に、当該第１の特徴点Ｐ₁に対応する第２の特徴点Ｐ₂のマッチングには誤りが生じやすい。そのため、制御部１３は、第１の特徴点Ｐ₁およびその近傍を含む領域が線状エッジ又は繰り返しパターンを含むか否かを判定する。第２の特徴点Ｐ₂とは、第１の特徴点Ｐ₁の特徴量から所定の範囲内にある特徴量を有する、第２の撮像画像１４Ｒ上の特徴点である。

第１の特徴点Ｐ₁が、線状エッジおよび繰り返しパターンのいずれかの少なくとも一部であると判定された場合、以降の処理において、当該第１の特徴点Ｐ₁を用いず、当該第１の特徴点Ｐ₁とは異なる第１の特徴点Ｐ₁を用いる。第１の特徴点Ｐ₁が、線状エッジおよび繰り返しパターンのいずれかの少なくとも一部でないと判定された場合、制御部１３は、従来公知の２次元のパターンマッチングの方法を用いて、第１の特徴点Ｐ₁に対応する第２の特徴点Ｐ₂を第２の撮像画像１４Ｒから探索して、抽出する。制御部１３は、補間等の方法を用いることによりサブピクセル精度で２次元のパターンマッチングを行う。

第２の撮像画像１４Ｒにおける、第２の特徴点Ｐ₂の探索の起点Ｐ_Sは、第１の特徴点Ｐ₁の位置（ｕ_L2，ｖ_L2）と同じ位置から視差ｄだけＵ軸方向にずれた位置（ｕ_L2＋ｄ，ｖ_L2）とする。制御部１３は、位置（ｕ_L2＋ｄ，ｖ_L2）を中心とする所定の大きさの範囲で第２の特徴点Ｐ₂を探索する。所定の大きさの範囲とは、例えば、起点ＰＳからＵ軸方向に１〜２画素までの範囲であって、かつ起点Ｐ_SからＶ軸方向に１〜２画素までの範囲である。

制御部１３は、抽出した第１の特徴点Ｐ₁の位置と第２の特徴点Ｐ₂の位置とに基づいて第２の撮像部１１Ｒを基準として第１の撮像部１１Ｌを較正する。

ここで、制御部１３が行う較正の具体的な例について説明する。

以下の具体例においては、更新する外部標定要素は、第１の撮像部１１Ｌの、基線長および光軸に垂直な方向の並進移動に対応する要素に定められている。基線長および光軸に垂直な方向の並進移動に対応する要素は、図１に例を示す空間座標系において、Ｙ軸方向である。空間座標系におけるＸ軸、Ｙ軸は、画像座標系におけるＵ軸、Ｖ軸とそれぞれ平行である。

上記のように抽出された第１の特徴点Ｐ₁の位置が画像座標（ｕ_L2，ｖ_L2）で表され、第２の特徴点Ｐ₂の位置が画像座標（ｕ_R2，ｖ_R2）で表される場合、制御部１３は、第２の撮像画像１４Ｒを基準として、第１の撮像画像１４Ｌの各位置がＶ軸方向にずれ量Δｖ＝ｖ_L2−ｖ_R2だけずれていると判定する。制御部１３は、画像座標系におけるずれ量Δｖに相当する空間座標系のずれ量ΔＹ_Lだけ第２の撮像部１１Ｒを基準として第１の撮像部１１Ｌがずれていると認識し、当該ずれ量ΔＹ_Lを用いて、第１の撮像部１１ＬのＹ軸方向の位置Ｙ_Lを更新する。更新する外部評定要素をＸ軸周りの回転角であるピッチ角φとした場合も、制御部１３は、同様の処理を行う。

次に、本実施形態に係る画像処理部１０が実行する処理について、図６に示すフローチャートを参照して説明する。制御部１３は、ステレオカメラ装置１の起動命令、停止命令、および較正制御の実効命令の少なくともいずれかを受信するときに、処理を開始する。

まず、入力部１２が、第１の撮像部１１Ｌおよび第２の撮像部１１Ｒによってそれぞれ生成された、第１の撮像画像１４Ｌおよび第２の撮像画像１４Ｒの入力を受ける（ステップＳ１）。

次に、制御部１３は、入力部１２に入力された第１の撮像画像１４Ｌの画素値と第２の撮像画像１４Ｒの画素値とに基づいて、一次元マッチングにより第１の撮像画像１４Ｌの各画素の、第２の撮像画像１４Ｒの対応する画素との視差ｄを算出する（ステップＳ２）。

続いて、制御部１３は、第１の撮像画像１４Ｌにおいて視差近似領域を特定する（ステップＳ３）。そして、制御部１３は、視差近似領域内から１つ以上の第１の特徴点Ｐ₁を探索して、抽出する（ステップＳ４）。制御部１３は、抽出された第１の特徴点Ｐ₁が、較正処理に用いるのに適しているか否かを判定する（ステップＳ５）。次に、制御部１３は、２次元のパターンマッチングの方法によって、較正処理に用いるのに適していると判定された第１の特徴点Ｐ₁に対応する第２の特徴点Ｐ₂を第２の撮像画像１４Ｒから探索し、抽出する（ステップＳ６）。第１の特徴点Ｐ１は、線状エッジおよび繰り返しパターンのいずれか少なくとも一部でない場合に、較正処理に用いるのに適していると判定される。

そして、制御部１３は、第１の特徴点Ｐ₁および第２の特徴点Ｐ₂に基づいて、第２の撮像部１１Ｒを基準として第１の撮像部１１Ｌを較正する（ステップＳ７）。

本実施形態の画像処理装置によれば、制御部１３は、１次元マッチングにより視差ｄを算出し、視差ｄの変動幅が所定の範囲内にある画素の連続する領域から第１の特徴点Ｐ₁を抽出する。したがって、制御部１３が２次元マッチングによって第１の撮像画像１４Ｌの全ての領域にわたって第１の特徴点Ｐ₁を探索する場合に比べて、高速に、第２の撮像部１１Ｒを基準として第１の撮像部１１Ｌを較正することが可能となる。視差近似領域を構成する画素にはノイズが含まれない可能性が高いため、制御部１３は、正確に第１の特徴点Ｐ₁を抽出することができる。したがって、制御部１３は、正確に較正を行うことが可能となる。

本実施形態の画像処理装置によれば、線状エッジおよび繰り返しパターンのいずれかの少なくとも一部である第１の特徴点Ｐ₁とは異なる第１の特徴点Ｐ₁に基づいて第２の特徴点Ｐ₂を抽出する。したがって、第１の特徴点Ｐ₁は、線状エッジの一部ではなく、かつ、繰り返しパターンの一部でもないため、第１の特徴点Ｐ₁に類似している特徴点が第１の撮像画像１４Ｌ内に含まれることが少ない。第１の撮像画像１４Ｌに対応する第２の撮像画像１４Ｒ内にも第１の特徴点Ｐ₁に対応する第２の特徴点Ｐ₂を除いては、第１の特徴点Ｐ₁に類似している特徴点が含まれることが少ない。したがって、第１の特徴点Ｐ₁に対応した第２の特徴点Ｐ₂を、第１の特徴点Ｐ₁に類似した他の特徴点と混同することなく、正確に判定することができる。

本実施形態の画像処理装置によれば、制御部１３は、第１の特徴点Ｐ₁の位置と当該位置の視差ｄとに基づいて、２次元マッチングの起点Ｐ_Sを決定するため、第２の特徴点Ｐ₂が存在する可能性が高い範囲で第２の特徴点Ｐ₂の探索することができる。したがって、制御部１３は、高速に第２の特徴点Ｐ₂を抽出することが可能となる。

本実施形態の画像処理装置によれば、制御部１３は、サブピクセル精度で２次元マッチングを行うため、第１の撮像部１１Ｌが第２の撮像部１１Ｒを基準として１画素分に満たないずれ量でずれた場合にも較正を行うことができる。すなわち、制御部１３は、高い精度で第２の撮像部１１Ｒを基準として第１の撮像部１１Ｌを較正することが可能となる。

以上、本実施形態について諸図面に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、種々の変形や修正は本開示の範囲に含まれることに留意されたい。

例えば、本実施形態において、制御部１３が、複数の第１の特徴点Ｐ₁を用いて、それぞれに対応する複数の第２の特徴点Ｐ₂を抽出てもよい。この場合、第１の撮像部１１Ｌのロー角ω_Lが、第２の撮像部１１Ｒのロー角ω_Rに対してずれた場合にも高精度に較正を行うことができる。

本実施形態において、制御部１３は、第２の撮像部１１Ｒを基準として第１の撮像部１１Ｌを較正したが、第１の撮像部１１Ｌを基準として第２の撮像部１１Ｒを較正してもよい。

本実施形態において、制御部１３は、第１の撮像画像１４Ｌから抽出された第１の特徴点Ｐ₁に基づいて、第２の特徴点Ｐ₂を抽出したが、第２の撮像画像１４Ｒから抽出された第２の特徴点Ｐ₂に基づいて、第１の特徴点Ｐ₁を抽出してもよい。

本実施形態において、ステレオカメラ装置１が画像処理部１０を備えているが、他の装置が画像処理部１０を備え、ステレオカメラ装置１の制御部１３が、他の装置から通信ネットワーク等を介して入力部１２に入力された第１の撮像画像１４Ｌおよび第２の撮像画像１４Ｒに基づいて較正を行う制御を行ってもよい。

１ステレオカメラ装置
１０画像処理部
１１Ｌ第１の撮像部
１１Ｒ第２の撮像部
１２入力部
１３制御部
１４Ｌ第１の撮像画像
１４Ｒ第２の撮像画像
１５車両
１６被写体領域

Claims

ステレオカメラの複数の撮像部によってそれぞれ撮像された第１の撮像画像および第２の撮像画像の入力を受ける入力部と、
前記第１の撮像画像の画素値と前記第２の撮像画像の画素値とに基づいて１次元マッチングを行うことにより視差を算出し、前記第１の撮像画像において、隣接する画素の視差との差が所定の範囲内である視差を有する画素が連続している領域から１つ以上の第１の特徴点を抽出し、１つ以上の前記第１の特徴点を前記第２の撮像画像の画素と２次元マッチングすることにより、前記第１の特徴点それぞれに対応する第２の特徴点を抽出し、前記第１の特徴点の位置と前記第２の特徴点の位置とに基づいて前記撮像部を較正する制御部と、
を備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
前記制御部は、１つ以上の前記第１の特徴点のうち、線状エッジおよび繰り返しパターンのいずれかの少なくとも一部である第１の特徴点とは異なる第１の特徴点に基づいて前記２次元マッチングを行うことを特徴とする画像処理装置。
請求項１又は２に記載の画像処理装置であって、
前記制御部は、前記第１の特徴点の位置と該位置の視差とに基づいて、前記２次元マッチングの起点を決定することを特徴とする画像処理装置。
請求項１乃至３のいずれか一項に記載の画像処理装置であって、
前記制御部は、サブピクセル精度で前記２次元マッチングを行うことを特徴とする画像処理装置。
請求項１乃至４のいずれか一項に記載の画像処理装置であって、
前記制御部は、前記第１の撮像画像から複数の前記第１の特徴点を抽出し、前記第２の撮像画像から前記第１の特徴点それぞれに対応する第２の特徴点を抽出し、複数の前記第１の特徴点の位置と、それぞれの前記第１の特徴点が対応する前記第２の特徴点の位置とに基づいて、前記撮像部を較正することを特徴とする画像処理装置。
請求項５に記載の画像処理装置であって、
前記制御部は、前記複数の前記第１の特徴点および前記第２の特徴点の位置に基づいて、ステレオカメラの姿勢を較正することを特徴とする画像処理装置。
複数の撮像部と、
前記複数の撮像部によってそれぞれ撮像された第１の撮像画像および第２の撮像画像をの入力を受ける入力部と、前記第１の撮像画像の画素値と前記第２の撮像画像の画素値とに基づいて１次元マッチングを行うことにより視差を算出し、前記第１の撮像画像において、視差が所定の範囲内である画素が連続している領域から１つ以上の第１の特徴点を抽出し、１つ以上の前記第１の特徴点を前記第２の撮像画像の画素と２次元マッチングすることにより、前記第１の特徴点それぞれに対応する第２の特徴点を抽出し、前記第１の特徴点の位置と前記第２の特徴点の位置とに基づいて前記撮像部を較正する制御部と、を有することを特徴とする画像処理装置と、
を備えることを特徴とするステレオカメラ装置。
複数の撮像部と、
前記複数の撮像部によってそれぞれ撮像された第１の撮像画像および第２の撮像画像の入力を受ける入力部と、前記第１の撮像画像の画素値と、前記第２の撮像画像の画素値とに基づいて１次元マッチングを行うことにより視差を算出し、前記第１の撮像画像において、視差が所定の範囲内である画素が連続している領域から１つ以上の第１の特徴点を抽出し、１つ以上の前記第１の特徴点を前記第２の撮像画像の画素と２次元マッチングすることにより、前記第１の特徴点それぞれに対応する第２の特徴点を抽出し、前記第１の特徴点の位置と前記第２の特徴点の位置とに基づいて、前記撮像部を較正する制御部と、を有するステレオカメラ装置と、
を備えることを特徴とする車両。
画像処理装置の制御部が、
複数の撮像部のうち第１の撮像部によって撮像された第１の撮像画像の画素値と、前記複数の撮像部のうち前記第１の撮像部とは異なる第２の撮像部によって撮像された第２の撮像画像の画素値とに基づいて１次元マッチングを行うことにより視差を算出するステップと、
前記第１の撮像画像において、視差が所定の範囲内である画素が連続している領域から１つ以上の第１の特徴点を抽出するステップと、
１つ以上の前記第１の特徴点を前記第２の撮像画像の画素と２次元マッチングすることにより、前記第１の特徴点それぞれに対応する第２の特徴点を抽出するステップと、
前記第１の特徴点の位置と前記第２の特徴点の位置とに基づいて、前記撮像部を較正するステップと、
を含むことを特徴とする画像処理方法。