JP6699902B2

JP6699902B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP6699902B2
Application number: JP2016253950A
Authority: JP
Inventors: 南羽小崎; 学西山
Original assignee: Toshiba Corp; Toshiba Electronic Devices and Storage Corp
Current assignee: Toshiba Corp; Toshiba Electronic Devices and Storage Corp
Priority date: 2016-12-27
Filing date: 2016-12-27
Publication date: 2020-05-27
Anticipated expiration: 2036-12-27
Also published as: EP3343511A1; US20180182078A1; JP2018107699A; CN108242044A; US10726528B2

Description

本発明の実施形態は、画像処理装置及び画像処理方法に関する。

従来より、ステレオカメラなど、２つのカメラを用いた画像処理システムがある。ステレオカメラは、視差を利用したステレオマッチングなどにより、物体までの距離の推定などが可能である。

しかし、このようなシステムにおいて、２つのカメラの、光学系やラインスキャン速度が互いに異なっていたりすると、距離の推定精度の低下などの問題がある。

例えば、２つのカメラにおいて、画角が互い異なっていたり、ローリングシャッターのようにライン毎の露光タイミングが異なっていたり、等する場合、実空間を撮像したときに、２つの画像間で画像の歪みが異なる。歪みが異なる２つの画像を用いて、ステレオマッチングなどを行うと、距離の推定精度が低下したり、ステレオマッチング処理が正しくできなくなる虞がある。

また、画像の歪みを検出するために、加速度センサなどを用いる技術も提案されているが、加速度センサなどを用いることは、コストの面から好ましくない。

特開２００６−１８６８８５号公報

そこで、実施形態は、画角若しくはラインスキャンの角速度が互いに異なる２つのカメラにより撮像して得られた２つの画像における歪みを検出可能な画像処理装置を提供することを目的とする。

実施形態の画像処理装置は、画角、若しくはラインスキャンの角速度が互いに異なる２つのカメラにより撮像された第１の画像と第２の画像において複数の特徴点を検出する特徴点検出部と、検出された前記複数の特徴点から、前記第１の画像と前記第２の画像間における複数の特徴点ペアを決定する特徴点ペア決定部と、前記第１の画像と前記第２の画像間の写像を示すパラメータを算出する写像パラメータ算出部と、前記第１パラメータから前記第１の画像及び前記第２の画像の歪みを示す第２パラメータを求める歪みパラメータ算出部と、を有する。

本実施形態に係わる画像処理装置のブロック図である。本実施形態に係わる画像処理装置が搭載される対象の例を示す図である。本実施形態に係わる、実空間に対するカメラＣ１とＣ２により撮像される領域を示す図である。本実施形態に係わる、広角用のカメラＣ１により得られた画像ＷＧと狭角用のカメラＣ２により得られた画像ＮＧの関係を示す図である。本実施形態に係わる、カメラＣ１とＣ２が撮像中に下方向へ撮像方向を変更したときの、カメラＣ１とＣ２により撮像される範囲を示す図である。本実施形態に係わる、カメラＣ１とＣ２が撮像中に下方向へ撮像方向を変更したときの、広角用のカメラＣ１により得られた画像ＷＧ１と狭角用のカメラＣ２により得られた画像ＮＧ１の例を示す図である。本実施形態に係わる、カメラＣ１とＣ２が撮像中に右方向に撮像方向を変更したときのカメラＣ１とＣ２により撮像される範囲を示す図である。本実施形態に係わる、カメラＣ１とＣ２が撮像中に右方向に撮像方向を変更したときの、広角用のカメラＣ１により得られた画像ＷＧ２と狭角用のカメラＣ２により得られた画像ＮＧ２の例を示す図である。本実施形態に係わる、画像処理装置１の処理の流れの例を示すフローチャートである。

以下、図面を参照して実施形態を説明する。

（第１の実施形態）
（構成）
図１は、本実施形態に係わる画像処理装置のブロック図である。
画像処理装置１は、各々が画像信号を受信するインターフェース回路（以下、Ｉ／Ｆと略す）１１及び１２、画像取得回路１３、中央処理装置（以下、ＣＰＵと略す）１４、ＤＲＡＭ１５、画像処理プロセッサ１６、パターンマッチング回路１７、ステレオマッチング回路１８、アフィン変換回路１９、及び出力用のＩ／Ｆ２０を含む。画像取得回路１３、ＣＰＵ１４、ＤＲＡＭ１５、画像処理プロセッサ１６、パターンマッチング回路１７、ステレオマッチング回路１８、アフィン変換回路１９、及びＩ／Ｆ２０は、バス２１に接続され、互いにデータの送受信が可能となっている。

画像処理装置１は、例えば自動車（以下、車という）などに搭載された２つのカメラＣ１、Ｃ２からの映像信号である画像信号を入力し、所定の画像認識処理を行って、認識結果情報を出力する半導体装置である。

Ｉ／Ｆ１１は、第１のカメラＣ１からシリアル伝送される画像信号を入力し、画像信号を画像取得回路１３へ出力する。
Ｉ／Ｆ１２は、第２のカメラＣ２からシリアル伝送される画像信号を入力し、画像信号を画像取得回路１３へ出力する。

画像取得回路１３は、ＣＰＵ１４による制御の下、Ｉ／Ｆ１１，１２から２つの画像信号を取得して、ＤＲＡＭ１５に格納する。
ＣＰＵ１４は、取得された２つの画像信号に対して所定の処理を施して所定の出力信号を出力するように、画像処理回路１内の各回路を制御する制御回路である。ＣＰＵ１４は、各種動作プログラムを格納するＲＯＭ、及び作業用のＲＡＭを含む。ＣＰＵ１４は、ＲＯＭに格納された所定のプログラムを実行することにより、画像処理全体の処理、及び後述するような連立方程式を解くなどの演算を行う。

ＤＲＡＭ１５は、２つの画像信号を格納したり、各回路の処理結果のデータを格納したりするための主メモリである。
なお、ここでは、ＤＲＡＭ１５は、画像処理装置１の半導体チップ内に含まれているが、画像処理装置１の半導体チップとは別のチップで、バス２１に接続されていてもよい。

画像処理プロセッサ１６は、特徴点検出回路１６ａ及び特徴点マッチング回路１６ｂを含む。特徴点検出回路１６ａは、ＣＰＵ１４による制御の下、各画像の特徴点を検出する。特徴点マッチング回路１６ｂは、ＣＰＵ１４による制御の下、２つの画像において、検出された特徴点のマッチングを行う。

パターンマッチング回路１７とステレオマッチング回路１８が、マッチング部として、画像処理装置１内に設けられている。
パターンマッチング回路１７は、所定の対象物を認識するための回路である。例えば人、車などの対象物を認識し、認識結果をＤＲＡＭ１５に出力する。パターンマッチング回路１７は、歪み補正された２つの画像に対して、パターンマッチングを行い、パターンマッチングの結果の情報を出力する。

ステレオマッチング回路１８は、得られた画像中の任意の点、あるいは認識された物体までのカメラＣ１，Ｃ２からの距離を演算して求める。ステレオマッチング回路１８は、歪み補正された２つの画像に対して、ステレオマッチングを行い、ステレオマッチングの結果の情報を出力する。

なお、本実施形態では、画像処理装置１は、パターンマッチング回路１７とステレオマッチング回路１８の両方を有しているが、パターンマッチング回路１７とステレオマッチング回路１８のいずれか１つを有していてもよい。

アフィン変換回路１９は、画像の歪みを除去するためのアフィン変換処理を実行する。
Ｉ／Ｆ２０は、他のシステムとのネットワーク（Ｎ／Ｗ）等に接続されている。Ｉ／Ｆ２０は、マッチング部のマッチング結果を出力する回路である。Ｉ／Ｆ２０を介して、人などの認識された対象の情報、認識された対象までの距離の情報が出力される。ネットワークには、車の制御装置が接続されている。車の制御装置は、画像処理装置１からの情報を用いて、車の制御を行う。

図２は、画像処理装置が搭載される対象の例を示す図である。
画像処理装置１は、ここでは車Ｘに、前方監視システムの一部として搭載される。車Ｘには、互いに画角が異なるカメラＣ１，Ｃ２が搭載され、そのカメラＣ１とＣ２からの画像信号が画像処理装置１に入力される。

カメラＣ１とＣ２は、互いに焦点距離及び画角が異なる光学系を有する。カメラＣ１は、画角θ１の第１の光学系を有し、カメラＣ２は、カメラＣ１の画角θ１よりも小さい画角θ２の第２の光学系を有する。

カメラＣ１は、車から近くの障害物、横からの人の飛び出しなどを検知するために用いられる。カメラＣ２は、遠方の所定の範囲を撮像するための光学系を有し、遠方の障害物などを検知するために用いられる。

以下、カメラＣ１によって得られる画像は、広角画像と、カメラＣ２によって得られる画像は、狭角画像ともいう。広角画像及び狭角画像の各々に対して、パターンマッチング処理により、障害物などの認識処理などが行われる。

さらに、カメラＣ１とＣ２の両方において撮像される領域では、ステレオ計測により物体までの距離の検出が可能となっている。広角画像及び狭角画像の重なる画像領域については、ステレオマッチング処理により、パターンマッチングにより認識された障害物などまでの距離が検出される。

各カメラＣ１，Ｃ２は、ＣＭＯＳイメージセンサなどのＸ−Ｙアドレス型の固体撮像素子を有し、ローリングシャッター方式で画像信号を出力する。
ローリングシャッター方式の撮像センサでは画素ラインごとに撮像のタイムラグがあることからパンニングにより撮影画像がせん断変形してしまう、チルティングにより撮影画像が縦に伸び縮みしてしまうなどの問題が生じる。これらの画像の歪みは通称ローリングシャッター歪みやフォーカルプレーン歪みなどと呼称される。

各カメラＣ１，Ｃ２の撮像素子は、複数の画素ラインを有する。カメラＣ１が、撮像領域を画素ライン毎に次々に露光して広角画像を生成し、カメラＣ２が、カメラＣ１の撮像領域よりも狭い撮像領域を画素ライン毎に次々に露光して狭角画像を生成する。

各カメラＣ１、Ｃ２は、画素ラインに直交する方向に露光ラインを移動させるラインスキャンを行うことによって、実空間の撮像領域を撮像する。
例えば、２つのカメラＣ１とＣ２における撮像素子が同じタイプの撮像素子で、露光時間などのパラメータも同じであるとき、広角のカメラＣ１の方が、カメラＣ２よりも速い速度で露光ラインに対応する実空間が移動することになる。すなわち、カメラＣ１の撮像領域は、カメラＣ２の撮像領域よりも、速い速度で撮像される。

いわゆるヘテロステレオカメラであるカメラＣ１とＣ２により得られる画像には、レンズの歪曲収差による歪みと、ローリングシャッター歪みが含まれるが、以下、ローリングシャッター歪みについて説明する。

図３及び図４は、広角用のカメラＣ１と狭角用のカメラＣ２により撮像される範囲を説明するための図である。図３は、実空間に対するカメラＣ１とＣ２により撮像される領域を示す図である。

図３に示す実空間ＯＧにおいて、カメラＣ１は、実空間ＯＧ内の領域ＷＡを撮像し、カメラＣ２は、領域ＷＡ中の領域ＮＡを撮像するように、カメラＣ１とＣ２は、設置される。

図４は、画像ＷＧと画像ＮＧの関係を示す図である。画像ＷＧは、カメラＣ１により得られた領域ＷＡの画像であり、画像ＮＧは、カメラＣ２により得られた領域ＮＡの画像である。画像ＮＧは、カメラＣ１とは異なる視差で領域ＮＡを撮像して得られた画像である。

カメラＣ１とＣ２が搭載された車Ｘが走行中に上下方向に揺れたり、左あるいは右方向に進路を変更したりする場合がある。このとき、各カメラＣ１，Ｃ２により得られる画像において、ローリングシャッター歪みが発生する。

まず、カメラＣ１とＣ２が縦揺れした場合について説明する。図５は、カメラＣ１とＣ２が撮像中に下方向へ撮像方向を変更したときのカメラＣ１とＣ２により撮像される範囲を示す図である。図６は、カメラＣ１とＣ２が撮像中に下方向へ撮像方向を変更したときの、広角用のカメラＣ１により得られた画像ＷＧ１と狭角用のカメラＣ２により得られた画像ＮＧ１の例を示す図である。

例えば、車Ｘが縦に揺れると、カメラＣ１とＣ２はチルトして、撮像される領域は、上下方向に広がる。図５に示すように、カメラＣ１とＣ２は、それぞれ上下方向に伸びた領域ＷＡ１、ＮＡ１を撮像する。そのため、画像ＷＧ１とＮＧ１は、図６に示すように、被写体像が上下方向に圧縮され歪んだ画像となる。画像ＷＧ１と画像ＮＧ１では、画像が縦方向に縮む現象は共に現れるが、度合いは、互いに異なる。

また、カメラＣ１とＣ２が左右方向に撮像方向を変更した場合は、あたかもカメラＣ１とＣ２を左方向あるいは右方向にパンした場合と同じである。図７は、カメラＣ１とＣ２が撮像中に右方向に撮像方向を変更したときに撮像される範囲を示す図である。図８は、カメラＣ１とＣ２が撮像中に右方向に撮像方向を変更したときの、画像ＷＧ２と画像ＮＧ２の例を示す図である。

例えば、車Ｘが急ハンドルにより右方向へ曲がると、カメラＣ１とＣ２をパンしたようになるため、撮像される領域ＷＡ２、ＮＡ２にある被写体像は菱形に変形する。図７に示すように、カメラＣ１とＣ２は、右方向に移動しながら領域を撮像する。そのため、画像ＷＧ２とＮＧ２は、図８に示すように、被写体像が斜めに歪んだ画像となる。

図６や図８に示すような歪んだ画像に基づいて、物体認識のためのパターン認識をしたり、あるいは距離検出のためのステレオマッチングをしようとしても、認識あるいは検出において誤差が大きくなったり、認識あるいは検出ができなくなってしまうという問題が生じる。

そこで、本実施形態の画像処理装置は、これらの歪みを補正する補正パラメータを生成する。そして、画像処理装置は、その補正パラメータを用いて、歪んだ画像を補正して、ローリングシャッター歪みのない画像を生成することができる。ローリングシャッター歪みのない画像に基づいて、パターンマッチングあるいはステレオマッチングを行うので、認識あるいは検出において誤差が大きくなることなく、認識あるいは検出ができなくなってしまうこともなくなる。
（画像処理の説明）
ある点から見える実空間におけるＰ点の位置を（ｘ、ｙ）とする。点ＰがカメラＣ１の画像上において写像されたＰ_ｗ点の位置を（ｘ_ｗ、ｙ_ｗ）とするとき、点Ｐと点Ｐ_ｗの座標変換式は、次のアフィン変換の式（１）となる。

ここで、Ａ_ｗは、ローリングシャッター歪みに対応する変換行列である。ｓは、せん断変形の強さを表すパラメータであり、ｔは、縦方向、すなわちラインスキャン方向の伸び縮みの強さを表すパラメータである。また、ｃ１は、ｘ軸方向における平行移動量値であり、ｃ２は、ｙ軸方向における平行移動量値である。なお、ｃ１、ｃ２は、０でもよい。

同様に、点ＰがカメラＣ２の画像上において写像されたＰ_ｎ点の位置を（ｘ_ｎ、ｙ_ｎ）とするとき、点Ｐと点Ｐ_ｎの座標変換式は、次のアフィン変換の式（２）となる。

ここで、Ｃは、カメラＣ１，Ｃ２の撮像素子の分解能の違いに対応するための変換行列であり、Ａ_ｎは、ローリングシャッター歪みに対応するための変換行列である。また、ｃ３は、ｘ軸方向における平行移動量値であり、ｃ４は、ｙ軸方向における平行移動量値である。なお、ｃ３、ｃ４は、０でもよい。

ｒ_ｗは、水平方向における、カメラＣ２に対するカメラＣ１の空間分解能の比であり、ｒ_ｈは、垂直方向における、カメラＣ２に対するカメラＣ１の空間分解能の比である。

空間分解能とは、ここでは、１画素当たりの画角である。カメラＣ１とＣ２のイメージセンサの画素数（すなわち解像度）が同じである場合、画像全体の画角（視野）が大きいカメラの方が、１画素が受け持つ角度が大きくなるため空間分解能としては大きい値となる。例えば、カメラＣ１の画角（視野）を１２０度、カメラＣ２の画角を６０度とし、撮像して得られる画素数が同じとすると、ｒ_ｗ、ｒ_ｈはともに２となる。

ｒ_ｌは、カメラＣ１とＣ２に同じ撮像素子を用い、露光時間などのパラメータを同じにした場合における、カメラＣ２に対するカメラＣ１の画角の比（θ１／θ２）であり、例えば、カメラＣ１の画角（視野）を１２０度、カメラＣ２の画角を６０度としたとき、２となる。

なお、ここでは、カメラＣ１，Ｃ２は画角が互いに異なるが、画角が同じ場合には、ｒ_ｌは、ラインごとに次々露光していくラインスキャンの角速度の比となる。すなわち、ｒ_ｌは、画素ラインに直交する方向におけるスキャン速度の比として、設定される。

ここで、点Ｐ_ｗ（ｘ_ｗ、ｙ_ｗ）と、点Ｐ_ｎ（ｘ_ｎ、ｙ_ｎ）との位置関係をアフィン変換による線形変換でモデル化すると、次の式（３）で表される。

ここで、Ｂは、変換行列である。式（３）はカメラＣ１とカメラＣ２により得られた２つの画像間の座標の関係を示している。なお、ここでは、行列Ｂ中のいくつかの成分が０又は１に設定されているが、これはパラメータの数を減らすことで解を安定的に求めるためであり、これらの値は、０又は１でなくてもよい。

この行列Ｂの各成分の値は、実際に撮影して得られた画像から求めることができる。
まず、広角画像と狭角画像に対して特徴点検出処理を行い、検出された特徴点の間でマッチングを行う。特徴点検出処理は、特徴点検出回路１６ａにより実行され、特徴点マッチング処理は、特徴点マッチング回路１６ｂにより実行される。

この特徴点検出および特徴点マッチングの手法としては高速で精度の高い手法が望ましく、例えば、ＡＫＡＺＥＦｅａｔｕｒｅＤｅｓｃｒｉｐｔｏｒを使用する。ＡＫＡＺＥＦｅａｔｕｒｅＤｅｓｃｒｉｐｔｏｒについては、“ＦａｓｔＥｘｐｌｉｃｉｔＤｉｆｆｕｓｉｏｎｆｏｒＡｃｃｅｌｅｒａｔｅｄＦｅａｔｕｒｅｉｎＮｏｎｌｉｎｅａｒＳｃａｌｅＳｐａｃｅｓ” Ａｌｃａｎｔａｒｉｌｌａｅｔａｌ．ＢｒｉｔｉｓｈＭａｃｈｉｎｅＶｉｓｉｏｎＣｏｎｆｅｒｅｎｃｅ（ＢＭＶＣ），Ｂｒｉｓｔｏｌ，ＵＫ，Ｓｅｐｔｅｍｂｅｒ２０１３に開示されている。なお、特徴点検出および特徴点マッチングの手法としては、これに限らず他の任意の手法を使用してもよい。

よって、特徴点検出回路１６ａ及び特徴点マッチング回路１６ｂを用いて、実際に撮像された２つの画像における特徴点を検出し、検出された複数の特徴点の位置情報を用いて、行列Ｂの複数の成分の値を求めることができる。

マッチングしたｉ（ｉは整数）番目の特徴点ペアの広角画像と狭角画像それぞれの座標を（ｘ_ｗｉ，ｙ_ｗｉ）、（ｘ_ｎｉ，ｙ_ｎｉ）とする。特徴点ペアがＮ個見つかっているとし、各ペアの座標値を式（３）に代入するとＮ個の方程式が導出される。

式（３）の場合、未知数は、Ｂ_００〜Ｂ_１２の６つであるので、６つの連立方程式を解くことにより、６つの未知数が算出できる。Ｎが多数あるときは、連立方程式を最小二乗法により解くことで、行列Ｂの各成分の値を決定することができる。
行列Ｂが求まると、広角画像と狭角画像の変換式を求めることができる。

なお、ここでは、行列Ｂは、特徴点検出と特徴点マッチングにより特徴点の位置を求め、複数の特徴点の位置情報を用いた広角画像と狭角画像の写像の関係式（３）の連立方程式を解くことによって、求められているが、他の手法により、求めてもよい。

例えば、Ｌｕｃａｓ−Ｋａｎａｄｅ法による繰り返し最適化法により、行列Ｂの各成分を求めてもよい。Ｌｕｃａｓ−Ｋａｎａｄｅ法については、“Ｐｙｒａｍｉｄａｌｉｍｐｌｅｔａｔｉｏｎｏｆｔｈｅａｆｆｉｎｅｌｕｃａｓｋａｎａｄｅｆｅａｔｕｒｅｔｒａｃｋｅｒｄｅｓｃｒｉｐｔｉｏｎｏｆｔｈｅａｌｇｏｒｉｔｈｍ”，Ｂｏｕｇｕｅｔ２００１に開示されている。
さらになお、行列Ｂの成分中、拡大・縮小とせん断変形のみに限定するパラメータ拘束を行って、行列Ｂの各成分を求めてもよい。

式（３）に、式（１）と（２）を代入すると、次の式（４）が得られ、式（５）が導出される。

未知数がｓ、ｔの２つであるのに対して、式（５）の左辺の第１行２列目と第２行２列目から合計２つの方程式が求まるので、その連立方程式を解くことによりｓ、ｔを求めることができる。ｓとｔは、それぞれ次の式（６）と（７）により表わされる。

推定されたｓ、ｔを用いることにより、式（１）と（２）のそれぞれにおけるローリングシャッター歪みを除去することができる。具体的には、歪み除去後の画像平面を用意し、その画像平面上のｘ_ｗ、ｙ_ｗ、ｘ_ｎ、ｙ_ｎを算出し、それらの位置の画素データを取得して歪み除去後の画像の座標ｘ、ｙに格納するという処理を、ｘ、ｙを少しずつ変えながら、各ｘ、ｙについて行うことにより、歪みのない広角画像と狭角画像を得ることができる。

（作用）
次に、画像処理装置１の動作について説明する。
図９は、画像処理装置１の処理の流れの例を示すフローチャートである。画像処理装置１の全体の制御は、ＣＰＵ１４が行う。
ＣＰＵ１４が、画像取得回路１３を制御して、広角画像と狭角画像を取得する（ステップ（以下、Ｓと略す）１）。広角画像と狭角画像の２つのフレーム画像信号は、画像取得回路１３からバス２１を介してＤＲＡM１５に格納される。

ＣＰＵ１４は、画像処理プロセッサ１６を制御して、各画像信号の特徴点の検出を行い（Ｓ２）、特徴点間のマッチングを行い、複数の特徴点ペアを決定する（Ｓ３）。
具体的には、２つの画像信号は、バス２１を介して画像処理プロセッサ１６に転送される。特徴点検出回路１６ａは、画像信号各々の特徴点の検出を行う（Ｓ２）。検出された複数の特徴点情報はバス２１を介してＤＲＡＭ１５に書き込まれる。特徴点マッチング回路１６ｂは、検出された複数の特徴点に対してマッチングを行う。特徴点マッチング回路１６ｂは、マッチングの結果から、２つの画像間における複数の特徴点ペアの決定処理を行う（Ｓ３）。検出された複数の特徴点ペア情報はバス２１を介してＤＲＡＭ１５に書き込まれる。

よって、Ｓ２の処理が、画角（若しくはラインスキャンの角速度）が互いに異なる２つのカメラにより撮像された第１の画像と第２の画像において複数の特徴点を検出する特徴点検出部を構成する。Ｓ３の処理が、検出された複数の特徴点から、第１の画像と第２の画像間における複数の特徴点ペアを決定する特徴点ペア決定部を構成する。

ＣＰＵ１４は、複数の特徴点ペアの座標に基づいた連立方程式から行列Ｂを算出する（Ｓ４）。ＣＰＵ１４は、その連立方程式を解くためのプログラムを実行して行列Ｂを算出する。具体的には、ＣＰＵ１４は、複数の特徴点ペアの座標を式（３）に代入して、得られた連立方程式を解き、行列Ｂの各成分を算出する。その結果、第１の画像と第２の画像間の写像パラメータである行列Ｂの各成分の値が得られる。よって、Ｓ４の処理は、第１の画像と第２の画像間の写像パラメータを算出する写像パラメータ算出部を構成する。

次に、ＣＰＵ１４は、ｓ、ｔを算出する（Ｓ５）。ＣＰＵ１４は、式（６）、（７）の演算を実行するためのプログラムを実行してｓ、ｔを算出する。すなわち、Ｓ５の処理が、算出された写像パラメータから第１の画像及び第２の画像の歪みを示すパラメータであるｓ、ｔを求める歪みパラメータ算出部を構成する。

そして、ＣＰＵ１４は、アフィン変換回路１９を制御して、算出されたｓ、ｔを用いて、２つの画像の歪みを除去する（Ｓ６）。具体的には、アフィン変換回路１９は、算出されたｓ、ｔと、式（１）と式（２）に基づいて補正パラメータを生成して、２つの画像の歪みを除去する。歪みのない画像データは、ＤＲＡＭ１５に書き込まれる。よって、ＣＰＵ１４とアフィン変換回路１９が、歪みを示すパラメータであるｓ、ｔを用いて、広角画像と狭角画像の歪みを除去する歪み除去部を構成する。

ＣＰＵ１４は、パターンマッチング処理を行い（Ｓ７）、パターンマッチングの情報を用いてステレオマッチング処理を行う（Ｓ８）。
具体的には、ＣＰＵ１４は、パターンマッチング回路１７を制御して、歪みのない２つの画像データのパターンマッチング処理を行う。広角画像及び狭角画像の各々に対して、パターンマッチング処理を行い、人、障害物などの認識処理が行われる。

ＣＰＵ１４は、ステレオマッチング回路１８を制御して、パターンマッチング処理の結果の一部を用いて、ステレオマッチング処理を行う。広角画像及び狭角画像の重なっている画像領域に対して、ステレオマッチング処理を行い、パターン認識された人、障害物などまでの距離検出処理が行われる。

ＣＰＵ１４は、マッチング情報を出力する（Ｓ９）。マッチング情報は、パターンマッチング処理の結果であるパターンマッチング情報及びステレオマッチング処理の結果であるステレオマッチング情報を含む。マッチング情報はＩ／Ｆ２０を介して出力される。すなわち、ＣＰＵ１４は、パターンマッチング情報及びステレオマッチング情報をＩ／Ｆ２０を介して、画像処理装置１とは別の、車の制御装置へ送信する。すなわち、ＣＰＵ１４は、障害物、人などの認識情報、及び認識された障害物などまでの距離情報を、車の制御装置へ送信する。

なお、ＣＰＵ１４は、マッチング情報を出力するとき、パターンマッチング情報及びステレオマッチング情報の少なくとも一方を出力するようにしてもよい。

車の制御装置は、歪みのない２つの画像を用いてパターンマッチング及びステレオマッチングにより得られた、より精度の高い認識情報及び検出情報を得ることができるので、より確実な車の制御を行うことができる。

以上のように、本実施形態によれば、画角若しくはラインスキャンの角速度が互いに異なる２つのカメラにより撮像して得られた画像における歪みを検出可能な画像処理装置及び画像処理方法を提供することができる。
また、画像の歪み量を検出するための加速度センサなどのハードウエアも必要としないでので、コストの上昇も抑制することができる。

なお、本実施形態では、２つのカメラの２つの画像における歪みを検出しているが、本実施形態は、３つ以上のカメラの３つ以上の画像における歪みを検出する場合にも適用することができる。例えば、３つの画像の場合、２つの画像間の歪みを検出し、その検出された歪みパラメータを基準に、残りの画像の歪みを検出することができる。

さらになお、本実施形態では、算出されたｓ、ｔを用いて画像の歪み除去処理（Ｓ６）を行っているが、ｓ、ｔのそれぞれの閾値を予め設定しておき、算出されたｓ、ｔの少なくとも１つあるいは両方が閾値以上のときは、歪み除去処理を実行しないでＳ６以降の処理を停止するようにしてもよい。すなわち、歪みを示すパラメータが所定の閾値以上のとき、歪み除去部であるアフィン変換回路１９は、第１の画像と第２の画像の歪みの除去を行わない。入力されるフレーム画像についてのｓ、ｔが閾値より小さくなったときに、Ｓ６以降の処理を行えばよい。

これは、ｓ、ｔが閾値以上である画像は、その後の画像処理には、不適切と考えられるからである。ｓ、ｔが閾値以上である画像は、歪みの除去処理を行っても品質が低下していることがあり、品質の低下している画像を活用して画像認識処理を実施すると認識精度の低下を招く虞がある。

よって、ｓ、ｔが閾値以上である画像に対して歪み除去処理及びマッチング処理を実行しないため、画像認識処理の精度低下を防ぐことができる。

また、本実施形態では、画像処理装置１において、歪みのない、広角画像と狭角画像が生成されているが、画像処理装置１とは別の制御回路、チップなどにより、Ｓ６の処理を行うようにしてもよい。

さらにまた、本実施形態では、画像処理装置１において、パターンマッチング処理とステレオマッチング処理が行われているが、画像処理装置１とは別の制御回路、チップなどで、Ｓ７、Ｓ８の少なくとも一方の処理を行うようにしてもよい。

よって、Ｓ６からＳ８の処理の少なくとも１つは、画像処理装置１とは別の制御回路、チップなどで行うようにしてもよい。Ｓ６からＳ８の処理の全てが、画像処理装置１とは別の制御回路、チップなどで行われる場合には、画像処理装置１は、ｓ、ｔの情報を出力するだけでもよい。その場合、画像処理装置１は、ローリングシャッター方式で撮像された画像の歪みを推定する装置となる。

また、本実施形態では、画像処理装置１は、車用の前方監視システムのための装置であるが、前方監視以外の用途にも適用可能であり、さらに車以外の用途で、ステレオビデオカメラ、ステレオデジタルスチルカメラなどにも適用可能である。

本明細書における各「部」は、実施形態の各機能に対応する概念的なもので、必ずしも特定のハードウエアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、以下、実施形態の各機能を有する仮想的回路ブロック（部）を想定して実施形態を説明した。また、本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の各ステップの全てあるいは一部をハードウエアにより実現してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１画像処理装置、１１、１２、インターフェース、１３画像取得回路、１４ＣＰＵ、１５ＤＲＡＭ、１６画像処理プロセッサ、１６ａ特徴点検出回路、１６ｂ特徴点マッチング回路、１７パターンマッチング回路、１８ステレオマッチング回路、１９アフィン変換回路、２０インターフェース、２１バス。

Claims

画角、若しくはラインスキャンの角速度が互いに異なる２つのカメラにより撮像された第１の画像と第２の画像において複数の特徴点を検出する特徴点検出部と、
検出された前記複数の特徴点から、前記第１の画像と前記第２の画像間における複数の特徴点ペアを決定する特徴点ペア決定部と、
前記第１の画像と前記第２の画像間の写像を示す第１パラメータを算出する写像パラメータ算出部と、
前記第１パラメータから前記第１の画像及び前記第２の画像の歪みを示す第２パラメータを求める歪みパラメータ算出部と、
を有する画像処理装置。
前記第１の画像は、第１の画角を有する第１の光学系により得られた画像であり、
前記第２の画像は、前記第１の画角とは異なる第２の光学系により得られた画像である請求項１に記載の画像処理装置。
前記第２パラメータは、せん断変形の強さを示すパラメータ及び前記ラインスキャン方向の伸び縮みの強さを表わすパラメータの少なくとも１つである請求項１又は２に記載の画像処理装置。
前記第２パラメータを用いて、前記第１の画像と前記第２の画像の歪みを除去する歪み除去部を有する請求項１から３のいずれか１つに記載の画像処理装置。
前記第１の画像と前記第２の画像に対するパターンマッチング及びステレオマッチングの少なくとも一方を行うマッチング部を有し、
前記マッチング部の前記パターンマッチング及び前記ステレオマッチングの前記少なくとも一方のマッチング結果を出力する請求項１から４のいずれか１つに記載の画像処理装置。
画角、若しくはラインスキャンの角速度が互いに異なる２つのカメラにより撮像された第１の画像と第２の画像において複数の特徴点を検出し、
検出された前記複数の特徴点から、前記第１の画像と前記第２の画像間における複数の特徴点ペアを決定し、
前記第１の画像と前記第２の画像間の写像を示す第１パラメータを算出し、
算出された前記第１パラメータから前記第１の画像及び前記第２の画像の歪みを示す第２パラメータを求める、
画像処理方法。