JPWO2017038395A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

第１の画像及びこの第１の画像の前に撮像された第２の画像の間で算出された複数のオプティカルフローを算出するオプティカルフロー算出回路（１０１）と、複数のオプティカルフローの各々を消失点方向ベクトル及び直交ベクトルに分解するベクトル分解回路（１０２）と、直交ベクトルの水平成分及び垂直成分の集計値を算出し、当該集計値に基づいて第１の画像の振動ブレ量を算出する振動ブレ量算出回路（１０３）と、振動ブレ量により、算出された複数のオプティカルフローを補正するオプティカルフロー開始点補正回路（１０４）と、補正された複数のオプティカルフローに基づいて第１の画像の消失点を算出する消失点算出回路（１０５）とを備える。

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に、連続して撮像される画像からオプティカルフローを算出する画像処理装置、画像処理方法及びプログラムに関する。

従来の画像処理装置として、画像中の点を中心とした放射状のオプティカルフローが生じている撮像画像に対して、その点を消失点として算出し、算出した消失点の位置を撮像画像の中心とするように画像の補正を行うものが知られている（例えば、特許文献１参照）。

特許第５３２１５４０号公報（段落０００９−００１０、段落００４４−００４７）

従来の画像処理装置は、撮像画像から得られるオプティカルフローが、撮像画像の消失点を中心として放射状に広がることを前提としている。このため、従来の画像処理装置では、オプティカルフローが消失点から放射状に広がる前提が覆らない、路面に沿った緩やかな車両のバウンドに対しては補正することが可能である。
しかしながら、オプティカルフローが消失点から放射状に広がらないような、路面の段差等で発生する車両の振動に対しては、従来の画像処理装置は、消失点の位置を算出することができず、画像に生じた振動ブレを補正することができない。

そこで、本発明は、画像の消失点からオプティカルフローが放射状に広がらないような振動が発生した場合でも、画像の消失点の位置を算出することができるようにすることを目的とする。

本発明の一態様に係る画像処理装置は、第１の画像及び当該第１の画像の前に撮像された第２の画像の間で複数のオプティカルフローを算出するオプティカルフロー算出部と、前記複数のオプティカルフローの各々を、前記複数のオプティカルフローの各々の起点と、前記第２の画像及び前記第２の画像の前に撮像された第３の画像の間で算出された複数のオプティカルフローに基づいて算出された前記第２の画像の消失点とを結んだ線分と平行な方向の消失点方向ベクトル、及び、当該平行な方向と直交する方向の直交ベクトルに分解するベクトル分解部と、前記直交ベクトルの水平成分及び垂直成分の集計値を算出し、当該集計値に基づいて前記第１の画像の振動ブレ量を算出する振動ブレ量算出部と、前記振動ブレ量により、前記第１の画像及び前記第２の画像の間で算出された複数のオプティカルフローを補正するオプティカルフロー補正部と、前記オプティカルフロー補正部で補正された複数のオプティカルフローに基づいて、前記第１の画像の消失点を算出する消失点算出部とを備えることを特徴とする。

本発明の一態様に係る画像処理方法は、第１の画像及び当該第１の画像の前に撮像された第２の画像の間で複数のオプティカルフローを算出し、前記複数のオプティカルフローの各々を、前記複数のオプティカルフローの各々の起点と、前記第２の画像及び前記第２の画像の前に撮像された第３の画像の間で算出された複数のオプティカルフローに基づいて算出された前記第２の画像の消失点と、を結んだ線分と平行な方向の消失点方向ベクトル、及び、当該平行な方向と直交する方向の直交ベクトルに分解し、前記直交ベクトルの水平成分及び垂直成分の集計値を算出し、当該集計値に基づいて前記第１の画像の振動ブレ量を算出し、前記振動ブレ量により、前記第１の画像及び前記第２の画像の間で算出された複数のオプティカルフローを補正し、前記補正された複数のオプティカルフローに基づいて、前記第１の画像の消失点を算出することを特徴とする。

本発明の一態様に係るプログラムは、コンピュータを、第１の画像及び当該第１の画像の前に撮像された第２の画像の間で複数のオプティカルフローを算出するオプティカルフロー算出部、前記複数のオプティカルフローの各々を、前記複数のオプティカルフローの各々の起点と、前記第２の画像及び前記第２の画像の前に撮像された第３の画像の間で算出された複数のオプティカルフローに基づいて算出された前記第２の画像の消失点と、を結んだ線分と平行な方向の消失点方向ベクトル、及び、当該平行な方向と直交する方向の直交ベクトルに分解するベクトル分解部、前記直交ベクトルの水平成分及び垂直成分の集計値を算出し、当該集計値に基づいて前記第１の画像の振動ブレ量を算出する振動ブレ量算出部、前記振動ブレ量により、前記第１の画像及び前記第２の画像の間で算出された複数のオプティカルフローを補正するオプティカルフロー補正部、及び、前記オプティカルフロー補正部で補正された複数のオプティカルフローに基づいて、前記第１の画像の消失点を算出する消失点算出部として機能させることを特徴とする。

本発明の一態様によれば、画像の振動ブレに応じてオプティカルフローを補正して、画像の消失点の位置を算出することができる。

実施の形態１に係る画像補正処理装置の構成を概略的に示すブロック図である。 実施の形態１における撮像画像の第１の例である。 実施の形態１における撮像画像の第２の例である。 実施の形態１において、オプティカルフローを分解したベクトルを示す概略図である。 実施の形態１において、ベクトルから垂直成分及び水平成分を特定する処理を説明するための概略図である。 実施の形態１における補正オプティカルフローを示す概略図である。 実施の形態２に係る画像補正処理装置の構成を概略的に示すブロック図である。 実施の形態１及び２に係る画像補正処理装置のハードウェア構成の一例を示す概略図である。

実施の形態１．
図１は、実施の形態１に係る画像処理装置としての画像補正処理装置１００の構成を概略的に示すブロック図である。
画像補正処理装置１００は、車両に搭載されるものであり、図示されていない撮像装置から撮像画像の入力を受ける。画像補正処理装置１００は、オプティカルフロー算出部としてのオプティカルフロー算出回路１０１と、ベクトル分解部としてのベクトル分解回路１０２と、振動ブレ量算出部としての振動ブレ量算出回路１０３と、オプティカルフロー補正部としてのオプティカルフロー開始点補正回路１０４と、消失点算出部としての消失点算出回路１０５と、振動ブレ補正部としての振動ブレ補正回路１０６とを有する。
なお、実施の形態１に係る画像処理方法は、画像補正処理装置１００により実行される方法である。

オプティカルフロー算出回路１０１は、入力された撮像画像（第１の画像又は第２の画像）及びこの撮像画像の前に撮像された撮像画像（第２の画像又は第３の画像）の間で複数のオプティカルフローを算出する。例えば、オプティカルフロー算出回路１０１は、入力された撮像画像中のＮ個（Ｎは２以上の整数）のオブジェクトの時間的な位置変化から当該オブジェクトのオプティカルフローＯＦ（Ｍ）を算出する。ここで、Ｍは、２以上の整数である。
オプティカルフローＯＦ（Ｍ）の算出方法については、公知の方法が採用されればよい。例えば、オプティカルフロー算出回路１０１は、ブロックマッチング法（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ ｍｅｔｈｏｄ）によりＭ個の特徴点を算出し、この特徴点の動きベクトルに基づいて、オプティカルフローＯＦ（Ｍ）を算出する。

図２は、車両に搭載された車載カメラで、片側１車線の凹凸のない左側通行道路を前方に進行しているときに撮像された撮像画像の例である。
道路の両脇には電柱１１０〜１１５が立っており、進行している車両の前方路面にはマンホールの蓋１１６がある。
図２には、本来、撮像画像には映っていないが、直前の撮像画像における電柱１１０Ｐ〜１１５Ｐの位置が図中のハッチングされた縦棒により示されている。また、図２には、本来、撮像画像には映っていないが、直前の撮像画像におけるマンホールの蓋１１６Ｐの位置も、ハッチングされた楕円により示されている。

図２における実線矢印は、撮像画像中のオブジェクトである電柱１１０〜１１５及びマンホールの蓋１１６のそれぞれについて、オプティカルフロー算出回路１０１で算出されたオプティカルフローＯＦ（１）〜ＯＦ（１３）を示している。
オプティカルフローＯＦ（１）〜ＯＦ（１３）の延長線は一点で交わり、オプティカルフローＯＦ（１）〜ＯＦ（１３）から、オプティカルフローＯＦ（１）〜ＯＦ（１３）の起点となる撮像画像の消失点ＶＰを導くことができる。

図３は、撮像時に、道路上に落ちていた物体に車両の前タイヤが乗り上げ、車両に縦方向の振動が発生した場合の撮像画像の例である。
図３においても電柱１１０〜１１５及びマンホールの蓋１１６が写されている。
さらに、図３においても、本来、撮像画像には映っていないが、物体に車両の前タイヤが乗り上げる直前の撮像画像における電柱１１０Ｐ〜１１５Ｐの位置が図中のハッチングされた縦棒により示されている。また、図３には、本来、撮像画像には映っていないが、物体に車両の前タイヤが乗り上げる直前の撮像画像におけるマンホールの蓋１１６Ｐの位置も図中のハッチングされた楕円により示されている。

図３における破線の矢印は、図２で説明した、車両振動が生じていない撮像画像におけるオプティカルフローＯＦ（１）＃〜ＯＦ（１３）＃であり、図中の実線矢印は、オプティカルフロー算出回路１０１で算出された、車両振動の影響が含まれるオプティカルフローＯＦ（１）〜ＯＦ（１３）を示している。
車両に縦方向の振動が発生したことにより、図３におけるオプティカルフローＯＦ（１）〜ＯＦ（１３）の延長線は、１点に収束しておらず、オプティカルフローＯＦ（１）〜ＯＦ（１３）からは消失点を導くことはできない。

図１に戻り、ベクトル分解回路１０２は、オプティカルフロー算出回路１０１から与えられるオプティカルフローＯＦ（Ｍ）の各々を、オプティカルフローＯＦ（Ｍ）の各々の開始点と、直前の撮像画像（第２の画像）の消失点ＶＰとを結んだ線分と平行な方向のベクトルＯＦｃ（Ｍ）と、ベクトルＯＦｃ（Ｍ）に対して直交する方向のベクトルＯＦｏ（Ｍ）に分解する。以下、ベクトルＯＦｃ（Ｍ）を消失点方向ベクトル、ベクトルＯＦｏ（Ｍ）を直交ベクトルともいう。直前の撮像画像（第２の画像）の消失点ＶＰは、直前の撮像画像の前に撮像された撮像画像（第３の画像）との間で算出された複数のオプティカルフローに基づいて算出される。

図４は、ベクトル分解回路１０２が、図３に示されているオプティカルフローＯＦ（ｉ）（ｉ＝１，７，１３）を分解したベクトルＯＦｃ（ｉ）及びベクトルＯＦｏ（ｉ）を示す概略図である。
図４に示されているように、ベクトル分解回路１０２は、図３においては撮像画像の消失点が判明していないため、オプティカルフローＯＦ（ｉ）を、オプティカルフローＯＦ（ｉ）の各々の開始点と、直前の撮像画像の消失点ＶＰとを結んだ線分と平行な方向のベクトルＯＦｃ（ｉ）と、ベクトルＯＦｃ（ｉ）に直交する方向のベクトルＯＦｏ（ｉ）とに分解している。
なお、オプティカルフローＯＦ（１３）については、ベクトルＯＦｃ（１３）に直交する方向の成分がないため、ベクトルＯＦｏ（１３）は、ゼロベクトルになっている。

車両が前方に進行し始めるときには、直前の撮像画像の消失点ＶＰの位置は分からないが、ベクトル分解回路１０２は、撮像画像の中心位置を消失点ＶＰとして処理を開始すればよい。また、ベクトル分解回路１０２は、車載カメラの取り付け位置及び取り付け方向から事前に決定された位置を消失点ＶＰとして処理を開始してもよい。

振動ブレ量算出回路１０３は、ベクトル分解回路１０２から与えられるベクトルＯＦｏ（Ｍ）から、画像水平方向の成分ＯＦｏｈ（Ｍ）と画像垂直方向の成分ＯＦｏｖ（Ｍ）とを特定する。また、振動ブレ量算出回路１０３は、ベクトル分解回路１０２から与えられるベクトルＯＦｃ（Ｍ）から、下記の式（１）及び式（２）に従い、画像の垂直振動ブレ量Ｓｖ及び水平振動ブレ量Ｓｈを算出する。ここでの「水平」は、撮像画像（画角）における水平方向であり、「垂直」は、撮像画像（画角）における垂直方向である。

Ｓｖ＝Σ｛ＯＦｏｖ（Ｍ）｝／ＣＮＴｖ （１）
ＣＮＴｖ＝Σ｛ＡＢＳ（ｃｏｓ（ＯＦｃ（Ｍ）の画角水平方向からの角度））｝

Ｓｈ＝Σ｛ＯＦｏｈ（Ｍ）｝／ＣＮＴｈ （２）
ＣＮＴｈ＝Σ｛ＡＢＳ（ｓｉｎ（ＯＦｃ（Ｍ）の画角水平方向からの角度））｝
式（１）に示されているように、垂直振動ブレ量Ｓｖは、ベクトルＯＦｏ（Ｍ）の垂直成分の集計値をベクトルＯＦｃ（Ｍ）の角度で重み付けしている。このため、垂直振動ブレ量Ｓｖは、ベクトルＯＦｏ（Ｍ）の垂直成分の集計値が大きくなるほど大きくなる。
また、式（２）に示されているように、水平振動ブレ量Ｓｈは、ベクトルＯＦｏ（Ｍ）の水平成分の集計値をベクトルＯＦｃ（Ｍ）の角度で重み付けしている。このため、水平振動ブレ量Ｓｈは、ベクトルＯＦｏ（Ｍ）の水平成分の集計値が大きくなるほど大きくなる。

図５は、振動ブレ量算出回路１０３において、図４に示されているベクトルＯＦｏ（１）から成分ＯＦｏｖ（１）及び成分ＯＦｏｈ（１）を特定する際の処理を説明するための概略図である。
振動ブレ量算出回路１０３は、ベクトルＯＦｏ（１）から、画像の垂直方向の成分ＯＦｏｖ（１）と画像の水平方向の成分ＯＦｏｈ（１）を特定している。

図１に戻り、振動ブレ量算出回路１０３が、画像の垂直振動ブレ量Ｓｖを、Ｍ個のオプティカルフローＯＦ（Ｍ）から分解されたベクトルＯＦｏ（Ｍ）の垂直成分ＯＦｏｖ（Ｍ）の単純な加算平均で算出すると、消失点の垂直方向に位置するオプティカルフローＯＦ（Ｍ）から求められる垂直成分ＯＦｏｖ（Ｍ）はその値が総じて小さいために、垂直方向のブレ量が小さくなってしまう。そこで、式（１）に示されているように、振動ブレ量算出回路１０３は、オプティカルフローＯＦ（Ｍ）から分解されたベクトルＯＦｃ（Ｍ）の画角水平方向からの角度の余弦（ｃｏｓ）で重み付けを行っている。これにより、振動ブレ量算出回路１０３は、消失点の垂直方向に位置するオプティカルフローＯＦ（Ｍ）よりも消失点の水平方向に位置するオプティカルフローＯＦ（Ｍ）の比率を大きくして、画像の垂直振動ブレ量Ｓｖを算出している。

また、振動ブレ量算出回路１０３が、画像の水平振動ブレ量Ｓｈを、Ｍ個のオプティカルフローＯＦ（Ｍ）から分解されたベクトルＯＦｏ（Ｍ）の水平成分ＯＦｏｈ（Ｍ）の単純な加算平均で算出すると、消失点の水平方向に位置するオプティカルフローＯＦ（Ｍ）の水平成分ＯＦｏｈ（Ｍ）はその値が総じて小さいために、水平方向のブレ量が小さくなってしまう。そこで、式（２）に示されているように、振動ブレ量算出回路１０３は、オプティカルフローＯＦ（Ｍ）から分解されたベクトルＯＦｃ（Ｍ）の画角水平方向からの角度の正弦（ｓｉｎ）で重み付け行っている。これにより、振動ブレ量算出回路１０３は、消失点の水平方向に位置するオプティカルフローＯＦ（Ｍ）よりも消失点の垂直方向に位置するオプティカルフローＯＦ（Ｍ）の比率を大きくして、画像の水平振動ブレ量Ｓｈを算出している。

このように画像の垂直振動ブレ量Ｓｖと水平振動ブレ量Ｓｈの算出において、オプティカルフローの消失点方向において分解されたベクトルＯＦｃ（Ｍ）の方向による重み付けを行うことで、振動ブレ量の算出精度が向上する。

オプティカルフロー開始点補正回路１０４は、オプティカルフロー算出回路１０１から与えられるオプティカルフローＯＦ（Ｍ）の各々を、振動ブレ量算出回路１０３から与えられる振動ブレ量により補正する。例えば、オプティカルフロー開始点補正回路１０４は、オプティカルフロー算出回路１０１から与えられるオプティカルフローＯＦ（Ｍ）の各々の開始点を、振動ブレ量算出回路１０３から与えられる水平振動ブレ量Ｓｈと垂直振動ブレ量Ｓｖ移動して得られる補正オプティカルフローＭＯＦ（Ｍ）を算出する。

図６は、オプティカルフローＯＦ（Ｍ）の各々の開始点を開始点補正ベクトル＝（水平振動ブレ量Ｓｈ、垂直振動ブレ量Ｓｖ）移動して得られる補正オプティカルフローＭＯＦ（Ｍ）を示す概略図である。

消失点算出回路１０５は、オプティカルフロー開始点補正回路１０４から与えられる補正オプティカルフローＭＯＦ（Ｍ）に基づいて、入力された撮像画像の消失点を算出する。例えば、消失点算出回路１０５は、オプティカルフロー開始点補正回路１０４から与えられる補正オプティカルフローＭＯＦ（Ｍ）の延長線上の交点を撮像画像の補正消失点ＭＶＰとして算出する。言い換えると、補正消失点ＭＶＰは、補正オプティカルフローＭＯＦ（Ｍ）の延長線が収束する点である。なお、補正オプティカルフローＭＯＦ（Ｍ）の延長線の交点が予め定められた範囲に集約している場合に、補正オプティカルフローＭＯＦ（Ｍ）の延長線がこの範囲内の点に収束しているもの、言い換えると、この範囲内の点で補正オプティカルフローＭＯＦ（Ｍ）の延長線が交差しているものとする。

次に、消失点算出回路１０５は、下記の式（３）に従い、直前の撮像画像における消失点ＶＰｐと補正消失点ＭＶＰとを線形補間して、消失点ＶＰを算出する。そして、消失点算出回路１０５は、算出された消失点ＶＰで直前の消失点ＶＰｐを置き換えることにより、消失点を更新する。式（３）において、Ｋは補間係数を意味し、予め定められているものとする。

ＶＰ＝ＶＰｐ×（１−Ｋ）＋ＭＶＰ×Ｋ （３）
Ｋ：０より大きく１未満の値

式（３）のように、時定数処理に相当する線形補間処理を適用することで、補正消失点ＭＶＰの位置と実際の消失点位置の間に生じた演算精度誤差の影響を低減させることができる。

振動ブレ補正回路１０６は、振動ブレ量算出回路１０３から与えられる振動ブレ量により、入力された撮像画像の振動ブレを補正する。
具体的には、振動ブレ補正回路１０６は、振動ブレ量算出回路１０３から与えられる水平振動ブレ量Ｓｈと垂直振動ブレ量Ｓｖとから、入力画像の振動ブレを補正するための補正値である振動ブレ補正量Ｖｉを算出する。
例えば、振動ブレ補正量をＶｉ＝（Ｖｉｘ，Ｖｉｙ）という２次元ベクトルで定義した場合、振動ブレ補正回路１０６は、入力された撮像画像のトリミング開始位置を左上隅（０，０）から（Ｖｉｘ，Ｖｉｙ）に変更すればよい。

振動ブレ補正回路１０６は、振動ブレ補正量Ｖｉが２次元ベクトルの場合、振動ブレ量算出回路１０３の出力である水平振動ブレ量Ｓｈと垂直振動ブレ量Ｓｖを用いて、例えば、下記の式（４）を用いて振動ブレ補正量Ｖｉを算出する。
式（４）において、補正係数Ｇ（Ｘ）は、Ｘが閾値ＴＨ１未満である場合は０であり、Ｘが閾値ＴＨ１以上かつ閾値ＴＨ２以下の範囲では０から単調増加して１に至り、Ｘが閾値ＴＨ２を超える範囲では１を維持する特性を有する。

Ｖｉ＝（Ｖｉｘ，Ｖｉｙ）
＝（Ｓｈ×Ｇ（｜Ｓｈ｜），Ｓｖ×Ｇ（｜Ｓｖ｜）） （４）
式（４）によれば、振動ブレ量の絶対値が予め定められた値よりも小さい場合には、入力画像の振動ブレが補正されないようになる。

カーブ等で消失点位置が緩やかに撮像画像の左端に遷移するような場合、消失点位置の緩やかな変動が振動ブレ補正量から除去できないと、振動ブレ補正によって、撮像画像の右端側に大きな画像欠損が生じることとなる。しかしながら、式（４）では、補正係数Ｇ（Ｘ）を乗じて振動ブレ補正量Ｖｉが算出されるため、閾値ＴＨ１、ＴＨ２の値を調整することで、消失点位置の緩やかな遷移を、振動ブレ補正量から除くことが可能となり、大きな画像欠損を生じない効果が得られる。
なお、閾値ＴＨ１及び閾値ＴＨ２は、このような効果が得られるように、予め定められていればよい。

振動ブレ補正回路１０６による振動ブレ補正量Ｖｉの算出は、補正係数Ｇ（Ｘ）を乗じる構成に限定する必要はなく、例えば、水平振動ブレ量Ｓｈと垂直振動ブレ量Ｓｖのそれぞれについて直前までの有限個の値で平滑化した値との差分を取るようにしてもよい。この場合にも、消失点位置の緩やかな遷移により生じる小さな振動ブレ量を、振動ブレ補正量から除くことが可能となり、同様に大きな画像欠損を生じない効果が得られる。

振動ブレ補正回路１０６による車両振動ブレ補正は、振動ブレ補正量Ｖｉに基づいて、入力画像全体の垂直方向移動と水平方向移動を基本とする。しかしながら、車両の振動ブレは、水平方向で発生する場合は少ないことから、振動ブレ補正回路１０６による車両振動ブレ補正は、入力画像全体の垂直方向移動のみに限定しても構わない。その場合、車両振動ブレ補正処理を簡易化することができる。

振動ブレ量算出回路１０３は、撮像画像の水平振動ブレ量Ｓｈと垂直振動ブレ量Ｓｖとを画像全体で算出しているが、このような例に限定されない。例えば、振動ブレ量算出回路１０３は、撮像画像を升目に分割し、分割領域毎のオプティカルフローから撮像画像の水平振動ブレ量と、垂直振動ブレ量を算出することで、撮像画像の回転方向のブレ量も算出することが可能となる。これにより、振動ブレ補正回路１０６において、撮像画像の回転方向のブレも補正することが可能となる。
例えば、車両の左の車輪のみが物体に乗り上げた場合、右の車輪の位置を回転軸とした回転が生じ、撮像画像の左端升目と右端升目で垂直方向のブレ量が異なることになる。
この場合、升目の垂直方向におけるブレ量により、撮像画像の回転量を算出することができる。ここで、撮像画像の水平升目の数が１０の場合を例にして説明する。撮像画像下端の左端升目の垂直ブレ量が１２で、右端に向かって徐々にブレ量が１ずつ減少し、撮像画像下端の右端升目の垂直ブレ量が３だったとすると、撮像画像下端の右端升目から更に右側へ３升先（撮像画像外に位置）の垂直ブレ量は０と考えることができる。振動ブレ量算出回路１０３は、この垂直ブレ量が０となる位置を撮像画像の回転軸として、回転量を算出する。
算出された回転量に基づいて、振動ブレ補正回路１０６が、回転と逆回転の処理を画像にかけることで、撮像画像の回転方向のブレ量を補正（修正）することができる。ここでは、簡易的に撮像画像下端の升目の垂直ブレ量だけから撮像画像の回転軸と回転量を算出する例を説明したが、実際には、撮像画像全体の全ての升目の垂直ブレ量と水平ブレ量から撮像画像の回転軸と回転量を求め、その逆回転を行うことで補正することができる。

ここで、実施の形態１に係る画像補正処理装置１００を車両前方の物体を撮像する撮像装置であるカメラに接続し、画像補正処理装置１００の後段に車両等の物体検出を行う情報処理装置である認識処理装置を接続した情報処理システムについて説明する。

画像補正処理装置１００は、現在の撮像画像から算出した複数のオプティカルフローと直前の撮像画像の消失点から撮像画像のブレ量を算出する構成を有する。このため、画像補正処理装置１００は、車両振動の影響により、現在の撮像画像のオプティカルフローが撮像画像の消失点から放射状にならない場合でも、車両振動による撮像画像の振動ブレを補正することができる。

画像補正処理装置１００は、車載カメラで撮像した撮像画像に生じている車両の振動ブレを補正することができるため、画像補正処理装置１００の後段に接続される認識処理装置は、画像補正処理装置１００から与えられる画像中の物体検出及び物体トラッキング精度を向上させることができる。

画像補正処理装置１００は、撮像画像から算出したオプティカルフローから車両振動による振動ブレ量を算出し、撮像画像の振動ブレを補正するため、車両振動ブレを検出するための加速度センサを必要とせずに、撮像画像の振動ブレ補正を行うことができる。このため、画像補正処理装置１００は、小型化、低省電力化及び低コスト化が可能である。また、車両の振動ブレを検出するために加速度センサが搭載されている場合であっても、画像補正処理装置１００は、加速度センサが故障しても、車両振動による撮像画像の振動ブレを補正することができる。このため、より安全な画像補正処理装置１００を提供することができる。

実施の形態２．
図７は、実施の形態２に係る画像補正処理装置２００の構成を概略的に示すブロック図である。
画像補正処理装置２００は、オプティカルフロー算出回路２０１と、ベクトル分解回路１０２と、振動ブレ量算出回路１０３と、オプティカルフロー開始点補正回路１０４と、消失点算出回路１０５と、振動ブレ補正回路２０６とを有する。
実施の形態２に係る画像補正処理装置２００は、オプティカルフロー算出回路２０１及び振動ブレ補正回路２０６を除いて、実施の形態１に係る画像補正処理装置１００と同様に構成されている。以下、実施の形態１とは異なるオプティカルフロー算出回路２０１及び振動ブレ補正回路２０６について説明する。
なお、実施の形態２に係る画像処理方法は、画像補正処理装置２００により実行される方法である。

オプティカルフロー算出回路２０１は、実施の形態１と同様に、入力された撮像画像中のＮ個（Ｎは２以上の整数）のオブジェクトの時間的な位置変化から当該オブジェクトのオプティカルフローＯＦ（Ｍ）を算出する。
また、オプティカルフロー算出回路２０１は、消失点判定部としての消失点判定回路２０１ａを有している。
消失点判定回路２０１ａは、算出されたオプティカルフローＯＦ（Ｍ）に基づいて、振動ブレが発生しているか否かを判断する。例えば、消失点判定回路２０１ａは、オプティカルフローＯＦ（Ｍ）の延長線の交点が、入力された撮像画像中の予め定められた一定サイズの領域内に集約されるか否かを判定する。言い換えると、消失点判定回路２０１ａは、算出されたオプティカルフローＯＦ（Ｍ）に基づいて、撮像画像の消失点を算出することができるか否かを判断する。
消失点判定回路２０１ａは、オプティカルフローＯＦ（Ｍ）の延長線の交点が予め定められた一定サイズの領域内に集約される場合、算出された何れかの交点が入力画像の消失点であると判定し、判定結果ＪＵＤ＝１を振動ブレ補正回路２０６に出力する。判定結果ＪＵＤ＝１は、消失点が算出されたこと、即ち、振動ブレが発生していないことを示す。
消失点判定回路２０１ａは、オプティカルフローの延長線の交点が予め定められた一定サイズの領域内に集約されない場合は、判定結果ＪＵＤ＝０を振動ブレ補正回路２０６に出力する。判定結果ＪＵＤ＝０は、消失点が算出されなかったこと、即ち、振動ブレが発生していることを示す。

振動ブレ補正回路２０６は、消失点判定回路２０１ａが消失点を算出することができると判断した場合には、撮像画像の振動ブレを補正しない。
例えば、振動ブレ補正回路２０６は、オプティカルフロー算出回路２０１から出力される判定結果ＪＵＤが「１」である場合、振動ブレ量算出回路１０３から振動ブレ量Ｓｈ、Ｓｖの値を「０」に読み替えて処理する。
一方、振動ブレ補正回路２０６は、オプティカルフロー算出回路２０１から出力される判定結果ＪＵＤが「０」である場合、実施の形態１と同様の処理を行う。

なお、消失点判定回路２０１ａが、振動ブレが発生していないと判断した場合に、オプティカルフロー算出回路２０１は、ベクトル分解回路１０２、振動ブレ量算出回路１０３、オプティカルフロー開始点補正回路１０４及び消失点算出回路１０５の演算を停止させてもよい。このような場合、演算量を削減できる効果が得られる。

以上に記載された実施の形態１及び２は、オプティカルフローの消失点を画像の振動ブレ補正に利用しているが、実施の形態は、このような例に限定されない。例えば、画像補正処理装置１００、２００の後段の処理部（図示せず）に、算出されたオプティカルフローの消失点を与えることで、この処理部は、算出されたオプティカルフローの消失点に基づいて、車両速度の検出、撮像画像内のオブジェクトまでの距離の検出、撮像画像内のオブジェクトの三次元における位置の検出、撮像画像内のオブジェクトの三次元における形状の検出、又は、撮像画像内の他の車両位置の検出等の処理を行うことができる。

以上に記載された実施の形態１及び２に係る画像補正処理装置１００、２００の各部は、単一回路、復号回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路で構成されているが、このような例に限定されない。
例えば、画像補正処理装置１００、２００の全部又は一部は、図８に示されているように、メモリ３０１に格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ３０２を備えるコンピュータ３００により実現されてもよい。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。

１００，２００ 画像補正処理装置、 １０１，２０１ オプティカルフロー算出回路、 ２０１ａ 消失点判定回路、 １０２ ベクトル分解回路、 １０３ 振動ブレ量算出回路、 １０４ オプティカルフロー開始点補正回路、 １０５ 消失点算出回路、 １０６，２０６ 振動ブレ補正回路、 ３００ コンピュータ、 ３０１ メモリ、 ３０２ プロセッサ。

Claims (9)

1. 第１の画像及び当該第１の画像の前に撮像された第２の画像の間で複数のオプティカルフローを算出するオプティカルフロー算出部と、
   前記複数のオプティカルフローの各々を、前記複数のオプティカルフローの各々の起点と、前記第２の画像及び前記第２の画像の前に撮像された第３の画像の間で算出された複数のオプティカルフローに基づいて算出された前記第２の画像の消失点とを結んだ線分と平行な方向の消失点方向ベクトル、及び、当該平行な方向と直交する方向の直交ベクトルに分解するベクトル分解部と、
   前記直交ベクトルの水平成分及び垂直成分の集計値を算出し、当該集計値に基づいて前記第１の画像の振動ブレ量を算出する振動ブレ量算出部と、
   前記振動ブレ量により、前記第１の画像及び前記第２の画像の間で算出された複数のオプティカルフローを補正するオプティカルフロー補正部と、
   前記オプティカルフロー補正部で補正された複数のオプティカルフローに基づいて、前記第１の画像の消失点を算出する消失点算出部とを備える
   ことを特徴とする画像処理装置。
2. 前記振動ブレ量により、前記第１の画像の振動ブレを補正する振動ブレ補正部をさらに備える
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記振動ブレ補正部は、前記振動ブレ量に基づいて、前記第１の画像の振動ブレを補正するための補正値を算出し、
   前記振動ブレ量の絶対値が予め定められた値よりも小さい場合には、前記第１の画像の振動ブレを補正しない
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記オプティカルフロー算出部で算出された複数のオプティカルフローに基づいて、前記第１の画像の消失点を算出することができるか否かを判断する消失点判定部をさらに備え、
   前記振動ブレ補正部は、前記消失点判定部が前記第１の画像の消失点を算出することができると判断した場合には、前記第１の画像の振動ブレを補正しない
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記振動ブレ量算出部は、前記直交ベクトルの水平成分の集計値を、前記消失点方向ベクトルの角度で重み付けすることで、水平方向の振動ブレ量を算出し、前記直交ベクトルの垂直成分の集計値を、前記消失点方向ベクトルの角度で重み付けすることで、垂直方向の振動ブレ量を算出する
   ことを特徴とする請求項１から４の何れか一項に記載の画像処理装置。
6. 前記オプティカルフロー補正部は、前記第１の画像及び前記第２の画像の間で算出された複数のオプティカルフローの開始点を、前記水平方向の振動ブレ量及び前記垂直方向の振動ブレ量に応じて移動させる
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記消失点算出部は、前記オプティカルフロー補正部で補正された複数のオプティカルフローの延長線が収束する補正消失点と、前記第２の画像の消失点との線形補間により、前記第１の画像の消失点を算出する
   ことを特徴とする請求項１から６の何れか一項に記載の画像処理装置。
8. 第１の画像及び当該第１の画像の前に撮像された第２の画像の間で複数のオプティカルフローを算出し、
   前記複数のオプティカルフローの各々を、前記複数のオプティカルフローの各々の起点と、前記第２の画像及び前記第２の画像の前に撮像された第３の画像の間で算出された複数のオプティカルフローに基づいて算出された前記第２の画像の消失点と、を結んだ線分と平行な方向の消失点方向ベクトル、及び、当該平行な方向と直交する方向の直交ベクトルに分解し、
   前記直交ベクトルの水平成分及び垂直成分の集計値を算出し、当該集計値に基づいて前記第１の画像の振動ブレ量を算出し、
   前記振動ブレ量により、前記第１の画像及び前記第２の画像の間で算出された複数のオプティカルフローを補正し、
   前記補正された複数のオプティカルフローに基づいて、前記第１の画像の消失点を算出する
   ことを特徴とする画像処理方法。
9. コンピュータを、
   第１の画像及び当該第１の画像の前に撮像された第２の画像の間で複数のオプティカルフローを算出するオプティカルフロー算出部、
   前記複数のオプティカルフローの各々を、前記複数のオプティカルフローの各々の起点と、前記第２の画像及び前記第２の画像の前に撮像された第３の画像の間で算出された複数のオプティカルフローに基づいて算出された前記第２の画像の消失点と、を結んだ線分と平行な方向の消失点方向ベクトル、及び、当該平行な方向と直交する方向の直交ベクトルに分解するベクトル分解部、
   前記直交ベクトルの水平成分及び垂直成分の集計値を算出し、当該集計値に基づいて前記第１の画像の振動ブレ量を算出する振動ブレ量算出部、
   前記振動ブレ量により、前記第１の画像及び前記第２の画像の間で算出された複数のオプティカルフローを補正するオプティカルフロー補正部、及び、
   前記オプティカルフロー補正部で補正された複数のオプティカルフローに基づいて、前記第１の画像の消失点を算出する消失点算出部として機能させるためのプログラム。

Images