JP4341705B2

JP4341705B2 - 車載画像処理装置

Info

Publication number: JP4341705B2
Application number: JP2007186089A
Authority: JP
Inventors: 英作阿久津
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2007-07-17
Filing date: 2007-07-17
Publication date: 2009-10-07
Anticipated expiration: 2027-07-17
Also published as: US8526681B2; CN101689291A; WO2009011458A1; CN101689291B; EP2178044A4; US20100172547A1; EP2178044A1; JP2009025901A

Description

本発明は、車載された画像処理装置に関するものである。

従来、車両走行を制御するために、車載されたカメラなどから得られた画像情報を利用する装置が知られている（例えば、特許文献１参照）。この装置は、画像処理範囲を限定し、限定した限定範囲に対象物が存在するように車両を制御する装置である。
特開平７−８９４４３号公報

しかしながら、従来の画像処理装置にあっては、画面上においてその対象物が大きく移動することから、対象物を追従するために比較的大きな画像領域を処理の対象とする必要があり、画像処理の負荷が大きくなる恐れがある。同様に、対象物の位置の変位から車両の運動量を検出する機能を備える場合も、比較的大きな画像領域を処理の対象とする必要がある。

そこで本発明は、このような技術課題を解決するためになされたものであって、自車両の運動量を算出するための画像処理を、算出する運動量の精度を保ちながら効率的に行える画像処理装置を提供することを目的とする。

すなわち、本発明に係る画像処理装置は、車両の周囲を画像情報として撮像する第１の撮像手段と、前記画像情報からなる画像領域の中心よりも周縁側の領域を特定領域とし、前記特定領域を複数抽出する特定領域抽出手段と、複数の前記特定領域内の画像情報に基づいて自車両の運動量を算出する運動量算出手段と、第１の撮像手段と比較して画角の大きさの小さい第２の撮像手段と、運動量取得手段によって取得した運動量を用いて第２の撮像手段で取得した画像を補正する第１の画像補正手段とを備えて構成される。

このように構成することで、撮像した画像情報からなる画像領域において、所定の特定領域のみを処理対象とすることができるため、効率的に画像処理を行うことができる。また、画像領域の中心側よりも撮像した対象物の位置の変化量が大きい周縁側の領域を特定領域として複数抽出するため、画像の縦方向及び横方向の変位を正確に把握して車両の運動量を算出することができる。よって、精度を保ちながら効率的に車両の運動量を算出することができる。また、このように構成することで、画角の異なる撮像手段から複数の画像を取得することができる。ここで、第２の撮像手段よりも画角の大きい第１の撮像手段（広角の撮像手段）によって撮像した画像は、第２の撮像手段（狭角の撮像手段）によって撮像した画像に比べて、撮像方向に対してより外側の画像情報を含んでいる。これにより、広角の撮像手段によって撮像した画像を用いて対象物の変位を検出することで、画像の変位を一層正確に把握することができる。このように、複数の画角の異なる撮像手段を備えた場合には、画角が一番大きい撮像手段によって撮像した画像を用いて車両の運動量を算出し、算出した車両の運動量を用いてその他の撮像手段によって撮像した画像の補正を行うことで、精度良く画像の補正を行うことができる。

ここで、画像処理装置において、前記領域抽出手段は、走行路が左側通行である場合には、前記画像領域の中心からみて左上の領域を第１の特定領域として抽出し、前記画像領域の中心からみて右下の領域を第２の特定領域として抽出することが好適である。

このように構成することで、走行路が左側通行の場合には、画像情報の全領域の中心からみて左上の領域と右下の領域を特定領域として抽出することができるため、進行方向左上に設置される道路標識や建物等、及び、進行方向右下に存在する白線や中央分離帯等、特徴点となる対象物を的確に特定領域内に収めることができる。

また、本発明に係る画像処理装置は、車両の周囲を画像情報として撮像する第１の撮像手段と、前記画像情報からなる画像領域の中心よりも周縁側の領域を特定領域とし、前記特定領域を複数抽出する特定領域抽出手段と、複数の前記特定領域内の画像情報に基づいて自車両の運動量を算出する運動量算出手段と、前記画像領域の中央の領域である中央領域を前記画像領域から抽出する中央領域抽出手段と、前記運動量取得手段によって取得した前記運動量を用いて前記中央領域抽出手段で抽出した中央領域の画像を補正する第２の画像補正手段とを備えて構成される。

このように構成することで、撮像した画像情報からなる画像領域において、所定の特定領域のみを処理対象とすることができるため、効率的に画像処理を行うことができる。また、画像領域の中心側よりも撮像した対象物の位置の変化量が大きい周縁側の領域を特定領域として複数抽出するため、画像の縦方向及び横方向の変位を正確に把握して車両の運動量を算出することができる。よって、精度を保ちながら効率的に車両の運動量を算出することができる。また、このように構成することで、画像情報の中央の領域である中央領域を抽出し、全体画像と中央領域の画像との２つ画像を取得することができる。これにより、画像領域の周縁側の特定領域から算出した運動量を用いて、中央領域の画像を補正することができる。中央領域の画像は、望遠の撮像手段（狭角の撮像手段）によって撮像した画像に対応し、周縁側の特定領域は、広角の撮像手段で撮像した画像に対応するため、撮像手段を２つ備える事無く一枚の画像を用いて望遠の画像処理の補正を精度良く行うことができる。
ここで、画像処理装置において、前記領域抽出手段は、走行路が左側通行である場合には、前記画像領域の中心からみて左上の領域を第１の特定領域として抽出し、前記画像領域の中心からみて右下の領域を第２の特定領域として抽出することが好適である。
このように構成することで、走行路が左側通行の場合には、画像情報の全領域の中心からみて左上の領域と右下の領域を特定領域として抽出することができるため、進行方向左上に設置される道路標識や建物等、及び、進行方向右下に存在する白線や中央分離帯等、特徴点となる対象物を的確に特定領域内に収めることができる。

本発明によれば、自車両の運動量を算出するための画像処理を、算出する運動量の精度を保ちながら効率的に行える。

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

（第１実施形態）
図１は本発明の第１実施形態に係る車載画像処理装置１の構成概要図である。本実施形態に係る車載画像処理装置１は、例えば画像情報から車両の運動量を取得して走行制御する運転支援システムに好適に用いられるものである。

図１に示すように、本実施形態に係る車載画像装置１は、情報取得部５０及びＥＣＵ１０を備えて構成される。ここで、ＥＣＵ（Electronic Control Unit）とは、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、および入出力インターフェイスなどを備えて構成されている。

情報取得部５０は、第１カメラ（第１の撮像手段）５１を備えている。第１カメラ５１は、車両周辺の画像情報を取得する画像センサを備えて構成される。画像センサとしては、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが用いられる。第１カメラ５１が取得する画素数は、例えば縦方向が４８０、横方向が６４０である。また、第１カメラ５１は、撮像した画像の画像情報をＥＣＵ１０へ出力する機能を有している。

ＥＣＵ１０は、画像間引き部１１、第１特定領域抽出部（特定領域抽出手段）１２、第２特定領域抽出部（特定領域抽出手段）１３、第１相関処理部１５、第２相関処理部１６、横方向変位検出部１８、縦方向変位検出部１９、運動量算出部（運動量算出手段）２０を備えている。

画像間引き部１１は、画像情報の画素数を間引きする機能を有している。画像間引き部１１は、第１カメラ５１から画像情報を入力し、入力した画像情報の画素数を間引きする機能を有している。例えば、画像情報の画素数が垂直方向に４８０である場合、画像の上側から数えて偶数番目に位置する画素を全て削除して２４０とする。また、画像間引き部１１は、画素数を間引いた画像情報を第１特定領域抽出部１２及び第２特定領域抽出部１３へ出力する機能を有している。なお、個々の車載画像処理装置において、必要に応じて水平方向の画素数を間引きしても良い。例えば、水平方向の画素数が６４０である場合、垂直方向の処理と同様の処理によって３２０としても良い。

第１特定領域抽出部１２は、車両の運動量を算出するために処理対象となる第１の領域を抽出する機能を有している。第１特定領域抽出部１２は、画像間引き部１１から画像情報を入力し、入力した画像情報の画像領域から第１特定領域（第１の特定領域）を抽出する。この第１特定領域は、画像全体の画像領域よりも小さい小領域であり、画像領域の中心よりも周縁側の領域から抽出される。例えば、左側通行の場合には、建物、道路標識、電柱又は木等、画像処理の特徴点となる対象物が現れやすい左上の領域から抽出する。また、第１特定領域抽出部１２は、抽出した第１特定領域の画像情報を第１相関処理部１５へ出力する機能を有している。

第２特定領域抽出部１３は、車両の運動量を算出するために処理対象となる第２の領域を抽出する機能を有している。第２特定領域抽出部１３は、画像間引き部１１から画像情報を入力し、入力した画像情報の画像領域から第２特定領域（第２の特定領域）を抽出する。この第２特定領域は、画像全体の画像領域よりも小さい小領域であり、画像領域の中心よりも周縁側の領域から抽出される。例えば、左側通行の場合には、白線、中央分離帯等、画像処理の特徴点となる対象物が現れやすい右下の領域から抽出する。このように、第２特定領域の位置は、第１特定領域の位置の座標、すなわち第１特定領域の縦方向及び横方向の座標と重ならないように取得することが好ましい。また、第２特定領域抽出部１３は、抽出した第２特定領域の画像情報を第２相関処理部１６へ出力する機能を有している。

第１相関処理部１５は、第１特定領域内に表示された特徴点を検出する機能を有している。第１相関処理部１５は、第１特定領域抽出部１２から第１特定領域の画像情報を所定の間隔で入力し、例えばオプティカルフロー処理によって第１特定領域の画像情報に表示された特徴点を探索して検出し、特徴点の移動位置、移動方向又は移動速度などの特徴点に関する情報を検出する。また、第１相関処理部１５は、検出した特徴点に関する情報を横方向変位検出部１８及び縦方向変位検出部１９へ出力する機能を有している。

第２相関処理部１６は、第２特定領域内に表示された特徴点を検出する機能を有している。第２相関処理部１６は、第２特定領域抽出部１３から第２特定領域の画像情報を所定の間隔で入力し、例えばオプティカルフロー処理によって第２特定領域の画像情報に表示された特徴点を探索して検出し、特徴点の移動位置、移動方向又は移動速度などの特徴点に関する情報を検出する。また、第２相関処理部１６は、検出した特徴点に関する情報を横方向変位検出部１８及び縦方向変位検出部１９へ出力する機能を有している。

横方向検出部１８は、画像情報から検出した特徴点に関する情報に基づいて画像の横方向成分を検出する機能を有している。画像の横方向成分は、例えば画像の移動方向や速度の横方向成分である。横方向検出部１８は、第１相関処理部１５及び第２相関処理部１６から特徴点に関する情報を入力し、第１特定領域の画像情報に表示された特徴点と第２特定領域の画像情報に表示された特徴点との所定の相関関係、例えば移動位置の相関関係、移動方向の相関関係、移動速度の相関関係などから、画像の横方向成分を検出する。また、横方向検出部１８は検出した横方向成分を運動量算出部２０へ出力する機能を有している。

縦方向検出部１９は、画像情報から検出した特徴点に関する情報に基づいて画像の縦方向成分を検出する機能を有している。画像の縦方向成分は、例えば画像の移動方向や速度の縦方向成分である。縦方向検出部１９は、第１相関処理部１５及び第２相関処理部１６から特徴点に関する情報を入力し、第１特定領域の画像情報に表示された特徴点と第２特定領域の画像情報に表示された特徴点との所定の相関関係、例えば移動位置の相関関係、移動方向の相関関係、移動速度の相関関係などから、画像の縦方向成分を検出する。また、縦方向検出部１９は検出した縦方向成分を運動量算出部２０へ出力する機能を有している。

運動量算出部２０は、車両の運動量を算出する機能を有している。運動量算出部２０は、横方向検出部１８及び縦方向検出部１９から画像の横方向成分及び縦方向成分を入力し、横方向成分から車両のヨー方向、縦方向成分から車両のピッチ方向、横方向成分及び縦方向成分からロール方向の運動量を算出する機能を有している。

次に、本実施形態に係る車載画像処理装置１の動作について、図２及び図３を用いて説明する。図２は、本実施形態に係る車載画像処理装置１の動作を示すフローチャート、図３は、車載画像処理装置１が処理対象とする画像例である。図２に示すフローチャートは、例えば車両に備わる走行支援ボタンをＯＮしたタイミングで実行され、所定の間隔で繰り返し実行される。なお、説明理解の容易性を考慮して、図３に示す画像の横方向をｘ、縦方向をｙとし、車両が左側通行の場合における処理について説明する。

図２に示すように、車載画像処理装置１は、画像情報の入力処理から開始する（Ｓ１０）。Ｓ１０の処理は、情報取得部５０で実行され、画像情報を入力する処理である。情報取得部５０は、情報取得部５０から例えば図３に示す画像情報を入力する。Ｓ１０の処理が終了すると、特定領域抽出処理へ移行する（Ｓ１２）。

Ｓ１２の処理は、第１特定領域抽出部１２及び第２特定領域抽出部１３で実行され、画像情報から特定領域を抽出する処理である。第１特定領域抽出部１２は、例えば図３のＡ１に示すように、画像領域よりも小さい小領域であり、画像領域の中心Ｐ１よりも周縁Ｆ１側の領域から抽出される。ここでは左側通行のため、第１特定領域抽出部１２は、画像の左上の領域から第１特定領域Ａ１を抽出する。第１特定領域Ａ１には、特徴点として木Ｂの映像が表示されている。また、第２特定領域抽出部１３は、例えば図３のＡ２に示すように、画像領域よりも小さい小領域であり、画像領域の中心Ｐ１よりも周縁Ｆ１側の領域から抽出される。ここでは左側通行のため、第２特定領域抽出部１３は、画像の右上の領域から第２特定領域Ａ２を抽出する。第２特定領域Ａ２には、特徴点として白線Ｃの映像が表示されている。Ｓ１２の処理が終了すると、特徴点の変位検出処理へ移行する（Ｓ１４）。

Ｓ１４の処理は、第１相関処理部１５、第２相関処理部１６、横方向変位検出部１８及び縦方向変位検出部１９で実行され、特定領域の画像内の特徴点の変位を検出する処理である。第１相関処理部１５及び第２相関処理部１６は、例えば前回入力した画像情報と比較して、それぞれ第１特定領域Ａ１、第２特定領域Ａ２の画像内の特徴点を抽出する。横方向変位検出部１８は、第１相関処理部１５が抽出した第１特定領域Ａ１の特徴点に関する情報を入力し、第２相関処理部１６が抽出した第２特定領域Ａ２の特徴点に関する情報を入力する。そして、横方向変位検出部１８は、第１特定領域Ａ１の特徴点に関する情報と、第２特定領域Ａ２の特徴点に関する情報との所定の相関関係から、例えば図３に示すｘ方向の変位を検出する。また、縦方向変位検出部１９は、第１相関処理部１５が抽出した第１特定領域Ａ１の特徴点に関する情報を入力し、第２相関処理部１１６が抽出した第２特定領域Ａ２の特徴点に関する情報を入力する。そして、横方向変位検出部１８は、第１特定領域Ａ１の特徴点に関する情報と、第２特定領域Ａ２の特徴点に関する情報との所定の相関関係から、例えば図３に示すｙ方向の変位を検出する。Ｓ１４の処理が終了すると、運動量の算出処理へ移行する（Ｓ１６）。

Ｓ１６の処理は、運動量算出部２０で実行され、Ｓ１４の処理で入力した特徴点の変位に基づいて車両の運動量を算出する処理である。運動量算出部２０は、ｘ方向及びｙ方向の変位に基づいて車両のヨー方向、ピッチ方向及びロール方向の運動量を算出する。Ｓ１６の処理が終了すると、図２に示す制御処理が終了する。このように、図２に示す制御処理を行うことで、図３に示す画像すべてを処理対象とする必要なく、第１特定領域Ａ１及び第２特定領域Ａ２を処理対象とすることで、精度を保ちながら画像処理を行うことができる。

以上のように、本実施形態の画像処理装置１によれば、撮像した画像情報からなる画像領域において、第１特定領域Ａ１及び第２特定領域Ａ２のみを処理対象とすることができるため、効率的に画像処理を行うことができる。また、画像領域の中心Ｐ１側よりも撮像した特徴点の位置の変化量が大きい周縁Ｆ１側の領域を第１特定領域Ａ１及び第２特定領域Ａ２として抽出するため、画像の縦方向及び横方向の変位を正確に把握して車両の運動量を算出することができる。よって、精度を保ちながら効率的に車両の運動量を算出することができる。さらに、画像処理の負荷が軽減されるため、画像を処理できる単位時間当たりの回数を増やすことができるので、より短い周期で運動量を検出することができる。これにより、ヨーレートセンサ等の測定よりも時間分解能に優れた測定をすることができる。さらに、特定領域を複数備えることで、例えば車両のロールを正確に検知することができる。

また、本実施形態の画像処理装置１によれば、走行路が左側通行の場合には、画像情報の全領域の中心からみて左上の領域を第１特定領域Ａ１、右下の領域を第２特定領域Ａ２として抽出することができるため、進行方向左上に設置される道路標識や建物等、及び、進行方向右下に存在する白線や中央分離帯等、特徴点となる対象物を的確に特定領域内に収めることができる。

（第２実施形態）
次に本発明の第２実施形態に係る画像処理装置について説明する。

第２実施形態に係る画像処理装置２は、図１に示す第１実施形態に係る画像処理装置１とほぼ同様に構成されるものであり、第３特定領域抽出部１４及び第３相関処理部１７を備える点で相違する。よって、第１実施形態と同様の構成要素は第１実施形態と同様の符号を付して説明を省略し、第３特定領域抽出部１４及び第３相関処理部１７について詳細を説明する。

図４は、本実施形態に係る画像処理装置２の構成概要図である。本実施形態に係る画像処理装置２は、情報取得部５０及びＥＣＵ１０を備えており、ＥＣＵ１０は第３特定領域抽出部１４及び第３相関処理部１７を備えている。

第３特定領域抽出部１４は、第１特定領域抽出部１２とほぼ同様に構成され、車両の運動量を算出するために処理対象となる第３の領域を抽出する機能を有している。第３特定領域抽出部１４は、画像間引き部１１から画像情報を入力し、入力した画像情報の画像領域から第３特定領域（第３の特定領域）を抽出する。この第３特定領域は、画像領域よりも小さい小領域であり、図３に示すように、第１特定領域Ａ１のｙ方向、及び第２特定領域Ａ２のｘ方向に重なるように抽出される。また、第３特定領域抽出部１４は、抽出した第３特定領域の画像情報を第３相関処理部１７へ出力する機能を有している。

第３相関処理部１７は、第３特定領域内に表示された特徴点を検出する機能を有している。第３相関処理部１７は、第３特定領域抽出部１４から第３特定領域の画像情報を所定の間隔で入力し、例えばオプティカルフロー処理によって第３特定領域の画像情報に表示された特徴点を探索して検出し、特徴点の移動方向や速度などの特徴点に関する情報を検出する。また、第３相関処理部１７は、検出した特徴点に関する情報を横方向変位検出部１８及び縦方向変位検出部１９へ出力する機能を有している。

また、第３相関処理部１７を備えることで、ＥＣＵ１０内に備わる第１相関処理部１５は、横方向変位検出部１８にのみ特徴点に関する情報を出力し、ＥＣＵ１０内に備わる第２相関処理部１６は、横方向変位検出部１９にのみ特徴点に関する情報を出力する。

このように構成した場合であっても、横方向変位検出部１８は、特定領域Ａ１及びＡ３から画像情報を入力して画像の横方向の変動を検出し、縦方向変位検出部１９は、特定領域Ａ２及びＡ３から画像情報を入力して画像の縦方向の変動を検出することができる。これにより、精度を保ちながら画像処理を行うことができる。

以上のように、本実施形態の画像処理装置２によれば、撮像した画像情報からなる画像領域において、第１特徴領域Ａ１、第２特定領域Ａ２及び第３特定領域Ａ３のみを処理対象とすることができるため、効率的に画像処理を行うことができる。また、画像領域の中心Ｐ１側よりも撮像した対象物の位置の変化量が大きい周縁Ｆ１側の領域を第１特定領域Ａ１、第２特定領域Ａ２及び第３特定領域Ａ３として抽出するため、画像の縦方向及び横方向の変位を正確に把握して車両の運動量を算出することができる。よって、精度を保ちながら効率的に車両の運動量を算出することができる。さらに、画像処理の負荷が軽減されるため、画像を処理できる単位時間当たりの回数を増やすことができるので、より短い周期で運動量を検出することができる。これにより、ヨーレートセンサ等の測定よりも時間分解能に優れた測定をすることができる。

また、本実施形態の画像処理装置２によれば、走行路が左側通行の場合には、画像情報の全領域の中心からみて左上の領域を第１特定領域Ａ１、右下の領域を第２特定領域Ａ２として抽出することができるため、進行方向左上に設置される道路標識や建物等、及び、進行方向右下に存在する白線や中央分離帯等、特徴点となる対象物を的確に特定領域内に収めることができる。

（第３実施形態）
次に本発明の第３実施形態に係る画像処理装置について説明する。

第３実施形態に係る画像処理装置３は、図１に示す第１実施形態に係る画像処理装置１とほぼ同様に構成されるものであり、第２カメラ（第２の撮像手段）５２及び画像補正部（第１の補正手段）２２を備える点で相違する。よって、第１実施形態と同様の構成要素は第１実施形態と同様の符号を付して説明を省略し、第２カメラ５２及び画像補正部２２について詳細を説明する。

図５は、本実施形態に係る画像処理装置３の構成概要図、図６は、本実施形態に係る画像処理装置３の情報取得部５０の設置例、図７は、画角の異なる情報取得部５０が処理対象とする画像例である。本実施形態に係る画像処理装置３は、情報取得部５０及びＥＣＵ１０を備えており、情報取得部５０は第２カメラ５２を、ＥＣＵ１０は画像補正部２２をそれぞれ備えている。

第２カメラ５２は、車両周辺の画像情報を取得する画像センサを備えて構成される。画像センサとしては、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサが用いられる。第２カメラ５２が取得する画素数は、例えば縦方向が４８０、横方向が６４０である。また、第２カメラ５２は、第１カメラ５１に比べて画角が狭いものが用いられる。ここでは、例えば第１カメラ５１として水平方向の画角が±２０°のカメラが用いられ、第２カメラと５２して水平方向の画角が±１０°のカメラが用いられる。また、図６に示すように、第１カメラ及び第２カメラ５２は車両６０のフロントガラス６１の中央上部に配置される。例えば、第１カメラ５１は車両進行方向に対する中心線Ｍ上に配置され、第２カメラは第１カメラ近傍に配置される。また、第２カメラ５２は、撮像した画像情報を画像補正部２２へ出力する機能を有している。

画像補正部２２は、第２カメラ５２から入力した画像を補正する機能を有している。画像補正部２２は、第１カメラ５１を用いて撮像した画像から算出した運動量を運動量算出部２０から入力し、第２カメラ５２の画像を補正する機能を有している。

このように構成される画像処理装置３は、図７に示すように、第１カメラで撮像した画像（ａ）と、第２カメラで撮像した画像（ｂ）とを取得する。ここで、画像（ａ）は、第画像（ｂ）に比べて、撮像方向に対してより外側の画像情報を含んでいる。画像処理装置３は、画角の広い画像（ａ）を用いて第１実施形態と同様の手順で車両の運動量を算出し、算出した運動量を用いて画像（ｂ）の車両運動成分による影響を補正する。

以上のように、本実施形態の画像処理装置３によれば、撮像した画像情報からなる画像領域において、第１特定領域Ａ１及び第２特定領域Ａ２のみを処理対象とすることができるため、効率的に画像処理を行うことができる。また、画像領域の中心Ｐ１側よりも撮像した対象物の位置の変化量が大きい周縁Ｆ１側の領域を第１特定領域Ａ１及び第２特定領域Ａ２として抽出するため、画像の縦方向及び横方向の変位を正確に把握して車両の運動量を算出することができる。よって、精度を保ちながら効率的に車両の運動量を算出することができる。さらに、画像処理の負荷が軽減されるため、画像を処理できる単位時間当たりの回数を増やすことができるので、より短い周期で運動量を検出することができる。これにより、ヨーレートセンサ等の測定よりも時間分解能に優れた測定をすることができる。

また、本実施形態の画像処理装置３によれば、走行路が左側通行の場合には、画像情報の全領域の中心からみて左上の領域を第１特定領域Ａ１、右下の領域を第２特定領域Ａ２として抽出することができるため、進行方向左上に設置される道路標識や建物等、及び、進行方向右下に存在する白線や中央分離帯等、特徴点となる対象物を的確に特定領域内に収めることができる。

また、本実施形態の画像処理装置３によれば、画角の異なるカメラ５１、５２から複数の画像を取得することができる。ここで、第２カメラよりも画角の大きい第１カメラ５１によって撮像した画像は、第２カメラ５２によって撮像した画像に比べて、撮像方向に対してより外側の画像情報を含んでいる。このため、第１カメラ５１によって撮像した画像を用いて対象物の変位を検出するので、画像の変位を一層正確に把握することができる。このように、画角の異なるカメラ５１、５２を備えた場合には、画角が大きい第１カメラ５１によって撮像した画像を用いて車両の運動量を算出し、算出した車両の運動量を用いて第２カメラ５２によって撮像した画像の補正を行うことで、精度良く画像の補正を行うことができる。

（第４実施形態）
次に本発明の第４実施形態に係る画像処理装置について説明する。

第４実施形態に係る画像処理装置４は、図１に示す第１実施形態に係る画像処理装置１とほぼ同様に構成されるものであり、舵角センサ５３、中央領域抽出部（中央領域抽出手段）２１及び画像補正部（第２の補正手段）２２を備える点で相違する。よって、第１実施形態と同様の構成要素は第１実施形態と同様の符号を付して説明を省略し、舵角センサ５３、中央領域抽出部２１及び画像補正部２２について詳細を説明する。

図８は、本実施形態に係る画像処理装置４の構成概要図、図９は、本実施形態に係る画像処理装置３の情報取得部５０が処理対象とする画像例である。本実施形態に係る画像処理装置４は、情報取得部５０及びＥＣＵ１０を備えており、情報取得部５０は舵角センサ５３を、ＥＣＵ１０は中央領域抽出部２１及び画像補正部２２をそれぞれ備えている。

操舵角センサ５３は、ハンドルによってステアリングホイールが回転操作された角度を操舵角として検出するセンサである。この操舵角センサ５３は、操舵角を検出して中央領域抽出部２１へ出力する機能を備えている。

中央領域抽出部２１は、第１カメラ５１から入力した画像の中央部を操舵角に応じて抽出する機能を有している。例えば、図９の（ａ）で示すように、ハンドルを操作していない状態の場合には、画像の重心に位置する中央領域Ａ４を抽出する。また、図９の（ｂ）で示すように、ハンドルを左に操作した場合には、操舵角の大きさに応じて中央領域Ａ４を例えばＡ５で示す領域から抽出する。このように、操舵角センサ５３から入力した操舵角に基づいて所定の大きさの領域をスライドさせて画像を抽出する機能を有している。

画像補正部２２は、中央領域Ａ４、Ａ５の画像を補正する機能を有している。画像補正部２２は、第１カメラ５１を用いて撮像した画像から算出した運動量を運動量算出部２０から入力し、中央領域Ａ４、Ａ５の画像を補正する機能を有している。

このように構成される画像処理装置４は、第３実施形態に示す画像処理装置３と同様に中央領域Ａ４、Ａ５の画像と、全体の画像の２つの画像を得ることができる。これにより、第３実施形態と同様に、全体の画像を用いて運動量を算出し、算出した運動量を用いて中央領域Ａ４、Ａ５の画像の補正を行うことができる。

以上のように、本実施形態の画像処理装置４によれば、撮像した画像情報からなる画像領域において、第１特定領域Ａ１及び第２特定領域Ａ２のみを処理対象とすることができるため、効率的に画像処理を行うことができる。また、画像領域の中心Ｐ１側よりも撮像した対象物の位置の変化量が大きい周縁Ｆ１側の領域を第１特定領域Ａ１及び第２特定領域Ａ２として抽出するため、画像の縦方向及び横方向の変位を正確に把握して車両の運動量を算出することができる。よって、精度を保ちながら効率的に車両の運動量を算出することができる。さらに、画像処理の負荷が軽減されるため、画像を処理できる単位時間当たりの回数を増やすことができるので、より短い周期で運動量を検出することができる。これにより、ヨーレートセンサ等の測定よりも時間分解能に優れた測定をすることができる。

また、本実施形態の画像処理装置４によれば、走行路が左側通行の場合には、画像情報の全領域の中心からみて左上の領域を第１特定領域Ａ１、右下の領域を第２特定領域Ａ２として抽出することができるため、進行方向左上に設置される道路標識や建物等、及び、進行方向右下に存在する白線や中央分離帯等、特徴点となる対象物を的確に特定領域内に収めることができる。

また、本実施形態の画像処理装置４によれば、画角の異なるカメラを複数備えていなくても、複数の画像を取得することができる。画像情報の中央の領域である中央領域Ａ４、Ａ５を抽出し、画像領域の周縁Ｆ１側の特定領域から算出した運動量を用いて、中央領域Ａ４、Ａ５の画像を補正することができる。ここで、中央領域Ａ４、Ａ５を含む全体の画像は、中央領域Ａ４、Ａ５の画像領域に比べて、撮像方向に対してより外側の画像情報を含んでいる。このため、全体の画像を用いて対象物の変位を検出することで、一層正確に把握することができる。また、第３実施形態と比較すると、中央領域Ａ４、Ａ５の画像は、望遠の撮像手段（狭角の撮像手段）によって撮像した画像に対応し、周縁Ｆ１側の特定領域は、広角の撮像手段で撮像した画像に対応するため、撮像手段を２つ備える事無く一枚の画像を用いて望遠の画像処理の補正を精度良く行うことができる。

なお、上述した各実施形態は本発明に係る画像処理装置の一例を示すものである。本発明に係る画像処理装置は、このようなものに限られるものではなく、各請求項に記載した要旨を変更しないように各実施形態に係る画像処理装置を変形し、又は他のものに適用したものであってもよい。

例えば、実施形態において、左側通行の場合には画像領域の中心からみて左上及び右下の小領域を特定領域とする例を説明したが、右側通行の場合には画像領域の中心からみて右上及び左下の小領域を特定領域とすることが好ましい。

また、実施形態において、第３の特定領域を抽出する例を説明したが、特定領域は４つ以上あっても良く、抽出した複数の特定領域を合算した領域が全領域よりも小さければ処理負荷が軽減する効果を得ることができる。

本発明の第１実施形態に係る画像処理装置１の構成概要図である。図１の画像処理装置１の動作を示すフローチャートである。図１の画像処理装置１が処理対象とする画像例である。本発明の第２実施形態に係る画像処理装置２の構成概要図である。本発明の第３実施形態に係る画像処理装置３の構成概要図である。図５の画像処理装置３のカメラの配置を示す概要図である。図５の画像処理装置３が処理対象とする画像例である。本発明の第４実施形態に係る画像処理装置４の構成概要図である。図８の画像処理装置４が処理対象とする画像例である。

符号の説明

１,２,３,４…画像処理装置、１２…第１特定領域抽出部（特定領域抽出手段）、１３…第２特定領域抽出部（特定領域抽出手段）、２０…運動量算出部（運動量算出手段）、２１…中央領域抽出部（中央領域抽出手段）、２２…画像補正部（第１の補正手段、第２の補正手段）５１…第１カメラ（第１の撮像手段）、５２…第２カメラ（第２の撮像手段）。

Claims

車両の周囲を画像情報として撮像する第１の撮像手段と、
前記画像情報からなる画像領域の中心よりも周縁側の領域を特定領域とし、前記特定領域を複数抽出する特定領域抽出手段と、
複数の前記特定領域内の画像情報に基づいて自車両の運動量を算出する運動量算出手段と、
前記第１の撮像手段と比較して画角の大きさの小さい第２の撮像手段と、
前記運動量取得手段によって取得した前記運動量を用いて前記第２の撮像手段で取得した画像を補正する第１の画像補正手段と、
を備える車載画像処理装置。
前記領域抽出手段は、走行路が左側通行である場合には、前記画像領域の中心からみて左上の領域を第１の特定領域として抽出し、前記画像領域の中心からみて右下の領域を第２の特定領域として抽出することを特徴とする請求項１に記載の車載画像処理装置。
車両の周囲を画像情報として撮像する第１の撮像手段と、
前記画像情報からなる画像領域の中心よりも周縁側の領域を特定領域とし、前記特定領域を複数抽出する特定領域抽出手段と、
複数の前記特定領域内の画像情報に基づいて自車両の運動量を算出する運動量算出手段と、
前記画像領域の中央の領域である中央領域を前記画像領域から抽出する中央領域抽出手段と、
前記運動量取得手段によって取得した前記運動量を用いて前記中央領域抽出手段で抽出した中央領域の画像を補正する第２の画像補正手段と、
を備える車載画像処理装置。
前記領域抽出手段は、走行路が左側通行である場合には、前記画像領域の中心からみて左上の領域を第１の特定領域として抽出し、前記画像領域の中心からみて右下の領域を第２の特定領域として抽出することを特徴とする請求項３に記載の車載画像処理装置。