JPWO2013035353A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

画像処理装置（１００）は、広角レンズを備え、少なくとも一部の範囲が重なる画像を撮像する第１撮像部（１ａ）及び第２撮像部（１ｂ）と、自車両の速度を検出する車速検出部（２）と、第１撮像部（１ａ）及び第２撮像部（１ｂ）で撮像された複数の画像に基づいて、自車両から対象物までの距離を算出する測距部（５）とを備え、測距部（５）は、車速検出部（２）で検出された速度が速くなるほど、第１撮像部（１ａ）及び第２撮像部（１ｂ）から出力させる画像の画素領域のサイズを小さくする。

Description

本発明は、画像処理装置及び画像処理方法に関する。

従来から、ステレオ光学系で撮像した２枚の画像に対して微小領域毎に同一の対象物が映っている部分を検索し、対応する位置のずれ量を算出して、三角測量の原理を適用することにより対象物までの距離を算出する技術が提案されている。

例えば、特許文献１に記載された階調補正装置は、２枚の画像に対し、各画像の小領域毎にシティブロック距離を計算して互いの相関を求めることで、対応する小領域を特定するステレオマッチングを行う。そして、この階調補正装置は、対象物までの距離に応じて生じる画素のずれ（＝視差）から得られる対象物までの遠近情報を数値化した３次元画像情報（距離画像）を取得することで、測距を行っている。

また、特許文献２に記載された撮像装置は、ほぼ１８０度の撮影範囲を有する超広角カメラを含む複数のカメラで撮像された映像を合成して、多視点映像、及び、車両情報から俯瞰する映像（１視点映像）を表示手段に表示する。このため、この撮像装置では、運転者が車両周辺の状況を確認することができる。

さらに、特許文献３に記載された撮像装置は、ステレオ画像入力手段で取得された一対の画像から、測定対象物の位置を検出する手段を備えた位置検出装置において、左右の画像データに対して歪み補正を実施した後に、光が照射された点までの距離を計測している。

特開平１１−２３４７０１号公報（段落０００９から００１５） 特開２００５−２３６４９３号公報（段落００１４から００２７） 特開２００８−１６４３３８号公報（段落００１４から００２６）

特許文献１に記載された階調補正装置は、走行中に前方車両までの距離情報を得ることを目的としているため、この階調補正装置では、車両周辺が撮像できるほどの広角レンズは必要なく、そのため、レンズ歪み（歪曲収差）を考慮する必要がない標準画角レンズが使用される。一方、特許文献２に記載された撮像装置は、車両周辺の映像を表示手段に映すことで運転者の運転支援を行うことを目的としているため、この撮像装置では、より広範囲の領域を撮像することのできる広角レンズを用いる必要がある。

しかしながら、特許文献１で目的としている前方対象物までの距離測定と、特許文献２で目的としている車両周辺の視認性支援とを同時に達成するために、特許文献１に記載された階調補正装置と、特許文献２に記載された撮像装置とを、それぞれ車両に搭載してしまうと、使用するカメラの個数が増え、設置場所が不足するだけでなくコストがかかるという問題がある。

また、特許文献３は、広角レンズのもつ歪曲収差を考慮して、左右の画像データに対して、歪み補正を行っている。しかしながら、車両の走行時の前車間距離測定では、即時処理が求められるため、歪み補正に時間がかかるのは問題がある。さらに、歪み補正後の画像を元にマッチング処理を行う場合、歪み補正処理の精度によっては、ステレオ画像における対象物の形状が異形となり、マッチング処理の精度が低下する可能性もある。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、車両周辺の視認と対象物までの測距を、広角レンズを使用した同一の撮像装置で実現できるようにすることである。

本発明の一態様に係る画像処理装置は、広角レンズを備え、少なくとも一部の範囲が重なる画像を撮像する複数の撮像部と、自車両の速度を検出する車速検出部と、前記複数の撮像部で撮像された複数の画像に基づいて、前記自車両から、当該複数の撮像部で撮像された対象物までの距離を算出する測距部と、前記複数の撮像部で撮像された複数の画像から、前記自車両の近辺の状況を確認するための視認用画像を生成する視認用画像生成部と、を備え、前記測距部は、前記複数の撮像部の各々で撮像に使用することのできる全画素の内、前記複数の撮像部の各々から出力させる画像に対応する画素領域のサイズ及び位置を、前記複数の撮像部の各々について特定する画素領域特定部を備え、前記画素領域特定部は、前記車速検出部で検出された速度が速くなるほど、前記画素領域のサイズを小さくすることを特徴とする。

本発明の一態様によれば、車両周辺の視認と対象物までの測距を、広角レンズを使用した同一の撮像装置で実現することができる。

実施の形態に係る画像処理装置の構成を概略的に示すブロック図である。 撮像部の構成を概略的に示すブロック図である。 ステレオカメラと対象物との２次元の位置関係を示す図である。 測距モードにおいて対象物までの距離の測定が可能な領域を示す図である。 視認モード時において、情報伝達部に与えられる視認用画像の一例を示す概略図である。 （Ａ）及び（Ｂ）は、測距モード時の第１撮像部及び第２撮像部で撮像された撮像画像を示す概略図である。 ＣＭＯＳ型の撮像素子の構造を示す概略図である。 ＣＣＤ型の撮像素子の構造を示す概略図である。 ステレオカメラと対象物との３次元の位置関係を示す概略図である。 モード決定部が行う処理を示すフローチャートである。 測距モードでの処理を示すフローチャートである。 視認モードでの処理を示すフローチャートである。

図１は、実施の形態に係る画像処理装置１００の構成を概略的に示すブロック図である。画像処理装置１００は、第１撮像部１ａ及び第２撮像部１ｂ（特に各々を区別する必要がないときは、撮像部１という）と、車速検出部２と、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３と、情報伝達部９とを備える。ＥＣＵ３は、モード決定部４と、測距部５と、カメラパラメータ設定部６と、視認用画像生成部７と、データバス８とを備える。

撮像部１は、ステレオ画像のもとになる左右２枚の画像を撮像する。本実施の形態においては、第１撮像部１ａ及び第２撮像部１ｂの二つのカメラにより、左右２枚の画像が撮像される。また、本実施の形態においては、撮像部１は、車両前方に設置され、撮像部１で撮像された画像の画像情報（第１撮像部１ａで撮像された第１画像の第１画像情報及び第２撮像部１ｂで撮像された第２画像の第２画像情報）は、データバス８を経由して、モード決定部４に与えられる。

図２は、撮像部１の構成を概略的に示すブロック図である。撮像部１は、光学系１１と、撮像素子１２と、ＡＤ変換器１３と、センサ駆動回路１４とを備える。
光学系１１は、広角レンズであり、レンズ枚数は１枚であっても複数であってもよい。
撮像素子１２は、光学系１１から得られる光をアナログの電気信号に変換する。撮像素子１２は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型及びＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型の何れであってもよい。
ＡＤ変換器１３は、撮像素子１２から得られるアナログの電気信号を、デジタルの画像情報に変換する。なお、ＡＤ変換器１３は、必ずしも撮像部１内に備えられている必要はなく、例えば、ＥＣＵ３内に備えられていてもよい。
センサ駆動回路１４は、カメラパラメータ設定部６から得られるセンサ駆動パルス制御信号をもとに、撮像素子１２へ供給する駆動パルスを変更し、後述するように、撮像素子１２で撮像する画像のサイズを制御する。

図１の説明に戻り、車速検出部２は、画像処理装置１００が設置されている車両（以下、自車両ともいう）の速度を検出する。車速検出部２は、自車両に備えられた車速センサであっても、カーナビゲーションシステムのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用して速度を算出するものであってもよい。車速検出部２で検出された速度は、モード決定部４及び測距部５に与えられる。
モード決定部４は、車速検出部２から得られる車両の速度に応じて、画像処理装置１００の動作モードを決定する。例えば、モード決定部４は、車速が１０ｋｍ／ｈ以上であれば、前方の対象物（例えば、車両）までの距離を運転者に提供する測距モードを選択する。一方、モード決定部４は、車速が１０ｋｍ／ｈ未満であれば、自車両の近辺の状況を運転者に提供する視認モードを選択する。なお、測距モードと視認モードを切り替えるための閾値車速については、１０ｋｍ／ｈに限定されるものではない。例えば、ユーザは、この閾値速度を任意に設定できるものとする。そして、モード決定部４は、測距モードを選択した場合には、データバス８を介して撮像部１から得られる画像情報の出力先を測距部５にし、視認モードを選択した場合には、この画像情報の出力先を視認用画像生成部７にする。

測距部５は、モード決定部４から与えられた画像情報に基づいて、自車両前方にある対象物までの距離を算出する。測距部５は、特徴点検出部５１と、画素領域特定部５２と、入射角特定部５３と、距離算出部５４とを備える。

特徴点検出部５１は、第１撮像部１ａから得られる第１画像情報に基づく第１画像と、第２撮像部１ｂから得られる第２画像情報に基づく第２画像と、の両方に含まれている同一対象物の一部分である特徴点を検出する。そして、特徴点検出部５１は、この特徴点の位置（特徴点位置）を、それぞれの画像において特定する。特徴点の検出については、例えば、第１画像及び第２画像のそれぞれについて画素間のベクトルを関連付けることにより局所特徴量を抽出し、この局所特徴量の類似度を評価することで特徴点を算出する手法が採用されてもよい。又は、特徴点の検出として、ブロックマッチング法（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ ｍｅｔｈｏｄ）が用いられてもよい。このブロックマッチング法は、画像を一定の大きさのブロックに区切り、そのブロックに対してマッチングを行うことで特徴点を検出するものである。このブロックマッチング法では、一致度の評価について、対応する画素の絶対値の総和値（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を評価関数として用いることにより高速に特徴点を検出することができる。特徴点は、対象物の一部であればよく、特徴点検出部５１は、予め、対象物及びその一部（特徴点）のテンプレートを、テンプレート記憶部５１ａに記憶しているものとする。特徴点検出部５１は、検出された特徴点位置を示す特徴点位置情報と、撮像部１から得られた画像情報とを画素領域特定部５２に与える。

画素領域特定部５２は、車速検出部２から得られる車両の速度に応じて、撮像部１で撮像に利用することのできる全画素の内、撮像部１から出力させる画像に対応する画素領域のサイズを特定する。そして、画素領域特定部５２は、特定されたサイズの画素領域内に、特徴点検出部５１で検出された特徴点位置が含まれるように、特定されたサイズの画素領域の位置を、それぞれの撮像部１ａ、１ｂ毎に決定する。例えば、画素領域特定部５２は、特定されたサイズの画素領域内に特徴点が含まれるように、特定されたサイズの画素領域の位置を左右上下に移動させることで、画素領域の位置を特定する。ここで、画素領域特定部５２は、特徴点位置が特定されたサイズの画素領域の中心又は中心から所定の画素範囲内に位置するように画素領域の位置を特定するのが望ましい。この場合の画素領域とは、撮像後の画像から必要部分を切り抜くものではなく、撮像素子１２の駆動制御を行い、撮像部１からこの画素領域分の画像しか出力しないようにするものである。

また、画素領域特定部５２における画素領域のサイズの選定には、車速検出部２からの出力結果を使用する。例えば、車速が速い場合は画素領域を小さく、反対に車速が遅い場合は画素領域を大きくする。具体的には、画素領域特定部５２は、モード決定部４で測距モードを選定する際の閾値となる速度において、撮像部１で撮像することができる全画素により構成されるサイズを画素領域のサイズとする。そして、画素領域特定部５２は、この閾値となる速度よりも速度が速くなるにつれて、画素領域のサイズを、この全画素により構成されるサイズよりも徐々に小さくなるようにする。広角レンズは、視認領域が広いため、車両周辺の視認用としては有利であるが、測距モードにおける前方対象物の測距向けには広画角は不要である。このため、画素領域のサイズを制御することで、測距に必要のない画像周辺部を除去して中央部の画像だけを用いることによりフレームレートを上げることができる。

駐車時など自車両が低速で動いている場合には、フレームレートが低くても問題ないが、高速で走行している場合には、フレームレートが低いと前方対象物と衝突の危険がある。例えば、晴れた日のアスファルトの上を自車両が時速５０ｋｍ／ｈで走行している場合において、一般の運転者が前方の対象物に気付いてからブレーキを踏むとき、反応時間は０．７秒、停止までの時間は約２．７秒かかり、その間に自車両は実に２４ｍもの距離を進む。そのため、前方対象物との距離測定時間は可能なかぎり短時間で行われるべきであり、距離測定までの時間が長いほど対象物と衝突する危険性が高まる。

例えば、撮像部１からの映像が毎秒３０フレームで読み出される場合、１枚分の画像の電荷蓄積に１フレームで「３３ｍｓ」、読み出しに１フレームで「３３ｍｓ」、特徴点検出部５１の画像処理に最低１フレームで「３３ｍｓ」かかるとすると、距離算出に０．１秒以上費やされることになる。これが画像中央部分のみを撮像する場合で、撮像される中央部の画素領域が全画素領域の半分であった場合、毎秒６０フレームで読み出すことができる。このため、距離算出時間が半分に短縮される。従って、測距モード時では中央部の画像だけを用いるのが有効といえる。

なお、画素領域特定部５２は、特定された画素領域のサイズ及び位置を示す画素領域情報をカメラパラメータ設定部６に与える。また、画素領域特定部５２は、特徴点検出部５１から得られた特徴点位置情報及び画像情報を入射角特定部５３に与える。

入射角特定部５３は、画素領域特定部５２から与えられた画像情報において、特徴点が存在する画素単位の座標をもとに、対象物の特徴点からの光線が左右の光学系１１に入射する際の角度（入射角）を特定する。この入射角は、左右の光学系１１それぞれに対して特定される。例えば、入射角特定部５３は、撮像素子１２の撮像面の中心からの距離毎に、対象物からの光のうち、光学系１１としての広角レンズの中心を通って入射する光の入射角を示す数値情報を記憶する数値記憶部５３ａを備えている。そして、入射角特定部５３は、特徴点位置と、全画素における撮像画像の中心との間の距離を算出し、算出された距離に対応する入射角を数値情報より特定する。そして、入射角特定部５３は、特定された入射角を示す入射角情報と、画素領域特定部５２から与えられた画像情報とを距離算出部５４に与える。

距離算出部５４は、入射角特定部５３で特定された入射角に基づいて、対象物までの距離を算出する。そして、距離算出部５４は、算出された距離を示す距離情報を情報伝達部９に与える。

カメラパラメータ設定部６は、画素領域特定部５２で特定された画素領域のサイズ及び位置に対応して、撮像部１内の撮像素子１２の駆動パターンを切り替えるためのセンサ駆動パルス制御信号を生成する。例えば、画素領域特定部５２で特定された画素領域のサイズ及び位置は、シリアル通信にて設定されるシリアルデータとして通知され、カメラパラメータ設定部６は、このシリアルデータの解析機能を有する。そして、カメラパラメータ設定部６は、データバス８を経由して、生成されたセンサ駆動パルス制御信号を撮像部１に与える。

視認用画像生成部７は、運転者が自車両近辺の状況を確認するための視認用画像を生成する。視認用画像生成部７は、歪補正部７１と、画像合成部７２とを備える。

歪補正部７１は、モード決定部４から与えられる第１画像情報及び第２画像情報の歪みをそれぞれ補正する処理を行う。そして、歪補正部７１は、補正後の第１画像情報及び第２画像情報を画像合成部７２に与える。

画像合成部７２は、歪補正部７１から与えられた補正後の第１画像情報及び第２画像情報で示される画像を合成した一つの視認用画像を示す視認用画像情報を生成する。例えば、画像合成部７２は、第１画像情報で示される第１画像の右半分と、第２画像情報で示される第２画像の左半分と、を合成することで、視認用画像情報を生成する。そして、画像合成部７２は、生成された視認用画像情報を情報伝達部９に与える。

情報伝達部９は、測距部５から与えられた距離情報で示される距離、及び、視認用画像生成部７から与えられた視認用画像情報で示される視認用画像を、自車両の運転者が認識できるように出力する処理を行う。例えば、情報伝達部９は、図示しないディスプレイ等の表示部を備えており、距離情報で示される距離又は視認用画像情報で示される視認用画像を表示する。

図３は、ステレオカメラと対象物との２次元の位置関係を示す図である。図３において、点Ｐは、対象物の特徴点位置を表し、１１ａは、第１撮像部１ａの光学系を表し、１１ｂは、第２撮像部１ｂの光学系を表している。また、図３において、θ_１は、点Ｐから光学系１１ａへ入射する光線の入射角を表し、θ_２は、点Ｐから光学系１１ｂへ入射する光線の入射角を表し、Ｂは、光学系１１ａと光学系１１ｂ間の距離（ステレオベース長）を表し、ｘ及びｚは、それぞれｘ軸及びｚ軸を表している。Ｚは、点Ｐからｘ軸に垂直に降ろした対象物距離であり、Ｗ_１は、点Ｐと光学系１１ａと間の、Ｗ_２は、点Ｐと光学系１１ｂと間の距離（真距離）を表している。光学系１１ａと光学系１１ｂは、同一の構成であるが、距離測定においては、どちらかの光学系を基準に考える必要がある。本実施の形態においては、光学系１１ａを基準として、測距モードにおける前方の対象物までの距離は、Ｗ_１であるものとする。

図４は、測距モードにおいて対象物までの距離の測定が可能な領域について表した図である。第１撮像部１ａ及び第２撮像部１ｂは、画角が同じである広角レンズを備えており、車両１１０の前方部分に搭載されている。１１１ａ及び１１１ｂは、それぞれ第１撮像部１ａ及び第２撮像部１ｂのレンズの中心を通る光軸であり、平行な関係にある。１１２ａ及び１１２ｂは、それぞれ第１撮像部１ａ及び第２撮像部１ｂで使用されているレンズの画角である。そして、画角１１２ａ及び画角１１２ｂが重なっている画角１１３が、第１撮像部１ａ及び第２撮像部１ｂで撮像したそれぞれの画像中に対象物が映る領域、言い換えると、対象物の測距が可能な領域を表している。１１４は、測距可能な最短距離を表しており、ステレオベース長に比例して長くなる。また、この最短距離１１４は、第１撮像部１ａ及び第２撮像部１ｂの画角を狭くするほど長くなる。

図５は、視認モード時において、情報伝達部９に与えられる視認用画像１２０の一例を示す概略図である。図５に示された視認用画像１２０は、自車両が、走行する側道から、この側道と交差する道路に合流する際のものであり、運転者からは死角となる車両周辺を表示している。
視認用画像１２０の右半分１２１ａは、第１撮像部１ａにおいて全画素を用いて撮像された画像の右半分の部分である。視認用画像１２０の左半分１２１ｂは、第２撮像部１ｂにおいて全画素を用いて撮像された画像の左半分の部分である。部分１２１ａと部分１２１ｂとの大きさは、等しい。１２２は、右方向から走行してくる他車両、１２３は、他車両１２２と反対車線を走行する他車両である。また、１２４ａ及び１２４ｂは、それぞれ道路中央の白線であり、１２５ａ及び１２５ｂは、壁面である。部分１２１ａ及び部分１２１ｂは、ともに歪補正部７１で歪補正が施された画像である。このように視認用画像生成部７による視認モード動作時には、広角レンズを備えた第１撮像部１ａ及び第２撮像部１ｂにおいて全画素を用いて撮像することにより、運転者が死角領域を画像で確認することができるため、衝突事故等を事前に防止することができる。

図６（Ａ）及び（Ｂ）は、測距モード時の第１撮像部１ａ及び第２撮像部１ｂで撮像された撮像画像１３０ａ、１３０ｂを示す概略図である。図６（Ａ）に示されている撮像画像１３０ａは、第１撮像部１ａで撮像された全画素画像であり、撮像画像１３０ｂは、第２撮像部１ｂで撮像された全画素画像である。撮像画像１３０ａ、１３０ｂは、ともに歪補正が施されていない。ただし、特徴点検出部５１での処理と、画素領域特定部５２での処理が実施されて、カメラパラメータ設定部６により、第１撮像部１ａ及び第２撮像部１ｂで撮像される画像のサイズが変更された後は、例えば、撮像画像１３０ａは、撮像画像１４０ａに、撮像画像１３０ｂは、撮像画像１４０ｂに、それぞれ画像サイズが変更される。１３１は、自車両の前方を走行する車両であり、１３２は壁面であり、１３３は、白線である。１３４ａは、撮像画像１３０ａの中心（画素）、１３４ｂは、撮像画像１３０ｂの中心（画素）である。１３５ａは、特徴点検出部５１で検出された画像１３０ａ上の特徴点、１３４ｂは、特徴点検出部５１で検出された画像１３０ｂ上の特徴点である。特徴点検出部５１で検出する特徴点は、対象物（ここでは車）の一部であればよく、例えば、図６では、前方の車両のリア部のナンバープレートの右下角の先端部を特徴点としているが、これに限定されるものではない。

以降の説明においては、水平方向の画素数をｍ、垂直方向の画素数をｎとする。また、撮像部１で利用することのできる全画素で撮像された全画素画像の水平方向の画素数をＭ、この全画素画像の垂直方向の画素数をＮとする。
撮像画像１４０ａ及び撮像画像１４０ｂは、画素領域特定部５２で決定された画素領域に基づいて、撮像素子１２の読み出し制御パルスを制御することで得られた画像であり、１４０ａは、第１撮像部１ａで撮像された撮像画像、１４０ｂは、第２撮像部１ｂで撮像された撮像画像である。撮像画像１４０ａ及び撮像画像１４０ｂの画像サイズは、同じサイズになっている。
撮像画像１４０ｂの大きさは、ｍ×ｎである。この大きさは、上下方向及び左右方向に変更することができる。例えば、車速検出部２で検出された車速に比例させて、画素領域特定部５２は、ｍ及びｎの値を変更することができる。

車速検出部２で検出された、自車両の速度が速い場合は、画素領域特定部５２は、画像サイズｍ×ｎの大きさを縮小させることで、撮像部１から送られてくるフレームレートを上げることができる。これにより、測距部５は、前方の対象物との距離を算出する時間を短縮でき、ユーザが前方の対象物との衝突を回避できる可能性が高まる。また、車速検出部２で検出された自車両の速度が遅い場合は、画素領域特定部５２は、画像サイズｍ×ｎの大きさを拡大する。これにより、測距部５は、より広範囲において存在する対象物を認識することができる。

自車両の速度に対する撮像画像のサイズについては、例えば、全画素画像のサイズをＭ×Ｎとし、このときの面積をＳとした場合に、画素領域特定部５２は、速度が１０ｋｍ／ｈ以上の２０ｋｍ／ｈ未満のときは、撮像画像の面積をＳとし、速度が２０ｋｍ／ｈ以上４０ｋｍ／ｈ未満のときは、撮像画像の面積をＳ／２とし、速度が４０ｋｍ／ｈ以上６０ｋｍ／ｈ未満のときは、撮像画像の面積をＳ／３とし、速度が６０ｋｍ／ｈ以上８０ｋｍ／ｈ未満のときは、撮像画像の面積をＳ／４とし、速度が８０ｋｍ／ｈ以上では撮像画像の面積をＳ／５とするように、ｍ及びｎの各値を制御する。なお、画素領域特定部５２は、ｍ×ｎの撮像画像を、Ｍ×Ｎと相似となるようにすることが望ましい。

ｍ及びｎの各値の組合せは固定ではないが、ｍの値は、全画素画像のＭの値に近いほど、測距部５は、水平方向の広範囲に存在する対象物を認識することができる。このことは、走行車線が複数あってそれぞれの車線に存在する対象物を測距部５が認識する場合、及び、道路の路肩に存在する対象物を測距部５が認識する場合に有効である。そのため、初期状態ではｍ＝Ｍとなるようにする。

また、自車両の速度が遅い場合でも前方の対象物との距離が近ければそれだけで衝突の危険性が高まる。そのため、画素領域特定部５２は、前方の対象物が全画素画像１３０ａ、１３０ｂ内で映っている垂直方向位置に応じて、画像サイズｍ×ｎを変えることもできる。例えば、対象物が映っている位置が、撮像画像１３０ａ、１３０ｂの下部に近いほど（画像１３０ｂにおいて「下」の矢印の方向）、画素領域特定部５２は、自車両と対象物との距離が接近していると考え、画素領域を縮小する。対象物が映っている位置が画像の上部に近いほど（画像１３０ｂにおいて「上」の矢印の方向）、画素領域特定部５２は、自車両と対象物との距離が離れていると考え、画素領域を拡大する。なお、対象物が写っている位置については、撮像画像１３０ａ、１３０ｂの中心１３４ａ、１３４ｂと、特徴点１３５ａ、１３５ｂとの間の関係で認識すればよい。例えば、画素領域特定部５２は、撮像画像１３０ａ、１３０ｂの中心１３４ａ、１３４ｂから、特徴点１３５ａ、１３５ｂが下方に離れるにつれて、対象物が映っている位置が、撮像画像１３０ａ、１３０ｂの下部に近いているものとする。また、画素領域特定部５２は、撮像画像１３０ａ、１３０ｂの中心１３４ａ、１３４ｂから、特徴点１３５ａ、１３５ｂが上方に離れるにつれて、対象物が映っている位置が、撮像画像１３０ａ、１３０ｂの上部に近いているものとする。以上により、前方の対象物との距離が近いほど、測距部５が前方の対象物との間の距離を算出する時間を短縮することができるため、ユーザが前方の対象物との衝突を回避できる可能性が高まる。
なお、このような垂直方向位置による制御は、自車両の速度による制御に代えて行われてもよく、また、自車両の速度による制御とともに行われてもよい。例えば、画素領域特定部５２は、まず、自車両の速度に応じて画素領域のサイズを特定する。そして、画素領域特定部５２は、特定されたサイズを、特徴点の垂直方向の位置に基づいて修正することにより、画素領域のサイズを決定することができる。

また、距離算出部５４で算出された、前方の対象物との間の距離情報を、画素領域特定部５２にフィードバックさせて、画素領域特定部５２が、実際に測距された値に基づいて、画像サイズｍ×ｎの大きさを変えることができるようにしてもよい。こうすることにより、例えば、画素領域特定部５２は、前方の対象物との距離が予め定められた距離よりも近いほど、この予め定められた距離における画像サイズから、画像サイズｍ×ｎをより小さくすることができる。このため、測距部５は、前方の対象物との距離が予め定められた距離よりも近いほど、前方の対象物との距離を算出する時間を短縮できるため、ユーザは、前方の対象物との衝突を回避できる可能性が高まる。

撮像画像の中心１３４ａ、１３４ｂと、特徴点１３５ａ、１３５ｂとの位置については、全画素を用いた撮像画像１３０ａ、１３０ｂにおける座標で表すことが望ましい。例えば、画像１３０ａ（画像１３０ｂ）の四隅のうち、左下の座標を（０，０）、右上の座標を（Ｍ，Ｎ）とした場合、中心１３４ａ、１３４ｂの座標は、（Ｍ／２，Ｎ／２）と表すことができる。また、特徴点１３５ａ、１３５ｂの座標は、（α，β）（０≦α≦Ｍ、０≦β≦Ｎ）と表すことができる。撮像画像１４０ａ、１４０ｂを生成した場合でも、中心１３４ａ、１３４ｂと特徴点１３５ａ、１３５ｂの座標は、それぞれ（Ｍ／２，Ｎ／２）、（α，β）で表す。

次に、撮像画像の画像サイズを変更するための撮像素子１２の駆動制御について、図７及び図８を用いて説明する。図７はＣＭＯＳ型の撮像素子１２Ａの構造を示す概略図である。１５０は、水平走査回路であり、１５１は、垂直走査回路であり、１５２１〜１５２５は、列選択スイッチである。点線１５３で示された領域は、１画素が占める領域を示している。点線１５３で示されている領域には、ＭＯＳトランジスタと、フォトダイオード増幅器と、画素選択スイッチとを含む。１５４１〜１５４５は、垂直信号線であり、１５５１〜１５５４は、水平信号線である。画素単位で蓄積された電荷は、増幅器によって電圧に変換された後に増幅される。水平信号線１５５１〜１５５４を制御して画素選択スイッチをＯＮ／ＯＦＦすることにより、増幅された電圧は、行毎に垂直信号線１５４１〜１５４５に送られる。その後、垂直信号線１５４１〜１５４５毎に配置されているＣＤＳ回路で一時的に保持された電圧は、列選択スイッチ１５２１〜１５２５をＯＮ／ＯＦＦすることにより出力される。この場合、一部の水平信号線１５５２、１５５３と、一部の列選択スイッチ１５２２、１５２３とをセンサ駆動回路１４から制御することにより、一部の領域１５６の画像を撮像画像として読み出すことができる。

図８は、ＣＣＤ型の撮像素子１２Ｂの構造を示す概略図である。１６０は、水平転送ＣＣＤであり、１６１は、出力アンプであり、１６２は、水平同期信号であり、１６３は、垂直同期信号である。１６４は、図示しない垂直転送ＣＣＤ内の電荷が転送される方向を表している。図８において、ハッチングされた領域１６５は、画素領域であり、領域１６６及び領域１６７は、不要な画素領域である。ＣＣＤ型の撮像素子１２Ｂの場合は、構造上ＣＭＯＳ型のように読み出したい画素を指定して読み出すことができない。そのため、図示しない垂直転送ＣＣＤから、読み出された全画素の電荷のうち、必要とする画素領域１６５の画素は、通常の垂直方向の電荷転送速度で読み出し、不要な画素領域１６６、１６７の画素は、通常の垂直方向の電荷転送速度よりも高速に転送後読み捨てることでフレームレートを上げることができる。垂直方向の電荷転送速度を制御するのはセンサ駆動回路１４である。

図９は、ステレオカメラと対象物との３次元の位置関係を示す概略図である。図９において、ｘはｘ軸、ｙはｙ軸、ｚはｚ軸である。点Ｐは、対象物の特徴点位置であり、１１ａは、第１撮像部１ａの光学系であり、１１ｂは、第２撮像部１ｂの光学系である。θ_１は、点Ｐから光学系１１ａへ入射する光線の入射角であり、θ_３は、光学系１１ａの透過時に歪曲収差によりずれた光線経路とｚ軸とのなす角である。θ_２は、点Ｐから光学系１１ｂへ入射する光線の入射角であり、θ_４は、光学系１１ｂの透過時に歪曲収差によりずれた光線経路とｚ軸に平行な軸とのなす角である。１７０ａ及び１７０ｂは、第１撮像部１ａ及び第２撮像部１ｂの撮像素子面であり、Ｂは、光学系１１ａと光学系１１ｂとの間の距離（ステレオベース長）である。Ｏ_１は、撮像素子面１７０ａ、１７０ｂに平行で、かつ、点Ｐを含む面と、ｚ軸との交点であり、Ｏ_２は、撮像素子面１７０ａ、１７０ｂに平行で、かつ、点Ｐを含む面と、ｚ軸に平行な軸ｚ_１との交点である。Ｚは、点Ｏ_１からｘｙ軸に垂直に降ろした対象物距離、Ｗ_１は、点Ｐと光学系１１ａとの間の距離（真距離）であり、Ｗ_２は、点Ｐと光学系１１ｂとの間の距離（真距離）を表している。１３４ａは、撮像素子面１７０ａの中心、１３４ｂは、撮像素子面１７０ｂの中心である。ｆは、焦点距離であり、１３５ａは、撮像素子面１７０ａ上の特徴点であり、１３５ｂは、撮像素子面１７０ｂ上の特徴点である。ｒ_１は、特徴点１３５ａと画像の中心１３４ａとの間の長さであり、ｒ_２は、特徴点１３５ｂと画像の中心１３４ｂとの間の長さであり、ｈ_１は、特徴点１３５ａからｘ軸に平行な撮像素子面１７０ａ、１７０ｂ上の軸ｘ_１軸に垂直に降ろした線分の長さであり、ｈ_２は、特徴点１３５ｂからｘ軸と平行なｘ_１軸に垂直に降ろした線分の長さである。θ_５は、線分ｒ_１とｘ_１軸と間のなす角であり、θ_６は、線分ｒ_２とｘ_１軸との間のなす角である。

図９に基づいて、対象物までの距離Ｗ_１を算出する方法について示す。図９から以下の式（１）〜（４）が成り立つ。式（４）が算出したい対象物までの距離Ｗ_１である。

式（１）から（４）において、ｒ_１、ｒ_２、ｈ_１及びｈ_２は、特徴点検出部５１による処理が実施された後に決定される値であり、単位は画素である。θ_１、θ_２は、入射角特定部５３において参照される数値情報を参照することにより特定することができる。数値情報は、例えば、特徴点と画像の中心との間の距離に応じて入射角度を参照することのできるテーブルであり、図９の例では、光学系１１の歪曲収差の特性を考慮して決定されている。出力値（入射角）を得るための入力値が、特徴点と画像の中心との間の距離であるｒ_１又はｒ_２となっている理由は、画像の中心を基準とする同心円上の点はすべて同じ歪率であると考えられることを基礎とする。対象物からの光線が、光学系１１ａ、１１ｂの各レンズへ入射する際の角度が分かれば、式（１）から（４）に基づいて、対象物までの距離を算出することができる。

次に、本実施の形態に係る画像処理装置１００の動作について、図１０から図１２を用いて説明する。

図１０は、モード決定部４が行う処理を示すフローチャートである。
モード決定部４は、車速検出部２から自車両の速度を示す情報を受け取り、自車両の速度が予め定められた閾値速度Ｓ（ｋｍ／ｈ）以上であるか否かを判定する（Ｓ１０）。そして、モード決定部４は、自車両の速度が予め定められた閾値速度Ｓ（ｋｍ／ｈ）以上である場合（ステップＳ１０：Ｙｅｓ）には、ステップＳ１１の処理に進み、自車両の速度が予め定められた閾値速度Ｓ（ｋｍ／ｈ）未満である場合（ステップＳ１０：Ｎｏ）には、ステップＳ１２の処理に進む。

ステップＳ１１では、モード決定部４は、測距モードとして、撮像部１から得られる画像情報を測距部５に与える。
一方、ステップＳ１２では、モード決定部４は、視認モードとして、撮像部１から得られる画像情報を視認用画像生成部７に与える。

図１１は、測距モードでの処理を示すフローチャートである。
まず、特徴点検出部５１は、モード決定部４より画像情報を取得したか否かを判断する（Ｓ２０）。画像情報を取得した場合（ステップＳ２０：Ｙｅｓ）には、ステップＳ２１の処理に進む。

ステップＳ２１では、特徴点検出部５１は、モード決定部４から取得された画像情報に基づいて、予め定められた対象物の予め定められた特徴点を検出する。特徴点の検出は、第１撮像部１ａから与えられる第１画像情報と、第２撮像部１ｂから与えられる第２画像情報との両方について行われる。

次に、画素領域特定部５２は、車速検出部２から得られる自車両の速度に対応する画素領域のサイズを特定し、当該画素領域のサイズの画像内に特徴点検出部５１で検出された特徴点が含まれるように、画素領域の位置を決定する（Ｓ２２）。画素領域の位置の決定は、第１撮像部１ａから与えられる第１画像情報と、第２撮像部１ｂから与えられる第２画像情報との両方について行われる。

そして、画素領域特定部５２は、ステップＳ２２で決定した画素領域を示す画素領域情報をカメラパラメータ設定部６に与える。
カメラパラメータ設定部６は、画素領域特定部５２で特定された画素領域に対応して、撮像部１内の撮像素子１２の駆動パターンを切り替えるための駆動パルス制御信号を生成して、データバス８を経由して、生成された駆動パルス制御信号を撮像部１に与える（Ｓ２４）。

また、ステップＳ２２からＳ２４の処理と並行して、入射角特定部５３は、画素領域特定部５２を介して、モード決定部４から出力された画像情報と、特徴点検出部５１で検出された特徴点の位置を示す特徴点位置情報とを取得して、これらの情報に基づいて、第１撮像部１ａ及び第２撮像部１ｂのそれぞれのレンズへの入射角を特定する（Ｓ２５）。

次に、距離算出部５４は、入射角特定部５３により特定された入射角と、特徴点検出部５１で検出された特徴点位置に基づいて、対象物までの距離を算出する（Ｓ２６）。
そして、距離算出部５４は、ステップＳ２６で算出された距離を示す距離情報を情報伝達部９に与える（Ｓ２７）。このような距離情報を取得した情報伝達部９では、取得された距離情報で示される距離を例えば、ディスプレイ等の表示部に表示する。

次に、特徴点検出部５１は、モード決定部４より画像情報を取得したか否かを判断する（Ｓ２８）。画像情報を取得した場合（ステップＳ２８：Ｙｅｓ）には、ステップＳ２９の処理に進む。

ステップＳ２９では、特徴点検出部５１は、モード決定部４から取得された画像情報に基づいて、予め定められた対象物の予め定められた特徴点を検出することができるか否かを判断する。そして、特徴点検出部５１は、特徴点を検出することができる場合（ステップＳ２９：Ｙｅｓ）には、特徴点を検出してステップＳ２９の処理に進み、特徴点を検出することができない場合（ステップＳ２９：Ｎｏ）には、ステップＳ３４の処理に進む。

ステップＳ３０では、画素領域特定部５２は、画素領域のサイズ及び位置を変更する必要があるか否かを判断する。例えば、画素領域特定部５２は、車速検出部２から得られる自車両の速度が所定の程度変化した場合には、画素領域のサイズを変更する必要があると判断し、また、特徴点位置が画素領域の中心から所定程度離れた場合には、画素領域の位置を変更する必要があると判断する。そして、画素領域特定部５２は、画素領域のサイズ及び位置の少なくとも何れか一方を変更する必要があると判断した場合（ステップＳ３０：Ｙｅｓ）には、ステップＳ２２及びステップＳ２５の処理に戻り、画素領域のサイズ及び位置を変更する必要がないと判断した場合（ステップＳ３０：Ｎｏ）には、ステップＳ３１の処理に進む。

ステップＳ３１では、入射角特定部５３は、画素領域特定部５２を介して、モード決定部４から出力された画像情報と、特徴点検出部５１で検出された特徴点の位置を示す特徴点位置情報とを取得して、これらの情報に基づいて、第１撮像部１ａ及び第２撮像部１ｂのそれぞれのレンズへの入射角を特定する。

次に、距離算出部５４は、入射角特定部５３により特定された入射角と、特徴点検出部５１で検出された特徴点位置に基づいて、対象物までの距離を算出する（Ｓ３２）。
そして、距離算出部５４は、ステップＳ３２で算出された距離を示す距離情報を情報伝達部９に与える（Ｓ３３）。

一方、ステップＳ３４では、撮像された画像に特徴点が含まれていないため、特徴点が、画素領域からフレームアウトしてしまったものとして、画素領域特定部５２は、画素領域の位置を特徴点がフレームアウトした方向へ移動させる。例えば、画素領域特定部５２は、特徴点位置情報を時系列順に特徴点位置記憶部５２ａに記憶しておき、この特徴点位置情報で示される特徴点位置の軌跡によりフレームアウトした方向を特定する。例えば、画素領域特定部５２は、フレームアウトした方向を、特徴点位置の軌跡が、撮像画像の中心から離れる方向に向かっている方向で判断してもよく、また、時刻ｔの特徴点位置を始点とし、この時刻ｔ_１から所定の時間が経過した時刻ｔ_２の特徴点位置を終点とするベクトルにより判断してもよい。

そして、画素領域特定部５２は、ステップＳ３４で変更後の画素領域のサイズ及び位置を示す画素領域情報をカメラパラメータ設定部６に与える（Ｓ３５）。
カメラパラメータ設定部６は、ステップＳ３５で与えられた画素領域情報で示される画素領域に対応して、撮像部１内の撮像素子１２の駆動パターンを切り替えるためのセンサ駆動パルス制御信号を生成して、データバス８を経由して、生成されたセンサ駆動パルス制御信号を撮像部１に与える（Ｓ３６）。

図１２は、視認モードでの処理を示すフローチャートである。
モード決定部４は、視認モードに移行すると判断した場合には、カメラパラメータ設定部６に画素領域を初期化するように指示を出す（Ｓ４０）。このような指示を受けたカメラパラメータ設定部６は、画素領域を全画素領域（最大画像サイズ）とするように、撮像部１内の撮像素子１２の駆動パターンを切り替えるためのセンサ駆動パルス制御信号を生成して、データバス８を経由して、生成されたセンサ駆動パルス制御信号を撮像部１に与える。

次に、歪補正部７１は、モード決定部４から画像情報を取得したか否かを確認する（Ｓ４１）。そして、歪補正部７１は、画像情報を取得した場合（ステップＳ４１：Ｙｅｓ）には、ステップＳ４２の処理に進む。

ステップＳ４２では、歪補正部７１は、モード決定部４から取得された画像情報の歪みを補正する。ここでは、第１撮像部１ａから取得された第１画像及び第２撮像部１ｂから取得された第２画像の両方の歪みを補正する。
そして、画像合成部７２は、歪補正部７１による補正後の第１画像の少なくとも一部及び第２画像の少なくとも一部を合成することで、合成画像を生成する（Ｓ４３）。そして、画像合成部７２は、合成画像を示す合成画像情報を情報伝達部９に与える。合成画像情報を取得した情報伝達部９は、合成画像情報で示される合成画像をディスプレイ等の表示部に表示させる。

以上のように、本実施の形態においては、車両の速度に応じて、自車両の周辺の画像を表示する視認モードと、自車両の前方に位置する車両までの距離を出力する測距モードとが切り替えられるため、車両の速度に応じて、車両の運転者に適切な情報を伝達することができる。また、視認モード及び測距モードにおいても、広角カメラである撮像部１からの画像情報に基づいて適切に処理が行われるため、それぞれのモードに適した画角のカメラを設ける必要がない。さらに、測距モードでは、車両の速度に応じて、撮像部１で撮像される画像のサイズが変更されるため、測距部５は、車両の速度に応じたフレームレートで、撮像部１からの画像情報を取得することができる。

以上に記載した実施の形態においては、撮像部１が自車両の前方に搭載されているが、撮像部１の搭載場所は前方に限定されるものではなく、自車両の後方又は側方であってもよい。

また、撮像素子１２の電荷露光時間の調整は、撮像素子１２の駆動パルス制御で行えるため、カメラパラメータ設定部６は、画像の画素領域の他、電荷の露光時間を制御することもできる。

以上に記載した実施の形態では、図１１のステップＳ３４において、画素領域の位置を変更しているが、例えば、画素領域を拡大して特徴点が含まれるようにしてもよい。

以上に記載した実施の形態においては、距離算出部５４は、算出された距離を示す距離情報を情報伝達部９に与えているが、例えば、算出された距離に応じて色又は形が変化するマーク、又は、算出された距離に応じて変わる警告音を情報伝達部９に与えてもよい。情報伝達部９へ伝送される情報が距離やマークであれば情報伝達部９は車内のディスプレイとして作用し画面上に情報が表示される。また、情報伝達部９へ伝送される情報が音であれば情報伝達部９はスピーカーとして作用し、運転者に対して音で前方対象物までの距離を認識させる。

１００：画像処理装置、 １ａ：第１撮像部、 １ｂ：第２撮像部、 １１：光学系、 １２：撮像素子、 １３：ＡＤ変換器、 １４：センサ駆動回路、 ２：車速検出部、 ３：ＥＣＵ、 ４：モード決定部、 ５：測距部、 ５１：特徴点検出部、 ５１ａ：テンプレート記憶部、 ５２：画素領域特定部、 ５２ａ：特徴点位置記憶部、 ５３：入射角特定部、 ５３ａ：数値記憶部、 ５４：距離算出部、 ６：カメラパラメータ設定部、 ７：視認用画像生成部、 ７１：歪補正部、 ７２：画像合成部、 ８：データバス、 ９：情報伝達部。

本発明の一態様に係る画像処理装置は、広角レンズを備え、少なくとも一部の範囲が重なる画像を撮像する複数の撮像部と、自車両の速度を検出する車速検出部と、前記複数の撮像部で撮像された複数の画像に基づいて、前記自車両から、前記複数の撮像部で撮像された対象物までの距離を算出する測距部と、前記複数の撮像部で撮像された複数の画像から、前記自車両の近辺の状況を確認するための視認用画像を生成する視認用画像生成部と、前記車速検出部で検出された速度が、予め定められた閾値速度以上である場合に前記測距部に前記対象物までの距離を算出させ、前記予め定められた閾値速度未満である場合に前記視認用画像生成部に前記視認用画像を生成させるモード決定部と、を備え、前記測距部は、前記複数の撮像部の各々で撮像に使用することのできる全画素の内、前記複数の撮像部の各々から出力させる画像に対応する画素領域のサイズ及び位置を、前記複数の撮像部の各々について特定する画素領域特定部を備え、前記画素領域特定部は、前記車速検出部で検出された速度が速くなるほど、前記画素領域のサイズを小さくすることを特徴とする。
また、本発明の他の態様に係る画像処理装置は、広角レンズを備え、少なくとも一部の範囲が重なる画像を撮像する複数の撮像部と、自車両の速度を検出する車速検出部と、前記複数の撮像部の各々で撮像に使用することのできる全画素の内、前記複数の撮像部の各々から出力させる画像に対応する画素領域のサイズ及び位置を、前記複数の撮像部の各々について特定する画素領域特定部、前記複数の撮像部で撮像された各々の画像において、前記対象物の特徴点を各々検出して、当該特徴点の位置を各々特定する特徴点検出部、及び、前記複数の撮像部で撮像された複数の画像に基づいて、前記自車両から、前記複数の撮像部で撮像された対象物までの距離を算出する距離算出部、を備える測距部と、前記複数の撮像部で撮像された複数の画像から、前記自車両の近辺の状況を確認するための視認用画像を生成する視認用画像生成部と、前記画像領域特定部で特定された画像領域のサイズの画像を、前記複数の撮像部から出力させるカメラパラメータ設定部と、を備え、前記画素領域特定部は、前記車速検出部で検出された速度が速くなるほど、前記画素領域のサイズを小さくすることで、前記複数の撮像部から画像を読み出すフレームレートを上げるとともに、前記特徴点検出部で特定された特徴点の位置を各々含むように、前記画素領域の位置を各々特定し、前記特徴点検出部で特定された特徴点の位置が、前記複数の撮像部の各々で撮像に利用することのできる全画素の中心よりも下方にあるほど、前記画素領域のサイズを小さくすることで、前記複数の撮像部から画像を読み出すフレームレートを上げることを特徴とする。

Claims (18)

1. 広角レンズを備え、少なくとも一部の範囲が重なる画像を撮像する複数の撮像部と、
   自車両の速度を検出する車速検出部と、
   前記複数の撮像部で撮像された複数の画像に基づいて、前記自車両から、当該複数の撮像部で撮像された対象物までの距離を算出する測距部と、
   前記複数の撮像部で撮像された複数の画像から、前記自車両の近辺の状況を確認するための視認用画像を生成する視認用画像生成部と、を備え、
   前記測距部は、前記複数の撮像部の各々で撮像に使用することのできる全画素の内、前記複数の撮像部の各々から出力させる画像に対応する画素領域のサイズ及び位置を、前記複数の撮像部の各々について特定する画素領域特定部を備え、
   前記画素領域特定部は、前記車速検出部で検出された速度が速くなるほど、前記画素領域のサイズを小さくすること
   を特徴とする画像処理装置。
2. 前記車速検出部で検出された速度が、予め定められた閾値速度以上である場合に前記測距部に前記対象物までの距離を算出させ、前記予め定められた閾値速度未満である場合に前記視認用画像生成部に前記視認用画像を生成させるモード決定部をさらに備えること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記画像領域特定部で特定された画像領域のサイズの画像を、前記複数の撮像部から出力させるカメラパラメータ設定部をさらに備え、
   前記測距部は、前記車速検出部で検出された速度が速くなるほど、前記複数の撮像部から画像を読み出すフレームレートを上げること
   を特徴とする請求項１又は２に記載の画像処理装置。
4. 前記測距部は、前記複数の撮像部で撮像された各々の画像において、前記対象物の特徴点を各々検出して、当該特徴点の位置を各々特定する特徴点検出部をさらに備え、
   前記画素領域特定部は、前記特徴点検出部で特定された特徴点の位置を各々含むように、前記画素領域の位置を各々特定すること
   を特徴とする請求項２又は３に記載の画像処理装置。
5. 前記画素領域特定部は、前記特徴点検出部で特定された特徴点の位置が、前記複数の撮像部の各々で撮像に利用することのできる全画素の中心よりも下方にあるほど、前記画素領域のサイズを小さくすること
   を特徴とする請求項４に記載の画像処理装置。
6. 前記測距部は、
   前記特徴点検出部で特定された特徴点の位置を示す特徴点位置情報を記憶する特徴点位置記憶部をさらに備え、
   前記画素領域特定部は、前記特徴点検出部で、前記特徴点を検出することができない場合には、前記特徴点位置情報を参照することで、前記特徴点がフレームアウトした方向を特定し、当該特定した方向に前記画素領域の位置を移動させること
   を特徴とする請求項４又は５に記載の画像処理装置。
7. 前記測距部は、
   前記特徴点検出部で特定された特徴点の位置に応じて、前記対象物からの光が前記広角レンズに入射する入射角を特定する入射角特定部と、
   前記入射角特定部で特定された入射角に基づいて、前記対象物までの距離を算出する距離算出部と、をさらに備えること
   を特徴とする請求項４から６の何れか一項に記載の画像処理装置。
8. 前記撮像部は、前記広角レンズを透過した光を受光する撮像素子をさらに備え、
   前記測距部は、
   前記撮像素子の撮像面の中心からの距離毎に、前記対象物からの光のうち、前記広角レンズの中心を通って入射する光の入射角を示す数値情報を記憶する数値記憶部をさらに備え、
   前記入射角特定部は、前記特徴点検出部で検出された特徴点の位置と、前記中心との間の距離を算出し、算出された距離に対応する入射角を前記数値情報より特定すること
   を特徴とする請求項７に記載の画像処理装置。
9. 前記視認用画像生成部は、
   前記複数の撮像部で撮像された複数の画像の歪みを各々補正する歪補正部と、
   前記歪補正部で補正された複数の画像の各々から、少なくとも一部の画像を抽出し、当該抽出された画像を合成することで、視認用画像を生成する画像合成部と、を備えること
   を特徴とする請求項１から８の何れか一項に記載の画像処理装置。
10. 広角レンズを介して、少なくとも一部の範囲が重なる複数の画像を撮像する撮像過程と、
    自車両の速度を検出する車速検出過程と、
    前記撮像過程で撮像された複数の画像に基づいて、前記自車両から、前記撮像過程で撮像された対象物までの距離を算出する測距過程と、
    前記撮像過程で撮像された複数の画像から、前記自車両の近辺の状況を確認するための視認用画像を生成する視認用画像生成過程と、を有し、
    前記測距過程は、前記撮像過程で撮像に使用することのできる全画素の内、前記撮像過程において出力させる画像に対応する画素領域のサイズ及び位置を、前記複数の画像各々について特定する画素領域特定過程を有し、
    前記画素領域特定過程は、前記車速検出過程で検出された速度が速くなるほど、前記画素領域のサイズを小さくすること
    を特徴とする画像処理方法。
11. 前記車速検出過程で検出された速度が、予め定められた閾値速度以上である場合に前記測距過程に前記対象物までの距離を算出させ、前記予め定められた閾値速度未満である場合に前記視認用画像生成過程に前記視認用画像を生成させるモード決定過程をさらに有すること
    を特徴とする請求項１０に記載の画像処理方法。
12. 前記画像領域特定過程で特定された画像領域のサイズの画像を、前記撮像過程において出力させるカメラパラメータ設定過程をさらに備え、
    前記測距過程は、前記車速検出過程で検出された速度が速くなるほど、前記撮像過程から画像を読み出すフレームレートを上げること
    を特徴とする請求項１０又は１１に記載の画像処理方法。
13. 前記測距過程は、前記撮像過程で撮像された各々の画像において、前記対象物の特徴点を各々検出して、当該特徴点の位置を各々特定する特徴点検出過程をさらに備え、
    前記画素領域特定過程は、前記特徴点検出過程で特定された特徴点の位置を各々含むように、前記画素領域の位置を各々特定すること
    を特徴とする請求項１１又は１２に記載の画像処理方法。
14. 前記画素領域特定過程は、前記特徴点検出過程で特定された特徴点の位置が、前記撮像過程で撮像に利用することのできる全画素の中心よりも下方にあるほど、前記画素領域のサイズを小さくすること
    を特徴とする請求項１３に記載の画像処理方法。
15. 前記測距過程は、
    前記特徴点検出過程で特定された特徴点の位置を示す特徴点位置情報を記憶する特徴点位置記憶過程をさらに備え、
    前記画素領域特定過程は、前記特徴点検出過程で前記特徴点を検出することができない場合には、前記特徴点位置情報を参照することで、前記特徴点がフレームアウトした方向を特定し、当該特定した方向に前記画素領域の位置を移動させること
    を特徴とする請求項１３又は１４に記載の画像処理方法。
16. 前記測距過程は、
    前記特徴点検出過程で特定された特徴点の位置に応じて、前記対象物からの光が前記広角レンズに入射する入射角を特定する入射角特定過程と、
    前記入射角特定部で特定された入射角に基づいて、前記対象物までの距離を算出する距離算出過程と、をさらに有すること
    を特徴とする請求項１３から１５の何れか一項に記載の画像処理方法。
17. 前記撮像過程は、前記広角レンズを透過した光を受光する撮像素子を介して、画像を撮像する過程であり、
    前記入射角特定過程は、前記特徴点検出過程で検出された特徴点の位置と、前記中心との間の距離を算出し、前記撮像素子の撮像面の中心からの距離毎に、前記対象物からの光のうち、前記広角レンズの中心を通って入射する光の入射角を示す数値情報を参照することで、前記中心との間の距離に対応する入射角を特定すること
    を特徴とする請求項１６に記載の画像処理方法。
18. 前記視認用画像生成過程は、
    前記撮像過程で撮像された複数の画像の歪みを各々補正する歪補正過程と、
    前記歪補正過程で補正された複数の画像の各々から、少なくとも一部の画像を抽出し、当該抽出された画像を合成することで、視認用画像を生成する画像合成過程と、を有すること
    を特徴とする請求項１０から１７の何れか一項に記載の画像処理方法。

Images