JP5375958B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像を処理する画像処理装置等に関する。

近年、移動体の周囲に設置した複数のカメラが撮影した画像を用いて、移動体を上方から撮影したような俯瞰（鳥瞰）図や、各画像を合成して３６０度のパノラマ画像を表示する技術が普及している。このように、カメラが撮影した画像を俯瞰図などに変換する場合や、各画像を合成してパノラマ画像を表示するためには、カメラの位置（ｘ座標、ｙ座標、ｚ座標）や角度（俯角ψ、回転角φ、パン角θ）等のパラメータを用いる。

移動体にカメラを設置する場合、カメラの各パラメータは取り付け条件によって異なり、取り付け誤差を含むため、カメラの各パラメータを正確に求めるためのキャリブレーションが必要となる。カメラを搭載する移動体については、出荷時に特殊な冶具を利用してキャリブレーションを行う。しかし、出荷後の経年劣化やカメラ取り付け部分の劣化などによりカメラのパラメータが徐々に変化する。

例えば、カメラの角度に変化が生じると、カメラから画像上で抽出した対象物までの距離算出結果が変化してしまうので、俯瞰画像やパノラマ画像が適切に表示されなくなる。そのため、出荷後もカメラのキャリブレーションを実行することが望ましい。なお、出荷後は、特殊な冶具を利用することが困難であり、特殊な冶具を利用しないでキャリブレーションを実行することが求められる。

出荷後にキャリブレーションを行う技術として、移動体が走行する直線道路の左右の白線を抽出し、抽出した白線に基づいてカメラのキャリブレーションを実行する技術が考案されている。また、路面にペイントされた標識の幾何形状を用いてカメラのキャリブレーションを実行する技術も知られている。

特開２００３−３２９４１１号公報 特開２００１−２２５７０９号公報 特開２００８−１１１７４号公報 特開２０００−１１１３３号公報 特開２００４−２０５３９８号公報

しかしながら、上述した従来の技術では、カメラで撮影した画像中の路面が平面であることや、白線やペイントが想定した形状を満たしていることを前提としている。しかし、前記前提を満たしていない場合には、従来の技術を適用することが出来ないという問題があった。

また、白線やペイントが想定した形状を満たしていたとしても、ペイントや白線を他車両が遮っている場合には、同様に従来の技術を適用することが出来ない。このように、白線やペイントが歪んでいることや、ペイントや白線を他車両が遮るような状況は、実際の交通環境では多々発生する状況である。

従って、カメラのパラメータがずれていたとしても、キャリブレーションを実行可能な状況になかなかめぐり合うことが出来ず、キャリブレーションを適切に実行できていない。

本発明は、上記に鑑みてなされたものであって、実際の交通環境に左右されないで、出荷後のキャリブレーションの実行時期を正確に判定可能な画像処理装置および画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、この画像処理装置は、移動体に設置されたカメラから当該移動体の走行中に撮影された画像を取得し、取得した画像を積算した積算画像を生成する積算部と、前記積算画像から輝度エッジを抽出し、当該輝度エッジに基づいて決定した各直線の交点を消失点として特定する消失点特定部と、前記消失点の座標と基準座標とを基にして、前記カメラのパラメータが適切な値であるか否かを判定する判定部とを有することを要件とする。

本発明にかかる画像処理装置は、実際の交通環境に左右されないで、出荷後のキャリブレーションの実行時期を正確に判定することが出来る。

図１は、本実施例１にかかる画像処理装置の構成を示す図である。 図２は、カメラのパラメータを説明するための図である。 図３は、本実施例２にかかるキャリブレーション装置の構成を示す図である。 図４は、キャリブレーション装置の処理の概要を説明するための図（１）である。 図５は、キャリブレーション装置の処理の概要を説明するための図（２）である。 図６は、直進している車両を示す図である。 図７は、カメラが撮影した映像の一例を示す図である。 図８は、７２０×４８０画素のモノクロ画像の一例を示す図である。 図９は、画像積算平均処理部の構成を示す図である。 図１０は、レンズ歪み補正部の処理を説明するための図である。 図１１は、エッジ抽出部の処理を説明するための図である。 図１２は、キャリブレーション装置の処理手順を示すフローチャートである。 図１３は、走行状態判定部の処理手順を示すフローチャートである。 図１４は、実施例にかかるキャリブレーション装置を構成するコンピュータのハードウェア構成を示す図である。

以下に、本発明にかかる画像処理装置および画像処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例１にかかる画像処理装置の構成を示す図である。図１に示すように、この画像処理装置１００は、カメラ１０、積算部１１０、消失点特定部１２０、判定部１３０を有する。

積算部１１０は、移動体に設置されたカメラ１０から移動体の走行中に撮影された画像を取得し、取得した画像を積算した積算画像を生成する処理部である。

消失点特定部１２０は、積算画像から輝度エッジを抽出し、輝度エッジに基づいて決定した各直線の交点を消失点として特定する処理部である。

判定部１３０は、消失点の座標と基準座標とを基にして、カメラのパラメータが適切な値であるか否かを判定する処理部である。

上記の画像処理装置１００によれば、積算画像から消失点を求めるので、実際の交通環境に左右されないで、出荷後にカメラのキャリブレーションを実行すべきか否かを判定できる。

まず、カメラのパラメータについて説明する。図２は、カメラのパラメータを説明するための図である。図２に示すように、カメラ１０のパラメータは、カメラ１０を原点とするカメラ座標系Ｘ、Ｙ、Ｚ軸において、カメラのＸ軸周りの角度を示す俯角ψ、Ｚ軸周りの角度を示す回転角φ、Ｙ軸周りの角度を示すパン角θを有する。なお、Ｚ軸はカメラ１０の光軸に対応する。

次に、本実施例２にかかるキャリブレーション装置の構成について説明する。図３は、本実施例２にかかるキャリブレーション装置の構成を示す図である。図３に示すように、このキャリブレーション装置２００は、カメラ１０、舵角センサ１１、車速センサ１２、走行状態判定部２０１、画像処理部２０２、輝度画像変換部２０３、画像積算平均処理部２０４、レンズ歪み補正部２０５を有する。また、キャリブレーション装置２００は、エッジ抽出部２０６、消失点抽出部２０７、消失点格納部２０８、誤差判定部２０９、ＨＭＩ２１０、補正処理部２１１、カメラパラメータ格納部２１２を有する。キャリブレーション装置２００は、例えば、車両内に設置されているものとする。

ここで、各処理部の詳細な説明を行う前に、キャリブレーション装置２００の処理の概要について説明する。図４および図５は、キャリブレーション装置の処理の概要を説明するための図である。

図４に示すように、キャリブレーション装置２００は、カメラ１０が撮影した画像を積算し、積算した画像を平均化することで、積算平均した輝度画像を生成する。以下の説明において、積算平均した輝度画像を積算平均画像と表記する（ステップＳ１０）。例えば、本実施例２にかかるキャリブレーション装置２００は、１０２４フレームの画像を積算し、積算した画像の各画素の輝度値を１０２４で割ることで、積算平均画像を生成する。

キャリブレーション装置２００は、カメラ１０のレンズ歪みを考慮して、積算平均画像に対するレンズ歪み補正を実行する（ステップＳ１１）。

続いて、図５に移行する。キャリブレーション装置２００は、レンズ歪み補正後の積算画像にフィルタリング処理を実行することで、積算平均画像からエッジを抽出する（ステップＳ１２）。以下の説明において、エッジを抽出された積算平均画像をエッジ画像と表記する。

キャリブレーション装置２００は、エッジ画像に含まれるエッジの点列をつないだ直線を消失線として算出する。また、キャリブレーション装置２００は、各消失線の交点を消失点として算出する（ステップＳ１３）。キャリブレーション装置２００は、算出した消失点と基準消失点とを比較し、各消失点の距離が閾値以上となる場合に、キャリブレーションを実行すると判定する。

図６は、直進している車両を示す図である。車両に設置されたカメラ１０に撮影された静止物体は、相対的に車両の動きの逆方向に移動するため、カメラ１０の画像中で、移動方向と平行な軌跡を描く。従って、カメラ１０が撮影した画像から積算平均画像を生成すると、図４に示したように、車両の進行方向と一致しない方向に伸びる輝度勾配は平均化され、移動方向と平行な輝度勾配のみが強く残る。

そして、図５で説明したように、キャリブレーション装置２００が、輝度勾配をフィルタリングすることで、輝度エッジを求めると、この輝度エッジは、車両の動きによって生成された消失線と一致する。キャリブレーション装置２００は、各消失線の交点を算出することで、消失点を決定することが出来る。

続いて、図３に示した各処理部の説明を行う。カメラ１０は、映像を撮影するカメラである。カメラ１０は、撮影した映像のデータを画像処理部２０２、輝度画像変換部２０３に出力する。図７は、カメラが撮影した映像の一例を示す図である。

舵角センサ１１は、車両の舵角を検出するセンサである。舵角センサ１１は、舵角のデータを走行状態判定部２０１に出力する。車速センサ１２は、車両の速度を検出するセンサである。車速センサ１２は、車速のデータを走行状態判定部２０１に出力する。

走行状態判定部２０１は、舵角のデータおよび車速のデータを基にして、現在の車両の走行状態が、消失点の算出に適しているか否かを判定する処理部である。具体的に、走行状態判定部２０１は、現在の舵角の絶対値が基準舵角（例えば、１deg）未満であり、かつ、現在の速度の絶対値が基準速度（例えば、３０ｋｍ／ｓ）以上の場合に、消失点の算出に適していると判定する。

一方、走行状態判定部２０１は、現在の舵角の絶対値が基準舵角以上である場合、または、現在の速度の絶対値が基準速度未満の場合に、消失点の算出に適していないと判定する。

走行状態判定部２０１は、消失点の算出に適していると判定した場合には、画像積算平均処理部２０４のフラグをオンに設定する。走行状態判定部２０１は、消失点の算出に適していないと判定した場合には、画像積算平均処理部２０４のフラグをオフに設定する。

画像処理部２０２は、カメラパラメータ格納部２１２に格納されたカメラのパラメータを基にして、カメラ１０から出力された映像を解析する処理部である。例えば、画像処理部２０２は、白線の画像上の座標を特定し、白線が画像上の所定範囲に進入した場合に、車両が車線を逸脱したと判定し、ユーザに警告を行う。または、画像処理装置２０２は、映像に含まれる障害物を検出し、ユーザに衝突警報を出力してもよい。

輝度画像変換部２０３は、カメラ１０から出力される映像を、７２０×４８０画素のモノクロ画像に変換し、変換したモノクロ画像を画像積算平均部２０４に出力する処理部である。図８は、７２０×４８０画素のモノクロ画像の一例を示す図である。なお、モノクロ画像の各画素は、それぞれ８bitの情報（輝度値）を有しているものとする。

画像積算平均処理部２０４は、輝度画像変換部２０３から順次モノクロ画像を取得し、各モノクロ画像を積算、平均化することで、積算平均画像を生成する処理部である。画像積算平均処理部２０４は、積算平均画像をレンズ歪み補正部２０５に出力する。

なお、画像積算平均処理部２０４は、フラグがオンになっている間に輝度画像変換部２０３から取得したモノクロ画像を積算する。画像積算平均処理部２０４は、フラグがオフになっている間に輝度画像変換部２０３から取得したモノクロ画像は、積算せず、破棄する。

ここで、画像積算平均処理部２０４の構成について説明する。図９は、画像積算平均処理部２０４の構成を示す図である。図９に示すように、この画像積算平均処理部２０４は、フレームバッファ２０４ａ、画像積算部２０４ｂ、フレームカウンタ２０４ｃ、画像出力部２０４ｄ、初期化部２０４ｅを有する。

フレームバッファ２０４ａは、７２０×４８０個の記憶領域を有する二次元メモリである。フレームバッファ２０４ａの各記憶領域は、それぞれ２０ｂｉｔの情報を記憶する。

画像積算部２０４ｂは、モノクロ画像を輝度画像変換部２０３から取得し、モノクロ画像の各輝度値と、フレームバッファ２０４ａの各輝度値とを加算し、加算結果をフレームバッファ２０４ａの該当記憶領域に戻す処理を繰り返し実行する処理部である。

具体的に、画像積算部２０４ｂは、フレームバッファ２０４ａのｎ行目ｍ列目（ｎ＝１〜４８０、ｍ＝１〜７２０）の記憶領域に記憶された２０ｂｉｔの輝度値を取得する。画像積算部２０４ｂは、フレームバッファ２０４ａから取得した輝度値と、モノクロ画像のｎ行目ｍ列目の画素の輝度値（８ｂｉｔ）とを加算し、加算結果を、フレームバッファ２０４ａのｎ行目ｍ列目の記憶領域に格納する。

画像積算部２０４ｂは、画像積算部２０４ｂのフラグがオン状態で、輝度画像変換部２０３からモノクロ画像を取得する度に、上記の加算処理を繰り返し実行する。そして、画像積算部２０４ｂは、加算処理を実行するたびにフレームカウンタ２０４ｃのフレーム数に１を加算する。画像積算部２０４ｂのフラグがオン状態の間は、車両は直進走行中である。

なお、画像積算部２０４ｂは、画像積算部２０４ｂのフラグがオフ状態で、輝度画像変換部２０３からモノクロ画像を取得した場合には、上記の加算処理を実行することなく、取得したモノクロ画像を破棄する。画像積算部２０４ｂのフラグがオフ状態の間は、車両は直進走行中ではない。

フレームカウンタ２０４ｃは、積算したフレーム数を格納する記憶部である。フレームカウンタ２０４ｃに格納されるフレーム数の初期値は０となる。

画像出力部２０４ｄは、フレームカウンタ２０４ｃのフレーム数が１０２４となった時点で、フレームバッファ２０４ａの各記憶領域に記憶された加算値（２０ｂｉｔ）を取得し、各加算値をそれぞれ１０２４で割る（１６ｂｉｔ右シフトする）ことで、積算平均画像を生成する処理部である。画像出力部２０４ｄは、積算平均画像をレンズ歪み補正部２０５に出力する。画像出力部２０４ｄは、積算平均画像を生成した後に、初期化部２０４ｅに制御信号を出力する。

初期化部２０４ｅは、画像出力部２０４ｄから制御信号を取得した場合に、フレームバッファ２０４ａの各記憶領域の情報を０に設定すると共に、フレームカウンタ２０４ｃのフレーム数を０に設定する。

図３の説明に戻る。レンズ歪み補正部２０５は、画像積算平均処理部２０４から積算平均画像を取得した場合に、積算平均画像のレンズ歪みを補正する処理部である。レンズ歪み補正部２０５は、レンズ歪みを補正した積算平均画像をエッジ抽出部２０６に出力する。

レンズ歪み補正部２０５が積算平均画像のレンズ歪みを補正することで、積算平均画像の投影を理想的な透視法投影に変換する。

具体的に、レンズ歪み補正部２０５は、変換テーブルを有し、変換テーブルに基づいて、積算平均画像を補正する。図１０は、レンズ歪み補正部２０５の処理を説明するための図である。図１０に示すように、変換テーブルは、補正前の座標と、補正後の座標とを対応付けて記憶している。例えば、変換テーブルの１行目では、補正前のｘ、ｙ座標が（１０、２）であり、補正後のｘ、ｙ座標が（０、０）となっている。

レンズ歪み補正部２０５は、変換テーブルの１行目を参照し、積算平均画像の座標（１０、２）の輝度値を、座標（０、０）に移す。レンズ歪み補正部２０５は、他の行も同様に参照し、積算平均画像の輝度値を他の座標に移すことで、積算平均画像を補正する。

なお、レンズ歪み補正部２０５は、変換テーブルを用いる代わりに、入射角と画像高からなるレンズ歪みのデータを基にして、逐次積算平均画像の補正を行っても良い。

エッジ抽出部２０６は、レンズ歪み補正部２０５から補正後の積算平均画像を取得し、積算平均画像にフィルタリング処理を実行することで、積算平均画像からエッジを抽出したエッジ画像を生成する処理部である。エッジ抽出部２０６は、エッジ画像をエッジ抽出部２０６に出力する。

図１１は、エッジ抽出部２０６の処理を説明するための図である。エッジ抽出部２０６は、積算平均画像にフィルタをあて、フィルタの各値と該当する積算平均画像上の各輝度値を乗算し、各乗算結果を足し合わせる。そして、エッジ抽出部２０６は、各乗算結果を足し合わせた結果が、一定の閾値（例えば１００）を越えた場合に、フィルタの中心ブロックに対応する輝度値を１２８に設定する。一方、エッジ抽出部２０６は、各乗算結果を足し合わせた結果が、一定の閾値（例えば−１００）以下になる場合に、フィルタの中心ブロックに対応する輝度値を−１２８に設定する。各乗算結果がいずれの条件も満たさない場合は、フィルタの中心ブロックに対応する輝度値を０に設定する。

例えば、フィルタと重なる積算平均画像の領域において、ａ行目ｂ列目の輝度値をＢ_ａｂとし、各乗算結果を足し合わせた結果をＡとすると、
Ａ＝−１×Ｂ_１１＋−１×Ｂ_１２＋−１×Ｂ_１３＋０×Ｂ_２１＋０×Ｂ_２２＋＋０×Ｂ_２３＋１×Ｂ_３１＋１×Ｂ_３２＋−１×Ｂ_３３
となる。エッジ抽出部２０６は、Ａが正の場合として例えば１００以上の場合に、Ｂ_２２に対応する輝度値を１２８に設定し、Ａが負の場合として例えば−１００以下の場合に、Ｂ_２２に対応する輝度値を−１２８に設定し、それ以外の場合は輝度値を０に設定する。

エッジ抽出部２０６は、フィルタを積算平均画像上にて移動させ、順次積算平均画像の輝度値を設定することで、エッジ画像を生成する。

図３の説明に戻る。消失点抽出部２０７は、エッジ抽出部２０６からエッジ画像を取得し、エッジ画像に基づいて消失点の座標を算出する処理部である。消失点抽出部２０７は、エッジ画像に含まれる輝度値１２８の点列を直線でつなぐことで、消失線を算出する。また、消失点抽出部２０７は、エッジ画像に含まれる輝度値−１２８の点列を直線でつなぐことで、消失線を算出する。消失点抽出部２０７は、点列から消失線を算出する場合に、周知のHough変換を利用しても良い。

消失点抽出部２０７は、消失線を算出した後に、各消失線の交点を求め、求めた交点の座標を消失点の座標とする。消失点抽出部２０７は、消失点の座標を誤差判定部２０９に出力する。また、消失点抽出部２０７は、消失線の情報も誤差判定部２０９に出力する。

消失点格納部２０８は、基準となる消失点の座標を格納する記憶部である。以下の説明において、基準となる消失点の座標を基準消失点座標と表記する。

誤差判定部２０９は、消失点抽出部２０７から取得した消失点の座標と、基準消失点座標とを比較して、カメラ１０のパラメータを再調整するか否かを判定する処理部である。誤差判定部２０９は、消失点抽出部２０７から取得した消失点の座標と、基準消失点座標との距離が閾値以上の場合に、パラメータの再調整が必要であると判定する。誤差判定部２０９は、パラメータの再調整が必要であると判定した場合に、パラメータの再調整が必要である旨の情報を、ＨＭＩ２１０、補正処理部２１１に出力する。また、誤差判定部２０９は、消失点の座標を補正処理部２１１に出力する。

ＨＭＩ（Human Machine Interface）２１０は、誤差判定部２０９からパラメータの再調整が必要である旨の情報を取得した場合に、画像処理部２０２を介して、パラメータの再調整が必要である旨をディスプレイ（図示略）に表示する処理部である。

補正処理部２１１は、誤差判定部２０９からパラメータの再調整が必要である旨の情報を取得した場合に、カメラパラメータ格納部２１２に格納されたパラメータの補正を行う処理部である。

補正処理部２１１は、誤差判定部２０９から取得した消失点の座標と、消失点格納部２０８の基準消失点座標とのずれを算出し、算出したずれに基づいて、パラメータの補正を行う。具体的に、補正処理部２１１は、ＸＹ座標系（Ｘ軸は画像の平行方向、Ｙ軸は画像の垂直方向）において、消失点の座標と基準消失点座標とのＸ軸のずれＸｓ、Ｙ軸のずれＹｓを算出する。

例えば、補正処理部２１１は、ずれ角Δψ、Δθを
Δψ＝ｔａｎ^−１（Ｘｓ／Ｌｘ）
Δθ＝ｔａｎ^−１（Ｙｓ／Ｌｙ）
により算出する。なお、Ｌｘ、Ｌｙはカメラ１０の焦点距離である。

補正処理部２１１は、カメラパラメータ格納部２１２に格納されたパラメータの俯角ψにΔψを加え、パン角θにΔθを加えることで、パラメータを補正する。また、補正処理部２１１は、パラメータの補正が完了した後に、誤差判定部２０９から取得した消失点の座標を、基準消失点座標として、消失点格納部２０８に格納する。なお、補正処理部２１１は、消失点格納部２０８に格納されていた過去の基準消失点座標を破棄する。

カメラパラメータ格納部２１２は、カメラ１０のパラメータを格納する記憶部である。カメラパラメータ格納部２１２は、上述したパラメータのほかに、カメラ１０の３次元座標（ｘ、ｙ、ｚ）も記憶しておいても良い。

次に、本実施例２にかかるキャリブレーション装置２００の処理手順について説明する。図１２は、キャリブレーション装置２００の処理手順を示すフローチャートである。図１２に示すように、キャリブレーション装置２００は、カメラ１０から映像データを取得し（ステップＳ１０１）、映像データをモノクロ画像に逐次変換する（ステップＳ１０２）。

キャリブレーション装置２００は、画像を積算し、積算した画像を平均化し（ステップＳ１０３）、積算平均画像のレンズ歪みを補正する（ステップＳ１０４）。キャリブレーション装置２００は、積算平均画像からエッジを抽出し（ステップＳ１０５）、消失点の座標を算出する（ステップＳ１０６）。

キャリブレーション装置２００は、基準消失点座標と現在の消失点の座標を比較して、各消失点座標の距離が閾値以上となるか否かを判定する（ステップＳ１０７）。キャリブレーション装置２００は、各消失点座標の距離が閾値未満の場合に（ステップＳ１０８，Ｎｏ）、処理を終了する。

一方、キャリブレーション装置２００は、各消失点座標の距離が閾値以上の場合に（ステップＳ１０８，Ｙｅｓ）、再調整が必要である旨を通知し（ステップＳ１０９）、カメラのパラメータを補正する（ステップＳ１１０）。

次に、図３の走行状態判定部２０１の処理手順について説明する。図１３は、走行状態判定部２０１の処理手順を示すフローチャートである。図１３に示すように、走行状態判定部２０１は、舵角センサ１１および車速センサから舵角、車速を取得し（ステップＳ２０１）、舵角の絶対値が１ｄｅｇ未満であるか否かを判定する（ステップＳ２０２）。

走行状態判定部２０１は、舵角の絶対値が１ｄｅｇ以上の場合に（ステップＳ２０３，Ｎｏ）、画像積算平均処理部２０４のフラグをオフに設定する（ステップＳ２０４）。走行状態判定部２０１は、舵角の絶対値が１ｄｅｇ未満の場合に（ステップＳ２０３，Ｙｅｓ）、車速の絶対値が３０ｋｍ以上であるか否かを判定する（ステップＳ２０５）。

走行状態判定部２０１は、車速の絶対値が３０ｋｍ未満の場合に（ステップＳ２０６，Ｎｏ）、ステップＳ２０４に移行する。一方、走行状態判定部２０１は、車速の絶対値が３０ｋｍ以上の場合に（ステップＳ２０６，Ｙｅｓ）、フラグをオンに設定する（ステップＳ２０７）。

上述してきたように、本実施例２にかかるキャリブレーション装置２００は、車両走行中の画像を積算・平均化することで、消失線を特定するので、平坦な路面や平行な路側線（白線）が無い状況でも動きの消失線を算出することができるので、実際の交通環境に左右されないで、出荷後にキャリブレーションの適切に実行することが出来る。すなわち、交通環境に左右されないで、カメラのパラメータを正確に補正することが出来る。

また、本実施例２にかかるキャリブレーション装置２００は、舵角センサ１１、車速センサ１２から出力される舵角、車速に基づいて、画像の積算を中断するので、消失点にずれを生じさせるような線開示の映像を積算してしまうことを回避することができる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例１、２以外にも種々の異なる形態にて実施されてよいものである。そこで、以下では実施例３として本発明に含まれる他の実施例を説明する。

（１）走行状態の判定について
上記の実施例２では、走行状態判定部２０１が、舵角センサ１１、車速センサ１２を用いて車両が直進しているか否かを判定していたがこれに限定されるものではない。走行状態判定部２０１は、その他のセンサ、例えば、加速度センサやジャイロセンサを用いて、車両の走行状態を判定しても良い。

（２）システムの構成など
本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、図３にて説明した輝度画像変換部２０３、画像積算平均処理部２０４、レンズ歪み補正部２０５、エッジ抽出部２０６、消失点抽出部２０７、誤差判定部２０９、消失点格納部２０８、補正処理部２１１に対応する機能をサーバに持たせ、かかるサーバに、カメラの撮影した画像や、パラメータ等の各データを送信することで、サーバが、パラメータの補正を実行するように構成しても良い。

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

図１４は、実施例にかかるキャリブレーション装置２００を構成するコンピュータのハードウェア構成を示す図である。図１４に示すように、このコンピュータ（キャリブレーション装置）３００は、入力装置３０１、モニタ３０２、カメラ３０３、舵角センサ、車速センサ等の各種センサ３０４、ＲＡＭ（Random Access Memory）３０５を有する。また、コンピュータ３００は、ＲＯＭ（Read Only Memory）３０６、他の装置と通信を行う通信制御装置３０７、記憶媒体からデータを読み取る媒体読取装置３０８、ＣＰＵ（Central Processing Unit）３０９、ＨＤＤ（Hard Disk Drive）３１０を有する。各装置３０１〜３１０は、バス３１１に接続する。

ＨＤＤ３１０には、上記したキャリブレーション装置２００の機能と同様の機能を発揮するキャリブレーションプログラム３１０ｂが記憶されている。ＣＰＵ３０９がキャリブレーションプログラム３１０ｂを読み出して実行することにより、キャリブレーションプロセス３０９ａが起動される。ここで、キャリブレーションプロセス３０９ａは、図３に示した、走行状態判定部２０１、画像処理部２０２、輝度画像変換部２０３、画像積算平均処理部２０４、レンズ歪み補正部２０５、エッジ抽出部２０６、消失点抽出部２０７、誤差判定部２０９、ＨＭＩ２１０、補正処理部２１１に対応する。

また、ＨＤＤ３１０は、消失点格納部２０８、パラメータ格納部２１２に記憶される情報に対応する各種データ３１０ａを記憶する。ＣＰＵ３０９は、ＨＤＤ３１０に格納された各種データ３１０ａを読み出して、ＲＡＭ３０５に格納し、ＲＡＭ３０５に格納された各種データ３０５ａおよびカメラ３０３に撮影された画像、各種センサ３０４からの情報に基づいて、パラメータを補正する。

ところで、図１４に示したキャリブレーションプログラム３１０ｂは、必ずしも最初からＨＤＤ３１０に記憶させておく必要はない。たとえば、コンピュータに挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータの内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータに接続される「他のコンピュータ（またはサーバ）」などにキャリブレーションプログラム３１０ｂを記憶しておき、コンピュータがこれらからキャリブレーションプログラム３１０ｂを読み出して実行するようにしてもよい。

１０，３０３ カメラ
１１ 舵角センサ
１２ 車速センサ
１００ 画像処理装置
１１０ 積算部
１２０ 消失点特定部
１３０ 判定部
２００ キャリブレーション装置
２０１ 走行状態判定部
２０２ 画像処理装置
２０３ 輝度画像変換部
２０４ 画像積算平均処理部
２０５ レンズ歪み補正部
２０６ エッジ抽出部
２０７ 消失点抽出部
２０８ 消失点格納部
２０９ 誤差判定部
２１０ ＨＭＩ
２１１ 補正処理部
２１２ カメラパラメータ格納部
３００ コンピュータ
３０１ 入力装置
３０２ モニタ
３０４ 各種センサ
３０５ ＲＡＭ
３０６ ＲＯＭ
３０７ 通信制御装置
３０８ 媒体読取装置
３０９ ＣＰＵ
３０９ａ キャリブレーションプロセス
３１０ ＨＤＤ
３１０ａ 各種データ
３１０ｂ キャリブレーションプログラム
３１１ バス

Claims (5)

1. 移動体に設置されたカメラから当該移動体の移動中に撮影された各画像の輝度値を画素毎に加算し、加算した輝度値を画素毎に平均化することで、積算画像を生成する積算部と、
   前記積算画像から輝度エッジを抽出し、当該輝度エッジに基づいて決定した各直線の交点を消失点として特定する消失点特定部と、
   前記消失点の座標と基準座標とを基にして、前記カメラのパラメータが適切な値であるか否かを判定する判定部と
   を有することを特徴とする画像処理装置。
2. 前記積算部は、速度センサから前記移動体の移動速度を取得し、取得した移動速度が規定の速度以上の間に、前記カメラから取得した画像を積算することで前記積算画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記積算部は、舵角センサから前記移動体の舵角を取得し、取得した舵角が規定の舵角未満の間に、前記カメラから取得した画像を積算することで前記積算画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記消失点の座標と前記基準座標との差に基づいて、前記カメラのパラメータを補正する補正部を更に有することを特徴とする請求項３に記載の画像処理装置。
5. 画像処理装置が、
   移動体に設置されたカメラから当該移動体の移動中に撮影された各画像の輝度値を画素毎に加算し、加算した輝度値を画素毎に平均化することで、積算画像を生成する積算ステップと、
   前記積算画像から輝度エッジを抽出し、当該輝度エッジに基づいて決定した各直線の交点を消失点として特定する消失点特定ステップと、
   前記消失点の座標と基準座標とを基にして、前記カメラのパラメータが適切な値であるか否かを判定する判定ステップと
   を含んだことを特徴とする画像処理方法。

Images