JP4867035B2 - 画像処理装置、画像処理用プログラム、画像処理方法 - Google Patents

Description

本発明は、カメラの撮像画像中の存在する画像部分の位置を、カメラのレンズの歪に起因する実際の位置からのずれを補正して求める画像処理装置、画像処理方法、及び画像処理用プログラムに関する。

従来より、カメラによる撮像画像中に存在する画像部分の位置を算出する画像処理装置を用いたシステムとして、例えば、車両の前部に搭載されたカメラにより車両前方を撮像し、撮像画像から歩行者の画像部分を検出して車両と歩行者との接触可能性を判断するものが知られている（例えば特許文献１参照）。

そして、カメラに装着されたレンズはある程度の歪を有し、該歪はレンズの中心から離れるに従って大きくなる。そのため、撮像画像中の画像部分の位置は実際の位置（レンズの歪がないとした場合の撮像画像中の画像部分の位置）からずれることになり、このずれの程度によっては、歩行者の位置を精度良く検出することができない。

そこで、レンズの歪をレンズ中心からの距離Ｒと距離Ｒの位置（投影座標）での誤差の大きさとの相関式（６次の投影座標誤差曲線）により近似し、該相関式により撮像画像中の画像部分の位置を補正する技術が提案されている（例えば特許文献２参照）。
特開２００１−６０９６号公報 特開２００４−１２６９０５号公報

上述したように、レンズの歪による画像部分の位置をレンズ中心からの距離に従って補正する場合、レンズの中心とカメラの撮像素子の中心とが一致していることが前提となる。しかし、レンズの中心とカメラの撮像素子の中心とを一致させるためには、レンズとカメラの相対位置を規制する高精度の機構が必要となるため、カメラの構造が複雑になりコストもアップするという不都合がある。

本発明は、かかる不都合を解消し、レンズの中心と撮像素子の中心との厳密な一致を要求することなく、レンズの歪に起因する画像部分の検出位置のずれを補正することができる画像処理装置、画像処理用プログラム、及び画像処理方法を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、カメラによる撮像画像に含まれる画像部分に対応する実空間上の位置を、該カメラに装着されたレンズの歪に起因する該歪がない理論上の位置からのずれを補正して求める画像処理装置に関する。

そして、前記カメラの撮像範囲内で該撮像画像の中心を含めて設定された所定画像範囲内に存在する画像部分に対して、該所定画像範囲の中心からの距離と前記レンズの歪度合との相関関係を近似した１次式に、該所定画像範囲の中心からの該画像部分の距離を適用して、前記レンズの歪に起因する該歪がない理論上の位置からのずれを補正するためのレンズ歪補正値を算出するレンズ歪補正値算出手段と、前記画像部分の位置を前記レンズ歪補正値により補正したレンズ歪補正位置を算出し、該レンズ歪補正位置に対応した実空間上の位置を算出する実空間位置算出手段と、前記カメラのレンズの中心と前記カメラの撮像素子の中心とのずれを補正するための中心ずれ補正値のデータを保持したデータ保持手段と、該実空間位置算出手段により算出された前記レンズ歪補正位置に対応した実空間上の位置を、前記中心ずれ補正値を用いて補正する実空間位置補正手段とを備えたことを特徴とする。

かかる本発明によれば、前記カメラのレンズの歪の度合はレンズの中心から離れるに従って大きくなる。そして、前記カメラの撮像画像の中心付近ではレンズの歪が比較的小さいため、前記カメラの撮像画像の中心を含めて設定された前記所定画像範囲では、レンズ中心からの距離と該距離におけるレンズの歪の度合との関係を、１次式によって精度良く近似することができる。そのため、前記所定画像範囲では、レンズ中心からの距離と該距離におけるレンズの歪の度合との関係を、１次式によって精度良く近似して、前記レンズ歪補正値算出手段によりレンズの歪に起因する位置ずれを補正するための前記レンズ歪補正値を算出することができる。

そして、前記実空間位置算出手段により、前記レンズ歪補正値により画像部分の位置を補正した前記レンズ歪補正位置に対応した実空間上の位置を算出した場合、詳細は後述するが、前記カメラのレンズの中心と前記カメラの撮像素子の中心とのずれは、一定のずれ量として前記レンズ歪補正位置に対応した実空間上の位置の算出値に重畳して反映される。そこで、当該ずれを補正するための前記中心ずれ補正値のデータを前記データ保持手段に保持し、前記実空間位置補正手段により、前記実空間位置算出手段により算出された前記レンズ歪補正位置に対応する実空間上の位置を、前記中心ずれ補正値を用いて補正することにより、画像部分に対応した実空間上の位置を精度良く補正することができる。

そして、この場合は、前記カメラのレンズの中心と前記カメラの撮像素子の中心とを、厳密に一致させる必要がないため、前記カメラについて、レンズの中心と撮像素子の中心とを一致されるための構造や、作業を不要とすることができる。

また、前記カメラは所定位置に取り付けられ、前記実空間位置補正手段は、前記中心ずれ補正値を用いた補正を、前記所定位置に対する前記カメラのパン角及びピッチ角のずれの補正に含めて行うことを特徴とする。

かかる本発明によれば、前記中心ずれ補正値を用いた補正を、前記カメラを前記所定位置に取り付けたときのパン角及びピッチ角のずれの補正に含めて行うことにより、前記中心ずれ補正値のデータと該パン角及び該ピッチ角のずれの補正用のデータとを別個に保持する必要がなくなるため、補正用のデータの管理が容易になると共に、補正の演算処理を簡素化することができる。

また、所定のレンズ歪検出用パターンを前記カメラにより撮像し、該レンズ歪検出量パターンの画像部分の位置データに基いて、前記１次式を求める歪補正用１次式算出手段を備えたことを特徴とする。

かかる本発明によれば、前記カメラや前記カメラのレンズを交換した場合に、他の演算装置等を用いることなく、前記歪補正用１次式算出手段により新たな前記１次式を求めて、前記レンズ歪補正値算出手段により前記レンズ歪補正値を算出することができる。

次に、本発明の画像処理用プログラムは、カメラによる撮像画像にアクセスするインターフェース回路と、前記カメラのレンズの中心と前記カメラの撮像素子の中心とのずれを補正するための一定の中心ずれ補正値のデータを保持したデータ保持手段とを有するコンピュータに、該撮像画像に含まれる画像部分に対応する実空間上の位置を、該カメラに装着されたレンズの歪に起因する該歪がない理論上の位置からのずれを補正して求める機能を実現するためのプログラムに関する。

そして、該コンピュータを、前記カメラの撮像範囲内で該撮像画像の中心を含めて設定された所定画像範囲内に存在する画像部分に対して、該所定画像範囲の中心からの距離と前記レンズの歪度合との相関関係を近似した１次式に、該所定画像範囲の中心からの該画像部分の距離を適用して、前記レンズの歪に起因する歪がない理論上の位置からのずれを補正するためのレンズ歪補正値を算出するレンズ歪補正値算出手段と、前記画像部分の位置を前記レンズ歪補正値により補正したレンズ歪補正位置を算出し、該レンズ歪補正位置に対応した実空間上の位置を算出する実空間位置算出手段と、該実空間位置算出手段により算出された前記レンズ歪補正位置に対応した実空間上の位置を、前記中心値ずれ補正値を用いて補正する実空間位置補正手段として機能させることを特徴とする。

かかる本発明の画像処理用プログラムを前記コンピュータに実行させることによって、上述した本発明の画像処理装置の第２の態様における前記レンズ歪補正値算出手段と、前記実空間位置算出手段と、前記実空間位置補正手段とを構成することができる。

次に、本発明の画像処理方法は、カメラによる撮像画像にアクセスするインターフェース回路と、前記カメラのレンズの中心と前記カメラの撮像素子の中心とのずれを補正するための一定の中心ずれ補正値のデータを保持したデータ保持手段とを有するコンピュータにより、該撮像画像に含まれる画像部分に対応する実空間上の位置を、該カメラに装着されたレンズの歪に起因する該歪がない理論上の位置からのずれを補正して求める画像処理方法に関する。

そして、前記コンピュータが、前記カメラの撮像範囲内で該撮像画像の中心を含めて設定された所定画像範囲内に存在する画像部分に対して、該所定画像範囲の中心からの距離と前記レンズの歪度合との相関関係を近似した１次式に、該所定画像範囲の中心からの該画像部分の距離を適用して、前記レンズの歪に起因する該歪がない理論上の位置からのずれを補正するためのレンズ歪補正値を算出するレンズ歪補正値算出ステップと、前記コンピュータが、前記画像部分の位置を前記レンズ歪補正値により補正したレンズ歪補正位置を算出し、該レンズ歪補正位置に対応した実空間上の位置を算出する実空間位置算出ステップと、前記コンピュータが、前記実空間位置算出ステップにより算出された前記レンズ歪補正位置に対応した実空間上の位置を、前記中心ずれ補正値を用いて補正する実空間位置補正ステップとを含むことを特徴とする。

かかる本発明において、前記カメラのレンズの歪の度合はレンズの中心から離れるに従って大きくなる。そして、前記カメラの撮像画像の中心付近ではレンズの歪が比較的小さいため、前記カメラの撮像画像の中心を含めて設定された前記所定画像範囲では、レンズ中心からの距離と該距離におけるレンズの歪の度合との関係を、１次式によって精度良く近似することができる。そのため、前記所定画像範囲では、レンズ中心からの距離と該距離におけるレンズの歪の度合との関係を、１次式によって精度良く近似して、前記レンズ歪補正値算出ステップによりレンズの歪に起因する位置ずれを補正するための前記レンズ歪補正値を算出することができる。

そして、前記実空間位置算出ステップにより、前記レンズ歪補正値により画像部分の位置を補正した前記レンズ歪補正位置に対応した実空間上の位置を算出した場合、詳細は後述するが、前記カメラのレンズの中心と前記カメラの撮像素子の中心とのずれは、一定のずれ量として前記レンズ歪補正位置に対応した実空間上の位置の算出値に重畳して反映される。そこで、当該ずれを補正するための前記中心ずれ補正値のデータを前記データ保持手段に保持し、前記実空間位置補正ステップにより、前記実空間位置算出手段により算出された前記レンズ歪補正位置に対応する実空間上の位置を、前記中心ずれ補正値を用いて補正することにより、画像部分に対応した実空間上の位置を精度良く補正することができる。

そして、この場合は、前記カメラのレンズの中心と前記カメラの撮像素子の中心とを、厳密に一致させる必要がないため、前記カメラについて、レンズの中心と撮像素子の中心とを一致されるための構造や、作業を不要とすることができる。

本発明の実施の形態について、図１〜図１６を参照して説明する。図１は本発明の画像処理装置の構成図であり、本実施の形態において、本発明の画像処理装置は、車両１２に備えられたナイトビジョンシステム１０を構成する。

ナイトビジョンシステム１０は、ＥＣＵ（Electric Control Unit）１４（本発明の画像処理装置の機能を含む）、左右一対の赤外線カメラ（本発明のカメラに相当する）１６Ｌ，１６Ｒ、赤外線カメラ１６Ｌ，１６Ｒによる撮像画像等を表示するＨＵＤ（Head Up Display）１８、警報音等を出力するスピーカ２０、車両１２の走行速度を検出する車速センサ２２、走行時のヨーレートを検出するヨーレートセンサ２４、日射センサ２６、ヘッドライトスイッチ２８、ナイトビジョンシステム１０を起動又は停止させるメインスイッチ３０、及び外部コンピュータシステムとの接続部３２を備えている。

赤外線カメラ１６Ｌ（以下、左カメラ１６Ｌという）及び赤外線カメラ１６Ｒ（以下、右カメラ１６Ｒという）は、バンパの下部の横長グリルの左端部及び右端部に並行して配置されている。また、左カメラ１６Ｌと右カメラ１６Ｒは、車両１２の車幅方向の中心に対して左右対称の位置で前方を指向し、カメラ間距離（以下、基線長ともいう）Ｂの間隔をもって設けられている。右カメラ１６Ｒと左カメラ１６Ｌは、遠赤外線を検出して高温部ほど高輝度となる赤外線画像を撮像し、撮像画像の映像信号をＥＣＵ１４に出力する。

ＨＵＤ１８は、インスツルメントパネル上部の運転者の正面位置に、運転者の前方視界を妨げないように設けられている。ＨＵＤ１８は、ナイトビジョンシステムが停止した状態ではインスツルメントパネル内に格納されている。そして、日射センサ２６の検出結果により夜であると判断され、且つヘッドライトスイッチ２８がＯＮ（ヘッドライトが点灯状態）であるときにメインスイッチ３０がＯＮされると、ＨＵＤ１８がポップアップする。

ＥＣＵ１４は、右カメラ１６Ｒ及び左カメラ１６Ｌから得られたステレオの赤外線画像に基いて検出した熱源対象物の画像を、ＨＵＤ１８上に白いシルエットにより表示する。また、ＥＣＵ１４は、熱源対象物の中から歩行者が特定されたときに、運転者に対して注意を喚起するためにスピーカ２０から警報音を出力すると共に、ＨＵＤ１８に表示された歩行者の画像部分を黄色等の目立つ色の枠で囲んで強調表示する。

また、ＥＣＵ１４は、右カメラ１６Ｒ及び左カメラ１６Ｌによる熱源対象物の位置、距離、及び形状を精度良く検出するために、製作所における車両の製造時、或いは車両の定期点検時等において、右カメラ１６Ｒ及び左カメラ１６Ｌのレンズの歪み及び各カメラのレンズの中心と撮像素子の中心のずれを補正するために、後述するエイミングを行う。

次に、図２を参照して、ＥＣＵ１４は、右カメラ１６Ｒと左カメラ１６Ｌから出力されるアナログの映像信号をデジタルデータに変換してグレースケール画像を生成する画像入力部４０と、所定の閾値により該グレースケール画像を２値画像に変換する２値化処理部４２と、グレースケール画像と２値画像を記憶する画像記憶部４４を備えている。

また、ＥＣＵ１４は、画像記憶部４４に取り込まれた車両前方の画像データに対して、各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等を備えた電子ユニットである。

そして、前記コンピュータに、本発明の画像処理用プログラムを実行させることによって、前記コンピュータが、エイミングを実行すると共にエイミングにより得られた補正用の各種のカメラパラメータをカメラパラメータ記憶部４６（本発明のデータ保持手段に相当する）に保持するエイミングモード実行部４８と、速度センサ２２等のセンサによる検出データ及びカメラパラメータ記憶部４６に保持されたデータを参照して、通常の車両周辺監視用の画像処理を行うと共にＨＵＤ１８及びスピーカ２０の出力を制御する通常モード実行部５０と、接続部３２を介して外部のコンピュータから受信した指示データに基いて、エイミングを実行するエイミングモード又は車両周辺監視を行うを通常モードのいずれか一方を選択するモード選択部５２とを有している。

エイミングモード実行部４８は、車両１２を製造する製作所内において外部コンピュータシステムとしてエイミングターゲット制御装置１００（図３参照）を用いてエイミングを行う製作所モード部７０と、サービスエイミング調整装置１２０（図４参照）を用いてサービス工場等でエイミングを行うサービスモード部７２とを有し、これらの外部コンピュータシステムからの指示に基いて製作所モード部７０又はサービスモード部７２のいずれか一方が選択的に実行される。

また、エイミングモード実行部４８は、エイミングの開始時に外部コンピュータシステムから所定のパラメータを取得するパラメータ入力部７４と、エイミングに必要な初期設定を行う初期設定部７６と、画像記憶部４４に記憶された左右のグレースケール画像（右カメラ１６Ｒの撮像画像と左カメラ１６Ｌの撮像画像）に対して、テンプレートマッチングを行うテンプレートマッチング部７８と、右カメラ１６Ｒと左カメラ１６Ｌによる撮像画像の輝度を調節するＬＵＴ（Look Up Table）を設定する輝度調整ＬＵＴ設定部８０と、右カメラ１６とＲ左カメラ１６Ｌのレンズの歪に起因して生じる画像部分の歪を補正するためのレンズ歪補正係数を算出する左右カメラレンズ歪補正部８２と、左カメラ１６Ｌと右カメラ１６Ｒの取付角（パン角，ピッチ角）を算出する左右カメラ取付角算出部８４と、撮像画像から対象物の画像部分を探索する範囲（本発明の所定画像範囲に相当する）を切り出すための基準となる切り出し座標を算出する左右カメラ映像切出座標算出部８６と、右カメラ１６Ｒ及び左カメラ１６Ｌの光軸が平行に設定されていないことに起因する対象物の画像部分の視差に含まれる誤差である視差オフセット値を算出する視差オフセット算出部８８とを備えている。

次に、図３を参照して、エイミングターゲット制御装置１００は、車両１２の位置決め装置１０２と、車両１２が位置決めされた状態で右カメラ１６Ｒ及び左カメラ１６Ｌの前方の所定位置に設けられたゲート１０４と、車両１２の接続部３２を介してＥＣＵ１４と通信すると共にゲート１０４を制御する主制御装置１０６とを有する。ゲート１０４は、車両１２の車幅よりやや広い間隔で設けられた２本の支柱１０８と、左右端を支柱１０８に支持された横長のエイミングターゲット板１１０とを有し、該エイミングターゲット板１１０は、主制御装置１０６による操作によって支柱１０８に沿って昇降可能である。エイミングターゲット板１１０には、熱源である８つのエイミングターゲット１１２ａ〜１１２ｈ（代表的にエイミングターゲット１１２とも示す）が左から順に水平に配列されている。

左側のエイミングターゲット１１２ａ〜１１２ｄは、間隔Ｗをもって並べられて左ターゲット群１１４を形成する。同様に、右側のエイミングターゲット１１２ｅ〜１１２ｈは、間隔Ｗをもって並べられて右ターゲット群１１６を形成する。左ターゲット群１１４の右端であるエイミングターゲット１１２ｄと右ターゲット群１１６の左端であるエイミングターゲット１１２ｅの間隔は基線長Ｂ（Ｗ＜Ｂ）に等しく、エイミングターゲット１１２ｄ及び１１２ｅは、左カメラ１６Ｌ及び右カメラ１６Ｒの正面位置に配置される。

次に、図４に示したように、サービスエイミング調整装置１２０は、車両１２用の位置マーク１２２と、該位置マーク１２２に基いて車両１２が位置決めされた状態で左カメラ１６Ｌ及び右カメラ１６Ｒの前方所定距離の位置に設けられたヘッドライトテスタ１２４と、車両１２の接続部１３を介してＥＣＵ１４と通信を行う主制御装置１２６とを有する。ヘッドライトテスタ１２４は、レール１２８に沿って車両１２の車幅方向と平行に移動可能であると共に、昇降台１３０が昇降可能な構成となっている。

昇降台１３０にはターゲット板１３２が設けられ、該ターゲット板１３２には間隔Ｗ（Ｗ＜Ｂ）で水平に並んだ３つの熱源であるエイミングターゲット１３４ａ〜１３４ｃ（代表的にエイミングターゲット１３４とも示す）が設けられている。エイミングターゲット１３４は、上述したエイミングターゲット制御装置１００におけるエイミングターゲット１１２と同一のもの、或いは略同一のものを用いることができる。

次に、このように構成されるエイミングターゲット制御装置１００又はサービスエイミング調整装置１２０を用いた、ナイトビジョンシステム１０のエイミングについて説明する。

製作所内でエイミングターゲット制御装置１００を用いて行われる製作所エイミングモードでは、作業者は、位置決め装置１０２により車両１２の位置決めを行うと共に、主制御装置１０６を車両１２の接続部３２に接続する。また、作業者は、車両１２の種類に応じて、エイミングターゲット１１２ａ〜１１２ｈの高さが、左カメラ１６Ｌ及び右カメラ１６Ｒの高さと同じになるように調整する。そして、主制御装置１０６は、作業者の操作に応じて、ＥＣＵ１４に対して製作所エイミングモードによるエイミングの実行を指示する信号を送信する。

サービス工場内でサービスエイミング調整装置１２０を用いて行われるサービスエイミングモードでは、作業者は、位置マーク１２２に車両１２の各車輪を合わせて位置決めし、主制御装置１２６を車両１２の接続部３２に接続する。また、エイミングターゲット１３４ａ〜１３４ｃは、規定高さに調整されている。そして、主制御装置１２６は、作業者の操作に応じて、ＥＣＵ１４に対してサービスエイミングモードによるエイミングの実行を指示する信号を送信する。

次に、図５〜図９に示したフローチャートに従って、ＥＣＵ１４において主としてエイミングモード実行部４８により実行される一連の処理について説明する。

先ず、図５のＳＴＥＰ１において、右カメラ１６Ｒ及び左カメラ１６Ｌからステレオの赤外線画像を入力し、ＳＴＥＰ２で画像入力部４０によりＡ／Ｄ変換を行ってグレースケール画像を得る。このグレースケール画像のデータは画像記憶部４４に保持される。また、グレースケール画像は２値化処理部４２で２値化され、この２値画像のデータも画像記憶部４４に保持される。

次のＳＴＥＰ３で、モード選択部５２は、主制御装置１０６又は主制御装置１２６から、製作所エイミングモード又はサービスエイミングモードによるエイミングの実行の指示があったか否かを判断する。そして、エイミングの実行の指示があったときはＳＴＥＰ４に進み、エイミングの実行の指示がなかったときにはＳＴＥＰ５に分岐して通常モードによる画像処理を実行する。

ＳＴＥＰ４で、製作所エイミングモードによるエイミングの実行が指示されていたときはＳＴＥＰ４からＳＴＥＰ６に進み、エイミングモード実行部４８は、ＳＴＥＰ６〜ＳＴＥＰ１３によるエイミングを実行する。一方、エイミングモードによるエイミングの実行が指示されていたときには、図７のＳＴＥＰ３０に分岐し、エイミングモード実行部４８は、ＳＴＥＰ３０〜ＳＴＥＰ４０によるエイミングを実行する。

ＳＴＥＰ５の通常モードでは、通常モード実行部５０が、カメラパラメータ記憶部４６に保持されたカメラパラメータを用いて、撮像画像中の歩行者等の監視対象物の画像部分の位置を補正し、監視対象物の実空間上の位置に応じて監視対象物と車両との接触可能性を判断する。そして、通常モード実行部５０は、車両と監視対象物の接触可能性が高いときに、ＨＵＤ１８及びスピーカ２０により運転者に注意喚起を行う。

製作所エイミングモードでは、先ず、ＳＴＥＰ６で、初期設定部７６が、左カメラ１６Ｌ及び右カメラ１６Ｒからエイミングターゲット板１１０までの距離Ｚn（固定値）を設定する。

続くＳＴＥＰ７で、初期設定部７６は、テンプレート設定部９４により、距離Ｚnに配置されたエイミングターゲット１１２に対応した１つの基準テンプレートを、テンプレートＴＰ1〜ＴＰ6（代表的にテンプレートＴＰとも示す）の中から選択する。

ＳＴＥＰ８においては、近距離に配設されたエイミングターゲット１１２までの距離に対応した透視変換モデルを用いてエイミングターゲット１１２の位置を算出するため、この透視変換モデルに適応した左カメラ１６Ｌ及び右カメラ１６Ｒの結像位置（焦点距離）を設定する。

続くＳＴＥＰ９で、テンプレートマッチング部７８は、ＳＴＥＰ７で選択したテンプレートＴＰによるテンプレートマッチング処理を行う。すなわち、テンプレートマッチング部７８は、左カメラ１６Ｌ及び右カメラ１６Ｒにより撮像されたエイミングターゲット１１２の画像部分を含むグレースケール画像について、テンプレートＴＰとの相関演算を行う。そして、ＳＴＥＰ１０で、テンプレートマッチング部７８は、相関度が最も高くなるグレースケール画像の座標（以下、ターゲット座標という）を保持する。

ＳＴＥＰ１１で、エイミングモード実行部４８は、取得したグレースケール画像が所定枚数Ｎ以上となったか否かを判断する。そして、グレースケール画像の取得枚数がＮ以上となったときはＳＴＥＰ１２に進み、Ｎよりも少ないときにはＳＴＥＰ１に戻ってＳＴＥＰ１〜ＳＴＥＰ１０の処理を再度実行して、ターゲット座標を得る。

ＳＴＥＰ１２で、テンプレートマッチング部７８は、ＳＴＥＰ９で得られたＮ組のターゲット座標の平均値を算出する処理を行い、ターゲット座標の平均値が正常に算出されたときはＳＴＥＰ１４に進む。一方、ターゲット座標の平均値が正常に算出されなかったときにはＳＴＥＰ３に戻ってエイミングが再度実行される。

続く図６のＳＴＥＰ１４で、輝度調整ＬＵＴ設定部８０は、輝度調整ＬＵＴの設定処理を行う。この処理では、相関演算によるテンプレートマッチングの処理が確実に実行できるように、例えば、左カメラ１６Ｌ及び右カメラ１６Ｒにより検出されたエイミングターゲット１１２の画像部分の輝度信号同士のレベルを比較し、各輝度レベルにおいて、相関演算の基準とする右カメラ１６Ｒからの輝度信号のレベル（輝度値）が左カメラ１６Ｌからの輝度信号のレベルよりも常に大きくなるように調整する輝度調整ＬＵＴを設定する。該輝度調整ＬＵＴの設定処理が正常に実行されたときはＳＴＥＰ１６に進み、正常に実行されなかったときには、図５のＳＴＥＰ３に戻ってエイミングが再度実行される。

ＳＴＥＰ１６で、左右カメラレンズ歪補正部８２は、右カメラ１６及び左カメラ１６ＬＲのレンズの歪に起因して生じる撮像画像中の画像部分の位置ずれ、すなわち、レンズの歪みがないとした場合の理論的（理想的）な画像部分の位置に対する実際の画像部分の検出位置のずれを補正するためのレンズ歪補正係数の算出処理を行う。レンズ歪補正係数の算出処理については、後述する。レンズ歪補正係数値が正常に算出されたときはＳＴＥＰ１８に進み、正常に算出されなかったときには、図５のＳＴＥＰ３に戻ってエイミングが再度実行される。

ＳＴＥＰ１８で、左右カメラ取付角算出部８４は、右カメラ１６Ｒ及び左カメラ１６Ｌの基準取付位置に対するパン角及びピッチ角の算出処理を行う。そして、右カメラ１６Ｒと左カメラ１６Ｌのパン角及びピッチ角が正常に算出されたときはＳＴＥＰ２０に進み、正常に算出されなかったときには、図５のＳＴＥＰ３に戻ってエイミングが再度実行される。

ＳＴＥＰ２０で、左右カメラ映像切出座標算出部８６は、右カメラ１６Ｒ及び左カメラ１６Ｌによる各撮像画像に対して、対象物の画像部分を探索する範囲を設定するための基準とする切出し座標の算出処理を行う。そして、切出し座標が正常に算出されたときはＳＴＥＰ２２に進み、正常に算出されなかったときには、図５のＳＴＥＰ３に戻ってエイミングが再度実行される。

ＳＴＥＰ２２で、視差オフセット値算出部８８は、右カメラ１６Ｒと左カメラ１６Ｌの光軸が平行に設定されていないことに起因する監視対象物の画像部分の視差に含まれる誤差である視差オフセット値の算出処理を行う。そして、視差オフセット値が正常に算出されたときはＳＴＥＰ２４に進み、正常に算出されなかったときには、図５のＳＴＥＰ３に戻ってエイミングが再度実行される。

ＳＴＥＰ２４で、エイミングモード実行部４８は、ＳＴＥＰ１４で設定したＬＵＴのデータと、ＳＴＥＰ１６で算出したレンズ歪補正係数のデータと、ＳＴＥＰ１８で算出したパン角及びピッチ角のデータと、ＳＴＥＰ２１で算出した切出し座標のデータと、ＳＴＥＰ２２で算出した視差オフセット値のデータとを、カメラパラメータのデータとしてカメラパラメータ記憶部４６に保持する処理を実行する。

そして、カメラパラメータのデータが正常にカメラパラメータ記憶部４６に保持されたときはＳＴＥＰ２６に進み、エイミングモード実行部４８はエイミングの処理を終了する。一方、カメラパラメータのデータデータが正常にカメラパラメータ記憶部４６に保持されなかったときには、図５のＳＴＥＰ３に戻り、エイミングモード実行部４８はエイミングの処理を再度実行する。

次に、サービスエイミングモードによるエイミングの処理について、図７〜図９に示したフローチャートに従って説明する。

図７のＳＴＥＰ３０で、パラメータ入力部７４は、左カメラ１６Ｌ及び右カメラ１６Ｒからターゲット板１３２までの距離を設定する。この場合、ターゲット板１３２までの距離は、サービスエイミングを行うサービス工場に設置されたエイミングターゲット１３４の位置によって決定される。この距離は、主制御装置１２６から入力されてＥＣＵ１４に提供される。

続くＳＴＥＰ３１で、作業者は、左カメラ１６Ｌ及び右カメラ１６Ｒの高さＨ（図１参照）を確認し、主制御装置１２６に入力する。これにより、該高さＨのデータがＥＣＵ１４に提供される。

ＳＴＥＰ３２で、初期設定部７６は、テンプレート設定部９４により、ＳＴＥＰ３０で設定したエイミングターゲット１３４までの距離に応じたテンプレートＴＰ1〜ＴＰ6のうちの１つを選択する。

ＳＴＥＰ３３で、初期設定部７６は、上述したＳＴＥＰ８と同様に、近距離に配設されたエイミングターゲット１３４までの距離に対応した透視変換モデルに適応した結像距離（焦点距離）を設定する。

続くＳＴＥＰ３４において、ターゲット板１３２の位置確認が行われる。つまり、サービスエイミングモードでは、ターゲット板１３２を中心位置ＰＣ、左位置ＰＬ、及び右位置ＰＲ（図４参照）の順に配置してエイミングを行うために、ＳＴＥＰ３４が最初に実行されたときには、主制御装置１２６に対してターゲット板１３２を中心位置ＰＣに設定するように、確認指示の信号を送信する。この信号を受信した主制御装置１２６は、モニタ画面上に「ターゲットを中心位置ＰＣに配置して、『Ｙ』キーを押して下さい。」等のメッセージを表示する。作業者は、このメッセージに応じて、ヘッドライトテスタ１２４を手動又は所定の駆動装置によってレール１２８に沿って移動させ、ターゲット板１３２を中心位置ＰＣに配置する。

ＳＴＥＰ３５においては、その時点のターゲット板１３２の位置に応じて分岐処理が行われる。すなわち、ターゲット板１３２が中心位置ＰＣに配置されているとき（初回〜３０回目）にはＳＴＥＰ３６に進み、左位置ＰＬに配置されているとき（３１回目〜６０回目）にはＳＴＥＰ４１に分岐し、右位置ＰＲに配置されているとき（６１回目以降）にはＳＴＥＰ４６に分岐する。

ＳＴＥＰ３６では、上述したＳＴＥＰ９と同様に、テンプレートマッチング部７８がテンプレートマッチング処理を行う。また、ＳＴＥＰ３７では、上述したＳＴＥＰ１０と同様に、テンプレートマッチング部７８は、エイミングターゲット１３４のターゲット座標を算出して記憶する。

続くＳＴＥＰ３８においては、上述したＳＴＥＰ１０と同様に、エイミングモード実行部４８は、取得したグレースケール画像が所定枚数Ｎ以上となったか否かを判断する。そして、取得したグレースケール画像の枚数がＮ以上となったときはＳＴＥＰ３９に進み、Ｎよりも少ないときには図５のＳＴＥＰ１に戻る。なお、２回目以降は、ＳＴＥＰ３〜ＳＴＥＰ８及びＳＴＥＰ３０〜ＳＴＥＰ３５の処理がスキップされる。

ＳＴＥＰ３９で、テンプレートマッチング部７８は、中心位置ＰＣ（図４参照）について、上述したＳＴＥＰ１２と同様に、ターゲット座標の平均値を算出する処理を行い、ターゲット座標の平均値が正常に算出されたときはＳＴＥＰ１４に進む。一方、ターゲット座標の平均値が正常に算出されなかったときには図５のＳＴＥＰ３に戻ってエイミングが再度実行される。

同様にして、ターゲット板１３２を左位置ＰＬに配置した状態で、図８に示したＳＴＥＰ４１〜ＳＴＥＰ４５の処理が実行される。また、ターゲット板１３２を右位置ＰＲに配置した状態で、図９に示したＳＴＥＰ４６〜ＳＴＥＰ５０の処理が実行される。

そして、最後のＳＴＥＰ５０において、ターゲット座標が正常に算出されたと判断されたときは図６のＳＴＥＰ１４に進み、上述した製作所エイミングモードと同様の処理が行われて、各カメラパラメータがカメラパラメータ記憶部４６に保持される。

次に、ＳＴＥＰ１６における右カメラ１６Ｒ及び左カメラ１６Ｌのレンズのレンズ歪補正係数の算出補正について、図１０〜図１２を参照して説明する。なお、以下では右カメラ１６Ｒについて説明するが、左カメラ１６Ｌについても同様である。

図１０において、右カメラ１６Ｒのレンズ中心Ｏを原点として、２つの対象物Ｔ1，Ｔ2を右カメラ１６Ｒから距離Ｚnだけ離間させると共に、相互に距離Ｄだけ離間した実空間位置（Ｘn，Ｚn）及び（Ｘn−Ｄ，Ｚn）に配設し、これらの対象物Ｔ1，Ｔ2を右カメラ１６Ｒにより撮像する。なお、対象物Ｔ1，Ｔ2としては、例えば、図３に示したエイミングターゲット１１２から任意の２つを選択することができる。

対象物Ｔ1の画像Ｔ1^＊のＸ方向の位置ｘ1と、対象物Ｔ2の画像Ｔ2^＊のＸ方向の位置ｘ2は、右カメラ１６Ｒ又は左カメラ１６Ｌのレンズに歪みがないと仮定した場合、設計上の焦点距離ｆと画素ピッチｐから決まる設計パラメータＦ（＝ｆ／ｐ）を用いて、透視変換モデルでは、以下の式（１），式（２）により表される。

一方、図１１（ａ）に示したように、右カメラ１６Ｒのレンズ２００Ｒに歪があり、該歪に起因して、実際の画像Ｔ1^＊の位置ｘ1^＊と理論上の位置ｘ1との間にはずれが生じる。同様に、実際の画像Ｔ2^＊の位置ｘ2^＊と理論上の位置ｘ2との間にもずれが生じる。

そして、レンズの歪の度合はレンズの中心から離れるに従って大きくなるが、レンズの中心付近の比較的歪の小さい範囲Ｗについては、図１１（ａ）に示したようにレンズ２００Ｌの中心Ｌcと撮像素子（ＣＣＤ，ＣＭＯＳ等のイメージセンサ）の中心Ｄcが一致していれば、図１１（ｂ）に示したように、以下の式（３）の１次式により近似することができる。

但し、ＤＲ：補正量、α：レンズ歪補正係数、Ｒ：映像中心からの距離。

ここで、図１２（ａ）は、左カメラ１６Ｌによる撮像画像（実映像）を示したものであり、Ｒ0は撮像画像の中心Ｉcを基準とした対象物の画像部分３００ａの端部の位置を示している。また、図１２（ｂ）は、レンズの歪がないと想定したときの理論上の撮像画像（理想映像）を示したものであり、画像部分３００ｂが図１２（ａ）の画像部分３００ａに対応している。

そして、図１２（ａ），図１２（ｂ）において、実映像の画像部分３００ａの端部Ｒ0（＝（ｘ0，ｙ0））と、理想映像の画像部分３００ｂの端部Ｒ1（＝（ｘ1，ｙ1））との関係は、以下の式（４）で示される。

但し、ＤＲ0：Ｒ0に対するレンズ歪の補正量。

そして、図１０における理論上の画像部分の位置ｘ1，ｘ2と、実際の画像部分Ｔ1^＊，Ｔ2^＊の位置ｘ1^＊，ｘ2^＊の位置との間には、以下の式（５），式（６）の関係が成立する。

したがって、理論上の画像部分の位置ｘ1，ｘ2に対する実画像上の画像部分Ｔ1^＊，Ｔ2^＊の位置ｘ1^＊，ｘ2^＊の誤差ｄ1，ｄ2は、上記式（５），式（６）により、以下の式（７），式（８）で表すことができる。

そして、上記式（５），式（６），式（７），式（８）により、レンズ歪補正係数αは、以下の式（９）によって算出することができる。

この場合、レンズ歪補正係数αは、対象物Ｔ1，Ｔ2のＸ方向の位置Ｘnを任意として、左カメラ１６Ｌからの距離Ｚn、対象物Ｔ1，Ｔ2間の距離Ｄ、設計パラメータＦを用いて容易に算出することができる。そして、算出されたレンズ歪補正係数αを用いて設計パラメータＦを１／α・Ｆと補正することにより、対象物の実空間位置を精度良く算出することができる。

なお、上記説明では、Ｘ方向に対するレンズ歪補正係数αを算出する場合について説明したが、Ｙ方向に対するレンズ歪補正係数αも同様にして算出することができる。また、レンズの歪が等方向性をもっているときは、Ｘ方向及びＹ方向のレンズ歪補正係数αを同じ値に設定すればよい。

また、左右カメラレンズ補正部８２は、左カメラ１６Ｌのレンズについても、同様にしてレンズ補正係数αを算出する。左右カメラレンズ補正部８２は、算出した左カメラ１６Ｌと右カメラ１６Ｒのレンズ歪補正係数αのデータを、カメラパラメータ記憶部９６に保持する。

なお、左右カメラレンズ補正部８２が、このように右カメラ１６Ｒ及び左カメラ１６Ｌのレンズ歪補正係数αを算出する構成が、本発明の歪補正用１次式算出手段に相当する。また、右カメラ１６Ｒ及び左カメラ１６Ｌのレンズの特性が既知であるときには、該特性を近似した１次式を規定するレンズ歪補正係数αのデータを、予めカメラパラメータ記憶部４６に保持しておくようにしてもよい。この場合には、ＳＴＥＰ１６における右カメラ１６Ｒ及び左カメラ１６Ｌのレンズ歪補正係数αの算出処理は不要である。

次に、図１３は、右カメラ１６Ｒの撮像素子の中心（撮像画像の中心）Ｄcと、右カメラ１６Ｒの中心ＬcとがＯf（＝（ox，oy））分ずれている状態における、画像部分の検出位置Ｐ10と、レンズ歪がないとした理論上の位置Ｐ12との関係を示したものである。図１３において、画像部分の検出位置Ｐ10のベクトルＲ10と理論上の位置Ｐ12のベクトルＲ12との関係は以下の式（１０）により表すことができる。

また、上記式（４）の映像中心を基準としたレンズ歪の補正式を適用すると、以下の式（１１）が得られる。

但し、α：レンズ歪補正値。

上記式（１０）と式（１１）の差をとると、以下の式（１２）が得られる。

但し、Ｏｆ：映像中心とレンズ中心とのずれ量。

上記式（１２）は、右カメラ１６Ｒによる撮像画像中の画像部分について上記式（４）によるレンズ歪の補正を行った場合、補正後の画像部分の位置が、水平方向（ｘ方向）及び垂直方向（ｙ方向）に一定値ずれることを意味している。

ここで、図１４は、右カメラ１６Ｒのパン角が０度（Ａxの状態）であるときと、θ度（Ａx'の状態）であるときとで、右カメラ１６Ｒの撮像画像における画像部分のｘ方向の位置がどのように変化するかを示したものである。図１４中、Ｉm30がパン角が０度のときの撮像画像であり、Ｉm31がパン角がθ度であるときの撮像画像である。

そして、Ｉm30中の画像部分３１０の水平位置ｘ₃₀とＩm31中の画像部分３１１の水平位置ｘ₃₁との差Ｅxは、以下の式（１３）により表すことができる。

上記式（１３）から、パン角に比例して、任意の画像上のｘ方向の位置が一定値変化する。同様にして、右カメラ１６Ｒのピッチ角に比例して、画像上のｙ方向の任意の位置が一定値変化する。

そのため、レンズ歪補正値αを上述した１次式で表すことができれば、画像素子の中心とレンズの中心のずれは、右カメラ１６Ｒのパン角及びピッチ角の補正処理として行うことができる。左カメラ１６Ｌについても同様である。

次に、左右カメラ取付角算出部８４による右カメラ１６Ｒ及び左カメラ１６Ｌのパン角及びピッチ角の算出処理について、図１５を参照して説明する。ここでは、右カメラ１６Ｒについて説明するが、左カメラ１６Ｌについても同様である。

左右カメラ取付角算出部８４は、ターゲットの空間座標を示す基準座標値Ｐ0を所定の記憶部から読み出す。そして、左右カメラ取付角算出部８４は、基準値座標Ｐ0を上記式（１）により変換して画像上の対応する基準座標Ｐ0'（ｘ0，ｙ0）を求める。

また、基準座標値Ｐ0は実空間上の値として記憶しておくことにより、例えばターゲットの位置を変更するような場合に、主制御装置１０６，１２６から入力する際に実測した座標をそのまま用いることができ、好適である。

そして、左右カメラ取付角算出部８４は、画像上の基準座標値Ｐ0'とＳＴＥＰ１２で算出された平均値Ｐ_aveとを比較演算して、パン角方向の差Δｘ及びピッチ角方向の差Δｙを算出する。

ここで、差Δｘ及びΔｙは、それぞれ基準座標地Ｐ0'に応じて右カメラ１６Ｒのパン角及びピッチ角の設計基準値に対する誤差としての取付角を示している。例えば、パン角及びピッチ角の設計基準値が共に０度であるときに、差Δｘが２度、差Δｙが１度に相当する値であるときには、右カメラ１６Ｒのパン角が２度、ピッチ角が１度として算出される。

左右カメラ取付角算出部８４は、左カメラ１６Ｌについても同様にしてパン角とピッチ角を算出する。そして、左右カメラ取付角算出部８４は、右カメラ１６Ｒ及び左カメラ１６Ｌのパン角及びピッチ角のデータをカメラパラメータ記憶部４６に保持する。

次に、左右カメラ映像切出座標算出部８６は、図１５に示したように、右カメラ１６Ｌの撮像画像５４条の基準領域１６０Ｒをｘ方向に差Δｘ、ｙ方向に差Δｙだけずらした切出し領域１６２Ｒを求める。基準領域１６０Ｒは、基準座標値Ｐ0に基いて設定されており、右カメラ１６Ｒが正確に前方を指向している場合（パン角及びピッチ角が共に０度）に、レンズの歪をレンズ歪補正係数αで規定した１次式によって精度良く近似することができる範囲であって、対象物の画像部分を探索する領域である。

基準領域１６０Ｒに対して差Δｘ，Δｙだけ移動させた領域１６２Ｒを対象物の画像抽出を行う領域とすることによって、右カメラ１６Ｒのレンズの中心と撮像素子の中心が一致するように、機械的に調整した場合と同様の効果を得ることができる。左右カメラ映像切出座標算出部８６は、左カメラ１６Ｌについても同様にして、パン角及びピッチ角によるｘ方向及びｙ方向の差だけずらした領域を設定する。

このようにして、エイミングにより各カメラパラメータ（右カメラ１６Ｒ及び左カメラ１６Ｌのレンズ歪補正係数α、パン角、ピッチ角）が設定された後、通常モード実行部５０は、各カメラパラメータを用いて通常モードによる処理を実行する。以下、図１６に示したフローチャートに従って、通常モードによる対象物の探索処理及び注意換気処理について説明する。

通常モード実行部５０は、ＳＴＥＰ１０１で右カメラ１６Ｒにより車両１２の前方を基準画像として撮像すると共に、ＳＴＥＰ１０２で左カメラ１６Ｒにより車両１２の前方を探索画像として撮像する。そして、撮像した各画像のグレースケール画像と２値化画像をのデータを画像記憶部４４に保持する。

ＳＴＥＰ１０３で、通常モード実行部５０は、右カメラ１６Ｒにより撮像した基準画像の２値化画像から対象物の画像部分を抽出する。また、ＳＴＥＰ１０４で、通常モード実行部５０は、基準画像中で抽出した画像部分に対応する探索画像中の画像部分を、基準画像と探索画像のグレースケール画像間の相関演算により探索し、基準画像中の画像部分及びこれに対応する探索画像中の画像部分間の画像上での視差を算出する。そして、通常モード実行手段５０は、該視差から当該画像部分に対応する実空間上の位置までの距離を算出する。

この場合、ＳＴＥＰ１０４における相関演算に先行して、通常モード実行部５０は、カメラパラメータである輝度調整ＬＵＴを用いて、右カメラ１６Ｒにより撮像して得られた基準画像の輝度信号が左カメラ１６Ｌにより撮像して得られた探索画像の輝度信号より大きくなるように調整する。

また、基準画像及び探索画像における対象物の画像部分の座標は、右カメラ１６Ｒ及び左カメラ１６Ｌに対して算出されたカメラパラメータであるレンズ歪補正係数αを用いて精度良く補正される。さらに、探索された対象物の画像部分の基準画像と探索画像間の視差が、相対パン角に起因するカメラパラメータである視差オフセット値により精度良く補正され、これにより、対象物までの距離を精度良く検知することができる。

なお、通常モード実行部５０により、対象部の画像部分の座標（位置）をレンズ歪補正係数αによるレンズ歪補正値を算出する構成が、本発明のレンズ歪補正値算出手段に相当し、この構成による処理が本発明のレンズ歪補正値算出ステップに相当する。

また、通常モード実行部５０により、レンズ歪補正係数値αによる補正と、カメラのパン角及びピッチ角（本発明の中心ずれ補正値に相当する）とに基くレンズの中心と撮像素子の中心とのずれの補正を行って、対象物の座標を補正する構成が、本発明の画像位置補正手段に相当し、この構成による処理が本発明の画像位置補正ステップに相当する。

次のＳＴＥＰ１０５で、通常モード実行部５０は、基準画像における対象物の画像部分の座標を、ＳＴＥＰ１０４で算出した距離を含む対象物の実空間上における３次元座標に変換した相対位置を算出する。なお、このようにして、通常モード実行部５０により、対象物の画像部分に対応する実空間上の位置を算出する構成が、本発明の実空間位置算出手段に相当し、この構成による処理が本発明の実空間位置算出ステップに相当する。

ＳＴＥＰ１０５における対象物の実空間上での３次元座標は、微小時間間隔で繰り返し算出され、ＳＴＥＰ１０６で対象物の移動ベクトルが算出される。そして、ＳＴＥＰ１０７で、通常モード実行部５０は、この移動ベクトルを用いて、対象物から道路構造物や車両を除外する処理を行い、ＳＴＥＰ８で、除外されずに残った対象物の形状から歩行者の有無を判定する。

ＳＴＥＰ８で、歩行者有であるとの判断がなされた場合、通常モード実行部５０は、ＳＴＥＰ１０９で右カメラ１６Ｒで撮像された基準画像をＨＵＤ１８に表示すると共に、歩行者の画像部分を強調枠で囲む。また、続くＳＴＥＰ１１０で、スピーカ２０から警報音を出力して運転者に注意を促す。

なお、本実施の形態では、カメラのレンズの中心と撮像素子の中心とのずれを、カメラのパン角及びピッチ角の補正に含めて補正したが、カメラのパン角及ピッチ角の補正とは別に行ってもよい。

また、本実施の形態では、図１５に示したように、カメラのレンズの中心と撮像素子の中心とのずれを、対象物の画像部分を探索する範囲を、基準領域１６０ｒからΔｘ，Δｙだけ移動させた領域１６２Ｒとすることによって補正した。しかし、このような探索する範囲の変更は行わず、図１６のＳＴＥＰ１０５で、画像部分の座標を実空間上の座標に変換する際に、ＳＴＥＰ１８で算出した右カメラ１６Ｒ及び左カメラ１６Ｌのパン角及びピッチ角により補正することによって、カメラのレンズの中心と撮像素子の中心とのずれを補正するようにしてもよい。

このように、実空間上の座標の補正によりカメラレンズの中心と撮像素子の中止とのずれを補正する構成が本発明の実空間位置補正手段に相当する。また、この構成による処理が本発明の実空間位置補正ステップに相当する。

また、本実施の形態では、撮像画像から抽出した画像部分について、該画像部分に対応する実空間上の位置を算出して、該画像部分に対応する実空間上の対象物が歩行者であるか否かを判別したが、該画像部分に対応する実空間上の位置を算出する処理を行わない場合であっても、本発明の効果を得ることができる。

また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２を用いたが、可視光のみを検出可能な通常のビデオカメラを用いてもよい。

また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して監視対象物との接触可能性を判断するようにしてもよい。

本発明の画像処理装置の機能を含むナイトビジョンシステムの構成図。 図１に示したナイトビジョンシステムを構成するＥＣＵの機能構成ブロック図。 車両の製作所に設置されるエイミングターゲット制御装置の構成図。 車両のサービス工場等に設置されるサービスエイミング調整装置の構成図。 エイミング処理のフローチャート。 エイミング処理のフローチャート。 エイミング処理のフローチャート。 エイミング処理のフローチャート。 エイミング処理のフローチャート。 レンズ歪補正値の算出処理のフローチャート。 レンズ歪補正値の算出処理のフローチャート。 レンズ歪補正値の算出処理のフローチャート。 レンズの中心と撮像素子の中心との間にずれがある場合の説明図。 カメラのパン角及びピッチ角の算出処理の説明図。 カメラのパン角及びピッチ角の補正処理の説明図。 通常モードでの対象物探索処理のフローチャート。

符号の説明

１０…ナイトビジョンシステム、１２…車両、１４…ＥＣＵ、１６Ｒ，１６Ｌ…赤外線カメラ、１８…ＨＵＤ、２０…スピーカ、４６…カメラパラメータ記憶部、４８…エイミングモード実行部、５０…通常モード実行部、５２…モード選択部、７０…製作所モード部、７２…サービスモード部、７４…パラメータ入力部、７６…初期設定部、７８…テンプレートマッチング部、８０…輝度調整ＬＵＴ設定部、８２…左右カメラレンズ歪補正部、８４…左右カメラ取付角算出部、８６…左右カメラ映像切出座標算出部、８８…視差オフセット値算出部、１００…エイミングターゲット制御装置、１２０…サービスエイミング調整装置

Claims (5)

1. カメラによる撮像画像に含まれる画像部分に対応する実空間上の位置を、該カメラに装着されたレンズの歪に起因する該歪がない理論上の位置からのずれを補正して求める画像処理装置において、
   前記カメラの撮像範囲内で該撮像画像の中心を含めて設定された所定画像範囲内に存在する画像部分に対して、該所定画像範囲の中心からの距離と前記レンズの歪度合との相関関係を近似した１次式に、該所定画像範囲の中心からの該画像部分の距離を適用して、前記レンズの歪に起因する該歪がない理論上の位置からのずれを補正するためのレンズ歪補正値を算出するレンズ歪補正値算出手段と、
   前記画像部分の位置を前記レンズ歪補正値により補正したレンズ歪補正位置を算出し、該レンズ歪補正位置に対応した実空間上の位置を算出する実空間位置算出手段と、
   前記カメラのレンズの中心と前記カメラの撮像素子の中心とのずれを補正するための中心ずれ補正値のデータを保持したデータ保持手段と、
   該実空間位置算出手段により算出された前記レンズ歪補正位置に対応した実空間上の位置を、前記中心ずれ補正値を用いて補正する実空間位置補正手段とを備えたことを特徴とする画像処理装置。
2. 前記カメラは所定の基準位置に取り付けられ、
   前記実空間位置補正手段は、前記中心ずれ補正値を用いた補正を、前記基準位置に対する前記カメラのパン角及びピッチ角のずれの補正に含めて行うことを特徴とする請求項１記載の画像処理装置。
3. 所定のレンズ歪検出用パターンを前記カメラにより撮像し、該レンズ歪検出用パターンの画像部分の位置データに基いて、前記１次式を求める歪補正用１次式算出手段を備えたことを特徴とする請求項１又は請求項２記載の画像処理装置。
4. カメラによる撮像画像にアクセスするインターフェース回路と、前記カメラのレンズの中心と前記カメラの撮像素子の中心とのずれを補正するための一定の中心ずれ補正値のデータを保持したデータ保持手段とを有するコンピュータに、該撮像画像に含まれる画像部分に対応する実空間上の位置を、該カメラに装着されたレンズの歪に起因する該歪がない理論上の位置からのずれを補正して求める機能を実現するためのプログラムであって、該コンピュータを、
   前記カメラの撮像範囲内で該撮像画像の中心を含めて設定された所定画像範囲内に存在する画像部分に対して、該所定画像範囲の中心からの距離と前記レンズの歪度合との相関関係を近似した１次式に、該所定画像範囲の中心からの該画像部分の距離を適用して、前記レンズの歪に起因する歪がない理論上の位置からのずれを補正するためのレンズ歪補正値を算出するレンズ歪補正値算出手段と、
   前記画像部分の位置を前記レンズ歪補正値により補正したレンズ歪補正位置を算出し、該レンズ歪補正位置に対応した実空間上の位置を算出する実空間位置算出手段と、該実空間位置算出手段により算出された前記レンズ歪補正位置に対応した実空間上の位置を、前記中心値ずれ補正値を用いて補正する実空間位置補正手段として機能させることを特徴とする画像処理装置用プログラム。
5. カメラによる撮像画像にアクセスするインターフェース回路と、前記カメラのレンズの中心と前記カメラの撮像素子の中心とのずれを補正するための一定の中心ずれ補正値のデータを保持したデータ保持手段とを有するコンピュータにより、該撮像画像に含まれる画像部分に対応する実空間上の位置を、該カメラに装着されたレンズの歪に起因する該歪がない理論上の位置からのずれを補正して求める画像処理方法において、
   前記コンピュータが、前記カメラの撮像範囲内で該撮像画像の中心を含めて設定された所定画像範囲内に存在する画像部分に対して、該所定画像範囲の中心からの距離と前記レンズの歪度合との相関関係を近似した１次式に、該所定画像範囲の中心からの該画像部分の距離を適用して、前記レンズの歪に起因する該歪がない理論上の位置からのずれを補正するためのレンズ歪補正値を算出するレンズ歪補正値算出ステップと、
   前記コンピュータが、前記画像部分の位置を前記レンズ歪補正値により補正したレンズ歪補正位置を算出し、該レンズ歪補正位置に対応した実空間上の位置を算出する実空間位置算出ステップと、
   前記コンピュータが、前記実空間位置算出ステップにより算出された前記レンズ歪補正位置に対応した実空間上の位置を、前記中心ずれ補正値を用いて補正する実空間位置補正ステップとを含むことを特徴とする画像処理方法。

Images