JP4032053B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、車両に搭載された撮像手段によって周辺の監視を行う車両周辺監視装置に関し、特に、車両に対する撮像手段の取り付け角を求めて所定のエイミングを行うことができる車両周辺監視装置に関する。

例えば、車両に２台の撮像手段を搭載し、これらの撮像手段を用いて同一の対象物を撮像し、撮像された画像間の視差を利用して車両から対象物までの距離を計測し、あるいは、車両に対する対象物の実空間位置を計測し、ドライバに前方の障害物の有無等を報知するようにした車両周辺監視装置が開発されている（特許文献１参照）。

特開２００３−２１６９３７号公報

対象物の位置や距離を正確に計測するためには、撮像手段の取り付け角度が正確に求められていなければならない。特に、対象物が遠方に存在する場合には、撮像手段の取り付け角の僅かな差の影響により位置や距離の計測に大きな誤差が生じる。このため既知位置に配置されたターゲットを撮像手段により撮像し、得られた画像上のターゲット像に基づいて撮像手段の正確な取り付け角度を求めるためのエイミングを行うとよい。

この場合、仮ターゲットを撮像した画像であるテンプレートを所定の記憶手段に予め用意しておき、撮像手段によって実際に撮像された画像に対してテンプレートを用いたマッチング（テンプレートマッチング）を行うことにより画像上のターゲットの位置を求めることができる。

ところで、エイミングは車両製作所における出荷調整時に行われることはもちろんであるが、出荷後にも様々な検査場で行われることが想定され、車両に対するターゲット位置を一様に特定することができず、各検査場に対応した適切なテンプレートの設定が困難である。

また、種々の要因により撮像手段による画像は必ずしも安定的に得られるとは限らず、テンプレートによるマッチングを行ってもターゲットの位置が正確に求められない懸念がある。

本発明はこのような課題を考慮してなされたものであり、車両に搭載された撮像手段の取り付け角度を正確に求めることのできる車両周辺監視装置を提供することを目的とする。

本発明に係る車両周辺監視装置は、車両に搭載された撮像手段によって周辺の監視を行う車両周辺監視装置において、前記撮像手段で調整用に撮像するターゲットの基準座標を記憶する座標基準値記憶手段と、ターゲットを予め撮像した画像であるテンプレートを前記撮像手段からの距離に応じて複数枚記憶するテンプレート記憶手段と、前記撮像手段から前記ターゲットまでの対象物距離に応じて前記テンプレート記憶手段から１つのテンプレートを選択するテンプレート選択手段と、前記テンプレート選択手段により選択されたテンプレートを用いて、前記撮像手段で撮像された画像に対してテンプレートマッチングを行い、前記ターゲットの座標を算出するターゲット座標算出手段と、前記座標基準値記憶手段から得られる基準座標と前記ターゲット座標算出手段で算出される座標とを比較して前記撮像手段の車両に対する取り付け角を求める取付角算出手段とを有することを特徴とする（請求項１記載の発明）。

このように、テンプレートは対象物距離に応じて複数設けられているため、適切なテンプレートを選択することができ、該テンプレートを用いて画像上のターゲットの座標を正確且つ簡便に求めることができる。
これにより、求められたターゲットの座標から撮像手段の取り付け角度を正確に求めることができる。

この場合、前記ターゲット座標算出手段は、前記撮像手段によって撮像された複数の画像に対してそれぞれテンプレートマッチングを行い、前記取付角算出手段は、前記座標基準値記憶手段から得られる基準座標と前記ターゲット座標算出手段で算出された複数の座標の平均値とを比較して前記撮像手段の取り付け角を求めるとよい（請求項２記載の発明）。

これにより、撮像手段もしくは撮像環境が多少不安定であっても、複数枚の画像に対して求められたターゲット座標の平均値では誤差が相殺され、撮像手段の取り付け角度を一層正確に求めることができる。

また、前記テンプレート記憶手段は、複数の規定距離に対応したテンプレートを記憶し、前記テンプレート選択手段は、前記規定距離と前記対象物距離に基づいてテンプレートを選択するとよい（請求項３記載の発明）。このようにテンプレートをいくつかの規定距離に対応して設けることにより、対象物距離と完全に一致する距離に対応したテンプレートが存在しなくても、規定距離を参照して適当なテンプレートを選択することができる。これにより、テンプレート枚数が抑制され、テンプレート記憶手段の容量低減を図ることができる。

さらに、前記テンプレート選択手段は、対応する規定距離が前記対象物距離以下で、且つ最も近いテンプレートを選択するとよい（請求項４記載の発明）。これにより、画像上のターゲットの像とほぼ同じ形状の像を有するテンプレートを選択することができパターンマッチングが正確に行われる。また、テンプレート上の像は画像上のターゲットの像以上の大きさを有することになり、背景の他の像の影響が低減される。

本発明に係る車両周辺監視装置によれば、テンプレートマッチングを行うことにより画像上のターゲットの座標を正確且つ簡便に求めることができる。また、テンプレートは、対象物距離に応じて複数設けられているため、撮像手段とターゲットとの実際の距離である対象物距離に基づいて適切なテンプレートを選択することができ、テンプレートマッチングが正確に行われる。これにより、求められたターゲットの座標から撮像手段の取り付け角度を正確に求めることができる。さらに、テンプレートは、いくつかの規定距離に対応して設けることによりテンプレート枚数が抑制され、テンプレート記憶手段の容量低減を図ることができる。

以下、本発明に係る車両周辺監視装置について実施の形態を挙げ、添付の図１〜図２１を参照しながら説明する。

図１に示すように、本実施形態に係るナイトビジョンシステム（車両周辺監視装置）１０は、車両１２に搭載されたシステムであって、主要な制御部であるＥＣＵ（Electric Control Unit）１４と、左右一対の赤外線カメラ（撮像手段）１６Ｌ、１６Ｒと、検出結果画像を表示するためのＨＵＤ(Head Up Display)１８と、警報音等を発するスピーカ２０と、走行速度を検出する車速センサ２２と、走行時のヨーレートを検出するヨーレートセンサ２４と、日射センサ２６と、ヘッドライトスイッチ２８と、システムを起動又は停止させるメインスイッチ３０と、外部コンピュータシステムとの接続部３２とを有する。ナイトビジョンシステム１０を構成するこれらの機器間の接続には、他のシステムと兼用の車内通信網を用いてもよい。

赤外線カメラ１６Ｒ及び１６Ｌは、バンパ下部における横長グリル孔の右端部及び左端部に並行配置され、左右対称位置でそれぞれ前方を指向し、カメラ間距離（以下、基線長ともいう。）Ｂの間隔で設けられている。赤外線カメラ１６Ｒ及び１６Ｌは遠赤外線を検出することにより高温部ほど高輝度となる赤外線画像を撮像して、それぞれＥＣＵ１４に供給する。

ＨＵＤ１８はインスツルメントパネル上部のドライバの正面位置において前方視界を妨げないように設けられている。ＨＵＤ１８はシステムオフ状態ではインスツルメントパネル内に格納されており、日射センサ２６の情報から夜であると判断し、且つヘッドライトスイッチ２８の情報からヘッドライト（又はフォグライト）が点灯していると判断される状態でメインスイッチ３０をオンにするとポップアップする。ＨＵＤ１８の映像表示部は凹面ミラーで構成され、インスツルメントパネル内部からの映像を反射・投影する。ナイトビジョンシステム１０はメインスイッチ３０の操作に拘わらず、オートライト機能に連動して自動起動させてもよい。ＨＵＤ１８の表示輝度は適当なスイッチ操作によって調整可能としてもよい。

ＥＣＵ１４は、赤外線カメラ１６Ｒ、１６Ｌから得られたステレオ赤外線画像に基づいて、両画像の視差から熱源対象物を検出してＨＵＤ１８上で白いシルエットとして映し出す。さらに、熱源対象物の中から歩行者を特定すると、注意喚起のためにスピーカ２０から音を発すると同時に、ＨＵＤ１８上に映し出された歩行者を目立つ色の枠で囲んで強調表示する。この注意喚起機能は、所定の速度域において歩行者の位置に到達するまでの時間を予測し、充分な回避操作が行えるタイミングで注意喚起を行う。

赤外線カメラ１６Ｒ、１６Ｌは、遠方の熱源対象物の位置、距離及び形状を正確に判定するため、製作所における製造時、あるいは、定期点検時等において、後述する調整処理であるエイミング設定が行われる。

図２に示すように、ＥＣＵ１４は、赤外線カメラ１６Ｒ、１６Ｌにより撮像された赤外線画像をＡ／Ｄ変換してグレースケール画像を生成する画像入力部４０と、閾値に基づいてグレースケール画像から二値化画像を生成する二値化処理部４２と、グレースケール画像及び二値化画像を記憶する画像記憶部４４と、エイミングを行って処理結果をカメラパラメータ記憶部４６に記憶するエイミングモード実行部４８と、車速センサ２２等のセンサ及びカメラパラメータ記憶部４６を参照しながら通常の画像処理を行うとともにＨＵＤ１８及びスピーカ２０を制御する通常モード実行部５０と、接続部３２を介して外部のコンピュータシステムからの指示に基づき、エイミングモードか通常モードのいずれか一方を選択するモード選択部５２とを有する。

図３に示すように、画像記憶部４４には、右の赤外線カメラ１６Ｒが撮像した赤外線画像に基づく右グレースケール画像５４及び右二値化画像５６と、左の赤外線カメラ１６Ｌが撮像した赤外線画像に基づく左グレースケール画像５８が記憶される。これらの各画像は、車両１２の前方を撮像した横長のデジタル画像である。右グレースケール画像５４及び左グレースケール画像５８は各ピクセルの輝度が所定の階調（例えば、２５６階調）で表され、右二値化画像５６は各ピクセルの輝度が０又は１で表される二値の画像である。実際上、各画像は複数枚を同時に記憶可能である。

図２に戻り、エイミングモード実行部４８は、車両１２を製造する製作所内において外部コンピュータシステムとしてエイミングターゲット制御装置１００（図４参照）を用いてエイミングを行う製作所モード部７０と、サービスエイミング設定装置１２０（図５参照）を用いてサービス工場等でエイミングを行うサービスモード部７２を有し、これらの外部コンピュータシステムからの指示に基づいて製作所モード部７０又はサービスモード部７２のいずれか一方が選択実行される。

また、エイミングモード実行部４８は、エイミングの開始時に外部コンピュータシステムから所定のパラメータを入力するパラメータ入力部７４と、エイミングに必要な初期設定を行う初期設定部７６と、画像記憶部４４に記憶された左右のグレースケール画像５４、５８に対してテンプレートを用いたマッチングを行うテンプレートマッチング部７８と、赤外線カメラ１６Ｒ、１６Ｌにより撮像して得られた画像信号の輝度を調整するための輝度調整ＬＵＴを設定する輝度調整ＬＵＴ設定部８０と、赤外線カメラ１６Ｒ、１６Ｌの焦点距離、画素ピッチ等の固体差に起因して発生する映像歪みを補正する左右カメラ映像歪補正部８２と、赤外線カメラ１６Ｒ、１６Ｌの取付角（パン角、ピッチ角）を算出する左右カメラ取付角算出部８４と、画像から演算範囲を切り出すための基準となる切り出し座標を算出する左右カメラ映像切出座標算出部８６と、赤外線カメラ１６Ｒ、１６Ｌの光軸が平行に設定されていないことに起因する対象物画像の視差に含まれる誤差である視差オフセット値を算出する視差オフセット値算出部８８とを有する。

なお、視差オフセット値算出部８８は、赤外線カメラ１６Ｒ、１６Ｌで撮像された対象物の画像上の実視差を算出する実視差算出手段と、赤外線カメラ１６Ｒ、１６Ｌにより撮像された各画像を各パン角に従って切り出し、測距精度をさらに向上するために視差オフセット値を算出する視差補正値算出手段として機能する。

初期設定部７６は、対象物までの距離に応じて用意された６つのテンプレートＴＰ１、ＴＰ２、ＴＰ３、ＴＰ４、ＴＰ５、ＴＰ６（代表的にテンプレートＴＰとも示す。）から１つを選択するテンプレート設定部９４を有する。また、ＥＣＵ１４は、対象物の位置を求めるための透視変換モデルを数式として記憶するモデル記憶部９６を有し、エイミングモード実行部４８及び通常モード実行部５０は該透視変換モデルを用いて対象物の位置を算出する。モデル記憶部９６には、対象物が近距離である場合の近距離用モデルと遠距離である場合の遠距離用モデルが記憶されている。

ＥＣＵ１４は、主たる制御部としてのＣＰＵ（Central Processing Unit）と、記憶部としてのＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等を有しており、上記の各機能部は、ＣＰＵがプログラムを読み込み、記憶部等と協動しながらソフトウェア処理を実行することにより実現される。

図４に示すように、エイミングターゲット制御装置１００は、車両１２の位置決め装置１０２と、車両１２が位置決めされた状態で赤外線カメラ１６Ｒ、１６Ｌの前方既知の距離Ｚｆに設けられたゲート１０４と、前記接続部３２を介してＥＣＵ１４と通信を行うとともにゲート１０４を制御する主制御装置１０６とを有する。ゲート１０４は、車幅よりやや広い間隔で設けられた２本の支柱１０８と、左右端を支柱１０８に支持された横長のターゲット板１１０とを有し、該ターゲット板１１０は、主制御装置１０６の作用下に支柱１０８に沿って昇降可能である。ターゲット板１１０には、撮像する対象物としての８つのエイミングターゲット１１２ａ、１１２ｂ、１１２ｃ、１１２ｄ、１１２ｅ、１１２ｆ、１１２ｇ及び１１２ｈ（代表的にエイミングターゲット１１２とも示す。）が左から順に水平に配列されており、エイミングターゲット１１２ａ〜１１２ｈは熱源である。

左側のエイミングターゲット１１２ａ〜１１２ｄは比較的小さい間隔ｄ（ｄ＜Ｂ）で並んでおり左ターゲット群１１４を形成する。同様に、右側のエイミングターゲット１１２ｅ〜１１２ｈは間隔ｄで並んでおり右ターゲット群１１６を形成する。左ターゲット群１１４の右端であるエイミングターゲット１１２ｄと右ターゲット群１１６の左端であるエイミングターゲット１１２ｅの間隔は基線長Ｂに等しく、エイミングターゲット１１２ｄ及び１１２ｅは、赤外線カメラ１６Ｒ及び１６Ｌの正面位置に配置される。

なお、エイミングターゲット１１２ａ〜１１２ｈは発熱体のような熱源に限らず、例えば図５に示すように、熱の反射板としての小さい金属板（アルミニウム板等）１１８ａ〜１１８ｈを用いてもよい。このような金属板をターゲットとして用いることにより車両１２が発生、放射する熱（赤外線）が反射され、赤外線カメラ１６Ｒ及び１６Ｌで撮像することができる。この場合、ターゲットの点灯、消灯の切り換え操作が不要であり、しかも電力消費がなくて好適である。また、ターゲット板１１０として熱の反射率の低い材料を用いると、撮像された画像上で金属板１１８ａ〜１１８ｈとターゲット板１１０のコントラストが明りょうとなり好適である。

図６に示すように、サービスエイミング設定装置１２０は、エイミング設定時における車両１２の車輪位置を示す位置マーク１２２と、該位置マーク１２２に基づいて車両１２が位置決めされた状態で赤外線カメラ１６Ｒ、１６Ｌの前方所定距離（以下、対象物距離ともいう）Ｚの位置に設けられたヘッドライトテスタ１２４と、前記接続部３２を介してＥＣＵ１４と通信を行う主制御装置１２６とを有する。ヘッドライトテスタ１２４は、レール１２８に沿って車幅方向と並行に移動可能であるとともに、昇降台１３０が昇降可能な構成となっている。昇降台１３０にはターゲット板１３２が設けられ、該ターゲット板１３２には間隔ｄ（ｄ＜Ｂ）で水平に並んだ３つの熱源である撮像対象物としてのエイミングターゲット１３４ａ、１３４ｂ及び１３４ｃ（代表的にエイミングターゲット１３４とも示す。）が設けられている。エイミングターゲット１３４は前記エイミングターゲット１１２と同じものであり、又は略同じものを用いることができる。

次に、一般的な透視変換モデルＭ、及びモデル記憶部９６に記憶される近距離用モデル及び遠距離用モデルについて説明する。

図７に示すように、一般的な透視変換モデルＭは、高さＹの対象物Ｗを焦点距離ｆのレンズ１３８で撮像して高さｙの像を得る様子を示すモデルである。つまり、対象物Ｗの一端部である点Ｐａからレンズ中心Ｏに入光した光は直進し、光軸Ｃに並行に入光した光はレンズ１３８の点Ｏ’で屈折し、それぞれの光は点Ｐｂで集光する。対象物Ｗの他端部であり光軸Ｃ上の点Ｐａ’からレンズ中心Ｏに入光した光は、光軸Ｃ上をそのまま直進して点Ｐｂ’に至る。このようにして対象物Ｗはレンズ１３８を通して反対側の結像距離Ｆの箇所に高さｙの像ｗを結像する。図７から明らかなように、像ｗは対象物Ｗに対して倒立している。

ところで、三点Ｐａ、Ｐａ’、Ｏからなる三角形と三点Ｐｂ、Ｐｂ’、Ｏからなる三角形の相似関係、及び三点Ｏ、Ｏ’、Ｐｃからなる三角形と三点Ｐｂ、Ｐｂ’、Ｐｃからなる三角形の相似関係から以下の（１）式及び（２）が導き出される。ただし、点Ｐｃは、レンズ１３８からみて像ｗの方向で、光軸Ｃ上における焦点距離ｆの位置の点である。
ｙ／Ｙ＝Ｆ／Ｚ …（１）
ｙ／Ｙ＝（Ｆ−ｆ）／ｆ …（２）

この（１）式及び（２）式からｙ及びＹを消去すると次の（３）式が求められる。
Ｆ＝ｆＺ／（Ｚ−ｆ） …（３）

エイミングモード時には、対象物距離Ｚが既知距離であることから、後述するステップＳ８及びＳ３３においてはこの（３）式により結像距離Ｆが設定される。実際上、（３）式は後述の（７−１）〜（７−４）式に含まれるようにしてもよい。

対象物Ｗがレンズ１３８から十分遠方にある場合（Ｚ）ｆである場合）には、（３）式は次の（４）式の近似式で表すことができる。
Ｆ≒ｆ（＝ｆＺ／Ｚ） …（４）

なお、対象物Ｗの幅Ｘについても高さＹと同様の透視変換モデルＭで表すことができ、幅Ｘに対して像ｗは幅ｘで表される。また、実際の像ｗは対象物Ｗに対してレンズ１３８の反対側に結像するが、モデルの単純化のために仮想の結像面Ｓを対象物Ｗと同じ側で、且つレンズ１３８から結像距離Ｆの位置に設けることができる。これにより、図８に示すように、対象物Ｗと像ｗはレンズ中心Ｏを基準として相似の正立像となり、対象物Ｗが結像面Ｓに透視変換される。

図８から明らかなように、結像面Ｓにおける像ｗの幅ｘ及び高さｙは次の（５）式及び（６）式で表される。
ｘ＝Ｆ／Ｚ・Ｘ／ｐ …（５）
ｙ＝Ｆ／Ｚ・Ｙ／ｐ …（６）

ここで、パラメータｐは結像面Ｓを実際のデジタル画像に適用する際の画素ピッチである。また、対象物Ｗが比較的近距離であるときは（４）式を適用すると誤差が無視できないため（３）式を（５）式及び（６）式に代入することになり、結局、対象物Ｗが比較的近距離であるときの透視変換モデルは、次の第１の式群である（７−１）〜（７−４）式で表される。

この第１の式群は、モデル記憶部９６における近距離用モデルに含まれており、前記モード選択部５２が後述のステップＳ３でエイミングモードを選択したときにエイミングモード実行部４８により選択され、エイミングターゲット１１２又は１３４の位置を算出に供される。つまり、製作所エイミング時には既知の距離Ｚｆとして自動設定される値が対象物距離Ｚとして用いられ、サービスエイミング時には主制御装置１２６から入力された対象物距離Ｚが用いられる。各エイミングターゲット１１２又は１３４は、車幅方向の座標値であるＸ及び高さ方向の座標値であるＹが既知であることから、（７−１）式及び（７−２）式から結像面Ｓにおける像ｗの理論的な座標Ｐｂ（ｘ、ｙ）が求められる。なお、サービスエイミング時には、高さ座標Ｙは、カメラ高さＨ（図１参照）に基づいて補正される。

この後、理論的な座標Ｐｂ（ｘ、ｙ）と実際に得られたエイミングターゲット１１２の実画面上の座標と比較することによって、赤外線カメラ１６Ｒ及び１６Ｌの取り付け角度が求められる。また、実画面上の座標から（７−３）式及び（７−４）式を用いてエイミングターゲット１１２の理論的な座標を求め、既知の座標値Ｘ、Ｙと比較して赤外線カメラ１６Ｒ及び１６Ｌの取り付け角度を求めてもよい。

第１の式群は、結像距離Ｆを示す（３）式に基づいて設定されていることから、理論的な座標Ｐｂ（ｘ、ｙ）が正確に求められ、結果として赤外線カメラ１６Ｒ及び１６Ｌの取り付け角度を高精度に求めることができる。

一方、対象物Ｗが遠方であるときには近似式として（４）式を用いることができ、（５）式及び（６）式は次の第２の式群である（８−１）〜（８−４）式で表される。

この第２の式群は、前記のモデル記憶部９６における遠距離用モデルに含まれており、前記モード選択部５２が後述のステップＳ３で通常モードを選択したときに通常モード実行部５０により選択され、対象物の位置を算出に供される。つまり、赤外線カメラ１６Ｒ又は１６Ｌにより得られた２つの画像の視差から対象物までの対象物距離Ｚを算出した後、画像上の座標から（８−３）式及び（８−４）式を用いて対象物の空間上の座標値Ｘ及びＹが求められる。一般的に、通常モードにおいては対象物距離Ｚが焦点距離ｆより十分に大きいことから前記（４）式の誤差は無視できるレベルであり、対象物の座標値Ｘ及びＹは（８−３）式及び（８−４）式により十分高精度に求められる。また、（８−３）式及び（８−４）式は、前記（７−３）式及び（７−４）式よりも簡便な式であることから高速計算が可能である。

なお、通常モードにおいても、求められた対象物距離Ｚが所定の閾値以下である場合には（７−３）式及び（７−４）式を用いるようにしてもよい。

次に、このように構成されるエイミングターゲット制御装置１００又はサービスエイミング設定装置１２０を用いてナイトビジョンシステム１０のエイミングを行う方法について説明する。

エイミングには、製作所内でエイミングターゲット制御装置１００を用いる製作所エイミングモードと、サービスエイミング設定装置１２０を用いるサービスエイミングモードがある。

製作所エイミングモードでは、位置決め装置１０２により車両１２の位置決めを行うとともに、主制御装置１０６を車両１２の接続部３２に接続しておく。主制御装置１０６はＥＣＵ１４に対して、エイミングターゲット制御装置１００を用いた製作所エイミングを実行するように指示を送出する。また、エイミングターゲット１１２ａ〜１１２ｈは、車両１２の種類に応じて規定の高さとなるように調整しておく。

サービスエイミングモードでは、位置マーク１２２に車両１２の各車輪を合わせて位置決めを行うとともに、主制御装置１２６を車両１２の接続部３２に接続しておく。主制御装置１２６は、ＥＣＵ１４に対して、サービスエイミング設定装置１２０を用いたサービスエイミングを実行するように指示を送出する。エイミングターゲット１３４ａ〜１３４ｃは、規定高さとなるように調整しておく。

図９及び図１１〜図１４に示す処理は、ＥＣＵ１４において主にエイミングモード実行部４８で実行される処理である。

先ず、図９のステップＳ１において、赤外線カメラ１６Ｒ、１６Ｌからステレオ赤外線画像入力し、画像入力部４０においてＡ／Ｄ変換して（ステップＳ２）グレースケール画像５４、５８を得る。このグレースケール画像５４及び５８は、所定のクリア指示又は上書き式があるまで画像記憶部４４に保持され、複数枚を記録可能である。また、グレースケール画像５４及び５８は、それぞれ二値化処理部４２で二値化され、右二値化画像５６が画像記憶部４４に記憶される。

ステップＳ３において、モード選択部５２は主制御装置１０６又は１２６からの指示に従い、エイミングモード又は通常モードのいずれを実行するのかを判断する。通常モードを実行する場合にはステップＳ５へ移り、エイミングモードを実行する場合にはステップＳ４へ移る。

ステップＳ５の通常モードでは、通常モード実行部５０の作用下に、カメラパラメータ記憶部４６に記憶されたカメラパラメータを参照し、後述するようにＨＵＤ１８及びスピーカ２０を制御して対象物の検出及び必要に応じた注意喚起を行う通常のモードを実行する。

ステップＳ５においては、モード選択部５２がエイミングターゲット制御装置１００又はサービスエイミング設定装置１２０のいずれの装置を用いるのか判断し、エイミングターゲット制御装置１００を用いると判断した場合にはステップＳ６へ移り、製作所モード部７０の作用下に製作所エイミングモードを実行する。また、サービスエイミング設定装置１２０を用いると判断した場合にはステップＳ３０（１２参照）へ移り、サービスモード部７２の作用下にサービスエイミングモードを実行する。以下、製作所エイミングモード及びサービスエイミングモードを順に説明する。

製作所エイミングモードでは、先ず、ステップＳ６において、赤外線カメラ１６Ｒ、１６Ｌからターゲット板１１０までの距離、つまり対象物距離Ｚを設定する。この場合、対象物距離Ｚは既知の距離Ｚｆとして自動的に設定される。

ステップＳ７において、テンプレート設定部９４の作用下に基準テンプレートを対象物距離Ｚに応じて選択する。図１０に示すように、テンプレートＴＰ１、ＴＰ２、ＴＰ３、ＴＰ４、ＴＰ５、ＴＰ６は規定距離に配置された１つの仮ターゲットを撮像した小さい画像データであって、規定距離は赤外線カメラ１６Ｒ及び１６Ｌから近い順に等間隔（又は等比間隔等）のＺ１、Ｚ２、Ｚ３、Ｚ４、Ｚ５及びＺ６として設定されている。テンプレートＴＰ１、ＴＰ２、ＴＰ３、ＴＰ４、ＴＰ５、ＴＰ６はＥＣＵ１４内のテンプレート記憶部９５に記憶されている。仮ターゲットとしてはエイミングターゲット１１２と同じものが用いられる。製作所エイミングモードでは、例えば既知の距離ＺｆがＺｆ＝Ｚ３であれば、テンプレートＴＰ３が基準テンプレートとして選択される。

ステップＳ８においては、透視変換モデルＭ（図７参照）に基づいて結像距離Ｆの設定を行う。

なお、ステップＳ６〜Ｓ８の処理は、初期設定部７６の作用下に行われ、所定の実行回数パラメータを参照しながら、エイミングが実行された最初の１回のみ実行される。

ステップＳ９（対象物抽出手段）において、ステップＳ７で選択した基準テンプレートに基づいてテンプレートマッチング処理を行う。すなわち、赤外線カメラ１６Ｒ、１６Ｌにより撮像されたエイミングターゲット１１２のグレースケール画像５４、５８と、テンプレートＴＰとの相関演算を行い、相関演算の結果が最小となるグレースケール画像の座標を算出して記憶する。（ステップＳ１０、ターゲット座標算出手段）。相関演算には、例えば、ピクセル毎の絶対値誤差の総和であるＳＡＤ値（Sum of Absolute Difference）が用いられる。

ステップＳ１１では、取得したグレースケール画像５４及び５８の枚数が所定の枚数Ｎ枚に達したか否かを確認し、Ｎ枚に達した場合には、ステップＳ１２へ移り、Ｎ枚未満である場合には、ステップＳ１へ戻りグレースケール画像５４、５８の取得を継続してターゲット座標の算出記憶処理を繰り返す。

ステップＳ１２において、算出されたＮ組のターゲット座標の平均値Ｐａｖｅを算出する処理を行い、ターゲット座標算出が正常に算出された場合にはステップＳ１４へ移り、算出されなかった場合にはステップＳ３へ戻るという分岐処理（ステップＳ１３）を行う。

図１１のステップＳ１４において、輝度調整ＬＵＴ設定処理を行う。この処理では、相関演算によるテンプレートマッチングを確実に実行できるよう、例えば、赤外線カメラ１６Ｒ及び１６Ｌにより検出されたエイミングターゲット１１２の輝度信号同士のレベルを比較し、各輝度レベルにおいて、相関演算の基準とする赤外線カメラ１６Ｒからの輝度信号が赤外線カメラ１６Ｌからの輝度信号よりも常に大きくなるように調整する輝度調整ＬＵＴを設定する。該輝度調整設定ＬＵＴ処理が正常に実行された場合にはステップＳ１６へ移る（ステップＳ１５）。

ステップＳ１６において、赤外線カメラ１６Ｒ、１６Ｌの焦点距離、画素ピッチ等の固体差に起因して発生する映像歪みを補正する映像歪補正値の算出処理を行う。映像歪補正値が正常に算出された場合にはステップＳ１８へ移る（ステップＳ１７）。

ステップＳ１８において、左右カメラ取り付け角であるパン角及びピッチ角（又はチルト角とも呼ばれる。）の算出処理を行い、該左右カメラ取り付け角が正常に算出された場合にはステップＳ２０へ移る（ステップＳ１９）。

ここで、パン角とは、２つの赤外線カメラ１６Ｒ及び１６Ｌの光軸は同じ高さ方向を指向していることから、赤外線カメラ１６Ｒ及び１６Ｌの両光軸を含むカメラ配列仮想面における旋回方向の角度であって視差が発生する方向ということができ、得られた画像上のｘ方向に相当する（図８参照）。また、ピッチ角とは、カメラ配列仮想面を基準として垂直な俯仰方向の角度ということができ、得られた画像上のｙ方向に相当する。

ステップＳ２０において、赤外線カメラ１６Ｒ、１６Ｌにより撮像された各画像から各画像から画像処理に用いられる範囲を切り出す基準の切り出し座標の算出処理を行い、該切り出し座標が正常に算出された場合にはステップＳ２２へ移る（ステップＳ２１）。

ステップＳ２２において、赤外線カメラ１６Ｒ、１６Ｌの光軸が平行に設定されていないことに起因する対象物画像の視差に含まれる誤差である視差オフセット値の算出処理を行う。視差オフセットが算出された場合にはステップＳ２４へ移る（ステップＳ２３）。

ステップＳ２４において、ステップＳ１４、Ｓ１６、Ｓ１８、Ｓ２０及びＳ２２の処理で求められた輝度調整ＬＵＴ、映像歪補正値、パン角及びピッチ角、切り出し座標、視差オフセット値をカメラパラメータ記憶部４６に記憶し、正しく記憶された場合には製作所エイミングモード（又はサービスエイミングモード）を終了する。このとき、ＥＣＵ１４は主制御装置１０６又は１２６に対してエイミングが終了した旨の信号を送出する。この後に通常モードを実行する場合には所定の再起動処理を行えばよい。なお、ステップＳ１７、Ｓ１９、Ｓ２１、Ｓ２３及びＳ２５における各分岐処理において判定結果が否定的であった場合には、ステップＳ１３の分岐処理における否定的な結果時と同様にステップＳ３へ戻ることになる。

次に、サービスエイミングモードの処理について説明する。サービスエイミングモードにおいては、前記の製作所エイミングと同様にステップＳ１〜Ｓ３の処理（図９参照）が実行され、次のステップＳ４からステップＳ３０への分岐処理が行われ、サービスモード部７２の作用下に図１２〜図１４に示す処理が実行される。

図１２のステップＳ３０において、赤外線カメラ１６Ｒ、１６Ｌからターゲット板１３２までの距離、つまり対象物距離Ｚを入力設定する。この場合、対象物距離ＺはＺ１〜Ｚ７（＞Ｚ６）ｍまでの範囲の数値として主制御装置１２６から入力され、ＥＣＵ１４に供給される。対象物距離Ｚの入力は、計測しやすい箇所（例えば位置マーク１２２）を基準として入力し、所定のオフセット量を自動的に差し引いて求めるようにしてもよい。また、レーザ距離検出装置等を対象物距離検出手段として使用し、対象物距離Ｚを自動検出及び入力してもよい。

ステップＳ３１において、赤外線カメラ１６Ｒ及び１６Ｌの高さを確認し、カメラ高さＨ（図１参照）を入力する。

ステップＳ３２において、テンプレート設定部９４の作用下に、対象物距離Ｚに応じてテンプレートＴＰ１〜ＴＰ６のうち１つを基準テンプレートとして選択する。前記のようにテンプレートＴＰ１〜ＴＰ６は、仮ターゲットの撮像時の規定距離がＺ１〜Ｚ６ｍとして設定されている。このステップＳ３２においては、対応する規定距離が対象物距離Ｚ以下であり、且つ対象物距離Ｚに最も近いテンプレートを選択する。具体的には、対象物距離ＺがＺ１〜Ｚ２’、Ｚ２〜Ｚ３’、Ｚ３〜Ｚ４’、Ｚ４〜Ｚ５’、Ｚ５〜Ｚ６’、Ｚ６〜Ｚ７である場合に、順にテンプレートＴＰ１〜ＴＰ６が対応して選択される。ここで、Ｚ２’、Ｚ３’、Ｚ４’、Ｚ５'及びＺ６’は、それぞれＺ２、Ｚ３、Ｚ４、Ｚ５、Ｚ６よりも最小入力単位だけ小さい値である。一層具体的には、対象物距離Ｚが、Ｚ４〜Ｚ５’の間あるときには、テンプレートＴＰ４が選択される。

ステップＳ３３において、ステップＳ８と同様に結像距離Ｆの設定処理が行われる。なお、ステップＳ３０〜Ｓ３３の処理は、初期設定部７６の作用下に行われ、所定の実行回数パラメータを参照しながら、エイミングが実行された最初の１回のみ実行される。

ステップＳ３４において、ターゲット板１３２の位置確認が行われる。つまり、サービスエイミングモードではターゲット板１３２を中心位置ＰＣ、左位置ＰＬ及び右位置ＰＲ（図６参照）の順に配置してエイミングを行うため、ステップＳ３４が最初に実行されたときには、主制御装置１２６に対してターゲット板１３２を中心位置ＰＣに設定するように確認指示の信号を送出する。この信号を受けた主制御装置１２６では、モニタ画面上に「ターゲットを中心位置ＰＣに配置して、『Ｙ』キーを押してください。」等のメッセージを表示する。調整員はこのメッセージに応じてヘッドライトテスタ１２４を手動又は所定の駆動装置によってレール１２８に沿って移動させ、ターゲット板１３２を中心位置ＰＣに配置し、『Ｙ』キーを押す。

また、ステップＳ３４は繰り返し実行され、Ｎ回終了毎に、「ターゲットを左位置ＰＬに配置して、『Ｙ』キーを押してください。」、「ターゲットを右位置ＰＲに配置して、『Ｙ』キーを押してください。」等のメッセージを表示し、調整員に対してターゲット板１３２を左位置ＰＬ及び右位置ＰＲに配置するように促すとともに、配置後に「Ｙ」キーを入力させる。ターゲット板１３２が中心位置Ｐｃ、左位置ＰＬ及び右位置ＰＲに配置された後の初回時に、「Ｙ」キーが押されたことを確認してステップＳ３５に移り、これ以外の実行回ときには実質的な処理は行わない。

ステップＳ３５においては、その時点のターゲット板１３２の位置に応じて分岐処理が行われる。つまり、ターゲット板１３２が中心位置ＰＣに配置されているとき（初回〜Ｎ回目）にはステップＳ３６へ移り、左位置ＰＬに配置されているときにはステップＳ４１へ移り、右位置ＰＲに配置されているときにはステップＳ４６へ移る。

ステップＳ３６においては、ステップＳ９と同様にテンプレートマッチング処理を行う。

ステップＳ３７においては、ステップＳ１０と同様に、エイミングターゲット１３４のターゲット座標を算出して記憶する。

ステップＳ３８においては、ステップＳ１１と同様に、取得したグレースケール画像５４及び５８の枚数を確認し、Ｎ枚以上である場合にはステップＳ３９へ移り、Ｎ枚未満である場合にはステップＳ１へ戻る（２回目以降はＳ３〜Ｓ８若しくはＳ３０〜Ｓ３５はスキップする。）。

ステップＳ３９においては、中心位置ＰＣについて、ステップＳ１２と同様に、ターゲット座標の平均値Ｐａｖｅを算出する処理を行い、ターゲット座標が正常に算出された場合にはステップＳ１へ移り、算出されなかった場合にはステップＳ３へ戻るという分岐処理（ステップＳ４０）を行う。

同様にして、ターゲット板１３２を左位置ＰＬに配置し、図１３に示すステップＳ４１〜Ｓ４５が実行される。

また、ターゲット板１３２を右位置ＰＲに配置し、図１４に示すステップＳ４６〜Ｓ５０が実行される。

最後のステップＳ５０において、ターゲット座標が正常に算出されたと判断されたときには、ステップＳ１４（図１１参照）へ移り、それ以降は製作所エイミングモードと同様の処理が行われ、各カメラパラメータがカメラパラメータ記憶部４６に記憶される。

次に、選択された基準テンプレート（以下、テンプレートＴＰｓという。）を用いてテンプレートマッチングを行う処理であるステップＳ３６について図１５を参照しながら説明する。

図１５に示すように、選択されたテンプレートＴＰｓは、右グレースケール画像５４上において所定の順序で微少量ずつ縦方向及び横方向に動かされ、各位置においてパターンマッチングを行い、背景画像とのマッチング成立の正否を調べる。マッチングの成立判断には、前記のＳＡＤ値に基づいて判断される。

この場合、テンプレートＴＰｓにおける仮ターゲットの像１４０の大きさは、画像上の各エイミングターゲット１３４ａ〜１３４ｃの像の大きさ以上である。これは前記のステップＳ３２において、規定距離が対象物距離Ｚ以下であり、且つ対象物距離Ｚに最も近いテンプレートを選択しているためである。

図１５中の二点鎖線ＴＰ’で示すように、テンプレートＴＰｓがエイミングターゲット１３４ｃの位置に移動したとき、像１４０とエイミングターゲット１３４ｃはほぼ一致して高輝度部及び低輝度部が重なることとなり、ＳＡＤ値が十分小さい値となる。これによりマッチングが成立したと判断され、その時点のテンプレートＴＰｓの中心点からエイミングターゲット１３４ｃのターゲット座標が特定される。つまり、二点鎖線ＴＰ’範囲の中心点座標Ｐｂ（ｘ、ｙ）（図８参照）を、配列形式でＰｔ［ｉ］として所定の記憶部に記憶する（ステップＳ１０）。ここでパラメータｉは処理回数を示すカウンタであり、右グレースケール画像５４の枚数に応じてｉ＝１からｉ＝Ｎまでインクリメントされる。なお、実際上、各エイミングターゲット１３４ａ〜１３４ｃについてそれぞれターゲット座標を求めるが、説明を簡便にするため代表的に１つのターゲット座標Ｐｔ［ｉ］として示す。

また、ステップＳ１２における平均値Ｐａｖｅの算出は、次の（９）式により求められる。

このような平均化の処理を行うことにより、赤外線カメラ１６Ｒ、１６Ｌもしくは撮像環境（温度等のゆらぎ）が多少不安定であっても、平均値Ｐａｖｅでは誤差が相殺され、ターゲット座標を正確に求めることができる。

ところで、サービスエイミングを行う場所は一般のサービス工場の検査場等が想定され、エイミングターゲット１３４ａ〜１３４ｃ以外の赤外線を放射又は反射する不要な熱源を完全に排除することは困難であって、これらの他の熱源が比較的弱いレベル又は小さい像として撮像されてしまう場合がある。例えば、右グレースケール画像５４上でエイミングターゲット１３４ｃの周辺に他の熱源（例えば、遠方の照明）１４２が存在し、該熱源１４２が画像上でエイミングターゲット１３４ｃよりも小さく撮像される場合がある。このような場合であっても、テンプレートＴＰｓの像１４０の大きさはエイミングターゲット１３４ｃの像の大きさ以上であることから、テンプレートＴＰｓが熱源１４２の位置に移動したときには、ＳＡＤ値は相当に大きい値となりエイミングターゲット１３４ｃとは明確に区別される。

なお、エイミングターゲット１３４ａ及び１３４ｂについても同様の処理によりターゲット座標Ｐｔ［ｉ］が特定され、平均値Ｐａｖｅが求められる。エイミングターゲット１３４ａ〜１３４ｃは、相対的な位置関係により識別可能である。

また、図１５ではヘッドライトテスタ１２４が中心位置ＰＣに配置されているときの右グレースケール画像５４の例について示したが、ヘッドライトテスタ１２４が右位置ＰＲ又は左位置ＰＬに配置されている場合や、左グレースケール画像５８についての同様の処理が行われる。また、製作所エイミングモードにおけるパターンマッチング処理であるステップＳ９についても同様の処理が行われる。

次に、赤外線カメラ１６Ｒ及び１６Ｌの取り付け角度算出処理であるステップＳ１８から左右カメラ映像切り出し座標算出処理であるステップＳ２０までの処理を、赤外線カメラ１６Ｒについての処理を例にして、図１６を参照しながら説明する。なお、説明の便宜上、図１６においてはステップＳ１８、Ｓ１９及びＳ２０を区別しないで示す。

先ず、図１６のステップＳ１０１において、ターゲットの空間座標を示す基準座標値Ｐ０を所定の記憶部（座標基準値記憶手段）から読み出す。

ステップＳ１０２において、近距離モデルである（７−１）式及び（７−２）式用いて基準座標値Ｐ０を変換して画像上の基準座標Ｐ０’（ｘ０、ｙ０）を求める。エイミングモードでは予め近距離モデルが選択されており、比較的近距離のターゲットの座標を画像上に正確に透視変換することができる。

また、基準座標値Ｐ０は実空間上の値として記憶しておくことにより、例えばターゲットの位置を変更するような場合に主制御装置１０６、１２６から入力する際に実測した座標をそのまま入力することができ、好適である。入力された実測値は近距離モデルに基づいて正確に変換される。

ステップＳ１０３（取付角算出手段）において、画像上の基準座標値Ｐ０’とステップＳ１２で求められた平均値Ｐａｖｅとを比較演算して、パン角方向の差Δｘ及びピッチ角方向の差Δｙを求める。

つまり、差Δｘ及びΔｙは、それぞれ基準座標値Ｐ０’に応じて赤外線カメラ１６Ｒのパン角及びピッチ角の設計基準値に対する誤差としての取付角を示していることになる。具体的には、設計基準値が０°として規定されていると、差Δｘが２°、差Δｙが１°に相当する値であると、パン角が２°、ピッチ角が１°として求められる。

ステップＳ１０４において、図１７に示すように、右グレースケール画像５４上の基準領域１６０Ｒをｘ方向に差Δｘ、ｙ方向に差Δｙだけ移動させた切り出し領域１６２Ｒを求める。基準領域１６０Ｒは、基準座標値Ｐ０に基づいて設定されており、赤外線カメラ１６Ｒが正確に前方を指向している場合に画像処理に用いられる基準となる領域である。切り出し領域１６２Ｒを画像処理に用いることにより、赤外線カメラ１６Ｒの向きが正確に正面に指向するように機械的に調整したことと同じ効果が得られる。

切り出し領域１６２Ｒとしては、基準領域１６０Ｒの端点Ｑ０を横方向に差Δｘ、縦方向に差Δｙだけ移動させて得られる端点Ｑ１の座標を代表的に記録しておけばよい。なお、詳細な説明を省略するが左の赤外線カメラ１６Ｌから得られる左グレースケール画像５８についても同様の処理が行われる。

次に、左右独立的に設定された切り出し領域１６２Ｒと切り出し領域１６２Ｌとのピッチアラインメント調整であるステップＳ１０５〜Ｓ１０８を行う。ピッチアラインメント調整とは、実際に撮像された対象物に基づいて、切り出し領域１６２Ｒ及び１６２Ｌを関連付けて、ピッチ方向の整合性を確保するための処理である。以下の説明では、右グレースケール画像５４はターゲット板１３２が右位置ＰＲに配置されている際の画像であり、左グレースケール画像５８はターゲット板１３２が左位置ＰＬに配置されている際の画像とする。また、前記の通りターゲット板１３２は右位置ＰＲ及び左位置ＰＬのいずれの位置においても一定の高さに設定されている。

先ず、ステップＳ１０５において、図１８に示すように、右グレースケール画像５４から抽出された切り出し領域１６２Ｒ内におけるエイミングターゲット１３４ａ、１３４ｂ、１３４ｃの各ｙ座表値であるｙｒ１、ｙｒ２及びｙｒ３を求め、さらにこれらの値の平均値ｙｒａ（＝（ｙｒ１＋ｙｒ２＋ｙｒ３）／３）を求める。

ステップＳ１０６において、左グレースケール画像５８から抽出された切り出し領域１６２Ｌ内におけるエイミングターゲット１３４ａ、１３４ｂ、１３４ｃの各ｙ座表値であるｙｌ１、ｙｌ２及びｙｌ３を求め、さらにこれらの値の平均値ｙｌａ（＝（ｙｌ１＋ｙｌ２＋ｙｌ３）／３）を求める。

ステップＳ１０７において、右の切り出し領域１６２Ｒにおける平均値ｙｒａに対する左の切り出し領域１６２Ｌにおける平均値ｙｌａの差分Δｙａを、Δｙａ←ｙｒａ−ｙｌａとして求める。

ステップＳ１０８において、左の切り出し領域１６２Ｌをｙ方向（つまりピッチ方向）に差分Δｙａだけ移動させた修正画像領域を設定する。図１８に示す例では、ｙｒａ＜ｙｌａであることから差分Δｙａはマイナス値となり、切り出し領域１６２Ｌとしては画像下方に向かって移動して端点Ｑ２が端点Ｑ２’に移る。移動した切り出し領域１６２Ｌは代表的に端点Ｑ２’の座標値が記憶される。

このようなピッチアラインメント調整によれば、実際に撮像されたエイミングターゲット１３４ａ〜１３４ｃに基づき、右の切り出し領域１６２Ｒに対してピッチ角が整合するように左の切り出し領域１６２Ｌを移動させるため、車体の歪みやカメラステーの製造誤差等を補償することができる。これにより、図１９に示すように、切り出し領域１６２Ｒ及び１６２Ｌを横に並べて配置したとき、同一対象物を撮像した場合における該対象物の像が切り出し領域１６２Ｒ及び１６２Ｌ内において相対的なｙ座標値（図１９ではｙｒａの値）が一致することになる。

この結果、通常モードにおいて迅速且つ確実なパターンマッチングが可能となる。すなわち、図２０に示すように、基準画像としての右の切り出し領域１６２Ｒ内で所定の方法によって抽出された対象物の像１７０を含む小画像をテンプレートＴＰｒとして切り出し、比較画像としての左の切り出し領域１６２Ｌ内における同位置に配置する。次に、テンプレートＴＰｒを切り出し領域１６２Ｌ内においてプラスのｘ方向である右方向へ向かって移動させながらＳＡＤ等の相関演算によるテンプレートマッチングを行う。この際、切り出し領域１６２Ｌにおける像１７０とそれに対応する同一対象物の像１７２はｙ座標が一致していることから、テンプレートＴＰｒは視差に応じた適当な距離だけ移動し、図２０の破線位置に達したときに像１７２にマッチングすることになる。つまり、テンプレートＴＰｒはｙ方向にはほとんど移動させることなくマッチングが成立するため、検索領域をｙ方向に過大に広げる必要がなく、簡便且つ迅速な処理が可能となる。この際、ＳＡＤ値が非常に小さくなり、マッチング成立の判断が確実に行われる。また、ｙ座標が異なり像１７２に類似する他の像１７４に対してテンプレートＴＰｒがマッチングすることがなく、確実なマッチングが実現される。

なお、図１６に示す処理では、ターゲット板１３２の位置を中心位置ＰＣに配置した状態で得られる画像に基づいて行ってもよい。ピッチアラインメント調整は、切り出し領域１６２Ｒ、１６２Ｌのいずれを基準としてもよく、又は所定の基準に基づいて切り出し領域１６２Ｒ、１６２Ｌの両方を移動させてもよい。さらに、エイミングターゲット制御装置１００のエイミングターゲット１１２ａ〜１１２ｈは同じ高さに設定されていることから、製作所エイミングモードにおいてもピッチアラインメント調整を行うことができる。この場合、右グレースケール画像５４における右ターゲット群１１６から平均値ｙｒａを求め、及び左グレースケール画像５８における左ターゲット群１１４から平均値ｙｌａを求めればよい。

また、ピッチアラインメント調整は、検査用の撮像対象物であるエイミングターゲット１１２及び１３４に限らず、一般の適当な熱源を撮像することによって行ってもよい。この場合、熱源の距離及び高さは未知であっても、赤外線カメラ１６Ｒ及び１６Ｌにより同一の熱源を撮像することによりピッチアライメント調整を行うことができる。

次に、エイミングが終了した後に行われる通常モードで実対象物を検出する処理の手順について説明する。この通常モードは、前記通常モード実行部５０の作用下に、微小時間毎に繰り返し実行される。

先ず、図２１のステップＳ２０１において、赤外線カメラ１６Ｒ及び１６Ｌからステレオ赤外線画像を入力し、画像入力部４０及び二値化処理部４２の作用によって右グレースケール画像５４及び右二値化画像５６、左グレースケール画像５８が画像記憶部４４に記憶される。

この後、右二値化画像５６に基づいて対象物の抽出処理を行い（ステップＳ２０２）、右グレースケール画像５４及び左グレースケール画像５８における視差を求め、該視差から各対象物までの距離を算出する（ステップＳ２０３、対象物距離検出手段）。パターンマッチングを行う際、右グレースケール画像５４における切り出し領域１６２Ｒ及び左グレースケール画像５８における切り出し領域１６２Ｌ上でマッチングを行うため迅速な処理が可能であって、しかも確実なマッチングを行うことができる。

次いで、車両１２を基準として対象物の相対位置を算出し（ステップＳ２０４）、車両１２の挙動による所定の補正を行った後に各対象物の移動ベクトルを算出する（ステップＳ２０５）。この際、ＥＣＵ１４は、モデル記憶部９６に記録された遠距離モデルとしての（８−１）〜（８−４）式に基づいて実対象物の位置を正確且つ迅速に検出することができる。

さらに、移動ベクトル等を参照しながら道路構造物や他の車両を識別して除外するとともに（ステップＳ２０６）、対象物の形状等から歩行者の判定を行う（ステップＳ２０７）。

この後、右グレースケール画像５４をＨＵＤ１８に表示させ、ステップＳ２０７で検出された歩行者が所定範囲内に存在すると判断された場合には、歩行者を示す像の周りに強調枠を表示するとともにスピーカ２０から音を発して、注意喚起出力を行う（ステップＳ２０９）。

上述したように、本実施の形態に係るナイトビジョンシステム１０では、テンプレート記憶部９５に６つの規定距離に対応したテンプレートＴＰ１〜ＴＰ６が設けられているため、対象物距離Ｚに基づいて適切なテンプレートを選択することができ、テンプレートマッチングが正確に行われ、求められたターゲット座標から、赤外線カメラ１６Ｒ、１６Ｌのパン角及びピッチ角を正確に求めることができる。

また、対象物距離Ｚと完全に一致する距離に対応したテンプレートＴＰが存在しなくても、対象物距離Ｚに基づく適切な１つを選択するため、テンプレート枚数が抑制され、テンプレート記憶部の容量低減を図ることができる。

本発明に係る車両周辺監視装置は、上述の実施の形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。

本実施の形態に係るナイトビジョンシステムの概略構成を車両とともに示したブロック構成図である。 ＥＣＵのブロック構成図である。 画像記憶部の記憶データの構成を示す図である。 エイミングターゲット制御装置及び車両を示す斜視図である。 ターゲット板の変形例に係る斜視図である。 サービスエイミング設定装置及び車両を示す斜視図である。 一般的な透視変換モデルのモデル図である。 透視変換モデルにより結像面に像が透視される様子を示すモデル図である。 エイミング設定を行う手順を示すフローチャート（その１）である。 テンプレート記憶部の内容を示す図である。 エイミング設定を行う手順を示すフローチャート（その２）である。 エイミング設定を行う手順を示すフローチャート（その３）である。 エイミング設定を行う手順を示すフローチャート（その４）である。 エイミング設定を行う手順を示すフローチャート（その５）である。 エイミングモードにおけるテンプレートマッチング処理を示す概念図である。 取り付け角度算出処理及び左右カメラ映像切り出し座標算出処理の手順を示すフローチャートである。 基準領域から切り出し領域を設定する処理を示す概念図である。 左右の切り出し領域に対して行うピッチアラインメント調整処理を示す概念図である。 ピッチアラインメント調整がなされた左右の切り出し領域の位置関係を示す図である。 通常モードにおけるテンプレートマッチング処理を示す概念図である。 通常モードの処理手順を示すフローチャートである。

符号の説明

１０…ナイトビジョンシステム １２…車両
１４…ＥＣＵ １６Ｒ、１６Ｌ…赤外線カメラ
１８…ＨＵＤ ２０…スピーカ
４４…画像記憶部 ４６…カメラパラメータ記憶部
４８…エイミングモード実行部 ５０…通常モード実行部
５２…モード選択部 ５４…右グレースケール画像
５８…左グレースケール画像 ７０…製作所モード部
７２…サービスモード部 ７８…テンプレートマッチング部
９４…テンプレート設定部 ９６…モデル記憶部
１００…エイミングターゲット制御装置
１１２、１１２ａ〜１１２ｈ、１３４、１３４ａ〜１３４ｃ…エイミングターゲット
１２０…サービスエイミング設定装置 １２４…ヘッドライトテスタ
１３８…レンズ １６０Ｒ…基準領域
１６２Ｒ、１６２Ｌ…切り出し領域
Ｂ…基線長 Ｃ…光軸
Ｆ…結像距離 ｆ…焦点距離
Ｍ…透視変換モデル Ｐ０…基準座標値
ＰＣ…中心位置 ＰＬ…左位置
ＰＲ…右位置 Ｓ…結像面
ＴＰ、ＴＰ１〜ＴＰ６、ＴＰｒ、ＴＰｓ、ＴＰ’…テンプレート
ｙｌａ、ｙｒａ…平均値 Ｚ…対象物距離

Claims (4)

1. 車両に搭載された撮像手段によって周辺の監視を行う車両周辺監視装置において、
   前記撮像手段で調整用に撮像するターゲットの基準座標を記憶する座標基準値記憶手段と、
   ターゲットを予め撮像した画像であるテンプレートを前記撮像手段からの距離に応じて複数枚記憶するテンプレート記憶手段と、
   前記撮像手段から前記ターゲットまでの対象物距離に応じて前記テンプレート記憶手段から１つのテンプレートを選択するテンプレート選択手段と、
   前記テンプレート選択手段により選択されたテンプレートを用いて、前記撮像手段で撮像された画像に対してテンプレートマッチングを行い、前記ターゲットの座標を算出するターゲット座標算出手段と、
   前記座標基準値記憶手段から得られる基準座標と前記ターゲット座標算出手段で算出される座標とを比較して前記撮像手段の車両に対する取り付け角を求める取付角算出手段とを有することを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記ターゲット座標算出手段は、前記撮像手段によって撮像された複数の画像に対してそれぞれテンプレートマッチングを行い、前記取付角算出手段は、前記座標基準値記憶手段から得られる基準座標と前記ターゲット座標算出手段で算出された複数の座標の平均値とを比較して前記撮像手段の取り付け角を求めることを特徴とする車両周辺監視装置。
3. 請求項１又は２記載の車両周辺監視装置において、
   前記テンプレート記憶手段は、複数の規定距離に対応したテンプレートを記憶し、前記テンプレート選択手段は、前記規定距離と前記対象物距離に基づいてテンプレートを選択することを特徴とする車両周辺監視装置。
4. 請求項３記載の車両周辺監視装置において、
   前記テンプレート選択手段は、対応する規定距離が前記対象物距離以下で、且つ最も近いテンプレートを選択することを特徴とする車両周辺監視装置。

Images