JP5888117B2 - 物体検出装置 - Google Patents

Description

本発明は、感度波長が異なる２種類の撮像手段を用いて対象物を撮像し、得られた画像を合成する技術に関するものである。

近年、車載用カメラ等では、夜間や昼間といった周囲環境によらず人物や歩行者等の対象物を正確に検出するために、可視カメラと赤外カメラとを用いて周囲環境を撮像するものが普及している。例えば、特許文献１には、赤外カメラによって車両前方領域に存在する人間や自動車等の障害物を撮像し、且つビデオカメラによって路面を撮像し、両カメラによって得られた画像を合成することで、霧、煙、粉塵等のエアロゾル中であっても障害物と路上の白線等の情報とが現れた画像を得る技術が開示されている。

また、特許文献２には、人物が可視領域内にいる場合、可視画像から人物領域を検出し、検出した可視画像の人物領域を遠赤外画像に合成し、人物が非可視領域に移動した場合、遠赤外画像から人物領域を検出し、検出した人物領域を可視画像に合成し、視認性の高い人物領域が現れた合成画像を生成する技術が開示されている。

特開平９−３７１４７号公報 特開２０１１−６６８０９号公報

しかしながら、特許文献１、２のいずれも、対象物の視認性を高めるために画像合成が行われており、対象物を正確に検出するのに適した画像を生成するために画像合成が行われていない。

また、特許文献２では、可視画像及び赤外画像をそれぞれ個別に用いて人物領域が検出されているが、可視画像は夜間、雨、霧などの気象条件に弱く、遠赤外画像は昼間や気温の高い場所ではコントラストが低くなるといった特性があるため、気象条件によっては人物領域を正確に検出することができないという問題がある。

更に、特許文献２では、可視画像及び赤外画像をそれぞれ個別に用いて人物領域が検出されているため、可視画像及び赤外画像のそれぞれに対して対象物検出回路が必要となり、コストがかかるという課題がある。

また、特許文献１、２では、人間が視認するのに適した合成画像が生成されているため、この合成画像を対象物検出処理回路に供給した場合、対象物を正確に検出することができないという課題がある。

本発明の第１の目的は、第１出力画像と第２出力画像とを合成するに際し、合成パラメータを周囲環境に応じて変更し、対象物検出処理に適した対象物検出用画像を生成することである。

また、本発明の第２の目的は、人間の視認に適した画像と、対象物検出処理に適した画像とを個別に生成することである。

（１）本発明の一態様による物体検出装置は、感度波長が互いに異なる第１及び第２撮像手段と、前記第１及び第２撮像手段から出力される第１及び第２出力画像を、所定の合成パラメータを用いて合成し、対象物検出用画像と人間が視認するための視認用画像とを生成する合成処理部と、前記対象物検出用画像から対象物を検出する対象物検出部と、撮像時の周囲環境を検出する検出部と、前記視認用画像を表示するモニタとを備え、前記合成処理部は、前記検出部の検出結果に応じて、前記対象物検出用画像用と前記視認用画像用との前記合成パラメータをそれぞれ独立に変更する。

この構成によれば、周囲環境の検出結果に応じて周囲環境に適するように合成パラメータが変更され、変更された合成パラメータを用いて感度波長の異なる第１、第２出力画像が合成される。ここで、合成パラメータとして、対象物検出用画像を生成するに当たって適切な値を持つものを採用される。したがって、対象物検出部が対象物検出処理を実行するうえで適した対象物検出用画像を生成することができ、対象物検出用画像から対象物を正確に検出することができる。

また、この構成によれば、対象物検出用画像に加えて視認用画像が生成される。そのため、ユーザの視認に適した画像と対象物の検出に適した画像とを生成することができる。
また、この構成によれば、周囲環境に応じて視認用画像の合成パラメータと対象物検出用画像の合成パラメータとが独立に変更されるため、視認に適した視認用画像を生成し、且つ、対象物検出処理に適した対象物検出用画像を生成することができる。

この構成によれば、周囲環境に応じて視認用画像の合成パラメータと対象物検出用画像の合成パラメータとが独立に変更されるため、視認に適した視認用画像を生成し、且つ、対象物検出処理に適した対象物検出用画像を生成することができる。

（２）前記合成処理部は、前記視認用画像を生成する視認用画像生成回路と、前記対象物検出用画像を生成する対象物検出用画像生成回路とを備え、前記視認用画像生成回路と前記対象物検出用画像生成回路とは回路の一部が共用されていることが好ましい。

この構成によれば、視認用画像生成回路と対象物検出用画像生成回路との一部が共用されているため、回路規模の縮小を図ることができる。

（３）本発明の別の一態様による物体検出装置は、感度波長が互いに異なる第１及び第２撮像手段と、前記第１及び第２撮像手段から出力される第１及び第２出力画像を、所定の合成パラメータを用いて合成し、対象物検出用画像を生成する合成処理部と、前記対象物検出用画像から対象物を検出する対象物検出部と、撮像時の周囲環境を検出する検出部とを備え、前記合成処理部は、前記検出部の検出結果に応じて、前記合成パラメータを変更し、前記検出部は、前記周囲環境が昼間、夕暮れ、及び夜間のいずれに該当するかを検出し、前記第１撮像手段は、可視光カメラであり、前記第２撮像手段は、赤外カメラであり、前記合成処理部は、前記検出部により昼間が検出された場合、前記第２出力画像に現れる前記対象物の輝度範囲外における前記第１出力画像のコントラストが、前記第２出力画像に現れる前記対象物の輝度範囲内における前記第１出力画像のコントラストよりも弱くなるような所定の合成パラメータを用いて前記対象物検出用画像を生成し、前記検出部により夕暮れが検出された場合、前記対象物の輝度範囲のコントラストが強調された第２出力画像に前記第１出力画像が重畳されるような所定の合成パラメータを用いて前記対象物検出用画像を生成し、前記検出部により夜間が検出された場合、前記夕暮れの場合よりも前記第１出力画像の重み付けが低くされ、且つ、前記第２出力画像において前記対象物の輝度範囲のコントラストが前記夕暮れの場合よりも強調されるような所定の合成パラメータを用いて前記対象物検出用画像を生成する。

この構成によれば、昼間、夕暮れ、夜間のシーンに応じて適切な合成パラメータが選択されて対象物検出用画像が生成されるため、シーンによらず対象物検出用画像から対象物を正確に検出することができる。

（４）前記第１出力画像は、各画素がＭビットのデータで構成され、前記第２出力画像は、各画素がＮビットのデータで構成され、前記合成処理部は、前記第１出力画像の下位ｍ（ｍ＜Ｍ）ビットを０、前記第２出力画像の下位ｎ（ｎ＜Ｎ）ビットを０としたときの前記第１、第２出力画像の上位ビットの組のそれぞれにおける前記対象物検出用画像の値を予め記憶する記憶部と、前記第１、第２出力画像の値に対応する前記対象物検出用画像の値の複数の近似値をそれぞれ記憶する前記記憶部のアドレス値を算出し、算出したアドレス値を指定して前記記憶部から前記複数の近似値を出力させるアドレス生成部と、前記記憶部から出力された複数の近似値を、前記第１出力画像の下位ｍビット、前記第２出力画像の下位ｎビットに基づいて補間し、前記対象物検出用画像の値を算出する補間部とを備えることが好ましい。

この構成によれば、第１出力画像の下位ｍビット、第２出力画像の下位ｎビットの組のそれぞれの対象物検出用画像の値が記憶部に記憶されているため、第１出力画像のＭビット、第２出力画像のＮビットの組のそれぞれの対象物検出用画像の値を記憶部に記憶させる場合に比べて、記憶部のメモリ容量を削減することができる。

（５）前記記憶部は、前記第１出力画像の下位ｍビットを０、前記第２出力画像の下位ｎビットを０としたときの前記第１、第２出力画像の上位ビットの組のそれぞれにおける視認用画像の値を更に記憶し、前記アドレス生成部は、前記第１、第２出力画像の値に対応する前記視認用画像の値の複数の近似値をそれぞれ記憶する前記記憶部のアドレス値を算出し、算出したアドレス値を指定して前記記憶部から前記複数の近似値を更に出力させ、前記補間部は、前記記憶部から出力された複数の近似値を、前記第１出力画像の下位ｍビットの値と、前記第２出力画像の下位ｎビットの値とに基づいて補間し、前記視認用画像の値を更に算出することが好ましい。

この構成によれば、第１出力画像の下位ｍビット、第２出力画像の下位ｎビットの組のそれぞれにつき、対象物検出用画像と視認用画像との値が記憶部に記憶されているため、第１出力画像のＭビット、第２出力画像のＮビットの組のそれぞれの対象物検出処理用の画像と視認用画像との値を記憶部に記憶させる場合に比べて、記憶部のメモリ容量を削減することができる。

（６）前記第１撮像手段は、可視光カメラであり、前記第２撮像手段は、近赤外カメラ、中赤外カメラ、遠赤外カメラのいずれかであることが好ましい。

この構成によれば、第１出力画像として可視画像が用いられ、第２出力画像として、近赤外画像、中赤外画像、及び遠赤外画像のいずれかが用いられる。

本発明によれば、対象物検出部が対象物検出処理を実行するうえで適した対象物検出用画像を生成することができ、対象物検出用画像から対象物を正確に検出することができる。また、視認用画像と対象物検出用画像との合成パラメータを個別に用いて両画像が生成されているため、人間の視認に適した画像と、対象物検出処理に適した画像とを個別に生成することができる。

本発明の実施の形態１による物体検出装置の構成を示すブロック図である。 本発明の実施の形態１における合成処理部の概略構成を示したブロック図である。 ２次元ＬＵＴの詳細な構成を示すブロック図である。 本発明の実施の形態１における２次元ＬＵＴのメモリ空間の概念図である。 本発明の実施の形態１における２次元ＬＵＴの設定例を示した概念図であり、（Ａ）は昼間の２次元ＬＵＴを示し、（Ｂ）は夕暮れの２次元ＬＵＴを示し、（Ｃ）は夜間の２次元ＬＵＴを示している。 本発明の実施の形態２による物体検出装置のブロック図である。 本発明の実施の形態２による合成処理部の詳細な構成を示したブロック図である。 本発明の実施の形態２による２次元ＬＵＴの詳細な構成を示すブロック図である。 本発明の実施の形態２による検出用ＬＵＴの設定例を示した概念図であり、（Ａ）は昼間、（Ｂ）は夕暮れ、（Ｃ）は夜間の検出用ＬＵＴを示す。 本発明の実施の形態２による視認用ＬＵＴの設定例を示した概念図であり、（Ａ）は昼間、（Ｂ）は夕暮れ、（Ｃ）は夜間の視認用ＬＵＴを示す。 本発明の実施の形態２による色変調ＬＵＴの設定例を示した概念図であり、（Ａ）は昼間、（Ｂ）は夕暮れ、（Ｃ）は夜間の色変調ＬＵＴを示す。

（実施の形態１）
図１は、本発明の実施の形態１による物体検出装置の構成を示すブロック図である。本物体検出装置は、可視カメラ１１０（第１撮像手段の一例）、遠赤外カメラ１２０（第２撮像手段の一例）、視差補正部１３０、検出部１４０、合成処理部１５０、対象物検出部１６０、及びＣＰＵ１７０（検出部の一例）を備えている。

この物体検出装置は、例えば、自動車等の移動体に取り付けられ、移動体の周辺の対象物を検出するものである。対象物としては、種々の物体を採用することができ、例えば、自動車や人間や動物や自転車等を採用することができるが、以下の説明では、人間を採用する。

可視カメラ１１０は、周囲環境を撮影し、可視画像（第１出力画像の一例）を取得する。可視画像としては、カラー画像を採用してもよいし、モノクロ画像を採用してもよい。また、可視カメラ１１０としては所定のフレームレートで周囲環境を撮影する動画カメラを採用してもよいし、静止画を撮影する静止画カメラを採用してもよい。

遠赤外カメラ１２０は、周囲環境を撮影し、遠赤外画像（第２出力画像の一例）を取得する。遠赤外画像は、温度の高い箇所ほど高輝度になる温度画像を採用することができる。ここで、可視画像、遠赤外画像としては、所定行×所定列で所定ビットの画素がマットリックス状に配列された画像データを採用することができる。以下の説明では、説明の便宜上、各画素のビット数を８ビットとして説明するが、これは一例であり、１６ビット、３２ビット等、他のビット数を採用してもよい。

視差補正部１３０は、可視画像と遠赤外画像とに視差がある場合、その視差を補正する。ここで、視差補正部１３０は、例えば可視カメラ１１０と遠赤外カメラ１２０との光軸のずれ量から視差の補正データを予め求めておき、その補正データを用いて可視画像と赤外画像との視差を補正すればよい。なお、可視画像と赤外画像とに視差がなければ、視差補正部１３０は省いても良い。

検出部１４０は、撮像時の周囲環境を検出するために、可視画像及び遠赤外画像のそれぞれの評価値を算出する。可視画像の評価値としては、例えば、可視画像の輝度分布を求め、求めた輝度分布から得られるＡＥ評価値を採用すればよい。例えば、可視画像の輝度分布のピークの輝度値やピークの輝度値の平均値等をＡＥ評価値として採用すればよい。また、可視画像の評価値としては、可視画像中のエッジ検出量を採用してもよい。ここで、昼間の可視画像は、周囲環境が明るいため夜間の可視画像に比べてエッジが多く現れる。そのため、エッジ検出量が大きいほど周囲環境が明るいと判定することができる。エッジ検出量としては、例えば、可視画像にハイパスフィルタを適用してエッジを抽出し、抽出したエッジの輝度の平均値や、エッジの画素数等を採用すればよい。

遠赤外画像の評価値としては、遠赤外画像の輝度分布を求め、求めた輝度分布のピークの輝度値やピークの平均値を採用すればよい。

なお、検出部１４０としては、照度センサを採用してもよい。この場合、検出部１４０は、周囲環境の照度データを測定し、測定した照度データを評価値として採用すればよい。

合成処理部１５０は、ＣＰＵ１７０により検出された周囲環境の検出結果に応じて可視画像と遠赤外画像とを合成するための合成パラメータを変更し、変更した合成パラメータを用いて可視画像と遠赤外画像とを合成し、対象物検出用画像を生成する。

ここで、対象物検出用画像とは、視認に適した画像ではなく、対象物検出部１６０が対象物を検出するのに適した画像のことであり、例えば対象物の情報が強調され、対象物以外の物体の情報が抑制された画像が採用される。

本実施の形態では、合成処理部１５０は、例えば、昼間、夕暮れ、及び夜間にそれぞれに対して予め定められた合成パラメータを保持しており、検出部１４０により算出された評価値が昼間、夕暮れ、又は夜間を示すかに応じて該当する合成パラメータを選択し、可視画像と遠赤外画像とを合成する。

対象物検出部１６０は、合成処理部１５０により生成された対象物検出用画像が入力され、既知の形状認識手法により対象物検出用画像に含まれる対象物を検出し、対象物の座標及び大きさの情報を図略の内部レジスタに保存する。

なお、対象物検出部１６０により検出された対象物の座標及び大きさの情報は、ＣＰＵ１７０によって図略のＥＣＵに供給され、ＥＣＵが運転者に注意を喚起する必要があるか否かを判定するために使用される。

また、２次元ＬＵＴの設定を変更すると対象物検出用画像の特徴も変わるため、対象物検出部１６０は、周囲環境に応じて対象物検出処理に使用するパラメータやアルゴリズムを適宜変更してもよい。

ＣＰＵ１７０は、検出部１４０により算出された評価値から周囲環境が昼間、夕暮れ、又は夜間を示すかを検出し、検出結果を合成処理部１５０に通知する。ここで、ＣＰＵ１７０は、例えば、可視画像の評価値を用いて、周囲環境を判定する。具体的には、ＣＰＵ１７０は、可視画像の評価値が所定の第１閾値以上であれば、昼間と判定し、可視画像の評価値が所定の第１閾値未満且つ第２閾値（第２閾値＜第１閾値）以上である場合、夕暮れと判定し、可視画像の評価値が第２閾値未満であれば、夜と判定すればよい。

なお、ＣＰＵ１７０は、可視画像の評価値に加えて遠赤外画像の評価値を用いて周囲環境を判定してもよい。この場合、ＣＰＵ１７０は、例えば可視画像の評価値と遠赤外画像の評価値とを所定の重み値で重み付け加算し、得られた評価値が所定の第１閾値以上であれば昼間であると判定し、得られた評価値が所定の第１閾値未満且つ第２閾値以上であれば夕暮れと判定し、得られた閾値が所定の第２閾値未満であれば夜間と判定すればよい。

なお、可視画像の評価値のみを用いて周囲環境が判定される場合、検出部１４０は遠赤外画像の評価値を算出しなくてもよい。

図２は、本発明の実施の形態１における合成処理部１５０の概略構成を示したブロック図である。合成処理部１５０は、昼間、夕暮れ、及び夜間のそれぞれに対応する３種類の２次元ＬＵＴ２１０、２１０、２１０と、ＬＵＴ選択部２２０とを備える。

ＬＵＴ選択部２２０は、ＣＰＵ１７０から周囲環境の検出結果（昼間、夕暮れ、又は夜間）が入力され、周囲環境に応じた２次元ＬＵＴ２１０を選択し、選択したＬＵＴに可視画像及び遠赤外画像を入力させる。

２次元ＬＵＴ２１０は、可視画像と遠赤外画像とが１画素ずつ入力され、対象物検出用画像を１画素ずつ出力する。各２次元ＬＵＴ２１０は周囲環境に応じた合成パラメータによって可視画像と遠赤外画像とを合成することで得られる対象物検出用画像の値を予め記憶している。なお、可視画像として、カラー画像が採用される場合、２次元ＬＵＴ２１０にはカラー画像の輝度成分が入力される。

例えば、昼間に対応する２次元ＬＵＴ２１０は、昼間に適した合成パラメータで可視画像と遠赤外画像とが合成された対象物検出用画像の値を予め記憶し、夕暮れに対応する２次元ＬＵＴ２１０は、夕暮れに適した合成パラメータで可視画像と遠赤外画像とが合成された対象物検出用画像の値を予め記憶している。

ここで、合成パラメータとしては、例えば、可視画像及び遠赤外画像の合成する際の比率が採用され、可視画像の合成パラメータをα、遠赤外画像の合成パラメータをβとすると、α＋β＝１、且つ０≦α、β≦１の値が採用される。そして、α、βは、周囲環境別に可視画像の値及び遠赤外画像の値の組に応じた値を持ち、２次元ＬＵＴ２１０はこのα、βで可視画像及び遠赤外画像を重み付け加算した値を対象物検出用画像の値として記憶している。

なお、可視画像及び遠赤外画像の合成は、必ずしも重み付け加算に限定されるものではなく、α＋β＝１に制約されるものではない。すなわち、２次元ＬＵＴ２１０は、可視画像の画素値と遠赤外画像の画素値との組に応じた所定の値を対象物検出用画像の値として記憶していればよい。

図３は、２次元ＬＵＴ２１０の詳細な構成を示すブロック図である。２次元ＬＵＴ２１０は、アドレス生成部３１０、ＬＵＴ用ＲＡＭ３２０、及びＬＵＴ補間部３３０を備えている。

本実施の形態では、可視画像は各画素が８ｂｉｔ、遠赤外画像は各画素が８ｂｉｔ、対象物検出用画像は各画素が８ｂｉｔで表される。そのため、可視画像の全ビットパターンと遠赤外画像の全ビットパターとの組からなる全点の対象物検出用画像を２次元ＬＵＴ２１０に保持させた場合、２^８×２^８×８ｂｉｔ＝６４ＫＢ（キロバイト）のメモリが必要になりハードウェアと設定データ量とが大きくなってしまう。

そこで、本実施の形態では、可視画像と遠赤外画像とのそれぞれにおいて下位４ｂｉｔを０としたときの１７点×１７点のＬＵＴ値を２次元ＬＵＴ２１０に保持させる。そして、ＬＵＴ補間部３３０により下位４ｂｉｔの値を用いて２次元ＬＵＴ２１０で保持されたＬＵＴ値を補間させる。これにより、２８９（＝１７×１７）Ｂ（バイト）のメモリで２次元ＬＵＴ２１０を構成することができ、２次元ＬＵＴ２１０のメモリ容量を削減することができる。

図４は、本発明の実施の形態１における２次元ＬＵＴ２１０のメモリ空間の概念図である。図４に示すメモリ空間は縦軸が遠赤外画像を示し、横軸が可視画像を示している。また、メモリ空間は、縦軸及び横軸の値が１６増大する毎に格子点ＰＫが設定されている。本実施の形態では、可視画像及び遠赤外画像の上位４ビットの値に対応させるために、縦軸及び横軸はそれぞれ１６、３２、・・・、２５６というように１６ずつ区切られ、区切られた縦軸及び横軸の交点に格子点ＰＫが設定されている。各格子点ＰＫにはＬＵＴ値、つまり、赤外画像及び可視画像の下位４ｂｉｔの値を０としたときの対象物検出用画像の値が保持されている。

図３に示すＬＵＴ用ＲＡＭ３２０はＬＵＴ＿００、ＬＵＴ＿０１、ＬＵＴ＿１０、及びＬＵＴ＿１１の４つのＬＵＴにより構成されている。図４に示すようにＬＵＴ＿００〜ＬＵＴ＿１１は、それぞれ、図４に示す格子点ＰＫのＬＵＴ値を分担して記憶している。図４の例では、ＬＵＴ＿００は可視画像の上位４ｂｉｔの値が０、３２、６４、・・・、遠赤外画像の上位４ｂｉｔの値が０、３２、６４、・・・の各格子点ＰＫからなる格子点群Ｇ＿００のＬＵＴ値を記憶している。

また、ＬＵＴ＿０１は、可視画像の上位４ｂｉｔの値が１６、４８、８０、・・・、遠赤外画像の上位４ｂｉｔの値が０、３２、６４、・・・の各格子点ＰＫからなる格子点群Ｇ＿０１のＬＵＴ値を記憶している。

また、ＬＵＴ＿１０は、可視画像の上位４ｂｉｔの値が０、３２、６４、・・・、遠赤外画像の上位４ｂｉｔの値が１６、４８、８０、・・・の各格子点ＰＫからなる格子点群Ｇ＿１０のＬＵＴ値を記憶している。

また、ＬＵＴ＿１１は、可視画像の上位４ｂｉｔの値が１６、４８、８０、・・・、遠赤外画像の上位４ｂｉｔの値が１６、４８、８０・・・の各格子点ＰＫからなる格子点群Ｇ＿１１のＬＵＴ値を記憶している。

このように、ＬＵＴ＿００〜ＬＵＴ＿１１は、４つの格子点群Ｇ＿００〜Ｇ＿１１のうちのいずれかの格子点群が割り付けられ、割り付けられた格子点群に含まれる各格子点のＬＵＴ値を記憶している。

アドレス生成部３１０は、図４に示すメモリ空間において、８ｂｉｔの可視画像と８ｂｉｔの赤外画像との交点である対象点ＰＣの４近傍の格子点ＰＫ１〜ＰＫ４を特定し（この例では対象点ＰＣの左下、右下、右上、左上がそれぞれ格子点ＰＫ１〜ＰＫ４とされている。）、特定した格子点ＰＫ１〜ＰＫ４がそれぞれどの格子点群Ｇ＿００〜Ｇ＿１１に属するかを判定し、格子点ＰＫ１〜ＰＫ４のアドレス値を対応するＬＵＴ＿００〜ＬＵＴ＿１１に出力する。

図４の例では、対象点ＰＣは可視画像の値が１６〜３２の範囲に属し、遠赤外画像の値が３２〜４８の範囲に属している。そのため、格子点ＰＫ１、ＰＫ２、ＰＫ３、ＰＫ４はそれぞれ、格子点群Ｇ＿０１、Ｇ＿００、Ｇ＿１０、Ｇ＿１１に属すると判定される。よって、ＬＵＴ＿００には格子点ＰＫ２の縦軸及び横軸の値（３２、３２）がアドレス値ＡＤ＿００として出力され、ＬＵＴ＿０１には格子点ＰＫ１の縦軸及び横軸の値（１６、３２）がアドレス値ＡＤ＿０１として出力され、ＬＵＴ＿１０には格子点ＰＫ３の縦軸及び横軸の値（３２、４８）がアドレス値ＡＤ＿１０として出力され、ＬＵＴ＿１１には格子点ＰＫ４の縦軸及び横軸の値（１６、４８）がアドレス値ＡＤ＿１１として出力される。

ＬＵＴ＿００〜ＬＵＴ＿１１は、それぞれ、アドレス値ＡＤ＿００〜ＡＤ＿１１が入力され、入力されたアドレス値ＡＤ＿００〜ＡＤ＿１１に対応するＬＵＴ値をＬＵＴ補間部３３０に出力する。これにより、格子点ＰＫ１〜ＰＫ４の８ｂｉｔのＬＵＴ値がＬＵＴ補間部３３０に供給される。

図４の例では、格子点ＰＫ１〜ＰＫ４の８ｂｉｔのＬＵＴ値がＬＵＴ＿０１、ＬＵＴ＿００、ＬＵＴ＿１０、ＬＵＴ＿１１から出力される。これにより、遠赤外画像の下位４ビットを０、可視画像の下位４ビットを０としたときの対象点ＰＣの４近傍の格子点ＰＫ１〜ＰＫ４のＬＵＴ値（近似値）が得られる。

図３に戻り、ＬＵＴ補間部３３０は、視差補正部１３０（図１参照）から可視画像及び遠赤外画像の下位４ｂｉｔが入力され、入力された下位４ｂｉｔのデータを用いて、格子点ＰＫ１〜ＰＫ４のＬＵＴ値（近似値）を補間し、対象点ＰＣのＬＵＴ値を求める。

図４の例では、対象点ＰＣの左下、右下、右上、左上が格子点ＰＫ１〜ＰＫ４とされている。そのため、ＬＵＴ補間部３３０は、対象点ＰＣの可視画像の下位４ｂｉｔをｍ１、遠赤外画像の下位４ｂｉｔをｍ２とすると、ｍ１とｍ２とを用いて格子点ＰＫ１〜ＰＫ４のＬＵＴ値を線形補間すればよい。

線形補間の手法としては、例えば、対象点ＰＣの値をＬＵＴ＿ＰＣ、格子点ＰＫ１〜ＰＫ４のＬＵＴ値をＬＵＴ＿ＰＫ１〜ＬＵＴ＿ＰＫ４とすると、ＬＵＴ＿ＰＫ１及びＬＵＴ＿ＰＫ２をｍ１で線形補間した値と、ＬＵＴ＿ＰＫ３及びＬＵＴ＿ＰＫ４をｍ１で線形補間した値とを、ｍ２で線形補間した値を対象点ＰＣの値として求めればよい。なお、この手法は一例にすぎず、他の手法を用いて対象点ＰＣの値を求めればよい。

なお、アドレス生成部３１０は、ＬＵＴ＿００〜ＬＵＴ＿１１から出力されたＬＵＴ値が格子点ＰＫ１〜ＰＫ４のいずれに該当するかを特定するためのデータをＬＵＴ補間部３３０に供給し、ＬＵＴ補間部３３０にＬＵＴ＿００〜ＬＵＴ＿１１から出力されたＬＵＴ値が格子点ＰＫ１〜ＰＫ４のいずれに該当するかを特定させればよい。

図５は、本発明の実施の形態１における２次元ＬＵＴ２１０の設定例を示した概念図であり、（Ａ）は昼間の２次元ＬＵＴ２１０を示し、（Ｂ）は夕暮れの２次元ＬＵＴ２１０を示し、（Ｃ）は夜間の２次元ＬＵＴ２１０を示している。図５において、横軸は可視画像を示し、縦軸は赤外画像を示し、高さ軸は対象物検出用画像を示している。

＜昼間＞
昼間では、周囲環境が明るいため、可視画像は対象物検出処理に有効であるが、遠赤外画像は、対象物と背景の物体との温度差が明確に現れないケースも多く、この場合、対象物のコントラストが低くなるため、対象物検出処理に有効ではない。そこで、昼間では、可視画像を重視して対象物検知用画像を生成する。

但し、遠赤外画像において対象物を表す輝度範囲（以下、“対象物ＦＩＲ輝度範囲”と記述する。）以外の範囲は、検出対象外であるため、可視画像において対象物ＦＩＲ輝度範囲のコントラストを弱めることが好ましい。

そこで、合成処理部１５０は、昼間では、対象物ＦＩＲ輝度範囲外における可視画像のコントラストが、対象物ＦＩＲ輝度範囲における可視画像のコントラストよりも弱くなるような合成パラメータを用いて対象物検出用画像を生成する。

図５（Ａ）に示す２次元ＬＵＴ２１０は、可視画像が増大するにつれて、対象物検出用画像が増大しているが、対象物ＦＩＲ輝度範囲における可視画像の傾きは対象物ＦＩＲ輝度範囲外における可視画像の傾きよりも大きくされており、対象物ＦＩＲ輝度範囲外における可視画像のコントラストが、対象物ＦＩＲ輝度範囲における可視画像のコントラストが弱められていることが分かる。

なお、対象物ＦＩＲ輝度範囲としては、検出対象となる対象物に応じて予め定められた輝度範囲が採用されている。遠赤外画像は温度に応じた輝度値を持つため、対象物が持つ温度に相当する輝度範囲を対象物ＦＩＲ輝度範囲として採用すればよい。

これにより、対象物以外の画像のコントラストが弱められた対象物検出用画像が生成され、昼間において対象物を正確に検出することができる対象物検出用画像を生成することができる。

＜夕暮れ＞
夕暮れでは、可視画像、遠赤外画像とも対象物検出用処理に有効である。そこで、合成処理部１５０は、夕暮では、遠赤外画像において対象物ＦＩＲ輝度範囲のコントラストが強調され、当該遠赤外画像に可視画像が重畳されるような所定の合成パラメータを用いて対象物検出用画像を生成する。

図５（Ｂ）に示すように、対象物検出用画像は、可視画像が増大するにつれて値が増大していることが分かる。そして、遠赤外画像は、対象物ＦＩＲ輝度範囲の領域で可視画像方向の傾きが他の範囲の傾きよりも急峻となっており、且つ、オフセットが加算されており、対象物ＦＩＲ輝度範囲が他の範囲より高コントラストで明るくなっていることが分かる。

これにより、可視画像と遠赤外画像とがバランスよく合成され、且つ、対象物ＦＩＲ輝度範囲のコントラストが高く背景より明るく浮き出た対象物検出用画像が生成され、夕暮れにおいて対象物を正確に検出することができる対象物検出用画像を生成することができる。

＜夜間＞
夜間では、周囲環境が暗いため、可視画像から対象物を検出することが困難である。そこで、合成処理部１５０は、夜間では、夕暮れの場合よりも可視画像の重み付けが低くされ、且つ、遠赤外画像において対象物ＦＩＲ輝度範囲のコントラストが夕暮れの場合よりも強調されるような所定の合成パラメータを用いて対象物検出用画像を生成する。

図５（Ｃ）に示す２次元ＬＵＴ２１０では、遠赤外画像が増大するにつれて対象物検出用画像が増大しているが、可視画像が増大しても対象物検出用画像は増大しておらず、遠赤外画像が可視画像よりも重視されて対象物検出用画像が生成されていることが分かる。そして、遠赤外画像において対象物ＦＩＲ輝度範囲の傾きが対象物ＦＩＲ輝度範囲外の傾きよりも急峻であり、対象物ＦＩＲ輝度範囲のコントラストが強調されていることが分かる。また、対象物ＦＩＲ輝度範囲の傾きが夕暮れの場合よりもより急峻になっており、夜間においては夕暮れの場合よりも対象物ＦＩＲ輝度範囲の遠赤外画像のコントラストがより強められていることが分かる。

これにより、遠赤外画像が重視され、且つ、遠赤外画像において対象物ＦＩＲ輝度範囲のコントラストが強調された対象物検出用画像が生成され、夜間において対象物を正確に検出することができる対象物検出用画像を生成することができる。

このように、本実施の形態による物体検出装置によれば、昼間、夕暮れ、夜間といった周囲環境に応じて２次元ＬＵＴ２１０が選択され、選択された２次元ＬＵＴ２１０を用いて対象物検出用画像が生成されている。そのため、周囲環境が変化しても対象物を正確に検出することができる対象物検出用画像を生成することができる。

なお、図３の説明では、２次元ＬＵＴ２１０には可視画像及び遠赤外画像の下位４ｂｉｔを０としたときの各格子点のＬＵＴ値を持たせたが、下位４ｂｉｔは一例であり、下位３ｂｉｔ、下位２ｂｉｔ、下位７ｂｉｔ〜５ｂｉｔを０としたときの各格子点のＬＵＴ値を持たせてもよい。

（実施の形態２）
実施の形態２による物体検出装置は、対象物検出用画像に加えて更に視認用画像を生成することを特徴とする。図６は、本発明の実施の形態２による物体検出装置のブロック図である。

図６に示す物体検出装置は、図１の構成に加えて、更に、オーバーレイ部１８０及びモニタ１９０を備えている。なお、本実施の形態において、実施の形態１と同じものは説明を省略する。

本実施の形態において、可視カメラ１１０は、可視画像としてカラー画像を出力する。ここで、カラー画像としては、例えばＹＣＣ４２２のカラー画像が採用される。ＹＣＣ４２２のカラー画像とは、輝度成分（Ｙ）４画素に対して２種類の色成分が２画素ずつ含まれる画像である。なお、２種類の色成分としては例えば、Ｃｒ（赤）、Ｃｂ（青）の色成分を採用することができる。なお、カラー画像として採用されたＹＣＣ４２２は一例にすぎず、輝度成分と色成分とが異なる比率で含まれるカラー画像を採用してもよい。

合成処理部１５０は、輝度成分及び遠赤外画像を合成用パラメータで合成し、対象物検出用画像に加えて視認用画像を生成する。オーバーレイ部１８０は、対象物検出部１６０により検出された対象物の位置及び大きさの情報を用いて、視認用画像にユーザの注意を喚起するためのグラフィックスを重畳し、モニタ１９０に出力する。ここで、注意を喚起するためのグラフィックスとしては、対象物の輪郭を強調表示する枠線等を採用することができる。これにより、ユーザは対象物を容易に認識することができる。モニタ１９０は、例えば、液晶パネルや有機ＥＬパネル等のモニタにより構成され、オーバーレイ部１８０によってグラフィックスが重畳された視認用画像を表示する。

図７は、本発明の実施の形態２による合成処理部１５０の詳細な構成を示したブロック図である。合成処理部１５０は、昼間、夕暮れ、夜間に応じた３種類の２次元ＬＵＴ７１０、７１０、７１０、色変調部７２０、及びＬＵＴ選択部７３０を備えている。

合成処理部１５０は、８ｂｉｔの可視画像の輝度成分と８ｂｉｔの遠赤外画像とを入力とする２次元ＬＵＴ７１０を用い、可視画像の輝度成分と遠赤外画像との組み合わせに対して任意の値を出力できる構成となっている。

ＬＵＴ選択部７３０は、実施の形態１と同様、ＣＰＵ１７０から出力される検出結果に応じて、昼間、夕暮れ、夜間のいずれかの２次元ＬＵＴ７１０を選択する。

色変調部７２０は、可視画像のＣｂＣｒ色成分が供給され、ＬＵＴ７１０から供給される色変調係数を用いてＣｂＣｒ色成分を変調し、ＣｂＣｒ´色成分を出力する。

視認用画輝度データは、視認用画像の輝度成分である。ＣｂＣｒ´色成分と視認用輝度データとでＹＣＣ４２２のカラー画像からなる視認用画像が構成される。ここで、視認用画像は、対象物の視認性が高められた画像を指す。

図８は、本発明の実施の形態２による２次元ＬＵＴ７１０の詳細な構成を示すブロック図である。２次元ＬＵＴ７１０は、アドレス生成部８１０、ＬＵＴ用ＲＡＭ８２０、マルチプレクサＭＸ、及びＬＵＴ補間部８４０を備えている。

ＬＵＴ用ＲＡＭ８２０は、実施の形態１と同様、４つのＬＵＴ＿００〜ＬＵＴ＿１１を備えている。ＬＵＴ＿００〜ＬＵＴ＿１１は、それぞれ、色変調ＬＵＴ、視認用ＬＵＴ、検出用ＬＵＴの３種類のＬＵＴを記憶している。なお、ＬＵＴ＿００〜ＬＵＴ＿１１の色変調ＬＵＴ、視認用ＬＵＴ、検出用ＬＵＴを区別して表す場合は、色変調ＬＵＴ＿００〜ＬＵＴ＿１１、視認用ＬＵＴ＿００〜ＬＵＴ＿１１、検出用ＬＵＴ＿００〜ＬＵＴ＿１１と表す。

色変調ＬＵＴ、視認用ＬＵＴ、検出用ＬＵＴのメモリ空間は図４と同じである。すなわち、色変調ＬＵＴ、視認用ＬＵＴ、検出用ＬＵＴのメモリ空間は、それぞれ、縦軸が遠赤外画像、横軸が可視画像の輝度成分に対応し、縦軸及び横軸が１６、３２、・・・、２５６というように１６ずつ区切られ、区切られた縦軸及び横軸の交点に格子点ＰＫが設定されている。そして、色変調ＬＵＴ、視認用ＬＵＴ、検出用ＬＵＴは、それぞれ、各格子点のＬＵＴ値、つまり、赤外画像及び可視画像の輝度成分の下位４ｂｉｔの値を０としたときの色変調係数、視認用輝度データ、及び対象物検出用データを記憶している。

そして、色変調ＬＵＴ＿００〜ＬＵＴ＿１１、視認用ＬＵＴ＿００〜ＬＵＴ＿１１、及び検出用ＬＵＴ＿００〜ＬＵＴ＿１１は、それぞれ、図４に示すように格子点ＰＫのＬＵＴ値を分担して記憶している。つまり、２次元ＬＵＴ７１０には、色変調係数、視認用輝度データ、対象物検出用データの３種のデータが、それぞれ独立に設定されている。

２次元ＬＵＴ７１０に入力される可視画像の輝度成分は８ｂｉｔ、遠赤外画像は８ｂｉｔである。そのため、色変調ＬＵＴ、視認用ＬＵＴ、検出用ＬＵＴが保持するＬＵＴ値をそれぞれ８ｂｉｔとすると、可視画像の輝度成分の全ビットパターンと遠赤外画像の全ビットパターンとの組からなる全点のＬＵＴ値を保持するには、２^８×２^８×３×８ｂｉｔ＝１９２ＫＢ（キロバイト）のメモリが必要になりハードウェアとデータ量とが大きくなってしまう。

そこで、本実施の形態では、可視画像の輝度成分と遠赤外画像とのそれぞれにおいて下位４ｂｉｔを０としたときの１７点×１７点のＬＵＴ値を２次元ＬＵＴ７１０に保持させる。つまり、色変調ＬＵＴ、視認用ＬＵＴ、検出用ＬＵＴのそれぞれに、１７点×１７点のＬＵＴ値を保持させる。そして、ＬＵＴ補間部８４０により下位４ｂｉｔのデータを用いて色変調ＬＵＴ、視認用ＬＵＴ、検出用ＬＵＴで保持されたＬＵＴ値を補間させる。これにより８６７（＝１７×１７×３）Ｂ（バイト）のメモリで２次元ＬＵＴ７１０を構成することができ、２次元ＬＵＴ７１０のメモリ容量を削減することができる。

アドレス生成部８１０は、実施の形態１と同様、図４に示す対象点ＰＣの４近傍の格子点ＰＫ１〜ＰＫ４を特定し、特定した格子点ＰＫ１〜ＰＫ４がそれぞれどの格子点群Ｇ＿００〜Ｇ＿１１に属するかを判定し、格子点ＰＫ１〜ＰＫ４のアドレス値を対応するＬＵＴ＿００〜ＬＵＴ＿１１に出力する。

マルチプレクサＭＸは、ＬＵＴ＿００〜ＬＵＴ＿１１のそれぞれに対応する４つのマルチプレクサＭＸ＿００〜ＭＸ＿１１を備えている。そして、マルチプレクサＭＸは、例えばＣＰＵ１７０から出力されるＬＵＴ選択信号を受け、色変調ＬＵＴ、視認用ＬＵＴ、検出用ＬＵＴのいずれか１つのＬＵＴを選択し、選択したＬＵＴが保持するＬＵＴ値をＬＵＴ補間部８４０に出力する。

ＬＵＴ補間部８４０は、実施の形態１と同様、視差補正部１３０（図１参照）から可視画像の輝度成分及び遠赤外画像の下位４ｂｉｔが入力され、入力された下位４ｂｉｔのデータを用いて、格子点ＰＫ１〜ＰＫ４のＬＵＴ値を補間し、対象点ＰＣの値を求める。

図８に示す２次元ＬＵＴ７１０において、アドレス生成部８１０、色変調ＬＵＴ、視認用ＬＵＴ、マルチプレクサＭＸ、及びＬＵＴ補間部８４０により視認用画像生成回路が構成されている。また、アドレス生成部８１０、検出用ＬＵＴ、マルチプレクサＭＸ、及びＬＵＴ補間部８４０により対象物検出用画像生成回路が構成されている。

つまり、本実施の形態では、視認用画像生成回路及び対象物検出用画像生成回路において、アドレス生成部８１０、マルチプレクサＭＸ、及びＬＵＴ補間部８４０が共用されている。これにより、視認用画像生成回路及び対象物検出用画像生成回路の回路規模の縮小が図られている。

次に、２次元ＬＵＴ７１０の動作について説明する。まず、アドレス生成部８１０に可視画像の輝度成分と遠赤外画像とが入力される。また、このとき、ＬＵＴ補間部８４０には、可視画像の輝度成分の下位４ｂｉｔと遠赤外画像の下位４ｂｉｔとが入力される。アドレス生成部８１０は、入力された可視画像の輝度成分と遠赤外画像とから対象点ＰＣの４近傍の格子点ＰＫ１〜ＰＫ４を特定する。次に、マルチプレクサＭＸ＿００〜ＭＸ＿１１のそれぞれにＬＵＴ選択信号が入力される。ここで、マルチプレクサ＿００〜ＭＸ＿１１には、まず、色変調ＬＵＴ、次に、視認用ＬＵＴ、その次に検出用ＬＵＴを選択するためのＬＵＴ選択信号が入力される。

したがって、ＬＵＴ補間部８４０には、まず、対象点ＰＣを色変調係数としたときの格子点ＰＫ１〜ＰＫ４が入力され、次に、対象点ＰＣを視認用合成データとしたときの格子点ＰＫ１〜ＰＫ４が入力され、その次に、対象点ＰＣを対象物検出用データとしたときの格子点ＰＫ１〜ＰＫ４が入力される。

そして、ＬＵＴ補間部８４０は、実施の形態１と同様、可視画像の輝度成分の下位４ｂｉｔと遠赤外画像の下位４ｂｉｔとの値を用いて、格子点ＰＫ１〜ＰＫ４を例えば線形補間して色変調係数、視認用合成データ、及び対象物検出用データを順次に生成する。このとき、色変調係数は色変調部７２０に出力され、視認用合成データはオーバーレイ部１８０に出力され、対象物検出用データは対象物検出部１６０に出力される。

図９は、本発明の実施の形態２による検出用ＬＵＴの設定例を示した概念図であり、（Ａ）は昼間、（Ｂ）は夕暮れ、（Ｃ）は夜間の検出用ＬＵＴを示す。図１０は、本発明の実施の形態２による視認用ＬＵＴの設定例を示した概念図であり、（Ａ）は昼間、（Ｂ）は夕暮れ、（Ｃ）は夜間の視認用ＬＵＴを示す。図１１は、本発明の実施の形態２による色変調ＬＵＴの設定例を示した概念図であり、（Ａ）は昼間、（Ｂ）は夕暮れ、（Ｃ）は夜間の色変調ＬＵＴを示す。なお、図９（Ａ）〜（Ｃ）において、横軸は可視画像の輝度成分を示し、縦軸は遠赤外画像を示し、高さ軸は対象物検出用データを示している。図１０（Ａ）〜（Ｃ）において、横軸は可視画像の輝度成分を示し、縦軸は遠赤外画像を示し、高さ軸は視認用輝度データを示している。図１１（Ａ）〜（Ｃ）において、横軸は可視画像の輝度成分を示し、縦軸は遠赤外画像を示し、高さ軸は色変調係数を示している。

図９（Ａ）〜（Ｃ）に示す検出用ＬＵＴは、図５に示す対象物検出画像の２次元ＬＵＴ２１０と同じであるため、説明を省略する。

視認用画像としては、人間が見やすい画像を出力する。例えば、本物体検出装置を車載用途として使用した場合、人物や自動車等の対象物のみならず、信号や車線等の周囲環境の情報も表示する必要がある。

＜昼間＞
昼間において、遠赤外画像は全体的に輝度が高く、周囲環境を視認するには不適当である。一方、可視画像は対象物及び周囲環境も明瞭に現れているため視認には適している。そこで、図１０（Ａ）の昼間の視認用ＬＵＴでは、可視画像の輝度成分が増大するにつれて、視認用輝度データが増大しているが、遠赤外画像が増大するにつれて視認用輝度データは増大していない。そのため、合成処理部１５０は、昼間では、可視画像の輝度成分のみを用いて視認用輝度データが生成されるような所定の合成パラメータを用いて視認用輝度データを生成する。

また、昼間では、色成分を補正する必要がないため、図１１（Ａ）の昼間の色変調ＬＵＴでは、可視画像の輝度成分及び遠赤外画像によらず、色変調係数が一定となっている。したがって、合成処理部１５０は、昼間では、可視画像の輝度成分及び遠赤外画像によらず一定の値（例えば１．０）を持つ色変調係数を生成する。

＜夕暮れ＞
夕暮れでは、可視画像の輝度成分はγ補正を行うことで視認性を高める。一方、遠赤外画像では、対象物が背景から浮き出してくる。そのため、可視画像の輝度成分に遠赤外画像を重畳して対象物を強調させる。よって、図１０（Ｂ）に示す夕暮れの視認用ＬＵＴでは、可視画像の輝度成分が増大するにつれて、視認用輝度データが上に凸のγカーブを描いて増大し、且つ、遠赤外画像が増大するにつれて視認用輝度データが緩やかなカーブを描いて増大している。したがって、合成処理部１５０は、夕暮れの場合、可視画像の輝度成分に対してγ補正を行い、且つγ補正を行った可視画像の輝度成分に遠赤外画像が重畳されるような所定の合成パラメータを用いて視認用輝度データを生成する。

また、図１１（Ｂ）に示す夕暮れの色変調ＬＵＴでは、対象物ＦＩＲ輝度範囲で可視画像の色成分が強調されるように、遠赤外画像の対象物ＦＩＲ輝度範囲の色変調係数が大きく設定されている。よって、合成処理部１５０は、夕暮れでは、遠赤外画像が対象物ＦＩＲ輝度範囲に入る部分で可視画像の色を強調した視認用画像を生成する。これにより、対象物の視認性が向上する。

＜夜間＞
夜間において、可視画像では対象物の視認性が低下するが、遠赤外画像では対象物の視認性が増大する。可視画像に含まれる信号や車線等の情報は視認用画像には必要である。そのため、夜間では、夕暮れの場合よりも遠赤外画像の重み付けが可視画像よりも高く設定して可視画像に遠赤外画像を重畳する。

図１０（Ｃ）に示す夜間の視認用ＬＵＴでは、可視画像の輝度成分が増大するにつれて、高輝度側に感度を持たせるために視認用輝度データが夕暮れの場合よりも緩やかな上に凸のγカーブを描いて増大している。また、遠赤外画像が増大するにつれて視認用輝度データが夕暮れの場合よりも大きな傾きで増大している。よって、合成処理部１５０は、夜間の場合、可視画像の輝度成分を夕暮れの場合よりも緩いγカーブでγ補正し、且つγ補正を行った可視画像の輝度成分に夕暮れの場合よりも大きな重み付けで遠赤外画像が重畳されるような所定の合成パラメータを用いて視認用輝度データを生成する。

また、夜間では、色成分を補正する必要がないため、図１１（Ｃ）に示す夜間の色変調ＬＵＴでは、昼間と同様、色変調係数が一定となっている。したがって、合成処理部１５０は、夜間では、可視画像の輝度成分及び遠赤外画像によらず一定の値（例えば１．０）を持つ色変調係数を生成する。

なお、実施の形態１、２では、第２撮像手段として遠赤外カメラを採用し、第２出力画像として遠赤外画像を採用したが、これに限定されない。例えば、第２撮像手段として、近赤外カメラ、中赤外カメラを採用し、第２出力画像として、近赤外画像、中赤外画像を採用してもよい。

また、実施の形態１、２では、合成処理部１５０が予め定められた合成パラメータを保存するものとしたが、検出部１４０により算出された評価値に基づき、ＣＰＵ１７０が合成パラメータを生成して、ＲＡＭで構成される合成処理部１５０のＬＵＴに合成パラメータを設定するようにしてもよい。この場合、評価値に基づく合成パラメータの生成に必要なデータが予めＣＰＵ１７０に設定される。

また、実施の形態１、２では、可視画像及び遠赤外画像の各画素のビット数を同じにしたが、これに限定されず、可視画像をＭビット、遠赤外画像をＮビットというように異なるビット数にしてもよい。また、実施の形態１、２では、可視画像及び遠赤外画像の下位ビットのビット数を同じにしたが、これに限定されず、可視画像の下位ビットをｍ（ｍ＜Ｍ）ビット、遠赤外画像の下位ビットをｎ（ｎ＜Ｎ）ビットとし、異なるビット数にしてもよい。この場合、２次元ＬＵＴ２１０、７１０には、可視画像の上位Ｍ−ｍビット、遠赤外画像の上位Ｎ−ｎビットのそれぞれの組に対するＬＵＴ値を記憶させればよい。

１１０ 可視カメラ（第１撮像手段）
１２０ 遠赤外カメラ（第２撮像手段）
１３０ 視差補正部
１４０ 検出部
１５０ 合成処理部
１６０ 対象物検出部
１８０ オーバーレイ部
１９０ モニタ
３１０、８１０ アドレス生成部
３２０ ＬＵＴ用ＲＡＭ（記憶部）
３３０、８４０ ＬＵＴ補間部（補間部）

Claims (6)

1. 感度波長が互いに異なる第１及び第２撮像手段と、
   前記第１及び第２撮像手段から出力される第１及び第２出力画像を、所定の合成パラメータを用いて合成し、対象物検出用画像と人間が視認するための視認用画像とを生成する合成処理部と、
   前記対象物検出用画像から対象物を検出する対象物検出部と、
   撮像時の周囲環境を検出する検出部と、
   前記視認用画像を表示するモニタとを備え、
   前記合成処理部は、前記検出部の検出結果に応じて、前記対象物検出用画像用と前記視認用画像用との前記合成パラメータをそれぞれ独立に変更する物体検出装置。
2. 前記合成処理部は、
   前記視認用画像を生成する視認用画像生成回路と、
   前記対象物検出用画像を生成する対象物検出用画像生成回路とを備え、
   前記視認用画像生成回路と前記対象物検出用画像生成回路とは回路の一部が共用されている請求項１記載の物体検出装置。
3. 感度波長が互いに異なる第１及び第２撮像手段と、
   前記第１及び第２撮像手段から出力される第１及び第２出力画像を、所定の合成パラメータを用いて合成し、対象物検出用画像を生成する合成処理部と、
   前記対象物検出用画像から対象物を検出する対象物検出部と、
   撮像時の周囲環境を検出する検出部とを備え、
   前記合成処理部は、前記検出部の検出結果に応じて、前記合成パラメータを変更し、
   前記検出部は、前記周囲環境が昼間、夕暮れ、及び夜間のいずれに該当するかを検出し、
   前記第１撮像手段は、可視光カメラであり、
   前記第２撮像手段は、赤外カメラであり、
   前記合成処理部は、
   前記検出部により昼間が検出された場合、前記第２出力画像に現れる前記対象物の輝度範囲外における前記第１出力画像のコントラストが、前記第２出力画像に現れる前記対象物の輝度範囲内における前記第１出力画像のコントラストよりも弱くなるような所定の合成パラメータを用いて前記対象物検出用画像を生成し、
   前記検出部により夕暮れが検出された場合、前記対象物の輝度範囲のコントラストが強調された第２出力画像に前記第１出力画像が重畳されるような所定の合成パラメータを用いて前記対象物検出用画像を生成し、
   前記検出部により夜間が検出された場合、前記夕暮れの場合よりも前記第１出力画像の重み付けが低くされ、且つ、前記第２出力画像において前記対象物の輝度範囲のコントラストが前記夕暮れの場合よりも強調されるような所定の合成パラメータを用いて前記対象物検出用画像を生成する物体検出装置。
4. 前記第１出力画像は、各画素がＭビットのデータで構成され、
   前記第２出力画像は、各画素がＮビットのデータで構成され、
   前記合成処理部は、
   前記第１出力画像の下位ｍ（ｍ＜Ｍ）ビットを０、前記第２出力画像の下位ｎ（ｎ＜Ｎ）ビットを０としたときの前記第１、第２出力画像の上位ビットの組のそれぞれにおける前記対象物検出用画像の値を予め記憶する記憶部と、
   前記第１、第２出力画像の値に対応する前記対象物検出用画像の値の複数の近似値をそれぞれ記憶する前記記憶部のアドレス値を算出し、算出したアドレス値を指定して前記記憶部から前記複数の近似値を出力させるアドレス生成部と、
   前記記憶部から出力された複数の近似値を、前記第１出力画像の下位ｍビット、前記第２出力画像の下位ｎビットに基づいて補間し、前記対象物検出用画像の値を算出する補間部とを備える請求項１〜３のいずれかに記載の物体検出装置。
5. 前記記憶部は、前記第１出力画像の下位ｍビットを０、前記第２出力画像の下位ｎビットを０としたときの前記第１、第２出力画像の上位ビットの組のそれぞれにおける視認用画像の値を更に記憶し、
   前記アドレス生成部は、前記第１、第２出力画像の値に対応する前記視認用画像の値の複数の近似値をそれぞれ記憶する前記記憶部のアドレス値を算出し、算出したアドレス値を指定して前記記憶部から前記複数の近似値を更に出力させ、
   前記補間部は、前記記憶部から出力された複数の近似値を、前記第１出力画像の下位ｍビットの値と、前記第２出力画像の下位ｎビットの値とに基づいて補間し、前記視認用画像の値を更に算出する請求項４記載の物体検出装置。
6. 前記第１撮像手段は、可視光カメラであり、
   前記第２撮像手段は、近赤外カメラ、中赤外カメラ、遠赤外カメラのいずれかである請求項１〜５のいずれかに記載の物体検出装置。

Images