JPH11308609A - 表示処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 対向車のヘッドライトで眩惑されて見えなく
なる領域を赤外線画像で補完し、表示モニタを一瞥して
前方画像が認識できるようにする。 【解決手段】 可視光カメラ１が可視光による第１の風
景画像を得、赤外線カメラ３が赤外線による第２の風景
画像を得、ＣＰＵ５がドライバにとって視認困難な視界
部位に該当する第１の風景画像上の部位を合成領域とし
て決定し、第２の風景画像から合成領域に該当する部位
を切出して第１の風景画像の対応する部位に合成して合
成画像を得、表示モニタ７に表示させる。これによっ
て、表示モニタ７にはドライバにとって視認できる部分
は通常の可視光による風景を表示し、かつ肉眼では視認
困難な視界部位には赤外線による風景を合成して表示
し、ドライバにとって表示モニタ７の表示画像を一瞥し
て前方風景の全体を把握できるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車外風景を肉眼で
視認することに支障を来す状況でドライバの視覚を補助
する機能を備えた表示処理装置に関する。

【０００２】

【従来の技術】ドライバにとって車外からの視覚情報は
運転操作上きわめて重要である。しかしながら、夜間の
低照度環境や対向車のライトのような強力な光源の存在
によって眩惑されるような環境で運転しなければならな
い場合も多い。このような肉眼での視認性が悪い環境で
は注意深いドライバにとっても自車に接近する歩行者な
どの対象物の発見が遅れがちである。

【０００３】このようなドライバ側の生理学的な問題を
カバーするための技術として、例えば、特開平５−１３
７０３０号公報には、照明の届かない低照度環境の風景
を、赤外線を検出して結像させる走査部を用いて表示部
に映し出す装置（従来例１）が開示されている。また特
開平６−２７０７５１号公報には、対向車のヘッドライ
トなどによる眩惑領域内に歩行者などの対象物が存在す
ると警報を発する装置（従来例２）が開示されている。
さらに、特開平８−２６３７８４号公報には、赤外線カ
メラなどの温度検出手段で検出した車両前方の温度分布
をビデオカメラなどの撮像手段による画像に合成する装
置（従来例３）が開示されている。

【０００４】

【発明が解決しようとする課題】ところが、これらの従
来のドライバの視覚を補助するための表示処理装置で
は、次のような問題点があった。

【０００５】上記の従来例１及び従来例３の装置では、
歩行者などの対象物の近傍だけでなく、表示手段上の全
面に赤外線画像を単独であるいは合成して表示する。一
方、歩行者などの対象物を明確に判別するためには、あ
る程度高解像度の検出手段と表示手段が必要となる。し
かるに、従来例１及び従来例３の装置では、表示手段に
表示される赤外線画像には建物や植込み、空や雲まで映
し出されることになるため、そのような高解像度の画像
をドライバに表示する場合、次のような問題点があっ
た。

【０００６】◇ドライバにとって、複雑な視覚情報を運
転中に一瞥して把握することは困難である。

【０００７】◇肉眼による低視界の風景と映し出されて
いる鮮明な画像との差異が大きすぎ、表示画面内の対象
物の存在位置を、実視野内で照合することが困難であ
る。

【０００８】◇表示手段に動画像で表示する場合、ドラ
イバが無意識に画面に見入るために車両周囲にまんべん
なく気を配ることが疎かになりやすい。

【０００９】また従来例２の装置では、装置側の眩惑領
域の設定に周囲照度やドライバの個人差を考慮していな
いために、実際にはドライバが眩惑を起こしていないの
に警報が発せられ、煩わしさを感じさせる問題点があっ
た。

【００１０】さらに、従来例１に開示されている装置の
応用として、眩惑時に前方の風景を赤外線カメラで撮影
して表示手段に表示させる装置が考えられる。しかしな
がら、対向車のヘッドライトのような強力な光源の存在
で眩惑されると、自車のヘッドライトの照射範囲に存在
していて本来ならば視認できる近距離の対象物がドライ
バにとって見えない状態となり、ドライバにとって表示
手段に表示されている対象物を肉眼では視認できない理
由を瞬時に理解することができず、眩惑が解消したとき
には対象物が自車の直近まで接近していて慌てることに
なる事態が起こり得る問題点がある。

【００１１】本発明はこのような従来の問題点を解決す
るためになされたものであり、車外風景を肉眼で視認す
ることに支障を来す状況でドライバの視覚を確実に補助
して、ドライバに複雑な視覚情報を運転中に一瞥して把
握させることができる表示処理装置を提供することを目
的とする。

【００１２】本発明はまた、ドライバの生理学的な個性
に応じてその視覚補助作用を調整できる表示処理装置を
提供することを目的とする。

【００１３】

【課題を解決するための手段】請求項１の発明の表示処
理装置は、可視光による第１の風景画像を得る第１の撮
影手段と、前記可視光以外の光線又は電磁波による第２
の風景画像を得る第２の撮影手段と、前記第２の風景画
像から所定の部位を切出し、前記第１の風景画像の対応
する部位に合成して合成画像を得る画像合成手段と、前
記合成画像を表示する表示手段とを備えたものである。

【００１４】請求項１の発明の表示処理装置は、第１の
撮影手段が可視光による第１の風景画像を得、第２の撮
影手段が可視光以外の光線又は電磁波による第２の風景
画像を得、画像合成手段が第２の風景画像から所定の部
位を切出して第１の風景画像の対応する部位に合成して
合成画像を得、表示手段に表示させる。

【００１５】これによって、第２の風景画像から切出す
所定の部位としてドライバにとって視認困難な視界部位
に設定おくことにより、表示手段にはドライバにとって
視認できる部分は通常の可視光による風景を表示し、か
つ肉眼では視認困難な視界部位には可視光以外の光線又
は電磁波による風景を合成して表示することができ、ド
ライバにとって表示手段の表示画像を一瞥して前方風景
の全体を把握できるようになる。

【００１６】請求項２の発明の表示処理装置は、可視光
による第１の風景画像を得る第１の撮影手段と、前記可
視光以外の光線又は電磁波による第２の風景画像を得る
第２の撮影手段と、ドライバにとって視認困難な視界部
位に該当する前記第１の風景画像上の部位を合成領域と
して決定する領域決定手段と、前記第２の風景画像から
前記合成領域に該当する部位を切出し、前記第１の風景
画像の対応する部位に合成して合成画像を得る画像合成
手段と、前記合成画像を表示する表示手段とを備えたも
のである。

【００１７】請求項２の発明の表示処理装置では、第１
の撮影手段が可視光による第１の風景画像を得、第２の
撮影手段が可視光以外の光線又は電磁波による第２の風
景画像を得、領域決定手段がドライバにとって視認困難
な視界部位に該当する第１の風景画像上の部位を合成領
域として決定する。これを受けて、画像合成手段が第２
の風景画像から合成領域に該当する部位を切出して第１
の風景画像の対応する部位に合成して合成画像を得、表
示手段に表示させる。

【００１８】これによって、表示手段にはドライバにと
って視認できる部分は通常の可視光による風景を表示
し、かつ肉眼では視認困難な視界部位には可視光以外の
光線又は電磁波による風景を合成して表示することがで
き、ドライバにとって表示手段の表示画像を一瞥して前
方風景の全体を把握できるようになる。

【００１９】請求項３の発明は、請求項１又は２の表示
処理装置において、前記領域決定手段が、高輝度の光源
により眩惑を起こす視界部位を前記ドライバにとって視
認困難な視界部位と決定するようにしたものであり、対
向車のヘッドライトのような高輝度の光源によって眩惑
され、ドライバの肉眼では見にくいあるいは見えないよ
うな対象物を表示手段に表示されている合成画像上で容
易に発見できるようになる。

【００２０】請求項４の発明は、請求項１又は２の表示
処理装置において、前記領域決定手段が、低照度環境で
対象物の写っている視界部位を前記ドライバにとって視
認困難な視界部位と決定するようにしたものであり、照
明灯に映し出されないような低照度の領域に存在してい
るためにドライバの肉眼では見にくいあるいは見えない
ような対象物を表示手段に表示されている合成画像上で
容易に発見できるようになる。

【００２１】請求項５の発明の表示処理装置は、可視光
による第１の風景画像を得る第１の撮影手段と、前記可
視光以外の光線又は電磁波による第２の風景画像を得る
第２の撮影手段と、前記第１の風景画像上の所定の輝度
閾値を上回る部位を合成領域として決定する領域決定手
段と、前記第２の風景画像から前記合成領域に該当する
部位を切出し、前記第１の風景画像の対応する部位に合
成して合成画像を得る画像合成手段と、前記合成画像を
表示する表示手段とを備えたものである。

【００２２】請求項５の発明の表示処理装置では、第１
の撮影手段が可視光による第１の風景画像を得、第２の
撮影手段が可視光以外の光線又は電磁波による第２の風
景画像を得、領域決定手段が第１の風景画像上の所定の
輝度閾値を上回る部位を合成領域として決定する。これ
を受けて、画像合成手段が第２の風景画像から合成領域
に該当する部位を切出して第１の風景画像の対応する部
位に合成して合成画像を得、表示手段に表示させる。

【００２３】これによって、高輝度の光源により眩惑を
起こす視界部位が合成領域となるように輝度閾値を設定
すれば、対向車のヘッドライトのような高輝度の光源に
よって眩惑され、ドライバの肉眼では見にくいあるいは
見えないような対象物を表示手段に表示されている合成
画像上で容易に発見できるようになる。

【００２４】請求項６の発明は、請求項５の表示処理装
置において、前記領域決定手段が、前記第１の風景画像
上の前記所定の輝度閾値を上回る部位に対して、縦横に
所定率だけ拡大した領域を合成領域として決定するよう
にしたものであり、対向車のヘッドライトのような高輝
度の光源の見かけの大きさで決まる不快グレア領域とそ
の周囲に位置して光源からの光がドライバの眼球内で散
乱するために眩しさを感じる減能グレア領域を合成領域
として第２の風景画像から切出して第１の風景画像の該
当する部位に合成することができ、対向車のヘッドライ
トのような高輝度の光源によって眩惑され、ドライバの
肉眼では見にくいあるいは見えないような対象物を表示
手段に表示されている合成画像上で容易に発見できるよ
うになる。

【００２５】請求項７の発明は、請求項５又は６の表示
処理装置において、さらに、前記表示手段の画面輝度を
可変設定する画面輝度設定手段と、前記領域決定手段の
用いる前記所定の輝度閾値を、前記画面輝度設定手段の
設定した画面輝度に対応して可変設定する輝度閾値設定
手段とを備えたものである。

【００２６】請求項８の発明は、請求項７の表示処理装
置において、前記輝度閾値設定手段は、前記画面輝度設
定手段が前記画面輝度を小さく設定するときには、前記
輝度閾値を低く設定するようにしたものである。

【００２７】請求項７及び８の発明の表示処理装置で
は、ドライバの眩惑を感じる個人差に対応した画像合成
が可能となる。

【００２８】請求項９の発明は、請求項６の表示処理装
置において、さらに、前記表示手段の画面輝度を可変設
定する画面輝度設定手段と、前記領域決定手段が用いる
前記縦横の領域拡大率を、前記画面輝度設定手段の設定
した画面輝度に対応して可変設定する拡大率設定手段と
を備えたものである。

【００２９】請求項１０の発明は、請求項９の表示処理
装置において、前記拡大率設定手段は、前記画面輝度設
定手段が前記画面輝度を小さく設定するときには、前記
領域拡大率を大きく設定するようにしたものである。

【００３０】請求項９及び１０の発明の表示処理装置で
は、不快グレア領域と減能グレア領域を含め、ドライバ
の眩惑を感じる個人差に対応した画像合成が可能とな
る。

【００３１】請求項１１の発明は、請求項５又は６の表
示処理装置において、さらに、前記領域決定手段の用い
る前記所定の輝度閾値を、当該車両の照明灯の点／消灯
状態に応じて可変設定する輝度閾値設定手段を備えたも
のである。

【００３２】請求項１２の発明は、請求項１１の表示処
理装置において、前記輝度閾値設定手段は、当該車両の
ヘッドライト点灯時の方が消灯時よりも前記輝度閾値を
低く設定するようにしたものである。

【００３３】請求項１１及び１２の発明の表示処理装置
では、照明灯の照射による風景の明るさに対応した画像
合成が可能となる。

【００３４】請求項１３の発明は、請求項６の表示処理
装置において、さらに、前記領域決定手段が用いる前記
縦横の領域拡大率を、当該車両の照明灯の点／消灯状態
に応じて可変設定する拡大率設定手段を備えたものであ
る。

【００３５】請求項１４の発明は、請求項１３の表示処
理装置において、前記拡大率設定手段は、当該車両のヘ
ッドライト点灯時の方が消灯時よりも前記領域拡大率を
大きく設定するようにしたものである。

【００３６】請求項１３及び１４の発明の表示処理装置
では、不快グレア領域と減能グレア領域を含め、照明灯
の照射による風景の明るさに対応した画像合成が可能と
なる。

【００３７】請求項１５の発明の表示処理装置は、可視
光による第１の風景画像を得る第１の撮影手段と、前記
可視光以外の光線又は電磁波による第２の風景画像を得
る第２の撮影手段と、前記第２の風景画像上で歩行者の
存在位置を判別する目標物判別手段と、前記第２の風景
画像上で前記歩行者の存在位置を含む部位を切出し、前
記第１の風景画像の対応する部位に合成して合成画像を
得る画像合成手段と、前記合成画像を表示する表示手段
とを備えたものである。

【００３８】請求項１５の発明の表示処理装置では、第
１の撮影手段が可視光による第１の風景画像を得、第２
の撮影手段が可視光以外の光線又は電磁波による第２の
風景画像を得、目標物判別手段が第２の風景画像上で歩
行者の存在位置を判別する。これを受けて、画像合成手
段が第２の風景画像上で歩行者の存在位置を含む部位を
切出して第１の風景画像の対応する部位に合成して合成
画像を得、表示手段に表示させる。

【００３９】これによって、対向車のヘッドライトのよ
うな高輝度の光源によって眩惑され、あるいは低照度環
境のためにドライバの肉眼では見にくいあるいは見えな
い位置に存在する歩行者を表示手段に表示されている合
成画像上で容易に発見できるようになる。

【００４０】請求項１６の発明は、請求項１５の表示処
理装置において、前記画像合成手段が前記歩行者の存在
位置を含む部位として、前記歩行者の身体を包含するの
と同程度の領域を切出すようにしたものである。

【００４１】請求項１７の発明は、請求項１６の表示処
理装置において、前記画像合成手段は、前記歩行者の存
在位置を含む部位として、前記歩行者までの距離が遠方
になるほど、前記領域の大きさを小さく切出すようにし
たものである。

【００４２】請求項１８の発明は、請求項１６の表示処
理装置において、前記画像合成手段は、前記前記歩行者
の存在位置を含む部位として、画面上縦方向の歩行者の
存在位置、前記第２の撮影手段の設置高、撮影方向の俯
角、歩行者の身長から前記領域の大きさを決定して切り
出すようにしたものである。

【００４３】請求項１６〜１８の発明の表示処理装置で
は、歩行者が近ければ切出し領域が大きく、歩行者が遠
ければ切出し領域が小さくなり、歩行者より離れている
部位の可視光による目標物を不用意に塗りつぶすことが
なく、実視野と表示手段の表示画面上との位置関係の照
合がドライバにとって理解しやすくなる。

【００４４】請求項１９の発明は、請求項１５〜１８の
表示処理装置において、前記画像合成手段が、前記第２
の風景画像上の前記歩行者の存在位置を含む部位を切出
して白黒反転させ、前記第１の風景画像の対応する部位
に合成して合成画像を得るようにしたものであり、表示
手段の合成画像上での歩行者の画像と周囲の画像とのコ
ントラストが小さくなってドライバにとって見やすくな
る。

【００４５】請求項２０の発明は、請求項１〜１９の表
示処理装置において、前記第２の撮影手段を赤外線撮影
手段としたものであり、赤外線撮影によって可視光撮影
では捉えられない領域の映像を確実に撮影して第２の風
景画像を得ることができ、表示手段にはドライバにとっ
て視認できる部分は通常の可視光による画像を表示し、
かつ肉眼では視認困難な視界部位あるいは対象物の存在
する部位には赤外線による画像を合成して表示すること
ができ、ドライバにとって表示手段の表示画像を一瞥し
て前方風景の全体を把握し、あるいは対象物の発見がで
きるようになる。

【００４６】

【発明の効果】請求項１の発明によれば、可視光以外の
光線又は電磁波による第２の風景画像から所定の部位を
切出し、可視光による第１の風景画像の対応する部位に
合成し、合成画像にして表示するので、第２の風景画像
から切出す所定の部位としてドライバにとって視認困難
な視界部位に設定おくことにより、表示手段にはドライ
バにとって視認できる部分は通常の可視光による風景を
表示し、かつ肉眼では視認困難な視界部位には可視光以
外の光線又は電磁波による風景を合成して表示すること
ができ、ドライバにとって表示手段の表示画像を一瞥し
て前方風景の全体が把握できるようになる。

【００４７】請求項２の発明によれば、可視光以外の光
線又は電磁波による第２の風景画像からドライバにとっ
て視認困難な視界部位に該当する部位を切出して第１の
風景画像の対応する部位に合成し、合成画像にして表示
するので、表示手段に対してドライバにとって視認でき
る部分は通常の可視光による風景を表示し、かつ肉眼で
は視認困難な視界部位には可視光以外の光線又は電磁波
による風景を合成して表示させることができ、ドライバ
にとって表示手段の表示画像を一瞥して前方風景の全体
が把握できるようになる。

【００４８】請求項３の発明によれば、高輝度の光源に
より眩惑を起こす視界部位をドライバにとって視認困難
な視界部位と決定し、第２の風景画像から該当する部位
を切出して第１の風景画像の対応する部位に合成し、合
成画像にして表示するので、対向車のヘッドライトのよ
うな高輝度の光源によって眩惑され、ドライバの肉眼で
は見にくいあるいは見えないような対象物を表示手段に
表示されている合成画像上で容易に発見できるようにな
る。

【００４９】請求項４の発明によれば、低照度環境で対
象物の写っている視界部位をドライバにとって視認困難
な視界部位と決定し、第２の風景画像から該当する部位
を切出して第１の風景画像の対応する部位に合成し、合
成画像にして表示するので、照明灯に映し出されないよ
うな低照度の領域に存在しているためにドライバの肉眼
では見にくいあるいは見えないような対象物を表示手段
に表示されている合成画像上で容易に発見できるように
なる。

【００５０】請求項５の発明によれば、可視光による第
１の風景画像上の所定の輝度閾値を上回る部位を合成領
域として、可視光以外による第２の風景画像からこの合
成領域に該当する部位を切出して第１の風景画像の対応
する部位に合成し、合成画像を表示するので、高輝度の
光源により眩惑を起こす視界部位が合成領域となるよう
に輝度閾値を設定すれば、対向車のヘッドライトのよう
な高輝度の光源によって眩惑され、ドライバの肉眼では
見にくいあるいは見えないような対象物を表示手段に表
示されている合成画像上で容易に発見できるようにな
る。

【００５１】請求項６の発明によれば、対向車のヘッド
ライトのような高輝度の光源の見かけの大きさで決まる
不快グレア領域とその周囲に位置して光源からの光がド
ライバの眼球内で散乱するために眩しさを感じる減能グ
レア領域を合成領域として可視光以外による第２の風景
画像から切出し、可視光による第１の風景画像の該当す
る部位に合成することができ、対向車のヘッドライトの
ような高輝度の光源によって眩惑され、ドライバの肉眼
では見にくいあるいは見えないような対象物を表示手段
に表示されている合成画像上で容易に発見できるように
なる。

【００５２】請求項７及び８の発明によれば、可視光以
外による第２の風景画像から合成領域を切り出すための
輝度閾値を、表示手段の画面輝度の設定に応じて可変設
定するので、ドライバの眩惑を感じる個人差に対応した
画像合成が可能となる。

【００５３】請求項９及び１０の発明によれば、対向車
のヘッドライトのような高輝度の光源の見かけの大きさ
で決まる不快グレア領域とその周囲に位置して光源から
の光がドライバの眼球内で散乱するために眩しさを感じ
る減能グレア領域を合成領域とし、この合成領域を切出
すための輝度閾値を、表示手段の画面輝度の設定に応じ
て可変設定するので、ドライバの眩惑を感じる個人差に
対応した画像合成が可能である。

【００５４】請求項１１及び１２の発明によれば、可視
光以外による第２の風景画像から合成領域を切出すため
の輝度閾値を、照明灯の点／消灯状態に応じて可変設定
するので、照明灯の照射による風景の明るさに対応した
画像合成が可能である。

【００５５】請求項１３及び１４の発明によれば、対向
車のヘッドライトのような高輝度の光源の見かけの大き
さで決まる不快グレア領域とその周囲に位置して光源か
らの光がドライバの眼球内で散乱するために眩しさを感
じる減能グレア領域を合成領域とし、この合成領域を切
出すための輝度閾値を、照明灯の点／消灯状態に応じて
可変設定するので、照明灯の照射による風景の明るさに
対応した画像合成が可能である。

【００５６】請求項１５の発明によれば、可視光以外の
光線又は電磁波による第２の風景画像上で歩行者の存在
位置を判別し、この第２の風景画像上で歩行者の存在位
置を含む部位を切出して可視光による第１の風景画像の
対応する部位に合成し、合成画像を表示するので、対向
車のヘッドライトのような高輝度の光源によって眩惑さ
れ、あるいは低照度環境のためにドライバの肉眼では見
にくいあるいは見えない位置に存在する歩行者を表示手
段に表示されている合成画像上で容易に発見できるよう
になる。

【００５７】請求項１６〜１８の発明によれば、画像合
成手段が歩行者の存在位置を含む部位として歩行者の身
体を包含するのと同程度の領域を切出すようにしたの
で、歩行者が近ければ切出し領域が大きく、歩行者が遠
ければ切出し領域が小さくなり、歩行者より離れている
部位の可視光による目標物を不用意に塗りつぶすことが
なく、実視野と表示手段の表示画面上との位置関係の照
合がドライバにとって理解しやすくなる。

【００５８】請求項１９の発明によれば、第２の風景画
像上の歩行者の存在位置を含む部位を切出して白黒反転
させ、第１の風景画像の対応する部位に合成し、合成画
像を表示するので、表示手段の合成画像上での歩行者の
画像と周囲の画像とのコントラストが小さくなってドラ
イバにとって見やすくなる。

【００５９】請求項２０の発明によれば、可視光以外に
よる第２の風景画像を得るための第２の撮影手段として
赤外線撮影手段を用いたので、特に実視野では見にくか
ったり見えなかったりする歩行者を確実に捉えて表示す
ることができる。

【００６０】

【発明の実施の形態】以下、本発明の実施の形態を図に
基づいて詳説する。図１は本発明の第１の実施の形態の
表示処理装置の機能構成を示している。この実施の形態
の表示処理装置は、通常の可視光による第１の風景画像
を得るための第１の撮影手段として、ＣＣＤカメラのよ
うな通常の可視光カメラ１、この可視光カメラ１の撮影
した第１の風景画像を記憶しておく可視光画像フレーム
メモリ２、可視光以外の光線又は電磁波による第２の風
景画像を撮影するための第２の撮影手段としての赤外線
カメラ３、この赤外線カメラ３の撮影した第２の風景画
像を記憶しておく赤外線画像フレームメモリ４を備えて
いる。可視光以外による第２の風景画像を得る第２の撮
影手段には、赤外線カメラの他に、例えば、電波レー
ダ、超音波レーダなどを採用することもできる。可視光
カメラ１の視野は赤外線カメラ３の視野を包含する設定
が好ましく、また画角、画素数を統一することによって
後の画像合成処理が単純化され、高速処理化が可能とな
る。なお、これらは以下の他の実施の形態すべてにも同
じく適用できるものである。

【００６１】この実施の形態の表示処理装置はさらに、
可視光画像フレームメモリ２に記憶されている可視光に
よる第１の風景画像と赤外線画像フレームメモリ４に記
憶されている可視光以外の赤外線による第２の風景画像
とに対して後述する所定の画像合成処理を行うＣＰＵ
５、このＣＰＵ５の合成処理画像を記憶する重畳画像フ
レームメモリ６、この重畳画像フレームメモリ６に記憶
されている合成画像を表示する液晶やＣＲＴのような画
像表示手段としての表示モニタ７、この表示モニタ７に
対して画面輝度を設定するためのモニタ輝度設定スイッ
チ８を備えている。このモニタ輝度設定スイッチ８はド
ライバが表示モニタ７の画面輝度を見て自分に合った輝
度に可変設定するためのものであり、その輝度設定信号
は表示モニタ７と共にＣＰＵ５にも入力する構成であ
る。

【００６２】次に、上記構成の表示処理装置の動作を説
明する。図２のフローチャートに示すように、この表示
処理装置の電源投入でスタートすれば、可視光カメラ
１、赤外線カメラ３、表示モニタ７は起動する。そして
可視光カメラ１は設定された視野、画角の可視光による
第１の風景画像を撮影して可視光画像フレームメモリ２
に１フレームずつ順次記憶していく。同時に、赤外線カ
メラ３も設定された視野、画角の赤外線による第２の風
景画像を撮影して赤外線画像フレームメモリ４に１フレ
ームずつ順次記憶していく。

【００６３】そしてＣＰＵ５はドライバが表示モニタ７
の画面輝度を見ながら調整したモニタ輝度設定値をモニ
タ輝度設定スイッチ８から読取る（ステップＳ１）。そ
して赤外線画像フレームメモリ４から赤外線による第２
の風景画像（図４（ｄ）の画像）を取込み（ステップＳ
２）、可視光画像フレームメモリ２から可視光による第
１の風景画像（図４（ａ）の画像）を取込む（ステップ
Ｓ３）。

【００６４】続いて、可視光による第１の風景画像を輝
度に対する所定の閾値をもって２値化し、図４（ｂ）に
示す２値化画像を得る（ステップＳ４）。ここで用いる
閾値は、モニタ輝度設定スイッチ８から得たモニタ輝度
設定値に基づいて調整する。例えば、昼間に用いられる
輝度では、対向車のヘッドライトのような強力な光源の
輪郭部分が検出される程度の輝度とし、夜間に用いられ
る輝度では、対向車のヘッドライトのような強力な光源
の周囲以外の間接反射光がカットされる程度の輝度とす
る。

【００６５】次には図４（ｃ）に示すように、輝度に対
する所定の閾値Ｂをもって２値化した第１の風景画像の
高輝度領域２０を拡大処理して重畳領域２１を決定する
（ステップＳ５）。ここでは、拡大率は閾値に応じて異
なったものを用い、昼間の時間帯での輝度閾値Ｂdayに
よる高輝度領域に対し、夜間の時間帯での輝度閾値Ｂni
ghtによる高輝度領域を縦横共に２倍の大きさに拡大す
る設定にしている。つまり、輝度閾値をＢ、拡大率をＫ
とすると、次の１次式に基づいて拡大率Ｋを得る。

【００６６】Ｋ＝Ｋday・（３−（Ｂ／Ｂnight）） ただし、Ｋnight／Ｋday＝２； Ｂnight／Ｂday＝１／
２である。また、輝度閾値Ｂ、拡大率Ｋとして、昼間で
あればＢday，Ｋdayを用い、夜間であればＢnight，Ｋn
ightを用いる。

【００６７】さらに、表示モニタ７の画面輝度の設定は
昼間は周囲が明るいために高くし、夜間は周囲が暗いの
で低くされる（これは照明灯の点灯／消灯に連動して自
動的に切替わる設定になっているのが通常である）の
で、画面設定輝度が高い場合には昼間と判断し、画面設
定輝度が低い場合には夜間と判断して、上記のＢ，Ｋを
切替え設定する。

【００６８】この高輝度領域の拡大処理の詳細は図３の
フローチャートに示すとおりである。この処理に入る
と、所定の閾値Ｂによる２値化画像の各画素行ｍに対し
て、ステップＳ１２〜Ｓ１４の処理を最大画素行Ｒまで
繰返す（ステップＳ１１〜Ｓ１５）。またこの処理の
後、所定の閾値Ｂによる２値化画像の各画素列ｎに対し
ても、ステップＳ１７〜Ｓ１９の処理を最大画素列Ｃま
で繰返す（ステップＳ１６〜Ｓ１１０）。

【００６９】さてステップＳ１２では、図６（ａ）に示
すように１〜Ｒのうちのｍ番目の画素行の２値化データ
を読込み、閾値Ｂを超えている画素（つまり、高輝度画
素）の始端Ｐmstart・終端Ｐmendを調査する（ステップ
Ｓ１２，Ｓ１３）。続いて図６（ｂ）に示すように画素
行ｍの高輝度画素領域Ｐmstart〜Ｐmendを横方向に拡大
率Ｋだけ拡大して拡大領域Ｐ'mstart〜Ｐ'mendを得る
（ステップＳ１４）。そしてこの処理を画素行１〜Ｒそ
れぞれに対して繰返す（ステップＳ１１〜Ｓ１５）。

【００７０】ここで、 Ｐ'mstart＝（Ｐmend＋Ｐmstart）／２−Ｋ・（Ｐmend
−Ｐmstart）／２ Ｐ'mend ＝（Ｐmend＋Ｐmstart）／２＋Ｋ・（Ｐmend−
Ｐmstart）／２ である。

【００７１】横方向の拡大処理を終えると、次に、ステ
ップＳ１６〜Ｓ１１０の縦方向の拡大処理に入る。ここ
では、図６（ｂ）に示すように１〜Ｃのうちのｎ番目の
画素列の中の高輝度領域の始端Ｑnstart・終端Ｑnendを
調査し（ステップＳ１７，Ｓ１８）、同図（ｃ）に示す
ように画素列ｎの高輝度領域Ｑnstart〜Ｑnendを縦方向
に拡大率Ｋだけ拡大して拡大領域Ｑ'nstart〜Ｑ'nendを
得る（ステップＳ１９）。そしてこの処理を画素列１〜
Ｃそれぞれに対して繰返す（ステップＳ１６〜Ｓ１１
０）。

【００７２】ここで、 Ｑ'nstart＝（Ｑnend＋Ｑnstart）／２−Ｋ・（Ｑnend
−Ｑnstart）／２ Ｑ'nend ＝（Ｑnend＋Ｑnstart）／２＋Ｋ・（Ｑnend−
Ｑnstart）／２ である。

【００７３】これによって、図２のフローチャートにお
けるステップＳ５の拡大処理を行い、可視光による第１
の風景画像における図４（ｂ）に示した高輝度領域２０
を拡大して同図（ｃ）に示した重畳領域２１に決定する
ことになる。

【００７４】次に図４（ｄ）に示すように、この高輝度
拡大領域に対応する領域を赤外線による第２の風景画像
上から重畳領域２２として切出して、図４（ａ）に示し
た２値化前の可視光による第１の風景画像の同じ領域上
に重畳合成し、重畳画像フレームメモリ６に保存し（ス
テップＳ６）、これを表示モニタ７に表示させる（ステ
ップＳ７）。図５は表示モニタ７の表示された重畳合成
画像を示している。なお、この重畳合成処理では、赤外
線画像の切出した重畳領域は不透明にして、背面になる
第１の風景画像が透けて見えないようにしている。

【００７５】この実施の形態では、可視光カメラ１も赤
外線カメラ３も動画撮影カメラであり、第１、第２の風
景画像は動画像であるので、以上のステップＳ２〜Ｓ７
の処理を画像フレームごとに繰返すことによって表示モ
ニタ７に重畳合成画像を動画像として表示させる。

【００７６】こうして、第１の実施の形態の表示処理装
置では、所定の閾値Ｂによって２値化した可視光による
第１の風景画像から対向車のヘッドライトのような高輝
度の光源の見かけの大きさで決まる不快グレア領域を高
輝度領域２０と決定し、さらに所定の拡大率Ｋを掛ける
ことによってこの高輝度領域２０の周囲に位置して光源
からの光がドライバの眼球内で散乱するために眩しさを
感じる減能グレア領域まで重畳合成領域を拡大し、この
重畳合成領域２１に対応する領域２２を第２の風景画像
から切出して２値化前の可視光による第１の風景画像の
該当する部位に合成することにより、対向車のヘッドラ
イトのような高輝度の光源によって眩惑され、ドライバ
の肉眼では見にくいあるいは見えないような対象物を表
示手段に表示されている合成画像上で容易に発見できる
ようになる。これによって、特に対向車のヘッドライト
に入ってしまって歩行者がドライバの視野から消滅する
現象が発生するような場合にもその歩行者の存在を表示
モニタ７で一瞥して認識できるようになる。

【００７７】また表示モニタ７の輝度設定に応じて所定
の輝度閾値Ｂを可変設定するようにしたので、ドライバ
の眩しさを感じる個人差に合わせて重畳領域を調整する
ことができ、ドライバが自ら感じる眩惑範囲と表示モニ
タ７上での表示範囲との相違による違和感を低減するこ
とができる。

【００７８】なお、上記の実施の形態における高輝度領
域の決定のための輝度閾値の設定は特に限定されるわけ
ではなく、実験を繰返すことによってふさわしい値に設
定することができる。また輝度閾値を可変とせず、特に
本発明の表示処理装置の使用が必要となる状況、夜間の
ような低照度環境で使用するのにふさわしい値に固定す
ることもできる。そしてその場合には図１において示し
たモニタ輝度設定スイッチ８は不要となり、構成が単純
になる。また輝度閾値を固定とする場合には、その輝度
閾値を上記の実施の形態の場合よりも若干低めに設定す
れば、通常の不快グレア領域よりもやや広めの領域を高
輝度領域２０として決定することができるようになり、
拡大率を設定して高輝度領域を拡大処理しなくても十分
実用に供することができ、構成がより単純化できる。

【００７９】次に、本発明の第２の実施の形態の表示処
理装置を図７及び図８に基づいて説明する。第２の実施
の形態の表示処理装置の特徴は、ＣＰＵ５が可視光によ
る第１の風景画像に対して高輝度領域を決定するための
所定の閾値をヘッドライト操作スイッチ９によるヘッド
ライトの点／消灯操作状態に応じて可変設定するように
した点にある。なお、図７において、図１に示した第１
の実施の形態と共通する部分には同一の符号を付して示
し、詳しい説明は省略する。

【００８０】この第２の実施の形態の表示処理装置で
は、図８のフローチャートに示すように、ＣＰＵ５がま
ず、ヘッドライト操作スイッチ９の操作状態からヘッド
ライトの点灯状況を読取る（ステップＳ１′）。そし
て、図２に示した第１の実施の形態と同様に、赤外線画
像フレームメモリ４から赤外線による第２の風景画像を
取込み、可視光画像フレームメモリ２から可視光による
第１の風景画像を取込む（ステップＳ２，Ｓ３）。

【００８１】続いて、可視光による第１の風景画像を輝
度に対する所定の閾値をもって２値化して２値化画像を
得る（ステップＳ４）。ここで用いる閾値は、ヘッドラ
イト操作スイッチ９から得たヘッドライト点灯状況に基
づいて調整する。例えば、自車のヘッドライトが消灯さ
れている状態では昼間走行と見なし、対向車のヘッドラ
イトのような強力な光源の輪郭部分が検出される程度の
輝度とし、ヘッドライトが点灯されている状態では夜間
走行と見なし、対向車のヘッドライトのような強力な光
源の周囲以外の間接反射光がカットされる程度の輝度と
する。

【００８２】次に第１の実施の形態と同様にして、所定
の閾値をもって２値化した第１の風景画像の高輝度領域
を拡大処理して重畳領域を決定し（ステップＳ５）、こ
の高輝度拡大領域に対応する領域を赤外線による第２の
風景画像上から重畳領域として切出し、２値化前の可視
光による第１の風景画像の同じ領域上に重畳合成し（ス
テップＳ６）、これを表示モニタ７に表示させる（ステ
ップＳ７）。

【００８３】この実施の形態でも、可視光カメラ１も赤
外線カメラ３も動画撮影カメラであり、第１、第２の風
景画像は動画像であるので、以上のステップＳ２〜Ｓ７
の処理を画像フレームごとに繰返すことによって表示モ
ニタ７に重畳合成画像を動画像として表示させる。

【００８４】こうして、第２の実施の形態の表示処理装
置でも第１の実施の形態と同様、図４及び図６に示した
画像処理ができ、所定の閾値Ｂによって２値化した可視
光による第１の風景画像から対向車のヘッドライトのよ
うな高輝度の光源の見かけの大きさで決まる不快グレア
領域を高輝度領域２０と決定し、さらに所定の拡大率Ｋ
を掛けることによってこの高輝度領域２０の周囲に位置
して光源からの光がドライバの眼球内で散乱するために
眩しさを感じる減能グレア領域まで重畳合成領域２１を
拡大し、この重畳合成領域２１に対応する領域２２を第
２の風景画像から切出して２値化前の第１の風景画像の
該当する部位に合成することにより、対向車のヘッドラ
イトのような高輝度の光源によって眩惑され、ドライバ
の肉眼では見にくいあるいは見えないような対象物を表
示モニタ７に表示されている合成画像上で容易に発見で
きるようになる。これによって、特に対向車のヘッドラ
イトに入ってしまって歩行者がドライバの視野から消滅
する現象が発生するような場合にもその歩行者の存在を
表示モニタ７で一瞥して認識できるようになる。

【００８５】またヘッドライトの点／消灯状態に応じて
所定の輝度閾値Ｂを可変設定するようにしたので、運転
時の周囲の明るさに合わせて重畳領域を調整することが
でき、ドライバが自ら感じる眩惑範囲と表示モニタ７上
での表示範囲との相違による違和感を低減することがで
きる。

【００８６】なお、上記の実施の形態における高輝度領
域の決定のための輝度閾値の設定は特に限定されるわけ
ではなく、実験を繰返すことによってふさわしい値に設
定することができる。また拡大率についても装置機能を
単純化するためには省略することができる。そしてその
場合に、輝度閾値を若干低めに設定すれば、通常の不快
グレア領域よりもやや広めの領域を高輝度領域２０とし
て決定することができるようになり、十分実用できる。

【００８７】次に、本発明の第３の実施の形態の表示処
理装置を図９〜図１４に基づいて説明する。第３の実施
の形態の表示処理装置はＣＰＵ５０が実行する画像処理
に特徴を有している。まず、図９に基づいて機能構成に
ついて説明する。図１に示した第１の実施の形態と同様
に、この第３の実施の形態の表示処理装置は、可視光に
よる第１の風景画像を得るための可視光カメラ１、この
可視光カメラ１の撮影した第１の風景画像を記憶してお
く可視光画像フレームメモリ２、可視光以外の光線又は
電磁波による第２の風景画像を撮影するための第２の撮
影手段としての赤外線カメラ３、この赤外線カメラ３の
撮影した第２の風景画像を記憶しておく赤外線画像フレ
ームメモリ４、後述する所定の画像処理を行うＣＰＵ５
０、このＣＰＵ５０の合成処理画像を記憶する重畳画像
フレームメモリ６、この重畳画像フレームメモリ６に記
憶されている合成画像を表示する表示モニタ７を備えて
いる。

【００８８】第１及び第２の実施の形態ではＣＰＵ５
が、画像の切出しと重畳合成処理の対象となるドライバ
の視認困難な視界部位として眩惑領域を用い、第１の風
景画像上の眩惑領域に対して可視光以外による第２風景
画像から対応する領域の画像を切出して第１の風景画像
の眩惑領域に重畳する処理を行ったが、この第３の実施
の形態のＣＰＵ５０は、画像の切出しと重畳合成処理の
対象となるドライバの視認困難な視界部位として低視界
（可視光ではドライバが眩惑を起こす高輝度環境、ある
いはドライバが周囲の情景と歩行者とを識別できないよ
うな低輝度、低コントラストの環境のいずれをも問わな
い）において歩行者が検出された領域を用い、可視光以
外による第２の風景画像上で歩行者の存在している領域
を判別してその歩行者の存在している所定の領域の画像
を切出し、可視光による第１の風景画像の対応する部位
に重畳合成する処理を行うことを特徴とする。

【００８９】以下、このＣＰＵ５０の実行する画像処理
について、図１０のフローチャート及び図１１〜図１４
の説明図を用いて説明する。この表示処理装置の電源投
入でスタートすれば、可視光カメラ１、赤外線カメラ
３、表示モニタ７は起動する。そして可視光カメラ１は
設定された視野、画角の可視光による、図１３（ａ）に
示すような第１の風景画像を撮影して可視光画像フレー
ムメモリ２に１フレームずつ順次記憶していく。同時
に、赤外線カメラ３も設定された視野、画角の赤外線に
よる、図１３（ｂ）に示すような第２の風景画像を撮影
して赤外線画像フレームメモリ４に１フレームずつ順次
記憶していく。

【００９０】そしてＣＰＵ５０は赤外線画像フレームメ
モリ４から図１３（ｂ）に示す赤外線による第２の風景
画像を取込み（ステップＳ２１）、可視光画像フレーム
メモリ２から図１３（ａ）に示す可視光による第１の風
景画像を取込む（ステップＳ２２）。

【００９１】続いて、赤外線による第２の風景画像から
歩行者の有無を判別する（ステップＳ２３）。この歩行
者の検出には赤外線を放射しやすい頭部の画像の存在を
目安とする。つまり、赤外線による第２の風景画像内か
ら重心位置、縦横比、充足率、実面積などの条件を満た
す部位の存在を調べる。具体的には特開平０９−１２８
５４８号公報に開示されている方法を採用する。これに
よって、歩行者の存在位置を画面上の２次元座標上で画
面全体の幅と高さに対する割合で求める。なお、ここ
で、実際の表示処理では赤外線画像や可視光画像を表示
モニタ７に表示し、その表示画面上で処理する訳ではな
く、実際にはＣＰＵ５０が赤外線画像フレームメモリ４
の画像フレームデータに対して実行する。

【００９２】こうして歩行者の存在を検出すれば、続い
て図１３（ｃ）に示すように、その歩行者の像を含む所
定の領域を切出し領域として決定する（ステップＳ２
４）。この赤外線による第２の風景画像に対する切出し
領域の決定は、次のようにして行う。

【００９３】図１１を参照して、画像の水平画角中心か
ら歩行者の頭部までの実距離ｆｅと、画面上での歩行者
の身長ｅｂは、カメラの設置高Ｈcamと俯角θ、歩行者
の身長Ｈped、カメラからの水平距離Ｌとの間で、それ
ぞれ次の数１〜数３の式で示す関係が存在する。

【００９４】

【数１】

【数２】

【数３】 ここで、歩行者の身長Ｈpedとして成人の平均身長を代
表値として当てはめると、上記のｆｅとｅｂとの関係式
を得ることができる。一方、図１２を参照して、赤外線
による第２の風景画像３１上での歩行者の頭部の検出位
置により、画面上にてｆｅに該当する値を得ることがで
きる。これにより、Ｌに応じたｅｂの値を求めることが
できる。

【００９５】こうして求めた歩行者の頭部に該当する位
置（＝ｅ）と、領域の高さ方向の大きさ（＝ｅｂ）をも
とにして画面上で歩行者を包含する図形を当てはめ、切
出し領域３２とするのである。

【００９６】この実施の形態で歩行者を包含する図形と
しては、（ａ）上部の辺の位置を垂直座標ｅとし、
（ｂ）水平方向の中心線を水平座標とし、（ｃ）垂直方
向の大きさをｅｂとし、（ｄ）水平方向の大きさをｅｂ
／２とする長方形を用いる。

【００９７】次に、赤外線による第２の風景画像から決
定した切出し領域３２の切出しと、切出した領域３２の
可視光による第１の風景画像への重畳合成を行う（ステ
ップＳ２５）。この領域切出しの処理では、赤外線画像
を画素ごとに走査し、その画素の座標がステップＳ２４
で決定した切出し領域３２に含まれているか否かを調
べ、含まれている場合には赤外線画像の該当する画素を
可視光による第１の風景画像の該当する画素上にコピー
する処理を全画面に対して繰返す。

【００９８】ＣＰＵ５０は上記の重畳合成処理が済んだ
重畳合成画像をいったん重畳画像フレームメモリ６に書
出し、これを表示モニタ７が表示する（ステップＳ２
６）。最終的に表示モニタ７に表示される重畳合成画像
は、図１４に示すものとなる。なお、この重畳合成処理
では、赤外線画像から切出した切出し領域３２の画像は
不透明にして、背面になる第１の風景画像が透けて見え
ないようにしている。これによって歩行者の画像が鮮明
になる。

【００９９】この第３の実施の形態では、可視光カメラ
１も赤外線カメラ３も動画撮影カメラであり、第１、第
２の風景画像は動画像であるので、以上のステップＳ２
１〜Ｓ２６の処理を画像フレームごとに繰返すことによ
って表示モニタ７に重畳合成画像を動画像として表示さ
せる。

【０１００】こうして第３の実施の形態の表示処理装置
によれば、対向車のヘッドライトのような高輝度の光源
によって眩惑され、あるいは低輝度、低コントラストの
環境のためにドライバの肉眼では見にくいあるいは見え
ない位置に存在する歩行者を表示モニタ７に表示されて
いる合成画像上で容易に発見できるようになる。

【０１０１】しかも、歩行者を検出した場合にその歩行
者を含む限定された領域の画像だけを赤外線のような可
視光以外による第２の風景画像から切出して、可視光に
よる第１の風景画像の該当する部位に重畳合成して表示
するので、表示画像の大部分はドライバが肉眼で見てい
る風景と一致し、歩行者の存在する部分だけが強調され
るような表示になり、実視野と表示モニタの表示画面上
との位置関係の照合がしやすい。

【０１０２】また歩行者の画像上での大きさに応じて、
つまり、歩行者が自車から遠方に存在するか近くに存在
するかに応じて切出し領域も広狭変化し、表示モニタ７
の表示画面上での歩行者の画像が遠ければ小さく、近け
れば大きく表示されることになり、ドライバの肉眼で視
認できる実風景に照らして、どの程度接近していると離
れているかを容易に把握できる。

【０１０３】また画像上で歩行者の身体を包含するのと
同程度の領域を切出し領域と決定するのに、赤外線画像
上にて縦方向の歩行者の存在位置、カメラの設置高、撮
影方向の俯角、歩行者の身長から求めるようにしたの
で、撮影手段以外の距離計測手段を必要とせず、装置構
成の簡素化が図れる。

【０１０４】なお、上記の第３の実施の形態において、
切出し領域として歩行者を包含する長方形領域を用いた
が、これに限定されず、歩行者の頭部を頂点とし歩行者
のほぼ全身を含むだ円形領域とすることができる。

【０１０５】また比較的近距離に存在する歩行者を目標
物とする場合、頭部に該当する大きさを調べ、頭部と体
全体との比率、つまり、図１２におけるα：βの値を固
定値として、領域３２の高さ方向の大きさｅｂを簡易的
に決定して切出し領域を決定することもできる。

【０１０６】次に、本発明の第４の実施の形態の表示処
理装置を図１５〜図１７に基づいて説明する。第４の実
施の形態の特徴は、ＣＰＵ５０が歩行者の存在を検出し
てその歩行者を含む所定の領域を切出し領域として決定
すれば、第２の風景画像からの切出し画像を白黒反転処
理してから可視光による第１の風景画像に重畳合成処理
する点にある。

【０１０７】この第４の実施の形態の表示処理装置の機
能構成は、第３の実施の形態と同様に図９に示したもの
である。そしてＣＰＵ５０が実行する処理が、図１５の
フローチャートに示すようになる。

【０１０８】すなわち、図１０に示した第３の実施の形
態のフローチャートと同様に、赤外線画像フレームメモ
リ４から赤外線による第２の風景画像を取込み（ステッ
プＳ２１）、可視光画像フレームメモリ２から可視光に
よる第１の風景画像を取込む（ステップＳ２２）。続い
て、赤外線による第２の風景画像から歩行者の有無を判
別し（ステップＳ２３）、その歩行者の像を含む所定の
領域を切出し領域として決定する（ステップＳ２４）。

【０１０９】次に、赤外線による第２の風景画像から決
定した切出し領域の切出し、さらにその白黒反転処理を
行い、白黒反転後の画像を可視光による第１の風景画像
の該当する部位に重畳合成する（ステップＳ２５′）。
このステップＳ２５′での画像の切出しと白黒反転と重
畳処理では、赤外線による第２の風景画像を２次元的に
１画素ごとに走査し、その画素の座標がステップＳ２４
で決定した切出し領域に含まれているか否かを調べる。
そして含まれている場合には、赤外線画像の該当する画
素について、図１６に示すように明度の反転処理を行
い、これを可視光による第１の風景画像の該当する座標
の画素上にコピーする処理を全画面に対して繰返す。

【０１１０】ＣＰＵ５０は上記の重畳合成処理が済んだ
重畳合成画像をいったん重畳画像フレームメモリ６に書
出し、これを表示モニタ７に表示させる（ステップＳ２
６）。最終的に表示モニタ７に表示される重畳合成画像
は、図１７に示すものとなる。

【０１１１】この第４の実施の形態でも、可視光カメラ
１も赤外線カメラ３も動画撮影カメラであり、第１、第
２の風景画像は動画像であるので、以上のステップＳ２
１〜Ｓ２６の処理を画像フレームごとに繰返すことによ
って表示モニタ７に重畳合成画像を動画像として表示さ
せる。

【０１１２】こうして第４の実施の形態の表示処理装置
によれば、第３の実施の形態と同様の効果を奏し、さら
に、赤外線による第２の風景画像の中の歩行者の画像を
白黒反転させて可視光による第１の風景画像の該当する
部位に重畳合成するので、自ら発光することがない歩行
者が赤外線画像上で周囲よりも明るく映る違和感を低減
することができる。

【０１１３】なお、上記の第４の実施の形態において
も、切出し領域として歩行者を包含する長方形領域を用
いたが、これに限定されず、歩行者の頭部を頂点とし歩
行者のほぼ全身を含むだ円形領域とすることができる。
また比較的近距離に存在する歩行者を目標物とする場
合、頭部に該当する大きさを調べ、頭部と体全体との比
率、つまり、図１２におけるα：βの値を固定値とし
て、領域３２の高さ方向の大きさを簡易的に決定して切
出し領域を決定することもできる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の機能構成を示すブ
ロック図。

【図２】上記の実施の形態による重畳画像の表示処理の
フローチャート。

【図３】上記の実施の形態による高輝度領域の拡大処理
のフローチャート。

【図４】上記の実施の形態による画像処理の説明図。

【図５】上記の実施の形態による表示画像の説明図。

【図６】上記の実施の形態による高輝度領域の拡大処理
の説明図。

【図７】本発明の第２の実施の形態の機能構成を示すブ
ロック図。

【図８】上記の実施の形態による重畳画像の表示処理の
フローチャート。

【図９】本発明の第３の実施の形態の機能構成を示すブ
ロック図。

【図１０】上記の実施の形態による重畳画像の表示処理
のフローチャート。

【図１１】上記の実施の形態による歩行者の切出し領域
を決定するための計算処理の説明図。

【図１２】上記の実施の形態による歩行者の切出し領域
を決定するための計算処理の説明図。

【図１３】上記の実施の形態による画像処理の説明図。

【図１４】上記の実施の形態による表示画像の説明図。

【図１５】本発明の第４の実施の形態の重畳画像の表示
処理のフローチャート。

【図１６】上記の実施の形態による切出し領域の白黒反
転処理の説明図。

【図１７】上記の実施の形態による表示画像の説明図。

【符号の説明】

１ 可視光カメラ ２ 可視光画像フレームメモリ ３ 赤外線カメラ ４ 赤外線画像フレームメモリ ５ ＣＰＵ ６ 重畳画像フレームメモリ ７ 表示モニタ ８ モニタ輝度設定スイッチ ９ ヘッドライト操作スイッチ ２０ 高輝度領域 ２１ 重畳領域 ２２ 重畳領域 ３１ 第２の風景画像 ３２ 切出し領域

Claims (20)

【特許請求の範囲】
1. 【請求項１】 可視光による第１の風景画像を得る第１
   の撮影手段と、 前記可視光以外の光線又は電磁波による第２の風景画像
   を得る第２の撮影手段と、 前記第２の風景画像から所定の部位を切出し、前記第１
   の風景画像の対応する部位に合成して合成画像を得る画
   像合成手段と、 前記合成画像を表示する表示手段とを備えて成る表示処
   理装置。
2. 【請求項２】 可視光による第１の風景画像を得る第１
   の撮影手段と、 前記可視光以外の光線又は電磁波による第２の風景画像
   を得る第２の撮影手段と、 ドライバにとって視認困難な視界部位に該当する前記第
   １の風景画像上の部位を合成領域として決定する領域決
   定手段と、 前記第２の風景画像から前記合成領域に該当する部位を
   切出し、前記第１の風景画像の対応する部位に合成して
   合成画像を得る画像合成手段と、 前記合成画像を表示する表示手段とを備えて成る表示処
   理装置。
3. 【請求項３】 前記領域決定手段は、高輝度の光源によ
   り眩惑を起こす視界部位を前記ドライバにとって視認困
   難な視界部位と決定することを特徴とする請求項１又は
   ２に記載の表示処理装置。
4. 【請求項４】 前記領域決定手段は、低照度環境で対象
   物の写っている視界部位を前記ドライバにとって視認困
   難な視界部位と決定することを特徴とする請求項１又は
   ２に記載の表示処理装置。
5. 【請求項５】 可視光による第１の風景画像を得る第１
   の撮影手段と、 前記可視光以外の光線又は電磁波による第２の風景画像
   を得る第２の撮影手段と、 前記第１の風景画像上の所定の輝度閾値を上回る部位を
   合成領域として決定する領域決定手段と、 前記第２の風景画像から前記合成領域に該当する部位を
   切出し、前記第１の風景画像の対応する部位に合成して
   合成画像を得る画像合成手段と、 前記合成画像を表示する表示手段とを備えて成る表示処
   理装置。
6. 【請求項６】 前記領域決定手段は、前記第１の風景画
   像上の前記所定の輝度閾値を上回る部位に対して、縦横
   に所定率だけ拡大した領域を合成領域として決定するこ
   とを特徴とする請求項５に記載の表示処理装置。
7. 【請求項７】 前記表示手段の画面輝度を可変設定する
   画面輝度設定手段と、 前記領域決定手段の用いる前記所定の輝度閾値を、前記
   画面輝度設定手段の設定した画面輝度に対応して可変設
   定する輝度閾値設定手段とを備えて成る請求項５又は６
   に記載の表示処理装置。
8. 【請求項８】 前記輝度閾値設定手段は、前記画面輝度
   設定手段が前記画面輝度を小さく設定するときには、前
   記輝度閾値を低く設定することを特徴とする請求項７に
   記載の表示処理装置。
9. 【請求項９】 前記表示手段の画面輝度を可変設定する
   画面輝度設定手段と、 前記領域決定手段が用いる前記縦横の領域拡大率を、前
   記画面輝度設定手段の設定した画面輝度に対応して可変
   設定する拡大率設定手段とを備えて成る請求項６に記載
   の表示処理装置。
10. 【請求項１０】 前記拡大率設定手段は、前記画面輝度
    設定手段が前記画面輝度を小さく設定するときには、前
    記領域拡大率を大きく設定することを特徴とする請求項
    ９に記載の表示処理装置。
11. 【請求項１１】 前記領域決定手段の用いる前記所定の
    輝度閾値を、当該車両の照明灯の点／消灯状態に応じて
    可変設定する輝度閾値設定手段を備えて成る請求項５又
    は６に記載の表示処理装置。
12. 【請求項１２】 前記輝度閾値設定手段は、当該車両の
    ヘッドライト点灯時の方が消灯時よりも前記輝度閾値を
    低く設定することを特徴とする請求項１１に記載の表示
    処理装置。
13. 【請求項１３】 前記領域決定手段が用いる前記縦横の
    領域拡大率を、当該車両の照明灯の点／消灯状態に応じ
    て可変設定する拡大率設定手段を備えて成る請求項６に
    記載の表示処理装置。
14. 【請求項１４】 前記拡大率設定手段は、当該車両のヘ
    ッドライト点灯時の方が消灯時よりも前記領域拡大率を
    大きく設定することを特徴とする請求項１３に記載の表
    示処理装置。
15. 【請求項１５】 可視光による第１の風景画像を得る第
    １の撮影手段と、 前記可視光以外の光線又は電磁波による第２の風景画像
    を得る第２の撮影手段と、 前記第２の風景画像上で歩行者の存在位置を判別する目
    標物判別手段と、 前記第２の風景画像上で前記歩行者の存在位置を含む部
    位を切出し、前記第１の風景画像の対応する部位に合成
    して合成画像を得る画像合成手段と、 前記合成画像を表示する表示手段とを備えて成る表示処
    理装置。
16. 【請求項１６】 前記画像合成手段は、前記歩行者の存
    在位置を含む部位として、前記歩行者の身体を包含する
    のと同程度の領域を切出すことを特徴とする請求項１５
    に記載の表示処理装置。
17. 【請求項１７】 前記画像合成手段は、前記歩行者の存
    在位置を含む部位として、前記歩行者までの距離が遠方
    になるほど、前記領域の大きさを小さく切出すことを特
    徴とする請求項１６に記載の表示処理装置。
18. 【請求項１８】 前記画像合成手段は、前記前記歩行者
    の存在位置を含む部位として、画面上縦方向の歩行者の
    存在位置、前記第２の撮影手段の設置高、撮影方向の俯
    角、歩行者の身長から前記領域の大きさを決定して切り
    出すことを特徴とする請求項１６に記載の表示処理装
    置。
19. 【請求項１９】 前記画像合成手段は、前記第２の風景
    画像上の前記歩行者の存在位置を含む部位を切出して白
    黒反転させ、前記第１の風景画像の対応する部位に合成
    して合成画像を得ることを特徴とする請求項１５〜１８
    のいずれかに記載の表示処理装置。
20. 【請求項２０】 前記第２の撮影手段が赤外線撮影手段
    であることを特徴とする請求項１〜１９のいずれかに記
    載の表示処理装置。