JP4779780B2 - 画像表示装置 - Google Patents

Description

本発明は、実景に不可視画像を重ねて表示する画像表示装置に関する。

夜間などの肉眼で見え難い状況における運転者を支援するために、車両搭載用の暗視機能を備えた画像表示装置が各種開発されている。これら画像表示装置には、赤外線カメラで撮像した赤外線画像と可視カメラで撮像した可視画像によって、運転者が肉眼で視認困難な領域を赤外線画像から切り出し、その領域の赤外線画像を可視画像に合成してモニタなどに表示するものがある（特許文献１参照）。また、画像表示装置には、赤外線カメラで撮像した赤外線画像から運転者の肉眼で視認困難な領域を切り出し、ヘッドアップディスプレイによってその領域の赤外線画像を実景に重畳表示するものがある（特許文献２参照）。この画像表示装置では、赤外線画像の中で輝度が所定の第１輝度閾値以下の画素からなる領域又は可視カメラで撮像した可視画像の中で輝度が所定の第２輝度閾値以下の画素からなる領域を視認困難領域としている。
特開平１１−３０８６０９号公報 特開２００４−２５４０４４号公報

実景に不可視画像を重畳表示すると、実景（可視画像）の明るさと不可視画像の明るさとが同程度の領域が存在する場合がある。この場合、運転者は実景かあるいは不可視画像かどちらを優先して見てよいか分からなくなって脳が混乱し、ＭＲ[Mixed Reality]視野闘争（複合現実感中に起こる視野闘争）が発生する。ＭＲ視野闘争が発生すると、運転者は、その領域の不可視画像を長時間見ることが困難になり、遮蔽感を感じたり、あるいは、酔ったような状態になる。

そこで、本発明は、実景に不可視画像を重ねて表示する場合にＭＲ視野闘争の発生を抑制する画像表示装置を提供することを課題とする。

本発明に係る画像表示装置は、実景に不可視画像を重ねて表示する画像表示装置であって、可視撮像手段と、視認しにくい領域の様子を画像として取得する不可視撮像手段と、可視撮像手段で撮像した可視画像と不可視撮像手段で撮像した不可視画像との対応する各画素間の輝度の差異情報を演算する演算手段と、演算手段で演算した輝度の差異情報に応じて重ねて表示する不可視画像の画素の輝度を調整する調整手段とを備えることを特徴とする。

この画像表示装置では、可視撮像手段により、ある景色を撮像し、可視画像を取得する。この可視画像の輝度情報は、人間が実際にその景色を見た場合の明るさ情報に相当する。また、画像表示装置では、不可視撮像手段により、同じ景色を撮像し、不可視画像を取得する。この不可視撮像手段は、人の目では視認しにくい領域（視認することができない領域も含む）の様子を人にとって視認しやすい画像として取得することが可能な手段である。そして、画像表示装置では、演算手段により、可視画像と不可視画像とにおける対応する各画素間の輝度の差異情報を演算する。輝度の差異情報は、可視画像の画素の輝度と不可視画像の画素の輝度との差異を示すような様々な情報であり、例えば、一方の輝度を他方の輝度で除算した輝度比、一方の輝度から他方の輝度を減算した輝度差（絶対値）である。さらに、画像表示装置では、調整手段により、各画素の輝度の差異情報に応じて重ねて表示する不可視画像の対応する画素の輝度を調整する。そして、画像表示装置では、この輝度を調整した不可視画像を実景に重ねて表示する。この構成により、画像表示装置では、実景に重ねて表示する不可視画像の明るさを実景の明るさと同程度にならないように調整することができ、実景の明るさと不可視画像の明るさとに明確な差ができる。そのため、この画像表示装置のユーザは、その実景と不可視画像を見た場合、実景の方が明るい箇所では実景を優先でき、不可視画像が明るい箇所では不可視画像を優先できるので、ＭＲ視野闘争の発生が抑制される。その結果、ユーザは、暗くて肉眼で視認困難なものも不可視画像によって確実に視認することができる。

本発明の上記画像表示装置では、演算手段は、輝度の差異情報として不可視撮像手段で撮像した不可視画像の輝度の可視撮像手段で撮像した可視画像の輝度に対する輝度比を演算し、調整手段は、演算手段で演算した輝度比が第１閾値と第２閾値との間の値の場合には重ねて表示する不可視画像の画素の輝度を高く調整する構成としてもよい。

この画像表示装置では、演算手段により、可視画像と不可視画像とにおける対応する各画素間の不可視画像の輝度の可視画像の輝度に対する輝度比を演算する。そして、画像表示装置では、調整手段により、各画素の輝度比が第１閾値と第２閾値との間の値の場合には重ねて表示する不可視画像の画素の輝度を高く調整する。第１閾値と第２閾値は、輝度比により実景（可視画像）の明るさと不可視画像の明るさとが同程度である（ＭＲ視野闘争が発生する可能性がある）と判断できる下限値と上限値であり、実験などによって設定される。これにより、実景の明るさと不可視画像の明るさとが同程度であった領域については、重ねて表示する不可視画像では明るくなり、ユーザは不可視画像を優先できる。その結果、ＭＲ視野闘争の発生を確実に防止することができる。なお、輝度を高くする場合、遠近感を損なわない程度に高くするとよい。

本発明の上記画像表示装置では、演算手段は、輝度の差異情報として輝度比を演算し、調整手段は、演算手段で演算した輝度比が第１閾値よりも小さい値の場合には重ねて表示する不可視画像の画素の輝度を０にする構成としてもよい。

この画像表示装置では、演算手段により、可視画像と不可視画像とにおける対応する各画素間の輝度比を演算する。そして、画像表示装置では、調整手段により、各画素の輝度比が第１閾値よりも小さい場合には重ねて表示する不可視画像の画素の輝度を０にする。第１閾値は、輝度比により実景（可視画像）が不可視画像よりも明るい（ＭＲ視野闘争が発生しない）と判断できる値であり（上記した輝度比により実景の明るさと不可視画像の明るさとが同程度であると判断できる下限値に相当する値であり）、実験などによって設定される。これにより、実景が不可視画像より十分に明るい領域については、不可視画像が表示されなくなり、ユーザは確実に可視画像を優先できる。その結果、ＭＲ視野闘争の発生を確実に防止することができる。

本発明は、重ねて表示する不可視画像の各画素の輝度を実景の明るさと同程度にならないように調整することにより、ＭＲ視野闘争の発生を抑制することができる。

以下、図面を参照して、本発明に係る画像表示装置の実施の形態を説明する。

本実施の形態では、本発明に係る画像表示装置を、車両に搭載される暗視装置に適用する。本実施の形態に係る暗視装置は、夜間走行などの肉眼では見え難く状況での運転者を支援するために、実景に近赤外線カメラで撮像した近赤外線映像（支援映像）を重畳表示する。

図１〜図３を参照して、本実施の形態に係る暗視装置１について説明する。図１は、本実施の形態に係る暗視装置の構成図である。図２は、本実施の形態に係る暗視装置の各機器の配置図である。図３は、運転者が肉眼で視認可能な領域を示す図である。

暗視装置１は、近赤外線による暗視装置であり、実景に暗視した支援映像を重ねて表示する。特に、暗視装置１では、ＭＲ視野闘争の発生を防止するために、近赤外線映像の明るさ情報と実景の明るさ情報を取得し、実景の明るさと支援映像の明るさとが同程度にならないように支援映像の明るさを近赤外線映像の明るさから調整する。暗視装置１は、近赤外線投光器２、近赤外線カメラ３、可視カメラ４、ヘッドアップディスプレイ５及びＥＣＵ[Electronic Control Unit]６を備えている。

なお、本実施の形態では、近赤外線カメラ３が特許請求の範囲に記載する不可視撮像手段に相当し、可視カメラ４が可視撮像手段に相当する。

近赤外線投光器２は、車両の前端に配置され、車両前方に向けて取り付けられる。近赤外線投光器２は、車両の前方に近赤外線を照射する。近赤外線投光器２による照射範囲は、自車のヘッドライトで照射するロービームの照射範囲Ａ１の前方数１０ｍまでを十分に含む範囲とする（図３参照）。近赤外線投光器２は、暗視装置１が起動時にＯＮされ、停止時にＯＦＦされる。なお、ヘッドライトから照射される光の中に近赤外線も含まれるので、近赤外線投光器２を備えない構成としてもよい。ただし、近赤外線投光器２を備える構成の方が、暗視効果が向上する。

近赤外線カメラ３は、車両の前側に配置され、車両前方に向けて取り付けられる。近赤外線カメラ３は、可視光カットフィルタを有しており、近赤外線（近赤外線投光器２からの近赤外線の反射光など）を取り込み、その近赤外線の強弱に応じた濃淡によって近赤外線映像を生成する。近赤外線カメラ３では、近赤外線投光器２の照射範囲及び他の近赤外線の照射されている領域（例えば、対向車のヘッドライトの照射範囲Ａ２や街灯の照射範囲Ａ３）を撮像可能である（図３参照）。近赤外線映像には、運転者が肉眼で見ることができないものも写っている。また、近赤外線映像は、一定時間（例えば、１／３０秒）毎のフレームの近赤外線画像からなる。近赤外線カメラ３では、一定時間毎に、各フレームの近赤外線画像情報を近赤外線画像信号としてＥＣＵ６に送信する。

可視カメラ４は、近赤外線カメラ３と同様に、車両の前側に配置され、車両前方に向けて取り付けられる。可視カメラ４は、赤外線カットフィルタを有しており、可視光を取り込み、その可視光の強弱に応じた濃淡によって可視映像を生成する。可視カメラ４では、自車のヘッドライトの照射範囲Ａ１及び他の可視光の照射されている領域（例えば、対向車のヘッドライトの照射範囲Ａ２や街灯の照射範囲Ａ３）を撮像可能である（図３参照）。可視映像には、運転者が肉眼で実際に見ることができる景色が写っており、実景の明るさ情報を含んでいる。可視映像も、一定時間毎のフレームの可視画像からなる。可視カメラ４では、一定時間毎に、各フレームの可視画像情報を可視画像信号としてＥＣＵ６に送信する。

ちなみに、図３に示す対向車のヘッドライトの照射範囲Ａ２や街灯の照射範囲Ａ３については、近赤外線カメラ３及び可視カメラ４で撮像可能である。しかし、歩行者Ｍについては、自車の照射範囲Ａ１、対向車の照射範囲Ａ２、街灯の照射範囲Ａ３にも含まれないので、近赤外線カメラ３でしか撮像できない。

ヘッドアップディスプレイ５は、プロジェクタ５ａ及びコンバイナ５ｂを備えている。プロジェクタ５ａでは、ＥＣＵ６から支援映像信号を受信毎に、液晶パネルで支援画像に応じた表示画像を生成し、その表示画像をコンバイナ５ｂに向けて投射する。コンバイナ５ｂでは、投射された表示画像を運転者の目の方向に向けて回折する。すると、運転者には、その表示画像が所定距離（例えば、１５ｍ程度）前方に浮かびあがるように見える。特に、ヘッドアップディスプレイ５は、表示画像が実景に対して１対１で重ね合わさるように表示される機能を有しており、車両前方に物体が存在する場合にはその物体と同じ位置に同じ大きさ及び形状の物体画像を半透明状で表示する。

ＥＣＵ６は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[ReadOnly Memory]、ＲＡＭ[Random Access Memory]などからなり、ＲＯＭに保持されるソフトウエアをＣＰＵで実行することによって輝度比演算部６ａ、支援映像生成部６ｂが構成される。ＥＣＵ６では、一定時間毎に、近赤外線カメラ３から近赤外線画像信号と可視カメラ４から可視画像信号を受信し、近赤外線映像（近赤外線画像）と可視映像（可視画像）との画素毎の輝度比を求める。そして、ＥＣＵ６では、画素毎に、輝度比に応じて近赤外線映像の輝度を調整して支援映像（支援画像）の輝度を設定する。さらに、ＥＣＵ６では、支援映像情報からなる支援映像信号をヘッドアップディスプレイ５に送信する。

なお、本実施の形態では、輝度比演算部６ａが特許請求の範囲に記載する演算手段に相当し、支援映像生成部６ｂが特許請求の範囲に記載する調整手段に相当する。

輝度比演算部６ａでは、画素毎に、近赤外線画像と可視画像から対応する位置の画素の輝度をそれぞれ抽出する。そして、輝度比演算部６ａでは、画素毎に、近赤外線画像の画素の輝度を可視画像の画素の輝度で除算して輝度比を求める。この輝度比は、近赤外線画像の画素の輝度と可視画像の画素の輝度との差異を表し、０以上の値である。輝度比が１より大きいほど、近赤外線画像の輝度の方が高い（近赤外線画像の方が明るい）。一方、輝度比が１より小さいほど、可視画像の輝度の方が低い（可視画像の方が明るい）。

支援映像生成部６ｂでは、画素毎に、輝度比が第１閾値未満か、第１閾値以上かつ第２閾値以下か、あるいは、第２閾値より大きいかを判定する。第１閾値と第２閾値は、輝度比により近赤外線画像の明るさと可視画像（すなわち、運転者が実際に見ている景色）の明るさとが同程度である（ＭＲ視野闘争が発生する可能性がある）と判断できる下限値と上限値である。第１閾値としては、例えば、１未満で、１に近い数値が設定される。第２閾値としては、例えば、２前後の数値が設定される。

なお、第１閾値、第２閾値は、実験によって設定される。実験としては、ある景色（物体）に対して各段階の輝度比になるように近赤外線と可視光を設定し、それを多数の被験者に見せる。この際、背景輝度も幾つの段階に設定する。そして、各輝度比と各背景輝度について、各被験者から、実景かあるいは支援映像かどちらを優先して見てよいか分からなくなり、酔ったような感じになったか否か（つまり、ＭＲ視野闘争が発生したか否か）のデータを収集する。その結果、背景輝度に関係なく、ＭＲ視野闘争が発生した輝度比の範囲を特定し、その範囲の下限値を第１閾値とし、上限値を第２閾値とする。

輝度比が第１閾値未満と判定した場合（つまり、可視画像の方が明るい場合）、支援映像生成部６ｂでは、０を支援画像におけるその画素の輝度として設定する。支援画像の画素の輝度を０にすることによって、その画素の近赤外線画像が重畳表示されない。

輝度比が第１閾値以上かつ第２閾値以下と判定した場合（つまり、近赤外線画像の明るさと可視画像の明るさとが同程度の場合）、支援映像生成部６ｂでは、近赤外線画像におけるその画素の輝度に輝度増加値を加算した値を支援画像におけるその画素の輝度として設定する。支援画像の画素の輝度を近赤外線画像より高くすることによって、その画素が近赤外線画像より明るく重畳表示される。輝度増加値は、ＭＲ視野闘争が発生しないように近赤外線画像より支援画像を明るくするための値であり、その画素についての支援画像の輝度を可視画像の輝度で除算した輝度比が第２閾値を超えるような値である。したがって、輝度増加値は、予め設定された第１閾値に基づく固定値でもよいし、あるいは、演算された輝度比に応じた可変値としてもよい。

輝度比が第２閾値より大きいと判定した場合（つまり、近赤外線画像の方が明るい場合）、支援映像生成部６ｂでは、近赤外線画像におけるその画素の輝度を支援画像におけるその画素の輝度としてそのまま設定する。支援映像の画素の輝度を近赤外線画像の画素の輝度とすることによって、その画素が近赤外線画像と同じ明るさで重畳表示される。

全ての画素についての処理が終了すると、支援映像生成部６ｂでは、設定した各画素の輝度からなる支援画像情報を生成し、その支援画像情報からなる支援映像信号をヘッドアップディスプレイ５に送信する。

図１〜図３を参照して、暗視装置１の動作について説明する。特に、ＥＣＵ６における処理について図４のフローチャートに沿って説明する。図４は、本実施の形態に係る暗視装置のＥＣＵにおける処理の流れを示すフローチャートである。

暗くなり、運転者が暗視装置１を起動すると、暗視装置１では、近赤外線投光器２をＯＮし、近赤外線を車両前方に照射する。近赤外線カメラ３では、近赤外線を取り入れて近赤外線映像化し、一定時間毎に各フレームの近赤外線画像情報の近赤外線画像信号をＥＣＵ６に送信している。また、可視カメラ４では、可視光を取り入れて可視映像化し、一定時間毎に各フレームの可視画像情報の可視画像信号をＥＣＵ６に送信している。

ＥＣＵ６では、一定時間毎に、近赤外線カメラ３から近赤外線画像信号を受信し、近赤外線映像（今回フレームの近赤外線画像）を取得する（Ｓ１）。また、ＥＣＵ６では、一定時間毎に、可視カメラ４から可視画像信号を受信し、可視映像（今回フレームの可視画像）を取得する（Ｓ２）。

２つの画像間の対応する位置の画素毎に、ＥＣＵ６では、近赤外線画像から輝度を抽出するとともに（Ｓ３）、可視画像から輝度を抽出する（Ｓ４）。そして、ＥＣＵ６では、近赤外線画像の輝度と可視画像の輝度との輝度比を演算する（Ｓ５）。さらに、ＥＣＵ６では、支援画像の輝度として、輝度比が第１閾値未満の画素には０を設定し、輝度比が第１閾値以上かつ第２閾値以下の画素には（近赤外線画像の輝度＋輝度増加値）を設定し、輝度比が第２閾値より大きい画素には近赤外線画像の画素の輝度を設定する（Ｓ６）。

ＥＣＵ６では、全ての画素についての処理が終了したか否かを判定する（Ｓ７）。Ｓ７にて全ての画素について終了していないと判定した場合、ＥＣＵ６では、Ｓ３に戻り、次の画素についての処理を行う。Ｓ７にて全ての画素について終了したと判定した場合、ＥＣＵ６では、設定した全ての画素の輝度からなる支援画像情報を支援映像信号としてヘッドアップディスプレイ５に送信する（Ｓ８）。そして、ＥＣＵ６では、Ｓ１に戻り、次のフレームについての処理を行う。

支援映像信号を受信すると、ヘッドアップディスプレイ５では、その支援画像を実景に１対１で表示するための表示画像に変換し、その表示画像を実景に重畳表示する。この表示画像は一定時間毎に更新されて支援映像となり、運転者は、実景に加えて、実景に重ねられた支援映像も見ることになる。

この支援映像は、実景の方が明るい領域については表示されておらず、近赤外線映像と実景とが同程度の明るさの領域については近赤外線映像より明るく表示されており、近赤外線映像の方が明るい箇所については近赤外線映像の明るさのままで表示されている。そのため、支援映像の全体にわたって、実景の明るさと支援映像の明るさとには明確な差がある（第１閾値未満かあるいは第２閾値より大きい輝度比となる差がある）。その結果、運転者は、実景の方が明るい領域では実景を優先して見ることができ、支援映像の方が明るい領域では支援映像を優先して見ることができる。したがって、運転者は、肉眼では見え難いようなものについて支援映像によって確実に視認できる。

この暗視装置１によれば、近赤外線映像と可視映像（すなわち、実景）との画素毎の輝度比に応じて支援映像の輝度を設定することにより、支援映像の明るさと実景の明るさとが同程度にならないようにすることができる。その結果、運転者は、ＭＲ視野闘争が発生せず、肉眼で見える領域を実景で、肉眼で見え難い領域を支援映像で確実に視認することができる。

特に、暗視装置１では、輝度比が第１閾値と第２閾値との範囲内の画素については近赤外線映像より明るくすることにより、運転者が支援映像を確実に優先して見ることができ、ＭＲ視野闘争の発生を確実に防止することができる。また、暗視装置１では、輝度比が第１閾値未満の画素については近赤外線映像の表示を無くすことにより、運転者が実景を確実に優先して見ることができ、ＭＲ視野闘争の発生を確実に防止することができる。さらに、暗視装置１では、輝度比を利用することにより、背景輝度に依存せずに各画素の判定を行うことができ、処理を簡単化することができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では車両に搭載する暗視装置に適用したが、実景に不可視画像を重ねて表示する画像表示装置なら他の装置にも適用可能である。

また、本実施の形態では不可視撮像手段として近赤外線カメラを適用したが、人の目では視認しにくい又は視認することができない領域の様子を人にとって視認しやすい画像として取得することが可能な手段であれば適用可能であり、近赤外線以外の赤外線カメラでもよいし、あるいは、他の電磁波による不可視カメラでもよい。

また、本実施の形態では可視画像と不可視画像との対応する画素の輝度の差異情報として輝度比を用いたが、輝度差（絶対値）などの他の差異情報を用いてもよい。また、輝度比としては、近赤外線画像の画素の輝度を可視画像の画素の輝度で除算した値を用いたが、可視画像の画素の輝度を近赤外線画像の画素の輝度で除算した値を用いてもよい。

また、本実施の形態では可視画像と近赤外線画像とが同程度の明るさの画素では近赤外線画像の輝度より高くする（明るくする）構成としたが、実景がある程度明るい場合（人間の肉眼で見て十分に視認できる場合）には近赤外線画像の輝度を低くする（暗くする）構成としてもよい。

また、本実施の形態では可視画像が近赤外線画像より明るい画素では支援画像の輝度を０にする（近赤外線画像を表示しない）構成としたが、近赤外線画像の輝度を低くして表示してもよいし、あるいは、ＭＲ視野闘争が発生しない程度であれば近赤外線画像をそのまま表示してもよい。

本実施の形態に係る暗視装置の構成図である。 本実施の形態に係る暗視装置の各機器の配置図である。 運転者が肉眼で視認可能な領域を示す図である。 本実施の形態に係る暗視装置のＥＣＵにおける処理の流れを示すフローチャートである。

符号の説明

１…暗視装置、２…近赤外線投光器、３…近赤外線カメラ、４…可視カメラ、５…ヘッドアップディスプレイ、５ａ…プロジェクタ、５ｂ…コンバイナ、６…ＥＣＵ、６ａ…輝度比演算部、６ｂ…支援映像生成部

Claims (3)

1. 実景に不可視画像を重ねて表示する画像表示装置であって、
   可視撮像手段と、
   視認しにくい領域の様子を画像として取得する不可視撮像手段と、
   前記可視撮像手段で撮像した可視画像と前記不可視撮像手段で撮像した不可視画像との対応する各画素間の輝度の差異情報を演算する演算手段と、
   前記演算手段で演算した輝度の差異情報に応じて重ねて表示する不可視画像の画素の輝度を調整する調整手段と
   を備えることを特徴とする画像表示装置。
2. 前記演算手段は、輝度の差異情報として前記不可視撮像手段で撮像した不可視画像の輝度の前記可視撮像手段で撮像した可視画像の輝度に対する輝度比を演算し、
   前記調整手段は、前記演算手段で演算した輝度比が第１閾値と第２閾値との間の値の場合には重ねて表示する不可視画像の画素の輝度を高く調整することを特徴とする請求項１に記載する画像表示装置。
3. 前記演算手段は、輝度の差異情報として輝度比を演算し、
   前記調整手段は、前記演算手段で演算した輝度比が第１閾値よりも小さい値の場合には重ねて表示する不可視画像の画素の輝度を０にすることを特徴とする請求項１又は請求項２に記載する画像表示装置。
   

Images