JP4685050B2 - 表示装置 - Google Patents

Description

この発明は、表示装置に関する。

従来、例えば互いに同一位置を撮影する赤外線カメラと可視カメラとを備え、赤外線カメラの撮影により得られた赤外画像と、可視カメラの撮影により得られた可視画像とを合成して表示する装置が知られている（例えば、特許文献１参照）。
特開２０００−１９２５９号公報

ところで、上記従来技術に係る装置においては、例えば撮影対象物が各カメラに近接することに伴って、２つのカメラの配置位置のずれに起因する視差が増大し、各画像上における撮影対象物の位置のずれが増大する。このため、単に、２つの異なるカメラの撮影により得られた画像同士を合成、あるいは一方から他方を差し引くだけでは、適切な画像を得ることができないという問題が生じる。
本発明は上記事情に鑑みてなされたもので、赤外線カメラおよび可視カメラの撮像により得られた各画像から適切な画像を生成することが可能な表示装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る表示装置は、可視画像を撮像する可視撮像手段（例えば、実施の形態での可視カメラ１１ａ）と、前記可視撮像手段にて撮像する領域の少なくとも一部を含む領域の赤外画像を撮像する赤外撮像手段（例えば、実施の形態で赤外カメラ１２ａ）と、前記可視撮像手段によって撮像された可視画像と前記赤外撮像手段によって撮像された赤外画像とを重畳させる重畳手段（例えば、実施の形態で重畳画像生成部２４）と、前記重畳手段にて重畳させた画像を表示する表示手段（例えば、実施の形態で表示部１４）と、前記可視画像から第１特徴領域を抽出する第１特徴領域抽出手段（例えば、実施の形態で第１特徴領域抽出部２１）と、前記赤外画像から第２特徴領域を抽出する第２特徴領域抽出手段（例えば、実施の形態で第２特徴領域抽出部２２）と、前記第１特徴領域抽出手段によって抽出された第１特徴領域と前記第２特徴領域抽出手段によって抽出された第２特徴領域とで、同一の状態量を有する領域を、各前記可視画像および前記赤外画像での同一特徴領域として設定する同一特徴領域設定手段（例えば、実施の形態で同一特徴領域抽出部２３）とを備え、前記重畳手段は、前記同一特徴領域設定手段にて設定された各前記可視画像および前記赤外画像での前記同一特徴領域を基準として、前記可視画像と前記赤外画像とを重畳させる。

さらに、本発明の第２態様に係る表示装置は、前記第１特徴領域または前記第２特徴領域までの実空間での距離を算出する実空間距離算出手段（例えば、実施の形態での同一特徴領域抽出部２３が兼ねる）を備え、前記重畳手段は、前記同一特徴領域設定手段にて設定された前記同一特徴領域のうち、前記距離算出手段にて算出された距離が所定距離以下である前記第１特徴領域または前記第２特徴領域からなる前記同一特徴領域を基準として、前記可視画像と前記赤外画像とを重畳させる。

さらに、本発明の第３態様に係る表示装置は、前記同一特徴領域設定手段にて設定された前記同一特徴領域に対応する前記第１特徴領域の画像中の位置と前記第２特徴領域の画像中の位置とのずれ量を算出する位置ずれ量算出手段（例えば、実施の形態での同一特徴領域抽出部２３が兼ねる）を備え、前記重畳手段は、前記位置ずれ量算出手段にて算出されたずれ量が所定値以上である前記同一特徴領域を基準として、前記可視画像と前記赤外画像とを重畳させる。

本発明の第１態様に係る表示装置によれば、可視画像の第１特徴領域と赤外画像の第２特徴領域とで同一の所定状態量を有する同一特徴領域を基準として、可視画像と赤外画像とを重畳させることから、重畳画像上で対象物の位置のずれによって視認性が悪化してしまうことを防止することができ、適切な重畳画像を生成することができる。

さらに、本発明の第２態様に係る表示装置によれば、実空間での距離が所定距離以下である第１特徴領域または第２特徴領域からなる同一特徴領域を基準として、可視画像と赤外画像とを重畳させることから、重畳画像上で対象物の位置のずれ量が相対的に大きくなる近距離領域において対象物の位置のずれを解消することができ、より一層、視認性を向上させることができる。しかも、例えば夜間等においては、可視撮像手段は相対的に近距離領域のみを撮像可能であることから、近距離領域での同一特徴領域を基準として可視画像と赤外画像とを重畳させることにより、夜間等であっても適切な重畳画像を生成することができる。

さらに、本発明の第３態様に係る表示装置によれば、同一特徴領域に対応する第１特徴領域の画像中の位置と第２特徴領域の画像中の位置とのずれ量が所定値以上である同一特徴領域を基準として、可視画像と赤外画像とを重畳させることから、例えば近距離領域等のように重畳画像上で対象物の位置のずれ量が相対的に大きくなる領域において対象物の位置のずれを解消することができ、より一層、視認性を向上させることができる。しかも、例えば夜間等においては、可視撮像手段は相対的に近距離領域のみを撮像可能であることから、重畳画像上で対象物の位置のずれ量が相対的に大きくなる領域、つまり近距離領域での同一特徴領域を基準として可視画像と赤外画像とを重畳させることにより、夜間等であっても適切な重畳画像を生成することができる。

以下、本発明の一実施形態に係る表示装置について添付図面を参照しながら説明する。
本実施の形態による表示装置１０は、例えば図１に示すように、可視外界センサ１１と、赤外外界センサ１２と、処理装置１３と、表示部１４とを備えて構成されている。
さらに、処理装置１３は、例えば第１特徴領域抽出部２１と、第２特徴領域抽出部２２と、同一特徴領域抽出部２３と、重畳画像生成部２４とを備えて構成されている。

可視外界センサ１１は、例えば可視光領域にて撮像可能な可視カメラ１１ａおよび画像処理部１１ｂとを備えて構成されている。
また、赤外外界センサ１２は、例えば赤外線領域にて撮像可能な赤外カメラ１２ａおよび画像処理部１２ｂとを備えて構成され、赤外カメラ１２ａは可視カメラ１１ａにて撮像する領域の少なくとも一部を含む領域を撮像する。
そして、各画像処理部１１ｂ，１２ｂは、各カメラ１１ａ，１２ａにより撮影して得た自車両の進行方向の外界の各画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる各画像のデータを生成して処理装置１３へ出力する。

処理装置１３の第１特徴領域抽出部２１は、可視外界センサ１１から出力される可視画像のデータに基づき、例えば図２に示す車両のタイヤの外周部等のように、この可視画像中から適宜のエッジや特徴点を抽出して第１特徴領域を設定する。
第２特徴領域抽出部２２は、赤外外界センサ１２から出力される赤外画像のデータに基づき、例えば図３に示す車両のタイヤの外周部等のように、この赤外画像中から適宜のエッジや特徴点を抽出して第２特徴領域を設定する。

同一特徴領域抽出部２３は、第１特徴領域抽出部２１によって抽出された第１特徴領域と第２特徴領域抽出部２２によって抽出された第２特徴領域とで、同一の状態量を有する領域を、各可視画像および赤外画像での同一特徴領域として設定する。

そして、同一特徴領域抽出部２３は、例えば各可視画像および赤外画像での複数の同一特徴領域に対し、各同一特徴領域毎に対応する第１特徴領域および第２特徴領域までの実空間での各距離を取得し、距離が所定距離以下である第１特徴領域または第２特徴領域に対応する同一特徴領域を、可視画像と赤外画像とを重畳させる際の相対配置の基準として設定する。
このため、同一特徴領域抽出部２３には、例えばミリ波レーダ等により、第１特徴領域抽出部２１によって抽出された第１特徴領域と第２特徴領域抽出部２２によって抽出された第２特徴領域とに対する実空間での各距離を検出する距離センサ（図示略）等から出力される検出信号が入力されている。

また、同一特徴領域抽出部２３は、例えば各可視画像および赤外画像での複数の同一特徴領域に対し、各同一特徴領域毎に対応する第１特徴領域の可視画像中の位置と第２特徴領域の赤外画像中の位置とのずれ量を算出し、このずれ量が所定値以上である同一特徴領域を、可視画像と赤外画像とを重畳させる際の相対配置の基準として設定する。

重畳画像生成部２４は、同一特徴領域抽出部２３によって抽出された各可視画像および赤外画像での同一特徴領域を基準として、可視画像と赤外画像とを重畳して、重畳画像を生成する。
例えば図２に示すように可視画像から抽出された同一特徴領域の上下方向位置ｙｂと、例えば図３に示すように赤外画像から抽出された同一特徴領域の上下方向位置ｙａとに基づき、各上下方向位置ｙａ，ｙｂを一致させるようにして可視画像と赤外画像とを重畳することにより、例えば図４に示す比較例のように、各可視画像および赤外画像での同一特徴領域同士の位置がずれた重畳画像が生成されてしまうことを防止して、例えば図５に示す実施例のように、各可視画像および赤外画像での同一特徴領域同士の位置が一致した適切な重畳画像が生成される。
なお、重畳画像生成部２４は、各画像での同一特徴領域を基準として可視画像と赤外画像とを重畳する際には、例えば車両の乗員の視点に最も近い位置に配置されたカメラにより撮像された一方の画像に対し、他方の画像の配置状態を調整する。
そして、重畳画像生成部２４は、生成した重畳画像を、モニター等からなる表示部１４に出力する。

本実施の形態による表示装置１０は上記構成を備えており、次に、この表示装置１０の動作について説明する。
先ず、図６に示すステップＳ０１においては、自車両の進行方向前方の外界領域の可視画像および赤外画像を取得する。

次に、ステップＳ０２においては、可視画像から第１特徴領域を抽出し、赤外画像から第２特徴領域を抽出する。
次に、ステップＳ０３においては、複数の第１特徴領域と複数の第２特徴領域とで同一の状態量を有する第１特徴領域および第２特徴領域の組み合わせが存在するか否かを判定する。
この判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０４に進む。

次に、ステップＳ０４においては、互いに同一の状態量を有する第１特徴領域および第２特徴領域を、各可視画像および赤外画像での同一特徴領域として設定する。
次に、ステップＳ０５においては、各可視画像および赤外画像での複数の同一特徴領域に対し、各同一特徴領域毎に対応する第１特徴領域および第２特徴領域までの実空間での各距離を取得する。
次に、ステップＳ０６においては、実空間での距離が所定距離以下である第１特徴領域または第２特徴領域からなる同一特徴領域が存在するか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ０８に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０７に進む。

そして、ステップＳ０７においては、距離が所定距離以下である第１特徴領域または第２特徴領域に対応する同一特徴領域を、可視画像と赤外画像とを重畳させる際の相対配置の基準として設定し、後述するステップＳ１１に進む。
また、ステップＳ０８においては、各可視画像および赤外画像での複数の同一特徴領域に対し、各同一特徴領域毎に対応する第１特徴領域の可視画像中の位置と第２特徴領域の赤外画像中の位置とのずれ量を算出する。
次に、ステップＳ０９においては、ずれ量が所定値以上である同一特徴領域が存在するか否かを判定する。
この判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１０に進む。
そして、ステップＳ１０においては、各可視画像および赤外画像での位置のずれ量が所定値以上である第１特徴領域および第２特徴領域に対応する同一特徴領域を、可視画像と赤外画像とを重畳させる際の相対配置の基準として設定する。
そして、ステップＳ１１においては、基準として設定された各可視画像および赤外画像での同一特徴領域に基づき、可視画像と赤外画像とを重畳して、重畳画像を生成し、一連の処理を終了する。

上述したように、本実施の形態による表示装置１０によれば、可視画像の第１特徴領域と赤外画像の第２特徴領域とで同一の状態量を有する同一特徴領域を基準として、可視画像と赤外画像とを重畳させることから、可視カメラ１１ａと赤外カメラ１２ａとの互いに異なる設置位置に起因する重畳画像上での適宜の対象物の位置のずれによって、重畳画像に対する視認性が悪化してしまうことを防止することができ、例えば射影変換等の煩雑な処理を必要とせずに、適切な重畳画像を容易に生成することができる。
しかも、実空間での距離が所定距離以下である第１特徴領域または第２特徴領域からなる同一特徴領域を基準として、あるいは、同一特徴領域に対応する第１特徴領域の可視画像中の位置と第２特徴領域の赤外画像中の位置とのずれ量が所定値以上である同一特徴領域を基準として、可視画像と赤外画像とを重畳させることから、重畳画像上で適宜の対象物の位置のずれ量が相対的に大きくなる近距離領域において対象物の位置のずれを解消することができ、より一層、視認性を向上させることができる。また、例えば夜間等においては、可視カメラ１１ａは相対的に近距離領域のみを撮像可能であることから、近距離領域での同一特徴領域を基準として可視画像と赤外画像とを重畳させることにより、夜間等であっても適切な重畳画像を生成することができる。

なお、上述した実施の形態において、同一特徴領域抽出部２３は、例えばミリ波レーダ等によって実空間での距離を検出する距離センサの検出信号に基づき、第１特徴領域と第２特徴領域とに対する実空間での各距離を検出するとしたが、これに限定されず、例えば各外界センサ１１，１２の各カメラ１１ａ，１２ａがステレオカメラである場合や、各カメラ１１ａ，１２ａが複数のカメラを備えて構成される場合には、複数の画像データに基づく三角測量法等により第１特徴領域と第２特徴領域とに対する実空間での各距離を算出してもよい。

本発明の実施の形態に係る表示装置の構成図である。 本発明の実施の形態に係る可視画像の第１特徴領域を示す図である。 本発明の実施の形態に係る赤外画像の第２特徴領域を示す図である。 本発明の実施の形態の比較例に係る重畳画像を示す図である。 本発明の実施の形態の実施例に係る重畳画像を示す図である。 本発明の実施の形態に係る表示装置の動作を示すフローチャートである。

符号の説明

１０ 表示装置
１１ａ 可視カメラ（可視撮像手段）
１２ａ 赤外カメラ（赤外撮像手段）
１４ 表示部（表示手段）
２１ 第１特徴領域抽出部（第１特徴領域抽出手段）
２２ 第２特徴領域抽出部（第２特徴領域抽出手段）
２３ 同一特徴領域抽出部（同一特徴領域設定手段）
２４ 重畳画像生成部（重畳手段）

Claims (3)

1. 可視画像を撮像する可視撮像手段と、
   前記可視撮像手段にて撮像する領域の少なくとも一部を含む領域の赤外画像を撮像する赤外撮像手段と、
   前記可視撮像手段によって撮像された可視画像と前記赤外撮像手段によって撮像された赤外画像とを重畳させる重畳手段と、
   前記重畳手段にて重畳させた画像を表示する表示手段と、
   前記可視画像から第１特徴領域を抽出する第１特徴領域抽出手段と、
   前記赤外画像から第２特徴領域を抽出する第２特徴領域抽出手段と、
   前記第１特徴領域抽出手段によって抽出された第１特徴領域と前記第２特徴領域抽出手段によって抽出された第２特徴領域とで、同一の状態量を有する領域を、各前記可視画像および前記赤外画像での同一特徴領域として設定する同一特徴領域設定手段とを備え、
   前記重畳手段は、前記同一特徴領域設定手段にて設定された各前記可視画像および前記赤外画像での前記同一特徴領域を基準として、前記可視画像と前記赤外画像とを重畳させることを特徴とする表示装置。
2. 前記第１特徴領域または前記第２特徴領域までの実空間での距離を算出する実空間距離算出手段を備え、
   前記重畳手段は、前記同一特徴領域設定手段にて設定された前記同一特徴領域のうち、前記距離算出手段にて算出された距離が所定距離以下である前記第１特徴領域または前記第２特徴領域からなる前記同一特徴領域を基準として、前記可視画像と前記赤外画像とを重畳させることを特徴とする請求項１に記載の表示装置。
3. 前記同一特徴領域設定手段にて設定された前記同一特徴領域に対応する前記第１特徴領域の画像中の位置と前記第２特徴領域の画像中の位置とのずれ量を算出する位置ずれ量算出手段を備え、
   前記重畳手段は、前記位置ずれ量算出手段にて算出されたずれ量が所定値以上である前記同一特徴領域を基準として、前記可視画像と前記赤外画像とを重畳させることを特徴とする請求項１に記載の表示装置。

Images