JP4727610B2

JP4727610B2 - 表示装置

Info

Publication number: JP4727610B2
Application number: JP2007072770A
Authority: JP
Inventors: いずみ近藤; 純司江口; 弘之小池
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2007-03-20
Filing date: 2007-03-20
Publication date: 2011-07-20
Anticipated expiration: 2027-03-20
Also published as: JP2008236349A

Description

この発明は、表示装置に関する。

従来、例えば互いに同一位置を撮影する赤外線カメラと可視カメラとを備え、赤外線カメラの撮影により得られた赤外線画像と、可視カメラの撮影により得られた可視画像とを合成して表示する装置が知られている（例えば、特許文献１参照）。
特開２０００−１９２５９号公報

ところで、上記従来技術に係る装置においては、例えば赤外画像から可視画像を差し引いて得た画像に対して、所定の検知対象を認識し易くするような処理を行って表示させたり、例えば可視画像のみで明瞭に表示されている領域のみを抽出し、この領域を赤外画像に重畳して表示させる等の煩雑な画像処理を行う必要があり、処理負荷が過剰に増大することで迅速な画像表示が困難となる虞がある。
本発明は上記事情に鑑みてなされたもので、赤外線カメラおよび可視カメラの撮像により得られた各画像から適切な画像を容易かつ迅速に生成することが可能な表示装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る表示装置は、可視画像を撮像する可視撮像手段（例えば、実施の形態での可視カメラ１１ａ）と、前記可視撮像手段にて撮像する領域の少なくとも一部を含む領域の赤外画像を撮像する赤外撮像手段（例えば、実施の形態で赤外カメラ１２ａ）と、前記可視撮像手段によって撮像された可視画像と前記赤外撮像手段によって撮像された赤外画像とを重畳させる重畳手段（例えば、実施の形態で重畳画像生成部２７）と、前記重畳手段にて重畳させた画像を表示する表示手段（例えば、実施の形態で表示部１４）と、前記領域の周囲の輝度レベルを検出する輝度レベル検出手段（例えば、実施の形態で第１輝度算出部２１、第２輝度算出部２４）とを備え、前記重畳手段は、前記輝度レベル検出手段によって検出された輝度レベルに応じて、前記可視画像と前記赤外画像とを重畳させており、前記輝度レベル検出手段は、前記可視画像中の領域のうち前記重畳手段にて前記赤外画像と重畳させる重畳領域の輝度レベルおよび前記赤外画像中の領域のうち前記重畳手段にて前記可視画像と重畳させる赤外重畳領域の輝度レベルを検出しており、前記重畳手段は、前記輝度レベル検出手段による検出の結果に基づき、前記可視画像の平均輝度が所定輝度未満である場合に、前記可視画像中の前記重畳領域のうち前記輝度レベルが所定値以上の領域を抽出し、該抽出した領域での前記可視画像の輝度を低減して、前記可視画像と前記赤外画像とを重畳させる、あるいは、前記赤外画像の平均輝度が所定輝度未満である場合に、前記赤外画像中の前記赤外重畳領域のうち、輝度レベルが所定値以上の領域を抽出し、この抽出した領域での前記赤外画像の輝度を低減して、前記可視画像と前記赤外画像とを重畳させる。

さらに、本発明の第３態様に係る表示装置によれば、可視画像の平均輝度に基づく輝度レベルが所定値以上である場合は、可視画像の輝度を低減して、可視画像と赤外画像とを重畳させることから、煩雑な処理を実行する必要無しに、迅速に適切な重畳画像を生成することができる。
さらに、本発明の第４態様に係る表示装置によれば、赤外画像の平均輝度に基づく輝度レベルが所定値以上である場合は、赤外画像の輝度を低減して、赤外画像と可視画像とを重畳させることから、煩雑な処理を実行する必要無しに、迅速に適切な重畳画像を生成することができる。

さらに、平均輝度が所定輝度未満の可視画像中の重畳領域のうち輝度レベルが所定値以上の領域の輝度を低減することによって可視画像を変換し、変換後の可視画像と赤外画像とを重畳させることから、平均輝度が所定輝度未満の可視画像の輝度が過剰に低減されることを防止しつつ、適切な重畳画像を生成することができる。
さらに、平均輝度が所定輝度未満の赤外画像中の赤外重畳領域のうち輝度レベルが所定値以上の領域の輝度を低減することによって可視画像を変換し、変換後の可視画像と赤外画像とを重畳させることから、平均輝度が所定輝度未満の赤外画像の輝度が過剰に低減されることを防止しつつ、適切な重畳画像を生成することができる。

以下、本発明の一実施形態に係る表示装置について添付図面を参照しながら説明する。
本実施の形態による表示装置１０は、例えば図１に示すように、可視外界センサ１１と、赤外外界センサ１２と、処理装置１３と、表示部１４と、照度センサ１５を備えて構成されている。
さらに、処理装置１３は、例えば第１輝度算出部２１と、第１領域抽出部２２と、第１重畳輝度設定部２３と、第２輝度算出部２４と、第２領域抽出部２５と、第２重畳輝度設定部２６と、重畳画像生成部２７とを備えて構成されている。

可視外界センサ１１は、例えば可視光領域にて撮像可能な可視カメラ１１ａおよび画像処理部１１ｂとを備えて構成されている。
また、赤外外界センサ１２は、例えば赤外線領域にて撮像可能な赤外カメラ１２ａおよび画像処理部１２ｂとを備えて構成され、赤外カメラ１２ａは可視カメラ１１ａにて撮像する領域の少なくとも一部を含む領域を撮像する。
そして、各画像処理部１１ｂ，１２ｂは、各カメラ１１ａ，１２ａにより撮影して得た自車両の進行方向の外界の各画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる各画像のデータを生成して処理装置１３へ出力する。

処理装置１３の第１輝度算出部２１は、可視外界センサ１１から出力される可視画像のデータに基づき、例えば、この可視画像の全画素の平均輝度や、赤外画像と重畳させる可視画像上の重畳領域の画素の平均輝度や重畳領域の各画素毎の輝度等に基づき、可視画像あるいは可視画像上の重畳領域の輝度レベルを設定する。
第１領域抽出部２２は、第１輝度算出部２１から出力される輝度レベルのうち、特に、可視画像上の重畳領域の各画素毎の輝度レベルに基づき、この重畳領域のうち、輝度レベルが所定値以上の領域を抽出する。

第１重畳輝度設定部２３は、第１輝度算出部２１から出力される可視画像の輝度レベルまたは重畳領域の輝度レベル、あるいは、照度センサ１５により検出される所定の外界領域の輝度レベルに基づき、赤外画像と重畳させる可視画像の全画素、あるいは、可視画像上の重畳領域の全画素、あるいは、重畳領域のうち輝度レベルが所定値以上の領域の全画素の輝度を設定する。

例えば、第１重畳輝度設定部２３は、第１輝度算出部２１から出力される可視画像の全画素の平均輝度または赤外画像と重畳させる可視画像上の重畳領域の画素の平均輝度が所定値以上である場合、あるいは、重畳領域のうち輝度レベルが所定値以上の領域が存在する場合には、可視画像の全画素または重畳領域の全画素、あるいは、重畳領域のうち輝度レベルが所定値以上の領域の全画素の輝度を各輝度レベルに応じて低減する。
また、例えば、第１重畳輝度設定部２３は、照度センサ１５から出力される所定の外界領域の輝度レベルが所定値以上である場合は、赤外画像と重畳させる可視画像または可視画像の重畳領域の輝度を輝度レベルに応じて低減する。

第２輝度算出部２４は、赤外外界センサ１２から出力される赤外画像のデータに基づき、例えば、この赤外画像の全画素の平均輝度や、可視画像と重畳させる赤外画像上の赤外重畳領域の画素の平均輝度や赤外重畳領域の各画素毎の輝度等に基づき、赤外画像あるいは赤外画像上の赤外重畳領域の輝度レベルを設定する。
第２領域抽出部２５は、第２輝度算出部２４から出力される輝度レベルのうち、特に、赤外画像上の赤外重畳領域の各画素毎の輝度レベルに基づき、この赤外重畳領域のうち、輝度レベルが所定値以上の領域を抽出する。

第２重畳輝度設定部２６は、第２輝度算出部２４から出力される赤外画像の輝度レベルまたは赤外重畳領域の輝度レベルに基づき、可視画像と重畳させる赤外画像の全画素、あるいは、赤外画像上の赤外重畳領域の全画素、あるいは、赤外重畳領域のうち輝度レベルが所定値以上の領域の全画素の輝度を設定する。

例えば、第２重畳輝度設定部２６は、第２輝度算出部２４から出力される赤外画像の全画素の平均輝度または可視画像と重畳させる赤外画像上の赤外重畳領域の画素の平均輝度が所定値以上である場合、あるいは、赤外重畳領域のうち輝度レベルが所定値以上の領域が存在する場合には、赤外画像の全画素または赤外重畳領域の全画素、あるいは、赤外重畳領域のうち輝度レベルが所定値以上の領域の全画素の輝度を各輝度レベルに応じて低減する。

重畳画像生成部２７は、可視外界センサ１１から出力される可視画像または第１領域抽出部２２から出力される可視画像上の領域と、赤外外界センサ１２から出力される赤外画像または第２領域抽出部２５から出力される赤外画像上の領域とを重畳して、重畳画像を生成する。
そして、重畳画像生成部２７は、生成した重畳画像を、モニター等からなる表示部１４に出力する。

本実施の形態による表示装置１０は上記構成を備えており、次に、この表示装置１０の動作について説明する。

先ず、図２に示すステップＳ０１においては、自車両の進行方向前方の外界領域の可視画像および赤外画像を取得すると共に、所定の外界領域の輝度レベルの検出値を照度センサ１５から取得する。
次に、ステップＳ０２においては、赤外画像と重畳させる可視画像上の重畳領域の画素毎の輝度に基づき、重畳領域の平均輝度を算出し、可視画像と重畳させる赤外画像上の赤外重畳領域の画素毎の輝度に基づき、赤外重畳領域の平均輝度を算出する。

次に、ステップＳ０３においては、可視画像の重畳領域の平均輝度が所定下限輝度未満であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０４に進む。
一方、この判定結果が「ＮＯ」の場合には、後述するステップＳ０８に進む。
そして、ステップＳ０４においては、可視画像と重畳させる赤外画像上の赤外重畳領域の平均輝度が所定下限輝度未満であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０５に進み、このステップＳ０５においては、表示部１４への重畳画像の出力を禁止して、一連の処理を終了する。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０６に進み、このステップＳ０６においては、後述する赤外輝度設定処理を実行する。
そして、ステップＳ０７においては、後述する赤外輝度設定処理にて設定された輝度を有する赤外画像の領域のみを重畳画像として表示部１４へ出力し、一連の処理を終了する。

また、ステップＳ０８においては、可視画像と重畳させる赤外画像上の赤外重畳領域の平均輝度が所定下限輝度未満であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０９に進む。
一方、この判定結果が「ＮＯ」の場合には、後述するステップＳ１１に進む。
そして、ステップＳ０９においては、後述する可視輝度設定処理を実行する。
そして、ステップＳ１０においては、後述する可視輝度設定処理にて設定された輝度を有する可視画像の領域のみを重畳画像として表示部１４へ出力し、一連の処理を終了する。

また、ステップＳ１１においては、後述する可視輝度設定処理を実行する。
そして、ステップＳ１２においては、後述する赤外輝度設定処理を実行する。
そして、ステップＳ１３においては、後述する可視輝度設定処理にて設定された輝度を有する可視画像の領域と、後述する赤外輝度設定処理にて設定された輝度を有する赤外画像の領域とを重畳して得た重畳画像を表示部１４へ出力し、一連の処理を終了する。

以下に、上述した可視輝度設定処理について説明する。
先ず、図３に示すステップＳ２１においては、可視画像上の重畳領域の平均輝度が所定輝度以上であるか否か、または、照度センサ１５の検出値が所定値以上であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ２２に進み、このステップＳ２２においては、可視画像上の重畳領域の輝度を低減して、一連の処理を終了する。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ２３に進む。

次に、ステップＳ２３においては、可視画像上の重畳領域において、画素の輝度が所定輝度以上となる領域が存在するか否かを判定する。
この判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２４に進み、このステップＳ２４においては、可視画像上の重畳領域において画素の輝度が所定輝度以上となる領域の輝度を低減して、一連の処理を終了する。

以下に、上述した赤外輝度設定処理について説明する。
先ず、図４に示すステップＳ３１においては、赤外画像上の赤外重畳領域の平均輝度が所定輝度以上であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ３１に進み、このステップＳ３１においては、赤外画像上の赤外重畳領域の輝度を低減して、一連の処理を終了する。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ３２に進む。

次に、ステップＳ３２においては、赤外画像上の赤外重畳領域において、画素の輝度が所定輝度以上となる領域が存在するか否かを判定する。
この判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３３に進み、このステップＳ３３においては、赤外画像上の赤外重畳領域において画素の輝度が所定輝度以上となる領域の輝度を低減して、一連の処理を終了する。

これにより、例えば図５（ａ）に示すように可視外界センサ１１から出力される可視画像の平均輝度が所定輝度以上となる場合には、この可視画像の各画素の輝度が所定の程度で低減され、例えば図５（ｂ）に示す可視画像に変換される。そして、変換後の可視画像と、例えば図５（ｃ）に示す赤外画像とが重畳されて、例えば図５（ｄ）に示す重畳画像が生成される。
一方、例えば図５（ｅ）に示すように可視外界センサ１１から出力される可視画像の平均輝度が所定下限輝度未満となる場合には、この可視画像を赤外画像に重畳することを禁止する。

また、例えば図６（ａ）に示すように可視外界センサ１１から出力される可視画像の平均輝度が所定輝度未満であっても、可視画像上において画素の輝度が所定輝度以上となる領域（例えば、図６（ａ）に示す各領域α，β等）が存在する場合には、例えば図６（ｂ）に示すように、この領域のみの各画素の輝度が所定の程度で低減され、例えば図６（ｃ）に示す可視画像に変換される。そして、変換後の可視画像と、例えば図６（ｄ）に示す赤外画像とが重畳されて、例えば図６（ｅ）に示す重畳画像が生成される。

同様にして、例えば図７（ａ）に示すように赤外外界センサ１２から出力される赤外画像の平均輝度が所定輝度以上となる場合には、この赤外画像の各画素の輝度が所定の程度で低減され、例えば図７（ｂ）に示す赤外画像に変換される。そして、変換後の赤外画像と、例えば図７（ｃ）に示す可視画像とが重畳されて、例えば図７（ｄ）に示す重畳画像が生成される。
一方、例えば図７（ｅ）に示すように赤外外界センサ１２から出力される赤外画像の平均輝度が所定下限輝度未満となる場合には、この赤外画像を可視画像に重畳することを禁止する。

上述したように、本実施の形態による表示装置１０によれば、各重畳輝度設定部２３，２６により設定された輝度を有する可視画像および赤外画像によって重畳画像を生成することから、例えば各画像の輝度が過剰に高い状態あるいは過剰に低い状態で重畳画像が生成されてしまうことを防止して、適切な重畳画像を生成することができる。
しかも、照度センサ１５の検出結果に応じて可視画像の輝度を設定する場合には、煩雑な処理を実行する必要無しに、迅速に適切な重畳画像を生成することができる。
また、可視画像中の重畳領域のうち輝度レベルが所定値以上の領域の輝度を低減することによって可視画像を変換、あるいは、赤外画像中の赤外重畳領域のうち輝度レベルが所定値以上の領域の輝度を低減することによって可視画像を変換し、変換後の各画像から重畳画像を生成することにより、各画像の輝度が過剰に低減されることを防止しつつ、適切な重畳画像を生成することができる。

なお、上述した実施の形態において、可視輝度設定処理は、図３に示すステップＳ２１〜ステップＳ２４を含むとしたが、これに限定されず、例えばステップＳ２１またはステップＳ２３を省略してもよい。
つまり、可視輝度設定処理として、先ず、図３に示すステップＳ２１を実行し、この判定結果が「ＹＥＳ」の場合には、ステップＳ２２に進み、一方、この判定結果が「ＮＯ」の場合には、単に、一連の処理を終了するように設定してもよい。
あるいは、可視輝度設定処理として、先ず、図３に示すステップＳ２３を実行し、この判定結果が「ＹＥＳ」の場合には、ステップＳ２４に進み、一方、この判定結果が「ＮＯ」の場合には、単に、一連の処理を終了するように設定してもよい。

なお、上述した実施の形態において、赤外輝度設定処理は、図４に示すステップＳ３１〜ステップＳ３４を含むとしたが、これに限定されず、例えばステップＳ３１またはステップＳ３３を省略してもよい。
つまり、赤外輝度設定処理として、先ず、図４に示すステップＳ３１を実行し、この判定結果が「ＹＥＳ」の場合には、ステップＳ３２に進み、一方、この判定結果が「ＮＯ」の場合には、単に、一連の処理を終了するように設定してもよい。
あるいは、赤外輝度設定処理として、先ず、図４に示すステップＳ３３を実行し、この判定結果が「ＹＥＳ」の場合には、ステップＳ３４に進み、一方、この判定結果が「ＮＯ」の場合には、単に、一連の処理を終了するように設定してもよい。

本発明の実施の形態に係る表示装置の構成図である。本発明の実施の形態に係る表示装置の動作を示すフローチャートである。本発明の実施の形態に係る可視輝度設定処理を示すフローチャートである。本発明の実施の形態に係る赤外輝度設定処理を示すフローチャートである。図５（ａ）〜（ｅ）は可視画像および赤外線画像と重畳画像との例を示す図である。図６（ａ）〜（ｅ）は可視画像および赤外線画像と重畳画像との例を示す図である。図７（ａ）〜（ｅ）は可視画像および赤外線画像と重畳画像との例を示す図である。

符号の説明

１０表示装置
１１ａ可視カメラ（可視撮像手段）
１２ａ赤外カメラ（赤外撮像手段）
１４表示部（表示手段）
２１第１輝度算出部（輝度レベル検出手段）
２４第２輝度算出部（輝度レベル検出手段）
２７重畳画像生成部（重畳手段）

Claims

可視画像を撮像する可視撮像手段と、
前記可視撮像手段にて撮像する領域の少なくとも一部を含む領域の赤外画像を撮像する赤外撮像手段と、
前記可視撮像手段によって撮像された可視画像と前記赤外撮像手段によって撮像された赤外画像とを重畳させる重畳手段と、
前記重畳手段にて重畳させた画像を表示する表示手段と、
前記領域の周囲の輝度レベルを検出する輝度レベル検出手段とを備え、
前記重畳手段は、前記輝度レベル検出手段によって検出された輝度レベルに応じて、前記可視画像と前記赤外画像とを重畳させており、
前記輝度レベル検出手段は、前記可視画像中の領域のうち前記重畳手段にて前記赤外画像と重畳させる重畳領域の輝度レベルおよび前記赤外画像中の領域のうち前記重畳手段にて前記可視画像と重畳させる赤外重畳領域の輝度レベルを検出しており、
前記重畳手段は、前記輝度レベル検出手段による検出の結果に基づき、
前記可視画像の平均輝度が所定輝度未満である場合に、前記可視画像中の前記重畳領域のうち前記輝度レベルが所定値以上の領域を抽出し、該抽出した領域での前記可視画像の輝度を低減して、前記可視画像と前記赤外画像とを重畳させる、あるいは、
前記赤外画像の平均輝度が所定輝度未満である場合に、前記赤外画像中の前記赤外重畳領域のうち、輝度レベルが所定値以上の領域を抽出し、この抽出した領域での前記赤外画像の輝度を低減して、前記可視画像と前記赤外画像とを重畳させることを特徴とする表示装置。