JP7355252B2

JP7355252B2 - 画像表示装置および画像表示方法

Info

Publication number: JP7355252B2
Application number: JP2022550267A
Authority: JP
Inventors: 勇人菊田; 俊明久保
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-09-17
Filing date: 2020-09-17
Publication date: 2023-10-03
Anticipated expiration: 2040-09-17
Also published as: WO2022059139A1; JPWO2022059139A1

Description

本開示は、電子ミラー装置などの画像表示装置および画像表示方法に関する。

従来の電子ミラー装置などの画像表示装置では、後方車両のヘッドライトなど局所的な強い光源によって発生するフレアの影響によりユーザーの視認性が損なわれないように、例えば輝度値を低減させる画像補正を行う工夫がなされている。また、例えば特許文献１では、自車両の後方を撮像した画像内にある後方車両のヘッドライトによる高輝度領域の中心から同心円状の領域の輝度値を低減させるとともに、中心部分の輝度値の低減率を抑制させる画像補正をして、後方車両のヘッドライトの中心部分のみ明るく映し、運転者が後方車両の位置を容易に把握できるようにしている。

特開２０１５－１９８３０２号公報

しかしながら、フレアの影響を受けた領域の輝度値を低減させると、輝度値を低減させない領域との境界に不連続部分が出現し視認性が低下するという課題があった。

本開示は、上述した課題を解決するためになされたものであり、視認性を向上させた画像を表示する画像表示装置を提供することを目的とするものである。

本開示に係る画像表示装置は、車両の外部を撮像する撮像部により撮像された撮像入力画像中の予め設定された第一の輝度値以上の画素が隣接して集まっている画素領域を光源位置として検出する光源位置検出部と、光源位置の中心の周囲の画素領域から、予め設定された第二の輝度値以上である画素領域をフレア領域と判定するフレア領域判定部と、撮像入力画像のうちの、少なくともフレア領域内の入力画像中の予め設定された第三の輝度値以上の画素の輝度値を低減させて、補正画像を生成する補正画像生成部と、少なくともフレア領域の一部において、補正画像と入力画像とを、光源位置の中心に近いほど補正画像の割合を大きく、遠いほど入力画像の割合を大きくして、合成画像を生成する合成画像生成部と、合成画像が生成された画素領域には合成画像を、合成画像が生成されない画素領域のうち、フレア領域内には補正画像または入力画像を、フレア領域外には入力画像を表示する画像表示部を備えたものである。

本開示に係る画像表示方法は、車両の外部を撮像した撮像入力画像中の予め設定された第一の輝度値以上の画素が隣接して集まっている画素領域を光源位置として検出するステップと、光源位置の中心の周囲の画素の輝度値が、予め設定された第二の輝度値以上である画素領域をフレア領域と判定するステップと、撮像入力画像のうちの、少なくともフレア領域内の入力画像の予め設定された第三の輝度値以上の画素の輝度値を低減させて、補正画像を生成するステップと、少なくともフレア領域の一部において、補正画像と入力画像とを、光源位置の中心に近いほど補正画像の割合を大きく、遠いほど入力画像の割合を大きくして、合成画像を生成するステップと、合成画像が生成された画素領域には合成画像を、合成画像が生成されない画素領域のうち、フレア領域内には補正画像または入力画像を、フレア領域外には入力画像を表示する表示画像を生成するするステップとを備えたものである。

本開示によれば、撮像入力画像の輝度値から光源位置を検出し、光源位置の中心から判定したフレア領域の少なくとも一部において、入力画像と補正画像との割合を、光源位置の中心に近いほど補正画像の割合を大きく、遠いほど入力画像の割合を大きくして生成させた合成画像を表示させるため、表示画像の輝度値の不連続性を抑制して、視認性の高い画像を表示できる。

図１は実施の形態１の画像表示装置の概略構成図である。図２は実施の形態１の画像表示装置の概略ブロック図である。図３Ａ～図３Ｃは実施の形態１の画像処理部の制御を説明する説明図である。図４Ａ、図４Ｂは実施の形態１の合成画像生成部に用いる関数Ｆを示すグラフである。図５Ａ～図５Ｄは実施の形態１の画像表示装置における処理画像例である。図６は実施の形態２を説明するための時間毎の撮像撮像入力画像例である。図７は実施の形態２の画像表示装置の概略ブロック図である。図８は実施の形態３の画像表示装置の概略ブロック図である。

実施の形態１．
実施の形態１における画像表示装置１について図１を用いて説明する。画像表示装置１は、自車両の外部を撮像する撮像部２と、撮像した画像を処理する画像処理部３と、処理された画像を表示する画像表示部４とを備える。

撮像部２は、自車両の外部を撮像した撮像入力画像１１０を出力する１以上のカメラを有する。本実施の形態では、撮像部２が自車両の後方の状況を撮像する例について説明する。カメラは、例えばＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭＯＳＦＥＴ）やＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）素子をイメージセンサとした二次元撮像デバイスなどを用いるとよい。

画像表示部４は、自車両内に搭載され、ユーザーが画像表示部４を見るのに適した位置に配置されている。例えば、自車両内の前面左右にあるＡピラー近傍、自車両内の側面前方のドアトリム近傍などに配置される。画像表示部４は、例えばＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）パネルなどの液晶フィルタ、ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）および拡散板で構成されたバックライトを有するディスプレイ装置を用いる。また、有機発光するＬＥＤを画素単位で配列されたディスプレイ装置であってもよい。画像表示部４には、後述する撮像入力画像１１０を処理することで得られる表示画像が表示される。

画像処理部３は、その一部または全部を処理回路で構成される。例えば、画像処理部３の複数の機能をそれぞれ別個の処理回路で実現してもよく、複数の部分の機能を纏めて１つの処理回路で実現してもよい。また、処理回路はハードウェアで構成してもよく、ソフトウェアで、即ちプログラムされたコンピュータで構成してもよい。さらに、画像処理部３の各部分の機能のうち、一部をハードウェアで実現し、他の一部をソフトウェアで実現するようにしてもよい。ハードウェアは、例えばＦＰＧＡ（Ｆｉｅｌｄ―ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、マイクロプロセッサ、マイクロコントローラ、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）などを用いればよい。ソフトウェアは、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などをプロセッサ上で実行されるプログラムである。

画像処理部３について図２および図３Ａ～図３Ｃを用いて説明する。図２は画像表示装置１の概略ブロック図である。図３Ａ～図３Ｃは画像処理部の処理制御を説明する説明図であり、図３Ａは撮像入力画像、図３Ｂは光源位置情報、図３Ｃはフレア領域情報の例を示す。
図２に示すように、画像処理部３は、光源位置検出部２１、フレア領域判定部２２、補正画像生成部２３および合成画像生成部２４を備える。画像処理部３において、撮像入力画像１１０から光源位置検出部２１により検出した光源位置４１を示す光源位置情報３１をフレア領域判定部２２および合成画像生成部２４に出力し、フレア領域判定部２２により判定したフレア領域４２を示すフレア領域情報３２を合成画像生成部２４に出力する。
また、補正画像生成部２３は、撮像入力画像１１０の少なくともフレア領域４２内の入力画像１１の輝度値を低減させた補正画像１２を生成して合成画像生成部２４に出力する。そして、合成画像生成部２４により、フレア領域４２の少なくとも一部において、光源位置４１の中心からの距離Ｄに基づいて入力画像１１と補正画像１２との合成割合を変化させた合成画像１３を生成し、合成画像１３が生成された領域には合成画像１３を、合成画像１３が生成されない領域のうち、フレア領域４２の端部Ｄｅを含むフレア領域４２内には補正画像１２または補正画像１２に入力画像１１を含ませた画像を、フレア領域４２外の領域には入力画像１１を画像表示部４に表示させる。
複数のフレア領域４２が判定された場合には、フレア領域４２内にはそれぞれ上述の画像処理を行い、フレア領域４２でない領域には入力画像１１を画像表示部４に表示させる。

光源位置検出部２１は、撮像部２から出力される図３Ａに示す撮像入力画像１１０を入力し、撮像入力画像１１０の中の予め設定された第一の輝度値Ｔｈ１以上の画素が隣接して集まっている画素領域を光源位置４１として検出し、光源位置４１を図３Ｂに示す光源位置情報３１とする。光源位置情報３１は、例えば撮像入力画像１１０と同サイズの二次元マップ情報であり、図３Ｂ中の白い部分が検出された光源位置４１を示す。
光源位置検出部２１は、例えば撮像入力画像１１０の画素を階調処理して輝度値を算出し、その輝度値が第一の輝度値Ｔｈ１以上となった高輝度な画素を光源位置４１として検出する。輝度値の算出は、例えば撮像素子の構成がＲＧＢのカラーフィルタから得られる三色の階調値の場合、輝度成分と色差成分で構成されるＹＣｂＣｒ色空間に変換しＹ成分を輝度値とする。輝度値が高くなるのは、強い光が撮像デバイスに投射された場合、撮像ノイズや回路ノイズが局所的に出現する場合などである。一般的に、フレアを出現させる高輝度な光源は、画素領域が大きなものに限定される。そのため、光源位置検出部２１では第一の輝度値Ｔｈ１以上の画素が隣接し集まっている領域の面積を算出し、予め設定された面積以上の領域を一つの光源位置４１とする。自車両の後方を撮像する場合、ユーザーが視認すべき物体は自車両の後方にある後方車両５１であり、カメラの画角内に後方車両５１が存在する範囲は限定される。そのため、光源位置検出部２１にて輝度値を算出する画素を後方車両５１の存在する範囲に限定して検出してもよい。

フレア領域判定部２２は、光源位置検出部２１から得た光源位置情報３１を用いて、フレア領域４２を判定し、フレア領域情報３２とする。フレア領域情報３２は、例えば図３Ｃに示すような撮像入力画像１１０と同サイズの二次元マップ情報であり、光源位置４１の中心の周囲の高輝度となった画素領域の情報である。例えば図３Ｃ中の白い部分が判定されたフレア領域４２となる。

フレア領域４２を判定する方法について説明する。まず、光源位置情報３１において得られる光源位置４１の中心から順に周囲の画素を抽出し、その周囲の画素の輝度値を光源位置検出部２１と同様に処理して算出する。光源位置４１の中心は、例えば光源位置検出部２１により光源位置４１として検出した画素領域の重心とする。
具体的には、光源位置検出部２１により検出された光源位置４１の中心の周囲の画素の輝度値が、予め設定された第二の輝度値Ｔｈ２以上である画素領域をフレア領域４２として判定する。

次に、補正画像生成部２３は、撮像入力画像１１０のうち少なくともフレア領域４２内の入力画像１１を参照し予め設定された第三の輝度値Ｔｈ３以上の画素の輝度値を低減させた補正画像１２を生成する。
補正画像１２は、第三の輝度値Ｔｈ３以上の画素のみ輝度値を低減させて高輝度成分を除去したものでもよく、第三の輝度値Ｔｈ３以上と第三の輝度値Ｔｈ３以上でない双方を低減させるものであってもよい。
例えば、後方車両５１のヘッドライト５２を撮像した画素は非常に高い輝度値を有するため、ヘッドライト５２の周囲の画素はフレアの影響により輝度値が大きくなる。
そして、フレアの影響により増大した輝度値は光源位置４１の中心からの距離が近いほど大きくなることから、光源位置４１の中心の周囲の画素に着目することにより、第三の輝度値Ｔｈ３以上の画素の輝度値を低減させることでフレアを抑制できる。第三の輝度値Ｔｈ３の最小値の設定は、撮像部２における撮像素子の感度やＨＤＲ（ＨｉｇｈＤｉｎａｍｉｃＲａｎｇｅ）変換によるデジタル値への割り当てに影響を受けるため、利用する機器の性能や撮像環境に基づいてパラメータとして決定する。

補正画像生成部２３は、例えば上述の第三の輝度値Ｔｈ３以上の画素の輝度値を低減させる処理を施せばよい。補正画像１２の生成は、例えばＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ）により、撮像入力画像１１０の輝度値に基づき、出力値を決定するテーブルを用意し、補正画像１２を生成する方法が挙げられる。この場合、第三の輝度値Ｔｈ３より小さい輝度値については入力される画素の輝度値を出力し、第三の輝度値Ｔｈ３以上の輝度値である場合には入力される画素の輝度値より低減された値となるように出力を設定する。
フレアの影響により増大した輝度値は、光源位置４１の中心からの距離が近いほど高輝度であるため、大きな低減を必要とする。そのため、用意するＬＵＴのパラメータは第三の輝度値Ｔｈ３より高輝度になるにつれて、例えば線形、ガウシアン、指数関数パラメータを与え輝度値を低減させてもよい。ＬＵＴパラメータは画素の輝度値を入力値とした１次元の入力パラメータとしてもよく、ＲＧＢ各色の値、色度を含めた多次元の入力パラメータとしてもよい。フレア領域判定部２２において判定されたフレア領域４２のみにＬＵＴを構築し補正画像１２の生成を行ってもよい。さらに、フレア領域４２とフレア領域４２ではない領域との境界であるフレア領域境界を越えて補正画像１２を生成してもよい。つまり、補正画像生成部２３における補正画像１２の生成は撮像入力画像１１０全体でもよく、撮像入力画像１１０全体でなくてもよい。少なくとも後述の合成画像１３を生成する画素領域に実施すればよい。

合成画像生成部２４は、撮像入力画像１１０の少なくとも一部である入力画像１１、光源位置情報３１、フレア領域情報３２および補正画像１２を用いて、光源位置４１の中心に近いほど補正画像１２の割合を大きく、遠いほど撮像入力画像１１０の割合を大きくして、例えばフレア領域４２全域に補正画像１２と入力画像１１とを合成した合成画像１３を生成し、画像表示部４に出力する。

合成画像生成部２４における合成画像１３生成方法について説明する。例えば、フレア領域４２内において入力画像１１と補正画像１２とを一定の割合で合成した画像と、フレア領域４２外の入力画像１１とを合わせ表示すると、フレア領域境界に輝度値の不連続性が生じ視認性が低下する。そこで、入力画像１１および補正画像１２を合成する割合は光源位置４１の中心からの距離Ｄに基づいて変化させる。すなわち、光源位置４１の中心に近いほど入力画像１１の合成割合Ｂａを小さく、補正画像１２の合成割合Ｂｂを大きくし、光源位置４１の中心から遠いほど入力画像１１の合成割合Ｂａを大きく補正画像１２の合成割合Ｂｂ小さくする。

例えば、図４Ａ、図４Ｂは、合成画像生成部２４に用いる関数Ｆ（Ｄ，Ｄｅ，Ｔｃ）を示すグラフであり、入力画像１１の合成割合Ｂａと光源位置４１の中心からの距離Ｄとの関係で示されている。
関数Ｆ（Ｄ，Ｄｅ，Ｔｃ）は、光源位置４１の中心からの距離Ｄ、入力画像１１の合成割合Ｂａ、光源位置４１の中心からフレア領域４２の端部までの距離Ｄｅ、調整パラメータＴｃの関数となる。補正画像１２の合成割合Ｂｂは、入力画像１１の合成割合Ｂａを１から減じた値となる。
光源位置４１の中心からの距離Ｄは変数であり、例えば合成割合を算出する画素と光源位置４１の中心の画素とを結んだ線分のユークリッド距離である。距離Ｄｅは、その線分をフレア領域４２の端部の方向に伸ばしたときのフレア領域４２の端部の画素と光源位置４１の中心の画素との距離である。通常、フレア領域４２は光源位置４１の中心から同心円状とはならず、光源位置４１の中心からフレア領域４２の端部までの距離Ｄｅは選択した線分により異なる。調整パラメータＴｃは、例えばフレア領域４２の端部における合成割合ＢａおよびＢｂとの合成割合を調整する定数であり、Ｄ＝Ｄｅとなる位置における入力画像１１の合成割合Ｂａを調整し、フレア領域４２の端部の輝度値の不連続性を緩和する。すなわち、関数Ｆ（Ｄ，Ｄｅ，Ｔｃ）は、フレア領域４２の端部の出力がＴｃで調整され光源位置４１の中心に向かうにつれて、０に近づく入力画像１１の合成割合Ｂａの関数である。関数Ｆ（Ｄ，Ｄｅ，Ｔｃ）は、図４Ａに示すように光源位置４１の中心Ｄ＝０の入力画像１１の合成割合Ｂａを０、フレア領域４２の端部Ｄ＝Ｄｅの入力画像１１の合成割合Ｂａを１としてもよく、図４Ｂに示すように光源位置４１の中心から任意の距離Ｄｎまでの入力画像１１の合成割合Ｂａを０、Ｄｎからフレア領域４２の端部Ｄｅと任意の距離ΔＤを足しあわせた距離Ｄｅ＋ΔＤまで入力画像１１の合成割合Ｂａを変化させてもよい。また、関数Ｆ（Ｄ，Ｄｅ，Ｔｃ）はガウス分布を逆関数化した指数関数を用いてもよく、線形関数を用いてもよい。

このように、合成画像生成部２４はフレア領域４２内において合成画像１３を生成してもよく、フレア領域端部とその周辺を含む領域において合成画像１３を生成してもよい。合成割合は、線分毎に変化させて生成してもよく、合成割合を変化させるのはＤｎからＤｅ＋ΔＤまでの画素領域のようにフレア領域端部とその周辺でもよく、フレア領域４２の端部を超える画素領域を含んでもよい。この場合、合成割合を変化させない領域は、図４Ｂに示すように入力画像１１の合成割合Ｂａを０としてもよく、入力画像１１と補正画像１２を任意の割合で足し合わせた画像としてもよい。

本実施の形態における画像処理例について図５Ａ～図５Ｄを用いて説明する。図５Ａは自車両における右側後方を撮像した撮像入力画像１１０の例である。後方車両５１のヘッドライト５２によるフレアの影響によって、ヘッドライト５２近傍の後方車両５１の形状や道路環境が視認しにくい画像となる。また、ヘッドライト５２は左右に一つずつ配置されているため、２つのフレアが繋がって一つの光源として視認され後方車両５１の位置が把握しにくくなっている。
図５Ｂは撮像入力画像１１０中の第一の輝度値Ｔｈ１以上の画素が隣接して集まっている画素領域を光源位置４１として検出し、光源位置４１の中心の周囲の画素の輝度値が、第二の輝度値Ｔｈ２以上である画素領域をフレア領域４２として判定した例である。
図５Ｃは撮像入力画像１１０を第三の輝度値Ｔｈ３以上の画素の輝度値を全体的に低減させた補正画像１２の例である。
図５Ｄは合成画像１３が生成された領域には合成画像１３を、合成画像１３が生成されない領域のうち、フレア領域４２内には補正画像１２または合成画像１３を、フレア領域４２ではない領域には入力画像１１を表示させた表示画像の例である。具体的には、フレア領域４２において光源位置４１に近いほど補正画像１２の合成割合Ｂｂを大きく、遠いほど入力画像１１の合成割合Ｂａを大きくして入力画像１１と補正画像１２とを合成した合成画像１３を生成し、フレア領域４２ではない領域には入力画像１１を表示させている。

このように、本実施の形態における画像表示装置１は、フレアの影響を受けた画像において、撮像入力画像１１０の輝度値から検出した光源位置４１の中心の周囲の画素領域から、第二の輝度値Ｔｈ２以上である画素領域をフレア領域４２と判定し、撮像入力画像１１０のうちの、少なくともフレア領域４２内の入力画像１１の第三の輝度値Ｔｈ３以上の画素の輝度値を低減させて補正画像１２を生成する。そして、少なくともフレア領域４２の一部において、補正画像１２と入力画像１１とを、光源位置４１の中心に近いほど補正画像１２の割合を大きく、遠いほど入力画像１１の割合を大きくして、合成画像１３を生成する。さらに、合成画像１３が生成された領域には合成画像１３を、合成画像１３が生成されない領域のうち、フレア領域４２内には補正画像１２または補正画像１２に入力画像１１を含ませた画像を、フレア領域４２外には入力画像１１を画像表示部４で表示させる構成にしたので、フレア領域４２とフレア領域４２でない領域の境界の輝度値の不連続性を抑制し、視認性の高い画像を表示できる。
また、撮像入力画像１１０全体において輝度値を低減しなくてもよいため、周辺の建物や後方車両５１の形状など注目すべき情報が視認しやすくなる

さらに、補正画像１２を入力画像１１の輝度値が高いほど大きく低減させることで、フレアの影響は抑制されフレア領域境界の後方車両５１の形状や道路環境などの視覚情報を視認しやすくなる。

また、線分毎に入力画像１１の合成割合Ｂａと補正画像１２の合成割合Ｂｂを変化させることにより、複雑なフレア形状であっても、フレア領域境界の輝度値の不連続性を抑制して、視認性の高い画像を表示できる。

なお、合成画像生成部２４において、光源位置４１の中心からフレア領域４２の端部Ｄｅまで、または上述したＤｎからＤｅ＋ΔＤまでの合成画像１３の生成は、画素ごとに処理してもよく、フレア領域４２または光源位置４１の画素領域の面積に基づいたテーブルを用いて関数Ｆ（Ｄ，Ｄｅ，Ｔｃ）をパターン化して処理してもよい。画素領域をまとめて処理すると、簡便化することができる。

また、フレア領域判定部２２において、光源位置４１の中心の周囲の画素領域から、第二の輝度値Ｔｈ２以上である画素領域をフレア領域４２と判定する例を示したが、第二の輝度値Ｔｈ２は光源位置４１の中心からの距離に基づいて変化させてもよい。フレア領域４２の輝度値は、光源位置４１の中心からの距離が近いほど大きくなるため、例えば光源位置４１の中心から順次、第二の輝度値Ｔｈ２を低くすれば、より精度よくフレア領域４２を判定することができる。この際、フレア領域４２の端部を決定する輝度値は光源位置４１の中心付近で設定した第二の輝度値Ｔｈ２０より小さいＴｈ２ｉとなる。このように、光源位置４１の中心からの距離が近いほど第二の輝度値Ｔｈ２を大きく設定することで、光源位置４１の周囲の画素がフレアの影響を受け輝度値が増大していても、適切にフレア領域４２を判定することができる。

また、フレア領域判定部２２により判定するフレア領域４２は、光源位置４１の中心から連続した領域であるため、上述のフレア領域４２の判定においてフレア領域４２ではないと判定された場合には、その判定された画素領域よりも外の領域はフレア領域４２ではないと判定することができる。そのため、光源位置４１の中心から開始して外側へ向かうように判定していくのがよい。

また、輝度値によるフレア領域４２の判定を簡便化するため、限定した方向でフレア領域４２を判定してもよい。例えば、光源位置４１の中心から、上下左右、斜め４５度軸の計８方向軸に対して、順に進めることで、８方向のフレア領域４２の端部が判定される。その際、軸上以外の画素領域に対しては、近傍の２軸に着目し、その２軸のフレア領域４２の端部となる画素同士を直線もしくは光源位置４１の中心を中心とした円弧で結んだ線よりも光源位置４１側に位置する領域をフレア領域４２と判定するようにしてもよい。このような方法により、フレア領域４２の判定を簡便化できるとともに、合成画像生成部２４における合成画像１３の生成も簡便化できる。
さらに、フレア領域４２を判定する画素領域を、予め設定された光源位置４１の中心からの距離の範囲内に限定することで処理の負荷を軽減することができる。例えば、光源位置情報３１から得られる光源位置４１の画素領域の面積に比例した距離を設定してもよく、隣接する複数画素を平均化してひとかたまりとして設定してもよい。

実施の形態２．
本実施の形態に係る画像表示装置１は、図１に示す実施の形態１の概略構成と同様に撮像部２、画像処理部３、画像表示部４とを備える。画像処理部３は、現時点に撮像された現フレームの画像処理において参照できる、前の時間帯に撮像された前フレームで得た光源位置情報３１およびフレア領域情報３２などの前フレーム情報３３を保持する前フレーム情報保持部２５を備える。

フレア領域判定部２２は、光源位置４１の中心の周囲の輝度値が、第二の輝度値Ｔｈ２以上である画素領域をフレア領域４２として判定する。光源位置４１は撮像入力画像１１０中の第一の輝度値Ｔｈ１以上の画素領域から検出するため、入力画像１１にノイズが出現した場合、ノイズを光源位置４１と誤って検出したフレア領域４２を判定する虞がある。また、例えば後方車両５１のヘッドライト５２の路面反射光５３が映しだされ、第二の輝度値Ｔｈ２以上となる画素領域が大きい場合はフレア領域４２と判定されるが、小さい場合はフレア領域４２と判定されず、表示画像にちらつきが生じる虞がある。本実施の形態の画像表示装置１は、撮像入力画像１１０を取得する撮像部２に用いるカメラが、通常１秒間に３０～６０フレームの間隔で撮像し、ノイズや路面反射光５３を認識するのは全フレームではないことに着目したもので、現フレームでの画像処理時に前フレームの情報を参照して、ノイズを削除したり、フレア領域４２を誤って判定したりしても表示画像の視認性を低下させないものである。

図６により、撮像入力画像１１０に路面反射光５３が映しだされた例を説明する。図６は、時間Ｔ１～Ｔ７の順に撮像された撮像入力画像１１０の例であり、時間Ｔ４～Ｔ６に路面反射光５３が急遽に出現している。さらに、路面反射光５３の輝度値は変化し、時間Ｔ５において最大となっている。このような輝度値の瞬間的な変化の影響で、仮に時間Ｔ４およびＴ６では路面反射光５３をフレア領域４２と判定せず、時間Ｔ５ではフレア領域４２と判定した場合に、そのまま入力画像１１と補正画像１２とを合成した合成画像１３を表示させると、画像表示部４に表示される表示画像にちらつきが生じることとなる。そこで、前フレーム情報保持部２５に前フレームの光源位置情報３１およびフレア領域情報３２を保持しておき、これらの情報を用いて現フレームの合成画像１３の生成を合成画像生成部２４で行う。

本実施の形態において、撮像部２で撮像された現時点の前の撮像入力画像１１０または入力画像１１を前フレーム（例えば現時点が時間Ｔ５であれは、時間Ｔ５の現フレームの前フレームは時間Ｔ１～４のいずれかのフレーム）という。前フレームの前のフレームを含めて複数の前フレームをいうこともある。
図７は、本実施の形態の画像表示装置１の概略ブロック図である。画像処理部３には、前フレームにおいて、光源位置検出部２１で取得した光源位置情報３１およびフレア領域判定部２２で取得したフレア領域情報３２を保持する前フレーム情報保持部２５を備える。光源位置検出部２１、フレア領域判定部２２、補正画像生成部２３で行う処理については実施の形態１と同様である。

前フレーム情報保持部２５における前フレーム情報３３の保存は、例えば時間Ｔ１から時間Ｔ７の情報が順次保持可能となるようにメモリ領域を確保したリングバッファなどを用いる。

合成画像生成部２４では、入力画像１１、光源位置情報３１、フレア領域情報３２、補正画像１２、前フレームから得られる前フレーム情報３３を入力とする。

例えば、現フレームで判定されたフレア領域４２の位置が、前フレーム情報保持部２５の光源位置情報３１からフレア領域４２ではないと判断された場合、合成画像生成部２４では、入力画像１１の合成割合Ｂａを、例えば０．７以上と大きくして合成画像１３の生成を行う。
このように前フレーム情報３３を参照して、撮像入力画像１１０のノイズや急遽出現する路面反射光５３などが映った画像で、フレアによる影響が小さいと思われる際には、入力画像１１の輝度値に近づけることにより、表示画像のちらつきを抑制できる。

また、前フレーム情報保持部２５に複数の前フレームの情報を保持させてもよい。例えば、時間Ｔ６においてフレア領域４２と判定した位置の画素が、前フレーム情報３３に保持された時間Ｔ１～Ｔ５の前フレームではＴ５のみフレア領域４２と判定されていた場合は、フレア領域４２と判定されていないフレームの割合は４／５である。この場合は、例えば図４Ａにおける光源位置４１の中心であるＤ＝０の入力画像１１の合成割合Ｂａを４／５とする。また、フレア領域４２と判断されない前フレームの数の割合を変数とした関数や、フレーム数を入力値としたＬＵＴを用いて入力画像１１の合成割合Ｂａを決定してもよい。
このように、合成画像生成部２４における入力画像１１の割合および補正画像１２の割合は、撮像部２で撮像された前フレームでフレア領域４２と判定されない前フレームの数が多いほど入力画像１１の割合を大きく、補正画像の割合を小さくする。

なお、前フレーム情報保持部２５に保持させる前フレーム情報３３を、前フレームにおける光源位置情報３１およびフレア領域情報３２とする例を述べたが、光源位置検出部２１で検出する光源位置４１、フレア領域判定部２２で判定するフレア領域４２の情報が得られる情報を前フレーム情報保持部２５に保持させてもよい。
例えば、前フレームにおける光源位置４１を前フレーム情報保持部２５に保持させ、合成画像生成部２４における入力画像１１の割合および補正画像１２の割合を、撮像部２で撮像された前フレームで光源位置４１が検出されていないほど、入力画像１１の割合を大きく、補正画像１２の割合を小さくしてもよい。

このような画像表示装置１においても、撮像入力画像１１０の輝度値から光源位置４１を検出し、光源位置４１の中心から判定したフレア領域４２の少なくとも一部において、入力画像１１と補正画像１２との割合を、光源位置４１の中心に近いほど補正画像１２の割合を大きく、遠いほど入力画像１１の割合を大きくして生成させた合成画像１３を表示し、フレア領域４２でない領域には入力画像１１を表示させるため、表示画像の輝度値の不連続性を抑制して、視認性の高い画像を表示できる。
また、前フレーム情報３３を参照して、フレアによる影響が小さいと思われる際には、入力画像１１の輝度値に近づけることにより、表示画像のちらつきを抑制し、さらに視認性の高い画像を表示できる。

実施の形態３．
本実施の形態に係る画像表示装置１は、図１に示す実施の形態１の概略構成と同様に撮像部２、画像処理部３、画像表示部４とを備え、画像処理部３は、図８に示すように合成画像生成部２４から出力された前フレームの合成画像１３を前フレーム情報保持部２６に備える。

前フレーム情報保持部２６は、複数の前フレームで合成画像生成部２４から出力された合成画像１３を保存する。情報の保存は、例えば時間Ｔ１から時間Ｔ７の情報が順次保持可能となるようにメモリ領域を確保し、リングバッファなどを用いる。

光源位置検出部２１は、現フレームの撮像入力画像１１０および前フレーム情報保持部２６が保持する複数の前フレームの合成画像１３を用いて、前フレームの合成画像１３における光源位置４１の推移から現フレームの光源位置４１を推定する。例えば１秒間に６０フレームを撮像するカメラの場合、複数の前フレームの合成画像１３には、同じ光源が繰り返し撮像されているため光源の推移が把握できる。そして、複数の前フレームの合成画像１３の輝度値を比較することによりノイズや路面反射光５３などのフレアによる影響のない高輝度画素を見つけ取り除くことが可能となる。
例えば、前フレーム情報保持部２６から予め設定された時間の複数の前フレームの合成画像１３を取り出し、フレーム毎に算出した高輝度領域の重心の位置の推移をみる。例えば、後方車両５１のヘッドライト５２の場合には道路の進行方向に合わせて重心の位置が動くため、現時点の撮像入力画像１１０における光源位置４１は、複数の前フレームの高輝度領域の重心位置から推定できる。
複数の前フレームにおいて高輝度領域の重心の位置の動向が推定できない場合には、撮像入力画像１１０のノイズや路面反射光などに起因するフレアの影響を受けない領域と判断して、光源位置４１と検出しないようにすることができる。

複数の前フレームの合成画像１３からフレーム毎に、カメラの感度の指向特性に依存する後方車両５１のヘッドライト５２の移動によるフレア領域４２の大きさの変動から、現フレームの入力画像１１におけるフレア領域４２を判定してもよい。
複数の前フレームの合成画像１３から変動動向が推定できない場合には、撮像入力画像１１０のノイズや路面反射光５３などに起因するフレアによる影響を受けない領域と判断して、フレア領域４２と判定しないようにすることができる。

このような画像表示装置１においても、撮像入力画像１１０の輝度値から光源位置４１を検出し、光源位置４１の中心から判定したフレア領域４２の少なくとも一部において、入力画像１１と補正画像１２との割合を、光源位置４１の中心に近いほど補正画像１２の割合を大きく、遠いほど入力画像１１の割合を大きくして生成させた合成画像１３を表示し、フレア領域４２でない領域には入力画像１１を表示させるため、表示画像の輝度値の不連続性を抑制して、視認性の高い画像を表示できる。
そして前フレームの合成画像１３を参照した前フレーム情報３４を用いることにより光源位置４１およびフレア領域４２の位置を推定することができ、処理を簡便化できる。

なお、上記実施の形態１～３において、入力画像１１は、撮像入力画像１１０をそのまま取り出してもよく、輝度、色合いなどを調整したものを用いてもよい。

また、上述以外にも、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。

また、画像表示装置１について説明したが、画像表示装置１を構成する画像処理部３、画像表示装置１で実施される画像表示方法、画像処理部３で実施される画像処理方法もまた本発明の一部を成す。さらに、上述の画像処理部３または画像処理方法における処理をコンピュータに実行させるプログラム、および該プログラムを記録したコンピュータで読み取り可能な記録媒体、例えば非一時的記録媒体もまた本発明の一部を成す。

１画像表示装置、２撮像部、３画像処理部、４画像表示部、１１入力画像、１２補正画像、１３合成画像、２１光源位置検出部、２２フレア領域判定部、２３補正画像生成部、２４合成画像生成部、２５、２６前フレーム情報保持部、３１光源位置情報、３２フレア領域情報、３３、３４前フレーム情報、４１光源位置、４２フレア領域、５１後方車両、５２ヘッドライト、５３路面反射光、１１０撮像入力画像

Claims

車両の外部を撮像する撮像部により撮像された撮像入力画像中の予め設定された第一の輝度値以上の画素が隣接して集まっている画素領域を光源位置として検出する光源位置検出部と、
前記光源位置の中心の周囲の画素領域から、予め設定された第二の輝度値以上である画素領域をフレア領域と判定するフレア領域判定部と、
前記撮像入力画像のうちの、少なくとも前記フレア領域内の入力画像中の予め設定された第三の輝度値以上の画素の輝度値を低減させて、補正画像を生成する補正画像生成部と、
少なくとも前記フレア領域の一部において、前記補正画像と前記入力画像とを、前記光源位置の中心に近いほど前記補正画像の割合を大きく、遠いほど前記入力画像の割合を大きくして、合成画像を生成する合成画像生成部と、
前記合成画像が生成された画素領域には合成画像を、前記合成画像が生成されない画素領域のうち、前記フレア領域内には前記補正画像または前記入力画像を、前記フレア領域外には前記入力画像を表示する画像表示部と、
を備えた画像表示装置。
前記合成画像生成部は、前記フレア領域内またはフレア領域端部とその周辺を含む領域において、前記合成画像を生成する請求項１に記載の画像表示装置。
前記フレア領域判定部は、前記光源位置の中心からの距離が近いほど前記第二の輝度値を大きく設定し前記フレア領域の判定を行う請求項１または請求項２に記載の画像表示装置。
現時点より前の時間帯に撮像された前フレームにおける前フレーム情報を保持する前フレーム情報保持部をさらに備えた請求項１～３のいずれか一項に記載の画像表示装置。
前記前フレーム情報は、前記光源位置検出部で得た光源位置情報、前記フレア領域判定部で得たフレア領域情報、および前記合成画像生成部で得た前記合成画像の少なくともいずれかである請求項４に記載の画像表示装置。
前記前フレーム情報は前記光源位置情報であって、前記合成画像生成部における前記入力画像の割合および前記補正画像の割合は、前記光源位置情報による前記光源位置が検出されていない前記前フレームの数が多いほど、前記入力画像の割合を大きく、前記補正画像の割合を小さくする請求項５に記載の画像表示装置。
前記前フレーム情報は前記フレア領域情報であって、前記合成画像生成部における前記入力画像の割合および前記補正画像の割合は、前記フレア領域情報により前記フレア領域と判定されない前記前フレームの数が多いほど、前記入力画像の割合を大きく、前記補正画像の割合を小さくする請求項５に記載の画像表示装置。
前記前フレーム情報は前記合成画像であって、前記光源位置検出部は、前記前フレーム情報保持部が保持する前記前フレームの前記合成画像における前記光源位置の推移から現時点のフレームの前記光源位置を推定する請求項５に記載の画像表示装置。
前記前フレーム情報は前記合成画像であって、前記フレア領域判定部は、前記前フレーム情報保持部が保持する前記前フレームの前記合成画像における前記フレア領域の推移から現時点のフレームの前記フレア領域を判定する請求項５に記載の画像表示装置。
車両の外部を撮像した撮像入力画像中の予め設定された第一の輝度値以上の画素が隣接して集まっている画素領域を光源位置として検出するステップと、
前記光源位置の中心の周囲の画素の輝度値が、予め設定された第二の輝度値以上である画素領域をフレア領域と判定するステップと、
前記撮像入力画像のうちの、少なくとも前記フレア領域内の入力画像の予め設定された第三の輝度値以上の画素の輝度値を低減させて、補正画像を生成するステップと、
少なくとも前記フレア領域の一部において、前記補正画像と前記入力画像とを、前記光源位置の中心に近いほど前記補正画像の割合を大きく、遠いほど前記入力画像の割合を大きくして、合成画像を生成するステップと、
前記合成画像が生成された画素領域には合成画像を、前記合成画像が生成されない画素領域のうち、前記フレア領域内には前記補正画像または前記入力画像を、前記フレア領域外には前記入力画像を表示する表示画像を生成するするステップと、
を備えることを特徴とする画像表示方法。