JP6555204B2 - 車両用映像処理装置及び車両用モニタシステム - Google Patents

Description

本発明は、車両で用いられるカメラで撮影した映像を表示させる車両用映像処理装置及び車両用モニタシステムに関するものである。

従来、有機ＥＬ素子等の自発光素子を用いたディスプレイが知られている。このようなディスプレイでは、アイコン及び／又はテキスト等の固定パターンを長時間表示し続けた場合、発光していた画素と発光していないかった画素とで素子劣化に差が生じることで輝度差が生じ、画質を悪化させてしまう。

この問題を解決する手段として、例えば特許文献１には、固定パターンの形状，表示位置，大きさ，階調，累積表示時間と、自発光素子の輝度低下特性とを用いて、固定パターンが表示される画素毎に累積輝度低下量を算出し、この累積輝度低下量に基づいて、固定パターンが表示される画素毎に画像補正を行う技術が開示されている。

特開２０１３−５７９１２号公報

しかしながら、特許文献１に開示の技術では、自然画に含まれる対象のうちに、ディスプレイへの映り込み領域が固定される対象が存在した場合の、この対象の表示継続による累積輝度低下量は考慮されていない。よって、車両に取り付けられたカメラが撮影した自車周辺の映像を表示するディスプレイにおいて、自車の車体が同じ領域に映り込み続ける場合であっても、この車体が表示される領域の累積輝度低下量に基づく画像補正を行うことができない。従って、特許文献１に開示の技術では、車両に取り付けられたカメラで撮影した自車周辺の映像を表示するディスプレイにおいて、自然画の表示領域に素子劣化の差に起因する輝度差が生じ、運転上必要な情報がドライバに視認しにくくなる可能性がある。

本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、車両に取り付けられたカメラで撮影した自車周辺の映像を表示するディスプレイにおいて、運転上必要な情報の視認性の低下を抑えることを可能にする車両用映像処理装置及び車両用モニタシステムを提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、発明の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

上記目的を達成するために、本発明の車両用映像処理装置は、車両で用いられ、車両に取り付けられたカメラ（２１，２２）で逐次撮影する車両周辺の自然画を、自発光素子を用いたディスプレイ（３１，４１）に逐次表示させる出力処理部（１３）と、車両周辺の自然画のうちの同一の対象物の画像がディスプレイの特定の領域に表示され続ける固定表示領域を特定する領域特定部（１１２）と、自発光素子の輝度低下特性をもとに、自発光素子の累積輝度低下量を算出する低下量算出部（１１５，１１５ａ）と、領域特定部で特定した固定表示領域について、低下量算出部で算出した累積輝度低下量に応じた画像補正を行う補正処理部（１１９）とを備え、出力処理部は、補正処理部で画像補正を行った自然画をディスプレイに表示させる。

また、上記目的を達成するために本発明の車両用モニタシステムは、車両で用いられ、車両に取り付けられ、車両周辺の自然画を表示するカメラ（２１，２２）と、カメラで逐次撮影する車両周辺の自然画を表示する、自発光素子を用いたディスプレイ（３１，４１）と、本発明の車両用映像処理装置（１１）とを含む。

これらによれば、車両周辺の自然画のうちの同一の対象物の画像がディスプレイの特定の領域に表示され続ける固定表示領域について、低下量算出部で算出した自発光素子の累積輝度低下量に応じた画像補正を行う。よって、固定表示領域について、自発光素子の累積輝度低下量に応じて輝度を上げることによって、固定表示領域以外との輝度差を抑えることが可能になる。その結果、車両に取り付けられたカメラで撮影した自車周辺の映像を表示するディスプレイにおいて、運転上必要な情報の視認性の低下を抑えることが可能になる。

電子ミラーシステム１の概略的な構成の一例を示す図である。 右後側方カメラ２１及び左後側方カメラ２２の取り付け位置の一例を説明するための図である。 右側方表示器３０及び左側方表示器４０取り付け位置の一例を説明するための図である。 ＨＣＵ１０の制御部１１の概略的な構成の一例を示す図である。 固定表示領域と固定パターンと非固定表示領域との一例を示す図である。 ＥＬ素子の輝度低下量特性について説明するための図である。 電子ミラーシステム１ａの概略的な構成の一例を示す図である。 ＨＣＵ１０ａの制御部１１ａの概略的な構成の一例を示す図である。 ＥＬ素子の輝度低下量特性について説明するための図である。

図面を参照しながら、開示のための複数の実施形態及び変形例を説明する。なお、説明の便宜上、複数の実施形態及び変形例の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態及び／又は変形例における説明を参照することができる。

（実施形態１）
＜電子ミラーシステム１の概略構成＞
以下、本発明の実施形態１における電子ミラーシステム１について図面を用いて説明する。電子ミラーシステム１は、自車の後側方の像をサイドミラー（例えばドアミラー）に映す代わりに、サイドミラーに映る像を模した画像をディスプレイに表示させる、車両用のモニタシステムである。図１に示すように、電子ミラーシステム１は、ＨＣＵ（Human Machine Interface Control Unit）１０、周辺監視装置２０、右側方表示器３０、及び左側方表示器４０を含んでいる。電子ミラーシステム１を用いる車両を以下では自車と呼ぶ。

周辺監視装置２０は自車周辺を撮影する。周辺監視装置２０は、右後側方カメラ２１、左後側方カメラ２２、制御部２３、及び映像出力部２４を備える。右後側方カメラ２１及び左後側方カメラ２２は、入射する光を電気信号に変換する撮像素子と、撮像素子の撮像面へ光を入射させる光学系を有している。撮像素子としては、ＣＣＤ（Charge-Coupled Device）イメージセンサ、及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を用いればよい。この右後側方カメラ２１及び左後側方カメラ２２が請求項のカメラに相当する。

右後側方カメラ２１は、自車の後方に撮影面を向けた姿勢にて、自車の右側面に取り付けられる。一例として、図２に示すように、ドアミラーを備えた車両における右ドアミラーの設置位置と同様の位置に、右後側方カメラ２１が取り付けられる構成とすればよい。右後側方カメラ２１は、自車の右側方から後方（以下、右後側方）の範囲を、所定のフレームレートで撮影する。

左後側方カメラ２２は、自車の後方に撮影面を向けた姿勢にて、自車の左側面に取り付けられる。一例として、図２に示すように、ドアミラーを備えた車両における左ドアミラーの設置位置と同様の位置に、左後側方カメラ２２が取り付けられる構成とすればよい。左後側方カメラ２２は、自車の左側方から後方（以下、左後側方）の範囲を、所定のフレームレートで撮影する。一例として、右後側方カメラ２１及び左後側方カメラ２２の撮影方向は固定されているものとして以降の説明を行う。

制御部２３は、右後側方カメラ２１及び左後側方カメラ２２と電気的に接続されたマイコン等を主体とする制御回路であって、各カメラ２１，２２の作動を制御する。映像出力部２４は、各カメラ２１，２２及びＨＣＵ１０と電気的に接続されている。映像出力部２４は、各カメラ２１，２２によって撮影された映像の映像信号を逐次取得し、ＨＣＵ１０へ逐次転送する。映像出力部２４は、入力される映像信号の方式と、出力する映像信号の方式とを相互に変換することも可能である。

右側方表示器３０は、右後側方カメラ２１によって撮影された映像（つまり、自然画）を表示する表示器である。右側方表示器３０の表示面には、右後側方カメラ２１によって撮影された映像の全体が表示される構成であってもよいし、トリミングされた映像が表示される構成であってもよい。右側方表示器３０は、図３に示すように、自車の車室内において、ウインドシールドの右側に位置するピラーの根本近傍に配置される。右側方表示器３０は、表示面を運転席のヘッドレストへ向けた姿勢にて自車の構造物に取り付けられる。

左側方表示器４０は、左後側方カメラ２２によって撮影された映像（つまり、自然画）を右側方表示器４０と同様にして表示する表示器である。左側方表示器４０は、図３に示すように、自車の車室内において、ウインドシールドの左側に位置するピラーの根本近傍に配置される。左側方表示器４０は、表示面を運転席のヘッドレストへ向けた姿勢にて自車の構造物に取り付けられる。

右側方表示器３０及び左側方表示器４０は、それぞれ有機ＥＬディスプレイパネル（以下、ＥＬパネル）３１，４１、映像入力部３２，４２、及び制御部３３，４３を有している。ＥＬパネル３１，４１は、表示面に沿って二次元配列された複数のＥＬ（Electro Luminescence）画素を有している。各ＥＬ画素は、電流の印加によって自発光するＲＧＢのサブ画素を含んでいる。ＥＬパネル３１，４１は、ＲＧＢのサブ画素の輝度の増減により、種々の画像をフルカラーにて表示できる。このＥＬパネル３１，４１が請求項のディスプレイに相当する。

右側方表示器３０及び左側方表示器４０では、有機ＥＬディスプレイ以外の自発光素子を用いたディスプレイを用いる構成としてもよい。しかしながら、車両用のモニタシステムでは、あらゆる環境下において、ぼやけ及びブレのないカメラ映像を表示する性能が要求されることから、応答性能の高い有機ＥＬディスプレイを用いることがより好ましい。

各側方表示器３０，４０の映像入力部３２，４２は、表示面に映し出す映像の映像信号を、ＨＣＵ１０から取得する。各側方表示器３０，４０の制御部３３，４３は、マイコン等を主体とする制御回路であって、映像入力部３２，４２に入力される映像信号に基づき、ＥＬ画素の発光を制御することで、表示面に映像を再生させる。

以上の各側方表示器３０，４０において、ＥＬ画素それぞれのサブ画素は、映像信号の階調値に対応した輝度にて発光する。例えば、ＲＧＢの各色がそれぞれ８ビットで規定されている場合、一つのサブ画素には、２５６の階調値が割り当てられている。即ち、最低階調値は０であり、最高階調値は２５５となる。サブ画素は、階調値が高くなるほど高輝度にて明るく発光する。

ＨＣＵ１０は、各カメラ２１，２２の映像を処理する映像処理装置としての機能を有している。ＨＣＵ１０は、図１に示すように、制御部１１、映像入力部１２、及び映像出力部１３を備えている。なお、ＨＣＵ１０が実行する機能の一部または全部を、一つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。このＨＣＵ１０が請求項の車両用映像処理装置に相当する。

映像入力部１２は、周辺監視装置２０の映像出力部２４と電気的に接続されている。映像入力部１２には、映像出力部２４を経由して、各カメラ２１，２２によって撮影された映像の映像信号が入力される。映像入力部１２は、映像出力部２４から逐次伝送される映像信号を取得し、制御部１１に逐次転送する。

映像出力部１３は、右側方表示器３０の映像入力部３２及び左側方表示器４０の映像入力部４２と電気的に接続されている。映像出力部１３には、制御部１１にて画像補正等の処理が行われた各カメラ２１，２２の映像の映像信号が制御部１１から転送される。映像出力部１３は、この映像信号を、各映像入力部３２，４２へ向けて出力する。この映像出力部１３が請求項の出力処理部に相当する。

制御部１１は、ＣＰＵ、揮発性メモリ、不揮発性メモリ、及びこれらを相互に接続するバス等を有している。ＣＰＵは、プログラムに基づいて種々の演算処理を実行する。揮発性メモリは、ＣＰＵによる演算の作業領域として機能する。不揮発性メモリは、プログラム等の情報を格納する非遷移的実体的記憶媒体である。制御部１１は、映像入力部１２から入力される映像信号について、ＥＬパネル３１，４１の表示領域ごとの輝度劣化の差に応じた輝度差を小さくする画像補正等を行う。制御部１１でのこの画像補正に関連する処理の詳細については以降で説明を行う。

＜ＨＣＵ１０の制御部１１の概略構成＞
続いて、図４を用いてＨＣＵ１０の制御部１１の概略構成についての説明を行う。制御部１１は、図４に示すように、パターン情報出力部１１１、領域特定部１１２、座標記憶部１１３、特性記憶部１１４、低下量算出部１１５、低下量記憶部１１６、補正量演算部１１７、補正量記憶部１１８、及び画像生成部１１９を機能ブロックとして備える。

パターン情報出力部１１１は、ＥＬパネル３１，４１へ表示させるアイコン等の固定パターンの情報を出力する。固定パターンの情報としては、固定パターンを表示させるための、固定パターンの形状，表示位置，サイズ，階調といった情報である。ＥＬパネル３１，４１へ表示させる固定パターンは、時間帯等の状況に応じて切り替える構成としてもよい。ＥＬパネル３１，４１へ表示させる固定パターンを状況に応じて切り替える場合には、パターン情報出力部１１１が出力する固定パターンの情報を状況に応じて切り替えることになる。

領域特定部１１２は、映像入力部１２に入力された映像信号に対して、自車の車体の映り込み領域を特定するための画像処理を行って、この自車の車体の映り込み領域を固定表示領域として特定する。自車の車体の映り込み領域を特定するための画像処理の一例としては、エッジ検出が挙げられる。各カメラ２１，２２の取り付け位置及び撮像方向が定まっているので、ＥＬパネル３１，４１への自車の車体の映り込み領域はおおよそ推定される。よって、この予め推定した映り込み領域周辺に絞ってエッジ検出を行うことで、自車の車体によるエッジを検出し、自車の車体の映り込み領域を特定することができる。

なお、自車の車体の映り込み領域をおおよそ推定することで、自車の車体によるエッジの位置もおおよそ推定されるので、この予め推定したエッジの位置周辺に絞ってエッジ検出を行うことで、自車の車体の映り込み領域を特定する構成としてもよい。また、エッジ検出以外の画像処理によって固定表示領域を特定する構成としてもよい。例えば、自車の車体が映り込む場合の形状パターンを用いたパターンマッチングによって自車の車体の映り込み領域を特定し、固定表示領域を特定する構成としてもよい。

領域特定部１１２での固定表示領域の特定は、電子ミラーシステム１の初回起動時に１回行う構成とすればよく、車両製品出荷時に行うことが望ましい。領域特定部１１２は、特定した固定表示領域の画素座標を座標記憶部１１３に記憶する。なお、各カメラ２１，２２の撮影方向をユーザ操作によって調整することができる構成とした場合には、調整の都度、領域特定部１１２で固定表示領域を特定する構成とすればよい。各カメラ２１，２２の撮影方向が調整可能な構成である場合には、エッジ検出を行う範囲を、調整可能な範囲に応じて切り替えたり、拡大縮小したりする構成とすればよい。なお、各カメラ２１，２２の映像のうちの、ＥＬパネル３１，４１へ表示させる領域（以下、表示選択領域）をユーザ操作によって調整することができる構成とした場合についても同様である。

ここで、図５を用いて、固定表示領域と固定パターンと非固定表示領域との一例を示す。非固定表示領域とは、ＥＬパネル３１，４１の表示領域のうち、固定表示領域と固定パターンの表示領域とを除く領域を指す。図５のＳｐが固定パターンを示しており、Ｖｂが自車の車体の映像を示している。また、図５のＶｉが景観の映像、Ｆｖが後続車の映像、Ｒｍが路面標示の映像を示している。

電子ミラーシステム１では、各カメラ２１，２２の取り付け位置及び撮像方向が定まっているので、自車の車体の映像（図５のＶｂ参照）は、ＥＬパネル３１，４１において常時同じ領域に表示され続けることになる。よって、自車の車体の映像が表示される領域を固定表示領域とする。一方、景観の映像（図５のＶｉ参照）、後続車の映像（図５のＦｖ参照）、路面標示の映像（図５のＲｍ参照）は、自車の走行状態によって表示映像が遷移するため、ＥＬパネル３１，４１において常時同じ領域に表示され続けることはない。よって、これらの映像が表示される領域は固定表示領域とせず、非固定表示領域とする。

なお、各カメラ２１，２２の撮影方向若しくは前述の表示選択領域を調整可能な構成を採用した場合には、撮影方向若しくは表示選択領域を再度調整するまでの間において常時自車の車体の映像が表示され続ける領域を固定表示領域とする。

座標記憶部１１３としては、不揮発性メモリを用いる構成とすればよい。座標記憶部１１３の記憶容量としては、より詳細に画像補正を行うためには表示領域の全画素分に対応した記憶容量を用意することが好ましい。しかしながら、座標記憶部１１３の記憶容量の増大を抑え、コストを低減するために、画素ごとの座標を記憶するのではなく、表示領域を分割した分割領域ごとの座標を記憶する構成としてもよい。

分割領域ごとの座標としては、分割領域を特定可能な座標であればよく、分割領域の各頂点の座標等とすればよい。等分割した分割領域の場合には、中心座標等の分割領域に対して所定の位置の座標とすればよい。他にも、固定表示領域については画素ごとの座標を記憶する一方、非固定表示領域については分割領域ごとの座標を記憶する構成としてもよい。なお、いずれの構成においても、非固定表示領域の全体を１つの分割領域で担う構成としてもよいし、複数の分割領域で担う構成としてもよい。

電子ミラーシステム１では、ＥＬパネル３１，４１をサイドミラーの代用として用いるため、ＥＬパネル３１，４１に表示する映像を各カメラ２１，２２の映像以外の映像に切り替えることは想定しなくてもよい。よって、ＥＬパネル３１，４１に表示する映像を各カメラ２１，２２の映像以外の映像に切り替える構成に比べ、分割領域単位で以降の画像補正に関する処理を行った場合でも固定表示領域と非固定表示領域との輝度差が目立ちにくい。従って、電子ミラーシステム１では、上述したような分割領域ごとの座標を記憶する構成も許容可能となっている。

特性記憶部１１４は、ＥＬパネル３１，４１の自発光素子（つまり、ＥＬ素子）の輝度低下量特性を記憶している。ここで言うところの輝度低下量特性とは、自発光素子の発光時間に対する自発光素子の劣化による輝度の低下量である。ここで、図６を用いて、発光時間に応じた輝度低下量特性について説明する。

図６の縦軸は相対輝度Ｉｖｒを示しており、横軸は表示時間ｔを示している。図６には、一例として、自発光素子の階調値、つまり自発光素子への印加電流値ごとにプロットした輝度低下特性曲線を示す（Ｉｆ１〜Ｉｆｎ参照）。図６に示すように、輝度低下特性曲線は、表示時間とともに相対輝度Ｉｖｒが低下する傾向を持ち、印加電流値によってその傾きが変化する特性を持つ。発光時間に応じた輝度低下特性は、Ｉｖｒ＝ｅｘｐ（−α・ｔ）の式で表される。輝度低下係数αは印加電流値によって定まる定数である。一例として、特性記憶部１１４には、この式と階調値ごと（つまり、印加電流値ごと）の輝度低下係数αとを輝度低下特性として記憶している構成とすればよい。

低下量算出部１１５は、固定表示領域の画素座標、映像信号、固定パターンの情報、表示時間、及び輝度低下特性から、固定パターンと固定表示領域と非固定表示領域との累積輝度低下量を算出する。固定表示領域の画素座標は、座標記憶部１１３から取得したものを用いる。映像信号は、映像入力部１２に逐次入力されてくる映像信号を用いる。固定パターンの情報は、パターン情報出力部１１１から出力されるものを用いる。輝度低下特性は、特性記憶部１１４に記憶されているものを用いる。

低下量算出部１１５は、固定パターンの累積輝度低下量については、固定パターンの情報と輝度低下特性と固定パターンの各画素についての表示時間とから、例えば特許文献１に開示の公知の技術と同様にして、固定パターンの個々の画素ごとに累積輝度低下量を算出する。低下量算出部１１５は、固定パターンの各画素についての表示時間を、後述する低下量記憶部１１６等の不揮発性メモリに記憶しておく構成とすればよい。固定パターンの階調値は、固定パターンの情報に含まれる予め決められた階調値であることから、輝度低下係数αが一意に決定される。よって、低下量算出部１１５は、この輝度低下係数αと表示時間とＩｖｒ＝ｅｘｐ（−α・ｔ）の式とから、固定パターンの累積輝度低下量を算出する。

低下量算出部１１５は、算出した固定パターンの累積輝度低下量を固定パターンの画素別に低下量記憶部１１６に記憶する。低下量記憶部１１６としては、不揮発性メモリを用いる構成とすればよい。低下量算出部１１５は、固定パターンの画素について、累積輝度低下量が新たに算出されるごとに、記憶済みの累積輝度低下量に積算して記憶を更新していく。

また、低下量算出部１１５は、固定表示領域の累積輝度低下量については、映像信号のフレームごとに、固定表示領域の画素座標と輝度低下量特性と固定表示領域の表示時間とから、累積輝度低下量を算出する。低下量算出部１１５は、固定パターン表示領域のフレームごとの表示時間については、例えば映像信号のフレームレートから特定すればよい。

固定表示領域の階調値は、固定パターンと異なり予め決められておらず、映像信号のフレームごとに異なる。よって、累積輝度低下量は、基準とする階調値（以下、基準階調値）に対する固定表示領域の実際の階調値の比率（以下、β）を考慮して算出する。具体的には、基準階調値についての輝度低下係数αと表示時間と比率βとＩｖｒ＝ｅｘｐ（−α・ｔ）の式を変形したＩｖｒ＝ｅｘｐ（−α・β・ｔ）の式とから固定表示領域の１フレームあたりの累積輝度低下量を算出する。基準階調値は、あくまで基準とするためのものであるので、任意に設定可能である。なお、Ｉｖｒ＝ｅｘｐ（−α・β・ｔ）の式も輝度低下特性として特性記憶部１１４に記憶しておく構成としてもよい。

低下量算出部１１５は、固定表示領域の画素座標が画素ごとの座標である場合には、画素ごとに上述の算出を行う。一方、固定表示領域の画素座標が分割領域ごとの座標である場合には、例えば分割領域ごとに階調値を平均した値を用いて、分割領域ごとに上述の算出を行う。低下量算出部１１５は、算出した固定表示領域の累積輝度低下量固定パターンの各画素についての表示時を低下量記憶部１１６に記憶する。低下量算出部１１５は、映像信号のフレームごとに算出した累積輝度低下量を記憶済みの累積輝度低下量に順次積算し記憶を更新していくことで、複数フレームにわたる固定表示領域の累積輝度低下量を低下量記憶部１１６に記憶する。

また、低下量算出部１１５は、非固定表示領域の累積輝度低下量については、映像信号のフレームごとに、非固定表示領域の画素座標と輝度低下量特性と非固定表示領域の表示時間とから、累積輝度低下量を算出し、低下量記憶部１１６に記憶する。非固定表示領域の累積輝度低下量の算出及び記憶については、非固定表示領域の階調値が映像信号のフレームごとに異なるので、固定表示領域の累積輝度低下量の算出及び記憶と同様にして行う構成とすればよい。なお、非固定表示領域の累積輝度低下量の算出については、非固定表示領域の表示領域がＥＬパネル３１，４１の表示面の過半を占めると考えられるので、処理負荷の低減のために分割領域ごとに算出を行うことが好ましい。

補正量演算部１１７は、低下量記憶部１１６に記憶されている固定パターン、固定表示領域、及び非固定表示領域の累積輝度低下量をもとに、固定パターンと固定表示領域と非固定表示領域との間での輝度差が小さくなるように補正量を演算する。より好ましくは、固定パターンと固定表示領域と非固定表示領域との間での輝度差が最小になるように補正量を演算する。

一例としては、累積輝度低下量が大きくなるのに比例してＥＬ素子の輝度が増加するように補正量を演算する構成とすればよい。他にも、累積輝度低下量が最小の画素に対する累積輝度低下量の比率が大きくなるのに比例してＥＬ素子の輝度が増加するように補正量を演算する構成としてもよい。また、累積輝度低下量が最大の画素に対する累積輝度低下量の比率が大きくなるのに比例してＥＬ素子の輝度が減少するように補正量を演算する構成としてもよい。補正量演算部１１７は、演算した補正量を補正量記憶部１１８に記憶する。補正量記憶部１１８としては、例えば揮発性メモリを用いる構成とすればよい。補正量演算部１１７は、一例として、低下量記憶部１１６の記憶が更新されるごとに補正量を演算して補正量記憶部１１８に記憶する補正量を更新する構成とすればよい。

画像生成部１１９は、映像入力部１２から映像信号が入力されるごとに、この映像信号と、補正量記憶部１１８に記憶されている補正量と、パターン情報出力部１１１から出力される固定パターンの情報とから、ＥＬパネル３１，４１へ表示させる映像信号を生成する。具体例としては、各カメラ２１，２２の映像とパターン情報出力部１１１から出力される固定パターンの情報が示すパターンとを重畳した映像について、補正量記憶部１１８に記憶されている補正量に従った画像補正を行い、ＥＬパネル３１，４１へ表示させる映像信号を生成する。そして、生成した映像信号を映像出力部１３へ送る。映像出力部１３では、送られてきた映像信号をＥＬパネル３１，４１へ出力し、この映像信号に従った映像をＥＬパネル３１，４１へ表示させる。

前述したように、制御部１１は、映像入力部１２から映像信号が入力されるごとに、低下量算出部１１５での累積輝度低下量の算出、補正量演算部１１７での補正量の演算、画像生成部１１９での画像補正を伴った映像信号の生成を、一連の処理として行う構成とすればよい。

なお、これに限らず、補正量演算部１１７での補正量の演算及び演算した補正量の記憶については、映像入力部１２から映像信号が入力されるごとよりも長い周期で逐次行う構成としてもよい。これは、ユーザに認識できる程度の輝度低下が短時間では生じないと考えられるため、累積輝度低下量の変化を画像補正に直ちに反映させなくてもよいと考えられることによる。この構成を採用する場合、累積輝度低下量の算出と、補正量記憶部１１８に記憶されている補正量に従った画像補正を伴う映像信号の生成とは、映像入力部１２から映像信号が入力されるごとに行う構成とすればよい。

＜実施形態１のまとめ＞
実施形態１の構成によれば、自車周辺の自然画のうちの自車の車体が定常的にＥＬパネル３１，４１の表示面に表示され続ける固定表示領域をエッジ検出によって特定することができる。また、この固定表示領域の累積輝度低下量については、基準階調値に対する実際の階調値の比率による係数を考慮することにより、固定パターンと同様に算出可能となっている。そして、この固定表示領域の累積輝度低下量を用いて、固定パターンと固定表示領域と非固定表示領域との間での輝度差が小さくなるように、ＥＬパネル３１，４１へ表示させる映像を画像補正するので、固定パターンと固定表示領域と非固定表示領域との間での累積輝度低下量の差による輝度差を抑えることが可能になる。その結果、車両に取り付けられた各カメラ２１，２２で撮影した自車周辺の映像を表示するＥＬパネル３１，４１において、運転上必要な情報の視認性の低下を抑えることが可能になる。

（実施形態２）
実施形態１に示した構成に限らず、ＥＬ素子の使用環境温度も考慮して累積輝度低下量を算出する構成（以下、実施形態２）としてもよい。以下、実施形態２について図面を用いて説明する。

＜電子ミラーシステム１ａの概略構成＞
実施形態２の電子ミラーシステム１ａは、図７に示すように、ＨＣＵ１０ａ、周辺監視装置２０、右側方表示器３０ａ、及び左側方表示器４０ａを含んでいる。電子ミラーシステム１ａは、ＨＣＵ１０，右側方表示器３０，左側方表示器４０の代わりにＨＣＵ１０ａ，右側方表示器３０ａ，左側方表示器４０ａを含む点を除けば、実施形態１の電子ミラーシステム１と同様である。

右側方表示器３０ａ及び左側方表示器４０ａは、それぞれＥＬパネル３１，４１、映像入力部３２，４２、制御部３３，４３、及びサーミスタ３４，４４を有している。右側方表示器３０及び左側方表示器４０は、それぞれサーミスタ３４，４４を有している点を除けば、実施形態１の右側方表示器３０及び左側方表示器４０と同様である。

サーミスタ３４，４４は、それぞれＥＬパネル３１，４１のＥＬ素子近傍に設けられ、ＥＬ素子の使用環境温度（以下、単に環境温度）を検出する。サーミスタ３４，４４での検出結果はＨＣＵ１０ａに出力される。このサーミスタ３４，４４が請求項のセンサに相当する。なお、ＥＬ素子の環境温度を検出することが可能な温度センサであれば、サーミスタ３４，４４以外を用いる構成としてもよい。

ＨＣＵ１０ａは、図７に示すように、制御部１１ａ、映像入力部１２、及び映像出力部１３を備えている。ＨＣＵ１０ａは、制御部１１の代わりに制御部１１ａを備える点を除けば、実施形態１のＨＣＵ１０と同様である。

＜ＨＣＵ１０ａの制御部１１ａの概略構成＞
続いて、図８を用いてＨＣＵ１０ａの制御部１１ａの概略構成についての説明を行う。制御部１１ａは、図８に示すように、パターン情報出力部１１１、領域特定部１１２、座標記憶部１１３、特性記憶部１１４ａ、低下量算出部１１５ａ、低下量記憶部１１６、補正量演算部１１７、補正量記憶部１１８、画像生成部１１９、及び温度特定部１２０を機能ブロックとして備える。制御部１１ａは、特性記憶部１１４及び低下量算出部１１５の代わりに特性記憶部１１４ａ及び低下量算出部１１５ａを備える点と、温度特定部１２０を備える点とを除けば、実施形態１の制御部１１と同様である。

温度特定部１２０は、サーミスタ３４，４４から取得した検出結果から、ＥＬパネル３１，４１のそれぞれのＥＬ素子の環境温度を特定する。温度特定部１２０は、特定した環境温度の情報を低下量算出部１１５ａに出力する。

特性記憶部１１４ａは、実施形態１で説明した発光時間に応じた輝度低下量特性に加え、自発光素子の環境温度に対する自発光素子の劣化による輝度の低下量としての輝度低下量特性（以下、環境温度に応じた輝度低下量特性）も記憶している。ここで、図９を用いて、環境温度に応じた輝度低下量特性について説明する。

図９の縦軸は輝度低下量Ｉｖを対数プロットした値を示しており、横軸は環境温度Ｔの逆数をプロットした値を示している。図９に示すように、輝度低下特性曲線は、環境温度Ｔが高くなるほど輝度低下量Ｉｖが大きくなる傾向を持つ。環境温度に応じた輝度低下特性は、アレニウスの式より、Ｉｖ＝Ａ・ｅｘｐ（―Ｅａ／ｋｂ・Ｔ）で表現される。ここで、Ａは比例定数、Ｅａは活性化エネルギー、ｋｂはボルツマン定数を表す。

低下量算出部１１５ａは、温度特定部１２０で特定した環境温度も考慮して累積輝度低下量を算出する点を除けば、実施形態１の低下量算出部１１５と同様である。より詳しくは、低下量算出部１１５ａでは、基準とする環境温度（以下基準環境温度）と温度特定部１２０で特定した実際の環境温度とのそれぞれについて、Ｉｖ＝Ａ・ｅｘｐ（―Ｅａ／ｋｂ・Ｔ）の式で算出される輝度低下量を算出する。また、基準環境温度についての輝度低下量に対する実際の環境温度についての輝度低下量の比率（以下、γ）を算出する。なお、基準環境温度は、発光時間に応じた輝度低下量特性において温度条件として固定されている温度とする。

そして、低下量算出部１１５ａは、固定パターンの累積輝度低下量の算出であれば、固定パターンの階調値についての輝度低下係数αと比率γと表示時間とＩｖｒ＝ｅｘｐ（−α・ｔ）の式を変形したＩｖｒ＝ｅｘｐ（−α・γ・ｔ）の式とから算出する。一方、固定表示領域の累積輝度低下量の算出であれば、基準階調値についての輝度低下係数αと比率βと比率γと表示時間とＩｖｒ＝ｅｘｐ（−α・ｔ）の式を変形したＩｖｒ＝ｅｘｐ（−α・β・γ・ｔ）の式とから算出する。非固定表示領域の累積輝度低下量の算出については、固定表示領域の累積輝度低下量の算出と同様にして行えばよい。なお、Ｉｖｒ＝ｅｘｐ（−α・ｔ）の式に代わり、Ｉｖｒ＝ｅｘｐ（−α・γ・ｔ）の式及びＩｖｒ＝ｅｘｐ（−α・β・γ・ｔ）の式を輝度低下特性として特性記憶部１１４に記憶しておく構成としてもよい。

実施形態２の構成によれば、発光時間に応じた輝度低下量特性に加え、環境温度に応じた輝度低下量特性も累積輝度低下量の算出に用いるので、より正確に累積輝度低下量を算出することができ、より精度の高い画像補正を行うことが可能になる。その結果、車両に取り付けられた各カメラ２１，２２で撮影した自車周辺の映像を表示するＥＬパネル３１，４１において、運転上必要な情報の視認性の低下をさらに抑えることが可能になる。

（変形例１）
前述の実施形態では、ＥＬパネル３１，４１に自然画に加えて固定パターンも表示させる構成を示したが、必ずしもこれに限らない。例えば、固定パターンを表示せず、自然画のみを表示させる構成としてもよい。この場合、固定パターンの表示に関する部材及び処理を省略する構成とすればよい。

（変形例２）
前述の実施形態では、サイドミラーに映る像を模した画像をディスプレイに表示させる車両用モニタシステムに適用した場合について説明を行ったが、必ずしもこれに限らない。例えば、自車周辺を撮影した映像に自車の車体が定常的に映り込む車両用モニタシステムであれば、前述の実施形態で説明した以外の車両用モニタシステムに適用する構成としてもよい。一例としては、自車の後退時に自車後部に取り付けた後方カメラで撮影した自車後方の映像を車室内のディスプレイに表示させるバックガイドモニタシステムでは、自車の車体後部が映像に定常的に映り込むため、バックガイドモニタシステムに適用する構成としてもよい。

なお、本発明は、上述した実施形態及び変形例に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態及び変形例にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 電子ミラーシステム（車両用モニタシステム）、１０，１０ａ ＨＣＵ（車両用映像処理装置）、１１，１１ａ 制御部、１３ 映像出力部（出力処理部）、２１ 右後側方カメラ（カメラ），２２ 左後側方カメラ（カメラ）、３１，４１ ＥＬパネル（ディスプレイ）、３３，４３ サーミスタ（センサ）、１１２ 領域特定部、１１５，１１５ａ 低下量算出部、１１９ 補正処理部、１２０ 温度特定部

Claims (8)

1. 車両で用いられ、
   前記車両に取り付けられたカメラ（２１，２２）で逐次撮影する前記車両周辺の自然画を、自発光素子を用いたディスプレイ（３１，４１）に逐次表示させる出力処理部（１３）と、
   前記車両周辺の自然画のうちの同一の対象物の画像が前記ディスプレイの特定の領域に表示され続ける固定表示領域を特定する領域特定部（１１２）と、
   前記自発光素子の輝度低下特性をもとに、前記自発光素子の累積輝度低下量を算出する低下量算出部（１１５，１１５ａ）と、
   前記領域特定部で特定した前記固定表示領域について、前記低下量算出部で算出した前記累積輝度低下量に応じた画像補正を行う補正処理部（１１９）とを備え、
   前記出力処理部は、前記補正処理部で画像補正を行った前記自然画を前記ディスプレイに表示させる車両用映像処理装置。
2. 請求項１において、
   前記領域特定部は、前記カメラで撮影する前記車両周辺の自然画に対する画像処理によって検出する自車の車体の表示領域を、前記固定表示領域と特定する車両用映像処理装置。
3. 請求項２において、
   前記領域特定部は、前記カメラで撮影する前記車両周辺の自然画に対するエッジ検出によって検出する自車の車体の表示領域を、前記固定表示領域と特定する車両用映像処理装置。
4. 請求項１〜３のいずれか１項において、
   前記補正処理部は、前記領域特定部で特定した前記固定表示領域についての前記累積輝度低下量と、前記ディスプレイにおいて前記自然画が表示される、前記固定表示領域以外の領域である非固定表示領域についての前記累積輝度低下量とをもとに、前記非固定表示領域との輝度差を小さくするように前記固定表示領域について前記画像補正を行う車両用映像処理装置。
5. 請求項１〜４のいずれか１項において、
   前記低下量算出部は、基準とする階調値についての前記自発光素子の輝度低下特性と、基準とする階調値についての前記自発光素子の輝度低下特性に対する前記固定表示領域の実際の階調値の比率と、前記自発光素子の発光時間とから、前記固定表示領域についての前記累積輝度低下量を算出する車両用映像処理装置。
6. 請求項１〜５のいずれか１項において、
   前記ディスプレイの使用環境温度を検出するセンサ（３３，４３）での検出結果をもとに前記使用環境温度を特定する温度特定部（１２０）を備え、
   前記低下量算出部（１１５ａ）は、前記温度特定部で特定した前記使用環境温度に応じた前記輝度低下特性をもとに、前記自発光素子の累積輝度低下量を算出する車両用映像処理装置。
7. 請求項１〜６のいずれか１項において、
   前記出力処理部は、前記カメラで逐次撮影する前記車両の後側方の自然画を、電子ミラーシステムのディスプレイとして用いられる前記ディスプレイに逐次表示させる車両用映像処理装置。
8. 車両で用いられ、
   前記車両に取り付けられ、前記車両周辺の自然画を表示するカメラ（２１，２２）と、
   前記カメラで逐次撮影する前記車両周辺の自然画を表示する、自発光素子を用いたディスプレイ（３１，４１）と、
   請求項１〜７のいずれか１項に記載の車両用映像処理装置（１０，１０ａ）とを含む車両用モニタシステム。

Images