JP6555204B2 - 車両用映像処理装置及び車両用モニタシステム - Google Patents

車両用映像処理装置及び車両用モニタシステム Download PDF

Info

Publication number
JP6555204B2
JP6555204B2 JP2016136962A JP2016136962A JP6555204B2 JP 6555204 B2 JP6555204 B2 JP 6555204B2 JP 2016136962 A JP2016136962 A JP 2016136962A JP 2016136962 A JP2016136962 A JP 2016136962A JP 6555204 B2 JP6555204 B2 JP 6555204B2
Authority
JP
Japan
Prior art keywords
vehicle
image
display
area
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016136962A
Other languages
English (en)
Other versions
JP2018010044A (ja
Inventor
雄大 ▲高▼西
雄大 ▲高▼西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016136962A priority Critical patent/JP6555204B2/ja
Publication of JP2018010044A publication Critical patent/JP2018010044A/ja
Application granted granted Critical
Publication of JP6555204B2 publication Critical patent/JP6555204B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of El Displays (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、車両で用いられるカメラで撮影した映像を表示させる車両用映像処理装置及び車両用モニタシステムに関するものである。
従来、有機EL素子等の自発光素子を用いたディスプレイが知られている。このようなディスプレイでは、アイコン及び/又はテキスト等の固定パターンを長時間表示し続けた場合、発光していた画素と発光していないかった画素とで素子劣化に差が生じることで輝度差が生じ、画質を悪化させてしまう。
この問題を解決する手段として、例えば特許文献1には、固定パターンの形状,表示位置,大きさ,階調,累積表示時間と、自発光素子の輝度低下特性とを用いて、固定パターンが表示される画素毎に累積輝度低下量を算出し、この累積輝度低下量に基づいて、固定パターンが表示される画素毎に画像補正を行う技術が開示されている。
特開2013−57912号公報
しかしながら、特許文献1に開示の技術では、自然画に含まれる対象のうちに、ディスプレイへの映り込み領域が固定される対象が存在した場合の、この対象の表示継続による累積輝度低下量は考慮されていない。よって、車両に取り付けられたカメラが撮影した自車周辺の映像を表示するディスプレイにおいて、自車の車体が同じ領域に映り込み続ける場合であっても、この車体が表示される領域の累積輝度低下量に基づく画像補正を行うことができない。従って、特許文献1に開示の技術では、車両に取り付けられたカメラで撮影した自車周辺の映像を表示するディスプレイにおいて、自然画の表示領域に素子劣化の差に起因する輝度差が生じ、運転上必要な情報がドライバに視認しにくくなる可能性がある。
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、車両に取り付けられたカメラで撮影した自車周辺の映像を表示するディスプレイにおいて、運転上必要な情報の視認性の低下を抑えることを可能にする車両用映像処理装置及び車両用モニタシステムを提供することにある。
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、発明の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
上記目的を達成するために、本発明の車両用映像処理装置は、車両で用いられ、車両に取り付けられたカメラ(21,22)で逐次撮影する車両周辺の自然画を、自発光素子を用いたディスプレイ(31,41)に逐次表示させる出力処理部(13)と、車両周辺の自然画のうちの同一の対象物の画像がディスプレイの特定の領域に表示され続ける固定表示領域を特定する領域特定部(112)と、自発光素子の輝度低下特性をもとに、自発光素子の累積輝度低下量を算出する低下量算出部(115,115a)と、領域特定部で特定した固定表示領域について、低下量算出部で算出した累積輝度低下量に応じた画像補正を行う補正処理部(119)とを備え、出力処理部は、補正処理部で画像補正を行った自然画をディスプレイに表示させる。
また、上記目的を達成するために本発明の車両用モニタシステムは、車両で用いられ、車両に取り付けられ、車両周辺の自然画を表示するカメラ(21,22)と、カメラで逐次撮影する車両周辺の自然画を表示する、自発光素子を用いたディスプレイ(31,41)と、本発明の車両用映像処理装置(11)とを含む。
これらによれば、車両周辺の自然画のうちの同一の対象物の画像がディスプレイの特定の領域に表示され続ける固定表示領域について、低下量算出部で算出した自発光素子の累積輝度低下量に応じた画像補正を行う。よって、固定表示領域について、自発光素子の累積輝度低下量に応じて輝度を上げることによって、固定表示領域以外との輝度差を抑えることが可能になる。その結果、車両に取り付けられたカメラで撮影した自車周辺の映像を表示するディスプレイにおいて、運転上必要な情報の視認性の低下を抑えることが可能になる。
電子ミラーシステム1の概略的な構成の一例を示す図である。 右後側方カメラ21及び左後側方カメラ22の取り付け位置の一例を説明するための図である。 右側方表示器30及び左側方表示器40取り付け位置の一例を説明するための図である。 HCU10の制御部11の概略的な構成の一例を示す図である。 固定表示領域と固定パターンと非固定表示領域との一例を示す図である。 EL素子の輝度低下量特性について説明するための図である。 電子ミラーシステム1aの概略的な構成の一例を示す図である。 HCU10aの制御部11aの概略的な構成の一例を示す図である。 EL素子の輝度低下量特性について説明するための図である。
図面を参照しながら、開示のための複数の実施形態及び変形例を説明する。なお、説明の便宜上、複数の実施形態及び変形例の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態及び/又は変形例における説明を参照することができる。
(実施形態1)
<電子ミラーシステム1の概略構成>
以下、本発明の実施形態1における電子ミラーシステム1について図面を用いて説明する。電子ミラーシステム1は、自車の後側方の像をサイドミラー(例えばドアミラー)に映す代わりに、サイドミラーに映る像を模した画像をディスプレイに表示させる、車両用のモニタシステムである。図1に示すように、電子ミラーシステム1は、HCU(Human Machine Interface Control Unit)10、周辺監視装置20、右側方表示器30、及び左側方表示器40を含んでいる。電子ミラーシステム1を用いる車両を以下では自車と呼ぶ。
周辺監視装置20は自車周辺を撮影する。周辺監視装置20は、右後側方カメラ21、左後側方カメラ22、制御部23、及び映像出力部24を備える。右後側方カメラ21及び左後側方カメラ22は、入射する光を電気信号に変換する撮像素子と、撮像素子の撮像面へ光を入射させる光学系を有している。撮像素子としては、CCD(Charge-Coupled Device)イメージセンサ、及びCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等を用いればよい。この右後側方カメラ21及び左後側方カメラ22が請求項のカメラに相当する。
右後側方カメラ21は、自車の後方に撮影面を向けた姿勢にて、自車の右側面に取り付けられる。一例として、図2に示すように、ドアミラーを備えた車両における右ドアミラーの設置位置と同様の位置に、右後側方カメラ21が取り付けられる構成とすればよい。右後側方カメラ21は、自車の右側方から後方(以下、右後側方)の範囲を、所定のフレームレートで撮影する。
左後側方カメラ22は、自車の後方に撮影面を向けた姿勢にて、自車の左側面に取り付けられる。一例として、図2に示すように、ドアミラーを備えた車両における左ドアミラーの設置位置と同様の位置に、左後側方カメラ22が取り付けられる構成とすればよい。左後側方カメラ22は、自車の左側方から後方(以下、左後側方)の範囲を、所定のフレームレートで撮影する。一例として、右後側方カメラ21及び左後側方カメラ22の撮影方向は固定されているものとして以降の説明を行う。
制御部23は、右後側方カメラ21及び左後側方カメラ22と電気的に接続されたマイコン等を主体とする制御回路であって、各カメラ21,22の作動を制御する。映像出力部24は、各カメラ21,22及びHCU10と電気的に接続されている。映像出力部24は、各カメラ21,22によって撮影された映像の映像信号を逐次取得し、HCU10へ逐次転送する。映像出力部24は、入力される映像信号の方式と、出力する映像信号の方式とを相互に変換することも可能である。
右側方表示器30は、右後側方カメラ21によって撮影された映像(つまり、自然画)を表示する表示器である。右側方表示器30の表示面には、右後側方カメラ21によって撮影された映像の全体が表示される構成であってもよいし、トリミングされた映像が表示される構成であってもよい。右側方表示器30は、図3に示すように、自車の車室内において、ウインドシールドの右側に位置するピラーの根本近傍に配置される。右側方表示器30は、表示面を運転席のヘッドレストへ向けた姿勢にて自車の構造物に取り付けられる。
左側方表示器40は、左後側方カメラ22によって撮影された映像(つまり、自然画)を右側方表示器40と同様にして表示する表示器である。左側方表示器40は、図3に示すように、自車の車室内において、ウインドシールドの左側に位置するピラーの根本近傍に配置される。左側方表示器40は、表示面を運転席のヘッドレストへ向けた姿勢にて自車の構造物に取り付けられる。
右側方表示器30及び左側方表示器40は、それぞれ有機ELディスプレイパネル(以下、ELパネル)31,41、映像入力部32,42、及び制御部33,43を有している。ELパネル31,41は、表示面に沿って二次元配列された複数のEL(Electro Luminescence)画素を有している。各EL画素は、電流の印加によって自発光するRGBのサブ画素を含んでいる。ELパネル31,41は、RGBのサブ画素の輝度の増減により、種々の画像をフルカラーにて表示できる。このELパネル31,41が請求項のディスプレイに相当する。
右側方表示器30及び左側方表示器40では、有機ELディスプレイ以外の自発光素子を用いたディスプレイを用いる構成としてもよい。しかしながら、車両用のモニタシステムでは、あらゆる環境下において、ぼやけ及びブレのないカメラ映像を表示する性能が要求されることから、応答性能の高い有機ELディスプレイを用いることがより好ましい。
各側方表示器30,40の映像入力部32,42は、表示面に映し出す映像の映像信号を、HCU10から取得する。各側方表示器30,40の制御部33,43は、マイコン等を主体とする制御回路であって、映像入力部32,42に入力される映像信号に基づき、EL画素の発光を制御することで、表示面に映像を再生させる。
以上の各側方表示器30,40において、EL画素それぞれのサブ画素は、映像信号の階調値に対応した輝度にて発光する。例えば、RGBの各色がそれぞれ8ビットで規定されている場合、一つのサブ画素には、256の階調値が割り当てられている。即ち、最低階調値は0であり、最高階調値は255となる。サブ画素は、階調値が高くなるほど高輝度にて明るく発光する。
HCU10は、各カメラ21,22の映像を処理する映像処理装置としての機能を有している。HCU10は、図1に示すように、制御部11、映像入力部12、及び映像出力部13を備えている。なお、HCU10が実行する機能の一部または全部を、一つあるいは複数のIC等によりハードウェア的に構成してもよい。このHCU10が請求項の車両用映像処理装置に相当する。
映像入力部12は、周辺監視装置20の映像出力部24と電気的に接続されている。映像入力部12には、映像出力部24を経由して、各カメラ21,22によって撮影された映像の映像信号が入力される。映像入力部12は、映像出力部24から逐次伝送される映像信号を取得し、制御部11に逐次転送する。
映像出力部13は、右側方表示器30の映像入力部32及び左側方表示器40の映像入力部42と電気的に接続されている。映像出力部13には、制御部11にて画像補正等の処理が行われた各カメラ21,22の映像の映像信号が制御部11から転送される。映像出力部13は、この映像信号を、各映像入力部32,42へ向けて出力する。この映像出力部13が請求項の出力処理部に相当する。
制御部11は、CPU、揮発性メモリ、不揮発性メモリ、及びこれらを相互に接続するバス等を有している。CPUは、プログラムに基づいて種々の演算処理を実行する。揮発性メモリは、CPUによる演算の作業領域として機能する。不揮発性メモリは、プログラム等の情報を格納する非遷移的実体的記憶媒体である。制御部11は、映像入力部12から入力される映像信号について、ELパネル31,41の表示領域ごとの輝度劣化の差に応じた輝度差を小さくする画像補正等を行う。制御部11でのこの画像補正に関連する処理の詳細については以降で説明を行う。
<HCU10の制御部11の概略構成>
続いて、図4を用いてHCU10の制御部11の概略構成についての説明を行う。制御部11は、図4に示すように、パターン情報出力部111、領域特定部112、座標記憶部113、特性記憶部114、低下量算出部115、低下量記憶部116、補正量演算部117、補正量記憶部118、及び画像生成部119を機能ブロックとして備える。
パターン情報出力部111は、ELパネル31,41へ表示させるアイコン等の固定パターンの情報を出力する。固定パターンの情報としては、固定パターンを表示させるための、固定パターンの形状,表示位置,サイズ,階調といった情報である。ELパネル31,41へ表示させる固定パターンは、時間帯等の状況に応じて切り替える構成としてもよい。ELパネル31,41へ表示させる固定パターンを状況に応じて切り替える場合には、パターン情報出力部111が出力する固定パターンの情報を状況に応じて切り替えることになる。
領域特定部112は、映像入力部12に入力された映像信号に対して、自車の車体の映り込み領域を特定するための画像処理を行って、この自車の車体の映り込み領域を固定表示領域として特定する。自車の車体の映り込み領域を特定するための画像処理の一例としては、エッジ検出が挙げられる。各カメラ21,22の取り付け位置及び撮像方向が定まっているので、ELパネル31,41への自車の車体の映り込み領域はおおよそ推定される。よって、この予め推定した映り込み領域周辺に絞ってエッジ検出を行うことで、自車の車体によるエッジを検出し、自車の車体の映り込み領域を特定することができる。
なお、自車の車体の映り込み領域をおおよそ推定することで、自車の車体によるエッジの位置もおおよそ推定されるので、この予め推定したエッジの位置周辺に絞ってエッジ検出を行うことで、自車の車体の映り込み領域を特定する構成としてもよい。また、エッジ検出以外の画像処理によって固定表示領域を特定する構成としてもよい。例えば、自車の車体が映り込む場合の形状パターンを用いたパターンマッチングによって自車の車体の映り込み領域を特定し、固定表示領域を特定する構成としてもよい。
領域特定部112での固定表示領域の特定は、電子ミラーシステム1の初回起動時に1回行う構成とすればよく、車両製品出荷時に行うことが望ましい。領域特定部112は、特定した固定表示領域の画素座標を座標記憶部113に記憶する。なお、各カメラ21,22の撮影方向をユーザ操作によって調整することができる構成とした場合には、調整の都度、領域特定部112で固定表示領域を特定する構成とすればよい。各カメラ21,22の撮影方向が調整可能な構成である場合には、エッジ検出を行う範囲を、調整可能な範囲に応じて切り替えたり、拡大縮小したりする構成とすればよい。なお、各カメラ21,22の映像のうちの、ELパネル31,41へ表示させる領域(以下、表示選択領域)をユーザ操作によって調整することができる構成とした場合についても同様である。
ここで、図5を用いて、固定表示領域と固定パターンと非固定表示領域との一例を示す。非固定表示領域とは、ELパネル31,41の表示領域のうち、固定表示領域と固定パターンの表示領域とを除く領域を指す。図5のSpが固定パターンを示しており、Vbが自車の車体の映像を示している。また、図5のViが景観の映像、Fvが後続車の映像、Rmが路面標示の映像を示している。
電子ミラーシステム1では、各カメラ21,22の取り付け位置及び撮像方向が定まっているので、自車の車体の映像(図5のVb参照)は、ELパネル31,41において常時同じ領域に表示され続けることになる。よって、自車の車体の映像が表示される領域を固定表示領域とする。一方、景観の映像(図5のVi参照)、後続車の映像(図5のFv参照)、路面標示の映像(図5のRm参照)は、自車の走行状態によって表示映像が遷移するため、ELパネル31,41において常時同じ領域に表示され続けることはない。よって、これらの映像が表示される領域は固定表示領域とせず、非固定表示領域とする。
なお、各カメラ21,22の撮影方向若しくは前述の表示選択領域を調整可能な構成を採用した場合には、撮影方向若しくは表示選択領域を再度調整するまでの間において常時自車の車体の映像が表示され続ける領域を固定表示領域とする。
座標記憶部113としては、不揮発性メモリを用いる構成とすればよい。座標記憶部113の記憶容量としては、より詳細に画像補正を行うためには表示領域の全画素分に対応した記憶容量を用意することが好ましい。しかしながら、座標記憶部113の記憶容量の増大を抑え、コストを低減するために、画素ごとの座標を記憶するのではなく、表示領域を分割した分割領域ごとの座標を記憶する構成としてもよい。
分割領域ごとの座標としては、分割領域を特定可能な座標であればよく、分割領域の各頂点の座標等とすればよい。等分割した分割領域の場合には、中心座標等の分割領域に対して所定の位置の座標とすればよい。他にも、固定表示領域については画素ごとの座標を記憶する一方、非固定表示領域については分割領域ごとの座標を記憶する構成としてもよい。なお、いずれの構成においても、非固定表示領域の全体を1つの分割領域で担う構成としてもよいし、複数の分割領域で担う構成としてもよい。
電子ミラーシステム1では、ELパネル31,41をサイドミラーの代用として用いるため、ELパネル31,41に表示する映像を各カメラ21,22の映像以外の映像に切り替えることは想定しなくてもよい。よって、ELパネル31,41に表示する映像を各カメラ21,22の映像以外の映像に切り替える構成に比べ、分割領域単位で以降の画像補正に関する処理を行った場合でも固定表示領域と非固定表示領域との輝度差が目立ちにくい。従って、電子ミラーシステム1では、上述したような分割領域ごとの座標を記憶する構成も許容可能となっている。
特性記憶部114は、ELパネル31,41の自発光素子(つまり、EL素子)の輝度低下量特性を記憶している。ここで言うところの輝度低下量特性とは、自発光素子の発光時間に対する自発光素子の劣化による輝度の低下量である。ここで、図6を用いて、発光時間に応じた輝度低下量特性について説明する。
図6の縦軸は相対輝度Ivrを示しており、横軸は表示時間tを示している。図6には、一例として、自発光素子の階調値、つまり自発光素子への印加電流値ごとにプロットした輝度低下特性曲線を示す(If1〜Ifn参照)。図6に示すように、輝度低下特性曲線は、表示時間とともに相対輝度Ivrが低下する傾向を持ち、印加電流値によってその傾きが変化する特性を持つ。発光時間に応じた輝度低下特性は、Ivr=exp(−α・t)の式で表される。輝度低下係数αは印加電流値によって定まる定数である。一例として、特性記憶部114には、この式と階調値ごと(つまり、印加電流値ごと)の輝度低下係数αとを輝度低下特性として記憶している構成とすればよい。
低下量算出部115は、固定表示領域の画素座標、映像信号、固定パターンの情報、表示時間、及び輝度低下特性から、固定パターンと固定表示領域と非固定表示領域との累積輝度低下量を算出する。固定表示領域の画素座標は、座標記憶部113から取得したものを用いる。映像信号は、映像入力部12に逐次入力されてくる映像信号を用いる。固定パターンの情報は、パターン情報出力部111から出力されるものを用いる。輝度低下特性は、特性記憶部114に記憶されているものを用いる。
低下量算出部115は、固定パターンの累積輝度低下量については、固定パターンの情報と輝度低下特性と固定パターンの各画素についての表示時間とから、例えば特許文献1に開示の公知の技術と同様にして、固定パターンの個々の画素ごとに累積輝度低下量を算出する。低下量算出部115は、固定パターンの各画素についての表示時間を、後述する低下量記憶部116等の不揮発性メモリに記憶しておく構成とすればよい。固定パターンの階調値は、固定パターンの情報に含まれる予め決められた階調値であることから、輝度低下係数αが一意に決定される。よって、低下量算出部115は、この輝度低下係数αと表示時間とIvr=exp(−α・t)の式とから、固定パターンの累積輝度低下量を算出する。
低下量算出部115は、算出した固定パターンの累積輝度低下量を固定パターンの画素別に低下量記憶部116に記憶する。低下量記憶部116としては、不揮発性メモリを用いる構成とすればよい。低下量算出部115は、固定パターンの画素について、累積輝度低下量が新たに算出されるごとに、記憶済みの累積輝度低下量に積算して記憶を更新していく。
また、低下量算出部115は、固定表示領域の累積輝度低下量については、映像信号のフレームごとに、固定表示領域の画素座標と輝度低下量特性と固定表示領域の表示時間とから、累積輝度低下量を算出する。低下量算出部115は、固定パターン表示領域のフレームごとの表示時間については、例えば映像信号のフレームレートから特定すればよい。
固定表示領域の階調値は、固定パターンと異なり予め決められておらず、映像信号のフレームごとに異なる。よって、累積輝度低下量は、基準とする階調値(以下、基準階調値)に対する固定表示領域の実際の階調値の比率(以下、β)を考慮して算出する。具体的には、基準階調値についての輝度低下係数αと表示時間と比率βとIvr=exp(−α・t)の式を変形したIvr=exp(−α・β・t)の式とから固定表示領域の1フレームあたりの累積輝度低下量を算出する。基準階調値は、あくまで基準とするためのものであるので、任意に設定可能である。なお、Ivr=exp(−α・β・t)の式も輝度低下特性として特性記憶部114に記憶しておく構成としてもよい。
低下量算出部115は、固定表示領域の画素座標が画素ごとの座標である場合には、画素ごとに上述の算出を行う。一方、固定表示領域の画素座標が分割領域ごとの座標である場合には、例えば分割領域ごとに階調値を平均した値を用いて、分割領域ごとに上述の算出を行う。低下量算出部115は、算出した固定表示領域の累積輝度低下量固定パターンの各画素についての表示時を低下量記憶部116に記憶する。低下量算出部115は、映像信号のフレームごとに算出した累積輝度低下量を記憶済みの累積輝度低下量に順次積算し記憶を更新していくことで、複数フレームにわたる固定表示領域の累積輝度低下量を低下量記憶部116に記憶する。
また、低下量算出部115は、非固定表示領域の累積輝度低下量については、映像信号のフレームごとに、非固定表示領域の画素座標と輝度低下量特性と非固定表示領域の表示時間とから、累積輝度低下量を算出し、低下量記憶部116に記憶する。非固定表示領域の累積輝度低下量の算出及び記憶については、非固定表示領域の階調値が映像信号のフレームごとに異なるので、固定表示領域の累積輝度低下量の算出及び記憶と同様にして行う構成とすればよい。なお、非固定表示領域の累積輝度低下量の算出については、非固定表示領域の表示領域がELパネル31,41の表示面の過半を占めると考えられるので、処理負荷の低減のために分割領域ごとに算出を行うことが好ましい。
補正量演算部117は、低下量記憶部116に記憶されている固定パターン、固定表示領域、及び非固定表示領域の累積輝度低下量をもとに、固定パターンと固定表示領域と非固定表示領域との間での輝度差が小さくなるように補正量を演算する。より好ましくは、固定パターンと固定表示領域と非固定表示領域との間での輝度差が最小になるように補正量を演算する。
一例としては、累積輝度低下量が大きくなるのに比例してEL素子の輝度が増加するように補正量を演算する構成とすればよい。他にも、累積輝度低下量が最小の画素に対する累積輝度低下量の比率が大きくなるのに比例してEL素子の輝度が増加するように補正量を演算する構成としてもよい。また、累積輝度低下量が最大の画素に対する累積輝度低下量の比率が大きくなるのに比例してEL素子の輝度が減少するように補正量を演算する構成としてもよい。補正量演算部117は、演算した補正量を補正量記憶部118に記憶する。補正量記憶部118としては、例えば揮発性メモリを用いる構成とすればよい。補正量演算部117は、一例として、低下量記憶部116の記憶が更新されるごとに補正量を演算して補正量記憶部118に記憶する補正量を更新する構成とすればよい。
画像生成部119は、映像入力部12から映像信号が入力されるごとに、この映像信号と、補正量記憶部118に記憶されている補正量と、パターン情報出力部111から出力される固定パターンの情報とから、ELパネル31,41へ表示させる映像信号を生成する。具体例としては、各カメラ21,22の映像とパターン情報出力部111から出力される固定パターンの情報が示すパターンとを重畳した映像について、補正量記憶部118に記憶されている補正量に従った画像補正を行い、ELパネル31,41へ表示させる映像信号を生成する。そして、生成した映像信号を映像出力部13へ送る。映像出力部13では、送られてきた映像信号をELパネル31,41へ出力し、この映像信号に従った映像をELパネル31,41へ表示させる。
前述したように、制御部11は、映像入力部12から映像信号が入力されるごとに、低下量算出部115での累積輝度低下量の算出、補正量演算部117での補正量の演算、画像生成部119での画像補正を伴った映像信号の生成を、一連の処理として行う構成とすればよい。
なお、これに限らず、補正量演算部117での補正量の演算及び演算した補正量の記憶については、映像入力部12から映像信号が入力されるごとよりも長い周期で逐次行う構成としてもよい。これは、ユーザに認識できる程度の輝度低下が短時間では生じないと考えられるため、累積輝度低下量の変化を画像補正に直ちに反映させなくてもよいと考えられることによる。この構成を採用する場合、累積輝度低下量の算出と、補正量記憶部118に記憶されている補正量に従った画像補正を伴う映像信号の生成とは、映像入力部12から映像信号が入力されるごとに行う構成とすればよい。
<実施形態1のまとめ>
実施形態1の構成によれば、自車周辺の自然画のうちの自車の車体が定常的にELパネル31,41の表示面に表示され続ける固定表示領域をエッジ検出によって特定することができる。また、この固定表示領域の累積輝度低下量については、基準階調値に対する実際の階調値の比率による係数を考慮することにより、固定パターンと同様に算出可能となっている。そして、この固定表示領域の累積輝度低下量を用いて、固定パターンと固定表示領域と非固定表示領域との間での輝度差が小さくなるように、ELパネル31,41へ表示させる映像を画像補正するので、固定パターンと固定表示領域と非固定表示領域との間での累積輝度低下量の差による輝度差を抑えることが可能になる。その結果、車両に取り付けられた各カメラ21,22で撮影した自車周辺の映像を表示するELパネル31,41において、運転上必要な情報の視認性の低下を抑えることが可能になる。
(実施形態2)
実施形態1に示した構成に限らず、EL素子の使用環境温度も考慮して累積輝度低下量を算出する構成(以下、実施形態2)としてもよい。以下、実施形態2について図面を用いて説明する。
<電子ミラーシステム1aの概略構成>
実施形態2の電子ミラーシステム1aは、図7に示すように、HCU10a、周辺監視装置20、右側方表示器30a、及び左側方表示器40aを含んでいる。電子ミラーシステム1aは、HCU10,右側方表示器30,左側方表示器40の代わりにHCU10a,右側方表示器30a,左側方表示器40aを含む点を除けば、実施形態1の電子ミラーシステム1と同様である。
右側方表示器30a及び左側方表示器40aは、それぞれELパネル31,41、映像入力部32,42、制御部33,43、及びサーミスタ34,44を有している。右側方表示器30及び左側方表示器40は、それぞれサーミスタ34,44を有している点を除けば、実施形態1の右側方表示器30及び左側方表示器40と同様である。
サーミスタ34,44は、それぞれELパネル31,41のEL素子近傍に設けられ、EL素子の使用環境温度(以下、単に環境温度)を検出する。サーミスタ34,44での検出結果はHCU10aに出力される。このサーミスタ34,44が請求項のセンサに相当する。なお、EL素子の環境温度を検出することが可能な温度センサであれば、サーミスタ34,44以外を用いる構成としてもよい。
HCU10aは、図7に示すように、制御部11a、映像入力部12、及び映像出力部13を備えている。HCU10aは、制御部11の代わりに制御部11aを備える点を除けば、実施形態1のHCU10と同様である。
<HCU10aの制御部11aの概略構成>
続いて、図8を用いてHCU10aの制御部11aの概略構成についての説明を行う。制御部11aは、図8に示すように、パターン情報出力部111、領域特定部112、座標記憶部113、特性記憶部114a、低下量算出部115a、低下量記憶部116、補正量演算部117、補正量記憶部118、画像生成部119、及び温度特定部120を機能ブロックとして備える。制御部11aは、特性記憶部114及び低下量算出部115の代わりに特性記憶部114a及び低下量算出部115aを備える点と、温度特定部120を備える点とを除けば、実施形態1の制御部11と同様である。
温度特定部120は、サーミスタ34,44から取得した検出結果から、ELパネル31,41のそれぞれのEL素子の環境温度を特定する。温度特定部120は、特定した環境温度の情報を低下量算出部115aに出力する。
特性記憶部114aは、実施形態1で説明した発光時間に応じた輝度低下量特性に加え、自発光素子の環境温度に対する自発光素子の劣化による輝度の低下量としての輝度低下量特性(以下、環境温度に応じた輝度低下量特性)も記憶している。ここで、図9を用いて、環境温度に応じた輝度低下量特性について説明する。
図9の縦軸は輝度低下量Ivを対数プロットした値を示しており、横軸は環境温度Tの逆数をプロットした値を示している。図9に示すように、輝度低下特性曲線は、環境温度Tが高くなるほど輝度低下量Ivが大きくなる傾向を持つ。環境温度に応じた輝度低下特性は、アレニウスの式より、Iv=A・exp(―Ea/kb・T)で表現される。ここで、Aは比例定数、Eaは活性化エネルギー、kbはボルツマン定数を表す。
低下量算出部115aは、温度特定部120で特定した環境温度も考慮して累積輝度低下量を算出する点を除けば、実施形態1の低下量算出部115と同様である。より詳しくは、低下量算出部115aでは、基準とする環境温度(以下基準環境温度)と温度特定部120で特定した実際の環境温度とのそれぞれについて、Iv=A・exp(―Ea/kb・T)の式で算出される輝度低下量を算出する。また、基準環境温度についての輝度低下量に対する実際の環境温度についての輝度低下量の比率(以下、γ)を算出する。なお、基準環境温度は、発光時間に応じた輝度低下量特性において温度条件として固定されている温度とする。
そして、低下量算出部115aは、固定パターンの累積輝度低下量の算出であれば、固定パターンの階調値についての輝度低下係数αと比率γと表示時間とIvr=exp(−α・t)の式を変形したIvr=exp(−α・γ・t)の式とから算出する。一方、固定表示領域の累積輝度低下量の算出であれば、基準階調値についての輝度低下係数αと比率βと比率γと表示時間とIvr=exp(−α・t)の式を変形したIvr=exp(−α・β・γ・t)の式とから算出する。非固定表示領域の累積輝度低下量の算出については、固定表示領域の累積輝度低下量の算出と同様にして行えばよい。なお、Ivr=exp(−α・t)の式に代わり、Ivr=exp(−α・γ・t)の式及びIvr=exp(−α・β・γ・t)の式を輝度低下特性として特性記憶部114に記憶しておく構成としてもよい。
実施形態2の構成によれば、発光時間に応じた輝度低下量特性に加え、環境温度に応じた輝度低下量特性も累積輝度低下量の算出に用いるので、より正確に累積輝度低下量を算出することができ、より精度の高い画像補正を行うことが可能になる。その結果、車両に取り付けられた各カメラ21,22で撮影した自車周辺の映像を表示するELパネル31,41において、運転上必要な情報の視認性の低下をさらに抑えることが可能になる。
(変形例1)
前述の実施形態では、ELパネル31,41に自然画に加えて固定パターンも表示させる構成を示したが、必ずしもこれに限らない。例えば、固定パターンを表示せず、自然画のみを表示させる構成としてもよい。この場合、固定パターンの表示に関する部材及び処理を省略する構成とすればよい。
(変形例2)
前述の実施形態では、サイドミラーに映る像を模した画像をディスプレイに表示させる車両用モニタシステムに適用した場合について説明を行ったが、必ずしもこれに限らない。例えば、自車周辺を撮影した映像に自車の車体が定常的に映り込む車両用モニタシステムであれば、前述の実施形態で説明した以外の車両用モニタシステムに適用する構成としてもよい。一例としては、自車の後退時に自車後部に取り付けた後方カメラで撮影した自車後方の映像を車室内のディスプレイに表示させるバックガイドモニタシステムでは、自車の車体後部が映像に定常的に映り込むため、バックガイドモニタシステムに適用する構成としてもよい。
なお、本発明は、上述した実施形態及び変形例に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態及び変形例にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 電子ミラーシステム(車両用モニタシステム)、10,10a HCU(車両用映像処理装置)、11,11a 制御部、13 映像出力部(出力処理部)、21 右後側方カメラ(カメラ),22 左後側方カメラ(カメラ)、31,41 ELパネル(ディスプレイ)、33,43 サーミスタ(センサ)、112 領域特定部、115,115a 低下量算出部、119 補正処理部、120 温度特定部

Claims (8)

  1. 車両で用いられ、
    前記車両に取り付けられたカメラ(21,22)で逐次撮影する前記車両周辺の自然画を、自発光素子を用いたディスプレイ(31,41)に逐次表示させる出力処理部(13)と、
    前記車両周辺の自然画のうちの同一の対象物の画像が前記ディスプレイの特定の領域に表示され続ける固定表示領域を特定する領域特定部(112)と、
    前記自発光素子の輝度低下特性をもとに、前記自発光素子の累積輝度低下量を算出する低下量算出部(115,115a)と、
    前記領域特定部で特定した前記固定表示領域について、前記低下量算出部で算出した前記累積輝度低下量に応じた画像補正を行う補正処理部(119)とを備え、
    前記出力処理部は、前記補正処理部で画像補正を行った前記自然画を前記ディスプレイに表示させる車両用映像処理装置。
  2. 請求項1において、
    前記領域特定部は、前記カメラで撮影する前記車両周辺の自然画に対する画像処理によって検出する自車の車体の表示領域を、前記固定表示領域と特定する車両用映像処理装置。
  3. 請求項2において、
    前記領域特定部は、前記カメラで撮影する前記車両周辺の自然画に対するエッジ検出によって検出する自車の車体の表示領域を、前記固定表示領域と特定する車両用映像処理装置。
  4. 請求項1〜3のいずれか1項において、
    前記補正処理部は、前記領域特定部で特定した前記固定表示領域についての前記累積輝度低下量と、前記ディスプレイにおいて前記自然画が表示される、前記固定表示領域以外の領域である非固定表示領域についての前記累積輝度低下量とをもとに、前記非固定表示領域との輝度差を小さくするように前記固定表示領域について前記画像補正を行う車両用映像処理装置。
  5. 請求項1〜4のいずれか1項において、
    前記低下量算出部は、基準とする階調値についての前記自発光素子の輝度低下特性と、基準とする階調値についての前記自発光素子の輝度低下特性に対する前記固定表示領域の実際の階調値の比率と、前記自発光素子の発光時間とから、前記固定表示領域についての前記累積輝度低下量を算出する車両用映像処理装置。
  6. 請求項1〜5のいずれか1項において、
    前記ディスプレイの使用環境温度を検出するセンサ(33,43)での検出結果をもとに前記使用環境温度を特定する温度特定部(120)を備え、
    前記低下量算出部(115a)は、前記温度特定部で特定した前記使用環境温度に応じた前記輝度低下特性をもとに、前記自発光素子の累積輝度低下量を算出する車両用映像処理装置。
  7. 請求項1〜6のいずれか1項において、
    前記出力処理部は、前記カメラで逐次撮影する前記車両の後側方の自然画を、電子ミラーシステムのディスプレイとして用いられる前記ディスプレイに逐次表示させる車両用映像処理装置。
  8. 車両で用いられ、
    前記車両に取り付けられ、前記車両周辺の自然画を表示するカメラ(21,22)と、
    前記カメラで逐次撮影する前記車両周辺の自然画を表示する、自発光素子を用いたディスプレイ(31,41)と、
    請求項1〜7のいずれか1項に記載の車両用映像処理装置(10,10a)とを含む車両用モニタシステム。
JP2016136962A 2016-07-11 2016-07-11 車両用映像処理装置及び車両用モニタシステム Active JP6555204B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016136962A JP6555204B2 (ja) 2016-07-11 2016-07-11 車両用映像処理装置及び車両用モニタシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016136962A JP6555204B2 (ja) 2016-07-11 2016-07-11 車両用映像処理装置及び車両用モニタシステム

Publications (2)

Publication Number Publication Date
JP2018010044A JP2018010044A (ja) 2018-01-18
JP6555204B2 true JP6555204B2 (ja) 2019-08-07

Family

ID=60995343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016136962A Active JP6555204B2 (ja) 2016-07-11 2016-07-11 車両用映像処理装置及び車両用モニタシステム

Country Status (1)

Country Link
JP (1) JP6555204B2 (ja)

Also Published As

Publication number Publication date
JP2018010044A (ja) 2018-01-18

Similar Documents

Publication Publication Date Title
KR101610038B1 (ko) Avm 장치 및 동작 방법
JP4810953B2 (ja) 車両用死角映像表示装置
JP5120880B2 (ja) 画像処理装置及び画像処理方法
JP5435307B2 (ja) 車載カメラ装置
JP2014116756A (ja) 周辺監視システム
JP5983693B2 (ja) 表示機能付きミラー装置および表示切替方法
JP2013005234A5 (ja)
JP2013247492A (ja) 物体検出装置
JP2016055782A5 (ja)
JPWO2011043030A1 (ja) 車両用周囲監視装置
JP2012156672A (ja) 車両周辺監視装置
JP2020078051A (ja) 後方表示装置、後方表示方法、およびプログラム
JP4742733B2 (ja) 画像つなぎ目処理装置および画像つなぎ目処理方法
JP6944328B2 (ja) 車両の周辺監視装置と周辺監視方法
KR20150079004A (ko) 차량용 표시 장치 및 그 제어 방법
JP5205978B2 (ja) プロジェクタ
JP5240517B2 (ja) 車載カメラの校正装置
JP5208790B2 (ja) 画像処理装置、画像処理方法ならびにプログラム
JP6555204B2 (ja) 車両用映像処理装置及び車両用モニタシステム
JP6229769B2 (ja) 表示機能付きミラー装置および表示切替方法
US20170364765A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JP2012039440A (ja) 暗領域ノイズ補正装置
WO2016157666A1 (ja) カメラ姿勢推定装置、運転支援装置、及び、カメラ姿勢推定方法
JP2018191049A (ja) 撮像装置及びその調整方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190624

R151 Written notification of patent or utility model registration

Ref document number: 6555204

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250