WO2017169614A1

WO2017169614A1 - 画像処理装置

Info

Publication number: WO2017169614A1
Application number: PCT/JP2017/009409
Authority: WO
Inventors: 洋志湯本
Original assignee: パナソニックＩｐマネジメント株式会社
Priority date: 2016-03-29
Filing date: 2017-03-09
Publication date: 2017-10-05
Also published as: US20190124292A1; CN108886604A; CN108886604B; JP2017183914A; DE112017001634T5; US10516848B2

Abstract

車両周囲の撮像画像を表示する電子ミラー装置等に適用された場合の安全性を向上できる車載向けの画像処理装置を提供する。画像処理装置は、フレームメモリと、撮像画像の画像情報を入力画像情報としてフレームメモリに格納する画像入力部と、フレームメモリに格納されている入力画像情報に対して、フレーム単位で画質の変換を行う画質変換部と、フレームメモリから画像情報を読み出して、表示装置に出力する画像出力部と、車両の走行状態に基づいて、画質変換部の機能を制御し、画像出力部から出力される画像情報の当該画像情報の入力に対するフレーム遅延量を切り替える制御部と、制御部による切り替え前の第１のフレーム遅延量から切り替え後の第２のフレーム遅延量に移行するための移行期間に出力される補間フレームを設定する補間フレーム設定部と、を備える。

Description

画像処理装置

　本開示は、車両周囲の撮像画像を表示するための車載向けの画像処理装置に関する。

　近年、車載カメラとディスプレイを組み合わせた電子ミラー装置が実用化され、将来的にバックミラー（ルームミラー等の室内後写鏡）及びサイドミラー（ドアミラー等の車外後写鏡を含む）に代わるものとして期待されている。電子ミラー装置では、車載カメラによって車両周囲が撮像され、撮像画像がディスプレイに表示される。

　従来のルームミラーは、後部座席の乗員や荷物によって、視界が遮られるケースがある。これに対して、電子ミラー装置では、車両後部に設置された車載カメラによって車両後方が撮像されるので、視界を遮られることなく車両後方を確認することができる。また、サイドミラーは、車両から出っ張って配置されるため、その分、障害物や通行人と接触しやすいが、電子ミラー装置を適用することによって、サイドミラーを省略することができる。現在、欧州を筆頭に、電子ミラー装置の規格化が本格的に開始されている。

　一般に、電子ミラー装置において、車載カメラによって撮像された画像を示す信号（以下「画像信号」と称する）は、画像処理装置に入力され、歪み補正処理、画角変換処理（画像の回転、拡大／縮小）及びノイズリダクション処理等を含む高画質処理が施された後、ディスプレイに出力される。これにより、ディスプレイに高品質の画像を表示することができる。例えば、特許文献１には、電子ミラー等に適用しうる車載向けの画像処理装置が開示されている。

特開２００３－２５９３５４号公報

　しかしながら、上述した画像処理装置では、フレームメモリを利用して高画質処理が行われるために、車載カメラから画像信号が入力されてから、当該画像信号に対応する画像がディスプレイに表示されるまでに、数フレーム分の遅延が発生する。高画質処理は、ＳｏＣ（System-on-a-Chip）と呼ばれる集積回路の内部で高速に演算されることが一般的であるが、機能の複雑化に伴い内部処理によるフレーム遅延量は増加する傾向にある。このように、電子ミラー装置においては、フレーム遅延は不可避であるが、画像品質を重視するあまり、フレーム遅延量が大きくなると、運転者が後方の状況（後続車両の接近状況など）を的確に把握することができず、安全性が損なわれることになりかねない。

　例えば、後続車両が自車両よりも速く、接近してくる場合、ディスプレイに表示される画像から認識される後続車両は、実際の走行位置よりも遠くに見える。そのため、運転者の意識下では余裕のある運転操作（例えば車線変更）であったにも関わらず、実際には後続車両がかなり接近している状況における不適切な運転操作となる虞がある。特に、車両の走行速度が高速である場合、表示画像から認識される後続車両の走行位置と実際の走行位置とは大きく異なるため、相当な注意が必要となる。

　本開示の目的は、車両周囲の撮像画像を表示する電子ミラー装置等に適用された場合の安全性を向上できる画像処理装置を提供することである。

　本開示の一側面を反映した画像処理装置は、画像情報をフレーム単位で格納するフレームメモリと、走行する車両の周囲の撮像画像の画像情報を入力画像情報としてフレームメモリに格納する画像入力部と、フレームメモリに格納されている入力画像情報に対して、フレーム単位で画質の変換を行う画質変換部と、フレームメモリから画像情報を読み出して、表示装置に出力する画像出力部と、車両の走行状態に基づいて、画質変換部の機能を制御し、画像出力部から出力される画像情報の当該画像情報の入力に対するフレーム遅延量を切り替える制御部と、制御部による切り替え前の第１のフレーム遅延量から切り替え後の第２のフレーム遅延量に移行するための移行期間に出力される補間フレームを設定する補間フレーム設定部と、を備える。画像出力部は、移行期間において、補間フレームの画像情報を出力した後、第２のフレーム遅延量を有するフレームの画像情報を出力する。

　本開示によれば、車両の走行状態に基づいて、出力される画像の当該画像の入力に対するフレーム遅延量が切り替えられるので、車両周囲の撮像画像を表示する電子ミラー装置等に適用された場合の安全性が格段に向上する。

第１の実施の形態に係る画像処理装置を適用した電子ミラー装置を示すブロック図である。高画質処理部の一例を示すブロック図である。補間フレーム設定部の一例を示すブロック図である。表示装置及び車載カメラの設置状態を示す図である。ブロックマッチングによる補間フレームの生成を示す図である。高画質表示が行われる場合の入力画像と出力画像の関係を示す図である。低画質表示が行われる場合の入力画像と出力画像の関係を示す図である。第１の実施の形態における画質切替処理の一例を示すフローチャートである。第１の実施の形態における高画質表示から低画質表示に切り替える場合の出力画像の一例を示す図である。第１の実施の形態における低画質表示から高画質表示に切り替える場合の出力画像の一例を示す図である。第２の実施の形態に係る画像処理装置を適用した電子ミラー装置を示すブロック図である。第２の実施の形態における画質切替処理の一例を示すフローチャートである。第２の実施の形態における高画質表示から低画質表示に切り替える場合の出力画像の一例を示す図である。高画質表示から低画質表示に切り替える場合の出力画像の他の一例を示す図である。低画質表示から高画質表示に切り替える場合の出力画像の他の一例を示す図である。

　以下、本開示の実施の形態を、図面を参照して詳細に説明する。

　［第１の実施の形態］
　図１は、第１の実施の形態に係る画像処理装置１０Ａを適用した電子ミラー装置１Ａを示すブロック図である。図１に示すように、電子ミラー装置１Ａは、画像処理装置１０Ａ、表示装置２０及び車載カメラ３０を備える。ＥＣＵ(Electronic Control Unit)４０は、車両の駆動系制御を行うコンピューターである。電子ミラー装置１Ａは、ＥＣＵ４０と通信可能に接続され、ＥＣＵ４０において生成された速度情報ＳＰを取得する。電子ミラー装置１Ａは、例えばルームミラーやサイドミラーの代替として用いられる。

　車載カメラ３０は、例えば車両Ｖのリアガラスに配置される（図４参照）。車載カメラ３０は、レンズ等の光学要素及びＣＣＤ（charge-coupled device）型イメージセンサー又はＣＭＯＳ（complementary metal oxide semiconductor）型イメージセンサー等の撮像素子を有する。光学要素は、受光した光を撮像素子に結像させる。撮像素子は、光学要素によって形成された光像を電気信号（ＲＧＢ信号）に変換する。車載カメラ３０は、撮像素子で生成されたＲＧＢ信号に基づく入力画像信号Ｖｉｎを、無線通信又は有線通信によって画像処理装置１０Ａに送信する。入力画像信号Ｖｉｎは、例えば、ＲＧＢ信号を輝度信号Ｙと２つの色差信号ＵＶに変換したＹＵＶ信号（例えばＹＵＶ４２２）である。なお、入力画像信号Ｖｉｎは、ＲＧＢ信号であってもよい。

　表示装置２０は、例えば表示パネル及びバックライト（図示略）を有する液晶ディスプレイであり、例えば車室内のフロントガラスの上部中央に取り付けられる（図４参照）。表示装置２０は、画像処理装置１０Ａからの出力画像信号Ｖｏｕｔに基づいて画像表示を行う。なお、表示装置２０には、有機ＥＬ（Electroluminescence）ディスプレイを適用してもよい。

　画像処理装置１０Ａは、制御部１１、画像入力部１２、高画質処理部１３（画質変換部）、補間フレーム設定部１４、画像出力部１５及びフレームメモリ１６等を備える。

　画像処理装置１０Ａにおいては、フレームメモリ１６を利用して高画質処理が行われるために、車載カメラ３０から画像信号が入力されてから、当該画像信号に対応する画像が表示装置２０に表示されるまでに、数フレーム分の遅延が発生する。高画質処理部１３の機能が有効化されている場合、高画質処理部１３が無効化されている場合に比較して、画質はよくなるが、フレーム遅延量は大きくなる。

　制御部１１は、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ（Read Only Memory）１１２、ＲＡＭ（Random Access Memory）１１３等を備える。ＣＰＵ１１１は、例えばＲＯＭ１１２から処理内容に応じたプログラムを読み出してＲＡＭ１１３に展開し、展開したプログラムと協働して、画像処理装置１０Ａの各ブロックの動作を集中制御する。

　本実施の形態では、ＣＰＵ１１１は、ＥＣＵ４０から取得した速度情報ＳＰを解析し、高画質処理部１３及び補間フレーム設定部１４に対して、イネーブル信号ＥＮを出力する。イネーブル信号ＥＮは、高画質処理部１３の機能を有効にするか無効にするかを示す制御信号である。チェンジ信号ＣＨＧは、イネーブル信号ＥＮの設定値を変更したこと、すなわち高画質処理部１３の機能の有効／無効を切り替えたことを補間フレーム設定部１４に対して通知する制御信号である。イネーブル信号ＥＮ及びチェンジ信号ＣＨＧは、車速に応じて高画質処理部１３の機能の有効／無効を切り替える際に使用される。

　具体的には、ＣＰＵ１１１は、電子ミラー装置１Ａの起動直後の初期設定時、及び低速走行（例えば車速が８０ｋｍ／ｈ未満）である場合に、イネーブル信号ＥＮに「１」を設定し、高画質処理部１３の機能を有効にする。つまり、車速が８０ｋｍ／ｈ未満の低速走行である場合、車両周囲の撮像画像の表示タイミングが多少遅延しても安全性は確保できると考えられるので、画質を重視した画像処理が行われる。

　一方、ＣＰＵ１１１は、高速走行（例えば車速が８０ｋｍ／ｈ以上）である場合に、イネーブル信号ＥＮに「０」を設定し、高画質処理部１３の機能を無効にする。つまり、車速が８０ｋｍ／ｈ以上の高速走行である場合、フレーム遅延量が大きいほど安全性が低下するため、リアルタイム性を重視した画像処理が行われる。なお、高速走行の場合、画質の違いを認識できるほど運転者は画像を注視しないことが想定されるので、画質の低下に対する運転者の不満はないと考えてよい。

　また、ＣＰＵ１１１は、イネーブル信号ＥＮが「１」から「０」に、又は「０」から「１」に変更された場合、チェンジ信号ＣＨＧに「１」を設定し、補間フレーム設定部１４における処理を実行させる。

　なお、高画質表示から低画質表示に移行する際の移行期間及び低画質表示から高画質表示に移行する際の移行期間は予め設定される。

　画像入力部１２は、車載カメラ３０からの入力画像信号Ｖｉｎに基づいて、第１画像情報Ｖｄａｔ１（例えばＹＵＶ４２０）を生成し、出力する。第１画像情報Ｖｄａｔ１は、フレームメモリ１６に格納される。入力画像信号Ｖｉｎのフレームレートは、例えば６０ｆｐｓである。

　高画質処理部１３は、フレームメモリ１６に格納されている第１画像情報Ｖｄａｔ１に対して、フレーム単位で画質の変換を行う。具体的には、高画質処理部１３は、制御部１１からのイネーブル信号ＥＮに基づいて、第１画像情報Ｖｄａｔ１に対して、画像の歪み補正、画角変換、及びノイズリダクション等を含む高画質処理を行い、高画質の第２画像情報Ｖｄａｔ２を出力する。高画質処理部１３は、制御部１１からのイネーブル信号ＥＮに「１」が設定されている場合に高画質処理を行い、イネーブル信号ＥＮに「０」が設定されている場合には高画質処理を行わない。第２画像情報Ｖｄａｔ２は、フレームメモリ１６に格納される。

　補間フレーム設定部１４は、制御部１１からのイネーブル信号ＥＮ及びチェンジ信号ＣＨＧに基づいて、高画質表示から低画質表示又は低画質表示から高画質表示に切り替える場合に、移行期間に出力される補間フレームを設定する。具体的には、補間フレーム設定部１４は、入力されるイネーブル信号ＥＮ及びチェンジ信号ＣＨＧに基づいて、イネーブル信号ＥＮが「１」から「０」に変更されたと判断した場合、つまり低速走行から高速走行となった場合に、滑らかに低画質表示に移行するために、移行期間において出力する補間フレームを設定する。また、補間フレーム設定部１４は、イネーブル信号ＥＮが「０」から「１」に変更された場合、つまり高速走行から低速走行となった場合に、滑らかに高画質表示に移行するために移行期間において、出力する補間フレームを設定する。補間フレームの画像情報Ｖｄａｔ３（以下「第３画像情報Ｖｄａｔ３」と称する）は、フレームメモリ１６に格納される。第３画像情報Ｖｄａｔ３は、フレームメモリ１６に格納されている第１画像情報Ｖｄａｔ１の中から選択（複製）されてもよいし、第１画像情報Ｖｄａｔ１に基づいて新たに生成されてもよい。

　画像出力部１５は、フレームメモリ１６に格納されている第１画像情報Ｖｄａｔ１、第２画像情報Ｖｄａｔ２及び第３画像情報Ｖｄａｔ３のいずれか一つを出力画像情報Ｖｄａｔ４として読み出すとともに、ＲＧＢ形式に変換し、出力画像信号Ｖｏｕｔとして出力する。

　以上のように、出力画像信号Ｖｏｕｔとして出力される出力画像情報Ｖｄａｔ４が、制御部１１の信号に基づき切り替わる。

　具体的には、画像出力部１５は、低速走行である場合、出力画像情報Ｖｄａｔ４として高画質の第２画像情報Ｖｄａｔ２を読み出し、高速走行である場合、低画質の第１画像情報Ｖｄａｔ１を読み出す。また、画像出力部１５は、車速が変化して高画質表示から低画質表示に切り替える場合の移行期間、及び低画質表示から高画質表示に切り替える場合の移行期間は、第３画像情報Ｖｄａｔ３を読み出す。出力画像信号Ｖｏｕｔは、表示装置２０に入力される。表示装置２０には、車載カメラ３０で撮像された撮像画像が、多少のフレーム遅延を伴い表示される。

　フレームメモリ１６は、車載カメラ３０によって撮像された撮像画像をフレーム単位で記憶する。フレームメモリ１６は、少なくとも、複数（例えば５フレーム分）の第１画像情報Ｖｄａｔ１を格納する領域、１フレーム分の第２画像情報Ｖｄａｔ２を格納する領域、及び１フレーム分の第３画像情報Ｖｄａｔ３を格納する領域を有する。

　図２は、高画質処理部１３の一例を示すブロック図である。図２に示すように、高画質処理部１３は、歪み補正処理部１３１、画角変換処理部１３２及びノイズ除去処理部１３３を有する。

　なお、高画質処理部１３は、車載カメラ３０の振れを補正する振れ補正部やレンズ汚れを除去する汚れ除去部等の主にデジタルカメラで利用されている画質処理部を含んでいてもよいし、超解像処理部や記憶色補正部等の主にテレビで利用されている画質処理部を含んでいてもよい。高画質処理部１３で行われる画質処理が多くなるほど、出力画像のフレーム遅延量は大きくなる。

　歪み補正処理部１３１は、フレームメモリ１６に格納されている第１画像情報Ｖｄａｔ１に対して、車載カメラの特性に起因する画像の歪み成分を除去し、第１中間情報ＤＣｏｕｔを出力する。第１中間情報ＤＣｏｕｔは、画角変換処理部１３２に入力される。歪み補正処理部１３１は、イネーブル信号ＥＮに「１」が設定されている場合に有効となる。歪み補正処理部１３１は、フレーム単位で歪み補正処理を行うため、この過程で１フレーム分の処理遅延が発生する。

　画角変換処理部１３２は、歪み補正処理部１３１からの第１中間情報ＤＣｏｕｔに対して、カメラエーミングのための任意領域の切り出しと、切り出した画像を回転、拡大又は縮小を行い、第２中間情報ＳＣｏｕｔを出力する。第２中間情報ＳＣｏｕｔは、ノイズ除去処理部１３３に入力される。画角変換処理部１３２は、イネーブル信号ＥＮに「１」が設定されている場合に、有効となる。画角変換処理部１３２は、フレーム単位で画角変換処理を行うため、この過程で１フレーム分の処理遅延が発生する。

　ノイズ除去処理部１３３は、いわゆるフレーム巡回型のノイズリダクション機能を有する。ノイズ除去処理部１３３は、画角変換処理部１３２からの第２中間情報ＳＣｏｕｔに対して、時間方向のフィルタリングを行うことによってランダムノイズ成分を除去し、第２画像情報Ｖｄａｔ２を出力する。第２画像情報Ｖｄａｔ２は、フレームメモリ１６に格納される。ノイズ除去処理部１３３は、イネーブル信号ＥＮに「１」が設定されている場合に、有効となる。ノイズ除去処理部１３３は、フレーム単位でノイズ除去処理を行うため、この過程で１フレーム分の処理遅延が発生する。

　図３は、補間フレーム設定部１４の一例を示すブロック図である。図３に示すように、補間フレーム設定部１４は、動き検出部１４１及び補間フレーム生成部１４２を有する。動き検出部１４１及び補間フレーム生成部１４２は、チェンジ信号が「１」のときに、有効化される。

　動き検出部１４１は、フレームメモリ１６に格納されている第１画像情報Ｖｄａｔ１に基づいて、連続する複数のフレーム間の動きを検出し、補間フレーム生成部１４２に対して、動きベクトル情報ＭＶを出力する。動き検出部１４１は、例えばフレームメモリ１６に格納されている連続する２つの第１画像情報Ｖｄａｔ１に対してＭＰＥＧ符号化でよく使われているブロックマッチングを実行することにより、動きベクトル情報ＭＶを算出する。

　ブロックマッチングでは、まず、図５に示すように、前フレームＦ１及び次フレームＦ２を、複数の画像ブロック（例えば１６×１６ブロック）に分割する。次に、前フレームＦ１内の一つの画像ブロックＢ１（以下「特定ブロック」と称する）に着目し、この特定ブロックＢ１と、次フレームＦ２の任意の画像ブロックとの間で、ブロック内の全画素（例えば１６×１６画素）について、対応画素間の画素値の差分の絶対値を計算し、これを累積した値(ＳＡＤ:Sum of Absolute Difference)を算出する。そして、前フレームＦ１の特定ブロックＢ１に対して、次フレームＦ２の全画像ブロックとの間でこの処理を行う。ＳＡＤ値が最小となる画像ブロックＢ２が、次フレームＦ２内の全画像ブロックの中で、前フレームＦ１の特定ブロックＢ１と最も相関の高い画像ブロック（以下「類似ブロックＢ２」と称する）となる。前フレームＦ１の特定ブロックＢ１と次フレームＦ２の類似ブロックＢ２の位置の差が、特定ブロックＢ１に対する動きベクトルＭＶ１として検出される。動きベクトル情報ＭＶは、前フレームＦ１の全画像ブロックのそれぞれに対して検出された動きベクトルを含む。

　補間フレーム生成部１４２は、第１画像情報Ｖｄａｔ１と動きベクトル情報ＭＶに基づいて、補間フレームとなる第３画像情報Ｖｄａｔ３を生成し、フレームメモリ１６に格納する。補間フレーム生成部１４２は、例えば動きベクトル情報ＭＶを用いて、連続する２つのフレーム（第１画像情報Ｖｄａｔ１）を平均化することで、補間フレーム（第３画像情報Ｖｄａｔ３）を生成する。図５に示すように、補間フレームＦ３における画素Ｐ３の画素値は、前フレームＦ１における対応画素Ｐ１の画素値と次フレームＦ２における対応画素Ｐ２の画素値を足して２で割る処理によって生成される。生成された動きベクトルの関係で、補間フレームＦ３において画素値が割り当てられなかった画素については、割り当てられた周辺画素の画素値に基づいて画素値が設定される。

　上述したように、高画質処理部１３において、それぞれの画質処理が行われると、３フレーム分のフレーム遅延が発生する。したがって、図６に示すように、入力画像を受け付けてから４フレーム遅延したタイミングで、当該入力画像に対応する出力画像が表示される。例えば、図６において一点鎖線で示すように、フレーム＃７が入力されるとき、表示装置２０には、高画質処理が施されたフレーム＃３が表示される。一方、図７に示すように、高画質処理部１３の機能が無効となっている場合、入力画像を受け付けてから１フレーム遅延したタイミングで、当該入力画像に対応する出力画像が表示される。

　なお、図６、図７の出力画像において、図６の網掛けで表示されているフレームは高画質処理が施されているフレーム（すなわち第２画像情報Ｖｄａｔ２）であることを示し、網掛けのないフレームは高画質処理が施されていないフレーム（すなわち第１画像情報Ｖｄａｔ１）であることを示す。また、図６、図７では、１フレーム遅延、２フレーム遅延・・を１Ｖ遅延、２Ｖ遅延・・と表記している。

　図８は、画像処理装置１０Ａにおける画質切替処理の一例を示すフローチャートである。この処理は、例えば電子ミラー装置１Ａが起動されることに伴い、ＣＰＵ１１１がＲＯＭ１１２に格納されている画像処理プログラムを呼び出して実行することで実現される。なお、制御部１１には、常時、ＥＣＵ４０から速度情報ＳＰが入力されているものとする。

　ステップＳ１０１において、制御部１１は、高画質処理部１３の初期設定を行う。具体的には、制御部１１は、イネーブル信号ＥＮに「１」を設定し、高画質処理部１３（歪み補正処理部１３１、画角変換処理部１３２及びノイズ除去処理部１３３）の機能を有効化する。表示装置２０には、高画質の出力画像（第２画像情報Ｖｄａｔ２）が４フレーム遅延で表示される（図６参照）。

　ステップＳ１０２において、制御部１１は、Ｖブランキング期間（図６参照）であるか否かを判定する。Ｖブランキング期間になると（ステップＳ１０２で“ＹＥＳ”）、ステップＳ１０３の処理に移行する。すなわち、ステップＳ１０３以降の処理は、フレームが更新されるタイミングで行われる。

　ステップＳ１０３において、制御部１１は、ＥＣＵ４０からの速度情報ＳＰに基づいて、車速が８０ｋｍ／ｈ以上であるか否かを判定する。車速が８０ｋｍ／ｈ以上である場合（ステップＳ１０３で“ＹＥＳ”）、ステップＳ１０４の処理に移行する。車速が８０ｋｍ／ｈ未満である場合（ステップＳ１０３で“ＮＯ”）、ステップＳ１０９の処理に移行する。

　ステップＳ１０４において、制御部１１は、イネーブル信号ＥＮに「１」が設定されているか否か、すなわち高画質処理部１３が有効になっているか否かを判定する。イネーブル信号ＥＮに「１」が設定され、高画質処理部１３が有効になっている場合（ステップＳ１０４で“ＹＥＳ”）、低速走行から高速走行に切り替える。この場合、ステップＳ１０５の処理に移行し、出力画像を高画質（４フレーム遅延）から低画質（１フレーム遅延）に滑らかに切り替えるための処理が行われる。イネーブル信号ＥＮに「０」が設定され、高画質処理部１３が無効になっている場合（ステップＳ１０４で“ＮＯ”）、高速走行が維持されていることになる。この場合、ステップＳ１０２の処理に移行し、低画質の出力画像（第１画像情報Ｖｄａｔ１）による表示が継続される。

　ステップＳ１０５において、制御部１１は、イネーブル信号ＥＮに「０」を設定するとともに、チェンジ信号ＣＨＧに「１」を設定する。これにより、高画質処理部１３は無効化され、補間フレーム設定部１４が有効化される。

　ここで、出力画像を、高画質（図６に示す４フレーム遅延）から低画質（図７に示す１フレーム遅延）に即座に切り替えると、フレーム間の連続性が損なわれる。例えば、図６において、フレーム＃６が入力されるとき、高画質のフレーム＃２（４フレーム遅延）が表示されるが、フレーム＃７が入力されるタイミング（フレーム＃６と＃７の間のＶブランキング期間）で、低速走行から高速走行になった場合に、低画質のフレーム＃６（１フレーム遅延）を表示すると、フレーム＃３～５の３フレーム分がフレーム落ちとなる。このため、不自然な表示となり、運転者に違和感を与える虞がある。そこで、出力画像が滑らかに切り替わるように、ステップＳ１０６以降の処理が行われる。

　ステップＳ１０６において、制御部１１は、補間フレーム設定部１４を制御して、低画質移行用の補間フレーム（第３画像情報Ｖｄａｔ３）を設定させる。補間フレーム設定部１４は、移行期間に表示する補間フレームを設定する。

　ステップＳ１０７において、制御部１１は、移行のためのフレーム補間処理が完了したか否か判定する。この判定処理は、例えば、予め設定されている移行期間が経過したか否かに基づいて行われる。移行のためのフレーム補間処理が完了するまで、補間フレームの設定が継続される。移行期間においては、この補間フレームの画像情報である第３画像情報Ｖｄａｔ３が出力画像情報Ｖｄａｔ４として読み出され、表示装置２０に表示される。

　フレーム補間処理が完了すると（ステップＳ１０７で“ＹＥＳ”）、ステップＳ１０８の処理に移行する。

　ステップＳ１０８において、制御部１１は、チェンジ信号ＣＨＧに「０」を設定し、補間フレーム設定部１４を無効化し、ステップＳ１０２の処理に移行する。次フレームからは、１フレーム遅延の第１画像情報Ｖｄａｔ１が出力画像情報Ｖｄａｔ４として読み出され、低画質の画像が表示される。

　図９は、高画質表示（４フレーム遅延）から低画質表示（１フレーム遅延）に切り替える場合の出力画像を示す図である。図９では、フレーム＃５と＃６の間のＶブランキング期間に低速走行から高速走行に切り替わった場合について示している。また、図９では、移行期間は９フレームである。

　図９に示すように、フレーム＃６の入力までは、高画質の第２画像情報Ｖｄａｔ２（４フレーム遅延）が出力画像情報Ｖｄａｔ４として読み出され、表示される。移行期間は９フレームに設定されているので、１０フレーム後のフレーム＃１６の入力時には、フレーム＃１５に対応する低画質の第１画像情報Ｖｄａｔ１（１フレーム遅延）が出力画像情報Ｖｄａｔ４として読み出され、表示される。

　移行期間であるフレーム＃７～＃１５の入力時には、設定された補間フレームの画像情報、すなわち第３画像情報Ｖｄａｔ３が読み出され、表示される。フレーム＃７の入力時に出力されるフレーム＃３．３は、フレーム＃６の入力時に生成される。そのため、高画質処理の切替タイミングと移行開始タイミングが１フレーム分ずれる。補間フレームは、例えば、入力画像に対するフレーム遅延量が徐々に小さくなるように、連続する複数のフレームに基づいて生成される。図９において、フレーム＃３．３は、入力画像であるフレーム＃７に対するフレーム遅延量が３．７フレーム（７－３．３）となるように連続する複数のフレーム（例えばフレーム＃２、＃３、＃４）に基づいて生成されたものである。フレーム＃４．６、＃５．９、＃７．２、＃８．５、＃１３．７についても同様である。つまり、図９に示す例では、移行期間において、フレーム遅延量が０．３刻みで小さくなるように、連続する複数のフレームに基づいて補間フレームが生成されている。

　移行期間においては、出力画像のフレーム遅延量が４フレームから１フレームに向けて徐々に小さくなるように補間フレームが設定されるので、フレームの連続性が崩れることなく、４フレーム遅延の高画質表示から１フレーム遅延の低画質表示に滑らかに切り替えられる。単純にフレームを間引く手法に比較して、長い移行期間が必要となるが、動画像の動きが不連続になることを軽減でき、品質の劣化を抑えることができる。

　一方、図８のステップＳ１０３において、車速が８０ｋｍ／ｈ未満である場合（ステップＳ１０３で“ＮＯ”）、ステップＳ１０９の処理に移行する。ステップＳ１０９において、制御部１１は、イネーブル信号ＥＮに「０」が設定されているか否か、すなわち高画質処理部１３が無効になっているか否かを判定する。イネーブル信号ＥＮに「０」が設定され、高画質処理部１３が無効になっている場合（ステップＳ１０９で“ＹＥＳ”）、高速走行から低速走行に切り替える。この場合、ステップＳ１１０の処理に移行し、出力画像を低画質（１フレーム遅延）から高画質（４フレーム遅延）に滑らかに切り替えるための処理が行われる。イネーブル信号ＥＮに「１」が設定され、高画質処理部１３が有効になっている場合（ステップＳ１０９で“ＮＯ”）、低速走行が維持されていることになる。この場合、ステップＳ１０２の処理に移行し、高画質の出力画像（第２画像情報Ｖｄａｔ２）による表示が継続される。

　ステップＳ１１０において、制御部１１は、イネーブル信号ＥＮに「１」を設定するとともに、チェンジ信号ＣＨＧに「１」を設定する。これにより、高画質処理部１３は有効化され、補間フレーム設定部１４も有効化される。ここで、出力画像を、低画質（図７に示す１フレーム遅延）から高画質（図６に示す４フレーム遅延）に即座に切り替えると（図６、図７参照）、高画質から低画質に切り替える場合と同様に、フレーム間の連続性が損なわれる。そこで、出力画像が滑らかに切り替わるように、ステップＳ１１１以降の処理が行われる。

　ステップＳ１１１において、制御部１１は、補間フレーム設定部１４を制御して、高画質移行用の補間フレーム（第３画像情報Ｖｄａｔ３）を設定させる。補間フレーム設定部１４は、移行期間に表示する補間フレームを設定する。

　ステップＳ１１２において、制御部１１は、移行のためのフレーム補間処理が完了したか否か判定する。この判定処理は、例えば、予め設定されている移行期間が経過したか否かに基づいて行われる。移行のためのフレーム補間処理が完了するまで、補間フレームの設定が継続される。移行期間においては、この補間フレームの画像情報である第３画像情報Ｖｄａｔ３が出力画像情報Ｖｄａｔ４として読み出され、表示装置２０に表示される。フレーム補間処理が完了すると（ステップＳ１１２で“ＹＥＳ”）、ステップＳ１０８の処理に移行する。

　ステップＳ１０８において、制御部１１は、チェンジ信号ＣＨＧに「０」を設定し、補間フレーム設定部１４を無効化し、ステップＳ１０２の処理に移行する。次フレームからは、４フレーム遅延の第２画像情報Ｖｄａｔ２が出力画像情報Ｖｄａｔ４として読み出され、高画質の画像が表示される。なお、画質切替処理１は、電子ミラー装置１Ａの電源がオフになるまで繰り返される。

　図１０は、低画質表示（１フレーム遅延）から高画質表示（４フレーム遅延）に切り替える場合の出力画像を示す図である。図１０では、フレーム＃４と＃５の間のＶブランキング期間に高速走行から低速走行に切り替わった場合について示している。また、図１０では、移行期間は７フレームである。

　図１０に示すように、フレーム＃５の入力までは、低画質の第１画像情報Ｖｄａｔ１（１フレーム遅延）が出力画像情報Ｖｄａｔ４として読み出され、表示される。フレーム＃６の入力時に出力されるフレーム＃４．５は、フレーム＃５の入力時に生成される。そのため、高画質処理の切替タイミングと移行開始タイミングが１フレーム分ずれる。移行期間は７フレームに設定されているので、８フレーム後のフレーム＃１３の入力時には、フレーム＃９に対応する高画質の第２画像情報Ｖｄａｔ２（４フレーム遅延）が出力画像情報Ｖｄａｔ４として読み出され、表示される。

　移行期間であるフレーム＃６～＃１２の入力時には、設定された補間フレームの画像情報、すなわち第３画像情報Ｖｄａｔ３が読み出され、表示される。補間フレームは、フレーム遅延量が徐々に大きくなるように、設定される。図９では、フレーム＃６、＃９、＃１２の入力時の出力画像となる補間フレーム（フレーム＃４．５、＃６．５、＃８．５）が、連続する複数のフレームに基づいて生成されている。フレーム＃７、＃８、＃１０、＃１１の入力時の出力画像となる補間フレーム（フレーム＃５、＃６、＃７、＃８）には、第１画像情報Ｖｄａｔ１がそのまま利用される。図１０において、フレーム＃４．５の出力画像の遅延量は１．５フレーム、フレーム＃６．５の出力画像の遅延量は２．５フレーム、フレーム８．５の出力画像の遅延量は３．５フレームである。

　移行期間においては、出力画像のフレーム遅延量が１フレームから４フレームに向けて徐々に大きくなるように補間フレームが設定されるので、フレームの連続性が崩れることなく、１フレーム遅延の低画質表示から４フレーム遅延の高画質表示に滑らかに切り替えられる。単純にフレームを繰り返す手法に比較して、長い移行期間が必要となるが、動画像の動きが不連続になることを軽減でき、品質の劣化を抑えることができる。

　このように、第１の実施の形態に係る画像処理装置１０Ａは、画像情報をフレーム単位で格納するフレームメモリ１６と、走行する車両の周囲の撮像画像の画像情報を第１画像情報Ｖｄａｔ１（入力画像情報）としてフレームメモリ１６に格納する画像入力部１２と、フレームメモリ１６に格納されている第１画像情報Ｖｄａｔ１に対して、フレーム単位で画質の変換を行う高画質処理部１３（画質変換部）と、フレームメモリ１６から画像情報を読み出して、表示装置２０に出力する画像出力部１５と、車両の走行状態に基づいて、高画質処理部１３の機能を制御し、画像出力部１５から出力される画像情報の当該画像情報の入力に対するフレーム遅延量を切り替える制御部１１と、制御部１１による切り替え前の第１のフレーム遅延量から切り替え後の第２のフレーム遅延量に移行するための移行期間に出力される補間フレームを設定する補間フレーム設定部１４を備える。画像出力部１５は、移行期間において、第３画像情報Ｖｄａｔ３（補間フレームの画像情報）を出力した後、第１画像情報Ｖｄａｔ１又は第２画像情報Ｖｄａｔ２（第２のフレーム遅延量を有するフレームの画像情報）を出力する。

　具体的には、制御部１１は、車両の車速が所定速度（例えば８０ｋｍ／ｈ）未満である場合に、高画質処理部１３（画質変換部）の機能を有効化し、車両の車速が所定速度以上である場合に、高画質処理部１３の機能を無効化する。

　画像処理装置１０Ａによれば、車両の車速（走行状態の一例）に応じて、出力される画像の当該画像の入力に対するフレーム遅延量が切り替えられるので、リアルタイム性が重要となる走行状態（例えば高速走行状態）においても、運転者は後方の状況（後続車両の接近状況など）を的確に把握することができる。また、表示画像の画質（フレーム遅延量）を切り替える場合に、即座に切り替えるのではなく、移行期間を設け、この移行期間においては、補間フレーム設定部１４によって設定された補間フレームが表示されるので、画像が不自然に途切れることなく滑らかに切り替えることができる。したがって、車両周囲の撮像画像を表示する電子ミラー装置１Ａ等に適用された場合の安全性が格段に向上する。

　［第２の実施の形態］
　図１１は、第２の実施の形態に係る画像処理装置１０Ｂを適用した電子ミラー装置１Ｂを示すブロック図である。画像処理装置１０Ｂは、第１の実施の形態に係る画像処理装置１０Ａ（図１参照）の構成要素に加えて、さらに、車両検出部１７を備える。その他の構成は、第１の実施の形態と同じであるため、車両検出部１７に関する事項についてのみ説明する。

　画像入力部１２は、車載カメラ３０からの入力画像信号Ｖｉｎに基づいて、第１画像情報Ｖｄａｔ１（例えばＹＵＶ４２０）を生成し、出力する。第１画像情報Ｖｄａｔ１は、フレームメモリ１６に格納されるとともに、車両検出部１７に入力される。

　車両検出部１７は、画像入力部１２からの第１画像情報Ｖｄａｔ１を解析し、第１画像情報Ｖｄａｔ１に対応する画像に車両（後続車両）が含まれるか否かを検出する。車両検出部は、例えばテンプレートマッチング法により、画像中の車両を検出する。具体的には、車両検出部１７は、第１画像情報Ｖｄａｔ１に基づいて、輝度情報のヒストグラム分布図を作成する。作成されたヒストグラム分布と、予め保有している車両のヒストグラム（テンプレート）とを比較することによって、画像中の車両を検出する。検出結果を示す車両検出情報ＤＴは、制御部１１に入力される。画像中に車両がある場合は、車両検出情報ＤＴに「１」が設定され、画像中に車両がない場合は、車両検出情報ＤＴに「０」が設定される。

　制御部１１は、車両検出部１７からの車両検出情報ＤＴに基づいて、車両の有無を判断し、画像中に車両が存在しない場合にのみ、画質（フレーム遅延量）の切り替えを行う。具体的には、制御部１１は、図１２に示すフローチャートに従って画像切替処理を実行する。

　図１２は、画像処理装置１０Ｂにおける画質切替処理の一例を示すフローチャートである。この処理は、例えば電子ミラー装置１Ｂが起動されることに伴い、ＣＰＵ１１１がＲＯＭ１１２に格納されている画像処理プログラムを呼び出して実行することで実現される。なお、制御部１１には、常時、ＥＣＵ４０から速度情報ＳＰが入力されているものとする。

　図１２のフローチャートでは、第１の実施の形態の画質切替処理１に係るフローチャート（図８参照）に比較して、ステップＳ２０１が追加されている。ステップＳ２０１において、制御部１１は、車両検出情報ＤＴに基づいて、画像中に後続車両が存在するか否かを判定する。画像中に後続車両が存在する場合（ステップＳ２０１で“ＹＥＳ”）、ステップＳ１０２の処理に移行し、次のブランキング期間が到来するまで待機する。画像中に後続車両が存在しない場合（ステップＳ２０１で“ＮＯ”）、ステップＳ１０３の処理に移行し、第１の実施の形態と同様に、必要に応じて画質の切替処理が行われる。

　図１３は、高画質表示（４フレーム遅延）から低画質表示（１フレーム遅延）に切り替える場合の出力画像を示す図である。図１３に示すように、フレーム＃６と＃７の間のＶブランキング期間に低速走行から高速走行に切り替わるが、このタイミングでは画像中に後続車両が存在するので、画質の切替処理は行われない。フレーム＃１３と＃１４の間のＶブランキング期間において、画像中に後続車両がないと判定されると、画質の切替処理（図１２のステップＳ１０３以降）が行われる。

　つまり、第２の実施の形態では、低速走行から高速走行に切り替わっても、後続車両がある場合は即座に画質の切替は行われず、後続車両がいなくなってから画質の切替が行われる。

　また、画像情報に基づいて車両を検出する車両検出部１７に代えて、赤外線センサー、レーダー又は超音波センサーを利用して、直接的に車両の有無を検出するようにしてもよい。

　このように、第２の実施の形態に係る画像処理装置１０Ｂは、第１の実施の形態に係る画像処理装置１０Ａの構成に加えて、さらに、入力画像情報Ｖｄａｔ１に基づいて画像中の車両の有無を検出する車両検出部１７を備える。制御部１１は、車両検出部１７の検出結果に基づいて、具体的には、画像中に車両が存在しないことが検出された場合、又は自車両から一定の距離以内に車両が存在しないことが検出された場合に、フレーム遅延量の切り替えを行う。

　画質の変化に敏感な運転者は、微妙な画質の変化にも違和感を覚えることもありうる。このような運転者にとっては、自車両の周囲に後続車両が走行しているような緊張する状況で画質の切替処理を行うと、画像に視線を奪われ、安全性が損なわれる虞がある。画像処理装置１０Ｂによれば、自車両の周囲に後続車両が存在しない比較的安全な状況においてのみ、画質の切替処理が行われるので、上記のような問題を回避することができる。

　なお、第２の実施の形態では、自車両の周囲に後続車両が走行している場合であっても、自車両との車間距離が一定距離以上（例えば１００ｍ以上）ある場合や、車間距離が一定時間以上（例えば５秒以上）変化しない場合に、画質の切替処理が行われるようにしてもよい。また、道路が混雑していて、自車両の周囲に常に後続車両が走行している場合は、車速が変化しても画質の切替処理が行われないこととなるため、周囲の車両が少なくなったタイミング（例えば後続車両が１台となったタイミング）で画質の切替処理が行われるようにしてもよい。

　また、自車両がトンネルや地下駐車場等に突入する等、車両周囲の明るさが変化した場合も、緊張する状況であるといえる。したがって、車両周囲の明るさが変化した直後は、画質の切替処理を行わず、元の明るさに復帰した後、又は一定時間明るさが変化しない場合に、画質の切替処理を開始するようにしてもよい。車両周囲の明るさの変化は、例えば第１画像情報Ｖｄａｔ１の平均輝度を監視することによって検出することができる。また例えば、車両周囲の明るさの検出には、車両に実装される照度センサーや、車両のイルミネーション信号を利用することもできる。

　以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。

　例えば、上記実施の形態において、補間フレーム設定部１４は、フレームメモリ１６に格納されている第１画像情報Ｖｄａｔ１を複製して補間フレームとして設定するようにしてもよい。例えば、図１４に示すように、高画質表示から低画質表示に切り替える場合に、フレーム＃４、＃６を補間フレームとして設定し、フレーム＃３、＃５を単純にスキップするようにしてもよい。この場合、補間フレームを新たに生成して設定する場合（図９参照）に比較して、移行開始のタイミングが早く（切替指示と同じタイミング）、また短期間で画質の切替処理を完了することができる。また例えば、図１５に示すように、低画質表示から高画質表示に切り替える場合に、フレーム遅延量を徐々に大きくするために補間フレームを新たに生成せず、フレーム＃４、＃６をリピートするようにしてもよい。この場合、補間フレームを新たに生成して設定する場合（図１０参照）に比較して、移行開始のタイミングが早く（切替指示と同じタイミング）、また補間フレーム設定部１４の処理負担を軽減することができる。

　また例えば、実施の形態では、車速が８０ｋｍ／ｈ以上の場合と８０ｋｍ／ｈ未満の場合の２段階で画質の切替処理を行っているが、閾値となる所定速度を複数設け、３段階以上で画質の切替処理を行うようにしてもよい。

　さらに、車両の走行状態として、実際の車速ではなく、カーナビゲーションシステム等から取得できる走行情報を利用し、自車両が高速道路を走行中か否かを判断して、高速道路に進入する際及び高速道路から進出する際に、画質の切替処理を行うようにしてもよい。

　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

　本発明は、車両周囲の撮像画像を表示する電子ミラー装置等に適用される車載向けの画像処理装置に好適である。

　１Ａ，１Ｂ　電子ミラー装置
　１０Ａ，１０Ｂ　画像処理装置
　１１　制御部
　１２　画像入力部
　１３　高画質処理部（画質変換部）
　１４　補間フレーム設定部
　１５　画像出力部
　１６　フレームメモリ
　１７　車両検出部
　２０　表示装置
　３０　車載カメラ
　４０　ＥＣＵ

Claims

　画像情報をフレーム単位で格納するフレームメモリと、
　走行する車両の周囲の撮像画像の画像情報を入力画像情報として前記フレームメモリに格納する画像入力部と、
　前記フレームメモリに格納されている前記入力画像情報に対して、フレーム単位で画質の変換を行う画質変換部と、
　前記フレームメモリから画像情報を読み出して、表示装置に出力する画像出力部と、
　前記車両の走行状態に基づいて、前記画質変換部の機能を制御し、前記画像出力部から出力される画像情報の当該画像情報の入力に対するフレーム遅延量を切り替える制御部と、
　前記制御部による切り替え前の第１のフレーム遅延量から切り替え後の第２のフレーム遅延量に移行するための移行期間に出力される補間フレームを設定する補間フレーム設定部と、を備え、
　前記画像出力部は、前記移行期間において、前記補間フレームの画像情報を出力した後、前記第２のフレーム遅延量を有するフレームの画像情報を出力する、
　画像処理装置。
　前記制御部は、前記車両の車速が所定速度未満である場合に、前記画質変換部の機能を有効化し、前記車両の車速が前記所定速度以上である場合に、前記画質変換部の機能を無効化する、請求項１に記載の画像処理装置。
　前記補間フレーム設定部は、前記フレームメモリに格納されている入力画像情報に基づいて新たにフレームを生成し、当該フレームを前記補間フレームとして設定する、請求項１又は２に記載の画像処理装置。
　前記補間フレーム設定部は、前記第１のフレーム遅延量から前記第２のフレーム遅延量まで、フレーム遅延量が段階的に変化するように前記補間フレームを設定する、請求項３に記載の画像処理装置。
　前記補間フレーム設定部は、前記フレームメモリに格納されている入力画像情報を複製して前記補間フレームとして設定する、請求項１から４のいずれか一項に記載の画像処理装置。
　前記入力画像情報に基づいて画像中の車両の有無を検出する車両検出部を備え、
　前記制御部は、前記車両検出部の検出結果に基づいて、前記フレーム遅延量の切り替えを行う、請求項１から５のいずれか一項に記載の画像処理装置。
　前記制御部は、前記車両検出部によって、前記画像中に車両が存在しないことが検出された場合、又は自車両から一定の距離以内に車両が存在しないことが検出された場合に、前記フレーム遅延量の切り替えを行う、請求項６に記載の画像処理装置。