JP6707476B2 - ディスプレイの表示制御装置および表示映像フリーズ報知方法 - Google Patents

Description

本発明は、ディスプレイの表示制御装置および表示映像フリーズ報知方法に関し、特に、カメラにより撮影された映像を動画としてディスプレイに表示するシステムに用いて好適なものである。

近年、車両の後部にバックビューカメラを設置し、当該バックビューカメラにより撮影した車両後方の映像を動画としてディスプレイに表示することにより、後退時の走行支援を行うシステムの需要が増加している。米国では２０１８年より、バックビューカメラの装着が法規として義務付けられ、日本でも装着の義務化が検討されている。

最近では、バックビューカメラの普及に伴い、目視で車両後方を確認せず、カメラの撮影映像のみを見て後退を行うユーザが増加している。ところが、システムの故障等によって、バックビューカメラの撮影映像の表示がフリーズした場合、ユーザはその異常に気付くことが難しく、実際には障害物があるのに後退してしまうなどの問題を生じる可能性がある。そのため、フリーズが発生した場合に、そのことをユーザに報知することが望まれる。

通常、バックビューカメラにより撮影された映像をディスプレイに表示するための後方画像表示システムは、図６のように構成される。すなわち、後方画像表示システムは、バックビューカメラ１０１、カメラＩ／Ｆ１０２、ビデオデコーダ１０３、マイコン１０４、映像出力Ｉ／Ｆ１０５およびディスプレイ１０６により構成される。

ここで、ディスプレイ１０６に対する表示映像のフリーズは、各ブロック１０１〜１０６の何れかの故障によって生じる可能性がある。そのため、フリーズの発生を検知するためには、マイコン１０４が他の各ブロック１０１〜１０３，１０５，１０６を監視するソフトウェア的な仕組みを導入する必要がある。また、マイコン１０４自身の故障を検知するために、これとは別にマイコン監視用のＩＣ等を追加する必要がある。そのため、ハード／ソフト両面でコストアップを招くという問題があった。

なお、例えば特許文献１〜３には、カメラによる撮影映像にフリーズが発生していることを検出するための技術が開示されている。特許文献１に記載の画像表示システムでは、カメラによって撮像された撮像画像内に特定領域を設定し、その特定領域内に白色または黒色のフリーズ検出用画像をフレーム毎に反転させた状態で合成する。そして、連続する合成画像の特定領域に白色の画像と黒色の画像とが繰り返し含まれている場合は撮像画像にフリーズが発生していないと判断し、連続する合成画像の特定領域に白色の画像または黒色の画像の何れか一方が連続して含まれている場合は撮像画像にフリーズが発生していると判断する。

特許文献２に記載の表示装置では、ＥＣＵは、カメラから入力した映像信号に含まれる複数のフレームの画像の表示態様がフレームの前後で左右が反転する表示態様になるように、複数のフレームの画像を一枚おきに画像処理して表示信号として出力する。また、ディスプレイ装置は、ＥＣＵから入力した表示信号に含まれる複数のフレームの画像を一枚おきに元に戻すことにより、複数のフレームの画像を全て同じ表示態様で画面に表示する。ＥＣＵからディスプレイ装置に同一のフレームの画像が入力される場合、ディスプレイ装置は当該同一のフレームの画像を一枚おきに異なる表示態様で画面に連続して表示することにより、画面の表示を通常と異なる状態にして、フリーズの発生をユーザに報知する。

特許文献３に記載の画像処理装置では、表示用画像をフレームバッファにいったん格納し、フレームバッファに格納された表示用画像を読み出して表示装置に表示するシステムにおいて、フレームバッファに格納された表示用画像を読み出した後であって、フレームバッファに次の表示用画像を格納する前に、表示用画像とは無関係の特定画像を書き込むことにより、画像処理が停止した際に、同じ表示用画像が表示された状態が維持されるのではなく、特定画像が表示されるようにして、フリーズの発生をユーザに報知する。

特開２００８−２５２３０７号公報 特開２０１６−１０２９３９号公報 特開２０１６−１６７６６４号公報

しかしながら、上記特許文献１に記載の技術では、連続する合成画像の特定領域に白色の画像と黒色の画像とが繰り返し含まれているか否かを判定する必要がある。つまり、撮像画像にフリーズが発生しているか否かの判定を行うための処理が必要である。そのため、この判定処理を行うマイコン自体が故障してしまうと、フリーズの発生を検出してユーザに報知することができなくなってしまうという問題が生じる。これを防ぐためには、マイコン自体の故障を検出するためのハードウェアを追加導入する必要があり、コストアップを招いてしまう。

また、特許文献２に記載の技術では、カメラの撮影映像に対して特別な画像処理を行う必要があり、そのソフトウェア的な仕組みを導入するためにコストアップを招くという問題がある。また、この特許文献２においても、ＥＣＵからディスプレイ装置に同一のフレームの画像が入力されるか否かを監視することによって、撮像映像にフリーズが発生しているか否かの判定を行うための処理が必要である。そのため、この判定処理を行うマイコン自体が故障してしまうと、フリーズの発生を検出してユーザに報知することができなくなってしまうという問題が生じる。

また、特許文献３に記載の技術では、無関係の特定画像がフレームバッファから読み出されて表示されたタイミングで異常が発生すれば、フリーズの発生を把握することが可能であるが、表示用画像が表示されたタイミングでフリーズが生じると、そのことをユーザに報知することができないという問題があった。

本発明は、このような問題を解決するために成されたものであり、フリーズ検出のためのソフトウェア的な判定処理や専用のハードウェアの追加を行うことなく、表示映像がフリーズしていることを確実にユーザに報知することができるようにすることを目的とする。特に本発明は、カメラから入力された映像をディスプレイに出力する出力段における故障が原因で生じる表示映像のフリーズを確実にユーザに報知することができるようにすることを目的とする。

上記した課題を解決するために、本発明では、カメラにより入力された撮影映像の連続するフレーム毎に、所定領域に対して第１の警告用画像と第２の警告用画像とを交互に合成することにより合成画像を生成し、フレーム毎に生成した合成画像を順次ディスプレイに出力する。ここで、第１の警告用画像および第２の警告用画像は、フリーズの発生を報知するための報知画像を背景画像上に描画した画像であって、報知画像および背景画像の表示色を互いに反転させた画像としている。

上記のように構成した本発明によれば、表示映像にフリーズが発生していないときは、第１の警告用画像と第２の警告用画像とが交互に表示されることにより、ユーザにとっては、所定領域内の報知画像および背景画像が、両者の表示色の中間色として、互いを区別できない同色の状態で知覚される。これに対し、表示映像にフリーズが発生すると、第１の警告用画像または第２の警告用画像の何れかが固定的に表示されるため、所定領域内で報知画像が背景画像と異色のものとして区別できる状態でユーザに知覚される。

このように、本発明によれば、フリーズが発生したときに固定的に表示される第１の警告用画像または第２の警告用画像の何れかが、そのままフリーズの発生を報知するメッセージ画像となる。したがって、フリーズ検出のためのソフトウェア的な判定処理や専用のハードウェアの追加を行うことなく、表示映像がどのタイミングでフリーズしても、フリーズが発生していることを確実にユーザに報知することができる。

本実施形態によるディスプレイの表示制御装置を適用した後方画像表示システムの構成例を示す図である。 本実施形態の警告用画像記憶部に記憶される２種類の警告用画像の一例を示す図である。 本実施形態の合成画像出力部によりディスプレイに出力される合成画像の一例を示す図である。 本実施形態による表示制御装置の動作例を示すフローチャートである。 他の実施形態に係るディスプレイの表示制御装置を適用した後方画像表示システムの構成例を示す図である。 従来の後方画像表示システムの構成例を示す図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態によるディスプレイの表示制御装置を適用した後方画像表示システムの構成例を示す図である。本実施形態の後方画像表示システムは、車両に搭載されるものであり、図１に示すように、バックビューカメラ１０１、カメラＩ／Ｆ１０２、ビデオデコーダ１０３、マイコン１０、映像出力Ｉ／Ｆ２０およびディスプレイ１０６により構成される。

本実施形態による表示制御装置は、マイコン１０および映像出力Ｉ／Ｆ２０により構成され、ディスプレイ１０６に表示される映像がフリーズした場合に、それを運転者に報知できるようにしたものである。表示映像がフリーズする故障要因としては、次の２点が考えられる。
（１）バックビューカメラ１０１からマイコン１０までの入力段での故障
（２）マイコン１０からディスプレイ１０６までの出力段での故障
本実施形態の表示制御装置は、（２）の故障が原因で発生する表示映像のフリーズを運転者に報知するものである。

本実施形態のマイコン１０は、その機能構成として、警告用画像記憶部１１および画像合成部１２を備えている。また、映像出力Ｉ／Ｆ２０は、その機能構成として、合成画像出力部２１を備えている。

警告用画像記憶部１１は、表示映像にフリーズが生じていることを運転者に報知するための警告用画像を記憶する。警告用画像は、第１の警告用画像および第２の警告用画像の２種類である。第１の警告用画像および第２の警告用画像は、フリーズの発生を報知するための報知画像を背景画像上に描画した画像であって、報知画像および背景画像の表示色を互いに反転させた画像である。

図２は、警告用画像記憶部１１に記憶される２種類の警告用画像の一例を示す図である。図２（ａ）が第１の警告用画像を示し、図２（ｂ）が第２の警告用画像を示している。図２（ａ）に示す第１の警告用画像は、「画面がフリーズしています！」という文字から成る報知画像を、無地一色から成る背景画像上に描画した画像である。報知画像は第１の表示色、背景画像は第２の表示色である。

これに対し、図２（ｂ）に示す第２の警告用画像も、「画面がフリーズしています！」という文字から成る報知画像を、無地一色から成る背景画像上に描画した画像である。この点は第１の警告用画像と同じである。報知画像（文字）の大きさ、太さおよび位置、背景画像の大きさや形状も、第１の警告用画像と同じである。ただし、第２の報知用画像は、第１の警告用画像に対して表示色が反転しており、報知画像が第２の表示色、背景画像が第１の表示色となっている。

画像合成部１２は、バックビューカメラ１０１よりカメラＩ／Ｆ１０２を介して入力されビデオデコーダ１０３によりデコードされた撮影映像の連続するフレーム毎に、所定領域に対して第１の警告用画像と第２の警告用画像とを交互に合成することにより、合成画像を生成する。例えば、画像合成部１２は、撮影映像の奇数フレームの所定領域に第１の警告用画像を合成し、偶数フレームの所定領域に第２の警告用画像を合成する。

合成画像出力部２１は、画像合成部１２によりフレーム毎に生成された合成画像を順次ディスプレイ１０６に出力する。例えば、合成画像出力部２１は、６０ＦＰＳ（フレーム／秒）で合成画像をディスプレイ１０６に出力する。

図３は、合成画像出力部２１によりディスプレイ１０６に出力される合成画像の一例を示す図である。図３（ａ）は、フリーズが生じていない場合に表示される合成画像を示している。一方、図３（ｂ）は、フリーズが生じている場合に表示される合成画像を示している。

図３（ａ）に示すように、表示映像にフリーズが発生していないときは、第１の警告用画像と第２の警告用画像とが６０ＦＰＳの速度で交互に表示されることにより、ユーザにとっては、所定領域内の報知画像および背景画像が、両者の表示色の中間色として、互いを区別できない同色の状態で知覚される。これに対し、表示映像にフリーズが発生すると、図３（ｂ）に示すように、第１の警告用画像または第２の警告用画像の何れかが固定的に表示されるため、所定領域内で報知画像が背景画像と異色のものとして区別できる状態でユーザに知覚される。

図４は、上記のように構成した本実施形態による表示制御装置の動作例を示すフローチャートである。図４に示すフローチャートは、車両のギアがリアポジションに入れられたときに開始する。

まず、画像合成部１２は、バックビューカメラ１０１により撮影された車両後方の１フレーム分の撮影画像を、カメラＩ／Ｆ１０２およびビデオデコーダ１０３を介して入力する（ステップＳ１）。画像合成部１２は、その入力した１フレーム分の撮影画像の所定領域に第１の警告用画像を合成する（ステップＳ２）。そして、合成画像出力部２１は、画像合成部１２により生成された１フレーム分の合成画像をディスプレイ１０６に出力する（ステップＳ３）。

その後、画像合成部１２は、車両のギアがリアポジションに入れられた状態が続いているか否かを判定する（ステップＳ４）。ここで、車両のギアがリアポジションではなくなっている場合、図４に示すフローチャートの処理は終了する。

一方、車両のギアがリアポジションにある場合、画像合成部１２は、バックビューカメラ１０１により撮影された次の１フレーム分の撮影画像を入力する（ステップＳ５）。画像合成部１２は、その入力した１フレーム分の撮影画像の所定領域に第２の警告用画像を合成する（ステップＳ６）。そして、合成画像出力部２１は、画像合成部１２により生成された１フレーム分の合成画像をディスプレイ１０６に出力する（ステップＳ７）。

その後、画像合成部１２は、車両のギアがリアポジションに入れられた状態が続いているか否かを判定する（ステップＳ８）。ここで、車両のギアがリアポジションにある場合、処理はステップＳ１に戻る。一方、車両のギアがリアポジションではなくなっている場合、図４に示すフローチャートの処理は終了する。

このように、バックビューカメラ１０１からディスプレイ１０６までの何れのブロックにおいても故障が生じていない場合は、ステップＳ１〜Ｓ８の処理が繰り返し行われることにより、ディスプレイ１０６には図３（ａ）のような状態で合成画像が表示される。

一方、ステップＳ４〜Ｓ６の処理中にマイコン１０からディスプレイ１０６までの何れかで故障が発生すると、ステップＳ７の処理が行われなくなる。そのため、図３（ｂ）に示すように、ステップＳ３でディスプレイ１０６に出力された合成画像が固定的にディスプレイ１０６に表示され続ける。すなわち、合成画像の所定領域に、第１の警告用画像が固定的に表示され続けることになる。

また、ステップＳ８〜Ｓ２の処理中にマイコン１０からディスプレイ１０６までの何れかで故障が発生すると、ステップＳ３の処理が行われなくなる。そのため、図３（ｂ）に示すように、ステップＳ７でディスプレイ１０６に出力された合成画像が固定的にディスプレイ１０６に表示され続ける。すなわち、合成画像の所定領域に、第２の警告用画像が固定的に表示され続けることになる。

以上詳しく説明したように、本実施形態によれば、フリーズが発生したときに固定的に表示される第１の警告用画像または第２の警告用画像の何れかが、そのままフリーズの発生を報知するメッセージ画像となる。したがって、フリーズ検出のためのソフトウェア的な判定処理や専用のハードウェアの追加を行うことなく、表示映像がどのタイミングでフリーズしても、フリーズが発生していることを確実にユーザに報知することができる。

なお、上記実施形態において、バックビューカメラ１０１による撮影映像のフレームレートがディスプレイ１０６のリフレッシュレートよりも小さい場合に、撮影映像のフレームレートを増加させてディスプレイ１０６のリフレッシュレートに合わせるようにしてもよい。図５は、その場合におけるマイコン１０の機能構成例を示す図である。

図５において、フレームレート変更部１３は、ビデオデコーダ１０３から入力される撮影映像に対して、上述のようなフレームレートの変更処理を行う。例えば、撮影映像のフレームレートが３０ＦＰＳ、ディスプレイ１０６のリフレッシュレートが６０ＦＰＳである場合、フレームレート変更部１３は、入力される各フレームの画像をそれぞれコピーすることにより、フレームレートを倍増させる。または、単純にフレーム画像をコピーするのではなく、フレーム間差分をとって、中間画像を生成するようにしてもよい。

なお、撮影映像のフレームレートが６０ＦＰＳ、ディスプレイ１０６のリフレッシュレートが９０ＦＰＳのような場合、フレームレート変更部１３は、入力されるフレーム画像を１つ置きにコピーし、または中間画像を生成することにより、フレームレートを１．５倍に増加させる。

画像合成部１２’は、フレームレート変更部１３によりフレームレートが変更された撮影映像の連続するフレーム毎に、所定領域に対して第１の警告用画像と第２の警告用画像とを交互に合成することにより、合成画像を生成する。このように、ディスプレイ１０６で表示可能なリフレッシュレートを上限として撮影映像のフレームレートを増加させて合成画像を生成することにより、フリーズが生じていないときに所定領域に表示される画像部分のちらつきを低減することができる。

また、上記実施形態では、警告用画像の中の報知画像を「画面がフリーズしています！」という文字画像により構成する例について説明したが、本発明はこれに限定されない。例えば、画面がフリーズしていることが認識できるような図形や記号等から成る画像を報知画像として用いるようにしてもよい。

また、上記実施形態では、バックビューカメラ１０１により撮影された車両後方の映像を対象としてフリーズの報知を行う例について説明したが、車両後方画像に限定されない。例えば、車両側方画像や車両周囲画像、または、撮影映像を上空の仮想視点から見た状態に変換した俯瞰画像などを対象としてフリーズの報知を行うようにしてもよい。

また、上記実施形態では、本実施形態によるディスプレイの表示制御装置を車両に搭載する例について説明したが、車両搭載用に限定されるものではない。すなわち、カメラにより撮影された映像を動画としてディスプレイに表示するシステムであれば、本発明を適用することが可能である。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０ マイコン
１１ 警告用画像記憶部
１２ 画像合成部
１３ フレームレート変更部
２０ 映像出力Ｉ／Ｆ
２１ 合成画像出力部

Claims (3)

1. カメラにより入力された撮影映像の連続するフレーム毎に、所定領域に対して第１の警告用画像と第２の警告用画像とを交互に合成することにより、合成画像を生成する画像合成部と、
   上記画像合成部により上記フレーム毎に生成された合成画像を順次ディスプレイに出力する合成画像出力部とを備え、
   上記第１の警告用画像および上記第２の警告用画像は、フリーズの発生を報知するための報知画像を背景画像上に描画した画像であって、上記報知画像および上記背景画像の表示色を互いに反転させた画像であることを特徴とするディスプレイの表示制御装置。
2. 上記カメラにより入力された撮影映像のフレームレートが上記ディスプレイのリフレッシュレートよりも小さい場合、上記撮影映像のフレームレートを増加させて上記ディスプレイのリフレッシュレートに合わせるフレームレート変更部を更に備え、
   上記画像合成部は、上記フレームレート変更部により上記フレームレートが変更された撮影映像の連続するフレーム毎に、上記所定領域に対して上記第１の警告用画像と上記第２の警告用画像とを交互に合成することにより、上記合成画像を生成することを特徴とする請求項１に記載のディスプレイの表示制御装置。
3. ディスプレイに対して画像の表示を行う表示制御装置の画像合成部が、カメラにより入力された撮影映像の連続するフレーム毎に、所定領域に対して第１の警告用画像と第２の警告用画像とを交互に合成することにより、合成画像を生成する第１のステップと、
   上記表示制御装置の合成画像出力部が、上記画像合成部により上記フレーム毎に生成された合成画像を順次上記ディスプレイに出力する第２のステップとを有し、
   上記第１の警告用画像および上記第２の警告用画像として、フリーズの発生を報知するための報知画像を背景画像上に描画した画像であって、上記報知画像および上記背景画像の表示色を互いに反転させた画像を用い、上記フリーズの発生時に固定的に表示される上記第１の警告用画像または上記第２の警告用画像の中の上記報知画像により、上記フリーズの発生を報知するようにしたことを特徴とする撮影映像フリーズ報知方法。