JP5030748B2 - 映像表示システム - Google Patents

Description

本発明は、映像を表示する映像表示システムにおいて、映像に重畳して表示する、ユーザ操作受付用の表示オブジェクトの操作性を向上する技術に関するものである。

映像を表示する映像表示システムにおいて、映像に重畳して表示する、ユーザ操作受付用の表示オブジェクトの操作性を向上する技術としては、映像の平均輝度や最頻発現色に応じて、映像に重畳して表示するユーザ操作受付用のボタンの表示輝度や表示色を変化させることにより、映像に如何によらずにボタンの視認性を確保する技術が知られている（たとえば、特許文献１）。
特開2000-350115号公報

前記特許文献１記載の技術によれば、映像に重畳して表示するユーザ操作受付用のボタンの表示輝度や表示色が、その時々に表示されている映像によって変化することになるため、統一されたデザインによるボタンの表示は行えなくなる。また、表示輝度や表示色の異同などによって各ボタンの意味合いや種別をユーザに提示することが困難となる。

そして、これらのために、かえって、ボタンの操作性を劣化させてしまう場合がある。
そこで、本発明は、映像を表示する映像表示システムにおいて、映像に重畳して表示する、ユーザ操作受付用の表示オブジェクトの操作性を向上することを課題とする。

前記課題達成のために、本発明は、ユーザ操作受け付け用の表示オブジェクトを含む映像を、表示装置に表示する映像表示システムを、入力装置と、画像を出力する画像出力装置と、前記画像出力装置が出力した画像上に、前記表示オブジェクトを合成し、前記表示装置に表示する映像として出力する画像処理手段と、前記入力装置に対するユーザの手の接近を検出する接近検出センサとを含めて構成し、前記画像処理手段において、前記接近検出センサが前記接近を検出した場合に、前記画像出力装置が出力した画像に代えて、当該画像に前記表示オブジェクトとの対照性を高める所定の加工を施した画像上に、前記表示オブジェクトを合成し、前記表示装置に表示する映像として出力するようにしたものである。

また、前記課題達成のために、本発明は、ユーザ操作受け付け用の表示オブジェクトを含む映像を、表示装置に表示する映像表示システムを、入力装置と、画像を出力する画像出力装置と、前記画像出力装置が出力した画像上に、前記表示オブジェクトを合成し、前記表示装置に表示する映像として出力する画像処理手段とを含めて構成し、前記画像処理手段において、前記入力装置に対する操作が発生した場合に、前記画像出力装置が出力した画像に代えて、当該画像に前記表示オブジェクトとの対照性を高める所定の加工を施した画像上に、前記表示オブジェクトを合成し、前記表示装置に表示する映像として出力するようにしたものである。

これらの映像表示システムによれば、ユーザの手が入力装置に接近した場合や、入力装置の操作が発生した場合などの、以降にユーザの表示オブジェクトに対する操作が発生する蓋然性が大きいと推定される場合に、表示オブジェクトをその上に合成する画像出力装置の出力画像に、表示オブジェクトとの対照性を高める所定の加工を施す。したがって、ユーザが表示オブジェクトの操作を行う期間中、表示オブジェクトを当該表示オブジェクトが合成される画像に対して際だたせて表示することができ、その視認性を向上することができる。

また、その他のユーザの表示オブジェクトに対する操作が発生する蓋然性が小さい期間中には、画像出力装置の出力画像を、そのまま加工を施すことなく、表示オブジェクトを合成して表示するようにできるので、これらの期間における画像出力装置の出力画像の視認性や再現性を確保することができる。

また、表示オブジェクトの表示輝度や表示色が、表示オブジェクトをその上に合成する画像出力装置の出力画像に依存して変化することもないので、表示輝度や表示色の異同などによって各表示オブジェクトの意味合いや種別をユーザに提示することも支障無く行えるようになる。

よって、ユーザ操作受付用の表示オブジェクトの操作性を向上することができるようになる。
ここで、以上の映像表示システムにおいて、前記画像出力装置は、カメラやビデオプレイヤなどの動画を出力する装置であってよい。
また、以上の映像表示システムにおいて、前記所定の加工は、前記画像出力装置が出力した画像の輝度を増加、もしくは、減少させる加工としてもよいし、前記画像出力装置が出力した画像の彩度またはコントラストを減少させる加工としてもよいし、前記画像出力装置が出力した画像をぼかす加工としてもよい。また、前記所定の加工として、前記画像出力装置が出力した動画の静止画への変換を行うようにしてもよい。

また、以上の映像表示システムにおいて、前記画像処理部を、前記所定の加工を、前記画像出力装置が出力した画像の前記表示オブジェクトが配置される領域周辺の部分に対してのみ行うように構成してもよい。
また、当該映像表示システムは、自動車に搭載されるものであってもよい。

以上のように、本発明によれば、映像を表示する映像表示システムにおいて、映像に重畳して表示する、ユーザ操作受付用の表示オブジェクトの操作性を向上することができる。

以下、本発明の実施形態を自動車に搭載される映像システムへの適用を例にとり説明する。
図１に本実施形態に係る映像システムの構成を示す。
映像システムは、自動車に搭載されたシステムであり、図示するように、カメラ１、ＤＶＤビデオプレイヤやデジタルＴＶ受信機などのビデオを出力する装置であるビデオ出力装置２、地図上で現在位置や目的地までの経路を表した案内映像を出力するナビゲーション装置３、ビデオセレクタ４、画像解析部５、画像加工部６、合成部７、ＬＣＤなどである表示装置８、タッチパネル９、接近センサ１０、音声処理部１１、スピーカ１２、以上各部を制御する制御部１３とを有している。

なお、ビデオセレクタ４、画像解析部５、画像加工部６、合成部７、音声処理部１１、制御部１３は、マイクロプロセッサや、メモリや、その他の周辺デバイスを有する一般的な構成を備えたコンピュータによって、予め用意されたプログラムを実行することにより具現化するプロセスとして実現されるものであって良い。

さて、このような構成において、カメラ１は、図２ａに示すように車両後部に装着され、車両後方を撮影する。
また、タッチパネル９は、透明なパネル状の座標入力装置であり、表示装置８の表示画面上に重ねて設置してある。
また、接近センサ１０は、図２ｂに示すように、タッチパネル９の近傍に配置された、タッチパネル９へのユーザの手の接近を検出するセンサであり、このような接近センサ１０としては、超音波や赤外線などを用いた接近センサ１０を用いることができる。
そして、ビデオセレクタ４は、制御部１３の制御に従って、カメラ１の出力映像と、ビデオ出力装置２の出力映像と、ナビゲーション装置３の出力映像とのうちの一つを選択し、主映像として、画像加工部６に出力する。画像加工部６は、制御部１３の制御に従って、ビデオセレクタ４から入力する主映像に対して画像加工を行って、画像加工後の主映像を合成部７に出力する。

一方、制御部１３は、ユーザから映像表示システムの各種操作を受け付けるために表示する表示オブジェクト（アイコンやボタンやその他の画像/図形）の画像であるＵＩ用画像を生成し合成部７に出力する。以下では、一例として、制御部１３が、ユーザから映像表示システムの各種操作を受け付けるための表示オブジェクトとして、ボタンを表示する場合を例にとり説明する。

次に、合成部７は、たとえば、図３に示すように、制御部１３から入力するボタン３０１を表すＵＩ用画像３１０を、画像加工部６から入力する主映像３２０に合成して、主映像３２０の上にボタン３０１が表された表示映像３３０を生成し、表示映像３３０を表示装置８に表示する。

そして、制御部１３は、表示映像３３０上で、ボタン３０１を表示している領域内の座標のユーザによるタッチパネル９のタッチが発生したならば、そのボタン３０１に対応する操作を受け付け、映像表示システムの動作を制御する。
一方、音声出力部は、制御部１３の制御に従って、ビデオ出力装置２の出力音声と、ナビゲーション装置３の出力音声の一方をスピーカ１２に出力したり、両音声を合成してスピーカ１２に出力する処理を行う。
そして、このような構成において、制御部１３は、図４ａに手順を示す、ボタン操作支援処理を行う。
図示するように、この処理では、まず、現在、表示装置８にカメラ１またはビデオ出力装置２の出力映像を主映像３２０とする表示映像３３０が表示されているかどうかを調べる（ステップ４０２）。そして、表示されていなければ、そのまま、カメラ１またはビデオ出力装置２の出力映像を主映像３２０とする表示映像３３０が表示されるのを待つ。

一方、表示装置８にカメラ１またはビデオ出力装置２の出力映像を主映像３２０とする表示映像３３０が表示されていれば、ユーザの手のタッチパネル９への接近の発生の有無を調べ（ステップ４０４）、発生していなければステップ４０２の処理に戻る。なお、ユーザの手のタッチパネル９への接近は、接近センサ１０を用いて検出する。

一方、ユーザの手のタッチパネル９への接近が発生していれば（ステップ４０４）、画像加工部６に、主映像３２０に対するボタン操作支援用の画像加工の開始を指示する（ステップ４０６）。このボタン操作支援用の画像加工の内容については後に詳述する。ここで、初期状態からボタン操作用の画像加工の開始を指示されるまで、画像加工部６は、ビデオセレクタ４から入力する主映像３２０をそのまま合成部７に出力する。

そして、ユーザの手のタッチパネル９への接近が接近センサ１０によって検出されなくなるのを待って（ステップ４０８）、画像加工部６に、主映像部に対するボタン操作用の画像加工の終了を指示し（ステップ４１０）、ステップ４０２からの処理に戻る。
ここで、画像加工部６は、主映像３２０に対するボタン操作支援用の画像加工の終了を指示されると、以降、次にボタン操作支援用の画像加工の開始を指示されるまで、ビデオセレクタ４から入力する主映像３２０をそのまま合成部７に出力する。
以上、制御部１３が行うボタン操作支援処理について説明した。
このようなボタン操作支援処理によれば、表示映像３３０に主映像３２０として表示されるカメラ１やビデオ出力装置２の出力映像は、ユーザの手がタッチパネル９に接近している期間中のみ、ボタン操作用の画像加工が施されたものとなり、他の期間は、カメラ１やビデオ出力装置２の出力映像そのものとなる。

なお、このボタン操作支援処理は、映像表示システムから接近センサ１０を排して、図４ｂに示すように行うようにしてもよい。
すなわち、表示装置８にカメラ１またはビデオ出力装置２の出力映像を主映像３２０とする表示映像３３０が表示されている状態において（ステップ４５２）、ユーザのタッチパネル９のタッチが発生（ステップ４５４）するのを待つ。
そして、ユーザのタッチパネル９のタッチが発生したならば（ステップ４５４）、画像加工部６に、主映像３２０に対するボタン操作支援用の画像加工の開始を指示する（ステップ４５６）。
そして、所定のタイムアウト時間（たとえば、３秒）を持つタイマをスタートし（ステップ４５８）、ユーザのタッチパネル９へのタッチの発生（ステップ４６０）と、タイマのタイムアウトの発生（ステップ４６２）とを監視する。
そして、ユーザのタッチパネル９へのタッチが発生したならば（ステップ４６０）、ステップ４５８に戻ってタイマを再セットした上で、ユーザのタッチパネル９へのタッチの発生（ステップ４６０）と、タイマのタイムアウトの発生（ステップ４６２）との監視に戻る。

一方、タイムアウトが発生した場合には（ステップ４６２）、画像加工部６に、主映像部に対するボタン操作用の画像加工の終了を指示し（ステップ４６４）、ステップ４５２からの処理に戻る。
このようなボタン操作支援処理によれば、表示映像３３０に主映像３２０として表示されるカメラ１やビデオ出力装置２の出力映像は、ユーザがタッチパネル９にタッチしてから所定期間のみ、ボタン操作用の画像加工が施されたものとなり、他の期間は、カメラ１やビデオ出力装置２の出力映像そのものとなる。

次に、上述のように、画像加工部６において主映像３２０に対して行うボタン操作支援用の画像加工の内容について説明する。
このボタン操作支援用の画像加工では、主映像３２０をボタン３０１との対照性が高まるように加工する。このようにすることにより、表示映像３３０において、主映像３２０の上に表示されるボタン３０１が、主映像３２０に対して際だち、その視認性が向上することになる。

すなわち、このボタン操作支援用の画像加工では、たとえば、主映像３２０全体の輝度を低下させる画像加工を行う。
比較的輝度の大きいボタン３０１を用いる場合に、このような画像加工を行うことにより、たとえば、図５ａに示すボタン操作支援用の画像加工を行わないときの表示映像３３０に比べ、ボタン操作支援用の画像加工を行ったときの表示映像３３０は、図５ｂ１に示すようにボタン３０１と主映像３２０との輝度差が大きな表示映像３３０となり、ボタン３０１の視認性が向上する。

または、このボタン操作支援用の画像加工では、たとえば、主映像３２０の、ボタン３０１がその上に配置される領域周辺の輝度を低下させる。
比較的輝度の大きいボタン３０１を用いる場合に、このような画像加工を行うことにより、たとえば、図５ａに示すボタン操作支援用の画像加工を行わないときの表示映像３３０に比べ、ボタン操作支援用の画像加工を行ったときの表示映像３３０は、図５ｂ２に示すようにボタン３０１と主映像３２０のボタン３０１周辺の部分との輝度差が大きな表示映像３３０となり、ボタン３０１の視認性が向上する。

または、このボタン操作支援用の画像加工では、たとえば、主映像３２０全体の輝度を増加させる画像加工を行う。
比較的輝度の小さなボタン３０１を用いる場合に、このような画像加工を行うことにより、たとえば、図５ｃに示すボタン操作支援用の画像加工を行わないときの表示映像３３０に比べ、ボタン操作支援用の画像加工を行ったときの表示映像３３０は、図５ｄ１に示すようにボタン３０１と主映像３２０との輝度差が大きな表示映像３３０となり、ボタン３０１の視認性が向上する。

または、このボタン操作支援用の画像加工では、たとえば、主映像３２０の、ボタン３０１がその上に配置される領域周辺の輝度を増加させる。
比較的輝度の小さなボタン３０１を用いる場合に、このような画像加工を行うことにより、たとえば、図５ｃに示すボタン操作支援用の画像加工を行わないときの表示映像３３０に比べ、ボタン操作支援用の画像加工を行ったときの表示映像３３０は、図５ｄ２に示すようにボタン３０１と主映像３２０のボタン３０１周辺の部分との輝度差が大きな表示映像３３０となり、ボタン３０１の視認性が向上する。

なお、制御部１３の上述したボタン操作支援処理では、その時点で出力しているＵＩ画像に含めているボタン３０１の輝度に応じて、加工部に行わせるボタン操作支援用の画像加工を切り替えるようにしてもよい。
すなわち、ボタン３０１の輝度が比較的大きい場合には、図５ｂ１、２に示すように主映像３２０全体またはボタン３０１周辺の輝度を低下させる画像加工をボタン操作支援用の画像加工として画像加工部６に行わせ、ボタン３０１の輝度が比較的小さい場合には、図５ｄ１、２に示すように主映像３２０全体またはボタン３０１周辺の輝度を増加させる画像加工をボタン操作支援用の画像加工として画像加工部６に行わせるようにしてもよい。

また、制御部１３の上述したボタン操作支援処理では、その時点の主映像３２０の輝度に応じて、加工部に行わせるボタン操作支援用の画像加工を切り替えるようにしてもよい。
すなわち、画像解析部５において、ビデオセレクタ４から出力される主映像３２０の平均的な輝度を求め、制御部１３において、主映像３２０の平均的な輝度が所定のしきい値より大きい場合には、図５ｄ１、２に示すように主映像３２０全体またはボタン３０１周辺の輝度を増加させる画像加工をボタン操作支援用の画像加工として画像加工部６に行わせ、主映像３２０の平均的な輝度が所定のしきい値より小さい場合には、図５ｂ１、２に示すように主映像３２０全体またはボタン３０１周辺の輝度を減少させる画像加工をボタン操作支援用の画像加工として画像加工部６に行わせるようにしてもよい。ここで、所定のしきい値は、たとえば、ボタン３０１の平均輝度とするようにしてもよい。

中間的な輝度を有するボタン３０１を用いる場合に、このようにボタン操作支援用の画像加工を切り替えることにより、たとえば、主映像３２０の平均的な輝度が比較的大きい場合には、図６ａに示すボタン操作支援用の画像加工を行わないときの表示映像３３０に比べ、ボタン操作支援用の画像加工を行ったときの表示映像３３０を、図６ｂに示すようにボタン３０１と主映像３２０との輝度差が大きな表示映像３３０とすることができ、ボタン３０１の視認性を向上することができる。また、主映像３２０の平均的な輝度が比較的小さな場合にも、図６ｃに示すボタン操作支援用の画像加工を行わないときの表示映像３３０に比べ、ボタン操作支援用の画像加工を行ったときの表示映像３３０を、図６ｄに示すようにボタン３０１と主映像３２０との輝度差が大きな表示映像３３０とすることができ、ボタン３０１の視認性を向上することができる。

また、ボタン操作支援用の画像加工としては、以上に示したような画像加工の他、図７ｂに示すように主映像３２０をぼかす加工を行ったり、図７ｃに示すようにカラーの主映像３２０の彩度を低下させて白黒の映像に加工したり、図７ｄに示すように主映像３２０の輝度コントラストを低下させる加工を行ったりしてもよい。また、動画である主映像３２０のボタン操作支援用の画像加工開始時の画像フレームを連続的に出力することにより、図７ｅに示すように主映像３２０が静止画を表すようにする加工を行ったりするようにしてもよい。また、これらの画像加工は、主映像３２０の全体に対してではなく、図７ｆに示すように、主映像３２０のボタン配置領域の周辺領域７０１に対してのみ行うようにしてもよい。これらの主映像３２０に対する加工によっても、主映像３２０に対してボタン３０１を際だたせ、その視認性を向上することができうる。

なお、図７ｂ、ｃ、ｄ、ｅは、ボタン操作支援用の画像加工を行わないときに表示映像３３０が図７ａのように表示される主映像３２０とボタン３０１を表示する場合についてのものである。
以上、本発明の実施形態について説明した。
以上のように、本実施形態によれば、ユーザの手がタッチパネル９に接近している期間や、タッチパネル９のタッチが発生した後の所定期間などの、ユーザのボタン３０１に対する操作が発生する蓋然性が大きい期間中、ボタン３０１が当該ボタン３０１が合成される主映像３２０上で際だつような加工を施して、ユーザのボタン３０１の視認性を向上することができる。

また、その他の期間中には、主映像３２０を、そのまま加工を施すことなく、ボタン３０１を合成して表示するので、これらの期間における主映像３２０の視認性や再現性を確保することができる。
また、ボタン３０１の表示輝度や表示色が、主映像に依存して変化することもないので、表示輝度や表示色の異同などによって各ボタン３０１の意味合や種別をユーザに提示することも支障無く行えるようになる。
なお、本実施形態で示した映像表示システムの技術は、車載ではない映像表示システムにも同様に適用することができる。また、前述のように、本実施形態で示した映像表示システムの技術は、ユーザ操作受付用の表示オブジェクトとして、ボタン３０１以外のアイコンやその他の画像/図形などの任意の種類の表示オブジェクトを表示する場合にも同様に適用することができる。

本発明の実施形態に係る映像表示システムの構成を示すブロック図である。 本発明の実施形態に係る映像表示システムの配置を示す図である。 本発明の実施形態に係る映像表示システムの合成動作を示す図である。 本発明の実施形態に係るボタン操作支援処理を示すフローチャートである。 本発明の実施形態に係る映像表示システムの処理例を示す図である。 本発明の実施形態に係る映像表示システムの処理例を示す図である。 本発明の実施形態に係る映像表示システムの処理例を示す図である。

符号の説明

１…カメラ、２…ビデオ出力装置、３…ナビゲーション装置、４…ビデオセレクタ、５…画像解析部、６…画像加工部、７…合成部、８…表示装置、９…タッチパネル、１０…接近センサ、１１…音声処理部、１２…スピーカ、１３…制御部、３０１…ボタン、３１０…ＵＩ用画像、３２０…主映像、３３０…表示映像。

Claims (10)

1. ユーザ操作受け付け用の表示オブジェクトを含む映像を、表示装置に表示する映像表示システムであって、
   入力装置と、
   画像を出力する画像出力装置と、
   前記画像出力装置が出力した画像上に、前記表示オブジェクトを合成し、前記表示装置に表示する映像として出力する画像処理手段と、
   前記入力装置に対するユーザの手の接近を検出する接近検出センサとを有し、
   前記画像処理手段は、前記接近検出センサが前記接近を検出した場合に、前記画像出力装置が出力した画像に代えて、当該画像に前記表示オブジェクトとの対照性を高める所定の加工を施した画像上に、前記表示オブジェクトを合成し、前記表示装置に表示する映像として出力することを特徴とする映像表示システム。
2. ユーザ操作受け付け用の表示オブジェクトを含む映像を、表示装置に表示する映像表示システムであって、
   入力装置と、
   画像を出力する画像出力装置と、
   前記画像出力装置が出力した画像上に、前記表示オブジェクトを合成し、前記表示装置に表示する映像として出力する画像処理手段とを有し、
   前記画像処理手段は、前記入力装置に対する操作が発生した場合に、前記画像出力装置が出力した画像に代えて、当該画像に前記表示オブジェクトとの対照性を高める所定の加工を施した画像上に、前記表示オブジェクトを合成し、前記表示装置に表示する映像として出力することを特徴とする映像表示システム。
3. 請求項１または２記載の映像表示システムであって、
   前記画像出力装置が出力する画像は動画であることを特徴とする映像表示システム。
4. 請求項３記載の映像表示システムであって、
   前記画像出力装置は、カメラであることを特徴とする映像表示システム。
5. 請求項１、２、３または４記載の映像表示システムであって、
   前記画像処理部は、前記所定の加工として、前記画像出力装置が出力した画像の輝度を増加、もしくは、減少させる加工を行うことを特徴とする映像表示システム。
6. 請求項１、２、３または４記載の映像表示システムであって、
   前記画像処理部は、前記所定の加工として、前記画像出力装置が出力した画像の彩度またはコントラストを減少させる加工を行うことを特徴とする映像表示システム。
7. 請求項１、２、３または４記載の映像表示システムであって、
   前記画像処理部は、前記所定の加工として、前記画像出力装置が出力した画像をぼかす加工を行うことを特徴とする映像表示システム。
8. 請求項３または４記載の映像表示システムであって、
   前記画像処理部は、前記所定の加工として、前記画像出力装置が出力した動画の静止画への変換を行うことを特徴とする映像表示システム。
9. 請求項１、２、３、４、５、６、７または８記載の映像表示システムであって、
   前記画像処理部は、前記所定の加工を、前記画像出力装置が出力した画像の前記表示オブジェクトが配置される領域周辺の部分に対してのみ行うことを特徴とする映像表示システム。
10. 請求項１、２、３、４、５、６、７、８または９記載の映像表示システムであって、
    当該映像表示システムは、自動車に搭載されるものであることを特徴とする映像表示システム。