JP5081316B1 - 立体映像表示装置 - Google Patents

Abstract

【課題】２Ｄ３Ｄ変換に関するパラメータ調整をするためのメニュー画像表示の際に、メニュー画像が見やすく、設定中のパラメータでの２Ｄ３Ｄ変換の映像を確認することが可能な立体映像表示装置を提供する。
【解決手段】立体映像表示装置１００は、２Ｄ映像データを２Ｄ３Ｄ変換部１０５により３Ｄ映像データに変換して表示するもので、２Ｄ映像データとメニュー画像を重畳するメニュー重畳部１０３と、表示するメニュー画像の内容に応じて、２Ｄ３Ｄ変換部１０５を制御する２Ｄ３Ｄ変換制御部１０４を備え、２Ｄ３Ｄ変換制御部１０４が、表示するメニュー画像が２Ｄ３Ｄ変換による立体表示に関する映像調整関連のメニュー画像である場合に、メニュー画像が重畳される領域については２Ｄ３Ｄ変換部１０５の変換機能を停止しそれ以外の領域については２Ｄ３Ｄ変換部１０５の変換機能を実行するよう制御する。
【選択図】図１

Description

本発明は、２Ｄ映像データを２Ｄ３Ｄ変換部により３Ｄ映像データに変換して表示する立体映像表示装置に関するものである。

従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは、両眼視差を持った左眼画像と右眼画像を用意し、それぞれ独立に左右の眼に投影することにより立体表示を行う「２眼式」と呼ばれるものである。このような立体表示を行う立体映像表示装置として、３Ｄ対応テレビや３Ｄ対応携帯端末などが普及し始めている。しかし、３Ｄ映像データの放送や３Ｄ映像データが記録された記録メディア、３Ｄ対応カメラで撮影されたコンテンツ等はまだ一般的ではないため、立体映像表示装置としては、デジタルチューナや記録メディアから取得した２Ｄコンテンツを３Ｄのコンテンツにリアルタイムで変換して再生する機能が搭載されているのが一般である。この機能を「２Ｄ３Ｄ変換」と呼ぶ。

この２Ｄ３Ｄ変換の手法はいくつかあるが、代表的な手法として特許文献１に記載の手法がある。この手法では、基本奥行きモデルを３種類（特許文献１の図５と図８と図１１）用意しておき、所定領域の画素値の統計量に基づいて、用意しておいた奥行きモデルの合成比を決定して、各画素に奥行き情報を生成し、さらに赤色信号の成分に応じて奥行き情報を画素毎に前後させる。画素毎の奥行き情報は、各画素をディスプレイ面からどの程度の奥側または手前側に表示するのかとの情報に相当するので、その情報を左眼用画素と右眼用画素のずれ量に換算して、左眼用画像と右眼用画像を生成すれば、３Ｄコンテンツに変換できたこととなる。

その他の手法としては、被写体の動きの速さ，物体の遮蔽関係，コントラスト比などの画像特性のいずれかを利用して各画素の前後関係を推測し、推測した前後関係から各画素に奥行き情報を設定する手法がある。奥行き情報を設定して以降の処理は前述の通りである。

ところで、２Ｄ３Ｄ変換を行ったコンテンツを視聴中に、ユーザの操作によりメニュー画像を表示し、各種映像調整や音声調整を行うことがある。そのような場合の動作を一般的な図４のハードウェア構成を用いて以下に説明する。

図４は、従来の立体映像表示装置の一例の概略構成を示すブロック図である。同図に示すように、立体映像表示装置４００は、映像データ取得部４０１、表示メニュー生成部４０２、メニュー画像重畳部４０３、２Ｄ３Ｄ変換部４０４を備えた構成となっている。以下では、メニュー画像表示に係る動作についてのみ説明する。

映像データ取得部４０１は、図示しないデジタルチューナや通信ネットワークや映像データが格納された記録メディアに接続し、表示する２Ｄ映像データを取得する部分である。表示メニュー生成部４０２は、リモコンなどによりユーザが操作した結果をユーザ操作情報として取得し、ユーザの意図を認識して、表示すべきメニュー画像を生成し、表示画面のどの部分に生成したメニュー画面を表示するのかを決定する部分である。メニュー画像重畳部４０３は、表示メニュー生成部４０２から画面のどこにどのようなメニュー画像を表示するのかとの指示を取得し、映像データ取得部４０１が取得した映像データに表示メニュー生成部４０２が生成したメニュー画像を重畳する部分である。２Ｄ３Ｄ変換部４０４は、メニュー画像重畳部４０３から取得した２Ｄ映像データを３Ｄ映像データに変換し、出力する部分である。

このような構成では、表示するメニュー画像を２Ｄコンテンツに重畳してから、３Ｄコンテンツに変換して表示される。
この場合、重畳したメニュー画像も画像の一部と捉えて３Ｄコンテンツに変換するため、非常に見えにくくなってしまう。

例えば特許文献１の手法を適用すると、前述のように用意されてある３種類の基本奥行きモデルを合成した奥行き情報が設定されるため、特許文献１の図５，図８，図１１をどのように合成しても、下側の部分は前後方向に曲がった奥行き情報が設定されてしまう。そのため、メニューを下側の部分に重畳すると、メニューの文字が前後方向にゆがんで表示されてしまう。

その他の２Ｄ３Ｄ変換の手法であっても、同じメニュー画像であっても色によって異なる奥行きが設定されてしまったり、メニューの周辺でメニューよりも手前に表示される物体が存在したりして、メニューが非常に見えにくくなってしまうという現象が発生してしまう。

この現象を回避する方法はいくつか存在している。
例えば、メニュー画像表示時には、３Ｄ表示モードから自動的に２Ｄ表示モードに切り替える技術がある。その他には、メニュー画像以外の領域を黒画面としてメニュー画像を見易くする技術がある。

特開２００６−１８６７９５号公報

しかし、上述の技術では、２Ｄ３Ｄ変換に関するパラメータ調整をするためのメニュー表示の際に、２Ｄ３Ｄ変換の映像が見えないため所望の調整がなされているのかとの確認ができないとの課題が有る。

本発明は、上述のような実情を鑑み、２Ｄ３Ｄ変換に関するパラメータ調整をするためのメニュー画像表示の際に、メニュー画像が見やすく、設定中のパラメータでの２Ｄ３Ｄ変換の映像を確認することが可能な立体映像表示装置を提供する。

本発明の第１の技術手段は、２Ｄ映像データを２Ｄ３Ｄ変換部により３Ｄ映像データに変換して表示する立体映像表示装置であって、前記２Ｄ映像データとメニュー画像を重畳するメニュー重畳部と、表示する前記メニュー画像の内容に応じて、前記２Ｄ３Ｄ変換部を制御する２Ｄ３Ｄ変換制御部を備え、前記２Ｄ３Ｄ変換制御部が、前記表示するメニュー画像が２Ｄ３Ｄ変換による立体表示に関する映像調整関連のメニュー画像である場合に、メニュー画像が重畳される領域については前記２Ｄ３Ｄ変換部の変換機能を停止しそれ以外の領域については前記２Ｄ３Ｄ変換部の変換機能を実行するよう制御することを特徴としたものである。

本発明の第２の技術手段は、第１の技術手段において、前記２Ｄ３Ｄ変換制御部が、前記表示するメニュー画像が２Ｄ３Ｄ変換による立体表示と関係のない映像調整関連のメニュー画像である場合に、全領域について前記２Ｄ３Ｄ変換部の変換機能を停止するよう制御することを特徴としたものである。

本発明の第３の技術手段は、第１または第の技術手段において、前記２Ｄ３Ｄ変換制御部が、前記表示するメニュー画像がその調整対象が映像でないメニュー画像である場合に、全領域について前記２Ｄ３Ｄ変換部の変換機能を実行するよう制御することを特徴としたものである。

本発明の第４の技術手段は、第１〜３のいずれか１の技術手段において、前記２Ｄ３Ｄ変換制御部が、前記表示するメニュー画像が２Ｄ３Ｄ変換による立体表示に関する映像調整関連のメニュー画像である場合に、前記２Ｄ３Ｄ変換部の変換機能を実行する領域のうち、前記メニュー画像が重畳される領域の周囲の領域では、前記重畳される領域に近づくにつれ立体感が小さくなるよう制御することを特徴としたものである。

本発明によれば、２Ｄ３Ｄ変換に関するパラメータ調整をするためのメニュー画像表示の際に、メニュー画像が重畳される領域については２Ｄ３Ｄ変換を行わず、それ以外の領域については２Ｄ３Ｄ変換を行うようにしたので、２Ｄ３Ｄ変換結果の映像を見ながら２Ｄ３Ｄ変換に関するパラメータ調整ができ、かつ、そのメニュー画像が立体視されて見にくくなるということもない。

本発明の立体映像表示装置の一例の概略構成を示すブロック図である。 本発明において、表示するメニューの内容に応じて選択される２Ｄ３Ｄ変換モードの例を説明する図である。 本発明において、表示するメニューの内容に応じて選択される２Ｄ３Ｄ変換モードの他の例を説明する図である。 従来の立体映像表示装置の一例の概略構成を示すブロック図である。

図１は、本発明の立体映像表示装置の一例の概略構成を示すブロック図である。同図に示すように、立体映像表示装置１００は、映像データ取得部１０１、表示メニュー生成部１０２、メニュー画像重畳部１０３、２Ｄ３Ｄ変換制御部１０４、２Ｄ３Ｄ変換部１０５を備えた構成となっている。本発明は、メニュー画像表示に係るものであるので、以下では、当該表示に係る動作を中心に説明する。

映像データ取得部１０１は、図示しないデジタルチューナや通信ネットワークや映像データが格納された記録メディアに接続し、表示する２Ｄ映像データを取得する部分である。表示メニュー生成部１０２は、リモコンなどによりユーザが操作した結果をユーザ操作情報として取得し、ユーザの意図を認識して、表示すべきメニュー画像を生成し、表示画面のどの部分に生成したメニュー画面を表示するのかを決定する部分である。また、表示メニュー生成部１０２は、表示すべきメニュー画像の種別を示すメニュー種別情報を２Ｄ３Ｄ変換制御部１０４に渡す。

メニュー画像重畳部１０３は、表示メニュー生成部１０２から画面のどこにどのようなメニュー画像を表示するのかとの指示を取得し、映像データ取得部１０１が取得した映像データに表示メニュー生成部１０２が生成したメニュー画像を重畳する部分である。２Ｄ３Ｄ変換制御部１０４は、表示メニュー生成部１０２からのメニュー種別情報に基づき、２Ｄ３Ｄ変換部１０５を制御する部分であり、例えば、表示するメニューの内容に応じて２Ｄ３Ｄ変換部１０５における２Ｄ３Ｄ変換のモードを選択することにより制御する。２Ｄ３Ｄ変換部１０５は、２Ｄ３Ｄ変換モード選択部１０４で選択した変換モードに従って、メニュー画像重畳部１０３から取得した２Ｄ映像データを３Ｄ映像データに変換し、出力する部分である。
図１の構成要素のうち、映像データ取得部１０１、メニュー画像重畳部１０３は、従来の立体映像表示装置の一例の概略構成を示す図４に記載した構成要素と同等の機能である。

２Ｄ３Ｄ変換制御部１０４で、表示するメニュー画像の内容に応じて２Ｄ３Ｄ変換モードを選択した結果の例を図２に示す。図２では、左目用画像については実線で表し、右目用画像については点線で表している。

メニュー画像表示が指示されていない状態では、２Ｄ３Ｄ変換モード選択部１０４は、図２（Ａ）の画像２０１のような通常の３Ｄ映像データが表示される通常の２Ｄ３Ｄ変換モードを選択する。
一方、２Ｄ３Ｄ変換の強度すなわち立体感を調整する画面等の２Ｄ３Ｄ変換の立体表示に関する映像調整関連のメニュー画像を表示するユーザ操作が行われた状態では、２Ｄ３Ｄ変換制御部１０４は、表示メニュー生成部１０２からのメニュー種別情報に基づいて、以下のモードを選択する。すなわち、図２（Ｃ）の画像２０２のような、メニュー画像が重畳される領域２０２ａでは２Ｄ３Ｄ変換が行われず左眼用画像と右眼用画像で同じ画像が用いられ上記重畳領域以外の領域２０２ｂでは２Ｄ３Ｄ変換が行われる画像が表示されるモードを選択する。

このようにメニュー画像の重畳領域については２Ｄ３Ｄ変換を行わず２Ｄ画像とすることによって、メニュー画像が見やすく内容を確認できる。また、上記重畳領域以外については２Ｄ３Ｄ変換を行うので、設定中のパラメータでの２Ｄ３Ｄ変換後の画像を確認することができる。

また、色調整メニュー画像等の２Ｄ３Ｄ変換の立体表示とは関係ない映像調整関連のメニューを表示するユーザ操作が行われた場合、２Ｄ３Ｄ変換制御部１０４は、表示メニュー生成部１０２からのメニュー種別情報に基づいて、以下のモードを選択する。すなわち、図２（Ｂ）の画像２０３のような、メニュー画像が重畳される領域２０３ａについても上記重畳領域以外の領域２０３ｂについてもすなわち全領域について２Ｄ３Ｄ変換が行われず左眼用画像と右眼用画像で同じ画像が用いられた画像が表示されるモードを選択する。このようにすれば、メニュー画像の文字が違和感があるように曲がって見えるようなことがなくなる。

また、音量調整メニュー画像等の当該メニュー画像の調整対象が映像でなくメニュー画像内の文字等があまり重要とならないメニューを表示するユーザ操作が行われた場合、２Ｄ３Ｄ変換制御部１０４は、表示メニュー生成部１０２からのメニュー種別情報に基づいて、以下のモードを選択する。すなわち、図２（Ｄ）の画像２０４のような、メニュー画像が重畳される領域２０４ａについても上記重畳領域以外の領域２０４ｂについてもすなわち全領域について２Ｄ３Ｄ変換が行われた画像が表示されるモードを選択する。このモードでは、メニュー画像内の文字やキャラクタが見えにくくなることがあるが、実際の音量でどの程度の調整が行われたのかが判別可能であるので問題ない。また、２Ｄ画像と３Ｄ画像とが混在することによる違和感が生じることがない。

図３は、２Ｄ３Ｄ変換に関する映像調整関連のメニュー画像を表示する場合に選択されるモードの別の例を説明する図である。
前述のモードでは、図２（Ｃ）の画像２０２のように、メニュー画像が重畳される領域以外の領域２０２ｂについては、全領域にわたって通常通りの２Ｄ３Ｄ変換が行われる画像が表示される。その場合、重畳領域２０２ａとの境界部分で、画像にギャップが生じユーザに違和感を生じさせることがある。

そこで、２Ｄ３Ｄ変換の立体表示に関する映像調整関連のメニュー画像を表示する場合に選択されるモードでは、上述の画像２０２に代えて、図３の画像３０１のように、２Ｄ３Ｄ変換を行う重畳領域以外の領域３０１ｂのうち重畳領域３０１ａの周囲の領域３０１ｃでは重畳領域３０１ａに近づくにつれ立体感が小さくなる画像が表示されるようにするとよい。言い換えれば重畳領域３０１ａの周囲に緩衝領域３０１ｃを設け、重畳領域に近づくにつれ左眼用画像と右眼用画像のずらし量が小さくなり、通常通りの２Ｄ３Ｄ変換を行う領域に近づくほどに徐々に上記ずらし量が増加するような画像が表示されるようにするとよい。これにより、違和感が小さくなる。

なお、上述の例では、２Ｄ３Ｄ変換の立体表示とは関係ない映像調整関連のメニュー画像の例として色調整関連のメニューを挙げ、２Ｄ３Ｄ変換の立体表示に関する映像調整関連のメニューの例として２Ｄ３Ｄ変換の強度レベルを調整するメニュー画像を挙げ、調整対象が映像でないメニュー画像の例として音量調整メニュー画像を挙げたが、これらの分類は固定されなくてもよく、例えば設定で、メニュー画像毎に分類をどれにするのかを設定できるようにしても良い。
また、ここでは、メニューが表示される領域を矩形として表現したが、実際の文字そのものの画素部分をメニューが表示される領域としても良いし、文字が収まる部分を大まかな直線で囲んでデコボコとした任意の数の頂点を有した多角形であっても良い。

１００…立体映像表示装置、１０１…映像データ取得部、１０２…表示メニュー生成部、１０３…メニュー重畳部、１０４…２Ｄ３Ｄ変換モード選択部、１０５…２Ｄ３Ｄ変換部１０５。

Claims (4)

1. ２Ｄ映像データを２Ｄ３Ｄ変換部により３Ｄ映像データに変換して表示する立体映像表示装置であって、
   前記２Ｄ映像データとメニュー画像を重畳するメニュー重畳部と、
   表示する前記メニュー画像の内容に応じて、前記２Ｄ３Ｄ変換部を制御する２Ｄ３Ｄ変換制御部を備え、
   前記２Ｄ３Ｄ変換制御部は、前記表示するメニュー画像が２Ｄ３Ｄ変換による立体表示に関する映像調整関連のメニュー画像である場合に、メニュー画像が重畳される領域については前記２Ｄ３Ｄ変換部の変換機能を停止しそれ以外の領域については前記２Ｄ３Ｄ変換部の変換機能を実行するよう制御することを特徴とする立体映像表示装置。
2. 前記２Ｄ３Ｄ変換制御部は、前記表示するメニュー画像が２Ｄ３Ｄ変換による立体表示との関係ない映像調整関連のメニュー画像である場合に、全領域について前記２Ｄ３Ｄ変換部の変換機能を停止するよう制御することを特徴とする請求項１に記載の立体映像表示装置
3. 前記２Ｄ３Ｄ変換制御部は、前記表示するメニュー画像がその調整対象が映像でないメニュー画像である場合に、全領域について前記２Ｄ３Ｄ変換部の変換機能を実行するよう制御することを特徴とする請求項１または２に記載の立体映像表示装置
4. 前記２Ｄ３Ｄ変換制御部は、前記表示するメニュー画像が２Ｄ３Ｄ変換による立体表示に関する映像調整関連のメニュー画像である場合に、前記２Ｄ３Ｄ変換部の変換機能を実行する領域のうち、前記メニュー画像が重畳される領域の周囲の領域では、前記重畳される領域に近づくにつれ立体感が小さくなるよう制御することを特徴とする請求項１〜３のいずれか１項に記載の立体映像表示装置。

Images