JP5828400B2

JP5828400B2 - 映像表示装置および映像表示方法

Info

Publication number: JP5828400B2
Application number: JP2012050113A
Authority: JP
Inventors: 俊今井
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2012-03-07
Filing date: 2012-03-07
Publication date: 2015-12-02
Anticipated expiration: 2032-03-07
Also published as: JP2013186227A

Description

本発明は、立体映像を表示する映像表示装置および映像表示方法に関するものである。

従来、立体視に伴う利用者の負担を軽減すべく、立体画像データの性質（オブジェクトの数、形状、大きさ、色彩およびその変化、オブジェクトの動きの速さ、動きのパターンなどの立体画像コンテンツの内容）に基づいて、視差を調整した立体画像を表示する立体画像表示装置が知られている（特許文献１参照）。

特開２００４−２８９５２７号公報

しかしながら、従来の立体画像表示装置は、立体画像（立体映像）の色彩等の変化よりも人の目に対して影響の強い、立体画像の明るさの変化を考慮したものではなかった。このため、従来の立体画像表示装置は、例えば、点滅シーンのように、立体画像の明るさ変化率が大きい場合にも、立体画像の視差を調整することができなかった。

本発明は、立体映像の明るさ変化率に応じて視差調整された立体映像を表示することができる映像表示装置および映像表示方法を提供することを課題としている。

本発明の映像表示装置は、立体映像の明るさ変化率を取得する明るさ変化率取得部と、取得された明るさ変化率に基づいて、立体映像の視差情報を調整する視差情報調整部と、調整された視差情報に基づく立体映像を表示する表示部と、を備えたことを特徴とする。

本発明の映像表示方法は、立体映像の明るさ変化率を取得するステップと、取得した明るさ変化率に基づいて、立体映像の視差情報を調整するステップと、調整された視差情報に基づく立体映像を表示するステップと、を備えたことを特徴とする。

これらの構成によれば、立体映像の明るさ変化率に基づいて視差情報を調整することで、立体映像の明るさ変化率に応じて視差調整された立体映像を表示することができる。例えば、明るさ変化率が大きくなるほど視差が小さくなるように調整すれば、立体視に伴う利用者の負担を軽減することができる。

この場合、視差情報調整部は、取得された明るさ変化率が閾値を超えた場合に、立体映像の視差が小さくなるように視差情報を調整することが好ましい。

この構成によれば、明るさ変化率が閾値を超えず、人の目に対する影響が小さい場合には、視差を小さくすることなく、明るさ変化率が閾値を超え、人の目に対する影響が大きい場合に、視差を小さくする。このため、必要に応じた視差調整が可能となる。
なお、この閾値は、利用者の年齢等に応じて可変としてもよい。

この場合、明るさ変化率取得部は、立体映像の明るさ情報を取得する明るさ情報取得部と、取得された明るさ情報に基づいて、明るさ変化率を算出する明るさ変化率算出部と、を有することが好ましい。

この場合、明るさ情報取得部は、立体映像に対応する立体映像データに基づいて、明るさ情報を取得することが好ましい。

この構成によれば、立体映像を表示する前に立体映像の明るさ情報を取得することが可能となる。このため、立体映像の明るさ変化率が大きいフレームよりも前のフレームに対しても、視差調整をした上で表示することができる。

この場合、明るさ情報取得部は、表示部によって表示された立体映像の明るさを測定することで、明るさ情報を取得することが好ましい。

この構成によれば、表示された立体映像の明るさに基づいて明るさ情報を取得することで、実際に表示された立体映像の明るさ変化率に即した視差調整が可能となる。

この場合、調整後の視差情報に基づく立体映像の視差変化率が閾値を超える場合に、立体映像の視差が均一化されるように、調整後の視差情報を変更する視差情報変更部を、さらに備えたことが好ましい。

この構成によれば、例えば、明るさ変化率に基づいて視差情報を調整した結果、視差の大きいシーンと視差の小さいシーンとが連続する場合、それらのシーンにおいて、視差がその最小値等に均一化されるように視差情報を変更することで、同一コンテンツ内において視差が激しく変化することなく、立体視に伴う利用者の負担を軽減することができる。

この場合、視差情報調整部は、立体映像の明るさが明るくなるように変化する場合には、明るさ変化率が第１閾値を超えた場合に、立体映像の視差が小さくなるように調整し、立体映像の明るさが暗くなるように変化する場合には、明るさ変化率が第１閾値よりも大きい第２閾値を超えた場合に、立体映像の視差が小さくなるように調整することが好ましい。

この構成によれば、明るさが暗くなる場合には、人の目に対して影響が弱いので、明るさ変化率が大きい場合にのみ視差を調整し、明るさが明るくなる場合には、人の目に対して影響が強いので、明るさ変化率が小さい場合でも視差を調整するようにすることができる。

本発明の一実施形態に係るプロジェクターのブロック図である。プロジェクターの視差調整処理を示すフローチャートである。プロジェクターの視差調整処理の変形例を示すフローチャートである。プロジェクターの視差調整処理の他の変形例を示すフローチャートである。

以下、添付の図面を参照して、本発明に係る映像表示装置および映像表示方法の一実施形態について説明する。本実施形態では、映像表示装置としてプロジェクターを例示する。このプロジェクターは、スクリーン等に対し、二次元映像である右目用映像および左目用映像を視差をもって表示（投写）することで、立体映像として認識させるように表示するものである。立体映像の表示形式としては特に限定されず、例えば、アクティブ・シャッター式の眼鏡をかけた利用者に対し、右目用映像と左目用映像を交互に表示する方式であってもよく、偏光フィルターやカラーフィルターの眼鏡をかけた利用者に対し、右目用映像と左目用映像を同時に表示する方式であってもよい。

図１に示したように、プロジェクター１は、映像入力部１１と、映像解析部１２と、映像補正部１３と、操作パネル１４と、リモコン１５と、制御部１６と、光変調装置１７と、光変調装置駆動部１８と、光源１９と、光源駆動部２０と、プリズム２１と、レンズ２２とを備えている。光変調装置１７、光変調装置駆動部１８、光源１９、光源駆動部２０、プリズム２１およびレンズ２２から、特許請求の範囲における表示部が構成されている。

映像入力部１１は、パーソナルコンピューターやビデオプレーヤーなどの外部機器、若しくはＵＳＢメモリー等の外部記憶媒体から立体映像データを受信する。この立体映像データは、各フレームに対応する右目用映像信号および左目用映像信号、各フレームにおける右目用映像と左目用映像の視差に対応する視差情報、入力したコンテンツが立体映像であることを示す立体映像識別情報等を含んでいる。右目用映像信号および左目用映像信号は、例えば、ＹＣｂＣｒ、ＹＰｂＰｒなどの輝度・色差信号である。

映像解析部１２は、入力された立体映像データに基づき、シャープネスのためのエッジ検出や、明るさ補正のためのヒストグラム解析を行う。また、映像解析部１２は、明るさ情報取得部２６と、明るさ変化率算出部２７とを有している。明るさ情報取得部２６は、映像入力部１１により入力された立体映像データ（右目用映像信号および左目用映像信号）に基づき、フレーム単位で立体映像の明るさ情報を取得する。具体的には、明るさ情報取得部２６は、入力した映像信号がＹＣｂＣｒ信号の場合、Ｙ（輝度信号）に基づいて明るさ情報を取得する。もちろん、入力した映像信号がＲＧＢ信号の場合であっても、これから明るさ（輝度）を求めればよい。

明るさ情報取得部２６が、立体映像に対応する立体映像データに基づいて明るさ情報を取得することで、立体映像を表示する前に立体映像の明るさ情報を取得することが可能となる。このため、立体映像の明るさ変化率が大きいフレームよりも前のフレームに対しても、視差調整をした上で表示することができる。

明るさ変化率算出部２７は、明るさ情報取得部２６により取得された各フレームの明るさ情報に基づいて、立体映像の明るさ変化率、すなわち、単位時間当たりの立体映像の明るさ変化量を算出する。具体的には、明るさ変化率算出部２７は、連続するフレーム間（フレーム間隔時間は例えば１／６０秒）における立体映像の明るさ変化量を、立体映像の明るさ変化率として算出する。
なお、プロジェクター１本体の前面（レンズ２２が設けられた面）や、リモコン１５等に照度センサーを設け、スクリーン等に表示された立体映像の明るさを測定することで、明るさ情報を取得するようにしてもよい。この場合、表示された立体映像の明るさに基づいて明るさ情報を取得することで、実際に表示された立体映像の明るさ変化率に即した視差調整が可能となる。

映像補正部１３は、映像入力部１１により入力された右目用映像信号および左目用映像信号に対し、シャープネス、明るさ補正などの補正を行い、光変調装置駆動部１８に出力する。映像補正部１３は、視差情報調整部３１と視差情報変更部３２とを有している。視差情報調整部３１は、明るさ変化率算出部２７により算出された明るさ変化率に基づいて、立体映像の視差情報を調整する。具体的には、各フレームにおける視差情報に、視差を少なくするような視差調整ゲインを乗じ、視差を調整する（調整後視差情報＝視差調整ゲイン×視差情報）。明るさ変化率が閾値以下である場合は、視差調整ゲイン＝１であるが、明るさ変化率が閾値を超えた場合に、視差調整ゲイン＜１となり、明るさ変化率が大きくなるほど視差調整ゲインが小さくなるようなテーブルや数式によって算出する。また、後述するように、明るさが明るくなる場合と、明るさが暗くなる場合とで、閾値を変えるようにしてもよい。

なお、視差情報調整部３１は、明るさ変化率が閾値を超えた場合でも、調整前の視差が所定値以内である場合には、視差調整を行わないようにしてもよい。
また、視差情報調整部３１が視差情報を調整するフレームとしては、明るさ変化率が閾値を超えるフレーム（点滅シーン等に対応するフレーム）を含んでいればよい。すなわち、明るさ変化率が閾値を超えるフレームのみについて視差情報を調整してもよく、明るさ変化率が閾値を超えるフレームを含む前後のフレーム（例えば前後３０秒間に対応するフレーム）について視差情報を調整してもよく、コンテンツ全体について視差情報を調整してもよい。

また、視差情報変更部３２は、視差情報調整部３１により調整された視差情報に基づく立体映像の視差変化率が閾値を超える場合に、立体映像の視差が均一化されるように、調整後の視差情報を変更する。具体的には、入力された立体映像データにおけるｎ番目〜ｎ＋３番目のフレームの（明るさ情報，視差情報）が、それぞれ（１０，５）、（１００，５）、（１０，５）、（１０，５）であった場合に、明るさ変化率の大きいｎ番目〜ｎ＋２番目のフレームに対して視差調整された結果、ｎ番目〜ｎ＋３番目のフレームの（明るさ情報，視差情報）が、（１０，３）、（１００，３）、（１０，３）、（１０，５）となった場合、ｎ＋２番目のフレームとｎ＋３番目のフレーム間で視差変化率が大きくなるが、このような場合に、視差情報変更部３２は、視差をその最小値（ここではｎ＋４番目のフレームの「３」）に均一化されるように視差情報を変更する。これにより、同一コンテンツ内において視差が激しく変化することなく、立体視に伴う利用者の負担を軽減することができる。
なお、この視差情報変更部３２による視差変化率に基づく視差情報の変更は、実行しなくともよい。

操作パネル１４は、プロジェクター１本体に設けられ、各種操作を行うための操作子群を有している。操作子群には、電源ボタン、環境設定メニューをＯＳＤ（On-Screen Display）表示させるためのメニューボタン、環境設定メニュー等において選択項目を決定するための決定ボタンなどが含まれる。なお、環境設定メニューにおいて、視差調整処理を実行するか否か利用者が選択可能な構成としてもよい。また、リモコン１５は、プロジェクター１本体を遠隔操作するためのものであり、操作パネル１４と同様に、各種操作子群を有している。

制御部１６は、各種演算処理を行うＣＰＵ（Central Processing Unit）と、基本ソフトウェアであるＯＳ（Operating System）やＣＰＵが演算処理を行うために用いられる制御プログラム・制御データを記憶したＲＯＭ（Read Only Memory）と、ＣＰＵが各種演算処理を行う際の作業領域として用いられるＲＡＭ（Random Access Memory）等により構成され、プロジェクター１を統括制御する。

光変調装置駆動部１８は、ＲＧＢ３色に対応した３枚の液晶ライトバルブで構成される光変調装置１７を駆動するためのドライバーである。光変調装置駆動部１８は、液晶ライトバルブの各画素に、映像補正部１３により補正された右目用映像信号および左目用映像信号に応じた駆動電圧を印加することにより、各画素の光透過率を設定する。光源駆動部２０は、超高圧水銀ランプやメタルはライドランプ等で構成された放電型の光源１９に電力を供給し、光源１９のＯＮ／ＯＦＦや光量の調整を行う。プリズム２１は、光変調装置１７により変調されたＲＧＢ３色の変調光を合成する。レンズ２２は、プリズム２１により合成された投写映像をスクリーンに結像させる。

以上の構成により、プロジェクター１は、立体映像の明るさ変化率に基づいて視差情報を調整し、視差調整された立体映像を表示する。以下、かかる視差調整処理について説明する。ここでは、明るさ変化率に基づく視差情報の調整を実行するが、視差変化率に基づく視差情報の変更は実行しないものである。

図２に示すように、プロジェクター１（制御部１６）は、映像入力部１１により入力された立体映像データを参照し、立体映像識別情報が含まれるか否かを識別することにより、入力したコンテンツが立体映像であるか否かを識別する（Ｓ１）。制御部１６が、入力したコンテンツが立体映像ではない（二次元映像である）と識別した場合（Ｓ１；Ｎｏ）、プロジェクター１は、そのまま処理を終了する。

一方、制御部１６が入力したコンテンツが立体映像であると識別した場合（Ｓ１；Ｙｅｓ）、プロジェクター１は、入力された立体映像データ（右目用映像信号および左目用映像信号）に基づき、映像解析部１２により立体映像の明るさ変化率を取得し（Ｓ２）、制御部１６が、明るさ変化率が閾値を超えるか否かを判定する（Ｓ３）。

制御部１６が、明るさ変化率が閾値を超えると判定した場合は（Ｓ３；Ｙｅｓ）、視差情報調整部３１により視差情報を調整する（Ｓ４）。そして、映像補正部１３は、視差情報を調整した右目用映像信号および左目用映像信号を光変調装置駆動部１８に出力し、プロジェクター１は、視差調整した立体映像を表示する。

一方、制御部１６が、明るさ変化率が閾値を超えないと判定した場合は（Ｓ３；Ｎｏ）、プロジェクター１は、視差情報調整部３１により視差情報を調整することなく、処理を終了する。この結果、映像補正部１３は、視差情報を調整することなく、右目用映像信号および左目用映像信号を光変調装置駆動部１８に出力し、プロジェクター１は、視差調整のない立体映像を表示する。このように、明るさ変化率が閾値を超えず、人の目に対する影響が小さい明るさ変化率の場合には、視差を小さくすることなく、明るさ変化率が閾値を超え、人の目に対する影響が大きい明るさ変化率の場合には、視差を小さくする。このため、明るさ変化率に応じた視差調整が可能となる。

図３を参照して、上記の視差調整処理の変形例について、上記の視差調整処理と異なる部分を中心に説明する。この変形例は、立体映像の明るさが明るくなる変化であるか暗くなる変化であるかによって、視差調整を実行する明るさ変化率の閾値を変えるものである。

プロジェクター１は、上記と同様に、入力したコンテンツが立体映像であるか否かを識別し（Ｓ１１）、入力したコンテンツが立体映像であると識別した場合（Ｓ１１；Ｙｅｓ）、立体映像の明るさ変化率を取得し（Ｓ１２）、制御部１６が、立体映像の明るさが明るくなる変化（明るさ変化量がプラス）であるか否かを判定する（Ｓ１３）。

制御部１６が、立体映像の明るさが明るくなる変化であると判定した場合（Ｓ１３；Ｙｅｓ）、制御部１６が、明るさ変化率が第１閾値を超えるか否かを判定する（Ｓ１４）。明るさ変化率が第１閾値を超えると判定した場合は（Ｓ１４；Ｙｅｓ）、視差情報調整部３１により視差情報を調整する（Ｓ１５）。これに対し、明るさ変化率が第１閾値を超えないと判定した場合は（Ｓ１４；Ｎｏ）、視差情報調整部３１により視差情報を調整することなく、処理を終了する。

一方、制御部１６が、立体映像の明るさが暗くなる変化であると判定した場合（Ｓ１３；Ｎｏ）、制御部１６が、明るさ変化率が第１閾値よりも大きい第２閾値を超えるか否かを判定する（Ｓ１６）。明るさ変化率が第２閾値を超えると判定した場合は（Ｓ１６；Ｙｅｓ）、視差情報調整部３１により視差情報を調整する（Ｓ１５）。これに対し、明るさ変化率が第２閾値を超えないと判定した場合は（Ｓ１６；Ｎｏ）、視差情報調整部３１により視差情報を調整することなく、処理を終了する。このようにすることで、明るさが暗くなる場合には、人の目に対して影響が弱ので、明るさ変化率が大きい場合にのみ視差を調整し、明るさが明るくなる場合には、人の目に対して影響が強いので、明るさ変化率が小さい場合でも視差を調整するようにすることができる。

図４を参照して、上記の視差調整処理の他の変形例について、上記の視差調整処理と異なる部分を中心に説明する。この変形例は、明るさ変化率に基づく視差情報の調整の後、視差変化率に基づく視差情報の変更を実行するものである。視差変化率とは、視差情報が調整される前の視差情報と、視差情報が調整された後の視差情報の変化量である。

プロジェクター１は、上記と同様に、入力したコンテンツが立体映像であるか否かを識別し（Ｓ２１）、入力したコンテンツが立体映像であると識別した場合（Ｓ２１；Ｙｅｓ）、明るさ変化率が閾値を超えるか否かを判定する（Ｓ２３）。明るさ変化率が閾値を超えると判定した場合は（Ｓ２３；Ｙｅｓ）、視差情報を調整する（Ｓ２４）。

続いて、プロジェクター１は、調整前の視差情報と調整後の視差情報に基づき、立体映像の視差変化率を取得し（Ｓ２５）、制御部１６が、視差変化率が閾値を超えるか否かを判定する（Ｓ２６）。制御部１６が、視差変化率が閾値を超えると判定した場合は（Ｓ２６；Ｙｅｓ）、視差情報変更部３２により調整後の視差情報を小さくするように変更する（Ｓ２７）。これにより、明るさ変化率に基づいて視差情報を調整した結果、視差の大きいフレームと視差の小さいフレームとが連続するようになったとしても、視差情報を変更することで、視差が均一化され、同一コンテンツ内において視差が激しく変化することなく、立体視に伴う利用者の負担を軽減することができる。
なお、プロジェクター１は、明るさ変化率が閾値を超えないと判定した場合は（Ｓ２３；Ｎｏ）、そのまま処理を終了する。

以上のように、本実施形態のプロジェクター１によれば、立体映像の明るさ変化率に基づいて視差情報を調整することで、立体映像の明るさ変化率に応じて視差調整された立体映像を表示することができる。
なお、本実施形態では、プロジェクター１の表示方式として、液晶ライトバルブを用いた液晶表示方式を採用しているが、プロジェクター１の表示原理はこれに限定されるものではなく、例えば、ＤＭＤ（Digital Micromirror Device）を用いた表示方式、ＣＲＴ表示方式などでもよい。また、プロジェクター１以外にも、テレビジョン受像機など、他の映像表示装置に本発明を適用可能である。
また本実施形態のプロジェクター１は、光源１９として放電型ランプを有して構成されているが、ＬＥＤ（Light Emitting Diode）光源やレーザー等の固体光源や、その他の光源を用いることも可能である。

１：プロジェクター、２６：明るさ情報取得部、２７：明るさ変化率算出部、３１：視差情報調整部、３２：視差情報変更部

Claims

立体映像の明るさ変化率を取得する明るさ変化率取得部と、
取得された前記明るさ変化率に基づいて、前記立体映像の視差情報を調整する視差情報調整部と、
調整された前記視差情報に基づく前記立体映像を表示する表示部と、
を備え、
前記視差情報調整部は、前記立体映像の明るさが明るくなるように変化する場合には、前記明るさ変化率が第１閾値を超えた場合に、前記立体映像の視差が小さくなるように調整し、前記立体映像の明るさが暗くなるように変化する場合には、前記明るさ変化率が前記第１閾値よりも大きい第２閾値を超えた場合に、前記立体映像の視差が小さくなるように調整することを特徴とする映像表示装置。
前記明るさ変化率取得部は、
前記立体映像の明るさ情報を取得する明るさ情報取得部と、
取得された前記明るさ情報に基づいて、前記明るさ変化率を算出する明るさ変化率算出部と、
を有することを特徴とする請求項１に記載の映像表示装置。
前記明るさ情報取得部は、前記立体映像に対応する立体映像データに基づいて、前記明るさ情報を取得することを特徴とする請求項２に記載の映像表示装置。
前記明るさ情報取得部は、前記表示部によって表示された前記立体映像の明るさを測定することで、前記明るさ情報を取得することを特徴とする請求項２に記載の映像表示装置。
調整後の前記視差情報に基づく前記立体映像の視差変化率が閾値を超える場合に、立体映像の視差がフレーム間で均一化されるように、調整後の前記視差情報を変更する視差情報変更部を、さらに備えたことを特徴とする請求項１ないし４のいずれかに記載の映像表示装置。
立体映像の明るさ変化率を取得するステップと、
取得した前記明るさ変化率に基づいて、前記立体映像の視差情報を調整するステップと、
調整された前記視差情報に基づく前記立体映像を表示するステップと、
を備え、
前記立体映像の視差情報を調整するステップでは、前記立体映像の明るさが明るくなるように変化する場合には、前記明るさ変化率が第１閾値を超えた場合に、前記立体映像の視差が小さくなるように調整し、前記立体映像の明るさが暗くなるように変化する場合には、前記明るさ変化率が前記第１閾値よりも大きい第２閾値を超えた場合に、前記立体映像の視差が小さくなるように調整することを特徴とする映像表示方法。