JP5183423B2 - 映像表示装置 - Google Patents

Description

本発明は、画像の解像度を高めて表示する表示装置に関する。

立体視映像を表示する方法として、左眼と右眼で見る映像をそれぞれ左眼だけ、右眼だけに見えるように表示する方法がある。いわゆる視差映像を用いた立体視映像の表示である。

この視差を用いた立体視では、左眼映像と右眼映像の両方を取り扱う必要があるため、記録、伝送する場合、立体視用では無い通常の２次元表示映像に比べ２倍のデータが必要になる。したがって、記憶容量や伝送速度が一定に制限される場合、視差映像による立体視映像を取り扱う場合は、２次元表示映像に比べて解像度やフレームレートを下げたり画質を落としたりすることで対応する必要が生じる。すなわち、立体視映像を取り扱う際には、２次元表示映像に比べて品質の低下が発生する。

このような問題を避ける方法として、特許文献１に示された方法が考案されている。この特許文献１では、２次元表示映像から擬似的に左眼用と右眼用の視差映像を生成し、立体視映像を表示する方法が示されている。

本方法では立体視映像表示の際にも、通常の２次元表示映像コンテンツを入力すれば済むので、品質の低下を避けることが可能である。しかしながら、本方法で表示可能な立体視映像はあくまで擬似的に生成されたものであり、実際の撮影により得られる立体視映像とは異なる。

一方、２枚以上のフレーム画像を用いることで画像を高解像度化する手法が特許文献２に示されている。特許文献２に示されている方法では、２枚の画像から高解像度画像を得る際に、基準となる画像にもう１枚の画像の位置合わせを行った上で、２枚の画像のサンプリング位相差を利用して演算を行っている。

しかしながら、特許文献２に示された方法を効率よく実現する為には、画像の位置合わせ処理を効率よく行う必要がある。

特開２０００−４４５３号公報 特開２００７−３２４７８９号公報

記憶容量や伝送速度が一定に制限される条件下において、上記の視差を用いた立体視映像として２枚の映像を取り扱う場合、通常の２次元表示映像コンテンツを取り扱う場合に対して、表示時の品質低下を抑制することである。また視差を用いた立体視映像では、表示方式によって見る位置が限定されたり専用のメガネを用いたりする必要があり、大勢で映像を同時に見るなど、鑑賞形態によっては立体視映像コンテンツを通常の２次元表示で表示したい場合もある。

本発明は、視差を用いた立体視映像コンテンツが入力された場合であっても、通常の２次元表示を選択可能にし、立体視映像コンテンツの２次元表示を行う場合でも、通常の２次元映像コンテンツを２次元表示する場合に対して品質の劣化を少なくすることである。

上記課題を解決するために、本発明の左眼画像と右眼画像から視差による立体視映像を表示する映像表示装置は、前記左眼画像と前記右眼画像から高解像度化をおこなう高解像度化処理部と、２次元表示と立体視表示の選択により前記高解像度化処理部による高解像度化画像と、前記左眼画像と前記右眼画像のいずれかを選択する画像入力選択部と、映像の２次元表示あるいは立体視表示をおこなう表示デバイスと、を備えるようにした。

また、本発明の左眼画像と右眼画像から視差による立体視映像を表示する映像表示装置は、前記左眼画像を基準画像として画像の高解像度化処理をおこなう第１の高解像度化処理部と、前記右眼画像を基準画像として画像の高解像度化処理をおこなう第２の高解像度化処理部と、前記第１の高解像度化処理部と第２の高解像度化処理部により高解像度処理した画像から立体視表示をおこなう表示デバイスと、を備えるようにした。

また、画像の位置合わせを行う際には、視差画像の特徴を活用して、水平方向の探索範囲を広くし、垂直方向の探索は狭くして行うようにした。

さらに、バッファメモリを用意し、探索範囲をバッファメモリに一時的に保存して探索を行うようにした。

記憶容量や伝送速度が一定に制限される条件下において、視差を用いた立体視映像コンテンツを取り扱う場合でも、表示する映像の品質低下を抑制できる。

また、立体視映像コンテンツを通常の２次元表示を選択することが可能であり、立体視映像コンテンツを通常の２次元表示する場合であっても、通常の２次元映像コンテンツを表示する場合に対して品質の低下を抑制できる。

映像を格納したフレームバッファを読み出す際、映像の位置合わせ時の垂直方向探索範囲の対象となる部分のライン数をバッファメモリに保持しておき、バッファメモリを参照して探索することで、バッファメモリ容量を抑え、探索を高速に実行可能にする。この際、視差映像の特徴を考慮して、探索範囲を決める。以下に図面を用いて本発明の実施態様を詳細に説明する。

図１に本発明の第１の実施例のシステム構成を示す。左眼画像、及び右眼画像は視差を用いた立体視を構成する画像である。これらの画像は、通常の２次元画像コンテンツに対し、水平方向の解像度を落とすことでデータ量を削減した画像である。画像高解像度化処理装置Ａ１１０は２枚のフレームを用いて特許文献２に基づいた処理を実施し、水平方向の解像度を２倍に高める装置である。

表示デバイス５００は通常の２次元表示と視差を用いた立体視向け表示を切り替え可能な表示デバイスである。このようなデバイスとしては、視差バリアを用いて立体視表示を行うデバイスが考えられる。視差バリアを例えば液晶などにより構成し立体視表示時のみ視差バリアをONする方法や、液晶バックライト光源を２系統用意し、１系統を常時点灯し、別の１系統は立体視表示時はOFFにしてバックライトとLCDパネルの位置関係で視差バリアとして機能させる方法が考えられる。

図１に示したシステムで視差を用いた立体視映像コンテンツを立体表示モードで表示する場合、セレクタ４０１及びセレクタ４０２を用いて、左眼画像を表示デバイス５００の左眼表示用の入力に入力し、右眼画像を表示デバイス５００の右眼表示用の入力に入力するよう選択する。また表示デバイスを立体視表示モードに設定する。

図１に示したシステムで視差を用いた立体視映像コンテンツを通常の２次元表示モードで表示する場合、左眼画像あるいは右眼画像のいずれかを基準画像として画像高解像度化処理装置Ａ１１０に入力し、基準画像と異なる方の画像を位置合わせに用いる画像として画像高解像度化処理装置Ａ１１０に入力する。セレクタ４０１及びセレクタ４０２では、画像高解像度化処理装置Ａ１１０の出力を選択し、表示デバイス５００の左眼画像入力及び右眼画像入力の両方に供給する。

この際、表示デバイス５００での左眼表示用ピクセルと右眼表示用ピクセルの割り当てに合わせて信号を振り分けて左眼画像入力及び右眼画像入力にそれぞれ供給する。すなわち、表示デバイス５００において左眼画像表示ピクセルと右眼画像表示ピクセルが水平方向に交互に並んでいる場合は、画像高解像度化処理装置Ａ１１０の出力を1ピクセル毎に交互に左眼画像入力及び右眼画像入力に供給する。表示デバイスは通常の２次元表示モードにする。

画像高解像度化処理装置Ａ１１０では基準画像にもう１方の画像の位置合わせを行ってから、2画像のサンプリング位相差を検出する必要がある。そこで、位置合わせ処理方法について図２の物体Ａ２０１及び物体Ｂ２０２を立体視映像として撮影した映像データを例にして、位置合わせ処理を説明する。

図２では、物体Ａ２０１及び物体Ｂ２０２を撮影した結果は、左眼画像２１０及び右眼画像２２０として得られることを示している。図２では、左眼画像２１０及び右眼画像２２０は上下左右が反転している。すなわち、撮影により実際に得られる画像データは図３に示すようになる。

位置合わせの説明のため、図３の左眼画像２１０と右眼画像２２０を重ねた画像２０３を図４に示す。図４では、物体Ａ２０１に対応する左眼画像２１２と右眼画像２２２の近傍を拡大した部分２０５、及び物体Ｂ２０２に対応する左眼画像２１１と右眼画像２２１の近傍を拡大した部分２０６も示している。

画像の位置合わせ処理はピクセル毎に行う。基準画像の座標(x0, y0)のピクセルに対して位置合わせ対象画像の位置を合わせる場合、基準画像の座標(x0, y0)を中心に上下nピクセル左右mピクセル(n, mは自然数)の部分を切り出し、位置合わせ対象画像の座標(x, y)を中心に上下nピクセル左右mピクセルを切出し、探索する範囲において、切出した画像同士の差が最も小さい座標(x, y)を探索することにより行う。画像の差は、例えば切出した2つの画像について、ピクセル毎に差分（差の絶対値）を求めて、全てのピクセルの差分の総和を求めることにより算出できる。

画像の高解像度化処理では、２枚の画像のサンプリング位相の違いを検出する必要があるため、座標（x, y）については小数点部分まで求める必要がある。この際、探索を簡略化するため、まず整数画素（ピクセル）単位で探索を行い、座標(x, y)の整数部分を探索により求めた後に、座標(x, y)周辺部分に関してより詳細に探索を行って、小数部分を含む最終的な座標(x, y)を求める。

座標（x, y）の整数画素単位の探索を行う際の探索順序の例を図５に示す。図５に示した例では、左眼画像が基準画像であり、右眼画像が位置合わせ対象画像であることを仮定している。探索開始はx=x0, y=y0とする。すなわち、図５における探索開始位置が位置合わせ対象画像の座標(x0, y0)に対応する。探索は図５の数字の順番に座標(x, y)を変更しながら、差分が最小である場所を探すことにより行う。図５においてaは自然数で、探索処理性能に依存して決まるが、aの最大値を予め決めておき、探索処理性能に余裕がある場合でも途中で探索を打ち切る場合も考えられる。

探索において、差分が最小となる座標が複数存在する場合、最初に見つかった座標を探索結果とする。また、探索結果座標に対応する差分が予め決めた値より大きい場合は、探索失敗として判定する。左眼画像と右眼画像を用いて位置合わせを行う場合、図４に示す物体Ｂに対応する拡大図２０５のように基準画像の探索対象部分２１７に対応する位置合わせ対象画像の部分２２７が発見できる場合と、物体Ａに対応する拡大図２０６のように基準画像の探索対象部分２１６に対応する位置合わせ対象画像の部分が発見できない場合がある為、探索失敗の判定が必要である。

探索失敗時には、画像高解像度化装置Ａ１１０は画像高解像度化処理を行えないため、探索失敗箇所に対応する部分は単純な補完でピクセル値を決定するなどして出力する。

図５に示すように、探索範囲は近傍探索範囲と近傍外探索範囲に分かれる。左眼と右眼による視差画像の特徴として、ある程度視点から離れた位置の物体では垂直(y)座標は近くなる。しかし、視差の影響により垂直座標が完全に一致しない場合があり、また、左眼画像と右眼画像の撮影時の誤差の影響もあるため、近傍探索範囲では８方向に平均的な探索を行う。

近傍外探索範囲では、図５に示すように基本的に左方向に探索を行う。視差の影響で右眼画像に映るある物体の映像は、左眼画像における同一の物体の映像より左側に位置する。したがって、左眼画像を基準画像、右眼画像を位置合わせ対象画像とする場合は、位置合わせ対象画像を主として左方向に探索し、基準画像に対応する映像を見つける必要がある。すなわち、右眼画像を基準画像、左眼画像を位置あわせ対象画像とする場合の探索順序は、図５に示す探索順序とは左右反転する。

近傍外探索範囲においても、左眼画像と右眼画像で垂直座標にずれが生じる可能性があるため、ある程度垂直方向にも広げて探索を行う。

整数画素単位の探索が完了した後は、整数画素周辺について詳細な探索を行い、小数座標を求める。小数画素の探索については1/4画素単位の探索がMPEG-4などの符号化で行われている手法など一般的な手法を用いて行うため、詳細な説明は省略する。簡単に説明すると、あらかじめ探索を行いたい小数点画素分の位相をずらした画像を得る為に必要な係数をテーブルとして用意しておき、位置合わせ対象画像と係数テーブルの畳み込み演算を行って、小数画素動かした位置合わせ対象画像を生成し、その画像と基準画像を比較して、差分が最も小さくなる場所を探すことにより行う。

上述した方法で、基準画像と位置合わせ対象画像の位置あわせ及びサンプリング位相差を算出できれば、特許文献２に示された方法を用いて、画像の高解像度化を行うことができる。

図６に本発明に対応する画像高解像度化装置のフレームバッファメモリ関連部分の構成例を示す。フレームバッファメモリ８１０は画像データを保存するメモリで、実際のシステムでは主記憶装置と共有する場合もある。フレームバッファメモリ８１０内に右眼画像と左眼画像の両方を格納する。

メモリコントローラ８２０はフレームバッファメモリ８１０を制御するコントローラである。画像高解像度化処理装置Ａ１１０の内部には特許文献２に示された手法により実際に画像の高解像度化処理を行う画像高解像度化処理エンジン１５０と基準画像の一部分を保存するバッファメモリＡ１２１、及び位置合わせ対象画像の一部分を保存するバッファメモリＢ１２２が存在する。

あるタイミングにおいて、バッファメモリＡ１２１及びバッファメモリＢ１２２内に保存される範囲を図７に示す。図７に示すようにバッファメモリＡ１２１及びバッファメモリＢ１２２にはそれぞれ基準画像と位置合わせ対象画像について、画像のｌライン目からkライン範囲を保存している。lは位置合わせ処理を行う箇所にあわせ順次更新する。kは探索範囲と、探索時の切り出し部分の大きさに依存して決まる。基準画像の座標(x0, y0)のピクセルに対して位置合わせ対象画像の位置合わせを行っている時点においては、位置合わせ処理において切り出す部分の大きさが上下nピクセルとすると、l=y0-n、k=2n+1となる。すなわちバッファメモリＡ１２１及びバッファメモリＢ１２２の容量は、それぞれ画像のkライン分を格納するのに必要な容量となる。

画像の一部をバッファメモリに格納することで、画像高解像度化処理エンジン１５０は位置合わせ処理を行う際において、外部のメモリへのアクセスを行わずに済む。したがって、位置合わせ処理を高速に行うことができる。またLSIとして集積する場合、特に外部のメモリがLSIの外側に存在する場合は、外部へのメモリアクセスを抑制できるため、メモリインタフェース周辺における消費電力の抑制が期待できる。

尚、本実施例では左眼画像を基準画像として画像の探索を行い、画像の高解像度化処理を行っているが、右側画像を基準画像として画像の高解像度化処理を行っても構わない。どちらの画像を基準画像とする場合であっても、通常の２次元表示を行う場合には、高解像度化処理後の画像を表示デバイス５００に入力する。

図８に本発明の第１の実施例のシステム構成を示す。左眼画像、及び右眼画像は視差を用いた立体視を構成する画像である。これらの画像は、通常の２次元画像コンテンツに対し、水平方向の解像度を落とすことでデータ量を削減した画像である。画像高解像度化処理装置Ｂ１１２は２枚のフレームを用いて特許文献２に基づいた処理を実施し、水平方向の解像度を２倍に高める装置である。画像高解像度化処理装置Ｃ１１３も２枚のフレームを用いて特許文献２に基づいた処理を実施し、水平方向の解像度を２倍に高める装置である。

画像高解像度化処理装置Ｂ１１２の構成は 画像高解像度化処理装置Ａ１１０と基本的に同じであるが、画像高解像度化処理装置Ｃ１１３からの要求に従って位置合わせ結果情報とバッファメモリの内容を外部に出力する機能を持つ。

画像高解像度化処理装置Ｃ１１３の構成は 画像高解像度化処理装置Ａ１１０と基本的に同じであるが、バッファメモリが省略されており、画像高解像度化処理装置Ｂ１１２よりこれらの情報を取得する機能を持つ。また実装により画像高解像度化処理装置Ｃ１１３から位置合わせ処理機能も省略され、画像高解像度化処理装置Ｂ１１２より位置合わせ情報を取得し、画像高解像度化処理装置Ｂ１１２で検出した位置合わせ情報の符号を反転して取り扱う場合も考えられる。

画像高解像度化処理装置Ｂ１１２の入力では左眼画像の基準画像とし、右眼画像を位置合わせに用いる画像とする。画像高解像度化処理装置Ｃ１１３の入力では右眼画像の基準画像とし、左眼画像を位置合わせに用いる画像とする。

図８に示したシステムで視差を用いた立体視映像コンテンツを立体表示モードで表示する場合、画像高解像度化処理装置Ｂ４０２で処理した左眼画像を表示デバイス５００の左眼表示用の入力に入力し、セレクタ４０３を用いて、画像高解像度化処理装置Ｃ４０３で処理した右眼画像を表示デバイス５００の右眼表示用の入力に入力するよう選択する。また表示デバイスを立体視表示モードに設定する。

図８に示したシステムで視差を用いた立体視映像コンテンツを通常の２次元表示モードで表示する場合、左眼画像を基準画像として画像高解像度化処理装置Ｂ１１２に入力し、基準画像と異なる方の画像を位置合わせに用いる画像として画像高解像度化処理装置Ｂ１１２に入力する。セレクタ４０３では、画像高解像度化処理装置Ｂ１１２の出力を選択し、表示デバイス５００の左眼画像入力及び右眼画像入力の両方に供給する。

この際、表示デバイス５００での左眼表示用ピクセルと右眼表示用ピクセルの割り当てに合わせて信号を振り分けて左眼画像入力及び右眼画像入力にそれぞれ供給する。すなわち、表示デバイス５００において左眼画像表示ピクセルと右眼画像表示ピクセルが水平方向に交互に並んでいる場合は、画像高解像度化処理装置Ａ１１０の出力を1ピクセル毎に交互に左眼画像入力及び右眼画像入力に供給する。表示デバイスは通常の２次元表示モードにする。

上述の実施例２で示す構成では、２次元表示時だけでなく、立体視表示時の表示解像度を高めることが可能である。

実施例１の全体構成を示す図である。 視差を用いた立体視映像の取得を示す図である。 図２で取得した立体視映像を正視した図である。 右眼画像と左眼画像の位置合わせの例を示す図である。 整数画素位置合わせ処理の際における探索順序の例を示す図である。 画像高解像度化処理に関するメモリ周りの構成例を示す図である。 画像のバッファメモリへの一時保存範囲を示す図である。 実施例１の全体構成を示す図である。

符号の説明

１１０…画像高解像度化処理装置Ａ、１１２…画像高解像度化処理装置Ｂ、１１３…画像高解像度化処理装置Ｃ、１２１…バッファメモリＡ、１２２…バッファメモリＢ、１２６…ある時点におけるバッファメモリＡへの格納範囲に対応する映像部分、１２７…ある時点におけるバッファメモリＢへの格納範囲に対応する映像部分、１５０…画像高解像度化処理エンジン、２０１…物体Ａ、２０２…物体Ｂ、２０３…左眼画像と右眼画像を重ねた図、２０５…物体Ａの映像周辺の拡大図、２０６…物体Ｂの映像周辺の拡大図、２１０…左眼画像、２１１…左眼画像に映った物体Ｂ、２１２…左眼画像に映った物体Ａ、２１６…ある時点における物体Ｂの基準画像の探索対象部分、２１７…ある時点における物体Ａの基準画像の探索対象部分、２２０…右眼画像、２２１…右眼画像に映った物体Ｂ、２２２…右眼画像に映った物体Ａ、２２７…２１７に対応する位置合わせ対象画像の対応部分、４０１…実施例１の左眼画像入力用セレクタ、４０２…実施例１の右眼画像入力用セレクタ、４０３…実施例２の右眼画像入力用セレクタ、５００…表示デバイス、８１０…フレームバッファメモリ、８２０…メモリコントローラ

Claims (3)

1. 左眼画像と右眼画像から視差による立体視映像を表示する映像表示装置において、
   前記左眼画像を基準画像として画像の高解像度化処理をおこなう第１の高解像度化処理部と、
   前記右眼画像を基準画像として画像の高解像度化処理をおこなう第２の高解像度化処理部と、
   前記第１の高解像度化処理部と第２の高解像度化処理部により高解像度処理した画像から立体視表示をおこなう表示デバイスと、を備え、
   前記第１の高解像度化処理部か前記第２の高解像度化処理部のいずれかに一方に画像の高解像度化処理に必要な探索を行う機能を有し、
   前記探索する機能を有しない他方の高解像度化処理部は、前記探索する機能を有する高解像度化処理部より探索結果の情報を取得し処理を行うことを特徴とする映像表示装置。
   
2. 左眼画像と右眼画像から視差による立体視映像を表示する映像表示装置において、
   前記左眼画像を基準画像として画像の高解像度化処理をおこなう第１の高解像度化処理部と、
   前記右眼画像を基準画像として画像の高解像度化処理をおこなう第２の高解像度化処理部と、
   前記第１の高解像度化処理部と第２の高解像度化処理部により高解像度処理した画像から立体視表示をおこなう表示デバイスと、
   ２次元表示と立体視表示のうち２次元表示が選択されたときに、前記第１の高解像度化処理部あるいは前記第２の高解像度化処理部で高解像度処理した画像のいずれかを選択する画像入力選択部と、を備え、
   前記第１の高解像度化処理部か前記第２の高解像度化処理部のいずれかに一方に画像の高解像度化処理に必要な探索を行う機能を有し、
   前記探索する機能を有しない他方の高解像度化処理部は、前記探索する機能を有する高解像度化処理部より探索結果の情報を取得し処理を行うことを特徴とする映像表示装置。
   
3. 請求項１あるいは２のいずれかに記載の映像表示装置において、
   画像の一部を保存するバッファメモリを有し、
   前記第１の高解像度化処理部あるいは前記第２の高解像度化処理部は、前記バッファメモリを参照して画像の高解像度化処理をおこなうことを特徴とする映像表示装置。

Images