JP4133683B2 - 立体画像記録装置、立体画像記録方法、立体画像表示装置および立体画像表示方法 - Google Patents

Description

本発明は、複数の視点に対応した複数の画像を、立体表示するデータを記録したり、表示したりする立体画像記録装置、立体画像記録方法、立体画像表示装置および立体画像表示方法に関する。

従来、視差を有する一組の画像を立体視することにより立体感のある画像を見ることができる立体画像表示方法が知られている。例えば、表示装置に左眼用と右眼用の画像を交互に出力し、ユーザーは、その表示の切り替えタイミングに同期してシャッターを切り替えることのできる眼鏡を通して画像を再生することにより、立体画像を観察することができる。

また、特別な眼鏡等を用いずに立体画像を再生する方法として、パララックスバリア方式と呼ばれる方法がある。左眼用の画像と右眼用の画像のそれぞれを画像の垂直走査方向に短冊状に分解し、交互に並べて一枚の画像とする。その画像を表示する表示装置には、画像を分解した場合と同様の短冊状のスリットがある。短冊状の画像データをスリットを通して表示装置により観察する。偏光板により短冊状に配置された左眼用の画像はユーザーの左眼で、右眼用の画像は右眼で再生すると、画像に立体感を得ることができる。スリットの代わりにレンチキュラレンズを用いたレンチキュラ方式と呼ばれる方法もある。

ユーザーがより良い立体画像を見るために、再生画像の立体感を変更する技術が開示されている。人間が物体を立体的に観察する際には、左右の眼では異なる像を観察しており、それらの像は視差と呼ばれるずれを有する。人間はこの視差によって立体感を認識する。視差の量を視差量といい、視差量を調整することにより立体感を調整する。ユーザーが一度調整した視差量を再現できるように、視差量調整情報をファイルやメモリに記録する技術が特許文献１で開示されている。

特開２００１−３２５６１８号公報では、ユーザーが最も立体画像を見やすくなるように視差量を調整し、視差量調整後に視差量が０となる位置（以下、この位置をクロスポイントとする）の座標をファイルやメモリに記録する。立体画像表示装置は、ファイルやメモリに記録されているクロスポイントの座標を読み込むことで、ユーザーが調整した視差量を持つ立体画像を再現することができる。
特開２００１−３２５６１８号公報

しかし、視差量調整をする際に用いたディスプレイとは画素ピッチ（隣接した画素間の距離）が異なるディスプレイで、クロスポイントの座標を用いて視差量調整を行うと、最初に視差量調整を行ったユーザーの意図に合わない視差量調整がなされてしまう。

本発明の目的は、立体画像を表示させるディスプレイの種類にかかわらず、最初に視差量調整を行ったユーザーの意図に合った視差量調整を行うことができる立体画像記録装置、立体画像記録方法、立体画像表示装置および立体画像表示方法を提供することである。

本発明は、複数の視点に対応した複数の画像から構成される立体画像を、第１のディスプレイに基づいて変更要求された視差量で立体画像表示装置の第２のディスプレイに立体表示させるために記録する立体画像記録装置であって、観察者が入力した視差量の変更要求に基づき、前記第１のディスプレイの画素またはドットを単位とする視差量の調整情報を作成する視差量調整情報作成部と、前記視差量調整情報を、前記第１のディスプレイの画素ピッチまたはドットピッチを用いて、ディスプレイに依存しない物理的長さを示す単位に変換して記録する視差量調整情報記録部と、を有することを特徴とする。

また、本発明は、複数の視点に対応した複数の画像から構成される立体画像を、第１のディスプレイに基づいて変更要求された視差量で第２のディスプレイに立体表示させるために記録する立体画像記録方法であって、観察者が入力した視差量の変更要求に基づき、前記第１のディスプレイの画素またはドットを単位とする視差量の調整情報を作成する視差量調整情報作成ステップと、前記視差量調整情報を、前記第１のディスプレイの画素ピッチまたはドットピッチを用いて、ディスプレイに依存しない物理的長さを示す単位に変換して記録する視差量調整情報記録ステップと、を有することを特徴とする。

また、本発明は、前記立体画像記録装置によって記録された、ディスプレイに依存しない物理的長さの単位で表される視差量の調整情報を用い、複数の視点に対応した複数の画像から構成される立体画像を第２のディスプレイに表示する立体画像表示装置であって、記録された前記視差量調整情報を読み込む視差量調整情報読み出し部と、前記視差量調整情報読み出し部が読み込んだ前記視差量調整情報から、立体画像を表示する前記第２のディスプレイの画素ピッチまたはドットピッチを用いて視差量調整情報を作成する視差量調整情報作成部と、前記視差量調整情報作成部が作成した視差量調整情報に基づいて立体表示用の画像を生成する画像処理部と、を有する特徴とする。

また、本発明は、前記立体画像記録方法によって記録された、ディスプレイに依存しない物理的長さの単位で表される視差量の調整情報を用い、複数の視点に対応した複数の画像を第２のディスプレイに表示する立体画像表示方法であって、記録された前記視差量ディスプレイに依存しない物理的長さの単位で表される前記視差量調整情報を読み込む視差量調整情報読み出しステップと、前記視差量調整情報読み出し部が読み込んだ前記視差量調整情報から、立体画像を表示する前記第２のディスプレイの画素ピッチまたはドットピッチを用いて視差量の調整に関する情報を作成する視差量調整情報作成ステップと、前記視差量調整情報作成部が作成した視差量調整情報に基づいて立体表示用の画像を生成する画像処理ステップと、を有する特徴とする。

ここで、前記視差量の調整に関する情報は、右眼用画像データと左眼用画像データの水平方向の視差ずれ量であることを特徴とする。

本発明によれば、立体表示が可能な画像データ（以下、立体視用画像データとする。）ごとに適切なシフトベクトルを記録しておくことで、同一の立体視用画像データを視聴する際には再度視差量を調整する手間が省ける。

また、本発明によれば、立体視用画像データの作成に用いる右眼用画像データと左眼用画像データを作り直さなくても、視差量を調整することで異なる立体感を持つ立体画像を表示することができる。

また、本発明によれば、ユーザーが調整した視差量を、立体画像を表示するディスプレイに依存しない単位で表される視差量に変換して記録することにより、立体画像を表示するディスプレイの種類にかかわらず、最初に視差量調整を行ったユーザーの意図に合った視差量調整を行うことができる。例えば、放送波やインターネットを介して立体画像を不特定多数に対して送信する場合でも、立体画像を受信して表示するディスプレイの種類に関係無く、最初に視差量調整を行ったユーザーの意図に合った視差量調整を行うことができる。

本明細書において、３原色のＲＧＢデータのそれぞれをドットと称し、３原色のＲＧＢデータのひとまとまりを画素と称す。また、本実施の形態において、画像データは、動画像、静止画像を含む。さらに、画像データ中には、例えばＪＰＥＧなどの静止画像圧縮技術や、ＭＰＥＧ−４などの動画圧縮技術を用いた圧縮画像データを含む。

＜第１の実施形態＞
以下に、本発明の第１の実施形態による立体画像記録装置について、図面を参照して説明する。図１は、本実施形態による立体画像記録装置の構成例を示すブロック図である。図１に示すように、本実施形態による立体画像記録装置は、入力画像データに基づいて立体視用画像データを生成するための画像処理を行う立体画像処理部１００と、ユーザーが入力を行うユーザー入力部１０１と、ユーザーの入力に基づいて視差量調整情報を作成する視差量調整情報作成部１０２と、視差量調整情報を記録する視差量調整情報記録部１０３と、立体画像処理部１００によって生成された画像を表示する表示部１０４から構成される。

次に、各部の動作を説明する。立体画像記録装置に入力された左眼用画像データおよび右眼用画像データは、まず立体画像処理部１００において、立体表示可能なデータに変換される。例えば、パララックスバリア方式又はレンチキュラ方式により立体画像を表示するのであれば、立体画像処理部１００は、左眼用画像データと右眼用画像データとが短冊状に交互に並べられた立体視用画像データを生成する。

ユーザーは、ユーザー入力部１０１により、表示する立体画像の視差量調整用データを入力する。入力された視差量調整用データは、視差量調整情報作成部１０２において、視差量調整情報に変換され、立体画像処理部１００に出力される。また、視差量調整情報記録部１０３において、視差量調整情報がファイルやメモリに記録される。立体画像処理部１００においては、立体視用画像データを生成する際に視差量調整情報の入力があると、これを用いて立体視用画像データを生成し、表示部１０４が立体視用画像データの表示を行う。

なお、本実施形態による立体画像記録装置では、表示部１０４で表示する立体視用画像データの形式は、パララックスバリア方式やレンチキュラ方式に代表される左右の画像を１画素分の画像データ毎に交互に短冊状に並べて立体視を行う方式である。入力画像は立体視可能なデータを含む画像データとし、表示部１０４において立体視する画像データは、左眼用画像データと右眼用画像データが短冊状に並んでいるものを扱うものとする。入力画像データは、立体画像処理部１００において短冊状データが生成可能であればよい。例えば、入力画像データは、元々短冊状に合成された画像データであっても良い。この場合、立体画像処理部１００は、入力データを改めて短冊状の画像を作成することなく、そのまま出力する。

あるいは、左眼用と右眼用のそれぞれの画像データが分離された形式の画像データであってもよい。この場合には、立体画像処理部１００において、以下の図２（Ａ）で説明するように、左眼用画像データと右眼用画像データとから短冊状の画像を作成する。図２（Ａ）は、左眼用画像データと右眼用画像データとから、立体視用画像データを生成する例を示す図である。図２（Ａ）中の左眼用画像データ２０１と右眼用画像データ２０２とから、短冊状データを立体視する際に同一のスリットによって再生される画素をそれぞれ取得し、それらを並べて立体視用画像データ２００を生成する。この処理を繰り返すことにより、短冊状の幅が１画素分である立体視用画像データを生成することができる。

このような方法により短冊状の立体視用画像データ２００を作成すると、短冊状の立体視用画像データ２００の幅は、左眼用画像データ２０１と右眼用画像データ２０２とのそれぞれの画像幅を合わせた幅と等しくなる。従って、表示部１０４が表示可能なデータを作成するには、左眼用画像データ２０１と右眼用画像データ２０２とを、生成される短冊状の立体視用画像データ２００の半分の画像幅にしておく必要がある。左眼用画像データ２０１と右眼用画像データ２０２との画像幅が、表示部１０４の表示幅と同じ幅である場合は、短冊状の画像データを生成する際に、左眼用画像データ２０１と右眼用画像データ２０２との画像幅が半分になるようにデータを間引いた上で短冊状の画像データを生成する。

図２（Ｂ）に、入力された画像データからデータを間引いて短冊状のデータを作成する方法の例を示す。図２（Ｂ）に示すように、左眼用画像データ及び右眼用画像データの画像の各画素から、ＲＧＢ３原色のうち、左眼用画像データ２０１からＲデータ２０７とＢデータ２０８の２ドットを取り、右眼用画像データ２０２からＧデータ２０９の１ドットのみを取ることにより１つのＲＧＢパターン２０３を生成する処理を行う。この処理を、それぞれの画像に対して交互に（左眼用画像データ２０１から２つのデータを取り右眼用画像データ２０２から１つのデータを取るパターンと、左眼用画像データ２０１から１つのデータを取り右眼用画像データ２０２から２つのデータを取るパターン）繰り返すことにより、立体視用画像データ２００を作成する。図１に示す立体画像処理部１００では、入力画像のそれぞれの画素数と表示可能な画素数を比較し、入力画像を間引いて短冊状の画像を生成するかどうかの判定を行い、短冊状画像データの生成を行う。

次に、ユーザーが視差量の調整を行い、視差量調整情報を記録する記録方法について、図１０のフローチャートを用いて説明する。まず、ユーザーは図１のユーザー入力部１０１により視差量を調整する（ステップ１０００）。ユーザー入力部１０１は、キーボードやマウスなどの入力装置、或いは、リモコンなど形状および方式を問わない。例えば、キーボードの特定方向を指示するためのキーを１回以上押すことにより、その特定方向にキーを押した回数に比例した量だけ視差量を調整する方法も考えられる。また、視差量の調整量を直接数値で入力する方法もある。ユーザー入力部１０１により入力されたデータは、視差量調整情報作成部１０２において視差量調整情報に変換される（ステップ１００１）。例えば、「右眼用画像データを左方向に１画素分移動する。」などの具体的な情報に変換される。視差量調整情報作成部１０２は、作成した視差量調整情報を立体画像処理部１００へ出力する。

立体画像処理部１００では、短冊状画像データを生成し、視差量調整情報を用いて視差量調整処理を行う（ステップ１００２）。図３及び図４を参照して視差量調整処理の経過を説明する。図３において、符号３０１等で示すブロックは、１画素分のデータを示しており、ＬとＲとは、それぞれ左眼用画像データと右眼用画像データであることを示す符号である。また、Ｌ又はＲの下に付された数字は画素番号を示し、説明の便宜上付与したものであり、各画像データの左端より順に画素番号を付与している。符号３０１は、左眼用画像データの最左端の画素ということを示す。図３の符号３０４、図４の符号４０３は、表示部が各画像データを表示する表示領域の幅を示すものとする。

また、レンチキュラレンズやパララックスバリアなどを用いて立体画像を観察する際に、同一のスリットを通って観察される画素同士（例えば図１１の符号１１００及び符号１１０１で示される画素）を立体映像として再生されるペアとして、図３の符号３０２と符号３０３のように上下に対応して表す。

視差量調整情報作成部１０２によるユーザーの調整が、例えば左眼用画像データを右へ１画素分移動する場合の画素とそれに対応する画素データを示したのが図４である。画像データの表示位置を移動した状態でそのまま表示すると図４の画素４０１の位置（破線で示される）のように、表示すべき画素データがなくなり、また、図４の符号４０２で示される画素のように、表示領域４０３からはみ出るために表示できない画素データが生じる。

以上において説明した視差量調整のための画像の移動は、１画素の単位である場合について説明を行った。このようにすると、画像データのサイズや表示部１０４のサイズによっては、調整精度が粗すぎる場合もある。人間が画像を認識することは、各画素を構成するＲＧＢ３原色データの各ドットが眼に像を結ぶ際に、ＲＧＢをひとまとまりのデータとして認識することであると考えることができる。従って、例えば、ＲＧＢの並びをＧＲＢに変更したとしても、これらが人間の眼でひとまとまりと認識されればよい。図５は、図３における左眼用画像データをＲＧＢのドットレベルで表現したものである。Ｌ３の画像データ（図３の画素３０２）を認識するためには、Ｌ−Ｒ３（図５のドット５０１）、Ｌ−Ｇ３（図５のドット５０２）、Ｌ−Ｂ３（図５のドット５０３）の３ドットをひとまとまりと認識できればよい。すなわち、３原色データＲＧＢのドットレベルで移動させることが可能である。

このときの様子を図６に示す。図６は、図５での左眼用画像データに着目しており、図６（Ａ）は、図５と同じ状態である。符号６０４は、表示部が左眼用画像データを表示する表示領域を示す。図６（Ｂ）は、１画素分移動した状態（図４）を示している。図６（Ｃ）がドットレベルで１ドット分だけ移動した状態を示している。網がけの部分は左眼用画像データの移動により、ドットのデータが欠落していることを示す。図６（Ｃ）は左眼用画像データのＲデータ（図６（Ａ）の符号６０１）のドットに着目し、それぞれＬ−Ｒ１をＬ−Ｒ２へ、Ｌ−Ｒ２をＬ−Ｒ３へ、Ｌ−Ｒ３をＬ−Ｒ４の位置へとＲデータを移動した状態を示す図である。

このようにデータを移動しても、図６（Ｃ）に示すように、元のＲＧＢで構成される画素自体の並びは変化していない。この移動方法による画像の移動量は、図６（Ｃ）の符号６０２に示すように、１画素単位の移動（図６（Ｂ）の６０３）に比べて小さい、１／３画素分の移動となる。従って１画素分のデータ単位で移動させるよりも細かい視差量調整が可能である。

図４と図６の視差量調整の例では、視差量調整のために左眼用画像データを移動させているが、左眼用画像データと右眼用画像データの相対的な位置関係が同じになるならば、どちらの画像データを移動させてもよい。例えば、左眼用画像データを右へ１画素分移動するかわりに、右眼用画像データを左へ１画素分移動してもよい。また、左眼用画像データを右へ１／３画素（１ドット）分移動し、かつ右眼用画像データを左へ２／３画素（２ドット）分移動するというように、左眼用画像データと右眼用画像データとを連動させて、ともに移動するようしてもよい。左右のうちの片方の画像データのみを移動していくと、ユーザーが観察する立体画像の中心も移動した方向へずれてしまうが、両方の画像データを移動すると立体画像の中心のずれを最小にするように視差量の調整ができる。

視差量調整により飛び出し量や奥行き量が変化する様子を図７に示す。図７（Ａ）は、左眼用画像データのある画素Ｌ１と右眼画像データのある画素Ｒ１がディスプレイ上において像を結んでいる状態である。図７（Ｂ）は、図７（Ａ）の状態から右眼用画像データを左方向にシフトさせることにより画素Ｒ１を左方向に移動させた状態である。この状態では、画素Ｌ１と画素Ｒ１は位置Ｓ１に像を結び、像がディスプレイ面よりも手前の位置にあるように見える。また、図７（Ｃ）は、図７（Ａ）の状態から右眼用画像データを右方向にシフトさせることにより画素Ｒ１を右方向へ移動させた状態である。この状態では、画素Ｌ１と画素Ｒ１は位置Ｓ２に像を結び、像がディスプレイ面よりも奥の位置にあるように見える。

上記のように視差量調整を行い、適当な立体感を持つ立体画像が表示されたとユーザーが判断すると（ステップ１００３）、視差量調整情報をファイルやメモリに記録することができる。複数の立体画像を繰り返し表示する際に、その度毎に改めて視差量調整の操作を行うと、ユーザーにとって処理が煩雑になるので、これを回避するためにユーザーが調整した視差量を立体画像毎に記憶する。

なお、以降は視差量調整情報をシフトベクトルと称する。このシフトベクトルは、例えば、図６（Ｂ）の符号６０３で示すベクトルである。このシフトベクトルの大きさを画素数で表した場合、立体画像を観察するディスプレイの画素ピッチ（隣接した画素間の距離）が変わると、シフトベクトルの大きさも変わるため、立体画像を表示するディスプレイによって見え方（飛び出し距離など）が変化してしまう。

図１３にディスプレイの画素ピッチによって飛び出し距離が変化する例を説明する。図１３（Ａ）は、図７（Ａ）の状態から左眼用画像データを右方向に３画素分シフトさせることにより視差調整をした状態である。この調整により、画素Ｌ１と画素Ｒ１が結ぶ像の位置は位置Ｓ３となる。従来の手法では、ファイルやメモリに記録する視差量調整の情報として、「左眼用画像データを右方向に３画素分移動させる」という情報のように、画素単位のシフト量を記録していた。図１３（Ｂ）は、図１３（Ａ）で用いたディスプレイとは画素ピッチが違うディスプレイで、図１３（Ａ）で記録した「左眼用画像データを右方向に３画素分移動させる」という情報をもとに、視差量調整を行った状態である。この状態では、画素Ｌ１と画素Ｒ１が結ぶ像の位置は位置Ｓ３´となり、図１３（Ａ）の位置Ｓ３とは飛び出し距離が異なってしまう。

そこで本実施形態では、ディスプレイの種類を変えても、視差量の調整をしたユーザーの意図した視差量調整ができるように、画素数などの相対単位で表されているシフトベクトルを、ｍｍなどのディスプレイの種類に依存しない絶対単位に変換して記録する（ステップ１００４、ステップ１００５）。ここで相対単位とは、画素数、ドット数、ライン数など、他の長さに対する相対的な長さを示す時に用いる単位のことを指す。また、絶対単位とは、ｍｍ、ｃｍ、ｉｎｃｈなど、物理的な長さを示す時に用いる単位のことを指す。

ここで、相対単位のシフトベクトルから絶対単位のシフトベクトルへの変換の例を説明する。図６および図７を用いて説明したように、視差量の調整は画像単位またはドット単位で行うが、以下の例では視差量の調整を画素単位で行うとする。ステップ１００２において調整した視差量をＡ（画素）、視差量調整の際に用いたディスプレイの画素ピッチをＰ（ｍｍ／画素）とすると、絶対単位のシフトベクトルＢ（ｍｍ）は以下の式（１）によって表される。
Ｂ ＝ Ａ×Ｐ …（１）

また、ディスプレイの画素ピッチＰ（ｍｍ／画素）は、ディスプレイの横幅Ｗ（ｍｍ）とディスプレイの横方向の画素数Ｎ（画素）により、以下の式（２）によって表される。
Ｐ ＝ Ｗ／Ｎ …（２）

上記の例では、画素ピッチを用いて絶対単位のシフトベクトルを求めているが、画素ピッチの変わりにドットピッチを用いて絶対単位のシフトベクトルを求めてもよい。また、視差量の調整がドット単位で行われていても、上記の方法と同様の処理を行うことで絶対単位のシフトベクトルを求めることができる。

シフトベクトルを記録する際は、ユーザーによる視差量の調整が行われていない状態を０とし、特定画像の特定方向への移動を＋、その逆の方向への移動を−とし、符号付きの値として１つのフィールドに記録してもよいし、画像の移動方向とシフトベクトルの絶対値を別のフィールドとして記録してもよい。また、ステップ１０００においてユーザーが視差量の調整量を絶対単位の値で指定した場合、ユーザーが指定した調整量をそのまま記録してもよい。

次に、シフトベクトルを記録する領域の例を示す。本実施形態では、立体視用画像データにシフトベクトルを記録するための領域を設ける。通常、画像データは、その画像の大きさや再生時間等を管理するための情報を記憶する領域が設けられている。

図８（Ａ）、（Ｂ）は、画像データのデータ構造例を示す図である。図８（Ａ）に示すように、立体視用画像データは、例えば、再生時間・画像サイズ等の画像情報を管理する管理情報領域と左眼用画像データおよび右眼用画像データをそれぞれ記録する画像データ領域とを含んで構成されている。画像情報８００には、画像のサイズや動画ならばその再生時間などの画像全体に関する情報が記述され、右眼用・左眼用画像データ情報８０１・８０２には、各画像データを復号するのに必要な情報（例えば、符号化の技術としてＭＰＥＧ−４技術が用いられているなどの情報）が記載されている。

さらに、図８（Ｂ）に示すように、この管理情報領域にシフトベクトルを含む立体視用画像データのための情報（以後、立体視情報とする）を記録する領域８０３を設ける。

立体視情報を記録する際には、装置がこれらの情報を正しく読み取れるように、立体視情報の存在を示すヘッダが必要である。このために、立体視情報８０３の先頭に、立体画像識別情報８０４を記録する領域を設ける。立体画像識別情報８０４は、立体視情報の存在を示すとともに、後に続く画像データが立体視用画像データである旨を示す。立体画像識別情報８０４は、固定長或いは可変長の符号で符号化されたフラグでも良いが、識別可能であれば、例えば、特定の記号列や文字列などでも良い。また、立体視制御情報８０５には、シフトベクトルが記録されるが、シフトベクトルの他に、立体視を制御する情報であればどんな情報でも記録してもよい。例えば、長時間の立体視を制限するための視聴可能時間を合わせて記録してもよい。

なお、これまで立体視制御情報を画像データに付随する管理情報領域に記録する場合を例にして説明したが、立体視制御情報を記録装置が有する所定のメモリに記録させても良い。例えば、メモリにコンテンツＡ、Ｂ及びＣなどのファイル名を付して立体視用画像データを識別する情報とともに、シフトベクトルなどの立体視制御情報をファイル名と対応付けして記録してもよい。

また、上記の説明では、立体視情報を画像ファイルの先頭に一箇所だけ記録させた例を示した。しかしながら、抽出が可能であれば、画像ファイルのいずれの領域に記録されていても良く、或いは、画像データ内に記録させていても良い。例えば、画像がＭＰＥＧ−４で符号化されている場合、画像データには符号化データと符号化データを復号するための情報（ヘッダ情報）が含まれている。このヘッダ情報には、ユーザーが自由に使用できる領域（ユーザー領域）が設けられており、立体画像識別情報や立体視制御情報をこのユーザー領域に記録しても良い。また、立体視情報は画像データ内に複数個存在してもよい。これにより、例えば、画像データの途中で視差量を変更することも可能となる。また、左眼用画像データと右眼用画像データを、１つの画像データに統合して画像データ領域に記録してもよい。

上記説明では、相対単位のシフトベクトルから絶対単位のシフトベクトルへの変換を視差量調整情報記録部１０３で行う例を説明したが、この処理を視差量調整情報作成部１０２で行ってもよい。

以上のように、本実施形態の立体画像記録装置は、立体画像ごとに最適な立体感を得られるシフトベクトルを記録することで、同一の立体画像を視聴する際には再度視差量を調整する手間が省け、また、立体画像ごとに適切なシフトベクトルを記録しておくことができる。

また、本実施形態では、立体視用画像データの作成に用いる右眼用画像データと左眼用画像データを作り直さなくても、視差量を調整することで異なる立体感を持つ立体視用画像データを作成することができる。

また、本実施形態では、シフトベクトルをファイルやメモリに記録する例を説明したが、例えば放送波やインターネットを介して立体画像を送信する場合は、シフトベクトルを視差量調整の対象である立体視用画像データと関連付けられたデータとして送信してもよい。

＜第２の実施形態＞
以下に、本発明の第２の実施形態による立体画像表示装置について、図面を参照して説明する。ここで、画像データ中には、図８で示した立体視情報が記録されているものと仮定する。図９は、本実施形態による立体視情報が付加された立体視用画像データを表示する立体画像表示装置の構成例を示すブロック図である。本実施形態による立体画像表示装置は、ユーザーが入力を行うユーザー入力部９００と、ファイルやメモリに記録されている視差量調整情報を読み出す視差量調整情報読み出し部９０１と、立体画像の視差量調整情報を作成する視差量調整情報作成部９０２と、立体視用画像データを生成するための画像処理を行う立体画像処理部９０３と、立体画像処理部９０３によって生成された画像を表示する表示部９０４から成る。

次に、各部の動作を説明する。ユーザー入力部９００、立体画像処理部９０３、表示部９０４は、図１におけるユーザー入力部１０１、立体画像処理部１００、表示部１０４とそれぞれ同様の動作をするので説明を省略する。立体視情報読み出し部９０１は、立体視用画像データに含まれる立体画像識別情報を読み出す。立体画像識別情報の確認により立体視用画像であることが認識されると、立体視情報読み出し部９０１は立体視情報（シフトベクトルなど）を読み出し、立体視情報が符号化されている場合は復号する。立体視情報にシフトベクトルが存在すれば、視差量調整情報作成部９０２へ出力する。視差量調整情報作成部９０２では、立体視情報読み出し部９０１から入力されたシフトベクトルとユーザー入力部９００から入力された視差量調整のためのデータを用い、視差量調整情報を作成する。ユーザー入力による視差量の調整がない場合は、シフトベクトルのみから視差量調整情報を作成する。立体画像処理部９０３では、視差量調整情報を用いて立体視用画像データを生成し、表示部１０４において立体視用画像データの表示を行う。

次に、シフトベクトルを読みこんで視差量調整処理をし、立体画像を表示する表示方法について、図１２のフローチャートを用いて説明する。まず、立体視情報読み出し部９０１は、ファイルやメモリに記録されているシフトベクトルを読み込み視差量調整情報作成部９０２に出力する（ステップ１２００）。このシフトベクトルは、ｍｍなどの絶対単位で表されている。第１の実施形態で説明したように、視差量調整は画素数やドット数などの相対単位を用いて行うため、視差量調整情報作成部９０２において、絶対単位のシフトベクトルを相対単位のシフトベクトルに変換する（ステップ１２０１）。第１の実施形態で説明したように、視差量の調整は画像単位またはドット単位で行うが、以下では視差量の調整を画素単位で行う例を示す。絶対単位のシフトベクトルをＣ（ｍｍ）、表示装置のディスプレイの画素ピッチをＱ（ｍｍ／画素）とすると、相対単位のシフトベクトルＤ（画素）は以下の式（３）によって表される。
Ｄ ＝ Ｃ／Ｑ …（３）

また、第１の実施形態の式（２）と同様に、ディスプレイの画素ピッチＱ（ｍｍ／画素）を求めることができる。上記の式では、画素ピッチを用いて相対単位のシフトベクトルを求めているが、画素ピッチの変わりにドットピッチを用いて相対単位のシフトベクトルを求めてもよい。また、式（３）により求められたシフトベクトルＤ（画素）が小数点以下の数字を含む場合、小数点以下の数字を全て切り捨てたり、または切り上げたり、または小数点第１位の値を四捨五入するなどして、シフトベクトルＤが必ず整数値になるようにしてもよいし、１／３画素を１ドットとしてドット単位でシフトベクトルを求めてもよい。また、シフトベクトルがドット単位で記録されていても、上記の方法と同様の処理を行うことで相対単位のシフトベクトルを求めることができる。

相対単位に変換されたシフトベクトルは立体画像処理部９０３に出力される。立体画像処理部９０３は、相対単位のシフトベクトルと入力画像データから、立体視用画像データを作成し、表示部９０４に表示する（ステップ１２０２）。

シフトベクトルによって視差量が再現された立体画像がユーザーの好みに合わない場合は、第１の実施形態の図１０におけるステップ１０００〜ステップ１００３と同様に、ユーザーからの入力によりさらに視差量の調整を行ってもよい。

また、シフトベクトルを読み込むことにより視差量が調整された立体画像に対して、画像を拡大したり縮小したりするなどの拡縮変換を行う場合、拡縮変換前の絶対単位の視差量と拡縮変換後の絶対単位の視差量が同じになるように視差量調整処理を行ってもよい。

本実施形態の立体画像表示装置は、シフトベクトルを用いることで視差量の調整をした立体画像を表示することできるが、視差量の調整をしていない立体画像も表示することができる。シフトベクトルにより視差量の調整を行うかどうかを、あらかじめ立体画像表示装置に設定しておいてもよいし、立体画像を表示させる際にユーザーが選択してもよい。

また、本実施形態では絶対単位のシフトベクトルから相対単位のシフトベクトルへの変換を視差量調整情報作成部９０２で行う例を説明したが、この処理を立体視情報読み出し部９０１で行ってもよい。

以上説明したように、本実施形態の立体画像表示装置は、ユーザーが同一の立体画像データを繰り返して再生する際に、前回の再生時にユーザーが行った調整を立体視情報として記憶しておき、再生時に立体視情報を利用することにより、再生のたびに視差量調整を行う手間をかけることなく、前回の再生時と同様に再生することが可能となる。

また、絶対単位のシフトベクトルをもとに視差量調整を行うことにより、立体画像を表示させるディスプレイの種類にかかわらず、最初に視差量調整を行ったユーザーの意図に合った視差量調整を行うことができる。例えば、放送波やインターネットを用いて、立体画像を表示するディスプレイが異なる不特定多数に対して立体画像を送信する場合でも、受信側のディスプレイの種類に関係無く、最初に視差量調整を行ったユーザーが意図した視差量調整を行うことができる。

本発明の第１の実施形態における立体画像記録装置を示すブロック図である。 左眼用画像データと右眼用画像データから立体視用画像データを生成する例を示す図である。 立体視する際の左眼用画像データと右眼用画像データの対応する画素の例を示す図である。 視差量調整した際の画像の移動例を示す図である。 ＲＧＢ３原色のドットデータと画素の対応例を示す図である。 画像を移動させる際にＲＧＢ３原色のドットデータのうち１ドットを移動させる例を示す図である。 画像を移動させて得られる飛び出し量、奥行き量の変換を示す図である。 立体視を行うための立体視制御情報の格納方法の例を示す図である。 本発明の第２の実施形態における立体画像表示装置を示すブロック図である。 本発明の第１の実施形態における立体画像記録方法を示すフローチャート図である。 観察者がパララックスバリアを用いて立体画像を観察する例を示す図である。 本発明の第２の実施形態における立体画像表示方法を示すフローチャート図である。 ディスプレイの画素ピッチの違いにより立体画像の飛び出し量が変化する例を示す図である。

符号の説明

１００ 立体画像処理部
１０１ ユーザー入力部
１０２ 視差量調整情報作成部
１０３ 視差量調整情報記録部
１０４ 表示部

Claims (8)

1. 複数の視点に対応した複数の画像から構成される立体画像を、第１のディスプレイに基づいて変更要求された視差量で立体画像表示装置の第２のディスプレイに立体表示させるために記録する立体画像記録装置であって、
   観察者が入力した視差量の変更要求に基づき、前記第１のディスプレイの画素またはドットを単位とする視差量の調整情報を作成する視差量調整情報作成部と、
   前記視差量調整情報を、前記第１のディスプレイの画素ピッチまたはドットピッチを用いて、ディスプレイに依存しない物理的長さを示す単位に変換して記録する視差量調整情報記録部と、
   を有することを特徴とする立体画像記録装置。
2. 前記視差量調整情報は、右眼用画像データと左眼用画像データの水平方向の視差ずれ量であることを特徴とする請求項１に記載の立体画像記録装置。
3. 複数の視点に対応した複数の画像から構成される立体画像を、第１のディスプレイに基づいて変更要求された視差量で第２のディスプレイに立体表示させるために記録する立体画像記録方法であって、
   観察者が入力した視差量の変更要求に基づき、前記第１のディスプレイの画素またはドットを単位とする視差量の調整情報を作成する視差量調整情報作成ステップと、
   前記視差量調整情報を、前記第１のディスプレイの画素ピッチまたはドットピッチを用いて、ディスプレイに依存しない物理的長さを示す単位に変換して記録する視差量調整情報記録ステップと、
   を有することを特徴とする立体画像記録装置。
4. 前記視差量調整情報は、右眼用画像データと左眼用画像データの水平方向の視差ずれ量であることを特徴とする請求項３に記載の立体画像記録方法。
5. 請求項１または２に記載の立体画像記録装置によって記録された、ディスプレイに依存しない物理的長さの単位で表される視差量の調整情報を用い、複数の視点に対応した複数の画像から構成される立体画像を第２のディスプレイに表示する立体画像表示装置であって、
   記録された前記視差量調整情報を読み込む視差量調整情報読み出し部と、
   前記視差量調整情報読み出し部が読み込んだ前記視差量調整情報から、立体画像を表示する前記第２のディスプレイの画素ピッチまたはドットピッチを用いて視差量調整情報を作成する視差量調整情報作成部と、
   前記視差量調整情報作成部が作成した視差量調整情報に基づいて立体表示用の画像を生成する画像処理部と、
   を有する特徴とする立体画像表示装置。
6. 前記視差量の調整に関する情報は、右眼用画像データと左眼用画像データの水平方向の視差ずれ量であることを特徴とする請求項５に記載の立体画像表示装置。
7. 請求項３または４に記載の立体画像記録方法によって記録された、ディスプレイに依存しない物理的長さの単位で表される視差量の調整情報を用い、複数の視点に対応した複数の画像を第２のディスプレイに表示する立体画像表示方法であって、
   記録された前記視差量調整情報を読み込む視差量調整情報読み出しステップと、
   前記視差量調整情報読み出し部が読み込んだ前記視差量調整情報から、立体画像を表示する前記第２のディスプレイの画素ピッチまたはドットピッチを用いて視差量調整情報を作成する視差量調整情報作成ステップと、
   前記視差量調整情報作成部が作成した視差量調整情報に基づいて立体表示用の画像を生成する画像処理ステップと、
   を有する特徴とする立体画像表示方法。
8. 前記視差量調整情報は、右眼用画像データと左眼用画像データの水平方向の視差ずれ量であることを特徴とする請求項７に記載の立体画像表示方法。

Images