JP4236428B2 - 立体画像表示方法および立体画像表示装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は立体画像処理技術に関し、とくに、立体画像を処理または表示する方法、装置、システムおよび関連するコンピュータプログラムとデータ構造に関する。
【０００２】
【従来の技術】
ここ数年、インターネット利用人口が急増し、インターネット利用の新たなステージともいえるブロードバンド時代に入ろうとしている。ブロードバンド通信では通信帯域が格段に広がるため、従来敬遠されがちだった重い画像データの配信も盛んになる。「マルチメディア」や「ビデオ・オン・デマンド」などの概念は提起されて久しいが、ブロードバンド時代になって、はじめてこれらのことばが一般のユーザに実感をもって体験される状況になった。
【０００３】
画像、とくに動画像の配信が広がれば、ユーザは当然ながらコンテンツの充実と画質の向上を求める。これらは、既存の映像ソフトのデジタル化とそのためのオーサリングツールの開発、高効率かつロスの少ない画像符号化技術の追求などに負うところが大きい。
【０００４】
【発明が解決しようとする課題】
こうした状況下、近い将来画像配信サービスのひとつの形態として、擬似三次元画像（以下単に「立体画像」ともいう）の配信が技術的に注目され、かつ相当の市場を獲得することが考えられる。立体画像は、よりリアルな映像を求めるユーザの希望を叶え、とくに映画やゲームなど臨場感を追求するアプリケーションでは魅力的である。さらに立体画像は、２１世紀の商取引のひとつの標準になると思われるＥＣ（電子商取引）における商品プレゼンテーションにおいて、商品のリアルな表示にも有用である。
【０００５】
しかしながら、立体画像の普及を進めるにあたり、ユーザフレンドリーな表示技術が提示されているとは言い難い状況にある。本発明者はそうした現状に着目して本発明をなしたものであり、その目的は、立体画像をユーザが正しく表示させる作業の支援をする立体画像処理技術を提供することにある。
【０００６】
【課題を解決するための手段】
本発明の理解のために、まず本明細書における以下の概念を定義する。
「立体画像」： 画像データそのものではなく、立体的に表示された結果、ユーザの目に投ずる画像を観念的に指す。立体画像として表示できる画像データのほうは、後述する「マルチプレクス画像」とよぶ。すなわち、マルチプレクス画像を表示すると、立体画像が見える。
【０００７】
「視差画像」： 通常、奥行き感のある立体視のためには、視差が生じるよう右目に投ずるべき画像（以下、単に右目画像という）と左目に投ずるべき画像（以下、単に左目画像という）を準備する必要がある。右目画像と左目画像のように視差を生じさせる画像の対を視差画像と総称する場合もあるが、本明細書では、視差を生じさせる原因となる画像それぞれを視差画像とよぶ。つまり、右目画像も左目画像もそれぞれ視差画像である。これら以外にも、一般には、立体画像において想定された各視点からの画像がそれぞれ視差画像となる。
【０００８】
「基礎画像」： 立体画像が表示されるために、立体視に必要な処理をなす対象の画像、またはすでに処理がなされた画像をいう。具体的な例として、マルチプレクス形式のごとく、すでに複数の視差画像が何らかの形で合成されてできた画像（これらを「合成画像」ともいう）を含む。
【０００９】
「マルチプレクス形式」： 基礎画像の構成の態様のひとつ。立体画像を表示するための最終的な画像データの形式。マルチプレクス形式の基礎画像を単に「マルチプレクス画像」ともよぶ。
【００１０】
「視点」： 立体画像にはそれを見る視点が想定されている。視点の数と視差画像の数は通常等しい。左目画像と右目画像のふたつの視差画像があるとき、視点の数は「２」である。ただし、視点がふたつでも、ユーザの頭の想定位置はひとつである。同様に、左右方向のユーザの移動を考慮した立体画像を表示する場合、例えば左右方向に４つの視点ｖａ、ｖｂ、ｖｃ、ｖｄを想定し、それぞれから見える視差画像をＩａ、Ｉｂ、Ｉｃ、Ｉｄとすれば、例えば（Ｉａ，Ｉｂ）（Ｉｂ，Ｉｃ）（Ｉｃ，Ｉｄ）の３組の視差画像によって奥行き感のある立体画像が表示できる。この状態でさらに、上下方向に回り込んだ立体画像を生成するために、相対的に上の方向から見た４つの画像と、同様に下の方向から見た４つの画像を利用するとすれば、視点の数は「８」となる。
【００２５】
本発明のある態様は立体画像表示方法に関する。この方法は、立体視すべき画像を表示装置の画面に表示する工程と、画像を画面上で移動させる工程とを含み、画像の移動の単位量が、当該画像の基礎となった異なる視差画像の数に応じた値に拘束される。
【００２６】
単位量は、視差画像の数に画像の描画単位、たとえばピクセルを構成する表示単位、たとえば画素の数を乗じた値の整数倍であってもよい。描画要素をＲＧＢの３画素、視点の数を４とすると、１２の整数倍が画像の移動の単位量となる。また、画像がウインドウ内に表示されるとき、単位量は、少なくともウインドウ内の画像のスクロールに際して参照されてもよい。
【００２７】
本発明の別の態様は立体画像表示装置に関する。この装置は、立体視すべき画像を画面上にて移動させるための指示を取得する移動指示取得部と、指示にしたがって画像を移動させる移動処理部とを含み、この移動処理部は、画像の移動の単位量をその画像の基礎となった異なる視差画像の数に応じた値に拘束して移動させる。
【００２８】
画面内に画像を表示するためのウインドウを表示するウインドウ表示部をさらに含み、移動処理部は、そのウインドウ内で画像をスクロールさせる際に単位量による拘束を行ってもよい。
【００２９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【００３０】
【発明の実施の形態】
立体画像を表示するための手法として、ＬＣＤの画面にマルチプレクス画像を表示し、パララックスバリアをＬＣＤに貼付するケースを想定する。パララックスバリアとマルチプレクス画像の位置関係は、画素ピッチレベルで調整する必要がある。標準的なＬＣＤの画素ピッチは０．１ｍｍ程度であり、これをマウスなどで調整することは非常に難しく煩わしい作業である。マルチプレクス画像とパララックスバリアの位置関係がずれると、ユーザは立体画像を見ることができない。そのために、それらの位置関係を調整する必要があり、本実施の形態は、その調整を容易にする立体画像専用のビューアに関する。
【００３１】
実施の形態１：
図１は本実施の形態に係るビューア１０がＬＣＤ８に表示され、パララックスバリア１２がＬＣＤ８上に貼付されている状態を示した図である。ビューア１０には、マルチプレクス画像が表示されているものとする。この時点では、ビューア１０がパララックスバリア１２とずれた位置にあるため、ユーザは立体画像を見ることができない。図２に示されるよう、ビューア１０がパララックスバリア１２に対し適正位置に調整され、調整終了後ボタン１１の操作によりビューア１０の開始位置やサイズ、画像表示領域１４などのウインドウ情報が保存される。保存先はビューア１０の初期ファイルなど、ソフトウエアを終了しても保持できる場所が好ましい。
【００３２】
一旦図２のような適正位置が決まっても、再び図１のようにビューア１０の位置やサイズが変更されマルチプレクス画像とパララックスバリア１２の適正位置がずれてしまう場合がある。このときボタン１８が操作されると、保存されたウインドウ情報が読み込まれ、ビューア１０は、図２のごとくパララックスバリア１２と一致する。ビューア１０の開始位置と画像表示領域１４の開始位置が、図２と同一の状態に再現されるため、最初の画素が、パララックスバリア１２に対し正し位置となる。結果としてパララックスバリア１２に対し、マルチプレックス画像全体の位置関係が正しくなる。こうして一度設定したビューア１０の状態を変更しても、容易にもとの状態に戻すことができる。
【００３３】
別の立体画像を表示する新しいビューア１０に対しても同じ情報を利用することができる。また、ビューア１０と画像表示領域１４の開始位置を固定したままの状態を保ちつつ、ビューア１０のサイズの変更を受け付けることによって、ビューア１０のサイズを変更しなければならない場合でも、新しいマルチプレクス画像はパララックスバリア１２に対し適正位置に置かれる。
【００３４】
このように、このウインドウ情報は保存したときその対象となったビューア１０だけでなく、別に開いたビューア１０や、ソフトウエアの起動時の初期ウインドウに対しても利用できる。また、設定を行ったソフトウエアとは別のソフトウエアで利用できてもよい。さらに、ウインドウ情報の保存は、ひとつの状態だけでなく複数の状態であってもよく、その場合、ウインドウ情報は読み込み時に選択される。
【００３５】
また、一般に適切な画像の開始位置は複数あり、適切な画像の開始位置がひとつ決まると、他の適切な画像の開始位置も決まる。例えば視点数が４である４眼式の場合、ある位置が適切な開始位置であることが分かったとすると、そこから１２画素離れた画素もまた適切な開始位置となる。この１２というのは、視点数４にピクセルを構成する画素数３を乗じた値である。さらに１２の倍数離れた画素は全て適切な開始位置となる。そこで、例えばウィンドウを移動させる場合などには、このように記録した開始位置をもとにして最適と考えられる開始位置を算出し、その位置を新しい開始位置として画像を表示してもよい。また、サイズの異なる新しい画像を表示する際には、例えば画像を常に画面の中心に表示する設定となっていれば、新しく適切な開始位置を算出し、その位置を新しい開始位置として画像を表示してもよい。
【００３６】
また、保存あるいは読み込みの命令は、ボタンによる操作以外にも、図３のように、マウス操作で機能するビューア１０上のリストメニュー１６から選択されてもよく、その他キーボードのキー操作や、音声により選択されてもよい。
【００３７】
また、ボタンはビューア１０上になくてもよく、他のウインドウ上など、操作できる位置にあればどこに位置してもよい。
【００３８】
以上の機能を実現するための立体画像表示装置１０２を図４に示す。立体画像表示装置１０２は、ビューア１０の表示位置、大きさなどウインドウ情報を取得し、それを適正位置として記憶部１０８へ保存する位置書込部１０４と、ユーザから指示を受け、記憶部１０８に保存されている適正位置を読み出す位置読取部１１０と、読み出された適正位置にビューア１０を移動させる位置調整部１１２と、適正位置にビューア１０を表示する表示制御部１１４と、ユーザの指示を受け付けるＧＵＩ（Graphical User Interface）９９を備える。
【００３９】
この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた画像位置調整機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００４０】
この立体画像表示装置１０２の構成による動作を図５および図６のフローチャートをもとに説明する。図５は、ウインドウ情報の保存の処理を示したフローチャートである。ユーザが図２において、ボタン１１を押下することで、位置書込部１０４によりウインドウ情報が取得される（Ｓ１０）。さらに、取得された情報が、ビューア１０の初期ファイルにおいて更新され、記憶部１０８に保存される（Ｓ１２）。
【００４１】
図６は、ウインドウ情報の読み込み処理を示したフローチャートである。位置読取部１１０は、初期ファイルから、保存されていたウインドウ情報を読み出し（Ｓ２０）、つづいて現在のウインドウ情報を取得し（Ｓ２２）、必要に応じてその情報の変更を行う（Ｓ２４）。更新された情報をもとに、位置調整部１１２はビューア１０の位置を調整し、マルチプレクス画像とともにビューア１０を再描画する（Ｓ２６）。
【００４２】
以上の実施の形態１によれば、マルチプレクス画像のパララックスバリアに対する適正位置がずれてしまった場合でも、ユーザは煩雑な調整作業をすることなく、マルチプレクス画像の適正位置への移動ができる。さらに、新たに別のマルチプレクス画像を表示する際、その画像を適正位置に表示することが容易となる。
【００４３】
実施の形態２：
まず、克服すべき課題を述べる。ここでは、位置や大きさを自由に変更可能なウインドウがあり、その内部にマルチプレクス画像が表示されることが想定されている。マルチプレクス画像とパララックスバリアの位置関係はユーザの観察位置と密接に関係しており、立体画像が適正位置からずれると、その関係が崩れてしまう。
【００４４】
図７から図９は、マルチプレクス画像１５１とパララックスバリア１５２および観察者の関係を示している。マルチプレクス画像１５１は、第１から第４の４種類の視差画像から合成されている。それぞれの四角形は画素を表しており、割り振られている１から４の数字は、もととなった視差画像の番号に対応している。つまり、「１」が割り振られている画素には、第１の視差画像の画素が、「２」が割り振られている画素には、第２の視差画像の画素が使用されていることを意味する。以下、第ｎの視差画像の画素が使用されている画素を単に画素ｎとも言う。
【００４５】
いま、視差画像の数が４、画素ピッチがＰ、ｎが整数とする。図７において、ずれ量がＰ×４ｎであれば画像の端が立体視できなくなる恐れがあるだけで大きな問題はないが、それ以外の場合はユーザ位置との関係が大きく崩れる。つまり、ユーザが見る視差画像の組が（４，３）（３，２）（２，１）であれば、ユーザは立体画像を見ることができる。
【００４６】
ずれ量がＰ×（４ｎ＋１）あるいはＰ×（４ｎ＋３）であれば、図８のように正面の位置、つまり視差画像の組が（２，１）である場合、ユーザは立体画像を見ることが可能であるが、左右いずれかの方向に移動するとすぐに逆視の位置となってしまう。また、ずれ量がＰ×（４ｎ＋２）となると、図９のように最適であるべき位置が逆視の位置となってしまう。
【００４７】
前述のように、画素ピッチＰは標準的な液晶パネルで０．１ｍｍ程度であるから、マウス操作によるウインドウ位置の１画素単位の調整は難しい。パララックスバリアに機構的な微調整機能がついていても、このような細かい調整は時間を要する。
【００４８】
また、このような調整を一度完了して、立体画像を見ることができるようになっていても、別の立体画像をみるために、新たなマルチプレクス画像とパララックスバリアの調整をその都度行うことは煩わしいものである。
【００４９】
また、マルチプレクス画像の作成環境によって、Ｎ個の視差画像の並ぶ合成順が必ずしも同じではなく、ある画像で正しく調整を行った後、違う画像を全く同じ領域に表示した場合でも、最初から調整し直す必要が生じる場合がある。合成順が逆になっている場合には立体表示ができないこともある。
【００５０】
合成順が逆とは、例えばパララックスバリアを液晶パネルの出射側に配置する図１０のような方式と、入射側に配置する図７のような方式とでは、視差画像の並びが反対になるということであり、どちらの方式に対応する画像を作成するかは、作成者に依存する。
【００５１】
また、視差画像の数Ｎが２のときは、１列目の画素列にどちらの画像を選択するかも、作成者に委ねられており確定しない。
【００５２】
本実施の形態２に係るビューアは、以上の課題を克服する。このビューアは内部でマルチプレクス画像を適正に移動させる機能も有する。
【００５３】
図１１は、ＬＣＤ５４上にマルチプレクス画像を表示するビューア５５とＬＣＤ５４上の一部に貼付されているパララックスバリア５６を示したものである。３個のボタン５１、５２、５３がビューア５５内に配置されている。ビューア５５内には、水平方向に視差を持つ４種類の視差画像が一画素列おきに並べ替えられた、つまり視点数が４のマルチプレクス画像が表示されるものとする。ビューア５５は、図１２に示すようなパララックスバリア５６と離れた位置６５から、パララックスバリア５６と重なる位置の近辺までマウス操作等により移動されるとともに、その大きさが調整される。
【００５４】
このような状態で、左のボタン５１が操作されると、図１３（ａ）のように、ビューア５５内の画像表示領域３２aにおいて、４画素をグループとして、グループ内で順序が右に１画素移動し、はみ出した画素がグループ内の左端に配置されて、画像領域３２ａは初期状態３１から調整後の状態３１１ａになるようにプログラムが組まれている。これにより、観察位置での立体画像が見える領域が左に１領域分移動する。
【００５５】
また、右のボタン５２の操作によって、逆の処理が行われ初期状態３１から調整後の状態３１２ａとなるようにプログラムが組まれている。これにより、観察位置での立体画像が見える領域が右に１領域分移動する。このようにして１画素移動させる毎に、立体画像が見える領域がひとつづつ、ずれていくことになる。また、左のボタン５１の操作で、図１３（ｂ）のように、グループ内ではなく、画像表示領域３２ｂ全体が、調整後の状態３１１ｂ、３１２ｂになるよう、一様に同方向に移動されてもよい。
【００５６】
ところでカラー液晶パネルは、通常、水平方向に分離した赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の画素で１つのピクセルを形成している。
【００５７】
４種類の視差画像をそれぞれについてピクセルを表現する場合、合計４×３＝１２画素必要となる。通常の画像表示処理については、ピクセルを最小単位として意識すれば足りるが、ここでは、ピクセル間で画素を交換して最適な立体表示を実現する。このことから図１４（ａ）のように１２画素をグループとして、１ピクセル、ここではＲＧＢの３画素を単位としてグループ内の順番が変更されてもよい。また、図１４（ｂ）のように３画素単位で画像表示領域全体が移動されてもよい。このとき、１回のボタン操作による立体画像が観察される領域の移動は３領域となる。つまり、例えばある位置に表示されている画素が、画素１から画素４に変わると言うことである。
【００５８】
例えば視点数が８の場合、最初の領域番号が１の画素に注目すると、図１５（ａ）に示すように、ボタン操作を行う度に番号が（１→４→７→２→５→８→３→６）のように変化する。そして、それぞれの移動ピクセル数は、最初の状態に対して（０→１→２→３→４→５→６→７）である。
【００５９】
このように１回の操作に対して３領域ごとの移動でもよいのであるが、同じように３画素列単位で画像領域を移動させながら、１回の操作で１領域の移動としたい場合がある。図１５（ｂ）に示すように、いま左端の画素に着目すると、これは画素１であり、かつＲ要素を持っている。１領域動かす場合、左端の画素は、Ｒ要素を持つ画素２となる必要がある。したがって、このような場合は、操作を行う度に移動するピクセル数を最初の状態に対して、（０→３→６→１→４→７→２→５）と３ピクセルごとにすれば、端の領域番号が（１→２→３→４→５→６→７→８）と変化する。視差画像数が異なる場合も同様のことが可能である。
【００６０】
また、図１６（ａ）のように、１２画素をグループとして、例えば図１７のような処理により移動させてもよい。
【００６１】
図１７は、立体画像が観察される領域が右に１領域分移動する処理を示すフローチャートである。ここでｇはグループの数、ｍは視差画像の数、ｃは１ピクセルを構成する画素数、ｄａｔａ［ｎ，ｈ］はグループｎのｈ番目の画素の輝度情報、ｄａｔａ’［ｎ’、ｈ’］は、新しいグループｎ’のｈ’番目の画素の輝度情報である。Ｃｏｌｕｍｎ［ｎ，ｊ，ｋ］は、移動前の画像の輝度情報を、視差画像番号とＲＧＢの情報を付加し、一時的に記憶し、移動後の新たな画像データを生成するときに利用される。２眼式、つまり視差画像数が２の場合はｍ＝２であり、４眼式の場合はｍ＝４である。また、ＬＣＤではＲＧＢの３画素で１ピクセルが構成されているので、ｃ＝３である。
【００６２】
まず、変数ｘが１に初期化される（Ｓ５１）。つづいて変数ｎ、ｎ’が１に初期化される（Ｓ５２）。同様に、変数ｈ、ｊ、ｋが１に初期化され（Ｓ５３）。変数ｔも１に初期化される（Ｓ５４）。つぎにＣｏｌｕｍｎ［ｎ，ｊ，ｋ］に画像の輝度情報ｄａｔａ［ｎ，ｈ］の値が代入される（Ｓ５５）。変数ｊが１だけインクリメントされ（Ｓ５６）、インクリメントされた変数ｊがｍより大きければ（Ｓ５７のＹ）、変数ｊは１になる。変数ｊがｍ以下であれば（Ｓ５７のＮ）、変数ｊはそのままである。つづいて、変数ｋが１だけインクリメントされる（Ｓ５９）。変数ｋがｃより大きければ（Ｓ６０のＹ）、変数ｋは１となる（Ｓ６１）。変数ｋがｃ以下であれば（Ｓ６０のＮ）、変数ｋはそのままである。
【００６３】
つづいて、変数ｈが１だけインクリメントされ（Ｓ６２）、さらに、変数ｔも１だけインクリメントされる（Ｓ６３）。つぎに変数ｔがｃ×ｍの値以下の場合（Ｓ６４のＮ）、処理はステップＳ５５へ戻り、ステップＳ５５〜Ｓ６３が繰り返され、変数ｔがｃ×ｍの値を超えると（Ｓ６４のＹ）、次の処理ステップＳ６５へ進む。ステップＳ５５〜Ｓ６３の繰り返しにより、移動前の画像の１グループの輝度情報が、視差画像の番号とＲＧＢの情報を持ったデータとなる。つづいて、変数ｈ’と変数ｋが１に、変数ｊが２に初期化される（Ｓ６５）。次に変数ｕが１に初期化される（Ｓ６６）。ｄａｔａ’［ｎ’、ｈ’］に、Ｃｏｌｕｍｎ［ｎ，ｊ，ｋ］の値が代入される（Ｓ６７）。つぎに変数ｊが１だけインクリメントされる（Ｓ６８）。変数ｊがｍより大きければ（Ｓ６９のＹ）、変数ｊは１となる（Ｓ７０）。変数ｊがｍ以下であれば（Ｓ６９のＮ）、変数ｊはそのままである。
【００６４】
つづいて、変数ｋが１だけインクリメントされる（Ｓ７１）。変数ｋがｃより大きければ（Ｓ７２のＹ）、変数ｋは１となる（Ｓ７３）。変数ｋがｃ以下であれば（Ｓ７２のＮ）、変数ｋはそのままである。つづいて、変数ｈ’が１だけインクリメントされる（Ｓ７４）。変数ｕが１だけインクリメントされる（Ｓ７５）。変数ｕが１２より小さければ（Ｓ７６のＮ）、ステップＳ６７に戻り、ステップＳ６７〜Ｓ７５が繰り返され、変数ｕがｃ×ｍの値になると（Ｓ７６のＹ）、つぎのステップＳ７７へ進む。ステップＳ６７〜Ｓ７５の繰り返しにより、移動後の１グループの輝度情報が生成される。つぎに変数ｎとｎ’が１だけインクリメントされる（Ｓ７７）。変数ｘが１だけインクリメントされる（Ｓ７８）。グループ数ｇが１２を超えなければ（Ｓ７９のＮ）、ステップＳ５３へもどり、ステップＳ５３〜Ｓ７８が繰り返される。変数ｘがグループ数ｇを超えると（Ｓ７９のＮ）、処理は終了する。
【００６５】
また、図１６（ｂ）のように、１画素単位で画像表示領域全体が移動してもよい。このとき画像表示領域周辺のピクセルに、立体画像情報とウインドウバックグラウンド情報とが画素単位で混ざることがあるが、ウインドウバックグラウンドを無色表示とすることで、不自然な色の発生を防ぐことができる。または、そのような情報の混じる可能性のあるピクセルは画面上に表示しないという方法もある。
【００６６】
なお、一回の命令による立体画像が観察される領域の移動量は、１領域単位に限らず、より多くの領域を単位として、移動がなされてもよい。その場合にはグループ内での画素の移動量が１以外の値となる。
【００６７】
また、図１１の中央のボタン５３が操作されると、図１８のように、ウインドウ上の画像領域７２が、隣り合う４種類の画素列をグループとして順番が逆になり、初期状態７１の合成順（４，３，２，１）から調整後の状態７１１の合成順（１，２，３，４）になるようにプログラムが組まれている。画素列の反転により、観察位置での立体画像が見える領域の順序が反転する。ここで、例えば合成順（１，２，３，４）とは、マルチプレクス画像を合成する際、視差画像が左から順に、第１の視差画像から１画素ずつ並べられていることを示している。
【００６８】
この場合も、ピクセルが複数の画素から構成されている場合は、１列目から１２列目までで４種類の画像の最初の画素ＲＧＢが全て表現されていることから、図１９のように１２画素をグループにして変換が行われれば、実質的に順番が逆になる。図２０は、この変換手順を示すフローチャートである。ただし、図２０は、図１７との相似点のみを示す。
【００６９】
図１７のステップ６５がステップＳ６５ａに、ステップＳ６７がステップ６７ａに変更されている。その結果、図１７のフローチャートでは、立体画像が観察される領域が右に１領域分移動する処理が示されていたが、図２０のフローチャートでは、視差画像が合成されている順序が反転するという処理がなされるという違いが現れる。
【００７０】
図１７および図２０に示される処理により、立体画像の見える領域の水平方向への移動や水平方向に対する反転が行われる。また、立体画像の見える領域の垂直方向への移動や垂直方向に対する反転も同様に行われる。したがって、これらの操作が繰り返されることで、立体画像とパララックスバリアとの位置関係が最適になり、立体画像の見える領域が適正位置となる。
【００７１】
水平あるいは垂直移動の操作は、図２１のように、画像表示領域のあるウインドウ位置を１ピクセル単位あるいは１画素単位で移動させることで行われてもよい。図２２は水平移動の処理のフローチャートを示す。まず、ウインドウのスタート位置の水平座標Ｘが取得される（Ｓ２３２）。つづいて、移動画素数Ｍが取得される（Ｓ２３４）。先に取得された水平座標Ｘに移動画素数Ｍが加えられたものが、新しいウインドウのスタート位置の水平座標Ｘとなる（Ｓ２３６）。最後に、新しいウインドウが描画される（Ｓ２３８）。
【００７２】
また、ウインドウの移動を３画素単位とし、有効表示領域の移動を１画素単位として、両者を組合せ、例えば有効表示領域が３画素移動すれば、有効表示領域の位置を変えずにウインドウの枠だけを３画素移動して、ウインドウ内の有効表示領域の位置が、常に最適となるように制御されてもよい。もちろん、画像表示領域の画素の移動単位、あるいはウインドウを移動するときの画素の移動単位は変更可能である。
【００７３】
以上の機能を実現するための立体画像表示装置１２０を図２３に示す。この立体画像表示装置１２０は、ユーザからマルチプレクス画像の調整の指示を受け付ける調整指示取得部１２２と、その指示に応じた調整をマルチプレクス画像に施す調整部１２４と、調整後のマルチプレクス画像を表示する表示制御部１２６と、ユーザからの指示の受付を容易にするためのＧＵＩ１２８とを備える。
【００７４】
調整指示取得部１２２は、マルチプレクス画像に対し、上述の処理、例えばその画像を構成している画像データの並び替えや、適正位置への移動処理の指示を受け付ける。調整部は、指示を受けてマルチプレクス画像に対し処理を施す。
【００７５】
実施の形態３：
実施の形態３では、マルチプレクス画像を視差画像から合成する手法について述べる。図２４は、この合成手法を大略的に表した図である。表示ソフトウエアは、複数の視差画像をマルチプレクス画像に合成する作業を行うもので、ウインドウ上のボタン操作によってウインドウ内に表示されたマルチプレクス画像の合成の順番を変更するようにプログラムが組まれている。つまり、いま第１から第４の視差画像があり、画像合成時の合成順序が合成順（１、２、３、４）であれば、ボタン操作により合成順序は、１ずれて合成順（２、３、４、１）に変更される。また、別つのボタン操作では、合成順序は合成順（４、１、２、３）となる。ボタン操作を繰り返せば、この合成順序が順次変更可能である。
【００７６】
ボタン操作は、マウス操作によって行われ、合成順番を１ずらす毎に、観察位置での画像が見える領域がひとつづつずれていく。また、ウインドウ上には別のボタンがあり、合成画像の状態を、合成順（１，２，３，４）から（４，３，２，１）へ、逆にするようプログラムが組まれている。
【００７７】
これら２つの操作を組み合わせれば、正しい位置関係に調整することが容易となる。合成画像の合成順が異なる別の画像が表示される場合にも、再調整は容易である。
【００７８】
なお、合成順を逆する操作は、別のボタンではなく、合成順を変更するボタンで行われ、合成画像が合成順（１、２、３、４）、（２、３、４、１）、（３、４、１、２）、（４、１、２、３）、（４、３、２、１）、（３、２、１、４）、（２、１、４、３）、（１、４、３、２）の８種類の並びに変更されてもよい。
【００７９】
また、液晶パネルのように、３色の画素ＲＧＢで１つのピクセルが形成される場合は、第１の視差画像から第４の視差画像が、それぞれ合成画像と同じ画素数であれば、合成順（１、２、３、４）の１列目の画素は、第１の視差画像の１列目のＲ（赤）が選択される。これが１１１Ｒと表現されるとすると、図２５に示すように、画素は左から順に、１１１Ｒ、２２１Ｇ、３３１Ｂ、４４２Ｒ、５１２Ｇ、６２２Ｂ、７３３Ｒ、８４３Ｇ、９１３Ｂ…と表現される。８４３Ｇとは、「８列目の画素は、第４の視差画像の３列目のＧ（緑）が選択されている」ということである。そしてボタン操作により合成順（２、３、４、１）となったときは、選択される画素が変わり、左から順に、１２１Ｒ、２３１Ｇ、３４１Ｂ、４１２Ｒ、５２２Ｇ、６３２Ｂ、７４３Ｒ、８１３Ｇ、９２３Ｂ…となる。結果として、マルチプレクス画像が合成されるときは、各視差画像の１／４のみが使用される。他の状態についても同様である。
【００８０】
また、画像１から４があらかじめ水平方向に圧縮された画像で、４つ合わせて合成画像と同じ画素数となっている場合には、合成順（１、２、３、４）は、左から順に、１１１Ｒ、２２１Ｇ、３３１Ｂ、４４１Ｒ、５１１Ｇ、６２１Ｂ、７３１Ｒ、８４１Ｇ、９１１Ｂ…となる。そしてボタン操作により合成順（２、３、４、１）となったときは、左から順に、１２１Ｒ、２３１Ｇ、３４１Ｂ、４１１Ｒ、５２１Ｇ、６３１Ｂ、７４１Ｒ、８１１Ｇ、９２１Ｂ…のように並べ替えられる。他の状態についても同様である。
【００８１】
順番を逆にする操作では、画像１から４がそれぞれ合成画像と同じ画素数であれば、合成順（４、３、２、１）は、左から順に、１４１Ｒ、２３１Ｇ、３２１Ｂ、４１２Ｒ、５４２Ｇ、６３２Ｂ、７２３Ｒ、８１３Ｇ、９４３Ｂ…となる。
【００８２】
一方、水平方向に圧縮された画像の場合は、合成順（４、３、２、１）は、左から順に、１４１Ｒ、２３１Ｇ、３２１Ｂ、４１１Ｒ、５４１Ｇ、６３１Ｂ、７２１Ｒ、８１１Ｇ、９４１Ｂ…となる。
【００８３】
なお、２眼式の立体表示の場合は、画素の移動、ウインドウの移動、左右画像の順番の変更はいずれも効果が同じといえるので、２眼式のみの立体表示手段では、少なくともいずれか１つの機能が備わっていればよい。
【００８４】
上述の操作は、マウス操作で機能するウインドウ上のリストメニューから選択されるものや、キーボードのキー操作によるものや、リモコン操作によるものや、音声によるものであってもよい。
【００８５】
また、光学フィルタのような映像分離手段は画面の一部分ではなく、画面全体に配置されていてもよい。また、立体表示はウインドウ内ではなく、画面全体でなされてもよい。
【００８６】
また、映像分離手段は、パララックスバリア以外にもレンチキュラレンズなどの同様の効果を持つものであればいかなるものでもよい。
【００８７】
またさらに、映像分離手段は、図２６のようなマイクロポラライザを用いた偏光メガネ式の立体表示装置であってもよい。マイクロポラライザとは、１/２波長版をストライプ状に微細加工されたもので、これを液晶パネルの出射側偏光板の前面に配置することで、１行おきに偏光の角度を９０°変えるものである。そして左右で偏光の角度が９０°異なる偏光メガネをかけると、左右画像が分離して立体画像を見ることが可能となる。この例ではマイクロポラライザが水平方向に形成されているので、視差画像が行単位で表示され、画像の移動方向は上下方向となる。
【００８８】
また、垂直方向に視差を持つ多眼式立体画像などにおいても、上下方向の移動が必要となる。
【００８９】
実施の形態４：
通常、図２７のように、ビューア９２に表示された画像は、スクロールバー９０によりシフトされ、図２７（ａ）の表示状態から図２７（ｂ）の表示状態へ、表示される領域が移動する。
【００９０】
立体画像の場合、シフト量がピクセルを構成する画素数の整数倍であると、観察者が頭部位置を動かしていないにもかかわらず、観察される画像のペアが変化する。図２８は、視点数が２の場合のシフト量を示したものであり、画像中の数字は視点番号、つまり視差画像の番号を表しており、例えば、画素１Ｒは第１の視差画像のＲ要素を持つ画素が使用されていることを示している。ピクセルを構成する画素はＲＧＢの３であり、ここでは３画素シフトしている。そして、シフト後の視点番号１と２が入れ替わっており、観察者が移動していないと、正視と逆視が反転する。
【００９１】
この課題を克服する手法を以下に示す。シフト量は、画像の視点数にピクセルを構成する画素数を乗じた値の整数倍である。ここでは視点数が２で、ピクセルを構成する画素数は３である。したがって、シフト量は６の整数倍である。図２９は、６画素シフトされた状態を示している。視点番号１と２はシフトの前後で入れ替わっていない。そのため、このシフトが立体画像を見る際に影響をおよぼすことはない。視点数が増えても同じことがいえる。また垂直方向に視差をもつ立体画像でも同様である。
【００９２】
図３０に、上記の手法を実現する立体画像表示装置１４０を示す。立体画像表示装置１４０は、マルチプレクス画像を移動させるためのユーザからの指示を受け付ける移動指示取得部１４２と、受け取った指示に従いマルチプレクス画像を移動させる移動処理部１４４と、マルチプレクス画像を表示する表示制御部１４６と、スクロールバー９０などのオブジェクトをユーザに提示するＧＵＩ１４８とを備える。
【００９３】
移動指示取得部１４２は、スクロールバー９０による、ユーザからのシフト指示を受ける。その指示が水平方向のシフトに関するものであれば、移動処理部１４４が、ピクセルを構成する画素数と視差画像の数を乗じた量を単位として、マルチプレクス画像をシフトする。
【００９４】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００９５】
そのような変形例を説明する。前述の実施の形態においては、パララックスバリアがＬＣＤの画面の一部を覆う場合を例示したが、パララックスバリアがＬＣＤの画面全体を覆っている場合でも同様の処理が可能であることはいうまでもない。とくに、パララックスバリアがＬＣＤの画面全体を覆う場合は、ウインドウのスクロール時以外にも逆視を防止すべき状況が多数存在する。
【００９６】
たとえば、ウインドウを画面に表示する場合、他のウインドウとともに画面の一部に表示するマルチウインドウモードと、そのウインドウだけを画面全体に表示するフルスクリーンモードとがあり、ユーザがこれらのモード間で表示態様を変更することがある。また画像を拡大、縮小した際、自動的に画像を画面の中央付近に配置することがある。またパララックスバリアが画面全体にあるため、ウインドウの移動範囲が広がり、ユーザは様々な位置にウインドウを移動して立体視を行う可能性がある。このように表示態様が変更された場合、画像の再描画が必要となり、正常な立体視が可能なように描画開始位置を調整する必要が生じる。
【００９７】
再描画の際の適正な描画開始位置は、実施の形態１で説明したように、複数の候補がありうる。すなわち、最初の描画において適正な開始位置として記憶された位置だけでなく、その位置から、視点数にピクセルを構成する画素数を乗じた値の整数倍だけ離れた位置も同様に、適正な開始位置となる。実施の形態１に係る立体画像表示装置１０２の位置調整部１１２は、再描画の際、このような複数の適正な開始位置の一つを選んで描画位置を調整してもよい。たとえば、フルスクリーン表示に切り替えた際、適正な開始位置として、画面の端にできるだけ近い位置を選択する。またユーザがマウスなどによりウインドウをドラッグして適当な位置にウインドウを移動した際、適正な開始位置として、そのドラッグを解除した位置にもっとも近い位置を選択する。
【００９８】
なお、フルスクリーン表示の際、一般に適正な開始位置は画面の端からずれた位置となるため、画面の端部に画像が表示されない領域が生じる。その意味で厳密にはフルスクリーン表示とはならない。このような画面の端部における画素情報が欠落した領域については、非表示にしたり、背景色にしたり、あるいは補間により画素を補うなどの処理を行う。
【００９９】
図３１（ａ）〜（ｃ）は、パララックスバリアなどの光学フィルタに対する画像の適正な開始位置を説明する図である。ここでは視点数が４の場合を説明する。光学フィルタと画面の関係から各画素に表示されるべき視差画像の番号、すなわち視点番号が決まる。図３１（ａ）では、各画素に表示されるべき視点番号の列１５０に対して、適正な開始位置に描画された画像１５２が表示されている。画像１５２に合成されている視差画像の視点番号が、各画素に表示されるべき視点番号に一致するとともに各画素のＲＧＢ色も一致している。画像１５２の適正な描画開始位置は位置１６１であり、この位置から、視点数４にピクセルを構成する画素数３を乗じた値１２の整数倍だけ離れた位置も同様に適正な開始位置となる。この例では、画像１５２が位置１６１を開始位置として描画されており、これがフルスクリーン表示の場合、その位置より左に４画素分だけ画素が存在しない領域が生じる。
【０１００】
図３１（ｂ）では、光学フィルタと画面の位置関係が図３１（ａ）とは異なる。光学フィルタと画面の関係から決まる各画素に表示されるべき視点番号の列１５４に対して、図３１（ａ）と同じ画像１５２が適正な開始位置に描画される。この場合の画像１５２の適正な描画開始位置は位置１６３であり、この位置から１２の整数倍だけ離れた位置も適正な開始位置となる。ここでは画像１５２が位置１６３を開始位置として描画されており、フルスクリーン表示では、その位置より左に３画素分だけ画素が存在しない領域が生じる。
【０１０１】
図３１（ｃ）では、光学フィルタと画面の位置関係は図３１（ａ）と同一であるが、画像１５６に合成されている視差画像の視点の並びが図３１（ａ）とは異なる。各画素に表示されるべき視点番号の列１５０に対して、画像１５６が同図のように適正な開始位置に描画される。この場合の画像１５６の適正な描画開始位置は位置１６８であり、この位置から１２の整数倍だけ離れた位置も適正な開始位置となる。ここでは、画像１５６が位置１６８を開始位置として描画され、フルスクリーン表示では、その位置より左に５画素分だけ画素が存在しない領域が生じる。
【０１０２】
なお、上記の例では、ＲＧＢのいずれの画素に対しても適正な開始位置が定められたが、通常の画像ではＲＧＢがセットで扱われるため、適正な開始位置はＲの画素に対してのみ、１２画素ごとに存在するのが普通である。
【０１０３】
再描画の際、描画開始位置を調整するのではなく、画像を構成する視差画像の合成順序を変更して逆視が起きないように調整してもよい。ユーザがウインドウを移動したり、画像を拡大、縮小するなどにより、画像を再描画する必要性が生じた場合、その画像の位置は変えずに、視差画像の合成順を変更することによっても、同様の逆視の防止効果が得られる。
【０１０４】
図３２（ａ）では、光学フィルタと画面の位置関係から決まる各画素に表示されるべき視点番号の列１７０に対して、自由に移動された画像１７２が表示されている。この状態では、画像１７２に合成された視差画像の視点番号は、各画素に表示されるべき視点番号に一致しない。そこで画像１７２に合成された視差画像の順序を変更する。図３２（ｂ）は、視差画像の合成順が変更された画像１７４を示す。この画像１７４に合成された視差画像の視点番号は、各画素に表示されるべき視点番号に一致するとともに各画素のＲＧＢ色も一致している。視差画像の合成順を変更し、画素の並べ替えをする処理として、実施の形態３で述べた方法を利用することができる。
【０１０５】
【発明の効果】
立体画像を表示する際、調整が容易となる。
【図面の簡単な説明】
【図１】 実施の形態に係るビューアとＬＣＤに表示され、パララックスバリアがＬＣＤ上に貼付されている状態を示した図である。
【図２】 実施の形態に係るビューアとパララックスバリアが一致した状態を示した図である。
【図３】 実施の形態に係るビューアの別形態を示した図である。
【図４】 実施の形態に係る立体画像表示装置の構成図である。
【図５】 ウインドウ情報の保存処理の手順を示したフローチャートである。
【図６】 ウインドウ情報の読み込み処理の手順を示したフローチャートである。
【図７】 観察者と、適正位置関係にあるマルチプレクス画像とパララックスバリアの関係を示した図である。
【図８】 観察者と、適正位置関係にないマルチプレクス画像とパララックスバリアの関係を示した図である。
【図９】 観察者と、適正位置関係にないマルチプレクス画像とパララックスバリアの関係を示した図である。
【図１０】 パララックスバリアが液晶パネルの出射側に配置されている状態を示した図である。
【図１１】 実施の形態に係るビューアとパララックスバリアが一致している状態を示した図である。
【図１２】 実施の形態に係るビューアとパララックスバリアがずれている状態を示した図である。
【図１３】 画像表示領域を１画素移動さる方法を２例示した図である。
【図１４】 １２画素を１グループとして、画像表示領域を３画素移動させる方法を２例を示した図である。
【図１５】 視点数が８の場合の画像表示領域の移動の例を示した図である。
【図１６】 画像表示領域の移動の例を示した図である。
【図１７】 立体画像が観察される領域が右に１領域分移動する処理の手順を示したフローチャートである。
【図１８】 画像表示領域の移動の例を示した図である。
【図１９】 画像表示領域の移動の例を示した図である。
【図２０】 １２画素をグループにして画素の変換を行う際の処理の手順を示すフローチャートある。
【図２１】 画像表示領域のあるウインドウ位置を１ピクセル単位あるいは１画素単位で移動させる例を示した図である。
【図２２】 水平移動の処理の手順を示すフローチャートである。
【図２３】 実施の形態に係る立体画像表示装置の構成図である。
【図２４】 視点数が４のマルチプレクス画像の合成手法を簡易的に示した図である。
【図２５】 視点数が４のマルチプレクス画像を合成手順を示した図である。
【図２６】 マイクロポラライザと偏光メガネを用いた立体画像表示を示した図である。
【図２７】 スクロールバーにより、表示される領域がシフトする例を示した図である。
【図２８】 視点数が２の画像が３画素移動した例を示した図である。
【図２９】 視点数が２の画像が６画素移動した例を示した図である。
【図３０】 実施の形態に係る立体画像表示装置の構成図である。
【図３１】 パララックスバリアに対する画像の適正な開始位置を説明する図である。
【図３２】 パララックスバリアに対して配置された画像とその画像に合成された視差画像の順序を説明する図である。
【符号の説明】
１０ ビューア、 １１ ボタン、 １２ パララックスバリア、 １６ リストメニュー、 ５５ ビューア、 ５６ パララックスバリア、 ９０ スクロールバー、 １０２ 立体画像表示装置、 １０４ 位置書込部、 １０８ 記憶部、 １１０ 位置読取部、 １１２ 位置調整部、 １１４ 表示制御部、 １２０ 立体画像表示装置、 １２２ 調整指示取得部、 １２４ 調整部、 １２６ 表示制御部、 １４０ 立体画像表示装置、 １４２ 移動指示取得部、 １４４ 移動処理部。

Claims (3)

1. マルチプレクス画像を表示装置の画面に表示する表示工程と、
   前記マルチプレクス画像を前記画面上で移動させる移動工程とを含み、
   前記移動工程では、前記マルチプレクス画像の移動の単位量が、当該マルチプレクス画像を構成する異なる視差画像の数の整数倍に拘束される立体画像表示方法であって、
   前記マルチプレクス画像がウインドウ内に表示されるとき、前記単位量は、少なくともウインドウ内の前記マルチプレクス画像のスクロールに際して参照されることを特徴とする立体画像表示方法。
2. マルチプレクス画像を表示装置の画面に表示する表示工程と、
   前記マルチプレクス画像を前記画面上で移動させる移動工程とを含み、
   前記移動工程では、前記マルチプレクス画像の移動の単位量が、当該マルチプレクス画像を構成する異なる視差画像の数に前記マルチプレクス画像の表示単位の数を乗じた値の整数倍である立体画像表示方法であって、
   前記マルチプレクス画像がウインドウ内に表示されるとき、前記単位量は、少なくともウインドウ内の前記マルチプレクス画像のスクロールに際して参照されることを特徴とする立体画像表示方法。
3. マルチプレクス画像を画面上にて移動させるための指示を取得する移動指示取得部と、
   前記指示にしたがって前記マルチプレクス画像を移動させる移動処理部とを含み、
   この移動処理部は、前記マルチプレクス画像の移動の単位量をそのマルチプレクス画像を構成する異なる視差画像の数の整数倍に拘束して移動させる立体画像表示装置であって、
   画面内に前記マルチプレクス画像を表示するためのウインドウを表示するウインドウ表示部をさらに含み、前記移動処理部は、そのウインドウ内で前記マルチプレクス画像をスクロールさせる際に前記単位量による拘束を行うことを特徴とする立体画像表示装置。

Images