WO2012066627A1

WO2012066627A1 - 立体視画像を発生する方法および装置

Info

Publication number: WO2012066627A1
Application number: PCT/JP2010/070337
Authority: WO
Inventors: 博久三田; 暁冬王
Original assignee: リーダー電子株式会社
Priority date: 2010-11-16
Filing date: 2010-11-16
Publication date: 2012-05-24

Abstract

　表示装置で表示される立体視画像を発生する立体視画像発生装置を提供する。この立体視画像発生装置は、立体視画像を生成するのに使用するパラメータを設定するパラメータ設定ブロック（１２）と画像生成ブロック（１４）とを含む。パラメータ設定ブロック（１２）で設定するパラメータは、表示装置を目視する目視条件を定める第１のパラメータ（１２０）と、立体視画像の立体視の効果を定める第２のパラメータ（１２２）とを含む。画像生成ブロック（１４）は、パラメータ設定ブロックで設定されたパラメータにしたがって立体視画像を生成する。

Description

立体視画像を発生する方法および装置

　開示した実施形態は、立体視画像の発生に関し、特に、実際の目視条件において所望の立体視効果を生じさせる立体視画像を発生するための方法および装置に関するものである。

　従来、立体視画像の立体視の効果、例えば表示スクリーンに表示される画像のデプス（すなわち、スクリーン面に対し垂直の方向における画像の位置）を制御するため、スクリーンの幅に対する割合を使用して視差量を定め、この視差量を有するように立体視画像を構成する右目用画像と左目用画像を生成することが知られている。

　しかし、デプス等の立体視の効果は、画像を表示するスクリーンの幅だけでなく、その他の要因によっても変化する。したがって、従来のスクリーン幅に対する割合のみで視差量を指定すると、指定された視差量を有する立体視画像から知覚されるデプス等の立体視の効果は、実際の目視条件が変化すると変動してしまうという問題があった。

　以下に述べる種々の側面および実施形態は、装置、方法に関して記述し説明するが、これらは、単なる一例であって説明のためのものであり、したがって範囲限定を意味するものではない。種々の実施形態においては、上記の問題の１つまたはそれ以上が軽減または除去されるが、他の改良のために向けた他の実施形態もある。

　１実施形態によれば、表示装置で表示される立体視画像を発生する方法は、立体視画像を生成するのに使用するパラメータを受けるステップであって、前記パラメータが、前記表示装置を目視する目視条件を定める第１のパラメータと、前記立体視画像の立体視の効果を定める第２のパラメータとを含む、ステップと、受けた前記パラメータにしたがって前記立体視画像を生成するステップと、を含む。

　別の１実施形態によれば、前記立体視の効果を定める前記第２のパラメータは、立体視画像のデプスに関係したパラメータ、例えばデプスまたは輻輳角を含むことができる。

　さらに別の実施形態によれば、前記生成するステップは、前記立体視画像を少なくとも含む画像を発生し、前記前記立体視画像を少なくとも含む画像は、前記デプスに関係した数値の画像を含むこともできる。前記デプスに関係した数値の画像は、前記立体視画像に含めることもできる。また、前記立体視画像を少なくとも含む前記画像は、前記パラメータのうちの少なくとも１つの数値を含む平面画像を含むこともできる。

　さらに別の実施形態によれば、前記生成するステップは前記立体視画像を少なくとも含む画像を生成し、該立体視画像を少なくとも含む画像は、前記パラメータにしたがって生成した前記立体視画像と、特定のデプスを有する少なくとも１つの立体視画像とを含むこともできる。さらに、前記生成するステップは、前記パラメータにしたがって生成した前記立体視画像と、前記特定のデプスを有する少なくとも１つの立体視画像とを、それぞれのデプスにしたがって合成するステップを含むこともできる。前記特定のデプスを有する少なくとも１つの立体視画像は、デプスがゼロの立体視画像、およびデプスが無限遠の立体視画像のうちの少なくとも１つを含むことができる。

　また、別の実施形態によれば、前記第１のパラメータは、目視者の眼間距離、目視者の前記表示装置のスクリーンからの距離、前記スクリーンの幅とを含むことができる。また、前記第２のパラメータは、前記立体視画像の動きを定める動きパラメータを含むことができる。

　また、別の実施形態にしたがって、上述の方法をコンピュータに実行させるためのコンピュータ・プログラム、あるいは上述の方法をコンピュータに実行させるためのコンピュータ実行可能命令を格納したコンピュータ読み取り可能記憶媒体を提供する。

　また、さらに別の実施形態によれば、表示装置で表示される立体視画像を発生する立体視画像発生装置は、立体視画像を生成するのに使用するパラメータを設定するパラメータ設定手段であって、前記パラメータが、前記表示装置を目視する目視条件を定める第１のパラメータと、前記立体視画像の立体視の効果を定める第２のパラメータとを含む、パラメータ設定手段と、前記パラメータ設定手段で設定された前記パラメータにしたがって立体視画像を生成する画像生成手段と、を含む。

　さらに別の実施形態によれば、前記画像生成手段は、少なくとも１つの第１のソース画像を供給するソース画像供給手段と、前記パラメータから視差量を計算する計算手段と、第１の立体視画像を生成する立体視画像生成手段であって、前記第１の立体視画像が、少なくとも１つの前記第１のソース画像から生成されかつ計算された前記視差量を有する、立体視画像生成手段と、を含むことができる。さらに、前記ソース画像供給手段は、更に少なくとも１つの第２のソース画像を供給し、前記立体視画像生成手段は、さらに少なくとも１つの第２の立体視画像を生成し、前記少なくとも１つの前記第２の立体視画像の各々は、少なくとも１つの前記第２のソース画像から生成されかつ基準となる特定のデプスを有することができる。さらに、前記計算手段は、計算された前記視差量に対応するデプスを計算し、前記立体視画像生成手段は、計算された前記デプスに関係した数値を含む数値画像を生成する手段と、前記第１のソース画像に前記数値画像を含める合成手段と、を含むことができる。

　上記の例示的な実施形態および側面に加え、別の実施形態および側面も、図面を参照しまた以下の説明を検討することにより当業者には明らかとなる。

図１は、１実施形態による立体視画像発生装置を示す機能ブロック図である。図２は、スクリーン面を基準として立体像の位置が目視者に近い場合と目視者から遠い場合のそれぞれについて示す立体視原理図。図３は、第２の実施形態によるコンピュータ・ベースの立体視画像発生装置を示すブロック図。図４は、図３の立体視画像発生装置において実行される立体視画像生成処理のフローチャート。図５は、図４の立体視画像生成処理における目視条件の設定のためのインターフェースを示す図。図６は、図４の立体視画像生成処理において視差の設定のためのインターフェースを示す図。図７は、図４の立体視画像生成処理において図３の表示装置に表示される画面表示例を示す図。図８は、図４における立体視画像作成処理を詳細に示すフローチャート。図９（Ａ）は、実施形態による立体視画像の表示例を示し、図９（Ｂ）は、デプス数値画像を含む立体視画像の表示例を示す図。図１０は、図３の立体視画像発生装置において実行される立体視画像スクロール処理を示すフローチャート。図１０Ａは、ライン・スクロールとサークル・スクロールの処理において、スクリーン上での立体視画像の動きのパターンを示す図。図１１は、図１０の立体視画像スクロール処理におけるライン・スクロール設定処理の詳細を示すフローチャート。図１２は、図１０の立体視画像スクロール処理におけるサークル・スクロール設定処理の詳細を示すフローチャート。図１３は、図１０の立体視画像スクロール処理におけるスクロール再生処理の詳細を示すフローチャート。

　以下、種々の実施形態について詳細に説明する。

　図１は、１実施形態による立体視画像発生装置１０を示す機能ブロック図である。図示のように、この立体視画像発生装置１０は、パラメータ設定ブロック１２と、画像生成ブロック１４を備えている。詳細には、パラメータ設定ブロック１２は、目視条件パラメータ設定ブロック１２０と、立体視の効果を定める立体視効果パラメータ設定ブロック１２２と、立体視画像の動きを定める動きパラメータ設定ブロック１２４とを含む。

　ここで、図２に示す立体視原理図を参照して、それらパラメータについて説明する。目視条件パラメータには、目視者の左目と右目の間の距離、すなわち眼間距離Ｄｉｐｄと、立体視画像の表示に使用される表示装置のスクリーン幅Ｄｓｗと、目視者からそのスクリーンまでの距離すなわち目視距離Ｄｖｄが含まれる。立体視効果パラメータには、デプスに関係したパラメータが含まれる。ここで、デプスＤＥＰは、スクリーン面からこの面に垂直な方向における立体像の位置までの距離を表す。このデプスに関係したパラメータとしては、例えば、スクリーン上における左目用画像と右目用画像のズレ量を表すスクリーン視差ＤＩＳ、デプスＤＥＰ、あるいは輻輳角ＡＯＡが含まれる。動きパラメータには、立体視画像をある動きパターンで動かすときに使用するパラメータが含まれる。動きパターンとしては、例えば、直線状の動きであるライン・パターン（例えば、水平または垂直の直線状の動き）と、非直線状の動きである円形状の動きを示すサークル・パターンがある。動きパラメータは、そのようなパターンにおいて、立体視画像を動かすスクリーン上の空間的範囲（左右、上下または前後（デプス方向）を含む）、動きの速度、立体視画像のサイズの変化範囲（デプス方向に動くときの画像のサイズの変化、等を定める。

　この立体視画像発生装置１０では、立体視画像を表示する表示装置としては、陰極線管（ＣＲＴ）、液晶表示装置（ＬＣＤ）、プロジェクタ、映画館の映写装置（スクリーンを含む）等が含まれる。

　次に、パラメータ設定ブロック１２からの設定されたパラメータを受ける画像生成ブロック１４は、計算ブロック１４０と、立体視画像生成ブロック１４２と、平面画像生成ブロック１４４とを備えている。計算ブロック１４０は、パラメータ設定ブロック１２から受けたパラメータに基づいて、スクリーン視差量を計算する。

　この計算結果を受ける立体視画像生成ブロック１４２は、ソース画像供給ブロック１４２０と、デプス関係数値画像生成ブロック１４２２と、合成ブロック１４２４とを備えている。ソース画像供給ブロック１４２０は、立体視画像を構成する左目用画像と右目用画像とを生成するために使用する少なくとも１つの第１のソース画像と、基準デプス位置画像として使用する少なくとも１つの第２のソース画像を供給することができる。これらソース画像は、単一の平面画像で構成したり、あるいは左目用画像と右目用画像を含む１対の平面画像で構成することもできる。

　基準デプス位置画像とは、立体視表示する画像のデプス位置の基準として使用する画像を指し、例えば、スクリーン面の位置であるデプス０をもつ画像、無限遠のデプスをもつ画像の一方または双方を含むことができる。尚、デプス０と無限遠を基準としたが、その他のデプス位置を基準としてもよい。また、デプス０の基準デプス位置画像としては、背後が部分的に見える画像または背後が見えない画像を用いることができる。背後が見えない画像の場合には、デプス０より遠い立体視画像が存在するときには、その立体視画像が占める領域部分は透明とする。背後が部分的に見える画像の場合には、画面の一部を占める画像や、一部が透明な模様を用いることができる。画面の一部を占める画像としては、単独の絵（例えば、ドーナツ状の画像（ドーナツの中心側と外側の領域は透明））やロゴ等の文字（例えば、文字の部分は不透明）を使用することができる。また、一部が透明な模様としては、例えば格子模様があり、これは、複数の水平線と複数の垂直線が交差して構成されていて、それら線以外の空間部分は透明である。この透明の空間部分を有することにより、立体視画像がデプス０位置から正の数値のデプス位置（目視者からより遠くなる位置）に移動するときでも、その透明空間から格子の背後にある立体視画像を視認することが可能となる。したがって、背後が見える模様であれば、格子以外の任意の模様（例えば、白黒のチェッカーフラッグ（白い部分は透明））も使用することができる。さらに、無限遠の基準デプス画像としては、単一色で模様のないもの、すなわち無地を使用することができる。あるいはまた、無地であるが非単一色としたり、あるいはグレースケールを有するようにすることもできる。

　デプス関係数値画像生成ブロック１４２２は、計算ブロック１４０からのデプスに関係する数値を受けて、生成する立体視画像のデプスに関係する数値を示す画像を生成する。

　合成ブロック１４２４は、計算ブロック１４０からのスクリーン視差量と、ソース画像供給ブロック１４２０からの少なくとも１つの第１のソース画像を受けて、各々の第１ソース画像から左目用画像と右目用画像を生成する。このとき、左目用画像と右目用画像とには、上記スクリーン視差量に対応するズレ量をもたせることによって立体視効果を生成する。尚、第１ソース画像が単一の平面画像であるときには、左目用画像と右目用画像とは同じ画像となる。

　また、合成ブロック１４２４は、上記の第１ソース画像からの立体視画像に加えて、デプス関係数値画像及び基準デプス位置画像の一方または双方を生成することもできる。

　例えば、デプス関係数値画像を追加するときには、デプス関係数値画像生成ブロック１４２２は、計算ブロックからデプスに関係した数値、例えばデプスＤＥＰ数値を受け、そしてこの数値を表す数値画像を生成する。この数値画像を受ける合成ブロック１４２４は、１実施形態では、この数値画像を、ソース画像供給ブロック１４２０からの第１のソース画像と合成する。合成ブロック１４２４は、その数値画像が合成によって追加された第１ソース画像から、上述のように立体視画像を生成する。第１ソース画像が上述のように１対の左目用と右目用の画像からなるときは、その各画像に数値画像を合成によって追加することができる。このように、立体視画像自体にデプスに関係した数値を追加すれば、ユーザに対し、立体視画像のデプスに関係した数値情報をその立体視画像と一緒に提供することができる。これにより、ユーザは、立体視画像からほとんど目の視線や焦点をずらすことなくその数値情報を読み取ることができる。尚、デプスに関係した数値としては、デプスＤＥＰの代わりに輻輳角ＡＯＡやスクリーン視差を使用することもできる。

　また、基準デプス位置画像、例えばデプス０の基準デプス位置画像を追加するときには、合成ブロック１４２４は、ソース画像供給ブロック１４２０からデプス０の基準デプス位置画像として使用できる第２ソース画像を受け、そしてこの第２ソース画像から、上記のズレを有する１対の左目用と右目用の画像を生成する。この点は、第１ソース画像からの生成と同様である。ただし、この場合は、デプス０に対応するズレ量をそれら左目用画像と右目用画像にもたせる。次に、この第２ソース画像から生成した１対の左目用と右目用の画像を、第１ソース画像から生成した１対の左目用と右目用の画像のそれぞれ対応する画像と合成して、合成結果を表す左目用画像と右目用画像を生成する。デプス０の基準デプス位置画像を追加することにより、スクリーン面より前にあるのか後ろにあるのかが判別しやすくなり、したがってその他の表示された立体視画像の立体視効果が認識しやすくなる。

　さらに、無限遠の基準デプス位置画像を追加することもでき、このときも、デプス０の基準デプス位置画像と同様に合成すれば良い。この無限遠の画像も、立体視画像の立体視効果を認識しやすくする。

　さらに、図１の立体視画像発生装置１０においては、前述のように、立体視画像の動きを動きパラメータ設定ブロック１２４によって設定することができる。このため、動きパラメータが設定されたときには、計算ブロック１４０は、設定された動きにしたがって視差量、立体視画像を表示する位置やサイズ等を計算する。これとともに、合成ブロック１４２４は、設定された動きパラメータにしたがって立体視画像を表示させる位置、立体視画像のサイズ、視差量に対応した左目用画像と右目用画像との間のズレ量を変化させる。これによって、立体視画像を、静止した状態で表示するだけでなく、動く状態でも表示することができる。これにより、動く状態での立体視画像の立体視効果を確認することができる。

　図１の立体視画像発生装置１０の画像生成ブロック１４は、さらに平面画像生成ブロック１４４も備えている。この平面画像生成ブロック１４４は、計算ブロック１４０からの計算結果、並びにパラメータ設定ブロック１２からの設定パラメータを受け、そして平面画像の形式でそれら受けたパラメータのうちの任意のものあるいはその計算結果を表示するための平面画像を生成する。これにより、種々の立体視画像の関連するパラメータあるいは数値の情報をユーザに提供することができる。

　尚、立体視画像生成ブロック１４２が発生する立体視画像と、平面画像生成ブロック１４４が発生する平面画像とは、互いに合成した後に表示装置に供給してもよいし、あるいは表示装置において合成するようにしてもよい。

　ここで、立体視効果に関する関係式は以下の通りである。

　ここで、Ｄｉｐｄは眼間距離、Ｄｓｗはスクリーン幅、Ｄｖｄは目視者からそのスクリーンまでの距離すなわち目視距離、Ｐｓはドット数で示したスクリーン幅である。また、ＤＩＳｐｅｒは視差量をスクリーンに対する割合で示す百分率視差量、ＤＩＳｄｏｔは、視差量をスクリーンのドット数で示したドット数視差量、ＤＩＳｃｍは、視差量をスクリーン上の幅（ｃｍ）で示すスクリーン幅視差量、ＤＥＰはデプス、ＡＯＶは輻輳角である。本実施形態では、上記の式、あるいは上記の式を変形して使用する。

　次に、図３を参照して、第２の実施形態によるコンピュータ・ベースの立体視画像発生装置３０について説明する。図示のように、立体視画像発生装置３０は、コンピュータの一般的な構成である、キーボードやマウスのような入力装置３００，プロセッサ３０２，ハードディスクやＲＯＭのような不揮発性メモリやＲＡＭ等の揮発性メモリで構成された記憶装置３０４、並びにＬＣＤあるいはＣＲＴのような表示装置３０６を備えている。この立体視画像発生装置３０は、上述した立体視画像を生成するためのプログラムを格納しており、そしてこのプログラムを実行することによって上述のような立体視画像を生成することができる。

　図４は、そのプログラムで実行される立体視画像生成処理のフローチャートを示す。図示のように、このフローは、最初のステップ４００において、本処理において使用する種々のパラメータ等を保存するために使用するバッファの初期化を行う。このバッファは、図３の記憶装置３０４の一部において実現できる。次に、ステップ４０２で、この立体視画像生成において使用するユーザ・インターフェースを初期化する。次に、ステップ４０４においてスタンバイ状態となり、種々のイベントに関するユーザからの入力を待つ。イベントとしては、パラメータ設定、ターゲット設定、立体視画像作成設定、ターゲット設定修正、入出力（Ｉ／Ｏ）、終了のイベントがある。パラメータ設定イベントは、立体視画像生成のためのパラメータを設定する処理に関しており、そのパラメータには、目視条件パラメータ、立体視効果パラメータが含まれる。ターゲット設定イベントは、立体視画像の生成に使用するソース画像を選択する処理に関しており、本実施形態では、予め用意した複数のソース画像（ユーザが作成した画像を含む）のうちの特定の１つを、「ターゲット」、すなわち立体視効果を付与する対象画像として選択する。立体視画像作成設定イベントは、ターゲットから立体視画像を作成する処理に関している。ターゲット設定修正イベントは、一旦設定したターゲット設定を修正する処理に関するものである。Ｉ／Ｏイベントは、立体視画像生成に関する入出力処理に関するものである。

　次に、各種のイベントについて詳細に説明する。まず初めに、パラメータ設定イベントについて説明すると、ステップ４１０において、パラメータ設定イベントを選択する入力があると、ステップ４１２において、パラメータ設定のためのインターフェースを初期化し、次にステップ４１４で、ユーザからの入力を受けて設定を行う。

　図５は、目視条件の設定のためのインターフェースを図示している。目視条件設定画面５００においては、眼間距離ＩＰＤ、目視距離、スクリーン幅の値が、ユーザにより入力される。尚、図示していないが、表示装置のスクリーン全体を立体視画像の表示に使用しない場合には、立体視画像の表示に使用するスクリーンの一部の領域（例えば、矩形の領域）を「バックグラウンド領域」として定めてその幅を設定する。この場合には、バックグラウンド領域の幅が、目視条件の１つであるスクリーン幅として使用する。

　図４に戻って、上記の設定が完了すると、ステップ４１４からステップ４１６に進み、完了した設定を保存しない場合にはステップ４０４に戻り、そして保存する場合にはステップ４１８に進み、ここで、バッファを更新することにより設定を保存する。次に、ステップ４２０に進んで、表示画面を更新した後、ステップ４０４に戻って待機する。

　次に、ターゲット設定イベントについて説明すると、ステップ４３０でターゲット設定イベントを選択する入力があると、ステップ４３１で、立体視効果を付与するターゲットとして使用するソース画像を選択する。ソース画像としては、例えば、時計、地球、蝶々、土星、バイク等の画像がある。次に、ステップ４３２において、選択したターゲットを表示するスクリーン位置を設定する。次に、ステップ４３３で、視差設定インターフェースを初期化する。次にステップ４３４で、視差設定を行う。

　図６は、視差の設定のためのインターフェースを図示している。視差設定画面６００においては、立体視画像をスクリーンを基準としてユーザに近い側に表示するか、あるいは遠い側に表示するか選択する。また、ユーザは、立体視効果パラメータを設定するためには、スクリーン視差、デプスあるいは輻輳角の３つのパラメータのうちのいずれか１つのパラメータを設定すればよい。ここで、スクリーン視差は、前述した百分率視差量、スクリーン幅視差量、あるいはドット数視差量のうちの任意の１つで指定することができる。スクリーン視差として例えば百分率視差量が設定されると、スクリーン視差の残りのパラメータだけでなく、デプスと輻輳角も、計算によって求めることができ、したがって、その計算結果が視差設定画面６００に表示される。このように、ユーザは、スクリーン視差、デプスあるいは輻輳角のいずれかで視差設定をすることができるため、立体視効果のうちユーザが注目するパラメータのみを操作するだけで設定を行うことができる。

　ステップ４３４において設定が完了すると、次のステップ４３５で設定を保存しないと判定したときにはステップ４０４に戻り、保存すると判定したときには、ステップ４３６に進んで、設定されたパラメータをバッファの更新によって保存する。この後、ステップ４２０で表示を更新した後に、ステップ４０４に戻る。

　図７は、上記のターゲット設定イベントが完了した時点での表示装置３０６に表示される画面７００を示している。この画面７００は、立体視画像が表示される矩形領域であるバックグラウンド領域７０２中に７つのターゲット（時計、地球、蝶々、バイク、土星、仏像等）が表示されている。このバックグラウンド領域の下にある領域７０４は、目視条件パラメータ等を表示し、その内容は、表１に示す。

　この領域７０４の右の領域７０６は、バックグラウンド領域７０２に表示された各々のターゲットに関する立体視効果パラメータを表示し、その内容の一部を表２に示す。

　尚、表２の視差量は、ドット数視差量で示しているが、スクリーン幅視差量(cm), 百分率視差量(%)、デプス(cm)、輻輳角(度)で表してもよい。また、バックグラウンド領域７０２の右の領域７０８には、バックグラウンド領域７０２の表示された画像のフォーマット変換後のサムネイル画像が表示されている。この画像のフォーマットの例としては、左右独立画像、アナグリフ、コンバージェンス、ライン・バイ・ライン、サイド・バイ・サイド等のフォーマットがある。

　次に、立体視画像作成設定イベントについて説明すると、ステップ４４０でこのイベントを選択する入力があると、ステップ４４２で立体視画像作成処理を実行し、そしてその後ステップ４２０を経た後にステップ４０４に戻る。ステップ４４２での立体視画像作成処理については、図８を参照して後述する。

　次に、ターゲット設定修正イベントについて説明すると、ステップ４６０でこのイベントを選択する入力があると、ステップ４６１で、修正するターゲットを選択し、そしてステップ４６２で設定を修正すると判定したときにはステップ４６４～４６７に進み、ターゲットを削除すると判定したときにはステップ４６８に進む。まず、設定の修正のときには、ステップ４６４で、図６に示す視差設定インターフェースを初期化し、そしてステップ４６５で新たな設定を受け入れ、次に、この設定を保存しないときにはステップ４０４に戻り、設定を保存するときにはステップ４６７でバッファを更新することによって行う。一方、ターゲットの削除のときには、ステップ４６８でターゲットの削除に対応してバッファを更新して保存を行う。このステップ４６８と４６７の次には、ステップ４２０を経てステップ４０４に戻る。

　次に、ステップ４７０でＩ／Ｏイベントが選択されたときには、ステップ４７２で入出力処理を実行する。ここで、入力処理のときには、パラメータ設定や立体視画像データの入力を受けることができる。出力処理のときには、設定されたパラメータや、生成された立体視画像データあるいはこの立体視画像データのフォーマット変換されたデータを出力することができる。例えば、立体視画像データは、左右独立画像、アナグリフ、コンバージェンス、ライン・バイ・ライン、サイド・バイ・サイドのフォーマットで出力することができる。この処理が終了すると、ステップ４２０を経てステップ４０４に戻る。

　最後に、終了イベントがステップ４８０で選択されると、このフローを出て、立体視画像生成は終わる。

　次に、図８を参照して、図４のステップ４４２の立体視画像作成処理について詳細に説明する。先ずステップ８００で、生成する立体視画像の背景として使用する背景画像をビデオメモリにおいて描く。この背景画像として、例えばデプスが無限遠で、かつ単一色で無地の画像を用いる。次に、ステップ８０２で、バッファ内に含まれる全てのターゲットを、デプス方向順で整列させる。このデプス方向順は、例えば、目視者に近い方から遠い方に向かう順序であるが、ただしその逆にすることも可能である。

　次に、ステップ８０４において、スクリーンを基準にして目視者に近い方のターゲット画像のすべてをビデオメモリにおいて描画したか否か判定し、ＮＯのときには、近い方のターゲット画像から順番にステップ８０６と８０８において、ターゲットの左目用画像と右目用画像とをビデオメモリにおいて描画する。このとき、ターゲットとして選択した特定のソース画像から、設定されたスクリーン視差をもつ左目用と右目用の画像を生成してビデオメモリにおいて描画する。また、ターゲット画像にデプス関係数値画像を追加するときには、これらステップ８０６、８０８において、設定されたパラメータから計算されたデプス関係数値を表す画像を左目用と右目用の画像に追加する。その後、ステップ８０４に戻り、そしてこのループを、近い方のターゲット画像全ての左目用と右目用の画像がビデオメモリにおいて描画されるまで繰り返す。表２の例で言えば、ターゲット１，ターゲット２、ターゲット３の順番で描画される。次に、ステップ８１０で、基準デプス位置画像、すなわちデプス０を有する格子模様をビデオメモリにおいて描画する。この格子画像は、デプス０なのでスクリーン視差は０となる。次のステップ８１２～８１６は、ステップ８０４～８０８と同様の処理を行うが、但し、目視者から遠い方のターゲット画像のすべてをビデオメモリにおいて描画する。

　図９（Ａ）は、本実施形態による立体視画像の表示例を示している。この例では、無限遠の無地の画像９００と、デプス０の格子画像９０２と、スクリーンよりも目視者に近い方のデプスを有するサッカーボール９０４を示している。尚、サッカーボールは、左目用と右目用の画像が図示されている。デプス０の格子画像は、ボールのデプス、特に正と負のデプスの違いを認識しやすくする。また、無限遠の画像は、奥行き感覚の形成に役に立つ。

　図９（Ｂ）は、同じサッカーボールを示しているが、この場合、サッカーボールは、デプスがプラスとなって格子の背後にある。さらに、この例では、参照番号９０６で指示するデプス数値「＋１．２２」（単位はｃｍ）が表示されていて、サッカーボールのデプス情報を提供している。これにより、ボールの見え方とそのときのデプス値とを、目の視線や焦点を大きくずらさずに把握することができる。尚、図９（Ｂ）では、左目用と右目用の画像の間のズレの量は小さいため、単一の画像として見えている。尚、上述したように、このデプス数値の代わりに、輻輳角やスクリーン視差を使用することもできる。

　次に、図１０を参照して、選択した動きパターンで立体視画像を動かすための立体視画像スクロール処理のフローチャートを示す。この処理は、図３の立体視画像発生装置３０で実行される。図示のように、このスクロール処理は、ステップ１０００で、スクロール用のバッファを初期化する。このバッファも図３の記憶装置３０４の一部で実現される。次にステップ１００２で、スクロールのためのユーザ・インターフェースを初期化し、そしてステップ１００４でスタンバイ状態となり、種々のイベントに関するユーザからの入力を待つ。スクロールに関するイベントとしては、パラメータ設定、ライン・スクロール設定、スクロール・イベント、サークル・スクロール設定、Ｉ／Ｏ、終了のイベントがある。パラメータ設定イベントは、立体視画像生成のためのパラメータを設定する処理に関して、図４の立体視画像生成処理におけるパラメータ設定イベントと同じであるが、但し目視条件パラメータの設定のみである。ライン・スクロール設定イベントは、立体視画像を直線状（上下、左右、又は前後）に動かすためのパラメータを設定する処理に関しており、サークル・スクロール設定インターフェースは、立体視画像をサークル状に動かすためのパラメータを設定する処理に関している。図１０Ａには、ライン・スクロールの例として、水平（または左右）方向の動き１０８０と、垂直（または上下）方向の動き１０８２を示している。尚、前後方向（又はデプス方向）の動きは図示していない。またこの図には、サークル・スクロールの例として、楕円の動き１０８４を示している。尚、本実施形態では、非直線状の動きの例としてサークル、例えば楕円を示すが、その他の非直線の動きを採用することもできる。スクロール・イベントは、スクロールを実行する処理に関している。Ｉ／Ｏイベントは、立体視画像のスクロールに関する入出力処理に関するものである。

　次に、各種のイベントについて詳細に説明する。まず初めに、パラメータ設定イベントについて説明すると、ステップ１０１０～１０１８で実行されるこのイベントは、図４の立体視画像生成処理におけるパラメータ設定イベント（ステップ４１０～４１８）と同じであり、したがって説明を省略する。このイベントが完了すると、ステップ１００４に戻って、ユーザからの入力を待つ。

　次に、ライン・スクロール設定イベントを選択する入力があると、ステップ１０２０からステップ１０２２に進み、このステップで、ライン・スクロール設定インターフェースを初期化し、そしてステップ１０２４で、その設定を行う。このライン・スクロール設定処理の詳細は、図１１を参照して後述する。次のステップ１０２６では、ステップ１０２４で行われた設定を保存しないときはステップ１００４に戻り、保存するときにはステップ１０２８でバッファを更新することにより実行する。この後ステップ１００４に戻る。

　同様に、サークル・スクロール設定イベントを選択する入力があると、ライン・スクロール設定のときと同様にして、ステップ１０３０からステップ１０３２に進んで、サークル・スクロール設定インターフェースを初期化し、次のステップ１０３４で設定を行う。この設定処理は、図１２を参照して後述する。次にステップ１０３６で設定保存の要否を判定した後、保存するときにはステップ１０３８に進んでバッファを更新することにより保存を行い、そしてこの後にステップ１００４に戻る。

　次に、Ｉ／Ｏイベントが選択されたときには、ステップ１０５０からステップ１０５２に進んで入出力処理を実行する。この入出力処理は、図４のステップ４７２の入出力処理と同様に、パラメータ設定や立体視画像データの入出力を行うことがきる。この処理が終了すると、ステップ１００４に戻る。

　次に、スクロール開始イベントが選択されると、ステップ１０４０からステップ１０４２に進み、スクロールを停止する場合を除きステップ１０４４に進んで、スクロール再生処理を実行する。このスクロール再生処理については、図１３を参照して後述する。この処理の後、ステップ１０４２に戻って、スクロールを停止する入力があるまで、スクロール再生処理を繰り返し実行し、そして停止入力があると、ステップ１００４に戻る。

　最後に、終了イベントが選択されると、ステップ１０６０から本フローを出て終了する。

　次に、図１１を参照して、図１０のステップ１０２４のライン・スクロール設定処理の詳細を説明する。まず最初のステップ１１００において、動きの開始位置を、水平位置と垂直位置で設定する。スクリーンの左端と右端は、０％と１００％の値で指定され、したがってスクリーンの中央位置は５０％の値で指定される。また、前後方向（デプス方向）の開始位置は、スクリーン面位置の固定値である。次のステップ１１０２で、水平方向の動き（図１０Ａの１０８０）を、スピードと移動方向とを設定することにより行う。スピードは、単位時間あたりに移動するドット数で指定し、移動方向は左から右へまたは右から左へのいずれかを選択する。尚、水平方向の動きを設定しない場合には、このステップをパスすることができる。次にステップ１１０４では、垂直方向の動き（図１０Ａの１０８２）を、そのスピードと移動方向とを設定することにより行う。スピードは、単位時間あたりに移動するドット数で指定し、移動方向は上から下へまたは下から上へのいずれかを選択する。尚、垂直方向の動きを設定しない場合には、このステップをパスすることができる。次にステップ１１０６では、前後方向の動きの設定を、そのスピードと、移動方向と、視差の変化範囲と、サイズの変化範囲とを指定することにより行う。詳しくは、スピードは、スクリーン視差が単位時間当たりに変化するドット数を指定することにより設定する。この視差の変化量が前後方向の移動スピードを決める。また、移動方向は、後（又は遠）から前（又は近）あるいは前から後のいずれかを選択することにより設定する。視差の変化範囲は、最も前の時（「最前時」）の視差と、最も後ろまたは奥の時（「最奥時」）の視差とを設定することにより指定する。最前時の視差と最奥時の視差は、スクリーン視差、デプス、輻輳角のいずれか１つで設定することができる。いずれか１つを設定すると、残りのパラメータは自動計算で求められる。サイズの変化範囲も、最前時のサイズと最奥時のサイズとを設定することにより指定する。尚、前後方向の動きを設定しない場合は、このステップをパスすることができる。尚、本実施形態では、スピードを設定するための単位時間として、表示のためのフレーム周期を使用している。

　次に、図１２を参照して、図１０のステップ１０３４のサークル・スクロール設定処理の詳細を説明する。最初のステップ１２００において、本実施形態では楕円軌道の動き（図１０Ａの１０８４）を定めるため、水平方向の半径と垂直方向の半径とを指定する。尚、楕円の動きの上下左右方向は、左上の位置から右下の位置への動きに固定している。次のステップ１２０２で、スピードを、単位時間当たりに変化する角度で指定する。次に、ステップ１２０４において、前後方向の視差の変化範囲を設定する。この設定は、図１１のステップ１１０６と同じである。

　次に、図１３を参照して、図１０のステップ１０４４のスクロール再生処理の詳細を説明する。まず最初のステップ１３００において、背景画像をビデオメモリにおいて描く。本実施形態では、無限遠のデプスで単一色で無地の画像（例えば、図９の画像９００）をビデオメモリにおいて描く。次のステップ１３０２では、現在のフレームにおけるターゲット画像（例えば、図９に示すサッカーボール９０４）の視差、位置等を計算する。水平方向と垂直方向のライン・スクロールでは位置は変化するが視差は変化せず、前後方向のライン・スクロールでは位置は変化しないが視差とサイズが変化する。サークル・スクロールでは、視差と位置の双方の変化に加えてサイズも変化する。次にステップ１３０４で、ターゲット画像が、スクリーン面を基準にして「近」（すなわち、デプス値が０または負）か「遠」（すなわちデプス値が正）を判定し、ＹＥＳの場合すなわちターゲット画像が「近」の場合、ステップ１３０６，１３０８，１３１０で、デプス０の基準デプス位置画像（本実施形態では格子画像（例えば、図９の格子９０２））、左目用のターゲット画像、右目用のターゲット画像の順にビデオメモリにおいて描く。一方、ステップ１３０４においてＮＯの場合、ステップ１３１２，１３１４，１３１６で、左目用のターゲット画像、右目用のターゲット画像、デプス０の基準デプス位置画像の順にビデオメモリにおいて描く。

　次に、ステップ１３２４で、スクロール停止のユーザ入力があるかどうか判定し、ＮＯのときにはステップ１３００に戻って、次のフレームに対し上記の処理を繰り返し、そしてＹＥＳのときにはこの処理を終了する。

　以上に述べたスクロール処理により、ユーザは、スクリーン上の異なった位置において表示される立体視画像から所望の立体視効果が得られるかどうかを確認することが可能となる。例えば、図１０Ａの１０８０のような水平方向スクロールを行えば、スクリーンの水平方向における連続した位置（左側、中央、右側を含む）での見え方を確認できる。さらに、この水平方向スクロールを、スクリーンの上側、中央、または下側で行うことにより、スクリーンの上下方向における異なった位置での確認も行うことができる。また、図１０Ａの１０８２のような垂直方向スクロールを用いれば、スクリーンの垂直方向における連続した位置（中央、上端、下端を含む）での見え方を確認でき、さらにまたこの垂直スクロールをスクリーンの左側、中央、右側で行えば、スクリーンの水平方向における異なった位置での確認も行える。また、前後方向のスクロールを用いれば、前後方向の連続した位置において立体視効果を確認でき、さらに、スクリーン上の水平または垂直方向の異なった位置で行うことにより、スクリーン上のあらゆる位置における前後方向の立体視効果の確認を行える。さらに、図１０Ａの１０８４のようなサークル・スクロールを用いると、水平方向、垂直方向、前後方向の動きが組合わさったときの軌道における連続した位置での立体視効果を確認することもできる。

　以上に説明した図３の実施形態においては、ハードウェアとしてのコンピュータとソフトウェアとで本実施形態を実現している。しかし、本実施形態は、立体視画像を生成する専用のハードウェア装置として実施することもできる。また、本実施形態は、コンピュータ・プログラムとしてあるいはコンピュータ読み取り可能記録媒体として実施することもできる。

　以上、種々の例示的な側面および実施形態について詳述したが、当業者には、種々の変更、置換、追加、サブコンビネーションが認識される。したがって、添付の請求の範囲に記載した請求項および将来請求の範囲に含めることのある請求項の解釈は、真の要旨および範囲内にあるものとしてのあらゆるそのような変更、置換、追加、サブコンビネーション等もそれら請求項が包含するもの、としてなされるよう意図している。

Claims

　表示装置で表示される立体視画像を発生する方法であって、
　立体視画像を生成するのに使用するパラメータを受けるステップであって、前記パラメータが、前記表示装置を目視する目視条件を定める第１のパラメータと、前記立体視画像の立体視の効果を定める第２のパラメータとを含む、ステップと、
　受けた前記パラメータにしたがって前記立体視画像を生成するステップと、
を含む、立体視画像発生方法。
　請求項１記載の方法において、
　前記立体視の効果を定める前記第２のパラメータは、立体視画像のデプスに関係したパラメータを含む、
方法。
　請求項２記載の方法において、前記デプスに関係したパラメータは、デプスまたは輻輳角である、
方法。
　請求項３記載の方法において、
　前記生成するステップは、前記立体視画像を少なくとも含む画像を発生し、
　前記前記立体視画像を少なくとも含む画像は、
　前記デプスに関係した数値の画像を含む、
方法。
　請求項４記載の方法において、
　前記デプスに関係した数値の画像は、前記立体視画像に含まれる、
方法。
　請求項４から５のいずれかに記載の方法において、
　前記立体視画像を少なくとも含む前記画像は、前記パラメータのうちの少なくとも１つの数値を含む平面画像を含む、
方法。
　請求項１～６のいずれかに記載の方法において、
　前記生成するステップは、前記立体視画像を少なくとも含む画像を生成し、
　前記立体視画像を少なくとも含む画像は、
　前記パラメータにしたがって生成した前記立体視画像と、特定のデプスを有する少なくとも１つの立体視画像とを含む、
方法。
　請求項１に記載の方法において、
　前記生成するステップは、前記立体視画像を少なくとも含む画像を生成し、
　前記立体視画像を少なくとも含む画像は、前記パラメータにしたがって生成した前記立体視画像と、特定のデプスを有する少なくとも１つの立体視画像とを含む、
方法。
　請求項８に記載の方法において、
　前記生成するステップは、
　前記パラメータにしたがって生成した前記立体視画像と、前記特定のデプスを有する少なくとも１つの立体視画像とを、それぞれのデプスにしたがって合成するステップを含む、
方法。
　請求項９記載の方法において、
前記特定のデプスを有する少なくとも１つの立体視画像は、デプスがゼロの立体視画像、およびデプスが無限遠の立体視画像のうちの少なくとも１つを含む、
方法。
　請求項１から１０のいずれかに記載の方法において、
　前記第１のパラメータは、目視者の眼間距離、目視者の前記表示装置のスクリーンからの距離、前記スクリーンの幅とを含む、
方法。
　請求項１１に記載の方法において、
　前記第２のパラメータは、前記立体視画像の動きを定める動きパラメータを含む、
方法。
　請求項１２に記載の方法において、
　前記動きパラメータは、前記立体視画像の直線的な動きのパターンまたは非直線的な動きのパターンを定める、
方法。
　請求項１３に記載の方法において、
　前記動きパラメータは、動きの速度を定めるパラメータを少なくとも含む、
方法。
　請求項１から１４のいずれかに記載の方法をコンピュータに実行させるためのコンピュータ・プログラム。
　請求項１から１４のいずれかに記載の方法をコンピュータに実行させるためのコンピュータ実行可能命令を格納したコンピュータ読み取り可能記憶媒体。
　表示装置で表示される立体視画像を発生する立体視画像発生装置であって、
　立体視画像を生成するのに使用するパラメータを設定するパラメータ設定手段であって、前記パラメータが、前記表示装置を目視する目視条件を定める第１のパラメータと、前記立体視画像の立体視の効果を定める第２のパラメータとを含む、パラメータ設定手段と、
　前記パラメータ設定手段で設定された前記パラメータにしたがって立体視画像を生成する画像生成手段と、
を含む、立体視画像発生装置。
　請求項１７記載の装置において、
　前記画像生成手段は、
　少なくとも１つの第１のソース画像を供給するソース画像供給手段と、
　前記パラメータから視差量を計算する計算手段と、
　第１の立体視画像を生成する立体視画像生成手段であって、前記第１の立体視画像が、少なくとも１つの前記第１のソース画像から生成されかつ計算された前記視差量を有する、立体視画像生成手段と、
を含む、立体視画像発生装置。
　請求項１８に記載の装置において、
　前記ソース画像供給手段は、更に少なくとも１つの第２のソース画像を供給し、
　前記立体視画像生成手段は、さらに少なくとも１つの第２の立体視画像を生成し、前記少なくとも１つの前記第２の立体視画像の各々は、少なくとも１つの前記第２のソース画像から生成されかつ基準となる特定のデプスを有する、
立体視画像発生装置。
　請求項１９に記載の装置において、
　前記計算手段は、計算された前記視差量に対応するデプスに関係した数値を計算し、
　前記立体視画像生成手段は、
　計算された前記デプスに関係した数値を含む数値画像を生成する手段と、
　前記第１のソース画像に前記数値画像を含める合成手段と、
を含む、立体視画像発生装置。
　請求項２０に記載の装置において、
　前記合成手段は、
　前記第１の立体視画像と前記第２の立体視画像とを合成する、
立体視画像発生装置。