以下、図面を参照して本発明の実施の形態を説明する。
図1は、本発明による立体画像表示装置の第1の実施形態の構成例を示す図である。
まず、入力画像データが2つの場合について説明する。
本発明における第1の実施形態の立体画像表示装置は、左右眼別の画像データを入力として立体画像データを作成する立体画像作成手段1と、左右眼別の画像データのどちらか一方のデータから平面画像を作成する平面画像作成手段6と、入出力する画像データを切り替えるためのスイッチ11,12,13,14と、それらのスイッチを、左右眼別の画像データ(左眼用画像データL,右眼用画像データR)を用いて立体表示を行うか平面表示を行うかを示す表示モード情報M1に合わせて制御するスイッチ制御手段10と、立体画像作成手段1又は平面画像作成手段6で作成された画像もしくは入力画像をそのまま格納するフレームメモリ2と、立体表示と平面表示が可能であり、表示モード情報M1に応じてフレームメモリ2の画像データを立体画像として、もしくは平面画像として表示する表示手段3と、立体画像表示の際に、立体画像の表示時間を計測する時間計測判定手段4と、立体画像の表示時間が所定の時間を超えた場合、立体画像作成手段1に左右眼別の画像の視差を調整して立体画像を作成することを指示する視差制御手段5から構成されている。表示モード情報M1については後述する。
また、上記表示手段3は、左右眼別の画像(2視点の画像)を表示する2眼式の表示手段とする。
以下、本発明の第1の実施形態について詳細に説明する。
入力画像A1として左眼用画像データLが、入力画像A2として右眼用画像データRが、外部から装置に入力される。また、外部から表示モード情報M1がスイッチ制御手段10に入力される。ここで表示モード情報M1について説明する。表示モード情報M1には、立体画像表示モード(あるいは立体表示モード)、左眼用平面画像表示モード(あるいは左眼用平面モード)、右眼用平面画像表示モード(あるいは右眼用平面表示モード)、入力画像スルー表示モード(あるいはスルー表示モード)の4種類があり、本装置は入力された表示モード情報M1に合わせて、立体画像表示及び、左眼用画像を用いた平面画像表示、右眼用画像を用いた平面画像表示、入力画像をそのまま平面表示する入力画像スルー表示のそれぞれを切り替える。表1に表示モード情報M1の値とモード名及び各モードで表示される画像をまとめる。
まず、表示モード情報M1が入力画像スルー表示モードである場合の本表示装置の動作について説明する。この場合、例えば入力画像A1をスルー表示する。スイッチ制御手段10は、スイッチ11と12をオフにして、入力画像A1がスルーで、フレームメモリ2に接続されるようにスイッチ13とスイッチ14をそれぞれ切り替える。入力画像A1が、スイッチ13,14を通してフレームメモリ2に書き込まれる。フレームメモリ2から入力画像A1が表示手段3に入力される。表示手段3は入力画像A1を平面表示する。また、入力画像A1の代わりにA2を用いてもよく、どちらの入力画像を使用するかを任意に設定できるようにしてもよい。
次に、表示モード情報M1が左眼用平面画像表示モードである場合の本表示装置の動作について説明する。スイッチ制御手段10は、スイッチ11と12をオフにして、左眼用画像データLが平面画像作成手段6に入力されるようにスイッチ13を、フレームメモリ2と平面画像作成手段6が接続されるようにスイッチ14をそれぞれ切り替える。平面画像作成手段6に左眼用画像データLがスイッチ13を通じて入力される。平面画像作成手段6において左眼用画像を用いた平面画像データが作成され、スイッチ14を通して、フレームメモリ2に書き込まれる。フレームメモリ2から平面画像データが表示手段3に入力される。表示手段3は入力された平面画像データを平面表示する。
図2は、表示モード情報M1が左眼用画像Lを平面画像として表示するモードである場合に平面画像作成手段6で作成されるデータの構成及びその表示方法の一例を示す図である。左眼用画像データLを垂直方向の短冊状に分解した画像をL1,L2,L3,L4,L5,L6,L7,L8とすると、平面画像作成手段6で作成される平面画像データは左眼用画像データLの一部(図2の左眼用画像データLの太枠部分)をそのまま用いる。ここではL2,L3,L4,L5,L6,L7を表示することとする。図2では表示するフレームを正面から見た図と上から見た図の2種類を示している。フレームを上から見た図では、簡単のため、立体表示モードで用いるスリット(詳細は後述する)を図示していない。この図からからわかるように、平面画像データ201のL2〜L7は観察者の右眼および左眼で観察される。こうして観察者は左眼用画像Lから作成された画像を平面画像として観察することができる。
また表示手段3は、立体表示と平面表示が可能な表示手段と上記では説明したが、立体表示のみしか出来なくても構わない。図3は表示手段3が立体表示のみしか出来ない場合に、表示モード情報M1が左眼用画像Lを平面画像として表示するモードである際に平面画像作成手段6で作成されるデータの作成方法及びその表示方法の一例を示す図である。この場合、表示手段3で表示に用いられる画像は、図2で説明したものと同じものとする。表示手段3のディスプレイ面上にはスリット300が備えられており、フレーム301に表示されたL2、L4、L6の画像が観察者の左眼に、L3,L5,L7の画像が観察者の右眼に送られることにより観察者は左眼用画像Lから作成された画像を平面画像として観察することができる。また、表示手段3のディスプレイ面上にはスリットの代わりにレンズを備えても良い。
また、表示モード情報M1が右眼用平面画像表示モードである場合は、左眼用平面画像表示モードと同様な方法で右眼用画像から平面画像を作成して表示を行う。
次に表示モード情報M1が立体画像表示モードである場合の本表示装置の動作について説明する。表示モード情報M1が立体画像表示モードである場合、スイッチ制御手段10は、スイッチ11,12をオンにし、立体画像作成手段1とフレームメモリ2を接続されるように、スイッチ14を制御する。外部から立体画像作成手段1にスイッチ11を通じて左眼用画像データLが、スイッチ12を通じて右眼用画像データRがそれぞれ入力される。次に立体画像作成手段1において立体画像データが作成され、フレームメモリ2に書き込まれる。最後にフレームメモリ2から立体画像データが表示手段3に入力される。表示手段3は入力された立体画像データを立体表示する。
図4は立体画像データの作成及びその表示の一例を示す図である。左眼用画像データLを垂直方向の短冊状に分解した画像をL1,L2,L3,L4,L5,L6,L7,L8、右眼用画像データRを垂直方向の短冊状に分解した画像をR1,R2,R3,R4,R5,R6,R7,R8とする。このとき表示する画像の水平方向のサイズは左眼用画像データL及び右眼用画像データRの水平方向のサイズよりも小さいとする。例えば図4の左右眼別の画像において太枠で示した範囲内の画像が実際に表示されるとすると、立体画像データは図4のようにL2,R3,L4,R5,L6,R7を用いて作成される。立体画像表示装置のディスプレイ面上にはスリット300あるいはレンズが備えられており、立体画像データ301に表示されたL2,L4,L6の画像が観察者の左眼に、R3,R5,R7の画像が観察者の右眼に送られることにより観察者は立体画像を観察することができる。
図4の例では、入力された画像データの間引きと合成を行って立体画像を合成する方法を説明した。図1の立体画像作成手段1では、この間引きと合成を両方行ってもよいが、間引き処理は外部で行い、合成のみを内部で行うようにしてもよい。後者の場合、外部から立体画像作成手段1に入力される左眼用画像データL及び左眼用画像データRはそれぞれ、L2,L4,L6,L8のみと、R1,R3,R5,R7のみとで構成されたデータとなる。
本実施形態では、立体表示を所定時間継続すると立体画像の視差が小さくなるよう調整する。立体画像の視差および像の見え方について図18を用いて説明する。
図18で、観察者の左眼と右眼の間の距離をeとし、観察者とディスプレイとの間の距離をLとする。図18(a)では、右眼で観察する像と左眼で観察する像がディスプレイ上の同一点(P1)にある。この時、像はディスプレイ面上にあるように感知される。
次に図18(b)に示すように、右眼で観察する像をP1から左方向にwだけ移動させる。右眼で観察する像はP2の位置にくる。この時、像はS1の位置あるように観察され、ディスプレイ面からdだけ観察者側に飛び出しているように感知される。
次に図18(c)に示すように、右眼で観察する像をP1から右方向にwだけ移動させる。右眼で観察する像はP3の位置にくる。この時、像はS2の位置あるように観察され、ディスプレイ面からdだけ奥にあるように感知される。
一般に立体画像の各画素は異なる視差を有しているが、ここでは画像全体から観察者が受ける立体感を「視差」と呼ぶことにする。また、視差の調整は後述するように左眼用画像と右眼用画像の水平方向の相対位置を変更することによって行うものとする。
ここで、図5に示すフローチャートを用いて、図1に示した立体画像表示装置による立体画像表示の処理動作を説明する。
初期状態において、立体画像表示装置は、所定の視差Aにて立体画像表示を行う(S11)。時間計測判定手段4は視差Aにて立体画像表示を行っている時間を計測する。このとき、立体表示を開始した時刻を起点として時間計測判定手段4は計測を行う。立体画像作成手段1は立体画像を表示している間、時間計測判定手段4に立体画像表示通知信号を送り、時間計測判定手段4は立体画像表示通知信号が入力されている時間t1を計測する。
時間計測判定手段4では、計測した時間t1が決められた時間TIME1を超えたか否かを判定し(S12)、越えていなければステップ11に戻って視差Aによる立体画像表示を続ける。計測した時間t1が決められた時間TIME1を超えた場合、時間計測判定手段4は、視差制御手段5に時間計測終了信号T1を出力する。
視差制御手段5に時間計測終了信号T1が入力されると、視差制御手段5は立体画像作成手段1に、視差を小さくして立体画像を作成するように指示する信号を送る。立体画像作成手段1は視差を小さくして立体画像を作成すると同時に時間計測判定手段4へリセット信号を送る。このとき立体画像作成手段1では、視差を小さくする前の視差(視差A)を示す情報を記憶しておく。こうして、表示手段3に、視差Aより小さな視差Bの立体画像が表示される(S13)。
ここで記憶する「視差を示す情報」とは、例えば立体画像データを作成する際における立体画像データ上に配置される左眼用画像データLに対する右眼用画像データRの相対的な位置によって表される。
このとき、ディスプレイ面より手前に感知される立体画像の視差を小さくしたい場合は、立体画像を奥に引っ込めてディスプレイ面に近づけるよう立体画像を作成し直す。具体的には右眼用画像データRを、左眼用画像データLに対して水平に右方向にシフトすれば良い。逆に視差を大きくしたい場合は、立体画像を手前に出すよう立体画像を作成し直す。具体的には右眼用画像データRを、左眼用画像データLに対して水平に左方向にシフトすれば良い。
また、ディスプレイ面より奥に感知される立体画像の視差を小さくしたい場合は立体画像を手前に出してディスプレイ面に近づけるよう立体画像を作成し直し、視差を大きくしたい場合は奥に引っ込めるよう立体画像を作成し直せばよい。この時、右眼用画像データRのシフトの方向は、立体画像がディスプレイ面より手前に感知されていた場合とは逆方向となる。
次に、立体画像の視差調整ために、右眼用画像Lを水平方向にシフトして立体画像を作成する方法の一例を、表2を用いて説明する。
左眼用画像データLと右眼用画像データRの、それぞれの一部から作成した立体画像を現在の表示位置より手前に出したい場合は、画像データをL、Rの順で並べて、それぞれの画像データの、より外側の領域を用いて立体画像を作成する。逆に立体画像をディスプレイ面より奥に引っ込めたい場合は、画像データをL、Rの順で並べて、それぞれの画像データのより内側の領域を用いて立体画像を作成する。例えば図4で画像の左上を座標の原点(0,0)、水平方向をx、垂直方向をyとする。図4の太枠部分の左上の座標が、左、右共に(1,0)である場合に作成した立体画像を手前に出したい場合、新たにそれらの座標を、左は(0,0)、右は(2,0)として、立体画像を作成し直せばよい。逆にディスプレイ面より奥に引っ込めたい場合は、左の座標を(2,0)、右の座標を(0,0)として、立体画像を作成し直せばよい。
視差を小さくした立体画像データを作成する方法について、図6を用いて説明する。図6は、ディスプレイ面より手前に見える立体画像に対して視差を小さくして表示したい場合における立体画像データの作成及びその表示の一例を示す図である。例えば、図4の立体画像データをディスプレイ面より前に見える立体画像を表示するためのデータとする。このとき視差を小さくして立体画像を表示するには、立体画像が奥に引っ込むように作成し直せばよい。つまり、表2で説明したように、図6に示すように太枠部分の左上の座標を、左眼用画像データLについては(0,0)、右眼用画像データRについては(2,0)とすればよい。このとき、図4における立体画像データ上のデータL2,L4,L6の位置にそれぞれ、左眼用画像データLのL1,L3,L5のデータが配置される。同様に図4における立体画像データ上のR3,R5,R7の位置にそれぞれ、右眼用画像データRのR4,R6,R8のデータが配置される。立体画像データ301のL1,L3,L5は左眼で、R4,R6,R8は右眼で観察され、観察者は立体画像データを立体と認識する。
このように、視差を小さくしたい場合は図4の太枠部分を左眼用画像データLでは左側に、右眼用画像データRでは右にシフトして立体画像データを作成する。また、視差を大きくしたい場合は、太枠部分のシフト方向を逆にして、立体画像データを作成すればよい。
このように、視差Aによる立体画像の表示時間が決められた時間TIME1を超えたことにより、表示される立体画像が小さな視差Bの立体画像に変更された場合、時間計測判定手段4は計測中の時間をリセットし、視差変更後の立体画像が表示されている時間t2の計測を始める。
次に、時間計測判定手段4は計測した時間t2を決められた時間TIME2と比較し(S14)、時間t2が決められた時間TIME2に達しない間はステップ13に戻って小さな視差Bの立体画像を表示し続ける。計測した時間t2すなわち視差Bでの立体画像表示時間が決められた時間TIME2に達すれば、時間計測判定手段4は、視差制御手段5に時間計測終了信号T2を出力する。視差制御手段5に時間計測終了信号T2が入力されると、視差制御手段5は、立体画像の視差を立体画像作成手段1で記憶していた視差に戻すように指示する信号を、立体画像作成手段1へ出力する。立体画像作成手段1に元の視差に戻すように指示する信号が入力されると、立体画像作成手段1は視差を元の視差に戻して立体画像を作成すると同時に時間計測判定手段4へリセット信号を送る。このとき、視差を直ちに元の視差Aに戻すようにしてもよいが、段階的に視差が大きくなるように立体画像を作成し、表示するようにしてもよい。
上で述べたように、視差が変更されたときは、立体画像作成手段1は時間計測判定手段4へリセット信号を出力する。時間計測判定手段4はリセット信号が入力されると、計測時間を0にリセットして再度計測を開始する。以上のような動作により、所定の視差で立体表示を行った時間を計測し、これに従って視差を調整しながら立体画像を作成する。
次に、立体画像作成手段1、時間計測判定手段4、視差制御手段5の間で伝送される信号について表3を参照して説明する。
状態[1−1]は、時間計測判定手段4が計測を開始したときの状態であり、このとき本装置が立体画像を表示していることを示す立体画像表示通知信号が、立体画像作成手段1から時間計測判定手段4へ出力される。
状態[1−2]は、時間計測判定手段4の計測時間が決められた時間TIME1を経過したときの状態であり、時間計測判定手段4から視差制御手段5へ、時間TIME1が経過したことを表す時間計測終了信号T1が出力され、それに応じて視差制御手段5から立体画像作成手段1へ、視差を小さくして立体画像を作成することを指示する信号が出力される。立体画像作成手段1に視差を小さくして立体画像を作成することを指示する信号が入力されると同時に、時間計測判定手段4をリセットすることを指示するリセット信号が、立体画像作成手段1から時間計測判定手段4へ出力される。
状態[1−3]は、時間計測判定手段4の計測時間が決められた時間TIME2を経過したときの状態であり、時間計測判定手段4から視差制御手段5へ、時間TIME2が経過したことを表す時間計測終了信号T2が出力され、それに応じて視差制御手段5から立体画像作成手段1へ視差を戻して立体画像を作成することを指示する信号が出力される。これと同時に立体画像表示通知信号が、立体画像作成手段1から時間計測判定手段4に出力される。
状態[1−4]は、立体画像作成手段1において、立体画像を作成する際に用いる視差が元の視差に戻ったときの状態であり、このときリセット信号が、立体画像作成手段1から時間計測判定手段4へ出力される。
このようにして、長時間立体画像を観察することにより観察者の眼が疲労して観察者の視差を感知する能力が衰えた場合であっても、視差を小さくした立体画像を表示することにより観察者の眼を保護することができる。また観察者の眼の疲労が回復し、観察者の視差を感知する能力が復活するに従い、視差を元に戻して立体画像を表示するため、違和感の少ない立体画像の表示が可能となる。上記で説明した時間TIME1及びTIME2はそれぞれ、立体画像表示装置内部のメモリに予め設定された値を保存しておくことができる。
また、時間TIME1及びTIME2の予め設定された値はそれぞれが1つずつではなく、例えば入力画像の画面サイズや入力画像が動画であればその全再生時間などといった鑑賞時の目の疲れと関連のある要素をパラメータとして、それらのパラメータの組み合わせに応じた数だけ設定されていても構わない。また観察者が、これらの時間TIME1、TIME2をそれぞれ設定あるいは変更できるようにしてもよい。
また、図1の立体画像表示装置の前段に、図7に示すような立体画像フォーマットデータF1を復号するための立体画像復号手段500と、立体画像復号手段500で復号された立体画像データを左右眼別の画像データに分離する分離手段504を配置してもよい。このとき、立体画像フォーマットデータF1の内部に、前述した時間TIME1、TIME2に相当する値を予め保存しておき、立体画像表示装置において、TIME1とTIME2にそれらの値を代入して用いてもよい。このときの立体画像復号手段500の動作について次に説明する。立体画像復号手段500は、立体画像制御情報解析手段501、画像データ部復号手段502及びスイッチ503を備え、立体画像フォーマットデータF1を復号する。
ここで、立体画像フォーマットデータF1について説明する。図8は立体画像フォーマットデータF1の一例を示す図である。図示する立体画像フォーマットデータF1は、立体画像制御情報部と画像データ部から構成されている。このうち、立体画像制御情報部は立体画像フォーマットデータF1が立体画像表示用のデータであるか否かを示す立体画像識別情報I1と制御情報I2から、画像データ部は符号化データDから、それぞれ構成されている。ここで制御情報I2とは、前記した時間TIME1及びTIME2を示す情報である。また、画像データ部における符号化データは、例えば、対応する左眼用画像データLと右眼用画像データRを左右に並べた画像をJPEGやMPEG等の符号化方式を用いて符号化されたものとすることができる。立体画像フォーマットデータF1におけるデータの格納は、I1,I2,Dの順とする。
立体画像制御情報解析手段501は、立体画像識別情報I1を解析し、立体画像フォーマットデータF1が立体画像表示用のデータであると判定した場合、制御情報I2を時間TIME1及びTIME2を示す値として、表1の立体画像表示モードを表示モード情報M1として、それぞれ立体画像表示装置へ出力し、画像データ部復号手段502と分離手段504が接続されるようにスイッチ503を切り替える。これと同時に、符号化データDを画像データ部復号手段502に出力する。画像データ部復号手段502では符号化データDを復号して立体画像データW2を生成し、スイッチ503を通して、立体画像データW2を分離手段504に出力する。分離手段504では、入力された立体画像データW2を左眼用画像データLと右眼用画像データRに分離してそれぞれ、出力画像データO1、O2として立体画像表示装置へ出力する。出力画像データO1,O2は、それぞれ入力画像A1及びA2として、図1の立体画像表示装置に入力される。
また、立体画像フォーマットデータF1の内部の制御情報I2内に保存する値は、前記TIME1とTIME2のどちらか一方の値でも構わなく、保存されていないデータは予め設定された値を用いるようにしてもよい。
また、立体画像フォーマットデータF1の内部の制御情報I2内に保存する値は、前記TIME1とTIME2のどちらか一方の値でも構わなく、保存されていないデータは予め設定された値を用いるようにしてもよい。
例えばTIME1のみを保存した立体画像フォーマットデータF1を再生する場合、立体表示時間の計測値がTIME1に達した時点で、視差を小さくするように立体画像の表示制御を行うが、その後の表示制御は再生装置毎に自由に行えるものとする。すなわち、立体表示時間がTIME1を経過した後は、
(i)次に電源を切るまでは視差を小さくしたまま立体表示を継続する。
(ii)再生装置が独自にTIME2に相当する時間を設定し、既に説明した手法によって視差を元の状態に戻す。
(iii)再生装置が独自に所定の時間を設定し、立体表示時間が所定の時間に達した時点で立体表示から平面表示に切り替える。
などの処理を行うことが出来る。
なお、上記では立体表示時間の計測値がTIME1に達した時点で、視差を小さくする例を述べたが、TIME1に達した時点で立体表示から平面表示に切り替えるようにしても良い。これによって、立体画像のコンテンツ作成者の意図を反映し、観察者の眼の疲労をより早く回復することが可能となる。
立体画像フォーマットデータF1が立体画像表示用のデータでないことを立体画像識別情報I1が示す場合、制御情報I2は出力しない。入力画像スルー表示モードを示す情報を表示モード情報M1として立体画像表示装置へ出力する。これと同時に、画像データ部復号手段502の出力が、出力画像データO1として出力されるようにスイッチ503を切り替える。これと同時に符号化データDを画像データ部復号手段502に出力する。画像データ部復号手段502では符号化データDを復号する。復号されたデータを平面画像データW1とすると、平面画像データW1は出力画像データO1として出力され、入力画像A1として図1の立体画像表示装置に入力される。
また、上記で説明した立体画像フォーマットデータF1の画像データ部のデータは符号化されたデータでなくても構わない。例えば無圧縮のデータでも構わない。
また、上記で表示モード情報M1は立体画像識別情報I1から求めることを説明したが、外部から入力してもよく、さらに外部から入力された方の値を優先して用いても構わない。ただし、立体画像フォーマットデータF1が立体画像表示用のデータでないことを立体画像識別情報I1が示す場合のみ、表示モード情報M1は強制的に入力画像スルー表示モードを示す値にする。
また、上記で説明した立体画像フォーマットデータF1の立体画像制御情報部は、データF1内において繰り返し挿入されていても構わない。図9は立体画像コンテンツを放送で受信する際の一例を示す図である。例えば放送衛星21から放送された立体画像コンテンツの放送波を移動受信端末22で受信する。このとき放送される放送コンテンツは、複数の番組配列情報と立体画像コンテンツで構成されており、立体画像制御情報部はこの番組配列情報の一部として挿入されていても構わない。
また、立体画像フォーマットデータF1において、立体画像制御情報部は画像データ部に挿入されていても構わない。例えば画像データ部がMPEG−4で符号化されたデータである場合、立体画像制御情報部はMPEG−4符号化データ内で規定される所定の位置に挿入されていても構わない。
また、立体表示を開始した時刻を起点として時間計測判定手段4は計測を行うことを上記で説明したが、放送の場合、放送コンテンツの受信を開始してから最初に立体画像制御情報部のデータを受信した時刻、もしくは番組配列情報内に立体画像制御情報部のデータが含まれているなら、最初にその番組配列情報を受信した時刻を起点にして時間計測判定手段4は表示時間の計測を開始しても構わない。また、最初に受信した上記番組配列情報内に番組再生に必要な時間情報が含まれていれば、その情報を用いて作成した時刻を、時間計測判定手段4で行われる計測の起点としてもよい。
また上記では、立体画像フォーマットデータF1が放送波で伝送される場合について説明したが、例えば伝送経路として、ケーブルやインターネットなどのネットワークなどが使用されても構わないし、伝送される代わりにハードディスクや光ディスクなどの記録媒体に記録されていても構わない。
図10は、立体画像フォーマットデータF1が、記録媒体に記録されて利用される場合のデータの流れの一例を説明する図である。例えば、立体画像データが立体画像符号化手段510に入力される。立体画像符号化手段510は入力された立体画像データを符号化し、立体画像フォーマットデータF1を作成し、記録媒体511に出力する。記録媒体511は、ハードディスクや、光ディスクなどを内蔵しており、入力されたデジタルデータを記録することができるものとする。記録媒体511から、立体画像フォーマットデータF1が立体画像復号手段512へ出力される。立体画像復号手段512は、上で説明した立体画像復号手段500と同様にして、立体画像フォーマットデータF1を復号し、制御情報I2及び表示モード情報M1、立体画像データを出力する。
また、図11は、立体画像フォーマットデータF1の伝送経路としてネットワークが使われた場合のデータの流れの一例を説明する図である。例えば、立体画像データが立体画像符号化手段520に入力される。立体画像符号化手段520は入力された立体画像データを符号化し、立体画像フォーマットデータF1を作成する。立体画像フォーマットデータF1は、ネットワーク522を通じて立体画像復号手段523に伝送される。立体画像復号手段523は、上で説明した立体画像復号手段500と同様にして、立体画像フォーマットデータF1を復号し、制御情報I2及び表示モード情報M1、立体画像データを出力する。
また、立体画像フォーマットデータF1は、BSやCSなどの放送に用いられるデータに変換され、伝送されても構わない。例えば、立体画像データが立体画像符号化手段520に入力される。立体画像符号化手段520は入力された立体画像データを符号化し、立体画像フォーマットデータF1を作成し、BSデータ作成手段521に出力する。BSデータ作成手段521は、立体画像フォーマットデータF1を用いてBSデータを作成し、ネットワーク522を通じてBSデータ復号手段524へ出力する。BSデータ復号手段524は、入力されたBSデータを復号して立体画像フォーマットデータF1を生成し、立体画像復号手段523へ出力する。立体画像復号手段523は、上で説明した立体画像復号手段500と同様にして、立体画像フォーマットデータF1を復号し、制御情報I2及び表示モード情報M1、立体画像データを出力する。
こうして立体画像表示装置では、制御情報I2の値からそれぞれ処理に用いる時間TIME1及びTIME2を取得して使用することができ、立体表示する個々のデータに応じて、時間TIME1及びTIME2を設定できるため便利である。
次に、入力画像データが3つの場合について説明する。 図12は、入力画像データが3つの場合の第1の実施形態の立体画像表示装置の構成例を示す図である。
この立体画像表示装置は、3つの視点から撮影された多視点画像データ(入力画像X,Y,Z)を入力として立体画像データを作成し、フレームメモリ2に出力する立体画像作成手段600と、多視点画像データのいずれか一つのデータから平面画像を作成する平面画像作成手段6と、入出力する画像データを切り替えるためのスイッチ11,12,601,602,603と、それらのスイッチを、多視点画像データを用いて立体表示を行うか平面表示を行うかを示す表示モード情報M′1に合わせて制御するスイッチ制御手段604と、立体画像作成手段600又は平面画像作成手段6で作成された画像もしくは入力画像をそのまま格納するフレームメモリ2と、立体表示と平面表示が可能な表示手段であり、かつ表示モード情報M′1に応じてフレームメモリ2の画像データを立体画像として表示もしくは平面画像として表示する表示手段3と、立体画像表示の際に、立体画像の表示時間を計測する時間計測判定手段4と、立体画像の表示時間が所定の時間を超えた場合、立体画像作成手段600に前記多視点画像の視差を調整して立体画像を作成することを指示する視差制御手段5とを備えて構成されている。
表示モード情報M′1については後述する。
ここで、フレームメモリ2と、表示手段3、時間計測判定手段4、視差制御手段5、平面画像作成手段6、スイッチ11,12は前述した、2つの画像が入力された場合の第1の実施形態の立体画像表示装置と同じ動作をするため、図12における番号も同じものとする。以下、図12を用いて、入力画像データが3つの場合における、本発明の第1の実施形態を説明する。
外部から表示モード情報M′1がスイッチ制御手段604に入力される。表示モード情報M′1には、立体画像表示モード1〜4、平面画像表示モード1〜3、入力画像スルー表示モードの8種類があり、本装置は入力された表示モード情報M′1に合わせて、入力画像のうちのいずれか2つ、もしくは3つを用いた立体画像表示及び、入力画像のうちのいずれか1つを用いた平面画像表示、入力画像をそのまま平面表示する入力画像スルー表示のそれぞれを切り替える。
表4に表示モード情報M′1の値とモード名及び各モードで表示される画像の関係をまとめて示す。
立体画像表示モード1では、入力画像データXとYを用いて立体画像(2視点)を作成し、立体表示する。立体画像表示モード2では、入力画像データYとZを用いて立体画像(2視点)を作成し、立体表示する。立体画像表示モード3では、入力画像データXとZを用いて立体画像(2視点)を作成し、立体表示する。立体画像表示モード4では、入力画像データXとY,Zを用いて立体画像(3視点)を作成し、立体表示する。
平面画像表示モード1では、入力画像Xを用いて平面画像を作成し、平面表示する。平面画像表示モード2では、入力画像データYを用いて平面画像を作成し、平面表示する。平面画像表示モード3では、入力画像データZを用いて平面画像を作成し、平面表示する。入力画像スルー表示モードでは、入力画像データX,Y,Zのいずれかひとつをそのままスルー表示する。
以上8つの表示モードにおける本表示装置の動作について説明する。まず、表示モード情報M′1が立体画像表示モード1〜3のいずれかである場合の本装置の動作について説明する。
立体画像表示モード1〜3のいずれかがスイッチ制御手段604に入力される。スイッチ制御手段604は、スイッチ602をオフにして、表4を参照して各モードで立体画像を作成するのに必要な画像データ(入力画像X,Y,Zのうちいずれか2つ)が、立体画像作成手段600に入力されるようにスイッチ11,12,601を制御し、立体画像作成手段600とフレームメモリ2が接続されるようにスイッチ603を制御する。次に、立体画像作成手段600は、前述した入力画像データが2つの場合において説明した表示モード情報M1の、立体画像表示モードと同様にして、立体画像データ(2視点)を作成し、フレームメモリ2に出力する。最後にフレームメモリ2から立体画像データが表示手段3に入力される。表示手段3は入力された立体画像データ(2視点の画像データ)を立体表示する。
また、時間計測手段4及び視差制御手段5は、入力画像データが2つの場合と同様の動作を行い、視差の調節をして立体表示を行う。
以上の説明では、表示手段3は左右眼別の画像(2視点の画像)を表示する2眼式の表示手段としたが、3視点の画像を表示する多眼式の表示手段を備えるようにしてもよく、この場合には立体画像表示モード4が選択可能である。
次に、表示モード情報M′1が立体画像表示モード4である場合の本装置の動作について説明する。
立体画像表示モード4がスイッチ制御手段604に入力される。スイッチ制御手段604は、スイッチ602をオフにし、表4を参照して各モードで立体画像を作成するのに必要な画像データ(入力画像X及びY,Z)が、立体画像作成手段600に入力されるようにスイッチ11,12,601を制御し、立体画像作成手段600とフレームメモリ2が接続されるようにスイッチ603を制御する。次に、立体画像作成手段600において、立体画像データ(3視点)が作成され、フレームメモリ2に書き込まれる。最後にフレームメモリ2から立体画像データが表示手段3に入力される。表示手段3は入力された立体画像データ(3視点)を立体表示する。
このとき立体画像作成手段600において作成される立体画像データ(3視点)について、図13を参照して説明する。図13は入力画像データが3つの場合の立体画像データの作成及びその表示の一例を示す図である。
入力画像データXを垂直方向の短冊状に分解した画像をX1,X2,X3,X4,X5,X6,X7,X8、入力画像データYを垂直方向の短冊状に分解した画像をY1,Y2,Y3,Y4,Y5,Y6,Y7,Y8、入力画像データZを垂直方向の短冊状に分解した画像をZ1,Z2,Z3,Z4,Z5,Z6,Z7,Z8とする。このとき表示する画像の水平方向のサイズは入力画像データXとY,Z、それぞれの水平方向のサイズよりも小さいとする。
例えば、図13の入力画像データX,Y,Zにおいて太枠で示した範囲内の画像が実際に表示されるとすると、立体画像データ(3視点)は図13のようにX2,Y3,Z4,X5,Y6,Z7を用いて作成される。立体画像表示装置のディスプレイ面上にはスリット301が備えられており、ディスプレイに表示されたX2,X5の画像が観察者の左眼に、Y3,Y6の画像が観察者の右眼に送られることにより観察者は、観察位置1からの立体画像を観察することができる。また、観察者が右に動くことにより、Y3,Y6の画像が観察者の左眼に、Z4,Z7の画像が観察者の右眼に送られることにより観察者は、観察位置2から立体画像を観察することができる。
また視差の調節は、3視点以上の画像のうち観察者の目に届く2視点の画像の間の視差について、入力画像データが2つの場合で説明した方法と同様に行う。
例えば、まず観察位置1の視差を調節する。入力画像データXとYの太枠をそれぞれ動かして立体画像を作成することによって、観察位置1の視差を調節する。このとき、入力画像データZの太枠は、隣り合う視点の入力画像データであるYの太枠と同じだけ動かして配置して立体画像を作成する。この場合、観察位置1における視差は変化するが、観察位置2における視差は変化しない。
次に、観察位置2の視差を調節してもよい。例えば上記の観察位置1の視差を調節で説明したように入力画像Zの太枠を入力画像データであるYの太枠と同じだけ動かした後、入力画像Zの太枠をさらに動かして立体画像を作成することによって、観察位置2の視差視差を調節する。
このようにして、3視点の画像を表示する多眼式の表示手段であっても、観察位置1と観察位置2のそれぞれに対して、入力画像データが2つの場合で説明した方法と同様に視差の調節を行うことができる。
次に、表示モード情報M′1が平面画像表示モード1〜3である場合の本装置の動作について説明する。平面画像表示モード1〜3のいずれかが、スイッチ制御手段604に入力される。スイッチ制御手段604は、スイッチ11,12,601をオフにし、表4を参照してそれぞれのモードで平面画像を作成するのに必要な画像データ(入力画像X,Y,Zのうちいずれか1つ)が、平面画像作成手段6に入力されるようにスイッチ602を制御し、平面画像作成手段6とフレームメモリ2が接続されるようにスイッチ603を制御する。平面画像作成手段6は、前述した入力画像データが2つの場合において説明した表示モード情報M1の左眼(もしくは右眼)用平面画像表示モードと同様にして、平面画像データを作成し、フレームメモリ2に出力する。最後にフレームメモリ2から平面画像データが表示手段3に入力される。表示手段3は入力された平面画像データを平面表示する。
また、表示モード情報M′1が入力画像スルー表示モードである場合の本装置の動作について説明する。入力画像スルー表示モードが、スイッチ制御手段604に入力される。スイッチ制御手段604は、スイッチ11,12,601をオフにし、入力画像X(入力画像X,Y,Zのうちいずれか1つ)がフレームメモリ2に入力されるようにスイッチ602とスイッチ603を制御する。入力画像がフレームメモリ2に出力される。最後にフレームメモリ2から平面画像データが表示手段3に入力される。表示手段3は入力された平面画像データを平面表示する。
以上、表示モード情報M′1に対する本装置の動作について説明したが、このようにして、入力画像が3つである場合にも、入力画像データが2つの場合と同様にして、観察者の目の疲労に合わせて、視差を調整して立体画像を表示することが可能である。またこのとき必要に応じて平面画像を表示することも出来る。
またさらに、入力画像の数がm(mは4以上の整数)個の場合でも、入力の数と、入力と立体画像作成手段600をつなぐスイッチの数、スイッチ602の入力との接点の数、表示モード情報M′1の種類を、入力画像データが2の場合から3の場合に拡張した場合と同様に拡張を行うことにより、立体画像の表示及び、その視差を調節することができる。
また、立体画像フォーマットデータF1の画像データ部は、n(n≧1)視点から構成されていてもよく、この場合、制御情報I2内に、立体画像フォーマットデータF1に含まれる視点数を含めてもよく、このとき例えば、図7の立体画像復号手段500において、立体画像フォーマットデータF1に含まれる視点数を示すデータを立体画像制御情報解析手段501から分離手段504に伝送し、立体画像データWを視点の数だけ分離して出力する。
次に、本発明の第2の実施形態について説明する。
図14は、本発明による立体画像表示装置の第2の実施形態の構成例を示す図である。
本発明における第2の実施形態の立体画像表示装置は、左右眼別の画像データを入力として立体画像データを作成する立体画像作成手段100と、左右眼別の画像データのどちらか一方のデータから平面画像を作成する平面画像作成手段6と、入出力する画像データを切り替えるためのスイッチ11,12,13,14と、それらのスイッチを表示モード情報M1に従って制御するスイッチ制御手段10と、立体画像作成手段100又は平面画像作成手段6で作成された画像もしくは入力画像をそのまま格納するフレームメモリ2と、表示モード情報M1に応じてフレームメモリ2の画像データを立体画像として表示もしくは平面画像として表示する表示手段3と、立体画像の表示時間を計測する時間計測判定手段101と、立体画像の表示時間が所定の時間を超えた場合、立体画像作成手段100に現在表示している立体画像上に警告のメッセージを表示するように指示する警告表示制御手段102から構成されている。ここでフレームメモリ2と表示手段3、平面画像作成手段6、スイッチ制御手段10、スイッチ11,12,13,14は前述した第1の実施形態の立体画像表示装置と同じ動作をするため、図14における番号も同じものとする。
第1の実施形態と同様にして、外部から表示モード情報M1がスイッチ制御手段10に入力される。ここで表示モード情報M1は、第1の実施形態で説明したものと同様である。ここで、表示モード情報M1が入力画像スルー表示モードである場合と、左眼用もしくは右眼用画像を用いた平面画像表示である場合における本表示装置の動作は第1の実施形態で説明した表示装置と同様である。
次に、表示モード情報M1が立体画像表示モードである場合の動作について説明する。
外部から立体画像作成手段100に入力画像A1として左眼用画像データL及び入力画像A2として右眼用画像データRがそれぞれ入力される。
表示モード情報M1が立体画像表示モードである場合、スイッチ制御手段10は、スイッチ11,12をオンにし、立体画像作成手段100とフレームメモリ2を接続されるように、スイッチ14を制御する。外部から立体画像作成手段100にスイッチ11を通じて左眼用画像データLが、スイッチ12を通じて右眼用画像データRがそれぞれ入力される。次に立体画像作成手段100において立体画像データが作成され、フレームメモリ2に書き込まれる。最後にフレームメモリ2から立体画像データが表示手段3に入力される。表示手段3は入力された立体画像を立体表示する。
ここで、図15に示すフローチャートを用いて、図14に示した立体画像表示装置による立体画像表示の処理動作を説明する。
初期状態において、立体画像表示装置は、立体画像表示を行う(S21)。図14に示す時間計測判定手段101は立体表示を行っている間、その時間を計測する。立体画像作成手段100は立体画像を表示している間、時間計測判定手段101に立体画像表示通知信号を送り、時間計測判定手段101は立体画像表示通知信号が入力されている時間t3を計測する。このとき、立体表示を開始した時刻を起点として時間計測判定手段101は計測を行う。
時間計測判定手段101では、計測した時間t3が決められた時間TIME3を超えたか否かを判定し(S22)、越えていなければステップ21に戻って立体画像表示を続ける。計測した時間t3が決められた時間TIME3を超えると、警告表示制御手段102は立体画像作成手段100に、表示している立体画像上に警告のメッセージを上書きして立体で表示するように指示する信号を送る。この信号が入力されると、立体画像作成手段100では現在作成している立体画像面上に警告のメッセージを上書きして立体画像を作成し、出力する(S23)。このとき警告のメッセージが最前面になるように(観察者から見て最も浮き上がってみえるように)立体画像を作成する。
例えば、観察者が立体として知覚できる限界の飛び出し位置に警告のメッセージが立体で表示されるように、警告のメッセージの部分に視差を与えたものを、現在表示している立体画像上に上書き、合成して、立体画像を作成するようにしてもよい。また、このときの視差を立体表示限界視差とする。
また、これまで表示していた立体画像の代わりに左(又は右)眼用の画像だけを用いて平面画像を作成し、警告のメッセージの部分だけが立体表示されるように、警告のメッセージの部分に視差を与えたものを、平面画像上に上書き、合成して、立体画像を作成するようにしてもよい。あるいは、これまで表示していた立体画像の代わりに所定の画像を用いて平面画像を作成し、警告のメッセージの部分に視差を与えたものを、平面画像上に上書き、合成して、立体画像を作成するようにしてもよい。例えば黒い画面を作成し、その画面上に警告のメッセージを上書きしてもよい。
また、現在表示している立体画像の左眼用画像と右眼用画像を用いて、所定の画素数単位に分割されたブロック単位で視差ベクトルを求め、求めた視差ベクトルの中で最も飛びだし量が大きくなる視差ベクトルの値を最大視差として、この値よりも大きい視差を警告のメッセージの部分に与えるようにしてもよい。このとき、与える視差は、前記立体表示限界視差を超えないようにする。なお、上記視差ベクトルは、ブロックマッチングなどによって求めることが可能である。また、最大視差は画素単位の視差ベクトルなど、ブロック単位の視差ベクトル以外のデータから求めてもよい。
次に、立体画像作成手段100、時間計測判定手段101、警告表示制御手段102との間で伝送される信号について、表5を参照して説明する。
状態[2−1]は、時間計測判定手段101が立体画像表示時間の計測を開始したときの状態であり、このとき本装置が立体画像を表示していることを示す立体画像表示通知信号が、立体画像作成手段100から時間計測判定手段101へ出力される。
状態[2−2]は、時間計測判定手段101の計測時間が決められた時間TIME3を経過したときの状態であり、時間計測判定手段101から警告表示制御手段102へ、時間TIME3を経過したことを表す時間計測終了信号T3が出力され、警告表示制御手段102から立体画像作成手段100へ、現在作成している立体画像上に警告のメッセージを表示することを指示する信号がそれぞれ出力される。このようにして、観察者はいち早く長時間観察したという警告を知ることができるため観察者の眼を保護することができる。
また上記では、警告メッセージ自体を立体画像として作成し、現在表示している立体画像もしくは、平面画像に変換した画像上に上書きして表示する場合について述べたが、警告メッセージ自体が平面画像であっても構わない。また警告メッセージを表示する代わりに、ブザーなどを鳴らしてもかまわないし、ランプやインジケーターなどを点灯させてもかまわない。警告メッセージを表示した後、所定の時間が経過すればディスプレイの表示を止める、もしくはディスプレイの電源を切っても構わない。
上記で説明した決められた時間TIME3は、観察者が立体画像を立体として鑑賞できる連続鑑賞時間を表す。この時間TIME3は、立体画像表示装置内部のメモリに予め設定された値を保存しておいてもよい。また、この時間TIME3の予め設定された値は、1つではなく、例えば入力画像の画面サイズや入力画像が動画であればその全再生時間などといった鑑賞時の目の疲れと関連のある要素をパラメータとして、それらのパラメータの組み合わせに応じた数だけ設定されていても構わない。また、観察者が時間TIME3を変更できるようにしてもよい。
また、図14の立体画像表示装置の前段に、図7で示したものと同様に立体画像フォーマットデータF2を復号するための立体画像復号手段と、立体画像復号手段で復号された立体画像データを左右眼別の画像データに分離する分離手段を配置してもよい。このとき立体画像フォーマットデータF2の構成は、本発明の第1の実施形態で説明した立体画像フォーマットデータF1と同様に、立体画像制御情報部と画像データ部から構成することができる。ただし、立体画像フォーマットデータF2の内部の制御情報I2内に保存されている値は、前述した時間TIME3に相当する値とし、立体画像表示装置において、時間計測判定手段101で用いる時間TIME3にこの値を代入して用いてもよい。
また、このときの立体画像復号手段及び分離手段の動作は、本発明の第1の実施形態で説明したものと同様である。
また、上記で説明した立体画像フォーマットデータF2の画像データ部のデータは符号化されたデータでなくても構わない。例えば無圧縮のデータでも構わない。また、上記で説明した立体画像フォーマットデータF2の立体画像制御情報部は、本発明の第1の実施形態で説明したものと同様に、例えば番組配列情報の一部として、データF2内において繰り返し挿入されていても構わない。
また、立体画像フォーマットデータF2において、本発明の第1の実施形態で説明したものと同様、立体画像制御情報部は画像データ部に挿入されていても構わない。例えば画像データ部がMPEG−4で符号化されたデータである場合、立体画像制御情報部はMPEG−4符号化データ内に規定される所定の位置に挿入されていても構わない。
また、表示装置に上記の放送を受信できる受信手段が備わっており、かつ録画手段が備わっている、もしくは外部の録画装置が接続されていたりする場合、立体画像の放送を受信中に決められた時間TIME3を超過した場合、立体画像表示装置の表示手段に警告メッセージを表示すると同時に録画を開始し、その後の放送を録画し続けても構わない。
また、立体表示を開始した時刻を起点として時間計測判定手段101は計測を行うことを上記で説明したが、本発明の第1の実施形態で説明したものと同様、放送の場合、放送コンテンツの受信を開始してから最初に立体画像制御情報部のデータを受信した時刻、もしくは番組配列情報内に立体画像制御情報部のデータが含まれているなら、最初にその番組配列情報を受信した時刻を起点にして時間計測判定手段101は表示時間の計測を開始しても構わない。また、最初に受信した上記番組配列情報内に番組再生に必要な時間情報が含まれていれば、その情報を用いて作成した時刻を、時間計測判定手段101で行われる計測の起点としてもよい。
また上記では、立体画像フォーマットデータF2が放送波で伝送される場合について説明したが、例えば伝送経路として、ケーブルやインターネットなどのネットワークなどが使用されても構わないし、伝送される代わりにハードディスクや光ディスクなどの記録媒体に記録されていても構わない。
こうして立体画像表示装置では、立体画像フォーマットデータF2の制御情報の値から決められた時間TIME3を、本発明の第1の実施形態の場合と同様に代入して使用することができ、立体表示する個々のデータに応じて、時間計測判定手段101で用いる時間TIME3を設定できるため便利である。
以上では入力画像が2つである場合について装置の動作を説明したが、この第2の実施形態は、入力画像データが3つ以上の場合に対しても、本発明の第1の実施形態と同様に拡張することができる。
また、立体画像フォーマットデータF2の画像データ部は、n(n≧1)視点から構成されていてもよく、この場合には、本発明の第1の実施形態にて説明した拡張方法と同様の方法で、立体画像復号手段500と分離手段504を拡張すればよい。
次に、本発明の第3の実施形態について説明する。
図16は、本発明による立体画像表示装置の第3の実施形態の構成例を示す図である。
本発明における第3の実施形態の立体画像表示装置は、左右眼別の画像データを用いて、立体表示を行うか平面表示を行うかを示す表示モード情報M1と、平面表示のみを行うことを示す平面表示モード情報M2のどちらか一方をスイッチ制御手段200の入力に切り替えるためのスイッチ201と、スイッチ201の切り替えを行うための立体表示禁止フラグを記憶するためのメモリを備えたモードスイッチ制御手段202と、左右眼別の画像データから立体画像を作成する立体画像作成手段203と、左右眼別の画像データのどちらか一方のデータから平面画像を作成する平面画像作成手段6と、入出力する画像データを切り替えるためのスイッチ11,12,13,14と、それらのスイッチを制御するスイッチ制御手段200と、立体画像作成手段203又は平面画像作成手段6で作成された画像を格納するフレームメモリ2と、フレームメモリ2の画像データを用いて立体画像を表示する表示手段3と、立体画像の表示時間を計測する第1の時間計測判定手段204と、立体画像の表示時間が所定の時間を超えた場合に強制的に第2の時間計測判定手段205以外の電源を切る電源制御手段206と、強制的に電源が切られてからの経過時間を計測する第2の時間計測判定手段205から構成されている。ここでフレームメモリ2と表示手段3、平面画像作成手段6、スイッチ11,12,13,14は、前述した第1及び第2の実施形態の立体画像表示装置と同じ動作をするため、図16における番号も同じものとする。
表示モード情報M1は、第1の実施形態で説明したものと同様である。また平面表示モード情報M2については後述する。
第1及び第2の実施形態と同様にして、外部から表示モード情報M1がスイッチ制御手段200に入力される。ここで、表示モード情報M1が入力画像スルー表示モードである場合と、左眼用もしくは右眼用画像を用いた平面画像表示である場合における本表示装置の動作は、第1の実施形態で説明した表示装置の動作と同様である。
次に、表示モード情報M1が立体画像表示モードである場合について説明する。外部からスイッチ201に表示モード情報M1と、平面表示モード情報M2がスイッチ201に入力される。スイッチ201は、表示モード情報M1か、平面表示モード情報M2のどちらか一方を、スイッチ制御手段200の入力に接続する。スイッチ201の切り替えは、モードスイッチ制御手段202により制御される。
モードスイッチ制御手段202は、内部にメモリを備えており、立体表示禁止フラグをメモリに記憶する。ここでモードスイッチ制御手段202はスイッチ201を制御する手段であり、例えば立体表示禁止フラグが0の場合は表示モード情報M1が、1の場合は平面表示モード情報M2がスイッチ制御手段200に入力されるようにスイッチ201を制御する。立体表示禁止フラグの初期値を0とすると、動作開始時にはスイッチ201は表示モード情報M1側に接続される。
ここで平面表示モード情報M2について説明する。平面表示モード情報M2は、例えば表6に示すように、表示モード情報M1で説明した左眼用平面画像表示モードもしくは右眼用平面画像表示モードの2種類のみから構成される。
図17は、本発明の第3の実施形態の立体画像表示装置の立体表示開始後の動作を示すフローチャートである。図16及び図17を用いて、それぞれの表示モードにおける本装置の動作を詳細に説明する。
装置の電源が投入されると、初期処理の後、ステップ31において、立体表示をすべきかどうかを判定する。この判定処理は、表示モード情報M1の内容に基づいて行われる。表示モード情報M1が平面画像表示モードである場合には、ステップ32に進み、表示モード情報M1の示すところに従って平面画像表示を行う。
表示モード情報M1が立体画像表示モードである場合には、ステップ31からステップ33に進み、モードスイッチ制御手段202内部のメモリにある立体表示禁止フラグの値を0とし、ステップ34に進む。ステップ34では、立体画像作成手段203で立体画像を作成し、第1の時間計測判定手段204で立体画像を表示している時間t4を計測する。このとき、第1の時間計測判定手段204は、立体画像表示を開始した時刻を起点として計測を行う。
表示モード情報M1はスイッチ制御手段200に入力され、入力された表示モード情報M1が立体画像表示モードである場合、スイッチ制御手段200は、スイッチ11及び12をオン、スイッチ13をオフにし、スイッチ14をフレームメモリ2と立体画像作成手段203が接続されるように制御する。スイッチ11及びスイッチ13に左眼用画像データLが、スイッチ12及びスイッチ13には右眼用画像データRがそれぞれ外部から入力される。左眼用画像データL及び右眼用画像データRがそれぞれ、スイッチ11,12を通じて立体画像作成手段203に入力される。立体画像作成手段203では、第1の実施形態で説明したのと同様にして立体画像データが作成され、スイッチ14を通してフレームメモリ2に書き込まれる。作成された立体画像データは、フレームメモリ2から表示手段3に入力されて表示される。立体画像作成手段203は立体画像を表示している間、第1の時間計測判定手段204に立体画像表示通知信号を送り、第1の時間計測判定手段204は立体画像表示通知信号が入力されている間、その時間を計測する。
次に判定ステップ35に進む。第1の時間計測判定手段204で計測した時間t4は電源制御手段206に入力される。判定ステップ35では、電源制御手段206において、第1の時間計測判定手段204から入力された計測時間t4が決められた時間TIME4を超過したか否かを判定する。計測した時間t4が時間TIME4を越えていないと判定された場合、ステップ34に戻り、立体画像作成手段203による立体画像の作成、及び作成された立体画像の表示手段3へ表示を行う。第1の時間計測判定手段204で計測した時間t4が時間TIME4を越えたと判定された場合、ステップ36に進む。
ステップ36において、本装置は次のような動作をする。電源制御手段206から、モードスイッチ制御手段202へ、画像の立体表示を禁止することを示す立体表示禁止信号を送信し、第2の時間計測判定手段205へ計測時間を0にリセットして計測を開始するように指示する計測開始信号を送信する。そして、装置の一部電源をオフにする。例えば、モードスイッチ制御手段202と第2の時間計測判定手段205以外の電源を強制的にオフにする。モードスイッチ制御手段202では、立体表示禁止信号が入力されると同時に、モードスイッチ制御手段202内のメモリに立体表示禁止フラグを1にして記憶する。
ここで、立体画像作成手段203、第1の時間計測判定手段204、電源制御手段206、第2の時間計測判定手段205、モードスイッチ制御手段202との間で伝送される信号について、表7を参照して説明する。
状態[5−1]は、第1の時間計測判定手段204が立体画像表示時間の計測を開始したときの状態であり、このとき本装置が立体画像を表示していることを示す立体画像表示通知信号が、立体画像作成手段203から第1の時間計測判定手段204へ出力される。
状態[5−2]は、第1の時間計測判定手段204の計測時間が決められた時間TIME4を経過したときの状態であり、第1の時間計測判定手段204から電源制御手段206へ時間TIME4が経過したことを表す時間計測終了信号T4が出力され、それに応じて電源制御手段206から、第2の時間計測判定手段205へ計測時間を0にリセットして計測を開始するように指示する計測開始信号と、モードスイッチ制御手段202へ立体表示禁止信号が、それぞれ出力される。
計測開始信号を受けた第2の時間計測判定手段205は、立体表示を中止してからの経過時間(立体画像非表示時間)t5の計測を開始する。
次に、判定ステップ37に進む。判定ステップ37では、第2の時間計測判定手段205によって計測された時間t5が決められた時間TIME5を超過したか否かを判定する。時間t5が時間TIME5を経過したと判定された場合、モードスイッチ制御手段202は、立体表示禁止フラグを0にしてメモリに記憶し、第2の時間計測判定手段205へ計測停止信号を送り、モードスイッチ制御手段202の電源をオフにする。第2の時間計測判定手段205に計測停止信号が入力されると同時に、第2の時間計測判定手段205は計測時間t5をリセットし、第2の時間計測判定手段205の電源をオフにする。
表8に、このとき、第2の時間計測判定手段205、モードスイッチ制御手段202の間で伝送される信号について示す。
状態[6−1]は、第2の時間計測判定手段205の計測時間t5が決められた時間TIME5を経過したときの状態であり、第2の時間計測判定手段205からモードスイッチ制御手段202へ時間TIME5が経過したことを表す時間計測終了信号T5が、モードスイッチ制御手段202から第2の時間計測判定手段205へ計測停止信号が、それぞれ出力される。
このようにして、装置の一部の電源が強制的にオフにされてから決められた時間TIME5を経過しても電源がオンされなかった場合(画像表示を再開するための操作が行われなかった場合)には、ステップ38に進み、モードスイッチ制御手段202は立体表示禁止フラグを0にしてメモリに記憶し、すべての電源をオフにして動作を終了する。
判定ステップ37において、ステップ36で計測開始された立体画像非表示時間t5が決められた時間TIME5を経過していないと判定された場合、判定ステップ39へ進む。
判定ステップ39では、本装置に画像を表示するための操作が行われたか否か、すなわち装置の電源スイッチが押されたか否かを判定する。電源スイッチが押されていないと判定された場合は、ステップ37に戻って時間t5の計測を続行する。一方、電源スイッチが押されたと判定された場合は、ステップ40へ進む。ステップ40では、本装置全体の電源をオンにするための処理を行う。その後、ステップ41に進み、本装置は立体画像の表示を禁止し、以下のようにして平面画像の表示を行う。
例えば図16において、外部からスイッチ201に表示モード情報M1と、平面表示モード情報M2が入力される。モードスイッチ制御手段202は、メモリにある立体表示禁止フラグを参照し、その値が1であるので、平面表示モード情報M2がスイッチ制御手段200に入力されるようにスイッチ201を制御する。スイッチ201は表示モード情報M2側に接続され、スイッチ制御手段200にスイッチ201を通して平面表示モード情報M2が入力される。
ここで、平面表示モード情報M2が左眼用平面画像表示モードであるとすると、スイッチ制御手段200は、スイッチ11及び12をオフにし、スイッチ13を左眼用画像データLが平面画像作成手段6に入力されるように、スイッチ14をフレームメモリ2と平面画像作成手段6が接続されるようにそれぞれ切り替える。平面画像作成手段6において左眼用画像の平面画像データが作成され、スイッチ14を通して、フレームメモリ2に書き込まれる。フレームメモリ2から平面画像データが表示手段3に入力される。表示手段3は入力された平面画像データを表示する。このとき作成される平面画像は、本発明の第1の実施形態及び第2の実施形態で説明した、表示モード情報M1が左眼用平面画像表示モードである場合と同様にして作成される。以上のように平面表示モード情報M2に従って、平面画像の作成、表示を行う。
また、このようにして平面画像を表示している間も、第2の時間計測判定手段205は時間t5の計測を続けており、立体表示の際と同様に第2の時間計測判定手段205で計測した時間t5は、モードスイッチ制御手段202に入力される。ステップ42では、計測時間t5が決められた時間TIME5に達しているか否かの判定を行い、第2の時間計測判定手段205で計測された時間t5が決められた時間TIME5を経過するまでは平面画像の表示を行い、計測された時間t5が時間TIME5に達すると同時に、ステップ43に進む。ステップ43において、モードスイッチ制御手段202は、第2の時間計測判定手段205へ計測停止信号を送る等の立体表示再開処理を行う。第2の時間計測判定手段205は、計測停止信号が入力されると同時に計測時間をリセットし、時間の計測を止める。その後、ステップ33に戻り、モードスイッチ制御手段202は、立体表示禁止フラグを0にしてメモリに記憶する。以降、立体表示禁止フラグが0であるので、表示モード情報M1に沿って立体画像を表示する。
また、この時、モードスイッチ制御手段202に、画像の立体表示を許可することを示す立体表示許可信号が入力される場合、画面上に立体画像の表示を許可するメッセージを表示してもよい。
このようにして、立体画像の長時間の連続的な表示が行われた場合は強制的に立体画像表示装置の電源をオフにし、観察者が再度電源をオンにしても、電源が強制的にオフにされてから決められた時間TIME5が経過するまでは立体画像の表示を禁止することにより、観察者の眼を確実に保護することができる。また強制的に電源がオフにされてから所定の時間TIME5が経っていない状態で、再度電源をオンにした場合、観察者の眼に負担の少ない平面画像の表示を許可することにより立体画像表示装置を継続的に使用することができる。
また、立体画像の表示時間t4が決められた時間TIME4に達した後は、表示手段3の電源のみを切るようにしても構わない。表示手段3の電源のみが切られた後、観察者が立体画像表示装置に備わっている何らかのボタンを押すことにより、再度、表示手段3の電源が入るようにしても構わない。例えば電源ボタンを押すと、表示手段3の電源が入るようにしても構わない。
上記で説明した決められた時間TIME4は、観察者が立体画像を立体として鑑賞できる連続鑑賞時間を表す。上記で説明した時間TIME4及びTIME5はそれぞれ、立体画像表示装置内部のメモリに予め設定された値が保存されていてもよい。また時間TIME4及びTIME5の予め設定された値はそれぞれが1つずつではなく、例えば入力画像の画面サイズや入力画像が動画であればその全再生時間などといった鑑賞時の目の疲れと関連のある要素をパラメータとして、それらのパラメータの組み合わせに応じた数だけ設定されていても構わない。また、観察者がTIME4とTIME5の値をそれぞれ変更できるようにしてもよい。
また、図16の立体画像表示装置の前段に、図7で示したものと同様に立体画像フォーマットデータF3を復号するための立体画像復号手段と、前記立体画像復号手段で復号された立体画像データを左右眼別の画像データに分離する分離手段を配置してもよい。このとき、立体画像フォーマットデータF3の構成は、本発明の第1及び第2の実施形態で説明したF1及びF2と同様に、立体画像制御情報部と画像データ部から構成する。ただし、立体画像フォーマットデータF3の内部の制御情報I2内に保存されている値は、前述した時間TIME4とTIME5に相当する値であり、立体画像表示装置はF3からそれらの値を取得して利用するようにしてもよい。
また、立体画像フォーマットデータF3の内部の制御情報I2内に保存する値は、時間TIME4もしくはTIME5のどちらか一方でもかまわなく、保存されていないデータは予め設定された値を用いるようにしてもよい。
また、このときの立体画像復号手段及び分離手段の動作は、本発明の第1及び第2の実施形態で説明したものと同様である。また、上記で説明した立体画像フォーマットデータF3の画像データ部のデータは符号化されたデータでなくても構わない。例えば無圧縮のデータでも構わない。
また、上記で説明した立体画像フォーマットデータF3の立体画像制御情報部は、本発明の第1及び第2の実施形態で説明したものと同様に、例えば番組配列情報の一部として、データF3内において繰り返し挿入されていても構わない。立体画像フォーマットデータF3において、本発明の第1及び第2の実施形態で説明したものと同様、立体画像制御情報部は画像データ部に挿入されていても構わない。例えば画像データ部がMPEG−4で符号化されたデータである場合、立体画像制御情報部はMPEG−4符号化データ内で規定された所定の位置に挿入されていても構わない。
また、立体表示を開始した時刻を起点として第1の時間計測判定手段204は計測を行うことを上記で説明したが、本発明の第1及び第2の実施形態で説明したものと同様、放送の場合、放送コンテンツの受信を開始してから最初に立体画像制御情報部のデータを受信した時刻、もしくは番組配列情報内に立体画像制御情報部のデータが含まれているなら、最初にその番組配列情報を受信した時刻を起点にして、第1の時間計測判定手段204は表示時間の計測を開始しても構わない。また、最初に受信した上記番組配列情報内に番組再生に必要な時間情報が含まれていれば、その情報を用いて作成した時刻を、第1の時間計測判定手段204で行われる計測の起点としてもよい。
また上記では、立体画像フォーマットデータF3が放送波で伝送される場合について説明したが、例えば伝送経路として、ケーブルやインターネットなどのネットワークなどが使用されても構わないし、伝送される代わりにハードディスクや光ディスクなどの記録媒体に記録されていても構わない。
こうして立体画像表示装置では、立体画像フォーマットデータF3の制御情報の値から時間TIME4とTIME5を、本発明の第1及び第2の実施形態の場合と同様に代入して使用することができ、立体表示する個々のデータに応じて、TIME4とTIME5を設定できるため便利である。また上記で説明したように、立体画像の長時間の連続的な表示が行われ、強制的に立体画像表示装置の電源がオフにされ、観察者が再度電源をオンにした場合、立体画像表示装置の電源が強制的にオフにされる直前の状態で、立体画像表示装置が表示を再開できるようにしても構わない。例えば、あるファイルを再生している途中で電源をオフにされたのであれば、オフになる直前の時間から再生を再開したり、放送を見ていた場合、同じチャンネルの放送をすぐに受信しても構わない。
また、表示装置に上記の放送を受信できる受信手段が備わっており、かつ録画手段が備わっているもしくは外部の録画装置が接続されていたりする場合には、決められた時間TIME4以上連続的に立体画像を観察した時、立体画像の放送を受信中に立体画像表示装置の電源をオフにすると同時に録画を開始し、受信手段と録画手段は電源をオフにせずに放送を受信し続け、電源がオフにされた間の放送を録画し続けても構わない。このようにすることで、電源がオフになっている間に放送された立体画像を後で再生して鑑賞できるようになる。
以上では、入力画像が2つである場合における装置の動作について説明したが、本実施形態は、本発明の第1及び第2の実施形態において説明した方法と同様の方法により入力画像データが3つ以上の場合に対しても拡張することができる。
また、立体画像フォーマットデータF3の画像データ部は、n(n≧1)視点から構成されていてもよく、この場合には、本発明の第1及び第2の実施形態において説明したのと同様の方法で、立体画像復号手段500と分離手段504を拡張すればよい。
上述した本発明の第1、第2、第3の実施形態の立体画像表示装置において、パスワードを記憶する手段と、パスワードを入力するパスワード入力部とを備え、使用の際にパスワードの入力を要求する。このとき立体画像表示装置はパスワード毎に観察者を区別し、観察者毎に立体画像表示時間を管理するようにしてもよい。
パスワード毎に観察者を区別して観察者毎に立体画像を表示する時間を管理することにより他の観察者が使用した条件に影響されず、それぞれの観察者で立体画像表示装置を使用することができる。すなわち、使用時にパスワードを要求してパスワード毎に観察者を区別して観察者毎に立体画像を表示する時間を管理することにより、一人の観察者が立体画像を表示するモードで立体画像表示装置を長時間使用して電源を強制的にオフにされた後でも、他の観察者は立体画像を表示するモードで立体画像表示装置を使用することができる。
また、本発明による視差の調節をした立体表示、警告表示、平面表示への移行、観察者毎のパスワードの使用についても、多眼式の表示装置に適用することが可能である。
次に本発明の第4の実施の形態について述べる。
特許文献1、2に開示された技術では、観察者側の機器がタイマを持ち、立体表示の経過時間を測定し、測定時間があらかじめ定められた許容範囲を超えると、観察者側の機器が自動的に立体表示を平面表示に切替えていた。
これに対して本発明の第4の実施の形態では、立体画像データの作成者あるいは放送事業者やコンテンツ配信事業者等(以下事業者等)のデータの送り手側が、立体画像データ中のどのタイミングで強制的に平面表示するか、あるいは平面表示への切替えに限らず、複数の表示モードの中から1つを指定する方法について説明する。
第1の実施形態についての説明で述べたように、立体画像は視差を有し、観察者は視差によって立体感を感知する。立体画像の各画素の視差は異なるが、大きな視差を有する画素が多い立体画像の立体感は大きく、少ない立体画像の立体感は小さい。このように立体感の大小を示す指標を「立体強度」と呼ぶ。本実施形態は、複数の立体画像が異なる立体強度を持つ場合の立体画像表示の制限方法に関するものである。
立体強度は、画素毎の視差の値の平均値(静止画では画面全体の平均値。動画像の場合は動画像全体の平均値)によって客観的に決めても良いし、主観評価によって決めても良い。あるいは、両者の加重平均によって決定しても良い。客観評価値としては、平均値の代わりに加重平均値、メディアン、最大値などを利用しても良い。動画の場合はフレーム毎の最大値を求め、この最大値の全フレームにわたる平均値、メディアン、最大値などを客観評価値としても良い。
一般に、立体強度の大きな立体画像を観察する場合、立体強度の小さなものに比べて眼の疲労が早まるため、立体強度によって立体表示の許容時間等に差を設ける必要がある。
図19は、立体強度(I)と立体表示の許容時間との関係を示す図である。図19(a)はI=1の場合であり、立体表示時間(横軸)の経過と共に一定の割合(k=α)で増加する「累積強度」(縦軸)が計算されるものとする。ここで、累積強度の値は時間0で0、時間t1でTHとなっている。また、THは所定のしきい値を示し、累積強度の値がTHに達する時間(t1)で、本発明の立体表示装置は以下のような処理を行う。
(1)表示モードを立体表示から平面表示に切り替える。
(2)視差が少なくなるよう調節して立体表示を継続する。
(3)画面に警告メッセージを表示する。
(1)の方法を採る場合、t1は、立体表示を連続する時間(立体表示時間)の許容時間の意味を持つ。また、(3)のメッセージは、立体表示時間が許容時間を経過した旨、平面表示への切り替えを促す旨などを示すものとする。これらの処理は、いずれか一つを用いても良いが、複数を組み合わせて用いることもできる。例えば(1)と(2)を組み合わせ、表示モードを平面表示に切り替えると同時に画面にその旨を知らせるメッセージを表示する。
図19(b)はI=2の場合であり、上記と同様に累積強度が計算されるが、一定の割合kは図19(a)の2倍(k=2α)とする。従って累積強度の値がしきい値THに達する時間(t2)は、t1の半分となる。立体表示装置が上記(1)の方法をとる場合、立体画像表示の許容時間は図19(a)の場合の半分となる。
一般に累積強度(AI)は、立体強度Iと立体表示時間tを用いて以下のように表される。
AI=f(I,t)
ここで、f(I,t)はIおよびtの関数とする。図19の場合
f(I,t)=k(I)・t
となる。ただし、k(I)はIの関数であり、図19の場合は
k(I)=α・I (αは定数)
である。
f、kの関数としては他にも
f(I,t)=k(I)・t+m (mは定数)
k(I)=α・I+β (α,βは定数)
などの一次関数や二次以上の関数あるいはその他の関数を用いても構わない。また、定数m,α,βは実験によって決められる値である。αが正であれば上式のk(I)はIの単調増加関数となり、k(I)が正であれば上式のf(I,t)はtの単調増加関数となる。
累積強度を時間と共に図19のように増加させる場合、本発明の立体表示装置では一定時間間隔(d)毎に一定量(s・I)を累積強度に足し込む処理を行う。ここでsはあらかじめ定められた定数であるり、sとαの関係は次のようになる。
α=(s/d)
この時の累積強度と時間の関係を図20に示す。例えば時間を秒で表し、立体強度Iが1の立体画像に対して1秒毎に累積強度を3だけ増加させる場合、d=1、s=3となる。
本発明の立体表示装置は累積強度をs・Iだけ増加させる毎に累積強度としきい値THを比較し、累積強度がTHより小さければ立体表示を継続し、TH以上であれば上記(1)〜(3)に述べたような処理のいずれかが採られる。
つまりしきい値と累積強度の大小関係によって、立体表示装置の表示モードを切替えることができる。例えば立体表示装置に入力されるしきい値が、ある時刻t1にTH0からTH1に変更された場合を考える。この時TH1=0であれば、累積強度の値に関わらず、時刻t1に立体表示装置の表示モードを上述の(1)〜(3)のいずれかに変更することができる。
前述の図8に示すように、立体画像コンテンツの立体画像フォーマットデータは、立体画像識別情報I1と制御情報I2を含む立体画像制御情報部と、符号化データDからなる画像データ部から構成される。また制御情報I2には立体強度(3D_intensity)、しきい値(3D_threshold)、表示モード(display_mode)と平面表示画像選択情報(2D_picture_select)が含まれる。ここで表示モードは、累積強度がしきい値を超えた時に、立体表示装置がどの表示モードで画像データを表示するかを示す情報で、例えば上述の(1)〜(3)のモードがある。
例えば累積強度がしきい値(TH>0)よりも小さい場合は、現時点での表示モードをそのまま継続する。また、累積強度がしきい値(TH≧0)以上の場合は、この時点で立体表示装置の表示モードを切替える。ここでTH>0の場合は、立体画像データの作成者や事業者等は、どの時点で累積強度がしきい値以上になるかを制御することができない。しかしながらしきい値TH=0の場合は、これを受け取った時点で必ず累積強度がしきい値以上になるので、立体画像データの作成者や事業者等が立体表示装置の表示モードを制御することができる。つまり、
(1)表示モードを立体表示から平面表示に切替えたり、
(2)視差を小さくして、観察者の眼の負担を少なくしつつ、立体表示を継続したり、
(3)画面に“これ以上長時間の立体視は健康に悪いです。”等の警告メッセージを表示する、
等の表示モードの中から適切なものを選択して、表示モードを切替える。
また立体画像データの作成者や事業者等は、立体画像制御情報部の表示モードを指定することによって、立体表示装置が(1)〜(3)のどのモードで表示するかを指定することができる。例えば表示モードに(1)を指定しておけば、立体表示装置がしきい値TH=0を受取った時点で、画像データの表示を平面表示モードに切替えて表示する。
なお、立体画像制御情報部の表示モードが指定されていない場合や、観察者の要求が入力された場合は、立体表示装置はあらかじめ設定されていた表示モードや、観察者から指定された表示モードで画像データを表示する。
この時平面表示モードが選択された場合には、平面表示画像選択情報が右眼用画像データであれば、右眼用画像データを使って平面画像表示を行い、左眼用画像データであれば、左眼用画像データを使って平面画像表示を行う。
本発明の実施の形態1で述べたように、立体画像制御情報部は立体画像フォーマットデータ中の任意の位置に繰り返し挿入されても構わないため、立体画像データの作成者あるいは事業者等は立体画像フォーマットデータの任意の位置でしきい値THを0にする(表示モードを切替える)ことができる。
例えば図9は立体画像コンテンツを放送で受信する一例であるが、複数の番組配列情報と立体画像コンテンツで構成された放送コンテンツにおいては、番組配列情報中に立体画像制御情報部(制御情報I2)が含まれており、番組配列情報を挿入する毎にしきい値THを挿入できるので、このタイミングでしきい値THを0にし、例えば表示モードが(1)を示す場合は、立体表示装置を平面表示モードに切替えることができる。
また本発明の実施の形態1で述べたように、立体画像制御情報部は図8の画像データ部の中に挿入されていてもよい。この場合には、フレーム単位で立体表示装置の表示モードを切替えることもできる。
また立体画像制御情報は放送波に限らず、ケーブルやインターネット等のネットワーク上でやり取りされる立体画像コンテンツや、ハードディスクや光ディスク等の記録媒体に記録された立体画像コンテンツに挿入することも可能である。
図23は本実施形態の立体画像符号化装置を示すブロック図である。
立体画像制御情報生成手段2301は、立体強度としきい値から図8で述べた立体画像制御情報部を生成する。例えば、立体強度として1から4の整数を用い、これを2ビットの変数“3D_intensity”で表現する。また、しきい値として0から65535の変数を用い、これを16ビットの変数“3D_threshold”で表現する。これらの情報は固定長あるいは可変長で符号化されるものとし、可変長符号化の場合はハフマン符号化や算術符号化等が用いられるものとする。
立体画像符号化手段2302は、原画像データをJPEG等の静止画符号化方式あるいはMPEG等の動画符号化方式にて符号化し、符号化データを得る。ここで原画像データは右眼用画像データおよび左眼用画像データから成るものとする。右眼用画像データと左眼用画像データを各々間引き、両者を左右に合成し、符号化用の画像を得るための前処理もここで行われる。また、符号化にはJPEG,MPEG等の画像圧縮の他、ビットマップによる表現や、コンピュータグラフィックス等による表現も含まれるものとする。
多重化手段2303は、符号化データと立体画像制御情報部を多重化して立体画像フォーマットデータを得る。この時、立体画像識別情報I1も立体画像フォーマットデータに挿入される。これについては図8、図9を用いて説明しているため説明を省略する。多重化された立体画像フォーマットデータは、記録媒体に蓄積あるいは伝送媒体に送出される。
以上のようにして、立体画像に対する立体強度やしきい値を示す情報が、立体画像の符号化データと共に蓄積あるいは伝送される。
図24は本実施形態の立体画像復号装置を示すブロック図である。
逆多重化手段2401は、記録媒体に蓄積あるいは伝送媒体に送出された立体画像フォーマットデータを入力とし、これから符号化データと立体画像制御情報部を分離する。
立体画像復号手段2403は、符号化データを復号し復号画像データを得る。ここで復号画像データは右眼用画像データおよび左眼用画像データから成るものとする。右眼用画像データと左眼用画像データの分離もここで行われる。
立体画像制御情報解析手段2402は、立体画像制御情報部を解析し、立体強度およびしきい値、表示モード、平面表示画像選択情報などを復号する。例えば、立体強度として2ビットの変数“3D_intensity”得られ、しきい値として16ビットの変数“3D_threshold”が得られる。
以上のようにして、立体画像の符号化データと共に蓄積あるいは伝送された立体強度やしきい値などを示す情報が復号される。
図25は本実施形態の立体画像表示装置を示すブロック図である。本装置では、立体強度としきい値を用い、上述の方法によって立体表示を(1)〜(3)のように制限する。
表示制御手段2501は、立体強度に応じて累積強度を計算し、累積強度としきい値の比較結果に基づいて立体画像作成手段2502、平面画像作成手段2503、スイッチ2504、表示手段2505を以下のように制御する。
累積強度がしきい値よりも小さい場合、立体画像作成手段2502を動作させて立体表示用の画像を作成し、平面画像作成手段2503は停止させる。スイッチ2504は立体画像作成手段2502側に接続され、立体表示用の画像が表示手段2505に送られる。さらに、表示手段2505を立体表示モードに設定し、立体表示用の画像を表示する。
累積強度がしきい値以上で、上述の(1)のように立体表示を制限する場合、平面画像作成手段2503を動作させて平面表示用の画像を作成し、立体画像作成手段2502は停止させる。スイッチ2504は平面画像作成手段2503側に接続され、平面表示用の画像が表示手段2505に送られる。さらに、表示手段2505を平面表示モードに設定し、平面表示用の画像を表示する。
立体強度がしきい値以上で、上述の(2)のように立体表示を制限する場合、立体画像作成手段2502の動作は、累積強度がしきい値よりも小さい場合と基本的に同じであるが、表示制御手段2501は立体画像作成手段2502の動作モードを変更し、立体画像作成手段は、前述した方法により視差の少ない立体画像を作成する。
立体強度がしきい値以上で、上述の(3)のように立体表示を制限する場合も、累積強度がしきい値よりも小さい場合と基本的に同じであるが、表示手段2505によって警告メッセージが表示される。
立体表示用の画像および平面表示用の画像の作成方法は実施形態1〜3で述べたものと同様であるため、ここでは説明を省略する。
以上の説明では、しきい値TH>0の場合とTH=0の場合とで選択できる表示モードに違いはなかったが、立体画像データが眼に与える影響によって以下のような柔軟な制御も可能である。
立体画像データの作成者あるいは事業者等が、眼への影響が少ないと判断した場合は、しきい値TH>0を用い、表示モードとしては(1)〜(3)のいずれを選択してもよい。立体画像データの作成者あるいは事業者等が、眼への影響が大きいと判断した場合は、しきい値TH=0を用い、表示モードとしては(1)のみに限定し、即刻平面表示モードに切替える。このようなしきい値と表示モードの組合せによる制御も可能である。
なお上記の例では、平面画像作成手段2053で使用する画像データは、平面表示画像選択情報に従って、右眼用画像データか左眼用画像データかを切替えていたが、立体表示装置があらかじめ右眼用画像データか左眼用画像データの使用を設定している場合は、立体表示装置で設定された方の画像データを使用してもよい。また、以前に平面画像表示モードを使用した時に使用した方の画像データでもよい。
以上のように立体画像データの作成者あるいは事業者等が、立体表示装置の立体画像データの表示モードを切替えたい時は、立体画像制御情報部の制御情報I2中のしきい値THを0にすることによって、立体画像表示装置の状態に関わらず、立体画像データの作成者あるいは事業者等が意図したタイミングで、表示モードを切替えることができる。