JPWO2011148587A1 - 立体視映像の再生装置、集積回路、プログラム - Google Patents

Abstract

立体映像のシーン切替や、2次元映像から3次元映像への次元切替などで発生する急激な奥行き量の変化を抑制し、視聴者の目にかかる負担を低減する。再生装置は、立体映像の複数フレーム分の奥行き量を保持することが可能な奥行き量記憶部と、ビデオプレーンとを備え、前記奥行き量記憶部は、2次元映像から3次元映像への切替要求または、3次元映像から3次元映像へのシーン切替要求が発生した場合には、切替前フレームの奥行き量と、少なくとも切替先フレームを含む複数フレームの奥行き量を保持し、切替要求の種類に応じて、切替タイミングの制御または切替先フレームの奥行き量調節を施すことで、急激な奥行き量の変化を抑えた、自然な切替を実現する。

Description

本発明は、両眼視差に基づく立体視映像の再生技術の分野に属する。

上記立体視映像にはさまざまな方式があるが、近年、最も普及しているものは、両眼視差を有する左目映像と右目映像を有し、それぞれを視聴者の左目及び右目に映すことで、擬似的に立体感を作る方式、つまり、両眼視差を用いた立体視方式である。

両眼視差を用いた立体映像では、視聴者は左右の画像の視差の程度の見え方の違いを奥行き感の要因として捉える。この際、左右の画像を立体的に捕らえるために、視聴者は眼の焦点位置の調整を行なう。

2次元表示しているときの左の眼球（瞳）の向いている方向と、視差を利用した3次元表示をしたときの左の眼球（瞳）の向いている方向との間の角度を“視差角”と称する。この視差角が急激に変化する程、眼球の向きを急激に変える必要が生じるため、眼の疲れが生じやすくなる。一般的には、左の眼球の向きを用いて視差角を定義されるが、右の眼球の向きの違いを用いて視差角を定義することもある。視差角の変化の程度が大きくなると、これに応じて切り替時に眼球を動かす程度も大きくなり、眼球を短時間に大きく動かすことが必要となり、眼を疲労する原因となる。

3次元映像の視聴時における、目の疲労感を低減させる技術として、下記の特許文献に記載された文献公知発明がある。

特許文献１に記載された再生装置は、左右眼用の信号の入力時において直ちに3D再生を行うのではなく、一定期間の経過を待ち、この一定期間の経過後に、3D再生を行う。2Dから3Dへの切り替え時において、視差量を段階的に変化させることで眼の疲労感を低減する。この段階的な変化には、単調増加、凹状変化、凸状変化がある(図４、特許文献１の段落００１５)。視差の段階的変化において、目標ちとなる視差量は、視差量計算手段１２が計算し、視差量決定手段１４が決定したものを採用する(特許文献１の段落０００８)。

特開平１１-１６４３２８号公報

3次元映像をテレビと、再生装置とを用いて家庭内で視聴する場合、劇場で3D映画を視聴するのとは異なり、ユーザは自由に、再生装置における2次元映像の出力モード(2Dモード)から、3次元映像の出力モード(3Dモード)への切り替えを行ったり、ブックマークジャンプ、チャプタージャンプをすることができる。映画を構成するビデオストリームの単位において、立体視画像の飛出し度合が多大にならないことは、映画作品の作り手によって保証されている。しかし、2Dモードから3Dモードへの切替え、3Dモードにおけるブックマークジャンプ、3Dモードにおけるチャプタージャンプを行う場合、立体視画像の飛出し度合が適性かどうかは、映画作品の作り手によっては保証されないから、2D再生装置を操作するのと同じ感覚で、3D再生装置に2Dモードから3Dモードへの切替え、3Dモードにおけるブックマークジャンプ、3Dモードにおけるチャプタージャンプを命じるとなると、立体視画像の飛出し量の変化が予期せぬものとなり、視差角の変化が多大になってユーザが目の疲労感を訴えるケースが多発する。

再生装置の使用上の注意として、2Dモードから3Dモードへの切替え、3Dモードにおけるブックマークジャンプ、3Dモードにおけるチャプタージャンプを頻繁に行わないよう、注意を喚起することも考えられるが、これでは、見たいシーンを気軽にアクセスできるというランダムアクセス機能の強みが損なわれることになり、再生装置の家電商品としての魅力が大きく損なわれることになる。

特許文献１では、2Dモードから3Dモードへの切り替えにおける視差量の変化や、シーンジャンプにおける視差量の変化を対象にしているから、特許文献１の技術を応用して、2Dモードから3Dモードへの切替え、3Dモードにおけるブックマークジャンプ、3Dモードにおけるチャプタージャンプにおける視差量変化を穏やかにすることも考えられる。ここで特許文献１における段階的な視差量な変化は、複数のフレームをかけて、“０”の視差量から徐々に目標視差量に近づけるものだから、目標視差量が固定されていることが前提となる。

特許文献１の視差量計算手段１２は、入力信号における視差量を監視して、その最新の視差量を採用することができるが(段落００２４)、映像信号の再生進行に応じて、目標視差が変化す場合は、時間をかけて視差量を段階的に増加させたとしても、再生進行に伴い視差量が動的に変化することにより、再生対象となるフレームにおける視差量が、その目標視差量と大きく異なる場合がある。この場合、目標フレームの視差量から、再生対象となるフレームの視差量に切り替えるにあたって視差量の変化量が大きくなることも有り得るので、目に対する疲労感が必ず低減するという保証はない。そればかりか、視差量がより大きくなることも有り得る。

視差量を段階的に調整するにあたって、再生動作をポーズし、そのポーズ時点のフレームの視差量を目標視差量として視差量を段階的に変化させることも考えられるが、ポーズしている間は再生処理を進めることはできないから、視差量を段階的に変化させている間は、入力信号におけるフレームをバッファリングせねばならない。しかしそのバッファリングの期間が長くなると、バッファオーバーフローが生じることにより、フレームの欠落が発生してしまう。このような欠落があると、欠落前後のフレームの視差量が適切であることの保証がないから、やはり視差量の変化が多大になるというジレンマに陥る。

本発明の目的は、ユーザが主体となって任意に再生位置や再生モードを切り替える場合であっても、目の負担を軽減することができる再生装置を提供することである。

上記課題を解決することができる再生装置は、
立体視可能な3次元映像を出力する再生装置であって、
装置外部からビデオストリームを取得する取得手段と、
取得したビデオストリームをデコードして、3次元映像の出力を行う再生手段と、
再生手段における再生状態を管理する状態管理手段と、
再生状態が変化した場合、ビデオストリームの時間軸のうち変化時点の前に位置する複数のフレーム、及び、変化時点の後に位置する複数のフレームの中から奥行き変化の基準とすべきものを選び、その選んだフレームを用いて、3次元映像における奥行きを調整する調整手段と
を備えることを特徴としている。

2Dモードから3Dモードへの切替え、3Dモードにおけるブックマークジャンプ、3Dモードにおけるチャプタージャンプといった事象は、再生装置において、「再生状態の変化」として捉えることができるので、再生状態の変化時点以降に存在する複数のフレームから、奥行き調整の基準となるフレームを選ぶことで、たとえ、ユーザが2Dモードから3Dモードへの切替え、3Dモードにおけるブックマークジャンプ、3Dモードにおけるチャプタージャンプを行い、再生状態をめまぐるしく変化させたとしても、再生状態の個々の変化時点における奥行き量の変化は、ある一定の範囲内に制限されることになり、目の疲労感を与えることはない。2D再生装置を操作するのと同じ感覚で、3D再生装置を操作することができる。2Dモードから3Dモードへの切り替えを頻繁にしたり、ブックマークジャンプ、チャプタージャンプを頻繁にしたとしても、眼球疲労が多大になることはない。

2Dモードから3Dモードへの切替え、3Dモードにおけるブックマークジャンプ、3Dモードにおけるチャプタージャンプがユーザによってなされたとしても、飛出し量が適性であることが再生装置側から保証されるので、映画作品の作り手は、2Dモードから3Dモードへの切替え、3Dモードにおけるブックマークジャンプ、3Dモードにおけるチャプタージャンプの利点を取り込んだ3Dコンテンツを制作して普及させることにより、コンテンツ産業の更なる発展を図ることができる。

パッケージ媒体である記録媒体、プレーヤ機器である再生装置、表示装置、眼鏡によって構成されるホームシアターシステムを示す。 シャッター眼鏡５００を通じて見ることができる立体視画像の飛出し度合を示す。 立体視画像の飛出し度合の時間的遷移を示す。 立体視画像の飛出し度合と、右目映像ー左目映像間の視差量との時間的遷移を示す。 再生装置の内部構成を示す図である。 調整部の処理手順を示すフローチャートである。 2D→3D切替命令の処理手順を示すフローチャートである。 2Dモードから3Dモードへの切替時における、奥行き調整を示す。 切替先フレーム可変時のシーンジャンプ手順を示すフローチャートである。 ジャンプ時における奥行き量変化を示す図である。 切替先が可変であるシーンジャンプを実行する際の奥行き調整を示す。 切替先フレーム固定時のシーンジャンプの処理手順を示すフローチャートである。 切替先が固定されているシーンジャンプを実行する際の奥行き調整を示す。 オフセットを利用したプレーンシフト処理の一例を示した図である。 左目用ビデオプレーンの正の値xのシフト方法を示す図である。 第２実施形態に係る再生装置の内部構成を示す図である。 集積回路のアーキテクチャを示す図である。

以下、図面を参照しながら、本願に包含される再生装置の発明、集積回路の発明、再生方法の発明の実施形態について説明する。

上記課題解決手段を具備した再生装置の発明は、パッケージ媒体を再生するためのプレーヤ機器として実施することができ、集積回路の発明は、当該プレーヤ機器に組込まれるシステムLSIとして実施することができる。再生方法の発明は、このプレーヤ機器で実現される時系列手順として実施することができる。

図１は、パッケージ媒体である記録媒体、プレーヤ機器である再生装置、表示装置、眼鏡によって構成されるホームシアターシステムを示す。同図に示すように、上記パッケージ媒体である記録媒体、プレーヤ機器である再生装置は、表示装置、眼鏡、リモコンと共にホームシアターシステムを構成し、ユーザによる使用に供される。

リードオンリーメディア１００は、上記ホームシアターシステムに、例えば、映画作品を供給する光ディスクである。

再生装置２００は、表示装置４００と接続され、記録媒体１００を再生する。かかる再生は、左眼用映像（左目映像）の映像出力と、右眼用映像（右目映像）の映像出力を交互に繰り返すことでなされる。こうして再生される再生映像には、2D映像、3次元映像が存在する。2D映像とは、例えば表示装置の表示画面を含む平面をX-Y平面として捉えて、このX-Y平面上に位置する表示画面の表示位置における画素にて表現される画像であり、平面視画像とも呼ばれる。この2D映像を再生するための再生装置の再生モードを“2Dモード”又は“平面視再生モード”と呼ぶ。

対照的に3次元映像とは、上述のX-Y平面として捉えた平面と直交する直線をZ軸として、Z軸方向の奥行きを加えた画像である。この3次元映像を再生するための再生装置の再生モードを“3Dモード”又は“立体視再生モード”と呼ぶ。

リモコン３００は、階層化されたGUIに対する操作をユーザから受け付ける機器であり、かかる操作受け付けのため、リモコン３００は、GUIを構成するメニューを呼び出すメニューキー、メニューを構成するGUI部品のフォーカスを移動させる矢印キー、メニューを構成するGUI部品に対して確定操作を行う決定キー、階層化されたメニューをより上位のものにもどってゆくための戻りキー、数値キーを備える。

表示装置４００は、再生装置２００からの映像出力を受け取って、左目映像と右目映像とを同じタイミングでそのまま交互に出力する。タイミングの同一化は、映像出力と表示切り替えのフレームレートを同一とすることで実現される。視聴者の眼の負担を軽減するため、表示切り替え側のフレームレートのみを逓倍する構成をとることもできる。この場合は、左目映像および続いて出力された右目映像のセットを表示ディスプレイ４００が蓄積し、表示ディスプレイ側でこれらの画像を高速に切り替えることで、高フレームレートの表示を行うこととなる。表示装置４００において画面において、男女の姿が二重に重なっているのは、シャッター眼鏡５００を装着せずに表示装置４００の画面を見ると、3Dモードで右目映像、左目映像が重なり合って見えるからである。

シャッター眼鏡５００は、印加電圧を制御することにより光の透過率を変えることが可能な液晶シャッターを備える。この光の透過率を変えることで(1)左目に入る光を透過するとともに、右目へ入る光を遮断する機能、または（2）左目に入る光を遮断するとともに、右目へ入る光を透過することが機能を実現する。これにより、左目映像を右目に見せることなく左目に見せ、右目映像を左目に見せることなく右目に見せるといったことが可能となる。立体視映像表示する場合、シャッター眼鏡５００は、視聴者の左目に見せる画像（左目映像）と、利用者の右目に見せる右目用の画像（右目映像）を交互に切り替えて表示するように構成される。この切り替えのタイミングと同期させて、視聴者がかけるシャッター眼鏡において、左目映像を表示している間は、左目に入る光を透過させて右目に入る光を遮断させ、右目映像を表示している間は、右目に入る光を透過させて左目に入る光を遮断させることにより、ディスプレイで表示される左目映像はシャッター眼鏡により左目にだけ見え、逆に右目映像は右目にだけ見える仕組みを実現できる。

このような構成において、左目用の映像と右目用の映像について、視差の程度見え方の異なる映像とすることにより、視聴者は見え方の違いが奥行きを持ったように錯覚し、ディスプレイに表示されている映像が、あたかもディスプレイから飛び出て立体的な映像が表示されているかのように感じる。

ケーブル６００は、非圧縮のビデオストリーム、非圧縮のオーディオストリームを高転送レートで転送するためのケーブルであり、HDMIケーブル等が該当する。

以上が、ホームシアターシステムについての説明である。続いて、立体視画像の詳細について説明する。

図２（ａ）〜（ｃ）は、シャッター眼鏡５００を通じて見ることができる立体視画像の飛出し度合を示す。図２（ａ）は、視差が大きい場合に映ずる立体視画像を示し、図２（ｂ）は、視差が小さい場合に映じる立体視画像を示す。

図２（ａ）は、図の下側をユーザ側にしていて、上側を表示装置４００側にしている状態を示す。立体視画像は、表示装置４００と、シャッター眼鏡５００との途中に存在する。図２（ａ）（ｂ）では、立体視画像が表示装置４００にどれだけ近づいているかが異なる。視差量が小さい図２（ａ）では、立体視画像は、表示装置４００の近くに配置され、シャッター眼鏡５００から遠のくことになる。左目画像、右目画像の視差量が大きい図２（ｂ）では、立体視画像は表示装置４００から遠退き、シャッター眼鏡５００に近づいている。これら図２（ａ）（ｂ）からも理解できるように、視差量の大小を制御することで、立体視画像をシャッター眼鏡５００から遠ざけたり、近づけたりするという立体視画像の奥行き制御が可能になる。

図３は、立体視画像の飛出し度合の時間的遷移を示す。横軸は、ビデオストリームの時間軸を示し、縦軸は、表示装置４００と、シャッター眼鏡５００との間の空間を示す。横軸において、ビデオストリームの時間軸は、複数のフレームで構成される。飛出し度合は、フレーム毎に異なる値になっている。フレームFk-4,Fk-3では飛出し度合が小さく、フレームFkでは、飛出し度合が大きくなっている。

図４は、立体視画像の飛出し度合と、右目映像ー左目映像間の視差量との時間的遷移を示す。

Ｙ軸をビデオストリームの時間軸としており、Ｘ軸を立体視画像の飛出し度合、Ｚ軸を視差量としている。そうすると、視差量が大きいフレームでは、飛出し度合が大きいことがわかる。例えばフレームFk-4,Fk-3では視差量が大きいため飛出し度合が大きく、フレームFk+2,Fk+4では視差量が小さいため飛出し度合が小さい。この図４からも理解できるように、フレーム毎の視差量の違いは、立体視画像における飛出し度合に大きく影響を与える。飛出し度合の制御のための視差量の大きさのことを「奥行き量」という。

以上が立体視画像についての説明である。続いて、再生装置２００の内部構成について説明する。

図５は、再生装置の内部構成を示す図である。本図に示すように、再生装置は、読出部１、デマルチプレクサ２、ビデオデコーダ３、ビデオプレーン４、プレーンシフトエンジン５、加算器６、再生状態管理部７、カレント処理フレーム記憶部８、左右処理記憶部９、次元モード記憶部１０、次元判定部１１、奥行き記憶部１２、シナリオメモリ１３、UO検知モジュール１４、調整部１５、制御部１６、開始位置決定部１７、プレーンオフセット決定部１８から構成される。

読出部１は、立体視映像を構成するコンテンツが記録された記録媒体を装填して、当該記録媒体に対する読み出し／書き込みを実行する。当該記録媒体には、リードオンリーメディア１００を始め、リライタブルなリムーバブルメディア、リライタブルなビルドインメディアといった種別がある。また再生装置はランダムアクセス部を具備している。ランダムアクセス部は、ビデオストリームの時間軸における任意の時点からのランダムアクセスを実行する。ここでビデオストリームには、通常のビデオストリームと、マルチビュービデオストリームとがある。マルチビュービデオストリームとは、ベースビュービデオストリーム、ディペンデントビュービデオストリームから構成される、立体視用途のビデオストリームである。そしてランダムアクセス部は、具体的には、ビデオストリームの時間軸における任意の時点からの再生が命じられた場合、シナリオデータの1つであるエントリーマップを用いて、その任意の時点に対応するアクセスユニットのソースパケット番号をサーチする。かかるアクセスユニットは、独立復号可能なピクチャデータ、又は、ビューコンポーネントの組みを含むものである。ビューコンポーネントとは、立体視映像を構成する構成要素のことであり、一枚の右目映像、一枚の左目映像のそれぞれがビューコンポーネントに該当する。上記サーチによって、当該アクセスユニットについてのアクセスユニットデリミターを格納したソースパケットのソースパケット番号が特定される。かかるソースパケット番号からの読み出し、及び、デコードを実行する。シーンジャンプにあたって、分岐先を示す時間情報を用いて上記サーチを実行することにより、ランダムアクセスを実行する
デマルチプレクサ２は、入力ストリームに対して多重分離を行い、複数種別のパケッタイズドエレメンタリストリームを出力する。このように出力されるエレメンタリストリームには、ビデオストリーム、字幕用のグラフィクスストリーム、対話用のグラフィクスストリーム、オーディオストリームがあり、これらのうちビデオストリームをデマルチプレクサ２に出力する。字幕用のグラフィクスストリーム、対話用のグラフィクスストリームについては、これらに対応する専用のグラフィクスデコーダ(図示せず)に送り込み、オーディオストリームについては、オーディオデコーダ(図示せず)に送り込む。

ビデオデコーダ３は、デマルチプレクサ２の多重分離により抽出されたビデオストリームを構成するアクセスユニットをデコードして、非圧縮のピクチャデータをビデオプレーン４に書き込む。マルチビュービデオストリームのデコードにあたって、ディペンデントビュービデオストリームにおけるシーケンス先頭のアクセスユニットから補助拡張データを取り出して、この補助拡張データ内に存在する、個々のビデオフレーム毎の奥行き量を制御部１６に書き込む。

ビデオプレーン４は、ビデオデコーダ３のデコードにより得られた非圧縮のピクチャデータを構成する、一画面分の画素データを格納することができるメモリである。ビデオプレーン４の構成には、２プレーン構成、１プレーン構成があり、２プレーン構成においてビデオプレーン４は左目ビデオプレーン及び左目ビデオプレーンの組みから構成される。２プレーン構成を構成する左目ビデオプレーン、左目ビデオプレーンのそれぞれには、マルチビュービデオストリームをデコードすることによりえられる左目映像、右目映像が格納される。１プレーン構成である場合、ビデオプレーン４には、通常のビデオストリームをデコードすることにより得られた非圧縮のピクチャデータを構成する画素データが、格納されることになる。

プレーンシフトエンジン５は、ビデオプレーン４が1プレーン構成である場合、プレーンシフトを実現する。左右処理対象記憶部１１に現在の処理対象であるカレント処理フレームFcが左目映像か右目映像かを判定した後、プレーンオフセット決定部１４で決定されたプレーンオフセットを用いてビデオプレーンに格納されるピクチャに基づき表示される出力映像を表示画面の水平方向（横軸）に対して基準位置からどの程度シフトするかというオフセットが、後述するプレーンオフセット決定部１８によって決定される。こうして決めたオフセットだけシフトを行うよう、プレーンシフトエンジン５はビデオプレーンに格納された各画素データのシフト処理を行う。図示はしていないが、ビデオプレーン４の他に、非圧縮の字幕グラフィクスを格納するためのグラフィクスプレーン、対話的なグラフィクスを格納するためのグラフィクスプレーンが存在しており、ビデオプレーン４はこれらのグラフィクスプレーンに格納されている各画素データに対してもプレーンシフトを実行する。

加算器６は、ビデオプレーン４、字幕用のグラフィクスプレーン、対話用のグラフィクスプレーンに格納されている個々の画素データに所定の透過率を乗じて加算する。これは、ビデオプレーン４、字幕用のグラフィクスプレーン、対話用のグラフィクスプレーンに格納されている画素の重畳を行うためである。ビデオプレーン４を構成する全ての画素データに対して加算がなされれば、ビデオプレーン４、字幕用のグラフィクスプレーン、対話用のグラフィクスプレーンのレイヤ合成が完了する。以上のレイヤ合成がなされれば、合成後のピクチャデータを構成する画素データを加算器６に出力することにより、出画を行う。以上のビデオデコーダ３、ビデオプレーン４、プレーンシフトエンジン、加算器６は、一体となって、再生部を構成する。

再生状態管理部７は、カレント処理フレーム記憶部８、左右処理記憶部９、次元モード記憶部１０を備え、上記再生部の再生状態を管理する。

カレント処理フレーム記憶部８は、カレント処理フレームFcを特定するための複数のパラメータを格納する複数の再生状態レジスタから構成される。カレント処理フレームFcを特定するための複数のパラメータには、カレントタイトル番号、カレントプレイリスト番号、カレントプレイアイテム番号、カレントチャプター番号、カレントブックマーク番号、カレントアングル番号、カレントPresentation Time(PTM)があり、これらのパラメータを用いることでカレント処理フレームFcは特定される。

ここでカレントタイトル番号とは、リードオンリーメディアのインデックステーブルに記述された複数のタイトルのうち、現在の再生対象になっているものを意味する。

カレントプレイリスト番号とは、リムーバブルメディアに記録されている複数のプレイリスト情報(メインパス及びサブパスからなる再生経路を定義する情報のことである)のうち、現在の処理対象になっているものをいう。

カレントプレイアイテム番号とは、カレントプレイリスト番号に対応するプレイリスト情報を構成する複数のプレイアイテム情報(ビデオストリームの時間軸上でIn_Time、Out_Timeの組みを定義することにより、一個の再生区間を定義する情報のことである)のうち、現在の再生対象になっているものをいう。

カレントチャプター番号とは、プレイリスト情報を構成する複数のプレイアイテム情報に設定されている複数のチャプターのうち、カレントのチャプターとして選択されているものの番号をいう。上記プレイリスト情報は、プレイリストマーク情報を有しており、このプレイリストマーク情報は、プレイアイテム情報と、タイムスタンプとの組みでプレイアイテム情報に対するマーク点を指定することができる。プレイリスト情報に対して設定された個々のチャプターは、このプレイリストマーク情報によって特定される。プレイリスト情報には、必ずプレイリストマーク情報によってチャプターが特定されているから、プレイリストによるビデオストリームの再生時において、プレイリストマーク情報によって特定される複数のチャプターのうち、何れか1つのものがカレントチャプター番号によって特定される。そしてビデオストリームの再生進行に伴い、カレントチャプター番号が更新される。

カレントブックマーク番号とは、プレイリスト情報を構成する複数のプレイアイテム情報に設定されている複数のブックマークのうち、カレントのブックマークとして選択されているものの番号をいう。上記ブックマークは、オーサリング者によって定められたチャプターとは異なり、ユーザ操作によって特定されるものである。

ブックマークはユーザ操作によって特定されるものだから、再生装置は、ユーザからの画面のマーキング操作を受け付けて、上記プレイリストマーク情報を装置内部で生成することによりブックマークを特定する。かかる操作によって複数のブックマークが特定されれば、プレイリストによるビデオストリームの再生時において、複数のブックマークのうち、何れか1つのものがカレントブックマーク番号によって特定される。そしてビデオストリームの再生進行に伴い、カレントブックマーク番号が更新される。以上のカレント処理フレーム記憶部８に格納されているパラメータのうち、カレントプレイアイテム番号、カレントチャプター番号、カレントブックマーク番号を新たなものに上書きすることにより、いわゆる“シーンジャンプ”の実行がなされる。

カレントアングル番号とは、プレイアイテム情報が2つ以上のストリーム参照情報を有していて、それぞれのアングル参照情報により、カメラアングルが異なる複数のビデオストリームが参照されていた場合、カメラアングルが異なる複数のビデオストリームのうち、どれをカレントのビデオストリームとするかを定めるものである。かかるカレントアングル番号は、ストリーム参照情報が1つしかないプレイアイテム情報において更新されることはない。ストリーム参照情報を2つ以上有しているプレイアイテム情報においてのみ、更新される。

カレントPTMとは、カレントプレイアイテム番号に対応するカレントプレイアイテム情報で参照されているビデオストリームの時間軸のうち、現在の再生時刻を示すものであり、タイムスタンプの時間精度のクロック数により表現される。カレントPTMは、ビデオデコーダによるビデオストリームのデコード処理の進捗に伴い、随時更新される。

これらカレントタイトル番号、カレントプレイリスト番号、カレントプレイアイテム番号、カレントチャプター番号、カレントブックマーク番号、カレントアングルの何れかが変化するような事象を“再生状態の変化”という。しかし、カレントPTMのみが更新されたとしても“再生状態の変化”が生じたとは捉えない。カレントPTMは、上述したように、ビデオストリームの再生進行に従い時々刻々と変化するものだからである。

左右処理記憶部９は、ビデオストリームを構成する複数のフレームのうち、現在の処理対象となるフレームが左目映像か右目映像かを記憶する。

次元モード記憶部１０は、映像の出力形態が2Dモードであるか、3Dモードであるかを示すカレントモード番号を格納する。次元モード記憶部１０に記憶されているカレントモード番号を、新たなものに上書きすることにより、2Dモードを3Dモードに切り替えたり、3Dモードを2Dモードに切り替えることができる。以上が、再生状態管理部７を構成するカレント処理フレーム記憶部８、左右処理記憶部９、次元モード記憶部１０についての説明である。続いて、次元判定部１１の詳細について説明する。

次元判定部１１は、シナリオデータに含まれるモード設定のためのパラメータと、カレント処理フレーム記憶部８におけるパラメータとを用いて、再生装置における再生モードを決定するためのモード決定プロシージャを実行し、再生装置における出力モードを2Dモードにするか、3Dモードにするかを判定する。再生モードを決定すれば、決定後の再生モードを示すカレントモード番号を次元モード記憶部１０に書き込む。

奥行き記憶部１２は、ビデオデコーダがシーケンスの補助拡張データから取り出した複数のフレームについての奥行き量（フレームFmからフレームm+nまでのそれぞれのフレームにおける奥行き量）を格納する。

シナリオメモリ１３は、デマルチプレクサ２を経ることなく記録媒体から読み出されたストリーム管理情報やプレイリスト情報、バイトコードアプリケーション、ナビゲーションコマンド列を格納する。

UO検知モジュール１４は、GUIのボタン部材を確定する操作、スキップ操作をリモコンに対して行った場合、その操作を示すユーザ操作(UO)イベントを出力する。

調整部１５は、再生状態管理部７のカレント処理フレーム記憶部８、左右処理記憶部９によって管理されている再生状態が変化した場合、ビデオストリームの時間軸のうち変化時点の前に位置する複数のフレーム、及び、変化時点の後に位置する複数のフレームの中から奥行き変化の基準とすべきものを選び、その選んだフレームを用いて、立体視再生の奥行きを調整する。この調整は、適切な再生位置を決定すること、適切なプレーンオフセットを決定することという2通りの処理を含む。図中の制御部１６、開始位置決定部１７、プレーンオフセット決定部１８はこれらの処理を実現するためのものである。

制御部１６は、外部からの再生状態の切替要求を受け付けて、切替要求に係る処理を実行することで再生装置における再生状態を変化させる。再生状態管理部７は、この変化後の再生状態を管理することになる。より具体的にいうと、制御部１６はROM、RAM、CPUを備えたマイコンシステムであり、ROMには再生装置を制御するプログラムが記録されており、ROM内のプログラムがCPUに読み込まれ、プログラムとハードウエア資源とが協動することにより切替要求に係る処理を実行する。切替要求に係る処理は、AV再生機能の1つである。AV再生機能とは、再生開始、再生停止、一時停止、一時停止の解除、静止画機能の解除、再生速度を即値で指定した早送り、再生速度を即値で指定した巻戻し、音声切替、副映像切替、アングル切替といった、AV再生のための一般的機能をいう。

本実施形態で対象としている切替要求には、ユーザの操作によるものと、シナリオデータに組込まれた切替命令によるものとがある。AV再生機能として規定された処理のうち、これらの切替要求で要求されたものを開始することにより、再生装置における再生状態の変化が発生する。前者の切替要求について説明する。前者の切替要求には、例えば、ユーザが次元切替キーを押下した場合の次元切り替え(1)、ユーザスキップが発生した際のシーンジャンプ(2)、数値ダイレクト入力によるチャプタージャンプ(3)、アングル切替(4)等がある。

次元切替キー押下による次元切替え(1)では、その次元切替キーの押下時点が“切替要求の発生時点”となり、その押下時点の次の時点が、切替要求に係る処理を開始するよう、要求された“要求時点”となる。次元要求の切り替えでは、次元切替キーの押下がなされた時点の次の時点で、出力モードが切り替わるのが望ましいからである。次元切替キーの押下に対応する処理として、次元モード記憶部１０に記憶されているカレントモードを示す番号を変更する。カレントモードが2次元であるなら3次元へ、カレントモードが3次元であるなら2次元に変更する。切替要求に対して、以上の処理を実行することで出力モードの変更がなされる。

ユーザスキップによる切替要求(2)では、ユーザがスキップ操作を行った時点が“切替要求の発生時点”となる。そして、スキップ操作によるスキップ先が切替要求で処理を開始するよう要求された“要求時点”となる。スキップ操作は、スキップ先での再生を開始することを要求する操作だからである。

ユーザがチャプタースキップを行った場合、切替要求に対応する処理としてカレントチャプター番号をインクリメント又はデクリメントする処理を実行にする必要がある。具体的には、カレントチャプター番号をインクリメント又はデクリメントして、インクリメント又はデクリメント後のカレントチャプター番号に対応するプレイリストマークが参照しているプレイアイテムのプレイアイテム番号、当該プレイリストマーク情報に対応するカレントチャプター番号をカレント処理フレーム記憶部８に設定する。そして要求時点を示す時刻情報をカレント処理フレーム記憶部８のPTMレジスタに書き込んで、カレント処理フレームFcの更新を行う。最後に、更新後のカレント処理フレームFcからのランダムアクセスを読出部１に命じて、更新後のカレント処理フレームFcからの再生を行わせる。

切替要求に対して、以上の処理を実行することでシーンジャンプはなされる。

数値のダイレクト入力によるチャプタジャンプ(3)では、ユーザが数値入力操作を行った時点が切替要求の発生時点となる。そして、数値入力された番号に対応するチャプターが切替要求で処理を開始するよう要求された要求時点となる。具体的には、入力数値された数値をカレントチャプター番号として設定して、新たなカレントチャプター番号に対応するプレイリストマークが参照しているプレイアイテムのプレイアイテム番号、当該プレイリストマーク情報に対応するカレントチャプター番号をカレント処理フレーム記憶部８に設定する。切替要求に対して、以上の処理を実行することで、数値入力によるシーンジャンプはなされる。

アングル切替による切替要求(4)では、ユーザがアングル切替操作を行った時点が切替要求の発生時点となる。そして、アングル切替要求で切り替えることが要求されたデジタルストリームの先頭位置が、切替要求で処理を開始するよう要求された要求時点となる。そしてアングル切替要求に対応する処理とは、アングル切替操作に応じてカレントアングル番号をインクリメント又はデクリメントして、プレイアイテム情報に存在する複数のストリーム参照情報のうち、インクリメント又はデクリメント後のカレントアングル番号に対応するものに従い、デジタルストリームを読み出すというものである。このインクリメント又はデクリメント後のカレントアングル番号に対応するストリーム参照情報は、切替後のアングル番号に対応するデジタルストリームを参照しているからである。切替要求に対して、以上の処理を行うことで、アングル切替はなされる。

後者の切替要求について説明する。後者の切替命令とは、前者のユーザ操作による切替要求を、シナリオデータに組込まれたナビゲーションコマンド、又は、APIコールに対応するバイトコードによって実現するものである。後者の切替命令において、切替要求に係る処理の開始を要求する要求時点は、当該切替命令であるナビゲーションコマンドのオペランドや、APIコールに対応するバイトコードの引数により“切替先”として指定されている再生開始点である。後者の切替命令において、切替要求に係る処理が発生する発生時点は、その切替命令であるナビゲーションコマンドやバイトコードを読み込む読み込み時点となる。説明の簡略化のため、以降、本実施形態で対象とする切替要求は、基本として後者の切替命令であるものとする。

先読み制御部１６aは、制御部１６の構成要素であり、“奥行き解析のための先読み”を行う。“奥行き解析のための先読み”とは、切替要求に係る処理を開始するよう要求された要求時点である切替先のフレームFmにおいて、要求時点より後のnフレーム、又は、要求時点より前のpフレーム並びに要求時点より後のqフレームをまとめて読み出し(ここで、n=p+qの関係がある)、これらのフレームの奥行き量をビデオデコーダから分離させて奥行き記憶部１２に格納するというものである。この分離のために読み出された複数フレームは、全てが再生される訳ではない。再生されるフレームは、奥行き変化の基準となるフレーム、及び、それ以降のフレームに限られる。処理開始が要求された要求時点である切替先フレームより後のnフレーム、又は、要求時点である切替先フレームより前のpフレーム並びに要求時点である切替先フレームより後のqフレームは、奥行き解析のために読み出されるに過ぎないからである。

対話制御部１６bは、先読み制御部１６aと同様、制御部１６の構成要素であり、シナリオデータ及びイベントに基づき、ランダムアクセスを読出部１に命じることで対話的な処理を実行する。具体的にいうと、表示装置４００によるGUIの表示において、ハイライト状態になっているボタン部材に対して確定操作がなされて、確定操作を示すイベントが発生すると、対話制御部１６bはボタン部材に対応するボタンオブジェクトのメソッドであるバイトコード又はナビゲーションコマンドを実行する。

当該ボタン部材がシーンジャンプを受け付けるものである場合、切替命令となるバイトコード又はナビゲーションコマンドがメソッドとしてボタン部材に組み込まれているので、この切替命令を実行することでカレント処理フレームFcを特定するための複数パラメータの更新を行う。

開始位置決定部１７は、再生状態の切替要求が次元切替要求、又は、シーン切替要求である場合に、これらの要求に係る処理を開始すべき開始時点を決めるものである。

次に、要求時点の種別について説明する。切替要求には要求時点が固定であるものと、要求時点が可変であるものとがある。

固定された要求時点とは、例えば、シーンジャンプでジャンプ先となるチャプターや、アングル切替で切替先となるアングル映像などが該当する。映画などを記録したBD-ROMの場合、チャプターはコンテンツ作者の意図で区切られており、再生開始位置は、各々のチャプターでの最初のフレームに固定されている。また、アングル切替など再生がシームレスに続く場合もこの命令に属する。

可変である要求時点とは、チャンネル切替の切替先となるストリームや、ブックマークジャンプにおいてジャンプ先となるブックマークなどがある。ブックマークジャンプは、ユーザーが指定したフレームから再生することが理想的ではあるが、ユーザーはフレーム単位でブックマーク位置を選択しているのではないため、数フレームの誤差は許容され得るからである。

特に開始位置決定部１７は、次元切替要求の発生時において、切替要求に係る処理を開始するよう要求された要求時点(切替先フレームFm)以降に位置する複数のフレーム(フレームFm〜Fm+n)のうち、切替要求の発生時点(フレームFk)との奥行き量の差分が最も少ないフレームを奥行き調整の基準となるフレームFdとして選ぶ。こうして選んだ奥行き調整の基準となるフレームFdを、切替要求に係る処理を開始すべき開始時点として決定することで、奥行き調整を実行する。つまり開始位置決定部１７は、切替要求の要求時点である切替先フレーム前後のフレームと、切替要求の発生時点のフレームとで、両者の奥行き量を比較することにより、奥行き調整の基準となるフレームを定めるのである。要求時点である切替先フレームmを始点としたnフレームの範囲内から、切替要求に対応する処理の開始時点フレームFdを選ぶのは、2次元から3次元への切替は、ユーザの発意によるもので、実際の要求時点からの誤差が多少あっても許容されるからである。

奥行き調整の基準となるべきフレームの選択範囲を規定するフレーム数“n”は、リードオンリーメディアに対するアクセス単位に従い定めるのが望ましい。具体的にいうと、一回のアクセスで2〜3GOPに対応するアクセスユニットを読み出すのなら、これらのアクセスユニットに包含されるフレーム数である48〜72フレームに基づきnを定めるのが望ましい。また、リードオンリーメディアからの一回のアクセスでは、リードオンリーメディアからの読み出し用のバッファ(リードバッファ)に基づき、アクセスサイズが定められる。このリードバッファに基づき、奥行き調整の基準となるべきフレームの選択範囲を規定するのが望ましい。説明の簡略化のため、以降の説明において奥行き調整の基準となるべきフレームの選択範囲を規定するフレーム数“n”は、単純で扱いが簡単な数値、つまり、“5”又は“6”とする。

また、シーン切替要求の発生時において、シーン切替要求に係る処理を開始するよう要求された要求時点であるフレームFm以前に位置する複数フレーム(フレームFm-p〜Fm)、及び、フレームFm以降に位置する複数のフレーム(フレームFm〜Fm+q)のうち、シーン切替要求の発生時点となるフレームFkとの奥行き量の差分が最も少ないフレームを奥行き調整の基準となるフレームFdとして選ぶ。こうして選んだ奥行き調整の基準となるフレームFdを、切替要求に係る処理を開始すべき開始時点として決定することで、奥行き調整を実行する。処理開始時点の決定による奥行き調整は、要求時点である切替先フレームが可変である場合になされる。切替要求に対応する要求時点である切替先フレームが可変である場合、要求時点が未来方向に遅延することが許容されるばかりか、過去方向に早まることも許容される。よって、切替要求に対応する要求時点が可変である場合、要求時点以前に位置するpフレームと、要求時点以降に位置するqフレームとを、奥行き調整の基準とすべきフレームを選ぶ選択範囲とする。このpと、qとは、n=p+qとの関係を満たすべきである。リードオンリーメディアに対する一回のアクセスで、奥行き調整の基準とすべきフレームの選択範囲がまとめて読み出されることが望ましいからである。

プレーンオフセット決定部１８は、プレーンシフトにあたってのオフセットの基準となる奥行き量を有しているオフセット基準フレームFdを決める。オフセット基準フレームFdの選択は、シーン切替要求に係る処理を開始するよう要求された要求時点である切替先フレームFm以降に位置する複数のフレーム(フレームFm〜Fm+n)のうち、シーン切替要求の発生時点(フレームFk)との奥行き量の差分が最も少ないフレームを決めることでなされる。そして、こうして決めた奥行き調整の基準となるオフセット基準フレームを用いて奥行き調整を行う。調整部１５による奥行き調整は、シーン切替要求の発生時点であるフレームFkから、オフセット基準フレームFdまでの期間に属する各フレームの映像出力にあたって、プレーンシフトエンジン５がオフセット基準フレームFdの奥行き量に対応するオフセットを、水平方向のオフセットとして用いることでなされる。オフセット基準フレームの決定による奥行き調整は、切替要求に係る処理を開始するよう要求された要求時点が固定である場合になされる。固定となる要求時点とは、オーサリング者が作成したプレイリストマーク情報で特定されている要求時点のことである。切替要求に対応する要求時点が固定である場合、オフセット基準フレームの奥行きで立体視再生がなされることになり、立体視映像の飛出し度合は弱められているものの、切替要求で要求された要求時点から再生を開始していることは明らかである。以上のように、切替要求に対応する要求時点が固定である場合は、切替要求に対応する処理の開始時点についての要求を遵守しつつも、立体視映像の飛出し度合を制限することにより、ユーザの視覚に対するケアを充実させていることがわかる。

以上が再生装置の内部構成における構成要素についての説明である。続いて、再生装置のソフトウェア的な処理手順を示す詳細について説明する。

図６は、調整部の処理手順を示すフローチャートである。ステップＳ１〜ステップＳ２は、2D再生のためのフローチャートである。ステップＳ１の判定ステップは、2Dモードから3Dモードへの切替命令が発生したかどうかの判定であり、この判定がNoであれば、2D再生の実行を継続する(ステップＳ２)。

切替命令が発生すれば、ステップＳ１がYesになってステップＳ３において2Dモードから3Dモードへの切り替えを実行し 、ステップＳ４−ステップＳ８の判定ステップ列に移行する。ステップＳ４は、3Dモードにおけるシーンジャンプが発生したか否かの判定であり、ステップＳ４がNoであれば、プレーンシフトを実行し(ステップＳ５)、各レイヤのプレーン内容を合成して出画し(ステップＳ６)、カレント処理フレームFcをインクリメントする(ステップＳ７)という処理を繰り返す。

シーンジャンプが発生した場合(ステップＳ４でYes)、ステップＳ９の判定がなされる。ステップＳ９は、切替要求で処理を開始するよう要求された要求時点である切替先フレームが可変であるか否かの判定であり、可変であれば、ステップＳ１０において、要求時点のフレームが可変である場合のシーンジャンプを実行する。可変でなければ、ステップＳ１１において、要求時点のフレームが固定されている場合のシーンジャンプを実行する。

以上のフローチャートの処理手順を、再生装置の構成要素と関連付けて説明する。以降の説明において、対象となる切替要求とは2次元の出力映像から3次元の出力映像への切替を要求する次元切替命令、3次元の出力映像から別の3次元の出力映像への切替を要求するシーン切替命令のことをいう。

切替要求が発生すると、まず、切替要求が発生する発生時点直前の出力映像が2次元の出力映像を表示しているのかまたは、3次元の出力映像を表示しているのかを判断して、当該切替要求が2Dモードから3Dモードへの切替を要求するか否かを判定する(ステップＳ１)。かかる判断は例えば次元モード記憶部１０に格納されているカレントモード番号を参照することによりなされる。

切替要求が発生する発生時点直前の出力映像の次元モードが2Dモード（つまり、2次元の出力映像を表示している）である場合、切り替え先の出力映像を2次元で表示するのか、または3次元で表示するのかを判断する。この判断は例えば、切替命令に含まれている切替先映像の次元モードに関する情報を参照することや、切替命令に含まれている次元モード更新のためのパラメータ（次元モード記憶部１０のカレントモード番号を更新するための更新パラメータ）を参照することでなされる。

ステップS１において切替先の次元モードが3Dモードであると判定された場合、切替要求は、2次元の出力映像から3次元の出力映像への切替を要求する次元切替要求であると判断し、2Dモードから3Dモードへの切替を行う（ステップＳ３）。

カレントの次元モードが2Dモードである場合において、次元切替要求が発生すれば、ステップＳ８において、切替先の次元モードが3Dモードであるか否かを判定する。切替前の次元モードが2Dモードであれば、奥行き量、切替後の奥行き量はともに“０”（つまり表示画面上に表示がされている）であるので、奥行き調整は不要であるため、奥行き量の調整を行うことなく、ステップＳ１〜ステップＳ２のループを継続する。

カレントの次元モードが3Dモードである場合において、次元切替要求が発生すれば、ステップＳ３において、切替先の次元モードが2Dモードであるか否かを判定する。切替前の次元モードが3Dモードであれば、ステップＳ８において切替要求に従って、切り替え後の出力映像を2次元で表示するのか、または3次元で表示するのかを判断する。この判断は例えば、切替命令に含まれている、切替先の出力映像の次元モードに関する情報を参照したり、切替命令に含まれる次元更新のためのパラメータ（次元モード記憶部１０に格納されているカレントモード番号を更新するためのパラメータ）を参照することによりなされる。切り替え先の出力映像の次元モードが2Dである場合、奥行き量の調整を行うことなく、2Dの切替要求に対応する切替処理を行った後、ステップＳ１〜ステップＳ２のループに移行する。

切替先の出力映像の次元モードが3Dモードである場合、S９において、切り替え先の出力映像を表示するためのフレームを変更してよいかどうか（つまり可変かどうか）を判断する。

S９において、可変であると判断した場合、数フレームのずれであれば、3D表示を開始するフレームをずらすことが許容されるシーン切替命令であると判断し、切替先フレームが可変時のジャンプを行う(ステップＳ１０)。

S９において、可変であると判断しなかった場合、切替後に再生を開始すべき映像のフレームが固定されているシーン切替命令であると判断し、切替先フレーム固定時のシーンジャンプを行う(ステップＳ１１)。

S８の判断、つまり、切り替え先の出力映像を表示するためのフレームをずらして再生を開始してよいかどうかの判断は、具体的には例えば切替命令の内容が、シーン切替命令に例示した上記命令のいずれであるのかを、APIコールに対応するバイトコードの種別、又は、ナビゲーションコマンドのオペコードによって特定すればよい。

図７は、2Dモードから3Dモードの切替を要求する次元切替の処理手順を示すフローチャートである。ステップＳ１０１で、切替要求で処理を開始するよう要求された要求時点であるフレームFkを始めとするフレームFk〜フレームFk+nの奥行き量を格納し、ステップＳ１０２において、最も0に近い奥行きをもつフレームFdを検索する(ステップＳ１０２)。その後、ステップＳ１０３〜ステップＳ１０６のループを実行する。ステップＳ１０３は、ループの繰り返し条件を定めるものである。繰り返し条件とは、カレント処理フレームFc＜フレームFdを満たすかどうかであり、満たす場合、2Dモードを維持し(ステップＳ１０４)、カレント処理フレームFcを2Dモードで再生して(ステップＳ１０５)、カレント処理フレームFcをインクリメントする(ステップＳ１０６)という処理を繰り返すことになる。

この繰り返しにより、フレームFdに到達するまで、カレント処理フレームFcが2Dモードで再生されることになる。カレント処理フレームFcがフレームFdに到達した場合、ステップＳ１０３がNoになりステップＳ１０７〜ステップＳ１０８を実行する。これらは、カレント再生モードを3Dモードにして(ステップＳ１０７)、各レイヤのプレーン内容を合成し、出画する(ステップＳ１０８)というものである。

次元切替要求が発生した場合の処理手順を、再生装置における構成要素と関連付けて説明する。例えば、2次元の出力映像から3次元の出力映像への切替を要求する次元切替要求が発生すると、奥行き量記憶部１２は、次の切り替え先の出力映像のフレームFkをはじめとする連続するn枚のフレームの奥行き量を奥行き記憶部１２に格納する（S１０１）。再生位置決定部１３は、格納したn枚のフレームの中から、最も0に近い（表示画面の位置に最も近い）奥行きをもつフレームFdを探索し（S１０２）、このフレームFdを次元切替を行なうフレームとして決定する。

ステップＳ１０３〜ステップＳ１０６のループにおいてデマルチプレクサ２は、次元判定部１０の判定に従い、フレームFdに達するまでは2次元用の処理をし続け（S１０５）、フレームFdに達した時点で出力映像を3次元で表示をするための処理を開始する（S１０７、Ｓ１０８）。

当該ループにおいて次元判定部１０は、フレームFdに到達するまで間は、2次元で出力映像を表示すべきと判定し、フレームFdに到達した後は3次元で出力映像を表示すべきと判定するように設定する。

ステップＳ１０３〜ステップＳ１０６において、2次元用の処理をし続けるというのは、例えば切替後の出力映像（3次元の出力映像）を用いて2次元で表示をすることであり、より具体的には3次元の出力映像として視差の程度に見える角度の異なる右目用の出力映像と左目用の出力映像を用いて3次元表示をするような方式においては、右目用の出力映像または左目用の出力映像のいずれか一方を用いて表示をすれば足りる。また１つの出力映像について、右目と左目とで異なるオフセットを与えて、3次元表示をするような方式においては、オフセットを同じ値（例えば、０にする）するなどの方法がある。

図８（ａ）は、奥行き量変化の時間的遷移を示す図である。図８（ａ）の第１段目は、ビデオストリームの時間軸を構成する複数のフレームを示す。第２段目は横軸を時間軸とし、縦軸を奥行き量としたグラフを示す。

図８（ｂ）は、図８（ａ）におけるグラフを示す。本図は、図５（ａ）をベースとして作図されており、このベースとなる図５と異なるのは、図８（ｂ）では、3Dモードへの切替時点の発生時点が時間軸上にプロットされており、この3Dモードへの切替時点となる点である。

図８（ｂ）において、フレームFk-1で、3次元への切替要求が発生したとして、次のフレームFkから3次元で表示をするための処理が開始されたと仮定する。この場合、2次元の表示においては、奥行きが“0”であったのに対し、3次元の表示に切り替えた時点のフレームがFkとし、フレームFkに対して与えられている奥行き量をZ（Fk）とすると、切り替える前後では奥行き量が０からZ（Fk）に変化する。

このとき、切り替えの前後で生じる奥行き量の差に相当するZ（Fk）の程度が大きければ、視聴者は視差角の程度、眼球（瞳）の向きを大きく変える必要があり、これが原因で眼に疲れが生じる場合がある。

図８（ｃ）は、3Dモードへの切替時点の発生時点である、フレームFkを基準にした読込期間を示す。読込期間は6フレームであるので、フレームFkを基準にした5フレーム(n=5)の範囲、つまり、フレームFkからフレームk+5までが読込期間になっている。図８（ｃ）では、奥行き量記憶部１２において、次のフレームをはじめとする連続する６枚のフレームの奥行き情報を格納できるようにしており、フレームFk-1で切替処理が発生すると、奥行き量記憶部１２にフレームFkからFk+5までの各フレームの奥行き量が格納される。

第２段目は、読込期間のうち奥行き量が最小となるFk+3と、最小となる奥行き量であるZ(Fk+3)とを示す。Fk+3の奥行き量が最小となるから、3Dモードへの切替処理を開始する時期をFk+3に変更する。具体的には、Fk-6からFk+2までは、2Dモード、Fk+3以降を3Dモードとする。

奥行き量が最小となるFk+3以降が、3Dモードの開始時点になるから、2Dモードから3Dモードへの切り替え時点における眼球の移動量は最小になる。よって、Fk〜Fk+２までは2次元処理を続け、Fc=Fk+3に達すると、3次元処理に切り替える。上記の処理により、切替時発生する奥行き量をZ（Fk）からZ（Fk+3）に抑えることが可能になる。これにより、3次元の表示への切り替え時に生じる視聴者の眼の焦点位置の変化を抑え、眼の疲れを低減することが可能となる。

図９は、切り替え先フレーム可変時のシーンジャンプ手順を示すフローチャートである。このフローチャートでは、切替要求の発生時点であるフレームFkの奥行き量を格納し(ステップＳ２０１)、切替要求で処理を開始するよう要求された要求時点であるフレームFm前後に存在する、フレームFm-p〜Fm+qの奥行き量を格納して(ステップＳ２０２)、フレームFm-pからFm+qまでの範囲に位置するフレームのそれぞれについて、フレームFkの奥行き量Z(F)との差分を計算する(ステップＳ２０３)。そして、そうして計算した差分が最も小さい奥行きをもつフレームFdをカレント処理フレームFcに設定することでシーンジャンプを行う(ステップＳ２０４)。

次に、図９の処理手順に、再生装置の構成要素を関連付けて3次元から3次元のシーン切替要求が発生した場合の動作を説明する。シーン切替要求が発生すると、奥行き量記憶部１２に、シーン切替要求が発生した発生時点のフレームFkの奥行き量を格納し（S２０１）、次にシーンの切替先フレームとのその前後n枚の連続したフレームの奥行き量を奥行き記憶部１２に格納する(S２０２)。再生位置決定部１３は、格納したn枚のフレームの奥行き量と、フレームFkの奥行き量Z（Fk）との差分の大きさ（例えば差の絶対値）を計算し（S２０３）、切替前フレームの奥行きZ（Fk）との差分の大きさが最も小さい奥行きをもつフレームFdを表示切替（つまり、シーン切替）のタイミングと判定し、制御部７に通知する。制御部７は、処理対象のフレームをFdに移動させ、移動したフレームFdから再生を開始する（S２０４）。

図１０は、ジャンプ時における奥行き量変化を示す図である。図１０の第１段目は、ジャンプ元のビデオストリームの時間軸を構成する複数のフレーム(Fk-6,Fk-5,Fk-4,Fk-3・・・・・・Fk+4,Fk+5,Fk+6,Fk+7)を示し、第２段目のグラフは、第１段目における各フレームでの奥行き量の時間的遷移を示す。第３段目は、ジャンプ先となるビデオストリームを構成する複数のフレーム(Fm-6,Fm-5,Fm-4,Fm-3・・・・・・・・Fm,Fm+4,Fm+5,Fm+6,Fm+7)を示し、第４段目のグラフは、第３段目のビデオストリームの時間軸を構成する各フレームの奥行き量の時間的遷移を示す。第１段目の時間軸において、ジャンプ元は、フレームFkであり、このフレームFkでの奥行き量は、Z(Fk)となる。

第４段目のグラフには、ジャンプ先となるFmにおける奥行き量Z(Fm)がY軸上にプロットされている。図１１（ａ）は、シーンジャンプの前後の奥行き量変化を示す。図１１（ａ）の第１段目は、ビデオストリームiの時間軸と、ビデオストリームｊの時間軸とを重ね合わせて示す。この図１１（ａ）では、ビデオストリームiのフレームFkから、ビデオストリームｊのフレームFmへのジャンプがなされていることがわかる。第２段目は、図１０のビデオストリームiの奥行き量の変化を示すグラフと、図１０におけるビデオストリームjの奥行き量の変化を示すグラフとを重ね合わせて示す。ここで、Z(Fk)と、Z(Fm)との違いが大きいから、フレームFk→Fmのシーンジャンプが発生した場合、飛出し度合の変化が多大になり、眼球の疲れを引き起こす。

図１１（ｂ）は、奥行き量調整のために定められた読込期間を示す。（ｂ）では、切替要求に係る処理の要求時点であるフレームFmを中心とする前後３フレームの範囲、つまり、Fm-3からFm+3までのフレームが読込期間として決定されていることがわかる。Ｆmー2は、読込期間において奥行き量が最小になっているフレームである。奥行き量が最小となるＦm-2(反転表示されている)が調整後のフレームとして決定される。図１１（ｂ）では、ブックマーク位置Fm前後のフレームの奥行きを表し、p=3、q=3のケースを想定しているから、奥行き量記憶部１２にフレームFm-3からFm+3までの各フレームの奥行き量が格納される。

図１１（ｃ）は、分岐先の調整がなされたシーンジャンプを示す。第１段目は、ビデオストリームiと、ビデオストリームjとでビデオストリームiのフレームFkと、ビデオストリームjのフレームＦm-2とが連続的に再生されることになる。

Ｆm-2は、読込期間において視差量が最小になっているから、Ｆm-2を調整後の分岐先とすることで、奥行き量の増大量を最小にすることができる。

フレームFmの奥行き量Z（Fm）と最も差分の小さい奥行きを持つフレームはFm-2であるため、再生位置決定部１３は、ジャンプ対象のフレームをFm-2と決定し、制御部７に通知する。上記の処理により、図１２（ｃ）で表すようにブックマークジャンプ時に発生する奥行き量の変化を|Z（Fk）-Z（Fm）|から|Z（Fk）-Z（Fm-2）|に抑えることができる。これにより、ジャンプの際の切り替え時に生じる視聴者の眼球（瞳）の向きの急激な変化を抑え、眼の疲れを低減することが可能となる。

図１１（ａ）と、図１１（ｃ）とを用いて、ブックマークジャンプを行なう際の時刻と奥行きの関係について対比説明を行う。ユーザーはあらかじめブックマーク位置として、フレームFmを登録していたとする。ブックマークジャンプ前のカレント次元モードは3Dモードとし、ブックマークジャンプ後もカレントモードは3Dモードを保つとする。

図１１（ａ）が、図９に示すフローチャートの処理を行うことなく、ブックマークジャンプを行なった場合の奥行き量の変化を示していると仮定する。ジャンプ前のフレームFkの奥行き量がZ（Fk）であるのに対し、ブックマーク位置Fmの奥行き量がZ（Fm）に変化するため、ブックマークジャンプによる切り替えの前後で、奥行き量の差分の大きさは、|Z（Fk）-Z（Fm）|となる。ブックマークジャンプによる切替の前後で生じる奥行き量の変化の大きさ（つまり、|Z（Fk）-Z（Fm）|）の程度が大きければ、視聴者は、視差角の程度、眼球（瞳）の向きを大きく変える必要があり、これが原因で眼に疲れが生じる場合がある。

これに対し、図１１（ｃ）に示すように、奥行き量記憶部１２において、シーン切替要求で処理開始が処理された要求時点であるフレームFmから見て、前後３枚の連続したフレームの奥行き量を格納する場合（つまり、S202におけるp,qが３である場合）、ステップＳ２０２ではフレームFm-3からFm+3のそれぞれに対応する奥行き量が奥行き量記憶部１２に格納されるから、図１１（ｃ）に示すように、切替先フレームがフレームFm-2に変更されることになる。

次に、切替先フレーム固定時のシーンジャンプの処理手順について説明する。

図１２は、切替先フレーム固定時のシーンジャンプの処理手順を示すフローチャートである。本フローチャートにおいて、切替要求に係る処理の発生時点であるフレームFkの奥行き量を格納し(ステップＳ３０１)、切替要求に係る処理が要求された要求時点及びそれ以降の時点に存在するフレームFm〜フレームm+nの奥行き量を格納して(ステップＳ３０２)、フレームFm〜フレームm+nのそれぞれについて、フレームFkの奥行き量Z(Fk)との差分を算出し(ステップＳ３０３)、最も小さい奥行きをもつフレームFdの奥行き量Z(Fd)を目的奥行き量とする(ステップＳ３０４)。そして、フレームFmをカレント処理フレームFcに設定することでシーンジャンプを行う(ステップＳ３０５)。以降、ステップＳ３０６〜ステップＳ３１１のループを実行する。ステップＳ３０６は、このループの終了条件であり、カレント処理フレームFc＜フレームFdの関係が成立するか否かの判定である。ステップＳ３０６がYesであるなら、ステップＳ３０７〜ステップＳ３１１の処理を繰り返す。この処理は、カレント処理フレームFcの奥行き量Z(Fc)と、フレームFkの奥行き量Z(Fk)との差分｜Z(Fc)−Z(Fk)｜を計算し(ステップＳ３０７)、差分｜Z(Fc)−Z(Fk)｜に基づくプレーンオフセットを計算して、プレーンシフトエンジンに設定し(ステップＳ３０８)、プレーンメモリのシフトを実行する(ステップＳ３０９)。その後、各レイヤのプレーン内容を合成して出画し(ステップＳ３１０)、カレント処理フレームFcをインクリメントする(ステップＳ３１１)というものである。カレント処理フレームFc＜フレームFdの関係を満たすのは、カレント処理フレームFcがフレームFdに到達するまでである。カレント処理フレームFcがフレームFdに到達するまでの間、差分｜Z(Fc)−Z(Fk)｜に基づくプレーンシフトがなされることになる。

ステップＳ３０６がNoであれば、ステップＳ３１２〜ステップＳ３１５を実行する。奥行き量Z(Fc)に基づくオフセットを計算して、エンジンに設定し(ステップＳ３１２)、シフトを実行して(ステップＳ３１２)。その後、各レイヤのプレーン内容を合成して出画し(ステップＳ３１４)、カレント処理フレームFcをインクリメントしてリターンする(ステップＳ３１５)。

図１２のフローチャートに示した処理手順を再生装置の構成要素と関連付けて説明する。シーン切替要求が発生すると、切替要求が発生した発生時点であるフレームFkの奥行き量を奥行き量記憶部１２に格納し（S３０１）、次に切替先のフレームFmをはじめとする連続するn枚のフレームの奥行き量を格納する（S３０２）。

プレーンオフセット決定部１４は、奥行き量記憶部１２が格納するn枚のフレームの奥行き量の中から、切替前のフレームFkの奥行き量Z（Fk）との差分（例えば、差分の絶対値）を計算し（S３０３）、そのうち最も小さい奥行きをもつフレームFdのZ（Fd）を目的奥行き量と決定する（S３０４）。制御部７は、切り替え先フレームFmに再生位置を移動し（S３０5）、デマルチプレクサ1は、フレームフレームFmの3次元処理を開始する。

プレーンオフセット決定部１４は、処理フレームがフレームFmからフレームFdに達するまでの間、処理フレームの奥行き量が目的奥行き量Z（Fd）に維持されるプレーンオフセットを計算し（S３０７）、プレーンシフトエンジン４のプレーンオフセットを更新する（S３０８）。プレーンシフトエンジン４は、現在処理中のビデオプレーンが右目用か左目用か左右処理記憶部１１に保存されている情報を使って確認し、定められた方向にプレーンをシフトさせる(S３０９)。処理中のプレーンがFdに達すると、プレーンオフセット決定部１４はプレーンシフトエンジンのプレーンオフセットを対象となるフレームの奥行き量に基づくプレーンオフセットを計算し、更新する。

図１３は、指定量制御による奥行き調整を示す。図１３（ａ）の第１段目は、ビデオストリームiからビデオストリームjへのシーンジャンプを示す。この場合分岐元はフレームFk、分岐先はFmなので、フレームFk→Fmの順に再生されることになる。第２段目は、奥行き量変化と、ビデオストリームｊの奥行き量変化とを示す。Z(Fk)が小さいのに対してZ(Fm)が大きいので、飛出し度合の変化が急激であることがわかる。

図１３（ａ）からは、チャプタージャンプを行なう場合の時間と奥行きの関係を理解することができる。フレームFkでユーザーはフレームFmから始まるチャプターを選択したとする。2次元再生と同じ処理でチャプタージャンプを行なった場合は図９と同様であり、大きな奥行き量の差|Z（Fk）-Z（Fm）|が発生する。

図１３（ｂ）は、分岐先がFmである場合の読込期間を示す。図１３（ｂ）の第１段目では、Fm〜Ｆm+6のフレームが読み取られることになる。反転で記述されているＦm+5は、奥行き量が最小になるフレームを示す。図１３（ｂ）の第２段目は、読込期間における各フレームの奥行き量を示す。この第２段目においてＦm+5の奥行き量が最小なので、Ｆm+5がオフセット制御の目標値に設定される。

図１３（ｂ）では、チャプタージャンプ先のフレームがフレームFmから始まる連続したフレームの奥行きを表しているからシーン切替要求に該当する切替命令を受けたとき、奥行き量記憶部１２に現在のフレームFk（つまり切替前フレーム）の奥行き量が格納される。またジャンプ先のフレームFmをはじめとする連続する6枚のフレームの奥行き量を格納した場合（つまり、n=6の場合）を想定すると、奥行き量記憶部１２にフレームFmからFm+6までの各フレームの奥行き量が格納される。

切替前のフレームFkの奥行き量Z（Fk）と各フレームの奥行き量の差分を計算した場合、その中で最も差分（例えば差分の絶対値）が小さい奥行きを持つフレームはFm+5であるため、プレーンオフセット決定部１４により、フレームFm+5の奥行き量であるZ（Fm+5）が目的奥行き量と決定される。

図１３（ｃ）は、プレーンシフト制御による奥行き調整を示す。第２段目のグラフは、プレーンシフト制御の内容を示すグラフである。破線は、プレーンシフト制御がない場合のＺＲ変化を示す。このグラフにおける奥行き量変化は、図１３（ａ）と同一である。図１３（ｃ）の実線は、プレーンシフト制御がなされた場合の奥行きの選択的変化を示す、ビデオストリームｊのFmからＦm+5は、奥行き量がZ(Fd)を維持するようプレーンシフト制御がなされるため飛出し度合の変化が急激になることは無い。

制御部７は、フレームFmに再生位置を移動し、再生を開始する。プレーンオフセット決定部１４は、処理対象のフレームがFm+5に達するまで、つまりFmからFm+4の間は、目的奥行き量Z（Fm+5）と処理対象フレームの奥行き量Z（Fm+i）(i=0,1,2,3,4)の差分をプレーンシフトエンジン４のプレーンオフセットとしてセットする。

対象フレームのプレーンシフトエンジンは、奥行き量が、目的奥行き量Z（Fm+5）と等しくなるよう、セットされたオフセットの分だけ、ビデオプレーンをシフトさせる。

上記の処理により図１３（ｃ）に示すように、出画されるフレームの奥行きは、フレームFm+5に達するまではZ（Fm+5）を維持することになり、チャプタージャンプ時に発生する奥行き量の変化を|Z（Fk）-Z（Fm）|から|Z（Fk）-Z（Fm+5）|に抑えることができ、フレームFm+５に達した後は、プレーンオフセット決定部１８は、フレームに対応する奥行き量をプレーンシフトエンジン５のプレーンオフセットにセットするように構成すれば、フレームの奥行き量に相当する分のシフト処理がされる。このように構成をすることにより、切替時に生じる視聴者の眼球（瞳）の向きの急激な変化を抑え、眼の疲れを低減することが可能となる。

ビデオプレーンのシフト処理の一例を図１４と図１５を用いて説明する。図１４はオフセットを利用した処理の一例を示した図である。

プレーンシフトエンジン４にセットさたオフセットが１と設定されている場合は右目用のビデオプレーンと左目用のビデオプレーンをそれぞれ図１４に示す矢印の方向に１ピクセルずらす。オフセットがマイナスの値の場合は図１４に示す矢印とは逆の方向にずらす。オフセットが正の値の場合は、画像はシフト前よりも奥に表示される現象が発生し、負の値の場合は、シフト前よりも飛び出る効果が発生する。

左目用ビデオプレーンの正の値xのシフト方法は図１５のようにして行う。１.ビデオプレーンの最も左の部分からビデオプレーンオフセットx片目分のプレーンの高さの領域を切り取る。２.ビデオプレーンを左へ水平方向にビデオプレーンオフセット値分ずらす。３.ビデオプレーンの最も右の領域にビデオプレーンオフセットx片目分のプレーンの高さの透明の領域を追加する。

(第２実施形態)
第１実施形態では、ビデオプレーン４に対してプレーンシフトを実行したが、本実施形態は、グラフィクスプレーンについてプレーンシフトを実現する改良に関する。図１６は、第２実施形態に係る再生装置の内部構成を示す図である。本図は、図５をベースとして作図されており、このベースとなる図と比較して、ビデオプレーン４が、左目用ビデオプレーン４a、４ｂに置き換えられ、字幕デコーダ２１、字幕プレーン２２、レンダリングエンジン２３、対話プレーン２４が追加されている点が異なる。

左目ビデオプレーン４aは、ビデオデコーダのデコードにより得られた右目映像を構成する画素データを格納する。

左目ビデオプレーン４bは、ビデオデコーダのデコードにより得られた左目映像を構成する画素データを格納する。

字幕デコーダ２１は、デマルチプレクサ２から分離された字幕グラフィクスストリームや、デマルチプレクサ２を介さず直接読出部１から読み出されたテキスト字幕ストリームをデコードして非圧縮のグラフィクスを字幕プレーン２２に書き込む。

字幕プレーン２２は、字幕デコーダ２１のデコードにより得られた字幕グラフィクスを構成する一画面分の画素データを格納する。

レンダリングエンジン２３は、記録媒体に記録されたJPEG/PNG/ZIFF形式のイメージデータをデコードして、制御部１６からの指示に従い、描画イメージを対話プレーン２４に書き込む。

対話プレーン２４は、描画イメージを構成する一画面分の画素データを格納しておくためのメモリである。かかる描画イメージは、ARGB形式のビットマップである。

以上が、第２実施形態で追加された構成要素についての説明である。続いて、第２実施形態において改良がなされた構成要素の詳細について説明する。

第２実施形態特有の改良がなされたプレーンシフトエンジン５は、字幕プレーン２２、対話プレーン２４に対してプレーンシフトを行う。かかるプレーンシフトにより、字幕プレーン２２、対話プレーン２４がそれぞれ、１プレーン構成であっても立体視を実現することができる。このプレーンシフトには、奥行き記憶部１２に格納された奥行き量を使用する。

第２実施形態特有の改良がなされた加算器６は、対話プレーン２４を一番手前にし、続いて字幕プレーン２２、左目ビデオプレーン４a−左目ビデオプレーン４bが配置されるように、対話プレーン２４、字幕プレーン２２、ビデオプレーン４ａ−左目ビデオプレーン４bに格納されている画素データの加算を行う。これにより、プレーンメモリのレイヤ合成がなされる。

第２実施形態特有の改良がなされた制御部１６は、対話プレーン２４、字幕プレーン２２の奥行き量が最小になるようなフレームを選択して、このフレームを基準にして、奥行き調整を行う。

以上のように本実施形態によれば、字幕プレーン２２、対話プレーン２４のプレーンシフトに用いられる奥行き量は、奥行き記憶部１２に読み出された奥行き量であるから、この奥行き量が小さくなるようなフレーム位置、プレーンオフセットを決定することで、ユーザに対する影響を最小限に留めることができる。

＜備考＞
以上、本願の出願時点において、出願人が知り得る最良の実施形態について説明したが、以下に示す技術的トピックについては、更なる改良や変更実施を加えることができる。各実施形態に示した通り実施するか、これらの改良・変更を施すか否かは、何れも任意的であり、実施する者の主観によることは留意されたい。

(奥行き制御の対象となるコンテンツの範囲)
第１実施形態において、奥行き制御の対象となるコンテンツは、デジタルストリームやプレイリスト情報から構成される映画作品であるとしたが、対象となるコンテンツは、ポリゴンモデルや多面体モデルで構成されるゲームアプリケーションであってもよい。ゲームであれば、ポリゴンモデルや多面体モデルで定義されるキャラクターの状態変化や、ゲームのステージ変化を再生装置の状態変化と捉えて奥行き量の調整を行えばよい。

（記録媒体のバリエーション）
本実施の形態では、奥行き調整の対象となるコンテンツは、リードオンリーメディアに記録されているものを再生して視聴することを前提にして説明したが、奥行き調整の対象となるコンテンツは、例えば放送波などの無線、ケーブルなどの有線、あるいは他の記録媒体（例えばハードディスクなどの磁気記録媒体、またはフラッシュメモリ、SDカードなどの半導体メモリ）を介して提供されていても構わない。特に、ネットワーク上の記録媒体から奥行き調整の対象となるコンテンツを取得しようとする場合、ネットワーク上の記録媒体は、“ネットワークドライブ”として捉えることが可能である。“ネットワークドライブ”は、クライアントプログラム及びサーバプログラムがプロトコルスタックを通じたファイル転送プロトコルを実行することにより、アクセスが可能になるから、再生装置が上記、クライアントプログラムとしての処理を行うことにより、ネットワーク上の記録媒体から第１実施形態で述べたデジタルストリームやシナリオデータを読み出してデコーダに供給することができる。

また無線、有線の放送媒体から奥行き調整の対象となるコンテンツを取得しようとする場合、無線、有線の放送媒体における放送局では、記録媒体のファイルシステム上に存在するディレクトリ・ファイル構造をアーカイブプログラムでアーカイブして、アーカイブプログラムにより得られたアーカイブファイルをオブジェクトカルーセル方式により繰り返し送信する。そして再生装置側では、かかるアーカイブファイルを受信して、当該アーカイブファイルに格納されているディレクトリ・ファイル構造を、装置内のキャッシュに展開することにより、自装置の記録媒体におけるディレクトリ・ファイル構造として捉えてアクセする。よって、再生装置は、アーカイブファイルに格納されているディレクトリ・ファイル構造を、装置内のキャッシュに展開することで、第１実施形態で述べたデジタルストリームやシナリオデータを読み出してデコーダに供給することができる。

（立体視視聴のバリエーション）
シャッター眼鏡５００を用いた形で立体視視聴を行う方法を前提にして説明したが、他の、左目映像・右目映像をそれぞれ左目・右目に視聴させる方式を利用していても良い。例えばサイドバイサイド方式や、レンチキュラレンズなどを表示ディスプレイに使い、眼鏡などの特別な視聴器具を利用しない方式を用いていても構わない。

（スキップ時の奥行き調整）
本実施の形態では、リードオンリーメディアに記録されているものを再生して視聴することを前提としたが、ホームビデオでユーザー自身が編集したものを再生する場合は、奥行き量の大きな変化が発生するケースが頻繁に発生する。特に、BD-ROMなどの再生専用のコンテンツの場合は、作成者が視聴者の目に配慮した撮影方法や、チャプター区切りなどに配慮しているが、ホームビデオの場合は、撮影者や編集者がユーザー自身であり、奥行き量の変化に配慮していることは少ない。このような場合は、チャプタージャンプであってもシーン切替命令と解釈してもよい。

(ビデオデコーダの拡張性)
図５の構成図にはビデオデコーダ、ビデオプレーンを各一つずつ有しているが、例えば高速化を用途に左目用の映像を処理するビデオデーダ、ビデオプレーンと右目用の映像を処理するビデオデーダ、ビデオプレーンをそれぞれ設け、並行に処理をするようにしてもよい。

(切替開始フレームの選択)
切替先可変時のシーンジャンプでは、要求時点の出力映像のフレームとして、シーンの要求時点フレームとのその前後n枚の連続したフレームの奥行き量の中から、切替開始のフレームを選択する構成を例に説明をしたが、シーンの切替先フレームとこれに後続するm枚の連続したフレームの奥行き量の中から、切替開始のフレームを選択するような構成であっても良い。

(オフセット調整のバリエーション)
切替先固定時のシーンジャンプでは、目的奥行き量Z（Fd）をもつフレームFdになるまで目的奥行き量Z（Fd）を維持するようプレーンオフセットを決定したが、もちろんFdに達するまでに段階的に目的奥行き量Z（Fd）に近づくようオフセットを調整してもよい。

また第１実施形態では、次元切替要求を受けた際、選択されたフレームFdになるまで、2次元処理を続けると記載したが、プレーンオフセット決定部を使用して、フレームFdの奥行きになるまで段階的に奥行き量が変化するようにビデオプレーンをシフトさせてもよい。具体的にいうと、プレーンシフトエンジン５は、3D再生モードの切替前のカレント処理フレームFcの奥行き量Z(Fc)を初期値とし、前記オフセット基準フレームFdの奥行き量Z(Fd)を目標値として、プレーンシフトエンジン５のプレーンシフトに適用すべきオフセットを段階的に変化させる。この段階的な変化にあたって、オフセット基準フレームFdと、カレント処理フレームFcとの間のフレーム数を求め、このフレーム数で、奥行き量の差分|Z(Fd)-F(Fc)|を割る。こうすることで、一フレーム当りのオフセット変化量を求める。一フレーム当りのオフセット変化量に基づいたオフセットの増分を、オフセット基準フレームFdと、カレント処理フレームFcとの間に位置する各フレームに与えることで、オフセットを変化させるのである。こうすることで、奥行き量の単調変化を実現することができる。

(切替先フレーム選択のバリエーション)
また、本実施の形態では、全ての切替命令についての処理において、切替先フレームを含む複数のフレームの中から切替時に発生する奥行き量変化が最小になるフレームを選択し、選択したフレームに達したときに3D表示をするための処理を開始したり、切替先フレームから選択したフレームに達するまでの間は選択したフレームに対応する奥行き量を維持するように表示を行う例に関して説明をしたが、切替時に発生する奥行き量変化の最高値Zmaxを指定しておき、Zmaxより小さい値になる切替後フレームに最も近接したフレームを選択するという方法や、重みを付けて、切替先フレームから隣接したフレームを優先的に選択するという方法をとってもよい。

(奥行き量取得のバリエーション)
各プレーンの奥行き量は、シナリオメモリに読み出されたシナリオデータから取得してもよい。ここで、シナリオデータにはプレイリスト情報が含まれる。プレイリスト情報を構成する複数のプレイアイテム情報のそれぞれは、基本ストリーム選択テーブルを含み、プレイリスト情報自身は拡張ストリーム選択テーブルを含む。基本ストリーム選択テーブルは、ストリーム番号に対応付けられた、平面視再生モードにおいて再生されるエレメンタリストリームのリストを示す。

拡張ストリーム選択テーブルは、ストリーム番号と同一のストリーム番号に対応付けられた、3Dモードにおいて再生されるエレメンタリストリームのリストを示す。この拡張ストリーム選択テーブルには、制御情報がストリーム番号に対応付けられている。ここで、3Dモードには、左目画像と右目画像とを用いて、立体視映像の再生を行うメイン−サブモードと、左目画像のみを用いて、平面視映像の再生を行うメイン−メインモードとがある。上記拡張ストリーム選択テーブルにおける制御情報は、グラフィクスがポップアップメニューであり、3Dモードがメイン−メイン再生モードである場合において、グラフィクスプレーンのプレーンシフトに利用すべきオフセットを有している。かかる拡張ストリーム選択テーブル内のオフセットは、左目画像、右目画像の視差を表すものであり、プレイアイテム情報毎に変化するものだから、かかるオフセットを奥行き量として奥行き量記憶部１２に格納し、この奥行き量が多大にならないように奥行き調整を実行してもよい。

また、トランスポートストリームの中に各プレーンの奥行き量が入っていてもよいし、入力された立体画像から奥行き量を計算し、取得するという方法をとってもよい。

(ビデオストリーム供給のバリエーション)
本実施の形態では、リードオンリーメディアに記録されているものを再生して視聴することを前提としたが、再生装置がネットワーク経由でダウンロードするための通信手段、ダウンロードしたデータを記憶するハードディスクなどの記憶手段を有するような構成であれば、本実施の形態を適用することができる。

また、再生装置が放送波を受信するためのチューナなどの受信手段を備えるような構成であれば、例えばリードオンリーメディアに記録したものに相当するデータを受信するような場合において、チャンネル切り替え時などにおいて本実施の形態を適用することができる。

（集積回路の実施形態）
第１実施形態に示した再生装置のハードウェア構成のうち、記録媒体のドライブ部や、外部とのコネクタ等、機構的な部分を排除して、論理回路や記憶素子に該当する部分、つまり、論理回路の中核部分をシステムLSI化してもよい。システムLSIとは、高密度基板上にベアチップを実装し、パッケージングしたものをいう。複数個のベアチップを高密度基板上に実装し、パッケージングすることにより、あたかも1つのLSIのような外形構造を複数個のベアチップに持たせたものはマルチチップモジュールと呼ばれるが、このようなものも、システムLSIに含まれる。

ここでパッケージの種別に着目するとシステムLSIには、QFP(クッド フラッド アレイ)、PGA(ピン グリッド アレイ)という種別がある。QFPは、パッケージの四側面にピンが取り付けられたシステムLSIである。PGAは、底面全体に、多くのピンが取り付けられたシステムLSIである。

これらのピンは、電源供給やグランド、他の回路とのインターフェイスとしての役割を担っている。システムLSIにおけるピンには、こうしたインターフェイスの役割が存在するので、システムLSIにおけるこれらのピンに、他の回路を接続することにより、システムLSIは、再生装置の中核としての役割を果たす。

図１７は、集積回路のアーキテクチャを示す図である。本図に示すように、システムLSIである集積回路７０のアーキテクチャは、フロントエンド部７１と、信号処理部７２と、バックエンド部７３と、メディアI/O７４と、メモリコントローラ７５と、ホストマイコン７６とから構成され、メディアI/O７４、メモリコントローラ７５を通じて、再生装置におけるドライブやメモリ、送受信部と接続されている。再生装置におけるドライブには、リードオンリーメディアのドライブ、ローカルストレージのドライブ、リムーバブルメディアのドライブ等がある。

フロントエンド処理部７１は、プリプログラムされたDMAマスタ回路やI/Oプロセッサ等から構成され、パケット処理全般を実行する。このパケット処理には、デマルチプレクサによる処理が該当する。再生装置のメモリに確保された、リードバッファ、各種プレーンメモリ、各種バッファ間でDMA転送を実現することにより、上述したようなパケット処理を実現する。

信号処理部７２は、信号処理プロセッサやSIMDプロセッサ等から構成され、信号処理全般を実行する。信号処理には、ビデオデコーダによるデコードやオーディオデコーダによるデコードがある。

バックエンド部７３は、加算器、フィルタから構成され、AV出力処理全般を行う。AV出力処理には画素処理があり、かかる画素処理によってレイヤ合成のための画像重畳、リサイズ、画像フォーマット変換がなされる。また、デジタル／アナログ変換等を併せて実行する。

メディアI/O７４は、ドライブ、ネットワークとのインターフェイスである。

メモリコントローラ７５は、メモリアクセスのためのスレーブ回路であり、フロントエンド部、信号処理部、バックエンド部の要求に応じて、パケットやピクチャデータのメモリの読み書きを実現する。 このメモリコントローラ７５を通じたメモリの読み書きによって、メモリは、リードバッファやビデオプレーン、グラフィクスプレーン、ビデオデコーダにおける各種バッファとして機能することになる。

ホストマイコン７６は、図５の調整部１５に該当する構成要素であり、MPU,ROM,RAMから構成され、メディアインターフェイス、フロントエンド部、信号処理部、バックエンド部に対して、全体制御を実行する。この全体制御には、調整部を構成する、制御部１６、開始位置決定部１７、プレーンシフト量決定部１８としての制御がある。このホストマイコンにおけるCPUは、命令フェッチ部、デコーダ、実行ユニット、レジスタファイル、プログラムカウンタを有している。そして、これまでの実施形態で述べた各種処理を実行するプログラムは、組込プログラムとして、基本入出力システム(BIOS)、様々なミドルウェア(オペレーションシステム)と共に、このホストマイコンにおけるマイコン内のROMに記憶されている。よって再生装置の主たる機能は、このシステムLSI内に組込んでおくことができる。

（プログラムの実施形態）
各実施形態に示したプログラムは、以下のようにして作ることができる。先ず初めに、ソフトウェア開発者は、プログラミング言語を用いて、各フローチャートや、機能的な構成要素を実現するようなソースプログラムを記述する。この記述にあたって、ソフトウェア開発者は、プログラミング言語の構文に従い、クラス構造体や変数、配列変数、外部関数のコールを用いて、各フローチャートや、機能的な構成要素を具現するソースプログラムを記述する。

記述されたソースプログラムは、ファイルとしてコンパイラに与えられる。コンパイラは、これらのソースプログラムを翻訳してオブジェクトプログラムを生成する。

コンパイラによる翻訳は、構文解析、最適化、資源割付、コード生成といった過程からなる。構文解析では、ソースプログラムの字句解析、構文解析および意味解析を行い、ソースプログラムを中間プログラムに変換する。最適化では、中間プログラムに対して、基本ブロック化、制御フロー解析、データフロー解析という作業を行う。資源割付では、ターゲットとなるプロセッサの命令セットへの適合を図るため、中間プログラム中の変数をターゲットとなるプロセッサのプロセッサが有しているレジスタまたはメモリに割り付ける。コード生成では、中間プログラム内の各中間命令を、プログラムコードに変換し、オブジェクトプログラムを得る。

ここで生成されたオブジェクトプログラムは、各実施形態に示したフローチャートの各ステップや、機能的構成要素の個々の手順を、コンピュータに実行させるような1つ以上のプログラムコードから構成される。ここでプログラムコードは、プロセッサのネィティブコード、JAVA(TM)バイトコードというように、様々な種類がある。プログラムコードによる各ステップの実現には、様々な態様がある。外部関数を利用して、各ステップを実現することができる場合、この外部関数をコールするコール文が、プログラムコードになる。また、1つのステップを実現するようなプログラムコードが、別々のオブジェクトプログラムに帰属することもある。命令種が制限されているRISCプロセッサでは、算術演算命令や論理演算命令、分岐命令等を組合せることで、フローチャートの各ステップを実現してもよい。

オブジェクトプログラムが生成されるとプログラマはこれらに対してリンカを起動する。リンカはこれらのオブジェクトプログラムや、関連するライブラリプログラムをメモリ空間に割り当て、これらを１つに結合して、ロードモジュールを生成する。こうして生成されるロードモジュールは、コンピュータによる読み取りを前提にしたものであり、各フローチャートに示した処理手順や機能的な構成要素の処理手順を、コンピュータに実行させるものである。かかるコンピュータプログラムを非一時的なコンピュータ読取可能な記録媒体に記録してユーザに提供してよい。

本発明は、平面視映像と立体視映像を再生する再生機器において、出力映像の急激な奥行き変化を抑止する技術に関し、特に平面的な映像次元モードと立体的な映像次元モードの切替機能や、シーン切替機能を持つ立体視映像再生装置における切替時に生じる、出力映像の急激な奥行き変化を抑止する立体視再生装置に適用可能である。

２ デマルチプレクサ
３ ビデオデコーダ
４ ビデオプレーン
５ プレーンシフトエンジン
９ 左右処理記憶部
１２ 次元判定部
１２ 奥行き記憶部
１７ 開始位置決定部
１８ プレーンオフセット決定部
１００ リードオンリーメディア
２００ 再生装置
３００ リモコン
４００ ディスプレイ
５００ シャッター/偏光眼鏡

Claims (11)

1. 立体視可能な3次元映像を出力する再生装置であって、
   装置外部からビデオストリームを取得する取得手段と、
   取得したビデオストリームをデコードして、3次元映像の出力を行う再生手段と、
   再生手段における再生状態を管理する状態管理手段と、
   再生状態が変化した場合、ビデオストリームの時間軸のうち変化時点の前に位置する複数のフレーム、及び、変化時点の後に位置する複数のフレームの中から奥行き変化の基準とすべきものを選び、その選んだフレームを用いて、3次元映像における奥行きを調整する調整手段と
   を備える再生装置。
2. 前記調整手段は、制御部を備え、
   前記再生状態の変化は、制御部が外部からの再生状態の切替要求を受け付けて、切替要求に係る処理を実行することでなされ、
   前記奥行き変化の基準とすべきフレームの選択は、
   切替要求に係る処理を開始するよう要求された要求時点以降に位置する複数のフレームについての視差量、及び／又は、当該要求時点以前に位置する複数のフレームについての視差量を、切替要求の発生時点に対応するフレームの視差量と比較し、比較結果に応じて、要求時点以降に位置する複数のフレーム、及び／又は、当該要求時点以前に位置する複数のフレームのうち、1つのフレームを決定することでなされる
   ことを特徴とする請求項１記載の再生装置。
3. 前記再生装置は更に、複数の視差量を記憶するための視差量記憶部を備え、
   切替要求が発生した際、前記取得手段は、切替要求に係る処理を開始するよう要求された要求時点以降に位置するフレームについての視差量、及び、当該要求時点以前に位置するフレームについての視差量を視差量記憶部に記憶し、
   前記開始位置決定部により、奥行き変化の基準とすべきフレームとして決定されるフレームとは、
   要求時点以降に位置する複数のフレーム、及び／又は、当該要求時点以前に位置する複数のフレームのうち、視差量記憶部に記憶された各視差量との差分が最小となるフレームである
   ことを特徴とする請求項２記載の再生装置。
4. 前記調整手段は、開始位置決定部を備え、
   前記開始位置決定部は、切替要求に係る処理を開始すべき開始時点を決めるものであり
   調整手段による奥行き調整は、
   ビデオストリームの時間軸における奥行き変化の基準とすべきフレームの再生時点を、開始位置決定部が切替要求に係る処理を開始すべき開始時点として決定することでなされる、請求項２記載の再生装置。
5. 前記切替要求とは、2次元映像の次元モードから3次元映像の次元モードへの切替を要求する次元切替要求であり、
   前記奥行き変化の基準として決定されるフレームとは、
   次元切替要求に係る処理を開始するよう要求された要求時点以降に位置する複数のフレームのうち、次元切替要求の発生時点となるフレームとの視差量の差分が最も少ないフレームである、請求項４記載の再生装置。
6. 前記切替要求とは、何れか1つの3次元映像シーンから他の3次元映像シーンへの切替を要求するシーン切替要求であり、
   前記奥行き変化の基準として決定されるフレームとは、
   前記シーン切替要求に係る処理を開始するよう要求された要求時点以前に位置する複数のフレーム、及び、当該要求時点以降に位置する複数のフレームのうち、シーン切替要求の発生時点となるフレームとの視差量の差分が最も少ないフレームである、請求項４記載の再生装置。
7. 前記再生手段は、一画面分の画素データを格納するプレーンメモリと、
   プレーンメモリに格納されている画素データのそれぞれの座標を、所定のオフセットだけ水平方向に移動させることによりプレーンシフトを実行するシフトエンジンとを備え、
   前記3次元映像は、プレーンメモリに格納されている画素データの座標を右方向に移動させることで得られる右目画像と、プレーンメモリに格納されている画素データの座標を左方向に移動させることで得られる左目画像とから構成され、
   前記切替要求とは、何れか1つの3次元映像から他の3次元映像への切替を要求するシーン切替要求であり、
   前記奥行き変化の基準となるフレームとは、プレーンシフトにあたってのオフセットの基準となる視差量を有しているオフセット基準フレームであり、
   前記オフセット基準フレームは、シーン切替要求に係る処理を開始するよう要求された要求時点以降に位置する複数のフレームのうち、シーン切替要求の発生時点となるフレームとの視差量の差分が最も少ないフレームを決めることで選択される、請求項２記載の再生装置。
8. 前記調整手段による奥行き調整は、
   シーン切替要求に係る処理を開始するよう要求された要求時点のフレームから、前記オフセット基準フレームまでの期間に属する各フレームの映像出力にあたって、前記シフトエンジンがオフセット基準フレームの視差量に対応するオフセットを、水平方向のオフセットとして用いることでなされる、請求項７記載の再生装置。
9. 前記シフトエンジンは、
   3次元映像の次元モードの切替前のフレームの視差量を初期値とし、前記オフセット基準フレームの視差量を目標値として、各フレームを3次元出力するにあたって、プレーンシフトに適用すべきオフセットを段階的に変化させる、
   請求項８記載の再生装置。
10. 立体視可能な3次元映像を出力する再生装置に組込むことができる集積回路であって、
    装置外部からビデオストリームを取得する取得手段と、
    取得したビデオストリームをデコードして、3次元映像の出力を行う再生手段と、
    再生手段における再生状態を管理する状態管理手段と、
    再生状態が変化した場合、ビデオストリームの時間軸のうち変化時点の前に位置する複数のフレーム、及び、変化時点の後に位置する複数のフレームの中から奥行き変化の基準とすべきものを選び、その選んだフレームを用いて、3次元映像における奥行きを調整する調整手段と
    を備える集積回路。
11. 立体視可能な3次元映像の出力をコンピュータに行わせるプログラムであって、
    ビデオストリームを取得する取得ステップと、
    取得したビデオストリームをデコードして、3次元映像の出力を行う再生ステップと、
    再生ステップにおける再生状態を管理する状態管理ステップと、
    再生状態が変化した場合、ビデオストリームの時間軸のうち変化時点の前に位置する複数のフレーム、及び、変化時点の後に位置する複数のフレームの中から奥行き変化の基準とすべきものを選び、その選んだフレームを用いて、3次元映像における奥行きを調整する調整ステップとをコンピュータに実行させる
    ことを特徴とするプログラム。

Images