JP4742174B1 - ３次元映像再生方法、および３次元映像再生装置 - Google Patents

Abstract

【課題】３次元テレビにおいて発生しうるフリッカを低減させる技術を提供する。
【解決手段】映像属性判定部２６は、再生対象の映像が３次元空間のオブジェクトを異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元映像である場合、当該映像のフレームレートが当該映像にフリッカが発生しうる所定のフレームレートの範囲内であるか否かを判定する。フレームレート変換部２２は、前記３次元映像のフレームレートがフリッカの発生しうる所定のフレームレートの範囲内である場合、前記所定のフレームレートの範囲を超えるまで前記３次元映像のフレームレートを上昇させる。
【選択図】図１３

Description

本発明は、３次元映像再生方法、および３次元映像再生装置に関する。

近年、民生用テレビの高性能化が進み、奥行きを持った立体映像を提示することが可能な３次元テレビが普及してきている。従来の２次元の映像を表示するテレビとは異なり、３次元テレビが提示する映像は、前後方向に奥行きを持った立体的な映像となる。

立体的な映像を提示するための技術は種々存在するが、民生用の３次元テレビにおいて採用される方式は従来の２次元の映像を表示する場合と比較して、主に処理回路の性能が不足することが原因で、映像のフレームレートを上げることが困難な場合もあり得る。映像のフレームレートが低い場合、映像に細かいちらつきが発生する、いわゆる「フリッカ」と呼ばれる現象が出現し、視聴者に不快感を与える原因となりうる。

本発明はこのような状況を鑑みてなされたものであり、その目的は３次元テレビにおいて発生しうるフリッカを低減させる技術を提供することにある。

上記課題を解決するために、本発明のある態様は３次映像表示方法である。この方法は、再生対象の映像が３次元空間のオブジェクトを異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元映像である場合、当該映像のフレームレートが当該映像にフリッカの発生しうる所定のフレームレートの範囲内であるか否かを判定し、前記３次元映像のフレームレートがフリッカの発生しうる所定のフレームレートの範囲内である場合、前記所定のフレームレートの範囲を超えるまで前記３次元映像のフレームレートを上昇して再生する。

本発明の別の態様は３次元映像再生装置である。この装置は、再生対象の映像が３次元空間のオブジェクトを異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元映像である場合、当該映像のフレームレートが当該映像にフリッカが発生しうる所定のフレームレートの範囲内であるか否かを判定する映像属性判定部と、前記３次元映像のフレームレートがフリッカの発生しうる所定のフレームレートの範囲内である場合、前記所定のフレームレートの範囲を超えるまで前記３次元映像のフレームレートを上昇させるフレームレート変換部とを含む。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、３次元テレビにおいて発生しうるフリッカを低減させる技術を提供することができる。

３次元空間における物体とその視差画像との関係を示す図である。 視差画像を利用したシャッター式の３次元映像表示システムの概観を示す図である。 シャッターメガネのシャッターのタイミングと、３次元テレビにおける視差画像の表示のタイミングとの関係を示す図である。 ３次元テレビの回路構成を模式的に示す図である。 ３次元液晶テレビの画像表示方式を説明する図である。 ３次元液晶テレビの画像表示の別の方式を説明する図である。 図７（ａ）は、ＨＤＭＩ規格におけるフレームパッキングのフォーマットを示す図である。図７（ｂ）は、ＨＤＭＩ規格におけるサイドバイサイドのフォーマットを示す図である。図７（ｃ）は、ＨＤＭＩ規格におけるトップアンドボトムのフォーマットを示す図である。 ＨＤＭＩの３次元映像関連の必須の規格を示す図である。 フレームレートの変換方式を説明する図である。 フレームレートの変換の別の方式を説明する図である。 実施の形態に係る３次元映像表示システムに用いられる機器の構成を模式的に示す図である。 実施の形態に係る３次元映像再生装置の回路構成を模式的に示す図である。 実施の形態に係る３次元映像再生装置の機能構成を模式的に示す図である。 フレームレート変換有無の選択を促す表示例である。 実施の形態に係る３次元映像表示の処理手順を示すフローチャートである。 実施の形態に係る３次元映像表示システムに用いられる機器の別の構成を模式的に示す図である。 実施の形態に係るアンプの回路構成を模式的に示す図である。 ３次元テレビがフレームレートを変換するか否かの選択を促す表示例である。

［視差画像を用いた３次元映像］
図１は、３次元空間における物体とその視差画像との関係を示す図である。３次元空間において、オブジェクト２００と総称されるオブジェクト２００ａ、オブジェクト２００ｂ、およびオブジェクト２００ｃの３つのオブジェクト２００を、カメラ２０２と総称される、オブジェクト２００に対して左側から撮像する左目用カメラ２０２ａと、オブジェクト２００に対して右側から撮像する右目用カメラ２０２ｂとで撮像する。図１においては、左目用カメラ２０２ａで撮像されたオブジェクト２００の映像および右目用カメラ２０２ｂで撮像されたオブジェクト２００の映像は、それぞれ２次元用のモニタ２０４と総称されるモニタ２０４ａおよびモニタ２０４ｂに表示されている。

左目用カメラ２０２ａと右目用カメラ２０２ｂとは、異なる位置からオブジェクト２００を撮像しているため、モニタ２０４ａに写される映像とモニタ２０４ｂに写される映像とではオブジェクト２００の向きが異なる映像となる。このように、３次元空間におけるオブジェクト２００を異なる視点から見た場合の画像を「視差画像」という。人間の左右の目は６ｃｍ程度離れているため、左目から見える映像と右目から見える映像には視差が生じる。人間の脳は、左右の目で知覚した視差画像を利用して物体の奥行きを認識しているといわれている。そのため、左目で知覚される視差画像と右目で知覚される視差画像とをそれぞれの目に投影すると、人間には奥行きを持った映像として認識される。

視差画像を利用して、人間に奥行きを持った映像を見せるための３次元テレビには様々な方式があるが、本実施の形態では左目用の視差画像と右目用の視差画像とを交互に時分割で表示するシャッター式の３次元テレビについて説明する。図２は、視差画像を利用したシャッター式の３次元映像表示システム３００の概観を示す図である。３次元映像表示システム３００は、視差画像を投影する３次元テレビ２０６、視差画像を見るために利用するシャッターメガネ２１０、および３次元テレビ２０６とシャッターメガネ２１０との同期を取るメガネ駆動信号発信部２０８を含む。

３次元テレビ２０６は、左目用の視差画像と右目用の視差画像とを交互に時分割で提示する。メガネ駆動信号発信部２０８は、３次元テレビ２０６の視差画像の表示タイミングを赤外線の同期信号として発信する。シャッターメガネ２１０は、メガネ駆動信号発信部２０８から送信された同期信号を受信するための受信部（図示せず）を備えており、受信した同期信号に応じて左右のレンズにシャッターをかける。シャッターは、例えば既知の液晶シャッターの技術を用いることで実現できる。

具体的には、３次元テレビ２０６が左目用の視差画像を表示する場合、シャッターメガネ２１０はメガネ駆動信号発信部２０８から右目のレンズのシャッターを閉じるべき旨の信号を受信する。シャッターメガネ２１０は、受信した信号をもとに右目のレンズのシャッターを閉じることで、右目に入る映像が遮蔽される。これにより、３次元テレビ２０６が左目用の視差画像を表示する場合、ユーザの左目にのみ左目用の視差画像が投影される。反対に、３次元テレビ２０６が右目用の視差画像を表示する場合、シャッターメガネ２１０が左目のレンズのシャッターを閉じることにより、ユーザの右目にのみ右目用の視差画像が投影される。

図３は、シャッターメガネ２１０のシャッターのタイミングと、３次元テレビ２０６における視差画像の表示のタイミングとの関係を示す図である。左目用視差画像２１２と総称する左目用視差画像２１２ａ、左目用視差画像２１２ｂ、および左目用視差画像２１２ｃと、右目用視差画像２１４と総称する右目用視差画像２１４ａ、右目用視差画像２１４ｂ、右目用視差画像２１４ｃとが、所定の間隔ｔ（例えば１／１２０秒間隔）で交互に表示される。

左目用視差画像２１２ａが表示されているとき、シャッターメガネ２１０の左目のシャッターは開いており、右目用のシャッターは閉じている。図３においては、シャッターメガネ２１０のシャッターが開状態の場合を「○」の記号、閉状態の場合を「×」の記号を用いて表現している。図３に示すように、３次元テレビ２０６の視差画像の表示とシャッターメガネ２１０のシャッターの開閉とを同期してユーザの左目には左目用視差画像２１２を、右目には右目用視差画像２１４を投影することにより、ユーザに奥行き感のある３次元映像を提示することが可能となる。

［３次元テレビ］
図４は、３次元テレビ２０６の回路構成を模式的に示す図である。ＨＤＭＩ（High-Definition Multimedia Interface）端子２１６は、映像や音声、デジタル制御信号を含むＨＤＭＩ規格に準じた信号が入力される端子である。ＨＤＭＩ受信部２１８は、ＨＤＭＩ端子２１６を介して受信したＨＤＭＩ Ｒｘ、ＨＤＭＩの信号を受信し、映像、音声、インフォフレーム（ＩｎｆｏＦｒａｍｅ）と称される制御信号等の各信号のパケットを分離する。

アンテナ入力端子２２０は、図示しないアンテナから地上デジタルのテレビジョン放送等を受信する。デジタルチューナー２２２は、アンテナ入力端子２２０を介してアンテナから取得した放送波の信号から、放送の伝送データを取り出す。分離回路２２４は、放送の伝送データから、映像、音声などのストリームを分離する。

音声デコーダ２２６は、音声データのストリームがＬｉｎｅａｒ ＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）でない場合、例えばＭＰＥＧ２ ＡＡＣ、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ；商標等の場合はそれらを復号し、Ｌｉｎｅａｒ ＰＣＭに変換する。変換したＬｉｎｅａｒ ＰＣＭの信号は、音声チャネルを並べ替える等の処理をする。音声信号処理回路２２８は、音質の補正等の音声信号処理を行う。

音声増幅回路２３０は、後述するスピーカ２３２に音声を出力するためにＤ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換したり、設定されている音量に応じてアナログ信号を増幅したりする。スピーカ２３２は、音声増幅回路２３０が出力したアナログの音声信号を音波として出力する。

映像デコーダ２３４は、映像データのストリームを復号することにより、動画像を構成する各フレームの映像データを生成する。映像信号処理回路２３６は、映像の画質改善、解像度の変換、Ｉ／Ｐ変換（Ｉｎｔｅｒｌａｃｅ Ｐｒｏｇｒｅｓｓｉｖｅ変換）等の処理を行う。グラフィック生成回路２３８は、３次元テレビ２０６のメニューや各種情報を提示するための表示を、映像信号処理回路２３６から出力された映像に重畳する。以下、本明細書においては、映像と動画像とを同じ意味で用いる。また、フレームと画像とも同じ意味で用いる。

パネル駆動回路２４０は、３次元テレビ２０６の表示パネル２４２にグラフィック生成回路２３８から出力された映像を表示するためのトリガとなる、パネル駆動信号を生成する。パネル駆動回路２４０は表示パネル２４２が映像を表示するタイミングに関するタイミング情報を持っているため、後述するバックライト駆動回路２４４やメガネ駆動信号発信部２４６にタイミング情報を出力する。

バックライト駆動回路２４４は、バックライトがＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）バックライト方式の場合、パネル駆動回路２４０から取得したタイミング情報をもとにバックライトの点灯のタイミングを制御する。バックライト駆動回路２４４は、表示パネル２４２内の領域毎に異なるタイミングや輝度でバックライトを点灯させることもある。

メガネ駆動信号発信部２４６は、パネル駆動回路２４０から取得したタイミング情報をもとに、前述のシャッターメガネ２１０を駆動するためのタイミング信号を発信する。なお、シャッターメガネ２１０は、メガネ駆動信号発信部２４６から受信したタイミング信号にあわせて、シャッターメガネ２１０の左右のレンズを開閉する。

不揮発メモリ２５４は、３次元テレビ２０６を制御するためのシステムプログラム等が格納されている。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２５０は、バス２５２を介して不揮発メモリ２５４からシステムプログラムを読み込む。ＣＰＵ２５０はメインメモリ２５６を作業メモリとしてシステムプログラムを実行することにより、３次元テレビ２０６を統括的に制御する。

ＣＰＵ２５０はリモコン受信機２４８を介してユーザからの３次元テレビ２０６に対する指示を受信し、バス２５２を介して上記の各回路に制御命令を送信する。上記の各回路は、主にＣＰＵ２５０から取得した制御命令をもとに動作する。

３次元テレビ２０６の表示パネル２４２としては、プラズマを利用するＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）方式や液晶を利用するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）方式など様々な方式があるが、本実施の形態ではＬＣＤ方式を中心に説明する。

ＬＣＤ方式の表示パネル２４２においては、１ラインずつ走査をしながら映像の表示を更新することが一般的である。例えば、表示パネル２４２の１番上のラインから更新を開始して、表示パネル２４２の１番下のラインに至るまで垂直方向に走査しながら画素の状態を更新する。このため、左右の視差画像を１枚ずつ交互に更新する場合、更新の途中で左右の視差画像が混合することになる。また、液晶の応答には時間を要するため、画素を更新すべき信号を受信してから実際に画素が更新するまでには時間差が生じる。

このため、ＬＣＤ方式の表示パネル２４２においては、左右の視差画像を２枚ずつ表示する「２度書き」が行われたり、左右の視差画像の間に全面黒などの単一色のフレームを表示する「黒挿入」が行われたりする。

図５は、３次元液晶テレビの画像表示方式を説明する図である。図５は上述の「２度書き」を示す。図５において表示すべき視差画像を符号２５８で総称する。左目用の視差画像をＬ（Ｌｅｆｔの頭文字）で表し、右目用の視差画像をＲ（Ｒｉｇｈｔの頭文字）で表す。また、表示パネル２４２に実際に表示されている視差画像を、符号２６２で総称する。以下、図において、左目用の視差画像を斜めのハッチングで示し、右目用の視差画像を縦のハッチングで示す。

左目用視差画像２５８ａは表示パネル２４２上に２度描画される。図５において、Ｌ１ａは左目用視差画像２５８ａの１度目の描画を表し、Ｌ１ｂは２度目の描画を表す。同様にＲ１ａは右目用視差画像２５８ｂの１度目の描画を表し、Ｒ１ｂは２度目の描画を表す。以下Ｌ２ａ、Ｌ２ｂ、Ｒ２ａ、Ｒ２ｂにおいても同様である。

前述したように、画像の更新は１ラインずつ走査をしながら行われるため、Ｒ１ａを描画し始めた時点ではまだＬ１ｂの画像が表示パネル２４２に残っている。画像２６２ｂは、その時の表示パネル２４２の表示画像を示す。また、前述したように、液晶の応答には時間を要するため、画素を更新すべき信号を受信してから実際に画素が更新するまでには時間差が生じる。このため、Ｒ１ａの描画信号を全て受信した時点においても表示パネル２４２はＲ１を完全に表示し終えてはいない。画像２６２ｃは、その時の表示パネル２４２の表示画像を示す。

画像２６２ｄに示すように、Ｒ１ｂを途中まで描画すると液晶の応答時間が経過するため、画像２６２ｃにおいて描画し終えていなかった画像下部の描画が終了し、表示パネル２４２にＲ１が全て表示される。そこで、シャッターメガネ２１０は、表示パネル２４２にＲ１が全て表示される間、左目のシャッターを閉じて右目のシャッターを開ける。図５においては、符号２６０ｂで示す期間である。同様の理由で符号２６０ａおよび符号２６０ｃで示す期間、右目のシャッターを閉じて左目のシャッターを開ける。また符号２６０ｂで示す期間、左目のシャッターを閉じて右目のシャッターを開ける。符号２６０で示す期間以外の期間は、シャッターメガネ２１０は両目のシャッターを閉じる。

以上のように「２度書き」の方式は、左右の視差画像を２枚ずつ表示することで表示パネル２４２に左右いずれかの視差画像全体を表示する期間を設け、その期間とシャッターメガネ２１０の開閉のタイミングを同期することにより、人間の目に適切な視差画像を投影する。

図６は、３次元液晶テレビの画像表示の別の方式を説明する図である。図６は上述の「黒挿入」を示す。前述したように、ＬＣＤ方式の表示パネル２４２においては走査をしながら描画すること、および液晶の応答時間により、視差画像２５８の更新中にひとつ前の視差画像２５８が混じる。そこで、左目用視差画像２５８ａと右目用の視差画像２５８ｂとの間に黒い画像を挿入する。視差画像２５８と黒い画像とが混じることになるが、両者が混じったとしても視差画像２５８の全体の輝度が下がる程度であり、視差画像としての構造は保たれる。

図５示す「２度書き」の方式および図６に示す「黒挿入」の方式のいずれの方式も、左右の視差画像を表示するためにはそれぞれ２回ずつ表示パネル２４２を駆動する必要がある。このため、例えばフレームレートがｎ［Ｈｚ］の３次元映像を表示するためには、下式で示すように４倍のフレームレートで表示パネル２４２を駆動する必要がある。
ｎ［Ｈｚ］×２（２度書きまたは黒挿入）×２（左右の視差画像）＝４ｎ［Ｈｚ］。

［ＨＤＭＩ ｖ１．４ａの規格］
図７は、ＨＤＭＩ ｖ１．４ａにおける３次元映像関連の一群のフォーマットの規格を示す図である。

図７（ａ）は、フレームパッキング（Ｆｒａｍｅ Ｐａｃｋｉｎｇ）のフォーマットを示す図である。フレームパッキングは、フルサイズの左目用の視差画像Ｌと右目用の視差画像Ｒとをひとつのフレームとして伝送するためのフォーマットである。具体的には、左目用の視差画像Ｌの下部に空白部２６２を挟んで右目用の視差画像Ｒを配置する。このため、描画の際に用いられる水平同期信号２６４は１枚の視差画像２５８を描画する場合と同じであるが、垂直同期信号２６６は、視差画像２５８の２枚分に空白部２６２を加えた長さとなる。

図７（ｂ）は、サイドバイサイド（Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ）のフォーマットを示す図である。サイドバイサイドは、左目用の視差画像Ｌと右目用の視差画像Ｒとをそれぞれ縦幅を半分にして結合し、フルサイズの１枚の視差画像２５８と同一のサイズにして伝送するためのフォーマットである。フォーマットがサイドバイサイドであることを示す信号が、ＨＤＭＩの制御信号の一部として伝送される。

図７（ｃ）は、トップアンドボトム（Ｔｏｐ−ａｎｄ−Ｂｏｔｔｏｍ）のフォーマットを示す図である。トップアンドボトムは、左目用の視差画像Ｌと右目用の視差画像Ｒとをそれぞれ横幅を半分にして結合し、フルサイズの１枚の視差画像２５８と同一のサイズにして伝送するためのフォーマットである。フォーマットがトップアンドボトムであることを示す信号が、ＨＤＭＩの制御信号の一部として伝送される。

図８はＨＤＭＩ ｖ１．４ａ規格における、３次元映像関連の必須の映像フォーマットの一覧である。ＨＤＭＩ ｖ１．４ａ規格において、シンク機器（ＨＤＭＩ受信機、テレビなど）は、フレームパッキング、サイドバイサイド、トップアンドボトムの図８に記載の解像度／フレームレートの映像フォーマットを受信できることが義務付けられている。また、これら以外にもオプショナルのフォーマット/解像度/フレームレートをサポートしてもよい。ソース機器（ＨＤＭＩ送信機、Ｂｌｕ−ｒａｙプレイヤ、ゲーム機など）は、ＨＤＭＩ経由でシンク機器がサポートしているフォーマット/解像度／フレームレートを確認し、サポートしているフォーマット／解像度／フレームレートのみ出力することが許される。

［フリッカとフレームレートの変換］
ところで、映像のフレームレートが一定の範囲に含まれる場合、「フリッカ」と呼ばれる現象が発生する。「フリッカ」とは、人間の目で認識できるほど映像の書き換えの頻度が低い場合に、画面が小刻みにちらついて認識される現象のことをいう。一般に、映像のフレームレートが１０［Ｈｚ］〜５０［Ｈｚ］程度の範囲であると、人間にはフリッカが認識されると言われている。

図８に示すように、映画のコンテンツにおける３次元映像のフレームレートは２４［Ｈｚ］がよく使われている。したがって、コンテンツのフレームレートで映像を提示すると、ユーザによってはフリッカが気になる場合もありうる。そのため、映画のコンテンツにおける３次元映像を３次元テレビ２０６で表示する際に、フレームレート変換して３次元映像を再生する。

例えば、フレームを補間して新たなフレームを生成してもとのフレームを３倍に増やし、１０［Ｈｚ］〜５０［Ｈｚ］の範囲を超える７２［Ｈｚ］のフレームレートで３次元映像を提示することができれば、フリッカを抑制することができる。前述したように、ＬＣＤ方式の表示パネル２４２で７２［Ｈｚ］の３次元映像を表示する場合には、７２［Ｈｚ］×４＝２８８［Ｈｚ］で表示パネル２４２を駆動する必要がある。ところが、２８８［Ｈｚ］は高いフレームレートであり、表示パネル２４２を２８８［Ｈｚ］で駆動することは困難な場合が多い。そこで、２４［Ｈｚ］のフレームレートを６０［Ｈｚ］に変換して３次元映像を再生することが多く行われている。

図９は、フレームレートの変換方式を説明する図である。図９は「２−３変換」と呼ばれるフレームレートの変換方式を説明する図である。「２−３変換」においては、左目用の視差画像Ｌと右目用の視差画像Ｒとの組を単位とし、ある組を２回連続して表示した後、続く組は３回連続して表示する。図９において左目用の視差画像Ｌ１と右目用の視差画像Ｒ１とは、それぞれＬ１−１、Ｌ１−２およびＲ１−１、Ｒ１−２の２回ずつ表示される。これに対し、左目用の視差画像Ｌ２と右目用の視差画像Ｒ２とは、それぞれＬ２−１、Ｌ２−２、Ｌ２−３およびＲ２−１、Ｒ２−２、Ｒ２−３の３回ずつ表示される。図９においては、２回ずつ表示される組を破線の矢印で表し、３回ずつ表示される組を実線の矢印で表している。

このように、フレームの表示回数を２回、３回と切り替えながら表示することにより、２４［Ｈｚ］の３次元映像は実質的に２．５倍の６０［Ｈｚ］のフレームレートに変換される。

図１０は、フレームレートの変換の別の方式を説明する図である。図１０はフレーム補間技術を用いて２フレームを５フレームに変換する方式を説明する図である。図１０に示すように、左目用の視差画像Ｌ１と左目用の視差画像Ｌ２との２フレームを用いて、動き予測等の手法により、Ｌ１、Ｌ１ａ、Ｌ１ｂ、Ｌ１ｃ、Ｌ１ｄの５フレームを生成する。同様に右目用の視差画像Ｒ１と右目用の視差画像Ｒ２との２フレームを用いて、Ｒ１、Ｒ１ａ、Ｒ１ｂ、Ｒ１ｃ、Ｒ１ｄの５フレームを生成する。図９においては、矢印の始点に位置するフレームが矢印の指し示す先のフレームの補間に利用されることを示している。例えば、Ｌ１ａはＬ１とＬ２とをもとに生成される。

なお、Ｌ１ｄの生成にはＬ３を用いるが、全体としてみると２フレームから５フレームを生成することになる。これにより、２４［Ｈｚ］の３次元映像は６０［Ｈｚ］のフレームレートに変換される。

［３次元映像再生装置］
図１１は、実施の形態に係る３次元映像表示システム３００に用いられる機器の構成を模式的に示す図である。３次元映像表示システム３００に用いられる機器には、３次元映像再生装置１００と３次元テレビ２０６とが含まれる。３次元映像再生装置１００は後述するＨＤＭＩ送信部２８６（ＨＤＭＩ Ｔｘ）を含み、３次元テレビ２０６のＨＤＭＩ受信部２１８（ＨＤＭＩ Ｒｘ）とＨＤＭＩケーブル２６８を介して通信する。

図１２は、実施の形態に係る３次元映像再生装置１００の回路構成を模式的に示す図である。

ＢＤ／ＤＶＤドライブ２７０（Ｂｌｕ−ｒａｙ Ｄｉｓｃ；商標／Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）は、光学式メディアからデータを読み取る。復号回路２７２は、ＡＡＣＳ（Ａｄｖａｎｃｅｄ Ａｃｃｅｓｓ Ｃｏｎｔｅｎｔ Ｓｙｓｔｅｍ）やＣＳＳ（Ｃｏｎｔｅｎｔ Ｓｃｒａｍｂｌｅ Ｓｙｓｔｅｍ）等の暗号を解読し、データを暗号のかかっていない状態である平文に変換する。

分離回路２７４は、光学式メディアから読み出したデータ（音声や映像等が多重化されたデータ）から、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＭＶＣ（Ｍｕｌｔｉ−Ｖｉｅｗ Ｃｏｄｉｎｇ）等の映像と、Ｌｉｎｅａｒ ＰＣＭ、Ｄｏｌｂｙ Ｄｉｔｉｇａｌ、ＤＴＳ（Ｄｉｇｉｔａｌ Ｔｈｅａｔｅｒ Ｓｙｓｔｅｍ）；商標等の音声、その他字幕等のストリームを取り出す。

音声デコーダ２７６は、音声データのストリームがＬｉｎｅａｒ ＰＣＭでない場合、例えばＤｏｌｂｙ Ｄｉｇｉｔａｌ；商標、ＤＴＳ；商標等の場合はそれらを復号し、Ｌｉｎｅａｒ ＰＣＭに変換する。変換したＬｉｎｅａｒ ＰＣＭの信号は、音声チャネルを並べ替える等の処理をする。音声信号処理回路２２８は、音質の補正等の音声信号処理を行う。

音声信号処理回路２７８は、主音声、副音声、およびボタンサウンド等のインタラクティブオーディオのオーディオミキシング、ダウンミックス、サンプリングレートの変換等の音声信号処理を行う。

映像デコーダ２８０は、ＭＰＥＧ、ＡＶＣ、ＭＶＣ、ＶＣ−１等の映像ストリームをデコードし、映像の各フレームの画像を生成する。映像信号処理回路２８２は、映像デコーダ２８０から取得したフレームの画質補正、画像サイズや解像度の変換、カラースペースの変換、主映像と副映像との合成等を行う。また、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）の映像の重ね合わせも行う。映像信号処理回路２８２は３Ｄ映像生成部２８４をさらに含み、３次元映像を出力する際には３Ｄ映像生成部２８４は映像デコーダ２８０から取得した画像データを３次元の出力フォーマットに変換する。

ＨＤＭＩ送信部２８６（ＨＤＭＩ Ｔｘ）は、音声信号処理回路２７８および映像信号処理回路２８２が生成した信号をＨＤＭＩの送信信号としてＨＤＭＩ端子２８８を介して送信する。

不揮発メモリ２９０は、３次元映像再生装置１００を制御するためのシステムプログラム等が格納されている。ＣＰＵ２９２は、バス２９４を介して不揮発メモリ２９０からシステムプログラムを読み込む。ＣＰＵ２９２はメインメモリ２９６を作業メモリとしてシステムプログラムを実行することにより、３次元映像再生装置１００を統括的に制御する。例えば、ドライブＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１９８は、バス２９４を介してＣＰＵ２９２からＢＤ／ＤＶＤドライブ２７０を制御すべき旨の指示を取得し、ＢＤ／ＤＶＤドライブ２７０を制御する。

ＣＰＵ２９２はリモコン受信部２９８を介してユーザからの３次元映像再生装置１００に対する指示を受信し、バス２９４を介して上記の各回路に制御命令を送信する。上記の各回路はＣＰＵ２９２から取得した制御命令をもとに動作する。ＨＤＭＩ送信部２８６が送信すべき映像のフォーマットや制御信号などを含むパケット内容、出力のタイミング、解像度切替等の処理はＣＰＵ２９２等から行われる。

図１３は、実施の形態に係る３次元映像再生装置１００の機能構成を模式的に示す図である。３次元映像再生装置１００は、受信部１０、映像再生部１２、映像変換部１４、映像出力部１６、および変換要否決定部１８を含む。

受信部１０は、３次元映像再生装置１００に対するユーザからの指示を受信する。受信部１０は主に、図１２におけるリモコン受信部２９８とＣＰＵ２９２とにより実現される。映像再生部１２は、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（商標）等に格納された映像を再生する。映像再生部１２は主に、図１２におけるＢＤ／ＤＶＤドライブ２７０、復号回路２７２、分離回路２７４、および映像デコーダ２８０により実現される。

変換要否決定部１８は、映像再生部１２が再生する映像の属性を取得して、その映像のフレームレートを変換すべきか否かを決定する。このため、変換要否決定部１８は、映像属性判定部２６と出力条件確認部２８とを含む。

映像属性判定部２６は、映像再生部１２が再生する映像が３次元空間のオブジェクトを異なる視点から見た場合の左目用の視差画像と右目用の視差画像とを含む３次元映像である場合、その３次元映像のフレームレートが、フリッカの発生しうる所定のフレームレートの範囲内であるか否かを判定する。所定のフレームレートの範囲とは、例えば１０［Ｈｚ］から５０［Ｈｚ］の範囲である。

映像再生部１２が再生する映像が、フリッカが発生しうる所定のフレームレートの範囲内であると映像属性判定部２６が判定した場合、出力条件確認部２８は、その映像のフレームレートを上げるべき旨の指示を、後述の映像変換部１４に出力する。変換要否決定部１８は、図１２における不揮発メモリ２５４に格納されている変換要否決定のためのプログラムをＣＰＵ２５０が読み出して実行することによって実現される。

映像変換部１４は、出力条件確認部２８からの指示をもとに、映像再生部１２が再生する映像の解像度の変換やフレームレートの変換等の映像信号処理を行う。このため、映像変換部１４は、解像度変換部２０、フレームレート変換部２２、および変換制御部２４を含む。映像変換部１４は主に、図１２における映像信号処理回路２８２によって実現される。

変換制御部２４は、出力条件確認部２８から映像再生部１２が再生する映像に対して映像信号処理を行うか否かの指示を取得する。解像度変換部２０は、変換制御部２４から映像再生部１２が再生する映像の解像度を変換すべき旨の指示を取得した場合、その映像の解像度を変換する。フレームレート変換部２２は、映像再生部１２が再生する映像のフレームレートがフリッカの発生しうる所定のフレームレートの範囲内である場合、所定のフレームレートの範囲を超えるまでその映像のフレームレートを上昇させる。具体的には、映像のフレームレートを６０［Ｈｚ］か、それ以上に変換する。フレームレートの変換は、例えば前述の２−３変換や補間技術を用いることで実現できる。

前述したように、フレームレートが高い映像ほどフリッカは出現しにくくなる。そのためフレームレート変換部２２は映像再生部１２が再生する映像のフレームレートを高める。ところが、ＨＤＭＩ伝送におけるＴＭＤＳ（Ｔｒａｎｓｉｔｉｏｎ Ｍｉｎｉｍｉｚｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）クロックを発生するＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）は有効走査線が１０８０本の２次元映像を６０［Ｈｚ］で伝送することを前提に設計されたものが多い。そのため、図８に示す映像信号の伝送は可能であるが、有効走査線が１０８０本の３次元映像を６０［Ｈｚ］で入出力することは困難となる場合もある。

そこで変換制御部２４は、映像再生部１２が再生する３次元映像のフレームレートをフレームレート変換部２２が上昇させることにより、３次元映像を処理する回路の処理能力が不足するか否かを判断する。３次元映像を処理する回路の処理能力が不足することになる場合、その回路の処理能力の範囲となるまで、解像度変換部２０に３次元映像の解像度を下げるべき旨の指示を出す。

映像出力部１６は、映像変換部１４から取得した映像を３次元テレビ２０６等の表示デバイスに出力する。映像出力部１６は、図１２におけるＨＤＭＩ送信部２８６とＨＤＭＩ端子２８８とによって実現される。

ユーザによっては、フリッカが発生するとしても高い解像度で３次元映像を視聴することを望む場合もあり得る。そこで出力条件確認部２８は、フレームレート変換有無の選択を促す表示を映像出力部１６を介して表示デバイスに出力し、ユーザからの選択を受け付けてもよい。図１４は、フレームレート変換有無の選択を促す表示例である。図１４に示す表示をＯＳＤとして表示デバイスに出力することにより、ユーザからの選択を受け付けることが可能となる。出力条件確認部２８は、取得したユーザからの指示を変換制御部２４に出力する。

図１３は、実施の形態１に係る３次元映像再生装置１００を実現するための機能構成を示しており、その他の構成は省略している。図１３において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メインメモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

図１５は、実施の形態に係る３次元映像表示の処理手順を示すフローチャートである。実施の形態に係る３次元映像再生装置１００における映像表示の処理手順を示すフローチャートである。以下フローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば（Ｓ１８のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、例えば（Ｓ１８のＮ）と表示する。本フローチャートにおける処理は、映像再生部１２が立体映像を再生したときに開始する。

映像再生部１２は、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（商標）等に格納された３次元映像を再生する（Ｓ１０）。映像属性判定部２６は、映像再生部１２から映像再生部１２が再生する３次元映像のフレームレートと解像度とを取得する（Ｓ１２）。出力条件確認部２８は、映像属性判定部２６が取得したフレームレートと解像度とをもとに、映像のフレームレートを変換すべきか否かを判定する（Ｓ１４）。出力条件確認部２８は判定結果をユーザに提示し、ユーザからの選択を受け付ける（Ｓ１６）。

映像の変換が必要な場合（Ｓ１８のＹ）、解像度変換部２０は映像の解像度を下げ、フレームレート変換部２２は解像度変換部２０が出力した映像のフレームレートを上げることにより映像を変換する（Ｓ２０）。映像の変換が必要ない場合（Ｓ１８のＮ）、解像度変換部２０とフレームレート変換部２２とは特段の処理をしない。映像出力部１６は、映像変換部１４から取得した映像を表示デバイスに出力する（Ｓ２２）。映像出力部１６が映像を出力すると、本フローチャートにおける処理は終了する。

以上の構成による動作は以下のとおりである。ユーザは実施の形態に係る３次元映像再生装置１００において、事前にシステム設定で映像のフレームレート等を変換するか否かの選択を行っておく。または、映像再生中のＯＳＤにおいて選択できてもよい。有効走査線が１０８０本かつフレームレートが２４［Ｈｚ］の３次元映像を視聴しようとすると、変換要否決定部１８がシステム設定で設定された情報を取得する。映像変換部１４は、変換を要する旨の選択があった場合、映像のフレームレートを上げる。

以上説明したように、実施の形態によれば、フリッカのの発生が認識される可能性のある映像のフレームレートを上げることによってフリッカの発生を抑制することができる。また、フレームレートを上げるために解像度を下げる必要がある場合にはその旨をユーザに提示し、ユーザの好みに応じた映像変換を実現することが可能となる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

［実施の形態の変形例］
図１６は、実施の形態に係る３次元映像表示システム３００に用いられる機器の別の構成を模式的に示す図である。本例における３次元映像表示システム３００に用いられる機器には、３次元映像再生装置１００、アンプ１９６、および３次元テレビ２０６が含まれる。３次元映像再生装置１００はＨＤＭＩ送信部２８６（ＨＤＭＩ Ｔｘ）を含み、ＨＤＭＩケーブル２６８ａを介してアンプ１９６と通信する。また３次元テレビ２０６もＨＤＭＩケーブル２６８ｂを介してアンプ１９６と通信する。

図１１に示す例では、３次元映像再生装置１００から出力された映像や音声等の信号は、３次元テレビ２０６に直接入力されたが、本例では３次元映像再生装置１００から出力された映像や音声等の信号は、３次元テレビ２０６に入力される前にアンプ１９６において信号処理される。３次元映像再生装置１００や３次元テレビ２０６内で処理するよりも、より高度な音声信号処理を実行することができる点で効果がある。

図１７は、実施の形態に係るアンプ１９６の回路構成を模式的に示す図である。

ＨＤＭＩ受信部１６８（ＨＤＭＩ Ｒｘ）は、ＨＤＭＩ入力端子１６６を介して取得したＨＤＭＩの信号から映像、音声、制御信号等の各信号のパケットを分離する。

音声デコーダ１７０は、音声データのストリームがＬｉｎｅａｒ ＰＣＭでない場合、例えばＤｏｌｂｙ Ｄｉｇｉｔａｌ；商標、ＤＴＳ；商標等の場合はそれらを復号し、Ｌｉｎｅａｒ ＰＣＭに変換する。変換したＬｉｎｅａｒ ＰＣＭの信号は、音声チャネルを並べ替える等の処理をする。音声信号処理回路２２８は、音質の補正等の音声信号処理を行う。

音声信号処理回路１７２は、主音声、副音声、およびボタンサウンド等のインタラクティブオーディオのオーディオミキシング、ダウンミックス、サンプリングレートの変換等の音場補正、音質改善等の音声信号処理を行う。

音声増幅回路１７４は、スピーカ１７６に音声を出力するためにＤ／Ａ変換をしたり、設定されているボリュームに応じてアナログ信号を増幅したりする。また、アンプ１９６で音声を再生するのではなく、３次元テレビ２０６等のシンク機器側で音声を出力する場合もある。この場合、ＨＤＭＩ受信部１６８が取得した音声データや音声制御信号等の音声に関するパケットは前述の音声デコーダ１７０、音声信号処理回路１７２、および音声増幅回路１７４には出力されず、３次元テレビ２０６等のシンク機器に直接転送する。

映像信号処理回路１７８は、ＨＤＭＩ受信部１６８が取得した映像データの画質改善、解像度変換、３次元映像のための各種フォーマット間の変換等の処理を行う。グラフィック生成回路１８０は、アンプ１９６のメニューや各種情報を提示するための表示を、映像信号処理回路１７８から出力された映像に重畳する。

ＨＤＭＩ送信部１８２（ＨＤＭＩ Ｔｘ）は、グラフィック生成回路１８０が生成した信号をＨＤＭＩの送信信号としてＨＤＭＩ端子１８４を介して送信する。また、３次元テレビ２０６等のシンク機器側で音声を出力する場合、ＨＤＭＩ受信部１６８が取得した音声データや音声制御信号等の音声に関するパケットをＨＤＭＩ端子１８４を介して送信する。

不揮発メモリ１８６は、アンプ１９６を制御するためのシステムプログラム等が格納されている。ＣＰＵ１８８は、バス１９０を介して不揮発メモリ１８６からシステムプログラムを読み込む。ＣＰＵ１８８はメインメモリ１９２を作業メモリとしてシステムプログラムを実行することにより、アンプ１９６を統括的に制御する。例えば、不揮発メモリ１８６から読み出した制御信号確認用プログラムをＣＰＵ１８８が実行することによって、３次元映像再生装置１００から送られてきた制御信号の内容を確認し、必要に応じてその内容に変更を加えた上で、３次元テレビ２０６に出力する。

ＣＰＵ１８８はリモコン受信機１９４を介してユーザからのアンプ１９６に対する指示を受信し、バス１９０を介して上記の各回路に制御命令を送信する。上記の各回路はＣＰＵ１８８から取得した制御命令をもとに動作する。ＨＤＭＩ送信部１８２が送信すべき映像のフォーマットや制御信号などを含むパケット内容、出力のタイミング、解像度切替等の処理は、ＣＰＵ１８８等から行われる。

上記の説明では、３次元映像再生装置１００やアンプ１９６においてフレーム変換等の映像信号処理を行う場合について説明したが、３次元テレビ２０６が同様の映像信号処理を実行できる場合には、３次元映像再生装置１００やアンプ１９６は映像信号処理をせずに映像を３次元テレビ２０６に送信するようにしてもよい。出力条件確認部２８が３次元テレビ２０６からＥＤＩＤ（Ｅｘｔｅｎｄｅｄ Ｄｉｓｐｌａｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｄａｔａ）を取得して内容を解析する。その結果映像信号処理が不要である旨のフラグが設定されている場合、３次元映像再生装置１００やアンプ１９６は映像信号処理を実行しないことで実現できる。３次元テレビ２０６に適した映像信号処理を実行できるため、より良い画質で映像を視聴できる点で有利である。

あるいは、３次元テレビ２０６から取得するＥＤＩＤに映像信号処理が不要である旨のフラグが設定されている場合には、その旨をユーザに提示して、３次元映像再生装置１００やアンプ１９６、３次元テレビ２０６のいずれの装置で映像信号処理を行うか選択できるようにしてもよい。図１８は、３次元テレビ２０６がフレームレートを変換するか否かの選択を促す表示例である。出力条件確認部２８が、図１８に示すＯＳＤを３次元テレビ２０６に表示してユーザに選択させることで実現できる。

ユーザがアンプ１９６において映像信号処理をすることを選択した場合には、３次元テレビ２０６からアンプ１９６に入力される制御信号には、３次元テレビ２０６において映像信号処理をすべき旨のフラグが立っていることも考えられる。そのような場合、アンプ１９６内のＣＰＵ１８８は専用のプログラムを実行することにより、アンプ１９６に入力された制御信号から３次元テレビ２０６において映像信号処理をすべき旨のフラグを落とすようにしてもよい。

１０ 受信部、 １２ 映像再生部、 １４ 映像変換部、 １６ 映像出力部、 １８ 変換要否決定部、 ２０ 解像度変換部、 ２２ フレームレート変換部、 ２４ 変換制御部、 ２６ 映像属性判定部、 ２８ 出力条件確認部、 １００ ３次元映像再生装置、 ２０６ ３次元テレビ、 ２０８ メガネ駆動信号発信部、 ２１０ シャッターメガネ、 ３００ ３次元映像表示システム。

Claims (4)

1. 再生対象である左目用の視差画像と右目用の視差画像とを交互に時分割で表示するシャッター式の３次元映像のフレームレートが当該映像にフリッカの発生しうる所定のフレームレートの範囲内であるか否かを判定し、前記３次元映像のフレームレートがフリッカの発生しうる所定のフレームレートの範囲内である場合、前記所定のフレームレートの範囲を超えるまで前記左目用の視差画像のフレームレートと前記右目用の視差画像のフレームレートとを上昇させ、
   前記左目用の視差画像のフレームレートと前記右目用の視差画像のフレームレートとを上昇させることによって前記３次元映像を処理する回路の処理能力が不足することになる場合、前記左目用の視差画像のフレームレートと前記右目用の視差画像のフレームレートとを上昇させるとともに前記回路の処理能力の範囲となるまで前記左目用の視差画像のサイズと前記右目用の視差画像のサイズとを小さくして交互に時分割で表示することにより、奥行き情報を持った映像を提示することを特徴とする３次元映像再生方法。
2. 前記３次元映像のフレームレートがフリッカの発生しうる所定のフレームレートの範囲内である場合フレームレートを上昇させるか否かをユーザに選択可能に提示し、ユーザからフレームレートを上昇させるべき選択があった場合前記３次元映像のフレームレートを上昇させて再生することを特徴とする請求項１に記載の３次元映像再生方法。
3. 再生対象である左目用の視差画像と右目用の視差画像とを交互に時分割で表示するシャッター式の３次元映像のフレームレートが当該映像にフリッカが発生しうる所定のフレームレートの範囲内であるか否かを判定する映像属性判定部と、
   前記３次元映像のフレームレートがフリッカの発生しうる所定のフレームレートの範囲内である場合、前記所定のフレームレートの範囲を超えるまで前記左目用の視差画像のフレームレートと前記右目用の視差画像のフレームレートとを上昇させるフレームレート変換部と、
   前記左目用の視差画像のサイズと右目用の視差画像のサイズを変換する解像度変換部と、
   前記フレームレート変換部が前記３次元映像のフレームレートを上昇することにより前記３次元映像を処理する回路の処理能力が不足することになる場合、奥行き情報を持った映像を提示するために、前記フレームレート変換部に前記３次元映像のフレームレート上昇させるとともに前記解像度変換部に前記回路の処理能力の範囲となるまでで前記左目用の視差画像のサイズと前記右目用の視差画像のサイズとを小さくして交互に時分割で表示させる変換制御部とを含むことを特徴とする３次元映像再生装置。
4. 前記３次元映像のフレームレートが、フリッカの発生しうる所定のフレームレートの範囲内である場合、前記３次元映像を表示する表示デバイスからフレームレートを上昇するか否かの指示を含む信号を取得する出力条件確認部をさらに含み、
   前記フレームレート変換部は、前記出力条件確認部が前記３次元映像を表示する表示デバイスからフレームレートを上昇させるべき指示を取得した場合、前記３次元映像のフレームレートを上昇させることを特徴とする請求項３に記載の３次元映像再生装置。

Images