JP6127311B2 - ３ｄ再生装置、テレビ受像機、３ｄ再生方法、プログラム、及びプログラムを記憶した記憶媒体 - Google Patents

Description

本発明は、３Ｄ再生装置、３Ｄ再生装置に実行させるためのプログラム、テレビ受像機、プログラムを記憶した記憶媒体に関する。

シャッターグラス方式にて３Ｄ映像を表示する場合、映像を左目用フレーム画像と右目用フレーム画像に分割し、それぞれを交互にディスプレイに表示出力する。また、交互に表示される左目用フレーム画像と右目用フレーム画像に合わせて３Ｄメガネに備えられたシャッターを開閉する。具体的には、左目用フレーム画像が表示されるタイミングで左目のシャッターを開いて右目のシャッターを閉じ、右目用フレーム画像が表示されるタイミングで右目のシャッターを開いて左目のシャッターを閉じる。

一画面において一の３Ｄ映像が表示するのが一般的であるが、マルチウインドウ表示が可能なディスプレイにおいては一画面において複数の３Ｄ映像を表示することも考えられる。しかしながら、複数の３Ｄ映像を同時に表示する場合、３Ｄ映像に独特の問題も発生する。例えば、異なる３Ｄ映像を一画面に同時に表示すると、奥行き感や飛び出し感が３Ｄ映像ごとに異なるため、視聴者に違和感を与える場合もある。特許文献１においては、奥行き感や飛び出し感の異なる複数の３Ｄ映像を同時に表示する際に視聴者に与える違和感を抑制するため、各３Ｄ映像の右目用フレーム画像と左目用フレーム画像の視差量を調整する映像表示装置が開示されている。

ＷＯ１１／０８６９３２号公報

一方、３Ｄ映像にはフォーマットや方式が異なるものが存在し、表示装置側で行われる映像処理もフォーマットなどに応じてそれぞれ異なる。例えば、プログレッシブ方式のフレームパッキング映像信号については、パッキングされている映像信号を左目用と右目用に分割し、ノイズリダクションやデジャダ処理等の映像処理を施し、映像出力する処理を行う。また、インターレース方式のサイドバイサイド映像信号については、ノイズリダクション処理やデジャダ処理以外にもｉ／ｐ変換処理やスケーリング処理を施す必要がある。このように、３Ｄ映像のフォーマットなどの違いによって必要な映像処理の内容が異なってくるため、映像処理時間にも差が生じる。その結果、複数の３Ｄ映像を同時に表示しようとすると、各３Ｄ映像のフレーム画像の左右位相がずれてしまうことがある。つまり、一の３Ｄ映像の右目用フレーム画像を表示すると同時に他の３Ｄ映像の左目用フレーム画像を表示してしまったり、一の３Ｄ映像の左目用フレーム画像を表示すると同時に他の３Ｄ映像の右目用フレーム画像を表示してしまったりする。さらに、３Ｄ映像としては、フレームレートの値が異なるものも存在し、２４Ｈｚのものもあれば、６０Ｈｚのものもある。このとき、３Ｄメガネの左右のシャッターの開閉動作を一の３Ｄ映像のフレームレートに合わせてしまうと他の３Ｄ映像のフレームレートに合わなくなってしまうという問題もある。

上記の課題を解決するために、本発明の一態様として、異なるフレームレートを有する複数の３Ｄ映像を受けつける受付部と、前記複数の３Ｄ映像のフレームレートが同一となるように変換する変換部と、各３Ｄ映像の右目用フレーム画像と左目用フレーム画像のディスプレイでの表示タイミングを同期する同期部と、同期した各３Ｄ映像のフレーム画像をマルチウインドウ表示する表示出力部と、を有する３Ｄ再生装置などを提案する。

以上のような構成をとる本発明は、複数の３Ｄ映像のフレームレートをそろえ、各３Ｄ映像情報を処理するための時間を算出し、各３Ｄ映像の右目用フレーム画像と左目用フレーム画像のディスプレイでの表示タイミングを同期させることが可能である。このため、本発明の３Ｄ再生装置は、異なる方式の複数の３Ｄ映像をマルチウインドウ方式で同時に表示することが可能になる。つまり、一の３Ｄ映像の右目用フレーム画像を表示している際に他の３Ｄ映像の右目用フレーム画像を同時に表示し、一の３Ｄ映像の左目用フレーム画像を表示している際に他の３Ｄ映像の左目用フレーム画像を同時に表示することができる。

実施形態１の３Ｄ再生装置の機能ブロックの一例を示す図 処理時間を用いて表示タイミングを同期させる方法の一例を示す図 実施形態１の３Ｄ再生装置の具体的なハードウェア構成の一例を示す図 実施形態１の３Ｄ再生装置を用いた場合の具体例を示す図 実施形態１の３Ｄ再生装置の処理の流れの一例を示す図 実施形態２の３Ｄ再生装置の機能ブロックの一例を示す図 実施形態２の３Ｄ再生装置の処理の流れの一例を示す図 実施形態３の３Ｄ再生装置の機能ブロックの一例を示す図 実施形態３の３Ｄ再生装置の処理の流れの一例を示す図 実施形態４の３Ｄ再生装置の機能ブロックの一例を示す図 実施形態４の３Ｄ再生装置を用いた同期回復方法の一例を示す図 実施形態４の３Ｄ再生装置の処理の流れの一例を示す図 実施形態５の３Ｄ再生装置の機能ブロックの一例を示す図 実施形態５の３Ｄ再生装置を用いた同期回復方法の一例を示す図 実施形態６の３Ｄ再生装置の機能ブロックの一例を示す図 実施形態６の３Ｄ再生装置の処理の流れの一例を示す図

以下に、本発明にかかる３Ｄ再生装置の実施形態を説明する。実施形態と請求項の相互の関係は、以下のとおりである。実施形態１では主に請求項１、８、９、１０について説明し、実施形態２では主に請求項２、９、１０について説明し、実施形態３では主に請求項３、９、１０について説明し、実施形態４では主に請求項４、５、６、９、１０について説明し、実施形態５では主に請求項７、９、１０について説明する。なお、本発明はこれらの実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲内において、種々なる態様で実施しうる。

<<実施形態１>>

<概要>
本実施形態の３Ｄ再生装置は、異なるフレームレートを有する複数の３Ｄ映像のフレームレートを同一となるように変換し、各３Ｄ映像情報を処理するための時間を算出し、当該処理時間の情報を用いて各３Ｄ映像の右目用フレーム画像と左目用フレーム画像のディスプレイでの表示タイミングを同期し、同期した各３Ｄ映像のフレーム画像をマルチウインドウ出力する点に特徴を有する。これにより、異なる方式の複数の３Ｄ映像をマルチウインドウ方式で同時に表示することが可能になる。

<構成>
図１は、本実施形態の３Ｄ再生装置の機能ブロックの一例を示す図である。この図にあるように、「３Ｄ再生装置」０１００は、「受付部」０１０１と、「変換部」０１０２と、「処理時間算出部」０１０３と、「同期部」０１０４と、「表示出力部」０１０５を有する。３Ｄ再生装置としては、テレビ受像機や汎用コンピュータ、スクリーンディスプレイ装置、などが挙げられる。

「受付部」は、異なるフレームレートを有する複数の３Ｄ映像情報を受けつける。ここで、受付部における複数の３Ｄ映像情報の受け付けは、例えば放送波受信手段や、外部機器情報受信手段や、ネットワーク情報受信手段、内部記録情報取得手段により行われる。

放送波受信手段は、アンテナによって受信された地上又は衛星デジタル放送波を入力するためのチューナやデコーダなどからなる。放送波受信手段は、アンテナが受信した映像信号を取得し、取得した信号に対して選局処理及び復調処理を行い、映像情報を変換部に出力する。また、外部機器情報受信手段は、ＨＤＭＩ（登録商標、以下略）規格、ＵＳＢ規格、ＩＥＥＥ１３９４規格などの種々の規格に準じた接続端子やドライバなどからなる。外部機器情報受信手段は、接続端子に接続されたＨＤＭＩ規格などの外部機器や、光ディスク・磁気ディスク・ＵＳＢメモリ・ＳＤカードなどの外部記録装置などから映像情報を取得し、変換部に出力する。また、ネットワーク情報受信手段は、ＬＡＮやＷＡＮ、インターネットなどのネットワークに接続するためのネットワークカードやドライバなどからなる。ネットワーク情報受信手段は、ネットワークを介して接続されたコンテンツサーバ装置などから映像情報を受信し、映像情報を変換部に出力する。また、内部記録情報取得手段は、内部記録媒体としての光ディスクや磁気ディスク、フラッシュメモリ等から映像情報を取得し、変換部に出力する。なお、受付部は上記映像取得手段に限定されるものではなく、３Ｄ映像情報を取得して、変換部に出力することが可能なものであれば足りる。また、複数の３Ｄ映像情報は、複数種類の映像取得手段によって受けつける必要はなく、単一種類の映像取得手段によって行われてもよい。例えば、一又は複数のネットワーク情報受信手段を用いて、異なるコンテンツサーバ装置から複数の３Ｄ映像情報を受信してもよい。

「変換部」は、前記複数の３Ｄ映像のフレームレートが同一となるように変換する。ここで、複数の３Ｄ映像のフレームレートを同一とするために、複数の３Ｄ映像のうち全部の３Ｄ映像のフレームレートを変換してもよいし、一部の３Ｄ映像のフレームレートを変換してもよい。なお、変換後のフレームレートの値は特に限定されるものではない。例えば、複数の３Ｄ映像のフレームレートの公倍数に変換することが考えられる。具体的には、２４Ｈｚの３Ｄ映像と６０Ｈｚの３Ｄ映像を受信している場合、それぞれの３Ｄ映像を１２０Ｈｚに変換してもよいし、２４０Ｈｚ、３６０Ｈｚなどに変換してもよい。ただし、公倍数以外の値に変換することも可能である。具体的には、２４Ｈｚの３Ｄ映像と６０Ｈｚの３Ｄ映像を受信している場合、２４Ｈｚの３Ｄ映像を６０Ｈｚに変換してもよい。

また、フレームレートの変換の方法としては、様々な方法が可能である。例えば、フレームレートを公倍数に増やす場合、新たなフレーム画像（右目用フレーム画像又は左目用フレーム画像）の挿入箇所の前又は後にある同位相のフレーム画像（同じ目用のフレーム画像、以下同様）をコピーして追加してもよいし、フレーム画像の挿入箇所の前にある一以上の同位相のフレーム画像と後にある一以上の同位相のフレーム画像に基づいて補間処理を行って生成されるフレーム画像を追加してもよい。また、視覚の残像効果を利用して、ブランク画像を挿入してもよい。また、フレームレートを公倍数以外の値に変換する場合、足りないフレーム数の分だけ追加したり、余分なフレーム数の分だけ削除したりする。フレームの追加や削除の仕方は特に限定されるものではないが、３Ｄ映像の連続するフレーム画像間の内容変化が大きい時点に対して優先的にフレームを追加したり、内容変化が小さい時点のフレームを優先的に削除したりすることが考えられる。

変換部は、複数の３Ｄ映像に対する処理を並行して行うことが可能なように、対応する複数の映像処理手段を備えている。ここで、フレームレートを変換する映像処理手段としては、ＤＳＰ、ＧＰＵ、ＭＰＵなどの演算処理回路や、フレームレートコンバータなどの専用処理回路が挙げられる。変換部は、複数の３Ｄ映像のフレームレートが同一となるように変換し、変換した３Ｄ映像のデータを同期部に対して出力する。ここで、受け付けた各３Ｄ映像に対応する各映像処理回路から同期部に対して同一のタイミングで処理後のデータを出力することが好ましい。ただし、同一のタイミングで処理後のデータを出力したとしても、左右の位相がずれている（逆位相となっている）場合もあるため、以下で述べる処理時間算出部や同期部の処理が必要となる。つまり、ある映像処理回路からは右目用のフレーム画像から出力されるが、他の映像処理回路からは左目用のフレーム画像が出力されるような状況が発生し得る。

「処理時間算出部」は、各３Ｄ映像情報を処理するための処理時間を算出する。ここで、処理時間算出部は、例えば各３Ｄ映像の一のフレーム画像の情報が受付部に入力されてから、そのフレーム画像の処理後の画像情報が同期部に対して出力されるまでの処理時間を算出する。ここで、３Ｄ映像情報の処理内容としては、上記フレームレート変換処理の他に、フレームシーケンシャル方式への変換処理、ｉ／ｐ変換処理、デジタルノイズリダクション処理、デジャダ処理、スケーリング処理などが挙げられる。

フレームシーケンシャル方式への変換処理は、受付部にて受け付けた３Ｄ映像情報において右目用フレーム画像と左目用フレーム画像が混在している場合、右目用フレーム画像と左目用フレーム画像を分離して、時分割して交互に配列する処理を行うものである。例えば受付部にてサイドバイサイド方式の３Ｄ映像を受け付けた場合、右目用フレーム画像と左目用フレーム画像を分離し、分離した左右フレーム画像を水平方向に伸張し、交互に配列する処理を行う。また、受付部にてフレームパッキング方式（ラインバイライン方式）の３Ｄ映像を受け付けた場合、右目用フレーム画像と左目用フレーム画像を分離し、分離した左右フレーム画像を垂直方向に伸張し、交互に配列する処理を行う。

ｉ／ｐ変換処理は、インターレース方式（飛び越し走査方式）の映像をプログレッシブ方式（順次走査方式）の映像に変換する処理である。また、デジタルノイズリダクション処理は、映像信号に混在するノイズを、デジタル処理により低減する処理である。例えば、映像の右目用フレーム画像又は左目用フレーム画像ごとのフレーム差分からノイズを検出し、除去する処理などが挙げられる。また、映像信号から輝度信号と色信号を分離して、輝度信号及び色信号中のノイズを検出して除去する処理なども含まれる。また、デジャダ処理は、映像のブレ表示や不連続表示を抑制する処理である。また、スケーリング処理は、映像の画面サイズや解像度を変換する処理である。例えば、１６：９映像を４：３サイズに合わせるために映像の左右両端をカットしたり、４：３映像を１６：９サイズに合わせるために上下両端をカットしたりする処理が挙げられる。また、標準画質の映像を、補間処理によって高画質の映像に変換する処理も含まれる。

上記各処理を行うか否かの判断は、３Ｄ映像のフレームレートやフォーマットに応じて行う。例えば、６０Ｈｚと１２０Ｈｚの３Ｄ映像を受け付けた場合、６０Ｈｚの３Ｄ映像のみを１２０Ｈｚに変換することが考えられる。また、フレームパッキングされている３Ｄ映像は、フレームシーケンシャル方式へ変換する必要があるが、左目用画像と右目用画像が時分割された状態の３Ｄ映像情報を受け付けた場合は当該変換処理を行う必要はない。また、上述のように、インターレース方式のサイドバイサイド映像信号については、ノイズリダクション処理やデジャダ処理以外にもｉ／ｐ変換処理やスケーリング処理を施す必要がある。また、各３Ｄ映像について同じ種類の処理を行う場合であっても、異なる処理時間となり得る。例えば、２４Ｈｚと６０Ｈｚの３Ｄ映像を受け付けた場合、２４Ｈｚの３Ｄ映像を１２０Ｈｚの３Ｄ映像に変換する処理は、６０Ｈｚの３Ｄ映像を１２０Ｈｚの３Ｄ映像に変換する処理よりも多く時間を要する。また、フレームシーケンシャル方式へ変換する処理やスケーリングする処理も、受けつける３Ｄ映像の解像度やサイズに応じて処理時間が変化する。このように、各３Ｄ映像情報を受付部にて受け付けて同期部に対して出力するまでの処理は、３Ｄ映像の種類ごとに異なるものであり、処理時間もそれぞれ異なる。

処理時間算出部が各３Ｄ映像情報の処理時間を算出する方法としては、各映像処理回路について３Ｄ映像のフォーマットや方式ごとに、映像の受け付けから同期部に対して出力されるまでの処理時間を対応付けてテーブル情報として保持しておき、当該テーブル情報に基づいて各３Ｄ映像の処理時間を算出することが考えられる。また、処理時間を算出する他の方法として、実際に３Ｄ映像の一部（例えば、出だし部分）を処理してみて、その処理にかかる時間を計時する方法が挙げられる。ここで、各映像処理回路にて受け付ける３Ｄ映像が切り替わるごとに各３Ｄ映像について処理時間を計時することが好ましい。また、映像処理回路において、３Ｄ映像情報の処理の他に、他の処理が時分割で並行して行われる場合、各映像処理回路に対して他の処理タスクが追加又は削除された時点で改めて処理時間を計時することも好ましい。

「同期部」は、各３Ｄ映像の右目用フレーム画像と左目用フレーム画像のディスプレイでの表示タイミングを算出された処理時間を用いて同期する。同期された各３Ｄ映像は、表示出力部に対して出力される。ここで、表示タイミングを同期するとは、ディスプレイにて表示される各３Ｄ映像の左右位相を揃えることをいう。例えば、一の３Ｄ映像の右目用フレーム画像がビデオメモリの所定アドレス領域に出力されるとともに、他の３Ｄ映像の右目用フレーム画像がビデオメモリの所定アドレス領域に出力されるようにし、複数の３Ｄ映像の右目用フレーム画像からなる合成画像を生成可能にするものである。

図２は、処理時間を用いて表示タイミングを同期させる方法の一例を示す図である。まず、ステップＳ０２０１において、変換部から同期部に入力される各３Ｄ映像が右目用フレーム画像であるか左目用フレーム画像であるかを各３Ｄ映像の処理時間に基づいて判断する。次に、ステップＳ０２０２において、各３Ｄ映像のフレームの左右位相を揃えるために、フレームを遅延させるべき３Ｄ映像を選択する。次に、ステップＳ０２０３において、選択された３Ｄ映像のフレームを一フレーム分だけ遅延させる。上記の同期方法は、各３Ｄ映像のフレームが同期部に入力されるタイミングが同一である場合の方法であるが、各３Ｄ映像のフレームが同期部に入力されるタイミングがずれている場合もある。この場合は、映像処理回路からの各３Ｄ映像の入力を揃えるため、各３Ｄ映像が右目用フレーム画像又は左目用フレーム画像であるか判断する前に、最後の３Ｄ映像の入力を受け付けるまで、他の３Ｄ映像の入力データを同期部のバッファにて一時的に保持し、データの入力タイミングを揃えることが考えられる。

「表示出力部」は、同期した各３Ｄ映像のフレーム画像をマルチウインドウ表示する。ここで、マルチウインドウ表示の一例としては、一のディスプレイの表示領域を複数に分割し、同期した各３Ｄ映像のフレーム画像を各表示領域にて表示することが挙げられる。また、複数のディスプレイに対して同期した各３Ｄ映像のフレーム画像をそれぞれ表示することも含まれる。一のディスプレイにてマルチウインドウ表示する場合、表示出力部は同期部から入力される同期した各３Ｄ映像を合成して一つの画像として表示出力する。

「Ｌ／Ｒ信号出力部」は、表示出力部にて表示する同期した各３Ｄ映像のフレーム画像の左右位相に合わせて、Ｌ／Ｒ信号を出力する。つまり、表示出力部にて表示するフレーム画像が右目用フレーム画像に切り替わる際にＲ信号を出力し、左目用フレーム画像に切り替わる際にＬ信号を出力する。

「シャッター制御部」は、Ｌ／Ｒ信号出力部からのＬ／Ｒ信号を受信して、３Ｄメガネの左右のシャッターを制御する。具体的には、Ｌ／Ｒ信号出力部からＲ信号を受信すると、右目シャッターを開き、左目シャッターを閉じる。また、Ｌ／Ｒ信号出力部からＬ信号を受信すると、右目シャッターを閉じ、左目シャッターを開く。

<具体的な構成>
図３は、本実施形態の３Ｄ再生装置の具体的なハードウェア構成の一例を示す図である。この図にあるように、３Ｄ再生装置は、「ＣＰＵ」０３０１と、「ＲＡＭ」０３０２と、「ビデオメモリ」０３０３と、「不揮発性メモリ」０３０４と、複数の「映像処理回路」０３０５と、複数の「映像入力Ｉ／Ｆ」０３０６と、「同期処理回路」０３０７と、「表示ディスプレイ」０３０８と、「ディスプレイＩ／Ｆ」０３０９と、「スピーカー」０３１０と、「スピーカーＩ／Ｆ」０３１１、「命令送信Ｉ／Ｆ」０３１２などから構成される。各ハードウェアは、「システムバス」０３１３により相互に連結され、信号のやり取りを行うことが可能である。

３Ｄ装置は、各映像入力Ｉ／Ｆを介して３Ｄ映像の入力を受け付ける。各映像処理回路は、映像入力Ｉ／Ｆを介して入力される３Ｄ映像のフォーマット・フレームレートなどを検出し、処理演算装置に対して検出情報を通知する。処理演算装置は、各３Ｄ映像の検出情報から、ディスプレイにて表示出力する際の共通のフレームレートを決定し、決定されたフレームレートの値を映像処理回路に通知する。各映像処理回路は、処理演算装置から通知されたフレームレートの値に基づいて、３Ｄ映像のフレームレートを変換する処理を行う。また、各映像処理回路は、入力された３Ｄ映像のフォーマットなどに合わせて、フレームシーケンシャル方式への変換処理、ｉ／ｐ変換処理、デジタルノイズリダクション処理、スケーリング処理などを行う。なお、各映像処理回路は、ユーザの設定情報に応じて、各処理の要否判断を行ってもよい。

各映像処理回路にて処理が行われた３Ｄ映像は、同期処理回路に対して上記決定された共通のフレームレートで同時に出力される。ここで、処理演算装置は、各映像処理回路にて行われた処理内容に基づいて、各映像処理にどれくらいの時間がかかるか３Ｄ映像ごとに算出する。そして、当該映像処理時間に基づいて、各映像処理回路から同期処理回路に対して右目用フレーム画像又は左目用フレーム画像のいずれが出力されるかを３Ｄ映像ごとに判断する。そして、処理演算装置は、同期処理回路からビデオメモリに出力される３Ｄ映像の左右位相を揃えるために、フレームと一フレーム分だけ遅延させるべき３Ｄ映像を選択し、同期処理回路に対して選択された３Ｄ映像のフレームを一フレーム時間分だけ遅延させるための命令信号を伝送する。同期処理回路は、映像処理回路と同数の遅延処理回路を内部に備え、受信した命令信号に基づいて選択された３Ｄ映像のフレームを一フレーム時間分だけ遅延処理回路にて遅延させ、ビデオメモリの所定のアドレスにデータ出力する。なお、同期処理回路は、選択されなかった３Ｄ映像のフレームを遅延させることなく、フレーム画像をビデオメモリの所定のアドレスにデータ出力する。ビデオメモリは、各３Ｄ映像のフレーム画像のデータを一の合成画面データとして格納する。処理演算装置は、ディスプレイＩ／Ｆを介してビデオメモリに格納された合成画面データを表示ディスプレイに出力する。また、処理演算装置は、スピーカーＩ／Ｆを介して３Ｄ映像のいずれか一の音声データをスピーカーに出力する。また、処理演算装置は、表示する３Ｄ映像の左右位相に合わせて、３Ｄメガネの各目用のシャッターを開閉させるための命令信号を命令送信Ｉ／Ｆを介して送信する。命令信号を受信した３Ｄメガネのシャッター制御部は、右目用の映像がディスプレイに表示されているときに右目シャッターを開いて左目シャッターを閉じ、左目用の映像がディスプレイに表示されているときに右目シャッターを閉じて左目シャッターを開く。

図４は、本実施形態の３Ｄ再生装置を用いた場合の具体例を示す図である。この図において、チューナを介して受信した３Ｄ映像を映像処理ブロック１で映像処理した後、そのフレーム画像の左右位相は、外部入力やストリーミングサービス、マルチメディアファイルから取得した３Ｄ映像を映像処理ブロック２で映像処理した後のフレーム画像の左右位相と１フレーム分だけずれている。つまり、映像処理ブロック１からＬ１のフレーム画像がＬ／Ｒ同期処理ブロックに対して出力されると同時に、映像処理ブロック２〜４からＲ１のフレーム画像が出力される。このため、Ｌ／Ｒ同期処理ブロックにおいて、映像処理ブロック１から入力される３Ｄ映像のフレームを１フレーム分だけ遅延させる処理を行う。その結果、マルチウインドウディスプレイには、各３Ｄ映像の左右位相がそろった状態で表示される。つまり、チューナから取得された３Ｄ映像のＲ０のフレーム画像が表示されると同時に外部入力やストリーミングサービス、マルチメディアファイルから取得した３Ｄ映像のＲ１のフレーム画像が表示され、チューナから取得された３Ｄ映像のＬ１のフレーム画像が表示されると同時に外部入力やストリーミングサービス、マルチメディアファイルから取得した３Ｄ映像のＬ２のフレーム画像が表示される。また、マルチウインドウディスプレイにて右目用のフレーム画像が表示される際に３Ｄメガネに対して右目シャッターを開いて左目シャッターを閉じるＲ命令を送信し、左目用のフレーム画像が表示される際に３Ｄメガネに対して左目シャッターを開いて右目シャッターを閉じるＬ命令を送信する。

<処理の流れ>
図５は、本実施形態の３Ｄ再生装置の処理の流れの一例を示す図である。以下に述べる処理は３Ｄ再生装置にて実行されるプログラムによって実現され、そのプログラムは記憶媒体に記憶させることが可能である。まず、ステップＳ０５０１において、異なるフレームレートを有する複数の３Ｄ映像情報を受けつけたか否か判断する（受付ステップ）。ここでの判断が受け付けたとの判断である場合は、ステップＳ０５０２に進む。ここでの判断が受け付けていないとの判断である場合は、待機する。次に、ステップＳ０５０２において、前記複数の３Ｄ映像のフレームレートが同一となるように変換する（変換ステップ）。次に、ステップＳ０５０３において、各３Ｄ映像情報を処理するための時間を算出する（処理時間算出ステップ）。次に、ステップＳ０５０４において、各３Ｄ映像の右目用フレーム画像と左目用フレーム画像のディスプレイでの表示タイミングを算出された処理時間を用いて同期する（同期ステップ）。次に、ステップＳ０５０５において、同期した各３Ｄ映像のフレーム画像をマルチウインドウ表示する（表示出力ステップ）。

<効果>
以上のような構成をとる本発明は、異なる方式の複数の３Ｄ映像をマルチウインドウ方式で同時に出力することが可能になる。

<<実施形態２>>

<概要>
本実施形態の３Ｄ再生装置は、基本的に実施形態１の３Ｄ再生装置と同様であるが、各３Ｄ映像のフレームレートを、それらの公倍数であるフレームレートに変換してフレームレートを揃えることを特徴とする。

<構成>
図６は、本実施形態の３Ｄ再生装置の機能ブロックの一例を示す図である。この図にあるように、「３Ｄ再生装置」０６００は、「受付部」０６０１と、「変換部」０６０２と、「処理時間算出部」０６０３と、「同期部」０６０４と、「表示出力部」０６０５を有し、「変換部」は「公倍変換手段」０６０６を有する。以下、実施形態１との相違点である公倍変換手段について説明する。

「公倍変換手段」は、前記各３Ｄ映像のフレームレートを、それらの公倍数であるフレームレートに変換する。例えば、異なるフレームレートを有する３つの３Ｄ映像が入力される場合を考える。３Ｄ映像（Ａ）は２４Ｈｚのフレームレートを有し、３Ｄ映像（Ｂ）は６０Ｈｚのフレームレートを有し、３Ｄ映像（Ｃ）は１２０Ｈｚのフレームレートを有する場合、各３Ｄ映像のフレームレートの公倍数である１２０Ｈｚや２４０Ｈｚのフレームレートに変換する処理を行う。ただし、フレームレートを不必要に増やすと映像処理回路の負荷が高くなるため、最小公倍数かその数倍程度のフレームレートの値とすることが好ましい。

各３Ｄ映像のフレームレートを、それらの公倍数であるフレームレートに変換する方法としては、実施形態１で述べたように、新たなフレーム画像（右目用フレーム画像又は左目用フレーム画像）の挿入箇所の前又は後にある同位相のフレーム画像（同じ目用のフレーム画像、以下同様）をコピーして追加してもよいし、フレーム画像の挿入箇所の前にある一以上の同位相のフレーム画像と後にある一以上の同位相のフレーム画像に基づいて補間処理を行って生成されるフレーム画像を追加してもよい。また、視覚の残像効果を利用して、ブランク画像を挿入してもよい。このような、各３Ｄ映像のフレームレートをその公倍数に変換する処理は、単に等間隔でフレームを挿入すればよいため、シンプルな処理で済み、映像処理回路の負荷が少なくて済む。

<処理の流れ>
図７は、本実施形態の３Ｄ再生装置の処理の流れの一例を示す図である。以下に述べる処理は３Ｄ再生装置にて実行されるプログラムによって実現され、そのプログラムは記憶媒体に記憶させることが可能である。まず、ステップＳ０７０１において、異なるフレームレートを有する複数の３Ｄ映像情報を受けつけたか否か判断する（受付ステップ）。ここでの判断が受け付けたとの判断である場合は、ステップＳ０７０２に進む。ここでの判断が受け付けていないとの判断である場合は、待機する。次に、ステップＳ０７０２において、各３Ｄ映像のフレームレートを、それらの公倍数であるフレームレートに変換する（変換ステップ：公倍変換ステップ）。次に、ステップＳ０７０３において、各３Ｄ映像情報を処理するための時間を算出する（処理時間算出ステップ）。次に、ステップＳ０７０４において、各３Ｄ映像の右目用フレーム画像と左目用フレーム画像のディスプレイでの表示タイミングを算出された処理時間を用いて同期する（同期ステップ）。次に、ステップＳ０７０５において、同期した各３Ｄ映像のフレーム画像をマルチウインドウ表示する（表示出力ステップ）。

<効果>
本実施形態の３Ｄ再生装置は、異なる方式の複数の３Ｄ映像をマルチウインドウ方式で同時に出力することが可能であり、かつ、フレームレートの変換に伴って映像処理回路などにかかる負荷を抑えることが可能である。

<<実施形態３>>

<概要>
本実施形態の３Ｄ再生装置は、基本的に実施形態１と同様であるが、そろった状態で同時に出力される各３Ｄ映像のフレーム画像が右目用又は左目用のいずれかあるかを判断し、少数派となる右目用フレーム画像を左目用フレーム画像に入れ替え、又は少数派となる左目用画像を右目用フレーム画像に入れ替えることを特徴とする。

<構成>
図８は、本実施形態の３Ｄ再生装置の機能ブロックの一例を示す図である。この図にあるように、「３Ｄ再生装置」０８００は、「受付部」０８０１と、「変換部」０８０２と、「処理時間算出部」０８０３と、「同期部」０８０４と、「表示出力部」０８０５を有し、「同期部」は「位相判断手段」０８０６と、「入替手段」０８０７を有する。

「位相判断手段」は、各３Ｄ映像のフレームの入力をそろえ、そろった状態で各３Ｄ映像のフレーム画像が右目用又は左目用のいずれであるかを判断する。同期部に対する各３Ｄ映像のフレームの入力は、各３Ｄ映像に対する処理量に応じて変わり得る。そこで、位相判断手段は、入力される各３Ｄ映像のタイミングをそろえる処理を行う。入力タイミングをそろえるために、位相判断手段は、最後の３Ｄ映像の映像処理が終了するまで、他の３Ｄ映像の入力データをバッファにて保持しておく。最後の３Ｄ映像の映像処理が終了するタイミングは、その３Ｄ映像の処理時間に基づいて判断してもよいし、その３Ｄ映像の入力開始をもって判断してもよい。

さらに、位相判断手段は、各３Ｄ映像のフレームの入力がそろった状態で各３Ｄ映像のフレーム画像が右目用又は左目用のいずれであるかを判断する。ここで、各３Ｄ映像のフレーム画像の情報に、右目用又は左目用であることを示す識別子が存在する場合は、当該識別子の情報に基づいて判断してもよい。また、変換部において各３Ｄ映像のフレームレートを変換する際に各３Ｄ映像のフレームの並び順の情報を取得することによって、各３Ｄ映像のフレーム画像が右目用であるか左目用であるかを判断することもできる。

「入替手段」は、右目用フレーム画像が少数派である場合は右目用フレーム画像を左目用フレーム画像に入れ替え、左目用フレーム画像が少数派である場合は左目用画像を右目用フレーム画像に入れ替える。ここで、入替手段は、位相判断手段の判断結果を取得して、右目用フレーム画像と左目用フレーム画像のいずれが少数派であるかを判断することが可能である。右目用フレーム画像を左目用フレーム画像に（左目用フレーム画像を右目用フレーム画像に）入れ替える方法としては、実施形態１で述べたように、入れ替えを行う３Ｄ映像を１フレーム分だけ遅延させて、右目用フレーム画像が出力されるタイミングを遅らせることが考えられる。この場合、右目用フレーム画像の前に出力される左目用フレーム画像も同様に１フレーム分だけ遅延することになり、右目用フレーム画像に代わって出力される。

なお、右目用フレーム画像を左目用フレーム画像に（左目用フレーム画像を右目用フレーム画像に）入れ替える他の方法としては、入れ替えを行う右目用フレーム画像の次に出力されるはずであった左目用フレーム画像を右目用フレーム画像に代えて出力する方法が挙げられる。また、入れ替えを行う右目用フレーム画像の前に出力された左目用フレーム画像を右目用フレーム画像に代えて再度出力する方法も可能である。

<処理の流れ>
図９は、本実施形態の３Ｄ再生装置の処理の流れの一例を示す図である。以下に述べる処理は３Ｄ再生装置にて実行されるプログラムによって実現され、そのプログラムは記憶媒体に記憶させることが可能である。まず、ステップＳ０９０１において、異なるフレームレートを有する複数の３Ｄ映像情報を受けつけたか否か判断する（受付ステップ）。ここでの判断が受け付けたとの判断である場合は、ステップＳ０９０２に進む。ここでの判断が受け付けていないとの判断である場合は、待機する。次に、ステップＳ０９０２において、前記複数の３Ｄ映像のフレームレートが同一となるように変換する（変換ステップ）。次に、ステップＳ０９０３において、各３Ｄ映像情報を処理するための時間を算出する（処理時間算出ステップ）。次に、ステップＳ０９０４において、算出された処理時間を用いて各３Ｄ映像のフレームの入力をそろえ、そろった状態で各３Ｄ映像のフレーム画像が右目用又は左目用のいずれであるかを判断する（同期ステップ：判断サブステップ）。次に、ステップＳ０９０５において、右目用フレーム画像が少数派である場合は右目用フレーム画像を左目用フレーム画像に入れ替え、左目用フレーム画像が少数派である場合は左目用画像を右目用フレーム画像に入れ替える（同期ステップ：入替サブステップ）。次に、ステップＳ０９０６において、同期した各３Ｄ映像のフレーム画像をマルチウインドウ表示する（表示出力ステップ）。

<効果>
本実施形態の３Ｄ再生装置は、異なる方式の複数の３Ｄ映像をマルチウインドウ方式で同時に出力することが可能である。

<<実施形態４>>

<概要>
本実施形態の３Ｄ再生装置は、基本的に実施形態１と同様であるが、変換に際して、受けつけた３Ｄ映像情報が規格で定められた周波数からずれを有する信号である場合に略同一となるように変換する手段と、変換された複数の３Ｄ映像情報のなかの少なくとも二つの３Ｄ映像情報のフレーム出力タイミングが同期部で実行した同期から所定の範囲でずれた場合に同期を復帰する手段を有することを特徴とする。特に、本実施形態には、同期を回復する手段が出力の遅延する映像にフレームを付加することで同期の回復を行うように構成されているものが含まれる。

<構成>
図１０は、本実施形態の３Ｄ再生装置の機能ブロックの一例を示す図である。この図にあるように、「３Ｄ再生装置」１０００は、「受付部」１００１と、「変換部」１００２と、「処理時間算出部」１００３と、「同期部」１００４と、「表示出力部」１００５と、「同期復帰部」１００６を有し、「変換部」は「略変換手段」１００７を有する。以下、実施形態１との相違点である略変換手段及び同期復帰部について説明する。

「略変換手段」は、複数の３Ｄ映像のフレームレートの変換に際して、受付部が受けつけた３Ｄ映像情報が規格で定められた周波数からずれを有する信号である場合には、これら複数の３Ｄ映像のフレームレートが略同一となるように変換する。略変換手段を設ける理由は以下のとおりである。

実際の映像信号は規格で定められた周波数のとおりであるとは限らず、信号波形の時間的なずれであるジッタが生じることなどにより規格で定められた周波数からずれることがあり得る。例えば、規格では６０Ｈｚの信号であっても実際には６０．３Ｈｚとなっていることがある。このような場合には、異なるフレームレートを有する複数の３Ｄ映像情報のフレームレートを同一にするための変換に際して、実施形態１で述べたような変換後のフレームレートが各フレームレートの公倍数になるように変換するといった単純な方法を用いることはできない。そこで、略変換手段を設けることで、受けつけた３Ｄ映像情報が規格で定められた周波数からずれを有する信号である場合に略同一となるように変換することが可能となる。略変換手段がこのような変換を行うための具体的構成については後述する。

また、「同期復帰部」は、略変換手段にて変換された複数の３Ｄ映像情報のなかの少なくとも二つの３Ｄ映像情報のフレーム出力タイミングが同期部で実行した同期から所定の範囲でずれた場合に同期を復帰する。

ところで、規格で定められた周波数からのずれが生じる場合としては、大別すると（１）リアルタイムで送信される放送波における周波数のずれが生じる場合と、（２）放送波で送信された３Ｄ映像情報をＤＶＤなどの記録媒体に記録した結果、記録された３Ｄ映像情報に規格で定められた周波数からのずれが生じている場合が考えられる。前者の場合には、時々刻々変化する周波数のずれの程度を予め知ることは困難であり、リアルタイムに周波数のずれを検知してこれに応じた略変換、同期復帰処理を行うことになる。後者の場合には、時々刻々変化する周波数のずれを予め知ることが可能である。この場合にもリアルタイムで周波数のずれを検知してこれに応じた略変換、同期復帰処理を行ってもよいが、予めわかっている周波数のずれの程度に応じて略変換、同期復帰処理のための演算を予め行った上でその演算結果に従った処理を行うようにしてもよい。本実施形態の３Ｄ再生装置によれば、いずれの場合をも対象として略変換、同期復帰処理を行うことが可能である。

以下、本実施形態の３Ｄ再生装置を用いた略変換、同期復帰処理のための具体的構成について説明する。ここでは、二つの３Ｄ映像情報Ａ、Ｂの周波数が、規格ではＡが６０Ｈｚ、Ｂが２４Ｈｚであるが実際にはＡが６０．３Ｈｚ、Ｂが２４．１Ｈｚである場合の例で説明する。

この場合、既述のような両映像情報の周波数の公倍数を求める方法をそのまま適用することはできないため、まず、略変換手段がＡの周波数６０．３Ｈｚ、Ｂの周波数２４．１Ｈｚのそれぞれを丸めた数字である６０Ｈｚ、２４Ｈｚに直す。その上で略変換手段は演算によりこれらの最小公倍数である１２０Ｈｚを求める。さらに、略変換手段は、この演算結果と、二つの３Ｄ映像の実際の周波数６０．３Ｈｚ、２４．１Ｈｚとに基づいて、これら二つの３Ｄ映像のフレームレートを１２０．６Ｈｚ、１２０．５Ｈｚに変換する。これにより、略変換手段による二つの３Ｄ映像のフレームレートが略同一となるような変換が完了する。ただし、フレームレートを１２０．６Ｈｚ、１２０．５Ｈｚに変換した二つの３Ｄ映像情報をそのまま出力したのでは、周波数の低い３Ｄ映像情報Ｂの出力が遅延し、同期がずれてしまうことになる。そこで、同期回復部が、この違いを解消して両映像の出力の同期を回復するための処理を行う。具体的な同期回復の方法としては、出力の遅延している映像にフレームを付加し、あるいはこれに出力が先行する映像からフレームを削除する方法が考えられ、このような処理により両映像のフレームの出力タイミングを再び一致させることができる。

出力の遅延している映像にフレームを付加する具体的な方法にはさらに複数のものが考えられる。例えば一つの方法として、遅延している３Ｄ映像の出力フレームの一部を繰り返し重複出力することで同期を復帰する方法が考えられる。また、他の方法として、遅延している３Ｄ映像の出力フレームの一部に代えてコンピュータが無視できる信号（例えば、空ファイルからなる信号）を出力する方法が考えられる。前者の方法は、常に何らかの実映像を含むフレームが出力されるので、視聴者に対して違和感を与えずに済むというメリットがある半面、次のフレームの出力タイミングを一致させるためにフレームの途中で出力が打ち切られてしまうため、エラーが生じやすいというデメリットがある。後者の方法は、前者の方法とは逆のメリット、デメリットがある。そこで、実際にどちらの方法を用いるかは、これらのメリット、デメリットなどを考慮した上で適切に選択されるべきものである。

以下では、まず前者の方法、即ち遅延している３Ｄ映像の出力フレームの一部を繰り返し重複出力することで同期を復帰する方法について説明する。
この方法を実現するための構成として、図１０に示す例では、本実施形態の３Ｄ再生装置の同期回復部は「重複復帰手段」１００８を有する。「重複復帰手段」は、遅延している３Ｄ映像の出力フレームの一部を繰り返し重複出力することで同期を復帰するように構成されている。上述の例に即せば、二つの３Ｄ映像情報Ａ、Ｂのうち、そのまま出力した場合に遅延することになる３Ｄ映像情報Ｂの出力フレームの一部を繰り返し重複出力する。かかる繰り返し出力を可能にするためには、出力したフレームをバッファメモリ等に保存しておくようにすればよい。この場合、重複して出力されるフレームはその直前のフレームであってもよい（即ち同一のフレームが連続的に出力されるものであってもよい）し、それ以前に出力されたフレームであってもよい。ただし、視聴者に違和感を与えない観点からは前者の方が望ましい。

図１１は、本実施形態の３Ｄ再生装置を用いた同期回復方法の一例を示す図である。本図は、変換後のフレームレートが異なるＡ、Ｂ二つの３Ｄ映像情報が入力された場合において、出力の同期がずれた場合における同期回復の具体的方法の一例について示している。例えば３Ｄ映像情報Ａのフレームレートが１２０．６Ｈｚであり、３Ｄ映像情報Ｂのフレームレートが１２０．５Ｈｚであるとすると、周波数の低い３Ｄ映像情報Ｂの出力タイミングが次第に遅延していく。図１１（ａ）は、初期段階での入力及び出力状態を示す。この段階においては両映像のフレームの出力のタイミングはほぼ一致している。本図では明確には現れていないものの、両映像のフレームレートが異なる以上両映像のフレームの出力タイミングがぴったりと一致しているわけではないが、その差は微差であり、視聴者に違和感を与えるほどではない。従って、入力された映像情報をそのまま出力して差支えない。

しかし、入力される両映像のフレームのタイミングのずれは段階が進むにつれて徐々に広がっていくので、これをそのまま出力し続けていくと、やがて出力されるフレームのタイミングに視聴者に違和感を与える程度のずれが生じることになる。そこで、同期復帰部は、両映像のフレームのタイミングのずれを監視し、このずれが視聴者に違和感を与える程度に広がったことを検知した場合に、「同期部で実行した同期から所定の範囲でずれた」と判断して同期を復帰する処理を行う。この「所定の範囲」は、経験則などに基づいて一般的な視聴者に違和感を与える範囲を設定しておけばよく、具体的には、例えば「１フレームの出力に要する時間の５％を超える範囲」とすることが考えられる。図１１（ｂ）は、両映像のフレームのタイミングのずれが所定の範囲（ｔ）に達した状態を示す。

そこで、同期回復部は、かかる状態を検知し、「同期部で実行した同期から所定の範囲でずれた」と判断して同期を復帰する処理を行う。図１１（ｃ）は、（ｂ）に示したのと同様の入力状態において、重複復帰手段が遅延している３Ｄ映像の出力フレームの一部を繰り返し重複出力することで同期を復帰するための具体的な要領の一例を示している。本図の例では、３Ｄ映像Ｂの出力フレームとして、右端に示す「Ｒ_ｎ−２」１１０１の出力に続けて、（ｂ）と同様に「Ｌ_ｎ−２」１１０２のフレームの出力を開始するが、（ｂ）の場合と異なり、３Ｄ映像Ａの「Ｌ_ｎ−２」１１０３のフレームの出力終了のタイミングと同時に「Ｌ_ｎ−２」１１０２のフレームの出力を終了する。即ち、「Ｌ_ｎ−２」１１０２のフレームの出力は途中で止められることになる。これにより、次のフレームの出力を３Ｄ映像Ａ、Ｂ同時に開始することができる状態になる。そこで、次に３Ｄ映像Ａの「Ｒ_ｎ−１」１１０４のフレームの出力開始のタイミングと同時に３Ｄ映像Ｂの「Ｒ_ｎ−２」１１０５のフレームの出力を開始し、続けて「Ｌ_ｎ−２」１１０６のフレームの出力を行う。この場合、遅延している３Ｄ映像Ｂの「Ｒ_ｎ−１」、「Ｌ_ｎ−１」のフレームはこの時点ではまだ処理回路への入力が完了していないため出力することはできない（図１１（ｂ）に示される「Ｒ_ｎ−１」の出力開始タイミングにならないと出力を開始できないため、当該時刻までには（ｃ）にｔ０で示した時間待つ必要がある）ので、既に出力準備のできている「Ｒ_ｎ−２」、「Ｌ_ｎ−２」のフレームを再度出力する。以後も３Ｄ映像Ｂが３Ｄ映像Ａに対して初期段階と比較して１ペアずつ遅れた状態で出力されていき、次に所定の範囲でずれた状態となったときに再び同様の同期回復処理が行われ、以後も同様の処理を繰り返していけばよい。なお、３Ｄ映像Ａと３Ｄ映像Ｂはもともと異なる内容の映像を単に同じ画面にマルチ表示しているだけであるから、フレームの出力タイミングが初期段階とずれることには何らの問題もない。
次に、遅延している３Ｄ映像の出力フレームの一部に代えてコンピュータが無視できる信号（例えば、空ファイルからなる信号）を出力する方法についても、上と基本的に同様であって、例えば図１１（ｃ）で示した「Ｌ_ｎ−２」１１０２に代えてこのような信号を出力すればよい（それに続く「Ｒ_ｎ−２」の出力は同じである）。あるいは、「Ｌ_ｎ−２」１１０２、「Ｒ_ｎ−２」１１０５及び「Ｌ_ｎ−２」１１０６に代えてこの間ずっとコンピュータが無視できる信号を出力し続けてもよい。この場合には、「Ｌ_ｎ−２」１１０２だけに代えてコンピュータが無視できる信号を出力する場合よりも視聴者にとっての違和感は相対的に増すことになり、また「Ｒ_ｎ−２」のフレームは一度も出力されることがないため、再生されない映像が生じることになるが、半面、「Ｌ_ｎ−２」のフレームは一度しか出力されないため、視聴者に同じ映像を二回見せるという処理を避けることができる。

<具体的な構成>
次に、本実施形態の３Ｄ再生装置の具体的なハードウェア構成について説明するが、基本的には実施形態１で説明したところと同様であるので、ここでは本実施形態に特有の略変換手段と同期回復部（特に重複復帰手段）に係るハードウェア構成について説明する。各映像処理回路は、実施形態１で説明したのと同様の構成により処理演算装置から通知されたフレームレートの値に基づいて３Ｄ映像のフレームレートを変換する処理を行うが、その際、各フレームレートに規格で定められた周波数からのずれがある場合には、まず当該フレームレートを丸めた数字に直す。各フレームレートに規格で定められた周波数からのずれがあるかどうかの判断は、例えば予め放送局や放送信号の形式ごとに定められているフレームレートを記憶装置に記憶しておき、取得した３Ｄ映像情報のフレームレートと、記憶装置からメインメモリに読み出した当該３Ｄ映像情報に係る上記フレームレートを比較することで可能である。また、ずれがあると判断されたフレームレートを丸めた数字に直す場合には通例は規格で定められた周波数にすればよい。その上で、各映像処理回路は、実施形態１で述べたのと同様の構成に従って例えば公倍数を用いて変換処理を行う。さらに、各映像処理回路は、この演算結果と、それぞれの３Ｄ映像の実際の周波数とに基づいてフレームレートを変換する処理を行う。具体的には、実際の周波数が６０．３Ｈｚ、公倍数を用いた変換結果が１２０Ｈｚであれば実際の周波数に前記倍数である２を乗じた１２０．６Ｈｚに変換する。

次に、各映像処理回路にて処理が行われた３Ｄ映像は、同期処理回路に対して上記決定されたほぼ共通のフレームレートで同時に出力される。その際、各映像処理回路は、周波数の低い３Ｄ映像情報の出力が遅延することで同期がずれたかどうかを監視し、同期がずれたと判断した場合には、出力の遅延する映像にフレームを付加したり、逆に出力が先行する映像からフレームを削除したりすることで、両映像のフレームの出力タイミングが一致するようにすることで同期を回復させる処理を行う。同期がずれたかどうかの判断は、上述のように両映像のフレームの出力タイミングのずれが視聴者に違和感を与える程度として予め定められた範囲に達した場合に同期がずれたと判断するとのルールを定めておき、このルールに従って判断するようにすればよい。なお、３Ｄ映像情報をＤＶＤなどの記録媒体に記録した結果、記録された３Ｄ映像情報に規格で定められた周波数からのずれが生じている場合には、予め以上の処理のための演算を行った上でその演算結果に従って処理を行うようにしてもよい。

<処理の流れ>
図１２は、本実施形態の３Ｄ再生装置の処理の流れの一例を示す図である。ステップＳ１２０２からステップＳ１２０４において、３Ｄ再生装置は複数の３Ｄ映像のフレームレートが略同一となるようにフレームレートの変換を行う。その際まず、ステップＳ０１２０２において、３Ｄ再生装置は複数の３Ｄ映像のフレームレートをそれぞれ丸めた数字に直す。次に、ステップＳ１２０３において、３Ｄ再生装置は前記丸めた数字の公倍数を用いてフレームレートを変換する。次に、ステップＳ１２０４において、３Ｄ再生装置は実際の周波数と公倍数を用いた前記変換結果を用いてフレームレートをさらに変換する。

また、その後実施形態１で説明したのと同様の流れにより同期した各３Ｄ映像のフレーム画像がマルチウインドウ表示されるが、さらに同期がずれたか否かの判断ステップ（ステップＳ１２０８）において３Ｄ再生装置は当該判断を行い、同期がずれたとの判断結果が得られた場合には、ステップＳ１２０９において、同期を回復する処理を行う。具体的には、例えば遅延する映像にフレームを付加する処理を行う。

<効果>
本実施形態に係る発明によれば、周波数が規格からずれた場合にも適切に対応しつつ、異なる方式の複数の３Ｄ映像をマルチウインドウ方式で同時に出力することが可能になる。

<<実施形態５>>

<概要>
本実施形態の３Ｄ再生装置は、基本的に実施形態４と同様であるが、実施形態４とは異なり、同期を回復する手段が出力の先行している３Ｄ映像出力フレームの一部を削除することで同期の回復を行うように構成される。

<構成>
図１３は、本実施形態の３Ｄ再生装置の機能ブロックの一例を示す図である。この図にあるように、「３Ｄ再生装置」１３００は、「受付部」１３０１と、「変換部」１３０２と、「処理時間算出部」１３０３と、「同期部」１３０４と、「表示出力部」１３０５と、「同期復帰部」１３０６を有し、「変換部」は「略変換手段」１３０７を有し、「同期復帰部」は「削除復帰手段」１３０８を有する。以下、実施形態４との相違点である削除復帰手段について説明する。

「削除復帰手段」は、先行している３Ｄ映像出力フレームの一部を削除することで同期を復帰する。
先行している３Ｄ映像出力フレームの一部を削除することで同期を復帰するための具体的な構成の一例は以下のとおりである。まず、各映像処理回路にて処理が行われた３Ｄ映像が同期処理回路に対して上記決定されたほぼ共通のフレームレートで同時に出力される際には、各映像処理回路は周波数の低い３Ｄ映像情報の出力が遅延することで同期がずれたかどうかを監視する。この点は実施形態４で説明したのと同様であり、同期がずれたかどうかの判断方法等も実施形態４で説明したところと同様である。ただし、本実施形態では、同期がずれたと判断した場合に、出力の先行する映像からフレームを削除することなどによって両映像のフレームの出力タイミングが一致するようにすることで同期を回復させる処理が行われるようになっている点に特徴がある。

図１４は、本実施形態の３Ｄ再生装置を用いた同期回復方法の一例を示す図である。本図も図１１に示したのと同様に、変換後のフレームレートが異なるＡ、Ｂ二つの３Ｄ映像情報が入力された場合において、出力の同期がずれた場合における同期回復の具体的方法の一例について示している。また（ａ）が初期段階での入力及び出力状態を示している点は図１１と同様である。また、（ｂ）が両映像のフレームのタイミングのずれが所定の範囲（ｔ）に達した状態を示している点も図１１と同様である。
そこで、（ｃ）における同期回復の方法としては、先行している３Ｄ映像Ａの出力フレームの一部を削除することで同期を復帰することになる。この場合の削除のしかたについても、前実施形態で述べたところと同様に二つの方法が考えられる。即ち、一つの方法として、図１４（ｃ）に示すように、３Ｄ映像Ａの「Ｒ_ｎ−１」１４０１の出力を開始した後、遅延している３Ｄ映像Ａの「Ｌ_ｎ−２」１４０２の出力終了のタイミングに合わせて「Ｒ_ｎ−１」１４０１の出力を終了する。従って、「Ｒ_ｎ−１」１４０１の出力の一部が削除された形になる。これにより、次のフレームの出力を３Ｄ映像Ａ、Ｂ同時に開始することができる状態になる。そこで、次に３Ｄ映像Ｂの「Ｒ_ｎ−１」１４０３のフレームの出力開始のタイミングと同時に３Ｄ映像Ａの「Ｒ_ｎ−１」１４０４のフレームの出力を開始する。以後の処理要領は前実施形態において説明したところと同様である。

<具体的な構成>
本実施形態の３Ｄ再生装置の具体的なハードウェア構成については、実施形態４で説明したところと基本的に同様であるので説明を省略する。

<処理の流れ>
本実施形態の３Ｄ再生装置の処理の流れは図１２に示した実施形態４における処理の流れと同様である。ただし、同期がずれたか否かの判断ステップ（ステップＳ１２０８）において同期がずれたとの判断結果が得られた場合のステップＳ１２０９における具体的な処理は先行する映像からフレームを削除する処理である。

<効果>
本実施形態に係る発明によれば、周波数が規格からずれた場合にも適切に対応しつつ、異なる方式の複数の３Ｄ映像をマルチウインドウ方式で同時に出力することが可能になる。

<<実施形態６>>

<概要>
本実施形態の３Ｄ再生装置は、基本的に実施形態４、５と同様であるが、さらに受付部が受けつけた複数の３Ｄ映像情報の全部または一部に優先順位を割り当てる手段と、優先順位の高い３Ｄ映像情報については同期復帰のためのタイミング調整を最小となるように処理をする手段をさらに有する点に特徴があるものである。

<構成>
図１５は、本実施形態の３Ｄ再生装置の機能ブロックの一例を示す図である。この図にあるように、「３Ｄ再生装置」１５００は、「受付部」１５０１と、「変換部」１５０２と、「処理時間算出部」１５０３と、「同期部」１５０４と、「表示出力部」１５０５と、「同期復帰部」１５０６と、「優先順位割当部」１５０７を有し、「変換部」は「略変換手段」１５０８を有し、「同期復帰部」は「優先順位制御手段」１５０９を有する。以下、実施形態４との相違点である優先順位割当部及び優先順位制御手段について説明する。

「優先順位割当部」は、受付部が受けつけた複数の３Ｄ映像情報の全部または一部に優先順位を割り当てるように構成されている。優先順位割当部を設ける理由は以下のとおりである。
実際の映像信号が規格で定められた周波数からずれる場合に、実施形態４、５で述べた構成により一方の３Ｄ映像に特定のフレームを付加したり一方の３Ｄ映像から特定のフレームを削除したりすることになるが、かかる処理を行った場合、フレームが付加又は削除された映像は本来の映像とは異なるものとなってしまうことから、本来の映像をそのまま視聴するという観点からは望ましいものではない。そこで、複数の映像のうち、視聴者が最も本来の映像どおりに視聴したいと考える映像などを優先するといった形で複数の映像間に優先順位を付け、フレームが付加又は削除される映像としてはこの優先順位の高い３Ｄ映像をなるべく避けて選択するようにすることが望ましい。このため、優先順位割当部を設けてかかる割当を行うようにしたものである。優先順位の割り当ては、例えば予め利用者が選択した優先順位を登録しておき、これに従って判断するようにすればよい。

また、「優先順位制御手段」は、優先順位の高い３Ｄ映像情報については同期復帰のためのタイミング調整を最小となるように処理をする。
例えば、図１１、図１４などに示したような３Ｄ映像Ａ、Ｂについて同期を回復する処理を行う場合において、優先順位割当部が３Ｄ映像Ａ、Ｂの順に優先順位を割り当てたとするときには、優先順位制御手段は図１１で示したような制御、即ち３Ｄ映像Ａについてはフレームの付加又は削除を行わず、３Ｄ映像Ｂにフレームの付加又は削除を行うことで、優先順位の高い３Ｄ映像Ａのタイミング調整を最小（図１１の例では全く調整の必要がない）となるように処理を行う。逆に優先順位割当部が３Ｄ映像Ｂ、Ａの順に優先順位を割り当てたとするときには、優先順位制御手段は図１４で示したような処理を行う。

<具体的な構成>
本実施形態の３Ｄ再生装置の具体的なハードウェア構成については、実施形態４、５で説明したところと基本的に同様であるので説明を省略する。

<処理の流れ>
図１６は、本実施形態の３Ｄ再生装置の処理の流れの一例を示す図であって、このうち、優先順位割当及び優先順位制御にかかる処理の流れの一例を示す。
まず優先順位割当ステップＳ１６０１において、３Ｄ再生装置は、複数の３Ｄ映像について優先順位を割り当てる。例えば、上の例のように二つの３Ｄ映像についての割当であればＡ、Ｂの順とするといったように割り当てる。三つ以上であればＡ、Ｂ、Ｃの順とするといったように割り当ててもよいし、ＡをＢ、Ｃより優先するといったように割り当ててもよい。
次に、優先順位制御ステップＳ１６０２において、３Ｄ再生装置は、優先順位の高い３Ｄ映像情報については同期復帰のためのタイミング調整を最小となるように処理をする。具体的には、例えば二つの３Ｄ映像Ａ、ＢについてＡ、Ｂの順に優先順位が割り当てられている場合には、３Ｄ映像Ｂについてフレームの付加・削除を行って同期を回復する処理を行う。

<効果>
本実施形態に係る発明によれば、周波数が規格からずれた場合に適切な対応を行うために３Ｄ映像のフレームの付加・削除を行う際に、複数の映像のうちで視聴者が最も本来の映像どおりに視聴したいと考える３Ｄ映像を対象とすることをなるべく避けることで、このような優先順位の高い映像を元の映像に近い形のまま再生することが可能となる。

０１００・０６００・０８００…３Ｄ映像再生装置、０１０１・０６０１・０８０１…受付部、０１０２・０６０２・０８０２…変換部、０１０３・０６０３・０８０３…処理時間算出部、０１０４・０６０４・０８０４…同期部、０１０５・０６０５・０８０５…表示出力部、０６０６…公倍変換手段、０８０６…判断手段、０８０７…入替手段、０３０１…ＣＰＵ、０３０２…ＲＡＭ、０３０３…ビデオメモリ、０３０４…不揮発性メモリ、０３０５…映像処理回路、０３０６…映像入力Ｉ／Ｆ、０３０７…同期処理回路、０３０８…表示ディスプレイ、０３０９…ディスプレイＩ／Ｆ、０３１０…スピーカー、０３１１…スピーカーＩ／Ｆ、０３１２…命令送信Ｉ／Ｆ、０３１３…システムバス

Claims (9)

1. 異なるフレームレートを有する複数の３Ｄ映像を受けつける受付部と、
   前記複数の３Ｄ映像のフレームレートが同一となるように変換する変換部と、
   前記受付部が受けつける複数の３Ｄ映像の全部または一部に優先順位を登録する優先順位登録部と、
   各３Ｄ映像の右目用フレーム画像と左目用フレーム画像のディスプレイでの表示タイミングを、登録された優先順位の最も高い３Ｄ映像以外についてフレームの付加または削除を行って同期する同期部と、
   同期した各３Ｄ映像のフレーム画像をマルチウインドウ表示する表示出力部と、
   を有する３Ｄ再生装置。
2. 異なるフレームレートを有する複数の３Ｄ映像を受けつける受付部と、
   前記複数の３Ｄ映像のフレームレートが同一となるように変換する変換部と、
   各３Ｄ映像の右目用フレーム画像と左目用フレーム画像のディスプレイでの表示タイミングを同期する同期部と、
   同期した各３Ｄ映像のフレーム画像をマルチウインドウ表示する表示出力部と、
   を有し、
   前記同期部は、
   各３Ｄ映像のフレーム画像の入力をそろえ、そろった状態で各３Ｄ映像のフレーム画像が右目用又は左目用のいずれであるかを判断し、
   右目用フレーム画像が少数派である場合は右目用フレーム画像を左目用フレーム画像に入れ替え、左目用フレーム画像が少数派である場合は左目用フレーム画像を右目用フレーム画像に入れ替える、
   ３Ｄ再生装置。
3. 前記変換部は、前記各３Ｄ映像のフレームレートを、それらの公倍数であるフレームレートに変換する
   請求項１または請求項２に記載の３Ｄ再生装置。
4. 請求項１から請求項３のいずれか一に記載の３Ｄ再生装置であるテレビ受像機。
5. ３Ｄ再生装置が、異なるフレームレートを有する複数の３Ｄ映像を受けつける第１ステップと、
   前記３Ｄ再生装置が、前記複数の３Ｄ映像のフレームレートが同一となるように変換する第２ステップと、
   前記第１ステップにおいて受けつける複数の３Ｄ映像の全部または一部に優先順位を登録する第３ステップと、
   前記３Ｄ再生装置が、各３Ｄ映像の右目用フレーム画像と左目用フレーム画像のディスプレイでの表示タイミングを、登録された優先順位の最も高い３Ｄ映像以外についてフレームの付加または削除を行って同期する第４ステップと、
   前記３Ｄ再生装置が、同期した各３Ｄ映像のフレーム画像をマルチウインドウ表示する第５ステップと、
   を含む３Ｄ再生方法。
6. ３Ｄ再生装置が、異なるフレームレートを有する複数の３Ｄ映像を受けつける第１ステップと、
   前記３Ｄ再生装置が、前記複数の３Ｄ映像のフレームレートが同一となるように変換する第２ステップと、
   前記３Ｄ再生装置が、各３Ｄ映像の右目用フレーム画像と左目用フレーム画像のディスプレイでの表示タイミングを同期する第３ステップと、
   前記３Ｄ再生装置が、同期した各３Ｄ映像のフレーム画像をマルチウインドウ表示する第４ステップと、
   を含み、
   前記第４ステップにおいて、
   各３Ｄ映像のフレーム画像の入力をそろえ、そろった状態で各３Ｄ映像のフレーム画像が右目用又は左目用のいずれであるかを判断し、
   右目用フレーム画像が少数派である場合は右目用フレーム画像を左目用フレーム画像に入れ替え、左目用フレーム画像が少数派である場合は左目用フレーム画像を右目用フレーム画像に入れ替える、
   ３Ｄ再生方法。
7. コンピュータに、
   異なるフレームレートを有する複数の３Ｄ映像を受けつける第１ステップと、
   前記複数の３Ｄ映像のフレームレートが同一となるように変換する第２ステップと、
   前記第１ステップにおいて受けつける複数の３Ｄ映像の全部または一部に優先順位を登録する第３ステップと、
   各３Ｄ映像の右目用フレーム画像と左目用フレーム画像のディスプレイでの表示タイミングを、登録された優先順位の最も高い３Ｄ映像以外についてフレームの付加または削除を行って同期する第４ステップと、
   同期した各３Ｄ映像のフレーム画像をマルチウインドウ表示する第５ステップと、
   を実行させるためのプログラム。
8. コンピュータに、
   異なるフレームレートを有する複数の３Ｄ映像を受けつける第１ステップと、
   前記複数の３Ｄ映像のフレームレートが同一となるように変換する第２ステップと、
   各３Ｄ映像の右目用フレーム画像と左目用フレーム画像のディスプレイでの表示タイミングを同期する第３ステップと、
   同期した各３Ｄ映像のフレーム画像をマルチウインドウ表示する第４ステップと、
   を実行させるためのプログラムであって、
   前記第４ステップにおいて、
   各３Ｄ映像のフレーム画像の入力をそろえ、そろった状態で各３Ｄ映像のフレーム画像が右目用又は左目用のいずれであるかを判断し、
   右目用フレーム画像が少数派である場合は右目用フレーム画像を左目用フレーム画像に入れ替え、左目用フレーム画像が少数派である場合は左目用フレーム画像を右目用フレーム画像に入れ替える、
   プログラム。
9. 請求項７又は請求項８に記載のプログラムを記憶した記憶媒体。

Images