WO2012132424A1

WO2012132424A1 - 立体視映像の奥行きを変更することができる映像処理装置、システム、映像処理方法、映像処理プログラム

Info

Publication number: WO2012132424A1
Application number: PCT/JP2012/002143
Authority: WO
Inventors: 山下　健; 山地　治; 大戸　英隆
Original assignee: パナソニック株式会社
Priority date: 2011-03-31
Filing date: 2012-03-28
Publication date: 2012-10-04
Also published as: CN102823264A; US20130070052A1; JPWO2012132424A1

Abstract

　映像処理装置は、ホームシアターシステムを構成する複数の機器のうちの1つであり、他の機器と接続された際、奥行き調整判定モジュール１７は、立体視映像の再生にあたって2以上の視点映像データの奥行き調整が必要かどうかを判定する。奥行き調整が必要な場合、性能比較モジュール２４は、どちらかが奥行き調整を行うかの決定のための通信シーケンスを実行する。通信シーケンスにより奥行き調整を自装置側で行うと判定した場合、自装置で奥行き調整を行い、調整結果である2以上の視点映像データを相手側に送信し、調整を相手側で行うと判定した場合、奥行き調整を行わないまま2以上の視点映像データを相手側に送信する。

Description

立体視映像の奥行きを変更することができる映像処理装置、システム、映像処理方法、映像処理プログラム

　本発明は、立体視映像の奥行き調整技術の技術分野に属する。

　立体視映像の奥行き調整技術とは、ある大きさの画面での表示を想定して作成された立体視映像を違う大きさの画面に表示して再生しようとする場合、立体視映像を構成する2以上の多視点映像データにおける視差を調整することにより、その別の画面への適合を図るという技術である。奥行き調整には、特許文献１、２に記載された先行技術がある。特許文献１で開示されている奥行き調整とは、左目と右目の映像全体を逆方向に水平方向にシフトすることにより、オブジェクトの奥行きを手前に移動したり、奥に引っ込めたりするというものである。特許文献２で開示されている奥行き調整とは、バーチャル視点を生成することにより、立体映像に存在するオブジェクトごとに変更する視差の量が違うため、実際に奥行き感が増す/低減するように見える。この特許文献２の方法のように視差マップを基に奥行きを変更する場合、仮想的に生成されたバーチャル視点の映像は視差マップの精度に依存する。

特開2005-73049号公報特開2003-209858号公報

Kurt Konolige「Small Vision Systems: Hardware and Implementation」Artificial Intelligence Center, SRI International Heiko Hirschm¨uller「Accurate and Ef＿cient Stereo Processing by Semi-Global Matching and Mutual　Information」Institute of Robotics and Mechatronics Oberpfaffenhofen German Aerospace Center (DLR)、June, 2005 Vladimir Kolmogorov「GRAPH BASED ALGORITHMS FOR SCENERECONSTRUCTION FROM TWO OR MORE VIEWS」the Graduate Schoolof Cornell University、January 2004

　上記技術分野の近年の傾向としては、ストリーム供給源である機器、表示主体である機器が互いに接続し合うことにより立体視映像の機器間転送を実現するという傾向がある。これは、立体視映像を複数の機器にまたがって再生する視聴スタイルを実現するものである。例えば、BDレコーダ内に録画したコンテンツを家庭の大型ディスプレイを備える機器、カーナビ、ポータブルプレーヤに移動させて表示したり、あるいは移動させずとも有線や無線の通信を行って別の機器にデータを転送したものを表示させる。

　機器間転送にあたって、ストリーム供給源となる機器、表示主体となる機器が接続し合う場合、表示を行う装置で立体視映像による奥行きを調整する必要が生じる場合がある。この場合、表示を行う機器側で奥行き調整を行うというのが基本的な考えとなる。

　しかし表示装置には、適切な画面サイズを有していて奥行き調整が不要なものと、奥行き調整が必要なものとが存在する。また、奥行き調整能力が高いもの、低いものという格差も存在する。ストリーム供給源も同様であり、奥行き調整能力が高いもの、低いものという格差が存在する。この奥行き調整技術は、特許文献２で開示されているものが一般的である。この特許文献２の奥行き調整技術では、仮想的に生成されたバーチャル視点の映像は視差マップの精度に依存するため、かかる視差マップをどれだけ高精度に作成するかどうかで、立体視映像の品位が大きく左右される。つまり特許文献２の奥行き調整技術を適用した場合、視差マップをどれだけ高精度に作成することができるかによって立体視の品位が大きく変わってくるから、機器における奥行き調整性能の違いが立体視表示性能の格差として大きく誇張される結果になる。

　奥行き調整が必要かどうかは機器の画面サイズによって異なり、また、奥行き調整性能は機器毎に異なるため、表示側で奥行き調整を行うとの固定的な前提で奥行きを未調整のまま画像を送信すると、表示装置側で奥行きを適切に調整することができず、不適切な立体視表示を実現してしまうことがある。

　しかし、一律にストリーム送信側となる装置側で奥行き調整を行うとなると、データ送受信の相手側が高い奥行き調整能力を有する表示装置である場合、表示装置側で適切な奥行き調整が行えるにも拘らず、不充分な奥行き調整で立体視再生を実現してしまう場合がある。また、接続される装置が全て低い能力であると仮定して再生装置側に高い奥行き調整能力の実装を要求するとなると、再生装置のコスト高騰をまねく。

　以上、ストリーム供給源となる機器、表示主体となる機器が接続し合うとの仮定下で技術的課題を提示したが、この仮定は、上記技術的課題を説明するにあたって、身近な題材を選んだに過ぎず、本願で対象としている技術的課題は、ストリーム供給源となる機器、表示主体となる機器が接続し合うというケースに限定されない。

　立体視映像を構成する2以上の視点映像データに対して何等かの処理を行う映像処理装置が互いに接続して機器間転送を実行する際に発生する不整合解消全般が、本願で解決しようとする技術的課題であり、近い将来において、上記技術を工業製品の分野で実用化しようとする際、当業者が必ず直面する技術的障壁である。

　本発明の目的は、全ての機器が、高い奥行き調整能力を具備していなくても、2以上の視点映像データの機器間転送において高品位の立体視映像の表示を実現することができる映像処理装置を提供することである。

　かかる課題を解決することができる装置は、
　2以上の視点映像データの送受信を行うのと共に、2以上の視点映像データから構成される立体視映像の奥行きを調整する映像処理装置であって、
　2以上の視点映像データの送受信を行う際、データ送受信の相手側となる装置との接続を行う機器間インターフェイスと、
　データ送受信の相手側となる装置と、自装置との間で所定の通信シーケンスを実行することにより、どちらの装置が立体視映像における奥行きを調整するかを決定する決定手段と、
　通信シーケンスにより奥行き調整を自装置側で行うと決定した場合、データ送受信の相手側から送出された2以上の視点映像データ、又は、データ送受信の相手側に送出すべき2以上の視点映像データに対して奥行き調整を施す処理手段とを備え、
　前記奥行き調整は、
　1の視点映像データを構成する画素群とマッチングするマッチング画素群を他の視点映像データから探索して、1の視点映像データを構成する画素群と、他の視点映像データを構成する画素群との間の視差を検出する処理を含み、
　前記通信シーケンスは、
　自装置と、データ送受信の相手側との間で、マッチング画素群の探索性能を示す性能情報の送受信を行う送受信フェーズと、自装置におけるマッチング画素群の探索性能と、データ送受信の相手側におけるマッチング画素群の探索性能との比較を行う比較フェーズとを含む
　ことを特徴とする。

　映像処理装置が他の装置と接続する際、通信シーケンスを実行して奥行き調整を行うべき装置を決定するので、マッチング画素の探索性能が低い機器が奥行き調整を行い、その相手側の機器に奥行き調整結果の表示を行うという悪いケースがなくなり、能力が高い装置が奥行き調整主体になる。

　2つの機器の接続時において、どちらの機器に奥行き調整を行わせるかを決定して2以上の視点映像データの転送を実行するから、ユーザが既に奥行き調整が高い表示装置を購入している場合、高い奥行き調整能力の再生装置を購入にする必要はない。データ送受信の相手側となる装置に応じて、奥行き調整主体が自動的に決定されるから、再生装置を奥行き調整が高いものとし、表示装置を奥行き調整が低いものとするとの装置選択が可能になるし、また、表示装置を高能力のものとして選択したから、低能力の再生装置を選択して購入するという賢い商品選びが可能になる。これにより立体視再生環境の一層の普及を図ることができる。

　奥行き調整を行うと決定した場合、ストリームをそのままデータ送受信の相手側に転送するので、調整能力が低い機器が主体になることはない。

　任意的であるが、前記奥行き調整は、検出された視差に基づいてデプス画像を生成して、2以上の視点映像データが表示されるべき画面に応じてデプス画像の補正を行い、補正が施されたデプス画像をベースにしたデプスイメージベースドレンダリングを、1の視点映像に対して施すことにより、修正された視差を有する2以上の視点映像を得る処理を含んでもよい。デプスイメージベースドレンダリングを行うソフトウェア処理、ハードウェア処理の延長線上で、奥行き調整処理を実装することができ、映像処理装置の製品化を促進することができる。また、たとえ2以上の視点映像データが表示５０インチの画面での表示に適合するよう左目画像、右目画像間の視差量が設定されている場合でも、より大きな画面又はより小さな画面での表示に適合するよう左目画像，右目画像を改めて作りなおすことができる。

2以上の映像処理装置によって構成されるホームシアターシステムについての一形態を示す図である。図１に示した機器のうち、ストリーム送信側(再生装置１００)となるものの内部構成を示す。図１に示した機器のうち、表示主体(テレビ２００、テレビ３００)となるものの内部構成を示す。飛出し、引っ込みによる奥行きを示す。図１に示したテレビ２００～携帯端末４００のそれぞれの奥行き量を示す。概念上の2つの画面を対比して示す。視差マップを模式的に示す図である。デプス生成器１０の処理内容に、具体的な画像を当てはめて示した図である。 DIBR部１２の処理内容に、具体的な画像を当てはめて示した図である。奥行き調整が図９のようになされた場合において、立体視映像の飛出し量がどのようになるかを示す。マッチングポイント探索アルゴリズムによりデプス画像によって表される奥行きがどのように変化するかを示す。ブロックマッチング、セミグローバルマッチング、グラフカットによるマッチングポイント探索を示す。通信シーケンスを示す図である。図１に示した再生装置１００、テレビ２００、テレビ３００、携帯端末４００における性能情報の設定例である。応答情報の一例を示す。応答情報の一例を示す。機器の接続バリエーションと、その接続時の表示映像とを示す。機器の接続バリエーションと、その接続時の表示映像とを示す。奥行き機器決定の処理手順におけるメインフローチャートである。コンテンツ奥行き調整の要否判定、及び、デバイスネゴシエーションの処理手順を示すフローチャートである。機器性能の交換手順を示すフローチャートである。奥行き調整を行う機器の選択手順を示すフローチャートである。奥行き調整処理の処理手順を示すフローチャートである。視差マップ作成の処理手順を示すフローチャートである。ビデオストリーム以外の他のデータを考慮した映像処理装置の内部構成を示す。

　上記課題解決手段を具備した映像処理装置の発明は、プレーヤ機器、テレビ機器、携帯端末機器として実施することができ、集積回路の発明は、当該これらの機器に組込まれるシステムLSIとして実施することができる。映像処理方法の発明は、これらの機器で実現される時系列手順として実施することができる。プログラムの発明は、コンピュータ読み取り可能な記録媒体に記録され、これらの機器にインストールされる実行形式プログラムとして実施することができる。図１は、再生装置、表示装置、眼鏡によって構成されるホームシアターシステムを示す。同図（ａ）に示すように、再生装置、表示装置、携帯端末は、眼鏡、リモコンと共にホームシアターシステムを構成し、ユーザによる使用に供される。

　再生装置１００は、大型ディスプレイ２００、中型テレビ３００、あるいは携帯端末４００と接続した際、光ディスク１０１に記録されたコンテンツの再生を行い、その再生映像を大型ディスプレイ２００、中型テレビ３００、あるいは携帯端末４００の表示画面に表示させる。再生装置１００から出力される映像出力が立体視映像（３D映像ともいう）に対応する映像出力である場合には、再生装置１００に接続する大型ディスプレイ２００、中型テレビ３００、あるいは携帯端末４００の表示画面には立体視映像が出力される。

　光ディスク１０１は、BD-ROM、DVD-Videoであり、再生装置に装填する記録媒体の一例である。

　リモコン１０２は、ユーザ操作を受け付けて、かかるユーザ操作に応じた動作を再生装置１００、大型ディスプレイ２００、中型ディスプレイ３００に行わせる。

　大型ディスプレィ２００は、70インチ等の大画面の大型テレビであり、立体映像奥行き調整機能を有する。

　中型ディスプレイ３００は、50インチ等の通常画面のテレビであり、立体映像奥行き調整機能を有する機器である。

　携帯端末４００は、5インチ等の小型ディスプレイ機器であり、立体視撮影部と、撮影で得られた2以上の視点映像データを立体視写真ファイルに格納して記録媒体に書き込む書込部と、2以上の視点映像データの送受信を行う通信部とを含む。この携帯端末４００にも、立体視映像を再生する機能および、立体映像奥行き調整機能が存在する。

　図１に示した機器（具体的には再生装置１００、大型ディスプレイ２００、中型テレビ３００、あるいは携帯端末４００の表示画面）は全て立体映像奥行き調整機能を兼ね備えてはいるが、接続している機器に応じて、いずれか一方の機器が立体映像奥行き調整処理を実施するように構成している。

　この図１の例では、大型ディスプレイ２００は、一般にハードウェアの性能が高く、再生装置１００から受け取った立体視映像について、大型ディスプレイ２００の画面表示に対応する奥行きに調整した後に立体視表示を行うといった実装も考えられるので、大型ディスプレイ２００に奥行き調整処理を行わせるようにしている。

　一方、携帯端末４００は、大型ディスプレイ２００に比較して、ハードウェアの性能が高くない場合が多いので、携帯端末４００に奥行き調整処理を行わせた場合には携帯端末４００にかかる負荷が高くなる場合があり、立体視映像表示に支障をきたすおそれがあるため、再生装置１００側において携帯端末４００の画面表示に対応する奥行きに調整した上で、携帯端末４００に立体視映像表示を出力するような構成としている。

　これらの図１の機器のうち、再生装置１００は、ストリーム送信側になるものである。テレビ２００、テレビ３００は表示主体になりうるものである。携帯端末４００は、ストリーム送信側及び表示主体の双方になりえる。図２は、図１に示した機器のうち、ストリーム送信側(再生装置１００)となるものの内部構成を示す。図２に示すように、ストリーム送信側となる機器は、ネットワークインターフェイス１、ディスクドライブ２a、ローカルストレージ２b、放送受信部３、デマルチプレクサ４、左目画像デコーダ５、右目画像デコーダ６、左目プレーンメモリ７、右目プレーンメモリ８、調整部９、デプス生成器１０、調整度算出部１１、デプス画像メモリ１２、DIBR部１３、スイッチ１４a,b、コンテンツプロパティ保存モジュール１５、表示対象デバイスプロパティ保存モジュール１６、奥行き調整判定モジュール１７、UO検知モジュール１８、機器インターフェイス１９、パーサ２０、通信制御部２１、性能情報格納モジュール２２、通信情報作成モジュール２３、性能比較モジュール２４、応答情報作成モジュール２５から構成される。

　図３は、図１に示した機器のうち、表示主体(テレビ２００、テレビ３００)となるものの内部構成を示す。本図は、図２をベースとして作図されており、このベースとる図２と比較すると、ネットワークインターフェイス１、光ディスクドライブ２a、ローカルストレージ2ｂが存在せず、表示部２６が追加されている点が異なる。図２、図３の内部構成において矢印は、図の画像データがどのような構成要素を経由するかという途中経路を示す。

　次に、ストリーム送信側となる機器において、特有となる構成要素について説明する。この共通の構成要素を機能的に分類すると、"ストリーム供給源"、"再生部"、"奥行き調整"、"ユーザ入力"、"機器間接続"、"画面適合"という複数の構成グループに分類されることになる。

　１.ストリーム供給源
　「ストリーム供給源」というグループに分類される構成要素とは、ネットワークインターフェイス１、光ディスクドライブ２a、ローカルストレージ２b、放送受信部３、デマルチプレクサ４である。立体映像は動画の場合は右目用ストリーム、左目用ストリームを別々に用意するようにしてもよいし、一つのストリームファイルに右目用ストリーム、左目用ストリームを埋め込んでおいても良い。本実施の形態においては、予め一つのストリームファイルに右目用ストリームと左目用ストリームが埋め込まれている構成を例にして説明を行う。この場合において、一つのストリームのヘッダ情報には左目用のストリームおよび右目用のストリームを振り分けるための情報を含ませておく。以下、ストリーム供給源に属する構成要素について説明する。

　ネットワークインターフェイス１は、機器間のネゴシエーション、または再生対象コンテンツの転送に使われる通信インターフェイスである。本ネットワークインターフェイス１の物理的なデバイスとして、例えば、世界中のオフィスや家庭で一般的に使用されている有線/無線LAN (Local Area Network)、あるいは無線規格のBLUETOOTH(TM)等、TCP・UDPを用いたパケット単位の送受信が可能なデバイス等がある。

　ディスクドライブ２aは、BD-ROM１００のローディング/イジェクトを行い、BD-ROMに対するアクセスを実行する。BD-ROM１００もリムーバブルメディア同様、再生対象のコンテンツやりとりに使われる一種の手段である。別の立体映像のやりとりの手段が搭載されているならば、ディスクドライブ２aは必ずしも本装置に搭載する必要はない。

　ローカルストレージ２bは外部スロット（図示せず）から挿入される記憶媒体であり、記録媒体の好適な一例としては、セキュアなメモリカード、フラッシュメモリといった半導体メモリ、磁気記録媒体等がある。図２に示す映像処理装置には、リムーバブルメディアを挿入する外部スロット（図示せず）があり、この外部スロットにリムーバブルメディアを挿入するとリムーバブルメディアへアクセスするためのインターフェイス（図示せず）を介してアクセス（読取り、書き込み）が行われる。

　放送受信部３は、放送におけるトランスポートストリームを得てデマルチプレクサ４に出力する。

　デマルチプレクサ４は、ネットワークインターフェイス１、光ディスクドライブ２a、ローカルストレージ２b、放送受信部３を介して得たストリームのヘッダ情報から左目用ビデオフレームと右目用ビデオフレームの振り分けを行う。左目用ビデオフレーム及び右目用ビデオフレームに対する多重分離を交互に行い、左目用の映像と右目用の両方の映像が完了した時点で両方を出力する。出力形式によっては交互に出力する。さらに、ハードウェアの構成上、２つの出力があった場合は左目用と右目用の映像を別々に出力する。

　以上でストリーム供給源に属する構成要素についての説明を終える。

　２.再生部
　「再生部」というグループに分類される構成要素とは、左目画像デコーダ５、右目画像デコーダ６、左目プレーンメモリ７、右目プレーンメモリ８である。以下、これらの構成要素について説明する。

　＜左目画像デコーダ５、右目画像デコーダ６＞
　左目画像デコーダ５は、左目画像データをデコードする。

　右目画像デコーダ６は、右目画像データをデコードする。

　左目画像デコーダ５は、デマルチプレクサ４からのストリーム供給を受ける他、機器間インターフェイス１９から圧縮状態の左目画像データの供給を受ける経路rt1をもつ。これは、他の機器のストリーム供給源からパススルーで入力されてきた場合を想定したものである。同様に右目画像デコーダ６も、デマルチプレクサ４からのストリーム供給を受ける他、機器間インターフェイス１９から圧縮状態の左目画像データの供給を受ける経路rt2をもつ。これも、他の機器のストリーム供給源からパススルーで入力されてきた場合を想定したものである。

　＜左目プレーンメモリ７＞
　左目プレーンメモリ７は、左目画像デコーダ５のデコードにより得られた非圧縮の左目画像データを格納する。

　＜右目プレーンメモリ８＞
　右目プレーンメモリ８は、右目画像デコーダ６のデコードにより得られた非圧縮の右左目画像データを格納する。

　３.奥行き調整
　奥行き調整は、立体視映像の奥行き調整を実際に処理する部分である。奥行き調整部というグループに分類される構成要素とは、調整部９、デプス生成器１０、デプスプレーンメモリ１１、DIBR部１２、スイッチ１３、スイッチ１４、コンテンツプロパティ保存モジュール１５、表示対象デバイスプロパティ保存モジュール１６、奥行き調整判定モジュール１７である。以下、奥行き調整を具現する構成要素について説明する。

　＜調整部９＞
　調整部９は、デプス生成器１０、デプスプレーンメモリ１１、DIBR部１２から構成され、左目画像、右目画像による視差を適切なものにする。デプス生成器１０、デプスプレーンメモリ１１、DIBR部１２の説明に先だち、奥行き調整とはどのような処理であるかを説明する。左目用の画像に含まれる物体Aの表示位置、右目用の画像に含まれる物体Aの位置は異なるので、これをディスプレイに表示したとき表示位置は当然のことがなら異なる。左目用の画像と右目用の画像とを交互に短い時間間隔で切り替えて表示するとともに、シャッター眼鏡を用いて、シャッター眼鏡をかけた視聴者の左目に左目用の画像が見え、右目に右目用の画像が見えるようにするここで調整の対象となる奥行きには、画面から飛出すものと、画面から引っ込むものとがある。図４は、この飛出し、引っ込みによる奥行きを示す。

　人間の目というのは両目で対象物に対する焦点位置を合わせようとする。図４（ａ）に示す物体Aは左目と左目用の画像に含まれる物体Aとを結ぶ直線と、右目と右目用の画像に含まれる物体Aとを結ぶ直線との交点と位置に焦点が合わされる。結果として、ディスプレイよりも奥の位置に物体が位置するかのように人間の脳は認識し、人間はディスプレイよりも奥の位置に物体Aが位置するかのよう錯覚する。

　このずれ量の大小にしたがってディスプレイに対する飛び出し量、および、引っ込み量が変化する。また、画像内の被写体がディスプレイに対して飛び出すか引っ込むかは左右画像のずれ方向にしたがって決まる。映画のような大画面向けコンテンツの場合は、左右画像の視差が小さい、すなわち、左右画像のずれ量が小さくなるように製作され、撮像装置や携帯端末で撮影されたような小画面向けコンテンツの場合は、左右画像の視差が大きい、すなわち、左右画像のずれ量が大きくなるように製作されることで、視聴者への目の疲労度を軽減し、立体感を十分に感じることができる立体視映像、立体視映像の再生が可能となる。

　図４（ａ）において、ディスプレイよりも奥にどの程度、引っ込んで見えるのかに関する説明をする。視聴位置からディスプレイまでの距離をZ、視聴位置から物体までの距離をS、両眼の幅（基線長）をIPD、ディスプレイよりも引っ込んで見える物体Aをディスプレイに投影をしたとき、ディプレイに投影をした物体Aと左目用の画像に含まれる物体Aとの距離であって、かつディスプレイの水平方向の距離を左目用画像のシフト量をpとすると、以下の数式(1)のような関係がある。

　P＝(IPD/2)×(1-Z/S)・・・・数式(1)

　図４において、ディスプレイまでの距離Z及び飛出し位置までの距離Sとの比率が奥行きを表すことになる。このディスプレイまでの距離Zは、画面の縦幅の大きさの3倍に設定される。

　図４（ｂ）において、ディスプレイよりもどの程度、飛出して見えるのかに関する説明をする。視聴位置からディスプレイまでの距離をZ、視聴位置から物体までの距離をS、両眼の幅（基線長）をIPD、ディスプレイよりも飛び出して見える物体Bをディスプレイに投影をしたとき、ディプレイに投影をした物体Bと左目用の画像に含まれる物体Bとの距離であって、かつディスプレイの水平方向の距離を左目用画像のシフト量をpとすると、以下の数式(2)のような関係がある。

　P＝(IPD/2)×(Z/S-1)・・・・数式(2)

　視差は、これら数式(1)、(2)におけるシフト量pに"2"を乗じた値になる。但し、シフトする向きを考慮する場合、極性を考慮する必要がある。映画のような大画面向けコンテンツの場合は、左右画像の視差が小さい、すなわち、左右画像のずれ量が小さくなるように製作され、撮像装置や携帯端末で撮影されたような小画面向けコンテンツの場合は、左右画像の視差が大きい、すなわち、左右画像のずれ量が大きくなるように製作されることで、視聴者への目の疲労度を軽減し、立体感を十分に感じることができる立体視映像、立体視映像の再生が可能としている。

　図５は、奥行き調整を示す。図１に示した複数の機器のそれぞれでは、画面のインチ数が異なるから奥行き量も異なる。図５は、図１に示したテレビ２００～携帯端末４００のそれぞれの奥行き量を示す。本図では、テレビ２００～携帯端末４００の外観に、図４に示した奥行き量を規定するパラメータを書き加えている。テレビ３００は、コンテンツの制作者が、コンテンツ想定画面を有するディスプレイである。コンテンツ想定画面とは、立体視コンテンツが再生されることを想定していた画面を示す。多くの場合、立体視映画コンテンツは、５０インチの表示装置で再生されることを想定しているから、５０インチがコンテンツ想定画面サイズになる。一方、パーソナルユースの3Dカメラで撮影された立体視写真は、もっと小さい画面に表示されることを想定したものであるから、その小さい画面がコンテンツ想定画面サイズになる。

　コンテンツ想定画面は、ユーザの顔から見てZの位置、立体視効果により映像が飛出す位置はSとなる。テレビ２００はコンテンツ想定画面より大きい画面であり、画面はZ(1)の位置、立体視効果により映像が飛出す位置はS(1)となる。携帯端末４００はコンテンツ想定画面より小さい画面であり、画面はZ(2)の位置、立体視効果により映像が飛出す位置はS(2)となる。これらの画面の大小に拘らず、画面の奥行き位置と、飛出し位置との比率を一定にするのなら、Z/S＝Z(1)/S(1)＝Z(2)/S(2)という関係を成立させるよう画面上の視差を定めればよい。

　ここでテレビ３００の奥行き量は、S/Zとして表現されるものとする。そうすると、テレビ２００については、S(1)/Z(1),携帯端末４００についてはS(2)/Z(2)となる。テレビ２００、携帯端末４００は、サイズが異なるから奥行き量も異なるが、これらを複数の機器間で共通化するには、画面上のシフト量であるPs(1),Ps(2)を調整せねばならない。調整度Ｍrateについて説明する。

　調整度Ｍrateは、上記ZとSとの比率を一定にするように、表示対象の画面に適合した視差を算出するものである。よって調整度Ｍrateは、コンテンツ想定画面において原寸を用いて定められた視差と、表示対象となる画面(x)において原寸を用いて定められた視差との比率によって定める必要がある。つまり調整度Ｍrateとは、コンテンツ想定画面におけるシフト量Psと、任意のサイズの画面xとのシフト量Ps(x)との比率である。

　図６は、概念上の2つの画面を対比して示す。概念上の画面のうち1つは、縦画素数・横画素数(w＿pix,h＿pix)によって定められる画面である。もう1つは、実際の縦横の原寸 (Width(mm)，Height(mm))から定められる画面である。

　図６（ａ）は、コンテンツ想定画面と、表示対象画面(x)とを対比して示す。上側は、コンテンツ想定画面であり、縦画素数・横画素数によって定められる画面と、実際の縦横の原寸から定められる画面とを重ねあせて示す。下側は表示対象画面(x)であり、縦画素数・横画素数によって定められる画面と、実際の縦横の原寸から定められる画面とを重ね合わせて示す。かかる（ａ）において、調整度Ｍrateは、コンテンツ想定画面におけるシフト量Psと、表示対象画面(x)におけるシフト量Ps(x)との比率によって算出される。そうすると、表示対象画面(x)において必要となるシフト量P(x)は、コンテンツ想定画面におけるシフト量Pに調整度Ｍrateを乗じたものになる。このように調整度Ｍrateを求め、縦画素数・横画素数によって定められる画面におけるシフト量Pに乗じることで表示対象画面(x)に適合したシフト量P(x)をえることができ、この画素シフト量を２倍することで視差を得ることができる。

　図６（ｂ）は、Width，Heightがどのように算出かを示す。Width，Heightの比率はm:nであり、このWidthの２乗と、heightの２乗との和をXの2乗とするとwidthは、図中の√記号を用いた数式のように定められる。図６（ｃ）は、画素数にて規定される視差P(＝(IPD/2)×(z/s-1))と、実寸にて規定される視差Ps(＝｛(IPD/2)/(width/w＿pix)｝×(z/s-1))との違いを対比して示す。

　表示対象画面(x)における視差がPs(x)なら、コンテンツ想定画面における画素数による視差pを表示対象画面(x)に適合させるための調整度Ｍrate(x)は、Ps(x)／Psとなる。よって調整度Ｍrateは、コンテンツ想定画面における画面上の実際の視差Psと、表示対象となる画面(x)における視差P(x)と比率Ps(x)/Psとして算出される。

　表示対象画面(x)におけるwidth(x)、w＿pix(x)を用いて調整度Ｍrateを表現すると、調整度Ｍrateは図６（ｄ）に示すように(w＿pix(x)/width(x)・width/w＿pix)という数式で表現される。50インチのディスプレイに表示する場合と、5インチのディスプレイで表示する場合とで、シフト量がどれだけ違うかを説明する。一般的に基線長はIPD=６.５cmである。５０センチのディスプレイにおいて、物体を10%だけ飛び出させる場合を考えると、例えば50インチのディスプレイ上での画像のシフト量は6ピクセルで済む。これに対し、5インチのディスプレイ上でのシフト量は63ピクセル必要となる。以上で、調整度についての説明を終える。

　＜デプス生成器１０＞
　デプス生成部１０は、1の視点映像を構成する画素群とマッチングするマッチング画素群を他の視点映像から探索して、1の視点映像を構成する画素群と、他の視点映像を構成する画素群との間の視差を検出して、この視差を用いて奥行き調整の基礎となるマップ情報を作成する。奥行き調整の基礎となるマップ情報には、視差マップと、デプス画像とがある。視差マップとは、左右の画像で何ピクセルずれているかを並べたマップ情報であり、デプス画像とは、視点からどれだけ離れた距離にあるかを並べることで得られる画像である。これらは、上述した数式(2)で相互変換可能なので、同一視される。デプス画像では画像を構成する画素の値で奥行きを表現する。このデプス画像における画素の輝度を明るく、又は、暗くすることにより画像中のオブジェクトの奥行きを変化させることができる。

　図７は、視差マップを模式的に示す図である。本図の視差マップは、人物を表す左目画像に対応するものであり、四角枠はその左目画像の矩形画素群を示す。四角枠中の数値は、右目画像における画素群であって、左目画像における画素群と対応するものとの視差である。本図では、１～１５画素の範囲で左目画像－右目画像間の視差が表現されているので、視差が高精度に再現されていることがわかる。デプス生成器１０は、左目画像、右目画像間の視差を探索した後、探索された視差を画素領域毎に表したデプス画像を作成する。その後、表示側の画面サイズに応じた調整度を、各視差に乗じて表示側の画面に適合させる。かかる適合後のデプス画像における画素毎の視差を奥行きに変換することでデプス画像が得られる。図８は、デプス生成器１０の処理内容に、具体的な画像を当てはめて示した図である。本図では、デプス生成器１０と、これに関連する構成要素とを抜き出して描き、データの流れを書き加えている。左上に左目プレーンメモリに格納された左目画像、右上に右目プレーンメモリに格納された右目画像を示す。真ん中にデプス画像生成器を示し、下側にデプス画像を示す。ここで図８のデプス画像は模式的に描かれたものであり、実際のデプス画像には、服や顔の輪郭が黒線で現われることはない。実際のデプス画像は、全体的に黒地に白一色のシルエットで、立体感がある部位の周辺部が灰色を帯びているという内容となる。図８における斜線は、立体感がある部位の周辺が灰色で表現されるというデプス画像の性質を象徴的に示すものである。

　＜調整度算出部１１＞
　調整度算出部１１は、(w＿pix(x)/width(x)・width/w＿pix)の数式から調整度を算出して保持する。ここでの調整度は、マッチングポイント探索で検出された視差に乗じられるものであり、マッチングポイント探索で検出された視差に、かかる調整度を掛け算することで、新しいデプス画像を得る。

　＜デプス画像メモリ１２＞
　デプス画像メモリ１２は、デプス生成器１０により生成されたデプス画像が格納される。

　＜DIBR部１３＞
　DIBR部１３は、調整度に基づく補正が施されたデプス画像をベースにしたデプスイメージベースドレンダリング(DIBR)を、1の視点映像である左目画像に対して施すことにより、修正された視差を有する2以上の視点映像を得る。図９は、DIBR部１２の処理内容に、具体的な画像を当てはめて示した図である。左上にデプス画像、右上にプレーンメモリに格納された左目画像を示す。真ん中にDIBRを示し、下側に、3つの立体視映像を示す。下側の左端は、視差が大きく設定された立体視映像、下側の真ん中は、視差が中程度に設定された立体視映像、下側の右端は、視差が小さく設定された立体視映像を示す。光ディスクに記録された立体視コンテンツが、50インチでの再生を前提にしていた場合、表示画面が5インチであれば、上記ように視差が大きく設定されることになる。また、表示画面が70インチであれば、上記のように視差が小さく設定されることになる。図９のデプス画像も、図８と同様、模式的に描かれたものであり、実際のデプス画像には、服や顔の輪郭が黒線で現われることはない。デプス画像は、全体的に黒地に白一色のシルエットで、立体感がある部位の周辺部が灰色を帯びているという内容となる。

　図１０は、奥行き調整が図９のようになされた場合において、立体視映像の飛出し量がどのようになるかを示す。（ａ）は視差が大きく設定された立体視映像がどれだけ画面から飛出すかを示す。（ｂ）は、視差が中程度に設定された立体視映像がどれだけ画面から飛出すかを示す。（ｃ）は、視差が小さく設定された立体視映像がどれだけ画面から飛出すかを示す。

　以上の説明は、デプス生成器１０により対象物の奥行きが精巧に再現されたデプス画像が作成されたことを前提にしている。しかしデプス画像の生成は、マッチングポイントの探索精度に頼るところが大きく、その探索性能の違いによって立体視映像の品位は左右されることになる。

　かかるデプス画像を生成するにあたっては、右目領域のうち、左目領域ともっとも整合する領域がどれだけ隔てられて存在するかというマッチングポイント探索が重要になる。かかるマッチングポイント探索の基本原理は重要であるから、上記内部構成とは別途、図１１～図１２の説明図を準備して、マッチングポイント探索について詳細な解説を行うことにした。これらの説明図を参照しながら詳細な解説を行う。

　以下、マッチングポイント探索がどのようになされるかについて説明する。

　図１１は、マッチングポイント探索アルゴリズムによりデプス画像によって表される奥行きがどのように変化するかを示す。図１１（ａ）は、もっとも精度が低いマッチングポイント探索から得られたデプス画像である。この場合、図１１（ａ）のデプス画像に示される奥行きは平面的で、背景画像と比較して多少浮き上がっているという程度のものになる。デプス画像が低精度になった原因は、全ての領域におけるマッチングポイントとの視差がほぼ同じ値になったからである。

　図１１（ｂ）は、精度が中間レベルのマッチングポイント探索で得られたデプス画像である。この（ｂ）では、マッチングポイントとの視差が多少、高精度に検出されたため、マッチングポイント探索の結果によって生成されるデプス画像の奥行きは曲面的になっている。これらに対して図１１（ｃ）では、人物の奥行きが忠実に再現されることになる。以下、これらのアルゴリズムについて説明する。

　生成されるデプス画像が図１１（ａ）（ｂ）（ｃ）のうち、何れに近いものであるかは、調整に用いるアルゴリズムが、ブロックマッチング、セミグローバルマッチング、グラフカットの何れであるか、また探索範囲がどれだけ広いかによって変わる。よって各機器における探索アルゴリズムがプロパティとして記載されている。本願では代表的な探索アルゴリズムとして、ブロックマッチング、セミグローバルマッチング、グラフカットを想定している。以下、これらの探索アルゴリズムについて説明する。

　ａ.ブロックマッチング
　ブロックマッチングは、片目の映像を複数の領域に分割し、分割した片目の映像との画素値の差が最小となる領域をもう一方の片目の映像から抽出するアルゴリズムである。より具体的には片目の映像の分割した領域と同じ領域を他方の片目の映像に設定（整合領域と称す）する。このとき、片目の映像の分割した領域の垂直方向の位置と、他方の片目の映像に設定した領域の垂直方向の位置は同じとする。片目の映像の分割した領域に含まれる画素の値と、他方の片目の映像に設定した整合領域に含まれる画素の値の差を計算する。次に整合領域の水平方向の位置を水平方向にずらして、同様に画素の差を計算する。このように、整合領域を水平方向に探索し、差が最小となる整合領域を最整合領域とし、最整合領域の水平方向の位置と、片目の映像の分割した領域の水平方向の位置との差を最整合領域間の距離とし、この最整合領域までの距離を奥行きとしてあらわした視差マップを作成する（非特許文献１を参照）。図１２（ａ）は、ブロックマッチングによるマッチングポイント探索を示す。矢印sh1,sh2,sh3は、右目画像における領域と、左目画像における領域との画素値の対比を示す。水平方向の矢印sc1は、右目画像における水平方向の走査を示す。これらの対比及び走査によって、最整合領域が発見される。

　ｂ.セミグローバルマッチング
　セミグローバルマッチングは、整合領域を隣接する複数方向の領域の整合性を加味して水平方向に探索し、最整合領域間の距離をマップするアルゴリズムである（非特許文献２を参照）。

　図１２（ｂ）は、セミグローバルマッチングによる探索を示す。矢印sh5,sh6は、右目画像における領域と、左目画像における領域との画素値の対比を示す。8方向への矢印は、8方向に対する整合性の参照を示す。水平方向の矢印sc2は、右目画像における水平方向の走査を示す。これらの対比及び走査によって、最整合領域が発見される。

　ｃ.グラフカット
　グラフカットは、映像をオブジェクト毎に分割し、分割領域間の距離をマップするアルゴリズムである。

　図１２（ｃ）は、グラフカットによる探索を模式的に示すものである。図中のobj2,3,4,5は、図８の人物が探索対象である場合、画像認識で得られる胴体、顔、手足といった人体パーツがオブジェクトとして認識され、このオブジェクト単位でマッチングポイント探索がなされる。矢印cm1,cm2,cm3,cm4は、右目画像における領域と、左目画像における領域との画素値の対比を示す。グラフカットでは、画像認識を先行して行うからグラフカットではマッチングポイントの探索が高精度になされる。以上が探索アルゴリズムについての説明である。

　＜スイッチ１４a＞
　スイッチ１４aは、左目プレーンメモリ７に書き込むべき画像データの入力を切り替えるものである。切り替え素子が接点a側に設定されている場合、左目プレーンメモリ７には、左目画像デコーダ５のデコードで得られた非圧縮の左目画像データが格納される。接点b側に設定されている場合、左目プレーンメモリ７には、機器間インターフェイス１９を介して他の機器から転送されてきた非圧縮の左目画像データが格納される。これにより、左目画像デコーダ５のデコードで得られた非圧縮の左目画像、及び、他の機器から転送されてきた非圧縮の左目画像の双方を奥行き調整の対象とすることができる。経路rt3は、他の機器のストリーム供給源からパススルーで入力されてきた左目画像を左目プレーンメモリ７に格納するための経路である。

　＜スイッチ１４b＞
　スイッチ１４bは、右目プレーンメモリ８に書き込むべき画像データの入力を切り替えるものである。切り替え素子が接点c側に設定されている場合、右目プレーンメモリ８には、右目画像デコーダ６のデコードで得られた非圧縮の右目画像データが格納される。接点d側に設定されている場合、右目プレーンメモリ８には、機器間インターフェイス１９を介して他の機器から転送されてきた非圧縮の右目画像データが格納される。これにより、右目画像デコーダ５のデコードで得られた非圧縮の右目画像、及び、他の機器から転送されてきた非圧縮の右目画像の双方を奥行き調整の対象とすることができる。経路rt4は、他の機器のストリーム供給源からパススルーで入力されてきた右目画像を右目プレーンメモリ８に格納するための経路である。

　＜コンテンツプロパティ保存モジュール１５＞
　コンテンツプロパティ保存モジュール１５は、立体視の対象となる画像データが、どれだけの大きさの画面サイズを前提にしているかを示すコンテンツのプロパティを格納する。コンテンツプロパティとは、例えばコンテンツに対応する映像の解像度、コンテンツに対応する映像が立体視であるか否か、コンテンツに対応する映像は奥行き調整が施されたものか否かと、奥行き調整が施されている場合はその度合い、コンテンツのエンコードフォーマット（LR多重ストリーム/サイドバイサイド/トップボトム）といった情報、再生対象コンテンツは既にコンテンツは奥行き調整がなされているか否かの情報、どのぐらいの奥行き調整が既に施されているか、コンテンツの解像度、コンテンツの再生想定画面サイズ等がある。これらの情報は例えば、コンテンツに対応するストリームのヘッダ情報から取得したものである。

　＜表示デバイスプロパティ保存モジュール１６＞
　表示デバイスプロパティ保存モジュール１６は、立体視映像の表示対象の機器の性能情報を保存する制御レジスタである。表示デバイスのプロパティとは、表示デバイスの表示画面の解像度、表示デバイスの表示画面のサイズ、表示デバイスが立体視表示可能であるか否か、表示デバイスは奥行き調整機能を有するか、奥行き調整機能を有していた場合、現在の奥行き調整の設定はユーザによってどのように設定されているか、表示デバイスの表示フォーマット（フレームシーケンシャル/サイドバイサイド/トップボトム）に加え、表示デバイスがリモートか否かの情報等である。表示対象の機器は必ずしも自身の機器であるとは限らない。例えば、ネゴシエーションを行ったリモートな機器が表示対象の機器になったり、あるいは自身が他の機器から受け取った映像を表示したりするケースももちろんある。表示対象デバイスプロパティの取得は、例えば機器間インターフェイス１９を介して行われる。この取得タイミングはクライアントとなる機器の起動時、あるいはクライアントとなる機器とサーバーとなる機器とのリモート接続時等、立体視映像再生要求を受け付ける前までになされる。

　プロパティを取得する表示対象デバイスは、立体視映像の再生のトリガーをかける機器に表示をするのであれば、立体視映像の再生のトリガーをかける機器自身が表示対象デバイスに該当する。また立体視映像の再生のトリガーをかける機器に表示しないのであれば、立体視映像の再生のトリガーをかける機器と接続する機器であって、かつ表示機能を有する機器が表示対象デバイスに該当する。立体視映像の再生のトリガーをかける機器自身が表示対象デバイスである場合、予め自身の機器のハードディスク、メモリなどの記憶手段（図示せず）等に記憶されている情報を用いてプロパティを設定し、表示対象デバイスがリモートであった場合はネットワークインターフェイス１や機器間インターフェイス１９におけるマルチメディアケーブルインターフェイスを介して表示対象デバイスから取得したプロパティを保存する。

　＜奥行き調整判定モジュール１７＞
　奥行き調整判定モジュール１７は、コンテンツの再生にあたって、その表示対象となる画面サイズが、コンテンツ想定画面サイズの画面サイズと一致するかどうかを判定することにより奥行き調整の要否を判定する。

　奥行き調整判定モジュール１７を映像処理装置に設けることが何故必要になったかという必然性について説明する。奥行き調整の要否判定は、以下の要請から生じる。BD-ROMでは、立体視映像を構成する左目画像、右目画像がBD-ROM内におけるトランスポートストリーム内に存在するため、左目画像、右目画像をデコードすれば、オーサリングサイドによって奥行き調整がなされた立体視映像が再生されることになる。ここで、左目画像、右目画像に現れる視差は50インチ等の画面で左目画像，右目画像が再生されることを想定したものである。よって、実際に表示される画面がオーサリングが想定していた画面より大きいと飛出し度合が過渡になるし、画面が小さいと飛出し度合が物足りないものになる。よって飛出し量が表示されているディスプレイにとって最適なものにすべく奥行き調整を行う。

　奥行き調整の要否判定は、画面サイズの直接比較でなされるが、再生すべきコンテンツがどれだけの画面サイズでの再生を想定したものかについては、充分な情報が得られない。この場合、現状の奥行き調整の度合いを判断材料として使用する。具体的にいうと、奥行き調整がなされている左目画像、右目画像についての視差の数値範囲は、コンテンツ想定画面サイズの大きさに依存する。そこで、再生が想定される複数画面サイズのそれぞれについて、視差の基準値を準備して機器に保持させておけば、奥行き調整がなされている左目画像、右目画像についての視差を、機器が予め保持する基準値と比較することにより、その左目画像、右目画像によって構成されるコンテンツが想定している画面サイズがどれだけであるかを判断することができる。そのようにしてコンテンツ想定画面サイズを検出すれば、これを表示デバイスプロパティ保存モジュール１６に保存されている表示画面サイズと比較することにより奥行き調整の要否を判断することができる。以上のように、奥行き調整判定モジュール１７は、表示デバイスプロパティ保存モジュール１６に保存されている情報と、再生コンテンツプロパティ保存モジュール７に保存されている情報を基に、コンテンツの奥行き調整が必要か否かの判定を行う。

　４.ユーザ入力
　ユーザ入力というグループに分類される構成要素とは、UO検知モジュール１８である。

　＜UO検知モジュール１８＞
　UO検知モジュール１８は、例えばユーザがリモコン等を操作して指示した命令に対応する信号を受信する部分である。UO検知モジュールから例えばキー操作によるリアルタイムな立体視映像の奥行きの指示に対応する信号を受信したり、あるいは機器設定（奥行き度調整設定も含む）の調整の指示に対応する信号を受信したりすることが可能である。

　ユーザのリモコンの操作により、立体視映像の再生要求をUO検知モジュール１８が検知した場合、UO検知モジュール１８が立体視映像の再生の要求を再生部に該当する構成要素群に転送する、または起動したアプリケーションから立体視映像の再生を伝送する場合等がある。

　起動するアプリケーションから立体視映像の再生が要求されるというケースは、例えば、アプリケーション起動メニューからJavaアプリケーション等のバイトコードアプリケーションを起動され、起動したアプリケーションがUO検知モジュール１８からのユーザ操作に応じて立体視映像の再生要求を再生部に該当する構成要素群に伝送する等をケースを意味する。立体視映像の再生要求には再生する対象となるコンテンツの取得場所や、画像コンテンツ平面視／立体視の何れであるかの情報が含まれる。

　５.機器間通信
　"機器間通信"というグループに分類される構成要素について説明する。「機器間通信」というグループに分類される構成要素とは、機器インターフェイス１９、パーサ２０、通信制御部２１、性能情報格納モジュール２２、通信情報作成モジュール２３、性能比較モジュール２４、応答情報作成モジュール２５である。以下、これらの構成要素について説明する。

　＜機器インターフェイス１９＞
　機器間インターフェイス１９は、例えばHDMI規格に準拠したマルチメディアケーブルや、コンポジットケーブル、コンポーネントケーブルを通じて、デコード済みの映像や音声の転送を行う。特にHDMIは映像に加え、様々なプロパティ情報を付加することも可能である。ネットワークインターフェイス１の代わりに機器間インターフェイス１９におけるマルチメディアケーブルインターフェイスを用いる場合には、マルチメディアケーブルインターフェイスを介して、表示デバイスプロパティ保存モジュール６に、表示処理を実行する機器の性能情報が保存される。

　＜パーサ２０＞
　パーサ２０は、機器間のネゴシエーションのデータのパージングを行い、また送信情報作成モジュール９または応答情報作成モジュール１２が作成した情報を機器が処理できるデータに変換する。

　＜通信制御部２１＞
　通信制御部２１は、映像処理装置における通信制御を行う。通信制御部２１は単体で意味をもつものではなく、同一の構成をもった機器が互いに接続し合ってメッセージやデータを送受信するという通信シーケンスで真価を発揮する。以下、機器間の通信シーケンスについて説明する。図１３（ａ）は、通信制御部２１によってなされる通信シーケンスを示す。

　左側は送り手を、右側は受け手側を示す。縦方向には、複数の機器で共通する時間軸を描いている。本図では、奥行き調整の要否を判定するフェーズph1、ネゴシエーションフェーズph2、性能情報を用いて奥行き調整主体を判定するフェーズph3、立体視コンテンツを構成する左目画像データ、右目画像データの転送を行うフェーズph4から構成される、奥行き調整主体決定フェーズph3、転送フェーズph4については、探索アルゴリズムの性能の違いによって2つのバリエーションが存在する。図１３において（ａ）～（ｂ）の2つのシーケンスが存在するのは、このバリエーションの違いを示す。ここで図（ａ）は、送り手における能力が高いケース、図（ｂ）は受け手における探索能力が高いケースを示す。

　図１３（ａ）は、受け手側のアルゴリズム能力(Algo(dst))が送り手側のアルゴリズム能力(Algo(src))よりも高性能であるケース、図１３（ｂ）はこの逆のケースを示す。この違いは、奥行き調整主体の決定フェーズの内容からも明らかである。つまり図１３（ａ）、図１３（ｂ）では、送り手における探索アプリケーションのレベル(Algo(src))と、受け手における探索アルゴリズムのレベル(Algo(dst))との不等号関係が入れ代わっている。またこの違いは、転送フェーズにも現れる。転送フェーズにおいて横並びの平行四辺形は、立体視を構成する左目画像、右目画像の組みを表す。そして左目画像、右目画像のうち、平行四辺形同士の間隔が狭いものは奥行きが未調整のもの、間隔が広いものは調整済みのものを示す。図１３（ａ）では送り手側で奥行き調整がなされており、図１３（ｂ）では受け手側で奥行き調整がなされている。このような違いが生じているのは、図１３（ａ）は受け手の奥行き調整能力が高いとの想定、図１３（ｂ）は送り手の奥行き調整能力が高いとの想定が存在するからである。以上のように決定フェーズでは、奥行き調整主体を送り手、受け手の何れの能力が高いかによって奥行き調整を送り手で行うか、受け手で行うかを切り替えていることがわかる。以上で通信制御部２１についての説明を終える。

　＜性能情報格納モジュール２２＞
　性能情報格納モジュール２２は、自装置において、奥行き調整がどれだけであるかという性能情報のプロパティを格納する。性能情報は、各機器において奥行き調整がどれだけであるかを示すものだから、その設定値は、機器毎に異なるものになる。図１４は、図１に示した再生装置１００、テレビ２００、テレビ３００、携帯端末４００における性能情報の設定例である。これらの性能情報において、本図の性能情報は、調整機能有無き機能、探索アルゴリズム、探索範囲、転送レート、再生対象コンテンツの参照先、調整能力という情報要素によって構成される。以下、性能情報の情報要素について説明する。併せて、上述した情報要素がどのような値に設定されるかという設定の具体例についても説明する。

　『調整機能有無』とは、予め機器に埋め込まれているプロパティであり、機器が奥行き変換機能を有するか否かが判定できる情報である。図１４に示す例では、再生装置１００、テレビ２００、テレビ３００、携帯端末４００の何れの機器にも奥行き調整機能が存在することが示されている。

　『探索アルゴリズム』とは、予め機器に埋め込まれているプロパティであり、機器が有する奥行き変換の実施方法のアルゴリズム名に対応付けた数値として保有する。図１４において、再生装置１００、テレビ３００の探索アルゴリズムが何れもグラフカットを採用していることがわかる。一方、テレビ２００はセミグローバルマッチング、携帯端末４００はブロックマッチングであることがわかる。本アルゴリズムは１つのみではなく、複数保有している場合もある。この場合には、奥行き調整アルゴリズムのプロパティには異なる値が複数設定されることになる。

　『探索範囲』は、予め機器に埋め込まれているプロパティであり、例えば探索アルゴリズムにおいて設定されたアルゴリズムを適用した場合におけるデフォルトのパラメータである。アルゴリズムのパラメータは例えば左目と右目の視差情報を得る際に水平方向に探索する範囲をピクセル単位で示したものである。図１４に示す例では、テレビ３００の探索範囲は24画素、再生装置１００、テレビ３００、テレビ２００の探索範囲は何れも16画素に設定されていることがわかる。

　『転送レート』とは、接続対象の機器との接続時に接続しているインターフェイスのスループットがどの程度であるかを示す値である。奥行き調整能力プロパティにおけるデータ転送能力は、データ送受信の相手側となる機器の転送がHDMIによる有線であるかWifiによる無線であるかの見極めのためになされる。転送レートは予め機器に埋め込まれているプロパティであってもよいし、ネゴシエーション時にスループットを計測しておき、その値を利用してもよい。図１４に示す例では、図１４（ａ）の再生装置１００における転送レートは53.3（Mbps）、テレビ２００、テレビ３００については24（Mbps）、携帯端末４００については（8Mbps）と設定された例を示している。

　『再生対象コンテンツの参照先』とは再生対象のコンテンツの保存メディア、保存されているファイルパスを示す。図１４における例では、図１４（ａ）の再生装置１００における再生対象コンテンツの参照先が"E:/local/path/01234.mt2s"と設定されており、（ｄ）の携帯端末４００における再生対象コンテンツの参照先が"C:/local/path/01234.mt2s"と設定されていることがわかる。

　『調整能力』とは、探索アルゴリズムと探索範囲を再生対象コンテンツに適用した場合の性能を示すベンチマークスコアである。この値は再生対象のコンテンツの保存先のデータスループットを考慮した値であることが望ましい。例えば、リムーバブルメディアとディスクドライブ２aに保存されたデータでは機器のメディア読み込み速度にも依存してしまうため、一度奥行き調整を試した上で奥行き調整処理能力を見出した方が望ましい。本値は探索アルゴリズムに示される値が複数ある場合、探索アルゴリズム毎に対応する奥行き調整処理能力の値が存在する。図１４の一例では、再生装置１００、テレビ２００、テレビ３００の調整能力が何れも85（Mbps）であり、遜色ない能力になっていることがわかる。一方携帯端末４００については、調整能力が43（Mbps）であり、調整能力が低くなっていることがわかる。

　以上まとめると、図１４においては、何れの機器においても調整機能『有』に設定される。アルゴリズムについては、再生装置１００、テレビ３００は何れもグラフカット、テレビ２００はセミグローバルマッチング、携帯端末４００はブロックマッチングに設定される。探索範囲については、テレビ３００のみが24画素に設定されている。以上のような各個体の性能差が各機器の性能情報に反映されていることがわかる。

　＜通信情報作成モジュール２３＞
　通信情報作成モジュール２３は、自機が送り手になった場合、自機の性能情報を読み出して、これを相手側機器への転送に適合したデータ形式に変換することで送信情報を作成する。

　＜性能比較モジュール２４＞
　性能比較モジュール２４は、相手側から受け取った性能情報における探索レベルと、自装置における探索レベルとを比較して、ネゴシエーションの対象となる相手の機器から受信した送信情報とから"どの機器が"、"どのように"、奥行き調整を行うかを判定するモジュールである。性能比較モジュール２４は、機器接続時において送り手から送信されてくる性能情報に示される探索アルゴリズムと、自身の性能情報に示される探索アルゴリズムとを比較することにより送り手、受け手の何れを奥行き調整主体とするかを決定する。探索アルゴリズムの高低で奥行き調整主体を定めるのは、探索アルゴリズムの違いがマッチングポイント探索精度を大きく左右するからである。両機器の探索アルゴリズムのレベルが同じである場合、探索範囲の広さで決定する。両機器の探索範囲が同じである場合、両機器の奥行き調整の速さで決定する。以上のように、接続し合う2つの機器で探索アルゴリズムを比較して、優劣がつかない場合、探索範囲の広さ、奥行き調整能力の速さという異なる次元のパラメータで、機器の比較を行っている。これは、奥行き調整の速さを単純比較するというものではなく、品質優位で奥行き調整主体を定めるという製品コンセプトの表れである。

　＜応答情報作成モジュール２５＞
　応答情報作成モジュール２５は、性能情報格納モジュール２２による比較がなされた際、その比較結果を示す応答情報を作成して送り手に送信する。各機器における性能情報が図１４のように設定されているとの仮定下で機器同士の接続がなされた場合、どのような応答情報が送信されるかについて説明する。図１５（ａ）は再生装置１００－テレビ３００の接続時において、テレビ３００から送信される応答情報を示し、図１５（ｂ）は携帯端末４００－テレビ２００の接続時において、テレビ２００から送信される応答情報を示す。図１６（ａ）は携帯端末４００－再生装置１００の接続時において、携帯端末４００から送信される応答情報を示し、図１６（ｂ）はテレビ２００－再生装置１００の接続時において、テレビ２００から送信される応答情報を示す。これらの図で共通している、応答情報の共通のデータ構造について説明する。応答情報は、調整デバイス、端末機能、調整レベル、探索アルゴリズム、探索範囲といった情報フィールドから構成される。

　「調整デバイス」は、送り手、受け手のうち何れが調整主体になったかという調整結果を示す。図１５（ａ）、図１５（ｂ）、図１６（ａ）の接続パターンにおける応答情報では、受け手側(dst)が調整主体として示されている。調整デバイスが受け手に設定されているのは、図１５（ａ）、図１５（ｂ）、図１６（ａ）の接続パターンで性能情報を比較した場合、受け手の性能が高かったためである。図１６（ｂ）の接続パターンにおける応答情報では、送り手(src)側が調整主体として示されている。調整デバイスが送り手に設定されているのは、図１６（ｂ）の接続パターンで性能情報を比較した場合、送り手の性能が高かったためである。

　「端末機能」は、奥行き調整が自動／手動の何れでなされるかを示す。図１５（ａ）、図１５（ｂ）、図１６（ａ）、図１６（ｂ）の何れの接続パターンにおいても、この端末機能は自動に設定されている。

　「調整レベル」は、飛出し度合を高中低のうち何れのレベルに設定するかを示す。図１５（ａ）、図１５（ｂ）、図１６（ａ）、図１６（ｂ）の何れの接続パターンにおいても、調整レベルが"中"に設定されている。

　「探索アルゴリズム」は、奥行き調整主体が使用するアルゴリズムを示す。図１５（ａ）では、アルゴリズムがグラフカットに設定され、図１５（ｂ）でセミグローバルマッチングに設定されていることがわかる。図１６（ａ）、図１６（ｂ）ではグラフカットに設定されていることがわかる。

　「探索範囲」は、奥行き調整主体によるマッチングポイントの探索範囲を示す。図１５（ｂ）、図１６（ａ）、図１６（ｂ）の接続パターンにおける応答情報では、探索範囲が16画素であると示されている。図１６（ａ）の接続パターンにおける応答情報では、探索範囲が24画素であると示されている。

　以上まとめると、接続パターンのそれぞれにおいて、送り手－受け手のうち、より高い調整能力を有するものが、応答情報によって相手側に通知されていることがわかる。図１５（ａ）によると、アルゴリズムは同一であるが、探索範囲はテレビ３００が広いからテレビ３００が調整主知として決定されることになる。よって再生装置１００からテレビ３００へと奥行き調整済みの左目画像データ、右目画像データが送信されることになる。そしてテレビ３００側で自身のアルゴリズムによる奥行き調整がなされることになる。

　６.画面適応化
　「画面適応化」というグループに分類される構成要素とは出力映像コンバータ２６である。以下、この構成要素について説明する。

　出力映像コンバータ２６は、応答情報の情報に基づいてネゴシエーション先と立体視映像コンテンツをどのようなフォーマットで送信するかを判定して、非圧縮の左目画像データ、右目画像データを判定結果であるフォーマットに変換する。例えば、奥行き調整を施してデコード済みのデータをネゴシエーション先の機器が処理できるフォーマットに変換して送信する、またはデコード済みの立体視映像データを受信し、奥行き調整を施して自身が表示する等パターンは様々ある。受け手から送り手に送信される応答情報が図１５（ａ）（ｂ）、図１６（ａ）（ｂ）の内容である場合、出力映像コンバータ１３がフォーマット変換を行うことで、テレビ２００、テレビ３００、携帯端末４００の表示内容がどのようになるかを説明する。図１７、図１８は、送り手－受け手の複数のパターンと、各パターンにおける立体視表示とを示す。

　図１７（ａ）は、テレビ３００－再生装置１００の接続時を示す。再生装置１００－テレビ３００では、探索アルゴリズムは同一であるが、探索範囲はテレビ３００が広いからテレビ３００が調整主知として決定されることになる。よって再生装置１００からテレビ３００へと奥行き未調整の左目画像データ、右目画像データが送信されることになる。そしてテレビ３００側で自身のアルゴリズムによる奥行き調整がなされることになる。

　図１７（ｂ）は、携帯端末４００－テレビ２００の接続時を示す。携帯端末４００－テレビ２００の接続時では、セミグローバルマッチングでのマッチングポイント探索が可能なテレビ２００が奥行き調整主体になる。この場合、テレビ２００は受け手側であるから、左右画像は未調整のまま受け手側に出力されることになる。テレビ２００のセミグローバルマッチングによる奥行き調整が施されて飛出し量：小レベルの立体視再生がなされる。

　図１８（ａ）は、携帯端末４００－再生装置１００の接続時を示す。携帯端末４００－再生装置１００の接続時では、グラフカットでのマッチングポイント探索が可能な再生装置１００が奥行き調整主体になる。この場合、携帯端末４００は送り手側であるから、左右画像は、送り手で調整された上、受け手側に出力されることになる。よって再生装置１００のグラフカットによる奥行き調整が施されて飛出し量：大レベルの立体視再生がなされる。

　図１８（ｂ）は、再生装置１００－テレビ２００の接続時を示す。テレビ２００－再生装置１００の接続時では、グラフカットでのマッチングポイント探索が可能なテレビ３００が奥行き調整主体になる。この場合、テレビ２００は受け手側であるから、左右画像は未調整のまま受け手側に出力されることになる。こうすることでテレビ２００のグラフカットによる奥行き調整が施されて飛出し量：中レベルの立体視再生がなされる。

　以上で画面適用化グループについての説明を終える。次に、表示装置において、特有となる構成要素について説明する。この特有の構成要素には、表示部２５がある。

　＜表示部２６＞
　表示部２６は、自機によって奥行き調整及びフォーマット変換がなされた左目画像及び右目画像を受け取り、画面表示に供する。それだけではなく、他の機器によって自機によって奥行き調整及びフォーマット変換がなされた左目画像及び右目画像を受け取り画面表示に供する。

　本実施形態に係る映像処理装置は、上述したような映像処理装置における各構成要素を、ASIC等のハードウェア集積素子で具現化することで工業的に生産することができる。このハードウェア集積素子に、CPU、コードROM、RAMといった汎用的なコンピュータアーキテクチャを採用する場合、上述したような各構成要素の処理手順をコンピュータコードで記述したプログラムをコードROMに予め組みこんておき、ハードウェア集積素子内のCPUに、このプログラムの処理手順を実行させねばならない。汎用的なコンピュータシステムのアーキテクチャを採用する場合、ソフトウェア実装で必要となる処理手順について説明する。

　図１９は、奥行き機器決定の処理手順におけるメインフローチャートである。本フローチャートは、最上位の処理、つまり、メインルーチンに該当するものであり、本フローチャートの下位のフローチャートとして、図２０～図２４のフローチャートが存在する。以下、メインルーチンにおける処理手順について説明する。

　本立体視映像の奥行き調整方法は２つ以上の機器の処理を含む可能性があるが、図７に示される処理は立体視映像の再生のトリガーをかける機器、つまりクライアントとなる機器の全体処理を示している。

　図１９は、映像処理装置の処理手順のメインフローである。本フローチャートは表示デバイスのプロパティを取得して(ステップＳ１)、再生を開始し(ステップＳ２)、コンテンツのプロパティを取得して(ステップＳ３)、ステップＳ６の判定ステップに移行する。再生開始がユーザから要求された場合(ステップＳ４)、ステップＳ１をスキップしてステップＳ２から処理を開始する。ユーザ操作(UO)奥行き調整要求が発生した場合(ステップＳ５)、ステップＳ１～ステップＳ３をスキップしてステップＳ６から処理を開始する。

　ステップＳ６の判定ステップは、コンテンツの奥行き調整の要否判定であり、奥行き調整が不要であればステップＳ７～ステップＳ９を行う。ステップＳ７は自装置が表示デバイスかどうかの判定であり、もし表示デバイスであれば立体視映像を表示する(ステップＳ８)。表示デバイスでなければ立体視映像コンテンツをデータ送受信の相手側となる表示装置に送信する(ステップＳ９)。

　ステップＳ６において奥行き調整が必要であると判定されればステップＳ１１～ステップＳ１７の一連の処理に移行する。この一連の処理は、デバイスのネゴシエーションを行い(ステップＳ１１)、成功すればデバイス性能の交換を行って(ステップＳ１２)、ステップＳ１３においてコンテンツの保存場所が自装置であるか否かを判定する。

　もし保存場所が自装置であればステップＳ１４において、奥行き調整を行う機器の選択を実行する。保存場所が自装置でなければステップＳ１７において、立体視映像コンテンツの受信待ちを行い、受信してからステップＳ１４において、奥行き調整を行う機器の選択を実行する。

　ステップＳ１５は、選択された機器が自装置であるか否かの判定である。もし自装置が奥行き調整主体であればステップＳ１６において奥行き調整を実行してからステップＳ８～ステップＳ１０に移行し、自装置が表示デバイスであれば立体視映像を表示する。

　もし自装置が奥行き調整主体でなければステップＳ１６をスキップしてステップＳ８～ステップＳ１０に移行し、自装置が表示デバイスであれば立体視映像を表示する。

　図２０は、コンテンツ奥行き調整の要否決定、及び、デバイスネゴシエーションの処理手順を示すフローチャートである。図２０（ａ）はコンテンツの奥行き調整が必要か否かを判定する処理を示すものである。本図のフローチャートは、サブルーチン化されたものであり、サブルーチンを終了する際、コールした側のフローチャートに戻り値を返す。この戻り値は、フローチャートの終端に示されている通りである。

　ステップＳ２１は、表示デバイスプロパティにおける自動奥行き調整機能がONであるか否かを判定する。ステップＳ２２は、表示デバイスプロパティにおける画面サイズと、再生コンテンツプロパティにおける立体視対応画面サイズとが一致するかどうかの判定することで奥行き調整の要否を判定する。このステップＳ２２では、現状の奥行き調整の度合いを加味する。これは例えば、奥行き調整がなされている調整済みマッチングポイントについて、マッチングポイント探索で検出された視差が、機器が予め保持する基準値とを比較して大きいかどうかを判断する等の実装も可能である。ステップＳ２１、ステップＳ２２の何れもがYesであれば、奥行き調整が必要であるとしてリターンする。ステップＳ２１、ステップＳ２２の何れかがNoであれば、奥行き調整が不要であるとしてリターンする。

　図２０（ｂ）は、デバイスのネゴシエーションの詳細処理の一例を示すフローチャートである。

　ステップＳ２３は、双方向のデータ送受信が可能なインターフェイスが少なくとも1つ存在するか否かを判定する。このインターフェイスとは前述したネットワークインターフェイス１がある。例えばネットワークインターフェイス１を用いた方法としてはBluetoothもしくはHTTPプロトコルを用いて通信する方法、またはこれらを組み合わせた方法等がある。受け手の機器がどのようなインターフェイスに対応しているかは表示対象デバイスプロパティ保存モジュール６の中の情報を用いて判定する。

　ステップＳ２４は、双方向のデータ送受信が可能なインターフェイスにおいて接続を試行する。次に、立体視映像再生エンジン１５は、接続対象の機器への接続を確認する。機器への接続は例えば、ネゴシエーションにネットワークインターフェイス１を用いる場合はBlueToothまたはHTTPプロトコルを用いて通信を行い対象機器との接続が成功するかを確認する。ネゴシエーションにマルチメディアケーブルインターフェイス４を用いる場合は物理的に接続されているか否かを確認する。ステップＳ２３、ステップＳ２４の何れもがYesであれば、機器性能の交換に移行し、ステップＳ２３、ステップＳ２４の何れかがNoであれば、奥行き調整の実施に移行する。

　図２１は、機器性能の交換手順を示すフローチャートである。送り手の処理手順としては、性能情報を作成し(ステップＳ３１)、性能情報を受け手に送信して(ステップＳ３２)、受け手からの応答待ち状態になり(ステップＳ３３)、応答情報を受信すれば、応答情報のパージングを行う(ステップＳ３４)というものになる。

　受け手の処理手順としては、ステップＳ４１において性能情報の受信待ちとなり、性能情報を受信すれば、性能情報をパージングし(ステップＳ４２)、自機の性能情報を抽出した後(ステップＳ４３)、自機の性能情報と、受信した性能情報に示される性能情報との比較を行い(ステップＳ４４)、比較結果に応じて奥行き調整機器を決定して(ステップＳ４５)、性能情報に対する応答情報を作成し(ステップＳ４６)、応じて情報を送信するというものになる(ステップＳ４７)。

　＜奥行き調整を行う機器の選択＞
　図２２は、奥行き調整を行う機器の選択手順を示すフローチャートである。本フローチャートは、ステップＳ５０～Ｓ５３の判定ステップ群からなり、これらの判定ステップ群において何れの判定ステップがYesになるかによって、決定結果が異なるものになる。

　ステップＳ５０は、送り手、受け手の双方に奥行き調整が存在するかどうかの判定であり、ステップＳ５１は、両機器におけるデプス画像の生成速度が足りているかどうかの判定である。ステップＳ５２は両機器の探索アルゴリズムの性能が同じかどうかの判定であり、ステップＳ５２は、両機器におけるマッチングポイントの探索範囲が同じかどうかの判定である。送り手、受け手のうち一方しか奥行き調整を有していない場合、ステップＳ５４において、その奥行き調整を有している機器で奥行き調整を行う。双方の機器に奥行き調整能力が存在する場合、ステップＳ５１において、双方の機器のマッチングポイント探索の処理速度が足りているかどうかの判定がなされる。一方の機器における処理速度が所定の閾値を上回る場合、ステップＳ５５において、その閾値を上回る処理速度でマッチングポイント探索を行える機器を選択する。

　双方の機器のマッチングポイント探索の処理速度が閾値を上回る場合、ステップＳ５２において、探索アルゴリズムのレベル比較がなされる。一方の機器における探索アルゴリズムのレベルが高い場合、ステップＳ５６においてレベルが高いアルゴリズムをもつ機器が選択される。

　双方の機器の探索アルゴリズムが同じレベルである場合、ステップＳ５３において探索範囲の比較がなされる。一方の機器における探索範囲が広い場合、ステップＳ５７においてその探索範囲が広い側の機器が奥行き調整主体として選択される。

　双方の機器の探索範囲が同じである場合、ステップＳ５８において、マッチング探索の処理速度が高い機器を奥行き調整主体として選択する。双方の機器のマッチング探索の処理速度が同じである場合、表示側の機器を奥行き調整主体として選択する。

　図２３は、奥行き調整処理の処理手順を示すフローチャートである。奥行き調整処理は前述したとおり、非特許文献１やブロックマッチングや非特許文献２のグラフカット等の視差計算処理を用いて視差マップを生成し、その視差マップの各ピクセルに奥行き調整処理を行う機器が予め保持する調整度（例えば１/２）を掛け算し、新しい視差マップを得た後に、その視差マップに対応するデプス画像に基づいて左目画像と右目画像の各ピクセルを水平方向にずらす。

　ステップＳ６１では、応答情報における奥行き調整アルゴリズムと、奥行き調整パラメータとに従い、視差マップを生成し、ステップＳ６２では、視差マップのピクセルに機器組込みの調整度を乗じて新しい視差マップ、デプス画像を得る。ステップＳ６３では、新しい視差マップに対応するデプス画像に基づき、左目画像、右目画像の各ピクセルを水平方向にシフトする。

　図２４は、視差マップ作成の処理手順を示すフローチャートである。ステップＳ７１は、応答情報における調整アルゴリズムの内容判定である。アルゴリズムがブロックマッチングであれば、ステップＳ７２において他方の片目映像における整合領域を水平方向に探索して最整合領域を得る。

　アルゴリズムがセミグローバルマッチングであれば、ステップＳ７３において他方の片目映像における整合領域を、隣接する複数方向の分割領域との整合性を加味して探索し、最整合領域を得る。

　アルゴリズムがグラフカットであれば、ステップＳ７４において映像をオブジェクト毎に分割して、分割領域のそれぞれについて、最整合領域を探索し、最整合領域を得る。

　ステップＳ７５では、最整合領域の水平方向の位置と、片目映像の分割した領域の水平方向の位置との差異を最整合領域の距離としてマップすることで視差マップを得る。

　(第２実施形態)
　第１実施形態において再生の対象とすべきストリームは、ビデオストリーム一種のみに限定して説明したが、本実施形態ではビデオストリーム以外の他のデータを考慮した内部構成を採用する。図２５は、ビデオストリーム以外の他のデータを考慮した内部構成を示す。本図に示すように、第２実施形態にかかる映像処理装置には、イメージデコーダ３０、イメージメモリ３１、シフト部３２、合成部３３a,b、オーディオデコーダ３４が追加される。

　イメージデコーダ３０は、デマルチプレクサ４によって多重分離されたJPG/PNGなどのグラフィックデータをデコードして非圧縮グラフィクスを得る。

　イメージメモリ３１は、デコードにより得られた非圧縮のグラフィクスを格納する。

　シフト部３２は、予め設定されたオフセットでプレーンシフトを実行して左目イメージ、右目イメージを得る。このプレーンシフトは、特許文献１で開示されている技術である。プレーンシフトでは、画面全体をシフトするため、映像内の全てのオブジェクトの奥行きが同様に変化する。結果としては映像の立体感が変更するのではなく、立体的に見える映像の表示位置が、より手前の位置に見えるよう調整されるか、または、より奥の位置に見えるように調整されることになる。

　合成部３３aは、左目画像デコーダ５から出力される左目画像と、シフト部３２が生成した左目イメージとを合成する。

　合成部３３bは、右目画像デコーダ６から出力される右目画像と、シフト部３２が生成した右目イメージとを合成する。

　オーディオデコーダ３４は、デマルチプレク４から出力されたオーディオフレームを復号して、非圧縮形式のオーディオデータを出力する。

　上記構成では、左目画像、右目画像にグラフィクスが合成された合成画像を奥行き調整の対象することができる。このグラフィクスがGUIを表すものなら、GUIの奥行きをも適性なものにすることができる。

　上述したようにシフト部３２は、予め設定されたオフセットでプレーンシフトを実行するものである。よって本実施形態では、このオフセットを増減することによりイメージの飛出し度合を制御する。

　以上のように本実施形態によれば、画像に合成されたイメージについても、表示装置の画面サイズに応じた増減を施すから、画像、イメージの飛出し量を適切にすることができる。

　＜備考＞
　以上、本願の出願時点において、出願人が知り得る最良の実施形態について説明したが、以下に示す技術的トピックについては、更なる改良や変更実施を加えることができる。各実施形態に示した通り実施するか、これらの改良・変更を施すか否かは、何れも任意的であり、実施する者の主観によることは留意されたい。

　（プロパティ取得）
　表示装置におけるプロパティの取得はデバイスネゴシエーション時に行ってもよい。

　（第３の機器による奥行き調整）
　互いに接続し合う2つの機器の何れにも、奥行き調整が存在しない場合、第３の機器に奥行き調整を行わせるのが望ましい。この第３の機器の候補が唯一つ存在するなら、その機器に奥行き調整を行わせる。一方、第３の機器の候補が複数存在するなら、それらの候補機器のうち、何れか1つを奥行き調整主体として選ぶのが望ましい。かかる奥行き調整主体の決定については、往復時間を考慮して決定すべきである。ここでの往復時間とは、未調整の画像データを候補となる機器に転送する時間、候補となる機器から調整済み画像データを受け取る時間から構成される。そして、この往復時間は、転送レートから定められる。よってこの転送レートを比較することでより早く調整済み画像データを入手することができる候補機器がどれであるかを判断することができる。よって、転送レートを比較することで、候補機器のうち、第３の機器となるべきものはどれかを判断することが望ましい。

　（ストリーム供給源のバリエーション）
　立体映像奥行き調整機能を実現するために、ネットワークインターフェイス１、リムーバブルメディア、BD-ROMドライブ３、およびマルチメディアケーブルインターフェイス４を全て備える必要はない。少なくとも２つの機器の接続により、立体視映像の再生および表示が行えること、自身の機器または受け手の機器から立体視映像に関する情報を取得できのであれば、ネットワークインターフェイス１、リムーバブルメディア、BD-ROMドライブ３、マルチメディアケーブルインターフェイス４の全てを一方の機器が必ずしも備える必要はなく、外部から情報を取り込むためのインターフェイスとして、上述のインターフェイスのうちの必要なものみを備える構成であっても構わない。

　本実施の形態においては、立体視映像を含むストリームデータの取り込みはネットワークインターフェイス１、リムーバブルメディア、ディスクドライブ２aを介して取り込み、取り込んだストリームデータの伝送はマルチメディアケーブルインターフェイス4を介して行い、機器間のネゴシエーションはネットワークインターフェイスを介して行うものを例にして説明を行うが、これに限定をされるものではない。

　例えば、マルチメディアケーブルインターフェイス4を用いた機器間の接続が例えばHDMI接続によりなされている場合には、HDMIの拡張領域を用いてネゴシエーションを行うのであれば、ネットワークインターフェイスを用いた接続は必ずしも必要はない。

　また例えば、大型ディスプレイ４００、中型テレビ３００、あるいは携帯端末６００は、BD-ROMドライブ３を必ずしも備える必要はない。

　（リムーバブルメディアのバリエーション）
　リムーバブルメディアは機器間の再生対象のコンテンツやりとりに使われる一種の手段である。想定されるユースケースとして、例えば光ディスクに保存された大型ディスプレイ用のコンテンツをリモートにある小型ディスプレイを搭載した別の機器で再生する際に立体映像の送信手段としてリムーバブルメディアを利用することを想定する。別の立体映像のやりとりの手段が搭載されているならば、リムーバブルメディアは必ずしも本装置に搭載する必要はない。

　（インターフェイスのバリエーション）
　立体映像奥行きのネゴシエーション方法としてマルチメディケーブルインターフェイスを用いる場合は、本ネットワークインターフェイス１は必ずしも搭載される必要はない。

　（仮想ファイルシステムの適用）
　実施形態１では、ストリームデータまたはJPG/PNGなどの立体視映像ファイルをネットワークインターフェイス１、リムーバブルメディア、ディスクドライブ２aを介して取得する構成について説明をしたが、これに限定をされるものではない。例えば、図示しない仮想ファイルシステムを採用する機器（例えば、再生装置２００など）においては、仮想ファイルシステムを介してリムーバブルメディアまたは、ディスクドライブ２aからストリームデータまたはJPG/PNGなどの立体視映像ファイルなどの情報を取得することができる。

　仮想ファイルシステムというのはBD-ROM１００またはハードディスクまたはリムーバブルメディアを仮想的に組み合わせて、情報を要求する要求元からはあたかも１つの記録媒体に記録されているかのように見える機能である。

　これを実現するためには、例えば仮想ファイルシステムは立体視映像に係るデータとは別に、仮想ファイルシステムに対して要求するファイルパスを含むアクセス先のデータ情報と、このアクセス先に対応するデータが実際に存在する場所を示すファイルパスとに関するアクセス先変換情報を保持している。

　仮想ファイルシステムに対してアクセス要求をすると、仮想ファイルシステムはアクセス先変換情報を参照して、アクセス先をアクセス要求したデータが存在するファイルパスに変換して、アクセスを行わせるものである。

　これにより、例えば、仮想ファイルシステムに対して要求するファイルパスを仮想的に設定した１の記録媒体の中にあるかのようなファイルパスとしてやれば、要求元は、アクセス要求を行うデータがリムーバブルメディア、ディスクドライブ等の別々のデバイスあるのを意識することなくアクセス要求を行うことが可能となる。

　また、立体度調整する機能が表示装置側に備わっていてもよい。更に、本実施形態では、眼鏡を必要として立体視を行う装置について説明したが、眼鏡を必要とせずに立体視可能な裸眼立体視にも適用してもよい。

　（奥行き調整主体のバリエーション）
　実施形態１における奥行き調整主体の決定は単なる一例であり、中型テレビ３００、あるいは携帯端末４００のハードウェア性能が高く、中型テレビ３００、あるいは携帯端末４００で奥行き調整処理を行っても、立体視映像の表示に支障をきたさないのであれば、中型テレビ３００、あるいは携帯端末４００で奥行き調整処理を行っても良い。

　（携帯端末としての実施）
　携帯端末は、立体視写真ファイルから圧縮左目画像データ、圧縮右目画像データを取り出して再生に供する。ここでの立体視写真ファイルにはMPOファイルがある。MPO(Multi picture object)ファイルとは、任天堂株式会社の3DS、富士フィルム FinePix REAL 3D W1およびW3カメラにより撮影可能なファイルであり、撮影日、サイズ、圧縮左目画像、圧縮右目画像を含み、また撮影地に関する地理的情報として地理的緯度、経度、標高、方角、傾斜を含む。圧縮左目画像、圧縮右目画像は、JPEG形式で圧縮されたデータである。よって携帯端末４００は、JPEG形式のデータの伸長を行うことで右目画像、左目画像を得る。

　（BD-ROM再生装置としての実施）
　読出部は、記録媒体から立体視インターリーブドストリームファイルを読み出す。読出部は、立体視インターリーブドストリームファイルの読み出しにあたって、3Dストリーム情報ファイルにおけるクリップベース情報内のエクステントスタートポイント情報と、クリップディペンデント情報内のエクステントスタートポイント情報とを用いて、立体視インターリーブドストリームファイルを、メインTSと、サブTSとに分割して、別々のリードバッファに格納するという処理を行う。この分割は、クリップディペンデント情報におけるエクステントスタートポイント情報に示されているソースパケット番号のパケット数だけ、立体視インターリーブドストリームファイルからソースパケットを取り出してメインTSに追加するという処理と、クリップベース情報におけるエクステントスタートポイント情報に示されているソースパケット番号のパケット数だけ、立体視インターリーブドストリームファイルからソースパケットを取り出してサブTSに追加するという処理とを繰り返すことでなされる。

　左目画像デコーダ５及び右目画像デコーダ６は何れも、コーデッドデータバッファ、デコードデータバッファを備え、ディペンデントビュービデオストリームを構成するビューコンポーネントをコーデッドデータバッファにプリロードした上、ベースビュービデオストリーム内のクローズGOPの先頭に位置するデコーダリフレッシュを意図したピクチャタイプ(IDRタイプ)のビューコンポーネントをデコードする。このデコードにあたって、コーデッドデータバッファ、デコードデータバッファを全クリアする。こうしてIDRタイプのビューコンポーネントをデコードした後、左目画像デコーダ５及び右目画像デコーダ６は、このビューコンポーネントとの相関性に基づき圧縮符号化されているベースビュービデオストリームの後続のビューコンポーネント、及び、ディペンデントビュービデオストリームのビューコンポーネントをデコードする。デコードによって当該ビューコンポーネントについての非圧縮のピクチャデータが得られれば、デコードデータバッファに格納し、かかるピクチャデータを参照ピクチャとする。

　この参照ピクチャを用いて、左目画像デコーダ５及び右目画像デコーダ６はベースビュービデオストリームの後続のビューコンポーネント、及び、ディペンデントビュービデオストリームのビューコンポーネントについて、動き補償を行う。動き補償によって、ベースビュービデオストリームの後続のビューコンポーネント、及び、ディペンデントビュービデオストリームのビューコンポーネントについて、非圧縮のピクチャデータが得られれば、これらをデコードデータバッファに格納し参照ピクチャとする。以上のデコードは、個々のアクセスユニットのデコードタイムスタンプに示されているデコード開始時刻が到来時になされる。

　（テレビ放送受信装置としての構成）
　表示装置をテレビ放送受信装置として構成するには、サービス受付部と、受信部と、分離部と、表示判定部とを表示装置に追加する必要がある。

　サービス受付部は、サービス選択を管理する。具体的には、リモコン信号からのユーザの指示やアプリからの指示によるサービスの変更要求を受け取り、受信部に通知する。

　受信部は、選択されたサービスが配信されているトランスポートストリームの搬送波の周波数における信号をアンテナやケーブルから受信し、復調する。そして分離部に復調したTSを送出する。

　受信部は、受信された放送波に対してIQ検波を行うチューナユニットと、IQ検波がなされた放送波に対してQPSK復調、VSB復調、QAM復調を行う復調部と、トランスポートデコーダとを含む。

　多重分離部は、受信したトランスポートストリームから、PSIなどのシステムパケットを抽出し、抽出されたシステムパケットの1つであるPMTパケットから、3D＿system＿info＿descriptor、3D＿service＿info＿descriptor、3D＿combi＿info＿descriptorの各ディスクリプタを取得し、表示判定部に通知する。

　表示判定部は、多重分離部から通知される、3D＿system＿info＿descriptor、3D＿service＿info＿descriptor、3D＿combi＿info＿descriptorのそれぞれを参照して、トランスポートストリームのストリーム構成を把握する。そして、カレントの表示モードにおいて、多重分離の対象にすべきTSパケットのPIDを多重分離部に通知する。

　また、表示判定部は、立体視再生方式がフレーム互換方式の場合において、3D＿system＿info＿descriptorの2D＿view＿flagや、3D＿service＿info＿descriptorのframe＿packing＿arrangement＿typeを参照して、表示処理部に対して、左目用画像、右目用画像のどちらを2D再生に用いるか、ビデオストリームが、Side-by-Side方式であるか等を通知する。表示判定部は、多重分離部より抽出された3D＿system＿info＿descriptorの3D＿playback＿typeを参照し、受信したトランスポートストリームの再生方式を判定する。再生方式がサービス互換方式である場合、3D＿system＿info＿descriptorの2D＿independent＿flagを参照し、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか否かを判定する。

　2D＿independent＿flagの値が０の場合、3D＿combi＿info＿descriptorを参照して、ストリーム構成を特定する。トランスポートストリームのストリーム構成が2D/L + R1 + R2である場合、2D/L + R1 + R2のストリームをデコードして左目画像データ、右目画像データの組みを得る。

　トランスポートストリームのストリーム構成が2D/L + Rである場合、2D/L + Rのストリームをデコードして左目画像データ、右目画像データの組みを得る。

　2D＿independent＿flagの値が１の場合、表示判定部は、3D＿combi＿info＿descriptorを参照して、ストリーム構成を特定する。トランスポートストリームのストリーム構成がMPEG2 + MVC(Base) +MVC(Dependent)である場合、MPEG2 + MVC(Base) +MVC(Dependent)のストリームをデコードして左目画像データ、右目画像データの組みを得る。

　トランスポートストリームのストリーム構成がMPEG2 + AVC + AVCである場合、MPEG2 + AVC + AVCのストリームをデコードして左目画像データ、右目画像データの組みを得る。

　再生方式がフレーム互換方式である場合、3D＿system＿info＿descriptorの2D＿independent＿flagを参照し、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか否かを判定する。2D＿independent＿flagの値が0の場合、2D/SBSのストリームをデコードして左目画像データ、右目画像データの組みを得る。

　2D＿independent＿flagの値が１の場合、2D + SBSのストリームをデコードして左目画像データ、右目画像データの組みを得る。frame＿packing＿arrangement＿typeがSide-by-Side形式である場合、左右に存在する左目用画像、右目用画像をクロップアウトすることで、3D再生を行う。frame＿packing＿arrangement＿typeがSide-by-Side形式でない場合、TopBottom方式と特定し、上下に存在する左目用画像、右目用画像をクロップアウトすることで、3D再生を行う。

　以上の判定で特定されたストリーム構成に従い、ビデオストリームをデコードすることにより、左目画像データ、右目画像データが得られることになる。

　（立体視映像コンテンツの範囲）
　各実施の形態において、奥行き調整の対象となる立体視映像コンテンツは、光ディスク、半導体メモリーカード等、あらゆるパッケージメディアに記録されるコンテンツとなる。本実施の形態の記録媒体は予め必要なデータが記録された光ディスク（例えばBD-ROM、DVD-ROMなどの既存の読み取り可能な光ディスク）を例に説明をしたが、これに限定される必要はなく、例えば、放送またはネットワークを経由して配信された本発明の実施に必要なデータを含んだ立体視映像コンテンツであってもよい。

　光ディスクへ書き込む機能を有する端末装置（例えば左記の機能は再生装置に組み込まれていても良いし、再生装置とは別の装置であってもよい）を利用して書き込み可能な光ディスク（例えばBD-RE、DVD-RAMなどの既存の書き込み可能な光ディスク）に記録し、この記録した光ディスクのコンテンツを奥行き調整の対象にしても本発明の実施は可能である。

　奥行き調整の対象になるデータは、例えば電子配信を利用して、記録媒体に記録されたデータ、例えば記録媒体１０１に記録されたオリジナルのコンテンツに対応するデータ（例えば、ビデオストリーム、オーディオストリーム、字幕データ、字幕データ、背景画像、GUI、アプリケーション、アプリケーション管理テーブルなど）の全部若しくは一部（例えば再生に必要なデータのアップデートデータ）、または追加コンテンツを配信データであってもよい。

　奥行き調整の対象となるデータを、半導体メモリーとしてSDメモリーカードに記録する形態について説明する。再生装置が備えるスロットに挿入されたSDメモリーカードに配信データを記録する場合、まず配信データを蓄積する配信サーバ（図示せず）へ配信データの送信を要求する。このとき再生装置は挿入したSDメモリーカードを一意に識別するための識別情報（例えば個々のSDメモリーカード固有の識別番号、より具体的には、例えばSDメモリーカードのシリアル番号等）をSDメモリーカードから読み出して、読み出した識別情報を配信要求とともに、配信サーバへ送信する。

　この、SDメモリーカードを一意に識別するための識別情報は例えば上述のボリュームIDに相当する。

　一方、配信サーバでは、配信するデータのうち必要なデータ（例えばビデオストリーム、オーディオストリーム等）が暗号解読に必要な鍵（例えばタイトルキー）を用いて暗号の解除ができるように暗号化がなされてサーバ上に格納されている。

　例えば配信サーバは、秘密鍵を保持しており、半導体メモリーカードの固有の識別番号のそれぞれに対して異なる公開鍵情報が動的に生成できるように構成されている。

　また、配信サーバは、暗号化されたデータの解読に必要な鍵（タイトルキー）自身に対して暗号化ができるように構成されている（つまり暗号化タイトルキーを生成できるように構成されている）。

　生成される公開鍵情報は例えば上述のMKB、ボリュームID及び暗号化タイトルキーに相当する情報を含む。暗号化されたデータは例えば半導体メモリー固有の識別番号、後述する公開鍵情報に含まれる公開鍵本体、および再生装置に予め記録されたデバイスキーの組み合わせが正しければ、暗号解読に必要な鍵（例えばデバイスキー、MKB及び半導体メモリー固有の識別番号を元に、暗号化タイトルキーを復号して得られるタイトルキー）が得られ、この得られた暗号解読に必要な鍵（タイトルキー）を用いて、暗号化されたデータの解読ができるものである。

　次に、再生装置は、受信した公開鍵情報と配信データをスロットに挿入した半導体メモリーカードの記録領域に記録する。

　次に、半導体メモリーカードの記録領域に記録した公開鍵情報と配信データに含まれるデータのうち暗号化したデータを復号して再生する方法の一例について説明をする。　受信した公開鍵情報は例えば公開鍵本体（例えば上述のMKB及び暗号化タイトルキー）、署名情報、半導体メモリーカードの固有の識別番号、および無効にすべきデバイスに関する情報を示すデバイスリストが記録されている。

　署名情報には例えば、公開鍵情報のハッシュ値を含む。デバイスリストには例えば、不正に再生がなされる可能性があるデバイスに関する情報が記載されている。これは例えば再生装置に予め記録されたデバイスキー、再生装置の識別番号、または再生装置が備えるデコーダの識別番号といったように、不正に再生される可能性がある装置、装置に含まれる部品、または機能（プログラム）といったものを一意に特定するための情報である。

　半導体メモリーカードの記録領域に記録した配信データのうち、暗号化されたデータの再生に関し、説明をする。まず、公開鍵本体を利用して暗号化したデータを復号する前に復号鍵本体を機能させてよいかどうかに関するチェックを行う。具体的には、
（１）　公開鍵情報に含まれる半導体メモリー固有の識別情報と半導体メモリーカードに予め記憶されている固有の識別番号とが一致するかどうかのチェック
（２）　再生装置内で算出した公開鍵情報のハッシュ値と署名情報に含まれるハッシュ値が一致するかのチェック
（３）　公開鍵情報に含まれるデバイスリストに示される情報に基づいて、再生を行う再生装置が不正な再生が可能かどうかのチェック（例えば公開鍵情報に含まれるデバイスリストに示されるデバイスキーと、再生装置に予め記憶されたデバイスキーが一致するかどうかのチェック）
　を行なう。これらのチェックを行なう順番どのような順序で行なってもよい。

　上述の（１）～（３）のチェックにおいて、公開鍵情報に含まれる半導体メモリー固有の識別情報と半導体メモリーに予め記憶されている固有の識別番号とが一致しない、再生装置内で算出した公開鍵情報のハッシュ値と署名情報に含まれるハッシュ値が一致しない、または、再生を行う再生装置が不正に再生される可能性があると判断した、のいずれかを満足すれば、再生装置は、暗号化されたデータの解読がなされないように制御する。

　また、公開鍵情報に含まれる半導体メモリーカードの固有の識別情報と半導体メモリーカードに予め記憶されている固有の識別番号とが一致し、かつ再生装置内で算出した公開鍵情報のハッシュ値と署名情報に含まれるハッシュ値が一致し、かつ再生を行う再生装置が不正に再生される可能性がないと判断したのであれば、半導体メモリー固有の識別番号、公開鍵情報に含まれる公開鍵本体、および再生装置に予め記録されたデバイスキーの組み合わせが正しいと判断し、暗号解読に必要な鍵（デバイスキー、MKB及び半導体メモリー固有の識別番号を元に、暗号化タイトルキーを復号して得られるタイトルキー）を用いて、暗号化されたデータの解読を行なう。

　例えば暗号化されたデータがビデオストリーム、オーディオストリームである場合、ビデオデコーダは上述の暗号解読に必要な鍵（暗号化タイトルキーを復号して得られるタイトルキー）を利用してビデオストリームを復号し（デコードし）、オーディオデコーダは、上述の暗号解読に必要な鍵を利用してオーディオストリームを復号する（デコードする）。

　このように構成をすることにより、電子配信時において不正利用される可能性がある再生装置、部品、機能（プログラム）などが分っている場合、これらを識別するための情報をデバイスリストに示して、配信するようにすれば、再生装置側がデバイスリストに示されているものを含むような場合には公開鍵情報（公開鍵本体）を用いた復号を抑止できるようにできるため、半導体メモリー固有の識別番号、公開鍵情報に含まれる公開鍵本体、および再生装置に予め記録されたデバイスキーの組み合わせが、たとえ正しくても、暗号化されたデータの解読がなされないように制御できるため、不正な装置上での配信データの利用を抑止することが可能となる。

　また半導体メモリーカードに予め記録されている半導体メモリーカードの固有の識別子は秘匿性の高い記録領域に格納するような構成を採用するのが望ましい。何故ならば、半導体メモリーカードに予め記録されている固有の識別番号（例えばSDメモリーカードを例にすればSDメモリーカードのシリアル番号等）は改竄がなされると、違法コピーが容易になされてしまう。何故ならば複数の半導体メモリーカードには、それぞれ異なる固有の識別番号が割り当てられているが、この固有の識別番号が同一となるように改竄がなされてしまえば、上述の（１）の判定が意味を成さなくなり、改竄がなされた数に相当する違法コピーがなされてしまう可能性があるからである。従って、半導体メモリーカードの固有の識別番号といった情報は秘匿性が高い記録領域に記録するような構成を採用するのが望ましい。

　このような構成を実現するために、例えば半導体メモリーカードは、半導体メモリーカードの固有の識別子と言った秘匿性の高いデータを記録するための記録領域を通常のデータを格納する記録領域（第１の記録領域と称す）とは別の記録領域（第２の記録領域と称す）に設けること、およびこの第２の記録領域へのアクセスをするための制御回路を設けるとともに、第２の記録領域へのアクセスには制御回路を介してのみアクセスできるような構成とする。

　例えば、第２の記録領域に記録されているデータは暗号化がなされて、記録されており、制御回路は、例えば暗号化されたデータを復号するための回路が組み込まれている。制御回路へ第２の記録領域へのデータのアクセスが合った場合には、暗号を復号し、復号したデータを返すように構成すれば良い。または、制御回路は第２の記録領域に記録されているデータの格納場所の情報を保持しており、データのアクセスの要求があれば、対応するデータの格納場所を特定し、特定した格納場所から読み取ったデータを返すような構成としても良い。

　再生装置上で動作するアプリケーションで、電子配信を利用して半導体メモリーカードに記録する要求するアプリケーションは、メモリーカードＩ／Ｆを介して制御回路へ第２の記録領域に記録されたデータ（例えば半導体メモリ固有の識別番号）へのアクセス要求を発行すると、要求を受けた制御回路は第２の記録領域に記録されたデータを読み出して再生装置上で動作するアプリケーションへ返す。この半導体メモリーカードの固有の識別番号とともに必要なデータの配信要求を配信サーバに要求し、配信サーバから送られる公開鍵情報、および対応する配信データを第１の記録領域に記録するように構成すればよい。また再生装置上で動作するアプリケーションで、電子配信を利用して半導体メモリーカードに記録を要求するアプリケーションは、メモリーカードＩ／Ｆを介して制御回路へ第２の記録領域に記録されたデータ（例えば半導体メモリ固有の識別番号）へのアクセス要求を発行する前に、アプリケーションの改竄がされていないかを事前にチェックすることが望ましい。改竄のチェックには例えば既存のＸ.５０９仕様に準拠したデジタル証明書を利用したチェックなどを利用しても良い。また、半導体メモリーカードの第１の記録領域に記録された配信データへのアクセスは半導体メモリーカードが有する制御回路を介してアクセスする必要は必ずしもない。

　　（集積回路の実施形態）
　各実施形態に示した再生装置のハードウェア構成のうち、記録媒体のドライブ部や、外部とのコネクタ等、機構的な部分を排除して、論理回路や記憶素子に該当する部分、つまり、論理回路の中核部分をシステムLSI化してもよい。システムLSIとは、高密度基板上にベアチップを実装し、パッケージングしたものをいう。複数個のベアチップを高密度基板上に実装し、パッケージングすることにより、あたかも1つのLSIのような外形構造を複数個のベアチップに持たせたものはマルチチップモジュールと呼ばれるが、このようなものも、システムLSIに含まれる。

　ここでパッケージの種別に着目するとシステムLSIには、QFP(クッドフラッドアレイ)、PGA(ピングリッドアレイ)という種別がある。QFPは、パッケージの四側面にピンが取り付けられたシステムLSIである。PGAは、底面全体に、多くのピンが取り付けられたシステムLSIである。

　これらのピンは、電源供給やグランド、他の回路とのインターフェイスとしての役割を担っている。システムLSIにおけるピンには、こうしたインターフェイスの役割が存在するので、システムLSIにおけるこれらのピンに、他の回路を接続することにより、システムLSIは、再生装置の中核としての役割を果たす。

　（プログラムの実施形態）
　各実施形態に示したプログラムは、以下のようにして作ることができる。先ず初めに、ソフトウェア開発者は、プログラミング言語を用いて、各フローチャートや、機能的な構成要素を実現するようなソースプログラムを記述する。この記述にあたって、ソフトウェア開発者は、プログラミング言語の構文に従い、クラス構造体や変数、配列変数、外部関数のコールを用いて、各フローチャートや、機能的な構成要素を具現するソースプログラムを記述する。

　記述されたソースプログラムは、ファイルとしてコンパイラに与えられる。コンパイラは、これらのソースプログラムを翻訳してオブジェクトプログラムを生成する。

　コンパイラによる翻訳は、構文解析、最適化、資源割付、コード生成といった過程からなる。構文解析では、ソースプログラムの字句解析、構文解析および意味解析を行い、ソースプログラムを中間プログラムに変換する。最適化では、中間プログラムに対して、基本ブロック化、制御フロー解析、データフロー解析という作業を行う。資源割付では、ターゲットとなるプロセッサの命令セットへの適合を図るため、中間プログラム中の変数をターゲットとなるプロセッサのプロセッサが有しているレジスタまたはメモリに割り付ける。コード生成では、中間プログラム内の各中間命令を、プログラムコードに変換し、オブジェクトプログラムを得る。

　ここで生成されたオブジェクトプログラムは、各実施形態に示したフローチャートの各ステップや、機能的構成要素の個々の手順を、コンピュータに実行させるような1つ以上のプログラムコードから構成される。ここでプログラムコードは、プロセッサのネィティブコード、JAVA(登録商標)バイトコードというように、様々な種類がある。プログラムコードによる各ステップの実現には、様々な態様がある。外部関数を利用して、各ステップを実現することができる場合、この外部関数をコールするコール文が、プログラムコードになる。また、1つのステップを実現するようなプログラムコードが、別々のオブジェクトプログラムに帰属することもある。命令種が制限されているRISCプロセッサでは、算術演算命令や論理演算命令、分岐命令等を組合せることで、フローチャートの各ステップを実現してもよい。

　オブジェクトプログラムが生成されるとプログラマはこれらに対してリンカを起動する。リンカはこれらのオブジェクトプログラムや、関連するライブラリプログラムをメモリ空間に割り当て、これらを１つに結合して、ロードモジュールを生成する。こうして生成されるロードモジュールは、コンピュータによる読み取りを前提にしたものであり、各フローチャートに示した処理手順や機能的な構成要素の処理手順を、コンピュータに実行させるものである。かかるコンピュータプログラムを非一時的なコンピュータ読取可能な記録媒体に記録してユーザに提供してよい。

　（ラインスキャン回路による実現性）
　またDIBRをラインスキャン回路で実現することができる。ラインスキャン回路とは、フレームメモリに格納された一画面分の画素(1920×1080)の集りを横1920画素ずつ読み出してデジタル映像信号に変換するハードウェア素子である。かかるラインスキャン回路は、１行分の画素データを格納しうるライン画素メモリと、フィルタ回路、パラレル／シリアル変換を行う変換回路によって実現することができる。上述したようにDIBRは、デプス画像の個々の画素の輝度を視差に変換して画素のシフトを行う処理である。ラインメモリに読み出された全周囲画像の一ライン分の画素の座標を、全周囲画像に対するデプス画像における対応するラインの奥行きに応じた画素数だけ横方向に移動すれば、デプス画像における個々の示される奥行きをもたらす他視点からの視点映像を作成することができる。

　本発明は、立体視映像、もしくはストリームから所得した立体視映像を再生する再生装置または立体視映像もしくは立体視映像を表示する表示装置に適用可能である。

　　　　　１　　ネットワークインターフェイス
１９　機器間インターフェイス
　　　　１８　　UO検知モジュール
　　　　１６　　表示対象デバイスプロパティ保存モジュール
　　　　１５　　コンテンツプロパティ保存モジュール
　　　　１７　　奥行き調整判定モジュール
　　　　２３　　通信情報作成モジュール
　　　　２０　　パーサー
　　　　２４　　性能比較モジュール
　　　　２５　　応答情報作成モジュール
　　　１００　　映像再生装置
　　　２００　　大型テレビ
　　　３００　　中型テレビ
　　　４００　　携帯端末
　

Claims

　2以上の視点映像データの送受信を行うのと共に、2以上の視点映像データから構成される立体視映像の奥行きを調整する映像処理装置であって、
　2以上の視点映像データの送受信を行う際、データ送受信の相手側となる装置との接続を行う機器間インターフェイスと、
　データ送受信の相手側となる装置と、自装置との間で所定の通信シーケンスを実行することにより、どちらの装置が立体視映像における奥行きを調整するかを決定する決定手段と、
　通信シーケンスにより奥行き調整を自装置側で行うと決定した場合、データ送受信の相手側から送出された2以上の視点映像データ、又は、データ送受信の相手側に送出すべき2以上の視点映像データに対して奥行き調整を施す処理手段とを備え、
　前記奥行き調整は、
　1の視点映像データを構成する画素群とマッチングするマッチング画素群を他の視点映像データから探索して、1の視点映像データを構成する画素群と、他の視点映像データを構成する画素群との間の視差を検出する処理を含み、　
　前記通信シーケンスは、
　自装置と、データ送受信の相手側との間で、マッチング画素群の探索性能を示す性能情報の送受信を行う送受信フェーズと、自装置におけるマッチング画素群の探索性能と、データ送受信の相手側におけるマッチング画素群の探索性能との比較を行う比較フェーズとを含む
　ことを特徴とする映像処理装置。
　前記奥行き調整は、検出された視差に基づいてデプス画像を生成して、2以上の視点映像データが表示されるべき画面に応じてデプス画像の補正を行い、補正が施されたデプス画像をベースにしたデプスイメージベースドレンダリングを、1の視点映像に対して施すことにより、修正された視差を有する2以上の視点映像を得る処理を含む
　ことを特徴とする請求項１記載の映像処理装置。
個々の機器による奥行き調整におけるマッチング画素群の探索には、複数のレベルがあり、
　第１レベルは、1の視点映像に対して画像認識を行い、視点映像データに対する画像認識で得られたオブジェクトをマッチング画素群とするレベルであり、
　第２レベルは、1つの視点映像データを走査することでマッチング画素群を探索するレベルであり、
　前記性能情報は、データ送受信の相手側となる装置又は自装置によるマッチング画素群探索が、第１レベル、第２レベルの何れであるかを示し、
　前記通信シーケンスにおける決定フェーズは、データ送受信の相手側となる装置と、自装置とでマッチング画素群の探索レベルが同一かどうかを判定して、もし異なるなら、データ送受信の相手側となる装置及び自装置のうち探索レベルが高い側を奥行き調整主体として決定する
　ことを特徴とする請求項１記載の映像処理装置。
　データ送受信の相手側となる装置及び自装置による奥行き調整におけるマッチング画素群の探索は、その探索範囲が異なり、
　性能情報は、データ送受信の相手側となる装置又は自装置によるマッチング画素群探索の探索範囲を画素数を用いて示し、
　前記通信シーケンスにおける決定フェーズは、データ送受信の相手側となる装置と、自装置とでマッチング画素群の探索レベルが同一かであるなら、データ送受信の相手側となる装置及び自装置のうち、探索範囲が広い側のものを奥行き調整主体として決定する
　ことを特徴とする請求項３記載の映像処理装置。
　第２のレベルには、ブロックマッチングによりマッチング画素群の探索を行うものと、セミグローバルマッチングによりマッチング画素群の探索を行うものとがあり、
　前記セミグローバルマッチングによるマッチング画素群の探索は、ブロックマッチングによるマッチング画素群の探索よりもレベルが高い
　ことを特徴とする請求項４記載の映像処理装置。
前記映像処理装置は、表示装置であり、
　前記データ送受信の相手側となる装置は、立体視撮影部を具備した携帯機器であり、
　前記2以上の視点映像データは、立体視撮影部により得られた左目写真データ、右目写真データである
　ことを特徴とする請求項１記載の映像処理装置。
前記映像処理装置は、表示装置であり、
　前記データ送受信の相手側となる装置は、記録媒体に記録された立体視映像コンテンツを再生する再生装置であり、
　前記2以上の視点映像データは、再生装置が記録媒体に記録された立体視映像コンテンツを再生することで得られる
　ことを特徴とする請求項１記載の映像処理装置。
前記映像処理装置は、記録媒体に記録された立体視映像コンテンツを再生する再生装置であり、
　データ送受信の相手側となる装置は、表示装置であり、
　前記2以上の視点映像データは、再生装置が記録媒体に記録された立体視映像コンテンツを再生することで得られる
　ことを特徴とする請求項１記載の映像処理装置。
2以上の映像処理装置から構成されるシステムであって、
　各映像処理装置は、2以上の視点映像データを送受信すると共に、2以上の視点映像データから構成される立体視映像の奥行きを調整するものであり、
　各映像処理装置は、
　2以上の視点映像データの送受信を行う際、データ送受信の相手側となる装置との接続を行う機器間インターフェイスと、
　データ送受信の相手側となる装置と、自装置との間で所定の通信シーケンスを実行することにより、どちらの装置が立体視映像における奥行きを調整するかを決定する決定手段と、
　通信シーケンスにより奥行き調整を自装置側で行うと決定した場合、データ送受信の相手側から送出された2以上の視点映像データ、又は、データ送受信の相手側に送出すべき2以上の視点映像データに対して奥行き調整を施す処理手段とを備え、
　前記奥行き調整は、
　1の視点映像データを構成する画素群とマッチングするマッチング画素群を他の視点映像データから探索して、1の視点映像データを構成する画素群と、他の視点映像データを構成する画素群との間の視差を検出する処理を含み、　
　前記通信シーケンスは、
　自装置と、データ送受信の相手側との間で、マッチング画素群の探索性能を示す性能情報の送受信を行う送受信フェーズと、自装置におけるマッチング画素群の探索性能と、データ送受信の相手側におけるマッチング画素群の探索性能との比較を行う比較フェーズとを含む
　ことを特徴とするシステム。
　2以上の視点映像データの送受信を行うのと共に、2以上の視点映像データから構成される立体視映像の奥行きを調整する映像処理方法であって、
　2以上の視点映像データの送受信を行う際、データ送受信の相手側となる機器との接続を行う機器間接続ステップと、
　データ送受信の相手側となる機器と、自機器との間で所定の通信シーケンスを実行することにより、どちらの機器が立体視映像における奥行きを調整するかを決定する決定ステップと、
　通信シーケンスにより奥行き調整を自機側で行うと決定した場合、データ送受信の相手側から送出された2以上の視点映像データ、又は、データ送受信の相手側に送出すべき2以上の視点映像データに対して奥行き調整を施す処理ステップとを含み、
　前記奥行き調整は、
　1の視点映像データを構成する画素群とマッチングするマッチング画素群を他の視点映像データから探索して、1の視点映像データを構成する画素群と、他の視点映像データを構成する画素群との間の視差を検出する処理を含み、　
　前記通信シーケンスは、
　自機と、データ送受信の相手側との間で、マッチング画素群の探索性能を示す性能情報の送受信を行う送受信フェーズと、自機におけるマッチング画素群の探索性能と、データ送受信の相手側におけるマッチング画素群の探索性能との比較を行う比較フェーズとを含む
　ことを特徴とする映像処理方法。
　2以上の視点映像データの送受信を行うのと共に、2以上の視点映像データから構成される立体視映像の奥行きを調整する処理を機器内蔵のコンピュータに実行させる映像処理プログラムであって、
　2以上の視点映像データの送受信を行う際、データ送受信の相手側となる機器との接続を行う機器間接続ステップと、
　データ送受信の相手側となる機器と、自機器との間で所定の通信シーケンスを実行することにより、どちらの機器が立体視映像における奥行きを調整するかを決定する決定ステップと、
　通信シーケンスにより奥行き調整を自機側で行うと決定した場合、データ送受信の相手側から送出された2以上の視点映像データ、又は、データ送受信の相手側に送出すべき2以上の視点映像データに対して奥行き調整を施す処理ステップとをコンピュータに実行させ
　前記奥行き調整は、
　1の視点映像データを構成する画素群とマッチングするマッチング画素群を他の視点映像データから探索して、1の視点映像データを構成する画素群と、他の視点映像データを構成する画素群との間の視差を検出する処理を含み、　
　前記通信シーケンスは、
　自機と、データ送受信の相手側との間で、マッチング画素群の探索性能を示す性能情報の送受信を行う送受信フェーズと、自機におけるマッチング画素群の探索性能と、データ送受信の相手側におけるマッチング画素群の探索性能との比較を行う比較フェーズとを含む
　ことを特徴とする映像処理プログラム。