JP5020947B2

JP5020947B2 - 画像及び関連する深さデータの結合されたやり取り

Info

Publication number: JP5020947B2
Application number: JP2008517669A
Authority: JP
Inventors: ペーフンケ，エリック; エーウェーベーケルス，ヘンリキュス; ブラスペニング，ラルフ; フェルブルッフ，ライナウト
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2005-06-23
Filing date: 2006-06-20
Publication date: 2012-09-05
Anticipated expiration: 2026-06-20
Also published as: CN101204097A; EP1897380B1; PL1897380T3; US8189034B2; ES2557476T3; JP2008544681A; WO2006137006A3; RU2409008C2; WO2006137006A2; CN101204097B; US20100214393A1; EP1897380A2; RU2008102383A

Description

本発明は、画像データ及び関連する深さデータの結合されたやり取りの方法に関する。また、本発明は、画像データ及び関連する深さデータの結合されたやり取りの送信ユニットに関する。
さらに、本発明は、係る送信ユニットを含む画像処理装置に関する。
さらに、本発明は、画像データ及び関連する深さデータの結合されたやり取りの受信ユニットに関する。
さらに、本発明は、係る受信ユニットを含むマルチビュー表示装置に関する。

ディスプレイデバイスの導入以降、現実的な３次元表示装置は、多くの人にとっての夢である。係る表示装置につながる多くの原理が調査されている。幾つかの原理は、所定のボリュームで現実的な３次元のオブジェクトを形成するのを試みる。たとえば、A.Sullivanによる文献“Solid state Multi-planar Volumetric Display”proceedings of SID’03, 1531-1533, 2003に開示された表示装置では、ビジュアルデータは、高速プロジェクタによりプレーンのアレイで配置される。それぞれのプレーンは、スイッチャブルディヒューザである。プレーン数が十分に多い場合、人間の脳は、ピクチャを統合し、現実的な３次元のオブジェクトを観察する。この原理によって、視聴者は、ある範囲内でオブジェクトの周囲を見ることができる。この表示装置では、全てのオブジェクトは、（半）透明である。

多数の他の原理は、両眼視差（binocular disparity）に基づいて３次元の表示装置を作成するのを試みる。これらのシステムでは、見る人の左及び右の目は、別の画像を知覚し、結果的に、見る人は３次元画像を知覚する。これらのコンセプトの概要は、D.F.McAllister, Princeton University Press, 1993による書籍“Stereo Computer Graphics and Other True 3-D Technologies”で発見することができる。最初の原理は、たとえばＣＲＴと共にシャッターグラスを使用する。奇数フレームが表示された場合、左目について光はブロックされ、偶数フレームが表示された場合、右目について光はブロックされる。

更なる機器の必要なしに３次元を表示する表示装置は、オートステレオスコピック表示装置と呼ばれる。

最初のグラスフリーな表示装置は、見る人の左目と右目に向けられる光のコーンを形成するためにバリアを有する。このコーンは、たとえば奇数及び偶数のサブピクセルの列に応答する。これらの列を適切な情報でアドレス指定することで、見る人は、彼が正しいスポットに位置し、３次元画像を知覚することができる場合、彼の左及び右目に異なる画像を得る。

第二のグラスフリーな表示装置は、見る人の左及び右の目に対する奇数及び偶数のサブピクセルの列の光を画像形成するレンズのアレイを有する。

上述されたグラスフリーな表示装置の問題点は、見る人が固定された位置のままである必要があることである。見る人をガイドするため、見る人が正しい位置にあることを示すためのインジケータが示される。たとえば、米国特許第ＵＳ５９８６８０４号を参照されたい。ここでは、バリアプレートは、赤及び緑のｌｅｄと結合される。見る人が良好に位置されるケースでは、彼は緑の光を見て、さもなければ赤の光を見る。

固定された位置で座る見る人を軽減するため、マルチビューのオートステレオスコピック表示装置が提案されている。たとえば、米国特許ＵＳ６００６４４２４及びＵＳ２００００９１２を参照されたい。ＵＳ６００６４４２４及びＵＳ２００００９１２で開示される表示装置は、傾斜したレンチキュラーが使用され、レンチキュラーの幅は、２つのサブピクセルよりも大きい。このように、互いに隣り合う幾つかの画像が存在し、見る人は、左及び右に移動する自由度を有する。

マルチビュー表示装置で３次元のインプレッションを発生するため、異なる仮想的な視点からの画像はレンダリングされる必要がある。これは、多数の入力ビュー又は幾つかの３次元又は深度情報が存在することを必要とする。この深度情報は、マルチビューカメラシステムから記録、発生されるか、従来の２次元ビデオマテリアルから発生される。２次元ビデオから深度情報を発生するため、動きからの構造、フォーカス情報、幾何学的な形状及び動的な閉塞のような、幾つかのタイプの深度の手掛かりを適用することができる。狙いは、密な深さのマップ、すなわち画素当たりの深さの値を発生することである。この深度マップは、深度情報を見る人に与えるためにマルチビュー画像をレンダリングすることにおいて使用される。P.A.Redert, E.A.Hendriks及びJ.Biemondによる文献“Synthesis of multi viewpoint images at non-intermediate positions”Proceedings of International Conference on Acoustics, Speech, and Signal Processing, Vol. IV, ISBN0-8186-7919-0, page2749-2752, IEEE Computer Society, Los Alamitos, California, 1997では、入力画像及び深度マップに基づいて深度情報を抽出し、マルチビュー画像をレンダリングする方法が開示されている。マルチビュー画像は、３次元のインプレッションを形成するため、マルチビュー表示装置により表示される、あるセットの画像である。典型的に、画像のセットは、入力画像に基づいて形成される。これらの画像のうちの１つを作成することは、それぞれの量のシフトで入力画像の画素をシフトすることで行われる。これらの量のシフトは、視差と呼ばれる。したがって、典型的に、それぞれの画素について、対応する視差の値が存在し、視差のマップを互いに形成する。視差の値及び深度の値は、典型的に逆に関連され、すなわちＳ＝α／Ｄであり、ここでＳは視差、αは定数及びＤは深度である。深度マップを形成することは、視差マップを形成することと等価であると考えられる。この明細書では、視差の値及び深度の値は、用語「深さに関連するデータエレメント」により共にカバーされる。

ビデオデータ、すなわち画像信号及び対応する深度データは、様々な画像処理ユニット間でやり取りされる必要があり、最終的に表示装置、特にマルチビュー表示装置に送出される。典型的に、ビデオデータは、ＲＧＢリンクによりやり取りされる。これは、３つの相関されるデータストリームであって、分離されるデータストリームは、３つのチャネルにより転送されることを意味する。係るＲＧＢリンクに基づいた標準の例は、ＤＶＩ（デジタルビジュアルインタフェース）及びＬＶＤＳ（低電圧ディファレンシャルシグナリング）である。しかし、３次元のケースでは、ビデオデータと共に、深度に関連するデータもやり取りされる必要がある。

本発明の目的は、既存のビデオインタフェースに適合される、開始節に開示された類の方法を提供することにある。

本発明の上記目的は、以下のステップを含む方法により達成される。赤、緑及び青の色成分を有する予め決定された数の入力色成分を含む、画像データを表す入力画像信号を、輝度成分と色成分を含む出力画像信号に変換するステップ。出力画像信号を関連する深さ（depth）データと結合して、輝度成分、色成分、及び深さデータに基づいた深度成分を含む結合された信号を出力するステップ。予め決定された数の入力色成分に等しい多数のチャネルを通して結合された信号を送信するステップ。

予め決定された数の入力色成分を含む入力画像信号を、入力画像信号よりも少ない少なくとも１つの成分を有する出力画像信号に変換することで、深さデータのやり取りのための余地が形成される。

入力の色成分は、赤成分（Ｒ）、緑成分（Ｇ）及び青成分（Ｂ）を有する。好ましくは、輝度成分は、チャネルのうちの第一のチャネルを通して送信され、色成分は、チャネルのうちの第二のチャネルを通して送信され、深さの成分は、チャネルのうちの第三のチャネルを通して送信される。

チャネルのそれぞれは、帯域幅、すなわち単位時間当たりやり取りすることができる最大の情報量を有する。好ましくは、結合された画像及び関連する深さデータのやり取りは、チャネルの数について適用される帯域幅が実質的に相互に等しいように行われる。それは、単位時間当たり、同じ情報量がそれぞれのチャネルを通してやり取りされることを意味する。これを達成するため、色成分が、入力画像信号を空間的にサブサンプリングすることに基づいて計算される更なる数の出力色成分を含むことが好ましく、更なる数の出力成分は、多重化によりチャネルのうちの第二のチャネルを通して送信されることが好ましい。

情報のやり取りは、送出及び受信を含む。上述された方法は、データのやり取りに関する送出部分に関する。本発明の別の目的は、データのやり取りの受信部分に関連し、既存のビデオインタフェースに適合される対応する方法を提供することにある。

本発明の上記目的は、対応する方法が以下のステップを含む点で達成される。画像データを表す輝度成分と色成分と、深さデータに基づく深度成分とを含む結合された信号を受信するステップ。結合された信号は、多数のチャネルを通して送信される。結合された信号から輝度成分と色成分を抽出するステップ。輝度成分と色成分を、画像データを表す画像信号に変換するステップ。画像信号は、赤、緑及び青の色成分を有する予め決定された数の入力色成分を含み、予め決定された数の入力色成分は、チャネル数に等しい。

本発明の更なる目的は、既存のビデオインタフェースに適合される開始節で開示された類の送信ユニットを提供することにある。

本発明の上記目的は、送信ユニットが以下を有することで達成される。赤、緑及び青の色成分を有する予め決定された数の入力色成分を含む、画像データを表す入力画像信号を、輝度成分と色成分を含む出力画像信号に変換する変換手段。出力画像信号を関連する深さデータと結合し、輝度成分、色成分、及び深さデータに基づいた深度成分を含む結合された信号を出力する結合手段。結合された信号を予め決定された数の入力色成分に等しい多数のチャネルを通して出力する出力手段。

本発明の更なる目的は、既存のビデオインタフェースに適合される、開始節で記載された類の受信ユニットを提供することにある。

本発明の上記目的は、受信ユニットが以下を有することで達成される。画像データを表す輝度成分と色成分と、深さデータに基づいた深度成分を有する結合された信号を受信する受信手段。結合された信号は、多数のチャネルを通して送信される。結合された信号から輝度成分と色成分を抽出する抽出手段。輝度成分と色成分を、画像データを表す画像信号に変換する変換手段。画像信号は、赤、緑及び青の色成分を有する予め決定された数の入力色成分を含み、予め決定された数の入力色成分は、チャネル数に等しい。

本発明の更なる目的は、既存のビデオインタフェースに適合される、開始節で記載された類の画像処理装置を提供することにある。
本発明の上記目的は、画像処理装置が上述されたような送信ユニットを有することで達成される。

本発明の更なる目的は、既存のビデオインタフェースに適合される、開始節で記載された類のマルチビュー表示装置を提供することにある。

本発明の上記目的は、マルチビュー表示装置が上述された受信ユニットを有することで達成される。

送信ユニット、受信ユニットの変更、及びそのバリエーションは、記載される画像処理装置、マルチビュー表示装置及び方法の変更及びバリエーションに対応する。

本発明に係る送信ユニット、受信ユニット、画像処理装置、マルチビュー表示装置及び方法のこれらの態様及び他の態様は、以下に記載される実現及び実施の形態に関して、添付図面を参照して明らかとなるであろう。同じ参照符号は、図面を通して同じ部材を示すために使用される。

図１は、第二の処理装置１０２に接続される第一の処理装置１００を概念的に示す。第一の処理装置１００及び第二の処理装置は、それぞれイメージプロセッサ及びディスプレイドライバのような集積回路（ＩＣ）である。代替的に、第一の処理装置１００は、ＰＣのような複雑な装置であり、第二の処理装置１０２は、たとえばモニタといったマルチビュー表示装置である。第一の処理装置１００及び第二の処理装置１０２は、物理的なコネクションにより接続される。物理的なコネクションは、たとえばデータのシリアルトランスポートについてツイストペア又はツイストペアプラスグランドに基づいている。データのパラレルトランスポートも可能である。

物理コネクションのトップで、３つの論理的なコネクションが実現される。それぞれの論理的なコネクションは、第一の処理装置１００と第二の処理装置１０２の間のデータの転送のためのチャネル１０８〜１１２に対応する。コネクションの例は、ＤＶＩ又はＬＶＤＳのような規格に基づいている。

第一の処理装置１００の環境で適用されるデータフォーマットは、４つのコンポーネントに基づいている。３つの入力の色成分Ｒ，Ｇ，Ｂが存在し、これらは、画像データを互いに表し、第四の成分Ｄが存在し、これは深さに関連するデータに対応する。典型的に、データは、それぞれの画素ＰｉについてＲｉサンプル、Ｇｉサンプル、Ｂｉサンプル及びＤｉサンプルを有する２次元マトリクスで記憶される。

第二の処理装置１０２の環境で適用されるデータフォーマットは、第一の処理装置１００の環境で適用されるデータフォーマットに等しく、４つの成分に基づいている。

上述のように、第一の処理装置１００と第二の処理装置１０２の間での３つの論理的なコネクションのみが存在する。対応する深さデータと組み合わせて画像データをやり取りするため、第一の処理装置１００は、本発明に係る送信ユニット１０４を有し、第二の処理装置１０２は、本発明に係る受信ユニット１０６を有する。送信ユニット１０４、第一の処理装置１００と第二の処理装置１０２の間の物理的なコネクション、並びに受信ユニット１０６の結合により、第一の処理装置１００と第二の処理装置１０２の間のデータのやり取りを可能にする。基本的に、やり取りは、画像データの中間データへの第一の変換、中間データを深さデータと結合し、送信し、中間データから深さデータを分離し、中間データの画像データへの第二の変換に基づく。

図２は、本発明に係る送信ユニット１０４の実施の形態を概念的に示す。送信ユニット１０４は、結合されたデータをやり取りするため、画像データ及び関連する深さデータを結合するために構成される。送信ユニット１０４は、以下を有する。変換ユニット２０２は、予め決定された数の入力の色成分Ｒ，Ｇ，Ｂを含む、画像データを表す入力の画像信号を、輝度成分Ｙと色成分Ｃを含む出力画像信号に変換する。結合ユニット２０４は、出力信号を関連する深さデータＤと結合し、輝度成分Ｙ、色成分Ｃ、及び深さデータに基づく深度成分Ｄを含む結合された信号を出力する。出力ユニット２０６は、予め決定された数の入力の色成分に等しい多数のチャネルを通して結合された信号を出力する。

変換ユニット２０２、結合ユニット２０４及び出力ユニット２０６は、１つのプロセッサを使用して実現される。通常は、これら機能は、ソフトウェアプログラムプロダクトの制御下で実行される。実行の間、通常、ソフトウェアプログラムプロダクトは、ＲＡＭのようなメモリにロードされ、そこから実行される。プログラムは、ＲＯＭ、ハードディスク、若しくは磁気的及び／又は光学的ストレージのようなバックグランドメモリからロードされるか、インターネットのようなネットワークを介してロードされる場合がある。任意に、特定用途向け集積回路は、開示される機能を提供する。

好ましくは、色成分Ｃは、２つの出力色成分Ｕ及びＶを有する。変換ユニット２０２は、式（２）〜（４）で規定されるように、３つの入力色成分Ｒ，Ｇ，Ｂに基づいて、輝度成分及び２つの出力色成分のサンプルを計算するために構成される。

好ましくは、２つのファクタをもつＵ及びＶの数を低減するため、空間サブサンプリングが行われる。結果は、Ｙｉサンプルの数がＵｉサンプルの数の２倍、Ｖｉサンプルの数の２倍となる。サブサンプリングが行われる前に、低域通過フィルタリングが行われることが好ましい。

結合ユニット２０４は、輝度成分Ｙ、第一の出力色成分Ｕ、第二の出力色成分Ｖ、及び深度成分Ｄからなる対応するサンプルを、たとえば、サンプルのトリプレットの系列に結合するために構成される。
（Ｙ₁,Ｕ₁,Ｄ₁），（Ｙ₂,Ｕ₁,Ｄ₂），（Ｙ₃,Ｕ₃,Ｄ₃），（Ｙ₄,Ｖ₃,Ｄ₄），（Ｙ₅,Ｕ₅,Ｄ₅），（Ｙ₆,Ｖ₅,Ｄ₆）
なお、トリプレットは、第一の出力色成分Ｕと第二の出力色成分Ｖからなるサンプルを交互に含む。
出力ユニット２０６は、サンプルのトリプレットを論理的なコネクション、すなわちチャネルに出力するために構成される。以下の表では、どのチャネルのサンプルがマッピングされるかが示される。

好ましくは、出力ユニット２０６は、シリアライザを有する。典型的に、サンプルは、８〜１２の範囲に及ぶ多数のビットで表現される。物理的なコネクションのデータは、シリアルトランスポートによりやり取りされるのが好ましい。その理由のため、連続するサンプルを表すビットは、タイムシーケンシャルな系列で配置される。

図３は、本発明に係る受信ユニット１０６の実施の形態を概念的に示す。受信ユニット１０６は、画像データと関連する深さデータを含む結合されたデータを受信し、結合されたデータを分解するために構成される。送信ユニット１０６は、以下を有する。受信ユニット３０６は、画像データを表す輝度成分と色成分を含み、深さデータに基づいて深さ成分を含む結合された信号を受信する。結合された信号は、多数のチャネルにわたり送信される。抽出ユニット３０４は、結合された信号から輝度成分と色成分を抽出する。変換ユニット３０２は、輝度成分と色成分を、画像データを表す画像信号に変換し、画像信号は、予め決定された数の入力の色成分を有する。予め決定された数の入力の色成分は、チャネル数に等しい。

受信手段３０６、抽出手段３０４及び変換手段３０２は、１つのプロセッサを使用して実現される。通常、これらの機能は、ソフトウェアプログラムプロダクトの制御下で実行される。実行の間、通常、ソフトウェアプログラムプロダクトは、ＲＡＭのようなメモリにロードされ、そこから実行される。プログラムは、ＲＯＭ、ハードディスク、若しくは、磁気的及び／又は光学的なストレージのようなバックグランドメモリからロードされるか、インターネットのようなネットワークを介してロードされる。任意に、特定用途向け集積回路は、開示された機能性を提供する。

好ましくは、受信ユニット３０６は、デシリアライザを有する。結合された信号が受信ユニット１０６に提供される、物理的なコネクションでのデータは、シリアルトランスポートによりやり取りされるのが好ましい。しかし、典型的には、受信ユニット１０６の環境でのデータフォーマットは、全てのサンプルのビットへのダイレクトアクセスが更に便利に、すなわちパラレルデータアクセスとなるフォーマットである。

抽出ユニット３０４は、受信ユニット１０６の受信ユニット３０６により受信されるように、結合された信号から輝度成分Ｙと色成分Ｃを抽出するために構成される。色成分Ｃは、２つの出力色成分Ｕ及びＶを有する。抽出ユニット３０６は、結合された信号から深さのサンプルを抽出するために構成される。

変換ユニット２０２は、式（５）〜（７）で規定されるように、輝度成分Ｙ及び２つの出力色成分Ｕ及びＶのサンプルに基づいて、３つの入力色成分Ｒ，Ｇ，Ｂのサンプルを計算するために構成される。

なお、たとえばＹＩＱ、ＹＣｂＣｒ、ＰｈｏｔｏＹＣＣといった、ＹＵＶカラーモデルの代わりに、色成分の代替的なモデルが適用される。

図４は、本発明に係る、マルチビュー表示装置４０６を含む画像処理装置４００を概念的に示す。画像処理装置４００は、以下を有する。受信機４０２は、入力画像を表すビデオ信号を受信する。画像分析ユニット４０４は、入力画像から深さに関連するデータを抽出する。マルチビュー表示装置４０６は、提供される画像データ及び関連する深さデータに基づいて、マルチビュー表示装置によりレンダリングされるマルチビュー画像を表示する。

画像データ及び関連される深さデータは、図２及び図３と共に記載されるように結合された信号により、画像分析ユニット４０４とマルチビュー表示装置４０６との間でやり取りされる。画像分析ユニット４０４は、図２と共に記載される送信ユニット１０４を有する。マルチビュー表示装置４０６は、図３と共に記載される受信ユニット１０６を有する。

ビデオ信号は、アンテナ又はケーブルを介して受信されるブロードキャスト信号であるが、ＶＣＲ（Video Cassette Recorder）又はＤＶＤ（Digital Versatile Disk）のようなストレージデバイスからの信号である場合もある。信号は、入力コネクタ４１０で提供される。画像処理装置４００は、たとえばＴＶである場合がある。代替的に、画像処理装置４００は、任意の表示装置を含まないが、表示装置４０６を有する装置に出力画像を提供する。次いで、画像処理装置４００は、たとえばセットトップボックス、サテライトチューナ、ＶＣＲプレーヤ、ＤＶＤプレーヤ又はレコーダである場合がある。任意に、画像処理装置４００は、ハードディスクのような記憶手段、又はたとえば光ディスクといった取り外し可能なメディアに記憶するための手段を有する。画像処理装置５００は、フィルムスタジオ又はブロードキャスタにより適用されているシステムである場合がある。

マルチビュー表示装置４０６は、受信された結合された信号に基づいてマルチビュー画像の系列を発生するために構成される、レンダリングユニット４０８を有する。レンダリングユニット４０８は、（少なくとも）２つの相関されたビデオ画像のストリームをマルチビュー表示装置に提供するように構成され、このマルチビュー表示装置は、ビデオ画像の相関されたストリームのうちの第一のストリームに基づいて第一のビューの系列を可視化し、ビデオ画像の相関されたストリームの第二のストリームに基づいて第二のビューの系列を可視化するために構成される。ユーザ、すなわち見る人が彼の左の目により第一のビューの系列を観察し、右目により第二のビューの系列を観察する場合、彼は３次元のインプレッションに気付く。ビデオ画像の相関されたストリームのうちの第一のストリームが結合された信号により受信されたときビデオ画像の系列に対応し、ビデオ画像の相関されたストリームのうちの第二のストリームが提供された深さデータに基づいて適切なシフトによりレンダリングされる。好ましくは、ビデオ画像の両方のストリームは、受信されたときにビデオ画像の系列に基づいてレンダリングされる。

P.A.Redert, E.A.Hendriks及びJ.Biemondによる論文“Synthesis of multi viewpoint images at non-intermediate positions”proceeding of International Conference on Acoustics, Speech and Signal Processing, Vol. IV, ISBN0-8186-7919-0 pages 2749-2752, IEEE Computer Society, Los Alamitos, California, 1997では、入力画像及び深さマップに基づいて深さの情報を抽出し、マルチビュー画像をレンダリングする方法が開示される。画像分析ユニット４０４は、深さ情報を抽出する開示された方法の実現である。レンダリングユニット４０８は、論文に開示されるレンダリングの方法の実現である。

なお、上述された実施の形態は、本発明を限定するよりはむしろ例示するものであり、当業者であれば、請求項の範囲から逸脱することなしに代替となる実施の形態を設計することができる。請求項では、括弧間に配置される参照符号は、請求項を限定するものとして解釈されるべきではない。単語「有する“comprising”」は、請求項に列挙した以外のエレメント又はステップの存在を排除するものではない。本発明は、幾つかの個別のエレメントを有するハードウェア、及び適切にプログラムされたコンピュータにより実現される。幾つかの手段を列挙している装置の請求項では、これらの手段の幾つかは、同一アイテムのハードウェア又はソフトウェアにより実施することができる。

第二の処理装置に接続される第一の処理装置を概念的に示す図である。本発明に係る送信ユニットの実施の形態を概念的に示す図である。本発明に係る受信ユニットの実施の形態を概念的に示す図である。本発明に係る、マルチビュー表示装置を有する画像処理装置を概念的に示す図である。

Claims

画像データ及び関連する深さデータの結合されたやり取りを行う方法であって、
赤、緑及び青の色成分を有する予め決定された数の入力色成分を含む、画像データを表す入力画像信号を、輝度成分及び色成分を含む出力画像信号に変換するステップと、
前記出力画像信号を関連する深さデータと結合して、前記輝度成分、前記色成分、及び前記深さデータに基づく深度成分を含む結合された信号を出力するステップと、
入力色成分の前記予め決定された数に等しい数のチャネルを通して前記結合された信号を送信するステップと、
を含む方法。
前記輝度成分は、前記チャネルのうちの第一のチャネルを通して送信され、前記色成分は、前記チャネルのうちの第二のチャネルを通して送信され、前記深度成分は、前記チャネルのうちの第三のチャネルを通して送信される、
請求項１記載の方法。
前記チャネル数について利用可能な帯域幅は、実質的に相互に等しい、
請求項１又は２記載の方法。
前記色成分は、入力画像信号の空間的なサブサンプリングに基づいて計算される更なる数の出力色成分を有する、
請求項１記載の方法。
前記更なる数の出力成分は、多重化により前記チャネルのうちの第二のチャネルを通して送信される、
請求項４記載の方法。
画像データと関連する深さデータの結合されたやり取りを行う送信ユニットであって、
赤、緑及び青の色成分を有する予め決定された数の入力色成分を含む、画像データを表す入力画像信号を、輝度成分及び色成分を含む出力画像信号に変換する変換手段と、
前記出力画像信号を前記関連する深さデータと結合し、前記輝度成分、前記色成分、及び前記深さデータに基づく深度成分を含む結合された信号を出力する結合手段と、
入力色成分の前記予め決定された数に等しい数のチャネルを通して結合された信号を出力する出力手段と、
を有する送信ユニット。
請求項６記載の送信ユニットを有する画像処理装置。
画像データと関連する深さデータの結合されたやり取りを行う方法であって、
画像データを表す輝度成分と色成分を含み、前記深さデータに基づいた深度成分を含む結合された信号を受信するステップと、前記結合された信号は、複数のチャネルを通して送信され、
前記結合された信号から前記輝度成分及び前記色度成分を抽出するステップと、
前記輝度成分と前記色成分を、画像データを表す画像信号に変換するステップとを含み、
前記画像信号は、赤、緑及び青の色成分を有する予め決定された数の入力色成分を含み、入力色成分の前記予め決定された数は、前記チャネルの数に等しい、
ことを特徴とする方法。
画像データと関連する深さデータの結合されたやり取りを行う受信ユニットであって、
画像データを表す輝度成分と色成分を含み、深さデータに基づいた深度成分を含む結合された信号を受信する受信手段と、前記結合された信号は複数のチャネルを通して送信され、
前記結合された信号から前記輝度成分と前記色成分を抽出する抽出手段と、
前記輝度成分と前記色成分を、画像データを表す画像信号に変換する変換手段とを有し、前記画像信号は、赤、緑及び青の色成分を有する予め決定された数の入力色成分を含み、入力色成分の前記予め決定された数は、前記チャネルの数に等しい、
ことを特徴とする受信ユニット。
請求項９記載の受信ユニットを有するマルチビュー表示装置。
画像データ及び関連する深さデータの結合されたやり取りを行う方法であって、
赤、緑及び青の色成分を有する予め決定された数の入力色成分を含む、画像データを表す入力画像信号を、輝度成分及び色成分を含む出力画像信号に変換するステップと、
前記出力画像信号を関連する深さデータと結合して、前記輝度成分、前記色成分、及び前記深さデータに基づく深度成分を含む結合された信号を出力するステップと、
前記輝度成分、前記色成分及び前記深さ成分を表すビットがタイムシーケンシャルな系列で配置されるシリアルトランスポートを用いた物理的なコネクションを通して前記結合された信号を送信するステップであって、前記物理的なコネクションは入力色成分の前記予め決定された数に等しい数のチャネルを有するステップと、
を含み、
前記輝度成分は前記チャネルのうちの第１チャネルで送信され、前記色成分は前記チャネルのうちの第２チャネルで送信され、前記深さ成分は前記チャネルのうちの第３チャネルで送信される、方法。
画像データと関連する深さデータの結合されたやり取りを行う送信ユニットであって、
赤、緑及び青の色成分を有する予め決定された数の入力色成分を含む、画像データを表す入力画像信号を、輝度成分及び色成分を含む出力画像信号に変換する変換手段と、
前記出力画像信号を前記関連する深さデータと結合し、前記輝度成分、前記色成分、及び前記深さデータに基づく深度成分を含む結合された信号を出力する結合手段と、
前記輝度成分、前記色成分及び前記深さ成分を表すビットがタイムシーケンシャルな系列で配置されるシリアルトランスポートを用いた物理的なコネクションを通して前記結合された信号を出力する出力手段であって、前記物理的なコネクションは入力色成分の前記予め決定された数に等しい数のチャネルを有する出力手段と、
を有し、
前記輝度成分は前記チャネルのうちの第１チャネルで送信され、前記色成分は前記チャネルのうちの第２チャネルで送信され、前記深さ成分は前記チャネルのうちの第３チャネルで送信される、送信ユニット。
画像データと関連する深さデータの結合されたやり取りを行う方法であって、
画像データを表す輝度成分と色成分を含み、前記深さデータに基づいた深度成分を含む結合された信号を受信するステップであって、前記結合された信号は、前記輝度成分、前記色成分及び前記深さ成分を表すビットがタイムシーケンシャルな系列で配置されるシリアルトランスポートを用いた物理的なコネクションを通して送信され、前記物理的なコネクションは複数のチャネルを有し、前記輝度成分は前記チャネルのうちの第１チャネルで送信され、前記色成分は前記チャネルのうちの第２チャネルで送信され、前記深さ成分は前記チャネルのうちの第３チャネルで送信されるステップと、
前記結合された信号から前記輝度成分及び前記色度成分を抽出するステップと、
前記輝度成分と前記色成分を、画像データを表す画像信号に変換するステップとを含み、
前記画像信号は、赤、緑及び青の色成分を有する予め決定された数の入力色成分を含み、入力色成分の前記予め決定された数は、前記チャネルの数に等しい、
ことを特徴とする方法。
画像データと関連する深さデータの結合されたやり取りを行う受信ユニットであって、
画像データを表す輝度成分と色成分を含み、深さデータに基づいた深度成分を含む結合された信号を受信する受信手段であって、前記結合された信号は、前記輝度成分、前記色成分及び前記深さ成分を表すビットがタイムシーケンシャルな系列で配置されるシリアルトランスポートを用いた物理的なコネクションを通して送信され、前記物理的なコネクションは複数のチャネルを有し、前記輝度成分は前記チャネルのうちの第１チャネルで送信され、前記色成分は前記チャネルのうちの第２チャネルで送信され、前記深さ成分は前記チャネルのうちの第３チャネルで送信される受信手段と、
前記結合された信号から前記輝度成分と前記色成分を抽出する抽出手段と、
前記輝度成分と前記色成分を、画像データを表す画像信号に変換する変換手段とを有し、前記画像信号は、赤、緑及び青の色成分を有する予め決定された数の入力色成分を含み、入力色成分の前記予め決定された数は、前記チャネルの数に等しい、
ことを特徴とする受信ユニット。