JP6173442B2 - 第１の映像信号と第２の映像信号を混合する方法および装置 - Google Patents

Description

本発明は映像処理の分野に関し、より詳細には、映像信号を混合する分野に関する。

いくつもの知られているマルチメディア編集ツールが、なんらかの形態の映像オーバーレイ機能性を提供している。これらの機能によってユーザは、文字を映像に、画像を映像に、写真を映像に、映像を映像に（ＰＩＰ）、または図形を映像に重ねることが可能である。

知られている解決策は、異なるマルチメディアフォーマットが、互いに重なり合った層に現れる階層的アプローチを使用する。得られた映像が符号化されると、その後は各層を個別に利用することはできない。立体またはマルチビュー３Ｄのために異なるカメラアングルが必要とされるとき、１つまたは複数の異なる映像ストリームが生成される必要があり、得られた映像は１つのものとして符号化される必要がある。

本発明の実施形態の目的は、前述の欠点のうちのいくつかを克服することである。

本発明の一態様によれば、第１の映像信号と第２の映像信号を混合する方法が提供され、この方法は、混合装置において、第１の映像信号を受信するステップと、第２の映像信号を受信するステップと、第１の映像信号を透明な領域と非透明領域に分割し、第１の映像信号と第２の映像信号の間の空間的関係を表す変換情報信号を受信するステップと、第２の映像信号を変換情報信号に従って変換するステップと、第１の映像信号の非透明領域を、変換された第２の映像信号の一部分と合わせるステップであって、変換された第２の映像信号の一部分が第１の映像信号の透明な領域に描画される、合わせるステップとを含む。

第１の映像信号と第２の映像信号の間の空間的関係の維持により、映像信号の混合が可能になることが本発明の利点である。こうして、得られる混合映像はより自然な見た目となる。これは、混合した第２の映像信号が、パン、ティルト、ズーム変換、投影、鏡映、回転（ロールおよびヨー）、ならびにカメラ位置の変更などの第１の映像信号の変更に従って適切に変換されるためである。

本発明による方法の一実施形態では、変換するステップは、第１の映像ストリームを寸法変更、せん断、回転、反射、投影、および平行移動することのうちの１つまたは複数を含む。

プライマリ映像ストリームで生じる最も一般的な変換がセカンダリ映像ストリームに適用され得ることが本実施形態の利点である。

一実施形態において、本発明による方法は、変換情報信号に関連づけられた第１の深度情報を受信するステップをさらに含み、変換するステップは、第１の深度情報に従って３次元空間において実行される。

一実施形態において、本発明による方法は、第２の映像信号に関連づけられた第２の深度情報を受信するステップをさらに含み、変換するステップは、第２の深度情報に従って３次元空間において実行される。

得られる混合映像が２次元映像信号として表される場合であっても、表現された３次元空間において第２の映像信号の対象物が一貫して振る舞うので、映像信号のブレンドがさらに自然になることがこれらの実施形態の利点である。３Ｄ変換は、第２の映像信号に関連づけられた深度情報および／または変換情報信号に関連づけられた深度情報に基づいて実行され得る。たとえば、第２の映像信号は、２次元信号（深度情報なし）として提供される場合であっても、変換情報に関連づけられた深度情報に従って３次元空間においてもやはり変換され得る。

一実施形態において、本発明による方法は、第１の映像信号に関連づけられた第３の深度情報を受信するステップをさらに含む。

３次元にも描画され得る表現された３次元空間において第２の映像信号の対象物が一貫して振る舞うので、映像信号のブレンドがさらに自然になることが本実施形態の利点である。

本発明による方法の一実施形態では、第１の映像信号および変換情報信号は、符号化された映像ストリームの異なるチャネルとして受信される。

標準化されたマルチチャネル符号化フォーマットが、固有の混合能力をもつ映像ストリームの送信に使用され得ることが本実施形態の利点である。主要チャネル（第１の映像信号）と混合チャネル（変換情報信号）の間の時間同期が単純化されることが本実施形態のさらなる利点である。

本発明の一態様によれば、実行されたときに上記の方法を実行するように構成されたソフトウェア手段を含むコンピュータプログラムが提供される。

本発明の一態様によれば、第１の映像信号と第２の映像信号を混合する装置が提供され、この装置は、第１の映像信号を受信するための第１の映像入力インターフェースと、第２の映像信号を受信するための第２の映像入力インターフェースと、第１の映像信号を透明な領域と非透明領域に分割し、第１の映像信号と第２の映像信号の間の空間的関係を表す変換情報信号を受信するための変換情報インターフェースと、第２の映像入力インターフェースおよび変換情報インターフェースに動作可能に結合された変換プロセッサであって、変換情報信号に従って第２の映像信号を変換するように構成された変換プロセッサと、第１の映像インターフェースおよび変換プロセッサに動作可能に結合された混合プロセッサであって、第１の映像信号の非透明領域を、変換された第２の映像信号の一部分と合わせるように構成され、変換された第２の映像信号の一部分が第１の映像信号の透明な領域に描画される、混合プロセッサと、を備える。

本発明による装置の一実施形態では、変換プロセッサは、第２の映像信号の寸法変更、せん断、回転、反射、投影、および平行移動のうちの１つまたは複数を適用するように構成されている。

本発明による装置の一実施形態では、変換情報インターフェースは、変換情報信号に関連づけられた第１の深度情報を受信するようにさらに構成され、変換プロセッサは、第１の深度情報に従って第２の映像信号を３次元空間において変換するように構成されている。

本発明による装置の一実施形態では、第２の映像入力インターフェースは、第２の映像信号に関連づけられた第２の深度情報を受信するようにさらに構成され、変換プロセッサは、第２の深度情報に従って第２の映像信号を３次元空間において変換するように構成されている。

本発明による装置の一実施形態では、第１の映像入力インターフェースは、第１の映像信号に関連づけられた第３の深度情報を受信するようにさらに構成されている。

本発明の一態様によれば、上記の方法で使用するための映像ストリームであって、第１の映像信号を主要チャネルとして、かつ変換情報信号を追加のチャネルとして含む映像ストリームが提供される。

一実施形態において、本発明による映像ストリームは深度情報をさらに含む。

深度情報は、第１の映像信号および／または変換情報信号に関係し得る。

本発明の一態様によれば、上記のような映像ストリームを提供するように構成された映像サーバが提供される。

本発明による装置、映像ストリーム、およびサーバの実施形態の効果および利点は、必要な変更を加えて、本発明による方法の対応する実施形態の効果および利点と同じである。

次に、本発明の実施形態による装置および／または方法のいくつかの実施形態が、あくまで一例として、また添付の図面を参照しながら説明される。

本発明の一実施形態による方法のフローチャートである。 本発明の一実施形態による装置の概略図である。 本発明の例示的な応用例を示す図である。 本発明の例示的な応用例を示す図である。 本発明の例示的な応用例を示す図である。

画像を映像に重ねる既存の方法では、選択された画像フォーマットが透明に対応している場合（たとえば、ＰＮＧまたはＳＷＦフォーマット）、画像の各部分は透明になることができる。その場合、画像の後ろにある映像は透明区域「から覗き見る」ことができる。オーバーレイツールがＭＮＧ（Ｍｏｖｉｎｇ ＰＮＧ）に対応している場合、複数のマルチメディアフォーマットを重ねることができ、ここではＭＮＧの映像における透明区域によって、下にあるマルチメディアフォーマットが覗き見ることができるようになる。モダンブラウザはＭＮＧに対応しているので、（非同期型）ＭＮＧの映像を映像に重ねることは、現在、一般に対応されている。

既存の解決策では、セカンダリライブ（３Ｄ）映像ストリームを第１の（３Ｄ）映像ストリームの深度方向に重ねることはできない。したがって、第２の（３Ｄ）映像ストリームが見えるようになる第１の映像ストリームでは、アルファおよび深度を有する静的または動的な３Ｄ領域を画定することは不可能である。

映像などの２Ｄまたは３Ｄマルチメディアフォーマットの主要構成要素は、色情報（たとえば、ＲＧＢ、ＹＵＶもしくはＨＳＶ）、深度情報（典型的にはスカラーもしくは「グレースケール」値）、および透明または「アルファ」情報（同じくスカラーもしくは「グレースケール」値）である。本発明の実施形態は、映像ストリームの前述したリアルタイムのシームレスな混合が、追加の情報チャネルをそのようなマルチメディアフォーマットに含めることによって可能になり得るという洞察に基づいている。

本発明が適用可能なマルチメディアフォーマットは、限定はしないが、ＰＮＧ、ＧＩＦ、ＪＰＧ、ＴＩＦＦ、ＲＩＦＦ、ＷｅｂＰ、ＳＶＧ、およびＢＭＰが含まれる静止画符号化／コンテナフォーマット、ならびに限定はしないが、ＭＮＧ、アニメーションＧＩＦ、ＭＰＥＧ、ＡＶＩ、ＷＭＶ、ＭＯＶ、ＲＭ、３ＧＰ、ＶＰ８、ＷｅｂＭ、Ｔｈｅｏｒａ、Ｏｇｇ、およびＯＧＭが含まれる動画符号化／コンテナフォーマットである。映像符号化を参照する場合、Ｈ．２６４、ＨＥＶＣなどのコード、および当業者に知られている他のコーデックなどが使用され得る。

本発明の実施形態は、それぞれが色、深度および透明度の情報を含むチャネルのアレイを第１のマルチメディアフォーマットに含むことが有利であるという本発明者らの洞察にとりわけ基づいており、各チャネルは固有の領域をその第１のマルチメディアフォーマットにおいて画定し、そこでは別の独立した発信源から受け取った第２のマルチメディアフォーマットが混合（ブレンド）することが可能になる。したがって、本発明の実施形態では、クライアント側でリアルタイムの混合が可能になる。ただし、本発明は、サーバ側、たとえば、コアネットワークまたはアクセスネットワークに常駐している映像サーバでの混合を可能にするようにも適用され得る。各チャネルの色、深度、ならびに透明度の情報はさらに、数学的な２Ｄまたは３Ｄ領域、整形された３Ｄ領域、または任意の他の可視２Ｄ／３Ｄ領域の定義と定義され得る。

理解しやすくするために、以下、透明な部分を含む映像ストリームは「プライマリ映像ストリーム」と記載され、前記透明な部分に現れる視覚的情報を含むストリーム、すなわち、第１の映像ストリームの「後ろ」に示され、その透明な領域から覗き見るストリームは、「セカンダリ映像ストリーム」と記載される。「セカンダリ映像ストリーム」が単数形で使用されるとき、これは、複数のセカンダリ映像ストリームが混合される実施形態を排除することは意図されていない。

用語「プライマリ映像ストリーム」および「セカンダリ映像ストリーム」は、一般性を失うことなく使用され、特に、第２の映像ストリームもさらなる（低次の）ストリームを導入するための透明な領域を含む「重なった」または再帰的な使用を排除しない。加えて、用語「映像」の使用は、経時的に変化しない入力フィード（すなわち、静止画を表すフィード）を排除しない。したがって、本発明は、プライマリ映像ストリームおよび／またはセカンダリ映像ストリームが適切なフォーマットで実際は静止画によって表される実施形態も包含する。

プライマリ映像ストリームは、実際の画像色情報を表す主要チャネルを含み、このチャネルは以下、「第１の映像信号」と呼ばれる。セカンダリ映像ストリームもまた、実際の画像色情報を表す主要チャネルを含み、このチャネルは以下、「第２の映像信号」と呼ばれる。

セカンダリ映像ストリームの挿入が生じ得るプライマリ映像ストリーム内の独自の領域を画定する追加のチャネルは、「混合チャネル」と記載される。より抽象的には、これらのチャネルは「変換情報（信号）」とも呼ばれる。これは、それらのチャネルが、プライマリストリームと混合したセカンダリストリームとの所望の幾何学的関係を得るために必要な変換を規定するためであり、特に、変換情報は、固定情報、すなわち混合したセカンダリストリームがプライマリストリームの中でどこに固定されるかを規定する情報を含むことになろう。変換情報信号は、好ましくは、同じストリーム内の別個のチャネルとして映像信号とともに供給されるが、これは必須ではなく、変換情報は任意の適切な手段によって別個に提供されてもよい。変換情報信号は動的でも静的でもよく、すなわち、映像風景または静止画における動く区域として提供されてもよい。

変換情報信号に見いだされる命令およびクライアント（視聴者）からのオプションの命令を使用して、プライマリ映像信号が１つまたは複数のセカンダリ映像信号と自律的に混合され得るプラットフォームの提供が可能であり、ここでは、異なる信号は異なる（分散された）発信源から生じることができ、また、合成の最終的な結果は中央の管理役によって事前には決められていないことが本発明の実施形態の利点である。システムの（分散された）リアルタイム挙動のおかげで、合成の最終的な結果ではなく、可能な合成の幾何形状のみがプライマリストリームの発信者によって規定される。

セカンダリストリームおよびそのプライマリストリームとの組合せを変換することにより、セカンダリストリームの一部分のみが見えることになり得るのは説明から明らかであろう。特に、セカンダリストリームの部分は、セカンダリストリーム「の上に」位置する層であるかのように描画されるプライマリストリームの非透明部分によって覆われてもよい。加えて、必要とされる変換は、管理用ビューポート（典型的には水平方向および垂直方向に固定数の画素を有する長方形）の外にある座標に元のセカンダリストリームのある種の部分を投影することができるアップスケーリング、平行移動、および回転などの変換を含み得る。

本発明の一実施形態によれば、図１は、第１の映像信号と第２の映像信号を混合する方法を示し、この方法は、混合装置において、第１の映像信号を受信するステップ１０１と、第２の映像信号を受信するステップ１０２と、第１の映像信号を透明な領域と非透明領域に分割し、第１の映像信号と第２の映像信号の間の空間的関係を表す変換情報信号を受信するステップ１０３と、変換情報信号に従って第２の映像信号を変換するステップ１１０と、第１の映像信号の非透明領域を、変換された第２の映像信号の一部分と合わせるステップ１２０であって、変換された第２の映像信号の一部分が第１の映像信号の透明な領域に描画される、合わせるステップ１２０とを含む。

変換情報によって、第１の映像ストリームと第２の映像ストリームは、一貫した空間的相互関係で、また好ましくは時間的に同期して確実に混合され得るようになる。数学的に、変換情報は、プライマリ映像ストリームによって表される空間に固定される基準フレームについての「原点」および基底ベクトルの組と考えられ得る。

変換情報は、たとえば寸法変更、サイズ変更、縁の切り落とし、鏡映、傾斜、回転およびフィルタリングのための特徴を規定する１つまたは複数の割り当てられた特性を含み得る。割り当てられたフィルタは、混合前にセカンダリチャネルからの映像信号に適用されてもよい。

好ましくは、第１の映像信号および変換情報信号は、プライマリ映像ストリームのそれぞれ主要チャネルおよび混合チャネルとして提供される。特別な場合、プライマリ映像ストリームは透明な領域を含むだけであり、そのため、任意の数の混合チャネルのための容器にすぎない。

本発明の実施形態では、混合チャネルは、数学的領域として表現される。これらの領域は、専用の識別子または３Ｄ映像における絶対位置または相対位置と組み合わせた数学的な式によって規定され得る。例としては、２Ｄの区分的定数関数、および２Ｄの平面勾配がある。そのような領域には、単一の色と単一の透明値が割り当てられ得る。別の実施形態では、色も透明値も与えられず、したがって、受信装置はこれらの領域について１００％透明まで戻る。別の実施形態において、１つまたは複数の色および透明の勾配が提供され得る。

本発明の一実施形態によれば、図２は、第１の映像信号と第２の映像信号を混合する装置２００を示し、この装置は、第１の映像信号を受信するための第１の映像入力インターフェース２０１と、第２の映像ストリームを受信するための第２の映像入力インターフェース２０２と、第１の映像信号を透明な領域と非透明領域に分割し、第１の映像信号と第２の映像信号の間の空間的関係を表す変換情報信号を受信するための変換情報インターフェース２０３と、第２の映像入力インターフェース２０２および変換情報インターフェース２０３に動作可能に結合された変換プロセッサ２１０であって、第２の映像信号を変換情報信号に従って変換するように構成された変換プロセッサ２１０と、第１の映像インターフェース２０１および変換プロセッサ２１０に動作可能に結合された混合プロセッサ２２０であって、第１の映像信号の非透明領域を、変換された第２の映像信号の一部分と合わせるように構成され、変換された第２の映像信号の一部分が第１の映像信号の透明な領域に描画される、混合プロセッサ２２０とを備える。

複数のインターフェース２０１、２０２、２０３がここまで挙げられているが、これは一般性を失うことなく行われ、いくつかの機能を遂行するために同じインターフェースが使用される実装形態を排除しない。用語「インターフェース」は、当業者にはよく知られているように、ソフトウェアプラットフォーム（たとえば、アプリケーションプログラミングインターフェース、ＡＰＩ）の異なる部分同士の間、記憶媒体とソフトウェアプラットフォームの間、または通信ネットワークにおけるノード同士の間のデータ通信を確立するために必要なハードウェアおよびソフトウェアを指定する。好ましくは、標準化されたプロトコルが使用される。加入者アクセスネットワークでは、アクセスインターフェースに、たとえば、ｘＤＳＬ、ｘＰＯＮ、ＷＭＡＮ、または３Ｇリンク用のインターフェースが含まれ得る。ＬＡＮインターフェースには、たとえば、ＩＥＥＥ８０２．３「イーサネット（登録商標）」リンク、ＩＥＥＥ８０２．１１「無線ＬＡＮ」リンクのうちの１つまたは複数に対するインターフェースが含まれ得る。ＰＡＮインターフェースには、たとえば、ＵＳＢインターフェースまたはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースが含まれ得る。

変換情報信号は、複数のチャネルをまとめられるようにする映像符号化方式を使用して、１つまたは複数の混合チャネルの形態で第１の映像信号と好ましくはまとめられる。

図３は、例示的な応用例を概略的に示し、ここでは本発明による装置２００が、第１のインターフェース２０１／２０３を介して第１の映像サーバ３００からプライマリ映像ストリームを受信するように構成されている。本発明によれば、第１の映像サーバ３００は、それぞれ主要チャネルおよび混合チャネルとして第１の映像信号および変換情報信号を含むプライマリ映像ストリームを提供する。装置２００は、第２のインターフェース２０２を介して第２の映像サーバ３１０からセカンダリ映像ストリームを受信するようにさらに構成されている。第２の映像サーバ３１０は、１つまたは複数の混合チャネルをセカンダリ映像ストリームに含めるようにさらに構成されていてもよいが、これは必須ではない。装置２００において、受信された映像ストリームが復号され、セカンダリ映像ストリームから引き出された第２の映像信号が上記のように変換され、第１の映像信号および変換された第２の映像信号に基づき、変換情報に従って混合映像信号が生成される。

混合領域の位置合わせは、自動的に、または（リアルタイムの）ユーザ入力によって行われ得る。２つ以上の混合領域が利用可能である場合、領域の選択が、自動的に、または（リアルタイムの）ユーザ入力によって行われ得る。第２の映像信号のさらなる処理が、ユーザによって任意選択的に起動および／または調整され得る。

本発明による方法および装置は、たとえば、２Ｄマルチメディアフォーマットが運動視差に対応するために使用され得る。実際、ある映像記録（第１のマルチメディアフォーマット）の（家またはオフィスビルの）たとえば透明な窓を、別の映像記録（第２のマルチメディアフォーマット）のたとえば人の静的位置と混合している場合、この透明な窓の位置変更によって、人は第１の映像記録のカメラの動きに対して動くことになる。

好ましくは、混合チャネルの形態の変換情報は、窓の２Ｄ区域を透明なものとして規定し、大きな３Ｄ区域を窓のすぐ後ろにあるものとして規定することができる。この２Ｄ映像がセカンダリ２Ｄまたは３Ｄ映像と混合されたとき、セカンダリ映像は、プライマリ映像のカメラの視点に応じて異なる位置で混合される。

プライマリ映像が非インタラクティブな映像ストリーム（たとえば、従来の映画）である場合、カメラの視点は供給される映像ストリームによって示唆される。同じことが、（人間または自動の）管理役が、何を捕捉すべきかに関するすべての選択を行うリアルタイムで生成されるコンテンツに当てはまる。ただし、本発明は、エンドユーザ、すなわち合わさった映像ストリームの視聴者がカメラの視点を制御できる状況にも適用される。そのような制御は、従来のユーザインターフェース（マウスおよび／またはキーボード、ジェスチャ検出など）によって、またはディスプレイの前の物理的な空間における視聴者の実際の動きによって行使されてもよく、その場合、これらの動きは、仮想現実の分野で知られているように、適切なセンサによって捕捉されなければならない。

図４は、例示的な応用例によってこの効果を概略的に示す。プライマリ映像ストリームが、ドア４１０および窓枠４２０を有する正面壁４００Ｆによって境界を定められた家４００の内部で撮影されている。あるいは、家は、家に見えるように構成されたスタジオ、またはコンピュータで生成した適切な３Ｄ風景の描画であってもよいことが当業者には認識されよう。ドア４１０には透明な窓４１０ａが備えられ、窓枠４２０には仮想の「外の風景」が見られる透明な窓ガラス４２０ａ−ｄが備えられている。「外の風景」は、斜線入りの長方形として図４の右側の上面図に表され、また破線の長方形として図４の左上の眺めＡに表される領域４５０に限られる。

このセッティングでは、透明な領域４１０ａおよび４２０ａ−ｄと、家のすぐ外に画定される空間的領域４５０との組合せが混合領域を画定し、この中でセカンダリ映像ストリームからのコンテンツが混合され得る。この混合領域は、好ましくは１つまたは複数の混合チャネルの形態で提供される変換情報によって特定される。図示した例では、風に揺れる単一のヒマワリ４３０の画像を含むセカンダリ映像ストリームが提供される。一般に、セカンダリストリームは、３Ｄストリーム（深度情報を含む映像信号）であっても、２Ｄストリームであってもよい。

本発明によれば、変換情報は、セカンダリストリームをプライマリストリームに空間的に結合させるために使用されることになる。この特定のケースでは、外の風景のヒマワリ４３０は、混合領域４５０を基準として固定位置に留まる。外の風景は、２Ｄストリームとして提供される場合、一点鎖の投影線４６０の位置にある矩形のスクリーンとして風景に導入され得る。元のセカンダリストリームは、プライマリ映像ストリームを管理する視点で見たときの「長方形」の幾何形状に合致するように寸法変更および／または変換される必要があることもあり、特に、矩形形状は台形に変換され得ることに留意されたい。外の風景が３Ｄストリームとして提供される場合、そのコンテンツが混合領域４５０によって画定される深度の境界内に入る限り、その３Ｄストリームは、３つの寸法で正確に描画されるべきである。プライマリ映像信号は、その透明な領域４１０ａおよび４２０ａ−ｄを含んでおり、次いで、オーバーレイとして外の風景の上に配置され、窓枠の窓ガラスおよびドアの窓ガラスを通して見える外の風景の適切な部分とともに家の内部を示す。

それぞれの眺め方向を有する３つの例示的なカメラ位置Ａ、Ｂ、Ｃが、図４の右側の上面図に示されている。図４の左側の３つの眺めは、これらのカメラ位置に対応する。眺めＡは、家の正面壁４００Ｆの中心に向かって直交するように向けたカメラで撮られた眺めを表す。ヒマワリ４３０は、寸法変更以外の歪みなく、窓ガラス４２０ａおよび４２０ｃを通して完全に見える。眺めＢは、眺めＡのカメラのわずかに右にあるカメラで撮られた眺めを表しており、カメラは、より左壁４００Ｌに向けられている。

したがって、ヒマワリ４３０の画像は、窓枠４２０の縁に対して右に移動する。ヒマワリ４３０の一部は窓ガラス４２０ａおよび４２０ｃを通して依然として見られ得るが、残りの部分は窓ガラス４２０ｂおよび４２０ｄの中に移動している。眺めＣは、眺めＡのカメラのわずかに左にあるカメラで撮られた眺めを表しており、カメラは、より右壁４００Ｒに向けられている。したがって、ヒマワリ４３０の画像は窓枠４２０の縁に対して左に移動する。ヒマワリ４３０の一部のみが依然として窓ガラス４２０ａおよび４２０ｃを通して見られ得るが、残りの部分は今や正面壁４００Ｆによって遮られて見えなくなっている。

好ましくは、混合チャネルは、色情報、深度情報、および透明度情報のうちの１つまたは複数を含む。混合チャネルが色情報を含まない場合、混合映像ストリームの適切な描画に必要とされる色情報は、第１のものと混合されたセカンダリ映像ストリームによって提供される。色情報が供給される場合、その色情報は、それがもつ透明度に従って、セカンダリ映像ストリームの色情報と混合される。

プライマリおよびセカンダリ映像ストリームにおける主要および１つまたは複数の混合映像チャネルは、必ずしも同じ寸法である必要はない。したがって、主要チャネルおよび混合チャネルのそれぞれは、２次元でも３次元でもよい。

加えて、主要チャネルおよび１つまたは複数の混合チャネルのそれぞれは１つまたは複数の視点を含み得る。図４の例では、３つのカメラ視点Ａ、Ｂ、Ｃがプライマリ映像ストリームに含まれ得る。セカンダリ映像は、ユーザがプライマリ映像に選択する視点に応じて異なる位置に混合される。この技法は、プライマリチャネルが動画でなく静止画の場合にも適用され得る。

別の実施形態において、３Ｄセカンダリ映像が３Ｄで表示され得る一方で、単一視点の２Ｄプライマリ映像は２Ｄのままである。

本発明の別の例示的な応用例は、異なる３Ｄ透明区域がテーブルの周りに設けられた部屋の３Ｄ映像である。離れた場所にいる個々のユーザの（３Ｄ）映像ストリーム（背景は除去）が、次いで透明区域にブレンドされ得る。選択された視点に応じて、何人かの参加者のテーブルおよび映像ストリームが部分的または完全に他の参加者の一部の前に出る。これは、テーブルまたは人が、たとえばテーブルの下の人の脚など、人全体の一部を遮って見えなくする現実世界に類似する。

図５は、本発明のそのような例示的な応用例を示し、ここでは混合領域が円柱５１０によって表され、下半分のうちの前方を向いている半分が除去されている。１つまたは複数の上記のような混合領域５０１、５０２、５０３を、テーブル５００の周りに容易に配置することができ、それによって上半分の残っている前方を向いている部分がテーブル５００の上に配置され、後方を向いている半分の全体がテーブル５００の後ろに配置される。たとえばテーブルについている人のセカンダリ映像がプライマリ映像と位置合わせされるとき、セカンダリ映像における人の３Ｄ画像が、たとえテーブルに寄りかかっているときであっても、プライマリ映像のテーブル５００についているものとして現れる。完璧な位置合わせのとき、セカンダリ映像におけるテーブルの上にある紙または物もまた混合映像の中で見えるようになる。

本発明の文脈では、特に図５に示した実施形態から見ると、通信相手の画像をテーブルに向けるように配置するためにユーザが手作業でセカンダリ信号を回転させることを必要とするのは、望ましくない。そこで、有利な実施形態では、チャネルの１つまたは複数は、自動的な位置合わせを容易にするさらに追加の特性を含む。この特性には、真ん中の相手および正方向または正面の相手によって特定されるベクトル、２Ｄ／３Ｄの倍率、ならびに計測の単位またはサイズの較正係数のうちの１つまたは複数が含まれ得る。画像の自動位置合わせは、空間におけるベクトルを、風景におけるそれらの所望の（仮想）位置に従って適切に位置合わせすることによって得られる。

ここまで、方法および装置は別々の実施形態として説明されてきたが、これは分かりやすくするためにそうしているにすぎず、方法の実施形態との関連でのみ説明された特徴は、本発明による装置に適用されて同じ技術的効果および利点を得ることができ、またその逆も可能であることに留意されたい。

「プロセッサ」と付された任意の機能ブロックを含む、図面に示した種々の要素の機能は、専用のハードウェアだけでなく、適切なソフトウェアと関連してソフトウェアを実行することが可能なハードウェアの使用によって実現され得る。プロセッサによって実現されるとき、機能は、単一の専用プロセッサ、単一の共用プロセッサ、または一部が共用されていてもよい複数の個々のプロセッサによって実現されてもよい。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行することが可能なハードウェアのみを指していると解釈されるべきではなく、限定はしないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ソフトウェアを格納するための読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性記憶装置を暗黙的に含み得る。従来の、かつ／または特注の他のハードウェアも含まれ得る。同様に、図面に示されたいずれのスイッチも概念的なものでしかない。それらの機能は、プログラム論理の動作、専用論理、プログラム制御と専用論理の相互作用によって実施されてもよいし、たとえ手動で実施されてもよく、文脈からより具体的に理解されるように、特定の技法は実施者によって選択可能である。

上記の種々の方法のステップがプログラムされたコンピュータによって実行され得ることは当業者には容易に認識されよう。本明細書において、一部の実施形態は、たとえば、デジタルデータ記憶媒体などのプログラム記憶装置を包含することも意図されており、これらの記憶装置は、機械またはコンピュータが読み取り可能であり、機械が実行可能またはコンピュータが実行可能な命令プログラムを符号化するもので、前記命令は、前記方法のステップの一部または全部を実行する。プログラム記憶装置は、たとえば、デジタル記憶装置、磁気ディスクや磁気テープなどの磁気記憶媒体、ハードディスクドライブ、または光学読み取り式のデジタルデータ記憶媒体であってもよい。各実施形態は、上記の方法の前記各ステップを実行するようにプログラムされたコンピュータを包含することも意図されている。

Claims (15)

1. 第１の映像信号と第２の映像信号を混合する方法であって、混合装置において、
   前記第１の映像信号を受信するステップと、
   前記第２の映像信号を受信するステップと、
   前記第１の映像信号を透明な領域と非透明領域に分割し、前記第１の映像信号に含まれる画像と前記第２の映像信号に含まれる画像の間の空間的関係を表す、第２の映像信号に含まれる画像が第１の映像信号に含まれる画像に固定される位置を定義する変換情報信号を受信するステップと、
   前記変換情報信号に従って前記第２の映像信号を変換するステップと、
   前記第１の映像信号の前記非透明領域を、前記変換された第２の映像信号の一部分と合わせるステップであって、前記変換された第２の映像信号の前記一部分が前記第１の映像信号の前記透明な領域に描画される、合わせるステップと
   を含み、
   前記第１の映像信号と前記変換情報信号が、プライマリ映像ストリームの主要チャネルおよび混合チャネルとしてそれぞれ提供され、前記第２の映像信号がセカンダリ映像ストリームの主要チャネルとして提供され、
   前記混合チャネルは数学的な領域として表わされる、方法。
2. 前記変換するステップが、前記第２の映像信号を寸法変更、回転、投影、および平行移動することのうちの１つまたは複数を含む、請求項１に記載の方法。
3. 前記変換情報信号に関連づけられた第１の深度情報を受信するステップをさらに含み、前記変換するステップが、前記第１の深度情報に従って３次元空間において実行される、請求項１または請求項２に記載の方法。
4. 前記第２の映像信号に関連づけられた第２の深度情報を受信するステップをさらに含み、前記変換するステップが、前記第２の深度情報に従って３次元空間において実行される、請求項１から３のいずれか一項に記載の方法。
5. 前記第１の映像信号に関連づけられた第３の深度情報を受信するステップをさらに含む、請求項１から４のいずれか一項に記載の方法。
6. 前記第１の映像信号および前記変換情報信号が、符号化された映像ストリームの異なるチャネルとして受信される、請求項１から５のいずれか一項に記載の方法。
7. 実行されたときに請求項１から請求項６のいずれか一項に記載の方法を実行するように構成されたソフトウェア手段を含むコンピュータプログラム。
8. 第１の映像信号と第２の映像信号を混合する装置であって、
   前記第１の映像信号を受信するための第１の映像入力インターフェースと、
   前記第２の映像信号を受信するための第２の映像入力インターフェースと、
   前記第１の映像信号を透明な領域と非透明領域に分割し、前記第１の映像信号に含まれる画像と前記第２の映像信号に含まれる画像の間の空間的関係を表す、第２の映像信号に含まれる画像が第１の映像信号に含まれる画像に固定される位置を定義する変換情報信号を受信するための変換情報インターフェースと、
   前記第２の映像入力インターフェースおよび前記変換情報インターフェースに動作可能に結合された変換プロセッサであって、前記変換情報信号に従って前記第２の映像信号を変換するように構成された変換プロセッサと、
   前記第１の映像入力インターフェースおよび前記変換プロセッサに動作可能に結合された混合プロセッサであって、前記第１の映像信号の前記非透明領域を、前記変換された第２の映像信号の一部分と合わせるように構成され、前記変換された第２の映像信号の前記一部分が前記第１の映像信号の前記透明な領域に描画される、混合プロセッサと
   を備え、
   前記第１の映像信号と前記変換情報信号が、プライマリ映像ストリームの主要チャネルおよび混合チャネルとしてそれぞれ提供され、前記第２の映像信号がセカンダリ映像ストリームの主要チャネルとして提供され、
   前記混合チャネルは数学的な領域として表わされる、装置。
9. 前記変換プロセッサが、前記第２の映像信号の寸法変更、回転、投影、および平行移動のうちの１つまたは複数を適用するように構成された、請求項８に記載の装置。
10. 前記変換情報インターフェースが、前記変換情報信号に関連づけられた第１の深度情報を受信するようにさらに構成され、前記変換プロセッサが、前記第１の深度情報に従って前記第２の映像信号を３次元空間において変換するように構成された、請求項８または請求項９に記載の装置。
11. 前記第２の映像入力インターフェースが、前記第２の映像信号に関連づけられた第２の深度情報を受信するようにさらに構成され、前記変換プロセッサが、前記第２の深度情報に従って前記第２の映像信号を３次元空間において変換するように構成された、請求項８から１０のいずれか一項に記載の装置。
12. 前記第１の映像入力インターフェースが、前記第１の映像信号に関連づけられた第３の深度情報を受信するようにさらに構成された、請求項８から１１のいずれか一項に記載の装置。
13. 請求項１から７のいずれか一項に記載の方法で使用するための映像ストリームであって、前記第１の映像信号を主要チャネルとして、かつ前記変換情報信号を追加のチャネルとして含む映像ストリーム。
14. 深度情報をさらに含む、請求項１３に記載の映像ストリーム。
15. 請求項１３から１４のいずれかに記載の映像ストリームを提供するように構成された映像サーバ。

Images