JP7017866B2

JP7017866B2 - 従来型描画機器及び没入型描画機器用の没入型ビデオのフォーマット化の方法、装置及びストリーム

Info

Publication number: JP7017866B2
Application number: JP2017099485A
Authority: JP
Inventors: ガルパン，フランク; ラセール，セバスチアン; アンドリボン，ピエール
Original assignee: インターデジタルヴイシーホールディングス，インコーポレイテッド
Priority date: 2016-05-23
Filing date: 2017-05-19
Publication date: 2022-02-09
Anticipated expiration: 2037-05-19
Also published as: EP3249930B1; KR20170132098A; EP3249930A1; EP3249928A1; RU2742344C2; CN107454468B; US10523980B2; US20170339440A1; BR102017010791A2; CN107454468A; KR102307819B1; CA2967418A1; JP2018033123A; RU2017115882A; MX2017006677A; RU2017115882A3

Description

本開示は、例えば、一部のクライアント機器が従来型の矩形のビデオを表示するように構成され、別の一部のクライアント機器が没入型のビデオを表示するように構成された異種混交的な集合を成すクライアント機器に、没入型のビデオを表すバックワード・コンパチブルな（後方互換の）ストリームを配信する場合に、そのようなストリームをフォーマット化する分野に関する。

ビデオは、少なくとも１つの画像のシーケンスである。実際、１つの画像は、１つのスチール（静止）ビデオと見なすことができる。ビデオは、画素（即ち、色情報の構成要素）の２次元のアレイである矩形フレーム上に符号化される。シーケンスの画像毎に１つのフレームが符号化される。画像は、マッピング関数に従って符号化される。矩形スクリーン上に表示されるように意図されている従来型のビデオは、矩形マッピングに従って符号化される。没入型のビデオは観察者の周囲に描画されるように意図されている。即ち、観察者は、全体の映像を見ることができず、従って、自身の頭部を回転させて（或いは、身体を動かして、或いは、例えばジョイスティック又はマウスのようなコントローラを用いて）自身の視界外に在る画像部分を見る必要がある。没入型のビデオは、矩形フレーム上に符号化されている場合、没入型のマッピング関数、例えば、エクイレクタングラー・マッピング（ｅｑｕｉｒｅｃｔａｎｇｕｌａｒｍａｐｐｉｎｇ）、キューブ・マッピング（ｃｕｂｅｍａｐｐｉｎｇ）、或いは、ピラミッド・マッピング（ｐｙｒａｍｉｄａｌｍａｐｐｉｎｇ）を必要とする。

ビデオ・ストリームは、ビデオが描画される予定の描画機器のタイプに従って準備されてフォーマット化される。従来型のビデオ描画機器は、矩形マッピングのみに従ってビデオ・フレームを復号するように構成されているので、没入型のビデオを適切に表示しない。逆に、没入型のビデオ描画機器は、没入型の投影に従って符号化されたフレームを想定しているので、従来型のビデオを適切に表示しない。従来型ビデオ描画機器及び没入型ビデオ描画機器の両方によって適切に表示できる後方互換の没入型ビデオ・ストリームについてのフォーマットが欠如している。

本開示の目的は、従来型ビデオ描画機器及び没入型ビデオ描画機器の両方によって適切に表示できる後方互換の没入型ビデオ・ストリームについてのフォーマットの欠如を解消することである。本開示は、ビデオ・ストリームから描画機器用のビデオ・フレームを構成する方法に関し、この方法は、
ビデオ・ストリームから元のビデオ・フレームを取得することと、
ビデオ・ストリームから第１の情報を取得することであって、第１の情報は、元のビデオ・フレームの第１の区域のサイズと位置とを表している、上記取得することと、
を含んでおり、
描画機器が従来型ビデオ描画機器である場合は、
元のビデオ・フレームの第１の区域によってビデオ・フレームを構成することを含み、
描画機器が没入型ビデオ描画機器である場合は、
ビデオ・ストリームから第２の情報を取得することであって、第２の情報は、レイアウトのタイプ、第１の部分の視野、第２の区域のサイズ、及び、基準方向を表している、上記取得することと、
第１及び第２の情報に従って、かつ、元のビデオ・フレームを用いて、マッピング済み表面を作成することと、
マッピング済み表面の一部分を捕捉する少なくとも１つの仮想カメラを用いてビデオ・フレームを構成することと、
を含んでいる。

特定の特徴によれば、このレイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する１つの没入型マッピングに基づいている。

具体的な態様によれば、このストリームは、ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ（ＨＥＶＣ）に従って復号され、第１の情報は、ＣｏｎｆｏｒｍａｎｃｅＷｉｎｄｏｗのパラメータによって搬送され、第２の情報は、ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）によって搬送される。

本開示はまた、ビデオ・ストリームから描画機器用のビデオ・フレームを構成するように構成された装置に関し、この装置は、
ビデオ・ストリームから元のビデオ・フレームを取得する手段と、
ビデオ・ストリームから第１の情報を取得する手段であって、第１の情報は、元のビデオ・フレームの第１の区域のサイズと位置とを表している、上記手段と、
を備えており、
描画機器が従来型ビデオ描画機器である場合は、
元のビデオ・フレームの第１の区域によってビデオ・フレームを構成するように構成されたプロセッサを備えており、
描画機器が没入型ビデオ描画機器である場合は、
ビデオ・ストリームから第２の情報を取得する手段であって、第２の情報は、レイアウトのタイプ、第１の部分の視野、第２の区域のサイズ、及び、基準方向を表している、上記手段と、
第１及び第２の情報に従って、かつ、元のビデオ・フレームを用いて、マッピング済み表面を作成するように構成されたプロセッサと、
マッピング済み表面の一部分を捕捉する少なくとも１つの仮想カメラを用いてビデオ・フレームを構成するように構成されたプロセッサと、
を備えている。

本開示はまた、没入型ビデオからビデオ・ストリームを生成する方法に関し、この方法は、
矩形マッピングに従って没入型ビデオ・フレームの第１の部分を符号化することと、
矩形マッピングから没入型マッピングへの過渡的なマッピングに従って、没入型ビデオ・フレームの第２の部分を符号化することと、
没入型マッピングに従って没入型ビデオ・フレームの第３の部分を符号化することと、
第１の部分を第１の区域として、第２の部分を第２の区域として、及び、第３の部分を第３の区域として備えたレイアウトに従って、ビデオ・フレームを構成することと、
構成されたビデオ・フレームと、第１の区域のサイズと位置とに関する第１の情報と、少なくとも、レイアウトのタイプ、第１の部分の視野、第２の区域のサイズ、及び、基準方向を含む第２の情報と、を含むビデオ・ストリームを生成することと、
を含んでいる。

具体的な態様によれば、このレイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する１つの没入型マッピングに基づいている。

具体的な特徴によれば、このストリームは、ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ（ＨＥＶＣ）に基づいており、第１の情報は、ＣｏｎｆｏｒｍａｎｃｅＷｉｎｄｏｗのパラメータによって搬送され、第２の情報は、ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）によって搬送される。

本開示はまた、没入型ビデオからビデオ・ストリームを生成するように構成された装置に関し、この装置は、
矩形マッピングに従って没入型ビデオ・フレームの第１の部分を符号化するように構成された符号化器と、
矩形マッピングから没入型マッピングへの過渡的なマッピングに従って、没入型ビデオ・フレームの第２の部分を符号化するように構成された符号化器と、
没入型マッピングに従って没入型ビデオ・フレームの第３の部分を符号化するように構成された符号化器と、
第１の部分を第１の区域として、第２の部分を第２の区域として、及び、第３の部分を第３の区域として備えたレイアウトに従って、ビデオ・フレームを構成するように構成されたプロセッサと、
構成されたビデオ・フレームと、第１の区域のサイズと位置とに関する第１の情報と、少なくとも、レイアウトのタイプ、第１の部分の視野、第２の区域のサイズ、及び、基準方向を含む第２の情報と、を含むビデオ・ストリームを生成するように構成されたビデオ・ストリーム生成器と、
を備えている。

本開示はまた、没入型ビデオを表すデータを搬送するストリームに関し、このデータは、
矩形マッピングに従って符号化された第１の区域と、矩形マッピングから没入型マッピングへの過渡的なマッピングに従って符号化された第２の区域と、没入型マッピングに従って符号化された第３の区域と、を備えたレイアウトに従って編成されたビデオ・フレームと、
ビデオ・フレーム内における第１の区域のサイズ及び位置を表す第１の情報と、
少なくとも、レイアウトのタイプ、第１の部分の視野、ビデオ・フレーム内における第２の区域のサイズ、及び、基準方向を含む第２の情報と、
を含んでいる。

下記の添付図面を参照する以下の記載を読めば、本開示をより良く理解でき、その他の具体的な特徴及び利点が明確になるであろう。

本原理の具体的な一実施形態による、ビデオ・フレームの矩形マッピング符号化を例示する図である。本原理の具体的な一実施形態による、図１の矩形マッピングと比較されるエクイレクタングラー・マッピング関数の一例を示す図である。本原理の具体的な一実施形態による、図１及び図２の他の利用可能なマッピングと比較すべきキューブ・マッピング関数の一レイアウト例を例示する図である。本原理の具体的な一実施形態による、種々のマッピング、例えば、図１、図２及び図３のマッピングに従って符号化されて従来型ビデオ描画機器によって描画された画像の例を示す図である。本原理の具体的な一実施形態による、図４のエクイレクタングラー・マッピングが使用された場合の関心領域の望ましくない歪みを解消するために準備された後方互換のフレームの一レイアウト例を例示する図である。本原理の具体的な一実施形態による、エクイレクタングラー・マッピングに従って符号化された没入型フレームから図５のレイアウト例で符号化された後方互換のフレームへの変換の一例を示す図である。本原理の具体的な一実施形態による、図５及び図６において例示されたようなビデオ・フレームを含む後方互換の没入型ビデオを表すデータを搬送するストリームのデータ構造の特定の実施形態を例示する図である。本原理の具体的な一実施形態による、図３のキューブ・マッピングが使用された場合の関心領域における望ましくない不連続性を解消するために準備された後方互換のフレームの一レイアウト例を例示する図である。本原理の具体的な一実施形態による、図１０又は図１１に関して説明される方法を実施するように構成された装置のハードウェアの一実施形態を示す図である。非限定的で有益な一実施形態によって、図９の装置のような処理装置において実施されるような後方互換の没入型ビデオ・ストリームを生成する方法の一実施形態を概略的に示す図である。非限定的で有益な一実施形態によって、図９の装置のような処理装置において実施されるような所与の描画機器用に後方互換の没入型ビデオ・ストリームからビデオ・フレームを構成する方法の一実施形態を概略的に示す図である。

以下、図面を参照して主題を説明するが、全図面において同じ参照番号を用いて同じ構成要素を示している。以下、主題を完全に理解できるように、説明の目的のために、多数の具体的な詳細事項を述べる。主題の実施形態がこれらの具体的な詳細事項なしで実施できることは明らかである。

本開示の非制限的な実施形態によって、後方互換の没入型ビデオを符号化したストリームを開示する。そのようなストリームを復号する方法と装置も開示する。そのようなストリームは、没入型ビデオ描画機器のみならず従来型ビデオ描画機器によっても復号して描画し得る。そのようなストリームは、それを復号する機器に関係なく、例えば、ネットワーク（例えば、ブロードキャスト・ネットワーク、ＶｏＤネットワーク又はインターネット）から配信され、或いは、媒体（例えば、ＤＶＤ、ブルーレイ・ディスク又はメモリー・スティック）に格納される。

従来型ビデオ描画機器は、例えばＭＰＥＧ２のＨ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣのような標準規格のフォーマットに符号化された従来型ビデオ・ストリームを復号できる機器である。従来型ビデオ描画機器は、復号されたビデオを２次元の矩形スクリーン（例えば、ＴＶ受像機、ビデオ・プロジェクタ、タブレット又はスマートフォン）に対して描画する。尚、描画とは、画像が表示装置によって適切に表示され得るようにその画像を準備する動作である。ビデオ・ストリームを復号するように構成されたセットトップ・ボックスとプロセッサもビデオ描画機器と見なされる。特定の実施形態において、後方互換のビデオ・ストリームは、Ｈ．２６５／ＨＥＶＣの標準規格のパラメータを用いており、事前修正なしに既存の従来型ビデオ描画機器によって復号可能であるという利点を有している。

没入型ビデオ描画機器についての方法を本開示において更に詳しく説明する。没入型ビデオは観察者の周囲に描画されるように意図されている。即ち、観察者は、全体の映像を見ることができず、従って、自身の頭部を回転させて（或いは、身体を動かして）自身の視界外に在る画像部分を見る必要がある。例えば「ケーブ（ｃａｖｅ）」は、複数のビデオ・プロジェクタによって構成された没入型ビデオ描画機器であり、これらのプロジェクタは、複数の方向に視聴者の周囲に復号済みビデオを表示する。例えば、ヘッド・マウント・ディスプレイ・デバイス（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙｄｅｖｉｃｅ：ＨＭＤ）、タブレット、或いは、スマートフォンは、空間における自装置の少なくとも方位を追跡する慣性測定装置を備えているので、没入型ビデオ描画機器になるように構成し得る。装置の方位が、見る方向を決定して、仮想カメラが、装置の矩形スクリーン上に描画されるべき、周囲の没入型ビデオの部分を捕捉する。

元の没入型ビデオから後方互換の没入型ビデオ・ストリームを生成するための方法と装置も開示する。ビデオ・フレームは、少なくとも１つのマッピング関数に従って符号化される。マッピング関数は、マッピング表面の各々の点をフレームから得られる色情報に対応付ける。描画の際に、マッピング済み画像を選択し、及び／又は、表示すべきスクリーンに適合化するために、投影関数がマッピング表面に適用される。マッピング関数は、ビデオ描画機器の関数である。投影関数は、表示機器に関連付けられる。特定の実施形態によれば、ビデオ描画機器に接続された特定の表示機器によって想定されるフレームを準備するために、投影関数がビデオ描画機器によってマッピング表面に適用される。

図１は、矩形マッピング符号化モードを例示している。ビデオ・シーケンスの画像が、矩形表面１１上に描画されるように意図されている矩形フレーム１０に符号化されている。マッピング関数１２は、フレーム１０とマッピング表面１１が同等であるから、単純明快である。スクリーン１３は、マッピング表面１１と同じ解像度及び／又は精細度を有しないことがある。その結果、投影関数１４は、マッピング表面１１側で倍率変更する及び／又はクロッピングする（不要部分を切り取る）、或いは、黒いバーを表示することがある。図１において、フレーム１０とマッピング表面１１は４：３のアスペクト比を有し、他方、スクリーンは１６：９のアスペクト比を有する。この例では、投影関数１４は、画像の中央部分においてクロッピングを行って、スクリーン１３に適合するビデオを生成する。一変形例では、投影関数１４は、マッピング表面１１の左右に黒いバーを加えて、スクリーン１３に適合するビデオを得る。別の実施形態において、図１のビデオは立体映像である。そのような変形例では、フレーム１０には２枚の別個の画像が含まれており、これらの画像は、２つの別個のマッピング表面１１上にマッピングされる。これらのマッピング表面がスクリーンのタイプに従って組み合わされて、立体映像効果の描画が行われる。

図２は、エクイレクタングラー・マッピング（ｅｑｕｉｒｅｃｔａｎｇｕｌａｒｍａｐｐｉｎｇ）関数の一例を示している。画像のシーケンスが、球形マッピング表面２１上にマッピングされるように意図されている矩形フレーム２０上に符号化されている。マッピング関数２２は、フレーム２０の各々の画素からマッピング表面２１上の点へ（その逆も同様）のマッピングを設定する。図２において、マッピング関数２２は、エクイレクタングラー投影（ｅｑｕｉｒｅｃｔａｎｇｕｌａｒｐｒｏｊｅｃｔｉｏｎ）（正距円筒投影（ｅｑｕｉｄｉｓｔａｎｔｃｙｌｉｎｄｒｉｃａｌｐｒｏｊｅｃｔｉｏｎ）とも呼ばれる）に基づいている。フレーム２０上の画像は、歪んでいる。距離は、赤道では正しく、両極では拡大されている。直線は、もはや真直ぐではなく、遠近法（遠近感）は、歪んでいる。変形例では、マッピング関数２２は、例えば、正距円錐投影（ｅｑｕｉｄｉｓｔａｎｔｃｏｎｉｃｐｒｏｊｅｃｔｉｏｎ）に基づいている。スクリーン２３が、ヘッド・マウント・ディスプレイ・デバイス（ＨＭＤ）、タブレット又はスマートフォンの場合のように矩形であれば、マッピング表面２１の一部が選択される。投影関数２４の本質は、スクリーン２３に直接適合する画像を生成するために視野と解像度との観点で構成されたカメラであって球の中心に位置しているカメラによって見られるようなマッピング表面２１の一部分を選択することにある。選ばれる視野は、表示機器の特性に依存する。ＨＭＤの場合、利点として、視野角は人間の立体視野に近く、それは約１２０度である。カメラの照準方向は、ユーザが見ている方向に対応しており、没入型ビデオ描画機器の仮想カメラ・コントローラを用いてカメラの照準方向を変更する。一変形例では、図２のビデオは、立体映像である。そのような変形例では、フレーム２０には２枚の別個の画像が含まれており、これらの画像は、２つの別個のマッピング表面２１上にマッピングされる。これらのマッピング表面がスクリーンのタイプに従って組み合わされて、立体映像効果の描画が行われる。

図３は、キューブ・マッピング関数のレイアウト（配置）例を例示している。画像のシーケンスが、立方体マッピング表面３１上にマッピングされるように意図されている矩形の（即ち、正方形の）フレーム３０上に符号化されている。マッピング関数３２は、フレーム３０内の正方形とキューブ（立方体）３１の面との間の対応関係を設定する。逆もまた同様に、このマッピング関数は、キューブ３１の面がフレーム３０の表面内でどのように編成されるかを決定する。各々の面上の画像は、歪んでいない。しかしながら、フレーム３０の画像全体において、線は区分的に真直ぐであり、遠近法は壊れている。この画像には、空の正方形（デフォルトの色情報又はランダムな色情報、図３の例では白色で満たされている）が含まれ得る。この投影関数は、図２の投影関数として機能する。カメラが、キューブ３１の中心に位置して、描画機器のスクリーンに適合する画像を捕捉する。

変形例では、その他のマッピング表面及び／又はマッピング関数が使用されて、ビデオ・フレームが、例えば円筒又はピラミッド上にマッピングされる。

図４は、種々のマッピング関数に従って符号化されて、従来型ビデオ描画機器によって描画された画像の例を示している。図４の全ての画像は、従来型ビデオ描画機器によって描画されているので、矩形のマッピングに従って符号化されている。しかしながら、これらの画像は、種々の投影関数に従って投影されている。画像４０は、代表的な従来型のビデオ（即ち、ユーザがＴＶ又は映画館で見慣れたビデオ）から抜き出されている。画像４０を捕捉したカメラは、遠近法投影関数を使用している。遠近法投影が使用される場合、直線は真直ぐであり、角度とプロポーション（割合）は実際のものに対応しており、遠近法は守られる。カメラは、周囲環境の一部分を捕捉している。この部分は、映画製作者が見せるために選択した部分であるから、関心領域（ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔ：ＲｏＩ）と呼ばれる。遠近法の矩形画像の水平方向の視野は、例えば７０度（７０°）であり、この角度は、色の良好な識別を伴う人間の近周辺視野にほぼ相当する。

画像４１は、広角のカメラで捕捉されている。このような投影関数が使用される場合、平坦なスクリーン上に描画される時に、直線はもはや真直ぐではなく、角度とプロポーションはもはや実際のものに対応しておらず、遠近法は歪んでいる。関心領域は、画像４１の場合よりも大きい。水平方向の視野は、６０度（６０°）を超えている。

画像４２は、エクイレクタングラー・マッピングに従って符号化された没入型画像から取り出された一片である。オリジナルの没入型画像は、没入型ビデオ描画機器によって遠近法投影に従って（即ち、直線、角度、プロポーション及び遠近法が尊重されて）描画されることが意図されている。画像４２は、エクイレクタングラー・マッピングで符号化されて矩形マッピングで復号された画像の一部分である。その結果として、示された関心領域は、あらゆる水平方向の視野について歪んでいる。この歪みは、オリジナルの画像における一片の位置に従って、及び、視野に従って、局所的に変化している。画像４３は、キューブ・マッピングで符号化されて矩形マッピングで復号された画像の一部分である。ここでは、遠近法は保持されているが、連続性は、関心領域がキューブの縁端と重なる場合、壊れている。

図５は、エクイレクタングラー・マッピングが使用された場合の関心領域の望ましくない歪みを解消するために準備された後方互換のフレームの一レイアウト（配置）例５０を例示している。このレイアウト５０は、所与のサイズ、例えば、７２０×５７６画素（ＰＡＬの精細度）、７２０×４８０画素（ＮＴＳＣの精細度）、１２８０×７２０画素（ＨＤ１の精細度）、１９２０×１０８０画素（ＨＤ２の精細度）、或いは、４０９６×２１６０画素（４Ｋ）の矩形フレームである。レイアウト５０は、３つの部分から構成されている。

部分５１は、例えば遠近法投影に従って捕捉されて矩形マッピングに従って符号化された元の没入型コンテンツの関心領域に対応している。このサブフレーム５１は、従来型ビデオ描画機器上で描画されるように準備されている。サブフレーム５１のサイズは、所与の精細度、例えば、フレーム５０が４Ｋフレームである場合、１９２０×１０８０画素のものである。サブフレーム５１の左上のコーナー（角）は、フレーム５０内において位置（ｘ，ｙ）、例えばｘ＝１０８８及びｙ＝５４０、に位置している。サブフレーム５１のサイズと位置は、ビデオの持続期間に亘って、不変である。一変形例において、サブフレーム５１のサイズ及び／又は位置は、時間の経過と共に変化する。

部分５２は、エクイレクタングラー・マッピングに従って元の没入型コンテンツを符号化した矩形フレームである。このフレームから部分５３に対応する区域が切り取られる。部分５３は、画像が（その中央側の）矩形マッピングから（その周辺側の）エクイレクタングラー・マッピングへ連続的に移行する遷移区域である。

図６は、エクイレクタングラー・マッピングに従って符号化された没入型フレーム６０から図５のレイアウト例で符号化された後方互換のフレーム５０への変換の一例を示している。関心領域は、例えば、ディレクタによって手動で、或いは、例えば、例えば画像の顕著性マップ（ｓａｌｉｅｎｃｙｍａｐ）に基づいた画像処理アルゴリズムによって自動的に、選択される。関心領域は、（最高３６０°までの）没入型コンテンツの視野の一部分に対応している。前述の如く、遠近法投影が関心領域について選択された場合、視野は、最高７０度までである。一変形例において、広角が、関心領域の投影関数として選ばれる。

次の例では、フレーム５０内のサブフレーム５１の位置（ｘ，ｙ）は、サブフレーム５１がフレームの中央に在るように、選ばれている。この例の変形例では、基準のフレームを移動させることによって等式を適応化できる。

水平方向の視野が与えられると、垂直方向の視野は、次の等式によって求められる。

（式１）

ここで、ｗとｈは、それぞれ、サブフレーム５１の幅と高さである。フレーム５０の点Ｍ_ｅ（ｉ_ｅ，ｊ_ｅ）について、サブフレーム５１内の座標Ｍ_ｓは、次の等式（［式２］）に従って求められる。

（式２）

ここで、ｗ_ｅとｈ_ｅは、それぞれ、フレーム５０の幅と高さである。サブフレーム５１の各々の画素Ｍ_ｓ（ｉ，ｊ）について、関連付けられた３Ｄ点Ｍ_ｖが算定される（［式３］）。フレーム６０内の対応する画素の座標Ｍが、この点の正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）を球体上に投影することによって得られる（［式４］）。

（式３）

（式４）

関数ｆは、画像空間から表面の中間パラメトリック空間にマッピングするための関数である。例えば、エクイレクタングラー・マッピングについて、関数ｆは、次のように定義されてもよい。
ｆ：（ｉ，ｊ）→（θ，φ）
φ＝（ｉ－ｈ／２）／ｈ＊２π
θ＝（ｊ－ｗ／２）／ｗ＊π
（式４ａ）

関数∂は、中間パラメトリック空間から表面の３Ｄ空間にマッピングするための関数である。エクイレクタングラー・マッピングについて、３Ｄ表面は球体であり、デルタは次のように定義されてもよい。
デルタ：（θ，φ）→（Ｘ，Ｙ，Ｚ）
Ｘ＝ｓｉｎ（φ）ｃｏｓ（θ）
Ｙ＝ｓｉｎ（φ）ｓｉｎ（θ）
Ｚ＝ｃｏｓ（φ）

サブフレーム５１の視野が、没入型フレーム５０，６０の視野の、サブフレーム５１によって占められる部分よりも狭い場合、画素は、遷移区域５３内で「圧縮」される。これは、サブフレーム５１によって占められる空間が１６８．７５度（１９２０×３６０／４０９６）である時にサブフレーム５１の水平方向の視野が６０度である図６の例において当てはまる。逆に、サブフレーム５１の視野が、没入型フレーム５０、６０の視野の、サブフレーム５１によって占められる部分よりも広い場合、画素は、遷移区域５３内で「伸張」される。

遷移区域５３を補充する方法の一例は、矩形マッピングのサブフレーム５１からエクイレクタングラー・マッピングの部分５２までの滑らかな補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を、例えば、フレームの２つの部分５１と５２との間の距離に従って重みを求めることによって、算定することである。

（式５）

ここで、ｍ_ｘとｍ_ｙは、それぞれ、サブフレーム５１の周りの部分５３を規定するマージンの幅と高さである。球体上の点の座標は、重みの関数（［式６］）に従って算定され、使用すべきフレーム６０の画素の座標は、等式［式７］によって得られる。

（式６）

（式７）

関数ｈは、２つのマッピングの間の遷移の傾きを調整するために使用される。１より大きいか又は１に等しい正の定数αが与えられると、関数ｈは、例えば、以下のうちの一方である。

別の実施形態において、滑らかな補間は、上述のようなパラメトリック表面においてではなく、３次元（３Ｄ）空間において行われる。

図７は、図５と図６において例示されたようなビデオ・フレームを含む後方互換の没入型ビデオを表すデータを搬送するストリーム７０のデータ構造の特定の実施形態を例示している。図５と図６のフレーム５０は、ストリームのペイロード部分７１に符号化されている。コンテンツに関する大域的又は包括的な情報が、ヘッダ部分７２に含まれている。変化する又は反復する情報が、各々のペイロード部分７１のヘッダ部分７３に格納されている。

フレーム５０には、従来型ビデオ描画機器に適応化されたサブフレーム５１が含まれている。これらの機器がサブフレーム５１を復号するために必要とする情報は、フレーム６０内におけるその位置とサイズのみであり、本明細書において第１の情報とも称することにする。この第１の情報が時間の経過と共に変わることもあり得るので、或いは、コンテンツ・ヘッダがクライアント機器によって（例えば、放送の場合に）受信されていないこともあり得るので、第１の情報は、各々のペイロード部分７１のヘッダ部分７３に含まれている。一変形例では、第１の情報は、コンテンツ・ヘッダ部分７２に含まれている。別の変形例では、第１の情報は、変わる時のみに、或いは、反復的に、例えば５個目又は１０個目のペイロード部分７１毎に、ペイロード部分７１のヘッダ部分７３に含まれている。

特定の実施形態において、フレーム５０は、Ｈ．２６５／ＨＥＶＣコーデックに従って符号化される（ＤＶＢ標準規格の文献ＥＴＳＩＴＳ１０１１５４ｖ２．２．１参照）。このコーデックのパラメータ「ＣｏｎｆｏｒｍａｎｃｅＷｉｎｄｏｗ」が、メイン・フレーム内でのサブフレームの位置とサイズの情報を搬送するためにリザーブされる。このＣｏｎｆｏｒｍａｎｃｅＷｉｎｄｏｗのパラメータがストリーム内に存在する場合、描画機器によるＣｏｎｆｏｒｍａｎｃｅＷｉｎｄｏｗのパラメータの使用は、ＤＶＢ標準規格の仕様において必須である。アスペクト比の適合化は、従来型ビデオ描画機器によって、機器の事前修正なしに、通常の如く取り扱われる。

没入型ビデオ描画機器（例えば、タブレット、スマートフォン又はＨＭＤ）による復号の場合、フレーム６０を取得するためにフレーム５０の逆変換が行われる。図６の例において、この逆変換は、［式８］と［式９］の逆関数に基づいてもよい。

（式８）

（式９）

この逆変換に必要なパラメータは、変換に必要なものと同じであり、即ち、一方では、サブフレーム５１の位置とサイズを含む第１の情報であり、他方では、フレーム５０を準備するために使用されたマッピング・レイアウトのタイプ（この例では図５のもの）と、サブフレーム５１を算定するために使用された視野と、遷移区域のサイズと、基準方向（ｒｅｆｅｒｅｎｃｅｄｉｒｅｃｔｉｏｎ）とを含む第２の情報であり、遷移区域の位置は、マッピング・レイアウトのタイプと相関関係にある。基準方向は、没入型の視聴において、描画の際のマッピング表面の絶対ゼロ位置を知るために有用であることもある。第２の情報は、時間が経過しても不変であり、それ故、コンテンツのヘッダ部分７２内に符号化されている。別の実施形態において、例えば、ストリームが放送される場合、コンテンツ・ヘッダ７２は、クライアントによって取り逃されることもあり、従って、第２の情報は、ストリーム内において、反復的に、例えばペイロード部分７１のヘッダ部分７３内に符号化されている。一変形例において、第２の情報の一部のデータ（例えば、遷移区域のサイズ）は、時間が経過すると変わることもあり、それ故、第２の情報は、ストリームのペイロード部分７１のヘッダ部分７３内に符号化されている。

次に、復元されたフレーム６０が球体上にマッピングされ、没入型ビデオ描画機器は、自己の通常の投影関数を用いて、表示すべき没入型コンテンツの部分を描画する。別の実施形態において、没入型ビデオ描画機器は、前述の第１及び第２の情報に従って、フレーム５０に固有のマッピング表面を作成する。例えば、この固有のマッピング表面は、（サブフレーム５１についての）平面、（遷移部分５３についての）楕円形部分、及び、（エクイレクタングラー部分５２についての）部分的に球形の部分から構成される。フレーム５０がこの固有のマッピング表面上にマッピングされて、没入型ビデオ描画機器の通常の投影関数が、この機器に関連付けられた少なくとも１つのスクリーンに適合化された没入型コンテンツの一部分を自動的に切り出す。

特定の実施形態において、フレーム５０と第１及び第２の情報は、別々の同期化されたストリーム内に符号化されている。

図８は、キューブ・マッピングが使用された場合の関心領域における望ましくない不連続性を解消するために準備された後方互換のフレームの一レイアウト（配置）例８０を例示している。このレイアウト例において、３Ｄ表面の各々の面のサイズと比率は適応化される。図５と図６のエクイレクタングラーのレイアウト例の場合と同じ理由で、サブフレーム８１が、従来型ビデオ描画機器によって直接復号できるように準備される。このレイアウト例８０は、所与のサイズ、例えば、７２０×５７６画素（ＰＡＬの精細度）、７２０×４８０画素（ＮＴＳＣの精細度）、１２８０×７２０画素（ＨＤ１の精細度）、１９２０×１０８０画素（ＨＤ２の精細度）、或いは、４０９６×２１６０画素（４Ｋ）の矩形フレームである。キューブの６つの面は、このレイアウトの３つの部分、即ち、矩形マッピング部分８１、没入型マッピング部分８２、及び、遷移マッピング区域８３を構成する。

部分８１は、例えば遠近法投影に従って捕捉されて矩形マッピングに従って符号化された元の没入型コンテンツの関心領域に対応している。関心領域は、キューブの１つの面を占める。サブフレーム５１のサイズは、所与の精細度、例えば、フレーム８０が４Ｋフレームである場合、１９２０×１０８０画素のものである。そのような標準規格のサイズは、既存の従来型ビデオ描画機器によって事前修正なしに復号されて描画されるという利点を有する。しかしながら、それらは矩形である（そして正方形ではない）ので、このマッピング・レイアウトにおけるキューブのその他の面のサイズは適合化される必要がある。図８の例において、部分８１は、（規則によって）正面として見なされ、フレーム８０の幅の半分とその高さの半分とを占めている。頂面、底面、及び、背面は、正方形の形状を保持する。左面及び右面は、例えば底面よりも小さい矩形である。没入型キューブ・マッピングにおいて、キューブの各々の面は、（３６０°である）水平方向の視野の９０度（９０°）と垂直方向の視野の９０度とを受け入れる。図８の後方互換のレイアウト例では、正面の視野は、関心領域の視野に対応している。この視野が９０°よりも狭い場合、左面、右面、頂面及び底面は、左面と右面とについてのより小さい区域について９０°よりも広い視野を符号化する必要がある。その結果、上述の４つの面に配分された遷移区域８３において、画素は「圧縮」される。フレーム８０の残りのものは、キューブ・マッピングに従って没入型フレームを符号化するのに使用される。

図８のレイアウトで準備された後方互換の没入型ビデオは、図７に示されたようなストリーム内に、図５のレイアウトについて、符号化される。準備されたフレームは、ストリーム７０のペイロード部分７１内に符号化される。サブフレーム８１の位置とサイズとを含む第１の情報は、同じ変形例に従って、ペイロード部分７１のヘッダ部分７３及び／又はコンテンツのヘッダ部分７２内に符号化される。第２の情報は、フレーム５０を準備するために使用されたマッピング・レイアウトのタイプ（この例では図８のもの）と、サブフレーム８１を算定するために使用された視野と、遷移区域のサイズと、基準方向（ｒｅｆｅｒｅｎｃｅｄｉｒｅｃｔｉｏｎ）とを含み、遷移区域の位置は、マッピング・レイアウトのタイプと相関関係にある。

図９は、図１０又は図１１に関して説明される方法を実施するように構成された装置９０のハードウェアの一実施形態を示している。この例において、装置９０には、クロック信号も移送するアドレス用及びデータ用のバス９１によって相互に接続された構成要素、即ち、
・例えばデジタル信号プロセッサ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ：ＤＳＰ）であるマイクロプロセッサ（即ち、ＣＰＵ）９２と、
・読み出し専用メモリ（リード・オンリー・メモリ：ＲＯＭ）タイプの不揮発性メモリ９３と、
・ランダム・アクセス・メモリ、即ち、ＲＡＭ９４と、
・送信すべきデータをアプリケーションから受信するＩ／Ｏ（入出力）インタフェース９５と、
・ランダム・アクセス・メモリのレジスタを組み込み得るグラフィックス・カード９６と、
・電源９７と、
が備えられている。

一例によれば、電源９７は、装置の外部に在る。ここで述べるメモリの各々において、本明細書で使用される「レジスタ」という用語は、小容量（数ビット）の領域、或いは、非常に大きい領域（例えば、プログラム全体、或いは、大量の受信された又は復号されたデータ）に対応し得る。ＲＯＭ９３は、少なくともプログラムとパラメータを備えている。ＲＯＭ９３は、本原理による技術を実施するためのアルゴリズムと命令を記憶し得る。ＣＰＵ９２は、電源投入されると、ＲＡＭ内のプログラムをアップロードして、対応する命令を実行する。

ＲＡＭ９４は、あるレジスタに装置９０の電源投入後にＣＰＵ９２によってアップロードされて実行されるプログラムと、あるレジスタに入力データと、あるレジスタに本方法の相異なる状態における中間データと、あるレジスタに本方法の実行のために使用されるその他の変数とを備えている。

本明細書において説明された実施形態は、例えば、方法、プロセス、装置、ソフトウェア・プログラム、データ・ストリーム、或いは、信号において、実施されてもよい。説明された特徴の実施は、それがたとえ単一の形の実施形態のコンテキスト（文脈）のみで説明されたとしても（例えば、方法又は装置としてのみ説明されたとしても）、その他の形（例えば、プログラム）でも実施されてもよい。ある装置は、例えば、適切なハードウェア、ソフトウェア及びファームウェアにおいて実施され得る。方法は、例えば、装置において、例えば、コンピュータ、マイクロプロセッサ、集積回路、或いは、プログラマブル・ロジック・デバイスを含む処理機器を一般的に意味する例えばプロセッサのような装置において、実施され得る。プロセッサには、例えば、コンピュータ、セルフォン、ポータブル／パーソナル・デジタル・アシスタント（「ＰＤＡ」）、セットトップ・ボックスのような通信機器、及び、エンドユーザ相互間の情報の通信を容易にするその他の機器も含まれる。

図１０に例示されたような後方互換の没入型ビデオ・ストリームを生成する一例によれば、元の没入型ビデオとこの元の没入型ビデオの関心領域を表すデータとは、ある供給源から得られる。例えば、この供給源は、
・例えばビデオ・メモリ、ＲＡＭ（即ち、ランダム・アクセス・メモリ）、フラッシュ・メモリ、ＲＯＭ（即ち、リード・オンリー・メモリ）、或いは、ハード・ディスクのようなローカル・メモリ（９３，９４又は９６）と、
・例えば、大容量記憶装置、ＲＡＭ、フラッシュ・メモリ、ＲＯＭ、光ディスク、或いは、マグネティック・サポート（ｍａｇｎｅｔｉｃｓｕｐｐｏｒｔ）とのインタフェースのような記憶装置用インタフェース（９５）と、
・例えば有線インタフェース（例えば、バス・インタフェース、ワイド・エリア・ネットワーク・インタフェース又はローカル・エリア・ネットワーク・インタフェース）、或いは、無線インタフェース（例えば、ＩＥＥＥ８０２．１１インタフェース又はＢｌｕｅｔｏｏｔｈ（登録商標）インタフェース）のような通信インタフェース（９５）と、
を含む集合に属する。

１つの特定の実施形態によれば、図１０に例示されており、以下に説明される、後方互換の没入型ビデオ・ストリームを生成する方法のステップを実施するアルゴリズムは、これらのステップを実施する装置９０に関連付けられたグラフィックス・カード９６のメモリＧＲＡＭに記憶されている。一変形例によれば、ＲＡＭ（９４）の一部が、ＣＰＵ（９２）によって、これらのアルゴリズムの記憶用に割り当てられる。これらのステップによってビデオ・ストリームが生成され、このビデオ・ストリームは、例えばビデオ・メモリ（９４）、ＲＡＭ（９４）、ＲＯＭ（９３）、フラッシュ・メモリ（９３）、或いは、ハード・ディスク（９３）のようなローカル・メモリと、例えば、大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュ・メモリ、光ディスク、或いは、マグネティック・サポートとのインタフェースのような記憶装置用インタフェース（９５）とを含む集合に属する送信先に送られ、及び／又は、例えば、ポイント・ツー・ポイント・リンク、バス、ポイント・ツー・マルチポイント・リンク、或いは、ブロードキャスト・ネットワークに対するインタフェースのような通信インタフェース（９５）から受信される。

複数の例によれば、図１０に関して説明される後方互換の没入型ビデオ・ストリームを生成する方法を実施するように構成された装置９０は、
・モバイル機器、
・通信機器、
・ゲーム機器、
・タブレット（即ち、タブレット型コンピュータ）、
・ラップトップ、
・符号化チップ、
・静止画像サーバ、及び、
・ビデオ・サーバ（例えば、ブロードキャスト・サーバ、ビデオオンデマンド・サーバ又はウェブサーバ）
を含む集合に属する。

後方互換の没入型ビデオ・ストリームからビデオを構成する一例によれば、後方互換の没入型ビデオを表すストリームは、ある供給源から得られる。具体的な代表例として、このストリームは、ローカル・メモリから、例えば、ビデオ・メモリ（９４）、ＲＡＭ（９４）、ＲＯＭ（９３）、フラッシュ・メモリ（９３）又はハード・ディスク（９３）から読み出される。一変形例において、このストリームは、記憶装置用インタフェース（９５）から、例えば、大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュ・メモリ、光ディスク、或いは、マグネティック・サポートとのインタフェースから受信され、及び／又は、通信インタフェース（９５）から、例えば、ポイント・ツー・ポイント・リンク、バス、ポイント・ツー・マルチポイント・リンク、或いは、ブロードキャスト・ネットワークに対するインタフェースから受信される。

１つの特定の実施形態によれば、図１１に例示されており、以下に説明される、描画機器用に後方互換の没入型ビデオ・ストリームからビデオを構成する方法のステップを実施するアルゴリズムは、これらのステップを実施する装置９０に関連付けられたグラフィックス・カード９６のメモリＧＲＡＭに記憶されている。一変形例によれば、ＲＡＭ（９４）の一部が、ＣＰＵ（９２）によって、これらのアルゴリズムの記憶用に割り当てられる。これらのステップによってビデオが構成され、このビデオは、
・モバイル機器、
・通信機器、
・ゲーム機器、
・セットトップ・ボックス、
・ＴＶ受像機、
・タブレット（即ち、タブレット型コンピュータ）、
・ラップトップ、
・ディスプレイ、及び、
・復号チップ
を含む集合に属する送信先に送られる。

図１０は、非限定的で有益な一実施形態によって、装置９０のような処理装置において実施されるような後方互換の没入型ビデオ・ストリームを生成する方法１００の一実施形態を概略的に示している。

ステップ１０１において、没入型ビデオとこの没入型ビデオの関心領域を表すデータとが、ある供給源から得られる。この没入型ビデオには、没入型マッピング、例えば、（図６のフレーム６０のような）エクイレクタングラー・マッピング、（例えば図３のフレーム３０のような）キューブ・マッピング、或いは、ピラミッド・マッピングに従って符号化されたフレームが含まれている。この没入型ビデオには、オーディオ・トラック又はメタデータのような、後方互換の没入型ビデオ・ストリームを生成する際に修正なしに使用されるその他のデータが含まれていてもよい。

ステップ１０２において、後方互換のフレームを準備するために、レイアウト、例えば、図５におけるようなエクイレクタングラー・マッピングに基づくレイアウト、図８のレイアウトのようなキューブ・マッピングに基づくレイアウト、或いは、ピラミッド・マッピングに基づくレイアウトが選択される。

ステップ１０３は、後方互換のフレームを作成することにある。このステップは、３つのサブステップ１０４，１０５及び１０６を含んでいる。これらの３つのサブステップは、連続して実行されてもよいし、或いは、並行して実行されてもよい。ステップ１０４は、矩形マッピングに従ってフレームを符号化することにある。このステップ１０４は、後方互換であるフレームの部分を生成するので、あらゆるレイアウトに共通している。フレームの色情報（即ち、画素）は、関心領域の記述に従って没入型ビデオ・フレームから特定される。ステップ１０５と１０６は、関心領域の外側に在る没入型ビデオの部分を準備することにある。レイアウトの没入型マッピングは、没入型ビデオの没入型マッピングと異なることがある。遷移区域のサイズが特定される。遷移区域の位置は、選択されたレイアウトに依存する。遷移区域は、後方互換のフレームを続ける。ステップ１０５において、遷移区域の色情報が特定される。この部分に使用されるマッピングは、矩形マッピングからレイアウトの没入型マッピングへ連続的に過渡的である。ステップ１０６において、没入型部分の色情報が特定される。没入型ビデオ・フレームの３つの部分に対応する３つの区域が、選択されたレイアウトに従って後方互換のフレームを構成するために使用される。ステップ１０３の実行について特定された値は、ステップ１０７の入力として送信される。これらの値は、第１の区域のサイズと位置、レイアウトのタイプ、第１の部分の視野、遷移区域のサイズ、及び、基準方向とも称される描画時のマッピング表面の絶対ゼロ位置の方向である。

ステップ１０７は、後方互換の没入型ビデオ・ストリームを生成することにある。このストリームには、後方互換のビデオ・フレームと、第１の区域のサイズ及び位置に関する第１の情報と、レイアウトのタイプ、第１の部分の視野、遷移区域のサイズ、及び、基準方向を含む第２の情報とが含まれている。

図１１は、非限定的で有益な一実施形態によって、装置９０のような処理装置において実施されるような所与の描画機器用に後方互換の没入型ビデオ・ストリームからビデオ・フレームを構成する方法１１０の一実施形態を概略的に示している。この描画機器は、例えばＴＶ受像機、タブレット又はスマートフォンのような従来型ビデオ描画機器、或いは、没入型ビデオを描画するように構成された、例えばケーブ、ＨＭＤ、タブレット又はスマートフォンのような没入型ビデオ描画機器である。本方法の最初の３つのステップは、両方のタイプの描画機器に共通している。

ステップ１１１において、ストリームが、ある供給源から得られる。このストリームは、後方互換であるので、標準規格の従来型ビデオ描画機器によって事前修正なしに解析できる。ステップ１１２において、ストリームのビデオ・フレームが得られる。一実施形態によれば、このステップにおいて、フレームが復号される。別の一実施形態において、フレームの符号化データは、アクセスされて、符号化状態が維持される。このような実施形態は、ステップ１１４においてフレームの第１の区域のみが復号される従来型ビデオ描画機器にとって、有効である。このような実施形態は、例えば、タイルを使用して実施してもよい。独立したタイルは、専用のＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ（ＳＥＩ：補助強化情報）をリザーブして、互いに独立して復号されるタイルのサイズと位置とを信号で伝えるＨＥＶＣの一特徴である。ステップ１１３において、第１の区域のサイズと位置とを含む第１の情報が、ストリームから解析される。

この時点で、描画機器が従来型ビデオ描画機器である場合、第１の区域に対応するフレームの部分によって、描画されるべきフレームが構成される。第１の区域が矩形マッピングに従って符号化されているので、従来型ビデオ描画機器は、それを事前修正なしに描画できる。一実施形態によれば、フレームは、第１の区域のみを保持するために、第１の情報に従ってクロッピングされる（不要部分が切り取られる）。別の一実施形態によれば、第１の区域の部分のみが、例えばタイル機能を用いることによって、復号される。

描画機器が没入型ビデオ描画機器である場合、ステップ１１５において、第２の情報がストリームから解析される。この情報は、ステップ１１６において、第１の情報と共に使用されて、マッピング済み表面が作成される。一実施形態によれば、マッピング表面については、例えば、球体、キューブ又はピラミッドが選択される。このマッピング表面は、例えば、テクスチャ座標に関連付けられたメッシュである。これらのテクスチャ座標は、入力フレームに適合するように算定される。一変形例において、メッシュの節点（ｖｅｒｔｉｃｅｓ）は、それらの位置が、それらのテクスチャ座標が入力フレーム内でアドレス指定する位置と一致するように、移動させられる。別の変形例において、フレームがマッピング表面のテクスチャ座標と一致するように、中間フレームが算定される。

ステップ１１７は、マッピング済み表面の中心に置かれた仮想カメラから、描画されるべきビデオを捕捉することにある。これは、没入型ビデオ描画機器の通常のステップである。少なくとも１つの仮想カメラが、マッピング済み表面の中心に置かれて、投影機器に送信される予定のフレームを捕捉する。ＨＭＤの場合、この投影機器は、この装置のスクリーンである。ケーブの場合、各々の光プロジェクタが投影機器である。

当然、本開示は、上述の実施形態に限定されない。

特に、本開示は、没入型ビデオ・コンテンツを処理する方法には限定されず、処理済みビデオ・フレームを表示する任意の方法とその表示方法を実施する任意の装置とにも及ぶ。フレームとストリームとを生成するために必要な計算の実施形態も、シェーダ・タイプのマイクロプログラムにおける実施形態には限定されず、任意のプログラムのタイプ、例えば、ＣＰＵタイプのマイクロプロセッサによって実行できるプログラムにおける実施形態にも及ぶ。本開示の方法の使用は、ライブの利用には限定されず、その他の任意の利用、例えば、レコーディング・スタジオにおけるポストプロダクション処理として知られる処理にも及ぶ。

本明細書において説明された実施形態は、例えば、方法、プロセス、装置、ソフトウェア・プログラム、データ・ストリーム、或いは、信号において、実施されてもよい。説明された特徴の実施は、それがたとえ単一の形の実施形態のコンテキスト（文脈）のみで説明されたとしても（例えば、方法又は装置としてのみ説明されたとしても）、その他の形（例えば、プログラム）でも実施されてもよい。ある装置は、例えば、適切なハードウェア、ソフトウェア及びファームウェアにおいて実施され得る。方法は、例えば、装置において、例えば、コンピュータ、マイクロプロセッサ、集積回路、或いは、プログラマブル・ロジック・デバイスを含む処理機器を一般的に意味する例えばプロセッサのような装置において、実施され得る。プロセッサには、例えば、スマートフォン、タブレット、コンピュータ、モバイル・フォン、ポータブル／パーソナル・ディジタル・アシスタント（「ＰＤＡ」）のような通信機器、及び、エンドユーザ相互間の情報の通信を容易にするその他の機器も含まれる。

本明細書に説明された種々のプロセス及び特徴の実施は、様々な相異なる装置又はアプリケーションにおいて、特に、例えば、画像及び関連テクスチャ情報及び／又は深度情報のデータ符号化、データ復号、ビュー生成、テクスチャ処理、及び、その他の処理に関連付けられた装置又はアプリケーションにおいて、具現化されてもよい。そのような装置の例には、符号化器、復号器、復号器からの出力を処理するポストプロセッサ、符号化器に入力を供給するプレプロセッサ、ビデオ・コーダ、ビデオ・デコーダ、ビデオ・コーデック、ウェブサーバ、セットトップ・ボックス、ラップトップ、パーソナル・コンピュータ、セルフォン、ＰＤＡ、及び、その他の通信機器が含まれる。明らかなことであるが、これらの装置は、可動性を有してもよく、移動車両に搭載することさえも可能である。

更に、方法は、プロセッサによって行われる命令によって実施されてもよく、そのような命令（及び／又は、実施形態によって生成されるデータ値）は、プロセッサ可読媒体に記憶されてもよく、そのようなプロセッサ可読媒体は、例えば、集積回路、ソフトウェア搬送又はその他の記憶機器、例えば、ハード・ディスク、コンパクト・ディスケット（「ＣＤ」）、光ディスク（例えば、しばしばデジタル多用途ディスク又はデジタル・ビデオ・ディスクと呼ばれるＤＶＤ）、ランダム・アクセス・メモリ（「ＲＡＭ」）、或いは、リード・オンリ・メモリ（「ＲＯＭ」）である。命令は、プロセッサ可読媒体に明確に組み入れられたアプリケーション・プログラムを構成してもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、或いは、それらの組み合わせの中に入れられてもよい。命令は、例えば、オペレーティング・システム、個別のアプリケーション、或いは、両者の組み合わせの中に存在してもよい。従って、プロセッサは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有する（記憶装置のような）プロセッサ可読媒体を備えたデバイスとの両方を兼ねたものとして見なされてもよい。更に、プロセッサ可読媒体は、実施形態によって生成されたデータ値を、命令に加えて又は命令の代わりに、記憶してもよい。

当業者には明らかであろうが、実施形態は、例えば、記憶又は送信し得る情報を搬送するようにフォーマット化された種々の信号を生成し得る。この情報には、例えば、方法を実施するための命令、或いは、説明された実施形態の１つによって生成されたデータが含まれ得る。例えば、信号は、説明された実施形態のシンタックスを書く又は読むための規則をデータとして搬送するように、或いは、説明された実施形態によって書かれた実際のシンタックス値をデータとして搬送するようにフォーマット化されてもよい。そのような信号は、例えば、（例えば、スペクトルの無線周波数部分を用いて）電磁波として、或いは、ベースバンド信号としてフォーマット化され得る。このフォーマット化には、例えば、データ・ストリームを符号化すること、及び、搬送波を符号化データ・ストリームで変調することが含まれ得る。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報であり得る。この信号は、周知の如く、種々の相異なる有線又は無線リンクを介して送信され得る。この信号は、プロセッサ可読媒体に記憶され得る。

以上、多数の実施形態を説明した。それでも、種々の修正が可能であることは理解されるであろう。例えば、相異なる実施形態の要素を組み合わせて、又は補って、又は修正して、又は取り除いて、別の実施形態を作成してもよい。更に、当業者であれば、ここに開示された構成及び処理の代わりに別のものを代用して、その結果として得られる実施形態が、ここに開示された実施形態と少なくとも実質的に同じやり方で、少なくとも実質的に同じ機能を果たして、少なくとも実質的に同じ効果を実現できることが分かるであろう。従って、これらの実施形態及びその他の実施形態は本願によって予期されている。
上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
ビデオ・ストリームから描画機器用のビデオ・フレームを構成する方法（１１０）において、前記方法は、
前記ビデオ・ストリームから第１の情報を取得すること（１１３）であって、前記第１の情報は、前記ビデオ・ストリームから得られる元のビデオ・フレームの第１の区域のサイズと位置とを表している、該取得することを含んでおり、
前記描画機器が没入型ビデオ描画機器である場合は、
前記ビデオ・ストリームから第２の情報を取得すること（１１５）であって、前記第２の情報は、レイアウトのタイプ、前記第１の部分の視野、第２の区域のサイズ、及び、基準方向を表している、該取得することと、
前記第１及び第２の情報に従って、かつ、前記元のビデオ・フレームを用いて、マッピング済み表面を作成すること（１１６）と、
前記マッピング済み表面の一部分によって前記ビデオ・フレームを構成すること（１１７）と、を含み、
その他の場合は、
前記元のビデオ・フレームの前記第１の区域によって前記ビデオ・フレームを構成すること（１１４）を含む、
ことを特徴とする、前記方法。
（付記２）
前記レイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する１つの没入型マッピングに基づいている、付記１に記載の方法。
（付記３）
前記第１の情報はＣｏｎｆｏｒｍａｎｃｅＷｉｎｄｏｗのパラメータによって搬送され、前記第２の情報はＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）によって搬送される、付記１又は２に記載の方法。
（付記４）
ビデオ・ストリームから描画機器用のビデオ・フレームを構成するように構成された装置（９０）において、前記装置は、
前記ビデオ・ストリームから第１の情報を取得する手段であって、前記第１の情報は、前記ビデオ・ストリームから得られる元のビデオ・フレームの第１の区域のサイズと位置とを表している、該手段を備えており、
前記描画機器が没入型ビデオ描画機器である場合は、
前記ビデオ・ストリームから第２の情報を取得する手段であって、前記第２の情報は、レイアウトのタイプ、前記第１の部分の視野、第２の区域のサイズ、及び、基準方向を表している、該手段と、
前記第１及び第２の情報に従って、かつ、前記元のビデオ・フレームを用いて、マッピング済み表面を作成するように構成されたプロセッサと、
前記マッピング済み表面の一部分によって前記ビデオ・フレームを構成するように構成されたプロセッサと、を備え、
その他の場合は、
前記元のビデオ・フレームの前記第１の区域によって前記ビデオ・フレームを構成するように構成されたプロセッサを備えている、
ことを特徴とする、前記装置。
（付記５）
前記レイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する１つの没入型マッピングに基づいている、付記４に記載の装置。
（付記６）
前記第１の情報はＣｏｎｆｏｒｍａｎｃｅＷｉｎｄｏｗのパラメータによって搬送され、前記第２の情報はＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）によって搬送される、付記４又は５に記載の装置。
（付記７）
前記装置が、モバイル機器、通信機器、ゲーム機器、タブレット型コンピュータ、ラップトップ、符号化チップ、静止画像サーバ、ビデオ・サーバ、ブロードキャスト・サーバ、ビデオオンデマンド・サーバ、及び、ウェブサーバを含む装置の集合に属する、付記４から６のいずれか１項に記載の装置。
（付記８）
没入型ビデオからビデオ・ストリームを生成する方法（１００）において、前記方法は、
矩形マッピングに従って没入型ビデオ・フレームの第１の部分を符号化すること（１０４）と、
前記矩形マッピングから没入型マッピングへの過渡的なマッピングに従って、前記没入型ビデオ・フレームの第２の部分を符号化すること（１０５）と、
前記没入型マッピングに従って前記没入型ビデオ・フレームの第３の部分を符号化すること（１０６）と、
前記第１の部分を第１の区域として、前記第２の部分を第２の区域として、及び、前記第３の部分を第３の区域として備えたレイアウトに従って、ビデオ・フレームを構成すること（１０３）と、
前記構成されたビデオ・フレームと、前記第１の区域のサイズと位置とに関する第１の情報と、少なくとも、前記レイアウトのタイプ、前記第１の部分の視野、前記第２の区域のサイズ、及び、基準方向を含む第２の情報と、を含む前記ビデオ・ストリームを生成すること（１０７）と、
を含んでいることを特徴とする、前記方法。
（付記９）
前記レイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する１つの没入型マッピングに基づいている、付記８に記載の方法。
（付記１０）
前記第１の情報はＣｏｎｆｏｒｍａｎｃｅＷｉｎｄｏｗのパラメータによって搬送され、前記第２の情報はＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）によって搬送される、付記８又は９に記載の方法。
（付記１１）
没入型ビデオからビデオ・ストリームを生成するように構成された装置（９０）において、前記装置は、
矩形マッピングに従って没入型ビデオ・フレームの第１の部分を符号化するように構成された符号化器と、
前記矩形マッピングから没入型マッピングへの過渡的なマッピングに従って、前記没入型ビデオ・フレームの第２の部分を符号化するように構成された符号化器と、
前記没入型マッピングに従って前記没入型ビデオ・フレームの第３の部分を符号化するように構成された符号化器と、
前記第１の部分を第１の区域として、前記第２の部分を第２の区域として、及び、前記第３の部分を第３の区域として備えたレイアウトに従って、ビデオ・フレームを構成するように構成されたプロセッサと、
前記構成されたビデオ・フレームと、前記第１の区域のサイズと位置とに関する第１の情報と、少なくとも、前記レイアウトのタイプ、前記第１の部分の視野、前記第２の区域のサイズ、及び、基準方向を含む第２の情報と、を含む前記ビデオ・ストリームを生成するように構成されたビデオ・ストリーム生成器と、
を備えていることを特徴とする、前記装置。
（付記１２）
前記レイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する１つの没入型マッピングに基づいている、付記１１に記載の装置。
（付記１３）
前記第１の情報はＣｏｎｆｏｒｍａｎｃｅＷｉｎｄｏｗのパラメータによって搬送され、前記第２の情報はＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）によって搬送される、付記１１又は１２に記載の装置。
（付記１４）
没入型ビデオを表すデータを搬送するストリーム（７０）であって、前記データは、
矩形マッピングに従って符号化された第１の区域と、前記矩形マッピングから没入型マッピングへの過渡的なマッピングに従って符号化された第２の区域と、前記没入型マッピングに従って符号化された第３の区域とを含むレイアウトに従って編成されたビデオ・フレームと、
前記ビデオ・フレーム内における前記第１の区域のサイズ及び位置を表す第１の情報と、
少なくとも、前記レイアウトのタイプ、第１の部分の視野、前記ビデオ・フレーム内における前記第２の区域のサイズ、及び、基準方向を含む第２の情報と、
を含んでいることを特徴とする、前記ストリーム。
（付記１５）
前記レイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する１つの没入型マッピングに基づいている、付記１４に記載のストリーム。
（付記１６）
前記第１の情報はＣｏｎｆｏｒｍａｎｃｅＷｉｎｄｏｗのパラメータによって搬送され、前記第２の情報はＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）によって搬送される、付記１４又は１５に記載のストリーム。

Claims

ビデオ・ストリームから描画機器用のビデオ・フレームを構成する方法であって、
前記ビデオ・ストリームから第１の情報を取得することであって、前記第１の情報は、前記ビデオ・ストリームから得られる元のビデオ・フレームの第１の区域のサイズと位置とを表している、ことと、
矩形マッピングに従って、前記第１の区域を復号化することと、
前記描画機器が没入型ビデオ描画機器である場合は、
前記ビデオ・ストリームから第２の情報を取得することであって、前記第２の情報は、全周画像を平面に投影する際のマッピングのレイアウトのタイプ、前記第１の区域の視野、第２の区域のサイズ、及び、基準方向を表している、ことと、
前記第１の情報及び前記第２の情報を用いることにより、前記矩形マッピングから没入型マッピングへの過渡的なマッピングに従って、前記第２の区域を復号化することと、
前記第１の情報及び前記第２の情報を用いることにより、前記没入型マッピングに従って、前記元のビデオ・フレームの第３の区域を復号化することと、
復号化された前記第１の区域、復号化された前記第２の区域、及び復号化された前記第３の区域によって、前記ビデオ・フレームを構成すること、を含み、
前記第１の区域は、関心領域であり、前記第２の区域は、前記関心領域に隣接する領域であり、前記第３の区域は、前記関心領域に隣接しない周辺領域であり、
前記描画機器が没入型ビデオ描画機器でない場合は、
復号化された前記第１の区域によって、前記ビデオ・フレームを構成すること、
を含む方法。
前記レイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する１つの没入型マッピングに基づいている、請求項１に記載の方法。
前記第１の情報はＣｏｎｆｏｒｍａｎｃｅＷｉｎｄｏｗのパラメータによって搬送され、前記第２の情報はＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）によって搬送される、請求項１又は２に記載の方法。
ビデオ・ストリームから描画機器用のビデオ・フレームを構成するように構成された装置であって、
前記ビデオ・ストリームから第１の情報を取得する手段であって、前記第１の情報は、前記ビデオ・ストリームから得られる元のビデオ・フレームの第１の区域のサイズと位置とを表している、手段と、
矩形マッピングに従って、前記第１の区域を復号化する手段と、
前記描画機器が没入型ビデオ描画機器である場合は、
前記ビデオ・ストリームから第２の情報を取得する手段であって、前記第２の情報は、全周画像を平面に投影する際のマッピングのレイアウトのタイプ、前記第１の区域の視野、第２の区域のサイズ、及び、基準方向を表している、手段と、
前記第２の情報を用いることにより、前記矩形マッピングから没入型マッピングへの過渡的なマッピングに従って、前記第２の区域を復号化する手段と、
前記第１の情報及び前記第２の情報を用いることにより、前記没入型マッピングに従って、前記元のビデオ・フレームの第３の区域を復号化する手段と、
前記第１の区域、前記第２の区域、及び前記第３の区域によって、前記ビデオ・フレームを構成するプロセッサであって、前記第１の区域は、関心領域であり、前記第２の区域は、前記関心領域に隣接する領域であり、前記第３の区域は、前記関心領域に隣接しない周辺領域である、プロセッサと、を備え、
前記描画機器が没入型ビデオ描画機器でない場合は、
前記第１の区域によって前記ビデオ・フレームを構成するプロセッサを備える、装置。
前記レイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する１つの没入型マッピングに基づいている、請求項４に記載の装置。
前記第１の情報はＣｏｎｆｏｒｍａｎｃｅＷｉｎｄｏｗのパラメータによって搬送され、前記第２の情報はＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）によって搬送される、請求項４又は５に記載の装置。
前記装置が、モバイル機器、通信機器、ゲーム機器、タブレット型コンピュータ、ラップトップ、符号化チップ、静止画像サーバ、ビデオ・サーバ、ブロードキャスト・サーバ、ビデオオンデマンド・サーバ、及び、ウェブサーバを含む装置の集合に属する、請求項４から６のいずれか１項に記載の装置。
没入型ビデオ・フレームからビデオ・ストリームを生成する方法であって、
矩形マッピングに従って没入型ビデオ・フレームの第１の部分を符号化することと、
前記矩形マッピングから没入型マッピングへの過渡的なマッピングに従って、前記没入型ビデオ・フレームの第２の部分を符号化することと、
前記没入型マッピングに従って前記没入型ビデオ・フレームの第３の部分を符号化することと、
全周画像を平面に投影する際のマッピングのレイアウトに従って、ビデオ・フレームを構成することであって、前記第１の部分、前記第２の部分、及び前記第３の部分は、それぞれ、前記レイアウトに従って、第１の区域、第２の区域、及び第３の区域として決定される、ことと、
前記構成されたビデオ・フレームと、前記第１の区域のサイズと位置とに関する第１の情報と、少なくとも、前記レイアウトのタイプ、前記第１の部分の視野、前記第２の区域のサイズ、及び、基準方向を含む第２の情報と、を含む前記ビデオ・ストリームを生成することと、を含み、
前記第１の区域は、関心領域であり、前記第２の区域は、前記関心領域に隣接する領域であり、前記第３の区域は、前記関心領域に隣接しない周辺領域である、方法。
前記レイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する１つの没入型マッピングに基づいている、請求項８に記載の方法。
前記第１の情報はＣｏｎｆｏｒｍａｎｃｅＷｉｎｄｏｗのパラメータによって搬送され、前記第２の情報はＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）によって搬送される、請求項８又は９に記載の方法。
没入型ビデオからビデオ・ストリームを生成するように構成された装置であって、
矩形マッピングに従って没入型ビデオ・フレームの第１の部分を符号化するように構成された符号化器と、
前記矩形マッピングから没入型マッピングへの過渡的なマッピングに従って、前記没入型ビデオ・フレームの第２の部分を符号化するように構成された符号化器と、
前記没入型マッピングに従って前記没入型ビデオ・フレームの第３の部分を符号化するように構成された符号化器と、
全周画像を平面に投影する際のマッピングのレイアウトに従って、ビデオ・フレームを構成するように構成されたプロセッサであって、前記第１の部分、前記第２の部分、及び前記第３の部分は、それぞれ、前記レイアウトに従って、第１の区域、第２の区域、及び第３の区域として決定される、プロセッサと、
前記構成されたビデオ・フレームと、前記第１の区域のサイズと位置とに関する第１の情報と、少なくとも、前記レイアウトのタイプ、前記第１の部分の視野、前記第２の区域のサイズ、及び、基準方向を含む第２の情報と、を含む前記ビデオ・ストリームを生成するように構成されたビデオ・ストリーム生成器と、を備え、
前記第１の区域は、関心領域であり、前記第２の区域は、前記関心領域に隣接する領域であり、前記第３の区域は、前記関心領域に隣接しない周辺領域である、装置。
前記レイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する１つの没入型マッピングに基づいている、請求項１１に記載の装置。
前記第１の情報はＣｏｎｆｏｒｍａｎｃｅＷｉｎｄｏｗのパラメータによって搬送され、前記第２の情報はＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）によって搬送される、請求項１１又は１２に記載の装置。
没入型ビデオを表すデータを生成する方法であって、
前記方法は、
矩形マッピングに従って符号化された第１の区域と、前記矩形マッピングから没入型マッピングへの過渡的なマッピングに従って符号化された第２の区域と、前記没入型マッピングに従って符号化された第３の区域とを含むレイアウトに従って編成されたビデオ・フレームを生成することであって、前記第１の区域は、関心領域であり、前記第２の区域は、前記関心領域に隣接する領域であり、前記第３の区域は、前記関心領域に隣接しない周辺領域である、ことと、
前記ビデオ・フレーム内における前記第１の区域のサイズ及び位置を表す第１の情報を生成することと、
少なくとも、前記レイアウトのタイプ、第１の部分の視野、前記ビデオ・フレーム内における前記第２の区域のサイズ、及び、基準方向を含む第２の情報を生成することと、
前記ビデオ・フレームと、前記第１の情報と、前記第２の情報とを備える前記データを生成することと、
を含む方法。
前記レイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する１つの没入型マッピングに基づいている、請求項１４に記載の方法。
前記第１の情報はＣｏｎｆｏｒｍａｎｃｅＷｉｎｄｏｗのパラメータによって搬送され、前記第２の情報はＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）によって搬送される、請求項１４又は１５に記載の方法。