JP2023529134A - Ｈｄｒコンテンツを編集するための動的メタデータの計算 - Google Patents

Abstract

ビデオコンテンツを編集するシステム及び方法であって、入力ビデオデータを受信するステップと、前記入力ビデオデータを、所定のフォーマットに変換するステップと、前記変換済みビデオデータのフレームについて複数の初期メタデータ値を生成するステップであって、前記複数の初期メタデータ値は、前記フレームを含むコンテンツから計算されない第１固定値に対応する第１メタデータ値と、前記フレームの平均輝度値に対応する第２メタデータ値と、前記コンテンツから計算されない第２固定値に対応する第３メタデータ値と、を含む、ステップと、を含み、前記第１メタデータ値、前記第２メタデータ値、及び前記第３メタデータ値は、ディスプレイで復号画像をレンダリングするためにデコーダにより使用される情報を含む。

Description

［関連出願］
本願は、参照により全体がここに組み込まれる、共に２０２０年６月３日に出願した欧州特許出願番号第２０１７８０４４.２号及び米国仮出願番号第６３/０３４,００６号の優先権を主張する。

１．関連分野
本願は概して画像に関連し、より具体的には、本願は、ビデオコンテンツに関連するディスプレイ管理のためのメタデータの生成に関連している。

２．背景技術
本願明細書で使用されるとき、用語「ダイナミックレンジ（dynamic range （DR））」は、例えば最も暗い黒色（darks）から最も明るい白色（ハイライト）までの画像内の強度（例えば、輝度、ルマ）範囲を知覚する人間の視覚システム（human visual system （HVS））の能力に関連し得る。このシーンでは、ＤＲは「シーン参照」強度に関連する。DRは、特定幅の強度範囲を適切に又は近似的にレンダリングするディスプレイ装置の能力にも関連してよい。このシーンでは、ＤＲは「ディスプレイ参照」強度に関連する。本願明細書の説明の任意の点において、特定のシーンが特定の重要度を有すると明示的に指定されない限り、用語はいずれかのシーンで、例えば同義的に使用されてよいことが推定されるべきである。

本願明細書で使用されるとき、用語「高ダイナミックレンジ（high dynamic range （HDR））」は、ＨＶＳの大きさの１４～１５倍又はそれより大きな程度に渡るＤＲ幅に関連する。実際に、人間が強度範囲の中の広範な幅を同時に知覚し得るDRは、HDRに関連して、何らかの方法で省略され得る。本願明細書で使用されるとき、用語「拡張ダイナミックレンジ（enhanced dynamic range （EDR））」又は「視覚ダイナミックレンジ（visual dynamic range （VDR））」は、個々に又は同義的に、目の動きを含むHVSによりシーン又は画像内で知覚可能なＤＲに関連し、何からの光適応がシーン又は画像に渡り変化することを可能にする。本願明細書で使用されるとき、ＥＤＲは、５～６桁 の大きさに広がるＤＲに関連してよい。従って、ＨＤＲと呼ばれる実際のシーンに比べておそらくやや狭いが、それにも関わらず、ＥＤＲは広いＤＲ幅を表し、更にＨＤＲと呼ばれ得る。

実際には、画像は色空間の１つ以上の色成分（例えば、RGB、ルマＹ及びクロマＣｂ及びＣｒ）を含み、量子化デジタルシステムでは、各色成分はピクセル当たりｎビット（例えば、n=８）の精度により表される。ビット深度n≦８（例えば、カラー２４ビットJPEG画像）は標準ダイナミックレンジ（SDR）の画像で使用することができ、一方、ビット深度n>８は輪郭や階段状アーチファクトを避けるために拡張ダイナミックレンジ（EDR）の画像で考慮することができる。整数データ型に加えて、EDR及び高ダイナミックレンジ（HDR）画像は、Industrial Light and Magicにより開発されたOpenEXRファイルフォーマットのような高精細（例えば、１６ビット）浮動小数点フォーマットを用いて格納され配信されてもよい。

所与のディスプレイのための参照電子光伝達関数（electro-optical transfer function （EOTF））は、入力ビデオ信号の色値（例えば、輝度）と、ディスプレイにより生成される出力スクリーン色値（例えば、スクリーン輝度）との間の関係を特徴付ける。例えば、ＩＴＵ Ｒｅｃ．ＩＴＵ－Ｒ ＢＴ１８８６「Reference electro-optical transfer function for flat panel displays used in HDTV studio production」（March ２０１１）は、参照によりその全体がここに組み込まれ、陰極線管（Cathode Ray Tube （CRT））の測定された特徴に基づき平面パネルディスプレイの参照ＥＯＴＦを定義する。ビデオストリームが与えられると、そのEOTFに関する情報は、メタデータとしてビットストリームに埋め込まれてよい。

多くの民生用デスクトップディスプレイでは、非HDRコンテンツを最大輝度２００から３００cd/m２（「nit」）でレンダリングし、民生用の高精細及び超高精細テレビ（「HDTV」及び「UHD TV」）を３００から５００nitでレンダリングする。このようなディスプレイ出力は、HDR又はEDRに関連してSDRとも呼ばれる低ダイナミックレンジ（low dynamic range （LDR））の典型である。HDR又はEDRコンテンツの利用可能性が、キャプチャ機器（例えばカメラ）及びHDRディスプレイ（例えば、Dolby LaboratoriesのPRM-４２００プロフェッショナルリファレンスモニタ又はSony Trimaster HX３１」 ４K HDR Master Monitor））の両方における進歩により増大するにつれ、HDRコンテンツは、カラーグレーディングされ、より高いダイナミックレンジ（例えば、７００nit～５０００nit、又はそれより高い）をサポートするHDRディスプレイ上で表示されるようになり得る。このようなディスプレイは、高輝度能力（例えば０～１００００nit）をサポートする代替のEOTFを使用して定義されてよい。このようなEOTFの例は、SMPTE ST ２０８４：２０１４「High Dynamic Range EOTF of Mastering Reference Displays」に定義されており、その全文は参照によりここに組み込まれている。

ここでいうディスプレイ管理とは、第１ダイナミックレンジ（例えば、１０００nit）の入力ビデオ信号を第２ダイナミックレンジ（例えば、５００nit）のディスプレイにマッピングするために必要な処理（例えば、トーンと色域のマッピング）を指す。ディスプレイ管理プロセスの例は、参照によりその全文がここに組み込まれるPCT出願番号PCT/US２０１４/０１６３０４（'３０４出願）、２０１４年２月１３日出願、「Display management for high dynamic range video」、R. Atkins他、に記載されている。ディスプレイ管理は、入来コンテンツのソースによって生成され、コーディングビットストリームに多重化される入力メタデータによって支援又は制御されてよい。

本章に記載されるアプローチは、追求可能なアプローチであるが、必ずしも以前に考案又は追求されたアプローチではない。従って、特に示されない限り、本章に記載したアプローチのうちのいずれも、単に本章に含まれることにより従来技術と見なされるべきではない。同様に、１つ以上のアプローチに関して特定される課題は、特に示されない限り、本章に基づき任意の従来技術の中で認識されたものと想定されるべきではない。

本開示の様々な態様は、改善されたビデオ品質、改善された時間的安定性、低い計算要件、及び低減されたレイテンシを提供するために使用される可能性のあるメタデータを生成するための装置、システム、及び方法に関する。

本開示の一態様によると、ビデオコンテンツを編集するシステム及び方法であって、
入力ビデオデータを受信するステップと、
前記入力ビデオデータを、所定のフォーマットに変換するステップであって、それにより、変換済みビデオデータを生成する、ステップと、
前記変換済みビデオデータのフレームについて複数の初期メタデータ値を生成するステップであって、前記複数の初期メタデータ値は、前記フレームを含むコンテンツから計算されない第１固定値に対応する第１メタデータ値と、前記フレームの平均輝度値に対応する第２メタデータ値と、前記コンテンツから計算されない第２固定値に対応する第３メタデータ値と、を含む、ステップと、
を含み、
前記第１メタデータ値、前記第２メタデータ値、及び前記第３メタデータ値は、ディスプレイで復号画像をレンダリングするためにデコーダにより使用される情報を含む、システム及び方法が提供される。

本開示の別の態様によると、ビデオコンテンツを編集するシステムであって、
メモリと、
プロセッサと、
を含み、前記プロセッサは、前記ビデオ編集システムに、
入力ビデオデータを受信させ、
前記入力ビデオデータを、所定のフォーマットに変換させ、それにより、変換済みビデオデータを生成させ、
前記変換済みビデオデータのフレームについて複数の初期メタデータ値を生成させ、前記複数の初期メタデータ値は、前記フレームを含むコンテンツから計算されない第１固定値に対応する第１メタデータ値と、前記フレームの平均輝度値に対応する第２メタデータ値と、前記コンテンツから計算されない第２固定値に対応する第３メタデータ値と、を含む、
システムが提供される。

本開示の別の態様によると、ビデオコンテンツを編集する方法であって、
入力ビデオデータを受信するステップと、
前記入力ビデオデータを所定のフォーマットに変換するステップであって、それにより、変換済みビデオデータを生成する、ステップと、
前記変換済みビデオデータのフレームについて第１メタデータ値を生成するステップであって、前記第１メタデータ値は前記フレームの平均輝度値に対応する、ステップと、
前記フレームを含む時間ウインドウを決定するステップであって、前記時間ウインドウは所定の時間長を有する、ステップと、
前記時間ウインドウに渡り最大メタデータ範囲と最小メタデータ範囲を計算するステップであって、それにより、第１フィルタリング済みメタデータ値と第２フィルタリング済みメタデータを生成する、ステップと、
前記フィルタリング済みメタデータ値及び前記第２フィルタリング済みメタデータ値を平滑化するステップであって、それにより、第１平滑化済み且つフィルタリング済みメタデータ値及び第２平滑化済み且つフィルタリング済みメタデータ値を生成する、ステップと、
を含む方法が提供される。

このように、本開示の種々の態様は、ビデオキャプチャ、編集、及び信号処理、並びにビデオの関連フィールド及び他のコンテンツの配信を向上する効果がある。

種々の実施形態のこれらの及び他のより詳細な及び特定の特徴は、以下の説明において更に完全に開示され、添付の図面を参照する。

本開示の種々の態様による別の例示的なビデオ配信パイプラインを示す。

本開示の種々の態様による例示的なメタデータ生成方法の処理フローを示す。

図２の方法によって生成された例示的なメタデータを示す。

本開示の種々の態様による別の例示的なメタデータ生成方法の処理フローを示す。

図２の方法によって生成された例示的なメタデータを示す。

本開示の種々の態様による別の例示的なメタデータ生成方法の処理フローを示す。

図６の方法によって生成された例示的なメタデータを各々示す。 図６の方法によって生成された例示的なメタデータを各々示す。 図６の方法によって生成された例示的なメタデータを各々示す。

本開示の種々の態様による別の例示的なシステムを示す。

本開示及びその態様は、種々の形式で具現化でき、コンピュータにより実施される方法により制御されるハードウェア、装置、又は回路、コンピュータプログラムプロダクト、コンピュータシステム及びネットワーク、ユーザインタフェース、及びアプリケーションプログラミングインタフェース、並びに、ハードウェアにより実施される方法、信号処理回路、メモリアレイ、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、等を含む。以上の概要は、単に本開示の種々の態様の全体的思想を与えることを意図し、本開示の範囲をいかようにも制限しない。

以下の説明では、本開示の１つ以上の態様の理解を提供するために、光学装置構成、タイミング、動作、等のような多数の詳細事項が説明される。これらの特定の詳細事項は単なる例であり、本願の範囲を限定することを意図しないことが当業者に直ちに理解されるだろう。

更に、本開示は主に、種々の回路がコンテンツ生成において使用される例に焦点を当てるが、これは実装の単なる一例であることが理解されるだろう。開示されたシステム及び方法は、画像データ及び/又は関連するメタデータを生成、修正又は表示する必要があるいかなる装置においても使用することができることが更に理解されるであろう。例えば、映画、消費者及びその他の商用投影システム、スマートフォン及びその他の消費者向け電子デバイス、ヘッドアップディスプレイ、仮想現実ディスプレイなどである。

メタデータ

ここで使用されるように、用語「メタデータ」は、本願明細書では、符号化ビットストリームの部分として送信される任意の補助情報に関連し、復号画像をレンダリングするためにデコーダを支援する。このようなメタデータは、限定ではないが、本願明細書にｋ試合されるような、色空間又は全色域（gamut）情報、参照ディスプレイパラメータ、及び補助信号パラメータ、を含んでよく、集合的に「画像形成メタデータ」お呼ばれてよい。

そのようなメタデータは、異なるレベルのメタデータに分割され又は分類されてよい。１つの特定の例では、本開示は、Dolby Visionアーキテクチャで実装され、マッピングメタデータは、L０メタデータ、L１メタデータ、L２/L８メタデータ、L３メタデータ、L４メタデータ、L１１メタデータ、等を含んでよい。幾つかの例では、L０メタデータは、ビデオコンテンツ全体にわたる（つまり、複数のショット及び／又はシーンにまたがって）ビデオデータの動的範囲に関する情報を提供又は記述する。例えば、L０メタデータには、ビデオコンテンツの最小輝度と最大輝度を各々表すL０minとL０maxが含まれる場合がある。例えば、L０メタデータには、ビデオコンテンツの最小輝度と最大輝度を各々表すL０minとL０maxが含まれる場合がある。

幾つかの例では、L１メタデータは、ソース画像、ソースシーン、ソース画像グループ（group of pictures：GOP）などの輝度値の分布に関する情報を、ビデオデータで表されるように提供又は記述する。輝度値の分布は、画像の画像コンテンツ（例えば、ピクセル値、ルミナンス値、クロマ値、Y値、Cb/Cr値、RGB値など）、シーン、GOPなどに基づいて導き出されるヒストグラムによって表すことができる。L１メタデータは、パラメータL１min、L１mid、L１maxを含んでよく、各々ビデオコンテンツ内の１つ以上の画像、シーン、GOPSなどの最小輝度（「crush、クラッシュ」）、中間調輝度（「mid、中間」）、最大輝度（「clip、クリップ」）を表す。

他のレベルのメタデータも定義できる。例えば、L２は、監督、カラーグレーダ、ビデオプロフェッショナルなどが制作スタジオ及び／又はポストプロダクションで行った調整に由来する、又はその調整を遡るビデオ特性調整に関する情報を提供又は記述する。L８メタデータはL２メタデータに似ており、場合によっては（例えば、各々のトーンカーブによって）L２メタデータと同等の場合もある。L２及びL８メタデータは、「トリム」パラメータと呼ばれることがあり、画像データの利得/オフセット/パワーを示し又はそれに関連してよい。L２メタデータは、第１参照ダイナミックレンジを持つ第１参照ディスプレイに対応してよい。

例えばL３メタデータは、監督、カラーグレーダ、ビデオプロフェッショナルなどが行った調整に由来する、又はその調整を遡るビデオ特性調整に関する情報を提供又は記述する。L２メタデータと比較して、L３メタデータは、第１参照ディスプレイの参照ダイナミックレンジとは異なる参照ダイナミックレンジを持つ第２参照ディスプレイに対応してよい。L３メタデータは、例えば、クラッシュ、中間、クリップの輝度値に対するオフセット又は調整を含む、L１メタデータからのオフセット又は調整を含んでよい。

L４メタデータは、グローバル調光操作に関する情報を提供又は記述する。L４メタデータは、前処理中にエンコーダによって計算されてよく、RGB原色を使用して計算されてよい。一例では、L４メタデータは、フレーム単位でディスプレイパネルのグローバルなバックライト輝度レベルを指示するデータを含んでよい。L１１メタデータなどの他の生成されたメタデータは、映画コンテンツ、コンピュータゲームコンテンツ、スポーツコンテンツなどのビデオデータのソースを識別するために使用される情報を提供又は記述することができる。このようなメタデータは、意図されたホワイトポイント、シャープネスなどの意図されたピクチャ設定をさらに提供又は記述することができる。

総合すると、画像形成メタデータには、第１ダイナミックレンジから第１ダイナミックレンジとは異なる第２ダイナミックレンジに変換するための変換データを含むことができる。本開示の幾つかの態様では、第１ダイナミックレンジは、第２ダイナミックレンジよりも高い場合がある（例えば、HDRからSDRへの変換）。本開示の他の態様では、第２ダイナミックレンジは、第１ダイナミックレンジよりも高い場合がある（例えば、SDRからHDRへの変換）。

画像形成メタデータを生成する比較方法には、フレームごとのメタデータを計算し（例えば、フレームごとのL１メタデータ）、IIRフィルタリングを適用するか（例えば、生放送やゲームの場合）、シーンの最小、中間、最大を計算してメタデータをシーンに結合する（例えば、スタジオやプロのオフラインコンテンツの場合）などがある。ただし、これらの方法では、編集中にコンテンツをすぐにプレビューできない。例えば、ユーザは、HDRピクチャをより明るくして、参照ディスプレイとしてのSDRモニタで結果を参照表示としてプレビューしたい場合がある。これを行うには、次の手順を実行する。HDRピクチャに調整が適用される；L１メタデータが、調整されたHDRピクチャに対して再計算される；トーンマッピング操作が変更される；調整したHDRピクチャに調整したトーンマッピングを適用してSDRプレビューピクチャを生成する。

この一連の操作は、１つの画像に適用された場合には満足できる場合がある。これは、１つの画像をメモリに保存することが合理的なので、操作がすぐに連続して適用できるためである。しかしながら、L１メタデータ（及び結果として得られるトーンカーブ）がフレームごとに大きく異なる場合があり、マップされた画像がちらつく原因になる。これは「時間的不安定性」と呼ばれることがある。トーンカーブの時間的安定性を確保するために、何らかのフィルタリングを行うことがある。しかし、メタデータの再計算操作が複数の画像に依存している場合は、調整操作とメタデータの再計算操作を多くの画像に適用する必要があり、高速なビデオレートでは非現実的又は不可能な場合がある。

したがって、画像形成メタデータを生成する比較方法は、結果の調整、更新、及びプレビューの反復サイクルへと減速してしまう可能性がある。さらに、IIRフィルタリング比較法では、現在のフレームがIIRフィルタのために前のすべてのフレームを必要とするため、現在のフレームの前に非常に多くのフレームを分析する必要がある場合がある。スタジオ又はプロの比較方法では、シーンのすべてのフレームが必要であり、場合によっては分又は時間のオーダーの長さを持つこともある。

この観点から、本開示の様々な態様は、効率的な編集のためにメタデータを生成する、つまり、高い画質と高い時間的安定性をもたらす編集の方法を提供する。本開示の様々な態様は、このような編集を低い計算要件と低遅延又は無遅延で達成することができる。幾つかの態様では、メタデータを生成する方法がビデオ配信パイプラインに組み込まれたり、使用されたりしている。

ビデオ配信パイプライン

図１は、例示的なビデオ配信パイプライン１００を示し、ビデオキャプチャからビデオコンテンツ表示までの種々の段階を示す。なお、以下の記述はビデオ（すなわち、動画像）の観点から提供されるが、本開示はこれに限定されない。幾つかの例では、画像コンテンツは静止画像、又はビデオと静止画像の組み合わせであってよい。画像コンテンツは、ラスタ（又はピクセル）グラフィックスにより、ベクトルグラフィックスにより、又はラスタとベクトルグラフィックスの組み合わせによって表すことができる。図１は、画像生成ブロック１０１、プロダクションブロック１０２、ポストプロダクションブロック１０３、符号化ブロック１０４、復号ブロック１０５、ディスプレイ管理ブロック１０６を示している。図１に示す様々なブロックは、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせとして、又はそれらを介して実装することができる。さらに、図示されたブロックの様々なグループは、各々の機能を組み合わせることができ、及び／又は異なる装置で、及び／又は異なる時間に実行することができる。図示されたブロックの個々の１つ又はグループは、中央処理装置（CPU）、グラフィックス処理装置（GPU）、ASIC、FPGA、及びそれらの組み合わせを含むがこれらに限定されない回路により実装することができる。１つ以上のブロックによって実行される操作は、ローカル、リモート（例えば、クラウドベース）、又はローカルとリモートの組み合わせで処理できる。

図１に示すように、ビデオ配信パイプラインには、ポストプロダクションブロック１０３で行われる操作を支援又は監視するために提供される参照ディスプレイ１１１とターゲットディスプレイ１１２がさらに含まれる。説明のために、画像生成ブロック１０１、プロダクションブロック１０２、ポスト生成ブロック１０３、及び符号化ブロック１０４を「上流」ブロック又はコンポーネントと呼ぶことがあり、復号ブロック１０５及びディスプレイ管理ブロック１０６を「下流」ブロック又はコンポーネントと呼ぶことがある。

図１の例では、一連のビデオフレーム１２１の形式のビデオコンテンツが、画像生成ブロック１０１でキャプチャ又は生成される。ビデオフレーム１２１は、デジタル方式で（例えば、デジタルカメラにより）キャプチャされ、又はコンピュータにより（例えば、コンピュータアニメーションを用いて）生成されてよく、ビデオデータ１２２を生成する。代替として、ビデオフレーム１２１はフィルムカメラでフィルムに撮影され、デジタル形式に変換されてビデオデータ１２２を提供してもよい。いずれの場合も、ビデオデータ１２２はプロダクションブロック１０２に提供され、そこで編集されてプロダクションストリーム１２３が提供される。ビデオフレーム１２１は、ショットやシーンなどのシーケンスにグループ化することができる。ショットは、例えば、一時的に接続されたフレームのセットである。ショットは（例えば、画像の一部だけではなく全体の内容が変化する時点）で区切ることができる。シーンとは、例えば、より大きなコンテンツのストーリーテリングのセグメントを説明する一連のショットのことである。ビデオコンテンツがアクション映画である１つの特定の例では、ビデオコンテンツには、（例えば、追跡する車両の運転手のショット、追跡される車両の運転手のショット、追跡が行われる通りのショットなど）一連のショットを含む追跡シーンが含まれる場合がある。

プロダクショントリーム１２３の中のビデオデータは、次に、ポストプロダクションブロック１０３で、製作後（ポストプロダクション）編集のためにプロセッサに提供される。ポストプロダクションブロック１０３において実行される編集は、ビデオ制作者の（又は編集者の）製作意図に従い画像品質を向上するため又は特定の外観を達成するために、画像の特定領域の色又は明るさの調整又は変更を含んでよい。これは、「カラータイミング」又は「カラーグレーディング」とも呼ばれてよい。配信ストリーム１２４を生成するために、ポストプロダクションブロック１０３で他の編集（例えば、シーンの選択とシーケンス、画像のトリミング、コンピュータが生成した視覚的特殊効果又はオーバーレイの追加など）を実行することもできる。幾つかの例では、ポストプロダクションブロック１０３は、例えば編集プロセスを支援するために、画像をその画面で見ることができるように、中間ストリーム１２５を参照ディスプレイ１１１に提供することができる。プロダクションブロック１０２、ポストプロダクションブロック１０３、及び符号化ブロック１０４のうちの１、２、又はすべては、さらにビデオデータにメタデータを追加する処理を含んでよい。この追加処理は、コンテンツのプロパティの統計分析を含んでよいが、これに限定されない。その後の処理は、ローカル又はリモートで実行されてよい（例えば、クラウドベースの処理）。

ポストプロダクション操作に続いて、配信ストリーム１２４は、テレビセット、セットトップボックス、映画劇場、ラップトップコンピュータ、タブレットコンピュータ、等のような復号及び再生装置へと下流に配信するために、符号化ブロック１０４に配信されてよい。幾つかの例では、符号化ブロック１０４は、符号化ビットストリーム１２６を生成するために、ATSC（Advanced Television Systems Committee）、DVB（Digital Video Broadcasting）、DVD（Digital Versatile Disc）、Blu-Ray（登録商標）、及び他の配信フォーマットにより定義されるような、オーディオ及びビデオエンコーダを含んでよく、それによりコーディングビットストリーム１２６を生成する。受信機では、コーディングビットストリーム１２６は、配信ストリーム１２４と同一のもの又は厳密な近似を表す復号信号１２７を生成するために、復号ユニット１０５により復号される。受信機は、参照ディスプレイ１１１と異なる特性を有してよいターゲットディスプレイ１１２に取り付けられてよい。参照ディスプレイ１１１とターゲットディスプレイ１１２の特性が異なる場合、ディスプレイ管理ブロック１０６を使用して、ディスプレイマッピング信号１２８を生成することにより、復号信号１２７のダイナミックレンジ又はその他の特性をターゲットディスプレイ１１２の特性にマッピングすることができる。ディスプレイ管理ブロック１０６は、ターゲットディスプレイ１１２の電源管理を提供するために追加的又は代替的に使用することができる。

ターゲットディスプレイ１１２は、ピクセルのアレイを使用して画像を生成する。特定のアレイ構造は、ディスプレイのアーキテクチャと解像度によって異なる。例えば、ターゲットディスプレイ１１２がLCDアーキテクチャで動作する場合、比較的低解像度のバックライトアレイ（例えば、LED又は他の発光素子のアレイ）と、バックライトアレイからの白色光を選択的に減衰させ、カラー光を提供するための比較的高解像度の液晶アレイ及びカラーフィルタアレイ（しばしば二重変調ディスプレイ技術と呼ばれる）を含むことができる。ターゲットディスプレイ１１２がOLEDアーキテクチャで動作する場合、自己発光カラーピクセルの高解像度アレイを含むことがある。

上流ブロックと下流ブロックとの間のリンク（すなわち、符号化ビットストリーム１２６が提供されるパス）は、電磁波を使用した空中でのブロードキャストや、光ファイバ、ツイストペア（イーサネット）、及び／又は同軸ケーブルなどのコンテンツ配信ラインを介したライブ又はリアルタイム転送によって実装される場合がある。他の例では、エンドユーザ装置（例えば、DVDプレイヤ）への物理的な配信のために、コーディングビットストリームを物理媒体（例えば、DVDやハードディスク）に記録するなど、時間に依存しない転送によってリンクを実装することができる。復号ブロック１０５及びディスプレイ管理ブロック１０６は、ターゲットディスプレイ１１２に関連する装置に組み込むことができる。例えば、復号、ディスプレイ管理、電源管理、ディスプレイ機能を含むスマートテレビの形式である。幾つかの例では、復号ブロック１０５及び/又はディスプレイ管理ブロック１０６は、ターゲットディスプレイ１１２とは別の装置に組み込まれている場合がある。例えば、セットトップボックスやメディアプレイヤの形である。

復号ブロック１０５及び/又はディスプレイ管理ブロック１０６は、上流ブロックに含まれるか追加されたメタデータに応答して受信、分析、及び動作するように構成することができる。したがって、このようなメタデータは、ターゲットディスプレイ１１２の追加の制御又は管理を提供するために使用することができる。メタデータには、前述の画像形成メタデータ（例えば、DolbyVisionメタデータ）を含めることができる。メタデータは、参照ディスプレイ１１１とプロダクションストリーム１２３及び/又は中間ストリーム１２５を使用して、ポストプロダクションブロック１０３で生成できる。

半動的メタデータ生成

画像形成メタデータは、「半動的」方法を使用して生成することができ、その例を図２に示す。図２に示す操作は、図１のポストプロダクションブロック１０３に関連するハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせを使用して自動的に実行することができる。

図２に示すように、半動的メタデータ生成処理は、ビデオ信号が所定の形式（例えば、特定のEOTF）に変換される操作２０１で開始することができる。例えば、ビデオ信号は、Rec.ITU-RBT.２１００-１（０６/２０１７）で説明されているように、Hybrid Log-Gamma（HLG）又はSLOG-３HDRからRGB Perceptual Quantizer（PQ）HDRに変換される場合がある。幾つかの実装では、操作２０２で空間平滑化及び/又はサブサンプリングを適用することができる。操作２０２は、２次元平滑化カーネル（例えば、[１ １]/２又は[１ ３ ３ １]/８）を使用して実装できる。これにより、個々のピクセルに対する感度が低下する。幾つかの例では、フィルタリング後に画像がより小さいサイズ（例えばハーフサイズ）に間引きされる場合がある。他の実装では、操作２０２を省略して、半動的メタデータ生成処理は、操作２０１から操作２０３に直接進んでよい。操作２０３では、L１midの初期値が計算される（例えば、フレーム単位で）。例えば、L１midは最大RGB輝度の平均値を表す場合がある。言い換えると、L１midは各ピクセルの色成分値R、G、Bの最大値の平均値を表してよい。L１minとL１maxの値はコンテンツから計算されず、代わりに操作２０４で、L０メタデータ（例えば、Level０.Smin、Level０.Smax）で表されるように、画像コンテンツの最小及び最大許容範囲に対応する固定値が使用される。例えば、YCbCr表現を使用する場合、L１midはYコンポーネント値の平均輝度値を表してよい。

図２の操作の１つの具体例として、次の擬似コードは、MATLAB（登録商標）のような形式を使用して示されている。

図３は、クラッシュ値、中間値、及びクリップ値に対応するメタデータに対する上記の操作の出力例を示している。各グラフは、フレーム番号の関数として正規化された輝度を示している。線３１０_min、３１０_mid、及び３１０_maxは、各々所与のフレームの輝度の最小値、平均値、及び最大値を示している。線３２０_min、３２０_mid、及び３２０_maxは、各々所与のフレームの値L１min、L１mid、及びL１maxを示している。

L１minとL１maxは各々L０minとL０maxの値に設定されているため、クラッシュとクリップのメタデータ値はすべてのフレームの実際の輝度値と厳密に一致しない。図３に示されている特定の例では、フレームごとの最小輝度値（線３１０_min）は約０.０１から０.４８の間で変化し、値L１min（線３２０_min）は約０に設定されている。フレームごとの最大輝度値（線３１０_max）は約０.５３から０.８２の間で変化し、値L１max（線３２０_max）は約０.８２に設定されている。ただし、L１midは動的な値で決定されるため、midメタデータ値はすべてのフレームの実際の輝度値と密接に一致する。図３に示すように、フレームごとの平均輝度値（線３１０_mid）と値L１mid（線３２０_mid）は高い対応関係にある。

メタデータの半動的生成では、１つのフレームのみを処理するだけでよい。この方法は高効率をもたらす。ただし、図３からわかるように、クラッシュとクリップのメタデータ値の静的な値を使用すると、コンテナの全ダイナミックレンジを使用しない画像のマッピング画像コントラストがわずかに低くなる。

動的メタデータ生成

画像形成メタデータは、「動的」方法を使用して生成することができ、その例を図４に示す。図４に示す操作は、図１のポストプロダクションブロック１０３に関連するハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせを使用して自動的に実行することができる。

図４に示すように、動的メタデータ生成処理は、ビデオ信号が所定の形式（例えば、特定のEOTF）に変換される操作４０１で開始することができる。例えば、ビデオ信号は、Rec.ITU-RBT.２１００-１（０６/２０１７で説明されているように、HLG又はSLOG-３HDRからRGB PQ HDRに変換される場合がある。幾つかの実装では、操作４０２で空間平滑化及び/又はサブサンプリングを適用することができる。操作４０２は、２次元平滑化カーネル（例えば、[１ １]/２又は[１ ３ ３ １]/８）を使用して実装できる。これにより、個々のピクセルに対する感度が低下する。幾つかの例では、フィルタリング後に画像がより小さいサイズ（例えばハーフサイズ）に間引きされる場合がある。他の実装では、操作４０２を省略して、半動的メタデータ生成処理は、操作４０１から操作４０３に直接進んでよい。操作４０３で、L１min、L１mid、L１maxの初期値が計算される（例えば、フレーム単位で）。例えば、L１minはRGB輝度の最小値を表してよく、L１midはRGB輝度の最大値の平均値を表してよく、L１maxはRGB輝度の最大値を表してよい。

その後、操作４０４で、所与のショット又はシーンの動的値を使用してL１minとL１maxの値が再計算される。例えば、ショット又はシーンの各フレームを分析して、所与のショット又はシーン全体のRGB輝度の最小値と最大値を決定できる。操作４０５では、操作４０４で決定されたクリップ全体の最小値と最大値に対応する値を使用して、L１minとL１maxの値が再計算される。上記の半動的方式と比較して、動的方式は、コンテンツの許容（すなわち、可能である）最小及び最大RGB輝度ではなく、コンテンツの実際の最小及び最大RGB輝度に関してL１min及びL１maxが決定されるため、画像データにより密接に対応することができる。

図４の操作の１つの具体例として、次の擬似コードは、MATLAB（登録商標）のような形式を使用して示されている。

図５は、クラッシュ値、中間値、及びクリップ値に対応するメタデータに対する上記の操作の出力例を示している。各グラフは、フレーム番号の関数として正規化された輝度を示している。線５１０_min、５１０_mid、及び５１０_maxは、各々所与のフレームの輝度の最小値、平均値、及び最大値を示している。線５２０_min、５２０_mid、及び５２０_maxは、各々所与のフレームの値L１min、L１mid、及びL１maxを示している。

L１minとL１maxはクリップのフレーム全体の最小値に設定されているため、クラッシュとクリップのメタデータ値はすべてのフレームの実際の輝度値と厳密に一致しない。ただし、前述の半動的方式と比較すると、クラッシュとクリップのメタデータ値は実際の輝度値とより密接に一致する。図５に示されている特定の例では、フレームごとの最小輝度値（線５１０_min）は約０.０２から０.４８の間で変化し、値L１min（線５１０_min）は約０.０２に設定されている。一方、図３に示す半動的方法では、L１min（線３１０_min）の値を０とした。フレームごとの最大輝度値（線５１０_max）は約０.５３から０.８２の間で変化し、値L１max（線５２０_max）は約０.８２に設定されている。上述のように、L１midは動的な値で決定されるため、midメタデータ値はすべてのフレームの実際の輝度値と密接に一致する。図５に示すように、フレームごとの平均輝度値（線５１０_mid）と値L１mid（線５２０_mid）は高い対応関係にある。

メタデータの動的生成は、所与のショット又はシーン内のすべてのフレームの処理を必要とするため、メタデータの半動的生成と比較して計算要件が高くなる可能性がある。ただし、図５からわかるように、クラッシュとクリップのメタデータ値の動的な値を使用すると、コンテナの全ダイナミックレンジを使用しない画像では、同じタイプのマップされた画像のコントラスト低減の影響を受けない。

ウインドウ化FIRメタデータ生成

画像形成メタデータは、「ウインドウ化」方法を使用して生成することができ、その例を図６に示す。図６に示す操作は、図１のポストプロダクションブロック１０３に関連するハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせを使用して自動的に実行することができる。

図６に示すように、ウインドウ化メタデータ生成処理は、ビデオ信号が所定の形式（例えば、特定のEOTF）に変換される操作６０１で開始することができる。例えば、ビデオ信号は、Rec.ITU-RBT.２１００-１（０６/２０１７で説明されているように、HLG又はSLOG-３HDRからRGB PQ HDRに変換される場合がある。その後、操作６０２で、空間平滑化及び/又はサブサンプリングが適用される。操作４０２は、２次元平滑化カーネル（例えば、[１ １]/２又は[１ ３ ３ １]/８）を使用して実装できる。これにより、個々のピクセルに対する感度が低下する。幾つかの例では、フィルタリング後に画像がより小さいサイズ（例えばハーフサイズ）に間引きされる場合がある。操作６０３で、L１min、L１mid、L１maxの初期値が計算される（例えば、ピクセル単位で）。例えば、L１minは最小RGB輝度の最小値を表してよく、L１midはRGB輝度の最大値の平均値を表してよく、L１maxは最大RGB輝度の最大値を表してよい。

次に、操作６０４で、移動ウインドウ（k）内のフレームのリストを決定する。これは、時間Tの最大長にフレームレートを乗算して指定できる。時間ウインドウT（「時間的」ウインドウとも呼ばれる）は、オペレータによって設定可能である。幾つかの例では、時間ウインドウTは０.４秒から８秒の間で設定可能である。ある特定の例では、時間ウインドウTは４秒である。後述するように、時間的安定性と画質のバランスを取るために、時間ウインドウTの特定の値が選択される。例えば、ウインドウを短くするとある程度のちらつきが発生し得るが、ウインドウを長くするとより静的な処理になり得る。しかし、ウインドウ自体はシーンカットに跨がらないように構成されているため、現在のシーンの最初と最後のフレームによって囲まれている。

操作６０５は第１パスであり、ウインドウの最小値と最大値が計算される。例えば、移動ウインドウkの各フレームfについて、操作６０５は、[１ １]/２、[１ ２ １]/４、[１ ３ ３ １]/８、又は[１ ３ ８ ３ １]/１６のような１Dスムージングカーネルを使用してメタデータをスムージングし、それによってスムージングされたメタデータL１minS（f）及びL１maxS（f）を取得することができる。これにより、個々のフレームに対する感度が低下する。その後、操作６０５は、移動ウインドウkに渡り最大メタデータ範囲を決定することができる。例えば、L１minM（f）=min（L１minS（k））（すなわち、最小平滑化最小メタデータ値）とL１maxM（f）=max（L１max（S（k））（すなわち、最大平滑化最大メタデータ値）を計算する。

操作６０６は第２パスであり、ウインドウの最小値と最大値が平滑化される。例えば、操作６０６は、Lタップと標準偏差s=L/６を持つガウス形状として平滑化フィルタFを計算し、次に、移動ウインドウk内の各フレームfについて、操作６０５で計算されたフィルタリングされたメタデータを平滑化フィルタFで平滑化して、平滑化及びフィルタリングされたメタデータ値L１minF及びL１maxFを取得することができる。操作６０６は、各フレームfについて、L１min及びL１maxを平滑化及びフィルタリングされたメタデータ値に設定し、L１midを操作６０３で決定された初期値に設定することもできる。

操作６０５と６０６はフレームの移動ウインドウに適用されるため、所与のシーン内のすべての可能なウインドウが処理されるように、操作６０４、６０５と、及び６０６を繰り返すことができる。

図６の操作の１つの具体例として、次の擬似コードは、MATLAB（登録商標）のような形式を使用して示されている。

図７A～７Cは、異なるウインドウ長について、クラッシュ値、中間値、及びクリップ値に対応するメタデータに対する上記の操作の出力例を示している。各グラフは、フレーム番号の関数として正規化された輝度を示している。図７A～７Cの各々で、線７１０_min、７１０_mid、及び７１０_maxは、各々所与のフレームの輝度の最小値、平均値、及び最大値を示している。図７Aで、線７２１_min、７２１_mid、及び７２１_maxは、所与のフレームについて、１秒のウインドウ長で上述の方法に従い計算された値L１min、L１mid、L１maxを示す。図７Bで、線７２２_min、７２２_mid、及び７２２_maxは、所与のフレームについて、４秒のウインドウ長で上述の方法に従い計算された値L１min、L１mid、L１maxを示す。図７Cで、線７２３_min、７２３_mid、及び７２３_maxは、所与のフレームについて、１秒のウインドウ長で上述の方法に従い計算された値L１min、L１mid、L１maxを示す。

図７A～７Cを互いに比較すると、ウインドウの長さを短くすると画質が向上するが（例えば、線７２１_maxは線７１０_maxをより密接に辿る）、ウインドウの長さを長くすると、時間的安定性が向上する（例えば、線７２３_maxはより大きな変動度を示す）ことが分かる。本開示の１つの特定の実装では、ウインドウ長は、図７Bに示されているように、好ましくは４秒である。

ウインドウ化されたメタデータの生成は、移動するウインドウのクラッシュ及びクリップの外側のエンベロープであるメタデータを生成する。メタデータの半動的生成と比較して、計算にはより多くのフレームを必要とするが、上記の比較方法とは異なり、任意の単一フレームのメタデータを計算するために必要なフレーム数は有限である。フィルタを２回連続して適用することで、結果として得られるフィルタは、基本的に指定されたウインドウの３倍の長さになる。例えば上記の擬似コードを使用して、連続する操作を１つの操作又はフローに結合できる。

例示的なコンピュータシステム

本開示の種々の態様は、コンピュータシステム、電子回路及びコンポーネント内に構成されるシステム、マイクロコントローラのような集積回路（ＩＣ）装置、ＦＰＧＡ、又は別の構成可能な又はプログラム可能な論理装置（ＰＬＤ）、個別時間又はデジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、及び／又はこのようなシステム、装置、又はコンポーネントのうちの１つ以上を含む機器により実装されてよい。コンピュータ及び/又はICは、上記の処理及び操作に関連する命令を実行、制御、又は実行することができる。コンピュータ及び/又はICは、上記の処理及び操作に関連する様々なパラメータ又は値のいずれかを計算することができる。。

図８は、本開示の一以上の態様が実装され得るコンピュータシステム８００の一例を示している。図示のようにコンピュータシステム８００は、情報を通信するためのバス５０２又は他の通信メカニズム、及び情報を処理するためにバス８０１に結合されたハードウェアプロセッサ８０２を含む。プロセッサ８０２は、例えば、汎用マイクロプロセッサであってよい。

コンピュータシステム８００は、バス８０１に結合され、プロセッサ８０２により実行されるべき情報及び命令を格納するＲＡＭ（random access memory）又は他の動的記憶装置のようなメインメモリ８０３も含む。メインメモリ８０３は、プロセッサ８０２により実行されるべき命令の実行中に、時間変数又は他の中間情報を格納するためにも使用されてよい。このような命令は、プロセッサ８０２によりアクセス可能な非一時的記憶媒体に格納されるとき、コンピュータシステム８００を、命令で指定された動作を実行するようカスタマイズされた専用マシンにする。

コンピュータシステム８００は、バス８０１に結合され、プロセッサ８０２のための静的情報及び命令を格納する、読み出し専用メモリ（ＲＯＭ）８０４又は他の静的記憶装置を更に含む。情報及び命令を格納するために、磁気ディスク又は光ディスクのような記憶装置８０５が設けられ、バス８０１に結合されてよい。コンピュータシステム８００は、バス８０１を介して、コンピュータユーザに情報を表示する液晶ディスプレイのようなディスプレイ８１１に結合されてよい。英数字及び他のキーを含む入力装置８１２は、プロセッサ８０２に情報及びコマンド選択を通信するために、バス８０１に結合される。コンピュータシステム８００は、プロセッサ８０２に方向情報及びコマンド選択を通信するための、及びディスプレイ８１１上のカーソルの動きを制御するための、マウス、トラックボール、又はカーソル方向キーのようなカーソル制御８１３に、バス８０１を介して更に結合されてよい。

コンピュータシステム８００は、コンピュータシステムと結合してコンピュータシステム８００を専用マシンにする又はプログラムする、カスタマイズされたハードワイヤドロジック、１つ以上のＡＳＩＣ又はＦＰＧＡ、ファームウェア及び／又はプログラムロジックを用いて、本願明細書に記載の技術を実装してよい。一実施形態によると、本願明細書に記載の技術は、プロセッサ８０２がメインメモリ８０３に含まれる１つ以上の命令の１つ以上のシーケンスを実行することに応答して、コンピュータシステム８００により実行される。このような命令は、記憶装置８０５のような別の記憶媒体からメインメモリ８０３に読み込まれてよい。メインメモリ８０３に含まれる命令シーケンスの実行は、プロセッサ８０２に、本願明細書に記載の処理ステップを実行させる。代替の実施形態では、ハードワイヤド回路は、ソフトウェア命令の代わりに又はそれと結合して使用されてよい。

用語「記憶媒体」は、本願明細書で使用されるとき、機械を特定の方式で動作させるデータ及び／又は命令を格納する任意の非一時的媒体を表す。そのような記憶媒体は、不揮発性媒体及び／又は揮発性媒体を含んでよい。不揮発性媒体は、例えば、記憶装置８０５のような光学又は磁気ディスクを含む。揮発性媒体は、メインメモリ８０３のような動的メモリを含む。記憶媒体の一般的形式は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、固体ドライブ、磁気テープ、又は任意の他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光学データ記憶媒体、ホールのパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップ又はカートリッジを含む。

記憶媒体は、伝送媒体と異なるが、それと関連して使用されてよい。伝送媒体は、記憶媒体の間で情報を転送する際に関連する。例えば、伝送媒体は、バス８０１を含むワイヤを含む、同軸ケーブル、銅線、光ファイバを含む。伝送媒体は、無線波及び赤外線データ通信の間に生成されるような、音響又は光波の形式も取りうる。

種々の形式の媒体は、実行のためにプロセッサ８０２に１つ以上の命令の１つ以上のシーケンスを運ぶ際に関連してよい。例えば、命令は、最初に、リモートコンピュータの磁気ディスク又は固体ドライブにより運ばれてよい。リモートコンピュータは、命令を自身の動的メモリにロードし、命令を光ファイバ、同軸ケーブル等のような通信リンクを介して送信できる。コンピュータシステム８００のローカルにある通信インタフェース８０６は、コ通信回線上でデータを受信することができ、適切な回路はバス８０１上にデータを配置することができる。バス８０１は、データをメインメモリ８０３に運び、そこからプロセッサ８０２が命令を読み出し実行する。メインメモリ８０３により受信された命令は、任意で、プロセッサ８０２による実行の前又は後に記憶装置８０５に格納されてよい。

通信インタフェース８０６は、ローカルネットワーク８２２に接続されるネットワークリンク８２１との２方向データ通信結合を提供する。例えば、通信インタフェース８０６は、ＩＳＤＮ（integrated services digital network）カード、ケーブルモデム、衛星モデム、又は対応する種類の電話線にデータ通信接続を提供するモデムであってよい。別の例として、通信インタフェース８０６は、互換ＬＡＮにデータ通信接続を提供するＬＡＮ（local area network）カードであってよい。無線リンクも実装されてよい。任意のこのような実装では、通信インタフェース８０６は、種々の種類の情報を表すデジタルデータストリームを運ぶ電気、電磁気、又は光信号を送受信する。

ネットワークリンク８２１は、標準的に、１つ以上のネットワークを通じて他のデータ装置にデータ通信を提供する。例えば、ネットワークリンク８２１は、ローカルネットワーク８２２を通じてホストコンピュータ８２３に又はＩＳＰ（Internet Service Provider）８２４により運用されるデータ機器に接続を提供してよい。ISP８２４は、また、現在一般に「インターネット」８２５と呼ばれるワールドワイドパケットデータ通信ネットワークを通じて、データ通信サービスを提供する。ローカルネットワーク８２２及びインターネット８２５は、デジタルデータストリームを運ぶ電気、電磁気、又は光信号の両方を使用する。コンピュータシステム８００へ及びそれからのデジタルデータを運ぶ種々のネットワークを通じる信号及びネットワークリンク８２１上の信号及び通信インタフェース８０６を通じる信号は、伝送媒体の例示的な形式である。

コンピュータシステム８００は、ネットワーク、ネットワークリンク８２１、及び通信インタフェース８０６を通じて、プログラムコードを含むメッセージを送信しデータを受信できる。インターネットの例では、サーバ８２６は、インターネット８２５、ISP８２４、ローカルネットワーク８２２、及び通信インタフェース８０６を通じて、アプリケーションプログラムのために必要なコードを送信し得る。受信したコードは、プロセッサ８０２により受信されるとプロセッサ５０４により実行され、及び／又は後の実行のために記憶装置８０５若しくは他の不揮発性記憶装置に格納される。

応用と効果

本開示の上述の態様は、改善されたビデオ品質、改善された時間的安定性、低い計算要件、及び低減されたレイテンシを提供するために使用される可能性のあるメタデータを生成するために提供され得る。

本開示に従ったシステム、方法及び装置は、以下の構成のうちの１つ以上を取り入れることができる。

ビデオコンテンツを編集する方法であって、
入力ビデオデータを受信するステップと、
前記入力ビデオデータを、所定のフォーマットに変換するステップであって、それにより、変換済みビデオデータを生成する、ステップと、
前記変換済みビデオデータのフレームについて複数の初期メタデータ値を生成するステップであって、前記複数の初期メタデータ値は、前記フレームを含むコンテンツから計算されない第１固定値に対応する第１メタデータ値と、前記フレームの平均輝度値に対応する第２メタデータ値と、前記コンテンツから計算されない第２固定値に対応する第３メタデータ値と、を含む、ステップと、
を含み、
前記第１メタデータ値、前記第２メタデータ値、及び前記第３メタデータ値は、ディスプレイで復号画像をレンダリングするためにデコーダにより使用される情報を含む、システム及び方法が提供される、方法。

（２）前記複数の初期メタデータ値を生成する前に、前記変換済みビデオデータに空間平滑化操作を適用するステップ、を更に含む（１）に記載の方法。

（３）前記空間平滑化操作は、前記変換済みビデオデータをサブサンプリングすることを含む、（２）に記載の方法。

（４）前記空間平滑化操作を適用することは、前記変換済みビデオデータをより小さいサイズに間引くことを含む、（２）又は（３）に記載の方法。

（５）前記フレームに対応するビデオデータの一部、前記第１メタデータ値、前記第２メタデータ値、及び前記第３メタデータ値を含む配信ビデオデータを出力するステップ、を更に含む（１）～（４）のいずれか一項に記載の方法。

（６）前記第１固定値が前記コンテンツの許容輝度の最小値に対応し、前記第２固定値が前記コンテンツの許容輝度の最大値に対応する、（１）～（５）のいずれか一項に記載の方法。

（７）前記所定のフォーマットは知覚量子化高ダイナミックレンジフォーマットである、（１）～（６）のいずれか一項に記載の方法。

（８）命令を格納している非一時的コンピュータ可読媒体であって、前記命令は、コンピュータシステムのプロセッサにより実行されると、前記コンピュータシステムに（１）～（６）のいずれか一項に記載の方法を含む動作を実行させる、非一時的コンピュータ可読媒体。

（９）ビデオコンテンツを編集するシステムであって、
メモリと、
プロセッサと、
を含み、前記プロセッサは、前記ビデオ編集システムに、
入力ビデオデータを受信させ、
前記入力ビデオデータを、所定のフォーマットに変換させ、それにより、変換済みビデオデータを生成させ、
前記変換済みビデオデータのフレームについて複数の初期メタデータ値を生成させ、前記複数の初期メタデータ値は、前記フレームを含むコンテンツから計算されない第１固定値に対応する第１メタデータ値と、前記フレームの平均輝度値に対応する第２メタデータ値と、前記コンテンツから計算されない第２固定値に対応する第３メタデータ値と、を含む、システム。

（１０）前記プロセッサは、前記ビデオ編集システムに、
前記複数の初期メタデータ値を生成する前に、前記変換済みビデオデータに空間平滑化操作を適用させるよう構成される、（９）に記載のビデオ編集システム。

（１１）前記空間平滑化操作は、前記変換済みビデオデータをサブサンプリングすることを含む、（１０）に記載のビデオ編集システム。

（１２）前記空間平滑化操作は、前記変換済みビデオデータをより小さいサイズに間引くことを含む、（１０）又は（１１）に記載のビデオ編集システム。

（１３）前記プロセッサは、前記ビデオ編集システムに、
前記フレームに対応するビデオデータの一部、前記第１メタデータ値、前記第２メタデータ値、及び前記第３メタデータ値を含む配信ビデオデータを出力させるよう更に構成される、（９）～（１２）のいずれか一項に記載のビデオ編集システム。

（１４）前記第１固定値が前記コンテンツの許容輝度の最小値に対応し、前記第２固定値が前記コンテンツの許容輝度の最大値に対応する、（９）～（１３）のいずれか一項に記載のビデオ編集システム。

（１５）前記所定のフォーマットは知覚量子化高ダイナミックレンジフォーマットである、（９）～（１４）のいずれか一項に記載のビデオ編集システム。

（１６）ビデオコンテンツを編集する方法であって、
入力ビデオデータを受信するステップと、
前記入力ビデオデータを所定のフォーマットに変換するステップであって、それにより、変換済みビデオデータを生成する、ステップと、
前記変換済みビデオデータのフレームについて第１メタデータ値を生成するステップであって、前記第１メタデータ値は前記フレームの平均輝度値に対応する、ステップと、
前記フレームを含む時間ウインドウを決定するステップであって、前記時間ウインドウは所定の時間長を有する、ステップと、
前記時間ウインドウに渡り最大メタデータ範囲と最小メタデータ範囲を計算するステップであって、それにより、第１フィルタリング済みメタデータ値と第２フィルタリング済みメタデータを生成する、ステップと、
前記フィルタリング済みメタデータ値及び前記第２フィルタリング済みメタデータ値を平滑化するステップであって、それにより、第１平滑化済み且つフィルタリング済みメタデータ値及び第２平滑化済み且つフィルタリング済みメタデータ値を生成する、ステップと、
を含む方法。

（１７）前記所定の時間長は４秒である、（１６）に記載の方法。

（１８）前記ウインドウは、前記入力ビデオデータの中のシーンカットに跨がらないよう構成される、（１６）又は（１７）に記載の方法。

（１９）前記第１メタデータ値を生成する前に、前記変換済みビデオデータに空間平滑化操作を適用するステップ、を更に含む（１６）～（１８）のいずれか一項に記載の方法。

（２０）命令を格納している非一時的コンピュータ可読媒体であって、前記命令は、コンピュータシステムのプロセッサにより実行されると、前記コンピュータシステムに（１６）～（１９）のいずれか一項に記載の方法を含む動作を実行させる、非一時的コンピュータ可読媒体。

処理、システム、方法、ヒューリスティック、等に関して本願明細書に説明されたが、理解されるべきことに、このような処理等のステップは、特定の順序付きシーケンスに従い生じるとして説明されたが、このような処理は、本願明細書に記載された順序と異なる順序で実行される記載されたステップと共に実施され得る。特定のステップは同時に実行され得ること、他のステップが追加され得ること、又は本願明細書に記載された特定のステップが省略され得ることが、更に理解されるべきである。言い換えると、本願明細書における処理の説明は、特定の実施形態を説明する目的で提供され、請求項を限定するものとして考えられるべきではない。

従って、上記の説明は、説明を意図しており、限定的ではないことが理解されるべきである。上記の説明を読むと、提供された例以外の多くの実施例と適用が明らかになる。範囲は、上述の説明を参照せずに、しかし代わりに添付の請求の範囲を参照して、権利の与えられた該請求の範囲の均等な全範囲とともに、決定されるべきである。ここで議論されている技術に将来の発展が起こり、開示されたシステムと方法がそのような将来の実施形態に組み込まれることが予想され、意図されている。要約すると、本願は変更や変更が可能であることを理解すべきである。

特許請求の範囲で使用されているすべての用語は、ここに記載されている技術に精通している者に理解されるように、それらの最も広範で合理的な構成と通常の意味を与えることを意図している。特に、「a」、「the」、「said」などの単数冠詞の使用は、請求項が明示的に反対の制限を述べていない限り、示された要素の１つ以上を述べるために読むべきである。

本開示の要約は、読者が技術的開示の特性を素早く評価することを可能にするために提供される。それは、請求項の範囲又は意味を解釈し又は限定するために使用されるものではないことが理解される。更に、前述の詳細な説明では、本開示を合理化する目的で、種々の特徴が種々の実施形態に一緒にグループ化されることが分かる。本開示のこの方法は、請求される実施形態が各請求項に明示的に記載されたものより多くの特徴を組み込むという意図を反映するものと解釈されるべきではない。むしろ、以下の請求項が反映するように、本発明の主題は、単一の開示された実施形態の全部よりも少ない特徴にある。従って、以下の請求の範囲は、ここで詳細な説明に組み込まれ、各請求項は別個に請求される主題としてそれ自体独立である。

本発明の種々の態様は、以下に列挙する例示的な実施形態（enumerated example embodiment：EEE）から明らかであり得る。

（ＥＥＥ１）ビデオコンテンツを編集する方法であって、
入力ビデオデータを受信するステップと、
前記入力ビデオデータを、所定のフォーマットに変換するステップであって、それにより、変換済みビデオデータを生成する、ステップと、
前記変換済みビデオデータのフレームについて複数の初期メタデータ値を生成するステップであって、前記複数の初期メタデータ値は、前記フレームを含むコンテンツから計算されない第１固定値に対応する第１メタデータ値と、前記フレームの平均輝度値に対応する第２メタデータ値と、前記コンテンツから計算されない第２固定値に対応する第３メタデータ値と、を含む、ステップと、
を含み、
前記第１メタデータ値、前記第２メタデータ値、及び前記第３メタデータ値は、ディスプレイで復号画像をレンダリングするためにデコーダにより使用される情報を含む、システム及び方法が提供される、方法。

（EEE２）前記複数の初期メタデータ値を生成する前に、前記変換済みビデオデータに空間平滑化操作を適用するステップ、を更に含む（EEE１）に記載の方法。

（EEE３）前記空間平滑化操作は、前記変換済みビデオデータをサブサンプリングすることを含む、EEE２に記載の方法。

（EEE４）前記空間平滑化操作を適用することは、前記変換済みビデオデータをより小さいサイズに間引くことを含む、EEE２又は３に記載の方法。

（EEE５）前記フレームに対応するビデオデータの一部、前記第１メタデータ値、前記第２メタデータ値、及び前記第３メタデータ値を含む配信ビデオデータを出力するステップ、を更に含むEEE１～４のいずれか一項に記載の方法。

（EEE６）前記第１固定値が前記コンテンツの許容輝度の最小値に対応し、前記第２固定値が前記コンテンツの許容輝度の最大値に対応する、EEE１～５のいずれか一項に記載の方法。

（EEE７）前記所定のフォーマットは知覚量子化高ダイナミックレンジフォーマットである、EEE１～６のいずれか一項に記載の方法。

（EEE８）命令を格納している非一時的コンピュータ可読媒体であって、前記命令は、コンピュータシステムのプロセッサにより実行されると、前記コンピュータシステムにEEE１～７のいずれかに記載の方法を含む動作を実行させる、非一時的コンピュータ可読記憶媒体。

（EEE９）ビデオコンテンツを編集するシステムであって、
メモリと、
プロセッサと、
を含み、前記プロセッサは、前記ビデオ編集システムに、
入力ビデオデータを受信させ、
前記入力ビデオデータを、所定のフォーマットに変換させ、それにより、変換済みビデオデータを生成させ、
前記変換済みビデオデータのフレームについて複数の初期メタデータ値を生成させ、前記複数の初期メタデータ値は、前記フレームを含むコンテンツから計算されない第１固定値に対応する第１メタデータ値と、前記フレームの平均輝度値に対応する第２メタデータ値と、前記コンテンツから計算されない第２固定値に対応する第３メタデータ値と、を含む、システム。

（EEE１０）前記プロセッサは、前記ビデオ編集システムに、
前記複数の初期メタデータ値を生成する前に、前記変換済みビデオデータに空間平滑化操作を適用させるよう構成される、EEE９に記載のビデオ編集システム。

（EEE１１）前記空間平滑化操作は、前記変換済みビデオデータをサブサンプリングすることを含む、EEE１０に記載のビデオ編集システム。

（EEE１２）前記空間平滑化操作は、前記変換済みビデオデータをより小さいサイズに間引くことを含む、EEE１０又は１１に記載のビデオ編集システム。

（EEE１３）前記プロセッサは、前記ビデオ編集システムに、
前記フレームに対応するビデオデータの一部、前記第１メタデータ値、前記第２メタデータ値、及び前記第３メタデータ値を含む配信ビデオデータを出力させるよう更に構成される、EEE９～１２のいずれか一項に記載のビデオ編集システム。

（EEE１４）前記第１固定値が前記コンテンツの許容輝度の最小値に対応し、前記第２固定値が前記コンテンツの許容輝度の最大値に対応する、EEE９～１３のいずれか一項に記載のビデオ編集システム。

（EEE１５）前記所定のフォーマットは知覚量子化高ダイナミックレンジフォーマットである、EEE９～１４のいずれか一項に記載のビデオ編集システム。

Claims (20)

1. ビデオコンテンツを編集する方法であって、
   入力ビデオデータを受信するステップと、
   前記入力ビデオデータを、ダイナミックレンジに関して前記入力ビデオデータのフォーマットと異なる所定のフォーマットに変換するステップであって、それにより変換済みビデオデータを生成する、ステップと、
   前記変換済みビデオデータのフレームについて複数の初期メタデータ値を生成するステップであって、前記複数の初期メタデータ値は、前記フレームを含むコンテンツから計算されない第１固定値に対応する第１メタデータ値であって、前記第１固定値は前記コンテンツの最小許容輝度値に対応する、第１メタデータ値と、前記フレームの平均輝度値に対応する第２メタデータ値と、前記コンテンツから計算されない第２固定値に対応する第３メタデータ値であって、前記第２固定値は前記コンテンツの最大許容輝度値に対応する、第３メタデータ値と、を含む、ステップと、
   を含み、
   前記第１メタデータ値、前記第２メタデータ値、及び前記第３メタデータ値は、ディスプレイで復号画像をレンダリングするためにデコーダにより使用される情報を含む、方法。
2. 前記所定のフォーマットは、標準ダイナミックレンジフォーマットであり、任意で、前記入力ビデオデータは高ダイナミックレンジフォーマットである、請求項１に記載の方法。
3. 前記複数の初期メタデータ値を生成する前に、前記変換済みビデオデータに空間平滑化操作を適用するステップ、を更に含む請求項１又は２に記載の方法。
4. 前記空間平滑化操作を適用することは、前記変換済みビデオデータをサブサンプリングすることを含む、請求項３に記載の方法。
5. 前記空間平滑化操作を適用することは、前記変換済みビデオデータをより小さいサイズに間引くことを含む、請求項３又は４に記載の方法。
6. 前記フレームに対応するビデオデータの一部、前記第１メタデータ値、前記第２メタデータ値、及び前記第３メタデータ値を含む配信ビデオデータを出力するステップ、を更に含む請求項１～５のいずれか一項に記載の方法。
7. 前記所定のフォーマットは知覚量子化高ダイナミックレンジフォーマットである、請求項１～６のいずれか一項に記載の方法。
8. 命令を格納している非一時的コンピュータ可読媒体であって、前記命令は、コンピュータシステムのプロセッサにより実行されると、前記コンピュータシステムに請求項１～７のいずれか一項に記載の方法を含む動作を実行させる、非一時的コンピュータ可読媒体。
9. ビデオ編集システムであって、
   メモリと、
   プロセッサであって、前記ビデオ編集システムに以下：
   入力ビデオデータを受信させ：
   前記入力ビデオデータを、ダイナミックレンジに関して前記入力ビデオデータのフォーマットと異なる所定のフォーマットに変換させ、それにより変換済みビデオデータを生成させ、
   前記変換済みビデオデータのフレームについて複数の初期メタデータ値を生成させ、前記複数の初期メタデータ値は、前記フレームを含むコンテンツから計算されない第１固定値に対応する第１メタデータ値であって、前記第１固定値は前記コンテンツの最小許容輝度値に対応する、第１メタデータ値と、前記フレームの平均輝度値に対応する第２メタデータ値と、前記コンテンツから計算されない第２固定値に対応する第３メタデータ値であって、前記第２固定値は前記コンテンツの最大許容輝度値に対応する、第３メタデータ値と、を含む、プロセッサと、
   を含むシステム。
10. 前記所定のフォーマットは、標準ダイナミックレンジフォーマットであり、任意で、前記入力ビデオデータは高ダイナミックレンジフォーマットである、請求項９に記載のビデオ編集システム。
11. 前記プロセッサは、前記ビデオ編集システムに、
    前記複数の初期メタデータ値を生成する前に、前記変換済みビデオデータに空間平滑化操作を適用させるよう構成される、請求項９又は１０に記載のビデオ編集システム。
12. 前記空間平滑化操作は、前記変換済みビデオデータをサブサンプリングすることを含む、請求項１１に記載のビデオ編集システム。
13. 前記空間平滑化操作は、前記変換済みビデオデータをより小さいサイズに間引くことを含む、請求項１１又は１２に記載のビデオ編集システム。
14. 前記プロセッサは、前記ビデオ編集システムに、
    前記フレームに対応するビデオデータの一部、前記第１メタデータ値、前記第２メタデータ値、及び前記第３メタデータ値を含む配信ビデオデータを出力させるよう更に構成される、請求項９～１３のいずれか一項に記載のビデオ編集システム。
15. 前記所定のフォーマットは知覚量子化高ダイナミックレンジフォーマットである、請求項９～１４のいずれか一項に記載のビデオ編集システム。
16. ビデオコンテンツを編集する方法であって、
    入力ビデオデータを受信するステップと、
    前記入力ビデオデータを所定のフォーマットに変換するステップであって、それにより、変換済みビデオデータを生成する、ステップと、
    前記変換済みビデオデータのフレームについて第１メタデータ値を生成するステップであって、前記第１メタデータ値は前記フレームの平均輝度値に対応する、ステップと、
    前記フレームを含む時間ウインドウを決定するステップであって、前記時間ウインドウは所定の時間長を有する、ステップと、
    前記時間ウインドウに渡り最大メタデータ範囲と最小メタデータ範囲を計算するステップであって、それにより、第１フィルタリング済みメタデータ値と第２フィルタリング済みメタデータを生成する、ステップと、
    前記フィルタリング済みメタデータ値及び前記第２フィルタリング済みメタデータ値を平滑化するステップであって、それにより、第１平滑化済み且つフィルタリング済みメタデータ値及び第２平滑化済み且つフィルタリング済みメタデータ値を生成する、ステップと、
    を含む方法。
17. 前記所定の時間長は４秒である、請求項１６に記載の方法。
18. 前記ウインドウは、前記入力ビデオデータの中のシーンカットに跨がらないよう構成される、請求項１６又は１７に記載の方法。
19. 前記第１メタデータ値を生成する前に、前記変換済みビデオデータに空間平滑化操作を適用するステップ、を更に含む請求項１６～１８のいずれか一項に記載の方法。
20. 命令を格納している非一時的コンピュータ可読媒体であって、前記命令は、コンピュータシステムのプロセッサにより実行されると、前記コンピュータシステムに請求項１６～１９のいずれか一項に記載の方法を含む動作を実行させる、非一時的コンピュータ可読媒体。

Images