JP2024516080A - ビューア適応状態に基づく輝度調整 - Google Patents

Abstract

ビューアの適応状態に基づく輝度調整のためのビデオ配信システムは、現在画像フレームの平均輝度値に対応するメタデータを含む現在画像フレームを含むソース画像を受信するように構成されたプロセッサを含み、ソース画像は、次画像フレームの平均輝度値に対応するメタデータを含む該次画像フレームを含む。プロセッサは、周囲輝度に基づいて周囲輝度値を決定し、周囲輝度値及び平均輝度値に基づいて入射輝度値を決定し、現在瞳孔サイズと目標瞳孔サイズとの差を決定し、輝度調整係数に基づいてソース画像を修正して出力画像を生成するように構成され、輝度調整係数は、現在瞳孔サイズと目標瞳孔サイズとの差の関数である。

Description

［関連出願］
本願は、２０２１年３月２２日に出願された欧州特許出願第２１１６３８８０．４号、及び２０２１年３月２２日に出願された米国仮出願第６３／１６４，１６５号に対する優先権を主張しており、それらは全て参照により本明細書に組み込まれる。

［関連分野］
本出願は、一般に、ビューアの適応状態に基づいて輝度を調整するシステム及び方法に関する。

本願明細書で使用されるとき、用語「ダイナミックレンジ’dynamic range （DR））」は、例えば最も暗い灰色（黒）から最も明るい白色（ハイライト）までの画像内の強度（例えば、輝度、ルマ）範囲を知覚する人間の視覚システム（human visual system （HVS））の能力に関連し得る。このシーンでは、DRは「シーン参照」強度に関連する。DRは、特定幅の強度範囲を適切に又は近似的にレンダリングするディスプレイ装置の能力にも関連してよい。このシーンでは、DRは「ディスプレイ参照」強度に関連する。本願明細書の説明の任意の点において、特定のシーンが特定の重要度を有すると明示的に指定されない限り、用語はいずれかのシーンで、例えば同義的に使用されてよいことが推定されるべきである。

本願明細書で使用されるとき、用語「高ダイナミックレンジ（high dynamic range （HDR））」は、人間の視覚システム（HVS）の大きさの約１４～１５倍又はそれより大きな程度に渡るDR幅に関連する。実際に、人間が強度範囲の中の広範な幅を同時に知覚し得るDRは、HDRに関連して、何らかの方法で省略され得る。本願明細書で使用されるとき、用語「拡張ダイナミックレンジ（enhanced dynamic range （EDR））」又は「視覚ダイナミックレンジ（visual dynamic range （VDR））」は、個々に又は同義的に、目の動きを含む人間の視覚システム（ＨＶＳ）によりシーン又は画像内で知覚可能なＤＲに関連し、何からの光適応がシーン又は画像に渡り変化することを可能にする。

実際には、画像は１つ以上の色成分（例えば、ルマY及びクロマCb及びCr）を含み、各色成分はピクセル当たりnビット（例えば、n=８）の精度により表される。非線形輝度コーディングを使用すると、n<８である画像（例えば、カラー２４ビットJPEG画像）は、標準ダイナミックレンジ（standard dynamic range （SDR））の画像であると考えられる。一方で、n>８である画像は、拡張ダイナミックレンジの画像であると考えられてよい。EDR及びHDR画像は、Industrial Light and Magicにより開発されたOpenEXRファイルフォーマットのような高精細（例えば、１６ビット）浮動小数点フォーマットを用いて格納され配信されてもよい。

ここで使用されるように、用語「メタデータ」は、本願明細書では、符号化ビットストリームの部分として送信される任意の補助情報に関連し、復号画像をレンダリングするためにデコーダを支援する。このようなメタデータは、限定ではないが、本願明細書にｋ試合されるような、色空間又は全色域（gamut）情報、基準ディスプレイパラメータ、及び補助信号パラメータ、を含んでよい。

大部分の消費者デスクトップディスプレイは、現在、２００～３００cd/m２又はニト（nit）の輝度をサポートする。大部分の消費者HDTVは、３００～５００ニトの範囲であり、新しいモデルは１０００ニト（cd/m２）にまで達している。そのような従来のディスプレイは、HDR又はEDRに対して標準ダイナミックレンジ（SDR）とも呼ばれる、低ダイナミックレンジ（lower dynamic range （LDR））の特徴を示す。HDRコンテンツの利用可能性が、キャプチャ機器（例えばカメラ）及びHDRディスプレイ（例えば、Dolby LaboratoriesのPRM-４２００プロフェッショナルリファレンスモニタ）の両方における進歩により増大するにつれ、HDRコンテンツは、カラーグレーディングされ、より高いダイナミックレンジ（例えば、１０００ニト～５０００ニト、又はそれより高い）をサポートするHDRディスプレイ上で表示されるようになり得る。HDRディスプレイの輝度機能が向上するにつれて、ビューアは暗い輝度と明るい輝度の間でより劇的な変化を体験し、不快感を引き起こす可能性がある。

さらに、ハイダイナミックレンジ（High Dynamic Range （HDR））コンテンツ編集構成は、この技術が以前のフォーマットよりも写実的で真に迫った画像を提供するので、現在広く普及している。しかし、何億台もの民生用テレビディスプレイを含む多くのディスプレイシステムは、HDR画像を再生することができない。さらに、幅広いHDRディスプレイ（例えば１，０００ニトから５，０００ニト又はそれ以上）のため、あるHDRディスプレイで最適化されたHDRコンテンツが、別のHDRディスプレイでの直接再生に適していない場合がある。市場全体にサービスを提供するために使用されているアプローチの１つは、新しいビデオコンテンツの複数のバージョンを作成することである。例えば、HDR画像を使用したものとSDR（standard dynamic range、標準ダイナミックレンジ）画像を使用したものがある。しかし、これではコンテンツ作成者は複数の形式でビデオコンテンツを作成する必要があり、消費者は特定のディスプレイ用にどの形式を購入すればよいかを知る必要がある場合がある。

HDR技術を使用すると、コンテンツを以前よりもはるかに明るくすることができる。コンテンツの明るさが、暗いところから明るいところへ、明るいところから暗いところへと急激に変化すると、コンテンツのビューアにとって不快な体験になる可能性がある。このような明るさの急激な変化は、クリエイティブな効果のためだけでなく、チャネルの変更や広告の挿入などの画像の分岐点でも発生することがある。したがって、コンテンツ作成者の意図した視聴体験を維持しながら、このような負担を軽減する技術が開発されている。技術は、意図した視聴体験を維持しながら、出力装置の特性をさらに考慮することができる。

本開示の様々な態様は、ビューアの状態に基づいて輝度を調整するための装置、システム、及び方法に関する。

本開示の１つの例示的な態様では、ビューアの適応状態に基づいて輝度を調整するためのビデオ配信システムが提供される。ビデオ配信システムは、ビデオデータのポストプロダクション編集を実行するプロセッサを含む。プロセッサは、現在画像フレームの平均輝度値に対応するメタデータを含む現在画像フレームを含むソース画像を受信するように構成され、ソース画像は、次画像フレームの平均輝度値に対応するメタデータを含む該次画像フレームを含む。プロセッサは、現在画像フレーム及び次画像フレームについては、周囲輝度に基づいて周囲輝度値を決定し、現在画像フレーム及び次画像フレームについて、周囲輝度値及び平均輝度値に基づいて入射輝度値を決定するように構成される。プロセッサは、さらに、入射輝度の関数として瞳孔サイズを推定するモデルを用いて、現在瞳孔サイズ及び目標瞳孔サイズを決定し、目標瞳孔サイズは、次画像フレームの入射輝度値に基づいて決定され、現在瞳孔サイズは、現在画像フレーム及び１つ以上の前の画像フレームの入射輝度値に基づいて決定されるように構成される。プロセッサは、さらに、現在瞳孔サイズと目標瞳孔サイズとの差を決定し、現在画像フレームと次画像フレームとの間の瞳孔サイズの予想される変化を示すメタデータをソース画像に含めることによって出力画像を生成するように構成され、ここで、瞳孔サイズの予想される変化を示すメタデータは、現在瞳孔サイズと目標瞳孔サイズとの差の関数として決定される。

本開示の別の例示的な態様では、ビューアの適応状態に基づく輝度調整のための方法が提供され、方法は、
現在画像フレームの平均輝度値に対応するメタデータを含む前記現在画像フレームを含むソース画像を受信するステップであって、前記ソース画像は、次画像フレームの平均輝度値に対応するメタデータを含む前記次画像フレームを含む、ステップと、
前記現在画像フレーム及び前記次画像フレームについて、周囲輝度に基づいて周囲輝度値を決定するステップと、
前記現在画像フレームと前記次画像フレームについて、前記周囲輝度値と前記平均輝度値に基づいて入射輝度値を決定するステップと、
入射輝度の関数として瞳孔サイズを推定するモデルを用いて、現在瞳孔サイズと目標瞳孔サイズを決定するステップであって、前記目標瞳孔サイズは前記次画像フレームの前記入射輝度値に基づいて決定され、前記現在瞳孔サイズは前記現在画像フレームと１つ以上の前の画像フレームの入射輝度値に基づいて決定される、ステップと、
前記現在瞳孔サイズと前記目標瞳孔サイズとの差を決定するステップと、
前記現在画像フレームと前記次画像フレームとの間の瞳孔サイズの予想される変化を示すメタデータを前記ソース画像に含めることにより、出力画像を生成するステップであって、瞳孔サイズの予想される変化を示す前記メタデータは、前記現在瞳孔サイズと前記目標瞳孔サイズとの差の関数として決定される、ステップと、を含む。

本開示の別の例示的な態様では、ビューアの適応状態に基づいて輝度を調整するためのビデオ配信システムが提供される。配信システムは、受信された符号化ビットストリームを復号するプロセッサを含む。プロセッサは、現在画像フレームと、次画像フレームと、現在画像フレームと次画像フレームとの間の瞳孔サイズの予想される変化を示すメタデータとを含む入力画像を受信するように構成される。プロセッサは、現在画像フレーム及び次画像フレームについて、目標輝度値を決定し、周囲輝度に基づいて周囲輝度値を決定し、現在画像フレーム及び次画像フレームについて、周囲輝度値及び目標輝度値に基づいて入射輝度値を決定するように更に構成される。プロセッサは、更に、画像を提供するよう構成された装置の特性に基づきトーンマッピング曲線を選択し、入射輝度の関数として瞳孔サイズを推定するモデルを用いて、現在瞳孔サイズ及び目標瞳孔サイズを決定し、目標瞳孔サイズは、次画像フレームの入射輝度に基づいて決定され、現在瞳孔サイズは、現在画像フレーム及び１つ以上の前の画像フレームの入射輝度に基づいて決定されるように構成される。プロセッサは、更に、現在瞳孔サイズと目標瞳孔サイズとの間の差を決定し、予想される瞳孔サイズの変化、及び現在瞳孔サイズと目標瞳孔サイズとの間の差に基づいてトーンマッピング曲線を変更し、変更されたトーンマッピング曲線を入力画像に適用して出力画像を生成するように構成される。
本開示の別の例示的な態様では、ビューアの適応状態に基づいて輝度を調整するための方法が提供される。方法は、現在画像フレームと、次画像フレームと、現在画像フレームと次画像フレームとの間の瞳孔サイズの予想される変化を示すメタデータとを含む入力画像を受信するステップと、現在画像フレームと次画像フレームについて、目標輝度値を決定するステップと、を含む。方法は、更に、周囲輝度に基づいて周囲輝度値を決定するステップと、現在画像フレームと次画像フレームについて、周囲輝度値と目標輝度値に基づいて入射輝度値を決定するステップと、画像を提供するように構成された装置の特性に基づいてトーンマッピング曲線を選択するステップと、を含む。方法は、入射輝度の関数として瞳孔サイズを推定するモデルを用いて、現在瞳孔サイズと目標瞳孔サイズとを決定するステップであって、目標瞳孔サイズは次画像フレームの入射輝度に基づいて決定され、現在瞳孔サイズは現在画像フレームと１つ以上の前の画像フレームの入射輝度に基づいて決定される、ステップと、瞳孔サイズの予想された変化及び現在瞳孔サイズと目標瞳孔サイズとの差に基づいてトーンマッピング曲線を変更するステップと、変更されたトーンマッピング曲線を入力画像に適用して出力画像を生成するステップと、を更に含む。
本開示の他の例示的な態様において、ビデオ配信システムのプロセッサによって実行されると、ビデオ配信システムに本開示の方法を実行させる命令を記憶する非一時的コンピュータ可読媒体が提供される。

このようにして、本開示の様々な態様は、高いダイナミックレンジと高い解像度を有する画像の表示を提供し、少なくとも画像投影、ホログラフィー、信号処理等の技術分野において改善をもたらす。

種々の実施形態のこれらの及び他のより詳細な及び特定の特徴は、以下の説明において更に完全に開示され、添付の図面を参照する。

ビデオ配信パイプラインの例示的な処理を示す。

ビューアの適応状態に基づく輝度調整の例示的な処理を示す。

２次元ディスプレイ環境の一例を示す。

図３のディスプレイ環境の例示的な１次元断面図を示す。

定常状態瞳孔の例示的なモデルを示す。

体験される輝度の変化に対する瞳孔応答の例示的なモデルを示す。

受信したメタデータに基づく輝度調整の例示的な処理を示す。

スライダ値を決定するための例示的なグラフを示す。

ユーザ選好設定を示す例示的なグラフを示す。 ユーザ選好設定を示す例示的なグラフを示す。

本開示及びその態様は、種々の形式で具現化でき、コンピュータにより実施される方法により制御されるハードウェア、装置、又は回路、コンピュータプログラムプロダクト、コンピュータシステム及びネットワーク、ユーザインタフェース、及びアプリケーションプログラミングインタフェース、並びに、ハードウェアにより実施される方法、信号処理回路、メモリアレイ、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、等を含む。以上は、単に本開示の種々の態様の全体的思想を与えることを意図し、本開示の範囲をいかようにも制限しない。

以下の説明では、本開示の１つ以上の態様の理解を提供するために、光学装置構成、タイミング、動作、等のような多数の詳細事項が説明される。これらの特定の詳細事項は単なる例であり、本願の範囲を限定することを意図しないことが当業者に直ちに理解されるだろう。

更に、本開示は主に、種々の回路がデジタル投影システムにおいて使用される例に焦点を当てるが、それらは単なる例であることが理解されるだろう。開示されたシステム及び方法は光を投影する又は表示する必要があるいかなる装置においても使用することができることが更に理解されるであろう。例えば、映画、消費者及びその他の商用投影システム、ヘッドアップディスプレイ、仮想現実ディスプレイなどである。開示されたシステム及び方法は、OLEDディスプレイ、LCDディスプレイ、量子ドットディスプレイなどの追加のディスプレイ装置で実装することができる。

HDR信号のビデオ符号化
図１は、ビデオキャプチャからビデオコンテンツ表示までの種々の段階を示すビデオ配信パイプライン（１００）の例示的な処理を示す。ビデオフレーム１０２のシーケンスは、画像生成ブロック１０５を用いてキャプチャ又は生成される。ビデオフレーム１０２は、デジタル方式で（例えば、デジタルカメラにより）キャプチャされ、又はコンピュータにより（例えば、コンピュータアニメーションを用いて）生成されてよく、ビデオデータ１０７を提供する。代替として、ビデオフレーム１０２は、フィルムカメラによりフィルム上にキャプチャされてよい。フィルムは、デジタルフォーマットに変換されて、ビデオデータ１０７を提供する。プロダクション段階１１０において、ビデオデータ１０７は、ビデオプロダクションストリーム１１２を提供するために編集される。

プロダクショントリーム１１２のビデオデータは、次に、ポストプロダクション編集のためのブロック１１５で、ポストプロダクション編集のためにプロセッサ（又は中央処理装置（CPU）のような１つ以上のプロセッサ）に提供される。ブロック１１５のポストプロダクション編集は、ビデオ制作者の製作意図に従い画像品質を向上するため又は特定の外観を達成するために、画像の特定領域の色又は明るさの調整又は変更を含んでよい。これは、時に、「色タイミング」又は「色グレーディング」と呼ばれる。本明細書に記載される方法は、ブロック１１５でプロセッサによって実行されてよい。他の編集（例えば、シーン選択及び順序付け、画像クロッピング、コンピュータが生成した視覚的特殊効果の追加、激しい振動、等）が、配信のためのプロダクションの最終バージョン１１７を生成するために、ブロック１１５で実行されてよい。ポストプロダクション編集１１５の間、ビデオ画像は、基準ディスプレイ１２５上で表示される。

製作後１１５に続いて、最終製作のビデオデータ１１７は、テレビセット、セットトップボックス、映画劇場、等のような復号及び再生装置へと下流に配信するために、符号化ブロック１２０に配信されてよい。幾つかの実施形態では、コーディングブロック１２０は、コーディングビットストリーム１２２を生成するために、ATSC、DVB、DVD、Blu-Ray（登録商標）、及び他の配信フォーマットにより定義されるような、オーディオ及びビデオエンコーダを含んでよい。受信機では、コーディングビットストリーム１２２は、信号１１７と同一のもの又はその非常に近い近似を表す復号信号１３２を生成するために、復号ユニット１３０により復号される。受信機は、基準ディスプレイ１２５と全く異なる特性を有してよい目標ディスプレイ１４０に取り付けられてよい。その場合、ディスプレイ管理ブロック１３５は、ディスプレイマッピング済み信号１３７を生成することにより、復号信号１３２のダイナミックレンジを目標ディスプレイ１４０の特性にマッピングするために使用されてよい。本明細書に記載される追加の方法は、復号ユニット１３０又はディスプレイ管理ブロック１３５によって実行することができる。復号ユニット１３０又はディスプレイ管理ブロック１３５の両方は、それら自身のプロセッサを含んでもよく、又は単一の処理ユニットに統合されてもよい。

輝度適応
前述のように、輝度が急激に上昇すると、ビデオコンテンツを視聴するユーザに不快な視聴体験をもたらす可能性がある。従って、本明細書に提供されるシステム及び方法は、ビューアの適応状態に基づいて、コンテンツ作成者の創造的意図を維持する。ビューアの適応状態は、例えば、以下により詳細に説明されるように、ビューアの瞳孔が明るさの変化に反応する速度であってもよい。このような方法で創作意図を維持することは、変化するフレームのシーケンスを見ながら、任意の時点でのコンテンツ作成者の適応状態とビューアの適応状態の両方をモデル化することによって達成される。具体的には、モデルは、ビデオコンテンツが提供される際の装置の出力輝度に基づいてビューアの瞳孔直径の変化を推定する。周囲光、スクリーン反射、及び色収差などの追加情報を更に考慮してもよい。

コンテンツの作成方法
コンテンツ作成者の創造的意図を維持するために、コンテンツ作成中に創造的体験を測定し、メタデータに変換する。図２は、参照適応状態に基づくコンテンツの輝度調整の方法２００を提供する。方法２００は、ステップ２０５において、ビデオデータ１０７のようなソース画像を受信することを含む。ソース画像は、現在画像フレーム（例えば、現在視聴中のビデオデータ１０７のフレーム）を含むことができる。ソース画像は、現在画像フレームに関連付けられたメタデータを含むこともできる。例えば、画像「Smid．」は、ソース画像の知覚輝度に比例する輝度レベルを表し、ソース画像の平均画像輝度を記述するL１メタデータに格納することができる。幾つかの実施形態では、Smid値は、ソース画像が基準ディスプレイ１２５に表示されるときにソース画像によって提供される平均（例えば、算術、中央値、幾何学）輝度の測定値である。Smid値は、ソース画像内の知覚量子化器（Perceptual-Quantizer （PQ））で符号化された最大色成分（RGB）値の平均に相当すると推定することができる。他の幾つかの実施形態において、Smid値は、選択された領域（例えば、面）の平均又は中央値を示すことができる。L１メタデータが利用できない場合には、Smidを計算してもよいし、（値０．３６のように）仮定してもよい。

ソース画像は、更に、次（例えば、将来の）画像フレームを含んでもよい。次画像フレームは、現在画像フレームの直後のフレームであってもよいし、現在画像フレームの数フレーム後の画像フレームであってもよい。従って、プロダクション段階１１０は、現在画像フレーム、次画像フレーム、及び／又はその両方を受信することができる。

方法２００は、ステップ２１０において、周囲輝度に基づいて周囲輝度値を決定することを含む。例えば、基準ディスプレイ１２５の周囲領域の周囲輝度が決定される。これは、光の輝度値、光の色などを検出する周囲光センサを使用して達成することができる。周囲輝度値は、提供する光の色を外部装置に通信するスマート電球などのスマート装置との通信によって決定することができる。周囲輝度値を決定する際には、時刻が一般的な照明に関連付けられている（例えば、昼間は明るく、夜間は暗い）可能性があるため、時刻を考慮することができる。周囲輝度値が不明で特定できない場合は、５cd／m２の値をデフォルト値として使用できる。

方法２００は、ステップ２１５で、入射輝度を計算することを含む。入射輝度は、ビューアの目に降り注ぐ光の推定を提供し、ステップ２１０からの周囲輝度値及びステップ２０５からの平均輝度値の両方に基づいてもよい。例えば、図３は、周囲環境３０５内にあるディスプレイ３００（例えば、基準ディスプレイ１２５）を提供する。ディスプレイ３００は、ステップ２０５からの平均輝度値のような第１輝度値を有する。ディスプレイ３０５は、ステップ２１０からの周囲輝度値のような第２輝度値を有する。周囲環境３０５に対するディスプレイ３００のサイズは、ディスプレイ３００のスクリーンのサイズと視聴距離（例えば、ディスプレイ３００がビューアの目からどれだけ離れているか）の両方に依存する。断面線３１０については、以下の図４と併せて説明する。

入射輝度は、余弦３次関数を用いて計算することができる。例えば、図４は、余弦３次減衰（cosine cubed falloff）関数４１５を示すグラフ４００を提供する。グラフ４００は、図３の線３１０に沿った１次元断面である。グラフ４００は、ディスプレイ３００の輝度に対応する平均輝度値４０５と、周囲環境３０５に対応する周囲輝度値４１０とを含む。幾つかの実施形態では、余弦３次減衰関数４１５に平均輝度値４０５と周囲輝度値４１０を乗算して、余弦３次減衰関数４１５を所定のシナリオにスケーリングする。Y座標は輝度値を提供し、X座標は視覚度の値を提供する。幾つかの実施態様において、余弦３次減衰関数４１５は、曲線下の面積が１であり、最大度数が４５であるようにスケーリングされる。余弦３次減衰関数４１５は、注視位置に基づいて体験輝度の推定を提供するが、他の実施態様は、周囲輝度の視覚的影響に基づいて考えられる。例えば、同じ方法は、２次元及び３次元シナリオに対して調整することができる。

ステップ２１５の動作の特定の一例として、平均輝度値４０５、周囲輝度値４１０、及び余弦３次減衰関数４１５を使用して入射輝度を計算するための擬似コードを以下に示す：

入射輝度は、現在画像フレームと次画像フレームの両方について決定することができる。幾つかの実施形態では、周囲輝度値４１０は変化しないが、平均輝度値４０５は、ディスプレイ３００に提供される画像に基づいて変化する。更に後述するように、現在画像フレームの入射輝度と次画像フレームの入射輝度との間の差を決定することができる。上記の擬似コードでは、incident_Lumは、目の瞳孔サイズに影響を与えたり変化させたりする可能性のある、ビューアの目に入る入射輝度の推定値を提供し（例えば、空間的に補正された角膜束、単位：cd／m２）、display_Yは平均輝度値を表し、surround_Yは周囲輝度値を表す。

図２に戻り、方法２００は、ステップ２２０において、現在瞳孔サイズと目標瞳孔サイズとの間の差を決定することを含む。現在瞳孔サイズは、入射輝度の関数であり、次画像フレームが示された瞬間に（つまり、現在画像フレームと次画像フレームの間で切り換えが発生するとすぐに）、瞳孔が次画像フレームにどのように反応するかと相関する。幾つかの実施形態では、現在瞳孔サイズは、時間の経過に伴う（例えば、フレームからフレームへ）瞳孔の適応を表す連続的なフィルタリング結果である。このようにして、現在瞳孔サイズは、すべての以前のフレームの関数であってもよく、また、瞳孔サイズがフレーム間でどのように変化するかは、適応した瞳孔サイズと呼ばれてもよい。幾つかの実施形態では、現在瞳孔サイズは、アイトラッキングセンサなどのセンサを使用して決定されてもよい。センサは、瞳孔サイズを観察し、瞳孔サイズの測定を提供する。目標瞳孔サイズは、次画像フレームのための瞬間的な所望の瞳孔直径と相関する。このようにして、目標瞳孔サイズは、前のフレームを考慮していない可能性があり、次画像フレームを長時間見つめることによって達成されるであろう瞳孔直径を表す。現在瞳孔サイズと目標瞳孔サイズとの差は、式１で与えられるデルタ瞳孔応答として定義することができる：

図５は、入射輝度に関して瞳孔直径を推定及び／又は予測するための定常状態瞳孔モデルを提供する。図５に提示された定常状態瞳孔モデルは、その全体が参照により本明細書に組み込まれている、A.B.Watson及びJ.I.Yellotによる論文「A Unified Formula for Light-Adapted Pupil Size」で提示されたものから直接適応される。定常状態瞳孔サイズを決定するために代替モデル及び方法論を利用することが可能である。図５のモデルでは、瞳孔の収縮の一定速度は３mm／sであり、瞳孔の拡張は０．５mm／sである。しかし、収縮と拡張の他の一定速度を利用することができる。一実施形態では、画像の色もまた、収縮の速度に影響を与える場合がある。瞳孔直径は、度数領域、眼数、及び年齢に基づいて更に変化し得る。瞳孔は、入射輝度に基づいて定常状態の瞳孔サイズを達成するように作用し、目標瞳孔サイズが現在瞳孔サイズより大きいか小さいかに応じて収縮又は拡張する。入射輝度に応答して瞳孔がどのように変化するかを決定するために、収縮と拡張の両方は、（画像フレームレートの逆数によって数学的に表される）画像フレームのサンプリングレートの推定速度を有する。特定の一例として、ステップ２２０のように、現在瞳孔サイズと目標瞳孔サイズとの間の差（例えば、デルタ瞳孔反応）を決定するための擬似コードが以下に提供される。この例では、定常状態の瞳孔サイズの正確な推定方法は曖昧なままである。

上記の擬似コードでは、現在の瞳孔は、表示されようとしているフレームとそのフレームの期間が与えられた場合の、瞳孔の直径である。

図２に戻り、方法２００は、ステップ２２５で、出力画像を生成することを含む。出力画像は、決定された輝度調整係数に基づいて、ソース画像（例えば、ビデオデータ１０７）を修正することによって生成することができる。輝度調整係数は、例えば、デルタ瞳孔応答に基づいてもよい。ビデオデータ１０７のビューアが体験する不快感を最小化するために、デルタ瞳孔応答と体験する不快感との間の関係が導出される。例えば、式２で与えられる：

式２は指数関数を与えるが、３次ロールオフ（cubic roll-off）関数のような他の関数を使用して、知覚される不快感を決定することができる。知覚された不快感は、ステップ２２５で出力画像を生成する際に考慮される。特定の一例として、知覚された不快感を、瞳孔の大きさの変化を示す値である「創造的体験」（creative experience （CE））値に変換するための擬似コードが以下に与えられる。特に、CE値は、提示されたコンテンツの継続時間にわたって変化する輝度レベルに対して観察者がどのように反応するかを記述するために使用される。

提供された例では、CE値が、瞳孔が拡張するときに負であり、瞳孔が収縮するときに正であり、瞳孔直径が一定（例えば、変化しない）のときに０であるように、出力画像輝度を決定する関数が選択される。図６は、複数の画像フレームにわたって決定されたCE値の一例を提供する。図６は、明るい輝度値と暗い輝度値との間の変化の幾つかの例を含む。例えば、瞳孔は、下落６００と下落６０２の間に拡張し、下落６００と下落６０２で暗い輝度値への変化を示す。瞳孔は、上昇６０４と上昇６０６で収縮し、上昇６０４と上昇６０６で明るい輝度値への変化を示す。CE値は、ビデオコンテンツに含まれる各フレームについて決定され、符号化ビットストリーム１２２に含まれるメタデータに変換される。

創造的体験メタデータの実装方法
復号ユニット１３０は、符号化ビットストリーム１２２を復号する間に、メタデータに含まれるCE値を処理し、それに応じて復号信号１３２を調整することができる。図７は、符号化ビットストリーム１２２を復号するための方法７００を提供する。方法７００は、ステップ７０５において、符号化ビットストリーム１２２に含まれるデータのような入力画像を受信することを含む。方法７００は、ステップ７１０において、周囲輝度に基づいて周囲輝度値を決定することを含む。例えば、目標ディスプレイ１４０の周囲領域の周囲輝度は、ステップ２１０に関して上述したように決定される。

方法７００は、ステップ７１５において、目標装置１４０の特性に基づいてトーンマッピング曲線を選択する。例えば、「Tmid」値が計算され、画像が目標装置１４０に表示されるときに、符号化ビットストリーム１２２によって記述される画像の平均輝度の推定（例えば、目標輝度値）が提供される。J.PytlarzとR.Atkinsによる米国特許第１０，６００，１６６号「Tone Curve Mapping for High Dynamic Range Images」では、その全体が参照により本明細書に組み込まれており、本発明者らは、高ダイナミックレンジ（HDR）画像の表示マッピングのトーン曲線を決定する方法を提案している。トーンマッピング曲線は、入力画像を明るくする（高いCE値をもたらす）又は暗くする（低いCE値をもたらす）関数を使用して更に調整することができる。具体的な例として、Tmid値を計算するための擬似コードを以下に示す。

与えられた目標装置１４０の予測CE値は、CE値を入力トーン曲線パラメータと比較する動的ルックアップテーブルを使用して決定することができる。これは、選択されたトーンマッピング曲線が目標装置１４０に適していることを保証するために使用することができる。トーンマッピング曲線が決定されると、トーンマッピング曲線を使用して予測CE値が決定される。例えば、トーンマッピング曲線の値を使用して、方法２００に関して上述したように、符号化ビットストリーム１２２に含まれる各フレームについて、Tmid値、入射輝度、及びビューアの現在及び目標瞳孔サイズが決定される。これらは、各フレームの予測CE値を計算するために使用される。次に、予測CE値を受信CE値と比較して、所望の出力を達成するために各画像の輝度を調整する方法を決定することができる。特定の一例として、符号化ビットストリーム１２２のメタデータの中で受信されるように、予測CE値と実際に提供されるCE値との間の交点を決定するための擬似コードが以下に提供される。

図８は、予測されたCE値と提供されたCE値（例えば、基準CE値）との間のこの交点を提供するグラフを示す。図８の例では、破線で示される提供されたCE値は-１である。実線は、各スライダ値で所与の装置の計算されたTmid値によって決定される計算されたCE値を提供する。交点は、目標ディスプレイ１４０が所望のCE値を出力するために使用する必要があるスライダ値を提供する。図８の例では、スライダ値は約-０．１５である。従って、画像の輝度を下げて所望のCE値を出力する。

図７に戻り、ステップ７２０において、方法７００は、ステップ７１５で決定されたスライダ値を用いて出力画像を表示する。従って、出力画像は、符号化ビットストリーム１２２のメタデータに含まれるCE値によって示される輝度に対応する創造的体験を有する。換言すれば、CE値によって示される輝度を達成するために、出力画像は明るく又は暗くされる。方法７００は、全てのフレームがコンテンツ作成者の意図する創造的体験値で出力されるように、ビデオデータに提供されるフレーム毎に実行される。

実装例
装置ごとにトーンマッピング曲線を用いることで、ユーザ装置の性能に関係なく、ビデオデータのコンテンツ制作者が求める創造的体験を実現し、携帯電話と比べてホームシアターなどの装置間の視聴差の差を縮めることができる。しかしながら、本明細書に記載された方法は、様々なケースで輝度の変化における不快感を低減するために使用することができる。そのような実施形態の１つは、早送り機能中のビューアの不快感を低減することを含む。早送りが開始されると、フレームは急速にスキップされて表示される。フレームが暗い色から明るい色に変化したり、明るい色から暗い色に変化したりすると、ストロボ効果が発生することがある。これに対処するために、ステップ２２０及び７１５で瞳孔計算が行われるサンプリングレートを、早送りのレートに基づいて増加させることができる。例えば、あるビデオには、明るい日光の下で洞窟から出る人が含まれており、その結果、輝度が暗いから明るいに変化する。これは１０秒以上かかる場合がある。ただし、シーンが５秒に渡り生じるように早送りを開始すると、瞳の適応率が大幅に変化する。トーンマッピング曲線に対するCE値のマッピングは、この場合、この時間の変化を考慮するために、適応期間[００４３]を５０％の係数だけ減少させることによって調整することができる。収縮と拡張の速度は、必要な早送り速度に基づいて比例して増加する。

本明細書に開示される方法が実施され得る別の実施形態は、ズーム機能である。ズームが起動されると、フォーカスは画像の一部に向き、これは画像の平均輝度を著しく変化させ得る。ユーザは画像の部分の間を自分自身で移動し、興味のある暗い領域と興味のある明るい領域を切り換え、不快感を引き起こす可能性がある。ズームインされた領域の輝度属性を知っていれば、所望の創造的体験をより忠実に実現するために、減衰又は明るくすることができる。

本明細書に記載された方法は、仮想現実ゲームのような３次元的体験に使用することができる。観察者は、仮想現実体験内のコンピュータにより生成された風景への適応レベルを展開させる。観察者が移動して周囲を見回すと、明るい物体や反射が突然現れて、観察者を不快にさせることがある。輝度の変化による視覚の不快感を抑えるために、見ている画像やオブジェクトに同様の調整を適用することがある。幾つかの実施形態では、複数のユーザが同時に同じ仮想現実体験の中にいてもよい。各ユーザが異なるオブジェクトを見ている可能性があり、その結果、１人のゲーマーに優位性を与える可能性のある異なる体験が得られる。輝度は、各々の体験とフィールドのバランスを更に調整することができる。

ユーザが視聴している動画に広告が挿入されることがあり、装置の種類に関係なく、表示される平均輝度値が大幅に変更されることがある。このような場合、CE値を使用して、スムーズで快適な遷移を適用することができる。例えば、映画の暗いシーンでは、広告に明るい輝度値が提供される。提供される画像フレームは、映画と広告の両方のCE値を使用して、広告の輝度を下げ、広告が完了するまで時間をかけてゆっくりと輝度を上げ、その後、映画のCE値に合わせてフェードバックすることで、急激な変化を補正する。

ビデオコンテンツのビューアは、ビューア及び／又は装置に固有の不快感の特定のレベルを制限するなど、輝度の好みを設定したい場合がある。例えば、非常に明るいコンテンツは、CEメタデータによって示される値よりも低い創造的体験値にのみ到達するように制限することができる。更に、明るさのジャンプを制限することもできる。例えば、図９Aは、意図された輝度変化を保持しつつ、体験される不快感を制限する輝度調整の一例を提供する。全体的な意図された視聴体験は維持されるが、輝度の極端さは、瞳孔応答の変化を最小化するように制限される。他の実装では、一般的なスカラの代わりにハードカットオフを使用することができる。例えば、図９Bは、厳密な閾値による輝度調整の例を提供する。ユーザの好みは、収縮及び拡張情報に基づいて更に分割することができる。例えば、収縮のみが設定された閾値を持つ場合もあれば、拡張のみが設定された閾値を持つ場合もある。収縮と拡張の両方が、他とは異なる一意の閾値を持つ場合がある。

幾つかの実装では、本明細書に記載された方法は、視聴体験が最初にキャプチャされた方法と同様の視聴体験を提供するために実装され得る。例えば、ユーザは、カメラを使用して画像をキャプチャすることができる。画像は、元のシーンの輝度値を示すCEメタデータを含むように処理される。従って、ピクチャが他の装置で表示された場合、画像は、最初にキャプチャされた方法と同様の方法で提供される。

上記のビデオ配信システム及び方法は、ビューアの適応状態に基づいて輝度調整を提供することができる。本開示に従ったシステム、方法及び装置は、以下の構成のうちの１つ以上を取り入れることができる。

（１）ビューアの適応状態に基づく輝度調整のためのビデオ配信システムであって、
ビデオデータのポストプロダクション編集を行うプロセッサを含み、前記プロセッサは、
現在画像フレームの平均輝度値に対応するメタデータを含む前記現在画像フレームを含むソース画像を受信し、前記ソース画像は、次画像フレームの平均輝度値に対応するメタデータを含む前記次画像フレームを含み、
周囲輝度に基づいて周囲輝度値を決定し、
前記現在画像フレームと前記次画像フレームについて、前記周囲輝度値と前記平均輝度値に基づいて入射輝度値を決定し、
現在瞳孔サイズと目標瞳孔サイズの間の差を決定し、前記目標瞳孔サイズは前記次画像フレームの前記入射輝度値に基づいて決定され、前記現在瞳孔サイズは前記現在画像フレームと１つ以上の前の画像フレームの入射輝度値に基づいて決定され、
輝度調整係数に基づき前記ソース画像を変更することにより、出力画像を生成し、前記輝度調整係数は、前記現在瞳孔サイズと前記目標瞳孔サイズとの差の関数である、ビデオ配信システム。

（２）前記周囲輝度値の決定は、１つ以上の周囲光センサから前記周囲輝度値を受信すること、１つ以上のスマート照明装置から前記周囲輝度値を受信すること、又は時刻に基づいて前記周囲輝度値を決定すること、のうちの少なくとも１つを含む、（１）に記載のビデオ配信システム。

（３）前記入射輝度値の決定は、前記平均輝度値及び前記周囲輝度値に余弦３次関数を適用して、平均適応状態を得ることを含む、（１）～（２）のいずれか一項に記載のビデオ配信システム。

（４）前記平均適応状態に基づいて、前記現在瞳孔サイズ及び前記目標瞳孔サイズが調整される、（３）に記載のビデオ配信システム。

（５）前記コサインキューブ関数は、４５°の範囲にわたる前記コサインキューブ関数の積分が１となるようにスケーリングされる、（３）に記載のビデオ配信システム。

（６）前記出力画像は、前記ソース画像の平均輝度値に対応するメタデータを含む、（１）～（５）のいずれか一項に記載のビデオ配信システム。

（７）前記輝度調整係数は、前記現在瞳孔サイズと前記目標瞳孔サイズとの差が負である場合に負であり、前記輝度調整係数は、前記現在瞳孔サイズと前記目標瞳孔サイズとの差が正である場合に正である、（１）～（６）に記載のビデオ配信システム。

（８）前記出力画像は、無限の適応時間が与えられた場合の前記現在画像フレームと前記次画像フレームとの間の瞳孔サイズの所望の変化を示すメタデータを含む、（１）～（７）のいずれか一項に記載のビデオ配信システム。

（９）前記輝度調整係数は、推定された不快値に基づき、前記推定された不快値は、前記現在瞳孔サイズと前記目標瞳孔サイズとの間の差に基づく、（１）～（８）のいずれか一項に記載のビデオ配信システム。

（１０）前記入射輝度値は、前記ビデオデータのビューアの瞳孔上の光の推定値である、（１）～（９）のいずれか一項に記載のビデオ配信システム。

（１１）ビューアの適応状態に基づく輝度調整のための方法であって、
現在画像フレームの平均輝度値に対応するメタデータを含む前記現在画像フレームを含むソース画像を受信するステップであって、前記ソース画像は、次画像フレームの平均輝度値に対応するメタデータを含む前記次画像フレームを含む、ステップと、
周囲輝度に基づいて周囲輝度値を決定するステップと、
前記現在画像フレームと前記次画像フレームについて、前記周囲輝度値と前記平均輝度値に基づいて入射輝度値を決定するステップと、
現在瞳孔サイズと目標瞳孔サイズの間の差を決定するステップであって、前記目標瞳孔サイズは前記次画像フレームの前記入射輝度値に基づいて決定され、前記現在瞳孔サイズは前記現在画像フレームと１つ以上の前の画像フレームの入射輝度値に基づいて決定される、ステップと、
輝度調整係数に基づき前記ソース画像を変更することにより、出力画像を生成するステップであって、前記輝度調整係数は、前記現在瞳孔サイズと前記目標瞳孔サイズとの差の関数である、ステップと、
を含む方法。

（１２）前記周囲輝度値の決定は、１１つ以上の周囲光センサから前記周囲輝度値を受信すること、１つ以上のスマート照明装置から前記周囲輝度値を受信すること、又は時刻に基づいて前記周囲輝度値を決定すること、のうちの少なくとも１つを含む、（１１）に記載の方法。

（１３）前記入射輝度値の決定は、前記平均輝度値及び前記周囲輝度値に余弦３次関数を適用して、平均適応状態を得ることを含む、（１１）～（１２）のいずれか一項に記載の方法。

（１４）前記平均適応状態に基づいて、前記現在瞳孔サイズ及び前記目標瞳孔サイズが調整される、（１３）に記載の方法。

（１５）前記コサインキューブ関数は、４５°の範囲にわたる前記コサインキューブ関数の積分が１となるようにスケーリングされる、（１３）に記載の方法。

（１６）前記出力画像は、前記ソース画像の平均輝度値に対応するメタデータを含む、（１１）～（１５）のいずれか一項に記載の方法。

（１７）前記輝度調整係数は、前記現在瞳孔サイズと前記目標瞳孔サイズとの差が負である場合に負であり、前記輝度調整係数は、前記現在瞳孔サイズと前記目標瞳孔サイズとの差が正である場合に正である、（１１）～（１６）に記載の方法。

（１８）前記出力画像は、無限の適応時間が与えられた場合の前記現在画像フレームと前記次画像フレームとの間の瞳孔サイズの所望の変化を示すメタデータを含む、（１１）～（１７）のいずれか一項に記載の方法。

（１９）前記輝度調整係数は、推定された不快値に基づき、前記推定された不快値は、前記現在瞳孔サイズと前記目標瞳孔サイズとの間の差に基づく、（１１）～（１８）のいずれか一項に記載の方法。

（２０）命令を格納している非一時的コンピュータ可読媒体であって、前記命令は、電子プロセッサにより実行されると、前記電子プロセッサに（１１）～（１９）のいずれか一項に記載の方法を含む動作を実行させる、非一時的コンピュータ可読媒体。

（２１）ビューアの適応状態に基づく輝度調整のためのビデオ配信システムであって、
受信した符号化ビットストリームを復号するプロセッサを含み、前記プロセッサは、
現在画像フレームと、次画像フレームと、瞳孔サイズの予想される変化に対応するメタデータと、を含む入力画像を受信し、
前記現在画像フレームと前記次画像フレームについて、目標輝度値を決定し、
周囲輝度に基づき周囲輝度値を決定し、
前記現在画像フレームと前記次画像フレームについて、前記周囲輝度値と前記目標輝度値に基づいて入射輝度値を決定し、
前記画像を提供するよう構成される装置の特性に基づき、トーンマッピング曲線を選択し、
現在瞳孔サイズと目標瞳孔サイズの間の差を決定し、前記目標瞳孔サイズは前記次画像フレームの前記入射輝度に基づいて決定され、前記現在瞳孔サイズは前記現在画像フレームと１つ以上の前の画像フレームの入射輝度に基づいて決定され、
前記瞳孔サイズの予想される変化、及び前記現在瞳孔サイズと前記目標瞳孔サイズとの差に基づき、前記トーンマッピング曲線を変更し、
前記入力画像に前記変更したトーンマッピング曲線を適用して、出力画像を生成する、ビデオ配信システム。

（２２）前記変更したトーンマッピング曲線は、前記現在瞳孔サイズと前記目標瞳孔サイズとの差が負である場合に負であり、前記変更したトーンマッピング曲線は、前記現在瞳孔サイズと前記目標瞳孔サイズとの差が正である場合に正である、（２１）に記載のビデオ配信システム。

（２３）前記トーンマッピング曲線の決定は、前記現在画像フレームの前記目標輝度値をルックアップテーブルと比較して、入力トーン曲線パラメータを得ることを含む、（２１）～（２２）のいずれか一項に記載のビデオ配信システム。

（２４）前記トーンマッピング曲線の決定は、前記現在画像フレームの前記目標輝度値と前記入力トーン曲線パラメータとの交点を決定することを含む、（２３）に記載のビデオ配信システム。

（２５）前記プロセッサは、前記変更されたトーンマッピング曲線の最小値及び最大値をユーザ入力によって受信するように更に構成される、（２１）～（２４）のいずれか一項に記載のビデオ配信システム。

（２６）前記周囲輝度値の決定は、１つ以上の周囲光センサから前記周囲輝度値を受信すること、１つ以上のスマート照明装置から前記周囲輝度値を受信すること、又は時刻に基づいて前記周囲輝度値を決定すること、のうちの少なくとも１つを含む、（２１）～（２５）のいずれか一項に記載のビデオ配信システム。

（２７）現在瞳孔サイズと目標瞳孔サイズとの間の差を決定することは、更に、早送りイベントが開始されることを検出するとサンプリングレートを調整することを含む、（２１）～（２６）のいずれか一項に記載のビデオ配信システム。

（２８）前記変更されたトーンマッピング曲線を前記入力画像に適用することにより、前記入力画像の目標輝度値を増加させる、（２１）～（２７）のいずれか一項に記載のビデオ配信システム。

（２９）前記変更されたトーンマッピング曲線を前記入力画像に適用することにより、前記入力画像の目標輝度値を減少させる、（２１）～（２８）のいずれか一項に記載のビデオ配信システム。

（３０）前記トーンマッピング曲線の最大値及び最小値が、ユーザ選好設定に基づいて調整される、（２１）～（２９）のいずれか一項に記載のビデオ配信システム。

（３１）ビューアの適応状態に基づく輝度調整のための方法であって、
現在画像フレームと、次画像フレームと、瞳孔サイズの予想される変化に対応するメタデータと、を含む入力画像を受信するステップと、
前記現在画像フレームと前記次画像フレームについて、目標輝度値を決定するステップと、
周囲輝度に基づき周囲輝度値を決定するステップと、
前記現在画像フレームと前記次画像フレームについて、前記周囲輝度値と前記目標輝度値に基づいて入射輝度値を決定するステップと、
前記画像を提供するよう構成される装置の特性に基づき、トーンマッピング曲線を選択するステップと、
現在瞳孔サイズと目標瞳孔サイズの間の差を決定するステップであって、前記目標瞳孔サイズは前記次画像フレームの前記入射輝度に基づいて決定され、前記現在瞳孔サイズは前記現在画像フレームと１つ以上の前の画像フレームの入射輝度に基づいて決定される、ステップと、
前記瞳孔サイズの予想される変化、及び前記現在瞳孔サイズと前記目標瞳孔サイズとの差に基づき、前記トーンマッピング曲線を変更するステップと、
前記入力画像に前記変更したトーンマッピング曲線を適用して、出力画像を生成するステップと、
を含む方法。

（３２）前記変更したトーンマッピング曲線は、前記現在瞳孔サイズと前記目標瞳孔サイズとの差が負である場合に負であり、前記変更したトーンマッピング曲線は、前記現在瞳孔サイズと前記目標瞳孔サイズとの差が正である場合に正である、（３１）に記載の方法。

（３３）前記トーンマッピング曲線の決定は、前記現在画像フレームの前記目標輝度値をルックアップテーブルと比較して、入力トーン曲線パラメータを得ることを含む、（３１）～（３２）のいずれか一項に記載の方法。

（３４）前記トーンマッピング曲線の決定は、前記現在画像フレームの前記目標輝度値と前記入力トーン曲線パラメータとの交点を決定することを含む、（３３）に記載の方法。

（３５）前記変更されたトーンマッピング曲線の最小値及び最大値をユーザ入力によって受信するステップ、を更に含む（３１）～（３４）のいずれか一項に記載の方法。

（３６）前記周囲輝度値の決定は、１つ以上の周囲光センサから前記周囲輝度値を受信すること、１つ以上のスマート照明装置から前記周囲輝度値を受信すること、又は時刻に基づいて前記周囲輝度値を決定すること、のうちの少なくとも１つを含む、（３１）～（３５）のいずれか一項に記載の方法。

（３７）現在瞳孔サイズと目標瞳孔サイズとの間の差を決定することは、更に、早送りイベントが開始されることを検出するとサンプリングレートを調整することを含む、（３１）～（３６）のいずれか一項に記載の方法。

（３８）前記変更されたトーンマッピング曲線を前記入力画像に適用することにより、前記入力画像の目標輝度値を増加させる、（３１）～（３７）のいずれか一項に記載の方法。

（３９）前記トーンマッピング曲線の最大値及び最小値が、ユーザ選好設定に基づいて調整される、（３１）～（３８）のいずれか一項に記載の方法。

（４０）命令を格納している非一時的コンピュータ可読媒体であって、前記命令は、電子プロセッサにより実行されると、前記電子プロセッサに（３１）～（３９）のいずれか一項に記載の方法を含む動作を実行させる、非一時的コンピュータ可読媒体。

処理、システム、方法、ヒューリスティック、等に関して本願明細書に説明されたが、理解されるべきことに、このような処理等のステップは、特定の順序付きシーケンスに従い生じるとして説明されたが、このような処理は、本願明細書に記載された順序と異なる順序で実行される記載されたステップと共に実施され得る。特定のステップは同時に実行され得ること、他のステップが追加され得ること、又は本願明細書に記載された特定のステップが省略され得ることが、更に理解されるべきである。言い換えると、本願明細書における処理の説明は、特定の実施形態を説明する目的で提供され、請求項を限定するものとして考えられるべきではない。

従って、上記の説明は、説明を意図しており、限定的ではないことが理解されるべきである。上記の説明を読むと、提供された例以外の多くの実施例と適用が明らかになる。範囲は、上述の説明を参照せずに、しかし代わりに添付の請求の範囲を参照して、権利の与えられた該請求の範囲の均等な全範囲とともに、決定されるべきである。ここで議論されている技術に将来の発展が起こり、開示されたシステムと方法がそのような将来の実施形態に組み込まれることが予想され、意図されている。要約すると、本願は変更や変更が可能であることを理解すべきである。

特許請求の範囲で使用されているすべての用語は、ここに記載されている技術に精通している者に理解されるように、それらの最も広範で合理的な構成と通常の意味を与えることを意図している。特に、「a」、「the」、「said」などの単数冠詞の使用は、請求項が明示的に反対の制限を述べていない限り、示された要素の１つ以上を述べるために読むべきである。

本開示の要約は、読者が技術的開示の特性を素早く評価することを可能にするために提供される。それは、請求項の範囲又は意味を解釈し又は限定するために使用されるものではないことが理解される。更に、前述の詳細な説明では、本開示を合理化する目的で、種々の特徴が種々の実施形態に一緒にグループ化されることが分かる。本開示のこの方法は、請求される実施形態が各請求項に明示的に記載されたものより多くの特徴を組み込むという意図を反映するものと解釈されるべきではない。むしろ、以下の請求項が反映するように、本発明の主題は、単一の開示された実施形態の全部よりも少ない特徴にある。従って、以下の請求の範囲は、ここで詳細な説明に組み込まれ、各請求項は別個に請求される主題としてそれ自体独立である。

Claims (17)

1. ビューアの適応状態に基づく輝度調整のためのビデオ配信システムであって、
   ビデオデータのポストプロダクション編集を行うプロセッサを含み、前記プロセッサは、
   現在画像フレームの平均輝度値に対応するメタデータを含む前記現在画像フレームを含むソース画像を受信し、前記ソース画像は、次画像フレームの平均輝度値に対応するメタデータを含む前記次画像フレームを含み、
   周囲輝度に基づいて周囲輝度値を決定し、
   前記現在画像フレームと前記次画像フレームについて、前記周囲輝度値と前記平均輝度値に基づいて入射輝度値を決定し、
   入射輝度の関数として瞳孔サイズを推定するモデルを用いて、現在瞳孔サイズと目標瞳孔サイズを決定し、前記目標瞳孔サイズは前記次画像フレームの前記入射輝度値に基づいて決定され、前記現在瞳孔サイズは前記現在画像フレームと１つ以上の前の画像フレームの入射輝度値に基づいて決定され、
   前記現在瞳孔サイズと前記目標瞳孔サイズとの差を決定し、
   前記現在画像フレームと前記次画像フレームとの間の瞳孔サイズの予想される変化を示すメタデータを前記ソース画像に含めることにより、出力画像を生成し、瞳孔サイズの予想される変化を示す前記メタデータは、前記現在瞳孔サイズと前記目標瞳孔サイズとの差の関数として決定される、ビデオ配信システム。
2. 前記周囲輝度値の決定は、１つ以上の周囲光センサから前記周囲輝度値を受信すること、１つ以上のスマート照明装置から前記周囲輝度値を受信すること、又は時刻に基づいて前記周囲輝度値を決定すること、のうちの少なくとも１つを含む、請求項１に記載のビデオ配信システム。
3. 前記入射輝度値の決定は、前記平均輝度値及び前記周囲輝度値に余弦３次関数を適用して、平均適応状態を得ることを含む、請求項１～２のいずれか一項に記載のビデオ配信システム。
4. 前記平均適応状態に基づいて、前記現在瞳孔サイズ及び前記目標瞳孔サイズが調整される、請求項３に記載のビデオ配信システム。
5. 前記余弦３次関数は、４５°範囲にわたる前記余弦３次関数の積分が１となるようにスケーリングされる、請求項３に記載のビデオ配信システム。
6. 前記輝度調整の係数は、推定された不快値に基づき、前記推定された不快値は、前記現在瞳孔サイズと前記目標瞳孔サイズとの間の差に基づく、請求項１～５のいずれか一項に記載のビデオ配信システム。
7. ビューアの適応状態に基づく輝度調整のためのビデオ配信システムであって、
   受信した符号化ビットストリームを復号するプロセッサを含み、前記プロセッサは、
   現在画像フレームと、次画像フレームと、前記現在画像フレームと前記次画像フレームとの間の瞳孔サイズの予想される変化を示すメタデータと、を含む入力画像を受信し、
   前記現在画像フレームと前記次画像フレームについて、目標輝度値を決定し、
   周囲輝度に基づき周囲輝度値を決定し、
   前記現在画像フレームと前記次画像フレームについて、前記周囲輝度値と前記目標輝度値に基づいて入射輝度値を決定し、
   画像を提供するよう構成される装置の特性に基づき、トーンマッピング曲線を選択し、
   入射輝度の関数として瞳孔サイズを推定するモデルを用いて、現在瞳孔サイズと目標瞳孔サイズを決定し、前記目標瞳孔サイズは前記次画像フレームの前記入射輝度に基づいて決定され、前記現在瞳孔サイズは前記現在画像フレームと１つ以上の前の画像フレームの入射輝度に基づいて決定され、
   前記現在瞳孔サイズと前記目標瞳孔サイズとの差を決定し、
   前記瞳孔サイズの予想される変化、及び前記現在瞳孔サイズと前記目標瞳孔サイズとの差に基づき、前記トーンマッピング曲線を変更し、
   前記入力画像に前記変更したトーンマッピング曲線を適用して、出力画像を生成する、ビデオ配信システム。
8. 前記変更したトーンマッピング曲線は、前記現在瞳孔サイズと前記目標瞳孔サイズとの差が負である場合に負であり、前記変更したトーンマッピング曲線は、前記現在瞳孔サイズと前記目標瞳孔サイズとの差が正である場合に正である、請求項７に記載のビデオ配信システム。
9. 前記トーンマッピング曲線の決定は、前記現在画像フレームの前記目標輝度値をルックアップテーブルと比較して、入力トーン曲線パラメータを得ることを含む、請求項７～８のいずれか一項に記載のビデオ配信システム。
10. 前記トーンマッピング曲線の決定は、前記現在画像フレームの前記目標輝度値と前記入力トーン曲線パラメータとの交点を決定することを含む、請求項９に記載のビデオ配信システム。
11. 前記プロセッサは、前記変更されたトーンマッピング曲線の最小値及び最大値をユーザ入力によって受信するように更に構成される、請求項７～１０のいずれか一項に記載のビデオ配信システム。
12. 前記周囲輝度値の決定は、１つ以上の周囲光センサから前記周囲輝度値を受信すること、１つ以上のスマート照明装置から前記周囲輝度値を受信すること、又は時刻に基づいて前記周囲輝度値を決定すること、のうちの少なくとも１つを含む、請求項７～１１のいずれか一項に記載のビデオ配信システム。
13. 現在瞳孔サイズと目標瞳孔サイズとの間の差を決定することは、更に、早送りイベントが開始されることを検出するとサンプリングレートを調整することを含む、請求項７～１２のいずれか一項に記載のビデオ配信システム。
14. 前記トーンマッピング曲線の最大値及び最小値が、ユーザ選好設定に基づいて調整される、請求項７～１３のいずれか一項に記載のビデオ配信システム。
15. ビューアの適応状態に基づく輝度調整のための方法であって、
    現在画像フレームの平均輝度値に対応するメタデータを含む前記現在画像フレームを含むソース画像を受信するステップであって、前記ソース画像は、次画像フレームの平均輝度値に対応するメタデータを含む前記次画像フレームを含む、ステップと、
    周囲輝度に基づいて周囲輝度値を決定するステップと、
    前記現在画像フレームと前記次画像フレームについて、前記周囲輝度値と前記平均輝度値に基づいて入射輝度値を決定するステップと、
    入射輝度の関数として瞳孔サイズを推定するモデルを用いて、現在瞳孔サイズと目標瞳孔サイズを決定するステップであって、前記目標瞳孔サイズは前記次画像フレームの前記入射輝度値に基づいて決定され、前記現在瞳孔サイズは前記現在画像フレームと１つ以上の前の画像フレームの入射輝度値に基づいて決定される、ステップと、
    前記現在瞳孔サイズと前記目標瞳孔サイズとの差を決定するステップと、
    前記現在画像フレームと前記次画像フレームとの間の瞳孔サイズの予想される変化を示すメタデータを前記ソース画像に含めることにより、出力画像を生成するステップであって、瞳孔サイズの予想される変化を示す前記メタデータは、前記現在瞳孔サイズと前記目標瞳孔サイズとの差の関数として決定される、ステップと、
    を含む方法。
16. ビューアの適応状態に基づく輝度調整のための方法であって、
    現在画像フレームと、次画像フレームと、前記現在画像フレームと前記次画像フレームとの間の瞳孔サイズの予想される変化を示すメタデータと、を含む入力画像を受信するステップと、
    前記現在画像フレームと前記次画像フレームについて、目標輝度値を決定するステップと、
    周囲輝度に基づき周囲輝度値を決定するステップと、
    前記現在画像フレームと前記次画像フレームについて、前記周囲輝度値と前記目標輝度値に基づいて入射輝度値を決定するステップと、
    画像を提供するように構成される装置の特性に基づいて、トーンマッピング曲線を選択するステップと、
    入射輝度の関数として瞳孔サイズを推定するモデルを用いて、現在瞳孔サイズと目標瞳孔サイズを決定するステップであって、前記目標瞳孔サイズは前記次画像フレームの前記入射輝度に基づいて決定され、前記現在瞳孔サイズは前記現在画像フレームと１つ以上の前の画像フレームの入射輝度に基づいて決定される、ステップと、
    前記瞳孔サイズの予想される変化、及び前記現在瞳孔サイズと前記目標瞳孔サイズとの差に基づき、前記トーンマッピング曲線を変更するステップと、
    前記入力画像に前記変更したトーンマッピング曲線を適用して、出力画像を生成するステップと、
    を含む方法。
17. 命令を格納している非一時的コンピュータ可読媒体であって、前記命令は、電子プロセッサにより実行されると、前記電子プロセッサに請求項１５又は１６に記載の方法を含む動作を実行させる、非一時的コンピュータ可読媒体。

Images