JP6698081B2 - 符号化のための方法、ビデオプロセッサ、復号のための方法、ビデオ復号器 - Google Patents

Description

本発明は、ビデオ画像、具体的には高ダイナミックレンジ画像を符号化すること、所要の符号化画像情報を受信側に伝えるための対応する技術的なシステム及び方法、並びに符号化画像を復号し、且つ最終的にそれらを表示できるようにするための復号器に関する。

古典的な画像／ビデオ技術（ＮＴＳＣ及びＰＡＬ等のアナログシステムから始まり、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４等のデジタルビデオコーデックへと続く）は、今日我々が低ダイナミックレンジ（ＬＤＲ：Low Dynamic Range）符号化又は標準ダイナミックレンジ（ＳＤＲ：Standard Dynamic Range）符号化と呼ぶものを利用する。消費者により印象的な経験を与えるために、ビデオ技術における次のステップは、ビデオ信号のダイナミックレンジ及びピーク輝度を向上させることでなければならないことが今や広く認識されている。幾つかの単一企業又は企業群から研究開発が始まり、ＨＤＲシーンの所謂高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）画像を扱うことができる次世代のビデオコーデックに達した。これらの開発は、ＬＤＲ信号が実際のシーンのダイナミックレンジを捕捉することができず、人間の視覚系が見ることができるダイナミックレンジを表現することができず、従ってシーン内の完全な感動的経験を消費者に伝えることができないという考えにその基礎を見出す。多くの場合、ＨＤＲは超高精細（ＵＨＤ：Ultra High Definition）、即ち３８４０×２１６０画素（「４ｋ」）のディスプレイ解像度を有するテレビに必要な特徴と見なされるが、ＨＤＲは、例えばＨＤ解像度のビデオと組み合わせてそれ自体で人を納得させる特徴としても見なされる。

ＨＤＲ画像を捕捉することは、少なくとも１１ストップ（絞り）を上回る、好ましくは１６ストップを上回る増加したダイナミックレンジを捕捉できるカメラを必要とする。例えばARRI、RED及びSonyの現在のカメラは約１４ストップを実現している。一部のＨＤＲカメラは低速及び高速の露光を使用し、それらを単一のＨＤＲ画像内で組み合わせ、他のカメラは、感度が異なる２つ以上のセンサに対するビームスプリッティングを使用する。

古典的な撮像では多くの情報（例えば部屋又は車からの景色）が破棄（ハードクリップ）されていたのに対し、現在の撮像システムはそれらの情報を全て捕捉することができ、問題はそれらの情報をどうするかということである。更に、現在典型的である３５０ニット（又はグレーディングリファレンスモニタの１００ニット）よりも高いピーク輝度を有する、より高ダイナミックレンジのディスプレイが登場している。今では１０００ニット前後のピーク輝度を有するテレビが消費者市場に参入しており、SIM2は、５０００ニットのプロフェッショナルモニタをそれらのポートフォリオ内に有する。

高輝度レベル及び画像の暗い部分と画像の明るい部分との間の非常に高いコントラストを与えることができるディスプレイユニットが現在開発されている。かかるディスプレイの機能を完全に活用するために、例えばより高い輝度及びＨＤＲコントラストレンジを考慮に入れる適合ビデオ情報を提供することにより、ビデオ情報を向上させることができる。ＨＤＲと区別するために、本明細書では従来のビデオ情報が低ダイナミックレンジ［ＬＤＲ］ビデオと呼ばれる。そのため、改善されたコントラストを得るために、ＬＤＲビデオ情報がＨＤＲディスプレイモードでＨＤＲディスプレイユニット上に表示され得る。しかし、ビデオ情報自体が、例えば視覚的なバンディングを回避しながらより優れた視覚効果を得るために又は明領域若しくは暗領域内のテクスチャの視認性を改善するために向上したダイナミックレンジを活用する、ＨＤＲビデオフォーマットで生成される場合、より魅力的な画像が実現される。画像データの精度を向上させることに加え、例えば爆発を強調し且つ／又は明るい若しくは暗いシーン／領域内の視認性を改善することにより、映画監督は経験を局所的に向上させることができる。

標準を策定する組織は、画質を決定する様々なビデオフォーマットパラメータを再考している。それらの１つがダイナミックレンジである。ダイナミックレンジは、ディスプレイのピーク輝度が高まるにつれてより重要になる。殆どのビデオコンテンツは依然として１００ニット（ｃｄ／ｍ２）ディスプレイにグレーディングされているが、最近の市販ディスプレイの輝度は、通常、既にはるかに高い（典型的には３５０ニット前後であるが、例えば６００ニット〜８００ニットまで上がっている）。約４０００ニットの輝度を有するプロフェッショナルディスプレイが既に入手可能である。これらのディスプレイは、はるかに真に迫った視聴体験をもたらすことができる。

要約すれば、ＨＤＲ画像が一層重要になってきている。ＨＤＲ画像は、シーン内の様々な捕捉対象の色彩テクスチャを高品質に符号化するのに十分な情報と共に、ＨＤＲシーン（典型的には非常に明るい領域と非常に暗い領域との両方を含み得る）のテクスチャを符号化する画像とすることができ、それにより、例えば５０００ニット等の高いピーク輝度を有するＨＤＲディスプレイ上で視覚的に良質なＨＤＲシーンのレンダリングが行われ得る。典型的なＨＤＲ画像は、平均照度と比べて色鮮やかな部分又は強く照らされる部分を含む。とりわけ、夜のシーンでＨＤＲが一層重要になってくる。

太陽及び空が各点を同じく照らす日中のシーンとは対照的に、夜は二次的に低減する態様でシーンを照らす少しの光源のみが存在する場合がある。かかる光源は、光源の周りに明領域を作り出し、遠く離れた角に暗領域を作り出す。一部の部分は、ほぼどこからも光を得ず、その部分を非常に暗くする。即ち夜のシーンでは、ランプ自体の１０，０００ニットを上回る領域輝度を有する部分（又はリニアカメラ画素輝度によって捕捉される場合）と、暗領域では１ニットの僅か、例えば０．００１ニットの領域輝度を有する部分とが同時にある場合があり、全ダイナミックレンジを１０００万対１にする。これは最も明るい画素に対する最も暗い画素の理論上のレンジであり、数個の小さいランプ及び小さい模様を正確に表現する必要がない場合があるため、当然ながら有用なダイナミックレンジは更に低いことができるが、典型的なＨＤＲシーンでは、通常の関心物体の有用なダイナミックレンジでさえ１０，０００：１（又は１４ストップ）を優に上回り得る。それを２０００ニットのピーク輝度のディスプレイにマップすることは、「理論上は」（ピーク白に関連するレンダリングがシーンレンダリングの表示品位に十分であると仮定して）例えば０．２ニットの最小限の（可視）黒を有すべきことを意味する。

ＨＤＲビデオ（更には静止画）の符号化は最近になってようやく研究されるようになった。典型的な考えは、シーンの被写体のＬＤＲレンジを上回る輝度を符号化するために（例えばシーンの輝度を直接符号化する符号化）著しく多くのビットに向けて動く必要があること、又は例えば被写体の反射画像に加えて輝度ブースト画像がある何らかの二層の手法、若しくは同様の分解方策が必要であることである。二層のＨＤＲ符号化手法は、例えば米国特許第８２４８４８６Ｂ１号及び国際公開第２００５／１０４００３５号に公開されている。

より単純な単一画像手法が、国際公開第２０１１／１０７９０５号及び国際公開第２０１２／１５３２２４号に開示されている。この手法はパラメトリック符号化に基づく。基準値におけるピーク輝度、例えば１５００ニットで表示するのに適した単一のＨＤＲ画像を単純に符号化することに加え、この手法は、世間の他のピーク輝度及びダイナミックレンジを有するディスプレイにも対処する。例えば５００又は１００ニットのディスプレイもあるため、符号化された高ダイナミックレンジ画像を何らかの妥当な画像に自動変換によって変更する態様を受信側に盲目的に委ねるのではなく、符号化されたＨＤＲ画像から開始してディスプレイの特定の特性に適した画像にどのように到達するかの色処理関数が一緒に符号化される。このプロセスは、コンテンツ制作者が賛同し得る、その特定のディスプレイについて最適化された画像をもたらす。

「高ダイナミックレンジ」（ＨＤＲ）画像とは、１）旧来のＬＤＲ符号化に比べて高い輝度対比（即ち１０．０００：１以上のコントラスト比）、及び２）５００ニット、７００ニット、又は典型的には１０００ニット以上の被写体輝度を有する、捕捉側から捕捉される画像を概して意味する。ＨＤＲ符号化体系は、この幅広いコントラスト比及び高い被写体輝度を符号化できなければならない。ＨＤＲ再現システムは、例えば点灯されたランプ又は快晴の屋外風景の何らかの所望の見た目を生成するために、典型的には１０００ニットを上回るハイライトを再現する。

ＨＤＲ画像はディスプレイ上に表示される。現在の市販のディスプレイでも既にそうであるように、将来のＨＤＲディスプレイも技術、設計上の選択、経費検討、市場要素等に応じて様々なピーク輝度レベルを有することになる。ディスプレイによって受信されるビデオ信号は、ビデオ信号が提示されるディスプレイの特性に一致しない場合がある特定のリファレンスディスプレイに通常グレーディングされる。ＨＤＲ信号を受信するディスプレイは、ピーク輝度レベルを含むそれ自体の特性にマッチするようにビデオ信号を適合させようと試みる。受信側／ディスプレイがビデオ信号の特性及び／又は適用されたグレーディングに関する知識を有さない場合、結果として生じるピクチャは芸術的意図に沿わない場合があり、又は単純に見栄えが悪い可能性がある。従って、信号が表示されるディスプレイのピーク輝度レベル及び他の特性について画質を最適化するための処理情報を提供するために、ダイナミックレンジ適合パラメータ／命令がビデオと共に含まれ得、好ましくは含まれ、又は他にディスプレイに伝えられ得る。適合パラメータは、全ピクチャ領域に作用することができ、又は特定のピクチャ領域に制約され得る。

或いは、ＨＤＲディスプレイは、例えば入力信号の特性を知っている場合、例えば、ある標準が使用されている場合、それ自体で入力ＨＤＲ信号を適合させることができる。

従って、何れの方法によっても、ディスプレイは、入力される例えばＨＤＲ信号を適合させる。単純にするために、ここでは、ＨＤＲ信号が言及されているが、入力信号はＨＤＲモードで表示されるＬＤＲ信号であり得る（このＬＤＲ信号は、それ自体ＬＤＲディスプレイ上で直接表示するのに適しているが、一緒に符号化される関数によってＨＤＲ画像に関数的にマップされ得る所要の全ての画素色データを含むため、暗にＨＤＲ画像の見栄えの符号化であり得ることに留意されたい）。より詳細には、ディスプレイは表示前にその特性（例えばピーク輝度や黒レベル）に合わせて調節するために入力信号に対してダイナミックレンジ適合を行う。

ディスプレイは、例えばディスプレイの黒レベル及びピーク輝度レベル等、ディスプレイの機能に最も良く（又は少なくともより良く、若しくは少なくとも意図される程度に）適合するＨＤＲデータの組に入力ＨＤＲ（又はＬＤＲ）データをマップするマッピング関数を適用する。ディスプレイ上に画像を表示するために、そのように適合されるＨＤＲデータが使用される。

マッピングは、表示画像のダイナミックレンジが原画像のダイナミックレンジよりも大きい画像のアップグレーディング、並びにダイナミックレンジが原画像のダイナミックレンジよりも小さい画像のダウングレーディングであり得る。

ダイナミックレンジ適合（以下「ブースト」と呼ばれることもあるが、ダウングレーディングが行われる場合、その画像はダイナミックレンジに関して増加ではなく減少される）の効果は、非常に明るい被写体について最も顕著であることが多い。

ビデオ信号は、放送経由、インターネット経由、又はパッケージ化されたメディア経由を含む様々な態様で自宅に提供され得る。ビデオ信号は、例えばセットトップボックス（ＳＴＢ：set top box）によって、又は別のビデオ処理システムによって圧縮ストリームとして受信され得る。

セットトップボックスはビデオを復号し、その後、それをベースバンドビデオとしてテレビ受像機に送信する。別の実施例では、符号化ビデオが記憶媒体、例えばＤＶＤ／Blu-ray（登録商標）ディスク又はフラッシュドライブ上に記憶される。その場合、再生装置（メディアプレーヤＭＰ）がコンテンツを媒体から読み取り、圧縮ビデオを復号し、それをテレビ受像機に送信する。何れの場合も別個のボックス（ＶＰＳ、ビデオ処理システム）が標準インタフェース（例えばＨＤＭＩ（登録商標）、ディスプレイポート、無線ビデオインタフェース）を介してＴＶに接続される。

典型的には、セットトップボックス（ＳＴＢ）及びメディアプレーヤ（ＭＰ：medial player）は復号されたビデオを単純に通さず、何らかの時点でビデオを１つ又は複数のグラフィックス層とマージする。例えばBlu-ray（登録商標）ディスク（ＢＤ：Blu-ray（登録商標） disk）の場合、字幕用のプレゼンテーショングラフィックス（ＰＧ：Presentation Graphics）、及び例えばメニューオーバレイ用のjavaエンジン（ＢＤ−Ｊ）のグラフィックスプレーンという２つのオーバレイ層があることが多い。それらのグラフィックスプレーン上に、プレーヤのユーザインタフェース用の追加のプレーンがあり得る。

鮮明且つ現実感のあるビデオ画像を実現するために、ＨＤＲ用の既存のビデオシステムを拡張しながら、高度な表示装置で使用可能な高コントラスト比が使用される。しかし、かかるＨＤＲディスプレイモード内でグラフィックスをオーバレイするときに幾つかの問題が起こり得ることが分かっている。例えば、ＨＤＲビデオ上の（半透明）グラフィックスオーバレイで起こり得る１つの問題は、ＨＤＲビデオ内の一部のシーンがひときわ明るくなり得ることである。これは、同時に表示される字幕又はメニュー等のグラフィックスの可読性を大幅に下げる。起こり得るもう１つの問題は、読者にとって邪魔であり又は疲れるほど字幕内の文字が明るくなり得ることである。更に、極度に明るい字幕又はメニューはハロー効果又は眩しさを引き起こし、ビデオの知覚品質を劣化させ得る。

ダイナミックレンジが（ＬＤＲ又は低ＨＤＲから高ＨＤＲレンジに）高められるとき、並びに（ＨＤＲから低ダイナミックレンジＨＤＲ又はＬＤＲに）下げられるときの両方で問題が起こり得る。ダイナミックレンジ適合は、ビデオと共に送信されるパラメータに基づくことができ、ＴＶ内の画像の解析に基づくことができ、ビデオ信号と共に送信される情報に基づくことができ、又は他の任意の方法に基づくことができる。ダイナミックレンジ適合は、グラフィックスオーバレイを含む領域に対してではなく、基礎を成すビデオに適用される。ダイナミックレンジ適合は、特定の場合（例えばシーンが変わるとき）に変わり得る一方、字幕又はメニューのオーバレイはその変更中も固定され得る。これは、例えばシーンの境界でグラフィックスの見た目が不所望に変化することを招き得る。

米国特許出願公開第２０１４０１２５６９６号では、ディスプレイモードに応じてオーバレイが調節される解決策が説明されている。オーバレイをビデオ信号（ＬＤＲ信号又はＨＤＲ信号とすることができる）とマージする前に（又はマージする間）、ディスプレイモードに応じてオーバレイが適合される（又はマージが適合される）。

しかし、かかる形態はディスプレイモードのための、及びＨＤＲ処理命令のための入力を必要とする。更に、ディスプレイは異なり、全て独自の特性を有する。従って、同じディスプレイモードについてのオーバレイの同じ適合が別のディスプレイ上では同じ結果を与えない場合がある。これは、ディスプレイの特性についての知識を必要とする。

従って、ビデオを適合させるための改善された手法が有利であり、とりわけ柔軟性の増大、ダイナミックレンジ適合の改善、知覚画質の改善、オーバレイ及び／若しくはビデオ画像提示の改善（とりわけダイナミックレンジを変えるとき）、並びに／又は性能の改善を可能にする手法が有利である。

従って、本発明は、好ましくは上記の不利点の１つ又は複数を単独で又は任意の組合せで軽減し、減らし、又はなくそうとするものである。

本発明の一態様によれば、複数のソース信号からマージされたＨＤＲビデオ信号を復号するための機器が提供され、この機器は、ＨＤＲビデオ信号を受信するための入力と、ある画素についてＨＤＲビデオ信号の１つ又は複数の色成分に関する少なくとも１つ又は複数の最小有効ビットを読み取り、且つ読み取った最小有効ビットから１つ又は複数の値を生成するための読取機であって、１つ又は複数の値は画素のマージ特性を示し、マージ特性はビデオ画像信号との１つ又は複数のオーバレイ信号のその画素に関するＨＤＲビデオ信号におけるマージの特性を示す、読取機と、ＨＤＲビデオ信号を適合させるためのアダプタであって、１つ又は複数の値に応じて画素値を適合させるように構成される、アダプタとを含む。

本発明は、多くの実施形態において性能の改善をもたらし得る。本発明は、多くのシステムにおいて、様々なダイナミックレンジを有するディスプレイ上に、オーバレイを含む画像及びビデオシーケンスをレンダリングすることを改善し得る。

機器はビデオ復号器とすることができ、とりわけテレビ又はモニタ等のディスプレイ内に含まれ得る。アダプタは、１つ又は複数の値に応じて画素に対してダイナミックレンジ適合を行うように構成され得る。

複数のソース信号は、１つ又は複数のオーバレイ信号及びビデオ画像信号を含み得る（又はそれらで構成され得る）。ソース信号は、符号化側で単一のビデオ信号（ＨＤＲビデオ信号）へと組み合わせられるビデオ信号であり得る。

本発明の任意選択的な特徴によれば、この機器は、何れの最小有効ビットを読み取るべきか、それらの最小有効ビットをどのように１つ又は複数の値に変換するかに関する情報を含む信号用の入力を含む。

一部の実施形態では、この機器は、ＨＤＲビデオ信号内の１つ又は複数の値の符号化を示すデータを受信するように構成され、読取機は、符号化を示すデータに応じて１つ又は複数の値を決定するように構成される。

本発明の任意選択的な特徴によれば、アダプタは、ＨＤＲビデオ信号の画像画素に対してダイナミックレンジ適合を行うように構成される。

本発明の任意選択的な特徴によれば、アダプタは、ＨＤＲビデオ信号の入力ダイナミックレンジから画素の出力ダイナミックレンジへのマッピングを１つ又は複数の値に応じて適合させるように構成される。

本発明の任意選択的な特徴によれば、１つ又は複数の値は、１つ又は複数のオーバレイ信号の寄与割合に対するビデオ画像信号からの画素への寄与割合を示し、アダプタは異なる寄与割合ごとに異なるマッピングを適用するように構成される。

割合という用語は、所与のソースから生じる画素値の寄与のパーセンテージ／比率／比を示し得る。

本発明の任意選択的な特徴によれば、この機器は、ＨＤＲビデオ信号の画素に対するビデオ画像信号及び１つ又は複数のオーバレイ信号の寄与の推定に基づいてＨＤＲビデオ信号を複数の推定信号へと分割するための推定器と、適合後に複数の推定信号を再混合するためのミキサとを含み、アダプタは複数の推定信号の少なくとも１つを別々に適合させるように構成される。

寄与は、１つ又は複数の値によって示され得る。適合は、推定信号の少なくとも２つについて異なり得る。

本発明の任意選択的な特徴によれば、マージ特性はマージの種類を示す。

マージの種類は、とりわけ画素のマージが、以下：マージがビデオ画像信号からの寄与のみを含むこと、マージがオーバレイ信号からの寄与のみを含むこと、並びにマージがビデオ画像信号及び少なくとも１つのオーバレイ信号の両方からの寄与を含むことのうちの少なくとも１つを含む、あり得るマージ操作のグループからの１つであるかどうかを示すことができる。

本発明の任意選択的な特徴によれば、画素のマージ特性は、前記画素に関するビデオ画像信号及び１つ又は複数のオーバレイ信号のマージの量を示す。

マージ量は、入力ビデオ画像信号の重みに対する１つ又は複数のオーバレイ信号の少なくとも１つの重みを反映し得る。マージは加重和であり得る。

本発明の任意選択的な特徴によれば、アダプタは適合前に、ＨＤＲビデオ信号の画素値に対する１つ又は複数のオーバレイ信号及びビデオ画像信号の少なくとも一部の寄与の推定に基づき、１つ又は複数のオーバレイ信号及びビデオ画像信号の少なくとも一部を推定する複数の推定信号へとＨＤＲビデオ信号を分割するように構成され、その後、推定信号の少なくとも１つがその輝度を適合させるために色変換され、及び複数の推定信号が適合後に再混合される。

本発明の任意選択的な特徴によれば、マージ特性は第１のオーバレイコンテンツを含む画素を示すことができ、第１のオーバレイコンテンツは、局所的に生成されるグラフィックコンテンツを含むオーバレイ信号、又はマージ済みのオーバレイコンテンツを含む第２のビデオ画像信号を含むオーバレイ信号の少なくとも一方から生じる。

本発明の任意選択的な特徴によれば、アダプタは、所定の範囲内の出力輝度を有するように、マージ特性が、第１のオーバレイコンテンツを含む画素を示す領域内の画素を適合させるように構成される。

所定の範囲は、例えばディスプレイではディスプレイのダイナミックを反映する予め設定された範囲であり得る。例えば、この範囲は、例えばピーク輝度の１０％の上限と、例えばピーク輝度の１％及び１ニットのうちの大きい方の下限とを有し得る。或いは又は加えて、所定の範囲は視聴者等によって決定され得る。

本発明の一態様によれば、複数のソース信号からマージされたＨＤＲビデオ信号を復号する方法が提供され、この方法は、ＨＤＲビデオ信号を受信するステップと、ある画素についてＨＤＲビデオ信号の１つ又は複数の色成分に関する少なくとも１つ又は複数の最小有効ビットを読み取るステップと、読み取った１つ又は複数の最小有効ビットから１つ又は複数の値を生成するステップであって、１つ又は複数の値は画素のマージ特性を示し、マージ特性はビデオ画像信号との１つ又は複数のオーバレイ信号のその画素に関するＨＤＲビデオ信号におけるマージの特性を示す、ステップと、１つ又は複数の値に応じて画素値を適合させるステップとを含む。

本発明の一態様によれば、ビデオ信号を符号化するための機器が提供され、この機器は、マージ済みのビデオ信号を形成するために入力ＨＤＲビデオ画像信号を１つ又は複数のオーバレイ信号とマージするためのマージ器と、マージ済みのビデオ信号内の画素について、その画素に関するマージの特性を示すマージ特性を示す１つ又は複数の値を生成するためのプロセッサと、前記画素について、マージ済みのビデオ信号内の画素の画素値の１つ又は複数の色成分の１つ又は複数の最小有効ビット内に前記１つ又は複数の値を符号化するための符号器とを含む。

本発明の任意選択的な特徴によれば、画像特性は、前記画素のマージの種類、並びに入力ＨＤＲビデオ画像信号及び１つ又は複数のオーバレイ信号のマージの量のうちの少なくとも一方を示す。

本発明の任意選択的な特徴によれば、符号器は、マージ済みのビデオ信号に対し、１つ又は複数の最小有効ビット内への１つ又は複数の値の符号化の特性に関する情報を含む情報信号を与えるように構成される。

本発明の一態様によれば、ビデオ信号を符号化する方法が提供され、この方法は、マージ済みのビデオ信号を形成するために入力ＨＤＲビデオ画像信号を１つ又は複数のオーバレイ信号とマージするステップと、マージ済みのビデオ信号内の画素について、その画素に関するマージの特性を示すマージ特性を示す１つ又は複数の値を生成するステップと、前記画素について、マージ済みのビデオ信号内の画素の画素値の１つ又は複数の色成分の１つ又は複数の最小有効ビット内に前記１つ又は複数の値を符号化するステップとを含む。

一部の実施形態では、符号化の方法は、マージ済みのビデオ信号を形成するために１つ又は複数のオーバレイ信号をビデオ画像信号に追加するステップと、マージの種類及び／又はマージ済みのビデオ信号内の１つ若しくは複数のマージパラメータを画素ごとに示す１つ又は複数の値を生成するステップと、前記画素について、マージ済みのビデオ信号の１つ又は複数の色成分の１つ又は複数の最小有効ビット内に前記１つ又は複数の値を符号化するステップとを含む。

ビデオプロセッサは、マージ済みのビデオ信号を形成するためにビデオ画像信号及び１つ又は複数のオーバレイ、典型的にはグラフィックス信号をマージするためのマージ器と、画素のマージの種類及び／又は１つ若しくは複数のマージパラメータを示す１つ又は複数の値を生成又は受信するための、及び前記画素について、マージ済みのビデオ信号の１つ又は複数の色成分の１つ又は複数の最小有効ビット内に前記１つ又は複数の値を符号化するための画像符号器とを含む。

マージの種類を示す値は、マージ済みのビデオ信号内の画素が何れの信号から構成されるかを示す値と見なされ得る。例えば、この値は、画素が純粋なビデオであるか、純粋なオーバレイであるか、ビデオとオーバレイとの混合であるか、又は場合により何れの種類のオーバレイが混合内にあるかを示し得る。一部の実施例では、１つ又は複数のＬＳＢ内に符号化される少なくとも１つの値が画素のマージの種類を示す。多くの実施形態において、例えば純粋なビデオ画素と他の画素とを区別できるようにするために、画素のマージの種類を示すのにかかるマージの種類の情報で十分である。一部の実施例では、値の少なくとも１つがマージの種類を示す。

１つ又は複数のマージパラメータは、信号のマージ量に関する情報を与えることができ、例えばマージ済みの信号に対する個々の信号の寄与をその画素について示し得る。マージ量は、例えば混合マージ型の画素では、例えばビデオとオーバレイとの５０％−５０％の混合であるか、又はオーバレイとビデオとの２５％−７５％の混合であるか等を示す。

一部の実施例では、混合比を示すマージパラメータのみが使用され得る。例えば、第１の色成分内の３個のＬＳＢ及び別の色成分内の３個のＬＳＢという６個のＬＳＢが使用され、第１の成分内の３個のＬＳＢは混合されたビデオのパーセンテージを示し、及び他の成分内の残りの３個のＬＳＢは混合されたオーバレイの量を示す場合、これらの２つのトリプレットＬＳＢの組合せが種類及びマージ量の両方に関する情報を与える。第１の成分内の３個のＬＳＢが全てゼロの場合、画素は純粋なオーバレイであり、第２の成分内の３個のＬＳＢが全てゼロの場合、画素は純粋なビデオである。第１の成分及び第２の成分内のＬＳＢが何れもゼロでない場合、画素は混合型のもの（ビデオとオーバレイとの混合／マージ）であり、前記ＬＳＢからマージ量が読み取られ得る。

復号のための方法は、ビデオ信号を受信するステップと、色成分の１つ又は複数の最小有効ビットの１つ又は複数を読み取るステップと、前記最小有効ビットから１つ又は複数の値を生成するステップと、受信されるビデオ画像信号を表示前に適合にかけるステップであって、適合は生成される１つ又は複数の値に依存する、ステップとを含む。

ビデオ復号器は、ビデオ信号を受信するための入力と、ある画素についてビデオ信号の色成分の１つ又は複数に関する少なくとも１つ又は複数の最小有効ビットを読み取り、且つ読み取った最小有効ビットから１つ又は複数の値を生成するための読取機と、ビデオを適合させるためのアダプタであって、生成される１つ又は複数の値に応じて画素値を適合させるように構成される、アダプタとを含む。

知られている方法及びシステムでは、ディスプレイがセットトップボックス又はBlu-ray（登録商標）ディスクプレーヤ等のＶＰＳ（ビデオ処理システム）からデータを受信し、ビデオ信号はオーバレイとマージされており、（好ましくはディスプレイの機能に適合するようにブーストされるべき）ビデオ情報を字幕等のオーバレイ、又は典型的には異なるように処理されるべき元のビデオとオーバレイとの混合である信号とを区別する手段がない。セットトップボックス及びBlu-ray（登録商標）ディスクプレーヤはビデオ処理システムの例である。

多くの場合、ＶＰＳは消費者側の装置である。この手法はかかる自宅装置に限定されない。ＶＰＳはリモート、即ち自宅にない装置又はシステムであり得る。

例えばオンデマンドＴＶでは、ＶＰＳはプログラム＋字幕の何らかの混合を行うＴＶ局にあるボックスとすることができ、又は媒介者の挿入／録音（例えば広告会社からの関心をそそる更なるテキスト「この車を買いましょう」をケーブル局が追加すること）とすることさえできる。同様に、「オンデマンド」ＴＶでは、利用者は例えば字幕の言語を選ぶことができ、言語字幕はエンドユーザ（例えば自宅）においてではなくソースにおいてマージされ、即ちホームユーザに送信される信号はマージ済みの信号である。その場合、ＶＰＳはリモートシステムになる。この手法は、それによりビデオ及びオーバレイがマージされるマージ器又はアルゴリズムの物理的位置によって限定されず、重要な側面はそれらがマージされることである。更に、マージは必ずしも単一の装置又は方法ステップ内で行われる必要はなく、例えば媒介者が（「この車を買いましょう」）という関心をそそるテキストを画面の一部に追加する一方、ＴＶ局はその画面の別の部分に字幕を与える。その場合、２つのマージ操作が行われており、即ち分散されたマルチステップマージが行われている。

知られている方法及び装置では、元のグラフィックスの色値、ビデオ画素の色、混合のパーセンテージ等、混合の詳細な特徴がどのようなものであるかは言うに及ばず、画素がオーバレイの一部であるか、又は元のビデオの一部であるかを例えばセットトップから来るビデオ信号データから知ることは不可能である。これは、多くの場合、視聴者には直ちに明らかになるが、ディスプレイには直ちに明らかにならない。従来技術の米国特許出願公開第２０１４０１２５６９６号では、マージの前にオーバレイが適合されるが、かかる形態は、入手できない場合があるＶＰＳ内の入力を必要とする。更に、ＶＰＳは取り付けられたディスプレイの特性を知らない場合があり、更にはビデオに何れの色変換が適用されるべきかを知らないままである可能性があり、従って必須情報を欠く。

字幕及び他のオーバレイは元のＨＤＲビデオの一部を形成せず、多くの場合ブーストを必要とせず、又は少なくともビデオ自体と同量のブーストを必要としない。ダイナミックレンジ適合パラメータ（より広い意味では、何らかの機能的操作によりディスプレイにビデオデータを適合させるためのＨＤＲビデオデータに対する任意の操作又は変更）は、多くの場合基礎を成すビデオにのみ適用され、グラフィックスオーバレイを含む領域には適用されない。ダイナミックレンジ適合パラメータは、特定の場合（例えばシーンが変わるとき）に変わり得る一方、字幕又はメニューのオーバレイはその変化中も固定され得る。

知られている方法及びシステムでは、画素がオーバレイの一部を形成するかどうかに関係なく、ディスプレイが受信済みのマージビデオの全画素を処理する（実際それ以外は行うことができない）。マージ器及びマージプロセスは、復号器側から見るとブラックボックスである。出力があり、何らかの信号がマージされる可能性及びマージされている可能性があるが、マージが行われているかどうか及びどのように行われているかは未知であり、知られ得ることがない。

これは、例えば明るいランプ等、ビデオの近隣部分のダイナミックブーストに合わせて字幕等のオーバレイの強度が揺らぎ始める原因となり得る。

この手法では、ビデオ信号の成分の最小有効ビットが使用され、オーバレイ（字幕又はメニュー等）若しくはオーバレイの一部によって及び／又は元のビデオによって画素が形成されているかどうか、及び多くの実施例においてそれがどの程度の量であるかに関する情報を与えるために、ある意味犠牲にされる（それでも一部の技術的実装では、ビデオ画素色データに加えて更なる情報を符号化するために幾つかのビットが画素ごとに依然として使用可能であり得る）。これは、この手法の方法又は装置によって生成されるビデオ信号を受信するディスプレイが、例えばオーバレイ又は元のビデオとオーバレイとの混合である画像部分を、オーバレイを含まず元のビデオのみを含む画像部分と異なるように扱うことを可能にする。復号器側では、マージ器内で行われたマージに関する見識が画素ごとに得られ得る。

低複雑度の構成では、１つの成分の単一の最小有効ビットが指示値で埋められる。

単一ビットは０又は１であり得る。これは、何れの画素が元のビデオに属し、何れの画素がオーバレイ又はビデオとオーバレイとの混合に属するかを画素ごとにビデオが区別することを可能にする。この単純な構成では、例えばランプを伴う字幕が一緒に揺らぐ上記の問題が軽減され得る。ディスプレイには、オーバレイ、例えば字幕をビデオと区別し、例えば字幕を固定したままビデオの画像描画を動的に適合させること、又は字幕をビデオ画素と異なる態様で適合させることを可能にする情報が与えられる。

単純な実施形態では、ダイナミックレンジ適合が元のビデオに属する画素に適用され得る一方、オーバレイに属する画素にはダイナミックレンジ適合が適用されず、又は固定されたダイナミックレンジ適合が適用される。

色成分は、例えば信号のＲＧＢ成分の１つ、又は信号がＹＵＶフォーマットの場合にはＹＵＶ成分の１つ、例えば画素の輝度Ｙであり得る。

より詳細な実施形態では、複数の最小有効ビットが指示値で埋められる。

これは、例えば３個のビットが使用される場合、例えばオーバレイが部分的に透明であるとき複数の状態を区別することを可能にする。例えば３つの状態（例えば完全にビデオ、完全にオーバレイ、及びビデオとオーバレイとの混合）があり得る場合、様々な程度のマージが識別され得る。ダイナミックレンジ適合は、例えば完全に元のビデオである画素に適用され得、完全にオーバレイである画素にはダイナミックレンジ適合が適用されず、オーバレイに対するビデオの比率に応じて、部分的に元のビデオであり部分的にオーバレイである画素に様々な程度のダイナミックレンジ適合が適用される。

最小有効ビットを犠牲にすることは、典型的には画像に対して殆ど又は全く影響しない。多くの場合、ＬＳＢは非常に目立つ画像情報は含まないため、全く犠牲にならない。

たとえ一部の実例で最小有効ビットを犠牲にすることが微細な詳細の描画を理論上ある程度低減させる可能性があっても、殆どのビデオ信号（とりわけＨＤＲ信号）内で使用されるビット数は画像をそのように詳細に描画するのに通常十分であり、最小有効ビットが失われても目に見えることはない。

僅かな悪影響があっても、オーバレイをより良好にレンダリングできる好ましい効果がいかなる悪影響よりもはるかに上回る。

ビデオ／オーバレイ情報を伝えるために使用される最小有効ビット（ＬＳＢ：least significant bit）は、元のビデオのビット深度を考慮に入れながら様々な成分から選択され得る。

非常に多くの場合、インタフェース上の少なくとも１つの色成分に対して画素ごとに使用されるビット数（例えば１６又は１２）は、元のビデオ内のビット数（例えば１２又は１０）を上回る。その場合、マージ状況に関する僅かな情報のみを伝える必要がある場合にはビデオの質に対する影響が全くない可能性がある。多くの場合、インタフェースチャネルの追加の帯域幅を単純に使用することができる。

多くの実装において、画素の３つ以上の成分にわたって分割される僅か８個のビットが、画素値に対するオーバレイの寄与を示すデータで埋められる。９ビット以上を犠牲にすることは、画像の描画に対する悪影響が増加し始める一方で、好ましい効果を大幅に改善することは概してなく、先に述べたように、マージ済みの信号内で使用されるビット数が元のビデオを上回る場合、ビットが全く犠牲にされる必要がない。一部の実施形態では、６個又は４個の指示ビットが最も有用な情報を伝えることもできる。一部の実施形態では、マージ済みの信号内で使用されるビット数がビデオ信号内のビット数を上回り得る。以下、ＬＳＢという頭字語は、また、「最小有効ビット」として使用される。

一部の実施形態では、マージの種類及び／又はマージ済みのビデオ信号内の１つ若しくは複数のマージパラメータを示すＬＳＢの数が、例えばマージの種類に応じて可変であり得る。

単純なマージの種類、例えば「ビデオのみ」では、復号器に情報を転送するためにより少ないＬＳＢが必要とされる。マージの種類及び／又はマージパラメータ情報により少ないＬＳＢを使用することは、ビデオ画素色情報を転送するための更に多くのビットを与える。

復号側で符号化長が分かり得るように符号化長信号が与えられ得る。可変長符号化は、マージの種類の指示によって提供され得る。

マージの特性（例えば、何れの構成要素がマージされているか（「構成要素」はビデオ及び１つ又は複数のオーバレイであり得る））を示すデータの符号化に関する情報は、マージ量、例えばオーバレイの透明度又は混合比に関する情報を与えるＬＳＢとは別にＬＳＢ内で与えられ得る。

かかる形態は、マージに関するより詳細な情報よりも前に符号化に関する情報が読み書きされることを可能にする。これは、情報を転送するためにより少ないＬＳＢを使用することを可能にし、従って他の情報、例えば輝度情報により多くのビットを残す。

一部の実施形態では、例えば、値の何れの符号化がマージの特性を示すかを示すメタデータ又はフラグの形式で情報が信号に又は信号内で供給される。例えば、かかるメタデータ又はフラグは、何れの信号がマージされ、それらがどのようにマージされ、それらがどのように読まれ得るか等、マージに関する情報を与えるために使用されるＬＳＢを示し得る。

本発明による方法及び機器のこれらの及び他の態様が、以下に記載の実装形態、実施形態、及び添付図面から明らかになり、それらに関して説明され、添付図面はより全体的な概念を例示する非限定的な具体的説明図としての役割を果たすに過ぎない。

ビデオ信号のマージの一実施例を示す。 本発明の一部の実施形態によるビデオ処理システムの一実施例を示す。 本発明の一部の実施形態によるビデオ処理システムの一実施例を示す。 本発明の一部の実施形態によるビデオ処理システム内の符号化の一部の実施形態の実施例を示す。 本発明の一部の実施形態によるビデオ処理システム内の符号化の一部の実施形態の実施例を示す。 本発明の一部の実施形態によるビデオ処理システム内の符号化の一部の実施形態の実施例を示す。 本発明の一部の実施形態によるビデオ処理システム内の符号化の一部の実施形態の実施例を示す。 従来技術の方法及びシステムの問題を概略的に示す。 ビデオとオーバレイとをマージする一実施例を示す。 ダイナミックレンジ適合の一部の実施例を示す。 本発明の一部の実施形態によるシステムの一実施例を示す。 ダイナミックレンジ適合の一部の実施例を示す。 本発明の一部の実施形態の側面の実施例を示す。 本発明の一部の実施形態の側面の実施例を示す。 本発明の一部の実施形態によるＶＰＳ内の符号化とＴＶ内の復号との組合せの実施例を示す。 本発明の一部の実施形態によるＶＰＳ内の符号化とＴＶ内の復号との組合せの実施例を示す。 本発明の一部の実施形態による機能を含むディスプレイを示す。 本発明の一部の実施形態の側面の一実施例を示す。 本発明の一部の実施形態の側面の一実施例を示す。 マージ操作の指示を生成する一部の実施例を示す。 マージ操作の指示を生成する一部の実施例を示す。 あり得るダイナミックレンジマッピングの実施例を示す。

図１には、符号化側に関係する本発明の例示的実施形態の側面の一実施例が示されている。

ビデオ処理システム又はビデオプロセッサ（ＶＰＳ：video processing system）１内で、元のビデオの入力ビデオ画像信号２がＶＰＳ１のマージ器５内でオーバレイ３及びオーバレイ４とマージされ、元のビデオとオーバレイとのマージを含むマージ済みのビデオ信号６をもたらす。マージ器５は符号器部分７に情報を与える。

入力ビデオ画像信号２は、ＨＤＲ信号の表現を提供するという意味でＨＤＲ画像信号である。入力ビデオ画像信号２は、それ自体がＨＤＲディスプレイ上に提示されることが意図される画像とすることができ、即ち典型的には５００（又は１０００）ニット以上の最大輝度を有するディスプレイ上に直接レンダリングされるようにカラーグレーディング／トーンマッピングが適合され得る。他の実施形態では、入力ビデオ画像信号２が、ＬＤＲディスプレイ、即ち（典型的には）５００ニット未満の最大輝度を有するディスプレイ上に直接表示されることが意図されるが、ＨＤＲディスプレイ上に表示されることが意図されるＨＤＲ画像への直接の（知られている）マッピング又は変換を有する画像表現を提供し得る。従って、入力ビデオ画像信号２は、ＨＤＲからＬＤＲへのマッピングを使用して画像のＨＤＲ画像表現からマップされるＬＤＲ画像表現であり得る。逆マッピング（ＨＤＲ画像内に更に含まれ得る）を適用することによって元のＨＤＲ画像が再生成され得るため、かかるメッセージは依然としてＨＤＲ画像である。

同様に、オーバレイがＨＤＲ表現として与えられ、又はＨＤＲ画像信号のＨＤＲ表現若しくはＬＤＲ表現と組み合わせられ得るＬＤＲ表現であり得る。

マージ済みのビデオ信号６は同様にＨＤＲ画像信号であり、実際に入力信号は（直接の又は間接的な）ＨＤＲ画像信号であり、入力値に対するオーバレイ値の単純なマージは入力ビデオ画像信号２に対応するマージ済みのビデオ信号６をもたらす。図１の実施例では、元の入力ビデオ画像信号２が字幕信号３及び／又はメニュー信号４（例えばソースビデオを選択したり音量を変更したりできるメニュー、又はディスクをどのように再生するか等に関する使用可能な選択肢を示すＢＤディスクのメニュー等、例えば動作を制御するために使用されるＶＰＳのメニュー）とマージされる。ＶＰＳは、マージ済みのビデオ信号６を符号化するための符号器７を含む。マージ情報信号ＭＩＳにより、画素のマージに関するマージ情報（例えば画素がビデオであるか、又はオーバレイであるか、及びその度合い）がマージ器５によって符号器７に与えられる。マージ情報は、１つ又は複数のオーバレイ信号３、４をその画素の入力ビデオ画像信号２に追加する特性を示すマージ特性に関する情報を与える。マージ特性は、とりわけマージ済みのビデオ信号６内の画素のソース（即ちマージ済みのビデオ信号内の画素が何れの信号から構成されるか）及び／又は信号のマージ量を示し得る。マージ情報は、例えば信号がマージされたこと、例えば「この画素はビデオ＋字幕である」ことの指示、及び／又はマージ済みの信号の様々な成分の透明度データとすることができ、例えばマージ済みの字幕が例えば５０％又は２５％の透明度を有することの指示であり得る。

図１は、２種類のあり得るオーバレイ、字幕３及び／又はメニュー４がマージ器５内でビデオとマージされることを示す。当然ながら、他の実施形態では、例えばＰＩＰ（ピクチャインピクチャ）、ロゴ、広告のオーバレイ等、他の種類のオーバレイが使用され得る。かかるオーバレイは、マージ器５内でビデオと追加で又は代替的にマージされ得る。記載される方法／機器の実施形態は、単純な種類の専用画素、例えばあり得る僅かな不透明色のみで構成される単純な字幕が１つのみである様々なシナリオ内で使用され得ること、又は様々な種類のグラフィックス若しくはビデオの混合が同時に存在し得るより複雑なシステム内で使用され得ることを当業者であれば理解されよう。かかる実施例では、異なる種類が、例えば以下に記載の状況特徴付けのコード化によって区別され得る。

マージ操作後、多くの実施形態において、それぞれの画素が幾つかのマージの種類のうちの１つであり得る。例えば画素は、１つのソースのみの寄与を含む純粋な種類とすることができ、例えば純粋なビデオ又は純粋なオーバレイとすることもできる（オーバレイの種類も重要であり得る。即ち異なる種類のオーバレイは異なるマージの種類の原因となり得る）。或いは、それぞれの画素は混合型又はマージ型のものとすることができ、画素は複数のソースの寄与、例えば５０％のビデオと５０％の字幕とで構成される。例えばビデオとマージされる字幕の透明度により、重みが決定され得る。

図２は、符号器７によって行われる符号化を示す。符号器７は、信号ＭＩＳによってマージ情報Ａ’が与えられ、マージ情報はマージ器５内のマージの特性を反映するマージ特性を示す。符号器は、マージ済みのビデオ信号内の所与の画素について、１つ又は複数のオーバレイ信号３、４をその画素の入力ビデオ画像信号２にマージする特性を示すマージ特性を示す値Ａを（典型的には）画素ごとに生成する。画素の値Ａは、とりわけ受信情報Ａ’から決定される画素のマージの種類及び／又は１つ若しくは複数のマージパラメータを示すことができる。

一部の実施形態では、マージ器５が値Ａを符号器７に直接与えることができ、その場合Ａ’＝Ａである。他の実施形態では、符号器７が符号化するための異なる値Ａを受信値Ａ’から生成し得る。

この図２の特定の低複雑度の実施例では、マージ済みの画像の各画素がビデオである又は字幕又はメニューであると指示される。従って、各画素はあり得る２つのマージの種類のうちの一方であると指示される。

符号器７は、マージ器によって与えられる情報に基づいて生成した値Ａ、又はマージ器５から直接受信した値Ａを使い、ＨＤＲ信号の成分の１つの最小有効ビットのうちの１つ（又は複数）を埋める。

図２の実施例では、マージ済みのビデオ信号６が３色成分のビデオ信号であり、そのように符号化される。とりわけ、この実施例は、この特定の実施例ではそれぞれ１２ビット有するものとして図示されている３つの色成分Ｒ、Ｇ、及びＢを使用し、即ち各色成分値は１２ビットで表わされる。図２では埋めることが別個の符号器７内で行われるものとして具体的に図示されているが、埋めることは他の機能ユニットによって行われ得ること、具体的には一部の実施形態では２つの機能を同時に実行可能なマージ器５の一部を符号器が形成し得ることを当業者であれば理解されよう。

この実施例では、各画素がビデオ又は字幕又はメニューの何れかのみになり得、そのため単純な２進表現０又は１を値Ａに使用すれば十分であり、０は画素が純粋な（影響を受けていない）ビデオであることを示し、１は画素が字幕又はメニューを表すこと（又は例えば任意の特別なグラフィックスオブジェクトを表すこと）を示し得る。これは単一ビットによって表わされ、従ってその画素にはＬＳＢの１つの中で値が与えられ得る。この実施例では青色チャネルが使用され、なぜなら、人間の視覚はその情報に対する感受性が低く、従ってＬＳＢ内に小さい誤りを取り入れることの知覚的影響が減らされるからである。他の実施形態では、他の色のチャネルが使用され得る。例えばＹＵＶ符号化では、例えばＵ成分又はＶ成分の一方を必要な変更を加えて使用することができる。

図２に示されているような多くの実施形態において、マージに関する情報を決定するための、とりわけ値Ａを見つけるための代替経路がある。マージ情報Ａ’を有する信号ＭＩＳをマージ器５が符号器７に直接与えるのではなく、マージ済みの信号６とマージする前に信号２、３、及び／又は４の１つ若しくは複数を比較するために比較器が使用され得る。従って、マージ器５への入力信号の１つ又は複数に対してマージ済みのビデオ信号６を比較することに応じてマージ特性が決定され得る。例えば、ある画素について、入力ビデオ画像信号２がマージ済みのビデオ信号６と比較され、２つの信号が同じであると分かった場合、前記画素が純粋なビデオであり、オーバレイに対する入力画像信号のマージが行われていないと考えられ得る。前記画素のＡの値は、例えば「画素が純粋なビデオである」ことを示す０に設定され得る。入力ビデオ信号２とマージ済みのビデオ信号６とが異なる場合にマージが行われている。その場合、前記画素のＡの値は、例えば「画素が混合型のものである」ことを示す１に設定され得る。かかる比較スキームは、マージ器５から直接来るのではなく、マージ前及びマージ後に信号を比較することによるマージに関する情報を与える。かかる比較は、マージ器５又は符号器７の一部とすることができ、又はそれらに結合され得る比較器内で行われ得る。より複雑な比較が行われ得る。当然ながら、これらの２つの可能性のいかなる組合せも使用され得る。例えば、マージ器５は、信号ＭＩＳ内で（例えば画素が純粋なビデオ（即ちオーバレイの寄与が一切ない入力ビデオ画像信号２）を表すかどうかを示す）粗い指示を与えることができ、その指示が「純粋なビデオではない」と示す場合、マージに関する更なる詳細を明らかにするために入力信号の１つ又は複数とマージ済みの信号との間で比較が行われる。次いで、明らかにされたマージ情報が１つ又は複数のＬＳＢ内に画素ごとに符号化される。

幾分複雑な実施形態では、オーバレイの種類も符号化され得、例えばオーバレイが字幕であるか、又はメニューであるかが符号化され得る。その場合、３つ以上のマージの種類の可能性があり、マージの種類を符号化するために２つ以上のＬＳＢが使用される。従って、かかる実施例では、値Ａが３つ以上の値を取り、そのため単一ビットよりも多いビットによって表わされ、従って複数のＬＳＢ内で伝えられ得る。図３は、最小有効ビットが各色成分内で使用されるかかる実施例を示す。この実施例は、最大８個（この単なる説明のための実施例では状況を符号化するために各チャネルの最下位ビットを使用するため、２の３乗）のマージの種類（例えばオーバレイがないことを１つが示す８種類のオーバレイ）を信号で伝え得る３個の情報ビットを与える。このことから、一方でビデオ及びグラフィックスの所要の見栄えの質、他方で典型的な受信側の色変換（及び状況再構築）機能のための所望の状況コード化量を所与とし、システムにとって技術的に好ましいものに応じて、第１の色成分のＮビット、第２の色成分のＭビット、及び第３の色成分のＯビットをどのように使用し得るかを当業者であれば理解することができる。従って、様々な色チャネル内で使用されるＬＳＢの正確な数は、それぞれの実施形態の好み及び要件によって決まる。

図４〜図６は、ビデオ情報の入力ストリームについて制御されるビデオ処理の更なる実施形態を示す。

図４は、ＨＤＲ画像を表すＬＤＲビデオデータのみが与えられている一実施形態を示す。この実施例では、ＬＤＲ画像データ４３がＬＤＲディスプレイ上に直接表示されるようにグレーディングされる。例えば、画像データのソースは、例えば１００ニットディスプレイのためにダイナミックレンジを最適化している可能性があり、従って（１００ニットの最大輝度を有する）ＬＤＲディスプレイ上に画像が提示される場合、その画像はダイナミックレンジ適合又は更なるカラーグレーディングなしに直接レンダリングされ得る。しかし、ＬＤＲ画像データは依然としてＨＤＲ画像の表現を与え、なぜなら、ダイナミックレンジマッピングを適用することによりそのデータが元のＨＤＲ画像を直接生成することを可能にするからである。従って、ダイナミックレンジマッピングを知ることにより、受信端は元のＨＤＲ画像を再生成することができる。

とりわけ送信端又はソース端において、ＬＤＲディスプレイ上で提示するのに適した又は最適化された出力画像を生成するために、ＨＤＲ画像がカラー（特に輝度）グレーディングにかけられ得る。このグレーディングは、とりわけ、例えば入力輝度を出力輝度に直接関係付ける１対１の同次（可逆）関数であり得るダイナミックレンジマッピング又は関数を提供し得る。その結果、ＬＤＲディスプレイ上に直接提示され得る出力画像が生成される。しかし、ＬＤＲ画像データは依然としてＨＤＲ画像を表し、とりわけ逆ダイナミックレンジマッピング又は関数を適用することによってそこから元のＨＤＲが生成され得るＨＤＲ画像の表現を与える。従って、たとえＬＤＲディスプレイ上に直接提示することを可能にする画像データによって画像が表現されても、そのデータはＨＤＲ画像の表現を依然として与える（例えばＨＤＲ画像の特定の符号化と見なされ得る）。従って、ＬＤＲ画像のみが考慮され、受信ＬＤＲ画像データがＬＤＲ画像に由来する（ＬＤＲ画像を表す）従来の手法とは対照的に、この実施例のＬＤＲ画像データは実際にはＨＤＲ画像の（ＬＤＲ）表現である。従って、この実施例では、受信ＬＤＲ画像データが元のＨＤＲ画像に結び付けられ、又は関連付けられる。特にこの実施例では、ＬＤＲ画像をブーストしてＨＤＲ表現をもたらすことにより、ＨＤＲディスプレイ用のＨＤＲ画像が導出され得る。

以下、図４のビデオ処理システムはＢＤ（ブルーレイディスク）プレーヤ４１と見なされるが、他の実施形態では他の装置であり得ることが理解されよう。ＢＤプレーヤ４１は、ビデオ情報の入力ストリーム、例えばＢＤデータストリーム４２を受信する。このストリームは、ＬＤＲビデオデータ４３及びグラフィックスを生成するためのグラフィックスデータ４４の両方を含む（或いは又は加えて、グラフィックスデータは別の場所から到来し得、例えばプレーヤ自体の中で生成されるグラフィックス又はインターネット等のネットワーク接続上で受信されるグラフィックスであり得る）。

ＬＤＲビデオデータ４３（ＨＤＲ画像を表す）が、復号信号４６（例えば記憶に使用されたＭＰＥＧ又は同様のビデオ符号化標準によるＤＣＴ変換データから導出される、画素ごとの線形ＲＧＢ色）を与えるＬＤＲ復号器ＬＤＲ−ｄｅｃ４５内で処理される。グラフィックスデータ４４は、グラフィック復号器ＧＲ−ｄｅｃ４７内で処理され、ビデオ信号をオーバレイしてマージ済みの画像表示信号５０、例えばＨＤＭＩ（登録商標）信号、即ちＨＤＭＩ（登録商標）インタフェース（又は他の任意のビデオ信号通信システム）上で送信される信号を生成するためにオーバレイプロセッサＯＶＲ４９内で使用されるオーバレイ４８を構成する。このオーバレイプロセッサは、ビデオを字幕又はメニュー等の１つ又は複数のオーバレイとマージし、従って本発明の枠組み内ではマージ器とも呼ばれる。ＯＶＲは例えばリモコンによって送信される信号に反応し、視聴者はリモコンを使って例えば字幕を使うかどうかを選択し、使う場合には何れの言語であるかを選択でき且つ／又はメニューを起動すること等ができる。ＨＤＭＩ（登録商標）信号５０は、表示装置によって受信されるマージ済みの信号であり、表示装置のディスプレイ上に表示される画像をもたらし、ディスプレイ上に表示される画像は字幕部分及び／又はメニュー部分を有し得る。符号器５１内で、マージ済みの信号の最小有効ビットの１つ又は複数がとりわけそれぞれの画素がビデオを表しているか、オーバレイを表しているか、及び／又はそれらをどの程度表わしているかに関する情報等のマージ情報で埋められる。それぞれのＬＳＢ内の情報は復号器側で読み取られ得、従って例えばマージ済みの画素のマージの種類（例えば画素の構成要素がどのようなものであるか、即ち何れの信号がマージされたか、又は実際に信号がマージされたかどうか）及び／又は例えばマージパラメータ（例えばマージ済みの信号間のマージ比を示す）を復号器に知らせる。即ち、ＬＳＢ内の情報は、どのようなものがマージされたか（例えばマージの種類の情報）及び／又は入力信号がどのようにマージされたか（例えば混合型又はマージ型の画素である画素のマージ量）を示す値であり得る。上記で説明されたように、かかる情報はマージ器４９によって与えられる情報、並びに／又はマージ前及びマージ後に信号を比較することによって与えられる情報に基づき得る。

図５は、グラフィックス処理制御データ、並びにＬＤＲビデオデータ及びＨＤＲビデオデータの両方を含むビデオ情報の入力ストリームに関する表示モードによって制御されるビデオ処理の一実施例を示す。このシステムは図４のシステムと同様である。しかし、追加の特徴はＢＤデータストリーム４２が、ＬＤＲディスプレイ上に直接提示することを目的とするＬＤＲビデオデータ４３並びに追加のＨＤＲデータを表すＨＤＲビデオデータ５２の両方を有することである。ＨＤＲビデオデータ５２は、例えばダイナミックレンジマッピング関数又は逆ダイナミックレンジマッピング関数を直接提供することにより、例えば元のＨＤＲ画像からＬＤＲ画像データを生成するために使用されるマッピングに関する情報を与え得る。他の実施形態では、ＨＤＲデータが元のＨＤＲ画像の完全な又は部分的なＨＤＲ表現（又は（例えば異なる最大輝度レベルに関係する）元のＨＤＲ画像の別のＨＤＲ表現）を直接与えることができる。実際に一部の実施形態では、ＬＤＲ画像データを有するＨＤＲ画像データは可能性としてＨＤＲ画像の表現にはならないことを理由に、入力ビデオ画像信号２はＨＤＲビデオ画像信号と見なされ得る。

一部の実施形態では、ＨＤＲビデオデータ５２は、とりわけ例えばディスク上のＬＤＲ表現をＨＤＲ表現に変換するためのカラーマッピング関数のみを定め得る。しかし、他の実施形態では、このデータが直接デュアルイメージ符号化体系（dual image encoding system）内のＨＤＲ画像又は（例えばＬＤＲ画像の高輝度領域等についてのみ与えられる）画像の一部であり得る。ビデオ処理システムは、ＨＤＲ信号を復号するためのＨＤＲ復号器ＨＤＲ−ｄｅｃ５４を含む。一部の実施形態では、例えばＨＤＭＩ（登録商標）インタフェース上でＬＤＲ画像が送信されるか、又はＨＤＲ画像が送信されるかに応じて復号器の一方又は両方が使用され得る。或いは一部の実施形態又はシナリオでは、信号がＨＤＲ信号のみを含み得る。

図４及び図５の両方で、グラフィックデータ（オーバレイに関する情報）が入力信号の一部である。多くの実施形態において、グラフィックデータがＶＰＳ内で生成され得ることが理解されよう。システム内でビデオ信号と１つ又は複数のオーバレイとがマージされ、これは任意の特定の形式で与えられ又は任意の特定のソースから与えられるグラフィックスデータ又はオーバレイに限定されない。マージは信号をもたらし、ビデオと１つ又は複数のオーバレイとがマージされ、それにより少なくとも一部の画素にマージ済みの画素値を与える。

マージ済みの画素値自体は、どのようなものがマージされたか又はマージがどのように行われたか（即ち画素ごとのマージ量）に関する情報は直接与えない。

一部の実施形態では、マージが画素ごとの選択マージであり得る。従って、各画素について、入力信号、即ち入力ビデオデータ又はオーバレイの１つのうちの１つの画素値が画素ごとに選択される。例えば字幕領域では、マージ器が出力画素値を字幕オーバレイ入力の画素値として選択することができる。しかし、字幕領域の外側では、マージ器は入力ビデオ画像の画素値を選択することができる。従って、字幕領域内に字幕オーバレイ画素値を含み、画像の残りの部分内に画像の画素値を含むマージ済みの画像が生成される。他の実施形態では、画素値が例えば入力画像とオーバレイの１つ又は複数との画素値を組み合わせることによって生成され得る。例えば、入力画像の画素値と字幕オーバレイの画素値との間の加重和が行われ得る。字幕オーバレイ画素値の重みは、例えば字幕の透明度レベルを反映し得る。

オーバレイ情報は、画素値の組を含む完全な又は部分的な画像として与えられる必要はなく、例えば各文字の記憶済みのグラフィカル表現に基づいて画素値がそこから決定され得る文字の組等、任意の適切な形式で与えられ得ることが理解されよう。

出力から見ると、オーバレイ及びビデオのマージを行う従来の装置は、出力は与えるが装置内で何が起きたかは出力から推論できないブラックボックス装置である。しかし、記載の実施例では、行われているマージに関する情報により１つ又は複数の最小有効ビットが占有され、従ってこの形態はマージ器内で行われたプロセスの見識を与える低複雑度の態様を提供する。即ち、復号器の観点からは、装置／マージ器はもはやブラックボックスを形成せず、むしろマージ操作に関する見識が与えられる。

この形態は、復号器側がマージ済みの信号の実際のマージ特性、即ちどのようなものがマージされたか及び／又はどのようにマージされたかに合わせて、より調整された適合を画素ごとに行うことを可能にする。具体的には、この形態は、それぞれの画像物体の個々の特性、とりわけ性質について最適化され得るダイナミックレンジ適合を復号器が行うことを可能にする。

図６は、別の例示的実施形態を示す。この実施例は、図４及び図５に関して記載された実施例と対応するが、ＢＤ信号４２が、信号５０をどのように動的に適合させるかに関するＨＤＲディスプレイ向けの情報５５も含むという更なる追加の特徴を伴う。従って、ダイナミックレンジ適合に関する特定の情報が含められ得る。この情報は、例えばビデオ信号と共に与えられるメタデータの形式を取ることができ、メタデータは例えばＬＤＲ画像の画素色の輝度を変えるための輝度ブースト関数を符号化し得る。別の実施例として、メタデータは、ＨＤＲ画像からＬＤＲ画像にマップするダイナミックレンジマッピングを符号化し得る。かかる手法は、ＨＤＭＩ（登録商標）画像がＨＤＲ画像であるシナリオに適している場合があり、ＨＤＭＩ（登録商標）画像を適切なＬＤＲ表現にこのようにマッピングすることでＬＤＲディスプレイ上に信号が提示されることを可能にし得る。次いで、ビデオ処理システムはその情報をディスプレイに渡すことができる。

図７は、また更なる例示的実施形態を示す。この実施例では、ビデオ処理システム４１が信号５６を更に生成し、信号５６は何れの最小有効ビットが使用されるか、及びそれらのビットからどのような種類の情報が得られ得るかに関する情報を含む。従って、この実施例では、マージ情報がマージ済みのビデオ信号内にどのように符号化されるかを記述するデータが与えられる。

例えばビデオ（例えば映画、コマーシャル、YouTube（登録商標）ビデオ等）の始めに、マージ情報を与えるために何れの符号化体系が使用されるかを伝えることが有利であり得る。様々なシナリオにおいて、様々な側面を符号化するために同じ例えば３個のＬＳＢが使用され得る（例えば単純な字幕のみが使用される場合、それぞれの画素が字幕であるか、又は画像画素かを示す単純な混合スキームが伝えられ得る。例えばメニューの長方形内の複雑なグラフィックスが使用される場合、符号化は場合によりメニューの背景等の特性を反映し得る）。動的スキームが使用され得ることを当業者であれば理解されよう。例えば映画の始めにＢＤディスクメニューのコード化／符号化スキームが伝えられ得るが、利用者が映画中に機器のメニューにアクセスする場合、機器のメニューにより適した別のコード化／符号化スキームが伝えられ得る。所与の時点において（又は例えば他の情報が与えられるまで）この新たな符号化スキームが使用され得る。信号５６は変化する情報も与えることができ、例えば一部の独自開発のビデオでは最小有効ビット内の「１」が「不透明な字幕」を意味し得るが、前記ビデオ信号の始め（又は例えばビデオの途中）では、「マージの種類−１」の指示がそのビデオにとって他のことを意味することを信号５６が示す可能性があり、又はビデオのその箇所以降で例えば透明な混合又はグラフィックのボックス背景等を意味する場合がある。要するに、信号５６は、マージ情報を与えるために何れのビットが使用されるか及び／又はそのマージ情報を与えるためにそれらのビットがどのように使用されるかに関する情報を与え得る。信号５６は、とりわけ情報がどのように、例えばシーンごとに又はビデオごとに経時変化し得るかに関する情報を与えることができる。

次に、オーバレイの使用についての特定の実施例について説明される。

この実施例では、画像に追加されるメニューが部分的に透明であり、そのため画像が部分的にメニューを透かして見られ得る（画像がメニューを「透過」する）。かかるメニューをサポートする一部の実施形態によれば、符号器７は、メニュー又はメニューとビデオとの混合の透明度を表す値Ａを幾つかのＬＳＢ内に、この特定の実施例では３個のＬＳＢ内に符号化することができる。次いで、３個のＬＳＢ内に符号化される値Ａ内で画素ごとのマージ量が示され得る。

３個のビットが使用される一実施例は例えば下記の通りである。

但し、「グラフィック」という用語はオーバレイ、例えば字幕やメニュー等を指す。

これはマージ度又はマージレベルを示すマージパラメータを示すためにＬＳＢのみが使用される一実施形態の実施例であり、とりわけビット値０００〜１００はビデオとオーバレイとの混合量を反映する。

これまでに説明された実施例では、Ｒ、Ｇ、及びＢの色成分が言及されている。

但し、ビデオ情報は例えばＹＵＶフォーマット又はＲＧＢＥフォーマット、レイヤが使用されるフォーマット、４つの色が使用されるフォーマット等、他のフォーマットとすることもできる。これらの様々なフォーマットでは、値のデジタル表現が成分を与え、値が幾つかのビットで表わされ、ＨＤＲではビット数が概して相対的に大きい（典型的には１２以上）。従って、値の２進表現は、その最小有効ビットがＬＳＢと呼ばれる幾つかのビットを含む。

多くの実施形態において、最も少ない可視効果を有するＬＳＢがマージ情報を符号化するために使用される。先に述べられたように、多くの実施形態において符号化はオーバレイがあるかどうかだけでなく、何れの種類のオーバレイであるか及び／又は例えばオーバレイの透明度も示し得る。

ＬＳＢのうちの何れが符号化に使用されるかは予め定められ得、例えば標準であり得る。その場合、復号器はマージデータがどのように符号化されるかを知り、ビデオ信号に追加情報が加えられる必要がない。一部の実施形態では、ＬＳＢ内にマージ情報を符号化する複数の可能な態様があり得、ＢＤプレーヤ／ＶＰＳは適用される符号化に関する情報を追加することができる。例えば、何れの情報を符号化するために何れのＬＳＢが使用されるかを詳述するメタデータ又はフラグが含められ得る。

復号側では、この情報を読み取ることができ、関連するＬＳＢがしかるべく復号され得る。

例えば、単純なものから複雑なものまで幾つかの符号化方法があり、あり得る最良の結果を得るために符号器が方法を例えば画素ごとに、フレームごとに、又はシーンごとに動的に切り替える可能性がある場合、使用される方法の種類が例えばメタデータ又はフラグとしてＬＳＢの１つ又は複数内の値として動的に示され得る。１つの選択肢は、例えばビデオの一番上のラインの左から画素のＬＳＢを使用することである。そのようにＬＳＢを使用することの知覚的影響は許容できる可能性が高く、実際に多くの実施形態で些細なものである。

図８は、従来技術の復号器又はビデオディスプレイドライバがマージ済みのビデオ信号をどのように処理し得るかについての一実施例を示す。マージ済みのビデオ信号は、従来のマージ済みのビデオ信号とすることができ、又は先に説明されたようにビデオ処理システムによって与えられるマージ済みのビデオ信号であり得る。従って、マージ済みのビデオ信号は、ＬＳＢ内にマージ情報を含む先に説明されたマージ済みのビデオ信号６であり得る。図８の従来技術のビデオ復号器プロセッサでは、このマージ特性情報は単純に無視される。この実施例は、記載の手法について後方互換性があることも示す。

この実施例では、マージ済みの画像６がＨＤＲディスプレイ上に表示され、ビデオ符号器がＨＤＲディスプレイに適するようにダイナミックレンジを修正するためのダイナミックレンジ適合を含む。しかし、この実施例では、ディスプレイにおける復号器はＬＳＢを読み取る機能を有さず、いかなるマージ情報、とりわけ値Ａも生成することができない。これは、以下のシナリオを招き得る。

ＨＤＲ画像は、シーン内の様々な捕捉対象の色彩テクスチャを高品質に符号化するのに十分な情報を使い、ＨＤＲシーン（典型的には非常に明るい領域と非常に暗い領域との両方を含み得る）のテクスチャを符号化する画像であり、それにより、例えば５０００ニット等の高いピーク輝度を有するＨＤＲディスプレイ上で視覚的に良質なＨＤＲシーンのレンダリングが行われ得る。典型的なＨＤＲ画像は、色鮮やかな部分又は平均照度と比べて強く照らされる部分を含む。とりわけ、夜のシーンでＨＤＲが一層重要になってくる。ＨＤＲ信号を受信するディスプレイは、例えばピーク輝度レベルを含むそれ自体の特性にマッチするようにビデオ信号を改善しようと試みる。それを行うためにダイナミックレンジ適合が行われる。例えばディスプレイのＤＲが符号化ＨＤＲ画像のＤＲ（即ち画像をレンダリングするのに最適な対応するリファレンスディスプレイのＤＲ）よりも幾らか低い場合、この処理は輝度を非線形的にダウングレードする、例えば最も明るい被写体の輝度を大方下げる一方、暗い被写体の輝度をそのまま保つことができ、ディスプレイがより明るい（即ち５０００ニット画像が１００００ピーク輝度ニットディスプレイに最適化される）場合、その逆も同様である。同様に、例えば３０００ニットディスプレイのためのＨＤＲ画像が、開始画像として１００ニットグレードの入力画像から計算され得ることを当業者であれば理解されよう。

受信側／ディスプレイがビデオ信号の特性及び／又は適用されたグレーディングに関する知識を有さない場合、結果として生じるピクチャは芸術的意図に沿わない場合があり又は単純に見栄えが悪い可能性がある。従って、信号が表示されるディスプレイのピーク輝度レベル及び他の特性について画質を最適化するための処理情報を提供するために、ダイナミックレンジ適合パラメータ／命令が例えば図７に示されている信号５５等によってビデオと共に含まれ得、好ましくは含まれ、又は他にディスプレイに運ばれ得る。ダイナミックレンジ適合パラメータ／命令は静的、即ち全プログラムにわたって有効とすることができ、又は動的、即ちフレームごとに若しくは（典型的には）シーンごとに変化し得る。適合パラメータは全ピクチャ領域に作用することができ、又は特定のピクチャ領域に制約され得る。

ダイナミックレンジ適合がいかなる方法で行われようとも、従来技術の方法及びシステムでは、ダイナミックレンジ適合が全画素に対して同じ態様で適用され、即ち一部の画素がグラフィックスとの混合等、異なる種類のものであることを無視する。その場合、適合は１種類の画素、即ち典型的にはビデオのみの画素についてのみ有効である。

図８では、線及びテキストを太くすることによってこの効果がシミュレートされている。

当然ながら、これは実物の現実の表現ではなく、例示であることが意図される。画像６は、適合画像６ａをもたらすためにダイナミックレンジアダプタ７１内でダイナミックレンジ適合ＤＲＡにかけられ、適合画像６ａがＨＤＲ表示装置のディスプレイ上に表示される。それ自体、適合画像を表示することに問題はなく、データは標準データ形式であり、適合された後で表示され得る。図８では、信号の成分のＬＳＢの１つ又は複数がオーバレイに関する情報で埋められる。しかし、標準的な復号器であると仮定される図８の例示的復号器は前記情報を読み取ることができない。

図８の実施例では、ＬＳＢ内に含まれるマージ情報を考慮することなしに（又は実際にＬＳＢ内に符号化されるこの情報の知識をビデオ復号器が一切有することなしに）受信ビデオデータが直接使用される。最小有効ビットは典型的には有意性がなく又は殆どなく、そのためディスプレイはその画像がレンダリングされるときに「正常な画像」を与える傾向がある。即ち、情報を伝えるためにＬＳＢを使用することにより、マージを含めることに起因する劣化又は誤りが多くの実施形態及びシナリオにおいて些細なものである可能性が高い。

例えば、１成分当たり１４ビットのＨＤＭＩ（登録商標）インタフェース上で、且つ１２ビットの色成分ビデオ解像度でＲＧＢ４４４が使用される場合、通常６ビット（３×２）の「余分な」又は未使用のビットが画素ごとにある。従って、符号化済みの画素値に対して誤りを一切生じさせることなしに又は一切影響を有することなしに、合計６ビット（即ち、１４−１２＝２ビット／成分×３つの成分）がマージ情報信号に使用可能である。要するに、後方互換性があるシステムを維持しながら、マージ情報を符号化する方法が多くの実施形態で実現され得る。元のビデオに必要であるよりも多くのビットがインタフェース内で使用可能な場合、さもなければ未使用のビットが利用され得るため、マージ特性データの投入がいかなる悪影響もなく実現され得る。これは、例えば（後に説明されるように）字幕のレンダリングを改善するために新たな復号器が追加のマージ情報を利用することを可能にしながら後方互換性をもたらし得る。

説明されたように、図８の従来技術の手法ではオーバレイ（とりわけ字幕及び／又はメニュー）がビデオ画像自体と同一のダイナミックレンジ適合ＤＲＡにかけられる。従って、全ての部分が等しく扱われる。知られている方法及び装置でそれを行う他の態様はない。図８では、全ての線及びテキストが均等に太くされることによってそのことが示されている。

しかし、ダイナミックレンジ適合により、字幕は視聴者が慣れている字幕の種類と異なる場合がある。実際には図８のシステムにおいて見られるように、字幕は処理されるとき、多くの場合に眩しくなる傾向があり且つ／又は輝度が振動し始めることがある。

図９は、本発明の一部の実施形態によるマージ済みのビデオ信号を処理するための機器の一実施例を示す。この機器は、とりわけディスプレイドライバ、ビデオ復号器、又は実際にディスプレイであり得る。以下、この機器はビデオ復号器として説明されるが、この機器は受信画像ストリームを復号することのみに限定されないことが理解されよう。むしろこの機器は、とりわけ入力輝度範囲から出力輝度範囲への適合をもたらし得るダイナミックレンジ適合も行うことができる。とりわけダイナミックレンジ適合は、（例えばニット単位で与えられる）第１の最大輝度又は白レベルに対応するダイナミックレンジから、（例えばニット単位で与えられる）第２の最大輝度又は白レベルに対応するダイナミックレンジに受信画像を適合させることができる。

ダイナミックレンジ適合は、例えばＬＤＲダイナミックレンジを基準とする画像データからＨＤＲダイナミックレンジを基準とする画像データに対するものであり得る。従って、ダイナミックレンジ適合はＬＤＲレンジからＨＤＲレンジに対するものであり得る。他の実施形態では、ダイナミックレンジ適合がＨＤＲレンジからＬＤＲレンジに対するものであり得る。更に他の実施形態では、ダイナミックレンジ適合が例えばＨＤＲレンジから別のＨＤＲレンジに対するものであり得る。更に他の実施形態では、ダイナミックレンジ適合が例えばＬＤＲレンジから別のＬＤＲレンジに対するものであり得る。

この実施例では、先に説明されたようにマージ済みのビデオ信号６がビデオ処理システムによって与えられる。従って、マージ済みのビデオ信号６は、少なくとも一部の画素について１つ又は複数の色成分のＬＳＢ内にマージ情報を含む。従って、入力がマージ済みのＨＤＲビデオ信号を受信する。先に説明されたように、基礎を成すＨＤＲ画像／ビデオシーケンスの表現を与える点でビデオ信号はＨＤＲビデオ信号である。しかし、実際のビデオデータはＬＤＲダイナミックレンジを基準とすることができ、とりわけマッピング又はカラーグレーディングによってＨＤＲ画像から生成されるＬＤＲ画像であり得る。しかし、逆マッピングを適用することによって元のＨＤＲ画像を生成することができ、従って受信ビデオ信号は本質的にＨＤＲ画像／ビデオの表現である。

このシステムは、所与の画素についてビデオ信号の１つ又は複数の色成分に関する少なくとも１つ又は複数の最小有効ビットを読み取るように構成される読取機７２を更に含む。読取機７２は、読み取った最小有効ビットから１つ又は複数の値Ａを生成するように構成され、１つ又は複数の値Ａは所与の画素のマージ特性を示す。マージ特性は、ビデオ画像信号２に対する１つ又は複数のオーバレイ信号３、４のその画素に関するＨＤＲビデオ信号内のマージの特性を示す。とりわけ、所与の画素の値Ａは、符号器内のマージ器によってその画素に対して行われるマージ操作を示す。

読取機７２は、ビデオを適合させるように構成され、とりわけビデオ信号の画像に対してダイナミックレンジ適合を行うように構成されるアダプタ７１に結合される。更に、アダプタ７１は、生成される１つ又は複数の値（Ａ）に応じて画素値を適合させるように構成される。従って、アダプタ７１は、所与の入力ダイナミックレンジ（例えば１００ニットのＬＤＲレンジ）を基準とする画素値を受信し、異なる出力ダイナミックレンジ（例えば１０００ニットのＬＤＲレンジ）を基準とする新たな画素値を生成する。しかし、アダプタ７１は全ての画素に対して同じダイナミックレンジマッピング又は関数を適用せず、むしろ画素に関する受信マージ特性に応じてダイナミックレンジマッピング／関数を修正する。例えば、純粋なビデオ画素には、（値Ａによって示されるように）字幕の画素に適用されるのと異なるマッピングが適用され得る。

従って、アダプタ７１は、受信されるマージ済みのビデオ信号６とは異なるダイナミックレンジを基準とする出力信号を生成する。次いでこの信号は、このレンジをレンダリングするのに適したディスプレイに供給され得る。例えば、受信ＬＤＲ画像がＨＤＲ画像に変換され、ＨＤＲディスプレイ上でレンダリングされ得る。

しかし、符号器側で行われるマージに応じて適合が行われるため、はるかに高品質であると知覚される表示画像をもたらす大幅に改善された適合を行うことができる。例えば、基礎を成す画像のレンダリングを含むことなしに字幕の輝度がより適したレベルまで下げられ、且つ／又はグラフィック要素のちらつきが低減され得る。

従って、図９の実施例では、ダイナミックレンジ適合ＤＲＡが値Ａに応じて行われる。値Ａは復号器の読取機７２内で読み取られ、その値Ａを（直接又は別の形式への変換後に）示す信号７３がダイナミックレンジアダプタ７１に与えられ、ダイナミックレンジアダプタ７１はその値Ａに応じて画素値を適合させる。一部の実施形態では、ダイナミックレンジアダプタ７１に信号５５が与えられ（図７参照）、それにより所望のダイナミックレンジの出力画像を得るために動的適合をどのように行うか、即ち入力画像の画素値に何れの輝度又はカラーマッピング関数を適用するかに関する情報を与える。或いは機器（ディスプレイ）は、ダイナミックレンジ適合を行うためにその独自の方法を使用することができ、即ち（マージ特性値Ａを除いて）外部のソースから特定の適合情報が一切受信されることなしに、ダイナミックレンジ適合及び値Ａへの依存関係が機器内で決定され得る。

図９の復号機器には、色成分内のマージ特性値の符号化に関する情報を含む信号５６が与えられ得る。とりわけ信号５６は、何れのビットが何れの情報を含むかに関する情報を与え得る。特定の実施例では、信号５６は、例えば「マージ特性情報を符号化するために青色成分の最小有効ビットが使用され、「０」は画素がビデオ画素であることを示し、「１」は画素がオーバレイ画素であることを示す」ことを示す情報を含み得る。

アダプタ７１は、これらの値に応じて適合を行うように構成され得る。とりわけ、青色成分のＬＳＢ内に「１」の値を有する画素はダイナミックレンジの変更にかけられず、又は少なくともビデオ画素と同じダイナミックレンジ適合にかけられない。その結果、青色チャネルのＬＳＢ内の「１」によって示される画素はその輝度が例えばブーストされない（又は例えば異なるようにブーストされる）。図９では、ビデオ画素、即ち青色成分のＬＳＢ内に「０」の値を有する画素である画面上の画像部分が太くされた線を有する一方、青色成分のＬＳＢ内に「１」を有する部分（この実施例では字幕及びメニュー）が細い線を有することによってそれが示されている。この場合、メニュー及び字幕はブーストされない態様で表示される。かかる表示は、多くの実施形態及びシナリオにおいて知覚画質を大幅に改善し得る。

このシステムでは、読取機７２が色成分のＬＳＢ値から情報を生成するように構成される。読取機７２は、何れのＬＳＢを読み取るか及び／又はそれらのＬＳＢをどのように解釈するかを読取機７２に示す信号５６によって場合により導かれ、関連するＬＳＢを読み取る。次いで読取機７２は、前記ＬＳＢから１つ又は複数のマージ特性値Ａを生成する。これらの値は、適合を操縦し又は制御するためにアダプタ７１内で使用される。

記載の手法は、多くのシナリオにおいて性能の改善、とりわけユーザ経験の改善をもたらし得る。この手法は、ダイナミックレンジ適合が行われることを必要とするディスプレイ上で、とりわけ（基礎を成す画像並びにオーバレイの両方を含む）合成ビデオの改善されたレンダリングをもたらし得る。実際に多くの実施形態において、ＬＤＲディスプレイ向けに最適化される入力ビデオに基づき、ＨＤＲディスプレイの大幅に改善された画像のレンダリングが実現され得る。従って、ダイナミックレンジを増加するためにダイナミックレンジ適合が使用される多くの実施形態で性能の改善が実現され得る。同様に、多くの実施形態において、ＨＤＲディスプレイ向けに最適化される入力ビデオに基づき、ＬＤＲディスプレイの大幅に改善された画像のレンダリングが実現され得る。従って、ダイナミックレンジを減少するためにダイナミックレンジ適合が使用される多くの実施形態で性能の改善が実現され得る。

様々なダイナミックレンジを有する（とりわけ様々な最大輝度レベルを有する）ディスプレイの普及が進むにつれ、ダイナミックレンジ適合の必要性が一層広範にわたり且つ必要になっている（ダイナミックレンジ適合はカラーグレーディング又はトーンマッピングとしばしば呼ばれ、カラーグレーディング／トーンマッピングはとりわけ輝度のみが変更される輝度グレーディングであり得る）。しかし、様々なダイナミックレンジ及び最大輝度レベル（白点）間の適合は本質的に実現するのが非常に困難なことである。実際に、従来かかるダイナミックレンジ適合は所与のディスプレイの白点について人がそれぞれの画像を手動で（又は一部の事例では半自動で）最適化することによって行われてきた。例えば映画をフィルムからテレビに変換するとき、ダイナミックレンジの大幅な低減が典型的には必要とされ、従って（例えば映画作品をＤＶＤに変換するとき）概してＬＤＲダイナミックレンジへの手動のカラーグレーディングが行われている。かかるダイナミックレンジ適合は熟練した職人にとっても非常に困難であり、最適化には非常に時間がかかる。更にその手法は、１つの又は少なくとも非常に少ないダイナミックレンジ／白点に対するダイナミックレンジ適合のみを本質的に可能にし、全ての単一のダイナミックレンジが別々の手動作成を必要とする。

使用されているダイナミックレンジの多様性が大幅に増したことにより、この手法はもはや実現可能ではなく、又は少なくともかかるカラーグレーディングを行うのに必要な資源及び同一コンテンツの複数のバージョンを流通させるのに必要な資源の両方の観点から望ましくない。従って、個々の装置内で行われる局所的且つ自動化されたカラーグレーディングの人気が益々高まりつつある。例えば多くのディスプレイは、ディスプレイの特定のダイナミックレンジ／白点に合わせて受信ビデオ信号を修正するために自動カラーグレーディング／ダイナミックレンジ適合を行うための機能を含む。これは、様々なダイナミックレンジの入力信号をディスプレイの白点に対応する特定のダイナミックレンジに適合させるための機能を（後方互換性を含む）互換性の理由から概して含むＨＤＲディスプレイにとって特に重要である。とりわけ殆どのＨＤＲディスプレイは、ＬＤＲからＨＤＲへのマッピング機能を含む。

しかし、様々なダイナミックレンジに適した画像を作成する作業は非常に困難である。

所与のダイナミックレンジに適したフォーマットで画像を表現するために、符号割当関数又は電気光伝達関数（ＥＯＴＦ：electro optical transfer function）がしばしば使用される。かかる符号割当関数又はＥＯＴＦは、（デジタル）値と対応する光出力との間のマッピングを行い、即ち所与の画像／レンジに関する符号割当関数は、ＨＤＲ線形輝度値から適切な量子化ルマコード（luma code）へのマップを提供する。ＨＤＲ線形輝度値は、例えば値当たり比較的多数のビット（例えば１６ビット）を有する浮動小数点値として表わされることが多い。対照的に量子化ルマコードは、典型的には比較的少数のビット（例えば８ビット）によって、多くの場合整数値としてルマ値を表す。

ＬＤＲとＨＤＲとの違いはダイナミックレンジの大きさだけはなく、むしろ殆どのシーン内の相対的な強度分布もＬＤＲ表現とＨＤＲ表現とで大幅に異なる。

実際、ＨＤＲ画像／ビデオは、典型的には従来の（ＬＤＲ）画像／ビデオと異なる強度分布を有する。とりわけ、高ダイナミックレンジ画像データのピーク対平均輝度比ははるかに高い。従って、従来適用されている符号割当曲線又はＥＯＴＦはＨＤＲデータについては次善の傾向がある。従って、ＨＤＲ輝度値から符号化済みのルマ値への従来のＬＤＲマッピングが使用される場合、著しい画像劣化が多くの場合起こる。例えば、多数の符号が更に高い輝度範囲のために確保されているため、画像コンテンツの殆どは少数の符号値によってのみ表わされ得るが、その多数の符号は典型的には少数の非常に明るい画像物体のみに使用される。

例えば１００ｃｄ／ｍ^２ピーク輝度のリファレンスモニタ上で表示されることが意図される現在の標準的なダイナミックレンジビデオは、現在の標準的なルマ／輝度領域内で通常符号化され、かかる領域はそれらの対数曲線又は符号割当関数／ＥＯＴＦを使用して規定される。その例は、ｓＲＧＢ又はＩＴＵ Ｒｅｃ．７０９の対数データに使用される曲線である。

ＨＤＲ画像／ビデオは、典型的には（例えばディスプレイによってレンダリングされる輝度として定められるとき）現在の標準的なダイナミックレンジ画像と異なる輝度分布を有する。例えば、現在のビデオコンテンツ分布は概してピーク輝度の２０％前後でピークに達する（これは、ルマコードが例えば２５５値の半分前後に問題なく広がっていることを意味する）が、ＨＤＲコンテンツは多くの場合、ピーク輝度のはるかに低いパーセンテージ、例えば１％前後でピークに達し得る（ＨＤＲ画像の少なくとも暗領域のデータは、符号の最大値の１００分の１において符号のあたりで広がる）。従って、現在の標準的な対数曲線を使用して符号化される場合、関連するＨＤＲコンテンツの殆どは８ビット又は１０ビットビデオレベルの僅かにのみ含まれる。これは、プレビュー画像内の激しく許容できない量子化アーティファクトを引き起こし、従ってカラリストがＨＤＲ画像をカラーグレード／補正するのを妨げる。

従って、そのような８ビット又は１０ビットの入力フォーマットを有する既存のディスプレイに適した符号を生成するために従来の符号割当関数がＨＤＲ画像に使用される場合、例えば画像内にある強度の殆どがごく少数の入力レベルにわたって分散されながら表示画質の大幅な低下が起こる。

線形の光の輝度をそれらが実際の技術的符号に合わせてディスプレイのレンダリング時にどのように見られるべきかにマップする（又はその逆も同様である）符号割当関数は、従来ＬＤＲモデル（gamma 2.2等）に主として基づいてきたが、１００ニット又はｃｄ／ｍ^２（以下ニットという用語及びｃｄ／ｍ^２の両方が使用される）前後のピーク輝度のＬＤＲディスプレイのみに最適であった。かかる手法が（例えば５０００ニットのピーク輝度を有する）ＨＤＲディスプレイに使用される場合、ビデオの暗い部分内のバンディング（例えば紺色の空の中のとりわけフェードに関するバンディング）等のアーティファクトが表示されるリスクがある。

従って、ＨＤＲ画像を最適にサポートするために、最も重要なビデオデータに十分な数の量子化レベルが割り当てられるように適した符号割当曲線が使用されるべきである。

しかし、適切な符号割当関数を見つけることは極めて重要なだけでなく困難でもある。実際、符号割当関数を決定するときの課題は、入力輝度値とルマコードとをどのように最適にマップするかである。選択されるマッピングは（例えば量子化誤差により）結果として生じる質に強く影響するため、実際にこれは極めて重要な問題である。更に、画質に対する影響は、符号化／復号されている画像の特性及び性質並びに画像をレンダリングするために使用される機器に依存し得る。

当然ながら、最も単純な手法は単純に均一の量子化を使用することである。しかし、かかる手法は多くのシナリオにおいて次善の性能をもたらす傾向がある。従って、非均一の量子化が適用される符号割当関数が開発されている。この符号割当関数は、とりわけ入力輝度値に対して非線形関数（ルマコードマッピング／トーンマッピング関数）とその後に続く線形量子化とを適用することによって行われ得る。しかし、先に述べられたように、多くのシナリオにおいて規定の関数が次善の結果をもたらすことが分かっている。例えば値当たり比較的少数のビット（典型的には８ビット）を用いてＬＤＲ回路によって処理できるようにするために、例えばＨＤＲ画像に符号割当関数を適用することはＨＤＲ画像の次善の変換、とりわけ画像値が少数の量子化レベル／符号のあたりに集中することをもたらす傾向がある。

ある意味で、ダイナミックレンジ適合は、あるダイナミックレンジ／最大輝度に関連するある符号割当関数から、別のダイナミックレンジ／最大輝度に関連する別の符号割当関数への変換と見なされ得る。ダイナミックレンジ適合の前後の画像を表す符号は同じ又は異なるビット数を有し得る。

例示的画像のシナリオ（図１０参照）を検討することによって問題を示すことができ、この画像は、幾つかの明るい街灯１００５が前にある平均的に明るくされた家１００３の隣の影に隠れる暗い怪獣１００１を含む夜のシーンを示す。更に、平均的な灰色の又は薄暗い車１００７があり得る。

図１０は、この画像の３つの表現を示す。左側には、（この実施例では５０００ニットまでの輝度を捕捉可能なＨＤＲカメラによって捕捉される）現実世界のシーンの実際の輝度が（ニット単位で）示されている（又は典型的には元のカメラ捕捉の５０００ニットのリファレンスレンジマスタＨＤＲグレーディングを表し得る）。捕捉データは典型的には高解像度で捕捉され、概して比較的少数の値まで減らされる。この特定の実施例では、５０００ニットまでのレンジを表すために１０２４のルマコードが使用可能である。但し、５０００ニットの１０２４ルマコードへの単純な線形マッピングは適当ではなく、それはかかるマッピングにより、暗領域内の区別を行うのに使用可能な値が非常に少なくなる一方、明領域では必要以上に多数の符号が使用可能になるからである。これは、暗領域内のバンディング等のアーティファクトを引き起こす。

代わりに非線形符号割当関数１００９（ＥＯＴＦ）が使用され、とりわけＳＭＰＴＥ２０８４内で規定される（対数ガンマ形の関数である）ＯＥＴＦが使用される。その結果、より多くの符号が暗領域に割り当てられ、明領域に割り当てられる符号が減る。図示のように、これは、怪獣１００１と車１００７との間の符号値の距離が、（ニット単位で測定されるとき）現実のシーン内の輝度ではその反対が当てはまるにもかかわらず、家１００３と車１００７との差よりも大きくなることをもたらす。同様に、明るい街灯１００５と家１００３との符号の差が低減される。ＳＭＰＴＥ２０８４のＯＥＴＦ（以下ＳＭＰＴＥ２０８４と呼ばれる）は１０００ニットのダイナミックレンジ（最大輝度）向けに設計されており、従って画像が１０００ニットのディスプレイ上に表示される場合、受信されるルマ値を直接復号するためにＯＥＴＦ ２０８４が使用され得る。

しかし、ディスプレイが異なるダイナミックレンジを有する場合、ＯＥＴＦ ２０８４を使用して復号すること及びそれをディスプレイのダイナミックレンジに直接（線形的に）スケーリングすることが適切な結果をもたらす可能性は低い。むしろ、人間の知覚は輝度レベルに対して直線性を有さないため、かかる手法は不所望の結果をもたらすことになる。例えば、より高いダイナミックレンジ（例えば５０００ニット）では、かかる手法は多くの（極上に明るくはないが）明るい被写体（家１００３等）が非常に明るい（明る過ぎる）ものとしてレンダリングされることをもたらす。同様に、より低いダイナミックレンジ（例えば１００ニット）では、かかる手法は多くの（極上に明るくはないが）明るい被写体（家１００３等）が非常に暗い（暗過ぎる）ものとしてレンダリングされることをもたらす。

一部のシナリオでは、異なるダイナミックレンジに関連するＥＯＴＦに関係するデータが（例えばBluray（登録商標）ディスク上に）与えられ得る。例えば図１０は、直接のレンダリング（即ち、第３の軸と第１の軸との間のマッピング、即ち連続した２つのマッピングの組合せ）にＬＤＲ画像が必要とされる場合のＨＤＲ画像の符号化に適した代替的なＥＯＴＦを示す。見て分かるように、更に多数の符号が暗値に割り当てられ、より少ない符号が明値に与えられている。この特定の実施例は、例えば従来のgamma 2.2 ＥＯＴＦを使用してＳＤＲグレードの（即ちＬＤＲの提示に適した）見た目をもたらすために使用され得る。かかる表現は、例えば旧来のＬＤＲディスプレイによって直接使用され得る。

一部のシステムでは、適合型ＥＯＴＦを使用することが提案されており、即ちＥＯＴＦは（異なるフレーム間で）時間的に変わり且つ／又は（異なる画像領域間で）空間的に変わり得る。

従って、一部のシナリオでは、１つの画像に複数のＥＯＴＦが提供され得る空間的に区別される手法が使用され得る。例えば画像が少数の領域（例えば画像の暗領域に対応する領域と明領域に対応する領域と）に分割され得、その領域ごとにＥＯＴＦが提供され得る。これは、画像の異なる部分の様々な特性についてＥＯＴＦが最適化されることを可能にすることができ、一部の画像（非常に暗い領域及び非常に明るい領域の両方を含む画像等）のレンダリングの改善をもたらし得る。

例えば、怪獣１００１を含む暗領域に対応する領域では、暗値に割り当てられる非常に多数の符号を有するＥＯＴＦが使用され得る。かかるＥＯＴＦは、暗いレンジ内の解像度を局所的に高め、それにより区別の改善をもたらす（例えば全領域が暗いにもかかわらず怪獣を見えるようにする）ことができる。同時に、より明るい領域として識別されている領域には異なるＥＯＴＦが提供され得る。例えば、車付近のより明るい領域に異なるＥＯＴＦが提供され得る。例えば車を含むより明るい領域に使用されるこのＥＯＴＦでは、暗値に少ない符号が割り当てられ、ミッドレンジにより多くの符号が割り当てられ得る。これもまた区別を改善し、バンディング等を減らし得る。従って、この手法を使用することは、（例えば量子化誤差が低減された状態で）シーン全体の表現を改善することを可能にする。同様に一部の事例では、例えば明るい画像についてよりも暗い画像について多数の符号を暗いレンジに与えるように、ＥＯＴＦがフレーム間で適合され得る。

しかし、典型的には１つの画像／フレームごとに１つのＥＯＴＦのみが与えられ、画像／フレーム群に対して１つのＥＯＴＦのみが与えられ、実際に多くの場合、ビデオシーケンスに対して１つのＥＯＴＦのみが与えられる。以下の説明は、画像ごとに及び画像シーケンスに対して１つのＥＯＴＦが提供されることに焦点を当てる。しかし、適合型ＥＯＴＦが使用される場合にオーバレイに関する特定の問題が起こることがあり、これについては後により詳細に説明される。

マージ済みのビデオ信号６は、記載されたＥＯＴＦの１つに対応するルマコードによって表わされ得ることが理解されよう。例えば、ビデオ画像信号がＳＤＲレンジに結び付けられるＥＯＴＦに基づくルマコードを含む場合、ルマコードから元のＨＤＲ値を再現することが依然として可能であること、従って画像が依然としてＨＤＲ画像の表現であることにも留意すべきである。

従って、ディスプレイが特定のダイナミックレンジに関連するＥＯＴＦによるビデオ信号を受信する場合、そのダイナミックレンジがディスプレイのダイナミックレンジにマッチしない場合にダイナミックレンジの変換を行うことが望ましい場合がある。しかし、先に述べられたように、それは単に線形スケーリングを行う事例ではない。むしろ人間の視覚系を反映するために、ダイナミックレンジ適合は（場合により区分的に線形でも）概して非線形であるべきである。例えば、ダイナミックレンジが大幅に高められても、輝度に関して暗レベルは概して高められるべきではない。即ち、暗信号は、ＬＤＲディスプレイのためのカラーグレーディング内で著しく圧縮されないことが多い。しかし、中位の輝度レベルは輝度に関して概して幾らかブーストされるべきであるが、多くの場合ブーストが大幅であり過ぎないことが重要であり、なぜなら、かかるブーストは明領域が多過ぎる人工的な見た目を作り出す場合があるからである。しかし、対照的に、非常に明るい被写体は極めて大幅にブーストされるべきであり、実際に最も明るい被写体（例えば暗い画像内の車のライト）については大抵の場合最高レベルに設定されるべきである。従って、より明るい要素の輝度レベルを高めるために概して追加のダイナミックレンジ及び高められた輝度が主に使用される、漸進的なダイナミックレンジマッピングが典型的には使用される。多くの異なるダイナミックレンジマッピングがあり得ることが理解されよう。

ダイナミックレンジマッピングの一実施例が図１２に示されている。この実施例では、ある閾値を下回る全ての輝度値に直線の線形マッピングが提供され、その閾値を上回る全ての輝度値に異なる線形マッピングが提供される。この手法は、暗い輝度レベル及び中程度の輝度レベルに対して比較的控えめなブースト（又はブーストなし）をもたらし得るのに対し、非常に明るい領域はそれよりも大幅にブーストされる。この効果は、現実世界並びに人間の視覚系の知覚の両方の典型的な輝度条件を反映する。

しかし、かかるダイナミックレンジマッピングは理想的なグレーディングへの近似のみをもたらす。１つの問題は、曲線が比較的単純であり、従って最適なダイナミックレンジマッピングを概して反映できないことである。もう１つの問題は、ダイナミックレンジマッピングが表示されている画像コンテンツの仮定に基づくことであり、そのためダイナミックレンジマッピングは現実世界のシーンの仮定上の典型的な画像を得るために最適化される。しかし、他の画像又は他のコンテンツの種類では、この曲線は多くの場合に著しい劣化を伴う理想的とは言えない性能をもたらし得る。

実際に本発明者らは、オーバレイデータについて特定の問題がしばしば起こることを認識した。例えば、多くの場合、オーバレイグラフィックスは基礎を成す画像よりも目立つ明るい画像物体として表示される。しかし、画像内の明るい被写体が極めて大幅にブーストされる（「極上に明るく」なる）べきであるのに対し、かかるダイナミックレンジ適合はオーバレイグラフィックスが気に障るほど、時には不快なほど明るくなることを引き起こす。従って、同じダイナミックレンジ適合を適用することは、オーバレイグラフィックスについて極めて不所望の効果を引き起こす傾向がある。

多くの実施形態において、ダイナミックレンジ適合はディスプレイにおいて行われる。これは、ダイナミックレンジ適合が個々のディスプレイの特定の特性に合わせて適合されることを可能にすることができ、多岐にわたるソースと共にディスプレイが使用されることを可能にし得る。多くのディスプレイにおいて、オーバレイグラフィックス（例えばディスプレイのメニュー）がディスプレイによって生成され、受信画像上にオーバレイされ得る。それらのオーバレイは、典型的には局所的に決定され、ディスプレイのダイナミックレンジを考慮に入れる適切な輝度でレンダリングされる。

しかし、オーバレイグラフィックスがディスプレイの外部で、例えばセットトップボックスによって取り入れられる場合、ディスプレイは単純に元の画像及びグラフィックスの両方を含む画像を受信する。次いでディスプレイは、オーバレイグラフィックスの気に障るレンダリングをもたらすレンジ適合を行う。例えばＢＤプレーヤによって字幕が追加される場合、それらの字幕は不快な輝度でＨＤＲディスプレイ上に提示されることが多い。

この問題は、グラフィックスが元の画像と混ぜられる画像（例えば半透明の字幕が使用される等）で特に問題となり得る。この場合、半透明のオーバレイは対応する画素の輝度を高める、例えば図１２のダイナミックレンジマッピングの閾値の輝度を上回る輝度をもたらす可能性がある。画像とオーバレイとの組合せの結果、高輝度ブーストが結果的に行われ得る。かかるブーストは、典型的にはオーバレイが明る過ぎると知覚されることに加え、基礎を成す画像に対して知覚される劣化をもたらし得る。例えば、字幕がオーバレイされた顔の画像では、標準的なダイナミックレンジ適合は明る過ぎる字幕をもたらすだけでなく、顔が字幕の表示領域で顔の残りの部分よりも明るく表示されることももたらし得る。従って、不自然な見た目が生じる。

この問題は適合型ＥＯＴＦが使用される場合に一層悪化し得る。例えば一部のシナリオでは、明領域とは異なるＥＯＴＦが暗領域に使用され得る。かかるシナリオに固定された（例えば出力ルマ値に対する入力ルマ値の固定されたマッピングを伴う）ダイナミックレンジ適合を適用すること、及びその後に続く局所的ＥＯＴＦに基づく適合された値の解釈は、グラフィックスオーバレイの効果的なブーストがグラフィックスの部分ごとに異なることをもたらす。例えば、ダイナミックレンジ適合は（例えば１０００ニットレンジに関係する）７２３のルマ値を（例えば５０００ニットレンジに関係する）例えば６１７の値にマップすることができる。しかし、この値は暗領域のＥＯＴＦでは例えば１１０ニットに対応すると解釈され得るが、明領域のＥＯＴＦでは例えば１５０ニットに対応すると解釈され得る。従って、グラフィックスオーバレイが暗領域及び明領域の両方にわたって広がる場合、意図されていないにもかかわらずグラフィックスの輝度が表示時に実際に変化する。従って、グラフィックスオーバレイにわたって揺らぎが生じる。

時間の次元において適合性があるＥＯＴＦが適用されるときも同じことが起こる。かかるシナリオでは、グラフィックスの輝度が異なるフレーム間で変化し、例えば脈動する字幕が生成されることを引き起こす。

これを図２２の実施例によって示すことができ、図２２は、異なる時点において生じ得るあり得る２つのＥＯＴＦを示す。この実施例では、ＴＭ１と名付けられたＥＯＴＦは第１のフレームに与えられるＥＴＯＦとすることができ、ＴＭ２と名付けられたＥＯＴＦは第２のフレームについて受け取られるＥＯＴＦであり得る。従って、これらの２つのＥＯＴＦは、ビデオシーケンスの異なるフレームに適用される２つの異なるダイナミックレンジマッピングを表す。

この実施例では、ＴＭ２が、第１の時点における受信ビデオ画素の輝度（又はルマ）に関するダイナミックレンジマッピング（ＥＯＴＦ、更にトーンマッピングと呼ばれることもある）である。このマッピングは実際には基礎を成すビデオコンテンツ向けである（即ちビデオが提示されるときに所望の見た目を与えるように設計されている）。しかし、画素がオーバレイを含む場合、（例えば幾らかの明るいテキスト又はメニューの色が基礎を成すビデオと混合されているため）そのことがより明るい輝度（１−α）＊ｖｉｄ（ｘ，ｙ）＋α＊グラフ（ｘ，ｙ）を有する画素をもたらす。ＴＭ２による処理は周囲のビデオ画素の輝度を超えて大きく値を増やさない可能性があるが、このダイナミックレンジマッピングは、少なくともグラフィックス／オーバレイ領域が急に非常に明るくならないことを規定する。代わりにＴＭ１が使用される場合、オーバレイからの追加の寄与が入力輝度をＴＭ１によって非常に強引にブーストされるレベルまで押し上げるため、オーバレイ部分が非常に明るくなる。

従って、提供されるダイナミックレンジマッピング（ＥＯＴＦ）が動的に時間変動する場合、オーバレイ画素（例えば字幕及びメニュー）の提示が異なるフレーム間で変わる。これは単に白色のメニューテキストがビデオと混合されたため、例えば暗値と明値との間を振動するものとして視聴者によって見られることになるが、かかる表示はその領域にとって不所望であり得る。代わりに、この手法の一部の実施形態はかかる画素を検出すること、次いで限られた輝度Ｌｉｍ＿ｖｉｄで、例えばグラフィックス画素に対して受信入力輝度（１−α）＊ｖｉｄ（ｘ，ｙ）＋α＊グラフ（ｘ，ｙ）よりも常に２０％明るくレンダリングすること、又は例えばメニュー内のテキストでは５０％明るく、メニューの長方形内の背景グラフィックス画素では１０％明るくレンダリングすることを可能にする。

従って、特定のディスプレイにマッチさせるためのダイナミックレンジ適合は標準的なビデオにとって非常に難しいが、グラフィックスオーバレイを含むマージ済みの信号では特に困難である。実際に、グラフィックスがディスプレイの外部にある別個の装置において単純に追加される従来の手法は著しいアーティファクトが取り入れられることを招く傾向があり、とりわけ例えばグラフィックスの輝度の歪み及びばらつきをもたらす傾向がある。

国際公開第２０１４／１３０２１３号では、グラフィックスのオーバレイ、即ちビデオに対するグラフィックスのマージは、ディスプレイによって外部装置に与えられる情報に応じて行われるべきであると提案されている。従って、国際公開第２０１４／１３０２１３号で提案されているシステムでは、ディスプレイがディスプレイに関係するデータ、例えばディスプレイがＬＤＲディスプレイであるか、又はＨＤＲディスプレイであるかを外部装置に伝える。それに応答し、外部装置がグラフィックスオーバレイの特性をマージ前に適合し、その後マージ済みの画像をディスプレイに与え、ディスプレイはグラフィックスオーバレイが一切ない画像であるかのようにその画像の表示に進む。従って、この手法では、ディスプレイは単純に全ての画像を同じ態様で扱うが、外部装置がディスプレイから受信されるディスプレイ特性データに基づいてグラフィックスオーバレイをマージ前に適合させることができる。

図１〜図７及び図９のシステムでは、異なる手法が取られている。これらの実施例では、ディスプレイの特定の特性を考慮することなしにマージが行われる可能性があり、即ち外部装置は使用されている特定のディスプレイのいかなる情報も有さない可能性がある。マージ前のそれぞれの成分の適合は行われない。しかし、外部装置はディスプレイにマージ特性情報を与え、その情報は、適合性のあるダイナミックレンジ適合を行い、ディスプレイの特定のダイナミックレンジで表示されるように画像を新たな目標に向けるためにディスプレイによって使用され得る。

従って、目下の手法では、ソースとなる外部装置（例えばＢＤプレーヤ）が、ディスプレイのダイナミックレンジ適合を制御し又は操縦し得る追加情報をディスプレイに与えるフィードフォワード構造が適用される。この手法は、固定されたダイナミックレンジ適合が使用され、マージ前の且つ上流で供給される情報に基づくグラフィックスオーバレイの修正のみが行われる従来技術のフィードバック手法とは対照的である。

この手法は幾つかの利点をもたらす。まず多くの実施形態においてこの手法は、グラフィックオーバレイ及び／又は画像のレンダリングが特定のディスプレイにより正確に適合された状態で、大幅に改善された画像が生成されることを可能にする。例えば、それぞれのディスプレイの特性を直接反映するＥＯＴＦが使用され得る。実際に、多くの実施形態において、画像コンテンツ及びオーバレイコンテンツのそれぞれについてダイナミックレンジ適合が個々に最適化され得る。例えばビデオ画素又は画像画素として指定されている画素では、特定のダイナミックレンジ（及びディスプレイの他の特性）に対する画像コンテンツの（何らかの態様で）最適化されたマッピングを反映するビデオダイナミックレンジマッピングが適用され得る。オーバレイ画素として指定されている画素では、グラフィックスオーバレイの所望のレンダリングを与えるためにグラフィックスダイナミックレンジマッピングが適用され得る。

従って、多くの実施形態において、それぞれビデオ／画像コンテンツについて及びグラフィックスオーバレイについて、この手法は個々に最適化されたダイナミックレンジ適合を可能にし得る。

この手法は、とりわけダイナミックレンジ適合に対する制御がディスプレイと共に残ることを可能にすることができ、即ち入力ダイナミックレンジをディスプレイのダイナミックレンジに適合させるための機能をディスプレイが含む。ダイナミックレンジマッピング及び実際にＥＯＴＦがディスプレイの正確な特性について最適化され得るため、これは非常に有利であり得る。この手法は多くの場合、グラフィックスオーバレイ、とりわけビデオ及びグラフィックス（特に透明なグラフィックス）の両方からの寄与が存在する領域に対するより柔軟なマッピング及び制御をもたらし得る。ディスプレイは、例えばグラフィックスを（例えばディスプレイの利用者によって設定される）所定の輝度に設定することができる。

更に、多くの状況において、改善された資源がディスプレイでは使用可能である。例えば、典型的にはテレビは比較的高価な品物であるのに対し、例えば多くのＢＤプレーヤは非常に安価な品物である。従って、テレビの方が大幅に多い計算資源を有することが多く、実際に設計及び開発に使用可能な財源も大幅に多い場合がある。従って、テレビのダイナミックレンジ適合は、安価なＢＤプレーヤのダイナミックレンジ適合よりも多くの場合優れている可能性がある。記載の手法は、任意の適合がマージ前であることを必要とするのではなく、マージが行われる場所の更に下流でダイナミックレンジ適合が行われることを可能にする。これは、オーバレイを含むマージ済みの画像についてもかかる改善されたダイナミックレンジ適合が利用されることを可能にする。

従って、この手法は、下流のダイナミックレンジ適合がそれぞれの画素に合わせて適合されることを可能にし、とりわけそれぞれの画素の特定のマージ特性に合わせて適合されることを可能にする。実際に一部の実施形態では、画像及びグラフィックスコンテンツの個々に最適化された適合がマージの下流で実現され得る。

行われる正確なダイナミックレンジ適合及びダイナミックレンジマッピング、並びにマージ特性に対する依存関係は、それぞれの実施形態の好み及び要件に応じて様々な実施形態の間で異なり得る。

以下、アダプタ７１の幾つかのあり得る手法について説明され、とりわけマージ特性に応じて区別されるダイナミックレンジマッピングの幾つかの実施例が説明される。但し、これらは例示に過ぎず、他の実施形態では他の手法が使用され得ることが理解されよう。

一部の実施形態では、対応する画素が画像／ビデオ画素であるか、又はオーバレイグラフィックス画素であるかを値Ａによって示されるマージ特性が反映し得る。従って、この実施例では、画素は、基礎を成す画像／ビデオの画素に対応すると見なされ得るか、又はオーバレイ画素であり得る。かかる実施例では、画素がビデオ画素であると示される場合に第１のダイナミックレンジマッピングを適用し、画素がオーバレイ画素であると示される場合に別の第２のダイナミックレンジマッピングを適用するようにアダプタ７１が構成され得る。

例えば、第１のダイナミックレンジマッピングは、高輝度レベルを得るための非常に大胆なブーストを行うことにより、入力ＬＤＲダイナミックレンジをＨＤＲダイナミックレンジにマップすることができる。例えば図１２のものに対応するマッピングが、第１のダイナミックレンジマッピングに使用され得る。対照的に第２のダイナミックレンジマッピングは、高輝度レベルへの追加のブーストを一切行わない単純な線形関数であり得る。実際に、第２のダイナミックレンジマッピングは、ＬＤＲディスプレイ上に提示されようがＨＤＲディスプレイ上に提示されようがオーバレイ画素の輝度が全く同じであることをもたらす単純な恒等写像であり得る。従って、かかる手法の結果として、例えば街灯又は太陽等の明るい光源が非常に高いＨＤＲ輝度レベルで表示される一方、字幕等のオーバレイが依然として通常の輝度レベルで表示される状態でＨＤＲシーンの表現が実現され得る。

かかる手法の特定の実施例として、例えば画素がオーバレイ画素であることを示し得るマージ特性が生成され得る。オーバレイのソースは、例えば字幕又はメニューを生成する生成器等、例えばローカルグラフィックス生成器からとすることができる。或いは、オーバレイは第２のビデオ画像信号の一部として受信され得、この信号は例えばグラフィックス又は字幕等のオーバレイコンテンツを含み得る。

かかるシナリオでは、輝度値が所与の所定範囲に制限されるように、アダプタ７１は画素がオーバレイコンテンツであると示されている領域内の画素を適合させるように構成され得る。これは、ディスプレイの輝度能力に関係なく、オーバレイが妥当な輝度範囲内で提示されることを確実にし得る。

所定の範囲は、例えばディスプレイではディスプレイのダイナミックを反映する予め設定された範囲であり得る。例えばこの範囲は、例えばピーク輝度の１０％の上限と、例えばピーク輝度の１％及び１ニットのうちの大きい方の下限とを有し得る。或いは又は加えて、所定の範囲は視聴者等によって決定され得る。

この手法は、カテゴリごとに別個のダイナミックレンジマッピングが選択される状態で、３つ以上のカテゴリに容易に拡張され得ることが理解されよう。例えば、ある画素の値Ａはその画素がビデオ画素か、字幕画素か、メニュー画素かを示すことができ、あり得る３つのダイナミックレンジマッピングのうちの１つがしかるべく選択され得る。従って、この実施例では、グラフィックスカテゴリが、特定のグラフィックスの種類を示す複数の下位カテゴリへと更に細分される。

この手法は、値Ａによって示される特定のカテゴリに所与の画素をハード割当て（hard allocation）することに限定されないことも理解されよう。例えば値Ａは、所与の画素の画像に対するグラフィックスの相対的な重みを示し得る。次いでアダプタ７１は、値Ａが例えば５０％を下回る場合に第１のダイナミックレンジマッピングを選択し、例えば５０％を上回る場合に第２のダイナミックレンジマッピングを選択することができる。

多くの実施形態において、アダプタ７１は、画素がビデオ／画像信号に属することを値Ａが示す画素の輝度値のブーストに対して、画素がオーバレイに属することを値Ａが示す画素の輝度値のブーストを低減するように構成され得る。この低減は、とりわけ（例えばアダプタ７１への入力信号の最大輝度レベルの５０％、６０％、７０％、又は８０％の）閾値を上回る輝度値であり得る高輝度値に対するものであり得る。

一部の実施形態では、オーバレイ画素であると示されている画素の輝度レベルを、ダイナミックレンジ適合の出力に関する最大可能輝度レベル未満の限界輝度レベルに制限するようにアダプタ７１が構成され得る。とりわけダイナミックレンジ適合は、入力ダイナミックレンジから出力ダイナミックレンジへのダイナミックレンジマッピングを行うことができる。出力ダイナミックレンジは、最大可能輝度レベルを有し得る。しかし、（値Ａによって示される）オーバレイカテゴリに属する画素については、ダイナミックレンジマッピングがその最大レベルを下回る最大輝度レベル又は限界輝度レベルに制限される。従って、オーバレイ画素の限界輝度レベルは非オーバレイ（ビデオ）画素についてよりも低く、多くの実施形態において（出力ダイナミックレンジの最大値を除き）ビデオ画素の輝度限界がない場合がある。

一部の実施形態では、所与の輝度レベルまで、マージ特性とは無関係に（即ち値Ａとは無関係に）全ての画素に対して同じダイナミックレンジマッピングが適用され得る。しかし、この輝度レベルを上回る値では、マージ特性の様々な値に対して異なるダイナミックレンジマッピングが適用され得る。特定の実施例として、最大出力輝度レベルがオーバレイ画素の最大値に限定されることを除き、全ての画素に対して同じダイナミックレンジマッピングが適用され得る。

かかる手法は、例えば満足な結果を与える効率的なマッピングをもたらすことができ、例えば明るいグラフィックスが灰色になり過ぎないことを確実にしながら、灰色のグラフィックスがＨＤＲディスプレイについてサポートされることの両方を可能にする。

一部の実施形態では、アダプタ７１は、オーバレイ画素であると示される画素にほぼ同じ輝度レベルを割り当てるように構成され得る。例えば、ビデオ画素には通常のダイナミックレンジマッピングが適用され得る一方、グラフィック画素には単純に所定値が与えられる。かかる手法は、グラフィックスの（ディスプレイにとって）適切な提示が実現されるだけでなく、その提示が安定することも確実にされる非常に満足な結果をもたらし得る。例えば、かかる手法は適用されるＥＯＴＦ内の適合の変化の影響を受けず、画像にわたる又はフレーム間の揺らぎを防ぐ。

図１１は、本発明の一部の例示的実施形態による方法を示す。

ステップ１０１で、マージ済みの画像データ（マージ済みのビデオ信号６）が受信される。ステップ１０２で、ＬＳＢの１つ又は複数が読取機７２によって読み取られる。ステップ１０３で、符号器側で行われるマージのマージ特性を示す値Ａが生成される。ステップ１０４で、生成された値Ａに応じて画像に対してダイナミックレンジ適合が行われる。ステップ１０５で、その結果生じる画像が表示される。

例えば、ステップ１０２とステップ１０３とが単一のステップ内で実行され得ることが理解されよう。この方法は更なるステップを含み得ることも理解され、例えばメタデータ又はフラグが読み取られ得る。一実施例として、入力において信号５６が読み取られ得、ステップ１０２及び／又は１０３の操作を制御するために取得情報が使用され得、例えば取得情報は何れの値Ａが色成分から抽出されるべきかを制御し得る。取得情報は、ステップ１０４の操作、即ちステップ１０４で適合がどのように行われるべきかも制御し得る。例えばメタデータは、何れのＬＳＢが何れの情報を含むかを示す情報を含み得る。一部の実施形態では、生成される値Ａが、関連する最小有効ビットの値として直接決定され得る。他の実施形態では、生成される値Ａは適切なＬＳＢから導出される値であり得る。

例えば、オーバレイの透明度を示すために２個又は３個のＬＳＢを使用する選択肢があり得る。読取機７２は、２ビットの指示では（３を含む）０〜３の範囲内の値を読み取ることができ、３ビットのインジケータでは７を含む０〜７の範囲内の値を読み取ることができる。

例えば信号５６内のメタデータから、受信側のシステムは２ビットインジケータが使用されているか３ビットインジケータが使用されているかを確認することができ、例えば透明度値（２５％、３７．５％、５０％等）を生成するためにそれを使用することができる。次いで、この値Ａはステップ１０４で使用され得る。

多くの実施形態において、ビデオ信号は、例えばマージ特性がどのように符号化されたかを示す特定のメタデータ又はフラグを含み得る。

フレーム又はシーン（更にはムービー）がオーバレイを一切含まない場合、符号器がかかる情報をビデオ信号に追加すれば有用な場合がある。復号器はその情報を読み取り、オーバレイを一切含まないことを知るため、その情報に基づいて例えばその後のフレーム、シーン、又はムービーを無視することができる。従って、復号器は、次のフレーム、シーン、又はムービー内で読み取るステップ及び生成するステップを飛ばし、ステップ１０５に直接進んで動的適合を行い得ることを「知る」。復号器は、信号の全ビットをビデオ情報として使用し、それによりビデオの質を高めることもできる。

この方法の一実施例は以下の通りである。図４〜図７に関して説明されたように、符号器５１によって生成されるマージ済みのビデオ信号６が提供される。この実施例では、画素がビデオ画素であることを示すために「１」の値Ａが使用され、画素がオーバレイ画素であることを示すために「０」の値が使用される。

復号器がマージ済みのビデオ信号６を受信し、読取機７２（図９参照）がＡの値を下記の通り読み取る。

ある画素についてＡ＝０の場合、その画素はビデオ画素であり、ステップ１０４で動的適合が行われる。殆どの画素でこの動的適合が値の変化をもたらす。

Ａ＝１の場合、ダイナミックレンジ適合が行われず、画素値が変更されない。従って、ダイナミックレンジ適合が変更を加えることなしに全てのグラフィックス／オーバレイがレンダリングされ得る。とりわけ、これは、例えば白色のオーバレイがＨＤＲ輝度レベルまでブーストされないことをもたらし得る。

これは画素のマージの種類が示される実施形態の一実施例である。この実施例では、純粋なビデオ（Ａ＝０）及び純粋でないビデオ（Ａ＝１）という２つのマージの種類が使用され、従って２進値で十分である。

このスキームの改変形態は下記の通りであり得る。純粋なビデオは「０」の値Ａで示され、メニュー画素は「１」の値で示され、字幕画素は「２」の値で示される。

ある画素についてＡ＝０の場合、その画素はビデオであり、ダイナミックレンジ適合が行われ、多くの画素の値の変化をもたらす。

Ａ＝１の場合、その画素はメニュー画素であり、画素値は変更されない。

Ａ＝２の場合、その画素は字幕画素であり、受信側は何れの強度値、従って何れの成分値が字幕について最も優れた視認性をもたらすかを示す表を使用することができる。画素値はその値で置換される。

これは画素のマージの種類又はカテゴリが示される実施形態の更なる実施例である。この実施例では、純粋なビデオ（Ａ＝０）、メニュー（Ａ＝１）、及び字幕（Ａ＝２）という３つのマージの種類がある。

メニュー画素では、一部の実施形態では（例えば異なる表によって与えられる）「最良値」があり得、画素について、入力信号の成分値がかかる値によって置換され得る。

例えば０〜７の値を使用し、０が１００％ビデオであり７が１００％オーバレイであるビデオとオーバレイとの混合では、結果は例えば２つの極値Ａ＝０（ビデオのみ）及びＡ＝７（オーバレイのみ）の結果の間にある。例えば、０〜７の関連値Ａを有する画素値では以下の結果が求められ得る。
輝度値（Ａ）＝輝度値（Ａ＝０）＋（Ａ／７^＊（輝度値（Ａ＝７）−輝度値（Ａ＝０））

又は簡単に言えば、２つの極限の画素値間の線形スケーリングが行われ得る。従って、ディスプレイは、画素の透明度レベルに応じてダイナミックレンジ修正量をスケーリングすることができる。

一部の実施形態では、例えばビデオ又はオーバレイをより強調する場合、スケーリングが非線形であり得る。例えば、スケーリングは対数スケールに基づき得る。

この実施例では、適合が画素の値Ａに依存し、即ち画素ごとに決まる。より複雑な実施形態では、復号器が値Ａの全て若しくは群、又は画像若しくは画像の一部にわたる値Ａの分布を解析し、一部の（又は全ての）画素の動的適合を（画像内のＡの値を解析することに応じて）修正することができる。例えば以下のことが言える。

画像の一部がメニューである場合、画像全体がＬＤＲで表示され得る。例えば、メニューの四角形の周りのビデオ領域が意図される元のブーストを行い得る一方、ディスプレイは、例えばメニューが輝度Ｙｘよりも明るくなく、場合によってはＹｙよりも暗くないように、メニューが何らかの（ＬＤＲ）輝度値の近くにある態様で変換を適用し得る。そのような比較的単純な方策は混合色に必要とされる正確な値を常に計算しない可能性があっても、より幅狭く振動するより現実的なメニューの色を作り出す傾向がある。全ての画素の最終結果が境界の範囲内にあるようにテレビが色変換を計算し得る様々な態様があり、例えばテレビはそれを反復的に行うことができる。

符号器は、例えばシーン又はショット内の画像に関する何らかの統計情報を（信号５６又は別の信号内で）与えることができる。最も単純な形態では、例えば符号器は画像内に更には全ビデオ又はムービー内に幾らかのオーバレイがあるかどうか、及びメニュー部分があるかどうかを示すことができる（例えばメニュー部分に関する何らかのパラメータが統計的に伝えられ、その部分の処理又はその部分の色特性の識別を助けることができる）。

図１２は、例示的なダイナミックレンジ適合を概略的に示す。「ダイナミックレンジ適合」は、任意の種類のダイナミックレンジ適合色変換（即ち信号がその輝度をあるレンジ、例えばＹニットの最大輝度レベルから別のレンジ、例えばＸニットの最大輝度レベルに適合させるように色変換される）の簡略形と見なされ得る。色変換は、クロマの変換又は変更を含む必要はない（但し、含み得る）。

横軸は入力信号の輝度値を表し、例えば２０００ニットの最大輝度レベルで表示するためにグレーディングされ得る。入力信号は、最大５０００ニット提供可能なディスプレイ上に表示される。この実施例では、入力信号が２０００ニットの最大輝度値にグレーディングされ、ディスプレイのより高いダイナミックレンジに合わせてマップ、即ち適合されなければならない。

これが図１２のグラフによって概略的に示されており、このグラフは入力信号の輝度値（ＩＬ、入力輝度値）に応じたディスプレイの輝度値（ＯＬ、出力輝度値）を与える。ＯＬとＩＬとの関係が線１１０によって与えられる。図１２に示されているダイナミックレンジ適合／マッピングを使用することは、線１１０の部分１１０ａによって示されているように暗部（スケールの下端付近の輝度値）が全てのディスプレイ上で同じくレンダリングされる一方、線１１０の部分１１０ｂによって示されているように明るい光（スケールの上端付近の輝度）がブーストされる（即ち輝度が高められる）ことをもたらす。従って、部分１１０ａの傾きはとりわけ１であり得るのに対し、部分１１０ｂではそれよりも高い。

光等の明るい被写体をブーストするために、ディスプレイのより高いレンジが使用される。

この実施例は、２０００ニットにグレーディングされた信号が、５０００ニットの輝度まで提供可能なディスプレイに合わせて「アップグレード」される状況に関するものである。

他の実施例は以下のものを含む。
１．入力は５０００ニット用であり、出力は１００ニット（旧来のＴＶ）又は１０００ニット前後（初期のＨＤＲ ＴＶ）である。
２．入力は１００ニット用であり、出力は１０００ニット前後である。

この説明はこの実施例に限定されるものとして解釈されるべきではない。入力信号がグレーディングされる輝度範囲に対応しない輝度範囲をディスプレイが有する場合、その輝度範囲がより大きかろうが小さかろうがダイナミックレンジ適合が行われ得、従ってアップグレード（ダイナミックレンジの増加）並びにダウングレード（ダイナミックレンジの低減）が行われ得る。

図１３は、ダイナミックレンジマッピングの一実施例を示し、値Ａはビデオの画素では０、字幕では１とすることができる。値Ｒが読み取られ、Ａ＝０の場合にはダイナミックレンジ適合（ＤＲＡ：dynamic range adaptation）が行われる。Ａ＝１の場合にはＤＲＡが行われない（非ＤＲＡ）。即ち、ダイナミックレンジ適合は、Ａ＝０の場合には輝度値を修正するダイナミックレンジマッピングを適用し得るが、Ａ＝１の場合には輝度値が変更されない直接の１つのダイナミックレンジマッピングを適用する。

別の実施例として、グラフィック画素が固定されたダイナミックレンジマッピングに（ビデオ程ではないが）かけられ得るのに対し、ビデオ画素は（シーンごとに異なる）可変ダイナミックレンジマッピングにかけられる。ビデオ画素に適用されるダイナミックレンジマッピングはより複雑なものとすることもでき、例えば曲線が更に急であり且つより複雑であり得る。

図１４は更なる実施例を示す。この事例では、値Ａについて３つの値があり得る。

Ａ＝０の場合、その画素はビデオ画素であり、画像に適したマッピングに対応するダイナミックレンジ適合が行われる。このダイナミックレンジ適合は、概して多くの画素の値を変える（ＤＲＡが行われる）。

Ａ＝１の場合、その画素はメニューであり、画素値は変更されない（ＤＲＡなしに対応する）。

Ａ＝２の場合、その画素が字幕画素であることを示す。この場合、ディスプレイは強度に関する情報、従って字幕について最も優れた視認性をもたらすと考えられる成分値を与える表を有する。次いで、画素値が索表に基づいて所定値に設定される（表はそのディスプレイ上の字幕に最適であると見なされる固定値を与える）。

従って、この実施例では、画像の表示前に画像の画素が適合にかけられる。適合パラメータ（即ち適合がどのように行われるか）は、最小有効ビット内で読み取られる１つ又は複数の値、即ち値Ａによって示されるマージ特性によって決まる。値が０の場合、適合はＡ＝１及びＡ＝２の場合と異なる。

上記の実施形態では、比較的少数のあり得る値が値Ａに使用され得る。値は、マージに関する情報、とりわけ画素がオーバレイかどうか及び／若しくはオーバレイを含むかどうか、並びに／又はその程度に関する情報を伝えるために使用されるビットの任意の組合せと概して見なされ得る。これは様々な態様で実施され得る。例えば上記の実施例では、色成分のうちの１つ（成分Ｉと呼ばれる）の２ビットが以下のように使用され得る。
０＝ビデオ
１＝メニューのみ
２＝字幕のみ
３＝ビデオと字幕及び／又はメニューとの両方

この実施例では、ＬＳＢの１つ又は複数内の少なくとも１つの値がオーバレイの種類を示し得る。

これはやはり混合の種類についての指示の一実施例であり得る。

この実施例では、「純粋な画素」に関する４つの混合の種類についての指示、即ち、Ａ＝０、１、２、及び混合型の画素についての１つの種類の指示、即ちＡ＝３がある（「純粋な」という用語は入力信号の１つのみの寄与、即ち入力画像のみの寄与又はオーバレイ信号の１つのみの寄与を示し、「混合」という用語は信号の少なくとも２つからの寄与を示す）。

混合型の画素では（言及された２つのＬＳＢ内でＡ＝３の場合）、字幕及び／又はメニューの透明度が例えば他の２つの成分（単純にするためにＩＩ及びＩＩＩで示す）に関する最小有効ビットの２つ内で与えられ得る。成分Ｉの２個の最小有効ビットが「３」の値を有する場合、それはその画素が純粋な種類の画素ではなく混合型の画素であることを示す。例えばその画素は５０％がビデオで５０％が字幕とすることができ、そのため字幕は５０％の透明度Ｔを有する（又は例えば５０％がビデオで５０％がメニューであり得る）。次いで、読取機７２は他の２つの成分ＩＩ及びＩＩＩについて２個の最小有効ビットを引き続き読み取ることができる。他の成分の最初のもの、例えば成分ＩＩについて、読取機７２は２個の最小有効ビットを読み取り０の値を決定する。この値は、例えば混合内に字幕の寄与がないことを示す。読取機７２は残りの成分、この場合には成分ＩＩＩを更に読み取ることができ、例えば２個の最小有効ビット内に値２があることを明らかにすることができる。この値は、例えば５０％のビデオと５０％のメニューとの混合を示し得る。代わりにその画素が５０％のビデオと５０％の字幕である場合、読取機７２は第１の成分の２個の最小有効ビット内の２の値及び他方の０の値を読み取ることになる。

これはマージの種類の情報並びにマージパラメータの両方が提供される実施形態の一実施例である。

これは全て実施例で与えられており、符号化の更に多くのあり得る態様が存在する。

僅かに異なるスキームは以下の指示を使用するものである。
０＝ビデオ
１＝オーバレイ、又はオーバレイとビデオとの混合

最初の実施例ではこの情報のみが使用される。

このスキームは、この方法の効率的利用を実現しながら単一ビットのみを使用する低複雑度の実装を可能にすることが多い実施形態を具体化する。行われる唯一の区別は、ビデオと、オーバレイであろうがオーバレイとビデオとの混合であろうが、それ以外とであり、字幕、メニュー、ロゴ、広告等であろうがオーバレイの性質は無関係である。

僅かに複雑な実施形態では、オーバレイの透明度が、例えば別の成分内の最小有効ビットのうちの２つにおいて与えられる。

このスキームは、この方法の効率的利用を実現しながら最少数のビットを用いた低複雑度の実装を可能にすることが多い実施形態を具体化する。

本発明の上記の実施形態及び他の実施形態は、可変長符号化手法を使用して実行され得る。

マージが行われると、この手法はマージに関する情報を与え、とりわけマージ量に関する情報を与え得る。

しかし、マージが行われていない場合、とりわけ画素がビデオのみの場合、画素値に関するできるだけ多くの情報を与えることが重要であり得る（即ち犠牲にするビットをできるだけ少なくするために）。

一部の実施形態では、画素の種類（即ちその画素がビデオであるか、又はオーバレイであるか、オーバレイの種類、及び／又はそれらの混合）及び／又はマージパラメータ（透明度パラメータ又は混合パラメータ）を示す成分のＬＳＢの数が、画素のマージの種類に応じて可変である。例えば画素がビデオのみである場合、ＬＳＢの数は画素が混合である場合よりも少ない。

例えば上記で示された２つの実施例では、成分Ｉの２個の最小有効ビット内の指示が０である（その画素がビデオのみであることを示す）場合、混合がないため、成分ＩＩ及び成分ＩＩＩの２個の最小有効ビットが混合パラメータを含む必要はない。

これらの２個の最小有効ビットは、その画素の輝度値に関する更なる詳細を与えるために使用され得、即ち値の解像度を高めるために使用され得る。

従って、マージの種類及びマージパラメータを示す値に使用されるＬＳＢの数は、場合によりマージの種類に応じても変わり得る。可変長符号化方法が使用される場合、何個のＬＳＢが使用されるかが復号器側で知られる必要がある。そのために、信号が符号化長信号と共に与えられ得る。符号化長信号を与える様々な態様がある。符号化長信号を与える１つの簡単な手法は、マージの種類も示す値を使用することであり得る。その場合、符号化長信号はマージの種類によって与えられる。信号が純粋な信号、従って「純粋な種類」のものである場合、マージ量に関する情報は不要である。

純粋なビデオ又は純粋な字幕等の単純な種類の画素については、追加の情報は不要である。しかし、混合型の画素、例えば字幕とビデオとを混合することによって形成される画素の種類では、マージ量（例えば５０％−５０％の混合であるか、又は２５％−７５％の混合であるか）に関する追加情報が有用な場合があり、幾つかのＬＳＢ内に符号化され得る。画素の構成が単純である、即ちマージが行われていない場合、マージに関する全情報を与えるのに必要なＬＳＢの数はより複雑な状況よりも少ない。

復号器側では、復号器は画素のマージの種類が示されるＬＳＢを読み取り、前記ＬＳＢ内の値に応じて続行する。画素が混合型であることをマージの種類が示す場合、マージパラメータを示すＬＳＢが読み取られる。読み取られる情報に基づいて動的適合が行われる。画素がビデオのみであることをマージの種類が示す場合、マージパラメータを示すＬＳＢはないが、代わりに前記ＬＳＢがビデオ情報（例えば輝度値）を含み、復号器はそれをそのようなものとして解釈する。

同様に、フレームがビデオのみを含むことがフラグによって示される場合、マージの種類及びマージパラメータに関する情報を伝えるのに必要な前記フレーム内のＬＳＢはなく、前記フレーム内の全ての画素の全てのＬＳＢがビデオ情報を伝えるために使用され得る。これは可変長符号化の非常に極端な実施例であり、符号化長信号を与える低複雑度の態様である。

或いは又は加えて、その後のシーンでマージの種類の指示のみを使用する代わりに、特定の色成分の３個のＬＳＢ内でマージ量に関する更なる（細かい）詳細も与えられることをフラグが示し得る。これは、やはり可変長符号化信号が復号側に与えられることを意味する。

別の実施例として、様々な数のＬＳＢを使用する、符号化において使用され得る幾つかの可能なコード化スキームがある。信号５６内で、復号側にマージ情報を伝えるために特定数のＬＳＢを使用するあるコード化スキームから、より少ない又はより多い数のＬＳＢを使用する別のコード化スキームに符号器が切り替えるときを復号側に知らせ得る信号が与えられる。その信号は符号化長信号も構成し得る。

一部の実施形態では、マージの指示、即ち１つ又は複数のマージ特性の指示が、Ｒ値、Ｇ値、Ｂ値等の色成分値の１つ又は複数のＬＳＢ内に挿入され得る。一部の実施形態では、これらの値が可逆符号化形式を使用してその後符号化される（又は符号化されないが未処理形式で直接伝送される）場合があり、従ってかかる実施形態では受信値が伝送値に直接対応すると想定することができ、即ち復号器は受信ビットが伝送ビットと同一であると見なすことができる。従って、かかる実施例では、マージデータが復号器において正しいと概して想定され得、よって直接使用され得る。

一部の実施形態では、非可逆符号化を使用して色成分値が符号化され得る。そのような一部の実施形態では、マージ特性を示す受信ＬＳＢが相変わらず正しい、即ち値Ａを決定するために受信値が直接使用され得ると依然として想定され得、ダイナミックレンジ適合がしかるべく適合され得る。この実施形態は時として誤りをもたらし得るが、多くの実施形態において許容可能であり得る。

他の実施形態では、他の予防手段が使用され得る。例えば一部の実施形態では、マージデータの誤り訂正符号が使用され得る。かかる符号は追加のビットを必要とし得る。簡単な符号の一実施例として、ある画素がビデオ画素であるか、又はオーバレイ画素であるかを示すビットがＲ値、Ｇ値のみならずＢ値のＬＳＢに複製され得る。復号器は３個のビットを復号し、復号ビットを多数決で選ぶことができる。

別の実施例として、一部の実施形態では、空間フィルタリング又は時間フィルタリングとその後に続くハード判定が適用され得る。例えば、空間フィルタが受信データビットに適用され得、フィルタ済みの出力値を閾値と比較することによって最終的なビット値が策定され得る。この実施形態は、オーバレイが典型的にはブロック単位で与えられ、近くにある比較的多数の画素もグラフィックコンテンツでない限り、それぞれの画素が滅多にグラフィックコンテンツではないことを活用し得る。この手法は、例えばメニュー又は字幕内の単一画素がオーバレイ画素ではないと誤って検出され、従って高輝度にブーストされるのを防ぎ得る。従って、この手法は、字幕又はメニュー内に例えば極度に明るい単体の画素（又は非常に明るい画像物体内に暗い画素）があるリスクを減らし得る。

一部の実施形態では、所与の画素に対するダイナミックレンジ適合は、所与の画素の近くにある複数の画素の値Ａに依存し得る。この実施形態は、例えば（近くの画素の）複数の値Ａの関数であるダイナミックレンジ適合によって使用されるダイナミックレンジマッピングによって、又は例えば上記の空間フィルタを適用することによって実現され得る。

一部の実施形態では、近くにある画素間のダイナミックレンジ適合の差を制限するようにダイナミックレンジ適合が構成され得る。例えば、画素がビデオ画素に指定されているか、若しくはオーバレイ画素に指定されているかに応じて第１のダイナミックレンジマッピングを選択するか、又は第２のダイナミックレンジマッピングを選択するかのハード判定ではなく、２つのダイナミックレンジマッピングの加重組合せとして実際のダイナミックレンジマッピングが決定され、重みは近くにある画素間で所与の量だけ変わるように制限される。

一部の実施形態では、複数の画素について適切なダイナミックレンジマッピングを決定するようにアダプタ７１が構成され得る。例えば、ダイナミックレンジマッピングは４画素又は１６画素のグループ単位で適用され得、選択されるダイナミックレンジマッピングは全ての画素のマージ特性に依存する。例えば、ブロック内のより多くの画素がオーバレイ画素よりもビデオ画素であると示される場合、ビデオダイナミックレンジマッピングが適用され、さもなければオーバレイダイナミックレンジマッピングが適用される。

一部の実施形態では、マージ特性を示すビットを含めることがビデオ符号化の少なくとも一部の後で行われる。例えば一部の実施形態では、（例えば空間周波数変換に基づいて）知覚的な非可逆ビデオ符号化がまず行われ、その結果生じるビットの（例えばランレングス符号化を用いた）可逆符号化がその後に続く。かかる実施例では、非可逆ビデオ符号化出力のＬＳＢがマージ特性を示すビットによって置換され得る。これは、符号化がマージ特性情報ビットに誤りを取り入れるリスクなしに効率的な符号化を可能にし得る。

一部の実施形態では、値Ａの少なくとも１つがビデオと１つ又は複数のオーバレイとのマージの程度を示す。

一部の実施形態では、適合パラメータ、即ち画像画素が表示前にどのように適合されるかは、例えば３つの成分の２個の最小有効ビット内等、色成分の１つ又は複数内のＬＳＢの複数において与えられる複数のパラメータに依存する。

ビデオが１つ又は複数のオーバレイとマージされ得る例えばセットトップボックス、ＢＤプレーヤ、ポータブルコンピュータ等の一例示的ビデオ処理システム（以下ＶＰＳと呼ばれる）では、ビデオ信号内の画素色成分の１つ又は複数の最小有効ビットの１つ又は複数内にビデオ／オーバレイ画素の指示（Ａ）が符号化される。ビデオ信号は、ＶＰＳとディスプレイとの間のインタフェース上で伝送される。ディスプレイは、ビデオ信号の画像に対してダイナミックレンジ適合を適用する。この適合は、ビデオ／オーバレイ画素の指示（Ａ）に応じて行われる。

この手法は、様々な構成内で及び例えば（非限定的な）ＲＧＢ４：４：４、ＹＣｂＣｒ４：４：４、ＹＣｂＣｒ４：２：２、ＹＣｂＣｒ４：２：０等の様々な（色成分の）フォーマットを用いて使用され得る。

色成分ごとに使用可能なビット数は実施形態間で異なる場合があり、例えば典型的には１成分当たり１０ビット、１２ビット、１６ビットあり得る。ビデオ信号に１０ビット又は１２ビットが最も良く使用されるが、主に輝度値のためとはいえ１６ビットも何らかの用途を有する場合がある。多くのシステムで８ビット値も可能であるが、ＨＤＲには低過ぎると多くの場合見なされる（８ビット値はより典型的には旧来の機器、例えば８ビットＭＰＥＧビデオに使用される）。

一部の実施形態では、例えば図１〜図７の１つの実施例による機器が、ビデオ信号のフォーマットに従ってマージ済みのビデオ信号６を伝えるように構成され得る。例えばその機器は、マージ済みのビデオ信号６をＨＤＭＩ（登録商標）ケーブル上で、即ちＨＤＭＩ（登録商標）フォーマットに従って伝えることができる。かかる一部の実施形態では、画像の色成分値を表すのに使用されるビット数が、ビデオ信号のフォーマットによって各色成分に割り当てられるビット数よりも少ないことがある。その場合、色成分値のビットがビデオフォーマットによって成分値に割り当てられるビットの一部に割り当てられ得、画素のマージ特性を示す１つ又は複数の値（Ａ）を示すビットが、ビデオ信号のフォーマットによって色成分値に割り当てられるが色成分値によって使用されない幾つかのビット内に与えられ（挿入／埋め込まれ）得る。このようにして、マージ特性を示す値の伝達が、実際の画像情報に影響を及ぼすことなしに伝えられ得る。従って、追加の機能をサポートするために劣化又はアーティファクトが取り入れられる必要がない。

例えばソースビデオが１０ビットのビット深度を有し、マージ済みのビデオが１２ビットモードでＶＰＳからディスプレイに伝送される場合、いかなる劣化も取り入れられることなしにビデオ／オーバレイ情報を伝えるために１成分当たり２個のＬＳＢが使用され得る。画素の構成が１成分当たり１２ビット有するＲＧＢ又はＹＣｂＣｒ４：４：４である場合、１画素当たり６ビット使用可能である。構成がＹＣｂＣｒ４：２：２である場合、ＣｂＣｒ値が２つの画素間で共有され、ビデオ／オーバレイインジケータのために１画素当たり４ビット残ることが考慮に入れられ得る。

例えばＹＣｂＣｒ出力画素が１成分当たり１０ビット使用する場合、例えばマージ器入力画素のＴ値（透明度値）の少なくとも１つがゼロと異なる値を有することを示すために、Ｃｂ成分又はＣｒ成分（又は可能性は低いがＹ成分）の最小有効ビットが使用され得る。或いは、そのＬＳＢはＴの両方の値が特定の閾値を下回ったことを示すために使用され得る。

別の実施例では、マージ器の出力の複数のビットが使用され、例えばＣｂのＬＳＢ及びＣｒのＬＳＢ、又は３つの成分全てのＬＳＢが使用され得る。様々なマージレベルを区別するために複数のビットが使用され得る。２個のビットを使い４つのレベルを区別することができ、例えば１つの値は（１）マージなしを示すことができ、別の値は（２）７５％がビデオで２５％がオーバレイであると示すことができ、第３の値は（３）５０％がビデオで５０％がオーバレイであると示すことができ、第４の値は（４）１００％がオーバレイであると示し得る。更に多くのビットを使い、出力レベル内のグラフィックスオーバレイの寄与についてのより正確な指示が実現され得る。

典型的には、相互接続フォーマット（ＨＤＭＩ（登録商標）やDisplay port等）における１成分当たりのビット数は８ビット、１０ビット、１２ビット、又は１６ビットである。ビデオソースが１成分当たり１０ビットで符号化される場合、画素に対して局所的に適用された透明度レベル等のマージ情報を伝送するために６ビット（１２ビット出力）更には１８ビット（１６ビット出力）使用することができる。１つの選択肢は、１２ビット出力モードを適用し、Ｃｂ成分及びＣｒ成分のそれぞれから３個のＬＳＢビット、及びＹ成分から２ビット入手することである。そのようにして、マージレベルを伝送するために８ビット使用可能になる。

ＹＣｂＣｒ出力モードの代わりに、ＲＧＢ出力モードが同様の態様で使用され得る。

上記の実施例では、各成分の空間解像度が（一部の実施形態で）等しいと仮定される。これはＹＣｂＣｒ４：４：４又はＲＧＢ４：４：４と呼ばれる。しかし、多くの場合色成分のサブサンプリングが適用される。ＹＣｂＣｒ４：２：２の場合、色成分が水平方向にのみ２倍に空間的にサブサンプリングされる。ＹＣｂＣｒ４：２：０の場合、色成分が両方の方向で２倍に空間的にサブサンプリングされる。一部の実施形態では、マージ指示ビットのためにフル解像度を保つことが有益であり得る。従って、マージ情報を示すために使用されるＬＳＢごとに、何れの画素位置にビットが該当するかに関する明確な割り当てが行われ得る。例えば４：２：２の場合、Ｃｂ成分のＬＳＢは奇数画素のグラフィックスオーバレイに関係し得る一方、Ｃｒ成分のＬＳＢは偶数画素に関係し得る。

必要なビット数を減らすための別の選択肢は、ビデオの解像度よりも低い解像度で（マージ特性の指示、即ちＡ値を与える）マージビットマップを伝送することである。例えばビデオの解像度が１９２０×１０８０である場合、マージビットマップの解像度は例えば９６０×５４０であり得る。例えばＹＣｂＣｒ４：２：０の場合、Ｃｂ成分及びＣｒ成分に該当する画素位置のマージレベルを示すためにＣｂ成分及びＣｒ成分のＬＳＢが使用され得る。従って、一部の実施形態では、１つ又は複数のＡ値が複数の画素に該当する場合があり、とりわけ画素群又は画素領域に該当し得る。

インタフェースの両端間で何れのマージ指示ビット構成が使用されるかについてのシグナリングが、ダイナミックレンジ適合データにも使用されるメタデータチャネル内で指示され得る。図７を参照し、これはダイナミックレンジ適合パラメータを与える信号５５及びマージ特性（多くの場合画素がビデオと１つ又は複数のオーバレイとの混合かどうか及び／又はその程度）を示すために何れの成分の何れのＬＳＢが使用されるかに関する情報を与える信号５６が同じメタデータチャネル内で行われ得ることを意味する。

信号５６は、例えば任意の字幕が使用されるかどうか等、何らかの統計情報又は一般情報も与え得る。

上記で示されたように、ダイナミックレンジ適合が適用されるかどうか、及び場合によりその程度も画素ごとに決めるためにマージ特性指示ビットがディスプレイ内で使用され得る。

１画素当たり１ビットのみである（その画素がオーバレイ画素又はビデオ画素であると示す）場合、元のビデオを対象としたダイナミックレンジ適合はフル（オーバレイなし）又は限定（オーバレイ）の間で切り替わることができる。限定とは、図８の実施例にあるように適合が全く適用されないこと又はある程度までにのみ適用されることを意味し得る。例えば画素ごとのマージレベル値を示す複数のビットがある場合、ディスプレイは、マージレベルに応じて適合量をスケーリングすることによってダイナミックレンジ適合を適用し得る。スケーリングはマージレベルと線形の関係を有することができ、又は知覚される画質を最適化するために非線形関数が適用され得る。

図１５及び図１６は、ＶＰＳ内の符号化とＴＶ内の復号との組合せの実施形態を示す。

図１５及び図１６では、入力信号４２がＶＰＳ４１によって受信される。縦軸は、例えば手動のカラーグレーディングによって信号がグレーディングされる、即ち受信ビデオ信号の画像がグレーディングされているピーク明度ＰＢ又はピーク輝度（白点）を示す。この実施例では、信号４２は、１００ニットのＰＢにグレーディングされるＬＤＲ信号であり、例えば５０００ニットにグレーディングされる元のＨＤＲ信号から導出される。従って、ＬＤＲ最適化画像であるが、信号４２はＨＤＲ画像も表し、従ってＨＤＲ画像表現である。信号４２と共に、より高いピーク輝度値まで信号をどのようにアップグレードするかに関する情報、言い換えればビデオ信号４２の画像にどのようにダイナミックレンジ適合を適用するかに関する情報を与える信号５５が（図６にあるように）与えられる。信号５５はＶＰＳ４１によって伝えられる。ＶＰＳ４１内でマージ済みの信号５０が作り出され、１つ又は複数の色成分の１つ又は複数のＬＳＢがマージ特性に関する情報、とりわけ画素の種類及びマージパラメータに関する情報を含む。更に信号５６が与えられ、信号５６は、マージ済みの画素に関する種類及びマージパラメータ等、何れのＬＳＢが何れのマージ情報で埋められるかに関する命令を与える。従って、この信号はマージ特性の符号化に関する情報を与える。横軸は信号の操作における様々な段階及びその段階内で使用されるコンポーネントを示す。

信号５０、５５、及び５６はＴＶ１４１の入力において受信される。ＴＶ１４１は、復号器１４２及びダイナミックレンジアダプタ１４３を含む。復号器は信号５６によって命令され、信号５６の成分のＬＳＢは何れの情報が符号化されているか、即ち復号器はマージ特性がどのように符号化されているかを知らされる。復号器は前記ＬＳＢに基づいて情報を復号し、その情報をダイナミックレンジアダプタ１４３に送信する（例えばとりわけ画素の種類（即ちその画素がビデオであるか、又はオーバレイであるか混合か）及び適切な場合にはどのような混合であるかをダイナミックレンジアダプタに伝える）。

ダイナミックレンジアダプタ１４３は、アダプタが入力ＬＤＲ信号をアップグレードすることを可能にする信号５５の情報を与えられる。画素を動的に適合させるために復号器１４２から来るマージの種類の情報及び／又はマージ情報がダイナミックレンジアダプタ１４３内で使用され、一実施例として、オーバレイ画素が１００ニットのグレーディングに保たれ、ビデオのみに属する画素ではダイナミックレンジが５０００ニットに適合され、その一方で混合（即ちビデオ及びオーバレイの両方を含む）画素ではダイナミックレンジが１５００ニットに適合される。図１５に、アップグレードの矢印Ｕと共にダイナミックレンジ適合が概略的に示されている。ビデオ画素の最終結果がＶの文字で示されており、オーバレイはＯ、混合はＭ、ダイナミックレンジ適合を行う手段を有さない旧来のＴＶはＬの文字で示されている。そのように生成される画素値は、表示されるためにディスプレイ１４４に送信される。

図１６は、図１５のセットアップの一改変形態を示す。図１６では、入力信号４２が、この特定の実施例では１５００ニットの最大輝度にグレーディングされるＨＤＲ信号である。信号５５は、その信号４２を例えば５０００ニットのピーク輝度等のより高いピーク輝度までどのようにグレーディングするか、即ちダイナミックレンジ適合を行うかに関する情報を含む。信号５５は、信号をより低いピーク輝度、例えば１００ニットのピーク輝度までどのようにグレーディングするかに関する情報も含む。

図１５との違いは、図１６の実施例では復号器及びダイナミックレンジアダプタが、画素のダイナミックレンジを増加（アップグレード）並びに低減（ダウングレード）し得ることである。その理由から、図１５のアップの矢印Ｕが図１６ではアップ又はダウンのＵＤで示されている。

更に、旧来のＴＶに直接使用可能な信号をもたらすために、ＶＰＳ（又はＶＰＳと旧来のＴＶとの間の装置）が、ダイナミックレンジを減らすためのダイナミックレンジ適合後にマージ済みの信号から導出される信号１５０を与える。このダウングレーディングは矢印Ｄで示されている。ＶＰＳ４１は、出力信号Ｌのダイナミックレンジ適合に信号５５内の情報を使用する。次いでこの信号Ｌが、旧来のＴＶのディスプレイ上で表示するために旧来のＴＶの入力に供給される。

他の実施例では、入力信号は、例えば最高可能ピーク輝度（例えば５０００ニット）にグレーディングされる信号とすることもでき、その場合、ディスプレイはダイナミックレンジ適合を行い、ディスプレイの（５０００ニット未満である）特定のピーク輝度までレンジを低減することができる。

図１７は、本発明の一部の実施形態によるＴＶ等の表示装置の一実施形態をより詳細に示す。マージ済みの信号５０が、ダイナミックレンジアダプタ１４３及び読取機１４２に与えられる。読取機１４２は１つ又は複数のＬＳＢを読み取り、前記ＬＳＢのコンテンツを読み取ることに基づいて信号１４５を与える。この信号は、とりわけ画素のマージの種類及び／又はマージパラメータ等のマージ特性を示す値Ａを含む。これは、例えば図７のシステムのＶＰＳ４１内で符号器５１によって信号５０内に入れられた情報の復号を構成する。

読取機１４２は（この特定の実施例にあるように）信号５６が与えられ、信号５６は、何れのＬＳＢが何れの情報を含むか及び何れの態様で符号化が行われているかを読取機１４２に知らせ、言い換えれば復号スキームを提供する。従って、読取機１４２は、マージ特性がどのように信号内に符号化されているかを示す信号が与えられ得る。

従って、ダイナミックレンジアダプタは、マージ済みの信号５０及び画素のマージの種類及び／又はマージパラメータ等のマージ特性に関する情報を与える信号１４５を受信する。

この実施形態では、ダイナミックレンジアダプタ１４３は信号５５も与えられ、信号５５はダイナミックレンジ適合のパラメータを示し、即ちダイナミックレンジをどのように適合させるかに関する情報を与え得る。

信号５０、５５、及び５６の情報がダイナミックレンジ適合に使用される。例えば符号化形式又はダイナミックレンジ適合の手法が事前に分かっている場合、信号５５及び／又は信号５６の一方又は両方が利用されないことができる。

例えば、何れのＬＳＢが何れの情報を含むかを指図する標準が合意される場合、信号５６が生成され、送信され、受信される必要はなく、それは符号器側及び復号器側の両方で知られている標準が守られるからである。

図１８及び図１９は、本発明の更なる実施形態を示す。

上記の実施例で与えられた提供される混合パラメータに基づく線形補間又は非線形補間は、ビデオと例えば字幕等のグラフィックスとの混合で構成される入力画素に対するダイナミックレンジ適合の１つの可能性である。

別の実施形態では異なる手法が使用される。

画素がビデオ並びに字幕等のグラフィックスで構成されることが分かっている場合、混合信号が与えられることは分かっているが、マージ済みの信号内の様々な色の画素値の何れの部分が元々ビデオであり、何れの部分が元々字幕であったかは明白には分からない。

例えば２５％が字幕であり７５％がビデオであると示す混合パラメータは幾らかのガイダンスを与えるが、より正確に明らかにすることが有用であり得る。

パーセンテージが分かっても、オーバレイの真の寄与は２５％前後のマージン内にある可能性があり、更に字幕の色もビデオの色も分かっていないため、様々な色におけるビデオ及び字幕の寄与が何なのかも分からない。

一部の実施形態では、復号器内で、ビデオと１つ又は複数のオーバレイとで構成される（従って「混合画素」を形成する）ことを最下位ビットの１つ又は複数が示す画素について、様々な色のグラフィックス（字幕等）及びビデオの画素値に対する寄与の推定が行われる。

かかる推定は、例えば画素を取り囲む画素を解析することによって行われる。

画素の集合、即ち画素及びその周囲の画素について、混合パラメータが知られており、又は混合若しくは混合の可能性があることが知られている。

知られていないのは、様々な色に関する寄与がどのようなものかである。

例えば、ビデオが赤色であり、字幕が緑色の場合がある。

オーバレイとビデオとの混合は、その画素では全体としてそれぞれの５０％であり得るが、（ビデオ及びオーバレイのクロマが画素について非常に異なる可能性があるため）それぞれの色における内部混合比（in mix ratio）はその値と大幅に異なる場合がある。

画素及びその周囲の画素を解析することにより、前記画素について信号に対するグラフィックス及びビデオの寄与を推定することができる。

色成分の一部のＬＳＢ内に幾らかの混合パラメータが与えられ得、多くの場合、字幕等のグラフィックスは多かれ少なかれ一定の色及び強度、場合により均等な大きさ及び形状を概して有する。これは、それぞれの寄与を推定することを可能にし得る。

従って、入力混合パラメータ並びに画素及び周囲の画素の解析を使用し、入力信号に対するグラフィックスの寄与の推定及びビデオの寄与の推定を推定器によって与えるために入力（例えばＬＤＲ）混合信号が使用される。ビデオ信号が白点に関するものであり、字幕が緑色である場合、１００％ビデオである画素を５０％ビデオで５０％字幕である周囲の画素と比較することにより、言及された画素値を比較することで様々な色成分内の字幕の寄与を推定することができる。字幕は多くの場合、多かれ少なかれ一定の色及び強度であり、多くの場合、多かれ少なかれ標準的な大きさ及び形状であることも当然ながら解析に使用され得る。解析では、前記画素のデータと幾つかの周囲の画素のデータとが例えば比較される。一部の実施形態では、近くにある単一画素が解析に使用され得るが、解析では周囲の画素の複数を使用した方が概して良い結果をもたらす。

推定される字幕の寄与を信号から減じることで、マージ済みの信号に対するビデオの推定寄与をもたらし、その逆も同様である。

そのように推定される信号に対して、ダイナミックレンジ適合がそれぞれの推定信号に個々に適用され得る。このダイナミックレンジ適合は、例えば推定ビデオ信号及び固定値に適用されるフルダイナミックレンジ適合、又は推定オーバレイ信号に適用される別のダイナミックレンジ適合であり得る。

ダイナミックレンジ適合は、先の例で説明されたように何らかの外挿を使用することもできる。

かかる実施形態の利点は、色信号に対するグラフィックス及びビデオの寄与に関するより詳細な情報が確立され、それぞれの特徴を個々に最適化するために使用されることである。

これは、ダイナミックレンジ適合のより優れた微調整を可能にする。

図１８は、かかる実施形態の一実施例を示す。

入力混合ＬＤＲ信号が、図１８のＥＳＴで示されている推定器１４６に与えられる。

この推定器には読取機１４２による情報信号１４５も与えられ、そのため推定器は混合画素がどこにあるかを知り、実施形態によっては混合量の指示も与えられる。推定器１４６は混合画素がどこにあるかを知り、何らかの更なる一般情報を有し得る。

推定器は、画素及び周囲の画素のデータを解析し、グラフ推定信号１４７及びビデオ推定信号１４８を与える。例えば信号１４７はＹｕｖ＿ｇｒａｐｈ＿ｅｓｔｉｍａｔｅ信号、即ち入力ＬＤＲ信号内の字幕単独の寄与の推定を与えるＹｕｖ信号である。

信号１４８はＹｕｖ＿ｖｉｄｅｏ＿ｅｓｔｉｍａｔｅ信号、即ち入力ＬＤＲ信号内のビデオ単独の寄与の推定を与えるＹｕｖ信号である。

それらの信号１４７及び１４８に対してダイナミックレンジ適合が行われ、ダイナミックレンジ適合はそれらの２つの信号について異なる。これが図１８の数字１４３ａ及び１４３ｂによって概略的に示されている。信号５５は、ダイナミックレンジ適合を実行するための命令を与え得る。信号１４７及び１４８の少なくとも一方が適合されるが、多くの場合及び好ましくは両方が適合される。

適合済みの信号が、図１８の＋記号で概略的に示されているミキサ１４９内で再混合される。推定字幕信号１４７は、例えば推定ビデオ信号１４８よりも幾らか少なくブーストされ得、再混合信号内では字幕の視認性がより顕著でなくなる。

その結果生じるディスプレイ１４４向けの信号は、例えば
Ｔ＿２^＊Ｙｕｖ＿ｇｒａｐｈ＿ｅｓｔｉｍａｔｅ信号＋（１−Ｔ＿２）^＊Ｋ^＊Ｙｕｖ＿ｖｉｄｅｏ＿ｅｓｔｉｍａｔｅ
とすることができ、ＫはＹｕｖ＿ｖｉｄｅｏ＿ｅｓｔｉｍａｔｅのブースト係数である。

この実施例では、ビデオ推定信号がブーストされる一方、オーバレイ推定信号がそのＬＤＲ値に維持される。次いで、適合済みの信号が再混合パラメータＴ＿２を用いて再混合される。再混合パラメータＴ＿２は信号５５によって与えられ得る。

この実施形態では、復号器が、ある画素及びその周囲の画素を解析することに基づいてオーバレイ及びビデオの様々な色における寄与を推定する推定器を含む。

実施形態によっては、同じ情報が入力信号５０自体のＬＳＢ内に与えられ得る。例えば、画素がビデオであるか、又は何らかの混合であるかを１つの成分内の１個のＬＳＢが示すことができ、各成分内の３個のビットが前記成分に関する全信号に対するビデオの寄与を示し得る。

しかし、この形態はかなり多くのＬＳＢが使用されることを必要とし、更に、多くの実装形態において符号器がマージ後の信号をマージ前の信号と比較することを必要とし得る。但し、この不利点も、改善された適合済みの画像が生成されることによって正当化され得る。

この実施形態では、読取機１４２が様々な色に対する寄与に関する情報を信号１４５内で与え、推定器１４６は、ビデオ及びオーバレイそれぞれの寄与の推定を生成するために単純にその提供データを直接使用することができる。この場合、推定器は画素及び周囲の画素のデータを用いた解析を行う必要がなく、むしろ全ての情報が信号１４５内で供給され、読取機１４２によって入力信号５０のＬＳＢから読み取られ得る。

使用可能なビット数が本質的に制限されているため、その結果生じる信号は依然として推定である（又は少なくとも幾らかの量子化誤差を有する）可能性があり、従って推定器を出る信号は元のマージの推定と見なされ得る。

一部の実施形態及び応用では画素の周囲に基づく解析を使用することが好ましい場合があり、なぜなら、マージ情報を与えるためにより少ないＬＳＢが必要とされ、より高い精度が得られる可能性が多々あるからである。

図１９は、図１８の表示装置の詳細を示す。この実施例では、入力信号５０、マージ済みの信号５５、ダイナミックレンジ適合に関する情報５６、何れのＬＳＢが使用されどのように使用されるかに関する情報、及び出力信号と共に復号器が示されている。

図１８の実施例では、符号器においてマージされた元のオーバレイ信号及びビデオ信号を推定するように復号器が構成される。ダイナミックレンジ適合がそれらの推定信号に対して個々に適用され得、とりわけ推定ビデオ信号（画像）に適用されるダイナミックレンジマッピングは推定オーバレイ信号に適用されるものと異なり得る。一部の実施形態では、複数のオーバレイ信号が推定され得、即ち複数の入力オーバレイ信号が（ビデオ信号と共に）マージ済みのビデオ信号６へと組み合わせられる状態でマージが行われ得る（行われると想定され得る）。かかるシナリオでは、復号器が複数のオーバレイ信号を推定することができ、様々なオーバレイ信号に対して様々なダイナミックレンジ適合を行うことができる。例えば、白色のオーバレイ信号に対しては輝度のブーストが適用されない一方、例えば緑色のオーバレイに対しては比較的小さい輝度のブーストが適用される場合がある。ビデオ信号に対しては異なる且つ例えばより積極的なダイナミックレンジ適合が適用され得る。

従って、かかる手法では、復号器が符号器のマージ器によって行われたマージを逆転させようとする。実際に復号器は、元の信号、即ちビデオ信号及びオーバレイ信号の推定を生成しようとする。それが実現される場合、特定のディスプレイについて個々のコンテンツの種類に最適なダイナミックレンジマッピングが適用され得る。そのような個々のダイナミックレンジマッピング（最適化）の後、ダイナミックレンジが適合されたマージ済みのビデオ信号が生成され、提示され得る。

要するに、ＬＳＢの１つ又は複数内の情報を読み取ることにより、マージ済みの画素である画素が識別され、例えばマージ／混合の程度が明らかにされる。周囲の画素内で入手可能な情報を使用し、信号の元の構成要素が（例えばビデオの低周波特性を仮定して又はより複雑な共同推定モデルを使用して）再構築され、又はより正確には推定される。どのようなものがマージされたかを知り、元のグレーディング及びディスプレイのグレーディングを知ることは、更に改善された適合を可能にする。

マージ特性を示す値Ａは、出力画素ごとに生成され伝送されるグラフィックスインジケータビットと呼ばれ得る。このビットはビデオ出力信号内に埋め込まれ得る。とりわけ、ルマビットの最も低いもの（即ち最小有効ビット）がこの目的で使用され得、なぜなら、かかるビットがあまりにも暗い輝度に概して対応し、視聴者がそのようなグラフィックスの符号化の雑音を知覚することがないからである。例えば「１」のビット値はグラフィックスとすることができ、「０」は通常のビデオ（即ちマージにおけるビデオのみ）であり得る。

ＢＤシステムの特定の実施例として、この手法はＨＤＭＶモードにあるとき使用され得る。その場合、画素に適用され得るα１及びα２に応じてグラフィックスインジケータビットＩＧが画素ごとに生成され得る。ＩＧは、α１及びα２の何れかが０．０６を上回る値を有する場合、１ｂに設定され得、さもなければ０ｂに設定され得る。図２０も参照されたい。

ＢＤ−Ｊモードにある場合、図２１に示されているようにグラフィックスインジケータが生成され得る。その場合、中間ビデオデータ内で背景面の画素（Background plane pixel）が設定される全ての画素位置についてグラフィックスインジケータのビットが１ｂに設定され得るべきである。他の全ての画素位置では、ＢＤ−Ｊグラフィックスの場合α２が画素データから直接抽出されることを除き、ＨＤＭＶモードで生成されるのと同じ態様でグラフィックスインジケータのビットが生成され得る。

上記の実施例の一部では、ＴＶという用語が使用されたが、この用語はディスプレイを含む任意の表示装置を表し、ホームコンピュータ、ホームビデオシステム、タブレット、又は任意の携帯型表示装置の画面であり得る。現時点ではＨＤＲ装置は自宅で使用されることが多いが、そのことは本発明の限定と見なされるべきではない。ＨＤＲディスプレイは、様々な種類の多くの装置内で使用され得る。

「グラフィックス」という用語は、字幕若しくはメニュー等の一般的な種類のオーバレイ又は他のオーバレイを示すために使用され得る。

オーバレイは、マージ器内で画像ビデオ信号にマージされる任意の追加信号とすることができる。

「色」という用語は、クロマ値又はクロマ特性のみを指すものであると解釈されるべきではなく、むしろ輝度も含むことができ、又は実際に輝度のみを指す場合もある。例えばカラーグレーディングは、クロマが考慮されない場合に限り輝度のグレーディングであり得る。

カラーグレーディング／トーンマッピング／ダイナミックレンジ適合という用語は均等であると見なされ得る（当技術分野内でのその使用法によれば実際に均等である）。

本明細書で開示されたアルゴリズムコンポーネントは、実際にはハードウェア（例えば特定用途向けＩＣの部品）として又は専用のデジタル信号プロセッサ若しくは汎用プロセッサ上で実行されるソフトウェア等として（完全に又は部分的に）実現され得る。

本発明者の解説から、何れのコンポーネントが任意選択的な改善であり得るか及び他のコンポーネントと組み合わせて実現可能であるか、並びに方法の（任意選択的な）ステップがどのように機器のそれぞれの手段に対応し、その逆もどのように対応するかが当業者にとって理解可能であろう。本願における「機器」という用語又は「装置」等の同様の用語はその最も広い意味、即ち特定の目的を実現できるようにする手段群として使われ、従って例えばＩＣ（のごく一部）、専用器具（ディスプレイを有する器具等）、又はネットワーク化されたシステムの一部等とすることができる。「構成」、「システム」、又は同様の用語も最も広い意味で使われることが意図され、そのため、かかる用語はとりわけ単一の機器、機器の一部、共同する機器（の一部）の集合等を含むことができ、又はそれらで形成され得る。

本実施形態のコンピュータプログラム製品版は、明示的意味として、汎用プロセッサ又は専用プロセッサが一連のローディングステップ（中間言語及び最終的なプロセッサ言語への翻訳等の中間変換ステップを含み得る）の後、プロセッサ内にコマンドを入力して本発明の特徴的機能の何れかを実行できるようにする、コマンド群の任意の物理的実現を包含すると理解されるべきである。とりわけコンピュータプログラム製品は、例えばディスク又はテープ等の担体上のデータ、メモリ内のデータ、（有線又は無線）ネットワーク接続を介して伝わるデータ、又は紙上のプログラムコードとして実現され得る。プログラムコードは別にして、プログラムに必要な特徴的データもコンピュータプログラム製品として具体化され得る。コンピュータにより、データの計算を行うことができる任意の装置を意味することが明らかなはずであり、即ちコンピュータは例えば携帯電話とすることもできる。更に、機器の請求項は、コンピュータによって実施される実施形態のバージョンも対象として含み得る。

データの入力及び出力ステップ等、方法の実施に必要なステップの一部は、コンピュータプログラム製品内で記述されるのではなく、プロセッサの機能内に既にある場合がある。

先の説明に基づき、この説明によって以下の手法がサポートされ得ることが理解されよう。

マージ済みのビデオ信号（６、５０）を形成するために１つ又は複数のオーバレイ信号（３、４）を入力ビデオ画像信号（２）に追加するステップと、マージの種類及び／又は１つ若しくは複数のマージパラメータをマージ済みのビデオ信号内の画素ごとに示す１つ又は複数の値（Ａ）を生成するステップと、前記画素について、マージ済みのビデオ信号（６、５０）の１つ又は複数の色成分の１つ又は複数の最小有効ビット内に前記１つ又は複数の値（Ａ）を符号化するステップとを含む、ビデオ信号を符号化するための方法が提供され得る。

任意選択的に、かかる方法では、前記１つ又は複数の値（Ａ）の少なくとも１つが前記画素のマージの種類を示す。

任意選択的に、前記１つ又は複数の値の少なくとも１つが、前記画素に関する入力ビデオ信号及び１つ又は複数のオーバレイ信号のマージ量を示すマージパラメータを与える。

任意選択的に、画素がビデオであるか、オーバレイ信号であるか、又はビデオと１つ若しくは複数のオーバレイ信号との混合であるかを示すために、単一の最小有効ビットが使用される。

任意選択的に、マージの種類及び／又はマージ済みのビデオ信号内の１つ若しくは複数のマージパラメータを示す最小有効ビットの数が可変であり、符号化長信号によって示される。

任意選択的に、前記画素についてマージの種類及び／又はマージ済みのビデオ信号（５０）内の１つ若しくは複数のマージパラメータを示すために何れの最小有効ビットが使用されるか、並びに／又はコード化の方法を示すために前記最小有効ビットがどのように使用されるかに関する情報を含む情報信号（５６）がマージ済みのビデオ信号に与えられる。

マージ済みのビデオ信号（６、５０）を形成するために入力ビデオ画像信号（２、４６、４８、５４）及び１つ又は複数のオーバレイ信号（３、４）をマージするためのマージ器（５、５１）と、マージ済みのビデオ信号内の画素について、マージの種類及び／又は１つ若しくは複数のマージパラメータを示す１つ又は複数の値（Ａ）を生成し若しくは受信し、且つ前記画素について、マージ済みのビデオ信号（６、５０）の１つ又は複数の色成分の１つ又は複数の最小有効ビット内に前記１つ又は複数の値（Ａ）を符号化するための画像符号器（７、５１）とを含む、ビデオ信号を符号化するためのビデオプロセッサが提供され得る。

任意選択的に、かかるビデオプロセッサでは、前記画素のマージの種類を示す値を用いて少なくとも１つの最小有効ビットを符号化するように符号器が構成される。

任意選択的に、ビデオと１つ又は複数のオーバレイとのマージ量を示すマージパラメータを与える少なくとも１つの値を符号化するように符号器が構成される。

任意選択的に、前記画素についてマージの種類及び／又はマージ済みの信号内の１つ若しくは複数のマージパラメータを示すために何れの最小有効ビットが使用されるか、及びどのように使用されるかに関する情報を有する情報信号（５６）をマージ済みのビデオ信号に与えるように符号器が構成される。

任意選択的に、マージ器（５）はマージ情報信号（ＭＩＳ：merging information signal）を符号器（７）に与えるように構成される。

ビデオプロセッサは、セットトップボックス又はＢＤプレーヤ内に含まれ得る。

ビデオ信号を復号するための方法が提供され得、複数の信号からマージされたビデオ信号が受信され、画素について、ビデオ信号の色成分の１つ又は複数の最小有効ビットの１つ又は複数が読み取られ、且つ前記最小有効ビットから１つ又は複数の値（Ａ）が生成され、受信ビデオ画像信号の前記画素が表示前に適合にかけられ、適合は生成される値（Ａ）に依存する。

任意選択的に、適合は、ダイナミックレンジ適合色変換を適用するステップを含む。

任意選択的に、値Ａの少なくとも１つが画素のマージの種類を示し、表示前の適合が画素のマージの種類に依存する。

任意選択的に、値（Ａ）の少なくとも１つは、画素がビデオかどうか、オーバレイかどうか、及び／又はビデオとオーバレイとの混合かどうかを表す。

任意選択的に、値の少なくとも１つが、画像ビデオ信号と１つ又は複数のオーバレイ信号とのマージ量を示し、表示前の適合がマージ量に依存する。

任意選択的に、値（Ａ）を得るために単一の最小有効ビットが読み取られる。

任意選択的に、適合前に、信号の画素値に対するビデオ及びオーバレイの寄与の推定に基づき、マージ前の複数の信号を推定する複数の推定信号へとビデオ信号が分割され、その後、信号の少なくとも１つがその輝度を適合させるために色変換され、適合済みの信号が再混合される。

任意選択的に、画素の信号の分割が、前記画素のデータ及び非混合ビデオ画素として識別される幾つかの周囲の画素のデータを解析することに基づく。

ビデオ信号を受信するための入力と、ある画素についてビデオ信号の１つ又は複数の色成分に関する少なくとも１つ又は複数の最小有効ビットを読み取り、且つ読み取った最小有効ビットから１つ又は複数の値（Ａ）を生成するための読取機（７２）と、ビデオを適合させるためのアダプタ（７１、１４３）であって、生成される１つ又は複数の値（Ａ）に応じて画素値を適合させるように構成される、アダプタ（７１、１４３）とを含む、複数の信号からマージされたビデオ信号を復号するためのビデオ復号器が提供され得る。

任意選択的に、ビデオ復号器は、何れの最小有効ビットを読むか、及びそれをどのように値（Ａ）に変換するかに関する情報を有する信号（５６）用の入力を含む。

任意選択的に、アダプタは画像画素に対してダイナミックレンジ適合を行うように構成される。

任意選択的に、読取機は（Ａ）を得るために単一の最小有効ビットを読み取るように適合される。

任意選択的に、本システムは、信号の画素値に対する画像ビデオ及びオーバレイの寄与の推定に基づき、受信ビデオ信号を複数の推定信号（１４７、１４８）へと分割するための推定器（１４６）であって、信号の少なくとも１つは適合される、推定器（１４６）を含み、適合済みの信号を再混合するためのミキサ（１４９）を含む。

Claims (17)

1. ＨＤＲビデオ信号を受信するための入力部と、
   ある画素について前記ＨＤＲビデオ信号の１つ又は複数の色成分に関する少なくとも１つ又は複数の最小有効ビットを読み取り、且つ読み取った前記最小有効ビットから１つ又は複数の値を生成するための読取機であって、前記１つ又は複数の値は前記画素のマージ特性を示し、前記マージ特性は前記画素に関するビデオ画像信号との１つ又は複数のオーバレイ信号の前記ＨＤＲビデオ信号におけるマージの特性を示す、読取機と、
   前記１つ又は複数の値に応じて画素値を適合させることによって、前記ＨＤＲビデオ信号を適合させるためのアダプタと
   を含む、複数のソース信号からマージされたＨＤＲビデオ信号を復号するための機器。
2. 何れの最小有効ビットを読み取るべきか、及び前記最小有効ビットをどのように前記１つ又は複数の値に変換するかに関する情報を含む信号用の入力部を更に含む、請求項１に記載の機器。
3. 前記アダプタは、前記ＨＤＲビデオ信号の画像画素に対してダイナミックレンジ適合を行う、請求項１又は２に記載の機器。
4. 前記アダプタは、前記ＨＤＲビデオ信号の入力ダイナミックレンジから前記画素の出力ダイナミックレンジへのマッピングを前記１つ又は複数の値に応じて適合させる、請求項３に記載の機器。
5. 前記１つ又は複数の値は、１つ又は複数のオーバレイ信号の寄与割合に対する前記ビデオ画像信号からの前記画素への寄与割合を示し、前記アダプタは異なる寄与割合ごとに異なるマッピングを適用する、請求項４に記載の機器。
6. 前記ＨＤＲビデオ信号の画素に対する前記ビデオ画像信号及び１つ又は複数のオーバレイ信号の寄与の推定に基づいて前記ＨＤＲビデオ信号を複数の推定信号へと分割するための推定器と、
   前記適合後に前記複数の推定信号を再混合するためのミキサとを含み、前記アダプタは前記複数の推定信号の少なくとも１つを別々に適合させる、
   請求項１乃至４に記載の機器。
7. 前記マージ特性はマージの種類を示す、請求項１に記載の機器。
8. 画素の前記マージ特性は、前記画素に関する前記ビデオ画像信号及び前記１つ又は複数のオーバレイ信号のマージの量を示す、請求項１に記載の機器。
9. 前記アダプタは適合前に、前記ＨＤＲビデオ信号の画素値に対する前記１つ又は複数のオーバレイ信号及び前記ビデオ画像信号の前記少なくとも一部の寄与の推定に基づき、前記１つ又は複数のオーバレイ信号及び前記ビデオ画像信号の少なくとも一部を推定する複数の推定信号へと前記ＨＤＲビデオ信号を分割し、その後、前記推定信号の少なくとも１つがその輝度を適合させるために色変換され、及び前記複数の推定信号が適合後に再混合される、請求項１に記載の機器。
10. 前記マージ特性は第１のオーバレイコンテンツを含む前記画素を示し、前記第１のオーバレイコンテンツは、局所的に生成されるグラフィックコンテンツを含むオーバレイ信号、又はマージ済みのオーバレイコンテンツを含む第２のビデオ画像信号を含むオーバレイ信号の少なくとも一方から生じる、請求項１に記載の機器。
11. 前記アダプタは、所定の範囲内の出力輝度を有するように、前記マージ特性が、前記第１のオーバレイコンテンツを含む前記画素を示す領域内の画素を適合させる、請求項１０に記載の機器。
12. ＨＤＲビデオ信号を受信するステップと、
    ある画素について前記ＨＤＲビデオ信号の１つ又は複数の色成分に関する少なくとも１つ又は複数の最小有効ビットを読み取るステップと、読み取った前記１つ又は複数の最小有効ビットから１つ又は複数の値を生成するステップであって、前記１つ又は複数の値は画素のマージ特性を示し、前記マージ特性は前記画素に関するビデオ画像信号との１つ又は複数のオーバレイ信号の前記ＨＤＲビデオ信号におけるマージの特性を示す、ステップと、
    前記ビデオを適合させるステップであって、前記１つ又は複数の値に応じて画素値を適合させる、ステップと
    を含む、複数のソース信号からマージされたＨＤＲビデオ信号を復号する方法。
13. マージ済みのビデオ信号を形成するために入力ＨＤＲビデオ画像信号を１つ又は複数のオーバレイ信号とマージするためのマージ器と、
    前記マージ済みのビデオ信号内の画素について、前記画素に関する前記マージの特性を示すマージ特性を示す１つ又は複数の値を生成するためのプロセッサと、
    前記画素について、前記マージ済みのビデオ信号内の前記画素の１つ又は複数の色成分の１つ又は複数の最小有効ビット内に前記１つ又は複数の値を符号化するための符号器と
    を含む、ビデオ信号を符号化するための機器。
14. 画像特性は、前記画素のマージの種類、並びに前記入力ＨＤＲビデオ画像信号及び前記１つ又は複数のオーバレイ信号のマージの量のうちの少なくとも一方を示す、請求項１３に記載の機器。
15. 前記符号器は、前記マージ済みのビデオ信号の画素の１つ又は複数の色成分の前記１つ又は複数の最小有効ビットに前記マージ特性を示す値を埋める、請求項１３に記載の機器。
16. 前記マージ特性は第１のオーバレイコンテンツを含む前記画素を示すことができ、前記第１のオーバレイコンテンツは、局所的に生成されるグラフィックコンテンツを含むオーバレイ信号、又はマージ済みのオーバレイコンテンツを含む第２のビデオ画像信号を含むオーバレイ信号の少なくとも一方から生じる、請求項１３に記載の機器。
17. マージ済みのビデオ信号を形成するために入力ＨＤＲビデオ画像信号を１つ又は複数のオーバレイ信号とマージするステップと、
    前記マージ済みのビデオ信号内の画素について、前記画素に関する前記マージの特性を示すマージ特性を示す１つ又は複数の値を生成するステップと、
    前記画素について、前記マージ済みのビデオ信号内の前記画素の画素の１つ又は複数の色成分の１つ又は複数の最小有効ビット内に前記１つ又は複数の値を符号化するステップと
    を含む、ビデオ信号を符号化する方法。