JP7262877B2 - オーバーレイ指示を用いた適応的ハイダイナミックレンジ・トーンマッピング - Google Patents

オーバーレイ指示を用いた適応的ハイダイナミックレンジ・トーンマッピング Download PDF

Info

Publication number
JP7262877B2
JP7262877B2 JP2020505347A JP2020505347A JP7262877B2 JP 7262877 B2 JP7262877 B2 JP 7262877B2 JP 2020505347 A JP2020505347 A JP 2020505347A JP 2020505347 A JP2020505347 A JP 2020505347A JP 7262877 B2 JP7262877 B2 JP 7262877B2
Authority
JP
Japan
Prior art keywords
overlaid
video
graphic
overlay
tonemapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020505347A
Other languages
English (en)
Other versions
JP2020529672A (ja
Inventor
ヨン-テグ・キム
ソンナム・オ
スージー・ヒョン
リ・タオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2020529672A publication Critical patent/JP2020529672A/ja
Application granted granted Critical
Publication of JP7262877B2 publication Critical patent/JP7262877B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/92
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/90
    • G06T5/94
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Description

本開示は、一般に、ビデオトーンマッピングのための方法及びその装置に関する。また、一つ又はそれ以上の実施形態は、一般に、ハイダイナミックレンジ(high dynamic range:HDR)シーン(scene)上のグラフィックオーバーレイに関し、特に、トーンマッピングを適用するために、HDRシーンのオーバーレイグラフィック指示(overlay graphics indication)を提供することに関する。
グラフィックは、ブルーレイディスク(blu-ray disc、BD)プレーヤー(BDP)、セットトップボックス(set top box、STB)、又はブロードキャストでダイナミックTMメタデータ(dynamic TM metadata)を有するHDRシーンにオーバーレイできる。現在、オーバーレイグラフィックに関する情報は、トーンマッピング(tone mapping)が発生する受信機に、HDRシーンと共に配信されない。
一つ又はそれ以上の実施形態は、TMを適用するために、ハイダイナミックレンジ(HDR)シーンのオーバーレイグラフィック指示(overlay graphics indication)を提供することに関する。
いくつかの実施形態において、ビデオトーンマッピング(video tone mapping)のための方法は、グラフィックが、HDRシーン(scene)の画像データ上にオーバーレイされているか否かを示すオーバーレイ指示(overlay indication)を、入力データストリーム(input data stream)から受信する過程を含む。前記オーバーレイ指示に基づいて、ハードウェアプロセッサは、第1トーンマッピングされたビデオを生成する第1トーンマッピング機能、又は、第2トーンマッピングされたビデオを生成する第2トーンマッピング機能を用いることによって、ビデオストリーム (video stream)を処理(プロセッシング)する。
いくつかの実施形態では、装置は、コマンド(instruction)を格納するメモリを含む。少なくとも一つのプロセッサは、グラフィックが、HDRシーンの画像データ上に、オーバーレイされているか否かを示すオーバーレイ指示を、入力データストリームから受信し;及び、前記オーバーレイ指示に基づいて、第1トーンマッピングされたビデオを生成する第1トーンマッピング機能、又は、第2トーンマッピングされたビデオを生成する第2トーンマッピング機能を用いることによって、ビデオストリームを処理するように構成されているプロセスを含む前記コマンドを実行する。
いくつかの実施形態では、プロセッサによって実行されるとき、ハードウェアプロセッサが、入力データストリームから、グラフィックが、HDRシーンの画像データ上に、オーバーレイされているか否かを示すオーバーレイ指示を受信する過程を含む方法を実行するプログラムを含んでいる非一時的なプロセッサ読み取り可能媒体が提供される。前記オーバーレイ指示に基づいて、前記ハードウェアプロセッサは、第1トーンマッピングされたビデオを生成する第1トーンマッピング機能、又は第2トーンマッピングされたビデオを生成する第2トーンマッピング機能を用いることによって、ビデオストリームを処理する。
一つ又はそれ以上の実施形態のこれら及び他の特徴、側面及び利点は、以下の説明、添付の特許請求の範囲及び添付の図面を参照して理解されるであろう。
いくつかの実施形態による、オーバーレイ向上メカニズム(overlay enhancement mechanism)を備えた電子システムを示す。 いくつかの実施形態による、システムの例示的な高レベルのブロック図を示す。 ハイダイナミックレンジ(HDR)シーン上に、オーバーレイされた例示的なグラフィックを示す。 ダイナミックトーンマッピング(TM)が適用されたHDRシーン上に、オーバーレイされた例示的なグラフィックを示す。 いくつかの実施形態による、オーバーレイ指示が適用されたHDRシーン上に、オーバーレイされた例示的なグラフィックを示す。 いくつかの実施形態による、適応的TMが適用された、オーバーレイ指示が適用されたHDRシーン上に、オーバーレイされた例示的なグラフィックを示す。 いくつかの実施形態による、HDRシーン及びTM機能アプリケーションのグラフィックオーバーレイのオーバーレイ指示を挿入するためのグラフィックオーバーレイ処理のブロック図を示す。 いくつかの実施形態による、オーバーレイ指示のなし場合にダイナミックTMが適用され、オーバーレイ指示について、適応的TMが適用されるHDRシーン上に、オーバーレイされた例示的なグラフィックを示す。 いくつかの実施形態による、TMアプリケーションを用いるHDRシーンのオーバーレイ処理のブロック図を示す。 開示された実施形態の実施に有用なコンピュータシステムを含む情報処理システムを示す例示的な高レベルのブロック図である。
以下の説明は、一つ又はそれ以上の実施形態の一般的な原理を例示する目的でなされたものであり、本明細書で請求される発明の概念を限定するものではない。さらに、本明細書で説明される特定の特徴は、様々な可能な組み合わせ及び置換のそれぞれで説明される他の特徴と組み合わせて使用することができる。本明細書において、特に明確に定義されていない限り、全ての用語には、本明細書から暗示される意味、並びに当業者によって理解される意味及び/又は辞書、論文などで定義される意味を含む、可能な限り広い解釈が与えられるべきである。
いくつかの実施形態は、トーンマッピング(TM)アプリケーション(application)のためのハイダイナミックレンジ(HDR)シーン(scene)のオーバーレイグラフィック指示(overlay graphics indication)を提供する。いくつかの実施形態において、ビデオトーンマッピング(video tone mapping)のための方法は、グラフィックが、HDRシーン(scene)の画像データ上に、オーバーレイされているか否かを示すオーバーレイ指示(overlay indication)を、入力データストリーム(input data stream)から受信する過程を含んでいる。前記オーバーレイ指示に基づいて、ハードウェアプロセッサは、第1トーンマッピングされたビデオを生成する第1トーンマッピング機能、又は第2トーンマッピングされたビデオを生成する第2トーンマッピング機能を用いることによって、ビデオストリーム(video stream)を処理する。
当業者は、画像情報が表現されるフォーマット(format)が、いくつかの実施形態では重要でないことを認識する。一例として、いくつかの実施形態において、画像情報は、I (X、Y)のフォーマットで提示され、ここで、X及びYは、前記画像に含まれているピクセルの位置を定義する二つの座標である。3D画像情報は、前記ピクセルの色相に関連する情報を有するI(X、Y、Z)が、フォーマットで提示でき、X、Y、Z は、前記画像に含まれているピクセルの位置を定義する3つの座標である。一実施形態において、前記画像情報は、また強度(intensity)又は輝度(brightness)の要素を含む。
説明の目的のために、ここで使われる用語「水平(horizontal)」とは、「図(FIG)」の図面の名称で示されているように、図面を見たときに表示される水平方向を示す。用語「垂直(vertical)」とは、 先に定義されたような水平に垂直な方向を指す。「上方(above)」、「下方(below)」、「底部(bottom)」、「上端(top)」、「側(side)」、「上側(higher)」、「下側(lower)」、「上部の(upper)」、「直上に(over)」及び「下に(under)」のような用語は、図面に示されているように、前記水平に関連して定義される。
ここで呼ばれる用語「画像」とは、2次元の画像、3次元の画像、ビデオフレーム(video frame)、コンピュータファイル表現、カメラからの画像又はそれらの組み合わせを含んでもよい。一例として、前記画像は、マシン読み取り可能のデジタルファイル(machine readable digital file)、物理的写真、デジタル写真、モーションピクチャーフレーム(motion picture frame)、ビデオフレーム、x-レイ画像、スキャンされた画像、又はそれらの組み合わせであってもよい。前記画像は、長方形アレイ(rectangular array)に配列されたピクセル(pixel)から生成されることができる。前記画像は、前記行の方向に沿うx軸と、前記列の方向に沿うy軸とを含むことができる。前記用語「画像」とは、静止画(still image)、又はビデオの動画、即ち、前記ビデオ自体を指す後者を示してもよい。前記用語「画像」は、静止画(例えば、写真)又はビデオの他に、ディスプレイ上に、ディスプレイ可能な部分又はフルスクリーン画像を含んでもよい。また、前記用語「画像」は、元々、静止画(例えば、写真)又はビデオの他に、ユーザーインターフェース又はウェブページのようなディスプレイ可能なスクリーン画像自体を含んでもよい。
用語「色領域(color gamut)」とは、前記全体の光領域で画像としてディスプレイ可能な色空間の領域を指す。一例として、領域情報(gamut information)は、前記画像がディスプレイされるGBR(緑、青、赤)及びCMYK(シアン、マゼンタ、イェロー、黒)の色システムのうちいずれか一つによって変更できる。前記色領域情報に基づいて、画像は、広い色領域画像と、狭い色領域画像とに分類することができる。一例として、前記広い色領域画像は、広い色領域の画像を指す場合があり、DCP(digital cinema package)、DCI(digital cinema initiatives)、AdobeRGB色システム、又は高光度及び広い色領域でマスターされたHDR画像を有する画像を含んでもよい。前記狭い色領域画像は、狭い色領域の画像を指す場合があり、色レベル又はsRGB色システムを有する画像を含んでもよい。
一般に、用語「ダイナミックレンジ(dynamic range)」とは、物理的に測定された量の最大値対最小値の比を指す。一例として、画像のダイナミックレンジは、前記画像で最も明るい部分と、最も暗い部分との比率を指す。他の例として、ディスプレイ装置のダイナミックレンジは、スクリーンから発せられ得る光の最小輝度と、その最大輝度との比を指す。現実の世界では、ダイナミックレンジは、0ニット(nit)に近い完全な暗闇から、日光に近い非常に高い輝度までである。
画像の最小輝度に対する画像の最大輝度の比率が高いほど、画像は、ローダイナミックレンジ画像、スタンダードダイナミックレンジ画像、及びハイダイナミックレンジ画像に分類できる。例えば、一つのピクセルのR、G、Bコンポーネントのそれぞれについて、16ビット以下のビット深度(bit depth)を有する画像は、ローダイナミックレンジ画像を示すことができる。加えて、一つのピクセルのR、G、Bコンポーネントのそれぞれについて、32ビット以上のビット深度を有する画像は、ローダイナミックレンジ画像からハイダイナミックレンジ画像を示すことができる。
ハイダイナミックレンジ画像を補正せずに、ローダイナミックレンジを有するディスプレイ装置上に表示すると、ハイダイナミックレンジ画像の元の意図が歪曲されて表示される場合がある。用語「トーンマッピング(TM)」とは、画像のダイナミックレンジの変換の動作を指す。TMは、画像処理及びコンピュータグラフィックで用いられる技術で、 より制限されたダイナミックレンジを有する媒体で、HDR画像の外観を近似するために、ある色のセットを別の色にマッピングする。TMは、元のシーン(scene)コンテンツを認識するのに重要な画像の詳細と、色の外観を保持しながら、シーンの放射輝度(scene radiance)からディスプレイ可能なレンジへの強いコントラストの低下(contrast reduction)の問題を解決する。TMは、画像のダイナミックレンジを狭める動作を示してもよい。一例として、前記TMは、HDR画像を、ローダイナミックレンジ画像に変換する動作を示してもよい。追加に、TMは、画像のダイナミックレンジを広げる動作を示してもよい。一例として、TMは、ローダイナミックレンジ画像を、HDR画像に変換する動作を示してもよい。画像のダイナミックレンジが、画像のディスプレイされるディスプレイ装置のダイナミックレンジに含まれていない場合、ディスプレイ装置は、トーンマッピングされた画像を用いて、元の画像の意図を保持することができる。
図1は、いくつかの実施形態におけるオーバーレイ向上メカニズム(overlay enhancement mechanism)を使用する電子システム50を示している。電子システム50は、クライアント(client)又はサーバのような第2デバイス56に繋がっている、クライアント又はサーバのような第1デバイス52を含む。第1デバイス52は、無線又は有線ネットワークのような通信経路54を介して、第2デバイス56と通信することができる。
一例として、第1デバイス52は、UDテレビ(UDTV)、4K TV、8K TVなどの超高精細(UD)、4K(8Kなど)ディスプレイ装置、タブレットデバイス(tablet device)、スマートフォン、パーソナルデジタルアシスタント(personal digital assistant:PDA)、ノートパソコン、液晶ディスプレイ(liquid crystal display:LCD)システム、ウェアラブルデバイス(wearable device)、モバイルコンピューティングデバイス、プロジェクションデバイス(projection device)、又はその他の多機能ディスプレイ又はエンターテインメント(entertainment)デバイスのような DU、4K(8K、など)ディスプレイのような多様なディスプレイデバイスのうちいずれか一つであってもよい。第1デバイス52は、第2デバイス56と通信するために、直接に又は間接に、通信経路54に連結してもよく、又はスタンドアローン(stand-alone)デバイスであってもよい。
説明の目的として、電子システム50は、第1デバイス52をディスプレイデバイスとして説明したが、第1デバイス52が、多様な他のタイプのデバイスであってもよいということが理解されるだろう。一例として、第1デバイス52は、また画像又はマルチメディアプレゼンテーションを、プレゼントするデバイスであってもよい。マルチメディアプレゼンテーションは、サウンド(sound)、一連のストリーミング画像(streaming image)、又はビデオフィード(video feed)、又はそれらの組み合わせを含むプレゼンテーションであってもよい。一例として、第1デバイス52は、UDTV、又は任意の他のタイプのUDディスプレイデバイス(例えば、モニター、ビデオパネル、HUD、スマートフォン、タブレットデバイス、ビデオデバイス、ゲームデバイス(gaming device)など)であってもよい。
第2デバイス56は、様々な中央集中型コンピューティングデバイス又は分散型コンピューティングデバイス、画像又はビデオ送信デバイスのうちいずれか一つであってもよい。一例として、第2デバイス56は、マルチメディアコンピュータ、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、ビデオゲームコンソール、グリッドコンピューティングリソース(grid-computing resources)、仮想コンピュータリソース、クラウドコンピューティングリソース(cloud computing resource)、ルータ、スウィッチ、ピア-ツ-ピア(peer-to-peer)分散コンピューティングデバイス、メディアプレイバックデバイス(media playback device)、デジタルビデオディスク(digital video disk:DVD)プレーヤー、3D対応のDVDプレーヤー(three-dimension enabled DVD player)、ブルーレイディスクプレーヤー(blu-ray disc player:BDP)、カメラ又はビデオカメラのような記録デバイス、又はそれらの組み合わせであってもよい。他の例において、前記第2デバイス56は、テレビ受信機、セットトップボックス(set top box: STB)、ケーブルボックス、衛星放送受信アンテナ、又はインターネット対応機器(web enabled device)のような放送又は生放送(live)ストリーム信号を受信する信号受信機であってもよい。
第2デバイス56は、単一のルーム(room)に中央集中していてもよく、他のルームに分散していてもよく、他の地形的位置に分散していてもよく、通信ネットワークなどに内蔵されていてもよい。第2デバイス56は、第1デバイス52と通信するために、通信経路54に連結する手段を持っていてもよい。
説明の目的上、電子システム50は、第2デバイス56をコンピューティングデバイスとして説明したが、第2デバイス56は、他のタイプのデバイスであってもよいことが理解されるだろう。また、説明の目的のために、電子システム50は、通信経路54のエンドポイント(end point)として、第1デバイス52と、第2デバイス56とを示しているが、電子システム50は、第1デバイス52、第2デバイス56、及び通信経路54間の他のパーティション(partition)を有してもよいことが理解される。一例として、第1デバイス52、第2デバイス56、又はそれらの組み合わせは、また通信経路54の一部として機能してもよい。
通信経路54は、様々なネットワーとなり得る。一例として、通信経路54は、無線通信、有線通信、光、超音波、又はそれらの組み合わせを含んでもよい。衛星通信、セルラー通信、ブルートゥース(登録商標)(BLUETOOTH(登録商標))、赤外線データ協会(Infrared Data Association standard:IrDA)、WiFi(wireless fidelity)、WiMAX (worldwide interoperability for microwave access)は、通信経路54に含まれ得る無線通信の例である。イーサネット(登録商標)、デジタル加入者線(digital subscriber line:DSL)、FTTH(fiber to the home)、高画質のマルチメディアインターフェース(high-definition multimedia interface:HDMI(登録商標))ケーブル、POTS(plain old telephone service)は、通信経路54に含まれ得る有線通信の例である。
また、通信経路54は、多数のネットワークトポロジー(topology)及び距離を横切ることができる。一例として、通信経路54は、ダイレクトリンク、パーソナルエリアネットワーク(personal area network:PAN)、近距離通信ネットワーク(local area network:LAN)、メトロポリタンエリアネットワーク(metropolitan area network: MAN)、広域ネットワーク(wide area network:WAN)、又はそれらの組み合わせを含んでもよい。
図2は、いくつかの実施形態による、システム200の高レベルのブロック図を示している。いくつかの実施形態において、システム200は、オーバーレイ向上プロセッサ700(例えば、集積回路(IC)、ハードウェア回路、マルチコアプロセッサ、特定用途向け集積回路(application specific IC: ASIC)、CPU、ハイブリッドデバイス、アプリケーションプログラミングインターフェース(application programming interface:API)など)を用いて(例えば、図1の通信経路54から)、入力ノード201から受信される入力ソース(input source)210(又は、図1のデバイス52又は56)からの入力ビデオ画像を処理し、出力ノード240から(例えば、通信経路54で)ビデオ画像を出力し、出力ソース250(又は図1のデバイス52)上に、前記画像をディスプレイすることができる。いくつかの実施形態において、前記出力ソース250のディスプレイは、前記画像又はマルチメディアプレゼンテーション(multi-media presentation)を、プレゼント(present)する物理的デバイスとなり得る。一例として、前記ディスプレイは、LCDパネル、プラズマスクリーン(plasma screen)、プロジェクションスクリーン、ヘッドアップディスプレイ(heads-up-display:HUD)などを含むスクリーンであってもよい。別の実施形態において、前記ディスプレイは、物体又は反射デバイス上にプロジェクトされてもよい。
いくつかの実施形態において、前記入力ビデオ画像は、入力ソース210から提供でき、 無線で又は有線インターフェース(例えば、図1の通信経路54)を介して送/受信でき、 非圧縮/圧縮ビデオコンテンツ(uncompressed/compressed video content)を含んでもよい。いくつかの実施形態では、システム200におけるビデオイメージングコンテンツの有線又は無線通信は、イーサネット(登録商標)、電話機(例えば、POTS)、ケーブル、電力ライン、光ファイバーシステム、及び/又はコード分割多重接続(code division multiple access(CDMA)又はCDMA2000)通信システム、周波数分割多元接続(frequency division multiple access:FDMA)システム、GSM(登録商標)/汎用パケット無線サービス(general packet radio service:GPRS)/拡張データGSM(登録商標)環境(enhanced data GSM(登録商標) environment:EDGE)のような時分割多元接続(time division multiple access:TDMA)システム、TETRA(terrestrial trunked radio)携帯電話システム、広帯域コード分割多重接続(wideband code division multiple access: WCDMA(登録商標))システム、高いビットレート(1xEV-DO(enhanced voice-data only)又は1xEV-DO ゴールドマルチキャスト(Gold Multicast))システム、電気電子技術者協会(Institute of Electrical and Electronics Engineers:IEEE)802.11x システム、デジタルマルチメディア放送(digital multimedia broadcasting:DMB)システム、 直交周波数分割多元接続(orthogonal frequency division multiple access:OFDM)システム、DVB-H(digital video broadcasting-handheld)システムなどを含む無線システムのうちいずれか一つ又はそれ以上での通信を含んでもよい。
いくつかの実施形態において、ビデオ入力ソース210は、無線ネットワーク(一例として、インターネット、近距離通信ネットワーク(local area network:LAN)、広域ネットワーク(wide-area network:WAN)、パーソナルエリアネットワーク(personal area network:PAN)、キャンパス無線ネットワーク(campus wireless network:CAN)、メトロポリタンエリアネットワーク(metropolitan area network:MAN)など、一例として、図1の通信経路54)を介して送信することができる。入力ソース210は、クラウドベースのシステム(cloud-based system)、サーバ、放送局、ビデオデバイス/プレーヤー、ビデオカメラ、モバイルデバイス、などから発生できる。
いくつかの実施形態において、入力ソースからのビデオ画像入力は、入力ノード201に到着する前に、(例えば、デコーダ/エンコーダを介して)デコード/エンコードすることができる。出力ノード240から出力ソース250に出力される前記ビデオ画像は、出力ノード240に到着する前に、エンコード/デコードすることができる。いくつかの実施形態において、出力ソース250は、無線で又は有線インターフェースを介して、出力ノード240から出力画像を受信できる。
いくつかの実施形態において、入力ソース210からの圧縮ビデオ画像コンテンツは、放送、コンピュータネットワーク、DVD又は他のコンピュータ読み取り可能な記憶媒体、又はビデオ信号の任意の他の適切なソースからのアナログ又はデジタルビデオを提供することができる。一実施形態において、入力ソース210からの圧縮ビデオ(ATSC (Advanced Television Systems Committee)放送のような)は、無線周波数インターフェース、コンピュータネットワーク、コンポーネントビデオケーブル、デジタルビジュアルインターフェース(digital visual interface:DVI)又はHDMI(登録商標)ビデオインターフェースなどのような有線又は無線リンクを介して受信機に連結できる。一実施形態において、入力ソース210からの非圧縮ビデオ画像は、ビデオカメラ、又は任意の適切なビデオインターフェースにより受信機に連結されるディスクドライブのようなメモリデバイスのうち一つ又はそれ以上を含んでもよい。入力ソース210からの非圧縮ビデオは、輝度(luminance)及びクロミナンス(chrominance)の形態、赤、緑、青などのような個々の色度、又は任意の他の適切な形態を含むアナログ又はデジタルの形で非圧縮ビデオを提供することができる。
いくつかの実施形態において、入力ソース210から入力ビデオコンテンツのデジタル ビデオフォーマットは、他のフレームレート(frame rate)、ピクセルの別の数の線及び行(row)、インターレース(interlaced) 又は非-インターレース(non-interlaced)などを含んでもよい。一例として、映画は、一般に、24fps(frames per second)フォーマットで作成され、NTSC(National Television System Committee)は、秒当り30フレームであり、PAL(phase alternating line)は、秒当り5フレームである。前記フォーマットは、インターレースされてもよく、プログレッシブ(progressive)されてもよい。一例として、(デジタルビデオ放送スタンダードによってサポートされているような)高画質フォーマットは、出力ソース250のディスプレイデバイスのフォーマットに適切なフォーマットに変更できる。出力ソース250のディスプレイデバイスは、NTSC、PAL、ATSC、DVB/T、などを受信するか、又は70Hz、75Hz、80Hzなどのようなフレームレートで実行されるデバイスをディスプレイするように構成され得る。
いくつかの実施形態において、プロセッサ(例えば、図2、図7のオーバーレイ向上プロセッサ700、図10のプロセッサ1001)は、次の手順を行うことができる。グラフィックが、HDRシーンの画像データ上で、オーバーレイされているか否かを示す制御信号は、入力データストリームから受信できる。ビデオ信号に相応するビデオストリームが獲得できる。前記制御信号に基づいて、前記プロセッサは、第1トーンマッピングされたビデオを生成する第1TM機能(例えば、ダイナミックTM機能)、又は第2トーンマッピングされたビデオを生成する第2TM機能(例えば、適応的TM機能)を用いることによって、前記ビデオストリームを処理することができる。
前記第1TM機能は、グラフィックがオーバーレイされていないときに使用される。前記第1TM機能は、HDRシーンのみにTMメタデータを使用する(つまり、グラフィックオーバーレイは使用しない)。前記第2TM機能は、グラフィックがオーバーレイされているときに使用される。前記第2TM機能は、オーバーレイされたグラフィックにTMメタデータを使用し、HDRシーンにTMメタデータを使用する。前記オーバーレイされたグラフィックのTMメタデータは、前記HDRシーン上にオーバーレイされたグラフィックを含む入力データストリームの全ての値の最大輝度を推定することにより獲得される。 いくつかの実施形態において、オーバーレイフラグ入力は、前記グラフィックが画像データ上で、オーバーレイされているか否かの可否を明示する。いくつかの実施形態において、前記オーバーレイされたグラフィックは、ピクチャーインピクチャー(picture-in-picture:PIP)データストリームの画像データに対応し得る。最大輝度は、前記ビデオストリームに含まれているピクセルのmax(R、G、B)の最大値を示す。
図3は、HDRシーン310の上に、オーバーレイされている例示的グラフィック330を示している。グラフィック330は、一例として、BDP、STB、又は放送でダイナミックTMメタデータ315を有するHDRシーン310に適用されるオーバーレイ320の機能を用いて、オーバーレイすることができる。結果311は、オーバーレイされたグラフィック330を有するHDRシーン310である。しかしながら、前記オーバーレイされた、グラフィック330に関する情報は、現在、TMアプリケーションが発生されている、受信機にHDRシーン310と共に配信されない。
図4は、ダイナミックTM420が適用されたHDRシーン410上に、オーバーレイされた例示的グラフィック430を示している。ダイナミックTMメタデータ415を有するHDRシーン410が示されている。ダイナミックTMメタデータ415は、HDRシーン410のメタデータのみを含んでいるため、ダイナミックTM420が、ダイナミックTMメタデータ415を用いて、HDRシーン410に適用されると、前記オーバーレイされたグラフィック430のダイナミックTM結果は、不確実である。発生される問題は、それらの値の最大値(シーンの輝度)450を超過するグラフィックピクセルに対して深刻なクリッピング(clipping)が発生されることである。その結果、HDRシーン411は、ダイナミックTM420からの結果が悪いオーバーレイグラフィック431を表示する。前記グラフは、ターゲットピーク(target peak)440、グラフィックピクセル460の輝度、及び、前記クリッピングを示している曲線470を示す。
図5は、いくつかの実施形態による、オーバーレイ指示530が適用されたHDRシーン510上に、オーバーレイされたグラフィック440の実例511を示している。HDRシーン510は、オーバーレイ機能520に適用されるダイナミックTMメタデータ515を含む。前記クリッピング問題を解決するために、いくつかの実施形態は、グラフィックが、前記TV、受信機、デバイスなどによってオーバーレイされるとき、前記デバイス(例えば、BDP、STB、放送局など)に対して、オーバーレイ_フラグ(overlay_flag)、ビットマップ、信号などのようなオーバーレイ指示530を送信することを提供する。例えば、グラフィックが、前記デバイスによりオーバーレイされることを示すために、「Overlay_flag」は、1と設定してもよい。
図6は、いくつかの実施形態による、適応的TM620が適用される、オーバーレイ指示(例えば、Overlay_Flag =1)が送信されるHDRシーン610上に、オーバーレイされた一例のグラフィック630を示している。前記受信機が、前記オーバーレイ指示(例えば、Overlay_Flag =1)を受信する場合、グラフィック適応的TM620は、適応的TM620の後に、HDRシーン611のグラフィック631の部分を適切にレンダーリングする。前記グラフは、グラフィックピクセル660のターゲットピーク(target peak)640、グラフィックの最大値(グラフィック輝度)650を示している。曲線670は、 解決された(一例として、図4での)クリッピング問題を示している。
図7は、いくつかの実施形態による、HDRシーン、及び、TM機能アプリケーションのグラフィックオーバーレイの オーバーレイ指示760(例えば、Overlay_Flag、制御信号、ビットマップ、など)を挿入するグラフィックオーバーレイ処理700のブロック図を示している。グラフィックオーバーレイ処理700について、HDRシーンの入力710は、ダイナミックTMメタデータ720、及び、オーバーレイ指示760と共に、受信される。いくつかの実施形態において、HDRシーンの入力710と、ダイナミックTMメタデータ720とは、ダイナミックTM機能730で提供されることで、出力aを招き;推定グラフィック最大値の機能750は、 オーバーレイグラフィックx711及びオーバーレイ指示760を考慮して、グラフィック最大値(グラフィック輝度)を推定する。グラフィック最大値755は、出力bを招くグラフィックTM機能740の入力である。いくつかの実施形態において、出力a及びbと、オーバーレイ指示760とは、マルチプレクサ (multiplexor:MUX)770の入力であり、ここで、HDRTM出力780=a(1-Overlay_Flag)+b(Overlay_Flag)である。グラフィック最大値755は、受信機から推定することができ、ここで、前記入力シーンにおいて、x711の全ての値に対して、 Graphic max = max(x、Scene Max)であることに留意すべきである。いくつかの実施形態において、推定されたグラフィック最大値750のブロックは、オーバーレイ指示760の設定時にのみ(例えば、Overlay_Flag=1の場合にのみ)、処理(プロセッシング)を提供する。グラフィック最大値750は、オーバーレイ指示が設定されないとき(例えば、Overlay_Flag=0の場合)、前記シーンの最大値と同一である。いくつかの実施形態において、無限インパルス応答(infinite impulse response:IIR)フィルターリング方式は、推定グラフィック最大値の機能750と結合され得る。
図8は、いくつかの実施形態による、HDRシーン810上に、オーバーレイされた一例のグラフィック830を示しており、ダイナミックTM730は、オーバーレイ指示のない場合に適用され、適応的TM620は、オーバーレイ指示760について適用される。PIPは、STB又はTV放送局での共通ビデオ処理である。二つのHDRコンテンツが、PIPでミックスされるとき、実際の選択は、前記メインHDRピクチャー(main HDR picture)のダイナミックメタデータを送信することである。この場合において、前記クリッピング(clipping)問題は、前記サーブピクチャー(sub-picture)に含まれている前記HDRピクチャー(即ち、HDRシーン811に含まれているPIPシーン831)に対して発生することができる。いくつかの実施形態において、オーバーレイ指示760は、 HDRシーン812に含まれているPIPシーン832を招く適応的TM620の機能を適用するために使用できる。
いくつかの実施形態において、サーブシーン(PIP830)が、HDRシーン810の画像上に、オーバーレイされているか否かを示す前記オーバーレイ指示760は、制御信号で送信でき、入力データストリームから受信できる。ビデオ信号に相当するビデオストリームが獲得できる。前記制御信号及びオーバーレイ指示760に基づいて、グラフィックオーバーレイ処理700のプロセッサは、第1トーンマッピングされたビデオHDRシーン811を生成する第1TM機能(例えば、ダイナミックTM機能730)、又は第2トーンマッピングされたビデオHDRシーン812を生成する第2TM機能(例えば、適応的TM機能620)を用いることによって、ビデオストリームを処理することができる。
いくつかの実施形態において、前記第1TM機能は、グラフィックがオーバーレイされているときに使用される。前記第1TM機能(例えば、ダイナミックTM機能730)は、HDRシーン810にのみ、TMメタデータを使用する。前記第2TM機能(例えば、適応的TM機能620)は、グラフィックがオーバーレイされている場合に使用される。前記第2TM機能は、前記オーバーレイされるグラフィックのTMメタデータ及び前記HDRシーンのTMメタデータを使用する。前記オーバーレイされるグラフィックのTMメタデータは、HDRシーン810上にオーバーレイされるグラフィック830を含む前記入力データストリームの全ての値の最大輝度を推定することにより獲得される。
図9は、いくつかの実施形態による、TMアプリケーションを用いるHDRシーンのオーバーレイ処理のプロセス900のブロック図を示している。ブロック910において、グラフィックが、HDRシーンの画像データ上に、オーバーレイされているか否かを示すオーバーレイ指示(例えば、オーバーレイフラグ、ビットマップ、制御信号など)が、入力データストリームから受信される。ブロック920において、前記オーバーレイ指示に基づいて、ハードウェアプロセッサ(例えば、図2、図7のオーバーレイ向上プロセッサ700、図10のプロセッサ1001)は、第1トーンマッピングされたビデオを生成する第1トーンマッピング機能(例えば、ダイナミックTM機能)、又は第2トーンマッピングされたビデオを生成する第2トーンマッピング機能(例えば、適応的TM機能)を用いて、ビデオストリームを処理する。
いくつかの実施形態では、プロセス900において、前記第1トーンマッピング機能は、グラフィックが、前記HDRシーン上に、オーバーレイされていないときに使用され、前記第1トーンマッピング機能は、HDRシーンにのみ、トーンマッピングデータを使用する。いくつかの実施形態では、プロセス900において、前記第2トーンマッピング機能は、グラフィックが、前記HDRシーン上にオーバーレイされているときに使用され、前記第2トーンマッピング機能は、前記オーバーレイされているグラフィックのトーンマッピングメタデータ及び前記HDRシーンのトーンマッピングメタデータを使用する。
いくつかの実施形態では、プロセス900において、前記オーバーレイされているグラフィックのトーンマッピングメタデータは、前記HDRシーン上にオーバーレイされるグラフィックを含む前記入力データストリームの全ての値の最大輝度を推定することにより獲得される。プロセス900において、前記オーバーレイ指示は、前記グラフィックが画像データ上にオーバーレイされているか否かを明示するオーバーレイフラグを含んでもよい。
いくつかの実施形態では、プロセス900において、前記オーバーレイされているグラフィックは、ピクチャーインピクチャー(picture-in-picture)データストリームについての画像データに相当する。プロセス900において、最大輝度は、前記ビデオストリームに含まれているピクセルのmax(R、G、B)の最大値を示す。
図10は、開示の実施形態を具現するのに有用なコンピュータシステム1000を含む情報処理システムを示している高レベルのブロック図である。コンピュータシステム1000は、図1のデバイス52、56、又は図2のデバイス210、250に纏められてもよい。前記コンピュータシステム1000は、一つ又はそれ以上のプロセッサ1001(例えば、図2のプロセッサ700)を含み、(ビデオ、グラフィック、テキスト、及び他のデータをディスプレイする)電子ディスプレイデバイス1002、メインメモリ1003(例えば、ランダムアクセスメモリ(random access memory:RAM))、格納デバイス1004(例えば、ハードディスクドライブ)、取り外し可能なストレージデバイス1005(例えば、取り外し可能なストレージドライブ、取り外し可能なメモリモジュール、磁気テープドライブ、光ディスクドライブ、それに記憶されているコンピュータソフトウェア、及び/又は データを有するコンピュータ読み取り可能媒体)、ユーザーインターフェースデバイス1006(例えば、キーボード、タッチスクリーン、キーパッド、ポインティングデバイス(pointing device))、及び通信インターフェース1007(例えば、モデム、(イーサネット(登録商標)カードのような)ネットワークインターフェース、通信ポート、又はPCMCIAスロット(slot)及びカード)をさらに含んでもよい。通信インターフェース1007は、ソフトウェア及びデータが、前記コンピュータシステムと、外部デバイスとの間に(例えば、図1の通信経路54を介して)伝達されることを許す。システム1000は、前述のようなデバイス/モジュール1001がこの通信インターフェース1007を介して連結される通信インフラストラクチャー(infrastructure)1008(例えば、通信バス(bus)、クロスオーバーバー(cross-over bar、又はネットワーク)をさらに含む。
通信インターフェース1007を介して伝達される情報は、信号を運ぶ通信リンクを介して、通信インターフェース1007により受信されることの可能な電子、電磁気、光、又は他の信号のような信号の形態となってもよく、又は有線又はケーブル、光ファイバー、電話線、セルラー電話リンク、無線周波数(radio frequency:RF)リンク、及び/又は他の通信チャンネルを用いて具現できる。本明細書におけるブロック図及び/又はフローチャートを示すコンピュータプログラムコマンドは、コンピュータ、プログラム可能データ処理装置、又は処理デバイスにロードされて、それに行われる一連の動作が、コンピュータ具現プロセスを生成するようにできる。
いくつかの実施形態において、700(図7)の処理命令コマンドは、プロセッサ1001による実行のために、メモリ1003、格納デバイス1004、及び取り外し可能なストレージデバイス1005上に、プログラムコマンドとして格納されてもよい。
本開示の一実施形態によると、プロセッサによって実行されるとき: ハードウェアプロセッサは、入力データストリーム(input data stream)から、グラフィックがハイダイナミックレンジ(high dynamic range:HDR)シーン(scene)の画像データ上に、オーバーレイされているか否かを示すオーバーレイ指示(overlay indication)を受信する過程;及び、前記オーバーレイ指示に基づいて、前記ハードウェアプロセッサが、第1トーンマッピングされたビデオを生成する第1トーンマッピング機能、又は第2トーンマッピングされたビデオを生成する第2トーンマッピング機能を用いることによって、ビデオストリーム(video stream)を処理する過程を含む方法を行うプログラムを含んでなる非一時的プロセッサ読み取り可能媒体を提供する。
ここで、前記第1トーンマッピング機能は、グラフィックが前記HDRシーン上に、オーバーレイされていないときに使用され、前記第1トーンマッピング機能は、前記HDRシーンのみにトーンマッピングメタデータを使用する。
ここで、前記第2トーンマッピング機能は、グラフィックが前記HDRシーン上に、オーバーレイされているときに使用され、前記第2トーンマッピング機能は、前記オーバーレイされているグラフィックのトーンマッピングメタデータ(tone mapping metadata)、及び、前記HDRシーンのトーンマッピングメタデータ(tone mapping metadata)を使用し、前記オーバーレイされているグラフィックのトーンマッピングメタデータは、前記HDRのシーン上にオーバーレイされているグラフィックを含む入力データストリームの全ての値の最大輝度を推定することにより獲得される。
ここで、前記オーバーレイ指示は、前記グラフィックが画像データ上で、オーバーレイされているか否かを明示するオーバーレイフラグ(overlay flag)を含む。
ここで、前記オーバーレイされているグラフィックは、ピクチャーインピクチャー データストリーム(picture-in-picture data stream)の画像データに相当する。
ここで、最大輝度は、前記ビデオストリームに含まれているピクセルのmax(R、G、B)の最大値を示す。
実施形態は、フローチャートの説明、及び/又は方法、装置(システム)及びコンピュータプログラム製品を参照して説明した。このような説明/図の各ブロック又はその組み合わせは、コンピュータプログラムコマンドにより具現できる。プロセッサとして提供されるとき、前記コンピュータプログラムコマンドは、前記プロセッサを介して実行する前記コマンドが、前記フローチャート及び/又はブロック図で明示された機能/動作を具現するための手段を生成できるようにマシンを生成する。前記フローチャート/ブロック図における各ブロックは、ハードウェア及び/又はソフトウェアモジュール又はロジックを示してもよい。対案的な具現において、前記ブロックで言及された機能は、図面で言及された手順から外れて、同時に発生できる。
前記用語「コンピュータプログラム媒体」、「コンピュータ使用可能な媒体」、「コンピュータ読み取り可能媒体」及び「コンピュータプログラム製品」は、一般にメインメモリ、補助メモリ、リムーバブルストレージドライブ、ハードディスクドライブにインストールされたハードディスク及び信号のような媒体を示すのに用いられる。このようなコンピュータプログラム製品は、前記コンピュータシステムにソフトウェアを提供するための手段である。前記コンピュータ読み取り可能の媒体は、前記コンピュータシステムが、前記コンピュータ読み取り可能媒体から、データ、コマンド、メッセージ又はメッセージパケット、及び他のコンピュータ読み取り可能な情報を読み取ることを許す。前記コンピュータ読み取り可能媒体は、例えば、フロッピーディスク、ROM、フラッシュメモリ、ディスクドライブメモリ、CD-ROM及び他の永久記憶装置のような非揮発性メモリを含んでもよい。これは、一例として、コンピュータシステム間に、データ及びコンピュータコマンドのような情報を伝送するのに有用である。コンピュータプログラムコマンドは、コンピュータ読み取り可能媒体に格納することができ、コンピュータ、他のプログラム可能のデータ処理装置又は他のデバイスが、特定の方式で機能するように指示することができ、前記コンピュータ読み取り可能媒体に記憶されているコマンドは、前記フローチャート及び/又はブロック図のブロックに明示された機能/アクションを具現するコマンドを含む製品を生成する。
前記実施形態の側面は、システム、方法、又はコンピュータプログラム製品から実装できるということが、当業者により認識されるだろう。したがって、前記実施形態の側面は、完全なハードウェアの実施形態、完全なソフトウェアの実施形態、ここで、「回路」、「モジュール」、又は「システム」と一般的に称され得るソフトウェア及びハードウェアの側面を結合する実施形態の形を取ることができる。また、前記実施形態の側面は、一つ又はそれ以上のコンピュータ読み取り可能媒体に実装されるコンピュータ読み取り可能プログラムコードを有する上記一つ又はそれ以上のコンピュータ読み取り可能媒体に実装されるコンピュータプログラム製品の形態を取ってもよい。
一つ又はそれ以上のコンピュータ読み取り可能媒体の任意の組み合わせを使用してもよい。前記コンピュータ読み取り可能媒体は、コンピュータ読み取り可能の記憶媒体となってもよい。コンピュータ読み取り可能の記憶媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体システム、装置、又はデバイス、或いは前述のようなものの任意の適切な組み合わせとなってもよく、これに限定されない。前記コンピュータ読み取り可能の記憶媒体のより非制限的な具体例は、次のようである:一つ又はそれ以上の有線を有する電子連結、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ(random access memory:RAM)、リードオンリーメモリ(read-only memory:ROM)、消去可能なプログラム可能な読み取り専用メモリ(EPROM又はフラッシュメモリ)、光ファイバー、携帯用コンパクトディスクリードオンリーメモリ(compact disc read-only memory:CD-ROM)、光記憶装置、磁気保存デバイス、又は前述のようなものの任意の適合な組み合わせ。本開示の文脈において、コンピュータ読み取り可能な記憶媒体は、コマンド(instruction)実行システム、装置、又はデバイスによる使用のための、又はコマンド実行システム、装置、又はデバイスとの連結における使用のためのプログラムを含むか、又は記憶可能な任意の有形的(tangible)記憶媒体となってもよい。
一つ又はそれ以上の実施形態の側面についての動作を行うコンピュータプログラムコードは、ジャバ(Java(登録商標))、スモールトーク(Smalltalk)、C++ などのようなオブジェクト指向のプログラミング言語(object oriented programming language)と、前記「C」プログラミング言語のような一般的な手続きプログラミング言語(procedural programming language)、又は類似のプログラミング言語を含む、一つ又はそれ以上のプログラミング言語の任意の組み合わせで書き込むことができる。前記プログラムコードは、前記ユーザーのコンピュータ上で全体的に、前記ユーザーのコンピュータ上で部分的に、スタンドアローン(stand-alone)ソフトウェアパッケージとして、前記ユーザーのコンピュータ上で部分的に、遠隔コンピュータ上で部分的に、又は前記遠隔コンピュータ、又はサーバ上で全体的に実行されてもよい。後者のシナリオにおいて、前記遠隔コンピュータは、LAN又はWANを含む任意のタイプのネットワークを介して、前記ユーザーのコンピュータに連結してもよく、又は 前記連結は(一例として、前記インターネットサービス提供者を使って、前記インターネットを介して)外部のコンピュータに行ってもよい。
一つ又はそれ以上の実施形態の側面は、フローチャートの説明、及び/又は方法、装置(システム)及びコンピュータプログラム製品を参照して、以上で説明されている。前記フローチャートの図示及び/又はブロック図、及び前記フローチャート図示及び/又はブロック図が、ブロックの組み合わせの各ブロックは、コンピュータプログラムコマンドにより具現できるということが理解される。このようなコンピュータプログラムコマンドは、特殊目的のコンピュータ、又はマシン(machine)を生成する他のプログラム可能のデータ処理装置で提供でき、したがって、前記コンピュータ又は他のプログラム可能のデータ処理装置のプロセッサを介して実行される前記コマンドは、前記フローチャート及び/又はブロック図のブロックで明示されている機能/動作を具現する手段を生成する。このようなコンピュータプログラムコマンドは、またコンピュータ、他のプログラム可能のデータ 処理装置、又は特定の方式で機能する他のデバイスを指示できるコンピュータ読み取り可能媒体に格納でき、したがって、前記コンピュータ読み取り可能媒体に記憶されているコマンドは、前記フローチャート及び/又はブロック図のブロックで明示されている機能/動作を具現するコマンドを含む製造物品を生成する。
前記コンピュータプログラムコマンドは、またコンピュータ、他のプログラム可能のデータ処理装置、又は他のデバイスにロードされて、一連の動作の段階が、前記コンピュータ、他のプログラム可能の装置、又は他のデバイスで行われて、コンピュータ実装のプロセスを生成するようにすることができ、したがって、 前記コンピュータ、又は他のプログラム可能の装置で実行される前記コマンドは、前記フローチャート及び/又はブロック図のブロックで明示された機能/動作を具現するためのプロセスを提供する。
図面での前記フローチャート及びブロック図は、様々な実施形態によるシステム、方法及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性及び動作を示している。これに関連して、前記フローチャート又はブロック図における各ブロックは、前記記載の論理機能(複数可)を実装するための一つ又はそれ以上の実行可能なコマンドを含むモジュール、セグメント、又はコマンドの一部を示すことができる。いくつかの代替的な具体例では、 前記ブロックで記載された機能は、図面に記載された順序から外れて発生することができる。一例として、連続的に図示されている二つのブロックは、事実上、実質的に同時に実行できるか、又は前記ブロックは、前記関連の機能に応じて、時々逆の順序で実行することができる。また、前記ブロック図及び/又はフローチャートに図示の各ブロックと、前記ブロック図及び/又はフローチャートに図示のブロックの組み合わせは、前記明示された機能又は動作を行うか、あるいは特殊目的のハードウェア及びコンピュータコマンドの組み合わせを行う特殊目的のハードウェア基盤のシステムにより実装できることに留意すべきである。
単数のエレメントの請求項における参照は、そのように明確に明示していない場合は、「ただ一つ(one and only)」を意味する意図を持つものではなく、むしろ「一つ又はそれ以上(one or more)」"を意味する意図を持つ。当該技術分野における当業者によって現在知られている、あるいは後で知られるようになる、上記で説明した好ましい実施形態のエレメントに対する全ての構造的及び機能的均等物は、提示されている請求項によって含まれるようにする意図を持つ。
ここで使用される用語は、単に特定の実施例を説明する目的のために存在し、本発明を限定しようとする意図を持たない。ここで使用されるような、単数の形態、「a」、「an」、及び「the」は、文脈上明らかに別の断りのない限り、複数の形態を含む意図を有する。また、本明細書で使われるとき、「含む(comprises)」及び/又は「含んでいる(comprising)」という用語は、言及された特徴、整数、ステップ、動作、エレメント、及び/又はコンポーネントの存在を明示するが、一つ又はそれ以上の他の特徴、整数、動作、エレメント、コンポーネント及び/又はそれらのグループの存在又は追加を排除するものではないことが理解されるだろう。
以下の請求項に含まれている全ての手段(means)又はステッププラス機能(step plus function)要素の対応する構造、材料、動作、及び均等物は、具体的に請求される他の請求エレメントと組み合わせて、前記の機能を実行するための任意の構造、材料、又は動作を含む意図を有する。前記実施形態の説明は、例示及び説明の目的のために提示されたが、開示されている形態の実施形態について、徹底的に意図されているわけではなく、またそれに限定されるものではない。多くの修正及び変形が、本発明の範囲及び思想から逸脱することなく、その技術分野における当業者に明らかであろう。
前記実施形態は、その特定のバージョンを参照して説明されたが、他のバージョンも可能である。したがって、添付の請求項の思想及び範囲は、ここに含まれている好適のバージョンの説明に限定されてはいけない。
1001 プロセッサ
1002 ディスプレイデバイス
1003 メモリ
1004 格納デバイス
1005 取り外し可能なストレージデバイス
1006 ユーザーインターフェースデバイス
1007 通信インターフェース
1008 通信インフラストラクチャー

Claims (8)

  1. ビデオトーンマッピング(video tone mapping)のための方法であって、
    グラフィックが、ハイダイナミックレンジ(high dynamic range:HDR)シーン(scene)の画像データ上に、オーバーレイされているか否かを示すオーバーレイ指示(overlay indication)を、入力データストリーム(input data stream)から受信する過程、前記HDRシーンのトーンマッピングメタデータ(tone mapping metadata)を受信する過程、及び
    前記オーバーレイ指示に基づいて、第1トーンマッピングされたビデオを生成する第1トーンマッピング機能、又は第2トーンマッピングされたビデオを生成する第2トーンマッピング機能を用いることによって、ビデオストリーム(video stream)を処理する過程
    を含み、
    前記第1トーンマッピング機能は、グラフィックが、前記HDRシーンの画像データ上にオーバーレイされていないときに使用され、前記第1トーンマッピング機能は、前記HDRシーンのトーンマッピングメタデータを使用し、
    前記第2トーンマッピング機能は、グラフィックが、前記HDRシーンの画像データ上にオーバーレイされているときに使用され、前記第2トーンマッピング機能は、前記オーバーレイされているグラフィックのトーンマッピングメタデータ及び前記HDRシーンのトーンマッピングメタデータを使用し、
    前記オーバーレイされているグラフィックのトーンマッピングメタデータは、前記HDRシーンの画像データ上にオーバーレイされているグラフィックを含む入力データストリームの値の最大輝度を推定することにより獲得されることを特徴とする、ビデオトーンマッピングのための方法。
  2. 前記オーバーレイ指示は、前記グラフィックが、画像データ上でオーバーレイされているか否かを明示するオーバーレイフラグ(overlay flag)を含むことを特徴とする、請求項1に記載のビデオトーンマッピングのための方法。
  3. 前記オーバーレイされているグラフィックは、ピクチャーインピクチャーデータストリーム(picture-in-picture data stream)の画像データに相当することを特徴とする、請求項1に記載のビデオトーンマッピングのための方法。
  4. 前記最大輝度は、前記ビデオストリームに含まれているピクセルのmax(R、G、B)の最大値を示すことを特徴とする、請求項に記載のビデオトーンマッピングのための方法 。
  5. 装置であって、
    コマンド(instruction)を記憶するメモリと、
    グラフィックが、ハイダイナミックレンジ(high dynamic range:HDR)シーン(scene)の画像データ上に、オーバーレイされているか否かを示すオーバーレイ指示(overlay indication)を、入力データストリーム(input data stream)から受信し、
    前記HDRシーンのトーンマッピングメタデータ(tone mapping metadata)を受信し、及び
    前記オーバーレイ指示に基づいて、第1トーンマッピングされたビデオを生成する第1トーンマッピング機能、又は第2トーンマッピングされたビデオを生成する第2トーンマッピング機能を用いることによって、ビデオストリーム(video stream)を処理するように構成されるプロセスを含む前記コマンドを実行する少なくとも一つのプロセッサと、
    を含み、
    前記第1トーンマッピング機能は、グラフィックが、前記HDRシーンの画像データ上にオーバーレイされていないときに使用され、前記第1トーンマッピング機能は、前記HDRシーンのみに、トーンマッピングメタデータを使用し、
    前記第2トーンマッピング機能は、グラフィックが、前記HDRシーンの画像データ上にオーバーレイされているときに使用され、前記第2トーンマッピング機能は、前記オーバーレイされているグラフィックのトーンマッピングメタデータと、前記HDRシーンのトーンマッピングメタデータとを使用し、
    前記オーバーレイされているグラフィックのトーンマッピングメタデータは、前記HDRの画像データシーン上にオーバーレイされているグラフィックを含む入力データストリームの値の最大輝度を推定することにより獲得されることを特徴とする装置。
  6. 前記オーバーレイ指示は、前記グラフィックが、画像データ上でオーバーレイされているか否かを明示するオーバーレイフラグ(overlay flag)を含むことを特徴とする、請求項に記載の装置。
  7. 前記オーバーレイされているグラフィックは、ピクチャーインピクチャーデータストリーム(picture-in-picture data stream)の画像データに相当することを特徴とする、請求項に記載の装置。
  8. 前記最大輝度は、前記ビデオストリームに含まれているピクセルの max(R、G、B)の最大値を示すことを特徴とする、請求項に記載の装置。
JP2020505347A 2017-08-01 2018-08-01 オーバーレイ指示を用いた適応的ハイダイナミックレンジ・トーンマッピング Active JP7262877B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762540012P 2017-08-01 2017-08-01
US62/540,012 2017-08-01
US16/005,474 2018-06-11
US16/005,474 US10504263B2 (en) 2017-08-01 2018-06-11 Adaptive high dynamic range (HDR) tone mapping with overlay indication
PCT/KR2018/008749 WO2019027252A1 (en) 2017-08-01 2018-08-01 ADAPTIVE MAPPING OF DYNAMIC RANGE OF TONES WITH OVERLAY INDICATION

Publications (2)

Publication Number Publication Date
JP2020529672A JP2020529672A (ja) 2020-10-08
JP7262877B2 true JP7262877B2 (ja) 2023-04-24

Family

ID=65231653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020505347A Active JP7262877B2 (ja) 2017-08-01 2018-08-01 オーバーレイ指示を用いた適応的ハイダイナミックレンジ・トーンマッピング

Country Status (6)

Country Link
US (1) US10504263B2 (ja)
EP (1) EP3662441A4 (ja)
JP (1) JP7262877B2 (ja)
KR (1) KR102567633B1 (ja)
CN (1) CN111033557A (ja)
WO (1) WO2019027252A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3644618A4 (en) 2017-06-21 2020-05-27 Panasonic Intellectual Property Management Co., Ltd. IMAGE DISPLAY SYSTEM AND IMAGE DISPLAY METHOD
US11049225B2 (en) * 2017-07-07 2021-06-29 Panasonic Intellectual Property Management Co., Ltd. Video processing system and video processing method
US11039045B2 (en) 2017-07-14 2021-06-15 Panasonic Intellectual Property Management Co., Ltd. Video display system and video display method
CN109891902B (zh) 2017-10-06 2022-02-18 松下知识产权经营株式会社 影像显示系统及影像显示方法
JP7256663B2 (ja) * 2019-03-26 2023-04-12 キヤノン株式会社 画像出力装置およびその制御方法
KR102641738B1 (ko) 2019-09-30 2024-02-29 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
CN113630563B (zh) * 2020-05-08 2022-07-22 华为技术有限公司 一种高动态范围hdr视频的处理方法、编码设备和解码设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150348247A1 (en) 2014-05-30 2015-12-03 Zonare Medical Systems, Inc. Systems and methods for selective enhancement of a region of interest in an image
US20160005201A1 (en) 2013-02-21 2016-01-07 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
WO2016074999A1 (en) 2014-11-10 2016-05-19 Koninklijke Philips N.V. Method for encoding, video processor, method for decoding, video decoder

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020026642A1 (en) * 1999-12-15 2002-02-28 Augenbraun Joseph E. System and method for broadcasting web pages and other information
US20050243176A1 (en) * 2004-04-30 2005-11-03 James Wu Method of HDR image processing and manipulation
WO2008064349A1 (en) 2006-11-22 2008-05-29 Nik Software, Inc. Method for dynamic range editing
US20090096937A1 (en) * 2007-08-16 2009-04-16 Bauer Frederick T Vehicle Rearview Assembly Including a Display for Displaying Video Captured by a Camera and User Instructions
US8073234B2 (en) * 2007-08-27 2011-12-06 Acushnet Company Method and apparatus for inspecting objects using multiple images having varying optical properties
KR101256030B1 (ko) * 2009-03-10 2013-04-23 돌비 레버러토리즈 라이쎈싱 코오포레이션 확장된 동적 범위 및 확장된 차수 이미지 신호 변환
JP5317825B2 (ja) 2009-05-18 2013-10-16 キヤノン株式会社 画像処理装置及び画像処理方法
WO2011002505A1 (en) 2009-06-29 2011-01-06 Thomson Licensing Zone-based tone mapping
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
JP5992997B2 (ja) * 2011-04-28 2016-09-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 映像符号化信号を発生する方法及び装置
JP6407717B2 (ja) * 2011-09-27 2018-10-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像のダイナミックレンジ変換のための装置及び方法
EP2748792B1 (en) * 2012-08-08 2016-12-21 Dolby Laboratories Licensing Corporation Image processing for hdr images
US20140118541A1 (en) * 2012-10-26 2014-05-01 Sensormatic Electronics, LLC Transcoding mixing and distribution system and method for a video security system
US10104331B2 (en) * 2012-12-31 2018-10-16 Karl Storz Imaging, Inc. Camera control unit with stereoscopic video recording and archive
EP2959676B1 (en) 2013-02-21 2020-09-23 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
US9076270B2 (en) * 2013-05-14 2015-07-07 Google Inc. Generating compositions
US9503320B2 (en) * 2013-07-30 2016-11-22 Hewlett-Packard Development Company, L.P. Operation image manager
US9842418B1 (en) * 2013-09-07 2017-12-12 Google Inc. Generating compositions
US9478054B1 (en) * 2013-11-09 2016-10-25 Google Inc. Image overlay compositing
US9852499B2 (en) 2013-12-13 2017-12-26 Konica Minolta Laboratory U.S.A., Inc. Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
US9584786B2 (en) * 2014-03-05 2017-02-28 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
US9230338B2 (en) * 2014-03-05 2016-01-05 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
US9501855B2 (en) 2014-09-11 2016-11-22 Sony Corporation Image processing apparatus and image processing method
JP6663214B2 (ja) * 2015-05-26 2020-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
US11245939B2 (en) * 2015-06-26 2022-02-08 Samsung Electronics Co., Ltd. Generating and transmitting metadata for virtual reality
US9571759B1 (en) 2015-09-30 2017-02-14 Gopro, Inc. Separate range tone mapping for component images in a combined image
CN108521859B (zh) * 2015-11-24 2020-09-22 皇家飞利浦有限公司 用于处理多个hdr图像源的装置和方法
US10104334B2 (en) * 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160005201A1 (en) 2013-02-21 2016-01-07 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
US20150348247A1 (en) 2014-05-30 2015-12-03 Zonare Medical Systems, Inc. Systems and methods for selective enhancement of a region of interest in an image
WO2016074999A1 (en) 2014-11-10 2016-05-19 Koninklijke Philips N.V. Method for encoding, video processor, method for decoding, video decoder

Also Published As

Publication number Publication date
CN111033557A (zh) 2020-04-17
US10504263B2 (en) 2019-12-10
KR102567633B1 (ko) 2023-08-17
EP3662441A1 (en) 2020-06-10
US20190043233A1 (en) 2019-02-07
KR20200027491A (ko) 2020-03-12
JP2020529672A (ja) 2020-10-08
EP3662441A4 (en) 2020-07-01
WO2019027252A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
JP7262877B2 (ja) オーバーレイ指示を用いた適応的ハイダイナミックレンジ・トーンマッピング
EP3185572B1 (en) Transmission method, reproduction method and reproduction device
US10390000B2 (en) Systems and methods for providing closed captioning in three-dimensional imagery
CN110460744B (zh) 亮度变换装置和亮度变换方法
KR101781861B1 (ko) 영상표시장치 및 이를 이용한 텍스트 디스플레이 방법
US9071787B2 (en) Display information feedback
KR102489265B1 (ko) 비디오 신호를 처리하는 멀티미디어 디바이스 및 그 제어 방법
US20140270566A1 (en) Creating details in an image with adaptive frequency strength controlled transform
KR102317035B1 (ko) 디스플레이 디바이스 및 그 제어 방법
US11895309B2 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
CN108141576B (zh) 显示装置及其控制方法
US9319656B2 (en) Apparatus and method for processing 3D video data
EP2676446B1 (en) Apparatus and method for generating a disparity map in a receiving device
US20160269670A1 (en) Method and apparatus for transmitting video signal
WO2016190106A1 (ja) 画像処理装置およびその制御方法、並びに集積回路
JP6640353B2 (ja) 映像表示装置、テレビジョン受像機、送信装置、制御プログラム及び記録媒体
US20140023143A1 (en) Remote display apparatus
JP2018129700A (ja) 信号処理システム、信号生成装置、出力装置、信号生成方法、出力方法、信号生成プログラム、及び出力プログラム
US20100225827A1 (en) Apparatus and method for displaying image
US11930207B2 (en) Display device, signal processing device, and signal processing method
KR20220003536A (ko) 비디오 디코더 칩셋에서 비디오 신호를 디코딩하는 방법
KR20220163644A (ko) 신호처리장치 및 그의 동작방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230406

R150 Certificate of patent or registration of utility model

Ref document number: 7262877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150