JP7092952B2 - ライブフィードにおけるコンテンツアウェアｐｑレンジアナライザとトーンマッピング - Google Patents

ライブフィードにおけるコンテンツアウェアｐｑレンジアナライザとトーンマッピング Download PDF

Info

Publication number
JP7092952B2
JP7092952B2 JP2021559842A JP2021559842A JP7092952B2 JP 7092952 B2 JP7092952 B2 JP 7092952B2 JP 2021559842 A JP2021559842 A JP 2021559842A JP 2021559842 A JP2021559842 A JP 2021559842A JP 7092952 B2 JP7092952 B2 JP 7092952B2
Authority
JP
Japan
Prior art keywords
image
content type
dynamic range
luminance value
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021559842A
Other languages
English (en)
Other versions
JP2022524651A (ja
Inventor
アリ ザンディファル
ジェームズ イー． クレンショー
クリスティーナ ミシェル ヴァスコ
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2022524651A publication Critical patent/JP2022524651A/ja
Application granted granted Critical
Publication of JP7092952B2 publication Critical patent/JP7092952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0238—Improving the black level
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Computing Systems (AREA)

Description

［関連出願への相互参照］
本出願は、２０１９年４月２５日に出願された米国仮特許出願第６２／８３８，５１８号、および２０１９年４月２５日に出願された欧州特許出願第１９１７１０５７．３号の優先権を主張するものであり、それぞれの内容はその全体が参照により本明細書に組み込まれる。
［背景］
本出願は、全般に画像に関するものである。より具体的には、ライブ配信のためのＰＱレンジ分析およびトーンマッピングにおけるコンテンツアウェアネスに関するものである。
本明細書では、「ダイナミックレンジ」という用語は、人間の視覚システムが画像中の強度の範囲（例えば、輝度、ルマなど）を知覚する能力に関連し、例えば、最も暗い黒（「ダーク」）から最も明るい白（「ハイライト」）までの範囲である。この意味で、ダイナミックレンジは、「シーンに応じた」強度に関連する。また、ダイナミックレンジは、特定の幅の強度範囲を十分にまたは適切に表示するための表示装置の能力にも関連する。この意味では、ダイナミックレンジは、「表示に応じた」強度を意味する。本明細書では、特定の意味を持つことが明示されていない限り、この用語はどちらの意味でも、例えば、互換的に使用されてもよいものと推察されるべきである。
本明細書では、「ハイダイナミックレンジ」（ＨＤＲ）という用語は、人間の視覚系の約１４～１５桁の大きさに及ぶダイナミックレンジの幅に関するものである。実際には、人間が強度範囲の広範な幅を同時に知覚することができるダイナミックレンジは、ＨＤＲに対して比較的切り詰められている可能性がある。本明細書では、「拡張ダイナミックレンジ」（ＥＤＲ）または「視覚的ダイナミックレンジ」（ＶＤＲ）という用語は、人間の視覚システムが同時に知覚できるダイナミックレンジに個別にまたは互換的に関連する場合がある。本明細書では、ＥＤＲは５～６桁の大きさに及ぶダイナミックレンジに関連してもよい。したがって、ＥＤＲは真のシーンに応じたＨＤＲに比べてやや狭いが、それでもＥＤＲは広範なダイナミックレンジの幅を表し、ＨＤＲと呼ばれることもある。
実際には、画像は１つ以上の色成分（例えば、ルマＹとクロマＣｂおよびＣｒ）を備え、各色成分はピクセルあたりｎビット（例えば、ｎ＝８）の精度で表される。線形輝度符号化では、ｎ＜８の画像（例えば、カラー２４ビットのＪＰＥＧ画像）は、標準的なダイナミックレンジの画像とみなされ、ｎ＞８の画像は、拡張ダイナミックレンジの画像とみなしてもよい。また、ＥＤＲ画像やＨＤＲ画像は、Ｉｎｄｕｓｔｒｉａｌ Ｌｉｇｈｔ ａｎｄ Ｍａｇｉｃ社が開発したＯｐｅｎＥＸＲファイルフォーマットのような、高精度（例えば１６ビット）の浮動小数点フォーマットを用いて保存および配信することも可能である。
民生用デスクトップディスプレイの多くは、２００～３００ｃｄ／ｍ２（以下、「ニト」）の輝度をサポートする。民生用の高精細テレビ（ＨＤＴＶ）の多くは、３００～１０００ニトである。このようなディスプレイは、ＨＤＲやＥＤＲに対して、標準ダイナミックレンジ（ＳＤＲ）とも呼ばれる低ダイナミックレンジ（ＬＤＲ）の典型例である。カメラなどのキャプチャ機器やドルビーラボラトリーズのＰＲＭ－４２００プロ向け基準モニタなどのＥＤＲディスプレイの進歩によりＥＤＲコンテンツの利用可能性が広がったので、ＥＤＲコンテンツをカラーグレーディングして、１０００ニトから５０００ニト以上の高ダイナミックレンジに対応したＥＤＲディスプレイに表示することが可能になった。
本明細書では、「ディスプレイ管理」という用語には、第１のダイナミックレンジ（例えば１０００ニト）の入力映像信号を第２のダイナミックレンジ（例えば５００ニト）のディスプレイにマッピングするために必要な処理（例えば、トーンおよび色域のマッピング）が含まれるが、これに限定されるものではない。
本項に記載されているアプローチは、追求することが可能なアプローチであり、必ずしもこれまでに考案された、または追求されたアプローチではない。したがって、別段の記載がない限り、本節に記載されているアプローチが、本節に記載されているという理由だけで、先行技術としての引用適格性を有すると仮定すべきでない。同様に、１つ以上のアプローチに関して特定された問題は、別様に示されていない限り、本節に基づいて、いかなる先行技術においても認識されていると仮定すべきでない。
本開示の様々な態様は、ライブフィードのＰＱレンジ分析およびトーンマッピングにおけるコンテンツアウェアネスを含む、画像処理のための回路、システム、および方法に関する。
本開示の１つの例示的な態様では、画像処理システムが提供され、画像信号を受信するように構成された入力であって、画像信号は、画像データの複数のフレームを含む入力と、複数のフレームの少なくとも１つのフレームに基づいて画像分類を自動的に決定し、画像分類に基づいてマッピングメタデータを動的に生成するように構成されたプロセッサとを備える。プロセッサは、画像信号のコンテンツタイプを決定するように構成された決定回路と、コンテンツタイプに基づいて、画像データを複数の特徴項目領域にセグメント化するように構成されたセグメント化回路と、複数の特徴項目領域のそれぞれ１つについて、少なくとも１つの画像アスペクト値を抽出するように構成された抽出回路と、を含む。
本開示の別の例示的な態様では、画像データの複数のフレームを含む画像信号を受信するステップと、前記複数のフレームの少なくとも１つのフレームに基づいて画像分類を自動的に決定するステップであって、画像信号のコンテンツタイプを決定するステップと、コンテンツタイプに基づいて、画像データを複数の空間領域にセグメント化するステップと、複数の空間領域のそれぞれについて、少なくとも１つの画像アスペクト値を抽出するステップと、を含む、画像分類を自動的に決定するステップと、画像分類に基づいて、マッピングメタデータの複数のフレームを生成するステップであって、マッピングメタデータの複数のフレームのそれぞれ１つが、画像データの複数のフレームのそれぞれ１つに対応するステップと、を備える画像処理方法が提供される。
本開示のさらに別の例示的な態様では、画像処理システムのプロセッサによって実行されると、画像処理システムに、画像データの複数のフレームを含む画像信号を受信するステップと、複数のフレームのうちの少なくとも１つのフレームに基づいて、画像分類を自動的に決定するステップと、を含む動作を実行させる命令を格納した非一時的なコンピュータ可読媒体が提供される。決定するステップは、画像信号のコンテンツタイプを決定するステップと、コンテンツタイプに基づいて画像データを複数の空間領域にセグメント化するステップと、複数の空間領域のそれぞれについて少なくとも１つの画像アスペクト値を抽出するステップと、画像分類に基づいてフレームごとにマッピングメタデータを動的に生成するステップと、を含む。
このように、本開示の様々な態様は、少なくとも、画像処理の技術分野だけでなく、画像のキャプチャ、符号化、およびブロードキャストの関連技術分野における改善を提供する。
本開示の様々な態様のこれらおよびその他のより詳細で具体的な特徴は、添付の図面を参照しながら、以下の説明でより完全に開示される。
図１は、本開示の様々な態様に従ったソースシーンおよび様々なレンダリングされたシーンを示す。 図２は、本開示の様々な態様に従った例示的なブロードキャストワークフローのブロック図を示す。 図３は、本開示の様々な態様に従った例示的な処理ユニットのブロック図を示す。 図４は、本開示の様々な態様に従った例示的な処理方法のプロセスフローを示す。 図５は、本開示の様々な態様に従った例示的な分類方法のプロセスフローを示す。 図６は、本開示の様々な態様に従った例示的なシーンを示す。 図７は、本開示の様々な態様に従った別の例示的なシーンを示す。 図８は、本開示の様々な態様に従った別の例示的なシーンを示す。
以下の説明では、本開示の１つ以上の態様の理解を提供するために、回路構成、波形のタイミング、回路の動作など、多数の詳細が記載されている。これらの具体的な詳細は単なる例示であり、本願の範囲を限定することを意図していないことは、当業者には容易に理解できるであろう。
本開示は、コンピュータで実装された方法によって制御されるハードウェアまたは回路、コンピュータプログラム製品、コンピュータシステムおよびネットワーク、ユーザインタフェース、およびアプリケーションプログラミングインターフェース、ならびにハードウェアで実装された方法、信号処理回路、メモリアレイ、特定用途向け集積回路、フィールドプログラマブルゲートアレイなど、さまざまな形態で具現化することができる。前述の概要は、本開示の様々な態様の全般的な考え方を与えることを意図したものに過ぎず、本開示の範囲を何ら限定するものではない。
映像キャプチャ、分析、およびエンコーディングが本明細書で説明される。以下の説明では、本開示の１つ以上の態様の理解を提供するために、回路構成、タイミング、回路動作など、多数の詳細が示される。これらの特定の詳細は単なる例示であり、本願の範囲を限定することを意図していないことは、当業者には容易に理解できるであろう。例えば、いくつかの実施例では、本開示の様々な態様は、これらの詳細がなくても実施することができる。他の例では、本発明を不必要に覆い隠したり、不明瞭にしたり、難読化したりすることを避けるために、よく知られた構造や装置を網羅的に詳細に説明しない場合がある。
［概要］
本明細書で説明する例は、映像ストリームのライブブロードキャスト中にメタデータを生成することを含む画像処理に関するものである。本明細書で説明するいくつかの例は、「ドルビービジョン」アーキテクチャで使用可能である。民生用途のドルビービジョンは、高いダイナミックレンジと広範な色域でマスタリングされたコンテンツの作成と配信を可能にするエンドツーエンドのテクノロジスイートである。ドルビービジョンのディスプレイ管理は、一連のアルゴリズムを用いて信号をドルビービジョン民生用テレビにマッピングすることで、（ＳＤＲ画像しか表示できない場合もある）所与のテレビの能力に適合させる。ＳＤＲディスプレイにＨＤＲコンテンツを表示する場合、ＨＤＲ画像は、比較的縮小されたディスプレイのダイナミックレンジにマッピングされる。
図１は、ソースシーンから様々なレンダリングシーンへのマッピングの一例を示す図である。図１に示すように、ＨＤＲ画像１０１は、ソースシーンをダーク（例えば、ＨＤＲ画像１０１の左下および左上の領域）およびハイライト（例えば、ＨＤＲ画像１０１の上中央および右上の領域）の両方で描写している。ＳＤＲディスプレイにハイライトを忠実に表示するためにＨＤＲ画像１０１をマッピングする際に、レンダリングシーンとして露出アンダー画像１０２を作成してもよい。露出アンダー画像１０２では、ハイライト部分は忠実に再現されているが、ダークに相当する部分のディテールが減少または消失している。逆に、ＳＤＲディスプレイ上でダークを忠実に表示するためにＨＤＲ画像１０１をマッピングすると、レンダリングシーンとして露出オーバー画像１０３が作成されることがある。露出オーバー画像１０３では、ダークが忠実に再現されるが、ハイライトに相当する部分が流失したように見えることがある。露出アンダーでも露出オーバーでもない変換画像を提示するために、メタデータ（つまり、画像データに関するデータ）を利用して、ＨＤＲ画像１０１のどの特徴を画像のフォーカスエリアとみなすべきかを決定してもよい。
図２は、映像キャプチャ、プロダクションおよびポストプロダクション、およびライブ配信を含む、ブロードキャストワークフローシステム２００の例を示す。映像キャプチャは、それぞれが１つ以上のカメラ２１１を含む、１つ以上のカメラバンク２１０によって達成されてもよい。個々のカメラバンク２１０は、異なる映像コンテンツをキャプチャするために、異なる物理的位置に配置されてもよい。例えば、ブロードキャストワークフローシステム２００がスポーツのライブブロードキャストに使用される場合、第１のカメラバンク２１０はスポーツイベント自体の映像をキャプチャするために配置されてもよく、第２のカメラバンク２１０はブロードキャストブースの映像をキャプチャするために配置されてもよく、第３のカメラバンク２１０はスタジオ内のアナリストの映像をキャプチャするために配置されてもよい。各カメラバンク２１０は、任意の数のカメラ２１１を含んでいてもよい。個々のカメラ２１１は、ＨＤＲ映像データやＳＤＲ映像データを撮影することができてもよい。所与のカメラ２１１によってキャプチャされた映像データは、対応する寄与リンク２１２を通過して、さらなる処理が行われる。
図２に示されているように、寄与リンク２１２を通過した映像データは、対応する入力変換器２２０で受信される。映像データがＨＤＲ映像データである場合、入力変換器２２０は、ＨＤＲからＨＤＲへの変換、例えば、例えば、Ｒｅｃ．ＩＴＵ－Ｒ ＢＴ．２１００－１ （０６／２０１７），“Ｉｍａｇｅ ｐａｒａｍｅｔｅｒ ｖａｌｕｅｓ ｆｏｒ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｔｅｌｅｖｉｓｉｏｎ ｆｏｒ ｕｓｅ ｉｎ ｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｒｏｇｒａｍ ｅｘｃｈａｎｇｅ．”に説明されているように、ＨＬＧ（Ｈｙｂｒｉｄ Ｌｏｇ－Ｇａｍｍａ）またはＳＬｏｇ－３ ＨＤＲからＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕａｎｔｉｚｅｒ）ＨＤＲへの変換を行ってもよい。
映像データがＳＤＲ映像データである場合、入力変換器２２０はＳＤＲ－ＨＤＲ変換を行ってもよい。図２では、各寄与リンク２１２に対応する入力変換器２２０を示すが、実際には、より少ない入力変換器２２０があってもよい。例えば、映像データがＰＱを用いたＨＤＲ映像データである場合には、変換が行われないため、入力変換器２２０を設けなくてもよい。いずれにしても、映像データは、プロダクションスイッチャ２２１に提供される。
プロダクションスイッチャ２２１は、カメラ２１１のそれぞれから映像データを受信し、カメラ２１１のうちの選択された１つから受信した映像データに対応してもよいブロードキャストストリーム２２２、品質管理（ＱＣ）ユニット２２３への出力、順にＳＤＲ対応のＱＣユニット２２３への出力を提供してもよいマッピングユニット２２４への出力、プレイアウトサーバ２２５への出力、および保存用のファイルインジェスト２２６を含む、複数の出力を提供する。ファイルインジェスト２２６からのデータは、ポストプロダクションユニット２２７でさらに処理され、その後プレイアウトサーバ２２５に提供されてもよい。プレイアウトサーバ２２５に格納された映像データは、インスタントリプレイやハーフタイム／インターミッション分析など、後の時間に再生するために利用されてもよい。プレイアウトサーバ２２５の出力は、ＳＤＲ映像データ（この場合、別の入力変換器２２０を介して変換が行われてもよい）、ＨＤＲ映像データ、またはその両方を含んでもよい。
ライブ配信のために、ブロードキャストストリーム２２２および／またはプレイアウトサーバ２２５からのデータは、ルータ２３０で受信される。ルータ２３０は、ＱＣユニット２２３への１つ以上の出力（ＨＤＲおよび／またはＳＤＲ）、それぞれのブロードキャストエンコーダ２３２への１つ以上のＨＤＲ配信ストリーム２３１、１つ以上のＳＤＲ配信ストリーム２３７（例えば、ＳＤＲのサイマルキャスト）、およびマッピングユニット２３８へのＨＤＲおよび／またはＳＤＲ出力を含む、複数の出力を提供する。それぞれのブロードキャストエンコーダ２３２は、ＨＤＲ配信ストリーム２３１を受信し、以下でより詳細に説明するような様々な分析を行い、ＨＤＲ映像フィード２３４およびメタデータフィード２３５を出力するＨＤＲ処理ユニット（ＨＰＵ）２３３を含む。ＨＤＲ映像フィード２３４およびメタデータフィード２３５は、符号化およびブロードキャストのために、符号化ユニット２３６に提供される。なお、ＳＤＲ配信ストリーム２３７が存在する場合には、メタデータフィード２３５を生成することなく、符号化ユニット２３６に直接出力してもよい。
［ＨＤＲ処理］
図３は、本開示の様々な態様に従った例示的な画像処理システムを示す。具体的には、図３は、図２に示されたＨＰＵ ２３３の一例であってもよいＨＰＵ ３００を示す。ＨＰＵ ３００は、入力／出力（Ｉ／Ｏ）ユニット３１０と、メモリ３２０と、通信ユニット３３０と、ユーザインタフェース（ＵＩ）３４０と、プロセッサ３５０と、を含む。ＨＰＵ ３００の様々な要素は、バス３６０を介して相互に通信する。Ｉ／Ｏユニットは、図２に例示したＨＤＲ配信ストリーム２３１の一例である入力データ３１１を受信し、図２に例示したＨＤＲ映像フィード２３４およびメタデータフィード２３５のそれぞれの一例である映像フィード３１２およびメタデータフィード３１３を出力する。プロセッサ３５０は、決定ユニット３５１、セグメント化ユニット３５２、および抽出ユニット３５３を含み、それぞれについて以下でより詳細に説明する。
ＨＰＵ ３００の個々のコンポーネントは、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせとして実装されてもよい。例えば、様々なユニットは、回路または回路として実装されてもよく、メモリ内のソフトウェアモジュールまたはプロセッサ内のアルゴリズムなどとして実装されてもよく、回路およびソフトウェアモジュールの組み合わせを含む。
Ｉ／Ｏユニット３１０は、有線、光ファイバ、無線通信プロトコル、またはそれらの組み合わせを介してデータを入力または出力するための１つ以上のポートを含んでもよい。メモリ３２０は、ハードディスク、フラッシュストレージなどの、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）またはＲＡＭ（Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むがこれらに限定されない揮発性メモリユニットまたは不揮発性メモリユニットであってもよい。通信ユニット３３０は、有線、光ファイバ、無線通信プロトコル、またはそれらの組み合わせを介して、ＨＰＵ ３００の外部から制御信号または他の通信を受信するための回路を含んでもよい。ＵＩ ３４０は、マウス、キーボード、タッチスクリーンインターフェース、ディスプレイ、グラフィカルＵＩ（ＧＵＩ）など、ローカルユーザからの指示を受けたり、および／または、ローカルユーザと通信したりするためのデバイスまたはポートを含んでもよい。
プロセッサ３５０を含むがこれに限定されないＨＰＵ ３００の様々なコンポーネントは、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、および、マイクロコントローラ、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、別のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイスで実装されてもよい。一例では、決定ユニット３５１、セグメント化ユニット３５２、および抽出ユニット３５３は、プロセッサ３５０内の回路として実装されてもよい。別の例では、決定ユニット３５１、セグメント化ユニット３５２、および抽出ユニット３５３は、プロセッサ３５０内のソフトウェアモジュールとして実装されてもよい。決定ユニット３５１、セグメント化ユニット３５２、および抽出ユニット３５３の様々なものは、回路部品、アルゴリズム、および／またはサブルーチンを互いに共有してもよい。
ＨＰＵ ３００によって実装される画像処理方法の一例を、図４～５に示す。ステップＳ４０１において、ＨＰＵ ３００は、例えば、Ｉ／Ｏユニット３１０を介して、画像信号を受信する。画像信号は、画像データの複数のフレームを含み、ライブフィードに対応していてもよい。ステップＳ４０１において、ＨＰＵ ３００は、画像信号に含まれる画像データの複数のフレームのうち、少なくとも１つのフレームに基づいて、画像分類を自動的に決定する。この決定は、図５に例示するように、一連のサブプロセスを含んでいてもよい。例えば、ステップＳ５０１において、ＨＰＵ ３００は、画像信号のコンテンツタイプを決定し、ステップＳ５０２において、ＨＰＵ ３００は、決定されたコンテンツタイプに基づいて、画像データを複数の特徴項目領域にセグメント化し、ステップＳ５０３において、ＨＰＵ ３００は、複数の特徴項目領域のそれぞれのものについて、少なくとも１つの画像アスペクト値を抽出する。画像分類は、プロセッサ３５０によって実行されてもよく、その場合、ステップＳ５０１のコンテンツタイプ決定は、決定ユニット３５１によって実行されてもよく、ステップＳ５０２の画像データセグメント化は、セグメント化ユニット３５２によって実行されてもよく、ステップＳ５０３の画像アスペクト値抽出は、抽出ユニット３５３によって実行されてもよい。当業者が明確に理解して評価することができるように、画像分類は、一般に、（例えば、ラベル付けまたはセグメント化によって）画像を多数の（例えば、事前に定義された）カテゴリに割り当てること、および／または、単一の画像を（例えば、画像内のコンテンツに基づいて）多数の領域に割り当てることを含んでもよいが、これに限定されない。特に、そのような割り当てまたはカテゴリ化は、様々な実装および／または要件に応じて、任意の適切な方法を用いて、任意の適切な基準および／または条件に基づいて実行することができる。例えば、割り当てまたはカテゴリ化は、それぞれの画像から決定されたコンテンツタイプに基づいて達成されてもよい。したがって、本開示では、一連のサブプロセス／サブルーチンＳ５０１～Ｓ５０３は、集合的に見て、画像分類プロセス／アルゴリズム、または略して、画像分類と呼ばれることがある。画像分類に基づいて、ステップＳ４０３（図４参照）において、ＨＰＵ ３００は、例えば、Ｉ／Ｏユニット３１０を介して、出力するためのマッピングメタデータを生成する。
［マッピングメタデータの生成と使用］
これらの方法は、例示的なシーンを示す図６～８を参照して、より詳細に説明される。具体的には、図６～８は、ＨＤＲ配信ストリーム２３２および／または入力データ３１１のフレームであってもよい、画像データの個々のフレームの例を示す。図６は、コンテンツの種類がビーチバレーであるフレーム６００を示す図である。図７は、コンテンツの種類がクリケットであるフレーム７００を示す図である。図８は、コンテンツの種類がサッカー（アソシエーションフットボール）であるフレーム８００を示す図である。図６～８のコンテンツタイプは、ライブスポーツに関するものであるが、本開示はこれに限定されない。例えば、コンテンツタイプは、スポーツのライブ中継、映画、ニュース番組、自然風景などであってもよい。
フレーム６００、７００、または８００のような画像データのフレーム（または複数のフレーム）を受信すると、画像処理システムは、画像分類を決定する。これは、図４に図示されたステップＳ４０２の一例であってもよく、図３に図示されたＨＰＵ ３００によって実行されてもよい。画像分類を決定する際に、画像処理システムは、コンテンツタイプを決定するが、これは、図５に図示されたステップＳ５０１の一例であってもよい。
コンテンツタイプは、画像フレームの様々な領域を分析し、１つ以上の信頼領域を決定することによって決定されてもよい。例えば、画像処理システムは、画像フレーム６００を分析し、比較的ベージュ色を有する大部分が信頼領域６０１であり、信頼領域６０１が砂に対応する可能性が高いと決定してもよい。画像処理システムは、さらに、画像フレーム６００の上部分が信頼領域６０２を含み、信頼領域６０２が顔に対応する可能性が高いと決定してもよい。同様に、画像処理システムは、画像フレーム７００を分析して、大きな緑色の部分が信頼領域７０１であり、信頼領域７０１が芝生に対応する可能性が高いと決定してもよい。また、画像処理システムは、同じ色の異なるトーンを区別してもよい。例えば、図８に示されているように、画像処理システムは、画像フレーム８００を分析して、左の部分が１つの信頼領域８０１を含み、右の部分が別の信頼領域８０２を含むと決定してもよい。画像処理システムは、信頼領域８０１および８０２がともに芝生に対応する可能性が高いと決定してもよいが、画像処理システムは、信頼領域８０１の影になった芝生と、信頼領域８０２の太陽に照らされた芝生とを区別してもよい。図６～８は、それぞれの信頼領域を円形として図示しているが、実際には、信頼領域は、楕円形、長方形、または他の任意の形状であってもよい。
信頼領域に基づいて、画像処理システムは、取りうるコンテンツタイプのランク付けされたリストまたはランク付けされていないリストを生成してもよい。例えば、図６において、画像処理システムは、画像フレーム６００がビーチバレーを示す可能性が８５％、画像フレーム６００がビーチサッカーを示す可能性が１２％、画像フレームがビーチテニスを示す可能性が４％などであると決定してもよい。この決定は、画像データの１フレームに基づいても、画像データの連続した一連のフレームに基づいても、画像データの連続しない一連のフレーム（例えば、４フレームごと）に基づいてもよい。また、この決定は、１０フレームごと、３０秒ごとなど、ブロードキャスト中に繰り返し行われてもよい。
コンテンツタイプが決定されると、画像処理システムは、画像データを１つ以上の特徴項目領域にセグメント化する。これは、図５に示されるステップＳ５０２の一例であってもよい。セグメント化は、コンテンツタイプ自体に基づいて行われてもよく、例えば、画像処理システムは、検索してセグメント化するための画像データ内の優先項目の順序付けられたセットを決定してもよい。例えば、図６のビーチバレーボールの例では、画像処理システムは、まず、砂の特徴項目の領域を検索し、次に、複数の顔が接近していることに基づく群衆の特徴項目の領域を検索して、セグメント化してもよい。また、図７に示すクリケットの例では、同様に、画像処理システムは、まず、芝生の特徴項目領域を検索し、次に、ジャージの色に基づいて第１チームの選手を検索するなどして、セグメント化してもよい。また、色や階調に基づいてセグメント化してもよく、例えば、図８に示すサッカーの例では、画像処理システムは、影になった芝生の特徴項目領域、太陽に照らされた芝生の特徴項目領域、などを検索してセグメント化してもよい。図８は、セグメント化を明示的に示しており、画像フレーム８００が、第１の特徴項目領域８１０（太陽に照らされた芝生）と第２の特徴項目領域８２０（影になった芝生）とにセグメント化される。セグメント化は、画像データの単一フレーム、画像データの一連の連続したフレーム、または画像データの一連の非連続フレーム（例えば、４フレームごと）に基づいてもよい。セグメント化は、１０フレームごと、３０秒ごとなど、ブロードキャスト中に繰り返し実行されてもよい。本開示のいくつかの態様では、セグメント化は、コンテンツタイプの決定よりも頻繁に行われる。例えば、画像処理システムは、５秒ごとにコンテンツタイプを決定してもよく、一方、画像処理システムは、０．５秒ごとに画像データをセグメント化してもよい。
画像処理システムは、セグメント化された特徴項目領域から、特徴項目領域のそれぞれのものについて、少なくとも１つの画像アスペクト値を抽出してもよい。これは、図５に示したステップＳ５０３の一例であってもよい。画像アスペクト値は、それぞれの特徴項目領域の輝度情報に関するものであってもよい（ただし、これに限定されない）。例えば、画像アスペクト値は、限定されないが、輝度最大値、輝度最小値、輝度中間値、輝度平均値、輝度分散値などを含んでもよい。画像のアスペクト値は、ヒストグラムとして視覚的または記憶的に表現されてもよい。画像アスペクト値の分布は、画像コンテンツ（例えば、ピクセル値、ルマ値、クロマ値、Ｙ値、Ｃｂ／Ｃｒ値、ＲＧＢ値など）、シーン、ゲイン／オフセット／パワーなどに基づいて導出されてもよい。本開示のいくつかの態様では、抽出は、セグメント化が発生するたびに発生する。
画像処理システムによって実装されるルーチンおよびサブルーチンの１つ以上は、自動的に実行されてもよい。例えば、ＨＰＵ ３００は、深層学習のような機械学習アルゴリズムを利用してもよい。本明細書で使用される深層学習は、特徴抽出および／または変換のために非線形処理ユニットの複数の層のカスケードを使用する機械学習アルゴリズムのクラスを意味する。連続する各層は、前の層からの出力を入力として使用してもよい。深層学習は、教師あり（例：分類）および／または教師なし（例：パターン分析）の仕方で学習することができる。深層学習は、異なる抽象度に対応する複数のレベルの表現を学習し、そのレベルが概念の階層を形成するように使用することができる。そのような技術の例としては、Ｄ． Ｔｒａｎらによる仕事“Ｌｅａｒｎｉｎｇ ｓｐａｔｉｏｔｅｍｐｏｒａｌ ｆｅａｔｕｒｅｓ ｗｉｔｈ ３ｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ”，ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＩＣＣＶ）， ２０１５， ｐｐ．４４８９－４４９７、およびＫ． Ｚｈａｎｇらによる仕事“Ｊｏｉｎｔ ｆａｃｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ａｌｉｇｎｍｅｎｔ ｕｓｉｎｇ ｍｕｌｔｉｔａｓｋ ｃａｓｃａｄｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ”，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ ２３．１０， ２０１６， ｐｐ．１４９９－１５０３が挙げられる。
決定されたコンテンツタイプ、特徴項目領域、および／または画像アスペクト値のうちの１つ以上を含む画像分類の結果は、図２に例示されたメタデータフィード２３５および／または図３に例示されたメタデータフィード３１３のような、マッピングメタデータを動的に生成するために使用されてもよい。当業者であれば理解できるように、マッピングメタデータは、様々な実装および／または要件に応じて、任意の適切な仕方を用いて生成されてもよい。例えば、マッピングメタデータの生成は、上で例示したように、決定されたコンテンツタイプ、特徴項目領域、および／または、画像アスペクト値の一部または全部に基づいて実行されてもよい。さらに、マッピングメタデータは、入力信号の処理に沿って動的に生成されてもよい。すなわち、（例えば、ライブフィードからの）入力画像／映像信号の受信時に、マッピングメタデータは、画像分類手順とともに（言い換えれば、コンテンツタイプ、特徴項目領域、および／または、画像アスペクト値の決定とともに）動的に生成されてもよく、それによって、画像／映像の再生時の品質、正確性、および効率を向上させると同時に、（例えば、ライブブロードキャスト中の）不要または望ましくない遅延を低減または回避することができる。大まかに言えば、マッピングメタデータは、入力信号から出力信号への変換（例えば、マッピング）を可能にしたり、容易にしたりするような仕方で生成されてもよい。例えば、入力信号と出力信号のダイナミックレンジが異なってもよい。この場合、変換は、（入力信号内の）第１のダイナミックレンジのデータを（出力信号内の）第２のダイナミックレンジのデータに変換することを含んでもよい。言い換えれば、メタデータは、第１のダイナミックレンジから（第１のダイナミックレンジより高くても低くてもよい）第２のダイナミックレンジへの画像データを変換する（ことを可能にする／容易にする）ために生成されてもよい。当業者であれば理解できるように、変換には、トーンおよび／または色域のマッピングが含まれるが、これに限定されるものではない。マッピングメタデータは、下流の画像処理で使用されるいくつかのコンポーネントまたはパラメータを含んでもよい。限定するものではないが一例として、本開示（特にその画像分類）は、ライブストリームをサッカーゲームとして認識してもよい。次に、本開示は、オブジェクトの優先リストを芝生の領域と（人間の）顔に決定または選択してもよい。その後、リスト上のオブジェクトごとに、それらの領域内のＨＤＲ ＰＱプロファイルの特徴（例えば、平均、分散など）を算出してもよい。その後、そのような特徴を用いて、適切なトーンマッピングカーブを決定してもよい。マッピングの典型的なケースは、ＨＤＲフィードが０．００１ニトから１０００ニトまでの範囲であり、０．００５ニトから１００ニトまでのＳＤＲにマッピングすることが可能であるという要件がある場合である。さらに、ＳＤＲはＢＴ．１８８６規格に従って符号化されていてもよい。さらに、要件には、（人間の）顔は最大ＳＤＲコード値の約７０％、芝生は最大ＳＤＲコード値の１８％であることも記載されている。これは、しばしば７０％ＩＲＥおよび１８％ＩＲＥと言われ、ＩＲＥとはＩｎｓｔｉｔｕｔｅ ｏｆ Ｒａｄｉｏ Ｅｎｇｉｎｅｅｒｓの略で、テレビの動作プラクティスを定めた旧専門機関である。ここで、現在の一例（サッカーの試合）では、ＨＤＲ信号において、顔は２００ニト、芝生は４０ニトにシェーディングされてもよいことを本開示が見出したと仮定する。すると、最適化アルゴリズムを駆動して、ＨＤＲの２００ニトのピクセルがＳＤＲ信号の７０％にマッピングされ、ＨＤＲの４０ニトのピクセルがＳＤＲ信号の１８％にマッピングされるように、トーンマッピングアルゴリズムのパラメータを選択することができる。当業者には、ＨＤＲの最大画素値とＨＤＲの最小画素値とに追加の制約を加えて、これらがＳＤＲ信号の適切なレベルにマッピングされるようにしてもよいことが明らかである。図８に示されるように、マッピングメタデータは、表示時点（例えば、エンドユーザが所有する市販のテレビ）で使用されて、ダークおよびハイライトの両方を含む画像全体を忠実に再現するレンダリング画像フレーム８３０を表示することができる。本開示がドルビービジョンアーキテクチャで実装される１つの特定の例では、マッピングメタデータは、Ｌ１パラメータ、Ｌ２／Ｌ８パラメータ、Ｌ３パラメータ、Ｌ４パラメータ、Ｌ１１パラメータなどを含んでもよい。
Ｌ１メタデータは、ソース画像やソースシーンなどにおける輝度値の分布に関する情報を提供または記述するものである。上述したように、画像のアスペクト値の分布は、画像コンテンツ（例えば、ピクセル値、ルマ値、クロマ値、Ｙ値、Ｃｂ／Ｃｒ値、ＲＧＢ値など）、シーンなどに基づいて導出されてもよい。Ｌ１メタデータは、画像データの１つ以上のシーンを代表する最小（「クラッシュ」）、中間調（「ミッド」）、最大（「クリップ」）の輝度値を表す量を含んでもよい。
Ｌ２メタデータは、映像特性の調整に関する情報を提供または記述するものであり、その調整は、ディレクタ、カラーグレーダ、映像のプロなどが行った調整に由来するか、またはそれに遡る。Ｌ２メタデータは、図２に示される入力変換器２２０、プロダクションスイッチャ２２１、ＱＣユニット２２３、プレイアウトサーバ２２５、ファイルインジェスト２２６、および／またはポストプロダクション２２７など、プロダクションおよび／またはポストプロダクションで実行される処理に、少なくとも部分的に基づいていてもよい。Ｌ８メタデータは、Ｌ２メタデータと類似しており、場合によっては、（例えば、それぞれのトーンカーブに応じて）Ｌ２メタデータと同等であってもよい。Ｌ２メタデータおよびＬ８メタデータは、「トリム」パラメータと呼ばれることがあり、画像データのゲイン／オフセット／パワーを示してもよく、それに関してもよい。Ｌ２メタデータは、特定の基準ダイナミックレンジを持つ第１の基準ディスプレイに対応してもよい。
Ｌ３メタデータは、監督、カラーグレーダ、映像制作者などによる調整に由来する、またはそれに遡る映像特性の調整についての情報を提供または記述する。Ｌ２メタデータと比較して、Ｌ３メタデータは、第１の基準ディスプレイの基準ダイナミックレンジとは異なる基準ダイナミックレンジを有する第２の基準ディスプレイに対応してもよい。Ｌ３メタデータは、例えば、クラッシュ輝度値、ミッド輝度値、および／またはクリップ輝度値に対するオフセットまたは調整を含む、Ｌ１メタデータからのオフセットまたは調整を含んでもよい。
Ｌ４メタデータは、グローバルディミング動作に関する情報を提供または記述する。Ｌ４メタデータは、前処理の際にエンコーダによって計算されてもよく、ＲＧＢカラープライマリを使用して計算されてもよい。一例において、Ｌ４メタデータは、フレームごとにディスプレイパネルのグローバルバックライト輝度レベルを記述するデータを含んでもよい。Ｌ１１メタデータのような他の生成されたメタデータは、映画コンテンツ、コンピュータゲームコンテンツ、スポーツコンテンツなど、映像データのソースを特定するために使用される情報を提供または記述してもよい。このようなメタデータは、さらに、意図されたホワイトポイント、シャープネスなど、意図された画像設定を提供または記述してもよい。
これらを総合すると、マッピングメタデータは、第１のダイナミックレンジから、第１のダイナミックレンジとは異なる第２のダイナミックレンジに変換するための変換データを含んでもよい。本開示のいくつかの態様では、第１のダイナミックレンジは、第２のダイナミックレンジよりも高くてもよい（例えば、ＨＤＲからＳＤＲへの変換）。本開示の他の態様では、第２のダイナミックレンジは、第１のダイナミックレンジよりも高くてもよい（例えば、ＳＤＲからＨＤＲへの変換）。図１を参照すると、マッピングメタデータは、画像１０２および画像１０３それぞれのような露出オーバーまたは露出アンダーを回避するために利用されてもよい。例えば、マッピングメタデータは、エンドユーザが所有する市販のテレビによるトーンマッピングに使用するために、画像データ自体に符号化されてもよい。
［同等物、拡張物、代替物、その他］
本明細書に記載されているプロセス、システム、方法、ヒューリスティックなどに関して、そのようなプロセスなどのステップは、ある順序にしたがって発生するものとして記載されていますが、そのようなプロセスは、記載されたステップを本明細書に記載された順序以外の順序で実行しても実施可能であることを理解すべきである。さらに、特定のステップが同時に実行され得ること、他のステップが追加され得ること、または本明細書に記載された特定のステップが省略され得ることも理解すべきである。言い換えれば、本明細書におけるプロセスの記述は、特定の実施形態を例示する目的で提供されており、決して特許請求の範囲を限定するように解釈すべきでない。
特許請求の範囲で使用されているすべての用語は、本明細書で反対のことが明示されていない限り、最も広い合理的な解釈と、本明細書に記載されている技術に精通している者が理解する通常の意味を与えることが意図されている。特に、「ａ」、「ｔｈｅ」、「ｓａｉｄ」などの単数形の冠詞の使用は、請求項に明確な反対への限定が記載されていない限り、示された要素の１つ以上を記載していると読み取るべきである。
このように、映像のキャプチャ、分析、およびブロードキャストに関連する例示的な態様が説明されている。前述の明細書では、本発明の態様が、実装ごとに異なる可能性のある多数の特定の詳細を参照して説明されている。したがって、何が本発明であり、何が出願人によって本発明であると意図されているかを示す唯一かつ排他的な指標は、本出願から発行された請求項のセットであり、そのような請求項が発行された特定の形式であり、その後の修正を含む。このような請求項に含まれる用語について本明細書で明示的に定められた定義は、請求項で使用される当該用語の意味を規定する。したがって、請求項に明示的に記載されていない限定、要素、特性、特徴、利点、または属性は、いかなる仕方でも当該請求項の範囲を限定すべきではない。したがって、本明細書および図面は、限定的な意味ではなく例示的な意味で捉えられるべきである。
本開示の様々な例は、請求項ではない、以下の列挙された例示的な実施形態（ＥＥＥ）のいずれか１つ以上を取ることができる。
ＥＥＥ１．画像処理システムであって、画像データの複数のフレームを含む画像信号を受信するように構成された入力と、複数のフレームのうちの少なくとも１つのフレームに基づいて画像分類を自動的に決定し、画像分類に基づいてマッピングメタデータを動的に生成するように構成されたプロセッサと、を備え、プロセッサは、画像信号のコンテンツタイプを決定するように構成された決定回路と、コンテンツタイプに基づいて、画像データを複数の特徴項目領域にセグメント化するように構成されたセグメント化回路と、複数の特徴項目領域のそれぞれのものについて、少なくとも１つの画像アスペクト値を抽出するように構成された抽出回路と、を含む。
ＥＥＥ２．ＥＥＥ１に記載の画像処理システムであって、少なくとも１つの画像アスペクト値は、輝度最大値、輝度最小値、輝度中間値、輝度平均値、輝度分散値から選択される少なくとも１つを含む。
ＥＥＥ３．ＥＥＥ１またはＥＥＥ２に記載の画像処理システムであって、画像信号がライブ映像フィードである。
ＥＥＥ４．ＥＥＥ１からＥＥＥ３のいずれか１つに記載の画像処理システムであって、画像信号およびマッピングメタデータを符号化するように構成されたエンコーダをさらに備える。
ＥＥＥ５．ＥＥＥ１からＥＥＥ４のいずれか１つに記載の画像処理システムであって、マッピングメタデータは、第１のダイナミックレンジから、第１のダイナミックレンジとは異なる第２のダイナミックレンジに変換するための変換データを含む。
ＥＥＥ６．ＥＥＥ５に記載の画像処理システムであって、第１のダイナミックレンジは第２のダイナミックレンジよりも高い。
ＥＥＥ７．画像処理方法であって、画像データの複数のフレームを含む画像信号を受信するステップと、複数のフレームのうち少なくとも１つのフレームに基づいて画像分類を自動的に決定するステップであって、画像信号のコンテンツタイプを決定するステップと、コンテンツタイプに基づいて、画像データを複数の空間領域に分割するステップと、複数の空間領域のそれぞれについて、少なくとも１つの画像アスペクト値を抽出するステップと、画像分類に基づいて、マッピングメタデータの複数のフレームを生成するステップであって、マッピングメタデータの複数のフレームのそれぞれ１つが、画像データの複数のフレームのそれぞれ１つに対応する、生成するステップと、を含む、画像分類を自動的に決定するステップと、を備える。
ＥＥＥ８．ＥＥＥ７に記載の画像処理方法であって、少なくとも１つの画像アスペクト値は、輝度最大値、輝度最小値、輝度中間値、輝度平均値、または輝度分散値から選択される少なくとも１つを含む。
ＥＥＥ９．ＥＥＥ７またはＥＥＥ８に記載の画像処理方法であって、それぞれの特徴項目領域は、風景領域、影領域、空領域、顔検出領域、群衆領域から選択された少なくとも１つを指示する。
ＥＥＥ１０．ＥＥＥ７からＥＥＥ９のいずれか１つに記載の画像処理方法であって、画像信号がライブ映像フィードである。
ＥＥＥ１１．ＥＥＥ７からＥＥＥ１０のいずれか１つに記載の画像処理方法であって、画像信号およびマッピングメタデータを圧縮出力信号に符号化するステップをさらに含む。
ＥＥＥ１２．ＥＥＥ７からＥＥＥ１１のいずれか１つに記載の画像処理方法であって、マッピングメタデータは、第１のダイナミックレンジから、第１のダイナミックレンジとは異なる第２のダイナミックレンジに変換するための変換データを含む。
ＥＥＥ１３．ＥＥＥ１２に記載の画像処理方法において、第１のダイナミックレンジは第２のダイナミックレンジよりも高い。
ＥＥＥ１４．命令を格納した非一時的なコンピュータ可読媒体であって、命令が画像処理システムのプロセッサによって実行されると、画像処理システムに、画像データの複数のフレームを含む画像信号を受信するステップと、複数のフレームのうちの少なくとも１つのフレームに基づいて、画像分類を自動的に決定するステップと、を含む動作を実行させ、決定するステップは、画像信号のコンテンツタイプを決定するステップと、コンテンツタイプに基づいて画像データを複数の空間領域に分割するステップと、複数の空間領域のそれぞれ１つについて少なくとも１つの画像アスペクト値を抽出するステップと、フレームごとに、画像分類に基づいてマッピングメタデータを動的に生成するステップと、を含む。
ＥＥＥ１５．ＥＥＥ１４に記載の非一時的なコンピュータ可読媒体であって、少なくとも１つの画像アスペクト値は、輝度最大値、輝度最小値、輝度中間値、輝度平均値、または輝度分散値から選択された少なくとも１つを含む。
ＥＥＥ１６．ＥＥＥ１４またはＥＥＥ１５に記載の非一過性のコンピュータ可読媒体であって、それぞれの特徴項目領域は、風景領域、影領域、空領域、顔検出領域、群衆領域から選択された少なくとも１つを指示する。
ＥＥＥ１７．ＥＥＥ１４からＥＥＥ１６のいずれか１つに記載の非一時的なコンピュータ可読媒体であって、画像信号がライブ映像フィードである。
ＥＥＥ１８．ＥＥＥ１４からＥＥＥ１７のいずれか１つに記載の非一時的なコンピュータ可読媒体であって、さらに、画像信号とマッピングメタデータを符号化するステップを含む。
ＥＥＥ１９．ＥＥＥ１４からＥＥＥ１８のいずれか１つに記載の非一時的なコンピュータ可読媒体であって、マッピングメタデータは、ＨＤＲ信号とＳＤＲ信号の間で変換するための変換データを含む。
ＥＥＥ２０．ＥＥＥ１９に記載の非一時的なコンピュータ可読媒体であって、マッピングメタデータは、ＨＤＲ信号からＳＤＲ信号に変換するための変換データを含む。

Claims (18)

  1. 画像データの複数のフレームの画像データを含む画像信号を受信するように構成された入力と、
    前記複数のフレームのうち少なくとも１つのフレームに基づいて画像分類を自動的に決定し、前記画像分類に基づいてマッピングメタデータを動的に生成するように構成されたプロセッサと、
    を備え、前記プロセッサは、
    前記画像信号のコンテンツタイプを決定するように構成された決定回路と、
    前記コンテンツタイプに基づいて、前記画像データを複数の特徴項目領域にセグメント化するように構成されたセグメント化回路と、
    前記複数の特徴項目領域のそれぞれについて、少なくとも１つの画像輝度値を抽出するように構成された抽出回路と、
    を含み、
    前記決定回路は、前記フレームの領域を分析し、１つ以上の信頼領域を決定することにより、前記コンテンツタイプを決定するように構成され、
    前記コンテンツタイプの決定は、前記１つ以上の信頼領域に基づいて、取りうるコンテンツタイプのランク付けされたまたはランク付けされていないリストを生成することを含み、
    前記画像データのセグメント化は、前記決定されたコンテンツタイプに基づいて、検索してセグメント化する、前記画像データ中の優先項目の順序付けられたセットを決定することを含み、
    前記マッピングメタデータは、前記コンテンツタイプ、前記特徴項目領域、および／または画像輝度値に基づいて動的に生成され、
    前記マッピングメタデータは、第１のダイナミックレンジから、前記第１のダイナミックレンジとは異なる第２のダイナミックレンジに変換するためのトーンおよび／または色域マッピングデータを含む、
    画像処理システム。
  2. 前記少なくとも１つの画像輝度値は、輝度最大値、輝度最小値、輝度中間値、輝度平均値、または輝度分散値から選択された少なくとも１つを含む、請求項１に記載の画像処理システム。
  3. それぞれの特徴項目領域は、風景領域、影領域、空領域、顔検出領域、群衆領域から選択される少なくとも１つを指示する、請求項１または２に記載の画像処理システム。
  4. 前記画像信号はライブ映像フィードである、請求項１から３のいずれか一項に記載の画像処理システム。
  5. 前記画像信号および前記マッピングメタデータを符号化するように構成されたエンコーダをさらに備える、請求項１から４のいずれか一項に記載の画像処理システム。
  6. 前記第１のダイナミックレンジは前記第２のダイナミックレンジよりも高い、請求項１に記載の画像処理システム。
  7. 画像データの複数のフレームを含む画像信号を受信するステップと、
    前記複数のフレームのうちの少なくとも１つのフレームに基づいて、画像分類を自動的に決定するステップであって、
    前記画像信号のコンテンツタイプを決定するステップと、
    前記コンテンツタイプに基づいて、前記画像データを複数の空間領域にセグメント化するステップと、
    前記複数の空間領域のそれぞれについて、少なくとも１つの画像輝度値を抽出するステップと、
    を含む、決定するステップと、
    前記画像分類に基づいて、マッピングメタデータの複数のフレームを生成するステップであって、前記マッピングメタデータの複数のフレームのそれぞれ１つは、前記画像データの複数のフレームのそれぞれ１つに対応する、生成するステップと、
    を含み、
    前記コンテンツタイプは、前記フレームの領域を分析し、１つ以上の信頼領域を決定することによって決定され、
    前記コンテンツタイプの前記決定は、前記１つ以上の信頼領域に基づいて、取りうるコンテンツタイプのランク付けされたまたはランク付けされていないリストを生成することを含み、
    前記画像データのセグメント化は、前記決定されたコンテンツタイプに基づいて、検索してセグメント化する、前記画像データ中の優先項目の順序付けられたセットを決定することを含み、
    前記マッピングメタデータは、前記コンテンツタイプ、前記空間領域、および／または画像輝度値に基づいて動的に生成され、
    前記マッピングメタデータは、第１のダイナミックレンジから、前記第１のダイナミックレンジとは異なる第２のダイナミックレンジに変換するためのトーンおよび／または色域マッピングデータを含む、画像処理方法。
  8. 前記少なくとも１つの画像輝度値は、輝度最大値、輝度最小値、輝度中間値、輝度平均値、または輝度分散値から選択される少なくとも１つを含む、請求項７に記載の画像処理方法。
  9. それぞれの特徴項目領域は、風景領域、影領域、空領域、顔検出領域、群衆領域から選択される少なくとも１つを指示する、請求項７または８に記載の画像処理方法。
  10. 前記画像信号は、ライブ映像フィードである、請求項７から９のいずれか一項に記載の画像処理方法。
  11. 前記画像信号と前記マッピングメタデータを圧縮出力信号に符号化する、請求項７から１０のいずれか一項に記載の画像処理方法。
  12. 前記第１のダイナミックレンジは前記第２のダイナミックレンジよりも高い、請求項７に記載の画像処理方法。
  13. 画像処理システムのプロセッサによって実行されると、画像処理システムに、
    画像データの複数のフレームを含む画像信号を受信するステップと、
    前記複数のフレームのうちの少なくとも１つのフレームに基づいて、画像分類を自動的に決定するステップであって、
    前記画像信号のコンテンツタイプを決定するステップと、
    前記コンテンツタイプに基づいて、前記画像データを複数の空間領域にセグメント化するステップと、
    前記複数の空間領域のそれぞれについて、少なくとも１つの画像輝度値を抽出するステップと、
    を含む、決定するステップと、
    フレームごとに、前記画像分類に基づいてマッピングメタデータを動的に生成するステップと、
    を備える動作を実行させる命令を格納し、
    前記コンテンツタイプは、前記フレームの領域を分析し、１つ以上の信頼領域を決定することによって決定され、
    前記コンテンツタイプの前記決定は、前記１つ以上の信頼領域に基づいて、取りうるコンテンツタイプのランク付けされたまたはランク付けされていないリストを生成することを含み、
    前記画像データのセグメント化は、前記決定されたコンテンツタイプに基づいて、検索してセグメント化する、前記画像データ中の優先項目の順序付けられたセットを決定することを含み、
    前記マッピングメタデータは、前記コンテンツタイプ、前記空間領域、および／または画像輝度値に基づいて動的に生成され、
    前記マッピングメタデータは、第１のダイナミックレンジから、前記第１のダイナミックレンジとは異なる第２のダイナミックレンジに変換するためのトーンおよび／または色域マッピングデータを含む、非一時的なコンピュータ可読媒体。
  14. 前記少なくとも１つの画像輝度値は、輝度最大値、輝度最小値、輝度中間値、輝度平均値、または輝度分散値から選択される少なくとも１つを含む、請求項１３に記載の非一時的なコンピュータ可読媒体。
  15. それぞれの特徴項目領域は、風景領域、影領域、空領域、顔検出領域、群衆領域から選択される少なくとも１つを指示する、請求項１３または１４に記載の非一時的なコンピュータ可読媒体。
  16. 前記画像信号はライブ映像フィードである、請求項１３から１５のいずれか一項に記載の非一時的なコンピュータ可読媒体。
  17. 前記画像信号および前記マッピングメタデータを符号化するステップをさらに備える、請求項１３から１６のいずれか一項に記載の非一時的なコンピュータ可読媒体。
  18. 前記マッピングメタデータは、ＨＤＲ信号からＳＤＲ信号に変換するための変換データを含む、請求項１３に記載の非一時的なコンピュータ可読媒体。
JP2021559842A 2019-04-25 2020-04-20 ライブフィードにおけるコンテンツアウェアｐｑレンジアナライザとトーンマッピング Active JP7092952B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962838518P 2019-04-25 2019-04-25
EP19171057.3 2019-04-25
EP19171057 2019-04-25
US62/838,518 2019-04-25
PCT/US2020/029023 WO2020219401A1 (en) 2019-04-25 2020-04-20 Content-aware pq range analyzer and tone mapping in live feeds

Publications (2)

Publication Number Publication Date
JP2022524651A JP2022524651A (ja) 2022-05-09
JP7092952B2 true JP7092952B2 (ja) 2022-06-28

Family

ID=70482932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021559842A Active JP7092952B2 (ja) 2019-04-25 2020-04-20 ライブフィードにおけるコンテンツアウェアｐｑレンジアナライザとトーンマッピング

Country Status (6)

Country Link
US (1) US20220180635A1 (ja)
EP (1) EP3959646B1 (ja)
JP (1) JP7092952B2 (ja)
CN (1) CN113748426B (ja)
ES (1) ES2945657T3 (ja)
WO (1) WO2020219401A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11617946B1 (en) 2021-06-29 2023-04-04 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
US11666823B1 (en) 2021-06-29 2023-06-06 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
US11612812B1 (en) * 2021-06-29 2023-03-28 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
WO2024064054A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Method and device for generating metadata estimations based on metadata subdivisions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132243A (ja) 2000-10-27 2002-05-09 Sony Corp 画像処理装置および方法、並びに記録媒体
US20100329554A1 (en) 2009-06-29 2010-12-30 Jiefu Zhai Automatic exposure estimation for HDR images based on image statistics
JP2012532335A (ja) 2009-06-29 2012-12-13 トムソン ライセンシング ゾーン・ベースのトーン・マッピング
CN103024300A (zh) 2012-12-25 2013-04-03 华为技术有限公司 一种高动态范围图像显示方法及装置
JP2013520687A (ja) 2010-02-19 2013-06-06 トムソン ライセンシング 高ダイナミックレンジのビデオ・トーン・マッピングのためのパラメータ補間

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020263B2 (en) * 2008-02-15 2015-04-28 Tivo Inc. Systems and methods for semantically classifying and extracting shots in video
TWI479898B (zh) * 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
WO2014140219A1 (en) * 2013-03-15 2014-09-18 Ventana Medical Systems, Inc. Spectral unmixing
CN111246050B (zh) * 2014-02-25 2022-10-28 苹果公司 用于视频数据处理的系统、装置和方法
AU2015357088A1 (en) * 2014-12-03 2017-05-18 Oregon Health & Science University Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
KR20170091744A (ko) * 2015-01-19 2017-08-09 돌비 레버러토리즈 라이쎈싱 코오포레이션 높은 동적 범위 비디오에 대한 디스플레이 관리
US10778983B2 (en) * 2015-09-23 2020-09-15 Dolby Laboratories Licensing Corporation Preserving texture/noise consistency in video codecs
US9681182B2 (en) * 2015-11-02 2017-06-13 Disney Enterprises, Inc. Real-time transmission of dynamic range tags in a video broadcast
US10593028B2 (en) * 2015-12-03 2020-03-17 Samsung Electronics Co., Ltd. Method and apparatus for view-dependent tone mapping of virtual reality images
US10242449B2 (en) * 2017-01-04 2019-03-26 Cisco Technology, Inc. Automated generation of pre-labeled training data
US10719936B2 (en) * 2017-04-27 2020-07-21 Retinascan Limited System and method for automated funduscopic image analysis
US10685236B2 (en) * 2018-07-05 2020-06-16 Adobe Inc. Multi-model techniques to generate video metadata

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132243A (ja) 2000-10-27 2002-05-09 Sony Corp 画像処理装置および方法、並びに記録媒体
US20100329554A1 (en) 2009-06-29 2010-12-30 Jiefu Zhai Automatic exposure estimation for HDR images based on image statistics
JP2012532335A (ja) 2009-06-29 2012-12-13 トムソン ライセンシング ゾーン・ベースのトーン・マッピング
JP2013520687A (ja) 2010-02-19 2013-06-06 トムソン ライセンシング 高ダイナミックレンジのビデオ・トーン・マッピングのためのパラメータ補間
CN103024300A (zh) 2012-12-25 2013-04-03 华为技术有限公司 一种高动态范围图像显示方法及装置

Also Published As

Publication number Publication date
JP2022524651A (ja) 2022-05-09
CN113748426B (zh) 2023-06-09
CN113748426A (zh) 2021-12-03
ES2945657T3 (es) 2023-07-05
EP3959646B1 (en) 2023-04-19
EP3959646A1 (en) 2022-03-02
US20220180635A1 (en) 2022-06-09
WO2020219401A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
JP7092952B2 (ja) ライブフィードにおけるコンテンツアウェアｐｑレンジアナライザとトーンマッピング
EP3295450B1 (en) Backlight control and display mapping for high dynamic range images
CN109219844B (zh) 在视频优先级与图形优先级之间转换
Lin et al. Image enhancement using the averaging histogram equalization (AVHEQ) approach for contrast improvement and brightness preservation
Veluchamy et al. Fuzzy dissimilarity color histogram equalization for contrast enhancement and color correction
US9679366B2 (en) Guided color grading for extended dynamic range
US20180130188A1 (en) Image highlight detection and rendering
US20110116713A1 (en) Image contrast enhancement apparatus and method thereof
KR101985880B1 (ko) 디스플레이 장치 및 이의 제어 방법
Boitard et al. Zonal brightness coherency for video tone mapping
JP6934240B2 (ja) 画像処理装置
JP2023516184A (ja) 逆トーンマッピングのための方法及び装置
JP2008042893A (ja) ビデオコンテンツ検出器
JP5084615B2 (ja) 画像表示装置
CN113099191B (zh) 一种图像处理方法及装置
US20220261970A1 (en) Methods, systems and computer program products for generating high dynamic range image frames
CN115918061A (zh) 用于高动态范围视频的图片元数据
KR20160025876A (ko) 영상의 대비 강화 방법 및 장치
WO2019233800A1 (en) Adjusting parameters of light effects specified in a light script
US20230230617A1 (en) Computing dynamic metadata for editing hdr content
Qian et al. A local tone mapping operator for high dynamic range images
WO2024020482A1 (en) Color-grading content based on similarity to exemplars
CN117876280A (zh) 视频帧图像增强方法、系统及存储介质
JP2019208205A (ja) 試験測定装置、変更画像生成方法及びコンピュータ・プログラム
CN118101854A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20211208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220304

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220304

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220616

R150 Certificate of patent or registration of utility model

Ref document number: 7092952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150