JP6703032B2 - 後方互換性拡張画像フォーマット - Google Patents

後方互換性拡張画像フォーマット Download PDF

Info

Publication number
JP6703032B2
JP6703032B2 JP2018079752A JP2018079752A JP6703032B2 JP 6703032 B2 JP6703032 B2 JP 6703032B2 JP 2018079752 A JP2018079752 A JP 2018079752A JP 2018079752 A JP2018079752 A JP 2018079752A JP 6703032 B2 JP6703032 B2 JP 6703032B2
Authority
JP
Japan
Prior art keywords
image
range
delta
channel
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018079752A
Other languages
English (en)
Other versions
JP2018142974A (ja
Inventor
ケネス グリーンバウム
ケネス グリーンバウム
イアン ヘンドリー
イアン ヘンドリー
イアン オルマン
イアン オルマン
デイヴィッド ヘイワード
デイヴィッド ヘイワード
ブリジェシュ トリパティ
ブリジェシュ トリパティ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2018142974A publication Critical patent/JP2018142974A/ja
Application granted granted Critical
Publication of JP6703032B2 publication Critical patent/JP6703032B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Processing Of Color Television Signals (AREA)

Description

本開示は概して、多くの既存の画像ファイルフォーマットと比較して、向上した精細度、拡大したダイナミックレンジ、及びより幅広い色域を提供する、画像符号化系システム及び方法に関する。より具体的には、本開示は、既存の装置と後方互換性を有し、向上した精細度、ダイナミックレンジ、及び色域データによって、既存の装置がフェイルしない、画像符号化方法に関する。
周知のように、デジタル画像は、画像の特性を定義する参照値で表される。例えば、デジタル画像の各ピクセルの特性は、複数の参照値(例えば、R即ち赤、G即ち緑、及びB即ち青の値)によって特定されてもよい。これらの参照値は、カラーモデルによって定義される。カラーモデルは、参照値の組み合わせを用いてどのように色を表すことができるかを記述する。特定のカラーモデルによって生成可能な色の一式は、色空間である。テレビの画面、コンピュータモニタ、タブレットなどのディスプレイ装置に画像を生成する最も一般的なカラーモデルは、RGBカラーモデルである。RGBカラーモデルは、赤、緑、及び青の原色の異なるレベル(すなわち、異なる参照値)の組み合わせから生成される色の一式を定義する。
図1に、CIE1931色空間色度図を示す。外側の曲線状の境界105は可視スペクトル単色を表し、波長がナノメートルで示されている。外側の曲線状の境界105に沿って色は、波長を増加しながら、紫、青、緑、黄、橙、及び赤の範囲を進む。特定のRGB色空間の赤、緑、及び青の原色の色度(すなわち、1つの色チャネルが非ゼロ値を有し、他の2つのチャネルはゼロ値を有する色度)は、色三角形115の頂点をそれぞれ形成する。RGB色空間によって表すことができる色度の全域は、色三角115内にある色度によって表される。色三角115は、最も一般的なRGB色空間であるsRGB色空間に対応する。頂点110AはsRGBの赤原色であり、頂点110BはsRGBの緑原色であり、頂点110CはsRGBの青原色である。全ての色チャネルが1に等しいD65の白色点は、120で示される。
図1に示すように、sRGBなどの典型的な色空間は、ヒトが見える色度の全範囲よりも実質的に小さい範囲を含む。更に、典型的な色空間は、ヒトが認識できる輝度レベルのごく一部しか表すことができない。これらの色空間の制限は、ディスプレイメディアが生成可能である色に基づいて、一般的に用いられる色空間に設計によって組み込まれている。すなわち、色空間は、テレビディスプレイ及びコンピュータモニタなどの既存のディスプレイメディアによって生成可能な色のみを含む必要がある。実際に、色空間が生成可能である色にのみ限定される場合に、(所定のデータサイズについて)色が生成可能である精細度は向上する。より幅広い色域(すなわち、より幅広い範囲の色度)及び拡大したダイナミックレンジ(すなわち、より幅広い範囲の輝度レベル)を生成することができる新しいディスプレイ技術の出現によって、より幅広い範囲の色を含む色空間によって画像を定義する必要が出てくる。しかしながら、この移行の間に、追加の色情報を保持する画像ファイルもまた、既存のデバイスによって読取り及びレンダーリング可能であることも必要である。したがって、既存の画像ファイルフォーマットと比較して、向上した精細度、拡大したダイナミックレンジ、及びより幅広い色域を提供し、既存のディスプレイ装置と互換性を有する、画像を符号化するための方法及びシステムを明示することが望ましい。
拡張画像コンテンツを有する画像を符号化する方法は、第1の画像フォーマットで表される第1の画像を取得すること、及び第1の画像に対応し、第2の画像フォーマットで表される第2の画像を取得すること、を含んでもよい。第1の画像の各要素は第1の範囲の参照値によって定義されてもよく、第2の画像の各要素は第2の範囲の参照値によって定義されてもよい。第1の範囲は、第1のフォーマット及び第2のフォーマットが、第1のフォーマットの参照値の全範囲にわたって一貫性を有するように、第2の範囲の真部分集合であってもよい。一実施形態では、第1の画像が次に第2の画像から減算されることで、デルタ画像を取得してもよい。第1の画像は画像ファイルの標準ペイロード部分に符号化されてもよく、デルタ画像は画像ファイルのメタデータ部分に符号化されてもよい。方法はプログラムコードに具現化され、非一時的な媒体に格納されてもよい。格納されたプログラムコードは、方法を実現するように構成されたシステムの一部、又はそれを制御する、1つ以上のプロセッサによって実行されてもよい。
拡張画像コンテンツを有する画像を復号する方法は、画像ファイルのペイロード部分を復号して、第1の画像を作成することを含んでもよい。第1の画像は、各画像要素が第1の範囲の参照値によって定義される基本画像フォーマットにて表されてもよい。画像ファイルのメタデータ部分を復号して、追加の画像データを作成してもよい。追加の画像データを第1の画像と組み合わせて、第2の画像を作成してもよい。第2の画像は、各画像要素が第2の範囲の参照値によって定義される拡張画像フォーマットを用いて表されてもよい。第1の範囲は、基本画像フォーマット及び拡張画像フォーマットが基本画像フォーマットの参照値の全範囲にわたって一貫性を有するように、第2の範囲の真部分集合であってもよい。方法はプログラムコードに具現化され、非一時的な媒体に格納されてもよい。格納されたプログラムコードは、方法を実現するように構成されたシステムの一部、又はそれを制御する、1つ以上のプロセッサによって実行されてもよい。
sRGB色域が明記されたCIE1931色空間色度図を示す。 一実施形態に係る、拡張画像フォーマットのコンポーネントを示すブロック図である。 一実施形態に係る、拡張画像フォーマットに符号化された追加情報を抽出する作業を示すブロック図である。 一実施形態に係る、拡張画像フォーマットに符号化された追加情報を抽出して、抽出された情報を異なるチャネルに分離する作業を示すブロック図である。 複数の実施形態に係る、拡張画像からの基本画像及び拡張画像データを、幅広くサポートされる画像フォーマットに符号化する処理を示すブロック図である。 複数の実施形態に係る、拡張画像からの基本画像及び拡張画像データを、幅広くサポートされる画像フォーマットに符号化する処理を示すブロック図である。 複数の実施形態に係る、拡張画像からの基本画像及び拡張画像データを、幅広くサポートされる画像フォーマットに符号化する処理を示すブロック図である。 一実施形態に係る、基本画像、抽出された追加画像データの1つ以上のチャネル、及び拡張画像を再構成するための命令を、幅広くサポートされた画像フォーマットで符号化することを示すブロック図である。 一実施形態に係る、幅広くサポートされる画像フォーマットを用いて符号化された拡張画像を復号する処理を示すフローチャートである。 一実施形態に係る、例示的な電子機器を示す。
この開示は、拡張画像を、既存の復号デバイスと後方互換性を有するように符号化するための、システム、方法、及びコンピュータ可読メディアに関する。一般的に、拡張画像フォーマットは、既存の画像フォーマットに一致するチャネル原色を用いるように定義される。拡張画像フォーマットが既存の画像フォーマットのチャネル原色を参照するため、拡張画像フォーマットに含まれる追加の画像情報は以下に記載する計算上高価でない作業によって抽出可能である。
以下の記載において、説明を目的として、本発明の概念の完全な理解を提供するために、多数の具体的な詳細について説明する。この記載の一部として、本開示の図面のいくつかは、本発明が不明瞭になるのを避けるために、構造及び装置をブロック図の形態で表す。明確性のために、本明細書には実際の実施態様の全ての特徴は示されていない。更に、本開示に使用される言語は、主に、読み易さ及び説明の目的のために選択されたもので、発明の要旨を線引き又は制限するために選択されたものではなく、このような本発明の要旨を決定するためには特許請求の範囲に依存する必要がある。本開示において「一実施形態」又は「一実施形態」を言及することは、実施形態に関して述べる特定の特徴、構造又は特性が本発明の少なくとも一実施形態に含まれることを意味し、そして「一実施形態」又は「一実施形態」を何度も言及することは、必ずしも全てが同じ実施形態を言及すると理解してはならない。
(任意の開発プロジェクトの場合のような)任意の実際の具現化の開発では、開発者特有の目標(例えば、システム及びビジネス関連制約との適合)を達成するために多数の判断をしなければならず、かつ、これらの目標は、具現化ごとに変動し得ることが了解されよう。また、そのような開発努力は複雑で時間がかかることがあるが、それにもかかわらず、本開示の利益を有する画像処理における当業者の日常行うべきものであることも了解されよう。
図2を参照すると、基本画像フォーマットは、画像ピクセルの特性を定義する参照値205によって画像を記述し得る。例えば、RGBフォーマットで表される画像の各ピクセルは、赤チャネル、緑チャネル、及び青チャネルについての参照値を含んでもよい。まとめて、赤、緑、及び青のチャネルの参照値は、所与の色空間(すなわち、赤、緑、及び青のチャネル原色によって定義される色空間)内のピクセルの特性を定義する。参照値は、0.0〜1.0の範囲内のノミナル値によって記述されてもよい。例えば、((R,G,B)として表される)(1.0,0.0,0.0)の値を有する画像ピクセルは、最大の輝度を有する純粋な赤色画素(すなわち、赤チャネル原色の特性を有するピクセル)となる。図示される実施形態では、一般的な消費者向け画像フォーマットにおいて一般的であるように、各参照値は8ビットの二進数として表すことができる。当業者であれば、他のビット深度が可能であることを認識するであろう。例えば、16ビットも可能である。
一実施形態では、拡張画像フォーマットは、基本画像フォーマットの参照値の範囲にわたって、基本画像フォーマットと一貫性を有する。したがって、拡張画像フォーマットは基本画像フォーマットと同一の原色を参照する(例えば、赤、緑、及び青)。しかしながら、参照値210のノミナル範囲は、追加の画像データ(すなわち、例えば色域、ダイナミックレンジ、及び精細度など、基本フォーマットを用いて表すことができない画像データ)を符号化するために拡張されてもよい。すなわち、基本画像フォーマットの参照値の範囲は、拡張画像フォーマットの参照値の範囲の真部分集合である。拡張画像フォーマットが、基本画像フォーマットの参照値の範囲にわたって基本画像フォーマットと一貫性を有するために、この範囲内の参照値(すなわち、図示される実施形態における0.0〜1.0のノミナル値)は、基本画像フォーマット又は拡張画像フォーマットのどちらでも同一の色特性を表す。図示する実施形態では、拡張画像フォーマットにおける各参照値210についてのノミナル範囲は、基本画像フォーマット参照値205と比較して2倍になる(0.0〜1.0から−0.75〜1.25)。この拡張されたノミナル範囲は、基本画像フォーマットを用いて生成可能なものよりも増加した輝度及びより幅広い色域を符号化するために使用されてもよい。一実施形態では、基本画像フォーマット域の外(すなわち、基本画像フォーマットの色空間の外)の色を符号化する上で、負の値を使用してもよい。例えば、(1.0,−0.75、−0.75)の値は、基本画像フォーマットでは表すことができない、非常に彩度の高い赤を表してもよい。1を超える値は、基本画像フォーマットを用いて表すことのできない(すなわち、基本画像フォーマットのダイナミックレンジの外の)増加した輝度を符号化するのに使用されてもよい。例えば、(1.25,0.0,0.0)は、赤原色の非常に明るいものを表してもよい。更に、図示する実施形態では、拡張画像フォーマットについての参照値は、10ビット2進数を用いて表される。したがって、この実施形態では、1つの追加のビットを、基本画像フォーマットと比較してノミナル範囲を2倍にするために使用し、別の追加のビットを、拡大されたノミナル範囲全体にわたっての精細度を2倍にするために、使用することができる。この手法の利点の1つは、非線形ガンマと組み合わされたときに、表示の実効的な線形範囲が拡大することである。例としては、0.0〜1.0表現における2.2ガンマ値はまだ、0.0〜1.0で線形である。対照的に、0.0〜1.25表現における2.2ガンマ値は、0.0〜1.0の線形範囲によって提供される範囲よりも実際のところ1.6倍である。
なお、図示する実施形態は単なる例示として提供されている。拡張フォーマットの追加画像情報が図2に図示するように分配される(すなわち、追加範囲の75%がより幅広い色域にあてられて、25%は拡大したダイナミックレンジにあてられる)こと、基本及び拡張フォーマットの参照値が任意の特定のビット数で符号化されること、あるいは、参照値がRGBカラーモデルに対応することは、必須ではない。この開示は、基本画像フォーマットの参照値の範囲にわたって一貫性を保ちながら、基本画像フォーマットを用いて符号化することができない画像情報を符号化するために参照値の範囲を拡張する任意の拡張画像フォーマット(任意のカラーモデルを使用)に、等しく適用可能である。
図3を参照すると、一実施形態において、及び以下により詳細に記載するように、基本画像フォーマットを用いて表される画像と、拡張画像フォーマットを用いて表された対応する画像との差分を識別するのが望ましい場合がある。生画像305は、全く処理されていない又は最小限にしか処理されていないが画像センサデータを含んでもよい。生画像305は、それぞれが最終的な画像フォーマットに含まれない画像情報を含み得る点で、フィルム撮影でのネガと類似し得る。例えば、画像センサによってキャプチャされて生画像305に含まれる情報のいくつかは、基本画像310又は拡張画像315にさえも符号化され得ない輝度レベル若しくは色を表してもよい。当業者によって理解されるように、生画像305を拡張画像315及び基本画像310に変換することは、ノイズリダクション、シャープニング、デモザイク処理、黒引き、ハイライト回復、トーンマッピング等を含む、本開示の範囲外の作業を含んでもよい。しかしながら、これらの処理は結果的に、参照値205等の基本画像フォーマットのための参照値から構成される基本画像310、及び参照値210等の拡張画像フォーマットのための参照値から構成される拡張画像を生成する。拡張画像315は、基本画像310では表すことのできない生画像305からの画像情報を含んでもよい。
更に、拡張画像フォーマットは基本画像フォーマットのための参照値の範囲にわたって基本画像フォーマットと一貫性を有しているが、生画像305と基本画像310及び拡張画像315との間の変換処理は結果的に、基本画像フォーマット範囲内に表すことができる色についてさえ、異なる参照値を得る可能性がある。例えば、生画像305が基本画像310の基本画像フォーマット内にて完全に再現することができない明るい黄色の対象物を描写している場合、最大参照値にて基本画像色空間の外に延びる色を丸めて平坦で不自然な外観を得るのではなく、変換処理によって基本画像色空間内の特定の色を調節して対象物のより自然な再現を得られるようにしてもよい。しかしながら、生画像305からより広い色空間を表すことができる拡張画像315に変換する場合、基本画像フォーマットでの場合と同様には、オブジェクトの色を調節する必要はない可能性がある。図3では生画像305を基本画像310及び拡張画像315の両方に変換することを示すが、別の実施形態では、生画像305は拡張画像315に変換されて、基本画像310は拡張画像315から作成されてもよい。基本画像310及び拡張画像315のそれぞれが作成された後に、基本画像310が拡張画像315から減算されることで、デルタ画像320として表される、2つの画像間の差分を抽出してもよい。
図4を参照すると、拡張画像315が基本画像310の参照値の全範囲にわたって基本画像310の基本画像フォーマットと一貫性を有する拡張フォーマットにより表されるため、基本画像310には含まれずに拡張画像315に含まれる追加情報の全てを保持するデルタ画像320の抽出は、簡便なピクセル単位での差分作業として行われてもよい。例えば、基本画像310のピクセル310Aの参照値が、拡張画像315の対応するピクセル315Aの対応する参照値から減算されてもよい。得られる参照値は、デルタ画像320のピクセル320Aの特性を定義する。上記で例として図2について説明した拡張フォーマットを用いて、ピクセル315Aのノミナル参照値は(1.21,−0.4,−0.3)であってもよく、これは基本画像310の基本画像フォーマットの範囲外の明るく濃い赤色を指定する。対応するピクセル310Aの参照値は(0.98,0,0)であってもよく、これは基本画像フォーマットを用いて生成可能な最も明るく最も濃い赤に近いものを表す。ピクセル315Aの参照値の10ビット2進数表現及びピクセル310Aの参照値の8ビット2進数表現の数値表現はそれぞれ、(1003,179,230)及び(250,0,0)である。結果的に、これはデルタ画像320のピクセル320Aの参照値(753,179,230)を得る。
一実施形態では、デルタ画像を、特定の特徴をそれぞれ表す複数のデルタ画像チャネルに分離することが望ましい場合がある。例えば、図示される実施形態では、デルタ画像320は、画像310に対する拡張画像315の追加ダイナミックレンジ、より幅広い色域、及び向上した精細度をそれぞれ表す、デルタ画像チャネル322、324、及び326に分離されてもよい。デルタ画像チャネルの数及び種類は、概して拡張画像フォーマットと基本画像フォーマットとの間の差分による。これらのさまざまな特徴に帰することができるデルタ画像320の部分を分離するために、デルタ画像320の各ピクセルの参照値を、拡張画像315の対応するピクセルの参照値と比較してもよい。例えば、図2に対して説明される拡張フォーマットを再度参照して、拡張画像フォーマットの−0.75〜0.0のノミナル値はより幅広い色域を表すために用いられてもよく、1.0〜1.25のノミナル値は増加された輝度を表すために用いられてもよい。これらのノミナル値は、図2の拡張画像フォーマットの10ビット表現における0〜393及び896〜1023の数値に対応する。したがって、これらの範囲内の参照値の部分は、指定の特性に帰属することができる。増加した輝度に帰属可能なピクセル315Aの参照値の部分が、増加した輝度のデルタ画像チャネル322のピクセル322Aの参照値(107,0,0)を作成するために抽出可能である。同様に、より幅広い色域に帰属可能なピクセル315Aの参照値の部分が、幅広い色域のデルタ画像チャネル324のピクセル324Aの参照値(383,179,230)を作成するために抽出可能である。これらの増加した輝度及びより幅広い色域の参照値がデルタ画像320のピクセル320Aの参照値から減算されると、得られる参照値(263,0,0)は基本画像フォーマットと拡張画像フォーマットとの間の向上した精細度、及び生画像から拡張画像フォーマット並びに基本画像フォーマットへの変換処理における差分を表し、精細度が向上したデルタ画像チャネル326のピクセル326Aの参照値として、符号化することができる。図4に図示される実施形態はデルタ画像320を3つの異なる画像に分離することを示すが、それより多い又は少ない数の分離画像チャネルを用いてもよい。別の実施形態では、複数のデルタ画像チャネルが、帯域幅/品質を制御する目的、及び異なるデコーダの必要性に基づいて、符号化され、任意で伝送され、及び任意で復号されてもよい(すなわち、ノミナル範囲よりも幅広い色域をサポートしない装置には、−0.75〜1.0のチャネルが伝送されなくてもよい。同様に、より高い精細度をサポートする装置は、その余分の範囲を提供するデルタ画像チャネルを受けてもよい)。デルタ画像チャネルを作成するこの手法は、ほとんどの既存のファイルフォーマット/画像表現に適用可能である。記載されるデルタ画像チャネルは明示的なメタデータとして、個別だが関連するファイル(「boxcar」)、又はファイルシステムフォーク内に、合法な場所にファイル/ストリームにデータを「詰め込む」(例えば既存の画像の後に、ファイルフォーマットの定義に従って)ことで暗に格納させてもよい。
図5Aを参照すると、拡張画像フォーマットが既存の装置と互換性を有することを確実にするために、基本画像は幅広くサポートされる画像ファイルフォーマット(例えば、JPEG及びTIFF)を用いて圧縮及び符号化されてもよい。更に、(上記のように1つ以上のデルタ画像に分離されてもよい)デルタ画像は、選択されたファイルフォーマットの標準による基本画像に伴うメタデータとして、圧縮及びパッケージングされてもよい。このようにして、拡張画像フォーマットをサポートする装置は、基本画像及びデルタ画像から拡張画像を作成することができる一方で、拡張画像フォーマットをサポートしない装置は、単にデルタ画像メタデータを無視して通常通りに基本画像を復号することができる。
図5Aに図示する実施形態では、基本画像510Aを拡張画像515Aから減算して、デルタ画像520Aを作成してもよい。この場合もまた、拡張画像フォーマットが、基本画像フォーマットの参照値の範囲にわたって基本画像フォーマットと一貫性を有するために、減算は、上記のように計算上高価でないピクセル単位での差分作業として行われてもよい。基本画像510Aは、幅広くサポートされる画像ファイルフォーマット(例えば、JPEGファイルインターチェンジフォーマット(JFIF))の標準に従って、画像ファイル540Aのペイロード部分として圧縮及び符号化(530A)されてもよい。(いくつかの異なる画像チャネルに実際に分割されてもよい)デルタ画像は同様に、画像ファイル540Aのメタデータ部分内に圧縮及び符号化(530A)されてもよい。例として、JFIFフォーマットは複数のメタデータチャネルを含む。一実施形態では、1つ以上のデルタ画像チャネルが、1つ以上のこれらのメタデータチャネルに圧縮及び格納されてもよい。JFIFフォーマットが記載されているが、追加の幅広くサポートされる画像ファイルフォーマットもまた、同様の作業を可能としてもよい。圧縮及び符号化処理は選択されたファイルの種類に依存するものであり、当業者に周知のものであるため、これらの処理は本開示にて具体的に記載されない。
デルタ画像チャネルデータが著しく空間的にまとまっており、更に基本画像の大きな領域にわたって不変のDCレベルであり得る(そこでは生信号が基本によって表現可能である)ことが、思いがけなく見出された。結果として、デルタ画像チャネルがペイロード(すなわち、基本画像)と同一の圧縮を用いて効率的に符号化されてもよい一方で、更に助けとなる他の技術、例えばデルタ画像チャネルデータが実際に変調されるまばらな領域のみしか符号化しないクアッドツリー表現なども存在する。また、デルタ画像チャネルを別々のチャネル(すなわち、負の値、1を超えた値、及び追加の精細度)に分割して、個別のまばらなチャネルを最大限に生かすのも有利であり得る。単なる一例として、鏡面反射のハイライトは著しく1を超えた値を必要とし、濃く飽和された領域は負の値を必要としてもよい。デルタ画像チャネル情報を符号化することに対して、非可逆又は可逆符号化方法を用いることができる一方で、非可逆圧縮を用いるのが推奨され得る。非可逆圧縮が用いられるところでは、デルタ画像チャネルデータは非可逆圧縮の効果を含むように決定(算出)されてもよい。これは、例えば基本画像データを、上記の減算を行う前に圧縮、及び解凍すること、デルタチャネルにて圧縮エラーを効果的に符号化することで得られてもよく、それによって基本よりも高い品質の画像の復号を可能とする。これは、(ガンマ、レンジ、及び精細度上の)デルタチャネルの追加の使用方法であると判断されている。
図5Bを参照すると、基本画像510Bは、最初に圧縮されて(530B)、次に解凍されて(535B)、その後、圧縮/解凍によって得られる画像が拡張画像515Bから減算されてもよい。非可逆圧縮アルゴリズムの場合は、圧縮/解凍作業は、デルタ画像が、画像ファイル540Bを用いて拡張画像515Bを再構成するために用いられる基本画像のバージョンから算出されることを確実にする。これは、デルタ画像を生成するのに用いられた基本画像とは異なるバージョンを用いるときに、拡張画像再構成処理中に発生し得るエラーを減少させる。圧縮された基本画像は、幅広くサポートされる画像ファイルフォーマットの標準に従って、画像ファイル540Bのペイロード部分として符号化されてもよい。同様にデルタ画像520Bは、画像ファイル540Bのメタデータ部分に圧縮及び符号化されてもよい。
いくつかの実施形態では、基本画像及びデルタ画像を、選択されたファイルフォーマットに基づいて異なるカラーモデルに変換することが必要となり得る。例えば、基本画像及びデルタ画像をパッケージングするために選択されたファイルフォーマットがJFIFであり、基本画像がRGBカラーモデルを用いて符号化される(拡張画像は同一のRGBカラーモデルの延長として表される)場合は、基本画像及びデルタ画像はJFIFによってサポートされるY’Cbrカラーモデルに変換される必要があり得る。これまで、この変換プロセスは、基本画像及びデルタ画像の圧縮並びに符号化の一部として仮定されていた。しかしながら、特定の実施形態では、拡張画像及び基本画像のカラーモデルを変換させて、変換された色空間において(拡張画像及び基本画像間の)差分作業を行うことが有利であり得る。選択されるファイルフォーマットのペイロード部分が基本画像の色空間よりも幅広い範囲の色を符号化することが可能(sRGB色空間に比べたJPEG標準のY’Cbr色空間の場合のように)であれば、デルタ画像の少なくとも一部を、メタデータ部分ではなく画像ファイルのペイロード部分に含むことが望ましい場合がある。0.0〜1.0RGB単位キューブの外の値は、Y’CbCrの0〜1単位容積において表されてもよい。一般的なY’CbrからR’B’G’コンバータは典型的にR’G’B’値を0.0〜1.0に丸めて、後方互換性を維持するたように、拡張された範囲のR’G’B’値をY’Cbrに符号化するのが「安全」であり得る。
図5Cを参照すると、基本画像510C及び拡張画像515Cが、第1のカラーモデルから第2のカラーモデルに変換(550)されてもよい。一実施形態では、第2のカラーモデルは選択されたファイルフォーマット(すなわち、画像ファイル540Cのファイルフォーマット)を用いて画像を符号化するために必要なカラーモデルであってもよい。例として、基本画像510C及び拡張画像515Cが、図2に対して上記で説明された基本画像フォーマット及び拡張画像フォーマットを用いて符号化され、選択されたファイルフォーマットが、画像がY’Cbrカラーモデルを用いて符号化されることを必要とする場合、基本画像510C及び拡張画像515CはRGBカラーモデルからJPEGのY’Cbrカラーモデルに変換される。一実施形態では、ノミナルRGB参照値を変換する上で以下の等式を用いる:
Figure 0006703032
図4に対して上記で説明された拡張画像315のピクセル315Aの例示的なRGB参照値(1.21,−0.4,−0.3)及び基本画像310のピクセル310Aの例示的なRGB参照値(0.98,0,0)は、結果的にそれぞれ(0.093,0.278,1.297)及び(0.293,0.334,0.99)の変換値になる。カラーモデル変換後、変換された基本画像512Cが変換された拡張画像517Cから減算されて、デルタ画像520Cが作成される。デルタ画像520Cは、変換された色空間内に表される。デルタ画像520Cの一部を抽出して変換後基本画像512Cに加え戻すことで、調節された基本画像514Cを作成してもよい。例えば、変換後基本画像512Cの参照値は、デルタ画像520Cの一部を、調節後の基本画像514Cの得られる参照値が受容可能な範囲内である程度に加えることで、変換後の拡張画像517Cに近づくように調節されてもよい。変換後の基本画像512C及び変換後の拡張画像517Cに対応するピクセルの上記の例示的な参照値を再度参照すると、デルタ画像520Cの対応するピクセルの参照値は(−0.2,−0.056,0.307)であってもよい。いくつか又は全てのこれらの参照値が、結果的に得られる値がノミナル参照値の受容可能な範囲内(例えば、0〜1)となる程度にまで、変換後の基本画像514Cの対応する値に加え戻されてもよい。一実施形態では、これは結果的に、調節された基本画像514Cの参照値が(0.093,0.278,1)、及びデルタ画像520Cの対応するピクセルの残る値が(0,0,0.297)となり得る。調節された基本画像514C及びデルタ画像520Cの残りの部分(すなわち、抽出されなかった部分)は次に、ファイル540Cの画像ファイルフォーマットの標準に従って、それぞれ画像ファイル540Cペイロード部分及びメタデータ部分に圧縮及び符号化(530C)されてもよい。
図6を参照すると、一実施形態では、基本画像及びデルタ画像は並行して、ことによれば複数の符号化/復号ユニットを用いて、圧縮及び符号化されてもよい。なお、「追加」の符号化ユニットは同一でなくてもよい。すなわち、デルタチャネル情報について(基本とは)異なるハードウェアエンコーダを用いる機会があってもよく、そのために異なるコーデックのためのハードウェアアクセラレーションを許容し、得られる装置をより多用途のものにしてもよい。あるいは、デルタチャネル情報は基本画像と並行して、中央処理装置(CPU)に基づくコーデックにて、ベースハードウェアが加速されて符号化/復号され得る。別の実施例では、デルタ及び基本画像の両方の符号化はCPUに基づいてもよい(例えば、マルチコア処理装置の異なるコアを用いる)。図示される実施形態では、デルタ画像は上記のように複数のデルタ画像チャネル620A〜620Cに分離されている。画像ファイル640にそれぞれの画像を符号化するために圧縮動作、書込み動作、及び読込み動作を必要とする、基本画像610及びデルタ画像チャネル620A〜620Cのそれぞれの圧縮並びに保存を行うのではなく、基本画像610及びデルタ画像チャネル620A〜620Cを並行して圧縮して、画像ファイル640に符号化してもよい。基本画像610は、画像ファイル640のペイロード部分645に符号化されてもよく、デルタ画像チャネル620A〜620Cは、画像ファイル640の別々のメタデータチャネル650A〜650Cに符号化されてもよい。図6では3つのデルタ画像チャネルが図示されるが、より多く又はより少ない数のデルタ画像チャネルを用いてもよい。
一実施形態では、デルタ画像チャネルは、基本画像610の第1の圧縮版とデルタ画像610の第2の圧縮版との差分を符号化してもよい。例えば、基本画像610は画像ファイルフォーマット(すなわち、画像ファイル640のフォーマット)の標準に従って圧縮されてもよく、改善された圧縮アルゴリズムに従って圧縮されてもよい。かかる実施形態では、2つの圧縮版の差分はデルタ画像チャネル620A〜620Cのうちの1つとして圧縮及び符号化されてもよい。
一実施形態では、デルタ画像チャネル620A〜620Cを画像ファイル640の個別のメタデータチャネルに分離することは、デルタ画像チャネルの選択的な伝送又は使用を可能としてもよい。一実施形態では、受信装置がデルタ画像チャネルの1つ以上を使用することができないと判定された場合は、使用可能なチャネルのみが伝送されてもよい。例えば、受信装置が、精細度デルタ画像チャネルを用いて、画像ファイル640によって表される表示画像の精細度を向上させることはできるものの、拡大したダイナミックレンジ、広範囲の色域、又は圧縮差分チャネルを使用することができない場合、拡大したダイナミックレンジ、広範囲の色域、及び圧縮差分に対応するデルタ画像チャネルは、画像ファイル640が伝送される前に抽出されてもよい。同様に、伝送媒体が限定的な帯域幅を有する場合、デルタ画像チャネルのいくつか又は全てが、画像ファイル640の伝送前に抽出されてもよい。ダウンストリームデコーダ性能を認識することで、伝送局にビットレートを管理してネットワーク輻輳に対応することを許容することができる。同様に、受信デコーダは周知の状況に基づいてデルタを選択的に復号してもよい(例えば、幅広い色域表示ができないときは負のデルタ値を復号しないように選択してもよい)。
図示される実施形態では、画像ファイル640は、画像ファイル640の別個のメタデータチャネルにそれぞれ格納される識別子655及び命令660を含む。識別子655は、元々符号化された基本画像610をデルタ画像チャネルにリンクさせてもよい。このリンクは、カタストロフィックに成り得る、基本画像610の変更されたバージョンにデルタ画像データが適用されることを、回避するために用いられてもよい。例えば、画像ファイル640が変更される(例えば、基本画像610の表現が90度回転される)場合は、それに続けて、拡張画像を再度作成する試みに、デルタ画像データを使用するべきではない。一実施形態では、識別子655は、元のペイロード部分645の全て又は一部のハッシュであってもよい。別の実施形態では、識別子655は(個別のメタデータチャネル内ではなく)元のペイロード部分645内に格納される固有の識別子であってもよく、ペイロード部分645内のデータが元のデータであることを示す追加のJPEGリスタートマーカなどのフォーマット固有マーカを含んでもよい。識別子655の具体的な実施にかかわらず、ペイロード部分645へのいかなる変更も、ペイロード部分645及びメタデータチャネル650A〜650Cを用いて拡張画像を再度作成する続く試みを中止させる、命令660によって使用可能である、ミスマッチを生成し得る。命令660はまた、いくつか又は全てのメタデータチャネル650A〜650Cを用いて拡張画像の全て又は一部を再構成するために使用されるコードを含んでもよい。
図7を参照すると、画像ファイル640の命令660は、画像ファイル640によって表されるどのバージョンの画像が作成されたかを判定してもよい。最初に、ペイロード部分645におけるデータが識別子655に一致するかを判定してもよい(ブロック705)。一実施形態では、ペイロード645のハッシュが、識別子部分655に格納されるペイロード部分645における元の符号化されたデータのハッシュと一致するかを判定してもよい。別の実施形態では、ペイロード部分645が元の符号化されたペイロード部分645に含まれる固有の識別子を含むかを判定してもよい。ペイロード部分645が識別子と一貫性を有する場合(ブロック705の「はい」の枝)、画像を表示するのに用いられる装置が拡張画像フォーマットをサポートするかを判定してもよい(ブロック710)。ペイロード部分645が識別子に一致しない(ブロック705の「いいえ」の枝)又は拡張画像フォーマットがサポートされていない場合(ブロック710の「いいえ」の枝)は、ペイロード部分645は解凍されて(ブロック715)基本画像610を作成してもよい。しかしながら、拡張画像版がサポートされる場合(ブロック710の「はい」の枝)は、ペイロード部分645及びメタデータチャネル650A〜650Cは解凍されてもよく(ブロック720)、得られるデルタ画像チャネルを、得られる基本画像に加算して拡張画像730を作成してもよい。一実施形態では、メタデータチャネル650A〜650Cの全てよりも少ない数が、解凍されて基本画像に加算されてもよい。一実施形態では、命令660は、基本画像、及びデルタ画像チャネルのいずれか又は全てから拡張画像730を作成するために必要な変換及びシーケンスを定義するためのコードを含んでもよい。基本画像フォーマットの参照値の範囲にわたって基本画像フォーマットと一貫性を有する拡張画像フォーマットを定義し、拡張画像を基本画像と、拡張画像と基本画像との差分情報とに分離することで、拡張画像は、既存装置と後方互換性を有し、より幅広くサポートされる画像フォーマットにパッケージングすることができる。
次に図8を参照すると、一実施形態に係る、例示的な電子機器800の簡単な機能ブロック図が示される。電子機器800は、プロセッサ805、ディスプレイ810、ユーザインターフェース815、グラフィックハードウェア820、デバイスセンサ825(例えば、近接センサ/環境光センサ、加速度計、及び/又はジャイロスコープ)、マイクロフォン830、オーディオコーデック835、スピーカ840、通信回路845、デジタル画像キャプチャユニット850、ビデオコーデック855、メモリ860、格納装置865、及び通信バス870を含んでもよい。電子機器800は、例えば、デジタルカメラ、携帯情報端末(PDA)、パーソナル音楽プレーヤー、携帯電話、サーバ、ノートブック、ラップトップ、デスクトップ、又はタブレットコンピュータであってもよい。より具体的には、開示される技術は、機器800のいくつか又は全てのコンポーネントを含む装置上で実行されてもよい。
プロセッサ805は、機器800によって遂行される多数の機能の動作を実行又は制御するのに必要な命令を実行することができる。プロセッサ805は、例えば、ディスプレイ810を駆動し、ユーザインターフェース815からユーザ入力を受信することができる。ユーザインターフェース815は、ボタン、キーパッド、ダイヤル、クリックホイール、キーボード、ディスプレイスクリーン及び/又はタッチスクリーンのような種々の形態をとることができる。また、プロセッサ805は、例えば、モバイル装置に見られるようなシステムオンチップでもよく、専用のグラフィック処理ユニット(GPU)を含むことができる。プロセッサ805は、縮小命令セットコンピュータ(RISC)若しくは複合命令セットコンピュータ(CISC)アーキテクチャあるいは任意の他の適当なアーキテクチャに基づくことができ、そして1つ以上の処理コアを含み得る。グラフィックハードウェア820は、グラフィックを処理するための専用の計算ハードウェアであり得て、及び/又はグラフィック情報を処理するようにプロセッサ805を支援し得る。一実施形態では、グラフィックハードウェア820は、プログラム可能なグラフィック処理ユニット(GPU)を含み得る。
センサ及びカメラ回路850は、静止画像及びビデオ画像をキャプチャすることができ、それらは、少なくとも部分的に、開示される方法に従って、ビデオコーデック855及び/又はプロセッサ805及び/又はグラフィックハードウェア820、並びに/あるいは回路850内に合体された専用の画像処理ユニットによって、処理され得る。そのようにキャプチャされた画像は、メモリ860及び/又は格納装置865に格納され得る。メモリ860は、装置の機能を遂行するためにプロセッサ805及びグラフィックハードウェア820により使用される1つ以上の種々の形式の媒体を含み得る。例えば、メモリ860は、メモリキャッシュ、リードオンリメモリ(ROM)及び/又はランダムアクセスメモリ(RAM)を含むことができる。格納装置865は、メディア(例えば、オーディオファイル、画像ファイル及びビデオファイル)、コンピュータプログラム命令又はソフトウェア、プリファレンス情報、装置プロファイル情報、並びに任意の他の好適なデータを格納することができる。格納装置865には、例えば、(固定、フロッピー(登録商標)、及び取り外し可能な)磁気ディスク及びテープ、CD−ROM及びデジタルビデオディスク(DVD)のような光学的媒体、並びに電気的にプログラム可能なリードオンリメモリ(EPROM)及び電気的に消去可能なプログラマブルリードオンリメモリ(EEPROM)のような半導体メモリデバイスを含む、1つ以上の非一時的格納媒体を含むことができる。メモリ860及び格納装置865は、1つ以上のモジュールへと編成され、かつ、任意の所望のコンピュータプログラミング言語で書かれたコンピュータプログラム命令又はコードを有形に保持するために使用することができる。例えば、プロセッサ805によって実行されるとき、そのようなコンピュータプログラムコードは、ここに記載する作業のうちの1つ以上を実行することができる。
以上の説明は、例示にすぎず、限定的なものでないことも理解されたい。材料はいかなる当業者にも本明細書に記載される発明的な概念を作成し用いることができるように提示されており、特定の実施形態の内容で提供され、その変形は当業者にすぐに明らかに分かるであろう(例えば、いくつかの開示される実施形態が互いに組み合わせて用いてもよい)。当業者が以上の説明を検討すれば、多数の他の実施形態が明らかとなるであろう。本発明の範囲は、したがって、添付の特許請求の範囲及びそのような特許請求の範囲が権利を有する均等物の全範囲から決定されなければならない。特許請求の範囲において、「including」及び「in which」という語は、それぞれ、「comprising」及び「wherein」という用語に相当する平易な英語として使用されている。

Claims (20)

  1. 処理ユニットによって可読な非一時的プログラム格納装置であって、1つ以上のプロセッサに、
    第1の画像フォーマットで表される第1の画像を取得することであって、前記第1の画像内のそれぞれの要素が第1の値の範囲内の1つ以上の参照値によって定義される、前記第1の画像を取得することと、
    前記第1の画像に対応し、第2の画像フォーマットで表される第2の画像を取得することであって、前記第2の画像内のそれぞれの要素が第2の値の範囲内の1つ以上の参照値によって定義され、前記第1の値の範囲は前記第2の値の範囲の真部分集合である、前記第2の画像を取得することと、
    少なくとも部分的に前記第1の画像及び前記第2の画像に基づくデルタ画像を取得することと、
    前記デルタ画像を、少なくとも第1のデルタ画像チャネルと第2のデルタ画像チャネルとに分離することであって、前記第1のデルタ画像チャネルは、前記第1の値の範囲よりも小さい値からなり且つ前記第1の値の範囲によって定義される前記第1の画像の色域外の前記第2の画像の色域を表し、前記第2のデルタ画像チャネルは、前記第1の値の範囲よりも大きい値からなり且つ前記第1の値の範囲によって定義される前記第1の画像の輝度レベルの範囲外の前記第2の画像の輝度レベルの範囲を表していることと、
    前記第1の画像を画像ファイルのペイロード部分に符号化することと、
    前記画像ファイルのメタデータ部分に前記第1のデルタ画像チャネル及び前記第2のデルタ画像チャネルを符号化することと、
    をさせる命令を格納して含む、非一時的プログラム格納装置。
  2. 前記第2の画像フォーマットにおける要素が、第1の画像フォーマットにおける要素よりも幅広い色域、幅広いダイナミックレンジ、及び高い精細度の内の2つまたはそれ以上を表す、請求項1に記載の非一時的プログラム格納装置。
  3. 前記1つ以上のプロセッサにデルタ画像を取得するようにさせる前記命令は、前記1つ以上のプロセッサに、前記第1画像を前記第2画像から減算させる命令を含む、請求項1に記載の非一時的プログラム格納装置。
  4. 前記第2の画像フォーマットにおける要素は、前記第1の画像フォーマットにおける要素よりも高い精細度を有する、請求項1に記載の非一時的プログラム格納装置。
  5. 前記1つ以上のプロセッサに前記第1のデルタ画像チャネル及び第2のデルタ画像チャネルを前記画像ファイルのメタデータ部分に符号化させる命令は、前記1つ以上のプロセッサに前記第1のデルタ画像チャネル及び第2のデルタ画像チャネルを前記画像ファイルの個別のメタデータ部分に符号化させる命令を更に含む、請求項1に記載の非一時的プログラム格納装置。
  6. 前記画像ファイルが画像表示を作成するために伝送又は使用される前に、前記1つ以上のプロセッサに前記画像ファイルから前記第1のデルタ画像チャネル、前記第2のデルタ画像チャネル、又はこれらのデルタ画像チャネルの組合せを選択的に抽出させる命令を更に含む、請求項5に記載の非一時的プログラム格納装置。
  7. 前記画像ファイルが伝送される前に前記1つ以上のプロセッサに前記画像ファイルから前記第1のデルタ画像チャネル、前記第2のデルタ画像チャネル、又はこれらのデルタ画像チャネルの組合せを選択的に抽出させる命令は、前記1つ以上のプロセッサに、受信装置又は前記受信装置への伝送媒体の1つ以上の特性に少なくとも部分的に基づいて、前記第1のデルタ画像チャネル、前記第2のデルタ画像チャネル、又はこれらのデルタ画像チャネルの組合せを選択的に抽出させる命令を含む、請求項6に記載の非一時的プログラム格納装置。
  8. 前記1つ以上のプロセッサに、前記画像ファイル内の前記第1の画像と、前記第1のデルタ画像チャネル及び前記第2のデルタ画像チャネルの一方又は両方とを組み合わせる命令を符号化させる命令を更に含む、請求項1に記載の非一時的プログラム格納装置。
  9. 画像キャプチャ装置と、
    メモリと、
    前記画像キャプチャ装置及び前記メモリと動作的に連結されたプロセッサであって、
    前記画像キャプチャ装置で画像を取得し、
    第1の画像フォーマットで表される前記画像の第1バージョンを作成し、前記画像の前記第1のバージョンの中のそれぞれの要素が第1の値の範囲における1つ以上の参照値によって定義され、
    第2の画像フォーマットで表される前記画像の第2バージョンを作成し、前記画像の前記第2のバージョンの中のそれぞれの要素が第2の値の範囲における1つ以上の参照値によって定義され、前記第1の値の範囲は前記第2の値の範囲の真部分集合であり、
    前記画像の前記第1のバージョン及び前記第2のバージョンに少なくとも部分的に基づく、デルタ画像を取得し、
    前記デルタ画像を、少なくとも第1のデルタ画像チャネルと第2のデルタ画像チャネルとに分離し、ここで前記第1のデルタ画像チャネルは、前記第1の値の範囲よりも小さい値からなり且つ前記第1の値の範囲によって定義される前記画像の前記第1バーョンの色域外の前記画像の前記第2のバージョンの色域を表し、前記第2のデルタ画像チャネルが、前記第1の値の範囲よりも大きい値からなり且つ前記第1の値の範囲によって定義される前記画像の前記第1のバージョンの輝度レベルの範囲外の前記第2バージョンの輝度レベルの範囲を表しており、
    前記画像の前記第1バージョンを画像ファイルのペイロード部分に符号化し、及び
    前記第1のデルタ画像チャネル及び前記第2のデルタ画像チャネルを前記画像ファイルのメタデータ部分に符号化する、
    ように前記メモリに格納されたプログラムコードを実行するように構成されたプロセッサと、
    を備える、システム。
  10. 前記プロセッサに前記第1のデルタ画像チャネル及び前記第2のデルタ画像チャネルを前記画像ファイルのメタデータ部分に符号化させる前記プログラムコードは、前記プロセッサに前記第1のデルタ画像チャネル及び前記第2のデルタ画像チャネルを前記画像ファイルの個別のメタデータ部分に符号化させるプログラムコードを更に含む、請求項9に記載のシステム。
  11. 前記プロセッサが、前記画像ファイルが画像表示を作成するために伝送又は使用される前に、受信装置又は前記受信装置への伝送媒体の1つ以上の特性に少なくとも部分的に基づいて、前記画像ファイルから第1のデルタ画像チャネル、前記第2のデルタ画像チャネル、又はこれらのデルタ画像チャネルの組合せを選択的に抽出するよう、前記メモリに格納されたプログラムコードを実行するように更に構成されている、請求項10に記載のシステム。
  12. プロセッサによって可読な非一時的プログラム格納装置であって、1つ以上のプロセッサに、
    画像ファイルを受信することと、
    前記画像ファイルのペイロード部分を復号して、基本画像フォーマットで表される第1の画像を作成することであって、前記第1の画像内の各要素が第1の値の範囲における第1の複数の参照値によって定義されることと、
    前記画像ファイルのメタデータ部分を復号して少なくとも第1の追加の画像チャネル及び第2の追加の画像チャネルを作成することと、
    前記第1の画像、前記第1の追加の画像チャネル及び前記第2の追加の画像チャネルを組み合わせて、拡張画像フォーマットで表される第2の画像を作成し、該第2の画像内の各要素が、第2の値の範囲における第2の複数の参照値によって定義され、前記第1の値の範囲が前記第2の値の範囲の真部分集合である、前記第2の画像を作成し、前記第1の追加の画像チャネルが、前記第1の値の範囲よりも小さい値からなり且つ前記第1の値の範囲によって定義される前記第1の画像の色域外の前記第2の画像の色域を表し、前記第2の追加の画像チャネルが、前記第1の値の範囲よりも大きい値からなり且つ前記第1の値の範囲によって定義される前記第1の画像の輝度レベルの範囲外の前記第2の画像の輝度レベルの範囲を表していることと、
    をさせる命令を格納して含む、非一時的プログラム格納装置。
  13. 前記1つ以上のプロセッサに、前記画像ファイルの前記ペイロード部分が前記画像ファイルの元のペイロード部分と一貫性を有するかを判定させる命令を更に含む、請求項12に記載の非一時的プログラム格納装置。
  14. 前記1つ以上のプロセッサに、前記画像ファイルの前記ペイロード部分が前記画像ファイルの元のペイロード部分と一貫性を有するかを判定させる前記命令は、前記1つ以上のプロセッサに、前記ペイロード部分の全て又は一部のハッシュが、前記画像ファイルの一部として格納される前記元のペイロード部分の全部又は一部のハッシュと一致するかを判定させる命令を含む、請求項13に記載の非一時的プログラム格納装置。
  15. 前記1つ以上のプロセッサに前記画像ファイルの前記ペイロード部分が前記画像ファイルの元のペイロード部分と一貫性を有するかを判定させる前記命令は、前記1つ以上のプロセッサに、前記画像ファイルに固有の識別子が含まれているかを判定させる命令を含む、請求項13に記載の非一時的プログラム格納装置。
  16. 前記固有の識別子は、前記画像ファイルの前記ペイロード部分に符号化されるファイルフォーマット特有マーカである、請求項15に記載の非一時的プログラム格納装置。
  17. 前記1つ以上のプロセッサに、前記メタデータ部分を復号させて、前記画像ファイルの前記ペイロード部分が前記画像ファイルの元のペイロード部分と一貫性を有すると判定することに応答して、前記第1の画像、前記第1の追加の画像チャネル及び前記第2の追加の画像チャネルを組み合わせるようにさせる命令を更に含む、請求項13に記載の非一時的プログラム格納装置。
  18. 前記画像ファイルの前記ペイロード部分が前記画像ファイルの元のペイロード部分と一貫性を有さないと判定されたときに、前記第1の画像の表示を作成する命令を更に含む、請求項17に記載の非一時的プログラム格納装置。
  19. 装置であって、
    ディスプレイ要素と、
    メモリと、
    前記ディスプレイ要素及び前記メモリに動作的に連結されたプロセッサであって、
    画像ファイルを受信し、
    前記画像ファイルのペイロード部分を復号して、基本画像フォーマットで表される第1の画像を作成することであって、前記第1の画像内の各要素が第1の値の範囲における第1の複数の参照値によって定義される前記第1の画像を作成し、
    前記画像ファイルのメタデータ部分を復号して少なくとも第1の追加の画像チャネル及び第2の追加の画像チャネルを作成し、
    前記第1の画像を前記第1の追加画像チャネル及び前記第2の追加画像チャネルと組み合わせて、拡張画像フォーマットで表される第2の画像を作成することであって、前記第2の画像内の各要素が第2の値の範囲における第2の複数の参照値によって定義され、前記第1の値の範囲が前記第2の値の範囲の真部分集合である、前記第2の画像を作成し、前記第1の追加画像チャネルは、前記第1の値の範囲よりも小さい値からなり且つ前記第1の値の範囲により定義される前記第1の画像の色域外の前記第2の画像の色域を表し、前記第2の追加の画像チャネルが、前記第1の値の範囲よりも大きい値からなり且つ前記第1の値の範囲により定義される前記第1の画像の輝度レベルの範囲外の前記第2の画像の輝度レベルの範囲を表しており、
    前記第2の画像を、前記ディスプレイ要素を用いて表示する、
    ように、前記メモリに格納されたプログラムコードを実行するように構成されるプロセッサと、
    を備える、装置。
  20. 前記プロセッサが、前記画像ファイルの前記ペイロード部分が前記画像ファイルの元のペイロード部分と一貫性を有するかを判定するプログラムコードを更に実行することを特徴とする請求項19に記載の装置。
JP2018079752A 2013-09-30 2018-04-18 後方互換性拡張画像フォーマット Active JP6703032B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/042,447 2013-09-30
US14/042,447 US9036908B2 (en) 2013-09-30 2013-09-30 Backwards compatible extended image format

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016518692A Division JP2016539526A (ja) 2013-09-30 2014-08-29 後方互換性拡張画像フォーマット

Publications (2)

Publication Number Publication Date
JP2018142974A JP2018142974A (ja) 2018-09-13
JP6703032B2 true JP6703032B2 (ja) 2020-06-03

Family

ID=51570860

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016518692A Pending JP2016539526A (ja) 2013-09-30 2014-08-29 後方互換性拡張画像フォーマット
JP2018079752A Active JP6703032B2 (ja) 2013-09-30 2018-04-18 後方互換性拡張画像フォーマット

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016518692A Pending JP2016539526A (ja) 2013-09-30 2014-08-29 後方互換性拡張画像フォーマット

Country Status (7)

Country Link
US (2) US9036908B2 (ja)
EP (1) EP3036743B1 (ja)
JP (2) JP2016539526A (ja)
KR (2) KR101906779B1 (ja)
CN (1) CN105580082B (ja)
TW (2) TWI567727B (ja)
WO (1) WO2015047658A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102223751B1 (ko) * 2013-07-12 2021-03-05 소니 주식회사 재생 장치, 재생 방법, 및 기록 매체
US9036908B2 (en) * 2013-09-30 2015-05-19 Apple Inc. Backwards compatible extended image format
FR3046711B1 (fr) * 2016-01-08 2018-02-16 Stmicroelectronics (Grenoble 2) Sas Compression et decompression de donnees video
US10074155B2 (en) * 2016-06-10 2018-09-11 Apple Inc. Dynamic selection of image rendering formats
CN106507111B (zh) * 2016-11-17 2019-11-15 上海兆芯集成电路有限公司 使用残差补偿的视频编码方法以及使用该方法的装置
US10592170B2 (en) * 2017-01-25 2020-03-17 International Business Machines Corporation Optimizing dual-layered compression in storage systems
US10462495B2 (en) 2017-08-09 2019-10-29 Vital Images, Inc. Progressive lossless compression of image data
TWI633537B (zh) * 2018-02-12 2018-08-21 友達光電股份有限公司 影像優化方法
JP7246855B2 (ja) 2018-02-16 2023-03-28 キヤノン株式会社 撮像装置、記録装置及び表示制御装置
KR20200094525A (ko) 2019-01-30 2020-08-07 삼성전자주식회사 서로 연관된 복수의 데이터를 포함하는 하나의 파일을 처리하는 전자 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5117289A (en) * 1990-04-26 1992-05-26 Lyon-Lamb Video Animation Real-time video image converter
US5603012A (en) * 1992-06-30 1997-02-11 Discovision Associates Start code detector
US20040039912A1 (en) * 1999-02-26 2004-02-26 Bitwise Designs, Inc. To Authentidate Holding Corp. Computer networked system and method of digital file management and authentication
GB9922904D0 (en) * 1999-09-28 1999-12-01 Signum Technologies Limited Method of authenticating digital data works
US7114660B1 (en) 2000-08-29 2006-10-03 Eastman Kodak Company Non-image pixel data stored on hard-copy image media
US6801220B2 (en) * 2001-01-26 2004-10-05 International Business Machines Corporation Method and apparatus for adjusting subpixel intensity values based upon luminance characteristics of the subpixels for improved viewing angle characteristics of liquid crystal displays
JP2005011314A (ja) * 2003-05-23 2005-01-13 Fujitsu Ltd 画像フィルタおよび画像変換方法
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
KR100636969B1 (ko) * 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Isp 내장형 이미지 센서 및 듀얼 카메라 시스템
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
WO2008071037A1 (en) * 2006-12-14 2008-06-19 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
US8520978B2 (en) * 2007-10-31 2013-08-27 Mckesson Technologies Inc. Methods, computer program products, apparatuses, and systems for facilitating viewing and manipulation of an image on a client device
KR101662696B1 (ko) * 2008-08-22 2016-10-05 톰슨 라이센싱 콘텐츠 전달 방법 및 시스템
JP5589006B2 (ja) * 2009-03-13 2014-09-10 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
US8271544B2 (en) * 2009-05-01 2012-09-18 Creative Technology Ltd Data file having more than one mode of operation
WO2012036947A2 (en) 2010-09-13 2012-03-22 Dolby Laboratories Licensing Corporation Data transmission using out-of-gamut color coordinates
US8760561B2 (en) 2011-02-23 2014-06-24 Canon Kabushiki Kaisha Image capture for spectral profiling of objects in a scene
TWI521973B (zh) * 2011-04-15 2016-02-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
WO2013076991A1 (ja) * 2011-11-25 2013-05-30 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置
TWI556629B (zh) * 2012-01-03 2016-11-01 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
US9036908B2 (en) * 2013-09-30 2015-05-19 Apple Inc. Backwards compatible extended image format

Also Published As

Publication number Publication date
TWI567727B (zh) 2017-01-21
WO2015047658A1 (en) 2015-04-02
US9036908B2 (en) 2015-05-19
EP3036743A1 (en) 2016-06-29
US9204172B2 (en) 2015-12-01
CN105580082A (zh) 2016-05-11
TW201513090A (zh) 2015-04-01
KR101906779B1 (ko) 2018-10-10
KR20160045884A (ko) 2016-04-27
JP2016539526A (ja) 2016-12-15
JP2018142974A (ja) 2018-09-13
US20150222930A1 (en) 2015-08-06
TW201638929A (zh) 2016-11-01
TWI553626B (zh) 2016-10-11
KR20180015773A (ko) 2018-02-13
CN105580082B (zh) 2018-09-07
EP3036743B1 (en) 2019-11-13
US20150093023A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
JP6703032B2 (ja) 後方互換性拡張画像フォーマット
AU2020201708B2 (en) Techniques for encoding, decoding and representing high dynamic range images
US20180278968A1 (en) Method for the encoding and decoding of hdr images
WO2023177447A1 (en) Methods and systems for high bit depth and high dynamic range image compression

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200507

R150 Certificate of patent or registration of utility model

Ref document number: 6703032

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250