JP5974128B2

JP5974128B2 - 高ダイナミック・レンジ画像の発生およびレンダリング

Info

Publication number: JP5974128B2
Application number: JP2015037532A
Authority: JP
Inventors: スン，シージュン
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2010-02-04
Filing date: 2015-02-27
Publication date: 2016-08-23
Anticipated expiration: 2031-01-16
Also published as: KR20120112709A; CN102741883A; WO2011097060A2; KR101831551B1; AU2014213524B2; JP2015122110A; EP2531978A2; EP2531978B1; US20110188744A1; KR101764943B1; US8606009B2; TWI518638B; CN102741883B; JP2013519157A; US9978130B2; AU2011213266B2; JP5806682B2; KR20160150650A; CA2786456A1; CA2786456C

Description

[0001] 本技術は、ディジタル画像の発生およびレンダリングに関し、更に特定すれば
、高ダイナミック・レンジ画像の発生およびレンダリングに関する。

[0002] ビデオおよび撮像システムでは、色は一般に３つ以上のチャネルを有する多次
元「色空間」におけるベクトル座標として表される。広く知られている例には、周知の部
類のＲＧＢおよびＹＵＶ色空間が含まれる。ＲＧＢ色空間は、赤、緑、および青色光の強
度をそれぞれ表す座標を使用して、画素値を指定する。ＹＵＶ色空間は、ルミナンス値お
よびクロミナンス値を表す座標を使用して、画素値を指定する。

[0003] 現在、多くの画像取り込み、処理、および表示デバイスは、８ビットで表され
る、チャネル当たり２５６（２^８）離散値という小さなダイナミック・レンジで画素値を
扱えるに過ぎない。このような画像は、８ビットの「ビット深度」を有すると記述するこ
とができる。赤、緑、および青色チャネルにおいてチャネル当たり８ビット（８ｂｐｃ）
を有する典型的なＲＧＢディジタル画像では、赤、緑、および青値の各々に、２５６個の
異なる値しか可能でない。他の値（例えば、アルファまたは不透明値、ルミナンス等）も
、低いダイナミック・レンジ制限によって制約を受けることがある。デバイスの中には、
チャネルあたり１０または１２ビットまでのダイナミック・レンジを扱えるものもある。
しかしながら、人間の視覚系は、１４乗という広いルミナンス範囲を検出することができ
、これを換算すると約４６ビットになる。自然におけるルミナンス値は、明るい日光では
１０^８カンデラ／ｍ^２もの高さ、そして月が出ていない夜の岩の下側では１０^−６カンデ
ラ／ｍ^２という低さになる可能性がある。

[0004] 高ダイナミック・レンジ（ＨＤＲ）撮像は、人間の視覚系になじむ多様で自然
な画像表現を示す。ＨＤＲ画像は、従来の８−ビット、１０−ビット、および１２−ビッ
ト表現よりも高いダイナミック・レンジを有し、はるかに高い画質を達成することができ
る。ＨＤＲ画像のフォーマットがデバイスまたはツールと互換性があるのであれば、ＨＤ
Ｒ画像は、従来の画像を処理するのと同じ種類のデバイスおよびソフトウェア・ツールに
おいて用いることができる。様々なＨＤＲ画像フォーマットが開発されており、カメラ、
コンピューター・グラフィクス、およびディスプレイ・デバイスが、広がりつつあるダイ
ナミック・レンジで画像を生成、処理、および表示し始めている。また、ＨＤＲ画像は、
低ダイナミック・レンジ画像の集合体で構成することもできる。Debevec et al., "Recov
ering High Dynamic Range Radiance Maps from Photographs"（写真からの高ダイナミッ
ク・レンジ輝度マップの再現）、 SIGGRAPH '97 (August 1997)を参照のこと。

[0005] 種々の先行技術が、高解像度および／または高ダイナミック・レンジ画像の表
示または処理に伴う問題に取り組んでいる
[0006] 米国特許第７，１２０，２９３号は、「インタラクティブ画像」について記載
しており、このインタラクティブ画像における各画素位置は、異なる特性を有する数個の
代表画像の内の１つに割り当てられている。選択された画素位置と関連付けて、数個の代
表画像の内どれが最良の露出レベルまたは焦点設定を表すのか判断するために、画像処理
技法が採用されている。

[0007] 米国特許第７，４９２，３７５号は、ＨＤＲ画像における１つ以上の特定の対
象領域を選択し表示することを可能にするＨＤＲビューアーについて記載する。対象領域
において、ＨＤＲビューアーはＨＤＲ画像の対応する１つまたは複数の部分を表示する。
この対応する１つまたは複数の部分は、元のＨＤＲ画像とはいくらか変化する。例えば、
対象領域に対応するＨＤＲ画像の一部が、異なるダイナミック・レンジにトーン・マッピ
ング(tone mapping)されている可能性がある。

[0008] ＨＤＲビューと呼ばれる公に入手可能なアプリケーションは、ユーザーがＨＤ
Ｒ画像を、それよりもダイナミック・レンジが低いディスプレイ上において開き、ＨＤＲ
画像において選択された画素位置上でシフト−クリックして、選択された画素位置におけ
る露出レベルにしたがって、画像の露出を変化させることを可能にする。ＨＤＲビューの
説明は、http://athens/ict.usc.edu/FiatLux/hdrview/において入手可能である。

[0009] また、技術者は、ＨＤＲまたはＳＤＲディジタル画像のようなディジタル・メ
ディアを表すために必要とされるビット量を低減するために圧縮（符号化またはエンコー
ドとも呼ばれる）を使用する。圧縮によって、ディジタル画像をビット・レートを低下さ
せた形態に変換することによって、ディジタル画像を格納および送信するコストを低減す
る。伸張（デコードとも呼ばれる）によって、圧縮形態から元の画像のバージョンを再現
する。「コデック」とは、エンコーダー／デコーダー・システムのことである。

[0010] エンコードまたはその他の処理の後においてディジタル画像の中で知覚できる
欠点を、アーチファクトと呼ぶことがある。何故なら、これらはエンコードまたはその他
の処理によって生じ、それが発生したことを示すからである。これらのアーチファクトは
、ブロッキング・アーチファクト(blocking artifact)、バンディング・アーチファクト(
banding artifact)、およびリンギング・アーチファクト(ringing artifact)を含む。

[0011] 圧縮によって混入され再現画像に現れるブロック・パターンは、ブロック・ア
ーチファクトと呼ばれることが多い。ブロック・アーチファクトは、特に、明るい空の画
像のような、滑らかに変化する勾配領域において目立つ可能性がある。ブロック・アーチ
ファクトは、例えば、エンコードのために画像を複数のブロックに分割することによって
生じ、このエンコードは、周波数変換プロセス、およびブロックに対するＡＣ係数の量子
化を含む。バンディングまたは輪郭(contouring)アーチファクトが生ずるのは、例えば、
画像におけるサンプル値を高いビット分解能（例えば、サンプル値当たり１０ビットまた
は１２ビット）からそれより低いビット分解能（例えば、サンプル値当たり８ビット）に
変換するときである。サンプル値が低い方のビット分解能に間引かれる(clip)と、値の帯
域間の段差が、特にサンプル値が滑らかに変化している領域（例えば、明るい値から暗い
値への漸次遷移）において知覚可能になる可能性がある。リンギング・アーチファクトは
、アーチファクトのエッジから写真の背景に移るリップル・パターンまたはその他のノイ
ズ帯域として現れる可能性がある。リンギング・アーチファクトは、オブジェクトまたは
オブジェクトの一部を含むブロックに対する周波数変換プロセスおよび量子化によって生
ずる可能性がある。また、リンギング・アーチファクトは、編集中における過度な鮮鋭処
理(sharpening)によってエッジに混入する可能性がある。

[0012] アーチファクトを制御する後処理手法の中には、アーチファクトを和らげるま
たそうでなければ隠すように、デコードの後に画像を処理するものがある。システムの中
には、ブロック・アーチファクトの可視性を低減するために、ブロック境界にまたがって
適応的にフィルタリングを行うものもある。他のシステムには、後処理の間に、再現され
た写真のサンプル値を調節するために、ディザリングを使用するものがある。例えば、デ
ィザリングはぎざぎざなエッジ周囲の値に小さな調節を導入して、見る人がその値を「平
均化し」滑らかになったエッジを知覚することができる。

[0013] 従来の技法にどのような便益があったにせよ、これらは以下に紹介する技法お
よびツールの利点を有していない。

[0014] 高ダイナミック・レンジ（ＨＤＲ）画像のレンダリングおよび発生のための技
法およびツールについて記載する。記載する様々な実施形態では、ＨＤＲ画像発生システ
ムは、１組の低ダイナミック・レンジ（ＬＤＲ）画像に対して動き分析を実行し、この動
き分析において得られた情報に基づいて、画像に対する相対的露出レベルを導き出す。こ
れらの相対的露出レベルは、ＬＤＲ画像を統合するときに、ＨＤＲ画像を形成するために
用いられる。記載する様々な実施形態では、ＨＤＲ画像レンダリング・システムは、ＨＤ
Ｒ画像におけるサンプル値をそれぞれの低ダイナミック・レンジ値にトーン・マッピング
し、局所コントラスト値を計算する。局所コントラストに基づいて残差信号が導き出され
、ＬＤＲ画像のサンプル値が、トーン・マップ・サンプル値および残差信号に基づいて計
算される。ＨＤＲ画像発生またはレンダリングの種々の段階において、ユーザー好み情報
を使用することができる。

[0015] 一態様において、場面を描写する１組のディジタル画像における基準画像に対
して、動き分析を行う。基準画像は、（例えば、ユーザー好み情報または画像内において
検出された露出範囲に基づいて）選択することができる。この動き分析は、１組の中にあ
る１つ以上の非基準画像の各々について、基準画像に対する画像差を判定することを含む
。動き分析に少なくとも部分的に基づいて、基準画像に対する１つ以上の相対的露出レベ
ルを、非基準画像毎に導き出す。例えば、相対的露出レベルは、線形ドメインに変換され
たサンプル値、およびそれぞれの非基準画像に対する平均サンプル比に基づいて導き出さ
れる。相対的露出レベルに少なくとも部分的に基づいて、１組の複数のディジタル画像を
統合し、場面を描写するＨＤＲ画像を形成する。サンプル値は、相対的露出レベルに基づ
いて、正規化レベルにスケーリングすることができる。ＨＤＲ画像を形成するために統合
されている画像における画像アーチファクトを除去するために、前処理を（例えば、動き
検出の前に）行うことができる。

[0016] 動き分析は、正規化相互相関を使用して、基準画像に対する画像差を判定する
ことを含むことができる。動き分析は、非基準画像においてサンプル値の部分集合を選択
し、基準画像に対する画像差を判定することを含むことができ、この部分集合は、ある範
囲の露出値にサンプル値が該当するか否かに基づいて選択される。動き分析は、全域動き
分析、およびこれに続く局所動き分析を含むことができる。動き分析は、１つ以上の非基
準画像の各々における１つ以上の画素について、動きベクトルを決定することを含むこと
ができる。

[0017] 前述の統合は、ＨＤＲ画像におけるサンプル位置毎に、基準画像におけるサン
プル位置に対応するサンプル値の加重平均と、各非基準画像におけるサンプル位置に対応
する、スケーリングされたサンプル値とを計算することを含むことができる。例えば、加
重平均におけるサンプル値ｓ毎の重み計数ｗは、信頼レベル、相対的露出値、および正の
指数（例えば、０．５）に基づいて計算される。信頼レベルは、サンプル値に基づいて、
様々に変化する可能性がある。例えば、信頼レベルは、極端なサンプル値（例えば、非常
に明るいまたは非常に暗い）程小さくなる。

[0018] 他の態様では、ＨＤＲ画像をＬＤＲ画像としてレンダリングする。ＨＤＲ画像
におけるサンプル値を、それぞれの低ダイナミック・レンジ値にトーン・マッピングする
。トーン・マップ・サンプル値の各々について、局所コントラスト値を計算する。それぞ
れの局所コントラスト値に少なくとも部分的に基づいて、トーン・マップ・サンプル値の
各々について、残差信号を導き出す。例えば、各トーン・マップ・サンプル値に、それぞ
れの局所コントラスト値を乗算する。残差信号に、スケーリングおよびフィルタリングを
適用することができる。スケーリングは、それぞれの残差信号に対応するトーン・マップ
・サンプル値の関数であるスケーリング係数を適用することを含むことができる。トーン
・マップ・サンプル値およびそれぞれの残差信号に少なくとも部分的に基づいて、ＬＤＲ
画像のサンプル値を計算する。例えば、ＬＤＲ画像のサンプル値は、トーン・マップ・サ
ンプル値、残差信号、および高周波ディザリング信号を組み合わせ、０から２５５までを
含む範囲における整数値にマッピングすることによって、計算することができる。次いで
、ＬＤＲ画像を表示するか、または何らかの他の方法で処理することができる。トーン・
マッピングの前に、前処理（例えば、ピクチャーのサイズ変更、明示的な露出調節、明示
的なダイナミック・レンジ調節、色温度調節、色強調）を、ＨＤＲ画像に対して行うこと
ができる。

[0019] トーン・マッピングは、全域トーン・マッピング参照表を発生し、この参照表
において参照を行うことによってというようにして、ＨＤＲ画像におけるサンプル値に対
してＬＤＲ値を識別することを含むことができる。全域トーン・マッピング参照表は、適
応ガンマ関数に基づいて発生することができる。トーン・マッピングは、ＨＤＲ画像の低
解像度プレビュー・バージョン、またはＨＤＲ画像の最大解像度バージョンに適用するこ
とができる。例えば、画像のプレビュー・バージョンに適用されるトーン・マッピングは
、最終画像をセーブするときに、画像の最大解像度バージョンに適用することができる。
修正トーン・マッピング・パラメーターをＨＤＲ画像のコピーに適用することができ、ト
ーン・マップ・バージョンを順次表示して、例えば、アニメーション効果を生み出すこと
ができる。

[0020] 他の態様では、１つ以上のユーザー好み制御部を、ＨＤＲ画像レンダリング・
パラメーターに対してユーザーの好みを設定するために設ける。例えば、ユーザー調節可
能な制御部を、ユーザー・インターフェースを通じて、画像編集アプリケーションの一部
として設けることができる。ユーザー好み情報は、ユーザー好み制御部から受け取られる
。ユーザー好み情報は、ＨＤＲ画像を収容するＨＤＲ画像ファイルに対するＨＤＲ画像レ
ンダリング・パラメーターに対応する。ユーザー好み情報に少なくとも部分的に基づいて
、ＨＤＲディジタル画像をレンダリングする。このレンダリングは、複数のトーン・マッ
プ・サンプル値の各々について、局所コントラスト値を計算すること、およびそれぞれの
トーン・マップ・サンプル値に対する局所コントラスト値に少なくとも部分的に基づいて
、ＬＤＲ画像のサンプル値を計算することを含むことができる。

[0021] 一人のユーザーまたは多数のユーザーと関連のあるユーザー好み情報は、画像
ファイルにおけるメタデーターとして格納することができる。例えば、ユーザー識別情報
をユーザー好み情報と共に格納することができ、ユーザー識別情報をそれぞれのユーザー
にリンクすることができる。ユーザー好み情報をメタデーターとして格納することによっ
て、元のＨＤＲ画像情報をファイルに保存することを容易にすることができる。ユーザー
好み制御部は、例えば、信号スケーリング制御、信号フィルタリング制御、ガンマ制御、
色強調制御、サイズ変更制御、色温度制御、および白点制御を含むことができる。

[0022] 本発明の以上のおよびその他の目的、特徴、ならびに利点は、添付図面を参照
して進む以下の詳細な説明から一層明らかとなろう。

図１Ａは、記載する実施形態のいくつかを実現することができる、適した計算環境を一般化した例を示す。図１Ｂは、記載する実施形態を実現することができる、適した実施態様環境を一般化した例を示す。図２は、１つ以上の記載する実施形態にしたがって、ＨＤＲ画像発生およびＨＤＲ画像レンダリングを含む、ディジタルＨＤＲ撮像ワークフローの一例を示す図である。図３は、１つ以上の記載する実施形態による、一般化したＨＤＲ画像処理システムを示す図である。図４は、１つ以上の記載する実施形態にしたがって、１組のＳＤＲ画像からＨＤＲ画像を発生する技法の一例を示すフロー・チャートである。図５は、１つ以上の記載する実施形態による、ＨＤＲ画像発生システムの実施態様の一例を示す図である。図６は、１つ以上の記載する実施形態にしたがって、ＨＤＲ画像をレンダリングする技法の一例を示すフロー・チャートである。図７は、１つ以上の記載する実施形態によるＨＤＲ画像レンダリング・システムの実施態様の一例を示す図である。図８は、１つ以上の記載する実施形態による、フィルタリング動作のための現在のサンプル位置を含む軸を示す図である。図９は、１つ以上の実施形態にしたがって、ユーザー好み情報に応じてＨＤＲ画像を処理する技法の一例を示すフロー・チャートである。図１０は、１つ以上の実施形態にしたがって、ユーザー好み情報に応じてＨＤＲ画像を発生またはレンダリングするＨＤＲ画像処理システムの実施態様例を示す図である。

[0034] 記載する技法およびツールは、高ダイナミック・レンジ（ＨＤＲ）ディジタル
画像を発生およびレンダリングする異なる態様、ならびに関係するユーザー・インターフ
ェースの機構を含む。

[0035] 本明細書において記載する実施態様には、種々の代替が可能である。例えば、
フローチャートを参照して説明する技法は、そのフローチャートにおいて示される段階の
順序を変更することによって、ある段階を繰り返すまたは省略する等によって、変更する
ことができる。他の例として、具体的なディジタル・メディア・フォーマットを参照して
説明する実施態様もあるが、他のフォーマットを使用することもできる。

[0036] 種々の技法およびツールは、組み合わせてまたは独立して使用することができ
る。異なる実施形態では、記載する技法およびツールの内１つ以上を実現する。本明細書
において記載する技法およびツールの中には、コンピューター・システムにおいてディジ
タル静止画像を処理するソフトウェアと共に使用することができるものもあり、またはデ
ィジタル静止画像の処理に具体的に限定されない他の何らかのシステムにおいて使用する
ことができるものもある。例えば、本明細書において記載する技法およびツールは、ディ
ジタル・ビデオを処理するために使用することができる。
１．計算環境例
[0037] 図１Ａは、記載する実施形態の内数個を実現することができる、適した計算環
境１００を一般化した例を示す。計算環境（１００）は、使用範囲や機能についていかな
る限定をも示唆することは意図していない。何故なら、本明細書において記載する技法お
よびツールは、多様な汎用または特殊目的計算環境において実現することができるからで
ある。

[0038] 図１Ａを参照すると、計算環境１００は、少なくとも１つのＣＰＵ１１０およ
び付随するメモリー１２０、ならびにビデオ高速化のための少なくとも１つのＧＰＵまた
は他の共通演算装置(co-processing unit)１１５および付随するメモリー１２５を含む。
図１Ａでは、この最も基本的な構成１３０は破線の中に含まれている。演算装置１１０は
、コンピューター実行可能命令を実行し、実在のプロセッサーまたは仮想プロセッサーで
あってもよい。マルチ処理・システムでは、多数の演算装置が、処理パワーを高めるため
に、コンピューター実行可能命令を実行する。メモリー１２０、１２５は、揮発性メモリ
ー（例えば、レジスター、キャッシュ、ＲＡＭ）、不揮発性メモリー（例えば、ＲＯＭ、
ＥＥＰＲＯＭ、フラッシュ・メモリー等）、またはこれら２つの何らかの組み合わせとす
ることができる。メモリー１２０、１２５は、記載する技法およびツールの内１つ以上を
システムに実現するためのソフトウェア１８０を格納する。

[0039] 計算環境は、追加の特徴を有してもよい。例えば、計算環境１００は、ストレ
ージ１４０、１つ以上の入力デバイス１５０、１つ以上の出力デバイス１６０、および１
つ以上の通信接続１７０を含む。バス、コントローラー、またはネットワークというよう
な相互接続メカニズム（図示せず）が、計算環境１００のコンポーネントを相互接続する
。通例では、オペレーティング・システム・ソフトウェア（図示せず）が、計算環境１０
０において実行するほかのソフトウェアに合った動作環境を提供し、計算環境１００のコ
ンポーネントの動作(activities)を調整する。

[0040] ストレージ１４０は、リムーバブルでも非リムーバブルでもよく、磁気ディス
ク、磁気テープまたはカセット、ＣＤ−ＲＯＭ、ＤＶＤ、あるいは情報を格納するために
用いることができしかも計算環境１００内においてアクセスすることができるその他のあ
らゆる媒体も含む。ストレージ１４０は、記載する技法およびツールを実現するソフトウ
ェア１８０の命令を格納する。

[0041] 入力デバイス（１つまたは複数）１５０は、キーボード、マウス、ペン、また
はトラックボールまたはタッチ・スクリーンのような接触入力デバイス、音声入力デバイ
ス、走査デバイス、ディジタル・カメラまたは計算環境１００に入力を供給する他のデバ
イスとすることができる。ビデオについては、入力デバイス１５０は、ビデオ・カード、
ＴＶチューナー・カード、あるいはアナログまたはディジタル形態でビデオ・入力を受け
入れる同様のデバイス、あるいはビデオ・サンプルを計算環境１００に供給するＣＤ−Ｒ
ＯＭまたはＣＤ−ＲＷとすることができる。出力デバイス（１つまたは複数）１６０は、
ディスプレイ、プリンター、スピーカー、ＣＤ−ライター、または計算環境１００からの
出力を供給するその他のデバイスとすることができる。

[0042] 通信接続（１つまたは複数）１７０は、通信媒体を通じたほかの計算エンティ
ティへの通信を可能にする。通信媒体は、コンピューター実行可能命令、オーディオまた
はビデオ入力または出力、あるいは変調データー信号におけるその他のデーターというよ
うな情報を伝達する。変調データー信号とは、その信号の中に情報をエンコードするよう
な態様で、その特性の１つ以上を設定または変化させた信号のことである。一例として、
そして限定ではなく、通信媒体は、電気、光、ＲＦ、赤外線、音響、またはその他の搬送
波で実現した有線またはワイヤレス技法を含む。

[0043] 本技法およびツールは、コンピューター読み取り可能媒体という一般的なコン
テキストで説明することができる。コンピューター読み取り可能媒体は、計算環境内にお
いてアクセスすることができ、入手可能なあらゆる有形媒体である。一例として、そして
限定ではなく、計算環境１００では、コンピューター読み取り可能媒体は、メモリー１２
０、１２５およびストレージ１４０、ならびに以上のあらゆるものの組み合わせも含む。

[0044] 本技術およびツールは、目標とする実在のまたは仮想のプロセッサー上にある
計算環境において実行するプログラム・モジュールに含まれるような、コンピューター実
行可能命令という一般的なコンテキストで説明することができる。一般に、プログラム・
モジュールは、ルーチン、プログラム、ライブラリー、オブジェクト、クラス、コンポー
ネント、データー構造等を含み、特定のタスクを実行するかまたは特定の抽象データー・
タイプを実現する。プログラム・モジュールの機能は、種々の実施形態における所望に応
じて、プログラム・モジュール間で組み合わせることや分割することができる。プログラ
ム・モジュールのコンピューター実行可能命令は、局在的計算環境または分散型計算環境
内においても実行することができる。

[0045] 紹介のために、以上の詳細な説明では、「選択する」および「判定する」とい
うような用語を用いて、計算環境におけるコンピューター動作を説明した。これらの用語
は、コンピューターが実行する動作についての上位抽象であり、人間が行う行為と混同す
べきでない。これらの用語に対応する実際のコンピューターの動作は、実施態様に応じて
変化する。
ＩＩ．実施態様の環境例
図１Ｂは、記載する実施形態、技法、および技術を実現することができる、適した実施
態様環境１９０を一般化した例を示す。

環境例１９０では、種々のタイプのサービス（例えば、計算サービス）がクラウド１９
２によって提供される。例えば、クラウド１９２は、計算機の集合体を備えることができ
、これらの計算機の集合体は、集中して配置することまたは分散することができ、クラウ
ドに基づくサービスを、インターネットのようなネットワークを通じて接続されている種
々のタイプのユーザーおよびデバイスに提供する。

環境例１９０では、クラウド１９２は、種々の画面能力を有する、接続されているデバ
イス１９４Ａ〜１９４Ｎにサービスを提供する。接続されているデバイス１９４Ａは、中
間サイズの画面を有するデバイスを表す。例えば、接続されているデバイス１９４Ａは、
デスクトップ・コンピューター、ラップトップ、ノートブック等のような、パーソナル・
コンピューターとすることができる。接続されているデバイス１９４Ｂは、小型画面を有
するデバイスを表す。例えば、接続されているデバイス１９４Ｂは、移動体電話機、スマ
ート・フォン、パーソナル・ディジタル・アシスタント、タブレット・コンピューター等
とすることができる。接続されているデバイス１９４Ｎは、大型画面を有するデバイスを
表す。例えば、接続されているデバイス１９４Ｎは、テレビジョン（例えば、スマート・
テレビジョン）、あるいはテレビジョンまたはプロジェクター画面に接続されている他の
デバイス（例えば、セットトップ・ボックス、ゲーミング・コンソール）とすることがで
きる。

１つ以上のサービス・プロバイダー（図示せず）を通じて、クラウド１９２によって種
々のサービスを提供することができる。例えば、クラウド１９２は、ＨＤＲ画像発生およ
びレンダリングに関するサービスを、種々の接続されているデバイス１９４Ａ〜１９４Ｎ
の内１つ以上に提供することができる。クラウド・サービスは、画面サイズ、表示能力、
または個々の接続されているデバイス（例えば、接続されているデバイス１９４Ａ〜１９
４Ｎ）のその他の機能に合わせてカスタム化することができる。例えば、クラウド・サー
ビスは、画面サイズ、入力デバイス、および移動体デバイスに通例伴う通信帯域幅の制限
を考慮に入れることによって、移動体デバイスに合わせてカスタム化することができる。
ＩＩＩ．高ダイナミック・レンジ撮像−全体像
[0046] 人の視覚系は、非常に広いダイナミック・レンジにおいて、特に、明るさに関
して詳細を検出することができるが、人間は通常一度でこのダイナミック・レンジの全て
の幅にわたって詳細を拾い上げることはできない。例えば、非常に明るいエリアおよび非
常に暗いエリアにおいて同時に詳細を拾い上げることは、人間にといって難しい。しかし
ながら、場面における種々の局所エリアに合焦することによって、人の視覚系は、局所エ
リアにおける明るさに非常に素早く適応し、明るいエリア（例えば、空）およびそれより
も暗いエリア（例えば、影）において詳細を見ることができる。

[0047] 多くの既存のディジタル・カメラ（殆どのＤＳＬＲ（ディジタル一眼レフ）カ
メラを含む）は、直接ＨＤＲ画像取り込み能力を欠いており、標準的なダイナミック・レ
ンジにおいて各ショットを１つの視点(perspective)から給送する(deliver)ことができる
に過ぎない。したがって、人間が知覚することができる詳細のレベルと、ＳＤＲ画像にお
いて表すことができる詳細のレベルとの間には、大きな格差がある。この問題に対する実
現可能な解決策は、高ダイナミック・レンジ（ＨＤＲ）撮像である。ＨＤＲ画像は、場面
における豊富な情報を取り込むことができ、適正にレンダリングされれば、非常に現実的
な視覚体験を給送することができる。人の視覚系の非線形性および局所適応性のために、
ＨＤＲ撮像体験の殆どは、通常の印刷出力または既存のディスプレイで行うことができ、
ＨＤＲ画像の市場は潜在的に非常に大きい。したがって、ＨＤＲ撮像技術は、プロの写真
家や愛好家を含むユーザーから近年増々関心を寄せられている。
Ａ．トーン・マッピング
[0048] ＨＤＲ画像をＳＤＲディスプレイに合わせてレンダリングするためというよう
な、ＨＤＲ画像情報をより低いダイナミック・レンジに変換する１つの方法は、トーン・
マッピングをＨＤＲ画像情報に適用することである。トーン・マッピングとは、画像サン
プル値ｓをサンプル値ｇ（ｓ）にマッピングする関数ｇを指す。全域トーン・マッピング
とは、全域トーン・マッピングを所与の画像Ｉにおけるサンプル値の各々に適用するプロ
セスである。例えば、全域トーン・マッピングを画像に適用して、その画像の明るさおよ
び／またはコントラストを、ユーザーが望む通りに変更して、トーン・マップ画像Ｇ（Ｉ
）を得ることができる。局所トーン・マッピングとは、画像Ｉをトーン・マップ画像Ｌ（
Ｉ）に変換する関数Ｌを指す。全域トーン・マッピングと同様、局所トーン・マッピング
は、画像における明るさおよびコントラストを調節するという目的で、画像に適用するこ
とができる。しかしながら、局所トーン・マッピングは、画像全体にわたって均一に適用
しない方がよい局所的な調節に対処することができる。

[0049] トーン・マッピングは、異なる目的で画像に適用することができる。例えば、
トーン・マッピングは、ＨＤＲ画像におけるサンプル値を、より狭いダイナミック・レン
ジにマッピングすることを伴うことができる。この主のトーン・マッピングの適用の１つ
は、ＨＤＲ画像の全ダイナミック・レンジを表示することができないモニター上での表示
のために、ＨＤＲ画像をレンダリングすることである。この種のトーン・マッピングの他
の用途は、より低い画像のビット深度表現を必要とするフォーマットでエンコードするた
めに、ＨＤＲ画像を準備することである。
Ｂ．画像フォーマット例
[0050] 本明細書において記載するディジタル画像は、色、中間諧調、または他のタイ
プの画像が可能であり、種々のファイル・フォーマットで表すことができる（例えば、Ｇ
ＩＦ、ＰＮＧ、ＢＭＰ、ＴＩＦＦ、ＴＩＦＦＦｌｏａｔ３２、ＪＰ２、ＨＤＲ、Ｏｐｅ
ｎＥＸＲ、ＪＰＥＧ、ＸＲ、ＲａｄｉａｎｃｅＲＧＢＥ、および／または他のフォーマ
ット）。この章では、ＨＤＲ画像を発生しＨＤＲ画像をレンダリングするための記載する
技法およびツールと共に使用することができる画像フォーマットの一部についての詳細、
ならびに関係のあるユーザー・インターフェース機構について示す。例えば、記載する技
法およびツールは、ＪＰＥＧＸＲフォーマットのＨＤＲ画像を扱うことができる。

[0051] ＪＰＥＧＸＲは、ＨＤＲ画像をエンコードするのに有用な、柔軟性があり強
力なフォーマットであり、３２ビット浮動小数点までサポートする。ＪＰＥＧＸＲは、
ＨＤＲ画像符号化をサポートするが、圧縮および伸張双方に整数演算（除算なし）しか必
要としない。ＪＰＥＧＸＲは、画像データーおよびメタデーターを格納するファイル・
コンテナと互換性があり、ＨＤフォト・メタデーター、ＸＭＰメタデーター、およびＥｘ
ｉｆメタデーターを、ＩＦＤタグを通じて含むことができる。ＴＩＦＦＦｌｏａｔ、Ｏ
ｐｅｎＥＸＲ、およびＲａｄｉａｎｃｅＲＧＢＥのような既存のＨＤＲフォーマットと
比較して、ＪＰＥＧＸＲフォーマットは、それなりの画質を保存しつつ、遙かに高い圧
縮能力に備えている。ＪＰＥＧＸＲファイル・フォーマットは拡張可能であるので、画
像ビット・ストリームを変化させることなく、追加のメタデーター（企業固有のまたは標
準的な）をＪＰＥＧＸＲファイルに挿入することができる。

[0052] ＲａｄｉａｎｃｅＲＧＢＥは、ＨＤＲ画像データーを搬送するための他のフ
ォーマットである。ＲＧＢＥ画像では、各画素が３２ビットで表され、１つのビット群（
例えば、１バイト）が赤の仮数（Ｒ）に、１つのビット群（例えば、１バイト）が緑の仮
数（Ｇ）に、１つのビット群（例えば、1バイト）が青の仮数（Ｂ）に、そして残りのビ
ット（例えば、１バイト）が、Ｒ、Ｇ、およびＢチャネルの各々について仮数によって表
される値に適用される共通指数（Ｅ）に割り当てられる。ＲＧＢＥでは、有効画素値（ｆ
Ｒ、ｆＧ、ｆＢ）は浮動小数点数であり、ｆＲ＝Ｒ×２^{（Ｅ−１２８）}、ｆＧ＝Ｇ×２^（
^{Ｅ−１２８）}、およびｆＢ＝Ｂ×２^{（Ｅ−１２８）}である。ＲＧＢＥ規則は、最大の８ビ
ット仮数を［１２８、２５５］の範囲に制限するが、他の２つの８ビット仮数は制限され
ない（即ち、範囲は［０、２５５］である）。したがって、ＲＧＢからＲＧＢＥへのマッ
ピングは一意となる。ＲＧＢＥが表現することができるダイナミック・レンジは、［２⁻
^１２７、２^＋１２７］となり、これは約７６乗である。ＲＧＢＥ画素から再現されるＲＧ
Ｂ値は、符号なしであり、全ての非ゼロ値は正である。しかしながら、３つの成分が同じ
指数を共有するので、２つの小さい方の成分の精度が犠牲になる。Ｅ＝０は、特殊な場合
であり、対応する画素値が０であることを示す。

[0053] ＲａｄｉａｎｃｅＲＧＢＥ（９；９；９；５）の１つの異体は、９ビットを
赤、緑、および青の仮数チャネルの各々に割り当て、５ビットを指数に割り当てる。つま
り、各画素を３２ビットで、前述の８；８；８；８フォーマットにおけるように表す。ま
た、他のＲＧＢＥの表現も可能であり、異なるビット数が仮数および指数に割り当てられ
る。

[0054] ３２ビット浮動小数点（「３２ビット浮動」）は、浮動小数点画像データーを
表す際に共通して使用される。３２ビット浮動小数点画像を定義するコンテナ・フォーマ
ットは、ＰｏｒｔａｂｌｅＦｌｏａｔＭａｐ（「ＰＦＭ］：移植可能浮動マップ）お
よびＴａｇｇｅｄＩｍａｇｅＦｉｌｅＦｏｒｍａｔ（［ＴＩＦＦ」：タグ付き画像
ファイル・フォーマット）を含む。ＩＥＥＥ７５４３２ビット単精度浮動小数点数(f
loat number)は、符号（ｓ）に１ビット、指数（ｅ）に８ビット、そして仮数（ｍ）に２
３ビットを含む。１６ビット浮動（「ハーフ」とも呼ばれる）は、符号に１ビット、指数
に５ビット、そして仮数に１０ビットを有する。１６ビットおよび３２ビット浮動小数点
表現は、フィールド長の具体的な差以外は、構造的に同一であるので、これらを総称して
「浮動小数点」と呼ぶことができる。

[0055] 画像フォーマットの中には、国際標準によって指定されるものがある。例えば
、ＪＰＥＧおよびＪＰＥＧ２００規格は、それぞれ、ＪＰＥＧおよびＪＰＥＧ２０００フ
ォーマットでエンコードされた画像をデコードするためのデコーダーの要件を記述する。
ＪＰＥＧ２００に準拠するエンコーダーおよびデコーダー（「コデック」）は、高い圧縮
効率で、高品質の画像を提供する。ＪＰＥＧＸＲ規格は、ＷｉｎｄｏｗｓＭｅｄｉａ
ＰｈｏｔｏおよびＨＤフォトから発展した。これらは、ＭｉｃｒｏｓｏｆｔＣｏｒｐ
ｏｒａｔｉｏｎによって、ＷｉｎｄｏｗｓＭｅｄｉａ系技術の一部として開発された、
企業固有の画像圧縮フォーマットである。ＪＰＥＧＸＲについては、国際規格ＩＳＯ／
ＩＥＣ２９１９９−２：２００９に記載されている。
ＩＶ．高ダイナミック・レンジ画像発生およびレンダリングのための技法およびツール
[0056] 記載する実施形態は、ＨＤＲ画像を発生するための技法およびツール（例えば
、種々の露出レベルがある1組のＳＤＲ画像からＨＤＲ画像を発生するアルゴリズム）、
ＨＤＲ画像をレンダリングするための技法およびツール（例えば、ＨＤＲ画像をＳＤＲ画
像またはディスプレイにレンダリングするアルゴリズム）、およびＨＤＲ画像処理に対し
て制御パラメーターを設定するための技法およびツール（例えば、制御パラメーターとし
て埋め込まれたレンダリング・パラメーターによって、ＨＤＲ画像符号化を容易にするツ
ール）を含む。

[0057] 図２に示すように、ディジタルＨＤＲ撮像ワークフロー２００は、ＨＤＲ画像
発生２１０、およびＨＤＲ画像レンダリング２２０を含む。ＨＤＲ画像発生２１０では、
ＨＤＲ画像を発生する。例えば、ＨＤＲ画像は、多数のＳＤＲ画像（例えば、少しずつ異
なる時点で撮影し、各々、露出設定が異なる、同じ場面の画像）からの情報を合成するこ
とによって発生することができる。また、多数の画像を組み合わせることなく、ＨＤＲビ
ット深度で元の画像を取り込むことができる画像キャプチャー・デバイスによって画像を
取り込むことによってというようにして、直接ＨＤＲ画像を発生することも可能である。
ＨＤＲ画像発生２１０は、望ましくない画像アーチファクト（例えば、ＨＤＲ画像を形成
するために使用されるソース画像を圧縮するときに混入するアーチファクト）を除去する
ための前処理（例えば、手動または自動動作）を含むことができる。

[0058] ＨＤＲ画像レンダリング２２０では、ＨＤＲ画像情報を他の形態に変換する。
例えば、ＨＤＲ画像は、ＳＤＲ画像（例えば、ＪＰＥＧ画像）としてレンダリングし、Ｓ
ＤＲディスプレイ上に表示することができる。画像レンダリングは、トーン・マッピング
・プロセス（例えば、自動または半自動トーン・マッピング・プロセス）を伴う可能性が
ある。レンダリングされた画像は、公開することまたは保管することができる。しかしな
がら、ＨＤＲ画像をＳＤＲ画像に変換するときに、画像データーが失われるのが通例であ
る。したがって、ＨＤＲ画像の元のバージョンを保管することは有用であることができる
（例えば、後の段階において元の画像に更に修正を行うために）。また、ディスプレイが
、ＨＤＲ画像の全ダイナミック・レンジを、マッピングし直すことなく、レンダリングす
ることができるというようなときには、標準的なダイナミック・レンジにマッピングし直
すことなく、ＨＤＲ画像をレンダリングすることも可能である。

[0059] ワークフロー例２００は、ＨＤＲ画像発生２１０、およびそれに続くＨＤＲ画
像レンダリング２２０を示すが、ＨＤＲ画像を格納のためまたは更なる処理のために発生
するが、表示されないというようなときには、ＨＤＲ画像処理システムは、これらをレン
ダリングすることなく、ＨＤＲ画像を発生することができる。また、ＨＤＲ画像処理シス
テムが、最初にＨＤＲ画像を発生することなく、何らかの他のソースからＨＤＲ画像情報
を（例えば、通信媒体を通じて）入手するというようなときには、ＨＤＲ画像処理システ
ムは、ＨＤＲ画像を発生することなく、これらをレンダリングすることもできる。

[0060] 本明細書において記載する例では、ＳＤＲ画像は色チャネル当たり８ビット（
ｂｐｃ）の画像であり、ＨＤＲ画像は、１６ｂｐｃ以上の画像である。更に一般的には、
「標準的ダイナミック・レンジ」、即ち、ＳＤＲとは、ＨＤＲ画像よりもダイナミック・
レンジが狭いまたは低いディスプレイ、画像、フォーマット等を指す（ＳＤＲ画像を低ダ
イナミック・レンジ画像またはＬＤＲ画像と呼ぶこともできる）。同様に、「高ダイナミ
ック・レンジ」即ちＨＤＲとは、ダイナミック・レンジがＳＤＲ画像よりも広いまたは高
いディスプレイ、画像、フォーマット等を指す。例えば、記載する実施形態は、３２ｂｐ
ｃＨＤＲ画像を、１６ｂｐｃＳＤＲ画像から発生するために使用することができ、または
１６ｂｐｃモニター上における表示のために３２ｂｐｃＨＤＲ画像をレンダリングするた
めに使用することができる。

[0061] 一般に、本明細書において記載するディジタル画像は、ディジタル画像を取り
込むことができるデバイス（例えば、ディジタル静止画像カメラ、ディジタル・ビデオ・
カメラ、スキャナー、またはカメラ・フォンのような画像取り込み能力がある多目的デバ
イス）、またはディジタル画像を格納することができる媒体（例えば、揮発性メモリーあ
るいは光ディスクまたはフラッシュ・メモリーのような不揮発性メモリー）であればいず
れによっても取り込んで格納することができる。
Ａ．一般化したＨＤＲ撮像システム
[0062] 図３は、一般化したＨＤＲ画像処理システム３１０を示す図である。図３は、
システム３１０が受け入れることができる異なる種類の画像入力を示す。例えば、図３は
、ＨＤＲ画像３２０と、ＨＤＲ画像３２０よりもダイナミック・レンジが低い（例えば、
露出範囲が狭い）、１組３３０のＳＤＲ画像３３２、３３４、３３６、および３３８を示
す。一般に、システム３１０に入力される画像入力は、１つの画像、１組の画像（例えば
、ＨＤＲ画像を組み立てるために使用される、異なるダイナミック・レンジを有する１組
の画像、または数枚から成る１組のＨＤＲ画像）、および／または画像に関するメタデー
ターまたはユーザー好みデーター（図示せず）というような他の情報とすることができる
。メタデーターは、例えば、カメラの設定を示す情報を含むことができる。ユーザー好み
データーは、例えば、画像を見るまたは修正するためのユーザー制御パラメーター設定値
を含むことができる。メタデーターおよびユーザー好みデーターは、画像ファイル内に収
容することができ、あるいは別個に供給することができる。図３には１つのＨＤＲ画像し
か示されていないが、システム３１０は１つよりも多いＨＤＲ画像を入力として受け入れ
ることができる。

[0063] 図３は、ＨＤＲ画像を発生するように動作可能なＨＤＲ画像発生部３４０と、
表示のためにＨＤＲ画像をレンダリングするように動作可能な画像レンダラー３５０とを
示す。システム３１０はＨＤＲ画像発生部３４０およびＨＤＲ画像レンダラー３５０を示
すが、ＨＤＲ画像が格納または更なる処理のために発生されるが表示されないというよう
なときには、システム３１０は、レンダリングせずに、ＨＤＲ画像の発生を実行すること
ができる。また、ＨＤＲ画像処理システムが、最初にＨＤＲ画像を発生せずに、何らかの
他のＨＤＲからＨＤＲ画像情報を（例えば、通信媒体を通じて）入手するときのように、
システム３１０は、ＨＤＲ画像発生を行わずに、ＨＤＲ画像のレンダリングを行うことも
できる。

[0064] 図３に示す例では、ＨＤＲ画像発生部３４０は、ＳＤＲ画像集合３３０からの
情報（例えば、少しずつ異なる時点で撮影し、各々、露出設定が異なる、同じ場面の画像
）を合成する。ＨＤＲ画像レンダラー３５０は、次いで、発生されたＨＤＲ画像をＳＤＲ
画像にマッピングし、ディスプレイ３６０上への出力のために、ＳＤＲ画像を準備するこ
とができる。また、ディスプレイがその最大ダイナミック・レンジにおいて、ＨＤＲ画像
をマッピングし直すことなく表示することができるような場合、標準ダイナミック・レン
ジにマッピングし直すことなく、ＨＤＲ画像をレンダリングすることも可能である。

[0065] システム３１０内においてモジュール間に示される関係は、当該システムにお
ける一般的な情報の流れを示す。簡略化のために、他の関係は示されていない。特定の実
施形態では、一般化されたシステム３１０の変形または補足バージョンを使用するのが通
例である。実施態様および所望の処理タイプに応じて、システムのモジュールを追加する
こと、省略すること、多数のモジュールに分割すること、他のモジュールと組み合わせる
こと、および／または同様のモジュールと置き換えることができる。代替実施形態では、
異なるモジュールおよび／または他のモジュールの構成としたシステムが、記載する技法
の１つ以上を実行する。

[0066] 例えば、システム３１０はプリプロセッサーを含むことができる。プリプロセ
ッサーは、ロー・パス・フィルターまたはその他のフィルターを使用して入力ディジタル
画像をスムージングし、高周波成分を選択的に除去する。または、プリプロセッサーはそ
の他の前処理タスクを実行する。また、システム３１０は、画像データーを圧縮し、圧縮
したディジタル画像情報のビット・ストリームを出力する１つ以上のエンコーダーを含む
こともできる。エンコーダーによって行われる正確な動作は、圧縮フォーマットに応じて
、様々に変化することができる。例えば、エンコーダーは、ＪＰＥＧＸＲのような、Ｈ
ＤＲ画像フォーマットにしたがって、ＨＤＲ画像情報を圧縮することができ、あるいはエ
ンコーダーは、ＪＰＥＧのようなフォーマットにしたがって、ＳＤＲ画像情報を圧縮する
ことができる。また、システム３１０は、１つ以上のデコーダーも含むことができる。デ
コーダーは、圧縮された画像データーを伸張し、伸張したディジタル画像情報のビット・
ストリームを出力する。デコーダーによって行われる正確な動作は、圧縮フォーマットに
応じて様々に変化することができる。例えば、ＪＰＥＧＸＲに準拠するデコーダーは、
ＪＰＥＧＸＲファイルにおけるＨＤＲ画像情報を伸張することができ、ＪＰＥＧに準拠
するデコーダーは、ＪＰＥＧファイルにおけるＳＤＲ画像情報を伸張することができる。
Ｂ．高ダイナミック・レンジ画像発生のための手法
１．一般化した技法
[0067] 図４は、１組のＳＤＲ画像からＨＤＲ画像を発生する技法４００を示す。ここ
では、動き分析に基づいてＳＤＲ画像に対する相対的露出を導き出す。図３に示したＨＤ
Ｒ画像処理システム３１０のようなシステム、または他のシステムがこの技法４００を実
行する。

[0068] ４１０において、本システムは、場面を描写する１組の画像における基準画像
に対して動き分析を実行する。この動き分析は、１組の中にある非基準画像(non-referen
ce image)の各々について、基準画像に対する画像の相違を判定することを含む。一実施
態様では、本システムは、１組の画像の内どれが、容認可能な露出範囲内に該当する最も
大きなサンプル値を有するか判定し、この画像を基準画像に指定することによって、１組
の候補画像から基準画像を選択する。あるいは、基準画像は、他の何らかの方法で基準画
像として指定される。

[0069] ４２０において、本システムは、少なくとも部分的に動き分析に基づいて、基
準画像に対する露出レベルを導き出す。例えば、本システムは、非基準画像についての動
き分析情報に基づいて、非基準画像毎に相対的露出レベルを導き出す。

[0070] ４３０において、本システムは、１組の複数のディジタル画像を統合して、場
面を描画するＨＤＲディジタル画像を形成する。この統合は、少なくとも部分的に、相対
的な露出レベルに基づく。例えば、相対的露出レベルが、非基準画像毎に導き出された場
合、本システムは、これらの相対的露出レベルを使用して、ＨＤＲディジタル画像のサン
プル値を計算する。
２．実施態様例
[0071] この章では、１組のＳＤＲ画像からＨＤＲ画像を発生する手法の１群の実施
態様例について、実施態様の詳細を示す。

[0072] ＨＤＲ画像発生システムの実施態様例を図５に示す。この例では、ＨＤＲ画像
発生システム５１０は、入力として、ＳＤＲ画像情報５２０を取り込む。ＳＤＲ画像情報
５２０は、１組のＳＤＲ画像５２２、５２４、５２６、５２８についての画像情報を含み
、これらは、画像が処理され統合されるときに、より高いダイナミック・レンジの画像５
９０を生成する１つ以上の異なる設定値を有する場面の画像である。例えば、ＳＤＲ画像
５２２、５２４、５２６、５２８は、異なる時点において異なる露出設定で撮影された、
ある場面の画像である。図５は、種々の処理段階を実現し、出力としてＨＤＲ画像５９０
を生成するモジュール例を示す。
ａ．動き分析
[0073] 動き分析部５３０は、入力ＳＤＲ画像５２２、５２４、５２６、５２８におけ
る動きを分析する。例えば、ＳＤＲ画像５２２、５２４、５２６、５２８が異なる時点に
おける場面の視覚状態を表す場合、動き分析部５３０は、これらの画像のシーケンスにお
いて発生する動きを分析する。場面の画像が異なる時点において撮影された場合、場面の
異なるショット間には画像の動き（全域的または局所的）がある可能性が非常に高い。動
き分析部５３０は、種々のショットに跨がって画像のテクスチャーを整合し、動きを定量
化して、更に処理を行うときに、このような動きを考慮できるようにする。

[0074] 動き分析部５３０は、基準画像に対する動き分析を行う。図５に示す例では、
画像５２４が基準画像に指定されている。基準画像とは、通例、露出範囲が中間にある画
像である（即ち、１組の入力画像の内、最も明るいのでも、最も暗いのでもない露出範囲
）。一実施態様では、基準画像は、１組の入力画像の内、「通常」範囲内、即ち、高すぎ
ず（飽和）低すぎない（露出不足）範囲内で最も大きなサンプル値を有する画像はどれか
に基づいて選択される。通常露出範囲の限度、および通常範囲を判定する方法は、様々に
変化する可能性がある。例えば、通常露出範囲は、全ての画像について予め決定しておく
ことができ、各画像または入力画像集合毎に適応的に（例えば、画像情報および／または
ユーザーの好みに基づいて）決定することができる。基準画像の選択は、動き分析部５３
０によって自動的に（例えば、画像情報および／またはユーザー好み情報に基づいて）行
うことができ、あるいは画像が動き分析部５３０に供給される前に、ある画像を基準画像
に指定することができる。

[0075] 動き分析部５３０は、画像の差を使用して、入力画像５２２、５２４、５２６
、５２８における動きをモデル化する。ビデオにおける動きを分析するためにビデオ・ピ
クチャーにおける差を測定する技法は種々開発されているが（例えば、平均二乗差、二乗
差の和）、実施態様例では、異なるショットにおける露出の差を考慮することが望ましい
ので、典型的なビデオ・アプリケーションにおいて使用されるものとは異なる静止画像に
おいて動きを分析する測定(measure)を使用する。一実施態様では、動き分析部５３０は
、「正規化相互相関」メトリックによってサンプル値の差を計算することによって、画像
の差を測定する。例えば、１つの画像ｔ（ｘ、ｙ）の他の画像ｆ（ｘ、ｙ）との正規化相
互相関は、次の通りである。

ここで、ｎはｔ（ｘ、ｙ）およびｆ（ｘ、ｙ）における画素数であり、σは標準偏差を
表す。あるいは、画像の差の測定は、各ピクチャーにおいて平均サンプル値（ｆバーおよ
びｔバー）の減算を排除するというようなことによって、他の方法で行うことができる。

[0076] 言い変えると、２つの画像（または画像領域）をｉ１（ｘ、ｙ）およびｉ２（
ｘ’、ｙ’）と定義する。（ｘ、ｙ）および（ｘ’、ｙ’）は、それぞれのサンプルの２
Ｄ座標である。これら２つの画像または画像領域間の差（「ｄｉｆｆ」）（同じ分解能お
よびサイズと仮定する）は、次のように表すことができる。

ここで、＜ｉ＞はそれぞれの画像または画像領域「ｉ」の平均サンプル値を表し、ｓｄ
（ｉ）は、それぞれのデーター集合の標準偏差（ｓｑｒｔ（＜ｉ−＜ｉ＞）２＞）を表す
。「ｃｏｒｒ」は、露出レベルを調節するためのスケーリング係数のような定数でデータ
ーをスケーリングした場合における不変量である。即ち、

ここで、Ｓはスケーリング係数を表す定数である。これは、露出レベルが異なる画像間
で差を測定するには有用な測定となることができる。ここで、露出レベルの差は、スケー
リング係数を表す定数として表すことができる。有色画像（例えば、ＲＧＢ画像）につい
ては、画像の差は、色チャネルの各々についての「ｃｏｒｒ」の平均、またはチャネルの
加重平均（例えば、Ｒ、Ｇ、およびＢチャネルについて、それぞれ、１／４、１／２、お
よび１／４の重み係数）とすることができる。

[0077] あるいは、画像の差の測定は、平均サンプル値の減算を省略する式（例えば、
前述の式（１）におけるｆバーおよびｔバー）を使用するというようなことによって、他
の方法で行うこともできる。他の代案として、正規化相関係数のような、他のメトリック
を動き分析において適用することができる。

[0078] 動き分析部５３０は、基準画像における画素位置と、非基準画像における画素
位置との間の一致を求める。一実施態様では、正規化相互相関メトリックを使用して、サ
ンプル値を分析し、一致があるか否か判断する。一致を構成する(constitute)のは何かに
ついての規準、および一致を検出するために使用されるサーチ・パターンというような動
き分析の詳細は、実施態様に応じて様々に変えることができる。例えば、動き分析部５３
０は、近隣の画素位置において一致を求め、次いで徐々に（拡大螺旋パターンでというよ
うに）サーチ・エリアを広げて行き、非基準画像における画素を基準画像における画素と
照合する。

[0079] 全域動き分析とは、パンニング、シャダー(shudder)、回転、ズーム、または
画像全体に影響を及ぼす動き(movement)のような動き(motion)をモデル化することを目的
とする分析のことである。全域動き分析は、特定の種類の全域的な動きと一貫性のある画
素位置にあり、一致するサンプル値を探すことを必要とすることがあり得る。例えば、非
基準画像におけるパンニングの動きを探す場合、基準信号において主に水平方向に一致す
るサンプル値を求める必要があることがあり得る。局所動き分析とは、オブジェクトまた
は人間主体(human subject)の動きのような、画像の個々の部分における動きをモデル化
することを目的とする分析のことである。

[0080] 特定の画素位置から他の画素位置への動きを検出した後、動き検出部５３０は
、この動きを定量化する。一実施態様では、動き分析部５３０は、画像における画素毎に
、基準画素に対する動きベクトルを計算する。例えば、動きベクトルは、基準画像に対し
て相対的な、水平次元における変位、および垂直次元における変位を示すことができる。
ゼロの動きベクトルは、特定の画素について動きが検出されなかったことを示すために使
用することができる。あるいは、動き分析部５３０は、動きを何らかの他の方法で定量化
することができる。例えば、動き分析部５３０は、入力画像を再度サンプリングし(subsa
mple)、再度サンプリングされた画像における画素について動きベクトルを計算すること
ができる。

[0081] 実施形態例では、異常に低いサンプル値または異常に高いサンプル値は、動き
分析において考慮されない。何故なら、これらは多くの場合信頼性がないからである。例
えば、サンプルの高い値または低い値は、画像ノイズが原因であるかもしれず、あるいは
画像キャプチャー・デバイスにおける画像センサーのダイナミック・レンジの限界のため
に、値が正確な測定値でないかもしれない。動き分析に使用するための容認可能なサンプ
ル値の範囲、およびこの範囲を決定する方法は、様々に変わる可能性がある。例えば、動
き分析に使用するための容認可能なサンプル値の範囲は、全ての画像について予め決定し
ておくことができ、あるいは画像毎または入力画像集合毎に（例えば、画像情報および／
またはユーザーの好みに基づいて）適応的に決定することができる。

[0082] 全域および局所分析を行うために使用される個々の技法は、実施態様に応じて
様々に変化する可能性があり、全域動き分析に使用される技法は、局所動き分析に使用さ
れる技法とは異なる場合もある。
ｂ．ガンマ−リニア変換
[0083] ガンマ−リニア変換部５４０は、線形ドメインにない入力画像信号を変換する
ために使用することができる。静止画像ファイル（例えば、ＪＰＥＧファイル）における
データーは、通例、ガンマ・エンコード値(gamma-encoded value)を含む。一実施態様で
は、全てのＲ／Ｇ／Ｂサンプルが、各画像において伝達される色プロファイル、またはＨ
ＤＲ画像発生システム５１０におけるデフォルトの色プロファイルにしたがって、線形ド
メインに変換される。これによって、カンマ・エンコード・サンプルを線形ドメインに変
換することが可能となり、画像データーをＨＤＲ画像に統合する前に、サンプル値をスケ
ーリングすることができる（以下で更に詳しく説明する）。あるいは、ガンマ−リニア変
換が必要でないというようなときには、ガンマ−線形変換部５４０を省略することができ
る。
ｃ．相対的露出レベルの導出
[0084] 相対的露出導出部５５０は、動き分析に基づいて、入力ＳＤＲ画像５２２、５
２４、５２６、５２８に対する相対的露出を導き出す。このように、動きを考慮に入れつ
つ、各画像の相対的露出レベルを、基準画像に対して導き出すことができる。例えば、サ
ンプル値を有する非基準画像における画素について、動きベクトルは基準画像に対する動
きを示す。動きベクトルは、基準画像において、それ自体のサンプル値を有する対応する
画素を指し示す。この１対のサンプル値の比率は、サンプル比率となる。このように、サ
ンプル比率は、動き分析に基づいて、サンプル値の対毎に導き出すことができる。次いで
、サンプル比率の平均を求めることによって、相対的露出を計算することができる。一実
施態様では、相対的露出は、ガンマ−リニア変換部５４０によって与えられる線形ＲＧＢ
ドメインにおけるデーターに基づいて導き出される。あるいは、露出導出部５５０が他の
何らかの方法で相対的露出レベルを計算する。
ｄ．画像信号のスケーリング
[0085] 画像信号スケーラー５６０は、相対的露出レベルに基づいて、サンプル値をス
ケーリングする。一実施態様では、画像信号スケーラー５６０は、非基準入力ＳＤＲ画像
５２２、５２６、５２７毎のサンプル値に、それぞれの画像についての相対的露出レベル
に対応するスケーリング係数を乗算するが、基準画像５２４のスケーリングを省略する。
このスケーリングは、スケーリングしたサンプル値を同じ（基準）正規化レベルに持って
行く。一実施態様では、スケーリング動作は、ガンマ−リニア変換部５４０によって与え
られる線形ＲＧＢデーターに対して適用され、同じスケーリング係数が画像のＲ、Ｇ、お
よびＢサンプル値全てにわたって適用される。あるいは、スケーリングは動き分析の前に
行われ、動き分析を、スケーリングされたピクチャーに対して行うことができる。しかし
ながら、この場合、スケーリング後のサンプル値に対して動き分析が行われるので、動き
分析の信頼性が低くなる可能性がある。
ｅ．画像統合
[0086] 画像統合部５７０は、入力ＳＤＲ画像５２２、５２４、５２６、５２８を統合
する。ＨＤＲ画像発生システム５１０が場面を描画する数個のＳＤＲ画像を入力として取
り込んである場合、場面におけるサンプル位置毎に多数のサンプル値がある。画像統合部
５７０は、サンプル値を統合して、ＨＤＲ画像における対応するサンプル位置に対するサ
ンプル値を形成する。

[0087] 一実施態様では、画像統合部５７０は、サンプル位置毎にスケーリング後のサ
ンプル値(scaled sample value)を含む、サンプル値の加重平均を計算する。つまり、同
じ「基準」露出レベルにスケーリングされた線形信号が、加重平均として統合される。サ
ンプル値毎の重み係数は、スケーリングおよび線形変換前に対応する元のサンプル値にし
たがって決定される信頼レベルに基づく。重み係数は、信頼レベルに比例する。信頼レベ
ルが高い程、重み係数は大きくなる。信頼レベルは、元の値がどの位離れている(extreme
)かに応じて変化する。例えば、過度に暗いエリアまたは飽和エリアに対して、信頼レベ
ルは０に設定される。

[0088] 元の値がガンマ・ドメインにある（線形ドメインではなく）場合に、どのよう
に信頼レベルＣ（ｓ）を計算できるかということの一例を以下に示す。

式（４）は、ゼロの信頼レベルが、余りに高いまたは低い値に適用されることを示す。
あるいは、信頼レベルは、他の何らかの方法で計算される。例えば、０の信頼レベルが割
り当てられる値の範囲の閾値は、実施態様に応じて、様々に変化する可能性がある。

[0089] 一実施態様では、重み係数も露出レベルの関数となる。加重平均を計算する際
、露出が高い方のショットからのサンプル値は、露出が低い方の画像からのサンプル値よ
りも大きく重み付けされる。これは、統計的に、画像センサーに入る光子の数が多い程、
サンプル値は増々精度が高くなるという観察に基づく。

[0090] 一例として、元の値が「ｓ」であるサンプルの重み係数ｗ（ｓは［０，１］の
範囲に正規化されている）は、次のように表すことができる。

ここで、「ｅ」は、相対的露出値（相対的露出導出部５５０によって計算された相対的
露出値のような）であり、Ｃ（ｓ）は信頼レベルである。乗数「ａ」の典型的な値は、０
．２５および１．０の間である。一実施形態では、乗数「ａ」を０．５に設定する（即ち
、ｅの二乗根）。

[0091] 重み係数が決定されているときには、加重平均を導き出すことができる。例え
ば、加重平均は、加重算術平均または加重幾何学的平均として計算することができる。
ｆ．フォーマット変換
[0092] フォーマット変換部／エンコーダー５８０は、統合画像をしかるべき画素フォ
ーマットに変換する。例えば、フォーマット変換部／エンコーダー５８０は、画像統合部
５７０から供給された統合画素データーを取り込み、このデーターをエンコードしてＪＰ
ＥＧＸＲ画像ファイルを作成する。あるいは、フォーマット変換部／エンコーダー５８
０は、このデーターを処理して、ＲＧＢＥファイル、「半浮動」ファイル(half-float fi
le)、またはＨＤＲ画像データーを表すのに適した他のファイルというような、異なる画
像ファイルを作成する。フォーマット変換部／エンコーダー５８０は、あらゆる所望の画
像フォーマットに合わせてエンコード・モジュールを含むことができる。生のＨＤＲ画素
データーが所望の出力であり、特殊なフォーマットまたはエンコード処理が不要であると
いうような場合には、フォーマット変換部／エンコーダー５８０をＨＤＲ画像発生システ
ム５１０から省略することができる。
ｇ．拡張および代替
[0093] システム５１０内部にあるモジュール間で示される関係は、本システムにおけ
る情報の一般的な流れを示す。簡略化のために、他の関係は示されていない。実施態様お
よび望ましい処理のタイプに応じて、本システムのモジュールを追加すること、省略する
こと、多数のモジュールに分割すること、他のモジュールと組み合わせること、および／
または同様のモジュールと置き換えることができる。代替実施形態では、異なるモジュー
ルおよび／またはモジュールの異なる構成を有するシステムが、以上で説明した技法の内
１つ以上を実行する。

[0094] 例えば、システム５１０は、プリプロセッサーを含むことができる。プリプロ
セッサーは、ロー・パス・フィルターまたはその他のフィルターを使用して入力ディジタ
ル画像をスムージングし、高周波成分を選択的に除去する。または、プリプロセッサーは
その他の前処理タスクを実行する。例えば、プリプロセッサーは、ブロック・アーチファ
クト、バンディング・アーチファクト、リンギング・アーチファクト、または画像キャプ
チャー・デバイスにおけるデモザイク動作(demosaicing operation)によって生じたアー
チファクトというような、画像アーチファクトを低減することに特定的なタスクを実行す
ることができる。
Ｂ．高ダイナミック・レンジ画像レンダリングのための手法
１．一般化した技法
[0095] 図６は、ＨＤＲ画像をレンダリングするための技法例６００を示すフロー・チ
ャートである。図３に示したＨＤＲ画像処理システム３１０のようなシステムまたは他の
システムが技法６００を実行する。本明細書において使用する場合、「レンダリング」と
いう用語は、ＨＤＲ画像データーを異なる形態に変換することを意味する。ＨＤＲ画像デ
ーターをレンダリングするアプリケーションの例には、ＨＤＲ画像を、それよりもダイナ
ミック・レンジが低いモニター上に表示するために準備すること、またはＳＤＲ画像ファ
イルに格納するためにＨＤＲ画像ファイルの中にあるＨＤＲ画像データーを変換すること
を含む。

[0096] 技法例６００では、６１０において、本システムは、ＨＤＲディジタル画像に
おけるサンプル値を、それぞれの低ダイナミック・レンジ（ＬＤＲ）値にトーン・マッピ
ングする。例えば、本システムは、全域トーン・マッピング参照表の中にあるそれぞれの
ＬＤＲ値を識別し、識別した値をＬＤＲ画像バッファーに格納する。

[0097] ６２０において、本システムは、トーン・マップ・サンプル値の各々について
、局所コントラスト値を計算する。例えば、本システムは、線形ドメインにおける画像デ
ーターに基づいて、局所コントラスト値を計算する。

[0098] ６３０において、本システムは、トーン・マップ・サンプル値の各々について
、少なくとも部分的にそれぞれの局所コントラスト値に基づいて、残差信号を導き出す。
例えば、本システムは、ＬＤＲ画像バッファーにおけるサンプル値に、対応する局所コン
トラスト値を乗算する。

[0099] ６４０において、本システムは、トーン・マップ・サンプル値およびそれぞれ
の残差信号に少なくとも部分的に基づいて、ＬＤＲディジタル画像に対してサンプル値を
計算する。例えば、本システムは、ＬＤＲバッファーにおけるサンプル値、対応する残差
信号、および高周波ディザリング信号を全て加算する。
２．実施態様例
[0100] この章では、ＨＤＲ画像をレンダリングする手法の１群の実施態様例について
の実施態様の詳細を示す。

[0101] 図７は、ＨＤＲ画像レンダリング・システム７１０の実施態様例を示す図であ
る。図７に示す例では、システム７１０は入力としてＨＤＲ画像７２０を取り込む。図７
は、種々の処理段階を実現し、ＬＤＲ画像７９０を出力として生成するモジュール例を示
す。具体的には、システム７１０は、相互画像処理によってＨＤＲレンダリングを実現す
るモジュールを示す。「相互画像処理」とは、本明細書で使用する場合、元のＨＤＲ画像
情報、およびトーン・マッピングされた、低ダイナミック・レンジの情報の双方を使用す
るＨＤＲ画像処理のことを指す。例えば、システム７１０は、元のＨＤＲ画像情報および
トーン・マップ画像情報の双方を使用して、ＨＤＲ画像レンダリングの間、局所画像コン
トラスト計算を実行する。
ａ．前処理
[0102] 図７に示す例において、システム７１０はプリプロセッサー７２２を含む。プ
リプロセッサー７２２は、前処理段階において、ＨＤＲ画像７２０からのＨＤＲ画像デー
ターに対して、ディジタル信号処理（ＤＳＰ）動作を実行する。プリプロセッサー７２２
において実行することができる動作には、限定ではないが、画像のサイズ変更、明示的な
露出またはダイナミック・レンジ制御、色温度制御、および色強調が含まれる。前処理動
作は、画像品質に種々の効果を得るために行うことができる。例えば、色強調は、レンダ
リングされたピクチャーに更に芸術的な外観を与えるために使用することができる。前処
理動作は、実施態様に応じて、異なる方法で実行することができる。例えば、色強調は、
色相−彩度−明暗度（ＨＩＳ）空間において彩度を高めることによって遂行することがで
き、あるいはもっと単純な代案として、画素毎の優勢色チャネル（例えば、ＲＧＢ色空間
におけるＲ、Ｇ、またはＢ）を高めることができる。ユーザーの好みに基づいて、前処理
動作を調節すること、あるいはオンまたはオフに切り替えることができる。

[0103] プリプロセッサー７２２を参照して説明した動作は、前処理段階において形成
されることに限定されるのではなく、代わりに、レンダリングされたＬＤＲ画像（例えば
、ＬＤＲ画像７９０）に対して実行することもできる。しかしながら、このような動作を
前処理段階においてＨＤＲ画像に対して実行すると、一層精度が高い結果を得ることがで
きる。何故なら、ＨＤＲ画像データーをそれよりも低いダイナミック／レンジにマッピン
グすると、何らかの画像データーが失われるのが通例であるからである。
ｂ．トーン・マッピング
[0104] 図７に示す例では、システム７１０はトーン・マッパー(tone mapper)７３０
を含む。一実施態様では、線形ドメインにおけるサンプル毎に、トーン・マッパー７３０
は、ＬＵＴ７３２を使用して、対応するＬＤＲ値を特定し、この対応する値をＬＤＲ画像
バッファーに格納する。線形ドメインからガンマ補正ドメインへのトーン・マッピング・
プロセスでは、通例では式ｘ’＝ｘ^{ｇａｍｍａ}にしたがって線形サンプル値ｘをガンマ補
正値ｘ’に変換する。ここで、制御パラメーター「ｇａｍｍａ」は実際には定数となる。
一旦ＬＵＴ７３２を発生したなら、トーン・マッパー７３０はＨＤＲ画像サンプル値をＬ
ＵＴ７３２において参照して、ＬＤＲサンプル値を決定する。ＨＤＲ画像におけるサンプ
ル値毎に対応するＬＤＲ値を特定し、これらをＬＤＲ画像バッファーに格納するこのプロ
セスは、第１パス・トーン・マッピングと呼ぶことができる。ＨＤＲ画像の全ての部分に
適用した場合、このプロセスは、第１パス・全域トーン・マッピングと呼ぶことができる
。

[0105] ＬＵＴ７３２は、適応ガンマ関数に基づいて発生することができる。適応ガン
マ関数は、ＬＵＴ７３２を発生するための適応ガンマ・パラメーターを発生する。ガンマ
が線形サンプル値ｘの関数であるとき（適応ガンマ関数）、この状況を一般にｘ’＝ｘ^ｇ
^{ａｍｍａ（ｘ）}と表すことができる。一実施態様では、ガンマ・ドメインにおけるサンプ
ル値ｘに対する適応ガンマ・パラメーターγ（ｘ）は、式（６）に示すように、２つの制
御パラメーターγ_０およびγ_１の加重平均となる。

[0106] 簡略化した場合では、ガンマ０を２．２に設定することができる。ガンマ制御
パラメーターは、ガンマ制御部７３４から得られる情報において指定することができ、ガ
ンマ・パラメーターに関するユーザー好み情報を得るために用いることができる。あるい
は、ガンマ制御部７３４を省略する。

[0107] 加重関数ｗ（ｘ）は、異なる方法で実現することができる。一例として、関数
ｗ（ｘ）は、ｗ（ｘ）＝√ｘと表すことができ、あるいは更に柔軟性を得るために、関数
ｗ（ｘ）は、ｗ（ｘ）＝ｘ^ｂと表すことができる。「ｂ」は［０．２、１．０］の範囲に
ある。あるいは、ｂを異なる範囲に制限するか、または加重関数ｗ（ｘ）を何らかの他の
方法で実装する。

[0108] 第１パス・トーン・マッピング（例えば、第１パス・全域トーン・マッピング
）では、比較的明るい領域における画像コントラストを大幅に低減することができる。し
かしながら、システム７１０における他のモジュールは、画像コントラストを正常に戻す
ために、または視覚品質に関して高いレベルに持って行くためにも使用することができる
。
ｃ．残差信号抽出および関連フィルタリング
[0109] 図７に示す例では、システム７１０は残差信号抽出部７４０を含む。残差信号
抽出部７４０は、局所画像コントラストを計算する。一実施態様では、残差信号抽出部７
４０は、線形ドメインにおけるデーターに基づいてサンプル毎にロー・パス・フィルター
を使用して局所画像コントラストを計算し、第１パス・トーン・マッピングにおいて得ら
れたデーターを使用してフィルタリングに対する閾値Ｔを設定するので、強いテクスチャ
ーが更に強調されることはない。また、閾値Ｔはユーザー制御パラメーターとなることも
できる（例えば、任意のフィルター制御部７４２から得られるユーザー好み情報に基づい
て）。

[0110] 残差信号抽出部７４０は、相互画像処理を使用して、局所画像コントラストを
計算する。例えば、閾値Ｔは、第１パス・全域トーン・マッピングの結果に基づくが、他
のフィルター動作はＨＤＲデーター空間において行われる。ＨＤＲ空間では、フィルター
の出力が「背景」を確定する。元のサンプル値と「背景」との間の相対的デルタが、式（
７）に示すように、局所コントラスト値となる。

[0111] 次いで、局所コントラスト値に、ＬＤＲバッファーにおける対応するサンプル
値を乗算することによって、サンプル毎の残差信号を導き出す。
「0112」残差信号抽出のフィルタリング段階では、システム７１０は画像の現サンプ
ルにフィルタリングをかける。例えば、本システムは、現サンプルを含む１本以上のサン
プル・ラインの各々に沿って、適応閾値フィルターを使用する。または、本システムは対
応する二次元フィルターを使用する。このフィルタリングの強度（例えば、閾値にしたが
って設定される）は、第１パス・トーン・マッピングの結果に応じて、ユーザーの設定値
（例えば、任意のフィルター制御部７４２から得られるユーザー好み情報）に応じて、お
よび／またはその他の要因に応じて、様々に変化する可能性がある。あるいは、本システ
ムは他のフィルターを使用する。

[0113] 一実施態様では、入力信号の位置（ｘ、ｙ）における現サンプル値ｓ（ｘ、ｙ
）に対して、フィルタリングを次のように表すことができる。

この式において、ｗ（ｉ，ｊ）はＮの正規化係数を有する２Ｄロー・パス・フィルター
を表し、Ｋはフィルター範囲を表す。つまり、ｓ’（ｘ、ｙ）は、フィルタリングされた
サンプル値を表す。

[0114] ２Ｄフィルターは、２Ｄウィンドウとして、または１本以上の軸に沿った１Ｄ
フィルターの組み合わせとして実装することができる。図８は、４方向、即ち、水平、垂
直、左上から右下、および左下から右上の方向に沿った軸を示す。各軸は、現在のサンプ
ル位置８１０を含む。これらの軸の１つに該当しない位置にあるサンプル値には、重みが
与えられない（ｗ（ｉ，ｊ）＝０）。これらの軸の１つに該当する位置にあるサンプル値
には、最大の重み（ｗ（ｉ，ｊ）＝１）が与えられ、正規化係数が得られることになる。
あるいは、フィルターは他の形状を使用する。

[0115] サイズ値Ｋは、このフィルターを使用するフィルタリングの可能な範囲を示す
。一実施態様では、Ｋ＝８であり、現在の位置（ｘ、ｙ）に対して水平および垂直方向に
−８から＋８までのサンプル位置が、潜在的にある可能性があると考えられる。その考え
は、ロー・パス・フィルタリング・プロセスの間中心にあるサンプル８１０に近いサンプ
ル値のみを使用するということである。

[0116] 実施態様の中には、ウィンドウ内において、ある位置を排除するようにフィル
ターが閾値を使用する場合がある。一般性を失うことなく、以下の規則が示すのは、１Ｄ
水平ウィンドウにおけるフィルタリングにどのサンプル位置が寄与するかを、どのように
閾値が適応的に変化させるかということである。位置オフセットｍは、１Ｄウィンドウ内
における同様の値の現在の位置（ｘ、ｙ）から遠ざかる方向の広がりを表す。例えば、オ
フセットｍは、−Ｋ＜ｉ＜Ｋに対して、以下の制約を満たすｉの最小絶対値となるように
設定される。

ここで、ｔ（ｘ、ｙ）はＬＤＲバッファーにおける値を表す。ｉの値がいずれもこの制
約を満たさない場合、ｍ＝Ｋとなる。適応フィルターは、簡略化のために対称とし、同じ
オフセットｍを各方向において使用する。あるいは、現在の位置から遠ざかる異なる方向
に、異なるオフセット値を使用する。閾値Ｔは、フィルター閾値制御パラメーターである
。現在の位置（ｘ、ｙ）に対するオフセットｍ以内の位置にあるサンプル値には、フィル
タリングのときに重みが与えられ、１Ｄウィンドウにおける他のサンプル値には与えられ
ない。

ここで、１Ｄ水平ウィンドウにおけるフィルタリングに対してｊ＝０であり、−Ｋ＜ｉ
＜Ｋである。
[0117] １Ｄ水平ウィンドウにおけるサンプル値６７、６７、６７、６８、６８、６９
、６９、７０、７１、７２、７３、７３、７４、７５、７６のシーケンスについて考える
。ここで、現在のサンプル値は、ｔ（ｘ、ｙ）＝７０である。Ｔ＝３の場合、オフセット
値ｍ＝５となる。何故なら、オフセット＋５において、｜７４−７０｜＞３となるからで
ある。

[0118] 同様に、１Ｄ垂直ウィンドウに沿った適応閾値規則では、位置オフセットｍが
求められるとき、ｊは−Ｋ＜ｊ＜Ｋの範囲で変化する。対角線１Ｄウィンドウに沿った適
応閾値規則では、ｉおよびｊ双方が変化することができ、位置オフセットｍを求めるため
の−ＫおよびＫの限度内では、ｉ＝ｊ（図８に示す一方の対角線について）、またはｉ＝
−ｊ（図８に示す他方の対角線について）となる。２Ｄウィンドウに対して、位置オフセ
ットｍを求めるために、−ＫおよびＫの限度内にあるｉおよびｊの異なる値における位置
までのユークリッド距離を考慮することができる。

[0119] 適応閾値規則を適用するかまたは適用しないかには関係なく、ｗ（ｉ，ｊ）の
値を設定するときに、正規化係数Ｎを決定する。実施態様の中には、簡略化のために、ｗ
（ｉ，ｊ）のタップ係数が０または１のいずれかである場合もある。正規化係数Ｎは、単
にｗ（ｉ，ｊ）＝１のときの位置の計数値である。更に一般的には、ｗ（ｉ，ｊ）におけ
る異なる位置は、例えば、現在の位置により多くの重みを与えるために、あるいは双一次
または双三次(bicubic)フィルターを実装するために、異なるタップ値を有することがで
き、その場合、フィルタリングに寄与する位置に対するタップ値を合計して、正規化係数
Ｎを決定する。

[0120] フィルタリングの強度は、パラメーター値ＴおよびＫを設定することによって
、効果的に制御することができる。Ｋを増大させると、フィルタリングのために可能なウ
ィンドウ・サイズが増大し、潜在的により強くなる可能性があるフィルタリングが行われ
ることになる。Ｔを増大させると、類似性の制約を満たすサンプル値が増えるので、フィ
ルタリングに寄与する位置が多くなるという結果につながり、一層強いフィルタリングが
行われる結果につながる。
ｄ．残差信号フィルタリング
[0121] 図７に示す例では、システム７１０は残差信号フィルター７６０を含む。残差
信号フィルター７６０は、残差信号抽出部７４０から得られた残差信号を、ロー・パス・
フィルターを使用してフィルタリングする。残差信号フィルター７６０において行われる
フィルタリングは、残差信号抽出部７４０において行われるフィルタリングに追加される
ものであり、このフィルタリングは、局所コントラスト値を得るために行われる。

[0122] 残差信号フィルター７６０では、望ましくないサンプル値を除去するために、
フィルタリングが行われる。例えば、残差信号フィルター７６０は、３×３ボックスカー
・フィルター(boxcar filter)を使用して、異常なサンプル値（例えば、それらのコンテ
キストに対して、明るすぎるまたは暗すぎるサンプル値）を除去し、更に画像ノイズを除
去する。この例では、３×３ボックスカー・フィルターは、フィルタリングが行われる「
現在の」画素位置を中心とした３×３行列に配列された９個のサンプルの等加重平均であ
り、｛｛１／９，１／９，１／９｝，｛１／９，１／９，１／９｝，｛１／９，１／９，
１／９｝｝と表すことができる。ロー・パス・フィルタリングの後信号が反対の符号を有
する場合（例えば、正から負に変化した）、フィルタリングされた値を「０」に設定する
。フィルタリングの強さは、ユーザーの設定値（例えば、任意のフィルター制御部７４２
から得られるユーザー好み情報）に応じて、および／または他の要因に応じて様々に変化
する可能性がある。あるいは、本システムは他のフィルターを使用する。他の代案として
、残差信号フィルター７６０を省略する。
ｅ．残差信号スケーリング
[0123] 図７に示す例では、システム７１０は残差信号スケーラー７７０を含む。残差
信号スケーラー７７０は、残差信号（例えば、残差信号抽出部７４０から得られた残差信
号）をスケーリングする。残差信号スケーリングは、ユーザー制御に基づいて調節するこ
とができる。例えば、ユーザーの好みを、スケーリング制御部７７２から得られるパラメ
ーターで表すことができる。あるいは、スケーリング制御部７７２を省略する。

[0124] 一実施形態では、残差信号スケーラー７７０は、以下の式（１１）に示すスケ
ーリング関数を適用する。

ここで、「ｘ」はＬＤＲ画像バッファーの中にあるサンプル値であり、０から１の範囲
を取る。「Ｓ」はユーザー制御スケーリング係数である。このユーザー制御スケーリング
係数は、異なる値を取ることができ、更にデフォルト値（例えば４）を取ることができる
。

[0125] 残差信号スケーラー７７０によって適用されるスケーリング係数は、ＬＤＲ画
像バッファー内にあるサンプル値の関数とすることができる。例えば、スケーリング係数
は、ＬＤＲ画像バッファーの中にある対応するサンプル値が低いときには小さくすること
ができ、またはスケーリング係数は、ＬＤＲ画像バッファーの中にある対応するサンプル
値が高いときには、大きくすることができる。サンプル値に依存するスケーリング係数を
適用するスケーリング（例えば、ＬＤＲ画像バッファーの中にあるＬＤＲサンプル値）を
、相対的残差スケーリングと呼ぶことができる。

[0126] 一実施形態では、残差信号スケーラーは、残差信号フィルター７６０から得ら
れた、フィルタリング後の残差信号をスケーリングする。あるいは、残差信号スケーリン
グを省略することができ、または残差信号フィルタリングの前に適用することができる。
ｆ．ディザリング
[0127] 図７に示す例では、システム７１０は選択的にディザリング信号７８２をサン
プル値に追加する。例えば、本システムは、現在のサンプルの位置に対して、ディザリン
グ・オフセットを決定する。

[0128] 人間の視覚系は、些細な低周波信号レベル変化に対して、特に暗い画像エリア
において、比較的敏感であるが、高周波信号に対しては特に敏感ではない。従来の前処理
では、高周波ノイズを除去する。しかしながら、高空間−時間周波ディザリング信号をし
かるべく追加すると、人間の視覚系はディザリング信号を画像信号と「統合」する。これ
によって、効果的に、ディザリング信号を知覚的に目立たなくする一方、画像またはディ
スプレイにおいてビット深度が制限されることによって生ずる、それ以外の知覚可能なバ
ンディング・アーチファクトまたはその他のアーチファクトを取り除く。例えば、３ピク
チャーの高さ(three picture heights)というような適正な距離から見ると、追加された
ディザリング信号は、整数値の間にあるサンプル値の認識を生み出すことができる。これ
は、人間の視覚系が、サンプル値をディザリングと統合するからである。

[0129] 実施態様の中には、整数値（例えば、８ビット整数値）に切り捨てる(clip)前
に、変換の最終丸め段階においてディザリング信号を適用する場合もある。他の実施態様
では、ディザリング信号は、切り捨ての後に適用される。ディザリング信号の強度は、実
施態様に依存し、局所的な画像特性、ディジタル画像に対するハイ・パス信号の特性、ま
たはその他の要因に応じて、適応的に変化することができる。通例、ディザリング信号の
信号強度（または標準偏差）は、整数レベル内に十分収まる。
ｇ．ＬＤＲ画像発生
[0130] 図７に示す例では、システム７１０はＬＤＲ画像発生部７８０を含む。ＬＤＲ
画像発生部７８０は、他の処理段階において得られた情報に基づいて、出力ＬＤＲ画像７
９０のサンプル値を発生する。例えば、ＬＤＲ画像バッファーの中にあるサンプル値毎に
、ＬＤＲ画像発生部７８０は、このサンプル値を残差信号および高周波ディザリング信号
と組み合わせる。

[0131] 一実施形態では、ＬＤＲ画像生成部は、ＬＤＲバッファーから得られたＬＤＲ
サインプル値、残差信号、およびディザリング信号を互いに加算し、その結果を丸めて整
数にし、この結果を８ビット値に切り詰める(crop)（例えば、８ｂｐｃカラー・モニター
上で表示する画像では）。例えば、ＬＤＲ画像生成部７８０は、出力ＬＤＲ画像７９０に
対して出力サンプル値を決定するために、次の式を使用する。

ここで、ＬＤＲ画像バッファーから得られたサンプル値は、８ビット整数（基底１０値
０〜２５５を表す）であり、ディザリング信号は、丸め動作を滑らかにする(smooth out)
ために、値が−０．５および＋０．５の間となる「ブルー・ノイズ」(blue noises)であ
る。式（１２）に示す例では、最も近い整数に丸めるために、０．５を加算する。あるい
は、０．５の加算を省略することもできる。例えば、ディザリング信号が、０の代わりに
、０．５を中心とする場合、丸めのための０．５の加算を省略することができる。
ｈ．拡張および代替
[0132] システム７１０内にあるモジュール間で示す関係は、当該システムにおける一
般的な情報の流れを示す。簡略化のために、他の関係は示されていない。実施態様および
所望の処理タイプに応じて、システムのモジュールを追加すること、省略すること、多数
のモジュールに分割すること、他のモジュールと組み合わせること、および／または同様
のモジュールと置き換えることができる。代替実施形態では、異なるモジュールおよび／
または異なるモジュールの構成としたシステムが、記載した技法の１つ以上を実行する。

[0133] 例えば、システム７１０は、圧縮画像データーを伸張するためにデコーダーを
含むことができる。デコーダーは、プリプロセッサーが伸張ＨＤＲ画像データーに対して
前処理動作を実行できるように、本システムに含ませることができる。このデコーダーに
よって行われる正確な動作は、圧縮フォーマットに応じて、様々に変化する可能性がある
。例えば、ＪＰＥＧＸＲに準拠するデコーダーでは、ＪＰＥＧＸＲファイルのＨＤＲ
画像情報を伸張することができ、またＪＰＥＧに準拠するデコーダーでは、ＪＰＥＧファ
イルのＳＤＲ画像情報を伸張することができる。

[0134] また、システム７１０は１つ以上のエンコーダーも含むことができる。エンコ
ーダーは、画像信号を圧縮し、圧縮ディジタル画像情報のビット・ストリームを出力する
。このエンコーダーによって行われる正確な動作は、圧縮フォーマットに応じて様々に変
化する可能性がある。例えば、エンコーダーは、ＪＰＥＧのようなフォーマットにしたが
って、ＬＤＲ画像情報を圧縮することができる。
Ｃ．ユーザー対話処理およびパラメーター制御の手法
この章では、ＨＤＲ画像を発生するまたはレンダリングするシステムとのユーザーの対
話処理の手法について説明する。例えば、ユーザー好み情報を、ＨＤＲ画像発生、ＨＤＲ
画像レンダリング、またはＨＤＲ画像発生およびＨＤＲ画像レンダリングの組み合わせに
適用することができる。ここで記載する例では、ＨＤＲ画像レンダリングに関連のあるパ
ラメーターを調節するために使用される、ユーザー調節可能な制御に言及するが、ＨＤＲ
画像発生に関連のあるパラメーターを調節するために使用される、ユーザー調節可能な制
御も使用することができる。
１．一般化した技法
[0135] 図９は、ユーザー好み情報にしたがってＨＤＲ画像を処理する技法９００を示
す。図１０に示すＨＤＲ画像処理システム１０１０のようなシステム、または他のシステ
ムが技法９００を実行する。

[0136] ９１０において、本システムは、ＨＤＲ画像発生パラメーターまたはＨＤＲ画
像レンダリング・パラメーターに対してユーザーの好みを設定するために、１つ以上のユ
ーザー好み制御部を設ける。９２０において、本システムは、ユーザー好み制御部と関連
のあるユーザー好み情報を受け取る。９３０において、本システムは、ユーザー好み情報
に少なくとも部分的に基づいて、ＨＤＲディジタル画像を発生またはレンダリングする。
９４０において、ＨＤＲ画像処理が行われた場合、本プロセスは終了し、あるいは本シス
テムは、同じユーザーまたは異なるユーザーから、同じユーザー好み制御部または異なる
ユーザー好み制御部から追加のユーザー好み情報を得て、異なる方法でＨＤＲディジタル
画像を発生またはレンダリングすることができる。例えば、ユーザーは、ガンマ調節に対
するユーザーの好みにしたがってＨＤＲ画像のＬＤＲバージョンを見ることができ、次い
でフィルタリングに対するユーザーの好みにしたがってＨＤＲ画像の他のＬＤＲバージョ
ンを見ることができる。元のＨＤＲディジタル画像は、ディジタル・ネガとして保存し、
元の画像データーに基づいて今後修正を可能にすることができる。
２．実施態様例
[0137] この章では、ユーザー好み情報にしたがってＨＤＲ画像を発生またはレンダリ
ングする手法の一群の実施態様例について、実施態様の詳細を示す。

[0138] 図１０は、ユーザー好み情報にしたがってＨＤＲ画像を発生またはレンダリン
グするＨＤＲ画像処理システム１０１０の実施態様例を示す図である。図１０に示す例で
は、システム１０１０は入力画像（１つまたは複数）１０２０を処理する。システム１０
１０は、ＨＤＲ画像レンダリングのために入力ＨＤＲ画像を処理し、またはＨＤＲ画像発
生のために入力ＬＤＲ画像を処理する。図１０は、種々の処理段階を実現し出力画像（１
つまたは複数）１０６０を発生するモジュール例を示す。具体的には、システム１０１０
は、ユーザー・インターフェースを設けるおよび／またはユーザー入力１０８０を解釈す
るために、ユーザー好みモジュール１０７０を含む。例えば、ユーザーは１つ以上のユー
ザー入力デバイス（例えば、マウス、キーボード、マイクロフォン、目追跡デバイス(eye
-tracking device)、タッチ・スクリーン、または他の何らかのデバイス）上で動作を実
行することができる。あるいは、ＨＤＲ画像処理システム１０１０は、画像ファイルに格
納されているユーザー好みメタデーターを受け取るというようなことによって、他の何ら
かの方法でユーザーの好みを判定する。ユーザー好みモジュール１０７０は、実行する処
理のタイプに応じて、ユーザー好み情報をＨＤＲ画像発生部１０４０および／またはＨＤ
Ｒ画像レンダラー１０５０に提供する。

[0139] 個々のユーザーは、多数の方法で画像を処理することができ、多数のユーザー
が同じ画像に対してユーザーの好みを設定することができる。ユーザー好み情報は、画像
データーを変更することなく、メタデーターとして画像ファイルに格納することができる
。これによって、元の画像データーを保存しつつ、異なるユーザーが、彼ら自身のユーザ
ーの好みを画像に適用することによって、画像を共有することが可能になる。ユーザーの
好みは、ガンマ制御パラメーター、残差フィルター制御パラメーター、残差スケーリング
制御パラメーター、色強調パラメーター、サイズ変更パラメーター、色温度制御パラメー
ター、および白点制御パラメーターというような、画像処理パラメーターを調節するため
に使用することができる。また、ユーザー識別情報も、対応するユーザー好み情報と共に
セーブすることができる。多数の組のメタデーターを画像ファイルに格納することができ
るので、同じピクチャーを種々の方法で異なるユーザーによって同じシステムにおいてレ
ンダリングすることができる。

[0140] 例えば、ユーザー好みモジュール１０７０は、ユーザー調節可能制御部を設け
て、ユーザーがＨＤＲ画像レンダリングのパラメーターを制御することを可能にすること
ができる。ユーザー好みモジュール１０７０によって設けられる具体的な制御部は、実施
態様に応じて様々に変化する可能性がある。例えば、再度図７を参照すると、画像レンダ
リングのためのユーザー調節可能制御部は、トーン・マッピング・パラメーターを調節す
るための制御部（例えば、ガンマ制御部７３４）、フィルター制御部７４２、およびスケ
ーリング制御部７２２を含むことができる。

[0141] システム１０１０内にあるモジュール間に示す関係は、当該システムにおける
一般的な情報の流れを示す。簡略化のために、他の関係は示されていない。実施態様およ
び所望の処理タイプに応じて、システムのモジュールを追加すること、省略すること、多
数のモジュールに分割すること、他のモジュールと組み合わせること、および／または同
様のモジュールと置き換えることができる。代替実施形態では、異なるモジュールおよび
／または異なるモジュールの構成としたシステムが、記載した技法の１つ以上を実行する
。
Ｖ．拡張および代替
[0142] この章では、以上で鍾愛した技法およびツールのその他の拡張、代替、および
応用の一部について資料を提供する。

[0143] 記載したＨＤＲ画像発生およびレンダリングのための技法およびツールは、画
像修正を前もって見るために、ＨＤＲ画像のダウン・サンプル（即ち、解像度を落とした
）バージョンに適用することができる。例えば、トーン・マッピング制御パラメーターお
よびトーン・マッピング動作は、画像修正を前もって見るためにＨＤＲ画像のダウン・サ
ンプル（即ち、解像度を落とした）バージョンに適用することができる。次いで、同じパ
ラメーターまたは動作、あるいは異なるパラメーターまたは動作を、画像の最大解像度バ
ージョンに適用することができる（例えば、画像の最終バージョンを発生するとき）。

[0144] 記載したＨＤＲ画像発生およびレンダリングのための技法およびツールは、Ｈ
ＤＲ画像アチーブ・アニメーション(HDR images achieve animation)または遷移効果に適
用することができ、または画像における異なる情報を明らかにするために適用することが
できる。例えば、ＨＤＲ画像は、一連のＬＤＲ画像としてレンダリングすることができ、
各ＬＤＲ画像は、異なるトーン・マッピング・パラメーターを有し、低い露出設定からそ
れよりも高い露出設定への遷移を動画化することができ、異なる画像の詳細および異なる
露出設定を潜在的に明らかにすることができる。

[0145] 記載したＨＤＲ画像発生およびレンダリングのための技法およびツールは、ビ
デオまたは仮想３Ｄ環境に適用することができる。
[0146] 記載したＨＤＲ画像発生およびレンダリングのための技法およびツールは、他
のディジタル画像処理技法およびツールと合わせて使用することができる。例えば、記載
したＨＤＲ画像発生およびレンダリングのための技法およびツールは、ディジタル写真編
集というシナリオにおいて使用して、例えば、ＨＤＲ画像の異なる部分においてトーン・
マッピング・パラメーターを変更することを伴う画像修正を、ユーザーが前もって見るこ
とを可能にすることによって、コンピューター上でＨＤＲ画像を編集することができる。

[0147] 以上、記載した実施形態を参照しながら、本発明の原理について説明し図示し
たが、記載した実施形態は、このような原理から逸脱することなく、その構成および詳細
において変更が可能であることは認められよう。尚、本明細書において記載したプログラ
ム、プロセス、または方法は、特に示されていない限り、いずれの特定のタイプの計算環
境にも関係付けられることも、限定されることもないことは言うまでもない。種々のタイ
プの汎用または特殊計算環境を、本明細書において記載した教示と共に使用することがで
き、あるいはその教示にしたがって動作を実行することができる。ソフトウェアで示した
記載した実施形態のエレメントは、ハードアウェアで実現することもでき、そしてその逆
もかのうである。

[0148] 本発明の原理を適用することができる実施形態が多くあることに鑑み、出願人
は、以下の請求項の範囲および主旨、ならびにその均等物に該当すると考えられる全ての
そのような実施形態を、本出願人の発明として特許請求することとする。

Claims

高ダイナミック・レンジ・ディジタル画像を発生する方法であって、
シーンを描写する１組の複数のディジタル画像において、基準画像に対する動き分析を行うステップであって、前記動き分析が、前記１組の中にある１つ以上の非基準画像の各々について、前記基準画像に対する画像差を判定することを含む、ステップと、
前記動き分析に少なくとも部分的に基づいて、非基準画像毎に、前記基準画像に対する１つ以上の相対的露出レベルを導き出すステップと、
前記１つ以上の相対的露出レベルに少なくとも部分的に基づいて、前記シーンを描写する高ダイナミック・レンジ・ディジタル画像を形成するために、前記１組の複数のディジタル画像を統合するステップと、
を備えている、方法。
請求項１に記載の方法であって、更に、
前記１つ以上の相対的露出レベルに少なくとも部分的に基づいて、各非基準画像におけるサンプル値を正規化レベルにスケーリングするステップを備えておあり、
前記統合が、前記高ダイナミック・レンジ・ディジタル画像における各サンプル位置について、前記基準画像における前記サンプル位置に対応するサンプル値と、各非基準画像における前記サンプル位置に対応する、スケーリングされたサンプル値との加重平均を計算することを含む、方法。
請求項１又は２に記載の方法であって、更に、
１組の候補画像の内どの画像が、容認可能な露出範囲に該当するサンプル値をより多く有するか判定することによって、前記１組の候補画像から前記基準画像を選択するステップを備えている、方法。
請求項１〜３のいずれか一項に記載の方法において、前記動き検出が、前記基準画像に対する画像差を判定するために、正規化相互相関を使用することを含む、方法。
請求項１〜４のいずれか一項に記載の方法において、前記動き検出が、前記基準画像に対する画像差を判定するために、非基準画像におけるサンプル値の部分集合を選択するステップを含み、前記部分集合が、前記サンプル値がある範囲の露出値に該当するか否かに基づいて選択される、
方法。
請求項１〜５のいずれか一項に記載の方法において、前記動き検出が、全域的動き検出、およびその後に続く局所的動き検出を含む、方法。
請求項１〜６のいずれか一項に記載の方法において、前記１つ以上の相対的露出レベルが、各々、それぞれの非基準画像に対する平均サンプル比に基づいて導き出される、方法。
請求項１〜７のいずれか一項に記載の方法を実行するためのプログラム。
請求項１〜７のいずれか一項に記載の方法を実行するためのプログラムを記録した記録媒体。
１つ以上のプロセッサーおよび１つ以上の記憶媒体を備えている計算機であって、前記１つ以上の記憶媒体が、高ダイナミック・レンジ画像をレンダリングする方法を、前記計算機に実行させるコンピューター実行可能命令を格納しており、前記方法が、
シーンを描写する１組の複数のディジタル画像において、基準画像に対する動き分析を行うステップであって、前記動き分析が、前記１組の中にある１つ以上の非基準画像の各々について、前記基準画像に対する画像差を判定することを含む、ステップと、
前記動き分析に少なくとも部分的に基づいて、非基準画像毎に、前記基準画像に対する１つ以上の相対的露出レベルを導き出すステップと、
前記１つ以上の相対的露出レベルに少なくとも部分的に基づいて、前記シーンを描写する高ダイナミック・レンジ・ディジタル画像を形成するために、前記１組の複数のディジタル画像を統合するステップと、
を備えている、計算機。
請求項１０に記載の計算機であって、更に、
前記１つ以上の相対的露出レベルに少なくとも部分的に基づいて、各非基準画像におけるサンプル値を正規化レベルにスケーリングするステップを備えておあり、
前記統合が、前記高ダイナミック・レンジ・ディジタル画像における各サンプル位置について、前記基準画像における前記サンプル位置に対応するサンプル値と、各非基準画像における前記サンプル位置に対応する、スケーリングされたサンプル値との加重平均を計算することを含む、計算機。
請求項１０又は１１に記載の計算機であって、更に、
１組の候補画像の内どの画像が、容認可能な露出範囲に該当するサンプル値をより多く有するか判定することによって、前記１組の候補画像から前記基準画像を選択するステップを備えている、計算機。
請求項１０〜１２のいずれか一項に記載の計算機において、前記動き検出が、前記基準画像に対する画像差を判定するために、正規化相互相関を使用することを含む、計算機。
請求項１０〜１３のいずれか一項に記載の計算機において、前記動き検出が、前記基準画像に対する画像差を判定するために、非基準画像におけるサンプル値の部分集合を選択するステップを含み、前記部分集合が、前記サンプル値がある範囲の露出値に該当するか否かに基づいて選択される、
計算機。
請求項１０〜１４のいずれか一項に記載の計算機において、前記動き検出が、全域的動き検出、およびその後に続く局所的動き検出を含む、計算機。
請求項１０〜１５のいずれか一項に記載の計算機において、前記１つ以上の相対的露出レベルが、各々、それぞれの非基準画像に対する平均サンプル比に基づいて導き出される、計算機。