JP4263890B2

JP4263890B2 - カメラ、シーン、ディスプレイ、及び、人口統計データに基づいて特定の画像欠陥を補正するときを決定するシステム及び方法

Info

Publication number: JP4263890B2
Application number: JP2002271838A
Authority: JP
Inventors: ブルースホウィーラーリチャード; ウィリアムキーランブライアン
Original assignee: イーストマンコダックカンパニー
Priority date: 2001-09-20
Filing date: 2002-09-18
Publication date: 2009-05-13
Anticipated expiration: 2022-09-18
Also published as: JP2003163861A; US7133070B2; EP1296510A3; US20030095197A1; EP1296510A2

Description

【０００１】
【発明の属する技術分野】
本発明は一般的にデジタル画像処理の分野に関連し、特に、写真における画像欠陥の予測及び補正に関する。
【０００２】
【従来の技術】
写真システムは、いわゆる「全自動（point-and-shoot）」写真家と呼ばれるアマチュアによって操作されると広い範囲の画質を生成する。所与のシーンに対する写真環境が、画像捕捉システムに良好に適している（例えば、被写体は静止しており且つ焦点範囲内であり、周辺光のレベルは均一であり且つ十分な強度であり、レンズの倍率は被写体に対し適切である）と、一般的に良好な結果が得られる。しかし、これらの条件がない場合、捕捉又は再現システムにおける失敗により画像欠陥がもたらされ、最終的に見られる画像の品質を低下させてしまう。最適下限の画像捕捉条件の影響を少なくするよう、カメラの設計者は、画像を捕捉することのできる光レベル及び距離の範囲を広げる特徴を付加することにより補正することを試みてきた。残念なことに、これらの特徴はしばしば一次的な問題は解決するが、時として、二次的な深刻な画像欠陥を追加してしまう。
【０００３】
例えば、適切な露出を与えるための周辺光の強度が不十分であり、且つ、主被写体がカメラから２０フィート以内に位置する場合、多くの内蔵型フラッシュユニットは、その主被写体を少なくとも部分的に露出するのに十分な補助照明を与えることができる。しかし、主被写体が適切な照明を受ける場合でも、フラッシュは画像欠陥をもたらす場合がある。
【０００４】
この技術において周知であるように、赤目現象として知られる画像欠陥は、細い光源、写真被写体、及び、カメラレンズ間の角度が約３度以下であるときに起きる。この発生条件は、コンパクトカメラによるフラッシュ露出の際にしばしば満たされてしまう。フラッシュからの光は略軸上で瞳孔に入って眼底に伝搬し、光は、眼底における血管により赤く色が付けられて眼底から反射して目から出る。光は細い円錐状で目から出て、カメラレンズがその円錐内にある場合に、赤色反射が記録され、最終画像に赤く光った瞳孔として現れる。このことは、画質の観点から非常に望ましくない。
【０００５】
赤目現象は、見られる画像における瞳孔の寸法が大きく、且つ、瞳孔の赤色飽和が多いほどより顕著となる。見られる画像における瞳孔の寸法が大きいという前者は、周辺光レベルが低い時に起きるように瞳孔が開いているとき、又は、例えば、カメラから被写体までの距離が短いこと、カメラレンズの焦点距離が長いこと、印刷倍率（ズームとクロッピングを含む）が高いこと、及び／又は、視距離が短いことによって被写体が画像内において大きい寸法でレンダリングされるときに起きる。赤目現象を少なくする又は排除するためにカメラに使用される主な技術は、フラッシュとレンズの間隔を大きくすること、明るい光に反応させて一時的に瞳孔を絞るためにプレフラッシュをたくこと、及び、レンズの焦点距離及び／又は電子ズームを少なくすることが挙げられる。
【０００６】
これらの方法は全て有効ではあるが、それぞれ関連付けられる不利点を有する。フラッシュとレンズの間隔を大きくすることは、より高価で且つかさ張るカメラをもたらし、また、軸からより離れた照明により目立つ影が形成されてしまう。プレフラッシュがたかれた後に、目が完全に反応するには１／２秒間以上かかり、このプレフラッシュと画像捕捉の間の遅延の間、被写体の顔の表情はしばしば、プレフラッシュによる不快感及び驚きにより望ましくなく変更してしまう。プレフラッシュは更にカメラの費用を増加し、メインのフラッシュパルス時に利用可能な電力を少なくし、電力消費量を増加してしまう。最後に、光学又は電子ズームを制限することは、好ましい感じの表現が与えられるよう被写体が画像内において十分に大きく現れるような所望の構図を得るという撮影者の能力を干渉してしまう。
【０００７】
上述したようなカメラ内蔵型の赤目現象減少技術の不利点と、個々の画像の選択領域の補正を行うことができるデジタルプリント装置の増加する入手可能性とが与えられるに、現像（デジタルプリント）処理時に赤目欠陥を位置決めし且つそれを補正する技術を開発するべくかなりの努力が払われてきた。
【０００８】
特許文献１には、画像内における赤目画像欠陥を位置決めし且つそれを補正する方法が記載される。特許文献２、及び、その関連の共通に譲受された特許文献３及び特許文献４には一般的に、画像内における人間の目を探し出すのに適した追加の方法が記載されるが、特に、赤目画像欠陥を有する人間の目の出現を探し出し且つ補正する方法が記載される。これらのデジタル赤目除去技術は効果的ではあるが、計算集約的であるので、捕捉画像の複写を最適にレンダリングし再現するのにかかる時間が増加する。これらの演算を行うために必要となる時間は、一部の場合において、自動化された高速プリント動作において速度を制限する処置となってしまう場合がある。赤目欠陥の位置決め及び補正処理が顧客のオーダにある各画像に対し、これらの画像のうちほんの一部しかこの欠陥を実際に含まないにも関らず、行われる場合、生産性及び利益も減少してしまう。更に、赤目欠陥を探し出すための計算時間が各画像に対し費やされると、例えば、色調スケールマッピング、デジタル雑音減少、及び、鮮鋭化といった他の有益な画像処理動作が、各画像に対して割当てられる時間間隔内で可能でなくなる。従って、赤目現象が起きるときを予測し、必要であるときにのみ赤目現象の位置決め及び補正処理を行うことが望ましい。
【０００９】
オリジナルのシーンが撮影されたときに収集されるデータから、最終画像に表れる赤目欠陥の可能性及び重大性を予測することが可能であるか否かを決定する広範に亘る研究から、赤目欠陥の度合いは、主に以下の要素に依存することが分かった。即ち、被写体の人種、被写体の年齢、プレフラッシュの照明レベル、フラッシュとレンズの間隔、カメラから被写体までの距離、周辺光レベル、カメラレンズの焦点距離、再現倍率、及び、最終画像の視距離である。本発明では、これらの要素を使用して、画像毎に、赤目欠陥の重大性を予測し、この情報はカメラから現像システムに転送され自動プリンタシステムに命令するか、又は、人間に支援されるプリンタの場合には、赤目欠陥の位置決め及び補正技術を行うことが妥当である場合にのみそれを行うよう操作者に伝え、それにより、画質を改善し且つ現像の生産性を高める。
【００１０】
赤目画像欠陥に加えて、例えば、電子フラッシュ管といった細い光源からの距離の関数としての光度減損の物理的過程は、しばしば照明コントラストの欠陥につながることは既知であり、結果として、最終的に見られる画像において歪んだ色調再現性がもたらされる。具体的には、カメラから被写体までの距離が倍増する毎に、被写体上の単位面積あたりの光度は４倍落ちる。例えば、主被写体がカメラから６フィートのところに位置し、且つ、背景はカメラから１２フィートのところに位置する場合、背景の捕捉画像は、主被写体の捕捉画像の露出レベルの４分の１の露出レベルしかない。これにより、最終的に見られる画像において、背景は主被写体よりもかなり暗く見える。光は、距離に対しこの二乗の関数で落ちるので、主被写体と背景との間の露出差はしばしば上述したよりも大きくなり、これは特に、画像が夜間に屋外において、又は、大きい部屋において捕捉される時に顕著である。プリンタ内の露出制御システムは、シーンのどの部分が主被写体であるかに関する知識がない状態で大きい露出レンジ（高コントラストシーン）を有する画像が与えられると、しばしば平均の、又は、面積に対し重み付けされた露出を計算し、これは過度に主被写体を明るくしてしまう場合がある。この欠陥は特に、人物がいる画像において不利となり、というのは、人物の顔が白っぽくなり、適切な肌の再現性が損なわれるからである。
【００１１】
高コントラストシーンの画像が、上述したように全体的に露出過度の主被写体と露出不足の背景を含むと、全ての高コントラストシーンをプリントする際にダークン・バイアス（darken bias）を導入することが実用的である。しかし、バックライトとして知られるシーンの部類があり、これは、コントラストは高いが、フラッシュシーンの被写体と背景との露出比とは反対の露出比を有する。バックライトシーンの場合、照明源は一般的に主被写体の背後にあるか、又は、主被写体は、例えば、木又は建物といった別の対象物によって暗くされるので、周辺照明の一部のみしか受けない。従って、主被写体は背景に対し露出不足となる。この場合、強すぎるフラッシュシーンを補正するのに必要であるダークニング・バイアスが適用されると、既に暗い主被写体は更に暗くレンダリングされてしまい、画質を更に低下する効果を有する。
【００１２】
イーストマン・コダック社（Eastman Kodak Company）から提供されるアドバンスド・フォト・システムの情報交換（ＩＸ）機能は、画像捕捉時に収集される情報を使用し、現在の画像に対し、電子フラッシュが使用されたか否かを示すようプリンタに渡され得る。（アドバンスド・フォト・システムの仕様文書は、非特許文献２に記載される。）フラッシュがたかれた場合、スキャンされた画像濃度から高コントラストシーンが推測され、ダークニング・バイアスはプリント時に画像に適用することができる。この情報は、バックライトのショットと強いフラッシュショットを区別することを助け、主被写体が適切な明度でプリントされる可能性を増加する。しかし、バックライトシーン及び強いフラッシュシーンの両方において、シーンのダイナミックレンジはプリント材料の色調レンジを越える場合があるので、主被写体と背景は、画像領域全体を暗くする（強いフラッシュの場合）プリント補正及び明るくする（バックライトの場合）プリント補正を行うことにより同時に適切にレンダリングすることができない。これは、領域全体の露出補正しかできない光学（アナログ）プリントシステムでは、高コントラストシーンの最適な表現を生成することができないことを意味する。
【００１３】
デジタル画像処理における最新の進歩によって、画像領域をデジタル分割する、ダイナミックレンジを分析する、及び、画像の特定領域毎に色調再現性を調節する（明るくするか又は暗くする）実用的な方法が可能となった。このようにして色調再現性を再マッピングすることにより、高コントラストシーンの露出過度領域と露出不足領域の両方をプリント材料の色調レンジ内でレンダリングすることが可能となり、それにより、両方の領域における情報を最終画像において見えるようにすることができるようになる。このデジタル特定領域色調スケール再マッピング技術は有効ではあるが、計算集約的であるので、捕捉画像の複写を最適にレンダリングし再生するのに必要な時間は増加する。これらの動作を行うのに必要とされる時間は、一部の場合では、自動化された高速プリント動作において速度を制限する処置となってしまう場合がある。色調スケール再マッピング技術が顧客のオーダにある各画像に対し、これらの画像のうちほんの一部しかこの欠陥を含まないのにも関らず、行われる場合、生産性及び利益も減少してしまう。更に、色調スケール欠陥を探し出すために計算時間が各画像に対し費やされると、例えば、赤目欠陥の位置決め及び補正、デジタル雑音減少、及び、鮮鋭化といった他の有益な画像処理動作が、各画像に対し割当てられる時間間隔内で可能でなくなる。従って、色調スケール欠陥が出現するときを予測し、必要であるときにのみ色調スケール再マッピング処理を行うことが望ましい。
【００１４】
オリジナルのシーンが撮影されたときに収集されるデータから、最終画像に現れる色調スケール欠陥の可能性及び重大性を予測することが可能であるか否かを決定する広範に亘る研究から、色調スケール欠陥の度合いは、主に以下の要素に依存することが分かった。即ち、フラッシュ状態（フルか、フィルか、オフか）、主被写体の光レベル、背景の光レベル、主被写体の距離、背景の距離、及び、利用可能である場合は、手動又は自動カメラバックライト露出補償制御装置の状態である。本発明では、これらの要素を使用して、画像毎に、色調スケール欠陥の重大性を予測し、この情報はカメラから現像システムに転送され自動プリンタ制御システムに命令するか、又は、人間に支援されるプリンタの場合には、色調スケール欠陥の検出及び補正技術を行うことが妥当である場合にのみそれを行うよう操作者に伝え、それにより、画質を改善し且つ現像の生産性を高める。
【００１５】
周辺光レベルが適切な露出を与えるのに十分でなく、且つ、フラッシュが作動していないか又は主被写体が最大フラッシュレンジを越えて位置する場合、画像捕捉システムは露出不足の画像を生成する。フィルムベースのカメラシステムでは、露出不足は、主に、最大ハロゲン化銀粒子からなる最も感度の高い（速い）層において潜像の形成をもたらす。これらの高速且つ大きい粒子から形成される画像が処理されプリントされると、シーンの再現を作成することはできるが、最終的に見られる画像は一般的に目立つ粒子構造を含み、これは、細かい細部をマスクし且つ見た目の画質を低下する。粒子の出現は、より一般的には画像雑音として呼ばれるが、これは、例えば、拡大プリントフォーマット、擬似パノラマプリントフォーマット、又は、擬似望遠プリントフォーマットにおいて再現倍率が増加されるとより顕著となる。
【００１６】
例えば、ＣＣＤ又はＣＭＯＳ画像センサを有するデジタルスチルカメラ（ＤＳＣ）の場合、センサの感光度（露光指数）がシーンの光レベルに反応して自動的又は撮影者による手動で調節され、適切な色調再現性を維持しようとすることができる。感光度は、周辺照明の色温度（白バランス）を考慮に入れながらセンサ信号増幅器の利得を変更することによって調節される。周辺光レベルが高い（明るいシーン）の場合、増幅器の利得は低いので、高い（望ましい）信号対雑音比（ＳＮＲ）を生成する。周辺光レベルが低い（薄暗いシーン）の場合、増幅器の利得は増加され、低い（望ましくない）ＳＮＲを生成する。このようにして利得が増加されると、画像の色調再現性は、標準的な増幅器利得に対し改善される。しかし、ＳＮＲは低いので、最終的に見られる画像は一般的に目立つ雑音を含み、この雑音は露出不足のフィルム画像における粒子と類似しており、細かい細部をマスクし且つ見た目の画質を低下する。雑音欠陥の出現は、例えば、拡大プリントフォーマット、擬似パノラマプリントフォーマット、又は、擬似望遠（電子ズーム）プリントフォーマットにおいて再現倍率が増加されるとより顕著となる。
【００１７】
非特許文献１において記載されるシグマ・フィルタ（The Sigma Filter）に例示されるような技術は、処理されたデジタル画像の視覚外観を高めるための雑音減少アルゴリズムとして有用である。これらのデジタル領域特定雑音減少技術は、効果的ではあるが、計算集約的であるので、捕捉画像の複写を最適にレンダリングし再生するのに必要な時間が増加する。これらの動作を行うのに必要とされる時間は、一部の場合では、自動化された高速プリント動作において速度を制限する処置となってしまう場合がある。デジタル雑音減少技術が顧客のオーダにある各画像に対し、これらの画像のうちほんの一部しかこの欠陥を含まないにも関らず、行われる場合、生産性及び利益も減少してしまう。更に、雑音欠陥を探し出すために計算時間が各画像に対し費やされると、例えば、赤目位置決め及び補正、色調スケール再マッピング、及び、鮮鋭化といった他の有益な画像処理動作が、各画像に対し割当てられる時間間隔内で可能でなくなる。従って、雑音欠陥が出現するときを予測し、必要であるときにのみ雑音欠陥減少処理を行うことが望ましい。
【００１８】
オリジナルのシーンが撮影されたときに収集されるデータから、最終画像に出現する雑音欠陥の可能性及び重大性を予測することが可能であるか否かを決定する広範に亘る研究から、雑音欠陥の度合いは、主に以下の要素に依存することが分かった。即ち、再現倍率、最終画像の視距離、基準露光指数でのフィルム雑音、又は、ＤＳＣの場合は、基準露光指数でのセンサ雑音、及び、センサ増幅器の利得レベルを決定する手動又は自動ＤＳＣ（Ｒ、Ｇ、Ｂ）露光指数制御装置の状態、及び、フィルム又はセンサ露出レベルである。本発明では、これらの要素を使用して、画像毎に、雑音欠陥の重大性を予測し、この情報はカメラから現像システムに転送され自動プリンタ制御システムに命令するか、又は、人間に支援されるプリンタの場合には、雑音欠陥の位置決め及び補正技術を行うことが妥当である場合にのみそれを行うよう操作者に伝え、それにより、画質を改善し且つ現像の生産性を高める。
【００１９】
写真環境が、電子フラッシュ又は高雑音周辺捕捉の必要性を回避する露出レベルを与える均一で且つ十分な強度を有する周辺光を供給し、主被写体はカメラの焦点範囲内にある場合でも、通常のレンズにより与えられるカメラレンズ倍率（しばしば、画像捕捉フレームの対角線の寸法として定義される）は、最終的に見られる画像において好適な寸法を有する主被写体の画像を捕捉するのには不十分である場合がある。最終的に見られる画像における主被写体の寸法は、システムの角倍率（ＡＭ）として称される量に比例し、これは、以下の式により特徴付けられる。
【００２０】
ＡＭ＝［（Ｆ１）（Ｍｒ）］／Ｖｄ
ただし、
Ｆ１は、カメラレンズの焦点距離（インチで示す）であり、
Ｍｒは、再現倍率（画像対ディスプレイの寸法の比）であり、
Ｖｄは、最終画像の視距離（インチで示す）である。
【００２１】
目とディスプレイとの間隔（視距離）は、共通に譲受された特許文献５に本願の発明者により開示される以下の式に従って、最終的なディスプレイ寸法に対し変わることが分かった。
【００２２】
Ｖｄ＝３．６４＋１１．３４［ｌｏｇ_１０（Ｄ）］
ただし、
Ｄは、最終的なディスプレイの対角線寸法である（インチで示す）。
【００２３】
ＡＭを増加する最も一般的な方法は、カメラに望遠又は可変（ズーム）焦点距離画像捕捉オプティクスを含むことが関連する。このアプローチは、画像捕捉倍率を増加し、標準（フルフレーム）プリント倍率を維持することにより最終的に見られる画像における被写体を大きくする。擬似望遠オプティカルプリンティング、又は、電子ズームデジタルプリンティングに関連する他の技術は、この技術において周知である。これらの技術は、標準プリント寸法（例えば、４×６インチ）と標準画像捕捉レンズ焦点距離を維持しながら、プリント倍率を増加し、画像フレームの一部をクロッピングすることにより最終的に見られる画像において大きい被写体を生成する。最後に、単純に大きい（例えば、８×１０インチ）最終画像寸法を生成することにより、再現倍率は増加されるので、ＡＭ及び知覚される被写体の寸法も、長い最終視距離の場合においても、大きくなる。上述した技術によって与えられるＡＭの増加は、より好ましい構図に導くが、不適切なレンズの被写界深度、被写体の動作、及び、撮影者の手の震えからの画像のボケも拡大してしまう。拡大された画像のボケは、最終的に見られる画像において可視となる鮮鋭度欠陥をもたらす。
【００２４】
特許文献６に記載されるようなデジタル画像における鮮鋭度を高める最新の進歩は、画像領域をデジタル分割し、信号成分と雑音成分とを分けるためにコンテンツを分析し、画像の特定領域毎に鮮鋭度を高める方法を教示する。このデジタル特定領域鮮鋭化技術は有効ではあるが、計算集約的であるので、捕捉画像の複写を光学的にレンダリングし再現するのに必要な時間が増加する。これらの動作を行うのに必要となる時間は、一部の場合では、自動化された高速プリント動作において速度を制限する処置となってしまう場合がある。デジタル鮮鋭化技術が顧客のオーダにある各画像に対し、これらの画像のうちのほんの一部しかこの欠陥を実際に含まないにも関らず、行われる場合、生産性及び利益も減少してしまう。更に、鮮鋭度欠陥を探し出すために計算時間が各画像に対し費やされると、例えば、赤目欠陥の位置決め及び補正、色調スケール再マッピング、及び、雑音減少といった他の有益な画像処理動作が、各画像に対し割当てられる時間間隔内で可能でなくなる。従って、鮮鋭度欠陥が出現するときを予測し、必要であるときにのみデジタル鮮鋭化処理を行うことが望ましい。
【００２５】
オリジナルのシーンが撮影されたときに収集されるデータから、最終画像に出現する鮮鋭度欠陥の可能性及び重大性を予測することが可能であるか否かを決定する広範に亘る研究から、鮮鋭度欠陥の度合いは、主に以下の要素に依存することが分かった。即ち、再現倍率、最終画像の視距離、カメラレンズの焦点距離、ＤＳＣ分解能又はカメラフィルム感度、シャッタ時間、被写体の動作、撮影者の手の震え、及び、焦点範囲外にあるときには被写体の距離である。本発明では、これらの要素を使用して、画像毎に、鮮鋭度欠陥の重大性を予測し、この情報はカメラから現像システムに転送され自動プリンタ制御システムに命令するか、又は、人間に支援されるプリンタの場合には、鮮鋭度欠陥の位置決め及び補正技術を行うことが妥当である場合にのみそれを行うよう操作者に伝え、それにより、画質を改善し且つ現像の生産性を高める。
【００２６】
複数の画像処理動作を最適化する１つの提案は、特許文献７に記載される。上述の文献は、操作者によって選択される一連の画像処理動作を受ける画像の知覚品質を最適化することを提案する画像処理システムを開示する。システムは、１組の選択される画像処理動作と、アーキテクチャと、制御システムから構成される。これらの構成要素は、画像が生成される供給源特徴のプロファイルと、出力デバイス特徴のプロファイルと、画像処理動作が（個々に又は同時に）知覚される画質に与える影響とを考慮に入れる。個々の画像処理動作の制御パラメータは、客観的な測定基準（例えば、鮮鋭度、利得、色調、及び、色）を知覚される画質に関連付ける数式に基づいて画質測定基準（単一の数値で表す品質）を最適化することにより変更される。上述の文献に説明される方法では、個々の制御パラメータの値は、画質測定基準が最適値を達成するまで有用なレンジに亘って変わる。この方法は、多数のパラメータ変更を評価するためのかなりの計算リソースが関連することに加えて、各ケースにおいて適用される画像処理動作の組みを選択する操作者の介入を必要とする。
【００２７】
特許文献８では、特許文献７に記載される方法が、画像処理動作の各可能なシーケンスを試みるアルゴリズムセレクタと、顧客満足指数（ＣＳＩ）とを追加することにより改善され、知覚画質と、画像処理シーケンスにより異なる画像処理時間とのバランスをとることを提案する。特許文献７と同様に、画質推定は、各画像ソースと下流側にあるデバイスに対する一定値入力であり、一般的に、工場又は研究所の環境において個々のデバイスの較正時に生成されるデバイスプロファイルに基づいている（特許文献８の第３段落６０乃至６５行目参照）。特許文献７と同様に、多数のパラメータ変更を評価するためにかなりの計算リソースが関連することに加えて、この改善策は、方法に、最適なＣＳＩが得られるまで各新しいシーケンスを繰り替えさせることにより計算量を増加する。
【００２８】
特許文献７及び特許文献８に記載される精巧な方法論にも関らず、このようなシステムは、特定捕捉時データ、即ち、画像捕捉時に収集される可変データを使用して、画像毎に、適用する画像欠陥補正アルゴリズムの最も良好な選択を予測することの重要性を認識していない。特に、特定のシーン及び特定の露出データを有利に使用して、適用する画像欠陥補正アルゴリズムの最も良好な選択を予測することが好適である。
【００２９】
【特許文献１】
米国特許第５，７４８，７６４号（１９９８年５月５日発行）
【特許文献２】
米国特許第５，８９２，８３７号（１９９９年４月６日発行）
【特許文献３】
米国特許第６，２９２，５７４号（２００１年９月１８日発行）
【特許文献４】
米国特許第６，１５１，４０３号（２０００年１１月２１日発行）
【特許文献５】
米国特許第５，３２３，２０４号（第４３及び第４４段落）
【特許文献６】
米国特許第５，３９８，０７７号
【特許文献７】
米国特許第５，６９４，４８４号（Cottrell外、１９９７年１２月２日発行）
【特許文献８】
米国特許第５，８３５，６２７号（Higgins、Hultgren、及び、Cottrell、１９９８年１１月１０日発行）
【特許文献９】
米国特許第５，１１０，８３３号（Mosbach、１９９２年５月５日）
【特許文献１０】
米国特許第５，９８１，７３４号（Mirzabekov外、１９９９年１１月９日）
【特許文献１１】
国際公開第００／０４３８２号（２０００年１月２７日）
【特許文献１２】
国際公開第００／０４３８９号（２０００年１月２７日）
【特許文献１３】
国際公開第０１／０４３１２号（２００１年６月７日）
【特許文献１４】
国際公開第０１／４０８０３号（２００１年６月７日）
【特許文献１５】
国際公開第９８／２９７３６号（１９９８年７月９日）
【特許文献１６】
国際公開第９５／０４５９４号（１９９５年２月１６日）
【非特許文献１】
ジョン・セン・リー（Jong Seng Lee）著，「デジタルイメージ・スムージング・アンド・ザ・シグマフィルタ（Digital Image Smoothing and the Sigma Filter）」、コンピュータ・ビジョン，グラフィックス・アンド・イメージ・プロセッシング（Computer Vision, Graphics and Image Processing），１９８３年，第２４巻，ｐ．２５５−２６９
【非特許文献２】
インターネット
＜http://www.kodak.com/global/en/consumer/APS/redBook/specsIndex.shtml＞
【非特許文献３】
「Anal. Biochem」，２０００年，２７８，ｐ．１２３−１３１
【非特許文献４】
エド・ハーロウ（Ed Harlow）及びデイビッド・レーン（David Lane）著，「ユージング・アンタイボディ；ア・ラボラトリ・マニュアル（Using Antibodies; A Laboratory Manual）」，コールド・スプリング・ハーバ，ニューヨーク，コールド・スプリング・ハーバ・ラボラトリ・プレス，１９９９年，ｐ．３−９９
【非特許文献５】
「サイエンス（Science）」，１９９０年，第２４９巻，ｐ．５０５−５１０
【非特許文献６】
「ネイチャー（Nature）」，１９９０年，第３４６巻，ｐ．８１８−８２２
【非特許文献７】
「Chem. Rev.」，２０００年，第１００巻，ｐ．２４９５−２５０４
【非特許文献８】
Ｐ．Ｉ．ローズ（P. I. Rose）著，「ザ・セオリー・オブ・ザ・フォトグラフィック・プロセス（The theory of the photographic process）」，第４版，Ｔ．Ｈ．ジェームス（T. H. James）編，ｐ．５１−６７
【非特許文献９】
エドガー・Ｂ・ガトフ（Edger B. Gutoff）著，「モダン・コーティング・アンド・ドライング・テクノロジ（Modern Coating And Drying Technology）」の第１章，（インターフェイシャル・エンジニアリング・シリーズ（Interfacial Engineering Series），第１巻），ニューヨーク，ＮＹ，ＶＣＨ出版社，１９９２年
【発明が解決しようとする課題】
本発明は、画像欠陥の位置決め及び補正処理を、現在の画像に、処理されなければ最終的に見られる画像の知覚品質を低下し得るレベルの画像欠陥があると予測される場合にのみ適用することによってデジタルプリンティングの品質及び効率を改善することを目的とする。
【００３０】
本発明は更に、画像捕捉時に収集されるカメラ、シーン、及び、人口統計データを使用して、画像毎に、適用する画像欠陥補正アルゴリズムの最も良好な選択を予測することを目的とする。
【００３１】
【課題を解決するための手段】
本発明は上述した１つ以上の課題を解決するべく提供される。簡単に要約するに、本発明の１つの面では、本発明は、それぞれ特定の種類の画像欠陥の補正に関連付けられる複数の補正処理から選択される１つ以上の補正処理によって捕捉画像を処理して、捕捉画像から生成される見るための画像の外観を改善するシステム及び方法に関連する。本発明の方法は、（ａ）捕捉される各画像に対し一意である画像捕捉に関連し、捕捉画像から生成される見るための画像に特定の種類の画像欠陥が存在する可能性があるか否かを示唆可能であるメタデータを収集する段階と、（ｂ）メタデータの少なくとも一部に基づいて画像欠陥の存在を予測し、それにより、処理されないままにされると見るための画像の知覚品質を低下させ得る画像欠陥のレベルを示唆する処理適用基準を生成する段階と、（ｃ）処理適用基準に基づいて捕捉画像に使用されるべき１つ以上の補正処理を選択する段階と、（ｄ）見るための画像を生成するために画像に１つ以上の選択された補正処理を適用する段階とを含む。
【００３２】
画像捕捉時、又は、可能な限りの度合いの時間に、例えば、現像キオスクにおいて収集可能であるメタデータには、画像捕捉に対し画像毎に特別に関連付けられるシーン、カメラ、又は、人口統計データが含まれる。更に、画像欠陥の存在を予測する段階は欠陥の重大性も予測し、対応する補正処理の強度は、重大性の度合いに応じて変更することができる。更に、メタデータの収集には更に、捕捉された各画像から生成される見るための画像のディスプレイパラメータの収集を含む。このようなディスプレイパラメータのメタデータは、見るための画像中に異なる種類の画像欠陥が存在する可能性があるか否かを示唆することができる。
【００３３】
【発明の実施の形態】
欠陥認識及び補正を使用する画像処理システムは周知であるので、本願の説明は特に、本発明のシステム及び方法の一部を形成する属性、又は、本発明のシステム及び方法により直接的に協働する属性に関連する。本願に具体的に示されない又は説明されないシステム及び方法の属性は、従来技術において周知である属性から選択され得る。以下の説明では、本発明の好適な実施例は通常はソフトウェアプログラムとして実施されるが、当業者は、そのようなソフトウェアの等価物がハードウェア内にも構築され得ることを容易に認識するであろう。以下の資料において本発明に従って説明されるシステムが与えられるに、本発明を実施するのに有用である本願において具体的には示さない、提案されない、又は、説明されないソフトウェアは従来のものであり、この技術における通常の技術の範囲内である。本発明がコンピュータプログラムとして実施される場合、プログラムは従来のコンピュータ読出し可能な記憶媒体に格納され得る。記憶媒体には、例えば、磁気ディスク（例えば、フロッピー（登録商標）ディスク又はハードドライブ）又は磁気テープといった磁気記憶媒体や、光ディスク、光テープ、又は、機械読出し可能なバーコードといった光記憶媒体や、ランダムアクセスメモリ（ＲＡＭ）又は、読出し専用メモリ（ＲＯＭ）といった半導体電子記憶装置や、又は、コンピュータプログラムを格納するために使用される他の物理的装置又は媒体が含まれ得る。
【００３４】
本発明の各実施例を詳細に説明する前に、画像欠陥の位置決め及び補正処理を作動させる画質切替え点を設定するために使用される方法について述べる。本発明は、画像捕捉時に収集されるデータから画像欠陥の存在及び重大性を予測して、使用する補正処理を決定することを目的とするので、各欠陥は、同一の画質標準に対し評価されなければならない。この目的を達成するために、The Society for Imaging Science and Technology (IS & T), Image Processing Image Quality Image Capture Systems (PICS 2000) Conferenceの会報（ISBN:0-89298-227-5）内において本願の発明者により開示される知覚に関連する画質評価及びモデリング技術が使用される。特に、B. W. Keelanによる「Characterization and Prediction of Image Quality」なる名称の研究論文、及び、R. B. Wheelerによる「Use of System Image Quality Models to Improve Product Design」なる名称の研究論文を、これらは共に本願に参考文献として組み込まれるが、更なる背景情報のために参照されたい。画質尺度は、品質の最小可知差異（ＪＮＤ）の単位に基づいている。実験では、ＪＮＤは、対にされる画像比較の強制選択（即ち、同等は不可）において、５０％の観察者により検出可能な最小画質差異として定義した。言い換えると、２つの画像がぴったりと１つのＪＮＤにより分けられると、５０％の人間の観察者は、良好な画像の品質利点を知覚し、それを最高であると評価する。もう一方の５０％の人間の観察者は、差異を知覚しないが、半分の場合において正しく推測する。従って、ぴったりと１つのＪＮＤにより異なる２つの画像間での強制選択比較では、高品質の画像は、７５％の場合において良好と評価される。画像対間の品質差異が大きくなるにつれて、ほぼ全員一致してどちらの画像が良好であるか同意が得られ、その結果、広い品質レンジをカバーする尺度は、多くのＪＮＤから構成される。例えば、最高、非常に良好、良好、普通、劣悪等といった主観的な品質用語を投入した場合、約６つのＪＮＤの差異が完全な品質カテゴリを構成することが分かった。
【００３５】
画像欠陥位置決め及び補正処理を作動させる画質切替え点を、本発明の精神から逸脱することなく異なる絶対品質レベルにおいて設定することが可能ではあるが、好適な実施例では、３つのＪＮＤ（半分の品質カテゴリ）基準を使用する。これは、画質エンハンスメントと現像スループット（単位時間あたりに処理される画像）間の妥当なバランスを与える。画質切替え点が低いＪＮＤ値（例えば、１ＪＮＤのデグラデーション）に設定されると、画像欠陥の位置決め及び補正処理はより頻繁に行われ、これは、平均画質が高くなり得るが、画像処理時間が延長されることによりスループットが低くなる。画質切替え点が高いＪＮＤ値（例えば、６ＪＮＤのデグラデーション）に設定されると、画像欠陥の位置決め及び補正処理はあまり頻繁に行われず、これは、平均画質は低くなり得るが、画像処理時間は短くされるのでスループットは高くなる。
【００３６】
好適な実施例の詳細な説明では、画像欠陥補正切替え点は、画像欠陥の位置決め及び補正処理を作動させるか又は停止させる点として定義する。尚、ここでの説明は、画像欠陥による品質の減損が切替え点（例えば、３ＪＮＤ）以上となる度に同一の方法で適用される補正処理に関連するが、画像欠陥補正処理の強度は、現在のシーンに対し予測される画質減損の度合いに応じて変更することができることを理解するものとする。
【００３７】
例えば、鮮鋭度補正の場合、画像欠陥の予測レベルが悪くなるにつれて、鮮鋭化動作に適用される空間フィルタの利得を増加することができる。同様に、雑音欠陥補正の場合、画像欠陥の予測される重要性に応じてカスタマイズされた雑音補正テーブルを適用することができる。更に、本発明の好適な実施例を使用して作動されるべき画像欠陥補正処理を決定することができ、作動される処理において使用される補正の強度は、欠陥によりもたらされるデグラデーションの度合いに関連付けられる一連の画素データ予測子を使用して画像画素データを分析することにより決定することができる。例えば、エッジの諧調度を使用して、鮮鋭度欠陥を補正するのに必要な空間フィルタリングの強度を推定することができる。
【００３８】
上述したように、本発明の処理は、メタデータと称する画像捕捉時に収集される情報を使用して、写真における画像欠陥の存在を予測し、次に、デジタル現像の際に、画像欠陥補正処理を適用するときを決定する。現在の画像を捕捉するために使用されるシーン及びカメラ条件を記述する様々なメタデータは、カメラにより記録され、現像機器に転送されることが可能である。このことは、本願に参考文献として組み込む共通に譲受された米国特許第５，２２９，８１０号に説明される。一般的にアドバンスド・フォト・システム（ＡＰＳ）フィルムと称される一体磁気層を含むハロゲン化銀ベースのフィルムを使用するカメラの場合、情報記録装置は、フィルムの表面上にデータを磁気的に符号化する磁気記録ヘッドを含むことが好適である。或いは、磁気書込み機能を有さないフィルムカメラの場合、潜像バーコードデータが主画像フレームの領域の外側に露光され、後に現像機器内において復号化されうる。ＤＳＣの場合、例えば、ディスク又は集積回路カードといった別個の媒体上に光又は磁気記録する他の周知のデータ記録技術を使用しうる。以下に示す実施例の詳細な説明では、情報を画像捕捉装置と現像機器間で交換する方法は、各ケースにおいて具体的に特定しないが、上述の周知の方法のいずれかで達成することが可能であることを理解するものとする。
【００３９】
図１では、本発明の実施に有用である一般的なデジタル画像処理システム１０を示し、入力ピクトリアル画像データ及び関連付けられる画像分類パラメータは、様々な指示する装置のうちのいずれかによって供給される。図示する入力装置は、フィルムストリップの画像フレームを光学的にスキャンしスキャン信号をデジタル画像信号に変換する写真フィルムスキャナ１２を含む。スキャナがＡＰＳフィルムを読出し可能な場合は、スキャナは一般的にフィルムの磁気層又は光学バーコードから、ＡＰＳメタデータ情報交換（ＩＸ）データ領域及び製造業者データ領域に符号化される情報を読取る。このようなメタデータは、フィルムタイプ、カメラ設定、シーン条件、予定のプリントフォーマット、及び、他のデータフィールドを含む。他の可能な画像入力装置は、デジタルカメラ又はピクチャディスク読出し器を含む様々な供給源からのデータを含み得るデジタルファイル読出し器１４、コダック・ピクチャ・ネットワーク（Kodak Picture Network）の場合におけるような遠隔にある中央供給源からデジタルファイルデータを受信するネットワーク入力（例えば、モデム）１６、又は、顧客のフィルムをスキャンし、デジタルディスクを読出しし、プリントアスペクト比、寸法、ズーム、クロッピング、及び、倍率命令を含む注文命令を受注する小売店に位置する注文エントリ入力ステーション入力装置１８を含む。このデータは、ディスプレイモニタ２２及びキーボード２４といったユーザデータ入力装置も含み得る画像処理コンピュータ４０に入力される。家庭用パーソナルコンピュータの場合、例えば、キーボードを使用して、上述したようなシーン、カメラ、及び、出力寸法に関連付けられるデータの一部を入力する。本発明では、コンピュータ４０の画像処理機能には、カメラ、シーン、及び、人口統計係数を使用して、写真における画像欠陥の存在を予測し、次に、必要である場合にのみ画像欠陥補正手段を適用する処理が含まれる。
【００４０】
画像処理コンピュータ４０の出力は、適切な出力経路に供給されて、ハードコピーの画像が生成される。代表的な出力経路を図示するが、出力経路には、家庭用コンピュータに使用するのに有用であるプリンタの例であるサーマル・ダイプリンタ又はインクジェットプリンタといったプリンタ２６を含む。あるいは、出力経路は、ノーリツ（Noritsu）の２７１１シリーズプリンタといった小売店の現像機器２８を含んでもよい。もう１つの例示的な出力経路は、例えば、ＣＲＴ又は他の写真プリンタを使用する遠隔にある商業現像ラボ３２と通信するデータ通信デバイス３０を含む。或いは、フィルムのスキャン及びスキャンデータのデジタル画像ファイルへの変換、デジタルカメラ画像ファイルの読出し、カメラ、シーン、及び、出力パラメータに関連する情報の読出し、カメラ、シーン、及び、人口統計データを使用して写真における画像欠陥の存在の予測、及び、必要である場合にのみ画像欠陥補正手段の適用といった画像処理システム１０の本質的な機能は、小売店の現像ユニットといった一体式の装置内に組み込まれることが可能である。
【００４１】
図１に示すシステムの重要な特徴は、画像捕捉時におけるメタデータの収集は、最終的に見られる画像に欠陥が存在する可能性があるか否かを示唆する又は示唆することが可能であるという点である。好適な実施例では、このことは、フィルムカメラ又はデジタルカメラのいずれかにより収集されるデータにより達成されるが、このメタデータの一部（例えば、人口統計データ及びディスプレイパラメータ）は注文エントリステーション１８又は他の場所において、捕捉時間の次に（又は前に）収集することができる。図７に示すような一般的なフィルムカメラの実施例では、フィルムカメラ２００は、フィルムカートリッジのリール２０５ａ、２０５ｂとフィルム巻取りスプロケットの間でフィルムストリップ２０１を運ぶ。カメラ２００は、フィルムストリップ２０１の感光性が与えられていない方の面上の磁気層に面する磁気読出し／書込みヘッド２１０を含む。マイクロプロセッサ２１５は、ヘッド電子機器２２０を介してヘッド２１０による磁気データ記録又は再生を制御する。
【００４２】
マイクロプロセッサ２１５は、カメラのユーザから、又は、カメラ制御装置２２５を介してカメラメカニズム自体からフィルムストリップ１００上に磁気記録されるべきメタデータを受け取り得る。このような情報は、例えば、所望のディスプレイパラメータ、レンズパラメータ（例えば、焦点距離、Ｆナンバー、カメラレンズの焦点範囲）、シャッタ速度、被写体及び背景の自動フォーカス距離測定値、バックライト及びフラッシュ状態インジケータ等に関連し、最終的に現像器によって使用される。例えば、キーパッドといった好適な入力装置が供給される場合、このとき、人口統計データを生成することができる。マイクロプロセッサ２１５は更に、最終的に現像器によって使用される、フィルムストリップ１００に磁気記録されるべきシーンに関連する情報をシーンセンサ２３０から受け取り得る。このような情報は、主被写体及び背景等の周辺光レベルが含まれ得る。
【００４３】
長手方向専用のトラックフォーマットの利点は、フィルムストリップ２０１上へのデータの磁気記録は、特定のカメラトラックにおける特定のフレームに記録されるべき全てのデータをバッファリングし、そのデータをフィルムが次のフレームに巻かれると直ぐにヘッドに送信することにより、比較的静止したヘッド（即ち、ヘッド２１０）を使用してカメラにより行われ得る点である。
【００４４】
マイクロプロセッサ２１５は読出し専用メモリ２４０を含み、このメモリには、受信した各種類の情報が、カメラと現像器の両方に共通するユニバーサル・プレアレンジメントに応じて専用カメラトラックの正しいトラックに記録されることを保証するのに十分な命令が含まれる。（上述したＡＰＳ情報交換（ＩＸ）仕様はメタデータ記憶と情報交換用の専用カメラトラックを説明する。第１０節の「Writing and Reading Magnetic Information」及びより具体的には、第１０節第４項の「Data Dictionary」に関連情報が記載される。）このために、マイクロプロセッサは、読出し専用メモリ２４０に格納される命令に従って各情報部をソートし且つバッファリングする。マイクロプロセッサは更に、メインフラッシュ及びプレフラッシュのガイドナンバー、及び、カメラとフラッシュの間隔（フラッシュがカメラと一体式である場合）といった特定カメラデータ、特定レンズデータ（例えば、レンズがカメラと一体式である場合、焦点距離及び焦点範囲）等を有するＲＯＭ２５０と、フィルムカセットのＤＣ符号から読出しされるフィルムＩＳＯ感度といったフィルムカセットから読出しされた特定フィルム情報を格納するＲＡＭ２６０とを含む。ＲＯＭ２５０及びＲＡＭ２６０内のメタデータは、最終的に現像器によって使用されるようフィルムストリップ１００に磁気記録される。
【００４５】
図８に示すような一般的なデジタルカメラ実施例では、デジタルカメラ３００は、被写体（図示せず）からの画像光を絞り／シャッタ制御器３４１とアンチエイリアシングフィルタ３４２を通り画像センサ３４４に案内するレンズ３４０を含む。画像センサは３４４一般的に、ＣＣＤ又はＣＭＯＳセンサである。センサ３４４は画像信号を生成し、この信号は、アナログ／デジタル（Ａ／Ｄ）変換器３４８によりデジタル画像信号に変換される前にアナログビデオプロセッサ３４６によって処理される。デジタル化された画像信号は一時的にフレームメモリ３５０内に格納され、次に、デジタル信号プロセッサ３５２により圧縮される。圧縮された画像信号は、次にデータメモリ３５４内に格納されるか、又は、カメラのメモリカードスロットにメモリカード３５６がある場合には、メモリカードインタフェース３５８を介してメモリカード３５６に転送される。この実施例では、メモリカードは、例えば、Personal Computer Memory Card International Associationにより出版された「PC Card Standard, Release 2.0」（Sunnyvale, California, September, 1991）に説明されるようなＰＣＭＣＩＡカードインタフェース規格といった一部の適切なインタフェース規格に適応される。
【００４６】
メモリカード４５６とカメラ３００との間の電気接続は、メモリカードスロット内に配置されるカードコネクタ３５９により維持される。カードインタフェース３５８及びカードコネクタ３５９は、例えば、上述したようなＰＣＭＣＩＡカードインタフェース規格に準じるインタフェースを供給する。圧縮された画像信号は更に、カメラ３００にホストコンピュータインタフェース３６０を介し接続されるホストコンピュータに送信されてもよい。カメラマイクロプロセッサ３６２は、シャッタリリースからといったユーザ入力３６４を受信し、フラッシュユニット３６６（必要がある場合には）をトリガさせ、タイミング発生器３６８に信号を与えることにより捕捉シーケンスを開始する。タイミング発生器３６８は、図８に示すようにカメラ３００の構成要素全体に接続され、画像信号のデジタル変換、圧縮、及び、格納を制御する。マイクロプロセッサ３６２は更に、シーンセンサ（フォトダイオード）３７０からの信号を処理し、適切な露出を決定し、従って、絞り／シャッタ制御器３４１を介して絞り及びシャッタ速度を設定するよう露出駆動器３７２に信号を与える。ＣＣＤセンサ３４４はセンサ駆動器３７４を介してタイミング発生器３６８により駆動され、画像信号を生成する。
【００４７】
マイクロプロセッサ３６２は、カメラユーザ入力３６４又はカメラメカニズム入力３８０からデジタルレコード上に記録されるべきメタデータを受信し得るが、このような情報は、例えば、所望のディスプレイパラメータ、レンズパラメータ（例えば、焦点距離、Ｆナンバー、カメラレンズの焦点範囲）、シャッタ速度、被写体と背景の自動フォーカス距離測定値、バックライト及びフラッシュ状態インジケータ等に関連し、最終的に現像器によって使用される。ユーザ入力３６４は更に、カメラの分解能設定及び利得係数（設定可能である場合には、捕捉画像中の画素数及びセンサベースのＩＳＯ感度）を含むことができる。キーパッド又は音声作動入力といった好適な入力装置が供給される場合、人口統計データは、操作者が情報を入力することによりこのときに生成され得るが、他の技術も制限されることなく使用してもよい。マイクロプロセッサ３６２は、シーンセンサ３７０から、現像器により最終的に使用されるデジタルレコード上に記録されるべきシーンに関連する情報を受信し得る。このような情報は、主被写体及び背景の周辺光レベル等を含む。マイクロプロセッサ３６２は更に、カメラ揺れデータ（カメラを手に持った状態での安定度の尺度）を揺れセンサ３８２から受信し得る。
【００４８】
特定のカメラメタデータは、デジタル信号プロセッサ３５２に接続されるカメラＰＲＯＭ３２８に含まれてもよい。カメラＰＲＯＭ３２８は、メインフラッシュ及びプレフラッシュのガイドナンバー、カメラとフラッシュの間隔、センサＩＳＯ感度、分解能設定、カメラ揺れ係数等といった特定カメラデータを含む。このような特定カメラデータは、変数（例えば、フラッシュユニットが着脱可能、可動式、そうでなければ、調節可能である場合）であっても、不変数（例えば、フラッシュが不可動式でカメラと一体にされる場合）であってもよい。同様に、これらのデータが不変数である場合、センサＩＳＯ感度は基礎のＩＳＯ感度であり、分解能設定もネイティブの設定であってよい。異なるデータ構造を使用して、メタデータ及び画像データをカメラから転送し得る。例えば、デジタル信号プロセッサ３５２はメタデータをカメラヘッダに書込み、その後に、個々の画像トレーラ・レコードが続けられる。もう１つのデータ構造では、メタデータは、個々の画像トレーラ・レコードと共に個々のカメラヘッダに書込みされる。或いは、例えばＰＲＯＭ３２８に格納される特定カメラデータといった特定のメタデータは、カメラ３００と組み合わせられるフロッピー（登録商標）ディスク等として供給されるコンピュータファイル３３０（ＰＲＯＭ３２８の中に存在する代わりに、又は、ＰＲＯＭ３２８の中に存在することに追加して）に含まれ得る。このメタデータは次に、ユーザがディスクを従来のディスクドライブインタフェース（図示せず）にロードすると、そのインタフェースを介してホストコンピュータによってアクセスされる。メタデータは更に、例えば、本願に参考文献として組み込まれる「Method for Generating an Improved Carrier for Use in an Image Data Embedding Application」なる名称の米国特許第６，０４４，１５６号に教示されるように電子透かしの形で画像データ内に埋め込まれてもよい。
【００４９】
フィルムカメラ及びデジタルカメラに関連してのメタデータ作成の上述の説明から、当業者には、カメラ、シーン、人口統計、及び、ディスプレイ係数に関連するメタデータの他の形が既知であり、これらは、本発明の範囲に包含されることを理解するものとする。同様に、このようなメタデータを、例えば、デジタル現像器といった次の活用装置に転送する他の構造及びメカニズムも当業者には明らかであり、これらは、本発明の範囲に包含されることを理解するものとする。更に、捕捉装置はフィルムカメラ及びデジタルカメラとして説明されるが、線形スキャナ及び面スキャナといった他の捕捉装置も本発明から利益を享受することが可能であり、その意味でこれらの装置も本発明の概念内に包含されるものとする。
【００５０】
フィルム又はデジタルカメラの場合、カメラ、シーン、人口統計係数は、出力媒体に直接記録することができるか、又は、マイクロプロセッサ２１５（フィルムの場合）又はマイクロプロセッサ３６２（デジタルの場合）を使用してこれらの係数の画像処理を行い、例えば、現在の画像が、処理されずに残されると最終的に見られる画像における知覚品質を低下し得る欠陥レベルを有するか否かが決められる。従って、後者の場合、マイクロプロセッサ２１５及び３６２は、図１に示すデジタル画像プロセッサ４０により行われる画像処理の一部又は全てを行い、写真における画像欠陥の存在を予測し、続いて、必要である場合にのみ画像欠陥補正手段を可能にし得る。
【００５１】
本発明は、コンピュータハードウェアにおいて実施することができる。例えば、図２は、デジタル現像システムの機能ブロック図を示すが、画像獲得ブロック５０は、シーンをカラーネガ又は反転フィルムに記録する図７に示す従来の写真フィルムカメラ２００といった捕捉装置５２からの画像データ及びメタデータ（例えば、ＡＰＳＩＸ）と、現像されたフィルム上の画像をスキャンし、ソースデジタル画像５６を生成し、画像メタデータを抽出するフィルムスキャナ装置を含む。画像捕捉装置５２のもう１つの例として、ソースデジタル画像５６を直接生成する機能を有する図８に示すデジタルカメラが挙げられる。形成されたデジタル画像ファイルと関連付けられるメタデータは画像分析ブロック６０に転送される。このブロックでは、メタデータデコーダ６６が、画像欠陥予測処理ブロック６８に使用されるべき情報を抽出する。画像欠陥補正処理ブロック６８の第１の目的は、カメラ、シーン、人口統計、及び、画像ディスプレイ係数に関連する利用可能なメタデータを分析して、最終的な画像ディスプレイにおける画像欠陥の存在を予測し、画像処理ブロック７０にある、現在の画像の品質を改善し得る補正処理のみを作動させることである。
【００５２】
画像欠陥予測処理ブロック６８の詳細な説明をする前に、画像分析ブロック６０、画像処理ブロック７０、及び、画像出力ブロック９０の他の機能を説明する。
【００５３】
画像分析ブロックでは、赤、緑、及び、青の画素データを含む完全な分解能のデジタル画像がブロック６２内においてサブサンプリングされ、シーン・バランスアルゴリズム６４によって分析されるより小さい、例えば、２４×３６画素の画像が作成される。シーン・バランスアルゴリズムはアナログ又はデジタル処理を使用して、各画像に対し正しいカラーバランスと全体的な明度を得る。このアルゴリズムは一般的に、「白バランス」、「色彩恒常」、又は、「シーン・バランス」アルゴリズムとして知られる。これらのアルゴリズムは、単一の画像、複数の画像、又は、画像一式全体に作用することができる。好適なシーン・バランスアルゴリズムの例は、E. Goll外によって「Modern Exposure Determination for Customizing Photofinishing Printer Response」（Journal of Applied Photographic Engineering, 2, 93 (1979)）に説明され、これは、本願に参考文献として組み込まれる。シーン・バランスアルゴリズムの更なる改善には、本願に参考文献として組み込まれる米国特許第６，１３３，９８３号に開示されるように、推論イルミナント検出を使用して、イルミナントのクロマティック補正の度合いの設定が含まれる。フィルムの追加情報により、フィルムを現像するのに使用された化学処理の可変性の特性を示すことができる。例えば、本願に参考文献として組み込まれる米国特許第５，６４９，２６０号に教示されるように、既知の露出量を有する少なくとも１つ以上のグレイ基準パッチが製造時にフィルムに焼き付けられ、次に、フルオーダのフィルムカラー・バランス較正情報を、シーン・バランスアルゴリズムに供給するために使用される。
【００５４】
本発明は、本願に参照文献として組み込まれる米国特許第４，９４５，４０６号においてCok外により説明されるような任意のシーン・バランスモジュールと共に実施されてもよい。シーン・バランスモジュールは、シーンデジタル画像の露出に対応する理論的な２０％グレイカードの画素値を計算する。ルックアップテーブルが計算されて、シーン状態デジタル画像に適用され、結果としてバランスのとれたデジタル画像がもたらされる。どのシーン・バランスモジュールも、露出及び照明カラー効果における変動に対しデジタル画像を補正するタスクを完全には行わないが、シーン・バランスモジュールは、デジタル画像のカラー表示の精度を改善する。シーン・バランスアルゴリズムは、画像捕捉露出及び／又はイルミナントカラー・バランスにおける不完全性により略全ての画像に対し必要であり、小さくサブサンプリングされた画像を使用することによりシーン・バランスアルゴリズムは計算の効率がよいので、本発明の好適な実施例において全ての画像に適用される。
【００５５】
しかし、本発明では、上述したように、画像処理ブロック７０内で行われる残りの画像処理段階は、画像欠陥予測処理６８の出力に基づいて選択的に適用される。このために、ブロック５６で生成されたデジタル画像は、後続の画像処理段階のために必要に応じて別個のクロミナンスチャネルとルミナンスチャネルに供給される。
【００５６】
雑音補正処理７２は、画像欠陥予測処理６８によって作動されると、捕捉のバランスのとれていないカラーチャネルの特定の露出情報を使用するようシーン・バランスシフト７６の前に適用される。本願に参考文献として組み込まれる上述した非特許文献１に記載されるシグマ・フィルタは、処理されたデジタル画像の外観を高める雑音減少アルゴリズムである。ｎ×ｎ画素（ただし、ｎは行方向及び列方向のいずれかの方向における画素の長さを表す）のサンプリングされた局所領域に含まれる画素の値は、中心画素、又は、関心の画素の値と比較される。サンプリングされた局所領域おける各画素には、関心画素の値と局所領域の画素の値の間の絶対差に基づいて１か０の重み係数が与えられる。画素値の差の絶対値が閾値以下である場合、重み係数は１に設定される。絶対値が閾値より大きい場合は、重み係数は０に設定される。定数εは、期待される雑音標準偏差の２倍に設定される。雑音減少された画素値の式は以下のように与えられる。
【００５７】
ｑ_ｍｎ＝Σ_ｉｊａ_ｉｊｐ_ｉｊ／Σ_ｉｊａ_ｉｊ（式１）
および、
ａ_ｉｊ＝１（｜ｐ_ｉｊ−ｐ_ｍｎ｜＜＝εの場合）
ａ_ｉｊ＝０（｜ｐ_ｉｊ−ｐ_ｍｎ｜＞＝εの場合）
ただし、ｐ_ｉｊは、サンプリングされた局所領域に含まれるｉｊ番目の画素を表し、ｐ_ｍｎは、ｍ行目及びｎ列目に位置する関心の画素の値を表し、ａ_ｉｊは重み係数を表し、ｑ_ｍｎは雑音減少された画素値を表す。一般的に、中心画素を中心にした矩形のサンプリング領域が使用され、添数ｉ及びｊは局所的な画層値をサンプリングするために変えられる。
【００５８】
信号に依存する雑音特徴はεの式に組み入れられ、以下のように与えられる。
【００５９】
ε＝Ｓｆａｃσ_ｎ（ｐ_ｍｎ）（式２）
ただし、σ_ｎは、中心画素値ｐ_ｍｎにおいて評価されたソース画像の雑音標準偏差を表す。変数Ｓｆａｃは、雑音減少の度合いを変えるために使用できる目盛係数として与える。２つの和の割り算としての雑音減少された画素値ｑ_ｍｎの計算が計算される。処理は、デジタル画像チャネルに含まれる画素の一部又は全て、及び、デジタル画像に含まれるデジタル画像チャネルの一部又は全てに対し行われる。雑音減少された画素値は、雑音減少されたデジタル画像を構成する。
【００６０】
メディアンフィルタも、デジタル画像内の雑音を減少するための雑音減少アルゴリズムとして使用してもよい。メディアンフィルタによって生成される雑音減少された画素値は一般的に、関心画素を中心としたサンプリング領域から取られた値の統計的平均値を計算することにより得られる。一般的に、ｎ×ｎの矩形窓寸法が選択される（ただし、ｎは行方向又は列方向のいずれかの方向における画素の長さを表す）。雑音減少の度合いは窓の寸法により制御される。大きい窓であるほどデジタル画像から雑音が除去される。
【００６１】
赤目補正処理８０は、画像欠陥予測処理６８によって作動されると、目の色の欠陥を探し出しそれを除去する。本発明は、赤目欠陥を探し出し且つ補正する様々な方法で実施され得る。１つの好適な方法は、本願に参考文献として組み込まれる１９９８年５月５日に発行された米国特許第５，７４８，７６４号においてBenati外により開示される。この方法は、画像における赤目欠陥を探し出し、影響を受けている目の瞳孔の本体、境界線、及び、光っている部分の画素を別々に補正する。赤目欠陥検出処理には、１つ以上の目の色の欠陥が存在し得るデジタル画像内の空間領域を画成することが関連し、このデジタル画像の空間領域は少なくとも被写体の頭部領域を含む。この処理には更に、その空間領域内における画素のカラーコンテンツをサンプリングすることとサンプリングした画素と赤目欠陥画素を示唆する閾値とを比較すること、潜在的に欠陥のある画素を連続グループに分割すること、グループ寸法、グループ形状、彩色、及び、輝度を含む複数の特徴に基づいて各グループの各画素に対する第１のスコアを計算して赤目欠陥候補を識別すること、各識別された色の目欠陥グループ候補からそのスコアに基づいてシード画素を選択することと、隣接する画素の所定のスコア範囲内にある隣接画素と赤目欠陥の境界を示唆する顕著な画素スコア推移を示す隣接画素の全てを決定することが含まれる。３つの赤目欠陥画素タイプ（本体、境界、光っている部分）のそれぞれは、欠陥を除去するよう別々にレンダリングされ、自然に見える補正を作成する。
【００６２】
本発明の代替の実施例は、「A Computer Program Product for Redeye Detection」なる名称で２００１年９月８日に発行され、共通に譲受された米国特許第６，２９２，５７４号においてSchildkraut外により開示される赤目欠陥位置決め及び補正処理を適用する方法を使用する。この処理は、Jiebo Luoによる「Method for Automatic Detection of Human Eyes in Digital Images」なる名称で２０００年１１月２１日に発行され、共通に譲受された米国特許第６，１５１，４０３号に開示される方法と共に有利に使用される。これらの特許は共に、本願に参考文献として組み込まれる。
【００６３】
周辺照明条件下で撮影された多くの自然シーンは、従来のディスプレイシステムのダイナミックレンジをかなり超えるルミナンスダイナミックレンジを有する画像となる。例えば、日当たりの良い屋外の条件で撮られた画像は、記録情報の１０以上の写真絞り（photographic stop）を有することができるが、印画紙は情報の約７の写真絞りを再現することが可能である。更に、上述したように、電子フラッシュ照明は、主被写体と背景間の距離によってもたらされる露出差があるので、選択されたディスプレイの能力を超えるダイナミックレンジを生成することができる。デジタル画像化システムでは、シーンに依存する色調スケール関数アルゴリズムを使用してソースデジタル画像のダイナミックレンジを減少し、それにより、処理されたデジタル画像の出力媒体のダイナミックレンジ能力に対するよりよいマッチが与えられる。
【００６４】
高いダイナミックレンジを有するシーンが、画像欠陥予測処理６８において予期される場合、シーンに依存する色調スケール補正処理８４が使用される。色調スケール補正処理８４は、バランスのとれたデジタル画像における画素を使用して色調スケール関数、即ち、各入力値に対応する単一の出力値を有する一価式又は変換を計算する。本発明は、計算の効率をよくするためにルックアップテーブルとしての色調スケール関数を実施する。色調スケール処理を適用する結果、色調スケールが調節されたデジタル画像が生成され、デジタル画像の色調スケール、即ち、輝度及びコントラストがカラーコンテンツを変更することなく高められる。
【００６５】
本発明は、色調スケール関数を生成する様々な方法で実施され得る。本発明の好適な実施例は、米国特許第４，７３１，６７１号及び第５，８２２，４５３号に開示される方法を使用する。これらの特許は共に本願に参考文献として組み込まれる。これらの方法を本発明に使用して、２つの個別の色調スケール関数を生成する。これらの２つの色調スケール関数は次に単一の色調スケール関数にカスケードされ、これは、バランスのとれたデジタル画像の輝度及びコントラストを調節するのに使用される。
【００６６】
米国特許第５，８２２，４５３号において、Lee及びKwonはデジタル画像の画素値を使用して色調スケール関数を計算する方法を開示し、この方法には、デジタル画像からのシーンコントラストの推定が関連する。Lee及びKwonにより教示される方法は、デジタル画像のラプラシアンフィルタが施されたバージョンの計算、ラプラシアン信号のヒストグラムの作成、ラプラシアン信号に適用されると実質的に均一な領域を排除する２つの閾値のラプラシアンヒストグラムからの決定、閾値に基づくデジタル画像からの画素のサンプリング、サンプリングした画素からのヒストグラムの作成、サンプリングしたヒストグラムの標準偏差の計算、及び、計算された標準偏差を所定のコントラストと比較し所定のコントラストに関連して入力画像のコントラストを決定することによるデジタル画像のコントラストの推定が関連する。Lee及びKwonにより説明される方法は、第１の色調スケール関数を計算するために使用される。
【００６７】
米国特許第４，７３１，６７１号において、Alkoferはデジタル画像のヒストグラムの正規化に基づくデジタル画像の画素値を使用して色調スケール関数を計算する方法を開示する。この方法は、画素値のサンプルの標準偏差を計算することによりデジタル画像のコントラストを決定することが関連する。第２の色調スケール関数は、画素値のサンプルのヒストグラムを正規化することにより計算される。画素値のサンプルは、複数の画素値のサンプルの１つから選択され、複数の画素値のサンプルは、画素値の選択されたサンプルのヒストグラムの形状に基づいた複数のコントラストの間隔に対応する。コントラストの調節を容易にするために、色調スケール関数は、標準正規変量Ｚの単位で値を生成するよう構成される。これらのＺ値は、画素値のサンプルの標準偏差の関数である定数によって乗算され、それにより、処理されたデジタル画像のコントラストを決定する。
【００６８】
第１の色調スケール関数及び第２の色調スケール関数は、以下の式を使用して最終的な色調スケール関数に組み合わされる。
【００６９】
ＬＵＴ_ｆ＝ＬＵＴ_１［ＬＵＴ_２［ｊ］］（式３）
ただし、ＬＵＴ_２は第２の色調スケール関数を表し、ＬＵＴ_１は第１の色調スケール関数を表し、ＬＵＴ_ｆは最終的な色調スケール関数を表す。変数ｊは、処理されるべきデジタル画像の画素値の添数を表す。最終的な色調スケール関数ＬＵＴ_ｆは、可能な画素値の範囲に亘って式３を評価することにより計算される。
【００７０】
最終的な色調スケール関数ＬＵＴ_ｆとバランスのとれたデジタル画像は、色調スケール補正ブロック８４により受信される。本発明は、最終的な色調スケール関数をバランスのとれたデジタル画像のルミナンスデジタル画像チャネルに適用して、デジタル画像の輝度及びコントラスト属性を調節する。本発明の好適な実施例は、ルックアップテーブルの形である最終的な色調スケール関数を、バランスのとれたデジタル画像のルミナンスデジタル画像チャネルの画素に直接適用する。この方法は、主にその計算効率のよい特性により好適である。
【００７１】
本発明の代替の実施例は、本願に参考文献として組み込まれる米国特許第５，０１２，３３３号においてLee外により開示される色調スケール関数を適用する方法を使用し、結果として画質が改善される。Lee外は画像属性をインタラクティブに変更する方法を説明するが、本発明は、空間フィルタリング技術に基づいてデジタル画像に色調スケール関数を適用する方法を使用する。この方法は、２つの空間周波数成分（高周波成分及び低周波成分）をもたらすルミナンスデジタル画像チャネルの空間フィルタリング、色調スケール関数の低空間周波成分への適用、及び、色調スケールが変更された低空間周波成分の高空間周波成分への組合せが関連する。周波数を分離可能な色調スケールマニピュレーション及び鮮鋭化を使用するこのアプローチは、米国特許第５，７３９，９２４号に開示され、被写体の輝度及び被写体の距離に基づいて被写体の輪郭及びコントラストを強調するアプローチよりも優れている。
【００７２】
本発明の好適な実施例では、鮮鋭度問題を有するシーンが画像欠陥予測処理６８により予期される場合は、鮮鋭度補正処理８８が使用される。鮮鋭度補正ブロック８８は、色調スケールが調節されたデジタル画像を色調スケールモジュール８４から受信し、空間フィルタを色調スケールが調節されたデジタル画像に適用して空間変調コンテンツを調節する。本発明は、様々な異なる空間フィルタで実施され得るが、本発明の主要な面は、デジタル画像の色、色調、及び、空間細部の属性のマニピュレーション方法の組合せに依存する。使用されうる空間フィルタの例は、本願に参考文献として組み込まれる米国特許第５，３９８，０７７号においてKwon外により説明される。Kwon外は、赤−緑−青画像をルミナンス・クロミナンス領域に変換し、適応フィルタをルミナンスチャネルに適応することを含む、デジタル画像を空間処理する方法を教示する。適応フィルタは、局所空間的な活動の統計尺度を計算し、その統計尺度に基づいて画像の細部構造の鮮鋭度を変える方法を使用する。この空間フィルタを適用する結果、デジタル画像の空間細部がカラーコンテンツを変更することなく高められるような変更値を有する色調スケールが調節されたデジタル画像が得られる。
【００７３】
画像出力ブロック９０は、鮮鋭度補正ブロック８８から変更されたデジタル画像を受信する。出力デバイスレンダリングブロック９２において行われるデジタル画像処理段階には、変更されたデジタル画像の画素値をデバイスコード値の対応する組に変換し、出力デバイス及び媒体のカラーマニピュレーション特徴を考慮に入れることが関連する。デバイスコード値と特定のデバイス／媒体の組合せ体により再現される色の測色との変換は、デバイスの特徴付けにより得られる。デバイスの特徴付けの例としては、後続の測定のために十分に大きい寸法を有するカラーパッチの形であるデバイスコード値の好適なアレイを生成し、且つ、プリント又はディスプレイすることに関連する手順である。これらのパッチは、ディスプレイの性質に応じて、色彩計、分光光度計、又は、望遠分光ラジオメータを使用して測定することができる。スペクトルが測定される場合、ＣＩＥＸＹＺ値、及び、ＣＩＥＬＡＢ値又はＣＩＥＬＵＶ値といった他の関連する量は、標準的な比色分析手順を使用してディスプレイイルミナントに対し計算することができる。このデータ組は、１次元ルックアップテーブル、多次元ルックアップテーブル、マトリクス、ポリノミアル、及び、スカラーの適切なシーケンスを構成するのに使用でき、これは、出力デバイスレンダリングブロック９２内で行われた組み合わせられた処理演算から得られるシーンのデジタルディスプレイのデバイスコード値の組への変換を達成し、この組はシーンの所望の視覚的表現を生成する。この変換のもう１つの実施例としては、プロファイル接続空間（ＰＣＳ）内で符号化される所望の視覚再現の仕様をデバイスコード値にマッピングするＩＣＣプロファイルが挙げられる。
【００７４】
この演算は更に、色域変換（ガマット・マッピング）を含み得る。変更されたデジタル画像の色域特性は、データを符号化するために使用されたプライマリの組により決定される。例としては、ＣＩＥ１９３１測色標準観測者（Standard Colorimetric Observer）の等色関数か又はそれの任意の一次結合に対応するプライマリが挙げられる。色域変換は、この符号化により定義される色域と、出力デバイス／媒体の組合せ体の色域との間で行われる。本発明と共に使用するのに好適な色域変換アルゴリズムは色相を維持するアルゴリズムである。
【００７５】
画像化処理の観点から、出力デバイスレンダリングブロック９２によって行われるデータ変換は、それがニュートラルバランス又は色再現域関数専用であっても、任意のシーケンスにおける１次元ルックアップテーブル、多次元ルックアップテーブル、マトリクス、ポリノミアル、及び、スカラーの単一の組を形成するよう組み合わせることができる。本発明の明細書における再現は、様々な技術により生成することができる。再現は、ハロゲン化銀又は他の感光材料上で得ることができる。
【００７６】
画像出力デバイス９６によって使用されるような感光材料は、透明フィルム、反射フィルム、又は、半透明フィルムであってよい。これらの材料は、多くの異なるソースから得られる可視光又は赤外線に露光される。材料は、一般的な現像適用のために設計されても、又は、デジタルプリント適用のために特別に設計されてもよい。感光材料は、入射光の主に３つの異なるスペクトル領域に反応する。一般的にこれらのスペクトル領域は、赤色（６００乃至７２０ｎｍ）、緑色（５００乃至６００ｎｍ）、及び、青色（４００乃至６００ｎｍ）の光である。しかし、３つの異なるスペクトル感度の任意の組合せを使用できる。組合せには、緑、赤、及び、赤外光又は赤の組合せ、異なる波長の１つの赤外光及び異なる波長の２つの赤外光の組合せ、又は、異なる波長の３つの赤外光の組合せが含まれる。又は、可視光の３つの主な波長に反応する材料は仮に感光性が与えられ、それにより、露光されている光の色が、マゼンタ、黄、及び、シアン色素それぞれを生成する赤、緑、及び、青の感度といった補色相の画像色素を生成しないようにされる。プリンティングは、全ての画素を連続的に露光するか、画素の小さいアレイを同時に露光するか、又は、画像内の全ての画素を同時に露光することにより行うことができる。
【００７７】
感光材料上にプリントするのに使用することのできるデバイスには、ＣＲＴ、ＬＥＤ（発光ダイオード）、ＬＶＴ（ライトバルブテクノロジー）、ＬＣＤ、レーザ、及び、他の任意の被制御光学光発生デバイスが含まれる。これらのデバイスは全て、感光材料内の３層以上の感光層を露光してカラー画像を生成する能力を有する。これらのデバイスは、デバイスが基づいている技術において主に異なる。ＣＲＴプリンタの好適な実施例は、コダック・プロフェッショナル・デジタルＩＩＩカラー用紙（Kodak Professional Digital III Color Paper）と共に使用することのできるコダック・デジタル・サイエンスＬＦＣＲＴカラープリンタ（Kodak Digital Science LF CRT Color Printer）である。
【００７８】
非感光画像化材料は、電子プリント処理に都合よく使用され、高品質再現を生成する。プリンティング処理は多くの技術に基づくことができる。画像形成の方法は、ハーフトーン、コンティニュアストーン、又は、完全な材料転写であってよい。画像化材料は、透明フィルム、反射紙、又は、半透明フィルムであってよい。材料は、サーマルダイ転写技術、インクジェット技術、ワックス技術、電子写真技術、又は、他の画素毎の書込み技術によってピクトリアル画像を生成するよう書込まれることができる。これらの処理は、３つ以上の着色剤を使用して、ピクトリアルシーンのカラーピクトリアルディスプレイを作成する。着色剤は、染料、トナー、インク、又は、他の任意の耐色性又は半耐色性材料であってよい。サーマルプリンタの好適な実施例は、コダック社のXLS 8650サーマルダイ転写プリンタである。
【００７９】
本発明では、ハードコピーで見られる画像に加えて、投射画像を効率よく作成することも可能である。多くの技術がこの種類の画像の生成に適している。これらの技術は全て、２つ以上のカラー光線でカラー画像を生成することに依存する。これは、一般的に本質的には、赤、緑、及び、青であるが、プライマリの任意の組であってよい。好適な見られる再現を作成するのに使用されるデバイスには、ＣＲＴ、ＬＣＤ、ＥＬ（エレクトロ−ルミネセンス）、ＬＥＤ、ＯＬＥＤ（有機ＬＥＤ）、電球、レーザ、プラズマディスプレイパネル、又は、他の任意の３色以上の色が付けられる、画素毎の照明が可能な照明装置が含まれる。画像はデバイス内のディスプレイ、投射、又は、バックライトにより作成されることができる。多くのデバイスは、物理的に機械ユニットの一部である画面又はディスプレイ領域上に画像を作成する。しかし、画像は更に、画像を光線の形で、見る人の後ろから又は前から、見る人の前にあるスクリーンに向けて光学的に投射するか、又は、見る人と投射デバイスとの間にあるスクリーンに反転画像を見る人に向けて投射することにより作成することが可能である。ＣＲＴディスプレイの好適な実施例は、ソニー社のトリニトロンＣＲＴ（Trinitron CRT）である。
【００８０】
以上が、画像分析ブロック６０、画像処理ブロック７０、及び、画像出力ブロック９０の詳細な説明である。画像欠陥予測処理ブロック６８の詳細な説明を以下に与える。画像欠陥予測処理６８は、前に詳述した画像欠陥処理の夫々の状態（作動させるか又は作動させないか）を制御する。
【００８１】
現在の画像に関連付けられるメタデータがブロック６６において復号化されると、画像欠陥予測ブロック６８において多数の中間パラメータが復号化されたデータから計算され、次に、図３に示す雑音欠陥予測ブロック１００、図４に示す赤目欠陥予測ブロック１２０、図５に示す色調スケール欠陥予測ブロック１４０、及び、図６に示す鮮鋭度欠陥予測ブロック１６０において使用される。フラッシュの状態（オン／オフ）といった他のパラメータは直接的に使用することができ、他のパラメータは単位変換が必要である場合がある。即ち、例えば、周辺光レベルは、カメラＢＶ（輝度値）からフートランバートのルミナンス単位に変換される。復号化されたメタデータから計算され、複数の欠陥予測ブロックに使用される中間パラメータ値は、一度計算されて、欠陥予測ブロック１００、１２０、１４０、及び、１６０の間で共有される。しかし、各欠陥予測ブロックの機能を説明するために、メタデータ入力ブロックに続く処理段階（１０４、１２４、１４４、及び、１６４）はそれぞれ中間パラメータの作成を示す。
【００８２】
このセクションでは、メタデータ項目を定義し、好適な実施例においてメタデータ項目から中間パラメータが計算される方法を示す。当業者は、距離、露光、フラッシュ出力、システム倍率、及び、画像欠陥レベルの単位は、本発明の教示目的から逸脱することなく変更することが可能であることを理解するものとする。好適な実施例では、カメラセンサ及び／又は手動で撮影者により入力されて収集される以下のメタデータ項目、又は、メタデータ項目のサブセットが、画像欠陥予測ブロック（１００、１２０、１４０、及び、１６０）に使用される。
【００８３】
全般的なパラメータ：
被写体の人口統計データ：被写体の人種及び年齢を含む
ユーザにより特定される又はカメラにより測定されるパラメータ：
ＢＬ：カメラのバックライトインジケータ状態（オン／オフ；オン＝高いコントラストシーン）
ＣＳＦ：カメラの揺れ係数（カメラを手にしているときの安定度の尺度）
Ｄ：最終ディスプレイの対角線寸法（インチ）
ＤＧ：ＤＳＣの利得係数（センサベースのＩＳＯ感度の倍数）
ＤＲ：ＤＳＣの分解能設定（捕捉画像における画素数）
Ｄｓ：カメラから被写体までの距離（フィート）
Ｄｂ：カメラから背景までの距離（フィート）
ｆ：カメラレンズのＦナンバー
ＦＬ：カメラレンズの焦点距離（インチ）
ＦＦ：フラッシュ状態（オン／オフ）
ＦＬＳ：フラッシュとカメラレンズの間隔（中心から中心まで、インチ）
ＧＮｍ：メインフラッシュ出力（ガイドナンバー、現ＩＳＯ、フィート）
ＧＮｐ：プレフラッシュ出力（ガイドナンバー、現ＩＳＯ、フィート）
Ｋ：ＡＮＳＩレンズ露光定数（デフォルト＝３．９１）
ＬＦＲ：カメラレンズの焦点範囲（範囲内又は範囲外）
ＬＳ：リニアスミア（露光時の捕捉面において、ミリメートル）
ＬＬｓ：主被写体の周辺光レベル（カメラの露出計による読出し、フートランバート）
ＬＬｂ：背景の周辺光レベル（カメラの露出計による読出し、フートランバート）
Ｍｃ：現在の再現（例えば、プリント）倍率
Ｍｓ：標準再現（例えば、プリント）倍率
Ｍｎ：標準外（例えば、拡大）倍率
Ｓ：フィルム又はＤＳＣセンサＩＳＯ感度
Ｔ：カメラシャッタ速度（秒）
中間パラメータ：
好適な実施例では、多数の中間パラメータは上に列挙したメタデータから計算され、画像欠陥予測ブロック（１００、１２０、１４０、及び、１６０）に使用される。
【００８４】
雑音欠陥予測ブロック１００及び色調スケール欠陥予測ブロック１４０において有用であることが分かっており、主被写体と背景の露出の度合いを定量化する中間パラメータは、以下のように計算される。
Ｅｓ：被写体への露出（単位：ｌｏｇ _１０Ｅ）
フラッシュ照明用のＥｓｆ＝ｌｏｇ_１０［（ＧＮｍ／Ｄｓ）／ｆ］^２（式４）
周辺照明用のＥｓａ＝ｌｏｇ_１０［（ＬＬｓ／ＬＬｎ）］（式５）
ただし、ＬＬｎ（式６）は、現在のカメラ設定でＩＳＯの標準の露出が起きる光レベル（フートランバート）として定義され、汎用写真露出計ＡＮＳＩ３．４９−１９８７のＩＳＯ／ＡＮＳＩ標準に記載される以下の式により見つけられる。
【００８５】
ＬＬｎ＝（Ｋ）（ｆ^２）／（Ｓ）（Ｔ）（式６）
フラッシュ照明の例
ＩＳＯ２００フィルムに対しカメラのメインフラッシュＧＮ＝４８、Ｄｓ（被写体距離）＝６フィート、ｆ（レンズのＦナンバー）＝５．６であるとすると、Ｅｓｆ＝ｌｏｇ_１０［（４８／６）／５．６］^２＝０．３０ｌｏｇＥ（１つの絞り（stop）が露出過度）
周辺（自然）照明の例
ＬＬｓ（被写体の光レベル）＝４フートランバート、Ｋ＝３．９１、ｆ（レンズＦナンバー）＝４、Ｓ（ＩＳＯフィルム感度）＝４００、Ｔ（シャッタ時間、秒）＝０．００１とすると、
ＬＬｎ＝［（３．９１）（４^２）］／［（４００）（０．０１）］＝１６フートランバートであり、
Ｅｓａ＝ｌｏｇ_１０（４／１６）＝−０．６ｌｏｇＥ（２つの絞りが露出不足）
背景に対するフラッシュ露出及び周辺露出も同様に計算されるが、この場合、測定されたカメラから背景までの距離データと背景照度レベルを式に使用する。
Ｅｂ：背景への露出（単位：ｌｏｇ _１０Ｅ）
フラッシュ照明用のＥｂｆ＝ｌｏｇ_１０［（ＧＮｍ／Ｄｂ）／ｆ］（式７）
周辺照明用のＥｂａ＝ｌｏｇ_１０［（ＬＬｂ／ＬＬｎ）］（式８）
ただし、ＬＬｎ（式６）は、この場合はシーンの背景部分に対し、現在のカメラ設定でＩＳＯの標準の露出が起きる光レベル（フートランバート）として定義される。
【００８６】
色調スケール欠陥予測ブロック１４０において有用であることが分かっており、主被写体への露出と背景への露出の比を定量化し、以下にＦＥＲ（フラッシュ露出比）及びＡＥＲ（周辺露出比）として識別される中間パラメータは、以下の通りに計算される。
【００８７】
ＦＥＲ：フラッシュ露出比
ＦＥＲ＝１０^{｜Ｅｓｆ−Ｅｂｆ｜} （式９）
ＡＥＲ：周辺露出比
ＡＥＲ＝１０^{｜Ｅｓａ−Ｅｂａ｜} （式１０）
式９及び式１０の指数項における絶対値の記号は、露出比の大きさは、被写体又は背景が主な露出を受けていようといまいと主要なパラメータであるという事実を反映するよう必要である。
【００８８】
雑音欠陥予測ブロック１００、赤目欠陥予測ブロック１２０、及び、鮮鋭度欠陥予測ブロック１６０において有用であることが分かっており、最終ディスプレイにおいて知覚されるフォーマット再現倍率及び被写体再現倍率を定量化する中間パラメータは、以下のように計算される。
【００８９】
ＡＭ：被写体の角倍率
鮮鋭度欠陥予測ブロック１６０において、決定点１７２において、ＡＭパラメータは、典型的な撮影者の手の揺れによりもたらされるボケを最小にするのに必要とされる最大ハンドヘルドシャッタ時間を決定するのに有用な予測子であることが分かっている。更に、赤目欠陥予測ブロック１２０において、決定点１３０において、ＡＭは被写体の目の寸法と相関関係があるので、赤目画像欠陥の知覚される重大度に寄与する点で有用な予測子である。
【００９０】
ＡＭ＝［（ＥＬ）（Ｍｃ）］／Ｖｄ（式１１）
ただし、
Ｖｄ：最終画像の視距離（インチで示す）
１９９４年６月２１日に本願の譲受人に発行され、本願に参考文献として組み込まれる米国特許第５，３２３，２０４号の第４３段落及び第４４段落目に開示されるように、人間の観察者は、従来の知恵に反して、ディスプレイ寸法に線形に関連のある距離において写真を見ない。この点に関し、目とディスプレイの間隔の経験則に基づく知覚測定は、手に持たれている様々な寸法を有するプリントに対する平均的な視距離（Ｖｄ）は以下のように特徴付けられることを提案する：
Ｖｄ＝３．６４＋１１．３４［ｌｏｇ_１０（Ｄ）］（式１２）
ただし、
Ｄは、最終ディスプレイの対角線寸法である（インチで示す）。
視距離の例
４×６インチのプリントのＶｄ＝３．６４＋１１．３４［ｌｏｇ_１０（７．２）］＝１３．４インチ
８×１２インチのプリントのＶｄ＝３．６４＋１１．３４［ｌｏｇ_１０（１４．４）］＝１６．８インチ
ＭＳＴ：最大ハンドヘルドシャッタ時間（秒）
最大ハンドヘルドシャッタ時間は、現在のカメラレンズの焦点距離、再現倍率、及び、最終画像の視距離を特定する中間パラメータであり、最長のハンドヘルドシャッタ時間は、平均的な手の揺れを有する人に使用されて最終画像に見られる目立つボケが起きなくなるような時間である。ＭＳＴはカメラの揺れ係数（ＣＳＦ）の影響を受け、この係数はカメラの安定度を示す。ＣＳＦは、全般的なカメラメタデータに含まれ得る項目の１つである。ＣＳＦが入手可能でない場合、一般的な３５ミリの自動フォーカスカメラに適したデフォルト値が使用される。取替え可能なレンズ（ＳＬＲ）カメラはより安定しており、一般的に１．４のＣＳＦ値を有することが分かった。
【００９１】
ＭＳＴ＝［（０．１６９）（Ｖｄ）（ＣＳＦ）］／［（ＦＬ）（２５．４）（Ｍｃ）］（式１３）
ただし、定数０．１６９は、ＭＳＴ式の結果が顕著な画像のボケを生成しない最長の露出時間となる実験データに合うよう必要である。この定数の値は、撮影者の代表人口によって撮影された画像の品質を評価することにより得られたものであり、ここでは、露出時間は体系的に変えられた。定数を２５．４にすることにより、カメラレンズの焦点距離をインチからミリメートルに変換する。
最大ハンドヘルドシャッタ時間の例
３５ミリフォーマットＳＬＲカメラ、３５ミリレンズ、４×６インチのプリントの場合
ＦＬ＝１．３８インチ
Ｍｃ＝４．４４
Ｖｄ＝１３．３６インチ
ＣＳＦ＝１．４
ＭＳＴ＝［（０．１６９）（１３．３６）（１．４）］／［（１．３８）（２５．４）（４．４４）］＝０．０２秒
ＡＰＳ自動フォーカスカメラ、２５ミリレンズ、４×１０インチのパノラマプリントの場合
ＦＬ＝０．９８インチ
Ｍｃ＝１０．６
Ｖｄ＝１５．３５インチ
ＣＳＦ＝１．０
ＭＳＴ＝［（０．１６９）（１５．３５）（１．０）］／［（０．９８）（２５．４）（１０．６）］＝０．０１秒
これらの例は、高い再現倍率及びあまり安定していない（低いＣＳＦ）カメラで手の揺れによりもたらされるボケの許容可能なレベルを維持するには、短い露出時間が必要であることを示す。
ＤＳＦ：ディスプレイ寸法係数
本願の発明者は、上述の米国特許第５，３２３，２０４号の第４４段落及び第４５段落においてディスプレイ寸法係数（ＤＳＦ）を開示し、これは、ディスプレイ寸法及び再現倍率の独立した選択を量的に適応させる。ＤＳＦは、フルフレーム再現と、最終ディスプレイ寸法は捕捉媒体のフォーマット寸法及び再現倍率の積ではないクロッピングされた画像再現との差を考慮に入れるよう考え出された。これは、撮影者によって、ＡＰＳ及びＤＳＣカメラにおいて一般的である擬似パノラマ又は擬似望遠（電子ズーム）特徴が選択されるとき、及び／又は、コダック・ピクチャ・メーカ（Kodak Picture Maker）といったデバイスを使用して新しい構図を作成するようフルフレーム画像の一部を選択的にズームしてクロッピングしたときに起きる。ＤＳＦは、ＡＭパラメータの場合においてそうであったように被写体の再現倍率ではなく、再現及び観察倍率に応じて異なる欠陥の重大性を予測するのに有利であることが分かった。例えば、ＤＳＦパラメータは、雑音欠陥予測ブロック１００において使用されて決定点１０６のためのルックアップテーブルを作成し、また、鮮鋭度欠陥予測ブロック１６０の決定点１６６において使用される。
【００９２】
上述は、画像欠陥による知覚品質の減損は、画像の構造が拡大される度合いに相関関係のあるケースである。
【００９３】
ＤＳＦ＝（Ｍｓ／Ｍｎ）（Ｖｄｎ／Ｖｄｓ）（式１４）
ただし、
Ｖｄｓは標準ディスプレイ寸法用の視距離である
Ｖｄｎは標準外ディスプレイ寸法用の視距離である
ディスプレイ寸法係数の例
３５ミリフォーマットカメラ、４×６インチのフルフレームプリント
Ｍｓ＝４．４４
Ｍｎ＝４．４４
Ｖｄｓ＝１３．４インチ
Ｖｄｎ＝１３．４インチ
ＤＳＦ＝（４．４４）／（４．４４）（１３．４／１３．４）＝１．０
３５ミリフォーマットカメラ、８×１２インチのフルフレームプリント
Ｍｓ＝４．４４
Ｍｎ＝８．８８
Ｖｄｓ＝１３．４インチ
Ｖｄｎ＝１６．８インチ
ＤＳＦ＝（４．４４／８．８８）（１６．８／１３．４）＝０．６３
３５ミリフォーマットカメラ、２倍の電子ズーム（ＥＺ）の４×６インチプリント
Ｍｓ＝４．４４
Ｍｎ＝８．８８
Ｖｄｓ＝１３．４インチ
Ｖｄｎ＝１３．４インチ
ＤＳＦ＝（４．４４／８．８８）（１３．４／１３．４）＝０．５
これらの例は、ＤＳＦは、再現倍率が増加し且つ視距離が減少すると、減少することを示す。例えば、８×１２インチのフルフレームの場合と、２倍のＥＺの４×６インチのプリントの場合は、同一の再現倍率（Ｍｎ）を有するが、２倍のＥＺの場合はより小さなプリントを生成し、従って、低い知覚画質に関連付けられる近い視距離となり、これはＤＳＦが小さくなる。
【００９４】
発明の背景のセクションにおいて概要を説明したように、本発明の処理に含まれる各画像欠陥は、存在する欠陥の量と知覚される画質の減損との関係を決定するために研究された。画質減損データは、シーン、カメラ、人口統計、及び、ディスプレイパラメータに関連付けられ、画像欠陥予測ブロック１００、１２０、１４０、及び、１６０において使用される予測子が作成され、これらの予測子は、ブロック７２、８０、８４、及び、８８に含まれるデジタル画像欠陥補正処理を作動させるときを決定するのに有用であることが分かった。予測子の作成につながる実証的研究には、消費者による写真撮影術において遭遇されるカメラ、照明、ディスプレイ、及び、被写体特性を含む様々な種類のシーンの画像を生成することが関連する。このようにして画像化システム及びシーン特性を変更することにより、広い範囲の画像欠陥を含む画像の集まりが生成された。これらの画像は、上述した知覚的に均一なＪＮＤスケールを使用して品質が視覚的に評価され、これらの画像に関連付けられる捕捉及びディスプレイ特性が分析されて、画像欠陥の可能性及び重大性を予測するのに好適な最終的なパラメータが作成された。
ＳＰ：決定点における切替え点（オン／オフ）
この知覚的に得られる画質データから、以下に切替え点（ＳＰ）値と称する予測子値が、３つのＪＮＤの画質減損に対応する決定点パラメータ１０６、１２８、１３０、１３２、１４８、１５２、１６６、１７０、１７２、及び、１７４のそれぞれに対し選択される。このセクションの始まりにおいて説明したように、主観的画質カテゴリの約半分に対応する３ＪＮＤ値が好適な実施例に選択された。というのは、画像処理効率（単位時間あたりに処理される画像数）と画質改善とに良好なバランスをもたらすからである。表内のＳＰ値は、消費者による写真撮影術において遭遇する様々な条件をカバーすべきである。決定表における現在のＳＰ値以外の全般的な又は中間パラメータに遭遇する場合、現在のパラメータに一番近い表値が決定処理に適用される。決定表の現在のＳＰ値間にある全般的な又は中間パラメータに遭遇する場合、中間値が周知の補間技術によって得られる。
【００９５】
画像欠陥予測ブロック１００、１２０、１４０、及び、１６０に含まれる処理の詳細な説明を以下に示す。本発明の好適な実施例における画像欠陥予測ブロックの機能を説明するために、従来のフィルム（例えば、ＡｇＸベースの媒体）に対するＳＰパラメータ値を示す。しかし、本発明の画像欠陥予測処理は、それが化学又は電子捕捉技術に基づくか否かに関らず他の捕捉媒体にも同等に適用可能であることを理解するものとする。以下の説明では、画像捕捉モダリティに依存して特定のパラメータ値が異なる処理における点を強調する。
【００９６】
図３：雑音欠陥予測ブロック１００
ブロック１０２：メタデータ入力リスト
カメラモデルデータ
Ｋ、Ｍｓ、Ｍｎ、Ｄ、ＬＬｓ、ｆ、Ｔ、ＧＮｍ
ブロック１０４：処理
Ｖｄ式１２を計算する
ＤＳＦ式１４を計算する
Ｅｓｆ式４を計算する
Ｅｓａ式５を計算する
現在のディスプレイ寸法係数（ＤＳＦ）及びフィルム感度（Ｓ）に対し適切な切替え点をＳＰ表から選択する
ブロック１０６：決定点
計算されたＥｓ値とＳＰ値を比較する：
計算されたＥｓ＞＝ＳＰである場合、雑音補正処理を省略する（１０８）；
計算されたＥｓ＜ＳＰである場合、雑音補正処理を実行する（１１０）；
現在の捕捉媒体の雑音レベルとＤＳＦの組合せ体が、任意の露出（Ｅｓ）レベルにおいて雑音補正を必要としない場合、システムによって入手可能であるよりかなり下のＳＰ値（例えば、−１００）が表に入力される。現在の捕捉媒体の雑音レベルとＤＳＦの組合せ体が各露出（Ｅｓ）レベルにおいて雑音補正を必要とする場合、システムによって入手可能であるよりかなり上のＳＰ値が表に入力される。
【００９７】
【表１】

表１は、３つのディスプレイ寸法及び３つのフィルム感度に対するＥｓ（ｌｏｇ_１０露出単位）ＳＰ値を示す。この例では、ＤＳＦ値は、４×６インチのプリント（ＤＳＦ＝１０）を作るために拡大されるフルフレームの３５ミリフォーマットのコンシューマグレードカラーネガフィルムフレーム、５×７インチのプリント（ＤＳＦ＝０．８５）を作るために拡大されるフルフレームの３５ミリフォーマットのコンシューマグレードカラーネガフィルムフレーム、及び、８×１２インチのプリント（ＤＳＦ＝０．６３）を作るために拡大されるフルフレームの３５ミリフォーマットのコンシューマグレードカラーネガフィルムフレームに適している。雑音の露出に対する関係は、製造業者によって選択されるフィルム技術によって異なり得るので、他のフィルムの種類には異なるＳＰ値を使用することが必要である。このことは、新しいフィルム上への露出シリーズの撮影及び最終画像における雑音レベルを評価することにより容易に確認される。好適な実施例では、ＳＰ表は、特定の画像処理装置に対し可能な全てのＤＳＦを含む。例えば、ここの例に示すように固定倍率でしかプリントを生成しないデジタルプリンタもあれば、様々なプリント寸法及び中間ズーム比を提供するデジタルプリンタもある。多目的プリンタでは、雑音ＳＰ表は、各プリント寸法及びズーム倍率に対応するＤＳＦエントリを含むことが好適である。或いは、中間ＳＰ地は、表中の値を補間することにより得られる。
【００９８】
デジタルスチルカメラ（ＤＳＣ）用の雑音ＳＰ表も、ＤＳＦに対し異なる。しかし、上述したように異なる感度を有するフィルムを装填するのではなく、撮影者又はカメラ露出制御装置は、現在のシーンに対し適切なデジタル利得係数（ＤＧ）を選択する。従って、ＤＳＣの雑音ＳＰ表は、ＤＧに対するＤＳＦをリストアップする。ＤＳＣ雑音ＳＰ表を構成する３ＪＮＤ品質減損の値は、経験的な写真試験及び上に参照した知覚評価によって得られるか、又は、それらの値は、上述したB. W Keelanによる「Characterization and Prediction of Image Quality」なる名称の記事、及び、R.B. Wheelerによる「Use of System Image Quality Models to Improve Product Design」なる名称の記事において本発明の発明者により参照される方法を使用して生成され得る。
【００９９】
図４：赤目欠陥予測ブロック１２０
ブロック１２２：メタデータ入力リスト
人口統計データ（ユーザにより特定されるか又は地域により特定される）
カメラモデルデータ
ＦＦ、ＦＬＳ、ＬＬｓ、ＦＬ、Ｍｃ、Ｄ、ＧＮｐ、Ｄｓ
赤目の重大性は、２つの効果によって撮影される被写体の人口統計的な分類と強い相関関係がある。第１に、色素の濃い人種は、瞳孔を通り伝搬する光を吸収することにより減衰するメラニンを瞳孔により多く含む傾向があるので、目から出る赤色光の量が少ない。第２に、人は歳をとるに従い、光レベルが低いときに瞳孔が開く最大直径が小さくなる。従って、一般的にフラッシュ写真が撮られた条件下において若い人は歳をとった人より大きい瞳孔寸法を示す。赤目の重大性の人口統計データに依存する性質を表２に示す。表２は、異なる人口統計グループに属し、厳しく制御された条件下（０．０１６フィートのキャンドルの周辺光；２．６インチのフラッシュとレンズの間隔；６フィートの被写体距離；プレフラッシュ無し；８０ミリメートルの焦点距離；３５ミリフォーマットフィルムから４×６インチのプリントを通常通り見る）で撮影された１００人の被写体において発生した顕著な赤目現象の頻度を示す。
【０１００】
【表２】

このデータでは、色素の濃淡及び年齢の両方の影響が明らかであるが、年齢の影響は、フラッシュとレンズの間隔が大きいとより顕著であり（例えば、３．８インチで他のパラメータは同一である場合）、成人の白色人種は全体のたった２０％において赤目を示したが、若い白色人種は全体の写真の６７％において赤目を示した。
【０１０１】
赤目欠陥予測ブロック１２０の点１２８、１３０、及び１３２において使用されるＳＰ表は、与えられる人口統計学的特徴によって異なる値を含む。人口統計データが入手可能でない場合、好適な実施例において以下に示される成人白色人種用のＳＰ表がデフォルトとして使用される。
【０１０２】
フラッシュとレンズの間隔（ＦＬＳ）は、赤目欠陥のレベルにかなりの影響を与える。しかし、ＦＬＳは多くのカメラにおいて固定値である（即ち、フラッシュは固定されている）。従って、赤目欠陥予測ブロック１２０の点１２８、１３０、及び、１３２において使用されるＳＰ表は一般的に、現在のカメラのＦＬＳによって生成される画像の品質評価から得られるＳＰ値を含み得る。撮影者のレンズの焦点距離（ＦＬ）の選択に応じてＦＬＳを変更可能であるカメラに適応するよう、例えば、本願に参考文献として組み込まれる１９９４年７月１９日に発行された米国特許第５，３３１，３６２号に開示されるように、本発明は、撮影者によって選択された各ＦＬ（ズーム設定）に対し別個のＳＰ表を使用する。
【０１０３】
表３は、ＦＬＳの以下のシステムに対する画質（ＪＮＤ）への影響を示す。即ち、成人白色人種の集まり；０．５フートランバートの周辺光；１０フィートの被写体距離；プレフラッシュ無し；単位角倍率；３５ミリフォーマットフィルムから４×６インチのプリントを通常通り見る。
【０１０４】
【表３】

赤目欠陥予測ブロック１２０の点１２８、１３０、及び、１３２において使用されるＳＰ表には、メタデータ内に与えられる特定ＦＬＳ値に対応する値が入れられる。
【０１０５】
実証的研究は、赤目画像欠陥による品質の減損は、消費者の写真撮影術において一般的に起きる範囲内であるカメラから被写体までの中間距離（Ｄｓ）において最大であることを示す。これは、２つの対立する効果が競い合うことによるものである。即ち、（１）カメラから被写体までの距離が長いと、フラッシュとレンズの角度分離が小さくされ、瞳孔の赤色飽和が多くなり、また、（２）離れた距離では、最終画像における瞳孔の寸法は小さくなり、赤目の重大性が小さくなる。おおざっぱに言うと、距離が増加すると赤目はより強く赤くなるが、画像における瞳孔の寸法は小さくなるということである。前者の効果は短い距離において主であり、後者の効果は長い距離において主であり、中間距離において極値の関係となる。この発見の結果、好適な実施例における赤目欠陥予測ブロック１２０の点１２８、１３０、及び、１３２に使用されるＳＰ表は、最も厳しい欠陥レベルを生成する距離として定義されるカメラから被写体までの臨界距離に対応する値により構成される。このアプローチにより、赤目補正処理８０は、赤目の可能性が高いがＤｓのメタデータが入手可能でない場合に適用されることを保証する。Ｄｓのメタデータが入手可能である場合には、追加の予測精度が所望され、各距離に対するＳＰ表を有利に適用することができる。
ブロック１２４：処理
Ｖｄ式１２を計算する
ＡＭ式１１を計算する
現在の人口統計の集まりとフラッシュとレンズの間隔（ＦＬＳ）に対し適切である切替え点をＳＰ表から選択する
ブロック１２６：決定点
フラッシュ状態（ＦＦ）を決定する：
ＦＦがノー（オフ）である場合、赤目補正処理を省略する（１３４）；
ＦＦがイエス（オン）である場合、ブロック１２８に進む；
ブロック１２８：決定点
実際のＬＬ値とＳＰ値を比較する：
実際のＬＬ＞＝ＳＰである場合、赤目補正処理を省略する（１３４）；
実際のＬＬ＜ＳＰである場合、ブロック１３０に進む；
【０１０６】
【表４】

表４は、ＡＭが１．５である各ＦＬＳの臨界距離に対するＳＰ値（フートランバートで示すＬＬ）を示し、これは、一般的な３倍ズームカメラにおいて遭遇するような厳しいケースである。ＦＬＳがメタデータ内において与えられていない場合、１インチの値（コンシューマカメラにおいて遭遇する最小間隔）が仮定される。
ブロック１３０：決定点
計算されたＡＭ値とＳＰ値とを比較する：
計算されたＡＭ＝＜ＳＰである場合、赤目補正処理を省略する（１３４）；
計算されたＡＭ＞ＳＰである場合、ブロック１３２に進む；
【０１０７】
【表５】

表５は、１．０インチのＦＬＳ及び各ＡＭに対する臨界距離に対するＳＰ値を示す。ＬＬがメタデータ内に与えられていない場合、０．２フートランバートの値が仮定される。
ブロック１３２：決定点
実際のＧＮｐ値とＳＰ値とを比較する：
実際のＧＮｐ＞＝ＳＰである場合、赤目補正処理を省略する（１３４）；
実際のＧＮｐ＜Ｓｐである場合、雑音補正処理１３６−＞８０を実行する；
【０１０８】
【表６】

表６は、１．０インチのＦＬＳ、一般的なフラッシュ写真（０．２フートランバート）の最小光レベル、及び、各ＡＭに対する臨界距離に対するＳＰ値を示す。ＡＭが１．２以上である場合、３つのＪＮＤ以下の品質減損を生成するのに必要なプレフラッシュガイドナンバー（ＧＮｐ）値は、コンシューマカメラで一般的に遭遇されるよりも高い出力を示すが、一方、ＡＭが０．４３以下である場合、赤目欠陥による品質減損は、プレフラッシュが与えられないで３つのＪＮＤ以下となる。
【０１０９】
図５：色調スケール欠陥予測ブロック１４０
ブロック１４２：メタデータ入力リスト
カメラモデルデータ
ＦＦ、ＧＮｍ、Ｓ、ｆ、Ｔ、Ｋ、ＬＬｓ、ＬＬｂ、Ｄｓ、Ｄｂ
ブロック１４４：処理
Ｅｓａ式５を計算する
Ｅｂａ式８を計算する
Ｅｓｆ式４を計算する
Ｅｂｆ式７を計算する
ＡＥＲ式１０を計算する
ＦＥＲ式９を計算する
ブロック１４６：決定点
フラッシュ状態（ＦＦ）を決定する：
ＦＦがノー（オフ）である場合、ブロック１４８に進む；
ＦＦがイエス（オン）である場合、ブロック１５２に進む；
ブロック１４８：決定点
計算されたＡＥＲ値とＳＰ値とを比較する：
実際のＡＥＲ＝＜ＳＰである場合、色調スケール補正処理を省略する（１５０）；
実際のＡＥＲ＞ＳＰである場合、色調スケール補正処理を実行する（１５６）。
【０１１０】
或いは、ＡＥＲパラメータが入手可能でないが、バックライトインジケータ（ＢＬ）がオンである場合、色調スケール補正処理を実行する（１５６）。
ブロック１５２：決定点
計算されたＦＥＲ値とＳＰ値とを比較する：
実際のＦＥＲ＝＜ＳＰである場合、色調スケール補正処理を省略する（１５４）；
実際のＦＥＲ＞Ｓである場合、色調スケール補正処理を実行する（１５６）；
ただし、ＳＰ＝２．８であり、これは、１．５の絞り露出比（1.5 stop exposure ratio）に対応する。
【０１１１】
ＡＥＲ及びＦＥＲの好適な値は、様々な被写体及び背景の露出比を有する多数の画像を見、且つ、上述した米国特許第５，３２３，２０４号の第５０段落乃至第５８段落において本発明の発明者により開示されるフィルフラッシュアルゴリズムの最適化から学習することにより得られる。２．８のＳＰ値は、画質エンハンスメントと現像スループット（単位時間あたりに処理される画像）との間に適切なバランスを与えることが分かったので、選択された。ＡＥＲ及びＦＥＲの値が、低いＪＮＤ値に設定されると、色調スケール画像欠陥の位置決め及び補正処理はより頻繁に行われ、これは、平均画質が高くなるが、画像処理時間が長くなるのでスループットは低くなる。ＡＥＲ及びＦＥＲの値が高いＪＮＤ値に設定されると、画像欠陥の位置決め及び補正処理はあまり頻繁には行われなくなり、これは、平均画質は低くなるが、画像処理時間は短くなるので、スループットは高くなる。
【０１１２】
図６：鮮鋭度欠陥予測ブロック１６０
ブロック１６２：メタデータ入力リスト
カメラモデルデータ
Ｍｓ、Ｍｎ、Ｍｃ、ＬＦＲ、ＦＬ、Ｔ、ＣＳＦ、ＬＳ
ブロック１６４：処理
ＤＳＦ式１４を計算する
Ｖｄｓ式１２を計算する
Ｖｄｎ式１２を計算する
ＡＭ式１１を計算する
ＭＳＴ式１３を計算する
ブロック１６６：決定点
ディスプレイ寸法係数（ＤＳＦ）とＳＰとを比較する：
実際のＤＳＦ＞＝ＳＰである場合、ブロック１６８に進む；
実際のＤＳＦ＜ＳＰである場合、鮮鋭度を実行する（１８０）；
ただし、ＳＰ＝０．６５であり、これは、一般的なコンシューマ画像化システムに対し約３ＪＮＤの品質減損を生成する。
ブロック１６８：決定点
フラッシュ状態（ＦＦ）を決定する：
ＦＦがノー（オフ）である場合、ブロック１７０に進む；
ＦＦがイエス（オン）である場合、鮮鋭度補正処理を省略する（１７８）；
ブロック１７０：決定点
レンズの焦点範囲（ＬＦＲ）状態を決定する：
ＤｓがＬＦＲの範囲内にある場合、ブロック１７２に進む；
ＤｓがＬＦＲの範囲外にある場合、鮮鋭度補正処理を実行する（１８０）；
ブロック１７２：決定点
実際の露出時間ＴとＭＳＴを比較する：
Ｔが＝＜ＭＳＴである場合、ブロック１７４に進む；
Ｔが＞ＭＳＴである場合、鮮鋭度補正処理１８０を実行する（１８０）；
ブロック１７４：決定点
画像捕捉面におけるリニアスミア（ＬＳ）を測定する：
ＬＳ／ＤＳＦが＝＜ＳＰである場合、鮮鋭度補正処理を省略する（１７６）；
ＬＳ／ＤＳＦが＞ＳＰである場合、鮮鋭度処理補正を実行する（１８０）；
ただし、ＬＳは、画像捕捉面において、０．０４ミリメートルであり、これは、単位ＤＳＦで約３つのＪＮＤの品質減損を生成する。
【０１１３】
リニアスミアは以下を含む様々な方法で決定され得る。図２の構成要素２２５及び第２６段落３８行目において始まるハードウェアの説明において説明された上述の米国特許第５，３２３，２０４号、及び、リニアスミアを測定可能な加速度計に基づいたカメラ揺れ検出器が挙げられる。或いは、画像面におけるリニアスミアは、時間的に分離される自動フォーカスシステムの読出しを行い、信号パターンのリニアの平行移動を比較する（例えば、マッチングする信号プロファイルの移動を捕捉時間の関数として定量化すること）により得ることができる。
【０１１４】
上述したような画像欠陥予測処理１００、１２０、１４０、及び、１６０は、好適な実施例を示したが、これらの処理は、全てのデータが入手可能でない場合でも有利に適用され得ることを理解するものとする。例えば、各処理の一番始まりにおいて、最も容易に入手可能なデータが要求されるよう意図的に階層が設定され、データがない場合は、データを含む最後のブロックの決定が優先順位を有するようにされる。例えば、第１の決定点の後、データが画像欠陥の可能性があることを示唆するが、追加の情報がない場合、欠陥補正処理は実行される。このことは許容可能であり、というのは、データの省略による「誤り」は、欠陥補正が必要でないときに欠陥補正が時々適用されるということを単に意味するからである。これは画質は低下せず、本発明によって形成されるスループット利点に僅かな減少をもたらすに過ぎない。
【０１１５】
本発明は、好適な実施例を参照しながら説明した。しかし、当業者によって変形及び変更が、本発明の範囲から逸脱することなく行われることが可能であることを理解するものとする。例えば、上述した説明は、それぞれ異なる種類の画像欠陥の補正に関連付けられる複数の画像欠陥位置決め及び補正処理を組み込んだ画像処理システムを開示するが、本発明は、異なる種類でも同一の欠陥であってもよい特定の種類の画像欠陥にそれぞれ関連付けられる複数の画像欠陥位置決め及び補正処理を組み込んだ画像処理システムを包含することを目的とする。この後者のケースは、重大性のレベルに応じて同一の欠陥に２つ以上の処理が適用されるか、又は、同一種類の欠陥の異なる重大性のレベル或いは欠陥のソースに応じて異なる処理が個々に適用され得る場合にあてはまる。
【０１１６】
［発明の有利な効果］
本発明は、デジタル現像処理の品質及び効率を、その処理が完全に自動化される又は操作者により支援される場合でも改善する点で有利である。特に、この利点は、必要である場合にのみ画像欠陥位置決め及び補正処理を適用することによって、現在の画像の品質を飛躍的に改善することのできない時間のかかる演算を排除することにより実現される。
【図面の簡単な説明】
【図１】本発明のデジタル画像再現システムを示すブロック図である。
【図２】本発明の画像分析段階、画像欠陥予測段階、画像処理（欠陥補正）段階、及び、画像出力段階を説明する画像処理システムを示す機能ブロック図である。
【図３】デジタル画像再現装置において雑音欠陥位置決め及び補正処理を適用するときを決定するために画像捕捉時に捕捉されたデータを使用する１つの技術を説明する論理図である。
【図４】デジタル画像再現装置において赤目欠陥位置決め及び補正処理を適用するときを決定するために画像捕捉時に捕捉されたデータを使用する１つの技術を説明する論理図である。
【図５】デジタル画像再現装置において色調スケール欠陥位置決め及び補正処理を適用するときを決定するために画像捕捉時に捕捉されたデータを使用する１つの技術を説明する論理図である。
【図６】デジタル画像再現装置において鮮鋭度欠陥位置決め及び補正処理を適用するときを決定するために画像捕捉時に捕捉されたデータを使用する１つの技術を説明する論理図である。
【図７】写真フィルムにメタデータを書込むよう適応されるフィルムカメラを示す図である。
【図８】デジタルレコードにメタデータを書込むよう適用されるデジタルカメラを示す図である。
【符号の説明】
１０画像処理システム
１２フィルムスキャナ
１４デジタルファイル読出し器
１６ネットワーク入力
１８注文エントリステーション
２２ディスプレイモニタ
２４キーボード
２６プリンタ
２８現像機器
３０データ通信デバイス
３２現像ラボ
４０コンピュータ
５０画像捕捉ブロック
５２捕捉デバイス／フィルムスキャナ
５６ソースデジタル画像
６０画像分析ブロック
６２サブサンプリングブロック
６４シーン・バランスアルゴリズム
６６メタデータデコーダ
６８画像欠陥捕捉処理
７０画像処理ブロック
７２雑音補正処理
７６シーン・バランスシフト
８０赤目補正処理
８４シーンに依存しての色調スケール補正
８８鮮鋭度補正処理
９０画像出力ブロック
９２出力デバイスレンダリング
９６画像出力デバイス
１００雑音欠陥予測ブロック
１０２メタデータ入力リスト
１０４パラメータ計算
１０６被写体露出の切替え点
１０８雑音補正の省略
１１０雑音補正の実行
１２０赤目欠陥予測ブロック
１２２メタデータ入力リスト
１２４パラメータ計算
１２６フラッシュ決定
１２８光レベルの切替え点
１３０各倍率切替え点
１３２フラッシュ出力の切替え点
１３４赤目補正の省略
１３６赤目補正の実行
１４０色調スケール予測ブロック
１４２メタデータ入力リスト
１４４パラメータ計算
１４６フラッシュ決定
１４８周辺露出比の切替え点
１５０色調スケール補正の省略
１５２フラッシュ露出比の切替え点
１５４色調スケール補正の省略
１５６色調スケール補正の実行
１６０鮮鋭度欠陥予測ブロック
１６２メタデータ入力リスト
１６４パラメータ計算
１６６ディスプレイ寸法係数の切替え点
１６８フラッシュ決定
１７０レンズ焦点範囲の切替え点
１７２実際の露出時間の切替え点
１７４リニアスミアの切替え点
１７６鮮鋭度補正の省略
１７８鮮鋭度補正の省略
１８０鮮鋭度補正の実行
２００フィルムカメラ
２０１フィルムストリップ
２０５ａ、２０５ｂフィルムリール
２１０読出し／書込みヘッド
２１５マイクロプロセッサ
２２０ヘッド電子機器
２２５カメラ制御装置
２３０シーンセンサ
２４０、２５０ＲＯＭ
２６０ＲＡＭ
３００デジタルカメラ
３４０レンズ
３４１絞り／シャッタ制御装置
３４２ボケフィルタ
３４４ＣＣＤセンサ
３４６アナログビデオプロセッサ
３４８Ａ／Ｄ変換器
３５０フレームメモリ
３５２デジタル信号プロセッサ
３５４データメモリ
３５６メモリカード
３５８メモリカードインタフェース
３５９カードコネクタ
３６０ホストコンピュータインタフェース
３６２カメラマイクロプロセッサ
３６４ユーザ入力
３６６フラッシュユニット
３６８タイミング発生器
３７０シーンセンサ
３７２露出駆動器
３７４センサ駆動器
３８０カメラメカニズム入力
３８２揺れセンサ入力

Claims

捕捉画像の処理方法であって、
前記捕捉画像に関するメタデータを収集する段階と、
前記メタデータを用いて中間パラメータ値を計算する段階と、
前記捕捉画像中の画質を低下させる相異なる複数の欠陥の各々の予測を行う段階であって、前記複数の予測のうち少なくとも１つは前記メタデータと前記中間パラメータ値とを両方利用し、前記複数の欠陥はシーンバランス欠陥を含まない段階と、
前記捕捉画像のシーンバランスを前記複数の予測とは独立に調整する段階と、
前記複数の予測に応じて前記捕捉画像に相異なる複数の補正処理を適用する段階を有する方法。
前記中間パラメータ値は、被写体の露出、標準露光レベル、背景の露出、フラッシュ露出比、周辺露出比、被写体の角倍率、最終画像の視距離、最大ハンドヘルドシャッタ時間、及びディスプレイ寸法係数のうちの少なくとも１つを定量化する、請求項１に記載の方法。
捕捉画像の処理システムであって、
前記捕捉画像に関するメタデータを収集する手段と、
前記メタデータを用いて中間パラメータ値を計算する手段と、
前記捕捉画像中の画質を低下させる相異なる複数の欠陥の各々の予測を行う手段であって、前記複数の予測のうち少なくとも１つは前記メタデータと前記中間パラメータ値とを両方利用し、前記複数の欠陥はシーンバランス欠陥を含まない手段と、
前記捕捉画像のシーンバランスを前記複数の予測とは独立に調整する手段と、
前記複数の予測に応じて前記捕捉画像に相異なる複数の補正処理を適用する手段を有するシステム。
前記中間パラメータ値は、被写体の露出、標準露光レベル、背景の露出、フラッシュ露出比、周辺露出比、被写体の角倍率、最終画像の視距離、最大ハンドヘルドシャッタ時間、及びディスプレイ寸法係数のうちの少なくとも１つを定量化する、請求項３に記載のシステム。
前記メタデータは、画像捕捉に関するシーンデータ、カメラデータ、または人口統計データを含む、請求項１記載の方法。