JP4290965B2 - デジタル画像の品質を改善する方法 - Google Patents
デジタル画像の品質を改善する方法 Download PDFInfo
- Publication number
- JP4290965B2 JP4290965B2 JP2002331847A JP2002331847A JP4290965B2 JP 4290965 B2 JP4290965 B2 JP 4290965B2 JP 2002331847 A JP2002331847 A JP 2002331847A JP 2002331847 A JP2002331847 A JP 2002331847A JP 4290965 B2 JP4290965 B2 JP 4290965B2
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- digital
- image
- region
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 239000011159 matrix material Substances 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 40
- 238000005316 response function Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000012937 correction Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000003637 basic solution Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000113 differential scanning calorimetry Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はデジタル形式の画像処理に関するものであって、特に、最適でない露出で得られた画像の品質を改善するため、デジタルスチルカメラで有利に用いることができる方法に関するものである。
【０００２】
【従来の技術】
デジタルスチルカメラ（すなわちＤＳＣ）は現在、デジタル画像を得る装置のうちで最も一般的に用いられている。高解像度のセンサと、低費用で且つ低電力消費量のデジタル信号処理装置（ＤＳＰ）との双方が商業で容易に利用されているという事実は、かなりの解像度及び品質の画像を得ることができるデジタルスチルカメラの改善につながっている。
【０００３】
これらカメラでは、従来のスチルカメラでも同様に、依然として解決するのが困難な問題が、収集段階で用いられる最良の露出を判断することによって代表される。
絞りの大きさ及びシャッタ速度の双方に作用することによって得られる露出制御は、収集中、センサ特に、センサを構成する感光性セルに衝突する光の量を制御することを可能にする。デジタルスチルカメラでは、ゲイン又は、類似的に、感光性セルの感度を変化させることによって露出を調整することもできる。
【０００４】
正確な露出は、収集手段の限定された動的応答を最適に用いることによって、良好で且つ均等の色調の画像を得、場面のコントラストを最適に再現し、場面内のいかなる照明変化をも最良に表現できるようにする。実際に、画素の数的表現とセンサ特性とに有効なビットの有限数を与えられると、デジタルスチルカメラは、所定の場面で見つけられる輝度変化に対して、限定された応答すなわち限定された動的範囲を有する。
【０００５】
現代のデジタルスチルカメラは、露出を自動的に設定するのに幾つかの技術を用いる。これらの技術は“露出計”として知られており、複数の異なる基準に応じて動作する。しかし、これら基準のすべては、得るべき場面又はこの場面の特定の領域に関連した又は入射した光の量を判断する大きさに基づいている。
【０００６】
ある技術は完全に自動であり、適切な例は、“平均／自動露出計”又は、更に複合の“マトリックス／インテリジェント露出計”に基づく技術によって代表される。他の技術は、この場合もカメラマンに露出の選択についてある制御を与え、従って、個人的な好みに対して余地を与え、或いは、特定の必要性を満足させることができる。
【０００７】
露出を調整する種々の既知の方法にもかかわらず、しかもこれらの方法のいくつかの複雑性にもかかわらず、画像が、最適でない又は不適切な露出で得られることはどうしても珍しくない。
【０００８】
いかなる場合でも、最良の露出の正確な定義は存在しない。その理由は、この定義が、画像の内容及び観察者の個人的な好みの双方によるためである。場面が特定の露出設定を必要としなければ、一般化を抽出し、最も重要な（内容又は知覚の基準によって最も重要なものに思われる）領域を、再現可能な範囲のほぼ中心のグレーレベル又は輝度で再現できる特定の露出を、最良と定義することができる。
【０００９】
従って、最適な露出は、ＹCrCbの形式で表現されるとき、最も重要な領域に関連する輝度面Ｙのデジタル値の平均値が、存在可能なデジタル値の範囲のほぼ中心の値を有することを特徴とするデジタル画像を再現する。
【００１０】
種々のいわゆる補正方法が、一般に、画像内の視感度分布を変更することによって、得られた画像の品質を改善することは知られている。
最も一般的な補正方法のうちの１つはいわゆる“ヒストグラム等化”であり、この方法は幾つかの既知の変形を有する。
【００１１】
ヒストグラム等化は、特に米国特許第5923383号明細書に詳細に記載されており、画素の光強度に対応するデジタル値の分布のヒストグラムを画像から抽出し、次に、このヒストグラムを均等化して良好な品質の画像を形成させる。
【００１２】
他の既知の露出補正方法と同様に、この方法に関連する問題は、知覚又は内容のどちらかの観点から重要である領域が画像に存在するという事実を考慮していないということである。
【００１３】
更に、当業者に既知である方法は、デジタルスチルカメラに伝統的に用いられる補間処理後の画像に、センサによって形成された、１つの面が着色されたＣＦＡ（カラーフィルタアレイ）画像から開始して３つの全解像度面の画像を形成させるように作用することによって補正を行なう。この理由のため、既知の補正方法は計算費用の観点から最適でない。
【００１４】
【発明が解決しようとする課題】
従って、本発明は、最適でない露出で得られたデジタル画像の品質を改善する露出補正方法であって、既知の方法と関連する欠点のない露出補正方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明によれば、デジタル値Ｐ(ｘ,ｙ) 又は画素のマトリックスＰより成るデジタル画像Ｐであって、これら画素の各々が位置(ｘ,ｙ)に基づいて赤色、緑色又は青色形式の色成分に関連し、前記デジタル値の各々が、所定の最大数と所定の最小数との間に存在可能なデジタル値の範囲の一部分を形成しているデジタル画像の品質を改善する改善方法であって、この改善方法が、前記画像Ｐの前記デジタル値Ｐ(ｘ,ｙ)と、前記デジタル値を生じさせる光量の大きさｑ(ｘ,ｙ)との間の関係を表わす応答関数ｆを確定する操作と、赤色及び青色成分と関連された画素を除去することによって画像Ｐから得られた緑色成分に関連する前記画素のマトリックスＧを前記画像Ｐから抽出する操作と、前記画像Ｐを、複数の隣接され且つ重なり合わない領域に分割する操作と、前記マトリックスＧの視覚的に重要な領域を選択する操作と、デジタル値Meanvを前記存在可能なデジタル値の範囲のほぼ中心に確定する操作と、前記重要な領域の一部分を形成する前記マトリックスＧのデジタル値の平均を前記デジタル値Meanvと一致させるように前記応答関数を逆変換することにより前記画像Ｐの前記デジタル値の変換を行なうことによって補正された画像ＰTを得るように前記画像Ｐを変更する操作とを有する改善方法において、デジタル値Meanを前記存在可能なデジタル値の範囲のほぼ中心に確定する操作と、前記マトリックスＧの画素の平均値を前記デジタル値Meanとほぼ一致させるように前記応答関数ｆを逆変換することにより前記マトリックスＧのデジタル値の変換を行なうことによって前記マトリックスＧからマトリックスＧTを得る操作と、前記マトリックスＧTを、マトリックスＧの領域に対応する領域に分割する操作と、前記マトリックスＧTの前記対応する領域の画素の少なくとも１つのコントラストの大きさＤと、少なくとも１つの焦点の大きさＦとに基づいて計算された視覚の重要性の指標Ｖを前記マトリックスＧのすべての領域に割り当てる操作と、閾値Ｖtを確定する操作と、視覚の重要性の指標Ｖが前記閾値Ｖtより大きい前記マトリックスＧの領域を選択する操作とを実行することによって前記マトリックスＧの前記重要な領域を選択することを特徴とする改善方法によって本目的を達成する。
【００１６】
【発明の実施の形態】
本発明を、添付図面と共に、以下に示す特定の実施例の詳細な説明によって更に良く理解できるであろう。これら実施例は例示にすぎず、従って、本発明を限定するものではない。
【００１７】
図１を参照するに、デジタルスチルカメラは、絞り３を有するレンズと、センサ４とから成る収集ブロック２を有し、このセンサ上にレンズが、実際の場面を描写する画像を集束させる。
センサ４は、ＣＣＤ（電荷結合素子）より成るかＣＭＯＳより成るかにかかわらず、感光性セルのマトリックスを有する集積回路であって、これらセルの各々は、各セルが受けた露光量に比例する電圧を発生させる。各感光性セルによって発生された電圧はＡ／Ｄ変換器５によってＮビットのデジタル値に変換される。この値は一般に、Ｎ＝８，10又は12ビットによって表わされる。本発明では、Ｎ＝８すなわち、変換器の入力側のアナログ電圧は０及び255間に含まれるデジタル値で符号化されると仮定できるが、この値は一例であって、これに限定されない。
【００１８】
代表的なセンサでは１つの感光性セルが各画素に関連している。センサは、フィルタ素子のマトリックスから成る光学フィルタによって被覆されており、これらフィルタ素子の各々は感光性セルに関連している。各フィルタ素子は、赤色光だけ又は緑色光だけ又は青色光だけの波長に一致する光放射を、各フィルタ素子に関連する感光性セルに、この光放射の最小部分だけを吸収するように伝送する。従って、各画素に対して、加色合成の３つの原色成分（Ｒ，Ｇ，Ｂ）のうちのいずれか１つだけを検出する。
【００１９】
使用されるフィルタの種類は製造業者によって異なるが、最も一般的に用いられるフィルタは、ベイヤーフィルタ（Bayer filter）として知られている。このフィルタでは、フィルタ素子の配列パターンいわゆるベイヤーパターンを、図２ａに示すマトリックス10によって同一視する。
【００２０】
ベイヤーフィルタを用いるセンサでは、緑色成分を、チェス盤パターンに配置されたセンサの画素の半分に対して検出し、他の２つの成分を、互い違いに配置された赤色及び青色画素に対して検出する。
【００２１】
Ａ／Ｄ変換器５の出力側の画像は、１つの画素につき１つのみの成分（Ｒ，Ｇ又はＢ）によって構成されているので不完全なデジタル画像である。この理由で、Ｎ＝８ビットの１つだけのデジタル値が各画素に関連される。この画像の形式はＣＦＡ（カラーフィルタアレイ）として知られている。
【００２２】
ＣＦＡ形式の画像をプリプロセッサユニット６（“Prepro”）に送る。このユニットは、全収集段階以前及びその間の双方で活動状態であって、収集ブロック２と相互作用し、ある自動制御機能すなわち、自動焦点、自動露出、センサの欠陥の補正及びホワイトバランスを実行するのに用いられる多数のパラメータをＣＦＡ画像から抽出する。
【００２３】
いかなる制限を設けることなく、このユニットでは、収集後の画像が本発明による露出補正法を受けるものとする。
次に、不完全なＣＦＡ画像を、ＩＧＰ（Image Generation Pipeline）として既知であるユニット７に送り、このユニットは、高解像度のデジタル画像を得るための複合処理段階を実行するタスクを有する。
【００２４】
ＩＧＰブロック７によって実行される処理の中心は、不完全なＣＦＡ画像から始まり、例えばＲＧＢ形式の完全なデジタル画像を形成する復元処理から成り、この完全なデジタル画像では、成分Ｒ、Ｇ及びＢに対応する３つのデジタル値（24ビット）が各画素に関連づけられる。この変換は、例えば補間によって得られ、１つの面（ベイヤー）であるにもかかわらず３色成分のすべてに関する情報を含む面上の表現から３つの面（Ｒ、Ｇ及びＢ）上の表現に移行することを含む。
【００２５】
種々の画質改善機能はＩＧＰブロック７でも実行され、例えば、センサ４によって導入されるノイズのフィルタリングや、製造業者によって個数及び種類の双方が一般に異なる特殊効果及び他の機能の適用を含む。
【００２６】
ＩＧＰブロックの次に、通常ＪＰＥＧ型の圧縮／符号化ブロック８が続く。圧縮された画像を、メモリユニット９に記憶するか或いはある外部周辺ユニットに送ることができる。
【００２７】
本発明による補正方法はＣＦＡ画像に直接に適用され、ここでは、知覚又は内容の点で重要であると考えられる領域を視覚分析によって認識する。この後に、必要な補正の評価と、実際の補正の最終的な適用とが続く。
特に、緑色画素だけが、視覚分析及び補正の演算に含まれる。その理由は、緑色画素の個数がベイヤーパターン中で最も多いからであって、しかも、緑色成分が画像の輝度（チャンネルＹ）を近似するからである。
【００２８】
赤色及び青色画素を除去し、原画像の半分の大きさを有する画像を形式するように緑色画素を横並び配置することによって（図２ａ）、緑色マトリックスＧをＣＦＡ画像から抽出する。明らかに、この中間処理及びすべての中間処理の操作はＣＦＡソース画像のコピーに関して実行され、従って、原画像の情報が変更も破壊もされないように保証する。
【００２９】
次に、緑色マトリックスＧを、Ｋ個の重なり合わない隣接領域に分割する。ここでは、一例としてＫ＝16を用いる。簡易化のために、これら領域を、同一寸法の正方形マトリックスとするが、いかなる形状又は寸法より成る領域を同様に用いることができる。
【００３０】
次に、２つの統計的量すなわちコントラストの大きさ及び焦点を各領域に対して演算する。実際に、本発明によれば、視覚的に最も重要な領域は、最良のコントラストを有し且つ良好に集束される領域である。
【００３１】
コントラストは、画像中に存在する光のトーンの差の大きさを成し、コントラストが最も大きい領域では視覚への影響が強い。これに反して、焦点は、領域のエッジ部を鮮明にする大きさであり、高周波成分を集めた領域すなわち、極めて詳細な部分を含む画像の領域を認識するのに用いることができる。
【００３２】
これら２つの統計的量が露出不足の画像に対して演算されると、例えば、最も明るい領域は、明らかに、暗い領域よりも高いコントラストを有し、暗い領域よりも良好に集束する。
【００３３】
しかし、視覚分析は、照度にかかわらず、最も重要な領域を認識する必要がある。そのため、緑色マトリックスＧを上記存在可能なデジタル値の範囲のほぼ中心の平均デジタル値（本例では128）にすることによって得られる中間画像に対して、コントラストの大きさ及び焦点を演算する。トランスレーションと呼ばれるこの操作は、緑色マトリックスＧの変換を含み、デジタルスチルカメラの応答関数ｆ(ｑ)の知識を必要とする（図２ｃ参照）。
【００３４】
この応答関数13は、座標(ｘ,ｙ)のセンサの感光性セルに衝突する光量ｑ(ｘ,ｙ)と、対応の画素(ｘ,ｙ)に割り当てられたデジタル値Ｉ(ｘ,ｙ)との間に存在する関係すなわち、Ｉ(ｘ,ｙ)＝ｆ(ｑ(ｘ,ｙ)) を表わす。
【００３５】
簡易化のために、この関数は通常、すべての画素に対して同一であると仮定する。
図２ｃで分かるように、応答関数13は閾値領域と、飽和領域と、閾値領域と飽和領域との間に含まれる直線領域とを有する。
【００３６】
所定の収集装置の場合、応答関数ｆ(ｑ)を一度だけ校正段階の一部として演算する。
実際の演算処理は従来技術の一部を成すので、ここでは更なる検討はしない。しかし、応答関数を決定する２つの異なる方法は、“Recovering High Dynamic Radiance Maps from Photographs”（Proc. of ACM SIGGRAPH，1997，P.Debevec，J.Malik氏著）及び米国特許第5828793号明細書に詳細に記載されている。
【００３７】
しかし、実際には、応答関数ｆ(ｑ)を極めて正確に知る必要はない。すなわち、実験では、図２ｃに示す関数とほぼ同じ傾向を有する汎用関数ｆ(ｑ)でも良い結果を得ることが分かった。
【００３８】
緑色マトリックスの変換操作を、MeanGすなわち緑色画素のデジタル値の平均を演算することによって開始する。次に、変換操作後に緑色マトリックスの新たな平均値を示すデジタル値（Mean）例えばMean＝128を選択する。
【００３９】
応答関数ｆ(ｑ)を逆変換し、次に、緑色マトリックスの平均値をMeanとほぼ一致させる必要があるオフセットを常にｑの表現で表わす量Δq（図３ａ参照）すなわち、Δq＝ｆ-1(Meang)−ｆ-1(Mean)を決定する。
【００４０】
オフセット量Δqを得た後、緑色画素のデジタル値Ｇ(ｘ,ｙ)を変換操作によって以下の式のデジタル値ＧT(ｘ,ｙ)すなわち、ＧT(ｘ,ｙ)＝ｆ(Δq+ｆ-1(Ｇ(ｘ,ｙ)))に変更する。
【００４１】
この変換操作を図３ｂに線図的に示す。
変換操作に従い、新たな緑色マトリックスＧTを得る。この緑色マトリックスＧTは、ソース画像の緑色マトリックスＧの同じ実際の場面を表現するという特徴を有する。緑色マトリックスＧTを同様にＫ個の領域に分割し、ソース画像の緑色マトリックスＧの分割を反映する。
【００４２】
次に、緑色マトリックスＧTの領域の各々に対して、コントラストの大きさを演算する。いずれの所定の領域に対しても、画素の強度ＧT＝ｉ（ｉ＝０...255）のヒストグラムを構成し、このヒストグラムの平均値Ｍから偏差Ｄを求めることによってコントラストの大きさを得る。
【００４３】
このヒストグラムはデジタル値ｉ（ｉ＝０...255）の離散関数Ｉ[ｉ]であり、この離散関数は緑色画素の個数を、これに関連する各デジタル値ｉに関連づける。ヒストグラムの平均値からの偏差Ｄは以下の式に基づいて演算される。すなわち、
【数１】
ここで、Ｍはヒストグラムの平均値すなわち、
【数２】
である。
【００４４】
大きい偏差は、高いコントラストを示すので、偏差は、問題になっている領域のコントラストの正しい大きさＤを表わす。
【００４５】
可能な変形例は、偏差Ｄを演算する前に、ヒストグラムを、存在可能で且つ重要でない最大値を除去するようにフィルタリングすることを含む。実際にこの種の簡単なフィルタリングは、ヒストグラムの各値をこの値とある数の隣接値とにより置換えることによって得る。
【００４６】
大きさＤをすべての領域に対して得た後、これら大きさを、最も大きいＤに対して値１を割り当てることによって範囲［０；１］内に正規化する。
ＧTの各領域をデジタルハイパスフィルタでフィルタリングすることによって、焦点の大きさＦをＫ個の領域に対して割り当てる。
【００４７】
所定の領域に対して焦点の大きさＦを、領域の一部分を形成するフィルタ画素の平均として演算する。ある高周波ノイズ成分を除去することを考慮して、ある任意の閾値を超えたフィルタ値を有するすべての画素を平均から除去することも可能である。デジタルハイパスフィルタリングを、例えば、図２ｂのマトリックス12によって示す３×３のラプラスフィルタで、各領域にコンボリューションを実行することによって得る。
【００４８】
焦点の大きさＦをこの場合も範囲［０；１］内に正規化した後、視覚の重要性の指標を表わす量Ｖすなわち、Ｖ＝α×Ｄ＋(１−α)×Ｆを演算する。ここでαは、０と１との間の実数である。
【００４９】
指標Ｖが、予め決定した閾値（例えばＶt＝0.5）を超える領域は、視覚的に重要であると認識される。
この基本的な解決策は幾つかの変形を生じさせることができる。例えば、場面の中心位置を占める領域に対して追加の重み係数をＶに含めることができる。その理由は、これら領域がしばしば、写真の主な被写体を含むからである。他の改良点では、すべての飽和した又は極めてノイズの多い領域を除去する、或いは、領域の知覚的重要性を示す他の統計的量を追加することを含む。
【００５０】
重要な領域を認識した後、正確な意味での補正操作を実行できる。この操作はこの場合も変換操作であるが、今回はＣＦＡ画像全体を含む。重要な領域の緑色画素の平均値を、上述した最適な露出の定義に従って上記存在可能なデジタル値の範囲の中心とほぼ一致させるように変換操作を行なう。
【００５１】
この目的のため、すべての重要な領域の変換されていない緑色マトリックスＧの緑色画素のデジタル値の平均MeangVを演算し、次に、重要な領域の緑色成分が、上記存在可能なデジタル値の範囲の中心とほぼ一致する平均値MeanVを有するように、画像の露出を補正するのに必要とされるオフセット量ΔqV、すなわち、ΔqV ＝ｆ-1(MeangV)−ｆ-1(MeanV)を決定する。
【００５２】
ΔqVが判明したら、赤色及び青色画素を含むＣＦＡ画像の全体を、上述した変換操作とあらゆる点で同一の変換操作を行なうことによって補正できる。
より正確に、文字Ｐを用いて、ＣＦＡ形式のソース画像を構成するマトリックスＰ(ｘ,ｙ)を表わすならば、補正されたＣＦＡ画像ＰTのデジタル値ＰT(ｘ,ｙ)は、以下の変換すなわち、ＰT(ｘ,ｙ)＝ｆ(ΔqV+ｆ-1(Ｐ(ｘ,ｙ)))を行なうことにより得られる。
【００５３】
しかし、ある種類の画像の場合、１回だけの補正では充分でないかもしれない。すなわち、これらの場合、補正方法を数回適用することによって、最良の最終結果を得ることができる。このことは、画像の補正が、誤った露出を最初に受けやすい重要な領域の認識をも改善し、従って、次の補正工程をより有効にするという事実による。
【００５４】
ここで提案した方法は、得られたＣＦＡ画像を、１回の工程又は数回の工程で、これら画像が補間される前に、重要な部分の再現が改善される最終画像を形成するように補正できる。補間された画像はＣＦＡ画像の３倍のメモリ空間を占めるので、本発明による方法は、メモリの占有、計算時間及びエネルギー消費量の点でかなりの節約を達成する。
【図面の簡単な説明】
【図１】 本発明による方法を用いる収集システムの論理ブロック線図を示す。
【図２】 ａはベイヤーフィルタのフィルタ素子及び緑色マトリックスの抽出処理のレイアウトパターンを示し、ｂはラプラスデジタルフィルタのコンボリューションマトリックスを示し、ｃはデジタルスチルカメラの応答関数ｆ(ｑ)を示す。
【図３】 ａはオフセット計算をグラフに表わし、ｂは緑色マトリックスＧの変換処理をグラフに表わす。
【符号の説明】
２ 収集ブロック
３ 絞り
４ センサ
５ Ａ／Ｄ変換器
６ プリプロセッサユニット
７ ＩＧＰユニット
８ ＪＰＥＧ型圧縮／符号化ブロック
９ メモリユニット
【発明の属する技術分野】
本発明はデジタル形式の画像処理に関するものであって、特に、最適でない露出で得られた画像の品質を改善するため、デジタルスチルカメラで有利に用いることができる方法に関するものである。
【０００２】
【従来の技術】
デジタルスチルカメラ（すなわちＤＳＣ）は現在、デジタル画像を得る装置のうちで最も一般的に用いられている。高解像度のセンサと、低費用で且つ低電力消費量のデジタル信号処理装置（ＤＳＰ）との双方が商業で容易に利用されているという事実は、かなりの解像度及び品質の画像を得ることができるデジタルスチルカメラの改善につながっている。
【０００３】
これらカメラでは、従来のスチルカメラでも同様に、依然として解決するのが困難な問題が、収集段階で用いられる最良の露出を判断することによって代表される。
絞りの大きさ及びシャッタ速度の双方に作用することによって得られる露出制御は、収集中、センサ特に、センサを構成する感光性セルに衝突する光の量を制御することを可能にする。デジタルスチルカメラでは、ゲイン又は、類似的に、感光性セルの感度を変化させることによって露出を調整することもできる。
【０００４】
正確な露出は、収集手段の限定された動的応答を最適に用いることによって、良好で且つ均等の色調の画像を得、場面のコントラストを最適に再現し、場面内のいかなる照明変化をも最良に表現できるようにする。実際に、画素の数的表現とセンサ特性とに有効なビットの有限数を与えられると、デジタルスチルカメラは、所定の場面で見つけられる輝度変化に対して、限定された応答すなわち限定された動的範囲を有する。
【０００５】
現代のデジタルスチルカメラは、露出を自動的に設定するのに幾つかの技術を用いる。これらの技術は“露出計”として知られており、複数の異なる基準に応じて動作する。しかし、これら基準のすべては、得るべき場面又はこの場面の特定の領域に関連した又は入射した光の量を判断する大きさに基づいている。
【０００６】
ある技術は完全に自動であり、適切な例は、“平均／自動露出計”又は、更に複合の“マトリックス／インテリジェント露出計”に基づく技術によって代表される。他の技術は、この場合もカメラマンに露出の選択についてある制御を与え、従って、個人的な好みに対して余地を与え、或いは、特定の必要性を満足させることができる。
【０００７】
露出を調整する種々の既知の方法にもかかわらず、しかもこれらの方法のいくつかの複雑性にもかかわらず、画像が、最適でない又は不適切な露出で得られることはどうしても珍しくない。
【０００８】
いかなる場合でも、最良の露出の正確な定義は存在しない。その理由は、この定義が、画像の内容及び観察者の個人的な好みの双方によるためである。場面が特定の露出設定を必要としなければ、一般化を抽出し、最も重要な（内容又は知覚の基準によって最も重要なものに思われる）領域を、再現可能な範囲のほぼ中心のグレーレベル又は輝度で再現できる特定の露出を、最良と定義することができる。
【０００９】
従って、最適な露出は、ＹCrCbの形式で表現されるとき、最も重要な領域に関連する輝度面Ｙのデジタル値の平均値が、存在可能なデジタル値の範囲のほぼ中心の値を有することを特徴とするデジタル画像を再現する。
【００１０】
種々のいわゆる補正方法が、一般に、画像内の視感度分布を変更することによって、得られた画像の品質を改善することは知られている。
最も一般的な補正方法のうちの１つはいわゆる“ヒストグラム等化”であり、この方法は幾つかの既知の変形を有する。
【００１１】
ヒストグラム等化は、特に米国特許第5923383号明細書に詳細に記載されており、画素の光強度に対応するデジタル値の分布のヒストグラムを画像から抽出し、次に、このヒストグラムを均等化して良好な品質の画像を形成させる。
【００１２】
他の既知の露出補正方法と同様に、この方法に関連する問題は、知覚又は内容のどちらかの観点から重要である領域が画像に存在するという事実を考慮していないということである。
【００１３】
更に、当業者に既知である方法は、デジタルスチルカメラに伝統的に用いられる補間処理後の画像に、センサによって形成された、１つの面が着色されたＣＦＡ（カラーフィルタアレイ）画像から開始して３つの全解像度面の画像を形成させるように作用することによって補正を行なう。この理由のため、既知の補正方法は計算費用の観点から最適でない。
【００１４】
【発明が解決しようとする課題】
従って、本発明は、最適でない露出で得られたデジタル画像の品質を改善する露出補正方法であって、既知の方法と関連する欠点のない露出補正方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明によれば、デジタル値Ｐ(ｘ,ｙ) 又は画素のマトリックスＰより成るデジタル画像Ｐであって、これら画素の各々が位置(ｘ,ｙ)に基づいて赤色、緑色又は青色形式の色成分に関連し、前記デジタル値の各々が、所定の最大数と所定の最小数との間に存在可能なデジタル値の範囲の一部分を形成しているデジタル画像の品質を改善する改善方法であって、この改善方法が、前記画像Ｐの前記デジタル値Ｐ(ｘ,ｙ)と、前記デジタル値を生じさせる光量の大きさｑ(ｘ,ｙ)との間の関係を表わす応答関数ｆを確定する操作と、赤色及び青色成分と関連された画素を除去することによって画像Ｐから得られた緑色成分に関連する前記画素のマトリックスＧを前記画像Ｐから抽出する操作と、前記画像Ｐを、複数の隣接され且つ重なり合わない領域に分割する操作と、前記マトリックスＧの視覚的に重要な領域を選択する操作と、デジタル値Meanvを前記存在可能なデジタル値の範囲のほぼ中心に確定する操作と、前記重要な領域の一部分を形成する前記マトリックスＧのデジタル値の平均を前記デジタル値Meanvと一致させるように前記応答関数を逆変換することにより前記画像Ｐの前記デジタル値の変換を行なうことによって補正された画像ＰTを得るように前記画像Ｐを変更する操作とを有する改善方法において、デジタル値Meanを前記存在可能なデジタル値の範囲のほぼ中心に確定する操作と、前記マトリックスＧの画素の平均値を前記デジタル値Meanとほぼ一致させるように前記応答関数ｆを逆変換することにより前記マトリックスＧのデジタル値の変換を行なうことによって前記マトリックスＧからマトリックスＧTを得る操作と、前記マトリックスＧTを、マトリックスＧの領域に対応する領域に分割する操作と、前記マトリックスＧTの前記対応する領域の画素の少なくとも１つのコントラストの大きさＤと、少なくとも１つの焦点の大きさＦとに基づいて計算された視覚の重要性の指標Ｖを前記マトリックスＧのすべての領域に割り当てる操作と、閾値Ｖtを確定する操作と、視覚の重要性の指標Ｖが前記閾値Ｖtより大きい前記マトリックスＧの領域を選択する操作とを実行することによって前記マトリックスＧの前記重要な領域を選択することを特徴とする改善方法によって本目的を達成する。
【００１６】
【発明の実施の形態】
本発明を、添付図面と共に、以下に示す特定の実施例の詳細な説明によって更に良く理解できるであろう。これら実施例は例示にすぎず、従って、本発明を限定するものではない。
【００１７】
図１を参照するに、デジタルスチルカメラは、絞り３を有するレンズと、センサ４とから成る収集ブロック２を有し、このセンサ上にレンズが、実際の場面を描写する画像を集束させる。
センサ４は、ＣＣＤ（電荷結合素子）より成るかＣＭＯＳより成るかにかかわらず、感光性セルのマトリックスを有する集積回路であって、これらセルの各々は、各セルが受けた露光量に比例する電圧を発生させる。各感光性セルによって発生された電圧はＡ／Ｄ変換器５によってＮビットのデジタル値に変換される。この値は一般に、Ｎ＝８，10又は12ビットによって表わされる。本発明では、Ｎ＝８すなわち、変換器の入力側のアナログ電圧は０及び255間に含まれるデジタル値で符号化されると仮定できるが、この値は一例であって、これに限定されない。
【００１８】
代表的なセンサでは１つの感光性セルが各画素に関連している。センサは、フィルタ素子のマトリックスから成る光学フィルタによって被覆されており、これらフィルタ素子の各々は感光性セルに関連している。各フィルタ素子は、赤色光だけ又は緑色光だけ又は青色光だけの波長に一致する光放射を、各フィルタ素子に関連する感光性セルに、この光放射の最小部分だけを吸収するように伝送する。従って、各画素に対して、加色合成の３つの原色成分（Ｒ，Ｇ，Ｂ）のうちのいずれか１つだけを検出する。
【００１９】
使用されるフィルタの種類は製造業者によって異なるが、最も一般的に用いられるフィルタは、ベイヤーフィルタ（Bayer filter）として知られている。このフィルタでは、フィルタ素子の配列パターンいわゆるベイヤーパターンを、図２ａに示すマトリックス10によって同一視する。
【００２０】
ベイヤーフィルタを用いるセンサでは、緑色成分を、チェス盤パターンに配置されたセンサの画素の半分に対して検出し、他の２つの成分を、互い違いに配置された赤色及び青色画素に対して検出する。
【００２１】
Ａ／Ｄ変換器５の出力側の画像は、１つの画素につき１つのみの成分（Ｒ，Ｇ又はＢ）によって構成されているので不完全なデジタル画像である。この理由で、Ｎ＝８ビットの１つだけのデジタル値が各画素に関連される。この画像の形式はＣＦＡ（カラーフィルタアレイ）として知られている。
【００２２】
ＣＦＡ形式の画像をプリプロセッサユニット６（“Prepro”）に送る。このユニットは、全収集段階以前及びその間の双方で活動状態であって、収集ブロック２と相互作用し、ある自動制御機能すなわち、自動焦点、自動露出、センサの欠陥の補正及びホワイトバランスを実行するのに用いられる多数のパラメータをＣＦＡ画像から抽出する。
【００２３】
いかなる制限を設けることなく、このユニットでは、収集後の画像が本発明による露出補正法を受けるものとする。
次に、不完全なＣＦＡ画像を、ＩＧＰ（Image Generation Pipeline）として既知であるユニット７に送り、このユニットは、高解像度のデジタル画像を得るための複合処理段階を実行するタスクを有する。
【００２４】
ＩＧＰブロック７によって実行される処理の中心は、不完全なＣＦＡ画像から始まり、例えばＲＧＢ形式の完全なデジタル画像を形成する復元処理から成り、この完全なデジタル画像では、成分Ｒ、Ｇ及びＢに対応する３つのデジタル値（24ビット）が各画素に関連づけられる。この変換は、例えば補間によって得られ、１つの面（ベイヤー）であるにもかかわらず３色成分のすべてに関する情報を含む面上の表現から３つの面（Ｒ、Ｇ及びＢ）上の表現に移行することを含む。
【００２５】
種々の画質改善機能はＩＧＰブロック７でも実行され、例えば、センサ４によって導入されるノイズのフィルタリングや、製造業者によって個数及び種類の双方が一般に異なる特殊効果及び他の機能の適用を含む。
【００２６】
ＩＧＰブロックの次に、通常ＪＰＥＧ型の圧縮／符号化ブロック８が続く。圧縮された画像を、メモリユニット９に記憶するか或いはある外部周辺ユニットに送ることができる。
【００２７】
本発明による補正方法はＣＦＡ画像に直接に適用され、ここでは、知覚又は内容の点で重要であると考えられる領域を視覚分析によって認識する。この後に、必要な補正の評価と、実際の補正の最終的な適用とが続く。
特に、緑色画素だけが、視覚分析及び補正の演算に含まれる。その理由は、緑色画素の個数がベイヤーパターン中で最も多いからであって、しかも、緑色成分が画像の輝度（チャンネルＹ）を近似するからである。
【００２８】
赤色及び青色画素を除去し、原画像の半分の大きさを有する画像を形式するように緑色画素を横並び配置することによって（図２ａ）、緑色マトリックスＧをＣＦＡ画像から抽出する。明らかに、この中間処理及びすべての中間処理の操作はＣＦＡソース画像のコピーに関して実行され、従って、原画像の情報が変更も破壊もされないように保証する。
【００２９】
次に、緑色マトリックスＧを、Ｋ個の重なり合わない隣接領域に分割する。ここでは、一例としてＫ＝16を用いる。簡易化のために、これら領域を、同一寸法の正方形マトリックスとするが、いかなる形状又は寸法より成る領域を同様に用いることができる。
【００３０】
次に、２つの統計的量すなわちコントラストの大きさ及び焦点を各領域に対して演算する。実際に、本発明によれば、視覚的に最も重要な領域は、最良のコントラストを有し且つ良好に集束される領域である。
【００３１】
コントラストは、画像中に存在する光のトーンの差の大きさを成し、コントラストが最も大きい領域では視覚への影響が強い。これに反して、焦点は、領域のエッジ部を鮮明にする大きさであり、高周波成分を集めた領域すなわち、極めて詳細な部分を含む画像の領域を認識するのに用いることができる。
【００３２】
これら２つの統計的量が露出不足の画像に対して演算されると、例えば、最も明るい領域は、明らかに、暗い領域よりも高いコントラストを有し、暗い領域よりも良好に集束する。
【００３３】
しかし、視覚分析は、照度にかかわらず、最も重要な領域を認識する必要がある。そのため、緑色マトリックスＧを上記存在可能なデジタル値の範囲のほぼ中心の平均デジタル値（本例では128）にすることによって得られる中間画像に対して、コントラストの大きさ及び焦点を演算する。トランスレーションと呼ばれるこの操作は、緑色マトリックスＧの変換を含み、デジタルスチルカメラの応答関数ｆ(ｑ)の知識を必要とする（図２ｃ参照）。
【００３４】
この応答関数13は、座標(ｘ,ｙ)のセンサの感光性セルに衝突する光量ｑ(ｘ,ｙ)と、対応の画素(ｘ,ｙ)に割り当てられたデジタル値Ｉ(ｘ,ｙ)との間に存在する関係すなわち、Ｉ(ｘ,ｙ)＝ｆ(ｑ(ｘ,ｙ)) を表わす。
【００３５】
簡易化のために、この関数は通常、すべての画素に対して同一であると仮定する。
図２ｃで分かるように、応答関数13は閾値領域と、飽和領域と、閾値領域と飽和領域との間に含まれる直線領域とを有する。
【００３６】
所定の収集装置の場合、応答関数ｆ(ｑ)を一度だけ校正段階の一部として演算する。
実際の演算処理は従来技術の一部を成すので、ここでは更なる検討はしない。しかし、応答関数を決定する２つの異なる方法は、“Recovering High Dynamic Radiance Maps from Photographs”（Proc. of ACM SIGGRAPH，1997，P.Debevec，J.Malik氏著）及び米国特許第5828793号明細書に詳細に記載されている。
【００３７】
しかし、実際には、応答関数ｆ(ｑ)を極めて正確に知る必要はない。すなわち、実験では、図２ｃに示す関数とほぼ同じ傾向を有する汎用関数ｆ(ｑ)でも良い結果を得ることが分かった。
【００３８】
緑色マトリックスの変換操作を、MeanGすなわち緑色画素のデジタル値の平均を演算することによって開始する。次に、変換操作後に緑色マトリックスの新たな平均値を示すデジタル値（Mean）例えばMean＝128を選択する。
【００３９】
応答関数ｆ(ｑ)を逆変換し、次に、緑色マトリックスの平均値をMeanとほぼ一致させる必要があるオフセットを常にｑの表現で表わす量Δq（図３ａ参照）すなわち、Δq＝ｆ-1(Meang)−ｆ-1(Mean)を決定する。
【００４０】
オフセット量Δqを得た後、緑色画素のデジタル値Ｇ(ｘ,ｙ)を変換操作によって以下の式のデジタル値ＧT(ｘ,ｙ)すなわち、ＧT(ｘ,ｙ)＝ｆ(Δq+ｆ-1(Ｇ(ｘ,ｙ)))に変更する。
【００４１】
この変換操作を図３ｂに線図的に示す。
変換操作に従い、新たな緑色マトリックスＧTを得る。この緑色マトリックスＧTは、ソース画像の緑色マトリックスＧの同じ実際の場面を表現するという特徴を有する。緑色マトリックスＧTを同様にＫ個の領域に分割し、ソース画像の緑色マトリックスＧの分割を反映する。
【００４２】
次に、緑色マトリックスＧTの領域の各々に対して、コントラストの大きさを演算する。いずれの所定の領域に対しても、画素の強度ＧT＝ｉ（ｉ＝０...255）のヒストグラムを構成し、このヒストグラムの平均値Ｍから偏差Ｄを求めることによってコントラストの大きさを得る。
【００４３】
このヒストグラムはデジタル値ｉ（ｉ＝０...255）の離散関数Ｉ[ｉ]であり、この離散関数は緑色画素の個数を、これに関連する各デジタル値ｉに関連づける。ヒストグラムの平均値からの偏差Ｄは以下の式に基づいて演算される。すなわち、
【数１】
【数２】
【００４４】
大きい偏差は、高いコントラストを示すので、偏差は、問題になっている領域のコントラストの正しい大きさＤを表わす。
【００４５】
可能な変形例は、偏差Ｄを演算する前に、ヒストグラムを、存在可能で且つ重要でない最大値を除去するようにフィルタリングすることを含む。実際にこの種の簡単なフィルタリングは、ヒストグラムの各値をこの値とある数の隣接値とにより置換えることによって得る。
【００４６】
大きさＤをすべての領域に対して得た後、これら大きさを、最も大きいＤに対して値１を割り当てることによって範囲［０；１］内に正規化する。
ＧTの各領域をデジタルハイパスフィルタでフィルタリングすることによって、焦点の大きさＦをＫ個の領域に対して割り当てる。
【００４７】
所定の領域に対して焦点の大きさＦを、領域の一部分を形成するフィルタ画素の平均として演算する。ある高周波ノイズ成分を除去することを考慮して、ある任意の閾値を超えたフィルタ値を有するすべての画素を平均から除去することも可能である。デジタルハイパスフィルタリングを、例えば、図２ｂのマトリックス12によって示す３×３のラプラスフィルタで、各領域にコンボリューションを実行することによって得る。
【００４８】
焦点の大きさＦをこの場合も範囲［０；１］内に正規化した後、視覚の重要性の指標を表わす量Ｖすなわち、Ｖ＝α×Ｄ＋(１−α)×Ｆを演算する。ここでαは、０と１との間の実数である。
【００４９】
指標Ｖが、予め決定した閾値（例えばＶt＝0.5）を超える領域は、視覚的に重要であると認識される。
この基本的な解決策は幾つかの変形を生じさせることができる。例えば、場面の中心位置を占める領域に対して追加の重み係数をＶに含めることができる。その理由は、これら領域がしばしば、写真の主な被写体を含むからである。他の改良点では、すべての飽和した又は極めてノイズの多い領域を除去する、或いは、領域の知覚的重要性を示す他の統計的量を追加することを含む。
【００５０】
重要な領域を認識した後、正確な意味での補正操作を実行できる。この操作はこの場合も変換操作であるが、今回はＣＦＡ画像全体を含む。重要な領域の緑色画素の平均値を、上述した最適な露出の定義に従って上記存在可能なデジタル値の範囲の中心とほぼ一致させるように変換操作を行なう。
【００５１】
この目的のため、すべての重要な領域の変換されていない緑色マトリックスＧの緑色画素のデジタル値の平均MeangVを演算し、次に、重要な領域の緑色成分が、上記存在可能なデジタル値の範囲の中心とほぼ一致する平均値MeanVを有するように、画像の露出を補正するのに必要とされるオフセット量ΔqV、すなわち、ΔqV ＝ｆ-1(MeangV)−ｆ-1(MeanV)を決定する。
【００５２】
ΔqVが判明したら、赤色及び青色画素を含むＣＦＡ画像の全体を、上述した変換操作とあらゆる点で同一の変換操作を行なうことによって補正できる。
より正確に、文字Ｐを用いて、ＣＦＡ形式のソース画像を構成するマトリックスＰ(ｘ,ｙ)を表わすならば、補正されたＣＦＡ画像ＰTのデジタル値ＰT(ｘ,ｙ)は、以下の変換すなわち、ＰT(ｘ,ｙ)＝ｆ(ΔqV+ｆ-1(Ｐ(ｘ,ｙ)))を行なうことにより得られる。
【００５３】
しかし、ある種類の画像の場合、１回だけの補正では充分でないかもしれない。すなわち、これらの場合、補正方法を数回適用することによって、最良の最終結果を得ることができる。このことは、画像の補正が、誤った露出を最初に受けやすい重要な領域の認識をも改善し、従って、次の補正工程をより有効にするという事実による。
【００５４】
ここで提案した方法は、得られたＣＦＡ画像を、１回の工程又は数回の工程で、これら画像が補間される前に、重要な部分の再現が改善される最終画像を形成するように補正できる。補間された画像はＣＦＡ画像の３倍のメモリ空間を占めるので、本発明による方法は、メモリの占有、計算時間及びエネルギー消費量の点でかなりの節約を達成する。
【図面の簡単な説明】
【図１】 本発明による方法を用いる収集システムの論理ブロック線図を示す。
【図２】 ａはベイヤーフィルタのフィルタ素子及び緑色マトリックスの抽出処理のレイアウトパターンを示し、ｂはラプラスデジタルフィルタのコンボリューションマトリックスを示し、ｃはデジタルスチルカメラの応答関数ｆ(ｑ)を示す。
【図３】 ａはオフセット計算をグラフに表わし、ｂは緑色マトリックスＧの変換処理をグラフに表わす。
【符号の説明】
２ 収集ブロック
３ 絞り
４ センサ
５ Ａ／Ｄ変換器
６ プリプロセッサユニット
７ ＩＧＰユニット
８ ＪＰＥＧ型圧縮／符号化ブロック
９ メモリユニット
Claims (9)
- デジタル値Ｐ(ｘ,ｙ) 又は画素のマトリックスより成るデジタル画像Ｐであって、これらの画素の各々が当該画素の位置(ｘ,ｙ)に基づいて赤色、緑色又は青色の色成分に関連し、前記デジタル値の各々が、所定の最大数と所定の最小数との間に存在可能なデジタル値の範囲の一部分を形成しているデジタル画像の品質を改善する改善方法であって、この方法が、
前記デジタル値Ｐ(ｘ,ｙ)と、前記デジタル値Ｐ(ｘ,ｙ)を生じさせる光量の大きさｑ(ｘ,ｙ)との関係を表わす応答関数ｆを確定する操作と、
赤色成分及び青色成分に関連する前記画素を除去することによって画像Ｐから得られた、緑色成分に関連する前記画素のマトリックスＧを、前記画像Ｐから抽出する操作と、
前記マトリックスＧを、複数の隣接し且つ重なり合わない領域に分割する操作と、
前記マトリックスＧの前記領域から視覚的に重要な領域を選択する操作と、
デジタル値Meanvを前記存在可能なデジタル値の範囲のほぼ中心に確定する操作と、
前記重要な領域の一部分を形成する前記マトリックスＧのデジタル値の平均値を前記デジタル値Meanvと一致させるように前記応答関数ｆを逆変換することにより前記画像Ｐの前記デジタル値Ｐ(ｘ,ｙ)の変換を行なうことによって、前記画像Ｐを修正して補正された画像ＰTを得る操作と
を有するデジタル画像の品質改善方法において、
デジタル値Meanを前記存在可能なデジタル値の範囲のほぼ中心に確定する操作と、
前記マトリックスＧの画素の平均値を前記デジタル値Meanとほぼ一致させるように前記応答関数ｆを逆変換することにより前記マトリックスＧのデジタル値の変換を行なうことによって、前記マトリックスＧからマトリックスＧTを得る操作と、
前記マトリックスＧTを、前記マトリックスＧの領域に対応する領域に分割する操作と、
前記マトリックスＧTの前記対応する領域の画素の少なくとも１つのコントラストの大きさＤと少なくとも１つの焦点の大きさＦとに基づいて計算された視覚の重要性の指標Ｖを、前記マトリックスＧのすべての領域に割り当てる操作と、
閾値Ｖtを確定する操作と、
前記視覚の重要性の指標Ｖが前記閾値Ｖtより大きい前記マトリックスＧの領域を選択する操作と
を実行することによって、前記マトリックスＧの前記重要な領域を選択することを特徴とするデジタル画像の品質改善方法。 - 前記デジタル画像Ｐをベイヤー形式のＣＦＡ画像とする請求項１に記載の方法。
- 前記マトリックスＧ及びＧTを、同一寸法の正方形マトリックスに分割する請求項１又は２に記載の方法。
- 所定の領域に対するコントラストの大きさＤを、当該領域の一部分を形成する前記マトリックスＧTのデジタル値の分布のヒストグラムの偏差とする請求項１〜３のいずれか一項に記載の方法。
- 所定の領域の一部分を形成する前記マトリックスＧT のデジタル値を、デジタルハイパスフィルタを用いてフィルタリングし、フィルタリングされたデジタル値の平均値を決定することによって、当該領域に対する焦点の大きさＦを得る請求項１〜４のいずれか一項に記載の方法。
- 前記デジタルハイパスフィルタのフィルタリングを、３×３ラプラスフィルタで前記領域のコンボリューションを行なうことによって得る請求項５に記載の方法。
- フィルタリング後、特定閾値を超えたデジタル値を前記平均値から除去する請求項５又は６に記載の方法。
- 前記大きさＦ及びＤを範囲[０；１]内で正規化し、前記指標ＶをＶ＝α×Ｄ＋(１−α) ×Ｆとし、ここでαは０と１との間の実数である請求項１〜７のいずれか一項に記載の方法。
- 前記指標Ｖを、前記デジタル画像の中心位置を占める領域に対して追加の係数を含めることによって計算する請求項１〜８のいずれか一項に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01830803A EP1326209B1 (en) | 2001-12-24 | 2001-12-24 | Method for contrast enhancement in colour digital image |
| EP01830803:1 | 2001-12-24 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003199115A JP2003199115A (ja) | 2003-07-11 |
| JP4290965B2 true JP4290965B2 (ja) | 2009-07-08 |
Family
ID=8184834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002331847A Expired - Lifetime JP4290965B2 (ja) | 2001-12-24 | 2002-11-15 | デジタル画像の品質を改善する方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7227991B2 (ja) |
| EP (1) | EP1326209B1 (ja) |
| JP (1) | JP4290965B2 (ja) |
| DE (1) | DE60130671D1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60314851D1 (de) | 2003-05-19 | 2007-08-23 | St Microelectronics Sa | Bildverarbeitungsverfahren für numerische Bilder mit Belichtungskorrektur durch Erkennung von Hautbereichen des Gegenstandes |
| US7609847B2 (en) * | 2004-11-23 | 2009-10-27 | Hewlett-Packard Development Company, L.P. | Methods and systems for determining object layouts |
| KR100636971B1 (ko) * | 2004-12-30 | 2006-10-19 | 매그나칩 반도체 유한회사 | 이미지센서의 포커스 데이타 생성 장치 및 방법 |
| US7570810B2 (en) | 2005-02-24 | 2009-08-04 | Seiko Epson Corporation | Method and apparatus applying digital image filtering to color filter array data |
| US8005297B2 (en) * | 2006-01-18 | 2011-08-23 | Qualcomm Incorporated | Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing |
| JP2008170378A (ja) * | 2007-01-15 | 2008-07-24 | Seiko Epson Corp | シンチレーション評価方法およびシンチレーション評価装置 |
| EP1986046B1 (en) * | 2007-03-08 | 2014-07-16 | Cellavision AB | A method for determining an in-focus position and a vision inspection system |
| JP2011130241A (ja) * | 2009-12-18 | 2011-06-30 | Fujifilm Corp | 撮像装置 |
| EP2550808A2 (en) * | 2010-03-24 | 2013-01-30 | Mritunjay Singh | Method and system for robust and flexible extraction of image information using color filter arrays |
| EP2564373B1 (en) * | 2010-04-26 | 2014-12-17 | Robert Bosch GmbH | Detection and/or enhancement of contrast differences in digital image data |
| US8666162B1 (en) * | 2010-12-20 | 2014-03-04 | Csr Technology Inc. | Advanced sensor binning correction |
| US11069074B2 (en) | 2018-04-23 | 2021-07-20 | Cognex Corporation | Systems and methods for improved 3-D data reconstruction from stereo-temporal image sequences |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5461425A (en) * | 1994-02-15 | 1995-10-24 | Stanford University | CMOS image sensor with pixel level A/D conversion |
| US5828406A (en) * | 1994-12-30 | 1998-10-27 | Eastman Kodak Company | Electronic camera having a processor for mapping image pixel signals into color display pixels |
| US6985172B1 (en) * | 1995-12-01 | 2006-01-10 | Southwest Research Institute | Model-based incident detection system with motion classification |
| EP0801360B1 (en) * | 1996-04-10 | 2002-11-06 | Samsung Electronics Co., Ltd. | Image quality enhancing method using mean-matching histogram equalization and a circuit therefor |
| US6049626A (en) * | 1996-10-09 | 2000-04-11 | Samsung Electronics Co., Ltd. | Image enhancing method and circuit using mean separate/quantized mean separate histogram equalization and color compensation |
| US6226034B1 (en) * | 1997-05-06 | 2001-05-01 | Roper Scientificomasd, Inc. | Spatial non-uniformity correction of a color sensor |
| AUPP058197A0 (en) * | 1997-11-27 | 1997-12-18 | A.I. Scientific Pty Ltd | Pathology sample tube distributor |
| JP3532781B2 (ja) * | 1999-02-12 | 2004-05-31 | 株式会社メガチップス | 画像入力装置の画像処理回路 |
| US7573508B1 (en) * | 1999-02-19 | 2009-08-11 | Sony Corporation | Image signal processing apparatus and method for performing an adaptation process on an image signal |
| US6803955B1 (en) * | 1999-03-03 | 2004-10-12 | Olympus Corporation | Imaging device and imaging apparatus |
| AUPQ289099A0 (en) * | 1999-09-16 | 1999-10-07 | Silverbrook Research Pty Ltd | Method and apparatus for manipulating a bayer image |
| US7289154B2 (en) * | 2000-05-10 | 2007-10-30 | Eastman Kodak Company | Digital image processing method and apparatus for brightness adjustment of digital images |
| DE60039689D1 (de) * | 2000-07-10 | 2008-09-11 | St Microelectronics Srl | Verfahren zur Kompression digitaler Bilder |
| JP5108172B2 (ja) * | 2000-09-06 | 2012-12-26 | 株式会社ニコン | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 |
| US7479998B2 (en) * | 2001-01-09 | 2009-01-20 | Sony Corporation | Image pickup and conversion apparatus |
| US6898331B2 (en) * | 2002-08-28 | 2005-05-24 | Bae Systems Aircraft Controls, Inc. | Image fusion system and method |
-
2001
- 2001-12-24 DE DE60130671T patent/DE60130671D1/de not_active Expired - Lifetime
- 2001-12-24 EP EP01830803A patent/EP1326209B1/en not_active Expired - Lifetime
-
2002
- 2002-11-15 JP JP2002331847A patent/JP4290965B2/ja not_active Expired - Lifetime
- 2002-12-18 US US10/323,589 patent/US7227991B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US7227991B2 (en) | 2007-06-05 |
| EP1326209A1 (en) | 2003-07-09 |
| JP2003199115A (ja) | 2003-07-11 |
| US20030218679A1 (en) | 2003-11-27 |
| DE60130671D1 (de) | 2007-11-08 |
| EP1326209B1 (en) | 2007-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8624923B2 (en) | Method of forming an image based on a plurality of image frames, image processing system and digital camera | |
| US7548689B2 (en) | Image processing method | |
| JP4233257B2 (ja) | 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用 | |
| JP4593449B2 (ja) | 検知装置及びエネルギー場の検知方法 | |
| RU2397542C2 (ru) | Способ и устройство для создания изображений с высоким динамическим диапазоном из множественных экспозиций | |
| CN110930301B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US20140176592A1 (en) | Configuring two-dimensional image processing based on light-field parameters | |
| US20060215932A1 (en) | Method for merging digital images to obtain a high dynamic range digital image | |
| JP6999802B2 (ja) | ダブルカメラベースの撮像のための方法および装置 | |
| EP1834302A1 (en) | Automatic white balancing of colour gain values | |
| JP2004088149A (ja) | 撮像システムおよび画像処理プログラム | |
| US20110150357A1 (en) | Method for creating high dynamic range image | |
| JP4290965B2 (ja) | デジタル画像の品質を改善する方法 | |
| KR20070078463A (ko) | 이미지 센서 노이즈 저감 장치 및 방법 | |
| JP7504629B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体 | |
| JP5225137B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| CN110022442B (zh) | 确定图像传感器的像素阵列曝光时间的方法和曝光控制器 | |
| JP2002209151A (ja) | トーンスケール関数の生成方法 | |
| JP7463640B2 (ja) | 空間多重露光のための方法、装置及び記憶媒体 | |
| JP2012134651A (ja) | 画像処理装置、方法及びプログラム | |
| JP2005167476A (ja) | ホワイトバランス制御装置 | |
| JP2023111637A (ja) | 画像処理装置及び方法、及び撮像装置 | |
| JP2000217123A (ja) | 撮像装置及び前記撮像装置における画像処理方法 | |
| US10937230B2 (en) | Image processing | |
| JP3697464B2 (ja) | 文書画像処理装置、撮像装置及び文書画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070907 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090303 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090402 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4290965 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120410 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130410 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140410 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |