JP4479600B2 - 画像処理装置および方法、並びにプログラム - Google Patents
画像処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP4479600B2 JP4479600B2 JP2005184425A JP2005184425A JP4479600B2 JP 4479600 B2 JP4479600 B2 JP 4479600B2 JP 2005184425 A JP2005184425 A JP 2005184425A JP 2005184425 A JP2005184425 A JP 2005184425A JP 4479600 B2 JP4479600 B2 JP 4479600B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- illumination component
- target pixel
- average luminance
- edge direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 60
- 238000005286 illumination Methods 0.000 claims description 103
- 238000004364 calculation method Methods 0.000 claims description 42
- 238000001914 filtration Methods 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 19
- 238000000926 separation method Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 14
- 238000003672 processing method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 59
- 238000003708 edge detection Methods 0.000 description 54
- 238000007906 compression Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 18
- 230000006835 compression Effects 0.000 description 15
- 230000007423 decrease Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 241000518579 Carea Species 0.000 description 1
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像されたディジタル画像を適切に圧縮することができるようにした画像処理装置および方法、並びにプログラムに関するものである。
従来、例えば、ディジタルビデオカメラ等のディジタル画像記録装置においては、固体撮像素子によって撮像され、A/D(Analog to Digital)変換されたディジタル画像の入力レンジを適切に圧縮し、コントラスト感(明暗の差)や鮮鋭度(境界の明確さ)を損なうことなく記録レンジへと変換する手法として、階調変換によるコントラスト強調手法が考えられていた。
このコントラスト強調手法の代表的なものとしては、例えば、画像の各画素に対して、その画素レベルを所定の入出力関係を持つ関数(以下、レベル変換関数と称する)で変換するトーンカーブ調整法、または、画素レベルの頻度分布に応じてレベル変換関数を適応的に変化させるヒストグラムイコライゼーションと呼ばれる手法が提案されている。
これらのコントラスト強調手法を用いると、画像の全ダイナミックレンジ(最大レベルと最小レベルの差)のうち、一部の輝度域しかコントラストを向上させることができない課題があった。また、トーンカーブ調整の場合には、画像の最明部と最暗部において、ヒストグラムイコライゼーションの場合には、頻度分布の少ない輝度域付近において、コントラストが逆に低下してしまうという課題があった。さらに、コントラスト強調手法では、高周波信号を含むエッジ付近のコントラストも強調されることになり、不自然な増幅が誘発され、画質劣化を避けることができない問題があった。
そこで、例えば、特許文献1においては、入力画像データのうち、画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を増幅することにより、エッジ以外の部分を強調して、画像鮮鋭度を損なうことなく全体のコントラスト及び鮮鋭度を向上させる技術が提案されている。
特開2001−298621号公報
しかしながら、上述した特許文献1の技術をカメラ信号処理システムに適用した場合、処理負荷が非常に高くなる問題があった。
また、Y/C分離されたカラー画像に対して適用した場合、Y信号には適切な処理が施されるものの、対応するC信号に対しては、何ら処理が施されず、所望する結果が得られない問題があった。
本発明はこのような状況に鑑みてなされたものであり、撮像されたディジタル画像を適切に圧縮することにより、鮮鋭度を損なうことなくコントラストを向上させることができるようにするものである。
本発明は、入力画像のうち、注目画素を含む周囲の画素の上方向、下方向、左方向、および右方向の平均輝度成分を算出し、算出された上方向と下方向の平均輝度成分の差分値、および左方向と右方向の平均輝度成分の差分値に基づいて、エッジ方向を検出する検出手段/ステップと、検出手段/ステップにより検出されたエッジ方向に関し、注目画素がエッジ方向のレベル差内にあるか否かを判定する判定手段/ステップと、判定手段/ステップにより注目画素がエッジ方向のレベル差内にあると判定された場合、カットオフ周波数の高いフィルタリングを施す第1のフィルタリング手段/ステップと、判定手段/ステップにより注目画素がエッジ方向のレベル差内にないと判定された場合、エッジ方向と平行な方向の平均輝度成分を用いてフィルタリングを施す第2のフィルタリング手段/ステップと、第1および第2のフィルタリング手段/ステップによりフィルタリングされた入力画像から照明成分を抽出する抽出手段/ステップと、入力画像の輝度信号、および抽出手段/ステップにより抽出された照明成分に基づいて、テクスチャ成分を分離する分離手段/ステップと、抽出手段/ステップにより抽出された照明成分に基づいて、照明成分加減残量を算出する第1の算出手段/ステップと、照明成分、および第1の算出手段/ステップにより算出された照明成分加減残量に基づいて、ゲイン最適化照明成分を取得する第1の取得手段/ステップと、分離手段/ステップにより分離されたテクスチャ成分、および第1の取得手段/ステップにより取得されたゲイン最適化照明成分に基づいて、出力輝度信号を取得する第2の取得手段/ステップとを備えることを特徴とする。
前記レベル差内とは、レベルの高い方の平均輝度成分とレベルの低い方の平均輝度成分の間のレベルであるようにすることができる。
前記抽出手段により抽出された照明成分から、アパーチャ補正のゲイン量を算出する第2の算出手段と、第2の算出手段により算出されたゲイン量に基づいて、分離手段により分離されたテクスチャ成分をアパーチャ補正する補正手段とをさらに設けるようにすることができる。
前記第1の算出手段は、固定の入出力関数を有し、固定の入出力関数に基づいて、照明成分加減残量を算出するようにすることができる。
前記第1の算出手段は、固定の入出力関数を可変に調整する調整手段を有するようにすることができる。
前記第1の算出手段は、入力信号のレベル毎に、1つの処理ブロックまたは複数の処理ブロックで構成されているものとすることができる。
本発明においては、入力画像のうち、注目画素を含む周囲の4方向の画素の平均輝度成分が算出され、算出された上下方向および左右方向の平均輝度成分の差分値に基づいて、エッジ方向が検出され、検出されたエッジ方向に関し、注目画素がエッジ方向のレベル差内にあるか否かが判定され、注目画素がエッジ方向のレベル差内にあると判定された場合、カットオフ周波数の高いフィルタリングが施され、注目画素がエッジ方向のレベル差内にないと判定された場合、エッジ方向と平行な方向の平均輝度成分を用いてフィルタリングが施される。そして、フィルタリングされた入力画像から照明成分が抽出され、入力画像の輝度信号および抽出された照明成分に基づいて、テクスチャ成分が分離され、照明成分に基づいて照明成分加減残量が算出され、照明成分および照明成分加減残量に基づいてゲイン最適化照明成分が取得され、テクスチャ成分およびゲイン最適化照明成分に基づいて出力輝度信号が取得される。
本発明によれば、撮像されたディジタル画像を適切に圧縮することができる。特に、鮮鋭度を損なうことなくコントラストを向上させるとともに、処理負荷を低減しつつ、撮像されたディジタル画像を適切に圧縮することが可能となる。
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
請求項1に記載の画像処理装置(例えば、図1のディジタルビデオカメラ1)は、入力画像のうち、注目画素(例えば、図3Aの注目画素51)を含む周囲の画素の上方向、下方向、左方向、および右方向の平均輝度成分(例えば、図3Bの上側平均輝度成分61、下側平均輝度成分62、右側平均輝度成分63、および左側平均輝度成分64)を算出し、算出された上方向と下方向の平均輝度成分の差分値(例えば、図3Bの差分△v)、および左方向と右方向の平均輝度成分の差分値(例えば、図3Bの差分△h)に基づいて、エッジ方向を検出する検出手段(例えば、図2のエッジ検出機能付LPF21)と、検出手段により検出されたエッジ方向に関し、注目画素がエッジ方向のレベル差内(例えば、図16Aまたは図16Bのレベルの高い方の平均輝度成分のレベルL1とレベルの低い方の平均輝度成分のレベルL2の間の範囲B)にあるか否かを判定する判定手段(例えば、図2のエッジ検出機能付LPF21)と、判定手段により注目画素がエッジ方向のレベル差内にあると判定された場合、カットオフ周波数の高いフィルタリングを施す(例えば、3×3画素のLPFによる加算平均値で置き換えて出力する)第1のフィルタリング手段(例えば、図2のエッジ検出機能付LPF21)と、判定手段により注目画素がエッジ方向のレベル差内にない(例えば、図16Aまたは図16Bに示す、レベルの高い方の平均輝度成分のレベルL1より高い範囲Aまたはレベルの低い方の平均輝度成分のレベルL2より低い範囲C)と判定された場合、エッジ方向と平行な方向の平均輝度成分を用いてフィルタリングを施す(上下または左右の平均輝度成分で置き換えて出力する)第2のフィルタリング手段(例えば、図2のエッジ検出機能付LPF21)と、第1および第2のフィルタリング手段によりフィルタリングされた入力画像から照明成分を抽出する抽出手段(例えば、図2のエッジ検出機能付LPF21)と、入力画像の輝度信号、および抽出手段により抽出された照明成分に基づいて、テクスチャ成分を分離する分離手段(例えば、図2の加算器22)と、抽出手段により抽出された照明成分に基づいて、照明成分加減残量を算出する第1の算出手段(例えば、図2の加算器33)と、照明成分、および第1の算出手段により算出された照明成分加減残量に基づいて、ゲイン最適化照明成分を取得する第1の取得手段(例えば、図2の加算器34)と、分離手段により分離されたテクスチャ成分、および第1の取得手段により取得されたゲイン最適化照明成分に基づいて、出力輝度信号を取得する第2の取得手段(例えば、図2の加算器37)とを備えることを特徴とする。
請求項3に記載の画像処理装置は、抽出手段により抽出された照明成分から、アパーチャ補正のゲイン量を算出する第2の算出手段(例えば、図2の反射率ゲイン係数算出部35)と、第2の算出手段により算出されたゲイン量に基づいて、分離手段により分離されたテクスチャ成分をアパーチャ補正する補正手段(例えば、図2のアパーチャコントローラ23)とをさらに備えることを特徴とする。
請求項4に記載の画像処理装置の第1の算出手段は、固定の入出力関数(例えば、図5Aおよび図6Aに示すオフセットテーブル)を有し、固定の入出力関数に基づいて、照明成分加減残量を算出することを特徴とする。
請求項5に記載の画像処理装置の第1の算出手段は、固定の入出力関数を可変に調整する調整手段(例えば、入力調整1a,1b,2a,2b、およびゲイン1c,2cの値を調整する図2のマイクロコンピュータ24)を有することを特徴とする。
請求項7に記載の画像処理方法は、入力画像のうち、注目画素を含む周囲の画素の上方向、下方向、左方向、および右方向の平均輝度成分を算出し、算出された上方向と下方向の平均輝度成分の差分値、および左方向と右方向の平均輝度成分の差分値に基づいて、エッジ方向を検出する検出ステップ(例えば、図18のステップS41乃至S44およびS48)と、検出ステップの処理により検出されたエッジ方向に関し、注目画素がエッジ方向のレベル差内にあるか否かを判定する判定ステップ(例えば、図18のステップS45またはS49)と、判定ステップの処理により注目画素がエッジ方向のレベル差内にあると判定された場合、カットオフ周波数の高いフィルタリングを施す第1のフィルタリングステップ(例えば、図18のステップS46またはS50)と、判定ステップの処理により注目画素がエッジ方向のレベル差内にないと判定された場合、エッジ方向と平行な方向の平均輝度成分を用いてフィルタリングを施す第2のフィルタリングステップ(例えば、図18のステップS47またはS51)と、第1および第2のフィルタリングステップの処理によりフィルタリングされた入力画像から照明成分を抽出する抽出ステップ(例えば、図10のステップS1)と、入力画像の輝度信号、および抽出ステップの処理により抽出された照明成分に基づいて、テクスチャ成分を分離する分離ステップ(例えば、図10のステップS2)と、抽出ステップの処理により抽出された照明成分に基づいて、照明成分加減残量を算出する算出ステップ(例えば、図10のステップS4)と、照明成分、および算出ステップの処理により算出された照明成分加減残量に基づいて、ゲイン最適化照明成分を取得する第1の取得ステップ(例えば、図10のステップS5)と、分離ステップの処理により分離されたテクスチャ成分、および第1の取得ステップの処理により取得されたゲイン最適化照明成分に基づいて、出力輝度信号を取得する第2の取得ステップ(例えば、図10のステップS6)とを含むことを特徴とする。
なお、請求項8に記載のプログラムにおいても、各ステップが対応する実施の形態(但し一例)は、請求項7に記載の画像処理方法と同様である。
以下に、本発明の実施の形態について図面を参照して説明する。
図1は、本発明を適用したディジタルビデオカメラ1の記録系の構成例を示す図である。
固体撮像素子11は、例えば、CCD(Charge Coupled Devices)やC-MOS(Complementary Metal Oxide Semiconductor)等で構成され、入射された被写体の光像を光電変換して入力画像データS1を生成し、生成した入力画像データS1をカメラ信号処理部12に出力する。カメラ信号処理部12は、固体撮像素子11より入力された入力画像データS1に対し、サンプリング処理やYC分離処理などの信号処理を施し、輝度信号Y1およびクロマ信号C1をダイナミックレンジ圧縮部13に出力する。
ダイナミックレンジ圧縮部13は、カメラ信号処理部12より入力された輝度信号Y1およびクロマ信号C1を、鮮鋭度を損なうことなくコントラストを向上させるようにして、記録レンジに圧縮し、圧縮された輝度信号Y2およびクロマ信号C2を記録フォーマット処理部14に出力する。記録フォーマット処理部14は、ダイナミックレンジ圧縮部13より入力された輝度信号Y2およびクロマ信号C2に対し、誤り訂正符号の付加や変調など所定の処理を施し、信号S2を記録メディア15に記録させる。記録メディア15は、例えば、CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)、あるいは半導体メモリなどで構成される。
図2は、ダイナミックレンジ圧縮部13の内部の構成例を示すブロック図である。
図2の例の場合、大きく分けて、輝度信号Y1の処理を行うブロックとクロマ信号C1の処理を行うブロックで構成されている。また、加算器25乃至加算器34は、輝度信号Y1の暗い部分に対する処理を行うブロックであり、加算器22、アパーチャコントローラ23、反射率ゲイン係数算出部35、および加算器36は、輝度信号Y1の明るい部分に対する処理を行うブロックである。
カメラ信号処理部12より出力された輝度信号Y1は、エッジ検出機能付LPF(Lowpass Filter)21、加算器22、およびアパーチャコントローラ(アパコン)23に入力され、クロマ信号C1は、乗算器39に入力される。
エッジ検出機能付LPF21は、入力された輝度信号Y1から照明成分(エッジが保存された平滑化信号L)を抽出し、抽出された平滑化信号Lを加算器22,25,29、および34、反射率ゲイン係数算出部35、クロマゲイン係数算出部38、並びに、クロマエリア判別部40にそれぞれ供給する。以下、エッジが保存された平滑化信号Lを、信号Lと略称する。
ここで、図3を参照して、エッジ検出機能付LPF21のエッジ検出の詳細について説明する。なお、図3において、最上左部の画素を(1,1)の画素と記載し、その横方向m番目、縦方向n番目の画素を(m,n)の画素と記載する。
エッジ検出機能付LPF21は、図3Aに示されるように、注目画素51((4,4)の画素)に対して、その周囲の縦7個×横7個の画素を処理対象に設定する。まず、エッジ検出機能付LPF21は、メディアン処理対象画素である、(4,1)、(4,2)、(4,3)、(4,5)、(4,6)、(4,7)、(1,4)、(2,4)、(3,4)、(5,4)、(6,4)、および(7,4)の各画素値を算出する。
例えば、画素P((4,1)の画素)の画素値を算出する場合には、水平方向の7つの画素群53が用いられ、例えば、(1,6,15,20,15,6,1)/64のローパスフィルタにより加算平均値が算出される。すなわち、画素P={(1,1)の画素×1/64}+{(2,1)の画素×6/64}+{(3,1)の画素×15/64}+{(4,1)の画素×20/64}+{(5,1)の画素×15/64}+{(6,1)の画素×6/64}+{(7,1)の画素×1/64}により算出される。
次に、エッジ検出機能付LPF21は、注目画素51と左側メディアン処理対象画素である3つの画素群54に基づいて、メディアン値を算出し、その中央2値の平均値を左側平均輝度成分(適宜、H_leftと称する)64とする。同様に、上側平均輝度成分(適宜、V_topと称する)61、下側平均輝度成分(適宜、V_downと称する)62、右側平均輝度成分(適宜、H_rightと称する)63も算出する。これにより、図3Bに示されるように、注目画素51の周囲4方向の平均輝度成分が得られる。エッジ検出機能付LPF21は、縦方向の平均輝度成分の差分△vおよび横方向の平均輝度成分の差分△hを算出し、差分の大きい方、すなわち、相関の小さい方をエッジ方向と判断する。エッジ方向が判断された後は、エッジ方向と注目画素51が比較される。
そして、エッジ検出機能付LPF21は、図4に示されるように、注目画素51が、エッジ方向のレベル差内である範囲B(すなわち、レベルの高い方の平均輝度成分のレベルL1とレベルの低い方の平均輝度成分のレベルL2の間)にある場合、注目画素51をそのまま出力する。これに対し、注目画素51が、エッジ方向のレベル差外である範囲A(レベルの高い方の平均輝度成分のレベルL1より高い)または範囲C(レベルの低い方の平均輝度成分のレベルL2より低い)にある場合、エッジ検出機能付LPF21は、平滑化信号L(例えば、7×7画素のローパスフィルタによる加算平均値)で置き換えて出力する。
なお、図3の例では、注目画素51に対して、その周囲の縦7個×横7個の画素を処理対象とするようにしたが、これに限らず、縦9個×横9個の画素、縦11個×横11個の画素、またはそれ以上の数の画素を処理対象とするようにしてもよい。
図2の説明に戻る。マイクロコンピュータ(マイコン)24は、照明成分オフセットテーブル27の入力輝度レベルから減算されるオフセット量を表す入力調整1aを加算器25に供給し、照明成分オフセットテーブル27の入力輝度レベルに乗算されるゲイン量を表す入力調整1bを乗算器26に供給する。またマイクロコンピュータ24は、照明成分オフセットテーブル31の入力輝度レベルから減算されるオフセット量を表す入力調整2aを加算器29に供給し、照明成分オフセットテーブル31の入力輝度レベルに乗算されるゲイン量を表す入力調整2bを乗算器30に供給する。またマイクロコンピュータ24は、照明成分オフセットテーブル27の出力輝度レベルに乗算される最大ゲイン量を表すゲイン1cを乗算器28に供給し、照明成分オフセットテーブル31の出力輝度レベルに乗算される最大ゲイン量を表すゲイン2cを乗算器32に供給する。さらにマイクロコンピュータ24は、反射率ゲイン係数テーブルの入力輝度レベルから減算されるオフセット量を表す入力調整add、および、反射率ゲイン係数テーブルの出力輝度レベルに乗算されるゲイン量を表す出力調整offsetを反射率ゲイン係数算出部35に供給する。
ここで、マイクロコンピュータ24は、ヒストグラムを判断して、入力調整1a,1b,2a,2b、ゲイン1c,2c、入力調整add、および出力調整offsetの値を調整するか、あるいは、ユーザからの指示に基づいて、これらの値を調整する。また、入力調整1a,1b,2a,2b、ゲイン1c,2cは、製造過程において予め決められるようにしても良い。
加算器25は、エッジ検出機能付LPF21から供給された信号Lに、マイクロコンピュータ24から供給された入力調整1aを加算し、乗算器26に供給する。乗算器26は、加算器25から供給された信号Lに、マイクロコンピュータ24から供給された入力調整1bを乗算し、照明成分オフセットテーブル27に供給する。
照明成分オフセットテーブル27は、加算器25および乗算器26から供給された入力調整1a,1bに基づいて、超低域の輝度レベルのブースト量を決定するオフセットテーブルのオフセット量およびゲイン量を調整し、それを保持する。また照明成分オフセットテーブル27は、保持しているオフセットテーブルを参照し、加算器25および乗算器26を介して供給された信号Lの輝度レベルに応じたオフセット量ofst1を乗算器28に供給する。乗算器28は、照明成分オフセットテーブル27から供給されたオフセット量ofst1に、マイクロコンピュータ24から供給されたゲイン1cを乗算し、加算器33に供給する。
図5Aは、照明成分オフセットテーブル27が保持するオフセットテーブルの例を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、オフセット量ofst1を表わしている(後述する図5Bにおいても同様とする)。ここで、図5Aに示されるオフセットテーブルにおいて、8ビットに正規化された入力輝度レベル(横軸)をxとすると、オフセット量ofst1(縦軸)は、例えば、次式(1)で表される。
図5Bは、照明成分オフセットテーブル27が保持するオフセットテーブルと調整パラメータの関係を説明するための図である。図5Bに示されるように、入力調整1a(図中矢印1a)は、オフセットテーブルへの入力輝度レベルから差し引かれるオフセット量を表わしている。すなわち、入力が固定である場合、入力調整1aは、オフセットテーブルを右方向にシフトさせる量である。入力調整1b(図中矢印1b)は、オフセットテーブルへの入力輝度レベルに乗算されるゲイン量を表わしている。すなわち、入力が固定である場合、入力調整1bは、オフセットテーブルのエリア幅を増減させる量であって、処理を施す輝度レベル範囲の調整に相当する。ゲイン1c(図中矢印1c)は、オフセットテーブルからの出力輝度レベルに乗算される最大ゲイン量を表わしている。すなわち、ゲイン1cは、オフセットテーブルの縦軸を増減させる量であって、処理のブースト量に直接効いてくる値とされる。
図2の説明に戻る。加算器29は、エッジ検出機能付LPF21から供給された信号Lに、マイクロコンピュータ24から供給された入力調整2a加算し、乗算器30に供給する。乗算器30は、加算器29から供給された信号Lに、マイクロコンピュータ24から供給された入力調整2bを乗算し、照明成分オフセットテーブル31に供給する。
照明成分オフセットテーブル31は、加算器29および乗算器30から供給された入力調整2a,2bに基づいて、低域の輝度レベルのブースト量を決定するオフセットテーブルのオフセット量およびゲイン量を調整し、それを保持する。また照明成分オフセットテーブル31は、保持しているオフセットテーブルを参照し、加算器29および乗算器30を介して供給された信号Lの輝度レベルに応じたオフセット量ofst2を乗算器32に供給する。乗算器32は、照明成分オフセットテーブル31から供給されたオフセット量ofst2に、マイクロコンピュータ24から供給されたゲイン2cを乗算し、加算器33に供給する。
図6Aは、照明成分オフセットテーブル31が保持するオフセットテーブルの例を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、オフセット量ofst2を表わしている(後述する図6Bにおいても同様とする)。ここで、図6Aに示されるオフセットテーブルにおいて、8ビットに正規化された入力輝度レベル(横軸)をxとすると、オフセット量ofst2(縦軸)は、例えば、次式(2)で表される。
図6Bは、照明成分オフセットテーブル31が保持するオフセットテーブルと調整パラメータの関係を説明するための図である。図6Bに示されるように、入力調整2a(図中矢印2a)は、オフセットテーブルへの入力輝度レベルから差し引かれるオフセット量を表わしている。すなわち、入力が固定である場合、入力調整2aは、オフセットテーブルを右方向にシフトさせる量である。入力調整2b(図中矢印2b)は、オフセットテーブルへの入力輝度レベルに乗算されるゲイン量を表わしている。すなわち、入力が固定である場合、入力調整2bは、オフセットテーブルのエリア幅を増減させる量であって、処理を施す輝度レベル範囲の調整に相当する。ゲイン2c(図中矢印2c)は、オフセットテーブルからの出力輝度レベルに乗算される最大ゲイン量を表わしている。すなわち、ゲイン2cは、オフセットテーブルの縦軸を増減させる量であって、処理のブースト量に直接効いてくる値とされる。
図2の説明に戻る。加算器33は、乗算器28から供給された、最大ゲイン量が調整された超低域の輝度レベルのブースト量を決定するオフセット量ofst1に、乗算器32から供給された、最大ゲイン量が調整された低域の輝度レベルのブースト量を決定するオフセット量ofst2を加算し、得られたオフセット量(照明成分加減残量T(L))を加算器34に供給する。加算器34は、エッジ検出機能付LPF21から供給された信号L(元々の照明成分)に、加算器33から供給された照明成分加減残量T(L)を加算し、得られたゲイン最適化照明成分(信号T(L)’)を加算器37に供給する。
加算器22は、カメラ信号処理部12から入力された輝度信号Y1(原信号)から、エッジ検出機能付LPF21から供給された信号L(照明成分)を減算し、得られたテクスチャ成分(信号R)を加算器36に供給する。
反射率ゲイン係数算出部35は、反射率ゲイン係数テーブルを参照し、ブーストした輝度信号のうち、超低輝度および低輝度のブーストエリア外を適応エリアに決定し、それをアパーチャコントローラ23に供給する。また反射率ゲイン係数算出部35は、適応エリアを決定する際、マイクロコンピュータ24から供給された入力調整addおよび出力調整offsetに基づいて、反射率ゲイン係数テーブルのオフセット量およびゲイン量を調整する。
図7Aは、反射率ゲイン係数算出部35が保持する反射率ゲイン係数テーブルの例を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、反射率ゲイン量を表わしている(後述する図7Bにおいても同様とする)。図7Bは、反射率ゲイン係数算出部35が保持する反射率ゲイン係数テーブルと調整パラメータの関係を説明するための図である。
図7Bに示されるように、出力調整offset(図中矢印offset)は、反射率ゲイン係数テーブルからの出力輝度レベルに乗算されるゲイン量を表わしている。すなわち、出力調整offsetは、反射率ゲイン係数テーブルの縦軸を増加させる量である。調整パラメータA(図中矢印A)は、アパーチャコントローラ23の最大ゲイン量を決定するパラメータを表わしている。入力調整add(図中矢印add)は、反射率ゲイン係数テーブルへの入力輝度レベルから差し引かれるオフセット量を表わしている。すなわち、入力が固定である場合、入力調整addは、反射率ゲイン係数テーブルを右方向にシフトさせる量である。limit levelは、アパーチャコントローラ23において余分なアパーチャ信号をつけないようにするために設定されたマックスリミット(最大ゲイン量)を表わしている。
ここで、図7Bに示される反射率ゲイン係数テーブルにおいて、8ビットに正規化された入力輝度レベル(横軸)をxとすると、アパーチャコントロール量apgain(縦軸)は、例えば、次式(3)で表される。ただし、Aは、アパーチャコントローラ23の最大ゲイン量を表わし、offsetは、反射率ゲイン係数テーブルを上方向にシフトさせる量を表わし、addは、反射率ゲイン係数テーブルを右方向にシフトさせる量を表わしている。
なお、上記式(3)による算出の結果、アパーチャコントロール量apgain’がlimit levelより小さい場合(図7Bにおいて、実線で示す反射率ゲイン係数テーブル)は、apgain’がアパーチャコントロール量apgainとして出力される。一方、アパーチャコントロール量apgain’がlimit levelより大きい場合(図7Bにおいて、点線で示す反射率ゲイン係数テーブルのlimit levelより大きくなる部分)は、limit levelがアパーチャコントロール量apgainとして出力される。
図2の説明に戻る。アパーチャコントローラ23は、反射率ゲイン係数算出部35により決定された適応エリアに基づいて、超低輝度および低輝度のブーストエリア外に適応されるように、カメラ信号処理部12から入力された輝度信号Y1の照明成分レベル依存のアパーチャ補正を行い、加算器36に供給する。
加算器36は、加算器22から供給された信号R(原信号から照明成分が差し引かれたテクスチャ成分)に、アパーチャコントローラ23から供給されたアパーチャ補正された輝度信号を加算し、加算器37に供給する。加算器37は、加算器36から供給されたアパーチャ補正後のテクスチャ成分に、加算器34から供給されたゲイン最適化照明成分(信号T(L)’)を加算し、得られたダイナミックレンジ圧縮後の輝度信号Y2を記録フォーマット処理部14に出力する。
クロマゲイン係数算出部38は、クロマゲイン係数テーブルを参照し、ブーストした輝度信号のうち、特に低輝度レベルにのったクロマ信号に対して乗算するゲイン量を決定し、それを乗算器39に供給する。
図8Aは、クロマゲイン係数算出部38が保持するクロマゲイン係数テーブルの例を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、クロマゲイン量を表わし、この縦軸の値には、1のオフセットがはかされている(後述する図8Bにおいても同様とする)。図8Bは、クロマゲイン係数算出部38が保持する係数テーブルと調整パラメータの関係を説明するための図である。図8Bに示されるように、調整パラメータBは、クロマゲイン係数テーブルの最大ゲイン量を決定するパラメータを表わしている(図中矢印B)。ここで、図8Bに示されるクロマゲイン係数テーブルにおいて、8ビットに正規化された入力輝度レベル(横軸)をxとすると、クロマゲイン量cgain(縦軸)は、例えば、次式(4)で表される。ただし、Bは、クロマゲイン係数テーブルの最大ゲイン量を表わしている。
図2の説明に戻る。乗算器39は、入力されたクロマ信号C1に、クロマゲイン係数算出部38から供給されたゲイン量を乗算し、HPF(Highpass Filter)41および加算器43に供給する。なお、図8Bに示したクロマゲイン係数テーブルにおいて、縦軸の値には、1のオフセットがはかされているため、例えば、調整パラメータBが0.0の場合、クロマ信号が入力値のまま乗算器39から出力される。
HPF41は、乗算器39から供給されたクロマ信号の高域成分を抽出し、それを乗算器42に供給する。クロマエリア判別部40は、ブーストしたエリアの輝度信号にのったクロマ信号に対し、LPFをかけるエリアを選択し、それを乗算器42に供給する。
図9は、クロマエリア判別部40が選択に用いる判別エリアの例を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、クロマエリアを表わしている。図9に示されるように、判別エリアは、ブーストエリアと非ブーストエリアがリニアに変化されている。これにより、LPFのかかり具合が調整される。ここで、図9に示される判別エリアにおいて、8ビットに正規化された入力輝度レベル(横軸)をxとすると、クロマエリアcarea(縦軸)は、例えば、次式(5)で表される。
図2の説明に戻る。乗算器42は、HPF41から供給された高域成分のクロマ信号に、クロマエリア判別部40から供給されたLPFをかけるエリアを乗算し、それを加算器43に供給する。加算器43は、乗算器39から供給されたクロマ信号から、乗算器42から供給された高域成分のクロマ信号を減算(すなわち、低域レベル部分のクロマ信号に対してLPF処理)することでクロマノイズを低減し、得られたダイナミックレンジ圧縮後のクロマ信号C2を記録フォーマット処理部14に出力する。
図2の例では、加算器25、乗算器26、照明成分オフセットテーブル27、および乗算器28が、超低域の輝度レベルのブースト量を決定するブロックを構成し、加算器29、乗算器30、照明成分オフセットテーブル31、および乗算器32が、低域の輝度レベルのブースト量を決定するブロックを構成しているが、これは一例であり、少なくとも、低輝度のブースト量を決定する1つのブロックが構成されていれば、その数は、1つでも、2つ以上(複数)でもよい。
次に、図10のフローチャートを参照して、ダイナミックレンジ圧縮部13が実行する、輝度信号の圧縮処理について説明する。
ステップS1において、エッジ検出機能付LPF21は、カメラ信号処理部12より入力された画像データのうち、輝度信号Y1の画素値の変化が急峻なエッジを検出し(図3B)、そのエッジを保存したまま輝度信号Y1を平滑化し、照明成分(信号L)を抽出する。ここで、エッジ検出機能付LPF21は、図4に示したように、注目画素51がエッジ方向のレベル差内(範囲B)であるか否かに応じて、輝度信号Y1を平滑化するか否かを判断する。ステップS2において、加算器22は、カメラ信号処理部12より入力された輝度信号Y1(原信号)から、ステップS1の処理により抽出された照明成分を減算し、テクスチャ成分(信号R)を分離する。
ステップS3において、アパーチャコントローラ23は、反射率ゲイン係数算出部35により決定された適応エリア(図7B)に基づいて、超低輝度および低輝度のブーストエリア外に適応されるように、カメラ信号処理部12から入力された輝度信号Y1の照明成分レベル依存のアパーチャ補正を行う。ステップS4において、加算器33は、乗算器28を介して照明成分オフセットテーブル27から供給された、オフセット量、ゲイン量、および最大ゲイン量が調整された超低域の輝度レベルのブースト量を決定するオフセット量ofst1(図5B)と、乗算器32を介して照明成分オフセットテーブル31から供給された、オフセット量、ゲイン量、および最大ゲイン量が調整された低域の輝度レベルのブースト量を決定するオフセット量ofst2(図6B)を加算し、照明成分加減残量T(L)を算出する。
ステップS5において、加算器34は、ステップS1の処理により抽出された照明成分に、ステップS4の処理により算出された照明成分加減残量T(L)を加算し、ゲイン最適化照明成分(信号T(L)’)を取得する。ステップS6において、加算器37は、ステップS3の処理によりアパーチャ補正されたテクスチャ成分に、ステップS5の処理により取得されたゲイン最適化照明成分(信号T(L)’)を加算し、ダイナミックレンジ圧縮後の出力輝度信号Y2を取得する。
以上の処理により取得されたダイナミックレンジ圧縮後の出力輝度信号Y2が、記録フォーマット処理部14に出力される。
次に、図11のフローチャートを参照して、ダイナミックレンジ圧縮部13が実行する、クロマ信号の圧縮処理について説明する。
ステップS21において、クロマゲイン係数算出部38は、カメラ信号処理部12より入力された画像データのうち、図10のステップS1の処理により抽出された輝度信号Y1の照明成分から、クロマ信号C1の増幅量(ゲイン量)を算出する(図8B)。ステップS22において、クロマエリア判別部40は、図10のステップS1の処理により抽出された輝度信号Y1の照明成分から、クロマ信号C1のノイズ低減エリア(すなわち、LPFをかけるエリア)を選択する(図9)。
ステップS23において、加算器43は、ステップS22の処理により選択されたノイズ低減エリアに基づいて、ゲインがかけられた低輝度レベルのクロマ信号のクロマノイズを低減し、ダイナミックレンジ圧縮後のクロマ信号C2を取得する。
以上の処理により取得されたダイナミックレンジ圧縮後の出力クロマ信号C2が、記録フォーマット処理部14に出力される。
以上のように、ディジタルビデオカメラなどのディジタル画像記録装置において、本発明を適用することにより、固体撮像素子11によって撮像されたディジタル画像に対し、従来では輝度値が低くコントラストが得られなかった部分の画像データのうち、エッジを保存したまま、そのエッジ以外の部分の画像データを増幅することができる。これにより、記録レンジよりも広い入力レンジを持つカメラ信号処理システムの輝度信号およびクロマ信号に対しても、鮮鋭度を損なうことなくコントラストを向上し、撮像されたディジタル画像を記録レンジへと適切に圧縮することが可能となる。
また、本発明を適用することにより、輝度成分を増幅したエリアにのっているクロマ信号に対しても、適切な増幅が行われる。これにより、同時にクロマノイズの低減を図ることができるため、単に白浮きした画像ではない、自然なダイナミックレンジ画像が獲得できる。さらに、輝度成分の増幅部分をオフセット量のテーブルとして保持することにより、低輝度および超低輝度部分のブースト処理を加算処理で実現することができるため、処理負荷を低減することが可能となる。
ところで、上述したようなエッジ検出機能付LPF21によるLPFのオン/オフの判断処理(注目画素がエッジ方向のレベル差内である場合は注目画素をそのまま出力し、注目画素がエッジ方向のレベル差外である場合は注目画素を7×7画素のLPFによる加算平均値で置き換えて出力する)では、入力画像にステップ入力等による急峻なエッジが存在する場合、適切なエッジ保存が行われず、エッジ付近で不具合がみられる場合がある。これは、エッジ検出時に誤検出した輝度レベルが、ちょうどブースト対象レベルに存在し、ブーストが掛けられた後にテクスチャ成分へと足し戻されるため、周囲の正しい検出エリアと比べて輝度差が生じることが原因である。
図12は、急峻な矩形のエッジが存在する画像の一例を示す図である。
図12Aに示す画像は、8ビットレンジにおける輝度値0の画素が黒色で表され、8ビットレンジにおける輝度値255の画素が白色で表されている。図12Bは、図12Aに示す画像の各画素の位置に対応する輝度値が数値で表されている。
図13は、図12に示したような急峻な矩形のエッジが存在する画像が入力された場合において、上述したLPFのオン/オフの判断処理が施された結果の出力画像を示す図である。
図13Aに示す画像は、8ビットレンジにおける輝度値のレベルに応じて各画素がグレースケールで表されている。図13Bは、図13Aに示す画像の各画素の位置に対応する輝度値が数値で表されている。なお、数値は、輝度値を表わしている。
ここで、エッジ検出機能付LPF21が、注目画素A乃至Eの画素に対して、それぞれ、その周囲の縦7個×横7個の画素を処理対象に設定した場合のLPFのオン/オフの判断処理の結果を以下に示す。
(1)注目画素A
V_up(上側平均輝度成分)=H_right(右側平均輝度成分)
V_down(下側平均輝度成分)=H_left(左側平均輝度成分)
エッジ判別Δv=Δh
→注目画素を7×7画素のLPFによる加算平均値で置き換えて出力する。
(2)注目画素B
V_up=V_down=255→Δv=0
255>H_right>H_left→Δh>0
注目画素(255)>H_right
エッジ判別Δh>Δv
→注目画素を7×7画素のLPFによる加算平均値で置き換えて出力する。
(3)注目画素C
V_up=V_down=255→Δv=0
H_right=H_left<255→Δh=0
エッジ判別Δv=Δh=0
→注目画素を7×7画素のLPFによる加算平均値で置き換えて出力する。
(4)注目画素D
V_up=255,V_down≒128→Δv≒128
H_right=H_left<255→Δh=0
注目画素(255)=V_up
エッジ判別Δv>Δh
→注目画素をそのまま出力する。
(5)注目画素E
V_up=255,V_down=0→Δv=255
H_right=H_left<255→Δh=0
注目画素(255)=V_up
エッジ判別Δv>Δh
→注目画素をそのまま出力する。
V_up(上側平均輝度成分)=H_right(右側平均輝度成分)
V_down(下側平均輝度成分)=H_left(左側平均輝度成分)
エッジ判別Δv=Δh
→注目画素を7×7画素のLPFによる加算平均値で置き換えて出力する。
(2)注目画素B
V_up=V_down=255→Δv=0
255>H_right>H_left→Δh>0
注目画素(255)>H_right
エッジ判別Δh>Δv
→注目画素を7×7画素のLPFによる加算平均値で置き換えて出力する。
(3)注目画素C
V_up=V_down=255→Δv=0
H_right=H_left<255→Δh=0
エッジ判別Δv=Δh=0
→注目画素を7×7画素のLPFによる加算平均値で置き換えて出力する。
(4)注目画素D
V_up=255,V_down≒128→Δv≒128
H_right=H_left<255→Δh=0
注目画素(255)=V_up
エッジ判別Δv>Δh
→注目画素をそのまま出力する。
(5)注目画素E
V_up=255,V_down=0→Δv=255
H_right=H_left<255→Δh=0
注目画素(255)=V_up
エッジ判別Δv>Δh
→注目画素をそのまま出力する。
このように、上述したLPFのオン/オフの判断処理(注目画素がエッジ方向のレベル差内である場合は注目画素をそのまま出力し、注目画素がエッジ方向のレベル差外である場合は注目画素を7×7画素のLPFによる加算平均値で置き換えて出力する)により、注目画素A,B,Cは、7×7画素のLPFによる加算平均値で置き換えて出力される。そのため、エッジ付近には、アーチファクト71乃至75が発生する。
すなわち、図13Bに示すように、輝度値255に近い画素が、輝度値219,224の画素で出力され(アーチファクト71)、輝度値255に近い画素が、輝度値219の画素で出力され(アーチファクト72)、輝度値255に近い画素が、輝度値208,234の画素で出力される(アーチファクト73)。また、輝度値0に近い画素が、輝度値36の画素で出力される(アーチファクト74,75)。これは、非線形フィルタの特性によって、避けられない影響である。
そこで、エッジ検出機能付LPF21は、図14Aに示されるように、注目画素が横方向にエッジと判断し、かつ、注目画素がエッジ方向のレベル差外である範囲A(レベルの高い方の平均輝度成分のレベルL1より高い)または範囲C(レベルの低い方の平均輝度成分のレベルL2より低い)にある場合、注目画素を上下の平均輝度成分((V_top+V_Down)/2)で置き換えて出力する。また、エッジ検出機能付LPF21は、図14Bに示されるように、注目画素が縦方向にエッジと判断し、かつ、注目画素がエッジ方向のレベル差外である範囲Aまたは範囲Cにある場合、注目画素を左右の平均輝度成分((H_right+H_left)/2)で置き換えて出力する。
このように、エッジ検出機能付LPF21は、注目画素がエッジ方向のレベル差外である範囲Aまたは範囲Cにある場合、エッジがないと思われる方向(縦方向の平均輝度成分の差分△vおよび横方向の平均輝度成分の差分△hを比較して差分の小さい方)の平均輝度成分で置き換えて出力する。
図15は、図12に示したような急峻な矩形のエッジが存在する画像が入力された場合において、図14に示したLPFのオン/オフの判断処理が施された結果の出力画像を示す図である。
図15Aに示す画像は、8ビットレンジにおける輝度値のレベルに応じて各画素がグレースケールで表されている。図15Bは、図15Aに示す画像の各画素の位置に対応する輝度値が数値で表されている。
ここで、エッジ検出機能付LPF21が、注目画素A乃至Eの画素に対して、それぞれ、その周囲の縦7個×横7個の画素を処理対象に設定した場合のLPFのオン/オフの判断処理の結果を以下に示す。
(1)注目画素A
V_up(上側平均輝度成分)=H_right(右側平均輝度成分)
V_down(下側平均輝度成分)=H_left(左側平均輝度成分)
エッジ判別Δv=Δh
→注目画を(H_right+H_left)/2または(V_top+V_Down)/2で置き換えて出力する。
(2)注目画素B
V_up=V_down=255→Δv=0
255>H_right>H_left→Δh>0
注目画素(255)>H_right
エッジ判別Δh>Δv
→注目画を(V_top+V_Down)/2で置き換えて出力する。
(3)注目画素C
V_up=V_down=255→Δv=0
H_right=H_left<255→Δh=0
エッジ判別Δv=Δh=0
→注目画を(H_right+H_left)/2または(V_top+V_Down)/2で置き換えて出力する。
(4)注目画素D
V_up=255,V_down≒128→Δv≒128
H_right=H_left<255→Δh=0
注目画素(255)=V_up
エッジ判別Δv>Δh
→注目画素をそのまま出力する。
(5)注目画素E
V_up=255,V_down=0→Δv=255
H_right=H_left<255→Δh=0
注目画素(255)=V_up
エッジ判別Δv>Δh
→注目画素をそのまま出力する。
V_up(上側平均輝度成分)=H_right(右側平均輝度成分)
V_down(下側平均輝度成分)=H_left(左側平均輝度成分)
エッジ判別Δv=Δh
→注目画を(H_right+H_left)/2または(V_top+V_Down)/2で置き換えて出力する。
(2)注目画素B
V_up=V_down=255→Δv=0
255>H_right>H_left→Δh>0
注目画素(255)>H_right
エッジ判別Δh>Δv
→注目画を(V_top+V_Down)/2で置き換えて出力する。
(3)注目画素C
V_up=V_down=255→Δv=0
H_right=H_left<255→Δh=0
エッジ判別Δv=Δh=0
→注目画を(H_right+H_left)/2または(V_top+V_Down)/2で置き換えて出力する。
(4)注目画素D
V_up=255,V_down≒128→Δv≒128
H_right=H_left<255→Δh=0
注目画素(255)=V_up
エッジ判別Δv>Δh
→注目画素をそのまま出力する。
(5)注目画素E
V_up=255,V_down=0→Δv=255
H_right=H_left<255→Δh=0
注目画素(255)=V_up
エッジ判別Δv>Δh
→注目画素をそのまま出力する。
このように、図14に示したLPFのオン/オフの判断処理(注目画素がエッジ方向のレベル差内である場合は注目画素をそのまま出力し、注目画素がエッジ方向のレベル差外である場合は注目画を上下または左右の平均輝度成分で置き換えて出力する)により、注目画素Bの左右方向の平均輝度成分は、注目画素の輝度値255と近くなり、アーチファクトを低減することができる。すなわち、図13で発生していたアーチファクト71,72,74,75が解消される。
しかしながら、図14に示したLPFのオン/オフの判断処理では、依然としてアーチファクト73が発生する。これは、注目画素がエッジ方向のレベル差内である場合に注目画素をそのまま出力することに原因がある。
そこで、エッジ検出機能付LPF21は、図16Aに示されるように、注目画素が横方向にエッジと判断し、かつ、注目画素がエッジ方向のレベル差内である範囲B(レベルの高い方の平均輝度成分のレベルL1とレベルの低い方の平均輝度成分のレベルL2の間)にある場合、注目画素を7×7画素のエリアよりも小さい範囲のLPF(例えば、3×3画素のLPFによる加算平均値)で置き換えて出力する。また、エッジ検出機能付LPF21は、図16Bに示されるように、注目画素が縦方向にエッジと判断し、かつ、注目画素がエッジ方向のレベル差内である範囲Bにある場合、注目画素を7×7画素のエリアよりも小さい範囲のLPF(例えば、3×3画素のLPFによる加算平均値)で置き換えて出力する。
このように、エッジ検出機能付LPF21は、注目画素がエッジ方向のレベル差内である範囲Bにある場合、注目画素をカットオフ周波数の高いLPFで置き換えて出力する。
図17は、図12に示したような急峻な矩形のエッジが存在する画像が入力された場合において、図16に示したLPFのオン/オフの判断処理が施された結果の出力画像を示す図である。
図17Aに示す画像は、8ビットレンジにおける輝度値のレベルに応じて各画素がグレースケールで表されている。図17Bは、図17Aに示す画像の各画素の位置に対応する輝度値が数値で表されている。
ここで、エッジ検出機能付LPF21が、注目画素A乃至Eの画素に対して、それぞれ、その周囲の縦7個×横7個の画素を処理対象に設定した場合のLPFのオン/オフの判断処理の結果を以下に示す。
(1)注目画素A
V_up(上側平均輝度成分)=H_right(右側平均輝度成分)
V_down(下側平均輝度成分)=H_left(左側平均輝度成分)
エッジ判別Δv=Δh
→注目画素を(H_right+H_left)/2または(V_top+V_Down)/2で置き換えて出力す
る。
(2)注目画素B
V_up=V_down=255→Δv=0
255>H_right>H_left→Δh>0
注目画素(255)>H_right
エッジ判別Δh>Δv
→注目画素を(V_top+V_Down)/2で置き換えて出力する。
(3)注目画素C
V_up=V_down=255→Δv=0
H_right=H_left<255→Δh=0
エッジ判別Δv=Δh=0
→注目画素を(H_right+H_left)/2または(V_top+V_Down)/2で置き換えて出力す
る。
(4)注目画素D
V_up=255,V_down≒128→Δv≒128
H_right=H_left<255→Δh=0
注目画素(255)=V_up
エッジ判別Δv>Δh
→注目画素を3×3画素のLPFによる加算平均値で置き換えて出力する。
(5)注目画素E
V_up=255,V_down=0→Δv=255
H_right=H_left<255→Δh=0
注目画素(255)=V_up
エッジ判別Δv>Δh
→注目画素を3×3画素のLPFによる加算平均値で置き換えて出力する。
V_up(上側平均輝度成分)=H_right(右側平均輝度成分)
V_down(下側平均輝度成分)=H_left(左側平均輝度成分)
エッジ判別Δv=Δh
→注目画素を(H_right+H_left)/2または(V_top+V_Down)/2で置き換えて出力す
る。
(2)注目画素B
V_up=V_down=255→Δv=0
255>H_right>H_left→Δh>0
注目画素(255)>H_right
エッジ判別Δh>Δv
→注目画素を(V_top+V_Down)/2で置き換えて出力する。
(3)注目画素C
V_up=V_down=255→Δv=0
H_right=H_left<255→Δh=0
エッジ判別Δv=Δh=0
→注目画素を(H_right+H_left)/2または(V_top+V_Down)/2で置き換えて出力す
る。
(4)注目画素D
V_up=255,V_down≒128→Δv≒128
H_right=H_left<255→Δh=0
注目画素(255)=V_up
エッジ判別Δv>Δh
→注目画素を3×3画素のLPFによる加算平均値で置き換えて出力する。
(5)注目画素E
V_up=255,V_down=0→Δv=255
H_right=H_left<255→Δh=0
注目画素(255)=V_up
エッジ判別Δv>Δh
→注目画素を3×3画素のLPFによる加算平均値で置き換えて出力する。
このように、図16に示したLPFのオン/オフの判断処理(注目画素がエッジ方向のレベル差内である場合は注目画素を3×3画素のLPFによる加算平均値で置き換えて出力し、注目画素がエッジ方向のレベル差外である場合は注目画素を上下または左右の平均輝度成分で置き換えて出力する)により、アーチファクトを低減することができる。すなわち、エッジの特性が若干悪くなるものの、図15で発生していたエッジ部分の不自然なアーチファクト73が解消される。
次に、図18のフローチャートを参照して、エッジ検出機能付LPF21が実行する、LPFのオン/オフの判断処理について説明する。
ステップS41において、エッジ検出機能付LPF21は、注目画素の周囲4方向の平均輝度成分を算出する。すなわち、図3Aに示したように、エッジ検出機能付LPF21は、注目画素51に対して、その周囲の縦7個×横7個の画素を処理対象に設定し、各画素値を算出する。次に、エッジ検出機能付LPF21は、注目画素51とその左側にある3つの画素に基づいて、メディアン値を算出し、その中央2値の平均値を左側平均輝度成分(H_left)とする。同様に、エッジ検出機能付LPF21は、注目画素51とその右側にある3つの画素、注目画素51とその上側にある3つの画素、および、注目画素とその下側にある3つの画素に基づいて、それぞれメディアン値を算出し、その中央2値の平均値を右側平均輝度成分(H_right)、上側平均輝度成分(V_top)、および、下側平均輝度成分(V_down)とする。これにより、図3Bに示されるように、注目画素51の周囲4方向の平均輝度成分が得られる。
ステップS42において、エッジ検出機能付LPF21は、次式(6)に従って、縦方向の平均輝度成分の差分Δvおよび横方向の平均輝度成分の差分Δhを算出する。
Δv=|V_top−V_down|
Δh=|H_right−H_left| ・・・(6)
Δv=|V_top−V_down|
Δh=|H_right−H_left| ・・・(6)
ステップS43において、エッジ検出機能付LPF21は、ステップS42の処理により算出された縦方向の平均輝度成分Δvが横方向の平均輝度成分の差分Δhより大きいか否かを判定し、縦方向の平均輝度成分Δvが横方向の平均輝度成分Δhより大きいと判定した場合、ステップS44に進む。
ステップS44において、エッジ検出機能付LPF21は、差分の大きい方である(相関の小さい方である)縦方向をエッジと判断する。
ステップS45において、エッジ検出機能付LPF21は、図16Bに示したように、注目画素がエッジ方向のレベル差内である範囲B(レベルの高い方の平均輝度成分のレベルL1とレベルの低い方の平均輝度成分のレベルL2の間)にあるか否かを判定し、注目画素がエッジ方向のレベル差内である(すなわち、注目画素がエッジである)と判定した場合、ステップS46に進む。
ステップS46において、エッジ検出機能付LPF21は、注目画素を3×3画素のLPFによる加算平均値で置き換えて出力する。
一方、ステップS45において、エッジ検出機能付LPF21は、図16Bに示したように、注目画素がエッジ方向のレベル差外である範囲A(レベルの高い方の平均輝度成分のレベルL1より高い)または範囲C(レベルの低い方の平均輝度成分のレベルL2より低い)にある(すなわち、注目画素がエッジではない)と判定した場合、ステップS47に進む。
ステップS47において、エッジ検出機能付LPF21は、注目画素を左右の平均輝度成分((H_right+H_left)/2)で置き換えて出力する。
ステップS43において、エッジ検出機能付LPF21は、縦方向の平均輝度成分Δvが横方向の平均輝度成分Δhより大きくないと判定した場合、すなわち、横方向の平均輝度成分Δhが縦方向の平均輝度成分Δvより大きいと判定した場合、ステップS48に進む。
ステップS48において、エッジ検出機能付LPF21は、差分の大きい方である(相関の小さい方である)横方向をエッジと判断する。
ステップS49において、エッジ検出機能付LPF21は、図16Aに示したように、注目画素がエッジ方向のレベル差内である範囲Bにあるか否かを判定し、注目画素がエッジ方向のレベル差内である(すなわち、注目画素がエッジである)と判定した場合、ステップS50に進む。
ステップS50において、エッジ検出機能付LPF21は、注目画素を3×3画素のLPFによる加算平均値で置き換えて出力する。
一方、ステップS49において、エッジ検出機能付LPF21は、図16Aに示したように、注目画素がエッジ方向のレベル差外である範囲Aまたは範囲Cにある(すなわち、注目画素がエッジではない)と判定された場合、ステップS51に進む。
ステップS51において、エッジ検出機能付LPF21は、注目画素を上下の平均輝度成分((V_top+V_Down)/2)で置き換えて出力する。
以上の処理により、エッジ近辺の誤検出を無くし、照明成分のエッジ付近でのアーチファクトを低減するとともに、エッジの階調の不自然さを低減して、ブーストによる出力画像への影響を抑制することができる。
次に、エッジ検出機能付LPF21がLPFのオン/オフの判断処理を施した場合の処理結果について、図19乃至図22を参照して説明する。
図19Aは、急峻な矩形のエッジが存在する画像の一例を示す図である。
図19Aに示す画像は、8ビットレンジにおける輝度値0の画素が黒色で表され、8ビットレンジにおける輝度値255の画素が白色で表されている。図19Bは、図19Aに示す画像の各画素の位置に対応する輝度値が数値で表されている。
図20は、図19に示したような急峻な矩形のエッジが存在する画像が入力された場合において、図4に示したLPFのオン/オフの判断処理が施された結果の出力画像を示す図である。
図20Aに示す画像は、8ビットレンジにおける輝度値のレベルに応じて各画素がグレースケールで表されている。図20Bは、図20Aに示す画像の各画素の位置に対応する輝度値が数値で表されている。
このように、図4に示したLPFのオン/オフの判断処理では、画素群81に不自然な階調が現われる。
図21は、図19に示したような急峻な矩形のエッジが存在する画像が入力された場合において、図14に示したLPFのオン/オフの判断処理が施された結果の出力画像を示す図である。
図21Aに示す画像は、8ビットレンジにおける輝度値のレベルに応じて各画素がグレースケールで表されている。図21Bは、図21Aに示す画像の各画素の位置に対応する輝度値が数値で表されている。
このように、図14に示したLPFのオン/オフの判断処理では、画素群81に不自然な階調が現われる。
図22は、図19に示したような急峻な矩形のエッジが存在する画像が入力された場合において、図16に示したLPFのオン/オフの判断処理が施された結果の出力画像を示す図である。
図22Aに示す画像は、8ビットレンジにおける輝度値のレベルに応じて各画素がグレースケールで表されている。図22Bは、図22Aに示す画像の各画素の位置に対応する輝度値が数値で表されている。
このように、図16に示したLPFのオン/オフの判断処理では、不自然な階調が解消されている。
以上の処理結果をまとめると、図4および図14に示したLPFのオン/オフの判断処理では、エッジ付近に、不自然な階調が現われる(図20および図21に示す画素群81)。これに対して、図16に示したLPFのオン/オフの判断処理では、エッジの不自然さが改善され、ユーザがこれらのエッジ画像を観察したときに違和感の少ない画像を得ることができる。
以上においては、注目画素がエッジ方向のレベル差内である場合、注目画素を3×3画素のLPFによる加算平均値で置き換えて出力するようにしたが、本発明はこれに限られるものではなく、例えば、注目画素を1×5画素のLPFによる加算平均値で置き換えて出力するようにしてもよい。
図23は、図19に示したような急峻な矩形のエッジが存在する画像が入力された場合において、図16に示したLPFのオン/オフの判断処理が施された結果の出力画像を示す図である。なお、注目画素がエッジ方向のレベル差内である場合、注目画素が1×5画素のLPFによる加算平均値で置き換えて出力される。
図23Aに示す画像は、8ビットレンジにおける輝度値のレベルに応じて各画素がグレースケールで表されている。図23Bは、図23Aに示す画像の各画素の位置に対応する輝度値が数値で表されている。
このように、注目画素がエッジ方向のレベル差内である場合、注目画素を1×5画素のLPFによる加算平均値で置き換えて出力するようにしても、エッジ近辺の誤検出を無くし、照明成分のエッジ付近でのアーチファクトを低減するとともに、エッジの階調の不自然さを低減して、ブーストによる出力画像への影響を抑制することができる。
上述したように、これらの一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、ダイナミックレンジ圧縮部13は、図24に示されるようなコンピュータ100により実現される。
図24において、CPU(Central Processing Unit)101は、ROM102に記憶されているプログラム、または記憶部108からRAM(Random Access Memory)103にロードされたプログラムに従って、各種の処理を実行する。RAM103にはまた、CPU101が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU101、ROM102、およびRAM103は、バス104を介して相互に接続されている。このバス104にはまた、入出力インタフェース105も接続されている。
入出力インタフェース105には、キーボード、マウスなどよりなる入力部106、ディスプレイなどよりなる出力部107、記憶部108、通信部109が接続されている。
通信部109は、ネットワークを介しての通信処理を行う。
通信部109は、ネットワークを介しての通信処理を行う。
入出力インタフェース105にはまた、必要に応じてドライブ110が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア111が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部108にインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図24に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア111により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM103または記憶部108に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。
1 ディジタルビデオカメラ, 11 固体撮像素子, 12 カメラ信号処理部, ダイナミックレンジ圧縮部, 14 記録フォーマット処理部, 15 記録メディア, 21 エッジ検出機能付LPF, 22 加算器, 23 アパーチャコントローラ, 24 マイクロコンピュータ, 25,26 加算器, 27 照明成分オフセットテーブル, 28 乗算器, 29 加算器, 30 乗算器, 31 照明成分オフセットテーブル, 32 乗算器, 33,34 加算器, 35 反射率ゲイン係数算出部, 36,37 加算器, 38 クロマゲイン係数算出部, 39 乗算器, 40 クロマエリア判別部, 41 HPF, 42 乗算器, 43 加算器
Claims (8)
- 入力画像のうち、注目画素を含む周囲の画素の上方向、下方向、左方向、および右方向の平均輝度成分を算出し、算出された前記上方向と下方向の平均輝度成分の差分値、および前記左方向と右方向の平均輝度成分の差分値に基づいて、エッジ方向を検出する検出手段と、
前記検出手段により検出された前記エッジ方向に関し、前記注目画素が前記エッジ方向のレベル差内にあるか否かを判定する判定手段と、
前記判定手段により前記注目画素が前記エッジ方向のレベル差内にあると判定された場合、カットオフ周波数の高いフィルタリングを施す第1のフィルタリング手段と、
前記判定手段により前記注目画素が前記エッジ方向のレベル差内にないと判定された場合、前記エッジ方向と平行な方向の前記平均輝度成分を用いてフィルタリングを施す第2のフィルタリング手段と、
前記第1および第2のフィルタリング手段によりフィルタリングされた前記入力画像から照明成分を抽出する抽出手段と、
前記入力画像の輝度信号、および前記抽出手段により抽出された前記照明成分に基づいて、テクスチャ成分を分離する分離手段と、
前記抽出手段により抽出された前記照明成分に基づいて、照明成分加減残量を算出する第1の算出手段と、
前記照明成分、および前記第1の算出手段により算出された前記照明成分加減残量に基づいて、ゲイン最適化照明成分を取得する第1の取得手段と、
前記分離手段により分離された前記テクスチャ成分、および前記第1の取得手段により取得された前記ゲイン最適化照明成分に基づいて、出力輝度信号を取得する第2の取得手段と
を備えることを特徴とする画像処理装置。 - 前記レベル差内とは、レベルの高い方の平均輝度成分とレベルの低い方の平均輝度成分の間のレベルである
ことを特徴とする請求項1に記載の画像処理装置。 - 前記抽出手段により抽出された前記照明成分から、アパーチャ補正のゲイン量を算出する第2の算出手段と、
前記第2の算出手段により算出された前記ゲイン量に基づいて、前記分離手段により分離された前記テクスチャ成分をアパーチャ補正する補正手段と
をさらに備えることを特徴とする請求項1に記載の画像処理装置。 - 前記第1の算出手段は、固定の入出力関数を有し、前記固定の入出力関数に基づいて、前記照明成分加減残量を算出する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記第1の算出手段は、前記固定の入出力関数を可変に調整する調整手段を有する
ことを特徴とする請求項4に記載の画像処理装置。 - 前記第1の算出手段は、入力信号のレベル毎に、1つの処理ブロックまたは複数の処理ブロックで構成されている
ことを特徴とする請求項1に記載の画像処理装置。 - 入力画像のうち、注目画素を含む周囲の画素の上方向、下方向、左方向、および右方向の平均輝度成分を算出し、算出された前記上方向と下方向の平均輝度成分の差分値、および前記左方向と右方向の平均輝度成分の差分値に基づいて、エッジ方向を検出する検出ステップと、
前記検出ステップの処理により検出された前記エッジ方向に関し、前記注目画素が前記エッジ方向のレベル差内にあるか否かを判定する判定ステップと、
前記判定ステップの処理により前記注目画素が前記エッジ方向のレベル差内にあると判定された場合、カットオフ周波数の高いフィルタリングを施す第1のフィルタリングステップと、
前記判定ステップの処理により前記注目画素が前記エッジ方向のレベル差内にないと判定された場合、前記エッジ方向と平行な方向の前記平均輝度成分を用いてフィルタリングを施す第2のフィルタリングステップと、
前記第1および第2のフィルタリングステップの処理によりフィルタリングされた前記入力画像から照明成分を抽出する抽出ステップと、
前記入力画像の輝度信号、および前記抽出ステップの処理により抽出された前記照明成分に基づいて、テクスチャ成分を分離する分離ステップと、
前記抽出ステップの処理により抽出された前記照明成分に基づいて、照明成分加減残量を算出する算出ステップと、
前記照明成分、および前記算出ステップの処理により算出された前記照明成分加減残量に基づいて、ゲイン最適化照明成分を取得する第1の取得ステップと、
前記分離ステップの処理により分離された前記テクスチャ成分、および前記第1の取得ステップの処理により取得された前記ゲイン最適化照明成分に基づいて、出力輝度信号を取得する第2の取得ステップと
を含むことを特徴とする画像処理方法。 - 入力画像のうち、注目画素を含む周囲の画素の上方向、下方向、左方向、および右方向の平均輝度成分を算出し、算出された前記上方向と下方向の平均輝度成分の差分値、および前記左方向と右方向の平均輝度成分の差分値に基づいて、エッジ方向を検出する検出ステップと、
前記検出ステップの処理により検出された前記エッジ方向に関し、前記注目画素が前記エッジ方向のレベル差内にあるか否かを判定する判定ステップと、
前記判定ステップの処理により前記注目画素が前記エッジ方向のレベル差内にあると判定された場合、カットオフ周波数の高いフィルタリングを施す第1のフィルタリングステップと、
前記判定ステップの処理により前記注目画素が前記エッジ方向のレベル差内にないと判定された場合、前記エッジ方向と平行な方向の前記平均輝度成分を用いてフィルタリングを施す第2のフィルタリングステップと、
前記第1および第2のフィルタリングステップの処理によりフィルタリングされた前記入力画像から照明成分を抽出する抽出ステップと、
前記入力画像の輝度信号、および前記抽出ステップの処理により抽出された前記照明成分に基づいて、テクスチャ成分を分離する分離ステップと、
前記抽出ステップの処理により抽出された前記照明成分に基づいて、照明成分加減残量を算出する算出ステップと、
前記照明成分、および前記算出ステップの処理により算出された前記照明成分加減残量に基づいて、ゲイン最適化照明成分を取得する第1の取得ステップと、
前記分離ステップの処理により分離された前記テクスチャ成分、および前記第1の取得ステップの処理により取得された前記ゲイン最適化照明成分に基づいて、出力輝度信号を取得する第2の取得ステップと
含む処理をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005184425A JP4479600B2 (ja) | 2005-06-24 | 2005-06-24 | 画像処理装置および方法、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005184425A JP4479600B2 (ja) | 2005-06-24 | 2005-06-24 | 画像処理装置および方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007006168A JP2007006168A (ja) | 2007-01-11 |
JP4479600B2 true JP4479600B2 (ja) | 2010-06-09 |
Family
ID=37691335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005184425A Active JP4479600B2 (ja) | 2005-06-24 | 2005-06-24 | 画像処理装置および方法、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4479600B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10846830B2 (en) | 2017-08-30 | 2020-11-24 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6548403B2 (ja) | 2015-02-24 | 2019-07-24 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | 画像処理装置、画像処理方法、及びプログラム |
-
2005
- 2005-06-24 JP JP2005184425A patent/JP4479600B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10846830B2 (en) | 2017-08-30 | 2020-11-24 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2007006168A (ja) | 2007-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4497160B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP5157753B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
US8144985B2 (en) | Method of high dynamic range compression with detail preservation and noise constraints | |
US7349574B1 (en) | System and method for processing non-linear image data from a digital imager | |
KR100782845B1 (ko) | 비로그 도메인 조도 수정을 이용한 디지털 영상 개선방법과 시스템 | |
JP4526445B2 (ja) | 撮像装置 | |
JP4803284B2 (ja) | 画像処理装置、及び画像処理プログラム | |
JP4869653B2 (ja) | 画像処理装置 | |
US20100073521A1 (en) | Image processing apparatus and method, and program therefor | |
JP4320572B2 (ja) | 信号処理装置および方法、記録媒体、並びにプログラム | |
JP4111980B2 (ja) | 画像処理装置及び画像処理方法 | |
JP3184309B2 (ja) | 階調補正回路及び撮像装置 | |
JP2003283878A (ja) | 画質改善方法 | |
JP2014027403A (ja) | 画像処理装置 | |
JP2012108898A (ja) | 画像処理装置、画像処理方法 | |
KR101650050B1 (ko) | 화상 처리 장치, 방법, 및 프로그램 | |
US8693799B2 (en) | Image processing apparatus for emphasizing details of an image and related apparatus and methods | |
JP4479600B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JPH08107519A (ja) | 撮像装置 | |
JP5295854B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP5142833B2 (ja) | 画像処理装置及び画像処理方法 | |
US7773824B2 (en) | Signal processing device and method, recording medium, and program | |
EP2410731B1 (en) | Edge correction apparatus, edge correction method, program, and storage medium | |
JP4550090B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4304609B2 (ja) | 信号処理装置および方法、記録媒体、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100223 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100308 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |