JP4135737B2 - 画像処理プログラム - Google Patents

画像処理プログラム Download PDF

Info

Publication number
JP4135737B2
JP4135737B2 JP2005250366A JP2005250366A JP4135737B2 JP 4135737 B2 JP4135737 B2 JP 4135737B2 JP 2005250366 A JP2005250366 A JP 2005250366A JP 2005250366 A JP2005250366 A JP 2005250366A JP 4135737 B2 JP4135737 B2 JP 4135737B2
Authority
JP
Japan
Prior art keywords
data
image
pixel
pixel data
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005250366A
Other languages
English (en)
Other versions
JP2007067746A (ja
Inventor
真樹 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2005250366A priority Critical patent/JP4135737B2/ja
Priority to US11/512,262 priority patent/US7916936B2/en
Publication of JP2007067746A publication Critical patent/JP2007067746A/ja
Application granted granted Critical
Publication of JP4135737B2 publication Critical patent/JP4135737B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/70
    • G06T5/94
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Description

本発明は、画像情報の逆光画像部分等の低画質部分を補正する画像処理プログラムに関するものである。
逆光条件下で被写体が撮像された場合、被写体部分の画像は、詳細な態様が判別困難となるほど明度やコントラストの低い不明瞭な逆光画像となる。かかる逆光画像のみならず、露光の過不足や、撮像時のぶれやぼけ、ノイズ、光量不足などによる劣悪な画像を、画像処理によって明度やコントラストを向上させて画質を改良することが行われている。かかる画像処理の1手法として、レティネックス処理(Retinex処理)が知られている。
レティネックス処理は、高画質部分については入力画像データを保持し、主に低画質部分の画質改良を行うものである。このレティネックス処理では、ガウスフィルタにより、元の画像の各画素データを周辺画素の画素データを反映させた値に補正し、その補正された画素データの自然対数から元の画像の第1画素成分(リファレンス成分データ)を算出し、また、第1画素成分で元の画像の画素データを除して第2画素成分(イルミナンス成分データ)を算出する。つまり、元の画像を、第1画素成分と第2画素成分との2の構成成分に分けるのである。そして、算出した第2画素成分に対してガンマ補正等の明度や階調(コントラスト)を補正する処理を行った後、その補正された第2画素成分と、第1画素成分とを合成することにより、元の画像に対し逆光画像部分などの低画質部分の画質が改良された画像データを生成することができる(非特許文献1)。
竹松祐紀著「統計的な画質評価に基づくRetinex処理を用いた写真画像の画質改善」日本写真学会誌67巻第4号、p.410−416、2004年
しかしながら、逆光画像部分などの低画質部分には、ノイズが含まれていることが多い。レティネックス処理により低画質部分の画質が改良されると、かかる低画質部分の画像データの信号強度が増幅することとなるため、低画質部分(逆光画像部分)のコントラストや明度を向上させることができる一方で、隠れていたノイズが露わになったり、ノイズが増幅されたりして、ノイズが強調されるという問題点があった。
つまり、低画質部分の画質を向上させるためにコントラストや明度を向上させる程、ノイズが増大してしまうのである。画素データの平均化(平滑化)を実行するとノイズを低減(除去)することができるが、ノイズが大きい場合には、画像データの平滑化(画素データの平均化)の度合が大きくなる。言い換えれば、ノイズが大きい場合には、ノイズ除去前の画像データからノイズ除去後の画像データへの変化量が大きくなると共に、ノイズ除去後の画像データは、各画素データの差異が大きく縮小されて均質化されることとなり、画像の解像度を低下させ、画質を低下させてしまうという問題点があった。
本発明は、上記問題点を解決するためになされたものであり、画像情報の逆光画像部分等の低画質部分を補正すると共に、補正後の画像のノイズを低減し、且つ、解像度の低下を抑制することのできる画像処理プログラムを提供することを目的としている。
この目的を達成するために、請求項1記載の画像処理プログラムは、入力された原画像情報の有する画素データをガウスフィルタによって処理した後、対数を算出することによって生成されるリファレンス成分データと、前記画素データを、対応するリファレンス成分データで除して求められるイルミナンス成分データとを生成する第2画素成分生成ステップと、その第2画素成分生成ステップにより生成されたイルミナンス成分データに対してコントラストを増大させるガンマ補正を実行する第2コントラスト補正ステップと、前記リファレンス成分データと前記第2コントラスト補正ステップによりガンマ補正されたイルミナンス成分データとに基づいて、ガンマ補正後のイルミナンス成分データと、前記リファレンス成分データとを各位置座標毎に乗算することにより画素データを再形成する第2画素再形成ステップとを含む第2レティネックス処理を実行し、その第2画素再形成ステップにより再形成された画素データを、前記入力された原画像情報の逆光画像部分のコントラストが補正された第2補正画像情報として生成する第2補正画像生成ステップと、その第2補正画像生成ステップにより生成された第2補正画像情報と入力された原画像情報とにおいて対応する画素データの差分を算出する差分算出ステップと、その差分算出ステップにより算出された差分が予め定めたしきい値以上の場合であって、第2補正画像情報の画素データが原画像情報の画素データよりも明度の上昇する側に遷移した場合を所定条件の成立として、入力された原画像情報が有する画素データの内、所定条件が成立した画素データについてノイズを低減し、前記所定条件が成立しない画素データについてノイズを低減しないノイズ低減ステップと、前記ノイズ低減ステップにより画素データに対するノイズの低減が実行された画像情報の有する画素データをガウスフィルタによって処理した後、対数を算出することによって生成されるリファレンス成分データと、前記画素データを、対応するリファレンス成分データで除して求められるイルミナンス成分データとを生成する第1画素成分生成ステップと、その第1画素成分生成ステップにより生成されたイルミナンス成分データに対してコントラストを増大させるガンマ補正を実行する第1コントラスト補正ステップと、前記リファレンス成分データと前記第1コントラスト補正ステップによりガンマ補正されたイルミナンス成分データとに基づいて、ガンマ補正後のイルミナンス成分データと、前記リファレンス成分データとを各位置座標毎に乗算することにより画素データを再形成する第1画素再形成ステップとを含む第1レティネックス処理を実行し、前記第1画素再形成ステップにより再形成された画素データを、前記ノイズ低減ステップにより画素データに対するノイズの低減が実行された画像情報の逆光画像部分のコントラストが補正された1補正画像情報として生成する第1補正画像生成ステップと、をコンピュータに実行させるものである。
請求項2記載の画像処理プログラムは、請求項1記載の画像処理プログラムにおいて、前記所定条件が成立しなかった画素データであって、前記ノイズ低減ステップによるノイズの低減がなされなかった画素データについて、前記第1補正画像生成ステップによる第1補正画像情報の生成動作を回避する生成回避ステップを前記コンピュータに実行させるものであり、
前記第1補正画像生成ステップは、その生成回避ステップにより前記第1補正画像生成ステップによる第1補正画像情報の生成が回避された部分については、前記第2補正画像生成ステップにより形成された第2補正画像情報の画素データを代用することを特徴とする。
請求項1記載の画像処理プログラムによれば、入力された原画像情報が有する画素データの内、所定条件が成立した画素データについては、ノイズ低減ステップによりノイズが低減される。そして、第1補正画像生成ステップにより、ノイズの低減が実行された画像情報から第1補正画像情報が生成される。
よって、画像情報の逆光画像部分のコントラストを向上させつつノイズが抑制された良好な画像情報(第1補正画像情報)を生成することができる上、第1補正画像生成ステップによりコントラストが増大される前の段階で、ノイズを低減(除去)することができるので、第1補正画像情報にて形成される画像の解像度を低下させることがないという効果がある。
画像情報の逆光画像部分はノイズが含まれていることが多い。逆光画像部分のコントラストを補正すると、かかる部分の明度が上昇されると共に明暗の対比が強調される(信号強度の増幅)。故に、逆光画像部分のコントラストを補正すると、隠れていたノイズが露わになったり、ノイズが増幅されたりしてノイズが目立ってしまうことが多い。そこで、ノイズを除去する必要が生じるが、例えば、周辺画素の画素データとの差を縮小させるなどの画素データの平均化(平滑化)を行ってノイズの除去を行う場合など、ノイズの程度が大きいほど画像の平滑化の程度が大きくなってしまい、その結果、画像の解像度を低下させることとなる。しかし、本プログラムでは、ノイズが低減された画像情報から第1補正画像生成ステップにより第1補正画像情報を生成するので、ノイズが強調される前の段階でかかるノイズを除去し得る。このため、平滑化の程度を抑制することができ、解像度の低下を回避しつつノイズを低減させることができる上、逆光画像部分のコントラストを向上させた画像生成を実現できる。
また、ノイズ低減ステップにおいて、第2補正画像生成ステップにより、入力された原画像情報の逆光画像部分のコントラストが補正された第2補正画像情報が生成され、差分算出ステップにより、その生成された第2補正画像情報と入力された原画像情報とにおいて対応する画素データの差分が算出される。そして、算出された差分が予め定めたしきい値以上の場合であって、第2補正画像情報の画素データが原画像情報の画素データよりも明度の上昇する側に遷移した場合を所定条件の成立として、入力された原画像情報の対応する画素データに対しノイズの低減が実行される。ここで、算出された差分が予め定めたしきい値以上の場合であって、第2補正画像情報の画素データが原画像情報の画素データよりも明度の上昇する側に遷移した場合を所定条件の成立とすることにより、元の画素データ(原画像情報の画素データ)に比して所定以上の明度上昇が発生した画素データ、即ち、原画像情報において逆光画像部分に属する画素データを判別することができる。これによれば、原画像情報において逆光画像部分に属する画素データを的確に検出でき、ノイズの低減が必要な部分に対し、確実にノイズの低減を実行することができるという効果がある。
また、第1補正画像生成ステップおよび第2補正画像生成ステップは、画像情報に対してレティネックス処理を実行するものであるので、逆光画像部分のコントラストを良好に補正することができ、第1補正画像情報によって形成される画像を、補正前の画像情報にて形成される画像に比べて、明瞭な画像とすることができるという効果がある。更に、第1補正画像生成ステップと第2補正画像生成ステップとは、共にレティネックス処理を実行するように構成されている。つまり、画像情報の逆光画像部分を補正するアルゴリズム(第1補正画像生成ステップ)と、ノイズを低減するために実行されるアルゴリズム(第2補正画像生成ステップ)とは共通化されたものである。
よって、第1補正画像生成ステップにより生成される第1補正画像情報と、第2補正画像生成ステップにより生成される第2補正画像情報とにおいて、逆光画像部分としてコントラストが補正された部分を同じ部分とすることができる。また、ノイズを低減する画素データを規定する差分は、第2補正画像生成ステップの第2画素再形成ステップにより生成された画素データと、入力された原画像情報の画素データとから算出されるので、ノイズを低減する画素データは、原画像情報の逆光画像部分に属するものとし得る。その結果、第1補正画像生成ステップによる第1補正画像情報の生成に際し、前もってノイズを低減すべき部分(原画像情報における逆光画像部分)の画素データについて、実際にノイズを低減することができるという効果がある。つまり、ノイズを低減すべき部分と実際にノイズを低減する部分との整合性を良好とする(ズレを小さくする)ことができ、原画像情報に対し必要な補正が的確に実行された高画質の画像を、第1画像情報によって形成することができるという効果がある。
請求項記載の画像処理プログラムによれば、請求項記載の画像処理プログラムの奏する効果に加え、前記所定条件が成立しなかった画素データであって、ノイズ低減ステップによるノイズの低減がなされなかった画素データについては、生成回避ステップにより第1補正画像生成ステップによる第1補正画像情報の生成動作が回避される。生成回避ステップにより第1補正画像生成ステップによる第1補正画像情報の生成が回避された部分については、第2補正画像生成ステップにより形成された第2補正画像情報の画素データが代用され、第1補正画像情報が生成される。よって、第1補正画像情報を形成する各画素データを、効率的に生成することができ、処理の冗長さを軽減すると共に、原画像情報から第1補正画像情報の生成が完了するまでの所要時間を短縮することができるという効果がある。
また、第1補正画像生成ステップと第2補正画像生成ステップとはアルゴリズムが共通化されている。ここで、ノイズの低減がなされなかった画素データは、原画像情報の画素データのままであるので、かかるノイズの低減がなされなかった画素データから、第1補正画像生成ステップによって生成された第1補正画像情報の画素データは、第2補正画像生成ステップによって原画像情報の画の画素データから生成された第2補正画像情報の画素データと、同じデータとなる。従って、前記所定条件が成立しなかった画素データであって、ノイズの低減がなされなかった画素データについては、第2補正画像生成ステップにより形成された第2補正画像情報の画素データを、第1補正画像情報の画素データに代用することにより、無駄な処理を削減して効率的に画像処理を実行することができる。
以下、本発明の好ましい実施形態について添付図面を参照して説明する。図1は、本実施形態の画像処理のプログラムを搭載したパーソナルコンピュータ(以下「PC」と称す)10の電気的な構成を示したブロック図である。本実施形態においては、PC10に搭載された画像処理のプログラムは、処理対象の画像データ(原画像データなど)に対しレティネックス処理(Retinex処理)を実行して、画像データの逆光画像部分などの低画質領域の補正を実行するように構成されている。
図1に示すように、PC10には、CPU11、ROM12、RAM13、入出力ポート15、ハードディスク装置(以下「HD」と称す)16、インターフェイス18,19、表示装置である液晶表示装置(以下単に「LCD」と称す)20、入力装置であるキーボード21が設けられている。
CPU11は、ROM12に記憶されるプログラムや、HD16に記憶されるオペレーティングシステム(OS)及び各種のアプリケーションプログラムに基づいて動作する演算装置であり、各種の情報処理を行うものである。ROM12は、CPU11を動作させる基本プログラムの他、各種のデータを記憶する書き換え不能なメモリである。
RAM13は、CPU11により実行される各種処理に必要なデータやプログラムを一時的に記憶するための書き換え可能なメモリであり、ロードエリア13aと、原画像メモリ13bと、リファレンス成分メモリ13cと、イルミナンス成分メモリ13dと、レティネックス画像メモリ13eと、補正領域メモリ13fとを備えている。
ロードエリア13aは、HD16により供給された各種のプログラムをロードするためのエリアである。このロードエリア13aにロードされたプログラムは、CPU11によって実行される。図3〜図5に示すフローチャートのプログラムも、HD16からロードエリア13aへロードされて実行される。
原画像メモリ13bは、CPU11にて画像処理が実行される画像データ(処理対象の画像データ)を記憶するためのメモリであり、具体的には、入力画像データである原画像データ、または原画像データから逆光画像部分(低画質部分)のノイズが除去された画像データ(デノイズ画像データ)が記憶される。尚、原画像データは、デジタルカメラ25等の外部装置からPC10に入力されたもののみならず、PC10で作成された画像データも原画像データに含まれるものとする。
PC10は、デジタルカメラ25から画像データ(原画像データ)を入力可能に構成されており、入力された画像データは、HD16の所定のエリアに記憶される。PC10の操作者による所定の操作により、HD16に記憶される画像データの内、画像処理を行うものが指定されると、その指定された画像データに対する画像処理を実行するために、該指定された画像データ(1の原画像データ)が、この原画像メモリ13bに書き込まれる。
また、本実施形態の画像処理は、入力された画像データの逆光画像部分の補正をレティネックス処理(S4、図5参照)によって行うものである。ここで、本実施形態では、レティネックス処理(S4)による逆光画像部分の補正に先だって、逆光画像部分のノイズ除去(デノイズ処理)を行う。つまり、レティネックス処理(S4)にて逆光画像部分の補正が行われる画像データは、原画像データに対してデノイズ処理が実行されたデノイズ画像データである。かかるデノイズ処理が実行されると、原画像メモリ13bに先に記憶される原画像データは、デノイズ処理後の画像データ(デノイズ画像データ)に書き換えられる。
リファレンス成分メモリ13cとイルミナンス成分メモリ13dとは、レティネックス処理(S4,S11)によって算出される画像データの成分値(成分データ)を記憶するためのメモリであり、リファレンス成分メモリ13cには、リファレンス成分データが記憶され、イルミナンス成分メモリ13dにはイルミナンス成分データが記憶される。
リファレンス成分データおよびイルミナンス成分データは、それぞれ、レティネックス処理(S4,S11)によって算出される。レティネックス処理(S4,S11)では、画像データに対し所定の演算を実行することにより画像データからリファレンス成分データとイルミナンス成分データとを生成する。
具体的には、リファレンス成分データは、画像データの各画素データ(各RGB値)をガウスフィルタによって処理した後、自然対数をとることによって生成されるデータである。算出された自然対数は、繰り上げと切り捨てとを行って、下限値0.3〜上限値1.3の範囲に規定された後、下限値0.3を「0」、上限値1.3を「255」とする「0」〜「255」の範囲の256の各値に変換されてリファレンス成分データとされる。
イルミナンス成分データは、画像データの各画素データを、対応するリファレンス成分データで除して求められる値である。リファレンス成分データは、「0」〜「255」であり、また、画像データのRGB値は「0」〜「255」の範囲とされているので、算出されるイルミナンス成分データは、「0」〜「1」の間の値となる。
尚、RGB値は、光の3原色である赤を表すR値と、緑を表すG値と、青を示すB値とを構成成分とする値である。光の3原色の混色により各種の色は生成されるので、入力画像の各画素の色は、R値とG値とB値との組合せ(RGB値)により1の色(色相や階調など)が示される。このRGB値の値が大きいほど、輝度(明度)は高くなる。本実施形態では、かかるR値G値B値のそれぞれについて、リファレンス成分データとイルミナンス成分データとが算出され、それぞれ、リファレンス成分メモリ13cとイルミナンス成分メモリ13dとに記憶される。
レティネックス画像メモリ13eは、レティネックス処理(S4,S11)によって形成されたレティネックス(Retinex)画像データを記憶するメモリである。レティネックス画像データは、元の画像データに対して主にその逆光画像部分が補正された画像データであり、元の画像データから生成されたリファレンス成分データと、ガンマ補正を行ったイルミナンス成分データとを乗算することによって形成される。本実施形態の画像処理は、原画像データから出力画像データが形成されるまでに、2度、レティネックス処理が実行されるように構成されている。1度目は、デノイズ処理を行う補正領域を判定するために行われ、2度目は、デノイズ処理後の画像データ(デノイズ画像データ)に対して逆光画像部分を補正するため、つまり、原画像データの画質向上のために行われる。
従って、一連の画像処理の中で、2のレティネックス画像データが生成され、各段階で生成されたレティネックス画像データは、レティネックス画像メモリ13eに書き込まれて記憶される。このため、補正領域を判定するために生成されたレティネックス画像データは、その後に生成されるレティネックス画像データによって書き換えられる。2度目のレティネックス処理(S4)によってこのレティネックス画像メモリ13eに書き込まれたレティネックス画像データは、補正が終了した画像データ(出力画像データ)であり、このレティネックス画像メモリ13eから読み出され、LCD20に出力画像として表示される。
尚、1度目のレティネックス処理(S11)で形成された画像データが、請求項に記載の第2補正画像情報に該当し、2度目のレティネックス処理(S4)で形成された画像データが、請求項に記載の第1補正画像情報に該当する。
また、原画像メモリ13b、リファレンス成分メモリ13c、イルミナンス成分メモリ13d、レティネックス画像メモリ13eに記憶される画像データは、その各画素データが、それぞれ、その位置座標(X,Y)に対応つけられて記憶されている。位置座標は、X軸上の位置を示すX座標(X)と、そのX軸に直交するY軸上の位置を示すY座標(Y)とにより位置を示す情報である。画像左上端の画素の位置座標が(0,0)とされており、画像が、例えば、960×680画素で構成される場合には、X座標の最終座標(n)は959、Y座標の最終座標(m)は679となる。
補正領域メモリ13fは、デノイズ処理を実行する補正領域を記憶するメモリである。本実施形態の画像処理において、CPU11は、逆光画像部分についてデノイズ処理を実行する。つまり、逆光画像部分がデノイズ処理を実行する補正領域に相当する。デノイズ処理は、各画素単位で実行するように構成されているので、補正領域メモリ13fは、各画素毎に補正を実行するか否かを示すべく、各画素の位置座標(X,Y)に対応つけて補正コードを記憶し得るように構成されている。本実施形態においては、補正コードはフラグで構成されており、フラグのオン、即ち「1」が補正コードであり、デノイズ処理の要不要が、補正領域メモリ13fにおいて「1」と「0」と(フラグのオンとオフと)で示されるようになっている。
具体的には、補正(デノイズ処理)を行うべき画素であるか否か、即ち、逆光画像部分であるか否かの判定は、後述する補正領域判定処理(図3参照)において実行され、原画像データから形成されたレティネックス画像データと、原画像データとの差分((レティネックス画像データの各画素データ)−(原画像データの各画素データ))に基づいて判定される。そして、デノイズ処理を実行する画素であると判定された場合には、その画素の位置座標(X,Y)に対応つけて、デノイズ処理を指示する補正コード(「1」)が補正領域メモリ13fに記憶される。補正を行うべき画素であるか否かの判定はR値G値B値のそれぞれで行われ、いずれか1の値に対して補正を行うべきとの判断がなされると、補正領域メモリ13fに補正コード(「1」)が記憶される。
逆に、デノイズ処理を実行する画素でない、即ち、R値G値B値のいずれもデノイズ処理を行う必要がないと判定された場合には、その画素に対応する補正コードは記憶されない。補正コードの書込みに先だって、補正領域メモリ13fは、0クリアされているので、補正コードが書き込まれない画素については、その位置座標に対応つけて「0」が記憶されることとなる。
デノイズ処理の実行時には、CPU11により補正領域メモリ13fが参照され、1の画素を示す位置座標(X,Y)に補正コードが記憶されていると、その画素(画素データ、R値G値B値の全て)に対するデノイズ処理が実行される。
これら、CPU11、ROM12、RAM13は、アドレスバス、データバスおよび制御信号線などにより構成されるバスライン14を介して相互に接続されている。バスライン14は、また、入出力ポート15にも接続されており、この入出力ポート15は、HD16、インターフェース18,19、LCD20、キーボード21に接続されている。
HD16は、PC10のオペレーティングシステム(OS)や各種のアプリケーションプログラムなどの制御プログラム16aを備えた書き換え可能な大容量の記憶媒体である。図3〜図5のフローチャートに示すプログラムは、制御プログラム16aの一部としてHD16に記憶されている。
インターフェイス18は、例えば、ユニバーサルシリアルバス(以下単に「USB」と称す)であり、PC10は、このインターフェイス18に接続されたケーブル30を介してデジタルカメラ25と接続され、デジタルカメラ25との間でデータやコマンドの送受信が可能にされている。尚、上記したように、デジタルカメラ25から送信された画像デーは、HD16の所定の領域に記憶される。
インターフェイス19は、例えば、USBで構成されており、PC10は、このインターフェイス19に接続されたケーブル31を介して非図示のプリンタと接続され、プリンタへの画像データの送信やコマンドの送受信が可能にされている。
尚、このインターフェース19をLANインターフェースとし、PC10を、LANケーブルを介してLAN上の各装置(プリンタや他のPC)とデータ等の送受信を行う構成としても良い。PC10がLANに接続された場合には、LAN上の他PCなどからPC10に画像データを入力することができ、また、LANがインターネット接続可能に構成されている場合には、PC10は、更に、インターネットを介して他のPCやサーバなどから画像データを取得できる。
また、画像データをPC10に入力する装置としては、デジタルカメラ25やLAN上のPC以外に、メモリーカードやフロッピー(登録商標)、MO(マグネティカルオプティカルディスク)などの記憶媒体から情報を読み出すリーダーであってもよく、かかるリーダーに装着された記録媒体を介して、画像データや各種プログラムがPC10内部に入力されるようにPC10を構成しても良い。
次に図2を参照して、PC10のCPU11によって実行される画像処理の概要について、比較例を対比させつつ明する。図2は、本PC10で実行される画像処理の概要を模式的に示した図である。
図2(a)は、本実施形態の画像処理の様式を模式的に示したものであり、図2(b)は、レティネックス処理を用いた従来の画像処理の様式を比較例として示したものである。図2(a),(b)において、上側には画像を、画像の下方には、その画像のノイズレベルを表示している。
図2(a)の左端には、原画像(視覚化された原画像データ、表示装置に出力された原画像データ)を示しており、かかる原画像の下方には、原画像が有するノイズのレベルを示している。ここで黒塗りで示した逆光画像部分は、取得された画像信号のSN比が低く、他の部分に比べてノイズが大きくなっている。この原画像の逆光画像部分は、デノイズ処理を行う領域であり、逆光画像部分であるか否かは、補正領域判定処理によって生成されるレティネックス画像データと原画像データとの差によって判定される。かかる逆光画像部分にデノイズ処理を施すと、ノイズが低減(除去)される(図2(a)中央の画参照)。デノイズ処理は、逆光画像部分の画素データの値(信号レベル)をその周縁の画素データの値(信号レベル)によって平均化することによってノイズを低減する処理である。1の画素とその周辺の画素の画素データの差異が平滑化されることによりノイズが低減(除去)されるのである。その後、デノイズ処理を行った画像データ(デノイズ画像データ)に対しレティネックス処理(S4)が実行される。このレティネックス処理(S4)が画像データに対して実行されると、逆光画像部分の明度やコントラストを向上させることができる。
ここで、逆光画像部分の明度やコントラストの向上は、かかる逆光画像部分に隠れていたノイズの現出や増幅を招くこととなる。逆光画像部分の画像データの信号強度を増大させれば、同様に、かかる部分のノイズの信号強度も増大するからである。しかし、本実施形態の画像処理では、デノイズ処理を行った後にレティネックス処理(S4)を実行するので、レティネックス処理が実行されても、ノイズの増幅を抑制できる。故に、図2(a)の右端に示すように、コントラストおよび明度が良好な上、ノイズの小さい鮮明な出力画像を形成することができる。
一方、図2(b)に比較例として示した、レティネックス処理を用いた従来の画像処理の様式では、図2(b)の左端に示した原画像に対しレティネックス処理を行うと、逆光画像部分の明度やコントラストを向上させることができる一方で、かかる逆光画像部分のノイズが増幅されてしまい、図2(b)右端に示すようにノイズが強調された出力画像が形成されてしまう。
このレティネックス処理後にデノイズ処理を実行することもできるが、ノイズのレベルが大きいと、デノイズ処理によって大きく画像データを変化させてしまい、また、周辺画素の画素データとの差を縮小させてノイズを低減(除去)しようとすれば、画素データの平滑化の程度が大きくなる(画素データの差異が大幅に縮小される)ために、画像の解像度を低下させてしまうこととなるのである。
次に、図3から図5までのフローチャートを参照して、上記のように構成されたPC10で実行される画像処理の動作について説明する。図3は、PC10で実行される画像処理を示したフローチャートである。画像処理は、画像データの逆光画像部分の補正(画質改良、コントラスト及び明度の向上)をレティネックス処理にて行うと共に、このレティネックス処理に先だって逆光画像部分のノイズの除去を実行するものである。
この画像処理は、操作者の所定の操作により、画像処理を行う画像データが指定されることにより起動され、その指定された画像データが原画像データとして原画像メモリ13bに書き込まれた後、補正領域(逆光画像部分)、即ち、デノイズ処理を行う画素を判定する補正領域判定処理を実行する(S1)。そして、補正領域判定処理(S1)の実行後は、補正領域メモリ13fには、デノイズ処理の必要な画素(画素データ)に対しては、その位置座標に対応つけてて補正コードが補正領域メモリ13fに記憶されているので、原画像メモリ13bに記憶される原画像データについて、補正領域メモリ13fを参照し、補正コードにより補正が指示された位置座標に対応する画素データのデノイズ処理を行う(S2)。位置座標に対応して補正コードが記憶されている場合には、S2の処理においてCPU11は、その位置座標に対応する原画像データの画素データ(R値、G値、B値のそれぞれ)について、デノイズ処理を実行する。
このデノイズ処理は、デノイズを行う画素(デノイズの対象画素)を中心とする3×3のマトリクスにおいて、当該マトリクスに属する画素データの平均を算出し、算出された画素データをその中心画素、即ち、デノイズの対象画素の画素データとすることによって実行される。これにより、デノイズの対象画素の画素データは平坦化(周辺の画素データとの差が縮小)され、ノイズが低減(除去)されることとなる。
そして、デノイズされた画素データの位置座標に対応して原画像メモリ13bに記憶されている画素データを、デノイズ処理された画素データに書き換えて、原画像メモリ13bに記憶される先のデータを更新する。つまり原画像メモリ13bに記憶される原画像データをデノイズ画像データに書き換える(S3)。次に、原画像メモリ13bに記憶される画像データに対しレティネックス処理を実行する(S4)。このS4の処理では、デノイズされた原画像データ、即ち、デノイズ画像データに対してレティネックス処理が実行され、原画像データの逆光画像部分が補正されたレティネックス画像データが生成される。生成されたレティネックス画像データは、レティネックス画像メモリ13eに記憶される。
その後、レティネックス画像メモリ13eに記憶されるレティネックス画像データを、LCD20に出力する(S5)。これにより、原画像データの逆光画像部分が補正され、そのコントラストや明度が向上された高画質な画像がLCD20に表示される。そして、各処理を実行した後(S6)、この画像処理を終了する。各処理(S6)においては、例えば操作者による印刷指示の入力に応じて印刷を行う印刷処理や、レティネックス処理以外のモデリングや色相の変更等の処理が実行される。
図4は、図3の画像処理の中で実行される補正領域判定処理(S1)のフローチャートである。補正領域判定処理(S1)は、上記したように、補正領域(逆光画像部分)、即ち、デノイズ処理を行う画素を判定する処理であり、原画像データと、その原画像データから生成されるレティネックス画像データとの差分から、補正領域を判定するものである。この補正領域判定処理(S1)では、まず、非図示のステップにより、補正領域メモリ13fの0クリアを行った後、レティネックス処理を行う(S11)。レティネックス処理(S11)では、原画像データからレティネックス画像データを生成し、生成されたレティネックス画像データをレティネックス画像メモリ13eに記憶する。
そして、レティネックス画像データ内の1の画素データを指定するために、画素の位置座標を指定する変数X,Yをそれぞれ0にセットし(X=0,Y=0)(S12)、レティネックス画像メモリ13eに記憶されるレティネックス画像データの各画素データの内、指定された位置座標(X,Y)に対応する画素データ(RGB値)から、原画像メモリ13bに記憶される原画像データの対応する画素データ(RGB値)を減算して差分を算出する(S13)。尚、原画像データの対応する画素データとは、原画像メモリ13bに記憶される原画像データの内、指定された位置座標(X,Y)に対応する画素データである。また、差分は、R値G値B値のそれぞれについて算出される。
次に、算出された差分値が、所定のしきい値以上であるか否かを確認する(S14)。しきい値としては、32〜64の範囲のいずれかの値であることが望ましく、本実施形態においては32とされている。また、S14の処理においては、R値G値B値のそれぞれについて算出された各差分値が、それぞれ32以上であるか否かを判断する。即ち、0から32を所定範囲とし、その所定範囲の範囲外であるか否かを判断する。
レティネックス画像データは、原画像データに比べて明度が上昇しているため、レティネックス画像データから原画像データを減算すると、多くの場合、その差分値は正の値となる。そして、その差分値が所定のしきい値以上である場合には、他の部分に比べて大きく明度が上昇したことを示している。つまり、補正前の原画像データにおいて、当該部分(当該画素)が明度の低い逆光画像部分であったと判断することができる。
そして、R値G値B値のいずれかの差分値が所定値(32)以上である場合には(S14:Yes)、その画素の位置座標(X,Y)に対応つけて補正コードが補正領域メモリ13fに記憶され(S15)、逆に、R値G値B値のいずれの差分値も所定値(32)未満である場合には(S14:No)、S15の処理をスキップして、その処理をS16の処理に移行する。このため、R値G値B値のいずれの差分値も所定値(32)未満である場合には、補正コードは補正領域メモリ13fに書き込まれない。
続いて、変数X=nであるか否か、即ち、判定した画素データのX座標が、最終座標の値(n)であるか否かを確認し(S16)、その結果、X座標が、最終座標の値(n)であれば(S16:Yes)、変数Y=mであるか否か、即ち、位置座標のY座標が、最終座標の値(m)であるか否かを確認する(S17)。ここで、Y座標が、最終座標の値(m)であれば(S17:Yes)、原画像データの全ての画素データ、即ち位置座標(0,0)〜(n,m)の画素に対する判定が終了しているので、この補正領域判定処理(S1)を終了する。
一方、S16の処理で確認した結果、X座標が、最終座標の値(n)でなければ(S16:No)、X座標は最終座標に未到達であるので、現在指定されている画素(デノイズ処理の用不要が判定された画素)の先方に、未判定の画素データありと判断して、次の画素の位置座標(X,Y)を指定するべく変数Xに1加算して(X=X+1)画素のX座標を更新し(S18)、その処理をS13の処理に移行する。
また、S17の処理で確認した結果、Y座標が最終座標の値(m)でなければ(S17:No)、Y座標は最終座標に未到達であるので、現在指定されているY座標の先方に、未判定の画素データありと判断して、次の画素の位置座標(X,Y)を指定するべく、変数Xを0とすると共に変数Yに1加算して(X=0、Y=Y+1)X座標およびY座標を更新し(S19)、その処理をS13の処理に移行する。これにより、新たなY座標上で、順次、指定されるX座標に従って、各画素毎にその画素データがデノイズ処理すべき画素データであるか否かが判定されることとなり、位置座標が最終座標(n,m)に到達するまで、繰り返して、S13〜S19の処理が実行される。
図5は、図3の画像処理の中で実行されるレティネックス処理(S4)および図4の補正領域判定処理(S1)の中で実行されるレティネックス処理(S11)のフローチャートである。レティネックス処理(S4,S11)は、上記したように、原画像データの逆光画像部分の明度やコントラストを上昇させる画像処理である。本実施形態においては、このレティネックス処理を、画像データの画質の改良と、デノイズ処理を行う領域(画素)の抽出とのために実行する。
このレティネックス処理(S4,S11)では、まず、原画像メモリ13bに記憶される画像データを読み出し、その画像データの画素データ、即ち各画素のRGB値をガウスフィルタにて補正する(S21)。ガウスフィルタによる補正は、画素データの平均化を行う処理の1つであって、1の画素(対象画素)とその周辺画素にはその位置に応じた重み係数が付与され(対象画素および周辺画素の重み係数の合計は1になるように規定されている)、付与された重み係数が加味された画素データから算出される平均値を対象画素の画素データとする処理である。
その後、補正された画素データ(各RGB値)の自然対数を算出してから(S22)、算出された対数を0.3〜1.3の範囲に正規化するために、0.3未満の値を0.3とし、1.3を越えた値については1.3に置き換える(S23)。次に、0.3から1.3の対数値を、0.3を「0」、1.3を「255」として、8ビットの2進数「0」〜「255」の値(リファレンス成分データ)へ変換した後、各座標位置に対応つけてリファレンス成分メモリ13cに記憶する(S24)。そして、原画像メモリ13bに記憶される画像データの各画素データ(各RGB値)を、リファレンス成分メモリ13cに記憶される対応する値(リファレンス成分データ)でそれぞれ除してイルミナンス成分データを算出する(S25)。原画像メモリ13bおよびリファレンス成分メモリ13cにおいて、画像データは、各画素データがその画素の位置座標(X,Y)に対応つけて記憶されているので、位置座標(X,Y)を指標としてS24の処理における画素データの演算が実行される。
続いて、算出したイルミナンス成分データを各座標位置に対応つけてイルミナンス成分メモリ13dに記憶する(S26)。そして、イルミナンス成分メモリ13dに記憶されるイルミナンス成分データに対しガンマ補正を行ってから(S27)、ガンマ補正後のイルミナンス成分データと、リファレンス成分メモリに記憶されるリファレンス成分データとを各位置座標毎に乗算し、乗算後の各値(レティネックス画像データ)をその位置座標(X,Y)に対応つけてレティネックス画像データメモリ13eに書き込み、このレティネックス処理(S4,S11)を終了する。
レティネックス処理(S4)では、原画像メモリ13bに記憶される画像データは、デノイズ処理が実行されたデノイズ画像データであるので、デノイズ画像データから生成されたレティネックス画像データがレティネックス画像データメモリ13eに記憶されることとなる。つまり、出力画像に対応したレティネックス画像データが、このレティネックス処理(S4)で生成されて、レティネックス画像データメモリ13eに格納される。
レティネックス処理(S11)では、原画像メモリ13bに記憶される画像データは、原画像データであるので、原画像データから生成されたレティネックス画像データがレティネックス画像データメモリ13eに記憶されることとなる。つまり、補正領域判定処理(S1)において、原画像データと比較して補正領域を抽出するためのレティネックス画像データが、このレティネックス処理(S11)で生成されて、レティネックス画像データメモリ13eに格納される。
このように、画像データの画質の改良を行うレティネックス処理(S4)と、デノイズ処理を行う領域(画素)抽出を行うためレティネックス処理(S11)とは、同じアルゴリズムで構成されている。このため、S4のレティネックス処理において画質の補正がなされる逆光画像部分と、補正領域判定処理(S1)によってデノイズ処理を行う部分、即ち逆光画像部分と判断される部分とを整合させることができる。従って、S4のレティネックス処理における画質の補正において、予めノイズを低減させておくべき部分と実際にノイズが低減される部分とがズレることがなく、出力画像を高画質で形成することができる。
以上説明したように、PC10に搭載された画像処理のプログラムによれば、レティネックス処理によって画像の画質を改良することができる上、逆光画像部分のノイズをレティネックス処理の前に除去することができるので、レティネックス処理によるノイズの増幅を回避でき、高画質の画像を形成することができる。
次に、図6及び図7を参照して第2実施形態について説明する。上記した第1実施形態では、画像処理のプログラムは、デノイズ処理を行う領域の判定と、画質の補正とを行うために、2回、レティネックス処理を行うように構成され、また、両レティネックス処理(S4,S11)においては、全ての画素データに対して処理を行った。これに代えて、第2実施形態では、2回目のレティネックス処理(S4)においては、デノイズ処理された画素データについてのみ処理を行い、他の部分については、補正領域を判定するために補正領域判定処理(S1)の中で実行された1回目のレティネックス処理(S11)で生成された値を用いて、レティネックス画像データを形成するように構成されている。なお、上記した第1実施形態と同一の部分には同一の符号を付してその説明は省略し、異なる部分についてのみ説明する。
図6は、第2実施形態のPC10において実行される画像処理のフローチャートである。第2実施形態の画像処理は、第1実施形態と同様に、原画像データをレティネックス処理によって画質改良する処理であり、原画像データの逆光画像部分の画質を改良してもノイズが強調されないように、画質改良のためのレティネックス処理に先だって、逆光画像部分のデノイズ処理を実行するように構成されている。
このデノイズ処理を実行する領域(画素)は、補正領域判定処理(S1)において、原画像データに対してレティネックス処理を実行し、生成されたレティネックス画像データと、原画像データとを比較することによって、選定される。ここで、デノイズ処理がなされなかった画素データは、原画像データから変化していない。このため、原画像メモリ13bに記憶されるデノイズ画像データの全ての画素データに対しレティネックス処理を行うと、デノイズ処理がなされなかった画素データについては重複してレティネックス処理が実行されることとなる。
レティネックス処理では、ガウスフィルタによる補正、イルミナンス成分データおよびリファレンス成分データの生成、ガンマ補正が実行されるが、特に、ガウスフィルタによる補正において煩雑な演算が実行されることから、レティネックス処理は、その処理時間が長時間化する傾向にある。また、一般に画像データは、そのデータ量が多い上、画像の高画質化に伴って、画像データ(画素データ)は増大する方向にあり、1の画素に対する処理時間が僅かに増加しただけでも、画像処理全体としては大きな処理速度の低下を招く。そこで、レティネックス処理による画像処理全体の速度低下を改善するため、第2実施形態のPC10で実行される画像処理においては、重複してレティネックス処理が実行されることを回避して、画像処理全体の処理速度を向上させている。
具体的には、第2実施形態の画像処理では、第1実施形態と同様に、補正領域判定処理(S1)によりデノイズ処理を実行する画素であると判断された画素データについてデノイズ処理を実行し、デノイズ処理された画素データで原画像メモリ13bに記憶される原画像データの対応する画素データを置き換える(S1〜S3)。そして、原画像メモリ13bに記憶される画像データ、即ち原画像データにデノイズ処理がなされたデノイズ画像データに対して、部分レティネックス処理(部分レティネックス処理)を実行する(S40)。第2実施形態においては、原画像メモリ13bに記憶される全ての画素データではなく、デノイズ処理がなされた画素データに対してのみ、この部分レティネックス処理(S40)によりレティネックス処理を実行する。部分レティネックス処理(S40)の実行後は、レティネックス画像メモリ13eに記憶されるレティネックス画像データをLCD20に出力し、各処理を実行した後、この第2実施形態の画像処理を終了する。
図7は、図6の画像処理の中で実行される部分レティネックス処理(S40)のフローチャートである。部分レティネックス処理(S40)は、上記したように、デノイズ処理がなされた画素データにのみレティネックス処理を行うものである。
この部分レティネックス処理(S40)では、まず、原画像メモリ13bに記憶される画像データ(デノイズ画像データ)を読み出し、補正領域メモリ13fを参照して、補正コードにより補正が指示された位置座標(X,Y)に対応する画素データ(RGB値)をガウスフィルタにて補正する(S41)。そして、補正された各RGB値からリファレンス成分データを生成した後(S22〜S24)、補正領域メモリ13fを参照して、原画像メモリ13bに記憶される画像データの各画素データ(各RGB値)の内、補正コードにより補正が指示された位置座標(X,Y)に対応する画素データ(RGB値)を、リファレンス成分メモリ13cに記憶される対応する(同じ位置座標(X,Y)で指定される)リファレンス成分データでそれぞれ除して、イルミナンス成分データを部分的に算出する(S42)。これにより、デノイズ画像データの内、原画像データとは異なる部分についてのみ、イルミナンス成分データが生成され、生成されたイルミナンス成分データはイルミナンス成分メモリ13dに記憶される(S26)。
そして、イルミナンス成分メモリ13dに記憶されるイルミナンス成分データに対しガンマ補正を行ってから(S27)、ガンマ補正後のイルミナンス成分データと、そのイルミナンス成分データに対応するリファレンス成分データとを各位置座標毎に乗算し、乗算後の各値(レティネックス画像データ)にて、レティネックス画像データメモリ13eに記憶される対応する値を書き換えて、この部分レティネックス処理を終了する。
以上説明したように、第2実施形態のPC10にて実行される画像処理では、原画像メモリ13bに記憶される画像データに対しては、全画素データに対してレティネックス処理を行うのではなく、デノイズ処理がなされた画素データに対してのみレティネックス処理を行う(部分レティネックス処理(S40))こととし、デノイズ処理がなされなかった部分については、既に、補正領域判定処理(S1)で生成されたレティネックス画像データをそのまま代用する。これにより、重複してレティネックス処理が行われることを回避し、画像処理の処理速度を向上させることができる。
以上実施形態に基づき本発明を説明したが、本発明は上記各実施形態に何ら限定されるものでなく、本発明の趣旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。
例えば、上記各実施形態では、色表現系はRGB形式としたが、RGB形式以外の他の色表現系、例えば、Lab形式に、本発明を適用しても良い。
更には、上記各実施形態においては、補正領域判定処理(S1)は、RGB値のそれぞれ(R値、G値、B値)をしきい値と比較して、デノイズ処理すべき画素データであるか否かを判定するように構成された。これに代えて、レティネックス画像データおよび原画像データのRGB値から、それぞれ輝度値(輝度値=0.3R値+0.6G値+0.1B値)を生成し、かかる輝度値の差分がしきい値以下であるか否かを判定することによって、その画素データがデノイズ処理すべき画素データであるか否かを判定するように構成しても良い。
また、上記各実施形態では、補正領域判定処理(S1)は、1の画素データのR値、G値、B値のそれぞれについて、デノイズ処理すべき画素データであるか否かを判定するように構成されており、また、画像処理は、補正領域判定処理(S1)にて、R値、G値、B値のいずれかに対しデノイズ処理すべき画素データであると判定されていると(補正コードが付与されると)、R値、G値、B値の全てにデノイズ処理を行うように構成された。これに代えて、補正コードが付与されていない値については、デノイズ処理を省略するように画像処理を構成しても良い。これによれば、処理速度を向上させることができる。
更には、上記各実施形態では、各画素毎に、その位置座標(X,Y)に補正コードを対応つけて記憶することにより、CPU11がデノイズ処理を行う領域(画素)を把握することができるように構成した。これに代えて、1の画素毎ではなく、デノイズ処理を行う範囲を示す情報、例えば、デノイズ処理を行う範囲の両端の位置座標(X,Y)を示すものとし、その示される位置座標間についてデノイズ処理を実行するように構成しても良い。
また、上記各実施形態では、デノイズ処理を行う領域は、逆光画像部分が補正されたレティネックス画像データと原画像データとの差分に基づいて決定されたが、逆光画像部分が補正された画像データは、必ずしもレティネックス処理によって生成されるものには限られず、各種の明度を補正する処理を適宜用いて生成することができる。更には、デノイズ処理を行う領域の判定は、逆光画像部分が補正された画像データと原画像データとの差分に基づいて設定されるものに限られるものではなく、例えば、操作者が、逆光画像部分として任意の範囲を指定することにより設定されても良く、また、周辺の画素と、判定する画素との明度差によって判定しても良い。これによれば、画像処理全体の処理速度を向上させることができる。
更に、上記各実施形態の画像処理では、まず、補正領域判定処理(S1)により、各画素についてデノイズ処理の要不要を判定し、その判定結果を補正領域メモリ13fに記憶させた。そして、補正領域メモリ13fに記憶される判定結果に基づいて、各画素にデノイズ処理を行うように構成された。これに代えて、デノイズ処理の実行に際して、各画素にデノイズ処理が必要か否かを判定するように画像処理を構成し、補正領域メモリ13fを非設としても良い。これによれば、補正領域メモリ13fの初期化(0クリア)や、補正領域メモリ13fへのデータの書込みを非実行とすることができるので、画像処理全体の処理速度を向上させることができる。
本発明の1実施形態の画像処理プログラムを搭載したパーソナルコンピュータの電気的構成を示すブロック図である。 PCで実行される画像処理の概要を模式的に示した図である。 PCで実行される画像処理のフローチャートである。 図3の画像処理の中で実行される補正領域判定処理のフローチャートである。 図3の画像処理および図4の補正領域判定処理の中で実行されるレティネックス処理のフローチャートである。 第2実施形態のPCにおいて実行される画像処理のフローチャートである。 図6の画像処理の中で実行される部分レティネックス処理のフローチャートである。
符号の説明
S21〜S25,S41,S42 第1画素成分生成ステップ
S21〜S25 第2画素成分生成ステップ
S27 第1コントラスト補正ステップまたは第2コントラスト補正ステップ
S28,S43 第1画素再形成ステップまたは第2画素再形成ステップ
S4,S40 第1補正画像生成ステップ
S1,S2 ノイズ低減ステップ
S11 第2補正画像生成ステップ
S13 差分算出ステッ
S41,S42 生成回避ステップ

Claims (2)

  1. 入力された原画像情報の有する画素データをガウスフィルタによって処理した後、対数を算出することによって生成されるリファレンス成分データと、前記画素データを、対応するリファレンス成分データで除して求められるイルミナンス成分データとを生成する第2画素成分生成ステップと、その第2画素成分生成ステップにより生成されたイルミナンス成分データに対してコントラストを増大させるガンマ補正を実行する第2コントラスト補正ステップと、前記リファレンス成分データと前記第2コントラスト補正ステップによりガンマ補正されたイルミナンス成分データとに基づいて、ガンマ補正後のイルミナンス成分データと、前記リファレンス成分データとを各位置座標毎に乗算することにより画素データを再形成する第2画素再形成ステップとを含む第2レティネックス処理を実行し、その第2画素再形成ステップにより再形成された画素データを、前記入力された原画像情報の逆光画像部分のコントラストが補正された第2補正画像情報として生成する第2補正画像生成ステップと、
    その第2補正画像生成ステップにより生成された第2補正画像情報と入力された原画像情報とにおいて対応する画素データの差分を算出する差分算出ステップと、
    その差分算出ステップにより算出された差分が予め定めたしきい値以上の場合であって、第2補正画像情報の画素データが原画像情報の画素データよりも明度の上昇する側に遷移した場合を所定条件の成立として、入力された原画像情報が有する画素データの内、所定条件が成立した画素データについてノイズを低減し、前記所定条件が成立しない画素データについてノイズを低減しないノイズ低減ステップと、
    前記ノイズ低減ステップにより画素データに対するノイズの低減が実行された画像情報の有する画素データをガウスフィルタによって処理した後、対数を算出することによって生成されるリファレンス成分データと、前記画素データを、対応するリファレンス成分データで除して求められるイルミナンス成分データとを生成する第1画素成分生成ステップと、その第1画素成分生成ステップにより生成されたイルミナンス成分データに対してコントラストを増大させるガンマ補正を実行する第1コントラスト補正ステップと、前記リファレンス成分データと前記第1コントラスト補正ステップによりガンマ補正されたイルミナンス成分データとに基づいて、ガンマ補正後のイルミナンス成分データと、前記リファレンス成分データとを各位置座標毎に乗算することにより画素データを再形成する第1画素再形成ステップとを含む第1レティネックス処理を実行し、前記第1画素再形成ステップにより再形成された画素データを、前記ノイズ低減ステップにより画素データに対するノイズの低減が実行された画像情報の逆光画像部分のコントラストが補正された1補正画像情報として生成する第1補正画像生成ステップと、をコンピュータに実行させることを特徴とする画像処理プログラム。
  2. 前記所定条件が成立しなかった画素データであって、前記ノイズ低減ステップによるノイズの低減がなされなかった画素データについて、前記第1補正画像生成ステップによる第1補正画像情報の生成動作を回避する生成回避ステップを前記コンピュータに実行させるものであり、
    前記第1補正画像生成ステップは、その生成回避ステップにより前記第1補正画像生成ステップによる第1補正画像情報の生成が回避された部分については、前記第2補正画像生成ステップにより形成された第2補正画像情報の画素データを代用することを特徴とする請求項記載の画像処理プログラム。
JP2005250366A 2005-08-30 2005-08-30 画像処理プログラム Expired - Fee Related JP4135737B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005250366A JP4135737B2 (ja) 2005-08-30 2005-08-30 画像処理プログラム
US11/512,262 US7916936B2 (en) 2005-08-30 2006-08-30 Image-processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005250366A JP4135737B2 (ja) 2005-08-30 2005-08-30 画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2007067746A JP2007067746A (ja) 2007-03-15
JP4135737B2 true JP4135737B2 (ja) 2008-08-20

Family

ID=37804169

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005250366A Expired - Fee Related JP4135737B2 (ja) 2005-08-30 2005-08-30 画像処理プログラム

Country Status (2)

Country Link
US (1) US7916936B2 (ja)
JP (1) JP4135737B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360411B1 (ko) 2008-09-03 2014-02-10 서강대학교산학협력단 레티넥스 기법을 이용한 영상처리방법
JP5219706B2 (ja) * 2008-09-12 2013-06-26 キヤノン株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
US8452116B1 (en) * 2008-09-19 2013-05-28 Adobe Systems Incorporated Estimating sensor sensitivity
JP5028370B2 (ja) * 2008-09-19 2012-09-19 キヤノン株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
KR20110047397A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 디스플레이장치, 백라이트 어셈블리 및 그 영상표시방법
US8730318B2 (en) * 2010-07-29 2014-05-20 Hitachi-Ge Nuclear Energy, Ltd. Inspection apparatus and method for producing image for inspection
JP2012108898A (ja) * 2010-10-29 2012-06-07 Jvc Kenwood Corp 画像処理装置、画像処理方法
US8538145B2 (en) * 2010-11-05 2013-09-17 Apple Inc. Gamma adjustment for maximizing information in images
US9418403B2 (en) 2013-10-04 2016-08-16 Fuji Xerox Co., Ltd. Image processor and non-transitory computer readable medium for generating a reproduction image which is reproduced so that visibility of an original image is enhanced
JP6273750B2 (ja) * 2013-10-04 2018-02-07 富士ゼロックス株式会社 画像処理装置及びプログラム
JP6303816B2 (ja) 2014-05-28 2018-04-04 富士ゼロックス株式会社 画像処理装置及びプログラム
CN108881670B (zh) * 2017-05-15 2020-07-10 瑞昱半导体股份有限公司 影像处理方法及影像处理装置
CN108564923B (zh) * 2018-01-30 2020-04-10 武汉华星光电技术有限公司 基于分区背光的高动态对比度图像显示方法及装置
CN110298792B (zh) * 2018-03-23 2021-08-17 北京大学 低光照图像增强与去噪方法、系统及计算机设备
US10867392B2 (en) * 2018-10-03 2020-12-15 Apical Limited Spatially multiplexed exposure
CN110163818B (zh) * 2019-04-28 2021-04-27 武汉理工大学 一种用于海事无人机的低照度视频图像增强方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0506380B1 (en) * 1991-03-27 1996-07-17 Canon Kabushiki Kaisha Image processing apparatus
JP3165225B2 (ja) 1991-03-27 2001-05-14 キヤノン株式会社 画像処理装置および画像処理方法
US5536541A (en) * 1994-06-02 1996-07-16 Armellini; Toby J. Artificial lumber and method of making the same
EP2199973A3 (en) * 1997-06-09 2010-09-08 Seiko Epson Corporation An image processing apparatus and method, and an image evaluation device and method
JP4057147B2 (ja) * 1998-06-16 2008-03-05 コニカミノルタビジネステクノロジーズ株式会社 逆光シーン判定方法、逆光シーン判定方法プログラムを記憶したコンピュータにより読み取り可能な記憶媒体及び逆光シーン判定機能を有する画像処理装置
JP4556276B2 (ja) 2000-03-23 2010-10-06 ソニー株式会社 画像処理回路及び画像処理方法
JP4649781B2 (ja) * 2001-06-20 2011-03-16 ソニー株式会社 画像処理方法および装置
US7133070B2 (en) * 2001-09-20 2006-11-07 Eastman Kodak Company System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data

Also Published As

Publication number Publication date
JP2007067746A (ja) 2007-03-15
US7916936B2 (en) 2011-03-29
US20070047835A1 (en) 2007-03-01

Similar Documents

Publication Publication Date Title
JP4135737B2 (ja) 画像処理プログラム
EP1368960A2 (en) Digital image appearance enhancement and compressibility improvement method and system
JPH10187966A (ja) 画像フィルタリング方法及びその装置
JP6781406B2 (ja) 画像処理装置、および、コンピュータプログラム
US11010880B2 (en) Image processing apparatus, image processing method, and storage medium that generate compression curves of respective divided regions so that respective slopes of the compression curves match in a particular luminance range
JP2006018465A (ja) 画像処理方法および画像処理装置およびコンピュータプログラムおよび記憶媒体
JP4997846B2 (ja) 画像処理プログラムおよび画像処理装置
JPH10302061A (ja) デジタルカラー画像のカラーキャスト除去及びコントラスト強調を組み合わせたデジタル処理方法
JP2006343863A (ja) 画像処理装置及びその方法
US20030231856A1 (en) Image processor, host unit for image processing, image processing method, and computer products
JP4853560B2 (ja) 画像処理方法、画像処理装置およびコンピュータプログラム
JP2007156547A (ja) 画像処理プログラムおよび画像処理装置
JP2009145991A (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2021167084A5 (ja)
JP5423663B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP4687667B2 (ja) 画像処理プログラムおよび画像処理装置
JP2008067233A (ja) 電子透かし埋め込み方法、プログラムおよびコンピュータ読み取り可能な記録媒体
JP4355416B2 (ja) 画像処理装置及びその方法
JPH11317873A (ja) 画像補正装置および記録媒体
JP6164024B2 (ja) 画像処理装置及びプログラム
JP5163735B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP2008147714A (ja) 画像処理装置およびその方法
JP2008059307A (ja) 画像処理装置および画像処理プログラム
JP3826623B2 (ja) 画像処理装置
JP5201058B2 (ja) 輪郭強調処理プログラム、輪郭強調処理方法及び輪郭強調処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080513

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080526

R150 Certificate of patent or registration of utility model

Ref document number: 4135737

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees