JP4055426B2 - Image processing apparatus, image processing program, and image processing method - Google Patents

Image processing apparatus, image processing program, and image processing method Download PDF

Info

Publication number
JP4055426B2
JP4055426B2 JP2002025714A JP2002025714A JP4055426B2 JP 4055426 B2 JP4055426 B2 JP 4055426B2 JP 2002025714 A JP2002025714 A JP 2002025714A JP 2002025714 A JP2002025714 A JP 2002025714A JP 4055426 B2 JP4055426 B2 JP 4055426B2
Authority
JP
Japan
Prior art keywords
coefficient
processing
white balance
image processing
edge enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002025714A
Other languages
Japanese (ja)
Other versions
JP2003230161A (en
Inventor
秀雄 宝珠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2002025714A priority Critical patent/JP4055426B2/en
Priority to US10/352,906 priority patent/US7535503B2/en
Publication of JP2003230161A publication Critical patent/JP2003230161A/en
Application granted granted Critical
Publication of JP4055426B2 publication Critical patent/JP4055426B2/en
Priority to US12/385,545 priority patent/US7768555B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は画像処理装置に関するものであり、特に、カラー画像を処理対象とする画像処理装置に関する。
【0002】
【従来の技術】
電子カメラには、生成したカラーの画像データに対して種々の画像処理を施すことにより、画像処理装置の機能を実現する画像処理部を備えたものがある。
【0003】
図11は、従来の電子カメラにおける画像処理部の機能ブロック図である。
図11に示す画像処理部100によれば、入力された画像データには、各部を介して、ホワイトバランス調整、補間および平坦化処理、色補正処理、ガンマ処理、輪郭強調処理が施されることになる。
ホワイトバランス調整部101で行われるホワイトバランス調整においては、ホワイトバランス係数が用いられるが、このようなホワイトバランス係数は、色差情報や色温度情報に応じてホワイトバランス係数算出部102で決定される。
【0004】
また、補間および平坦化処理部103、色補正処理部104、ガンマ処理部105では、予め係数やガンマカーブが定められており、それらの係数やガンマカーブを用いて補間および平坦化処理、色補正処理、ガンマ処理が行われる。
さらに、輪郭強調処理部106では、予め定められた輪郭強調係数、または、ユーザにより設定された強調度合に応じた輪郭強調係数を用いて輪郭強調処理が行われる。
【0005】
【発明が解決しようとする課題】
このような画像処理部において、ホワイトバランス調整の際には、ホワイトバランス係数を乗ずる処理が行われるため、入力された画像データに含まれるノイズも増幅されてしまうことがある。また、色補正処理、ガンマ処理、輪郭強調処理の際にも、ホワイトバランス調整と同様に、係数を乗ずる処理が行われるため、ノイズが増幅されてしまうことがある。特に、輪郭強調処理によるノイズの増幅は、他の画像処理によるノイズの増幅に比べて顕著である。なお、補間および平坦化処理の際には、処理の過程で平均化を行うため、ノイズは相殺され減少することがある。
【0006】
また、従来の電子カメラでは、上述した各画像処理は独立して行われていた。すなわち、それぞれの処理に用いられる係数には相関が無く、そのため、ホワイトバランス調整によりノイズが増幅されていても、これを考慮せずに、色補正処理や輪郭強調処理を行ってさらにノイズを悪化させてしまうことがあった。
【0007】
また、従来の電子カメラには、被写体の色温度に応じて、色補正係数を決定するものや、被写体のコントラストに応じてガンマ処理に用いるガンマカーブを選択するものもあるが、これらの電子カメラでも、輪郭強調処理は独立で行われるため、ノイズを悪化させてしまうことがあった。
本発明は、画像処理の過程において、無用にノイズを悪化させてしまうのを防ぐことができる画像処理装置、画像処理プログラム、および画像処理方法を提供することを目的とする。
【0008】
本発明の画像処理装置は、入力された画像データに対して、少なくともホワイトバランス調整処理輪郭強調処理とを行う画像処理装置であって、処理対象の画像データが生成された際の光源特性を取得する光源特性取得手段と、前記光源特性取得手段により取得された前記光源特性から算出された色温度情報に応じて、前記ホワイトバランス調整処理を行う際に用いるホワイトバランス係数と、前記輪郭強調処理を行う際に用いる輪郭強調処理係数とを、前記ホワイトバランス調整処理と前記輪郭強調処理との何れか一方による前記画像データのノイズの増幅を考慮して、他方の処理の処理内容を変更するように、互いに関連付けて決定する係数決定手段と、前記ホワイトバランス係数を用いて前記ホワイトバランス調整処理を行い、前記輪郭強調処理係数を用いて前記輪郭強調処理を行う画像処理手段とを備えたことを特徴とする。
【0009】
なお、好ましくは、前記係数決定手段は、前記色温度情報と、該色温度情報以外の前記処理対象の画像データの特性との両方に基づいて、前記ホワイトバランス係数と関連付けた前記輪郭強調処理係数決定しても良い。
また、好ましくは、前記色温度情報以外の前記処理対象の画像データの特性は、該処理対象の画像データのコントラスト特性であっても良い。
【0010】
また、好ましくは、前記画像処理手段は、前記ホワイトバランス調整処理を行ってから前記輪郭強調処理を行うまでの間に中間処理を行い、前記係数決定手段は、前記色温度情報に応じて、前記ホワイトバランス係数と、前記輪郭強調処理係数と、前記中間処理を行う際に用いる中間処理係数とを、関連付けて決定しても良い。
【0011】
また、好ましくは、前記係数決定手段は、前記輪郭強調処理係数の決定を、前記色温度情報に応じたルックアップテーブルを用いて行っても良い。
また、好ましくは、前記係数決定手段は、前記輪郭強調処理係数の決定を、前記色温度情報と前記コントラスト特性とに応じたルックアップテーブルを用いて行っても良い。
また、好ましくは、前記中間処理は、平坦化処理であり、前記中間処理係数は、平坦化処理係数であっても良い。
また、好ましくは、前記係数決定手段は、前記平坦化処理係数の決定を、前記色温度情報と前記画像データのコントラスト特性とに応じたルックアップテーブルを用いて行っても良い。
本発明のプログラムは、入力された画像データに対して、少なくともホワイトバランス調整処理輪郭強調処理とを行い、処理対象の画像データが生成された際の光源特性を取得する光源特性取得手段を備えた画像処理装置に対する制御をコンピュータで実現するためのプログラムであって、前記光源特性取得手段により取得された前記光源特性から算出された色温度情報に応じて、前記ホワイトバランス調整処理を行う際に用いるホワイトバランス係数と、前記輪郭強調処理を行う際に用いる輪郭強調処理係数とを、前記ホワイトバランス調整処理と前記輪郭強調処理との何れか一方による前記画像データのノイズの増幅を考慮して、他方の処理の処理内容を変更するように、互いに関連付けて決定する係数決定手順と、前記ホワイトバランス係数を用いて前記ホワイトバランス調整処理を行い、前記輪郭強調処理係数を用いて前記輪郭強調処理を行う画像処理手順とをコンピュータで実現させることを特徴とする。
【0012】
本発明の画像処理方法は、処理対象の画像データが生成された際の光源の特性を取得する光源特性取得工程と、前記光源特性取得工程により取得された光源特性から算出された色温度情報に応じて、ホワイトバランス調整処理を行う際に用いるホワイトバランス係数と、輪郭強調処理を行う際に用いる輪郭強調処理係数とを、前記ホワイトバランス調整処理と前記輪郭強調処理との何れか一方による前記画像データのノイズの増幅を考慮して、他方の処理の処理内容を変更するように、互いに関連付けて決定する係数決定工程と、前記ホワイトバランス係数を用いて前記ホワイトバランス調整処理を行い、前記輪郭強調処理係数を用いて前記輪郭強調処理を行う画像処理工程とを備えたことを特徴とする。
【0013】
【発明の実施の形態】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
なお、以下の各実施形態では、本発明の画像処理装置が行う画像処理の機能を備えた電子カメラを用いて説明を行う。
【0014】
《第1実施形態》
以下、図面を用いて本発明の第1実施形態について説明する。
図1は、第1実施形態の電子カメラの概略構成を示す図である。
図1において、電子カメラ1は、撮影レンズ10、撮像素子11、A/D変換器12、画像処理部13、圧縮部15、記録部16および不図示の分割センサを備えている。
【0015】
撮像素子11により得られた画像データは、A/D変換器12でディジタル信号に変換され、画像処理部13において、分割センサにより得られる情報(光源特性、画像のコントラストなど)に基づいて画像処理が施される。そして、画像処理が完了すると、圧縮部15および記録部16へ出力される。
ここで、本実施形態において行われる画像処理は、ホワイトバランス調整、補間および平坦化処理、色補正処理、ガンマ処理、および輪郭強調処理である。また、分割センサにより出力された測光情報を示す信号は、後述する画像処理部13内の色温度算出部17およびコントラスト算出部18に入力される。なお、このような分割センサは、外光式のものであっても良いし、撮影レンズ10より入射した光束の一部を分岐して取り込む内光式のものであっても良い。
【0016】
電子カメラ1内には、各部の動作内容を示すプログラムが予め記録されている。プログラムは記録媒体に記録されたものでも良いし、インターネットを介して伝送波としてダウンロードされたものでも良い。
図2は、第1実施形態の電子カメラ1における画像処理部13の機能ブロック図である。
【0017】
図2において、画像処理部13には、ホワイトバランス調整部20、補間および平坦化処理部22、色補正処理部24、ガンマ処理部26および輪郭強調処理部28が設けられている。また、画像処理部13には、これらの各部における画像処理に用いられる係数(ガンマカーブを含む)を決定するために、色温度算出部17、コントラスト算出部18、ホワイトバランス係数算出部19、平坦化係数算出部21、色補正係数算出部23、ガンマカーブ選択部25および輪郭強調係数算出部27が設けられている。
【0018】
以下、画像処理部13の動作について説明するが、画像処理部13における画像処理の具体的な方法については、公知技術と同様である。そのため、以下では、各画像処理に用いられる係数の決定方法についてのみ説明し、他の説明については省略する。
〈ホワイトバランス係数の決定〉
ホワイトバランス調整に用いられるホワイトバランス係数は、色温度に応じてホワイトバランス係数算出部19により決定される。色温度は、分割センサにより得られる情報に基づき色温度算出部17により算出される。ホワイトバランス係数算出部19は、算出したホワイトバランス係数を示す信号をホワイトバランス調整部20に出力する。
【0019】
〈補間に用いられる係数の決定〉
補間に用いられる係数は、撮像素子11の特性に応じて予め定められている。〈平坦化処理係数の決定〉
平坦化処理に用いられる平坦化係数は、色温度算出部17が算出した色温度と、分割センサにより得られる情報に基づきコントラスト算出部18が算出した被写体のコントラスト量を代表する値(以下、「コントラスト値」と示す)とに応じて、平坦化係数算出部21で決定される。なお、コントラスト算出部18は、分割センサにより得られた情報を小領域に分割して明部と暗部との輝度差に一定の正規化係数を乗じた値を算出してコントラスト値とする。本実施形態ではコントラスト値を1〜7で表し、コントラスト値が大きいほどコントラストが大きい、すなわち被写界の明部と暗部の輝度差が大きいことを示す。
【0020】
平坦化係数算出部21は、色温度とコントラスト値とに応じて平坦化係数を算出する。具体的には、まず、図3に示すようなルックアップテーブル(以下、「LUT」と示す)を用いて平坦化度合を決定する。
図3は、平坦化度合の決定の際に用いられるLUTの例である。
図3の横軸は色温度を示し、縦軸はコントラスト値を示し、コントラスト値が小さいほど被写体のコントラストが小さく、コントラスト値が大きいほど被写体のコントラストが大きいことを示す。LUT中の数値は平坦化度合を示し、数値が小さいほど平坦化度合が小さいことを意味し、数値が大きいほど平坦化度合が大きいことを意味する。平坦化係数算出部21は、このようなLUTを用いて、色温度とコントラスト値とに応じて平坦化度合を決定し、決定した平坦化度合を実現する平坦化係数を算出する。そして、平坦化係数算出部21は、算出した平坦化係数を示す信号を補間および平坦化処理部22に出力する。
【0021】
なお、図3に示すLUTは、以下のような考え方に基づいて予め作成され、平坦化係数算出部21内に記録されているものとする。
図4は、図3に示すLUTを説明するための概念図である。
図4に示すように、平坦化度合は、色温度4000K(太陽光の色温度、WBの基準である色温度)を中心とし、中心に近いほど小さく設定され、中心から離れるほど大きく設定される。また、平坦化度合は、被写体のコントラストが大きいほど小さく設定され、被写体のコントラストが小さいほど大きく設定される。
【0022】
したがって、色温度が4000Kから離れた温度であるためにホワイトバランス調整によりノイズが増幅される場合には、平坦化度合を大きくしてノイズを減少させることができる。
〈色補正係数の決定〉
色補正処理に用いられる色補正係数は、色温度算出部17により算出された色温度に基づき色補正係数算出部23により算出される。色補正係数算出部23は、算出した色補正係数を示す信号を色補正処理部24に出力する。このような決定方法は、米国特許第5805213号明細書に開示されている方法などを用いて同様に行うことができるため、詳細な説明は省略する。
【0023】
〈ガンマカーブの決定〉
ガンマ処理に用いられるガンマカーブの選択は、ガンマカーブ選択部25により行われる。すなわち、ガンマカーブ選択部25は、コントラスト算出部18により算出されたコントラスト値を含むコントラスト情報に応じて、予めガンマ処理部26内に記録されている複数のガンマカーブのうち、どのガンマカーブを用いるかを決定し、決定内容を示す信号をガンマ処理部26に出力する。このような決定方法は、特開2001−54014号公報に開示されている方法などを用いて同様に行うことができるため、詳細な説明は省略する。
【0024】
〈輪郭強調処理係数の決定〉
輪郭強調処理に用いられる輪郭強調係数は、平坦化処理係数と同様に、色温度と、コントラスト値とに応じて輪郭強調係数算出部27で決定される。
輪郭強調係数算出部27は、色温度とコントラスト値とに応じて輪郭強調係数を算出する。具体的には、まず、図5に示すようなLUTを用いて輪郭強調度合を決定する。
【0025】
図5は、輪郭強調度合の決定の際に用いられるLUTの例である。
図5の横軸は色温度を示し、縦軸はコントラスト値を示し、コントラスト値が小さいほど被写体のコントラストが小さく、コントラスト値が大きいほど被写体のコントラストが大きいことを示す。LUT中の数値は輪郭強調度合を示し、数値が小さいほど輪郭強調度合が小さいことを意味し、数値が大きいほど輪郭強調度合が大きいことを意味する。輪郭強調係数算出部27は、このようなLUTを用いて色温度とコントラスト値とに応じて輪郭強調度合を決定し、決定した輪郭強調度合を実現する輪郭強調係数を算出する。そして、輪郭強調係数算出部27は、算出した輪郭強調係数を示す信号を輪郭強調処理部28に出力する。
【0026】
なお、図5に示すLUTは、以下のような考え方に基づいて予め作成され、輪郭強調係数算出部27内に記録されているものとする。
図6は、図5に示すLUTを説明するための概念図である。
図6に示すように、輪郭強調度合は、色温度4000K(太陽光の色温度、WBの基準である色温度)を中心とし、中心に近いほど大きく設定され、中心から離れるほど小さく設定される。また、輪郭強調度合は、被写体のコントラストが大きいほど大きく設定され、被写体のコントラストが小さいほど小さく設定される。
【0027】
したがって、色温度が4000Kから離れた温度であるためにホワイトバランス調整によりノイズが増幅される場合には、輪郭強調度合を小さく決定することによりノイズの悪化を防ぐことができる。また、色温度が4000K程度であるためにホワイトバランス調整によりノイズが増幅されない場合には、輪郭強調度合を大きく決定し、よりはっきりとした画像を得ることができる。
【0028】
以上説明したように、第1実施形態によれば、ホワイトバランス調整、補間および平坦化処理、色補正処理、ガンマ処理、および輪郭強調処理の各処理を行う際に用いる係数を、分割センサにより得られた情報に基づいて決定し、各画像処理を行う。そのため、画像処理の過程において、無用にノイズを悪化させてしまうのを防ぐことができる。
【0029】
特に、ホワイトバランス調整によりノイズが増幅される場合であっても、平坦化度合を大きくするよことにより、ノイズを低減させることができ、また、輪郭強調度合を低くすることにより、ノイズを無用に悪化させてしまうのを防ぐことができる。
《第2実施形態》
以下、図面を用いて本発明の第2実施形態について説明する。なお、第2実施形態では、第1実施形態と異なる部分についてのみ説明を行い、第1実施形態と共通の部分の説明は省略する。
【0030】
第2実施形態の電子カメラ2は、第1実施形態の電子カメラ1の画像処理部13に代えて画像処理部29を備え、分割センサに代えて不図示の色温度センサを備えている。なお、その他の構成については、第1実施形態と同様であるため、説明および図示を省略し、以下、図1と同様の符号を用いて説明する。
電子カメラ2の画像処理部29においては、色温度センサにより得られる情報(光源特性など)に基づいて各画像処理が施される。また、電子カメラ2内には、電子カメラ1と同様に、各部の動作内容を示すプログラムが予め記録されている。
【0031】
図7は、第2実施形態の電子カメラ2における画像処理部29の機能ブロック図である。
図7において、画像処理部29には、第1実施形態の画像処理部13のコントラスト算出部18とガンマカーブ選択部25とが省略され、色温度算出部17に代えて色温度算出部31が設けられ、平坦化係数算出部21に代えて平坦化係数算出部32が設けられ、輪郭強調係数算出部27に代えて輪郭強調係数算出部33が設けられている。その他の部分については、第1実施形態と同様であるため、第1実施形態と同じ符号を付してある。
【0032】
以下、画像処理部29の動作について説明するが、画像処理部29における画像処理の具体的な方法については、公知技術と同様である。そのため、以下では、第1実施形態と同様に、各画像処理に用いられる係数の決定方法についてのみ説明し、他の説明については省略する。
〈ホワイトバランス係数の決定〉
ホワイトバランス調整に用いられるホワイトバランス係数は、第1実施形態と同様に、色温度に応じて決定される。色温度は、色温度センサセンサにより得られる情報に基づき色温度算出部31により算出される。ホワイトバランス係数算出部19は、算出したホワイトバランス係数を示す信号をホワイトバランス調整部20に出力する。
【0033】
〈補間に用いられる係数の決定〉
補間に用いられる係数は、第1実施形態と同様に、撮像素子11の特性に応じて予め定められている。
〈平坦化処理係数の決定〉
平坦化処理に用いられる平坦化係数は、色温度センサにより得られる情報に基づき色温度算出部31が算出した色温度に応じて、平坦化係数算出部32により決定される。
【0034】
平坦化係数算出部32は、予め平坦化係数算出部32内に記録されている図8に示すようなLUTを用いて平坦化係数を決定し、決定した平坦化係数を示す信号を補間および平坦化処理部22に出力する。
図8に示すLUTには、色温度4000Kを中心とし、中心に近いほど平坦化度合を小さくするような平坦化係数が定められ、中心から離れるほど平坦化度合を大きくするような平坦化係数が定められている。
【0035】
したがって、色温度が4000Kから離れた温度であるためにホワイトバランス調整によりノイズが増幅される場合には、平坦化度合を大きくしてノイズを減少させることができる。
〈色補正係数の決定〉
色補正処理に用いられる色補正係数は、第1実施形態と同様に、色温度算出部31により算出された色温度に基づき色補正係数算出部23により決定される。
【0036】
〈ガンマカーブの決定〉
ガンマ処理に用いられるガンマカーブは、予め1つのガンマカーブがガンマ処理部26内に定められている。
〈輪郭強調処理係数の決定〉
輪郭強調処理に用いられる輪郭強調係数は、色温度センサにより得られる情報に基づき色温度算出部31で算出された色温度に応じて、輪郭強調係数算出部33により決定される。
【0037】
輪郭強調係数算出部33は、予め輪郭強調係数算出部33内に記録されている図9に示すようなLUTを用いて決定し、決定した輪郭強調係数を示す信号を輪郭強調処理部28に出力する。
図9に示すLUTには、色温度4000Kを中心とし、中心に近いほど輪郭強調度合を大きくするような輪郭強調係数が定められ、中心から離れるほど輪郭強調度合を小さくするような輪郭強調係数が定められている。
【0038】
したがって、色温度が4000Kから離れた温度であるためにホワイトバランス調整によりノイズが増幅される場合には、輪郭強調度合を小さく決定することによりノイズの悪化を防ぐことができる。また、色温度が4000K程度であるためにホワイトバランス調整によりノイズが増幅されない場合には、輪郭強調度合を大きく決定し、よりはっきりとした画像を得ることができる。
【0039】
以上説明したように、第2実施形態によれば、ホワイトバランス調整、平坦化処理、色補正処理、および輪郭強調処理の各処理を行う際に用いる係数を、色温度センサにより得られた情報に基づいて決定し、各画像処理を行う。そのため、画像処理の過程において、無用にノイズを悪化させてしまうのを防ぐことができる。
【0040】
特に、ホワイトバランス調整によりノイズが増幅される場合であっても、平坦化度合を大きくするよことにより、ノイズを低減させることができ、また、輪郭強調度合を低くすることにより、ノイズを無用に悪化させてしまうのを防ぐことができる。
《第3実施形態》
以下、図面を用いて本発明の第3実施形態について説明する。なお、第3実施形態では、第2実施形態と同様に、第1実施形態と異なる部分についてのみ説明を行い、第1実施形態と共通の部分の説明は省略する。
【0041】
第3実施形態の電子カメラ3は、第1実施形態の電子カメラ1の画像処理部13に代えて画像処理部34を備え、分割センサに代えて不図示の光源選択部を備えている。なお、その他の構成については、第1実施形態と同様であるため、説明および図示を省略し、以下、図1と同様の符号を用いて説明する。
ここで、光源選択部とは、ユーザ操作により、太陽光、電球、蛍光灯、曇天、閃光装置など、被写体を照明している光源を選択するための釦やモニタに表示されるメニューなどの操作部である。電子カメラ3の画像処理部34においては、光源選択部により選択された光源の種類を示す情報に基づいて、画像処理が施される。
【0042】
また、電子カメラ3内には、電子カメラ1と同様に各部の動作内容を示すプログラムが予め記録されている。
図10は、第3実施形態の電子カメラ3における画像処理部34の機能ブロック図である。
図10において、画像処理部34には、第1実施形態の画像処理部13の平坦化係数算出部21、色補正係数算出部23、およびガンマカーブ選択部25が省略され、色温度算出部17に代えて色温度算出部36が設けられ、輪郭強調係数算出部27に代えて輪郭強調係数算出部37が設けられている。その他の部分については、第1実施形態と同様であるため、第1実施形態と同じ符号を付してある。
【0043】
以下、画像処理部34の動作について説明するが、画像処理部34における画像処理の具体的な方法については、公知技術と同様である。そのため、以下では、第1実施形態および第2実施形態と同様に、各画像処理に用いられる係数の決定方法についてのみ説明し、他の説明については省略する。
〈ホワイトバランス係数の決定〉
ホワイトバランス調整に用いられるホワイトバランス係数は、第1実施形態と同様に、色温度に応じて算出される。色温度は、光源選択部により選択された光源に応じて、色温度算出部36により算出される。ホワイトバランス係数算出部19は、算出したホワイトバランス係数を示す信号をホワイトバランス調整部20に出力する。
【0044】
〈補間に用いられる係数の決定〉
補間に用いられる係数は、第1実施形態および第2実施形態と同様に、撮像素子11の特性に応じて予め定められている。
〈平坦化処理係数の決定〉
平坦化処理に用いられる平坦化係数は、予め補間および平坦化処理部22内に定められている。
【0045】
〈色補正係数の決定〉
色補正処理に用いられる色補正係数は、予め色補正処理部24内に定められている。
〈ガンマカーブの決定〉
ガンマ処理に用いられるガンマカーブは、第2実施形態と同様に、予め1つのガンマカーブがガンマ処理部26内に定められている。
【0046】
〈輪郭強調処理係数の決定〉
輪郭強調処理に用いられる輪郭強調係数は、色温度算出部36で算出された色温度に応じて、輪郭強調係数算出部により決定される。
輪郭強調係数算出部37は、第2実施形態と同様に、色温度に応じて、予め輪郭強調係数算出部37内に記録されている図9に示したものと同様のLUTを用いて輪郭強調係数を決定し、決定した輪郭強調係数を示す信号を輪郭強調処理部28に出力する。
【0047】
このように輪郭強調度合を決定することにより、第2実施形態と同様の効果が得られる。
以上説明したように、第3実施形態によれば、輪郭強調係数を、光源選択部により得られた情報に基づいて決定して輪郭強調処理を行う。そのため、画像処理の過程において、無用にノイズを悪化させてしまうのを防ぐことができる。
【0048】
特に、ホワイトバランス調整によりノイズが増幅される場合には、輪郭強調度合を低くすることにより、ノイズを無用に悪化させてしまうのを防ぐことができる。
なお、第3実施形態では、平坦化係数および色補正係数が、予め定められている例を示したが、色温度算出部36により算出された色温度に応じて、第2実施形態で説明したような方法で算出されるようにしても良い。この場合、新たに平坦化係数算出部および色補正係数算出部を設け、平坦化係数算出部には図8に示したものと同様のLUTを予め記録しておけば良い。
【0049】
なお、上記各実施形態では、分割センサ、色温度センサ、光源選択部等を用いて得られる情報に応じて、各画像処理に用いる係数が算出される例を示したが、撮像素子により得られた画像データに基づく情報に応じて、各画像処理に用いる係数が算出されるようにしても良い。
また、上記各実施形態では、ホワイトバランス調整を優先し、ホワイトバランス調整によるノイズの増幅を考慮してその他の画像処理を行う例を示したが、優先するのは他の画像処理であっても良い。例えば、輪郭強調処理を優先し、輪郭強調処理によるノイズの増幅を考慮して、ホワイトバランス調整の内容を変更するようにしても良い。何れの画像処理を優先するかは、予め定めておいても良いし、ユーザ操作により選択可能にしても良い。
【0050】
また、上記各実施形態では、色温度やコントラストに応じて各画像処理に用いる係数が算出される例を示したが、さらに、ISO感度も組み合わせて係数が算出されるようにしても良い。
さらに、上記各実施形態では、色温度やコントラスト値が、色温度算出部やコントラスト算出部において自動的に算出される例を示したが、色温度やコントラスト値、さらにISO感度をユーザが設定するようにしても良い。
【0051】
【発明の効果】
以上説明したように、本発明によれば、処理対象の画像が生成された際の光源特性(色温度など)に応じて、各画像処理に用いる係数を決定することにより、種々の画像処理を行う際に、ノイズが無用に悪化するのを防ぐことができる。
【図面の簡単な説明】
【図1】第1実施形態の電子カメラの概略構成を示す図である。
【図2】第1実施形態の電子カメラにおける画像処理部の機能ブロック図である。
【図3】平坦化度合の決定の際に用いられるLUTの例である。
【図4】LUTを説明するための概念図である。
【図5】輪郭強調度合の決定の際に用いられるLUTの例である。
【図6】LUTを説明するための概念図である。
【図7】第2実施形態の電子カメラにおける画像処理部の機能ブロック図である。
【図8】平坦化度合の決定の際に用いられるLUTの例である。
【図9】輪郭強調度合の決定の際に用いられるLUTの例である。
【図10】第3実施形態の電子カメラにおける画像処理部の機能ブロック図である。
【図11】従来の電子カメラにおける画像処理部の機能ブロック図である。
【符号の説明】
1,2,3 電子カメラ
10 撮影レンズ
11 撮像素子
12 A/D変換器
13,29,34,100 画像処理部
15 圧縮部
16 記録部
17,31,36 色温度算出部
18 コントラスト算出部
19,102 ホワイトバランス係数算出部
20,101 ホワイトバランス調整部
21,32 平坦化係数算出部
22,103 補間および平坦化処理部
23 色補正係数算出部
24,104 色補正処理部
25 ガンマカーブ選択部
26,105 ガンマ処理部
27,33,37 輪郭強調係数算出部
28,106 輪郭強調処理部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, and more particularly, to an image processing apparatus that processes a color image.
[0002]
[Prior art]
Some electronic cameras include an image processing unit that realizes the functions of an image processing apparatus by performing various types of image processing on generated color image data.
[0003]
FIG. 11 is a functional block diagram of an image processing unit in a conventional electronic camera.
According to the image processing unit 100 illustrated in FIG. 11, the input image data is subjected to white balance adjustment, interpolation and flattening processing, color correction processing, gamma processing, and edge enhancement processing via each unit. become.
In the white balance adjustment performed by the white balance adjustment unit 101, a white balance coefficient is used. Such a white balance coefficient is determined by the white balance coefficient calculation unit 102 according to color difference information and color temperature information.
[0004]
In addition, the interpolation and flattening processing unit 103, the color correction processing unit 104, and the gamma processing unit 105 have predetermined coefficients and gamma curves, and interpolation and flattening processing and color correction are performed using these coefficients and gamma curves. Processing and gamma processing are performed.
Further, the contour emphasis processing unit 106 performs contour emphasis processing using a predetermined contour emphasis coefficient or an edge emphasis coefficient corresponding to the emphasis degree set by the user.
[0005]
[Problems to be solved by the invention]
In such an image processing unit, when white balance adjustment is performed, a process of multiplying by a white balance coefficient is performed, so that noise included in input image data may be amplified. Also, in the color correction process, the gamma process, and the edge enhancement process, as with the white balance adjustment, the process of multiplying the coefficient is performed, so that noise may be amplified. In particular, the amplification of noise by the contour enhancement process is more significant than the amplification of noise by other image processes. Note that, during the interpolation and flattening processing, since averaging is performed in the course of the processing, noise may be offset and reduced.
[0006]
Moreover, in the conventional electronic camera, each image processing mentioned above was performed independently. That is, there is no correlation between the coefficients used in each process, so even if noise is amplified by white balance adjustment, the noise is further deteriorated by performing color correction processing and edge enhancement processing without considering this. There was something that would let me.
[0007]
Also, some conventional electronic cameras determine a color correction coefficient according to the color temperature of the subject, and select a gamma curve used for gamma processing according to the contrast of the subject. However, since the edge emphasis process is performed independently, noise may be deteriorated.
An object of the present invention is to provide an image processing apparatus, an image processing program, and an image processing method that can prevent noise from being deteriorated unnecessarily in the course of image processing.
[0008]
  The present inventionThe image processing deviceFor the input image data,At least white balance adjustmentprocessingWhenContourAn image processing apparatus that performs enhancement processing,image dataA light source characteristic acquisition unit that acquires a light source characteristic when the light source is generated, and the light source characteristic acquired by the light source characteristic acquisition unitColor temperature information calculated fromDepending on the white balance adjustmentprocessingThe white balance coefficient used when performingContourUsed for emphasis processingContourEmphasis processing coefficientIn consideration of the amplification of the noise of the image data by one of the white balance adjustment processing and the contour enhancement processing, the processing contents of the other processing are changed to each other.Coefficient determination means for determining in association with the white balance coefficient using the white balance coefficientprocessingDo the aboveContourUsing the enhancement factorContourImage processing means for performing enhancement processing;,It is provided with.
[0009]
  Preferably,The coefficient determination means includes theColor temperature informationAnd theColor temperature informationOther than the processing targetimage dataCharacteristics andBased on both, The white balance coefficient andAssociated contourEmphasis processing coefficientTheDecisionYou may do it.
  Also preferably,SaidColor temperature informationOther than the processing targetimage dataThe characteristics ofimage dataWith contrast characteristicsThere may be.
[0010]
  Also preferably,The image processing means adjusts the white balance.processingAfter doingContourIntermediate processing is performed before the enhancement processing, and the coefficient determining meansColor temperature informationDepending on the white balance coefficient and theContourThe enhancement processing coefficient is determined in association with the intermediate processing coefficient used when the intermediate processing is performed.You may do it.
[0011]
  Also preferably,The coefficient determination means includes theContourThe determination of the enhancement processing coefficientColor temperature informationUsing a lookup table according toYou can go.
  Preferably, the coefficient determination unit may determine the edge enhancement processing coefficient using a look-up table corresponding to the color temperature information and the contrast characteristics.
  Preferably, the intermediate process is a flattening process, and the intermediate process coefficient may be a flattening process coefficient.
  Preferably, the coefficient determining means may determine the flattening processing coefficient using a look-up table corresponding to the color temperature information and the contrast characteristics of the image data.
  The present inventionThe program ofFor the input image data,At least white balance adjustmentprocessingWhenContourWith emphasis processingimage dataA program for realizing, with a computer, control over an image processing apparatus including a light source characteristic acquisition unit that acquires a light source characteristic when a light source is generated, the light source characteristic acquired by the light source characteristic acquisition unitColor temperature information calculated fromDepending on the white balance adjustmentprocessingThe white balance coefficient used when performingContourUsed for emphasis processingContourEmphasis processing coefficientIn consideration of the amplification of the noise of the image data by one of the white balance adjustment processing and the contour enhancement processing, the processing contents of the other processing are changed to each other.Coefficient determination procedure to determine in association with the white balance adjustment using the white balance coefficientprocessingDo the aboveContourUsing the enhancement factorContourImage processing procedure for emphasis processing,Is realized by a computer.
[0012]
  The present inventionThe image processing method ofimage dataA light source characteristic acquisition step of acquiring the characteristics of the light source when the light source is generated, and the light source characteristic acquired by the light source characteristic acquisition stepColor temperature information calculated fromDepending on the white balance adjustmentprocessingWhite balance coefficient used when performingContourUsed for emphasis processingContourEmphasis processing coefficientIn consideration of the amplification of the noise of the image data by one of the white balance adjustment processing and the contour enhancement processing, the processing contents of the other processing are changed to each other.A coefficient determination step for determining in association with the white balance adjustment using the white balance coefficientprocessingDo the aboveContourUsing the enhancement factorContourAn image processing step for performing enhancement processing;,It is provided with.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
In the following embodiments, description will be made using an electronic camera having a function of image processing performed by the image processing apparatus of the present invention.
[0014]
<< First Embodiment >>
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a schematic configuration of the electronic camera according to the first embodiment.
In FIG. 1, an electronic camera 1 includes a photographing lens 10, an image sensor 11, an A / D converter 12, an image processing unit 13, a compression unit 15, a recording unit 16, and a division sensor (not shown).
[0015]
Image data obtained by the image sensor 11 is converted into a digital signal by the A / D converter 12, and the image processing unit 13 performs image processing based on information (light source characteristics, image contrast, etc.) obtained by the division sensor. Is given. When the image processing is completed, the data is output to the compression unit 15 and the recording unit 16.
Here, the image processing performed in the present embodiment is white balance adjustment, interpolation and flattening processing, color correction processing, gamma processing, and contour enhancement processing. In addition, a signal indicating photometric information output by the split sensor is input to a color temperature calculation unit 17 and a contrast calculation unit 18 in the image processing unit 13 described later. Such a split sensor may be an external light type, or may be an internal light type that branches and takes in a part of the light beam incident from the photographing lens 10.
[0016]
In the electronic camera 1, a program indicating the operation content of each unit is recorded in advance. The program may be recorded on a recording medium or downloaded as a transmission wave via the Internet.
FIG. 2 is a functional block diagram of the image processing unit 13 in the electronic camera 1 of the first embodiment.
[0017]
In FIG. 2, the image processing unit 13 includes a white balance adjustment unit 20, an interpolation and flattening processing unit 22, a color correction processing unit 24, a gamma processing unit 26, and an outline enhancement processing unit 28. The image processing unit 13 also includes a color temperature calculation unit 17, a contrast calculation unit 18, a white balance coefficient calculation unit 19, a flatness for determining coefficients (including a gamma curve) used for image processing in these units. A conversion coefficient calculation unit 21, a color correction coefficient calculation unit 23, a gamma curve selection unit 25, and an edge enhancement coefficient calculation unit 27 are provided.
[0018]
Hereinafter, the operation of the image processing unit 13 will be described. A specific method of image processing in the image processing unit 13 is the same as that of a known technique. Therefore, in the following, only the method for determining the coefficients used for each image process will be described, and the other description will be omitted.
<Determination of white balance coefficient>
The white balance coefficient used for white balance adjustment is determined by the white balance coefficient calculator 19 according to the color temperature. The color temperature is calculated by the color temperature calculation unit 17 based on information obtained by the division sensor. The white balance coefficient calculation unit 19 outputs a signal indicating the calculated white balance coefficient to the white balance adjustment unit 20.
[0019]
<Determination of coefficients used for interpolation>
The coefficient used for the interpolation is determined in advance according to the characteristics of the image sensor 11. <Determination of flattening coefficient>
The flattening coefficient used in the flattening process is a value representative of the contrast amount of the subject calculated by the contrast calculation unit 18 based on the color temperature calculated by the color temperature calculation unit 17 and information obtained by the division sensor (hereinafter, “ Is determined by the flattening coefficient calculator 21 in accordance with “contrast value”. The contrast calculation unit 18 divides the information obtained by the division sensor into small regions, calculates a value obtained by multiplying the luminance difference between the bright part and the dark part by a certain normalization coefficient, and sets it as a contrast value. In the present embodiment, the contrast value is represented by 1 to 7, and the larger the contrast value, the larger the contrast, that is, the larger the luminance difference between the bright part and the dark part of the object scene.
[0020]
The flattening coefficient calculator 21 calculates a flattening coefficient according to the color temperature and the contrast value. Specifically, first, a flattening degree is determined using a look-up table (hereinafter referred to as “LUT”) as shown in FIG.
FIG. 3 is an example of the LUT used when determining the flattening degree.
The horizontal axis in FIG. 3 indicates the color temperature, the vertical axis indicates the contrast value, and the smaller the contrast value, the smaller the contrast of the subject, and the larger the contrast value, the greater the contrast of the subject. The numerical value in the LUT indicates the flattening degree. The smaller the numerical value, the smaller the flattening degree, and the larger the numerical value, the larger the flattening degree. Using the LUT, the flattening coefficient calculation unit 21 determines a flattening degree according to the color temperature and the contrast value, and calculates a flattening coefficient that realizes the determined flattening degree. Then, the flattening coefficient calculator 21 outputs a signal indicating the calculated flattening coefficient to the interpolation and flattening processor 22.
[0021]
Note that the LUT shown in FIG. 3 is created in advance based on the following concept and is recorded in the flattening coefficient calculation unit 21.
FIG. 4 is a conceptual diagram for explaining the LUT shown in FIG.
As shown in FIG. 4, the degree of flattening is set so that the color temperature is 4000K (the color temperature of sunlight, the color temperature that is the standard of WB), the smaller the distance is, the larger the distance is from the center. . Further, the flattening degree is set to be smaller as the contrast of the subject is larger, and is set to be larger as the contrast of the subject is smaller.
[0022]
Therefore, when noise is amplified by white balance adjustment because the color temperature is away from 4000 K, the level of flattening can be increased to reduce the noise.
<Determination of color correction coefficient>
The color correction coefficient used in the color correction process is calculated by the color correction coefficient calculation unit 23 based on the color temperature calculated by the color temperature calculation unit 17. The color correction coefficient calculation unit 23 outputs a signal indicating the calculated color correction coefficient to the color correction processing unit 24. Such a determination method can be similarly performed using the method disclosed in US Pat. No. 5,805,213, and detailed description thereof will be omitted.
[0023]
<Determination of gamma curve>
Selection of a gamma curve used for gamma processing is performed by the gamma curve selection unit 25. That is, the gamma curve selection unit 25 uses which gamma curve among a plurality of gamma curves recorded in advance in the gamma processing unit 26 according to the contrast information including the contrast value calculated by the contrast calculation unit 18. And a signal indicating the content of the determination is output to the gamma processing unit 26. Such a determination method can be similarly performed using the method disclosed in Japanese Patent Laid-Open No. 2001-54014, and thus detailed description thereof is omitted.
[0024]
<Determination of edge enhancement processing coefficient>
The contour enhancement coefficient used for the contour enhancement processing is determined by the contour enhancement coefficient calculation unit 27 according to the color temperature and the contrast value, similarly to the flattening processing coefficient.
The contour enhancement coefficient calculation unit 27 calculates a contour enhancement coefficient according to the color temperature and the contrast value. Specifically, first, the degree of edge enhancement is determined using an LUT as shown in FIG.
[0025]
FIG. 5 is an example of an LUT used when determining the degree of edge enhancement.
The horizontal axis in FIG. 5 represents the color temperature, the vertical axis represents the contrast value, and the smaller the contrast value, the smaller the contrast of the subject, and the larger the contrast value, the greater the contrast of the subject. The numerical value in the LUT indicates the degree of edge enhancement. The smaller the value, the smaller the edge enhancement degree. The larger the number, the higher the edge enhancement degree. The edge enhancement coefficient calculation unit 27 determines the edge enhancement degree according to the color temperature and the contrast value using such an LUT, and calculates the edge enhancement coefficient that realizes the determined edge enhancement degree. Then, the contour enhancement coefficient calculation unit 27 outputs a signal indicating the calculated contour enhancement coefficient to the contour enhancement processing unit 28.
[0026]
Note that the LUT shown in FIG. 5 is created in advance based on the following concept and is recorded in the contour enhancement coefficient calculation unit 27.
FIG. 6 is a conceptual diagram for explaining the LUT shown in FIG.
As shown in FIG. 6, the degree of contour emphasis is set so that the color temperature is 4000 K (the color temperature of sunlight, the color temperature that is the standard of WB), and the larger the value is, the smaller the distance from the center is. . Also, the degree of contour enhancement is set larger as the contrast of the subject is larger, and is set smaller as the contrast of the subject is smaller.
[0027]
Therefore, when noise is amplified by white balance adjustment because the color temperature is away from 4000 K, it is possible to prevent the deterioration of noise by determining the degree of edge enhancement to be small. Further, when the noise is not amplified by the white balance adjustment because the color temperature is about 4000K, it is possible to determine the degree of outline enhancement to obtain a clearer image.
[0028]
As described above, according to the first embodiment, the coefficients used when performing the white balance adjustment, interpolation and flattening processing, color correction processing, gamma processing, and edge enhancement processing are obtained by the division sensor. Each image processing is performed based on the determined information. Therefore, it is possible to prevent the noise from being deteriorated unnecessarily during the image processing.
[0029]
In particular, even when noise is amplified by white balance adjustment, noise can be reduced by increasing the level of flattening, and noise can be eliminated by reducing the degree of contour enhancement. It can be prevented from getting worse.
<< Second Embodiment >>
The second embodiment of the present invention will be described below with reference to the drawings. In the second embodiment, only parts different from the first embodiment will be described, and description of parts common to the first embodiment will be omitted.
[0030]
The electronic camera 2 of the second embodiment includes an image processing unit 29 instead of the image processing unit 13 of the electronic camera 1 of the first embodiment, and includes a color temperature sensor (not shown) instead of the division sensor. Since other configurations are the same as those in the first embodiment, description and illustration are omitted, and hereinafter, description will be made using the same reference numerals as those in FIG.
In the image processing unit 29 of the electronic camera 2, each image processing is performed based on information (such as light source characteristics) obtained by the color temperature sensor. In the electronic camera 2, similarly to the electronic camera 1, a program indicating the operation content of each unit is recorded in advance.
[0031]
FIG. 7 is a functional block diagram of the image processing unit 29 in the electronic camera 2 of the second embodiment.
In FIG. 7, the image processing unit 29 omits the contrast calculation unit 18 and the gamma curve selection unit 25 of the image processing unit 13 of the first embodiment, and a color temperature calculation unit 31 instead of the color temperature calculation unit 17. A flattening coefficient calculation unit 32 is provided instead of the flattening coefficient calculation unit 21, and an outline enhancement coefficient calculation unit 33 is provided instead of the outline enhancement coefficient calculation unit 27. The other parts are the same as those in the first embodiment, and are therefore given the same reference numerals as in the first embodiment.
[0032]
Hereinafter, the operation of the image processing unit 29 will be described. A specific method of image processing in the image processing unit 29 is the same as that of a known technique. Therefore, in the following, as in the first embodiment, only the method for determining the coefficients used for each image process will be described, and the other description will be omitted.
<Determination of white balance coefficient>
The white balance coefficient used for white balance adjustment is determined according to the color temperature, as in the first embodiment. The color temperature is calculated by the color temperature calculation unit 31 based on information obtained by the color temperature sensor. The white balance coefficient calculation unit 19 outputs a signal indicating the calculated white balance coefficient to the white balance adjustment unit 20.
[0033]
<Determination of coefficients used for interpolation>
The coefficient used for the interpolation is determined in advance according to the characteristics of the image sensor 11 as in the first embodiment.
<Determination of flattening coefficient>
The flattening coefficient used in the flattening process is determined by the flattening coefficient calculating unit 32 according to the color temperature calculated by the color temperature calculating unit 31 based on information obtained by the color temperature sensor.
[0034]
The flattening coefficient calculator 32 determines a flattening coefficient using an LUT as shown in FIG. 8 recorded in the flattening coefficient calculator 32 in advance, and interpolates and flattens a signal indicating the determined flattening coefficient. To the processing unit 22.
The LUT shown in FIG. 8 has a flattening coefficient centered on the color temperature of 4000K, and a flattening coefficient that decreases the flattening degree as it is closer to the center, and a flattening coefficient that increases the flattening degree as the distance from the center increases. It has been established.
[0035]
Therefore, when noise is amplified by white balance adjustment because the color temperature is away from 4000 K, the level of flattening can be increased to reduce the noise.
<Determination of color correction coefficient>
The color correction coefficient used for the color correction process is determined by the color correction coefficient calculation unit 23 based on the color temperature calculated by the color temperature calculation unit 31 as in the first embodiment.
[0036]
<Determination of gamma curve>
As the gamma curve used for the gamma processing, one gamma curve is set in the gamma processing unit 26 in advance.
<Determination of edge enhancement processing coefficient>
The contour enhancement coefficient used for the contour enhancement processing is determined by the contour enhancement coefficient calculation unit 33 according to the color temperature calculated by the color temperature calculation unit 31 based on information obtained by the color temperature sensor.
[0037]
The contour enhancement coefficient calculation unit 33 determines using the LUT as shown in FIG. 9 recorded in the contour enhancement coefficient calculation unit 33 in advance, and outputs a signal indicating the determined contour enhancement coefficient to the contour enhancement processing unit 28. To do.
The LUT shown in FIG. 9 has a contour enhancement coefficient centered on the color temperature of 4000K, and a contour enhancement coefficient that increases the contour enhancement degree as it is closer to the center. It has been established.
[0038]
Therefore, when noise is amplified by white balance adjustment because the color temperature is away from 4000 K, it is possible to prevent the deterioration of noise by determining the degree of edge enhancement to be small. Further, when the noise is not amplified by the white balance adjustment because the color temperature is about 4000K, it is possible to determine the degree of outline enhancement to obtain a clearer image.
[0039]
As described above, according to the second embodiment, the coefficients used when performing the white balance adjustment, the flattening process, the color correction process, and the edge enhancement process are the information obtained by the color temperature sensor. Each image processing is performed based on the determination. Therefore, it is possible to prevent the noise from being deteriorated unnecessarily during the image processing.
[0040]
In particular, even when noise is amplified by white balance adjustment, noise can be reduced by increasing the level of flattening, and noise can be eliminated by reducing the degree of contour enhancement. It can be prevented from getting worse.
<< Third Embodiment >>
The third embodiment of the present invention will be described below with reference to the drawings. In the third embodiment, like the second embodiment, only the parts different from the first embodiment will be described, and the description of the parts common to the first embodiment will be omitted.
[0041]
The electronic camera 3 of the third embodiment includes an image processing unit 34 instead of the image processing unit 13 of the electronic camera 1 of the first embodiment, and includes a light source selection unit (not shown) instead of the split sensor. Since other configurations are the same as those in the first embodiment, description and illustration are omitted, and hereinafter, description will be made using the same reference numerals as those in FIG.
Here, the light source selection unit is an operation such as a button for selecting a light source illuminating an object, such as sunlight, a light bulb, a fluorescent light, a cloudy sky, or a flash device, or a menu displayed on a monitor, by a user operation. Part. The image processing unit 34 of the electronic camera 3 performs image processing based on information indicating the type of light source selected by the light source selection unit.
[0042]
In the electronic camera 3, similarly to the electronic camera 1, a program indicating the operation content of each unit is recorded in advance.
FIG. 10 is a functional block diagram of the image processing unit 34 in the electronic camera 3 according to the third embodiment.
In FIG. 10, the flattening coefficient calculation unit 21, the color correction coefficient calculation unit 23, and the gamma curve selection unit 25 of the image processing unit 13 of the first embodiment are omitted from the image processing unit 34, and the color temperature calculation unit 17. Instead, a color temperature calculation unit 36 is provided, and an edge enhancement coefficient calculation unit 37 is provided instead of the edge enhancement coefficient calculation unit 27. The other parts are the same as those in the first embodiment, and are therefore given the same reference numerals as in the first embodiment.
[0043]
Hereinafter, the operation of the image processing unit 34 will be described, but a specific method of image processing in the image processing unit 34 is the same as that of a known technique. Therefore, in the following, as in the first embodiment and the second embodiment, only the method for determining the coefficients used for each image process will be described, and the other description will be omitted.
<Determination of white balance coefficient>
The white balance coefficient used for white balance adjustment is calculated according to the color temperature, as in the first embodiment. The color temperature is calculated by the color temperature calculator 36 according to the light source selected by the light source selector. The white balance coefficient calculation unit 19 outputs a signal indicating the calculated white balance coefficient to the white balance adjustment unit 20.
[0044]
<Determination of coefficients used for interpolation>
Similar to the first and second embodiments, the coefficients used for the interpolation are determined in advance according to the characteristics of the image sensor 11.
<Determination of flattening coefficient>
The flattening coefficient used for the flattening process is determined in advance in the interpolation and flattening processing unit 22.
[0045]
<Determination of color correction coefficient>
The color correction coefficient used for the color correction process is determined in advance in the color correction processing unit 24.
<Determination of gamma curve>
As for the gamma curve used for the gamma processing, one gamma curve is determined in advance in the gamma processing unit 26 as in the second embodiment.
[0046]
<Determination of edge enhancement processing coefficient>
The contour enhancement coefficient used for the contour enhancement processing is determined by the contour enhancement coefficient calculation unit according to the color temperature calculated by the color temperature calculation unit 36.
Similar to the second embodiment, the contour enhancement coefficient calculation unit 37 uses the same LUT as that shown in FIG. 9 recorded in advance in the contour enhancement coefficient calculation unit 37 according to the color temperature. The coefficient is determined, and a signal indicating the determined edge enhancement coefficient is output to the edge enhancement processing unit 28.
[0047]
By determining the contour enhancement degree in this way, the same effect as in the second embodiment can be obtained.
As described above, according to the third embodiment, the contour enhancement coefficient is determined based on the information obtained by the light source selection unit to perform the contour enhancement processing. Therefore, it is possible to prevent the noise from being deteriorated unnecessarily during the image processing.
[0048]
In particular, when noise is amplified by white balance adjustment, it is possible to prevent the noise from being deteriorated unnecessarily by reducing the degree of contour enhancement.
In the third embodiment, the example in which the flattening coefficient and the color correction coefficient are determined in advance is shown. However, according to the color temperature calculated by the color temperature calculation unit 36, the second embodiment has been described. It may be calculated by such a method. In this case, a flattening coefficient calculation unit and a color correction coefficient calculation unit are newly provided, and an LUT similar to that shown in FIG. 8 may be recorded in advance in the flattening coefficient calculation unit.
[0049]
In each of the above embodiments, an example is shown in which the coefficients used for each image processing are calculated according to information obtained using a division sensor, a color temperature sensor, a light source selection unit, and the like. The coefficient used for each image processing may be calculated according to the information based on the image data.
In each of the above embodiments, the example in which white balance adjustment is given priority and other image processing is performed in consideration of noise amplification by white balance adjustment has been described, but priority may be given to other image processing. good. For example, the content of white balance adjustment may be changed by giving priority to the contour enhancement processing and considering noise amplification by the contour enhancement processing. Which image processing is prioritized may be determined in advance or may be selectable by a user operation.
[0050]
In each of the above embodiments, the coefficient used for each image processing is calculated according to the color temperature and contrast. However, the coefficient may be calculated by combining the ISO sensitivity.
Further, in each of the above embodiments, the color temperature and the contrast value are automatically calculated by the color temperature calculation unit and the contrast calculation unit. However, the user sets the color temperature, the contrast value, and the ISO sensitivity. You may do it.
[0051]
【The invention's effect】
As described above, according to the present invention, various image processing can be performed by determining the coefficient used for each image processing according to the light source characteristics (color temperature, etc.) when the image to be processed is generated. In doing so, it is possible to prevent noise from deteriorating unnecessarily.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a schematic configuration of an electronic camera according to a first embodiment.
FIG. 2 is a functional block diagram of an image processing unit in the electronic camera of the first embodiment.
FIG. 3 is an example of an LUT used when determining a flattening degree.
FIG. 4 is a conceptual diagram for explaining an LUT.
FIG. 5 is an example of an LUT used when determining the degree of edge enhancement.
FIG. 6 is a conceptual diagram for explaining an LUT.
FIG. 7 is a functional block diagram of an image processing unit in the electronic camera of the second embodiment.
FIG. 8 is an example of an LUT used when determining the degree of flattening.
FIG. 9 is an example of an LUT used when determining the degree of edge enhancement.
FIG. 10 is a functional block diagram of an image processing unit in an electronic camera according to a third embodiment.
FIG. 11 is a functional block diagram of an image processing unit in a conventional electronic camera.
[Explanation of symbols]
1,2,3 electronic camera
10 Shooting lens
11 Image sensor
12 A / D converter
13, 29, 34, 100 Image processing unit
15 Compression unit
16 Recording section
17, 31, 36 Color temperature calculator
18 Contrast calculator
19,102 White balance coefficient calculator
20, 101 White balance adjustment section
21, 32 Flattening coefficient calculator
22,103 Interpolation and flattening processing unit
23 Color correction coefficient calculator
24,104 color correction processing unit
25 Gamma curve selector
26,105 Gamma processing unit
27, 33, 37 Outline enhancement coefficient calculation unit
28, 106 Outline enhancement processing unit

Claims (10)

入力された画像データに対して、少なくともホワイトバランス調整処理輪郭強調処理とを行う画像処理装置であって、
処理対象の画像データが生成された際の光源特性を取得する光源特性取得手段と、
前記光源特性取得手段により取得された前記光源特性から算出された色温度情報に応じて、前記ホワイトバランス調整処理を行う際に用いるホワイトバランス係数と、前記輪郭強調処理を行う際に用いる輪郭強調処理係数とを、前記ホワイトバランス調整処理と前記輪郭強調処理との何れか一方による前記画像データのノイズの増幅を考慮して、他方の処理の処理内容を変更するように、互いに関連付けて決定する係数決定手段と、
前記ホワイトバランス係数を用いて前記ホワイトバランス調整処理を行い、前記輪郭強調処理係数を用いて前記輪郭強調処理を行う画像処理手段と
を備えたことを特徴とする画像処理装置。
An image processing apparatus that performs at least white balance adjustment processing and contour enhancement processing on input image data ,
Light source characteristic acquisition means for acquiring light source characteristics when image data to be processed is generated;
In accordance with the color temperature information calculated from the obtained light source characteristics by the light source characteristic acquisition means, and white balance coefficients used in performing the white balance adjustment processing, edge enhancement processing used when performing the edge enhancement processing A coefficient that is determined in association with each other so as to change the processing content of the other process in consideration of the noise amplification of the image data by one of the white balance adjustment process and the edge enhancement process A determination means;
It performs the white balance adjustment processing using the white balance coefficient, and an image processing means for performing the edge enhancement processing using the edge enhancement processing coefficients,
An image processing apparatus comprising:
請求項1に記載の画像処理装置において、
前記係数決定手段は、前記色温度情報と、該色温度情報以外の前記処理対象の画像データの特性との両方に基づいて、前記ホワイトバランス係数と関連付けた前記輪郭強調処理係数決定する
ことを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
Said coefficient determining means, and the color temperature information, based on both the characteristics of the image data of the processing target other than the color temperature information, determining said edge enhancement coefficients associated with the white balance coefficient A featured image processing apparatus.
請求項2に記載の画像処理装置において、
前記色温度情報以外の前記処理対象の画像データの特性は、該処理対象の画像データのコントラスト特性である
ことを特徴とする画像処理装置。
The image processing apparatus according to claim 2,
The image processing apparatus, wherein the characteristic of the image data to be processed other than the color temperature information is a contrast characteristic of the image data to be processed.
請求項1に記載の画像処理装置において、
前記画像処理手段は、前記ホワイトバランス調整処理を行ってから前記輪郭強調処理を行うまでの間に中間処理を行い、
前記係数決定手段は、前記色温度情報に応じて、前記ホワイトバランス係数と、前記輪郭強調処理係数と、前記中間処理を行う際に用いる中間処理係数とを、関連付けて決定する
ことを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The image processing means performs an intermediate process between the white balance adjustment process and the edge enhancement process.
The coefficient determination means determines the white balance coefficient, the edge enhancement processing coefficient, and the intermediate processing coefficient used when the intermediate processing is performed in association with each other according to the color temperature information. Image processing device.
請求項1に記載の画像処理装置において、
前記係数決定手段は、前記輪郭強調処理係数の決定を、前記色温度情報に応じたルックアップテーブルを用いて行う
ことを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The image processing apparatus characterized in that the coefficient determining means determines the edge enhancement processing coefficient using a look-up table corresponding to the color temperature information .
請求項3に記載の画像処理装置において、The image processing apparatus according to claim 3.
前記係数決定手段は、前記輪郭強調処理係数の決定を、前記色温度情報と前記コントラスト特性とに応じたルックアップテーブルを用いて行うThe coefficient determining unit determines the edge enhancement processing coefficient using a look-up table corresponding to the color temperature information and the contrast characteristics.
ことを特徴とする画像処理装置。An image processing apparatus.
請求項4に記載の画像処理装置において、The image processing apparatus according to claim 4.
前記中間処理は、平坦化処理であり、前記中間処理係数は、平坦化処理係数であるThe intermediate process is a flattening process, and the intermediate process coefficient is a flattening process coefficient.
ことを特徴とする画像処理装置。An image processing apparatus.
請求項7に記載の画像処理装置において、The image processing apparatus according to claim 7.
前記係数決定手段は、前記平坦化処理係数の決定を、前記色温度情報と前記画像データのコントラスト特性とに応じたルックアップテーブルを用いて行うThe coefficient determining means determines the flattening processing coefficient using a look-up table corresponding to the color temperature information and the contrast characteristics of the image data.
ことを特徴とする画像処理装置。An image processing apparatus.
入力された画像データに対して、少なくともホワイトバランス調整処理輪郭強調処理とを行い、処理対象の画像データが生成された際の光源特性を取得する光源特性取得手段を備えた画像処理装置に対する制御をコンピュータで実現するためのプログラムであって、
前記光源特性取得手段により取得された前記光源特性から算出された色温度情報に応じて、前記ホワイトバランス調整処理を行う際に用いるホワイトバランス係数と、前記輪郭強調処理を行う際に用いる輪郭強調処理係数とを、前記ホワイトバランス調整処理と前記輪郭強調処理との何れか一方による前記画像データのノイズの増幅を考慮して、他方の処理の処理内容を変更するように、互いに関連付けて決定する係数決定手順と、
前記ホワイトバランス係数を用いて前記ホワイトバランス調整処理を行い、前記輪郭強調処理係数を用いて前記輪郭強調処理を行う画像処理手順と
をコンピュータで実現させることを特徴とするプログラム。
Control for an image processing apparatus including a light source characteristic acquisition unit that performs at least white balance adjustment processing and contour enhancement processing on input image data, and acquires light source characteristics when image data to be processed is generated A program for realizing the above on a computer,
In accordance with the color temperature information calculated from the obtained light source characteristics by the light source characteristic acquisition means, and white balance coefficients used in performing the white balance adjustment processing, edge enhancement processing used when performing the edge enhancement processing A coefficient that is determined in association with each other so as to change the processing content of the other process in consideration of the noise amplification of the image data by one of the white balance adjustment process and the edge enhancement process Decision procedure;
Performs the white balance adjustment processing using the white balance coefficient, and an image processing procedure for performing the edge enhancement processing using the edge enhancement processing coefficients,
A program characterized by being realized by a computer.
処理対象の画像データが生成された際の光源の特性を取得する光源特性取得工程と、
前記光源特性取得工程により取得された光源特性から算出された色温度情報に応じて、ホワイトバランス調整処理を行う際に用いるホワイトバランス係数と、輪郭強調処理を行う際に用いる輪郭強調処理係数とを、前記ホワイトバランス調整処理と前記輪郭強調処理との何れか一方による前記画像データのノイズの増幅を考慮して、他方の処理の処理内容を変更するように、互いに関連付けて決定する係数決定工程と、
前記ホワイトバランス係数を用いて前記ホワイトバランス調整処理を行い、前記輪郭強調処理係数を用いて前記輪郭強調処理を行う画像処理工程と
を備えたことを特徴とする画像処理方法。
A light source characteristic acquisition step of acquiring the characteristics of the light source when the image data to be processed is generated;
In accordance with the color temperature information calculated from the light source characteristics acquired by the light source characteristic acquisition step, the white balance coefficients used in performing the white balance adjustment process, and edge enhancement processing coefficients used in performing the edge enhancement processing A coefficient determination step for determining in association with each other so as to change the processing content of the other processing in consideration of the amplification of noise of the image data by one of the white balance adjustment processing and the edge enhancement processing ; ,
Wherein performs the white balance adjustment process using the white balance coefficient, and an image processing step of performing the edge enhancement processing using the edge enhancement processing coefficients,
An image processing method comprising:
JP2002025714A 2002-02-01 2002-02-01 Image processing apparatus, image processing program, and image processing method Expired - Fee Related JP4055426B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2002025714A JP4055426B2 (en) 2002-02-01 2002-02-01 Image processing apparatus, image processing program, and image processing method
US10/352,906 US7535503B2 (en) 2002-02-01 2003-01-29 Image processing apparatus, image processing program, and image processing method for performing edge enhancement processing
US12/385,545 US7768555B2 (en) 2002-02-01 2009-04-10 Image processing apparatus, image processing program, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002025714A JP4055426B2 (en) 2002-02-01 2002-02-01 Image processing apparatus, image processing program, and image processing method

Publications (2)

Publication Number Publication Date
JP2003230161A JP2003230161A (en) 2003-08-15
JP4055426B2 true JP4055426B2 (en) 2008-03-05

Family

ID=27747771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002025714A Expired - Fee Related JP4055426B2 (en) 2002-02-01 2002-02-01 Image processing apparatus, image processing program, and image processing method

Country Status (1)

Country Link
JP (1) JP4055426B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2005041588A1 (en) * 2003-10-24 2007-04-05 ノキア コーポレイション Electronic device with photographing function having color correction function, and color correction method of image data
JP4730121B2 (en) * 2006-02-07 2011-07-20 ソニー株式会社 Image processing apparatus and method, recording medium, and program

Also Published As

Publication number Publication date
JP2003230161A (en) 2003-08-15

Similar Documents

Publication Publication Date Title
US8421879B2 (en) White balance adjustment device, image capture device, white balance adjustment method, storage medium, and integrated circuit
US8659675B2 (en) Image processing apparatus, image processing method, and program
CN110022469B (en) Image processing method, image processing device, storage medium and electronic equipment
CN108632537B (en) Control method and apparatus, imaging device, computer device, and readable storage medium
EP2426928B1 (en) Image processing apparatus, image processing method and program
JP4994825B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
US20070047803A1 (en) Image processing device with automatic white balance
KR20080035981A (en) Image processing apparatus, imaging apparatus, image processing method, and computer program
JP2002027491A (en) Image input unit, white balance adjusting method, and computer readable recording medium storing program for executing the method
KR100925629B1 (en) METHOD FOR AUTO WHITE BALANCE IN YCbCr COLOR SPACE
JP2008153768A (en) Imaging apparatus, and white balance processor
US7768555B2 (en) Image processing apparatus, image processing program, and image processing method
JP4066803B2 (en) Image processing apparatus, image processing program, image processing method, and electronic camera
JP2011086976A (en) Image processor and image processing method
CN113411554A (en) Underwater image color restoration method and device
JP2003234955A (en) Image processing device, image processing program, and image processing method
JP2004282133A (en) Automatic white balance processor and method, and image signal processor
JP4055426B2 (en) Image processing apparatus, image processing program, and image processing method
JP5142833B2 (en) Image processing apparatus and image processing method
JP2008305122A (en) Image-processing apparatus, image processing method and program
JP2003230052A (en) Electronic camera, image processing program, and image processing method
JP4857856B2 (en) Electronic camera having saturation adjustment function and image processing program
JP2005072694A (en) Image pickup apparatus
JP4069690B2 (en) Image processing apparatus and electronic camera
US20230370725A1 (en) Imaging apparatus and control method for imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071203

R150 Certificate of patent or registration of utility model

Ref document number: 4055426

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101221

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101221

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131221

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131221

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131221

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees