JP5423663B2 - 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 - Google Patents

画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 Download PDF

Info

Publication number
JP5423663B2
JP5423663B2 JP2010283183A JP2010283183A JP5423663B2 JP 5423663 B2 JP5423663 B2 JP 5423663B2 JP 2010283183 A JP2010283183 A JP 2010283183A JP 2010283183 A JP2010283183 A JP 2010283183A JP 5423663 B2 JP5423663 B2 JP 5423663B2
Authority
JP
Japan
Prior art keywords
color
flare
color component
region
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010283183A
Other languages
English (en)
Other versions
JP2012134630A (ja
Inventor
健太郎 彦坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2010283183A priority Critical patent/JP5423663B2/ja
Priority to US13/073,372 priority patent/US8989436B2/en
Priority to CN201110083636.3A priority patent/CN102236896B/zh
Publication of JP2012134630A publication Critical patent/JP2012134630A/ja
Application granted granted Critical
Publication of JP5423663B2 publication Critical patent/JP5423663B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、撮影画像からフレアの情報を抽出する画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置に関する。
回折光学素子(DOE:Diffractive Optical Element)を有する撮影光学系で撮影を行う際、極めて高輝度な物体(輝点)が撮影画角内に存在していた場合には、撮影画像上の輝点像の周辺に色滲みを伴うフレア(色フレア)が発生する。この色フレアは無色のフレアと比較すると著しく不自然である。
因みに、特許文献1には、撮影光学系の結像特性データを予め記憶し、そのデータと、撮影画像上の輝点の位置とに基づきフレア成分を推定し、それを撮影画像から除去する電子カメラが開示されている。
特許第4250513号公報
しかしながら撮影画像に実際に発生するフレア成分は、撮影光学系の結像特性に依存するだけでなく、輝点が有している波長スペクトルにも依存するので、特許文献1に記載の電子カメラがフレア成分を十分な精度で推定することは難しい。
また、特許文献1に記載のフレア除去方法をコンピュータのソフトウエアで実行しようとしても、通常の撮影画像(例えばJPEG画像)にはフレア成分を推定するのに十分なデータが付与されていないため、その実行は不可能である。
そこで本発明は、輝点の波長スペクトルデータや撮影光学系の結像特性データなどの撮影条件データを使用せずに、色フレアの色付き分布(以下、「フレア色成分」と称す。)を撮影画像から抽出することの可能な画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置を提供する。
本発明の画像処理方法の一態様は、撮影光学系により取得されたカラーの処理対象画像を入力する入力手順と、色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手順と、前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手順と、前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手順と、前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手順と、を含み、前記基準色設定手順では、前記発生領域の各色成分の中で最も低い値を有した色成分を前記基準色成分に設定する
本発明の画像処理プログラムの一態様は、撮影光学系により取得されたカラーの処理対象画像を入力する入力手順と、色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手順と、前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手順と、前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手順と、前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手順と、をコンピュータに実行させ、前記基準色設定手順では、前記発生領域の各色成分の中で最も低い値を有した色成分を前記基準色成分に設定する
本発明の画像処理装置の一態様は、撮影光学系により取得されたカラーの処理対象画像を入力する入力手段と、色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手段と、前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手段と、前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手段と、前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手段と、を備え、前記基準色設定手段では、前記発生領域の各色成分の中で最も低い値を有した色成分を前記基準色成分に設定する
本発明の撮像装置の一態様は、撮影光学系が結像した被写体像を撮像する撮像素子と、本発明の画像処理装置の一態様とを備える。
本発明によれば、輝点の波長スペクトルデータや撮影光学系の結像特性データなどの撮影条件データを使用せずにフレア色成分を撮影画像から抽出することの可能な画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置が実現する。
第1実施形態の画像処理装置の構成例を示すブロック図である。 CPU14によるフレア色成分除去処理の動作フローチャートである。 色補正成分抽出処理部22による色補正成分抽出処理のフローチャートである。 フレア色成分抽出処理部21によるフレア抽出処理のフローチャートである。 入力画像の例である。 検出された高輝度領域の例である。 フレアに起因した高輝度領域(飽和領域)の例である。 ラベリングされた飽和領域の例である。 飽和領域Sとフレア領域Aと処理領域A’との関係を説明する図である。 彩度強調前の或る処理領域A’の画素プロファイルと、彩度強調後の同じ処理領域A’の画素プロファイルとを比較する図である。 基準画像の作成手順を説明する模式図である。 色補正成分の抽出手順を説明する模式図である。 二値のマスク画像を説明する図である。 グレースケールマスク画像を説明する図である。 処理領域A’のR成分(フレア色成分有り)とG成分との関係を示す図である。 フレア色成分の抽出手順を説明する模式図である。 処理領域A’のR成分(フレア色成分無し)とG成分との関係を示す図である。 色補正成分の抽出手順の変形例を説明する模式図である。 第2実施形態の電子カメラの構成例を示すブロック図である。
[第1実施形態]
以下、本発明の第1実施形態を説明する。
図1は、本実施形態の画像処理装置の構成例を示すブロック図である。本実施形態の画像処理装置は、画像処理プログラムがインストールされたコンピュータ11で構成される。
図1に示すコンピュータ11は、データ読込部12、記憶装置13、CPU14、メモリ15および入出力I/F16、バス17を有している。データ読込部12、記憶装置13、CPU14、メモリ15および入出力I/F16は、バス17を介して相互に接続されている。さらに、コンピュータ11には、入出力I/F16を介して、入力デバイス18(キーボード、ポインティングデバイスなど)とモニタ19とがそれぞれ接続されている。なお、入出力I/F16は、入力デバイス18からの各種入力を受け付けるとともに、モニタ19に対して表示用のデータを出力する。
データ読込部12は、画像処理対象となる画像データを外部から読み込むときに用いられる。例えば、データ読込部12は、データ読込部12に挿入された記憶媒体から画像データを取得する読込デバイス(光ディスクドライブ、磁気ディスクドライブ、光磁気ディスクドライブなど)や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス(USBインターフェース、LANモジュール、無線LANモジュールなど)で構成される。
記憶装置13は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置13には、画像処理プログラムが記録されている。なお、記憶装置13には、データ読込部12から読み込まれた画像データを記憶しておくこともできる。
CPU14は、記憶装置13に記憶された画像処理プログラムを実行し、コンピュータ11の各部を統括的に制御するプロセッサである。ここで、本実施形態の画像処理プログラムにはフレア色成分除去処理の機能が搭載されており、フレア色成分除去処理を実行する際、CPU14は、各部を制御する制御部として機能する他に、フレア色成分抽出処理部21、色補正成分抽出処理部22としても機能する(フレア色成分抽出処理部21、色補正成分抽出処理部22の動作は後述する)。
メモリ15は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ15は、例えば揮発性のSDRAMなどで構成される。
図2は、CPU14によるフレア色成分除去処理の動作フローチャートである。以下、各ステップを順に説明する。
ステップS11:CPU14は、ユーザがフレア色成分除去処理の対象として指定したカラー画像の画像データを、メモリ15上に読み込む(以下、これを「入力画像」と称す。)。この入力画像は、例えば、データ読込部12の記憶媒体に書き込まれていた画像である。
ここで、入力画像は、色フレアの発生した画像である。色フレアの発生した画像は、DOEを含む撮影光学系で撮影された画像であって、例えば図5に示すとおりである(但し、図5はモノクロ画像なので、色フレアの色付きは現れていない。)。色フレアは通常、輪帯状又はそれに近いパターンをしているが、そのパターンは完全な輪帯状になるとは限らず、撮影条件(画像の撮影に使用された撮影光学系の結像特性、撮影時に画角内に存在していた輝点の波長スペクトルなど)に依存する。また、色フレアの色づき分布(フレア色成分)も、撮影条件に依存する。
しかし、本実施形態のフレア色成分除去処理は色フレアのパターン及び色付き分布が未知であっても実行可能であるので、入力画像には、撮影条件データが付随していなくても構わない。
ステップS12:CPU14は、メモリ15上へ読み込んだ入力画像に対してサイズ縮小処理を施す。以下、サイズ縮小後の入力画像を「縮小画像」と称す。なお、入力画像に対してサイズ縮小処理を施すのは、続くステップS13〜S19、S23の演算負荷を軽減するためである。
ステップS13:CPU14は、縮小画像の各画素の輝度を所定値(ここでは飽和レベルとする。)と比較することにより、輝度が所定値を超過するような明るい領域(高輝度領域)を縮小画像から検出する(図6参照)。図6に示すとおり、検出された高輝度領域の中には、フレアに起因した高輝度領域だけでなく、フレアとは無関係な高輝度領域も混在している可能性がある。
なお、本ステップでは演算負荷を軽減するため、各画素の輝度の指標として、各画素の輝度値(R、G、Bの重み付け和)を使用する代わりに、各画素の各色成分の和(R、G、Bの和)を使用してもよい。或いは、各画素の輝度の指標として、各画素を代表する色成分の値(G強度)を使用してもよい。また、このような演算負荷の軽減方法は、画素の輝度を扱う他のステップでも採用することができる。
ステップS14:CPU14は、ステップS13で検出された高輝度領域の各々がフレアに起因したものであるか否かを判別し、フレアに起因したもの以外を排除する(図7参照。)。
なお、個々の高輝度領域がフレアに起因したものであるか否かの判定は、例えば次のとおり行われる。すなわち、CPU14は、高輝度領域と予め用意した円形パターンとを比較し、両者の相関度が一定以上である場合には、その高輝度領域をフレアに起因したものとみなし、相関度が一定未満である場合には、その高輝度領域をフレアに起因したものではないとみなす。なお、比較対象となる円形パターンとしては、フレアに起因した高輝度領域として平均的なものを使用すればよい。
或いは、個々の高輝度領域がフレアに起因したものであるか否かの判定は、次のとおり行われてもよい。すなわち、CPU14は、高輝度領域の中心から所定半径を有した円形領域を設定し、その円形領域の全域に高輝度領域が存在していた場合には、その高輝度領域をフレアに起因したものとみなし、円形領域の少なくとも1部が高輝度領域から外れていた場合には、その高輝度領域をフレアに起因したものではないとみなす。なお、円形領域の半径は、フレアに起因した高輝度領域として最も小さいものの半径と同程度に設定される。
したがって、本ステップで除外されなかった高輝度領域は、フレアの中心部における飽和領域に相当する。以下、本ステップで除外されなかった高輝度領域を、単に「飽和領域」と称す。
ステップS15:CPU14は、ステップS14で検出された1又は複数の飽和領域に対してラベリングを行い、通し番号(フレア番号i=1、2、…)を付与する(図8参照)。これによって、入力画像に発生しているフレアの総数(すなわち、フレア番号iの最終値)が確定する。
ステップS16:CPU14は、フレア番号iを初期値(1)に設定する。
ステップS17:CPU14は、図9に示すとおり、縮小画像上でフレア番号iに対応する飽和領域Sに着目すると、飽和領域Sの輝度重心に相当する座標gを算出し、座標gから飽和領域Sの輪郭までの平均距離を飽和領域Sの半径rとして算出する。さらに、CPU14は、縮小画像上で座標gを中心とし、かつ半径が(α×r)である円形領域を、フレア番号iに対応したフレア領域Aに設定する(但し、α>1)。
ここで仮に、フレア領域Aに発生しているフレアが色フレアであった場合、図9の斜線部で示す領域にフレア色成分が重畳されると考えられる。
さらに、CPU14は、縮小画像上でフレア領域Aの全体を包含し、かつ一定のマージンγを持った包含領域を、フレア番号iに対応した処理領域A’に設定する(但し、γ>0)。
なお、ここでは、処理領域A’のサイズをフレア番号i毎に設定したが、処理領域A’がフレア領域Aを包含できるのであれば、処理領域A’のサイズを全てのフレア番号iの間で共通としてもよい。また、処理領域A’の形状は、円形でも矩形でも構わない。また、処理領域A’の中心は、フレア領域Aの中心から外れていても構わない。また、ここでは、飽和領域Sの輝度重心を座標gとしたが、演算負荷を軽減するために、飽和領域Sの中心を座標gとしてもよい。
ステップS18:CPU14は、フレア番号iに対応するフレア領域Aに着目すると、そのフレア領域Aに発生しているフレアが色フレアであるか否かを判別し、色フレアであった場合は、処理領域A’に関する色補正成分抽出処理及びフレア色抽出処理を実行するべくステップS19へ移行し、色フレアでなかった場合は、処理領域A’に関する色補正成分抽出処理及びフレア色成分抽出処理を省略するべく、ステップS26へ移行する。
ここで、フレア領域Aに発生しているフレアが色フレアであるか否かの判別は、例えば次のとおり行われる。すなわちCPU14は、フレア領域Aの平均値を色成分毎に(RGB別に)算出し、それら平均値の色成分間のばらつきが所定範囲を超過していた場合には、フレア領域Aのフレアは色フレアであるとみなし、超過していなかった場合には、そのフレアは色フレアではない(無色のフレアである)とみなす。
ステップS19:CPU14は、フレア番号iに対応する処理領域A’に対して色補正成分抽出処理を施すよう色補正成分抽出処理部22へ指示を与える。色補正成分抽出処理部22は、色補正成分抽出処理を実行し、処理領域A’に対して予め施されていた色補正(彩度強調処理、色バランス調整、色変換処理など)の色補正成分を推定する。なお、本ステップで推定される色補正成分は、1色又は2色の色補正成分からなる。本ステップの詳細は、後述する。
ステップS20:CPU14は、ステップS19で推定された色補正成分(1色又は2色の色補正成分)を、処理領域A’から減算する。これによって、処理領域A’の色が、色補正前の状態に復元される。
ステップS21:CPU14は、ステップS19で推定された色補正成分(1色又は2色の色補正成分)へサイズ拡大処理を施す。なお、前述したステップS12のサイズ縮小処理で入力画像のサイズを1/M倍にした場合、本ステップにおけるサイズ拡大処理では色補正成分(1色又は2色の色補正成分)のサイズをM倍にする。よって、本ステップでは、入力画像に対応するサイズの色補正成分(1色又は2色の色補正成分)が取得される。
ステップS22:CPU14は、サイズ拡大処理後の色補正成分(1色又は2色の色補正成分)を、入力画像上で処理領域A’に対応する領域から減算する。但し、減算に当たりCPU14は、縮小画像上の座標gと前述した倍率Mとに基づき、座標gに対応する入力画像上の座標g’を求め、その座標g’に対して色補正成分(1色又は2色の色補正成分)の中心を一致させておく。これによって、入力画像上で処理領域A’に対応する領域の色が、色補正前の状態に復元される。
ステップS23:CPU14は、フレア番号iに対応する処理領域A’(復元後の処理領域A’)に対してフレア色成分抽出処理を施すようフレア色成分抽出処理部21へ指示を与える。フレア色成分抽出処理部21は、フレア色成分抽出処理を実行し、処理領域A’に発生しているフレア色成分を推定する。なお、本ステップで推定されるフレア色成分は、2色のフレア色成分からなる。本ステップの詳細は、後述する。
ステップS24:CPU14は、ステップS23で推定されたフレア色成分(2色のフレア色成分)へサイズ拡大処理を施す。なお、前述したステップS12のサイズ縮小処理で入力画像のサイズを1/M倍にした場合、本ステップにおけるサイズ拡大処理ではフレア色成分(2色分のフレア色成分)のサイズをM倍にする。よって、本ステップでは、入力画像に対応するサイズのフレア色成分(2色のフレア色成分)が取得される。
ステップS25:CPU14は、サイズ拡大処理後のフレア色成分(2色のフレア色成分)を、入力画像(復元後の入力画像)上で処理領域A’に対応する領域から減算する。但し、減算に当たりCPU14は、縮小画像上の座標gと前述した倍率Mとに基づき、座標gに対応する入力画像上の座標g’を求め、その座標g’に対してフレア色成分(2色のフレア色成分)の中心を一致させておく。これによって、入力画像上で処理領域A’に対応する領域に発生していた色フレアのフレア色成分が除去される。つまり、その領域に発生していた色フレアは、無色のフレアとなる。
ステップS26:CPU14は、フレア番号iが最終値に達したか否かを判別し、達していなかった場合はステップS27へ移行し、達していた場合はステップS28へ移行する。
ステップS27:CPU14は、フレア番号iをインクリメントしてからステップS17へ移行する。したがって、全てのフレア番号の色補正成分及びフレア色成分が、入力画像から順次に除去されることになる。
ステップS28:CPU14は、色補正成分及びフレア色成分の除去された入力画像(以下、「最終画像」と称す。)をモニタ19へ表示する。その後、ユーザから保存指示が入力された場合には、最終画像をユーザが指定した保存先(例えば、データ読込部12に挿入された記憶媒体)へ保存し、フローを終了する。
図3は、色補正成分抽出処理部22による色補正成分抽出処理のフローチャートである。以下、各ステップを順に説明する。
ステップS191:色補正成分抽出処理部22は、フレア番号iに対応するフレア領域Aの各色成分(R成分、G成分、B成分)を参照すると、そのフレア領域Aの中に色補正画素が存在するか否かを判別し、色補正画素が少なくとも1つ存在する場合には、色補正成分抽出処理を実行するべくステップS192へ移行し、色補正画素が1つも存在しない場合には色補正成分抽出処理のフローを終了する。
ここで、色補正画素とは、色補正前のフレア領域Aの画素としては不自然な色を有した画素のことである。以下、色補正が彩度強調であった場合を想定して説明する。
図10(A)は、彩度強調前の或る処理領域A’の画素プロファイル(中心線上の画素プロファイル)であり、図10(B)は、彩度強調後の同じ処理領域A’の画素プロファイルである。この処理領域A’に施された彩度強調は、G成分及びB成分をR成分に比して相対的に強調するための彩度強調である。
図10(A)に示すとおり、彩度強調前の処理領域A’には、全色成分がノイズレベルT1以上となった画素しか存在していないのに対し、図10(B)に示すとおり、彩度強調後の処理領域A’には、R成分がノイズレベルT1未満となった画素が発生している。しかも、そのような画素の少なくとも一部の画素は、G成分とB成分との少なくとも一方が飽和レベルT2に達している。このように、少なくとも1つの色成分が飽和レベルT2に達しており、かつ他の少なくとも1つの色成分がノイズレベルT1未満となっているような画素が、色補正画素である。
因みに、色補正画素が発生するのは、図10(B)に示すとおり、フレア領域Aの内側かつ飽和領域Sの外側の領域であって、この領域は、フレア色成分の重畳された領域に相当する。なぜなら、この領域の多くの画素のG成分及びB成分は、彩度強調前の時点で飽和レベルT2に達していたので、彩度強調では、そのような画素のG成分及びB成分を相対的に強調するために、R成分の値をノイズレベルT1以下に押し下げる必要があったからである。このような色補正画素は、処理領域A’に色フレアが発生していたからこそ発生するものである。
但し、色補正画素を含んだままの処理領域A’に対して後述するフレア色成分抽出処理を施しても、フレア色成分を正しく推測できない虞があるので、本実施形態では、色補正成分を予め抽出・除去しておく必要がある。
ステップS192:色補正成分抽出処理部22は、フレア領域Aから全ての色補正画素を検出し、その中から、ノイズレベルT1未満となった画素の個数を色成分毎に(RGB別に)算出し、その個数が一定以上(ここではゼロ以上とする。)である1又は2つの色成分を見出し、その1又は2つの色成分を、補正対象色成分に定める。なお、図10に示した例では、R成分のみが補正対象色成分に定められる。以下では、補正対象色成分がR成分のみであったと仮定する。
ステップS193:色補正成分抽出処理部22は、図11(A)の左側に示すとおり処理領域A’のR成分に着目し、そのR成分のうち周辺と比較して値の低い領域のみを平滑化することにより、図11(B)に示すような基準画像I”を作成する。この基準画像I”は、色補正成分の算出基準として使用される。ここで、基準画像I”の作成は、図11(A)→図11(B)に示す手順によって行うことができる。
すなわち、色補正成分抽出処理部22は、先ず、図11(A)の左側に示したR成分Iを、ガウシアンフィルタなどの平滑化フィルタで空間的に平滑化することにより、図11(B)に示すようなR成分I’を取得する。この平滑化によると、周辺と比較して値の低い領域(点線枠部分)の画素値は、平滑化前よりも高めになり、周辺と比較して値の高い領域の画素値は、平滑化前よりも低めになる。続いて、色補正成分抽出処理部22は、平滑化前後の2つのR成分I、I’を画素毎に比較し、値の高かった方の画素を集めて1枚の合成画像を作成し、その合成画像を基準画像I”とする(図11(B))。この基準画像I”は、元のR成分Iにおいて周辺と比較して値の低かった領域(点線枠部分)のみを平滑化したものに相当する。
ステップS194:色補正成分抽出処理部22は、図12(A)に示すとおり、元のR成分Iから基準画像I”を差し引くことにより、図12(B)に示すような色補正成分Iを算出する。但し、ここで算出された色補正成分Iには、高周波数の誤差が残存している。
ステップS195:色補正成分抽出処理部22は、色補正成分Iをガウシアンフィルタなどの平滑化フィルタで空間的に平滑化することにより、図12(C)に示すような色補正成分Iを算出する。この色補正成分Iが、R成分に関する色補正成分である。
ステップS196:色補正成分抽出処理部22は、色補正成分Iの推定が、全ての補正対象色成分について完了したか否かを判別し、完了していなかった場合にはステップS193へ戻り、残った補正対象色成分に関する推定を行い、完了していた場合には、図3のフローを終了する(以上、ステップS196)。
図4は、フレア色成分抽出処理部21によるフレア抽出処理のフローチャートである。以下、各ステップを順に説明する。
ステップS231:フレア色成分抽出処理部21は、フレア番号iに対応する復元後のフレア領域Aの平均値を色成分毎に(RGB別に)算出し、平均値が最小であった1つの色成分を、基準色成分に定める。以下、G成分が基準色成分に設定されたと仮定する。その場合、フレア色成分の推定は、G成分以外の色成分、すなわちR成分及びB成分の各々に関して行われる。
ステップS232:フレア色成分抽出処理部21は、フレア番号iに対応したマスク画像を作成する。マスク画像は、図13に示すとおり、処理領域A’と同形同サイズのマスク画像であって、フレア領域Aに対応する領域に開口部を設けた二値のマスク画像である。さらに、フレア色成分抽出処理部21は、そのマスク画像を、ガウシアンフィルタなどの平滑化フィルタで空間的に平滑化することにより、図14に示すようなグレースケールマスク画像を作成する。グレースケールマスク画像は、二値のマスク画像において、開口部と非開口部との境界のコントラストを意図的に低下させたものに相当する。このグレースケールマスク画像の単位面積当たりの平均値は、処理領域A’の中央から周辺に向かって低下している。
なお、本ステップで使用される平滑化フィルタのサイズ(フィルタ径)は、フレア領域Aのサイズが大きいときほど大きく設定されることが望ましい。
ステップS233:フレア色成分抽出処理部21は、基準色成分(ここではG成分)以外の1つの色成分を着目色成分に設定する。以下、R成分が着目色成分に設定されたと仮定する。図15は、或る処理領域A’のR成分と、同じ処理領域A’のG成分との関係を示す図(画素プロファイル)である。図15に示すとおり、R成分においては、フレア領域Aの内側かつ飽和領域Sの外側の領域に、フレア色成分が重畳されている。つまり、その領域のR成分は、同じ領域のG成分と比較して著しく高い値となっている。
本ステップのフレア色成分抽出処理部21は、処理領域A’のR成分を処理領域A’のG成分で画素毎に除算することにより、G成分を基準としたR成分の相関色分布画像IGRを作成する。図16(A)の左側に示すのは、相関色分布画像IGRの模式図である。
ここで、相関色分布画像IGRの中央領域aの多くの画素は、1に近い画素値を有しており、中央領域aの周辺に位置するリング状領域bの多くの画素は、1よりも高い画素値を有しており、リング状領域bの外側に位置する最周辺領域cの多くの画素は、リング状領域bよりも低い画素値を有している。このうち、中央領域aは、図15に示した飽和領域Sに対応しており、リング状領域bは、図15に示したフレア領域Aの内側かつ飽和領域Sの外側の領域、すなわち、フレア色成分の重畳された領域に対応している。
ステップS234:フレア色成分抽出処理部21は、相関色分布画像IGRのうち、周辺と比較して値の低い領域(中央領域a及び最周辺領域c)のみを平滑化することにより、図16(B)に示すような相関色分布画像IGR”を取得する。なお、相関色分布画像IGR”の取得は、図16(A)→図16(B)に示す手順によって行うことができる。
すなわち、フレア色成分抽出処理部21は、先ず、図16(A)の左側に示した相関色分布画像IGRの全体を、ガウシアンフィルタなどの平滑化フィルタで空間的に平滑化することにより、図16(A)の右側に示すような相関色分布画像IGR’を取得する。この平滑化によると、周辺と比較して値の低い領域の値は、平滑化前よりも高めになり、周辺と比較して値の高い領域の値は、平滑化前よりも低めになる。続いて、フレア色成分抽出処理部21は、平滑化前後の2つの相関色分布画像IGR、IGR’を画素毎に比較し、値の高かった方の画素を集めて1枚の合成画像を作成し、その合成画像を相関色分布画像IGR”とする(図16(B))。この相関色分布画像IGR”は、元の相関色分布画像IGRにおいて、フレア色成分の重畳されていなかった領域(点線枠部分)のみを平滑化したものに相当する。
ステップS235:フレア色成分抽出処理部21は、相関色分布画像IGR”に対して最小値フィルタ等による収縮処理を施すことにより、相関色分布画像IGR”において周辺と比較して値の高い領域の面積を収縮し、図16(C)に示すような相関色分布画像Iを取得する。さらに、フレア色成分抽出処理部21は、相関色分布画像Iをガウシアンフィルタなどの平滑化フィルタで空間的に平滑化することにより、図16(D)に示すような相関色分布画像I’を取得する。この相関色分布画像I’は、元の相関色分布画像IGRにおいてフレア色成分の重畳されていた領域を周辺の領域(点線枠部分)によって補間したものに相当する。
ステップS236:フレア色成分抽出処理部21は、処理領域A’の基準色成分(ここではG成分)に対して相関色分布画像I’を画素毎に乗算することにより、フレア色成分の除去されたR成分IRnewを算出する。これによって、処理領域A’からR成分に関するフレア色成分が除去されたことになる。なお、図17は、除去後の処理領域A’の画素プロファイルである。
この図17を図15と比較すれば明らかなとおり、除去後には、フレア色成分の重畳されていた領域(フレア領域Aの内側かつ飽和領域Sの外側の領域)のR強度は、同じ領域のG強度に近づけられているのがわかる。また、除去後には、フレア色成分の重畳されていた領域のR/G強度は、フレア領域Aの外側の領域のR/G強度と、飽和領域Sの内側のR/G強度とによって補間されているのがわかる。また、除去後には、フレア色成分の重畳されていた領域のR強度分布形状は、同じ領域のG強度分布形状に対応した形状となっているのがわかる。
なお、本ステップのフレア色成分抽出処理部21は、フレア色成分の除去されたR成分IRnewを、元のR成分から差し引くことにより、R成分に関するフレア色成分IFRを算出しておく(フレア色成分の除去されたR成分IRnewを、フレア色成分IFRに換算しておく。)。なぜなら、本実施形態では、最終画像を算出する前に、フレア色成分IFRに対して幾つかの処理(マスク処理やサイズ拡大処理など)を施す必要があるからである。
ステップS237:フレア色成分抽出処理部21は、ステップS236で取得したフレア色成分IFRに対してステップS232で作成したグレースケールマスクを適用することにより、フレア色成分IFRの周辺部をぼかす。このように周辺部をぼかしておけば、処理領域A’のR成分からフレア色成分IFRを除去(減算)した際に、処理領域A’に不自然な階調段差が発生することを防げるからである。また、上述したとおり、グレースケールマスクの作成時に使用された平滑化フィルタのサイズは、フレア領域Aのサイズに応じたサイズに設定されたので、マスク適用後のフレア色成分IFRの周辺部は、より自然なものとなる。これによって、R成分に関するフレア色成分IFRの推定は、完了である。
ステップS238:フレア色成分抽出処理部21は、基準色成分以外の全ての色成分(ここではR成分、B成分)に関する推定が完了したか否かを判別し、完了していなければ未推定である色成分の推定を行うべくステップS233へ移行し、完了していればフローを終了する。なお、ここでは、R成分に関する推定しか説明しなかったが、B成分に関する推定は、R成分に関する推定と同様なので、説明を省略する(以上、ステップS238)。
以上、本実施形態では、フレア領域Aに重畳されたフレア色成分の推定を、フレア領域Aの色分布に基づき行うが、その推定に先立ち、フレア領域Aに色補正が施されているか否かを判別し、色補正が施されていた場合には、フレア領域Aの色分布を色補正前の状態に復元するので、フレア色成分の推定に失敗する可能性は抑えられる。
因みに、フレア色成分の推定前に色分布の復元を行わなかった場合には、フレア色成分が誤って推定され、その結果、不自然な黒いリング状のノイズが最終画像上に発生してしまう。
また、本実施形態の色分布の復元では、フレア領域Aを包含する処理領域A’を設定し、処理領域A’の補正対象色成分において周辺と比較して値の低い領域を平滑化し、平滑化前後における補正対象色成分の差分に基づき、補正対象色成分に関する色補正成分を推定するので(図11、図12参照。)、正確な復元が可能である。
また、本実施形態のフレア色成分の推定では、フレア領域Aを包含する処理領域A’を設定すると共に、フレア領域Aの各色成分の中で基準となる基準色成分を特定し、処理領域A’における基準色成分と着目成分との間の相関と、フレア領域Aの基準色成分とに基づき、フレア領域Aに含まれるフレア色成分を推定する。すなわち、本実施形態では、フレア成分それ自体を抽出する代わりに、フレア色成分(=色フレアの色付き分布)を抽出する。このフレア色成分を使用すれば、色フレアを無色のフレアにすることができるので、色フレアに特有の不自然さを確実に解消することができる。
また、本実施形態のフレア色成分の推定では、処理領域A’の相関色分布を算出し、その相関色分布のうち周辺と比較して値の低い領域を平滑化し、平滑化後の相関色分布のうち周辺と比較して値の高い領域の面積を収縮し、収縮後の相関色分布を、処理領域A’の基準色成分へ乗算することにより、処理領域Aの非フレア色成分を算出する(図16、図17参照。)。したがって、本実施形態では、非フレア色成分をほぼ正確に推定することができる。
また、本実施形態では、非フレア色成分を処理領域A’から減算することにより、処理領域A’に含まれるフレア色成分を算出し、そのフレア色成分に対してフレア領域Aと同じ形状の開口部を有したマスクを適用してから、フレア色成分を処理領域A’から減算する。そして、本実施形態では、そのマスクとして、開口部の輪郭部の値が平滑化されたグレースケールマスク(図14)を使用する。したがって、本実施形態では、不自然な階調段差が最終画像に発生することを防げる。
また、本実施形態の色補正成分の推定及びフレア色成分の推定では、入力画像を使用する代わりに入力画像のサイズ縮小版を使用するので、演算負荷を抑えることができる。
[第1実施形態の変形例]
なお、第1実施形態の色補正成分抽出処理部22は、ステップS193〜S195において基準画像I”を作成したが、基準画像I”の作成を省略してもよい。その場合、色補正成分抽出処理部22は、ステップS193〜195の代わりに、以下のステップS193’〜S195’を実行すればよい。なお、ここでも、補正対象色成分がR成分であったと仮定する。
ステップS193’:色補正成分抽出処理部22は、フレア領域Aの内側かつ飽和領域Sの外側におけるR成分を参照すると、そのR成分の最大値を算出し、その値を基準値Tに設定する。この基準値Tは、色補正成分の算出基準として使用される。
ステップS194’:色補正成分抽出処理部22は、図18(A)に示すとおり、処理領域A’のR成分Iから基準値Tを差し引くことにより、図18(B)に示すようなオフセットR成分I’を算出する。そして、色補正成分抽出処理部22は、オフセットR成分I’において正の値を有する画素の値をゼロへと置換することにより、図18(C)に示すような色補正成分Iを取得する。但し、ここで算出された色補正成分Iには、高周波数の誤差が残存している。
ステップS195’:色補正成分抽出処理部22は、色補正成分Iをガウシアンフィルタなどの平滑化フィルタで空間的に平滑化することにより、図18(D)に示すような色補正成分Iを算出する。この色補正成分Iが、R成分に関する色補正成分である(以上、ステップS195’)。
また、第1実施形態の色補正成分抽出処理部22は、フレア領域Aに色補正が施されているか否かをフレア領域Aに基づき自動的に判定したが、入力画像がRAW画像(現像処理前の画像)であった場合には、色補正が施されている可能性は無いので、フレア領域Aに基づくことなく即座に色補正が施されていないと判定して構わない。
また、入力画像がRAW画像でなかったとしても、色補正の内容を表すパラメータが入力画像に付加されていた場合は、色補正成分抽出処理部22は、フレア領域Aに基づく代わりに、そのパラメータに基づくことにより、色補正成分を算出してもよい。
また、第1実施形態のフレア色成分抽出処理部21は、フレア色成分の推定を基準色成分以外の2つの色成分の各々について行ったが、2つの色成分のうち一方の色成分に関する推定を省略してもよい。G成分が基準色成分であると仮定したならば、例えば、フレア領域AにおけるG成分の平均値とB成分の平均値との差が所定範囲内であった場合、つまり、G成分とB成分とに差異が無かった場合には、B成分に関する推定を省略してもよい。
また、第1実施形態のフレア色成分抽出処理部21は、基準色成分を自動的に設定したが、ユーザに指定させてもよい。
また、上述したフレア色成分除去処理では、ステップS13〜S19、S23における演算負荷を軽減するために、入力画像をそのまま使用する代わりに入力画像のサイズ縮小版(縮小画像)を使用したが、演算負荷の軽減よりも精度向上を優先させたい場合には、入力画像をそのまま使用してもよい。なお、その場合、ステップS21、S22、S24の処理は省略される。
また、上述したフレア色成分除去処理では、入力画像におけるフレアの発生位置をCPU14が自動的に検出したが、ユーザに指定させてもよい。
また、上述したフレア色成分除去処理では、フレア領域AをCPU14が自動的に検出したが、ユーザに指定させてもよい。
また、上述したフレア色成分除去処理では、処理領域A’をCPU14が自動的に設定したが、ユーザに設定させてもよい。
また、上述したフレア色成分除去処理では、フレア領域Aに発生しているフレアが色フレアであるか否かをCPU14が自動的に判別したが、ユーザに判別させてもよい。
また、本実施形態のフレア色成分抽出処理部21は、フレア領域Aのフレア色成分を、処理領域Aにおける基準色成分と着目色成分との間の相関と、フレア領域Aの基準色成分とに基づき推定したが、フレア領域Aの色分布に基づく他の手法により推定しても構わない。
[第2実施形態]
以下、本実施形態の第2実施形態を説明する。
図19は、電子カメラの概略構成を示すブロック図である。図19に示すとおり、電子カメラ111は、撮像光学系112と、レンズ駆動部113と、絞り114と、絞り駆動部115と、カラー撮像素子116と、AFE117と、画像処理エンジン118と、第1メモリ119と、第2メモリ120と、メディアI/F121と、通信I/F122と、モニタ123と、レリーズ釦124とを有しており、この中でレンズ駆動部113、絞り駆動部115、AFE117、第1メモリ119、第2メモリ120、メディアI/F121、通信I/F122、モニタ123、レリーズ釦124の各々は、画像処理エンジン118に接続されている。また、撮影光学系112は、例えば、DOEレンズを含んだ高機能な撮影光学系である。
第1メモリ119は、揮発性の記憶媒体(SDRAMなど)で構成されており、画像処理エンジン118による画像処理の前工程や後工程で撮像画像を一時的に記憶する。一方、第2メモリ120は、フラッシュメモリ等の不揮発性の記憶媒体で構成されており、画像処理エンジン118によって実行されるプログラムを長期的に記憶する。
この第1メモリ119には、画像処理エンジン118が実行すべき画像処理プログラムが格納されており、この画像処理プログラムには、第1実施形態と同様のフレア色成分除去処理の機能が搭載されている。フレア色成分除去処理を実行する際、画像処理エンジン118は、フレア色成分抽出処理部125、色補正成分抽出処理部126として機能する。このフレア色成分抽出処理部125、色補正成分抽出処理部126は、第1実施形態のフレア色成分抽出処理部21と同様に動作する。
したがって、本実施形態の画像処理エンジン118は、電子カメラ111が撮影で取得した画像や、メディアI/F121(又は通信I/F122)を介して読み込まれた画像に対して、第1実施形態と同様のフレア色成分除去処理を施すことができる。
なお、本実施形態のフレア色成分除去処理は、撮影条件データを必要としないので、図19において点線で示した部分は、電子カメラ111に対して交換可能であっても構わない。また、言うまでもないが、本実施形態のフレア色成分除去処理は、撮影条件データを必要としないので、撮影光学系112の結像特性データを画像処理エンジン118が読み込む必要も無い。
また、本実施形態のフレア色成分除去処理も、第1実施形態のそれと同様に変形することが可能である。
11…コンピュータ、12…データ読込部、13…記憶装置、14…CPU、15…メモリ、16…入出力I/F、17…バス

Claims (19)

  1. 撮影光学系により取得されたカラーの処理対象画像を入力する入力手順と、
    色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手順と、
    前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手順と、
    前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手順と、
    前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手順と、を含み、
    前記基準色設定手順では、
    前記発生領域の各色成分の中で最も低い値を有した色成分を前記基準色成分に設定する
    ことを特徴とする画像処理方法。
  2. 撮影光学系により取得されたカラーの処理対象画像を入力する入力手順と、
    色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手順と、
    前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手順と、
    前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手順と、
    前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手順と、を含み、
    前記相関算出手順では、
    前記処理領域における基準色成分を基準とした着目色成分の値である相関色分布を、前記相関情報として算出し、
    前記フレア色成分推定手順は、
    前記相関色分布のうち周辺と比較して値の低い領域を平滑化する平滑化手順と、
    平滑化後の前記相関色分布のうち周辺と比較して値の高い領域の面積を収縮する収縮手順と、
    収縮後の前記相関色分布を前記処理領域の基準色成分へ乗算することにより、前記処理領域の非フレア色成分を算出する非フレア成分算出手順と、を含む
    ことを特徴とする画像処理方法。
  3. 請求項2に記載の画像処理方法において、
    前記基準色設定手順では、
    前記発生領域の各色成分の中で最も低い値を有した色成分を前記基準色成分に設定する
    ことを特徴とする画像処理方法。
  4. 請求項2又は請求項3に記載の画像処理方法において、
    前記平滑化手順では、
    ガウシアンフィルタを使用する
    ことを特徴とする画像処理方法。
  5. 請求項2〜請求項4の何れか一項に記載の画像処理方法において、
    前記フレア色成分推定手順は、
    算出された前記非フレア色成分を前記処理領域から減算することにより、前記処理領域に含まれるフレア色成分を算出するフレア色成分算出手順と、
    算出された前記フレア色成分に対して前記発生領域と同じ形状の開口部を有したマスクを適用するマスク手順と、
    マスク適用後の前記フレア色成分を前記処理領域から減算することにより、前記発生領域に含まれるフレア色成分を除去するフレア除去手順とを更に含み、
    前記マスクは、
    前記開口部の輪郭の値が平滑化されたグレースケールマスクである
    ことを特徴とする画像処理方法。
  6. 撮影光学系により取得されたカラーの処理対象画像を入力する入力手順と、
    色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手順と、
    前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手順と、
    前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手順と、
    前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手順と、を含み、
    前記相関算出手順及び前記フレア色成分推定手順では、
    前記処理対象画像を使用する代わりに前記処理対象画像のサイズ縮小版を使用する
    ことを特徴とする画像処理方法。
  7. 請求項6に記載の画像処理方法において、
    前記基準色設定手順では、
    前記発生領域の各色成分の中で最も低い値を有した色成分を前記基準色成分に設定する
    ことを特徴とする画像処理方法。
  8. 請求項6又は請求項7に記載の画像処理方法において、
    前記相関算出手順では、
    前記処理領域における基準色成分を基準とした着目色成分の値である相関色分布を、前記相関情報として算出し、
    前記フレア色成分推定手順は、
    前記相関色分布のうち周辺と比較して値の低い領域を平滑化する平滑化手順と、
    平滑化後の前記相関色分布のうち周辺と比較して値の高い領域の面積を収縮する収縮手順と、
    収縮後の前記相関色分布を前記処理領域の基準色成分へ乗算することにより、前記処理領域の非フレア色成分を算出する非フレア成分算出手順と、を含む
    ことを特徴とする画像処理方法。
  9. 請求項8に記載の画像処理方法において、
    前記平滑化手順では、
    ガウシアンフィルタを使用する
    ことを特徴とする画像処理方法。
  10. 請求項8又は請求項9に記載の画像処理方法において、
    前記フレア色成分推定手順は、
    算出された前記非フレア色成分を前記処理領域から減算することにより、前記処理領域に含まれるフレア色成分を算出するフレア色成分算出手順と、
    算出された前記フレア色成分に対して前記発生領域と同じ形状の開口部を有したマスクを適用するマスク手順と、
    マスク適用後の前記フレア色成分を前記処理領域から減算することにより、前記発生領域に含まれるフレア色成分を除去するフレア除去手順と、を更に含み、
    前記マスクは、
    前記開口部の輪郭の値が平滑化されたグレースケールマスクである
    ことを特徴とする画像処理方法。
  11. 撮影光学系により取得されたカラーの処理対象画像を入力する入力手順と、
    色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手順と、
    前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手順と、
    前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手順と、
    前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手順と、をコンピュータに実行させ、
    前記基準色設定手順では、
    前記発生領域の各色成分の中で最も低い値を有した色成分を前記基準色成分に設定する
    ことを特徴とする画像処理プログラム。
  12. 撮影光学系により取得されたカラーの処理対象画像を入力する入力手順と、
    色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手順と、
    前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手順と、
    前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手順と、
    前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手順と、をコンピュータに実行させ、
    前記相関算出手順では、
    前記処理領域における基準色成分を基準とした着目色成分の値である相関色分布を、前記相関情報として算出し、
    前記フレア色成分推定手順は、
    前記相関色分布のうち周辺と比較して値の低い領域を平滑化する平滑化手順と、
    平滑化後の前記相関色分布のうち周辺と比較して値の高い領域の面積を収縮する収縮手順と、
    収縮後の前記相関色分布を前記処理領域の基準色成分へ乗算することにより、前記処理領域の非フレア色成分を算出する非フレア成分算出手順と、を含む
    ことを特徴とする画像処理プログラム。
  13. 撮影光学系により取得されたカラーの処理対象画像を入力する入力手順と、
    色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手順と、
    前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手順と、
    前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手順と、
    前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手順と、をコンピュータに実行させ、
    前記相関算出手順及び前記フレア色成分推定手順では、
    前記処理対象画像を使用する代わりに前記処理対象画像のサイズ縮小版を使用する
    ことを特徴とする画像処理プログラム。
  14. 撮影光学系により取得されたカラーの処理対象画像を入力する入力手段と、
    色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手段と、
    前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手段と、
    前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手段と、
    前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手段と、を備え、
    前記基準色設定手段では、
    前記発生領域の各色成分の中で最も低い値を有した色成分を前記基準色成分に設定する
    ことを特徴とする画像処理装置。
  15. 撮影光学系により取得されたカラーの処理対象画像を入力する入力手段と、
    色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手段と、
    前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手段と、
    前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手段と、
    前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手段と、を備え、
    前記相関算出手段では、
    前記処理領域における基準色成分を基準とした着目色成分の値である相関色分布を、前記相関情報として算出し、
    前記フレア色成分推定手段は、
    前記相関色分布のうち周辺と比較して値の低い領域を平滑化する平滑化手段と、
    平滑化後の前記相関色分布のうち周辺と比較して値の高い領域の面積を収縮する収縮手段と、
    収縮後の前記相関色分布を前記処理領域の基準色成分へ乗算することにより、前記処理領域の非フレア色成分を算出する非フレア成分算出手段と、を備える
    ことを特徴とする画像処理装置。
  16. 撮影光学系により取得されたカラーの処理対象画像を入力する入力手段と、
    色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手段と、
    前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手段と、
    前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手段と、
    前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手段と、を備え、
    前記相関算出手段及び前記フレア色成分推定手段では、
    前記処理対象画像を使用する代わりに前記処理対象画像のサイズ縮小版を使用する
    ことを特徴とする画像処理装置。
  17. 撮影光学系が結像した被写体像を撮像する撮像素子と、
    請求項14〜請求項16の何れか一項に記載の画像処理装置と、
    を備えることを特徴とする撮像装置。
  18. 請求項17に記載の撮像装置において、
    回折光学素子を含む撮影レンズを更に備える
    ことを特徴とする撮像装置。
  19. 請求項17に記載の撮像装置において、
    回折光学素子を含む撮影レンズを装着可能である
    ことを特徴とする撮像装置。
JP2010283183A 2010-03-30 2010-12-20 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 Active JP5423663B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010283183A JP5423663B2 (ja) 2010-12-20 2010-12-20 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
US13/073,372 US8989436B2 (en) 2010-03-30 2011-03-28 Image processing method, computer-readable storage medium, image processing apparatus, and imaging apparatus
CN201110083636.3A CN102236896B (zh) 2010-03-30 2011-03-30 图像处理方法、装置及摄影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010283183A JP5423663B2 (ja) 2010-12-20 2010-12-20 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置

Publications (2)

Publication Number Publication Date
JP2012134630A JP2012134630A (ja) 2012-07-12
JP5423663B2 true JP5423663B2 (ja) 2014-02-19

Family

ID=46649737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010283183A Active JP5423663B2 (ja) 2010-03-30 2010-12-20 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置

Country Status (1)

Country Link
JP (1) JP5423663B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6098227B2 (ja) * 2013-02-27 2017-03-22 株式会社ニコン 画像処理装置、撮像装置、及び画像処理プログラム
JP6115183B2 (ja) * 2013-02-27 2017-04-19 株式会社ニコン 画像処理装置、撮像装置、画像処理プログラム
JP2018148318A (ja) * 2017-03-02 2018-09-20 キヤノン株式会社 画像処理装置およびその制御方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3990081B2 (ja) * 1999-11-16 2007-10-10 オリンパス株式会社 電子撮像装置及び撮像光学系
JP3944151B2 (ja) * 2003-10-31 2007-07-11 キヤノン株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP2010068465A (ja) * 2008-09-12 2010-03-25 Canon Inc 画像処理装置、撮像装置及び画像処理方法
JP4531853B2 (ja) * 2008-09-17 2010-08-25 パナソニック株式会社 画像処理装置、撮像装置、及び評価装置

Also Published As

Publication number Publication date
JP2012134630A (ja) 2012-07-12

Similar Documents

Publication Publication Date Title
JP5113514B2 (ja) ホワイトバランス制御装置およびホワイトバランス制御方法
US8989436B2 (en) Image processing method, computer-readable storage medium, image processing apparatus, and imaging apparatus
JP5398156B2 (ja) ホワイトバランス制御装置およびその制御方法並びに撮像装置
JP4186699B2 (ja) 撮像装置および画像処理装置
JP4453734B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置
JP3944151B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP5200645B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6711396B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP4818393B2 (ja) 画像処理方法および画像処理装置
JP5423663B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP2005303802A (ja) 撮像装置および画像処理プログラム
JP5215775B2 (ja) ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP5163735B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP2015156616A (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
JP2018198456A (ja) 画像処理プログラム、画像処理装置および撮像装置
JP5115297B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6115183B2 (ja) 画像処理装置、撮像装置、画像処理プログラム
US20200169668A1 (en) Imaging control apparatus, imaging apparatus, and recording medium
JP5606300B2 (ja) 撮像装置及び撮像装置の制御方法
JP6098227B2 (ja) 画像処理装置、撮像装置、及び画像処理プログラム
JP6232808B2 (ja) 画像処理プログラム、画像処理装置および撮像装置
JP6390779B2 (ja) 画像処理プログラム、画像処理装置および撮像装置
JP5677485B2 (ja) ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP7020387B2 (ja) 撮像制御装置、撮像装置及び撮像制御プログラム
JP5147912B2 (ja) 画像処理方法、画像処理装置、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131111

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5423663

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250