JP6375138B2

JP6375138B2 - パープルフリンジ除去処理方法及びその処理を遂行するパープルフリンジ除去処理装置

Info

Publication number: JP6375138B2
Application number: JP2014091427A
Authority: JP
Inventors: 力松永
Original assignee: KABUSHIKI KAISYA HOUEI
Current assignee: KABUSHIKI KAISYA HOUEI
Priority date: 2014-04-25
Filing date: 2014-04-25
Publication date: 2018-08-15
Anticipated expiration: 2034-04-25
Also published as: JP2015211325A

Description

本発明は、自動的に対象画素を抽出して色補正処理が可能なパープルフリンジ除去処理方法及びその処理を遂行するパープルフリンジ除去処理装置に関する。

昨今のデジタルカメラの高解像度化に伴い、パープルフリンジが広く知られるようになっている。パープルフリンジは、輝度差の大きな境界部分の高輝度側に、本来の色とは異なりやや紫がかった映像や画像が得られる現象である。

画素の電荷オーバフローや色収差等にその一因があるとも言われているが、実際のところその正確な原因は報告されていない。このため、パープルフリンジを回避乃至は除去する有効な手立ても殆ど知られていない。

静止画像の場合には、該当する画素をマニュアルで抽出選択し、当該画素の色をマニュアルで指定することで、パープルフリンジによる紫がかった色を除去する画像処理が遂行される場合もある。

例えば、下記特許文献１には、白とび画素の周辺に発生するパープルフリンジ等の偽色画素領域などを効率的に選択し、選択された画素の画素値の補正を効率的に確実に実行することを可能としたユーザインタフェース提供装置を提供することを目的とする発明であって、デジタルカメラの撮像画像に対して、取得された画像データの画素値補正を行う画像処理に適用可能なユーザインタフェース装置が開示されている。

この文献によれば、ユーザインタフェースに、色相や彩度を指定した画素選択を行うための色相、彩度設定部を構成し、設定情報に基づく画素選択を実行可能とし、例えば白とび画素の周辺に発生するパープルフリンジ等の偽色画素を効率的に選択することが可能であり、選択された画素の画素値の補正を効率的に確実に実行することが可能となり、さらに、補正対象画像である原画像、および画素値補正処理後の結果画像を表示する表示領域を設定し、パラメータの更新に即応して処理画像を表示する構成としたので、ユーザは、画像処理結果を見ながら、設定を変更することができ、効率的かつ効果的に、パープルフリンジ軽減等の画像処理を行うことができることが記載されている。

さらに、補正対象領域を選択して、選択した領域に対してのみ設定パラメータを適用した補正を施すことを可能としたので、一組のパラメータによる全体処理によっては、破綻が起こる可能性のある画像データなどに対して、部分画像に限定した補正を行うことができ、また、画像の場所によってパラメータを変更した画像処理を施すことができるので、破綻の回避ばかりではなく、高品質な補正処理画像データを得ることができることが記載されている。

特開２００６−３３６５６号公報

マニュアル（手動）によるパープルフリンジの除去処理は、多大な労力と時間とを要するものであり、動画を典型例とする映像処理としては現実的には不向きである。このため、取得された映像に対して自動的にパープルフリンジを抽出してその補正処理を自動遂行する方法や装置が望まれるところであった。

一方、単純な色指定による色補正を遂行すると、パープルフリンジではない画素であってパープルフリンジと類似した色を有する画素についても、当該画素が有する色を除去してしまう場合が生じるものと推察される。さらに、特定の色を指定して除去すると、その補正結果に観察者が違和感を生じることも考えられる。

本発明は、上述の問題点に鑑み為されたものであり、パープルフリンジを適切に抽出してこれを自動的に除去することにより、本来の色に復元された自然な色補正が可能なパープルフリンジ除去方法とその除去装置とを提供することを目的とする。

本発明のパープルフリンジ除去処理方法は、パープルフリンジを自動的に抽出して除去する色補正処理方法であって、取得した映像の輝度差に関わるエッジ強度を検出して２値化することにより第一候補画素を抽出する工程と、Ｇ（緑）画素値とＢ（青）画素値とのレベル比較による２値化することにより第二候補画素を抽出する工程と、第一候補画素と第二候補画素との論理積（ＡＮＤ）により、パープルフリンジ候補画素を特定する工程と、パープルフリンジ候補画素に対する、その近傍画素領域における画素の輝度値とのレベル差、及び空間的な距離による重み係数の計算処理をする工程と、パープルフリンジ候補画素の色差信号に対する前記重み係数を用いた重み付け平均による色補正処理を遂行する工程と、を有することを特徴とする。

パープルフリンジを適切に抽出してこれを自動的に除去することにより、本来の色に復元された自然な色補正が可能なパープルフリンジ除去方法とその除去装置とを提供できる。

パープルフリンジ除去処理を説明するブロック図である。パープルフリンジが見られる画像を処理した結果の一例を説明する図であり、（ａ）が原画像であり、（ｂ）がパープルフリンジ候補２値マスク画像であり、（ｃ）が処理画像であり、（ｄ）がパープルフリンジ除去処理前後におけるパープルフリンジ候補画素値の二次元色差平面プロット結果を説明する図である。パープルフリンジ除去処理の他の例を説明する図であり、（ａ）が原画像であり、（ｂ）がＧ／Ｂ画素値の比較によるパープルフリンジ候補２値マスク画像を説明する図であり、（ｃ）がＧ／Ｂ画素値の比較とエッジ強度によるパープルフリンジ候補２値マスク画像の論理積を取ったマスク画像を説明する図であり、（ｄ）が処理結果を説明する図である。パープルフリンジ除去処理のさらに他の例を示す図であり、上段・中段・下段ともに左から順に原画像、パープルフリンジ候補２値マスク画像、処理画像を示している。ｉ，ｊが、それぞれ画像Ｉにおける画素位置を表す変数であり、Ｃ（ｉ，ｊ）画素に対する近傍画素領域Ｂは、（ｋ，ｌ）の範囲になることを示す図である。

高解像度の画像や映像の高画質化を阻む要因の一つとしてパープルフリンジと言われる予期せぬ妨害が知られている。パープルフリンジは、画像や映像中の高輝度部分に隣り合った低輝度部分、すなわち高輝度部分を縁取るように、紫色や青色の偽色が出現する現象であるが、その原因は未だ確定されていない。

一説によれば、レンズの色収差によるとも、センサの電荷飽和によるともいわれているが、推定の域をでるものではない。しかし、画像や映像中の高輝度部分に隣り合った低輝度部分に紫色や青色の偽色が出現するものであることが知られている。すなわち、パープルフリンジはハイコントラストな領域の画素に見られ、また、Ｇ（緑）画素よりもＢ（青）画素のレベルが大きいことが知られている。

本発明は、画像や映像中に生じたパープルフリンジを簡易な画像処理により自動的に除去する。すなわち、本発明においては、パープルフリンジが高輝度領域に隣り合う低輝度領域に発生し易いとの特徴、及びパープルフリンジ画素はＧ（緑）画素値よりもＢ（青）画素値が大きいとの特徴を用いて、パープルフリンジと思われる候補画素を取得した映像の中から抽出する。

そして、抽出されたパープルフリンジの候補画素の色差信号に対して、色補正処理を遂行する。この色補正処理は、パープルフリンジ候補画素に近い近傍画素領域の画素の中で、できるだけ輝度値が当該パープルフリンジ候補画素に近く、かつ空間的な距離もできるだけ近い画素の色差信号の重み付け平均とする。

また、本発明のパープルフリンジ除去処理方法は、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能である。また、本発明のパープルフリンジ除去処理方法は、ＭＸＦファイルを処理するソフトウェア及び当該処理を実行するコンピュータをベースとした装置により実現することも可能である。また、本発明のパープルフリンジ除去処理方法は、ＭＸＦファイルをベースバンドビデオ信号に変換あるいは逆変換する装置を用いれば、多様な応用構成が可能である。

図１は、パープルフリンジ除去処理を説明するブロック図である。図１において、パープルフリンジ画素の検出処理として、パープルフリンジの性質に基づいた次のような検出処理を行う。なお、図１に示した「ＰＦマスク」とは、「パープルフリンジマスク」を意味し、「＾」は「パープルフリンジ除去処理済み」であることを意味する。

まず、高輝度領域に隣接する低輝度領域の画素に、パープルフリンジが発生し易いことから、ハイコントラストな画素を検出する（エッジ強度による検出）。具体的には、画像の水平垂直エッジを検出して、その絶対値の総和をエッジ強度とする。エッジ強度が、あるしきい値以上の画素をパープルフリンジ候補画素（第一候補）とする。

次に、パープルフリンジ画素の特徴として、Ｇ（緑）画素値よりもＢ（青）画素値が大きいことから、Ｇ画素値とＢ画素値とを比較して、Ｇ画素値よりもＢ画素値が大きく、かつ、それらの差があるしきい値以上の画素を、パープルフリンジ候補画素（第二候補）とする。

そして、第一候補と第二候補の各パープルフリンジ候補画素の抽出結果について、両者の論理積（ＡＮＤ）を、最終的なパープルフリンジ候補画素（色補正対象画素）とする。また、論理積（ＡＮＤ）を取る前後に、適度な空間的な領域拡張（膨張）処理を行って、候補画素領域を拡張してもよい。

当該論理積により、第一候補と第二候補との両方に該当する画素のみが抽出されることとなるので、ノイズが除去されて、より確からしいパープルフリンジ画素の抽出が行える。また、空間的な領域拡張（膨張）処理により、抽出されたパープルフリンジ画素の周辺画素についても、色補正処理の対象とすることが可能となる。

すなわち、対象画素の絞り込みと領域拡張とを適切に遂行することが可能となる。仮に、パープルフリンジの影響が周辺画素についても若干の広がりを有する場合でも、領域拡張の程度を適宜調整することで、漏れなく補正するように対応可能となる。

上述したパープルフリンジ候補画素（色補正対象画素）の特定に基づいて、当該パープルフリンジ候補画素を以下のように色補正処理する。色補正処理は、ＲＧＢカラー画像を輝度色差信号ＹＣｂＣｒに変換した色差信号で行う。具体的には、パープルフリンジ候補画素の色差信号Ｃを、近傍画素領域Ｂにおけるパープルフリンジ候補画素以外の画素の色差信号の重み付け平均とする。その重み係数は、パープルフリンジ候補画素とそれ以外の画素の輝度値Ｙの差と空間的な距離によって、次のように計算する。

重み係数ｗは、輝度値Ｙの差による重みｗｓと距離による重みｗｃの積であり、それぞれ、ガウス関数を用いるとすると、次のように書ける。なお、ｉ，ｊは、それぞれ図５に示すように、画像Ｉにおける画素位置を表す変数であり、Ｃ（ｉ，ｊ）画素に対する近傍画素領域Ｂは、（ｋ，ｌ）の範囲になる。

ここで、σｓ，σｃは、はそれぞれ輝度値の差と画素の空間的な距離の許容範囲を調整するパラメータである。重みを計算する関数は、ガウス関数に限るものではなく、適当な単峰性をなす関数であればよい。

この処理は、輝度値が近く、かつ空間的な距離も近い画素は、当該パープルフリンジ画素と、色が類似していると期待して遂行する一種の見なし処理である。処理を行う近傍画素領域Ｂは、パープルフリンジ画素の幅（大きさ）に応じて、十分な画素数を取ることが好ましいが、画素数が増えるに従って計算量も増える。そこで、処理を行う画素を飛び飛びに取ることにより、計算量の低減を図ることも可能である。

しかし、あまり離間した画素を用いると、画像内容によっては、輝度値が類似していても色が異なることもあり得るので注意が必要である。また、領域内には、色補正に十分な画素が存在しない場合も考えられる。そこで、重み係数ｗの総和が、あるしきい値以下の場合には、色補正の結果を０（零）とする。

図１においては、ＲＧＢカラー信号における処理を示しているが、輝度色差信号ＹＣｂＣｒであってももちろん好適である。輝度色差信号ＹＣｂＣｒの場合、パープルフリンジ画素を検出する際に、輝度色差信号ＹＣｂＣｒからＲＧＢへ変換して処理を行えばよい。その他のカラー信号であっても、同様に行うことは可能である。

（より詳細な発明の説明〜紫色の研究〜画像処理によるパープルフリンジ除去）
高解像度の画像／映像の高画質化を阻む要因のひとつとして、パープルフリンジと呼ばれる妨害が知られている。これは、画像／映像中の高輝度部分に隣り合った低輝度部分に紫色や青色の偽色が出る現象のことであり、センサの飽和によるとも、レンズの収差によるとも言われているが、はっきりとした原因はわかっていない。

本発明では、画像／映像中のパープルフリンジ妨害を画像処理によって除去する。その基本的な処理方法は、まずパープルフリンジは、高輝度領域に隣り合う低輝度領域の画素に発生しやすい、さらに、パープルフリンジ画素は、Ｇ（緑）画素値よりもＢ（青）画素値が大きい、という事前の知識を用いて、簡易な画像処理によって、パープルフリンジの候補画素を検出する。そして、検出されたパープルフリンジ候補画素の色差信号に対して、色補正処理を行う。

この色補正処理は、近傍画素領域におけるパープルフリンジ候補画素以外の、できるだけ輝度値が近く、空間的な距離も近い画素の色差信号の重み付け平均とする。

近年のデジタル一眼レフカメラ（Digital Single LensReflex camera,ＤＳＬＲ）の高解像度化や、次世代テレビ放送へ向けて、地上デジタル放送におけるＨＤ画質を越える解像度を持つ４Ｋ／８Ｋ（スーパーハイビジョン）解像度が推進されているが（例えば、次世代放送推進フォーラム（Next Generation Television& Broadcasting Promotion Forum, NexＴＶ-Ｆ），http://ｗｗｗ.nextv-f.jp/を参照）、そのような高解像度の画像／映像の高画質化を阻む要因のひとつとして、色収差と呼ばれる妨害が知られている。

これは、画像／映像における色ずれとして、物体境界に顕著に見られるが、高解像度化に伴い、レンズによる光学的な補正だけでは十分とは言えなくなりつつある。本発明者は、ＲＧＢカラー画像における倍率色収差を補正するために、ＲＧＢ画像間での画像全体のグローバル動きを推定した（例えば、松永力，画像からの倍率色収差の自動推定補正，第２０回画像センシングシンポジウム（SSII2014）講演論文集，横浜（パシフィコ横浜）, 2014年６月.を参照のこと）。ＲＧＢ画像間は、画像内容によっては、局所的にレベル反転しているので、予め前処理として、方向エッジ二乗画像を局所正規化して、それらの差分二乗総和（SSD）を最小化する補正パラメータを、 Lucas-Kanadeアルゴリズム（例えば、B. D. Lucas and Ｔ. Kanade, An iterative image registration technique with an application to stereo vision,Proceedings of the 1981 DARPA Image Understanding Workshop April 1981,121-130.を参照のこと）を効率的に計算する逆結合Lucas-Kanadeアルゴリズム（例えば、S. Baker and I. Matthews, Lucas-Kanade ２０ years on: A unifying framework,International Journal of Computer Vision, 56-3 （2004）, 221-255.を参照のこと）を基に、その更新量を１次近似した「近似逆結合アルゴリズム」によって推定した（例えば、その他の関連する研究は「松永力，画像からの倍率色収差の自動推定補正，第２０回画像センシングシンポジウム（SSII2014）講演論文集，横浜（パシフィコ横浜）, 2014年６月.」を参照のこと）。

しかし、実際の色収差と思われる画像を処理してみると、倍率色収差補正では補正できない画像が少なからず存在することがわかった。それは、ＲＧＢ間の位置ずれだけではなく、ＲＧＢ間でレベルが変動しているものであり、主に画像／映像中の高輝度部分に隣り合った低輝度部分に紫色や青色の偽色として現れる“パープルフリンジ”と呼ばれる現象であることがわかった。パープルフリンジは、センサの飽和によるとも、レンズの収差によるとも言われているが、はっきりとした原因はわかっていない。

そして、倍率色収差とパープルフリンジは往々にして混同されているようである。本発明では、画像／映像中のパープルフリンジ妨害を画像処理によって除去する。その基本的な処理方法は、パープルフリンジは、高輝度領域に隣り合う低輝度領域の画素に発生しやすい、さらに、パープルフリンジ画素は、Ｇ（緑）画素値よりもＢ（青）画素値が大きい、という事前の知識を用いて、簡易な画像処理によって、パープルフリンジの候補画素を検出する。そして、検出されたパープルフリンジ候補画素の色差信号に対して、色補正処理を行う。この色補正処理は、近傍画素領域におけるパープルフリンジ候補画素以外の、できるだけ輝度値が近く、空間的な距離も近い画素の色差信号の重み付け平均とする。これは、バイラテラルフィルタ（例えば、C. Tomasi and R. Manduchi, Bilateral filtering for gray and color images,Proceedings of the Sixth IEEE International Comference on Computer Vision（ICCV'98）,January 1998 ,Bombay,India,839-846.を参照のこと）による色補正処理と見なせる。

本発明者は、反復によらない１パスビデオ超解像処理として、画像の局所的な時間空間方向による補間の重み付け平均とマルチスケール化した非線形エンハンサを提案した（例えば、松永力，時間空間方向性補間とマルチスケール非線形エンハンサによる１パスビデオ超解像，第２０回画像センシングシンポジウム（SSII2014）講演論文集，横浜（パシフィコ横浜）, 2014年６月．を参照のこと）。画像の局所的な時間空間方向の推定には、注目画素の近傍ブロック領域を用いたブロックマッチングを用いて、そのマッチング残差による重み係数を画素毎に計算して、各方向における補間結果の重み付け平均を最終的な補間画素とした。これは、ノイズ除去に用いられる非局所平均（Non-local means）フィルタ（例えば、A. Buades, Ｂ. Coll, and J.-M. Morel, A non-local algorithm for image denoising, IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR 2005）, June 2005, San Diego, CA, U.S.A.， Vol. 2， 60-65.を参照のこと）の探索範囲を限定して、補間処理に適用したものと見なすことができる。あるいは、ブロックマッチング規準の最小の方向による補間が“最尤推定”であるのに対して、すべての方向の補間結果の重み付け平均は、“ベイズ推定”（例えば、S. J. D. Prince,Computer Vision：Models，Learning，and Inference， Cambridge University Press, New York, NY, U.S.A., June 2012.http://www.computervisionmodels.com/）であるとも言える（実際、「C.Kervrann,J.Boulanger,and p.Coupe,Bayesian non-local means filter, image redundancy and adaptive dictionaries for noise removal、Proceedings of the First Intenational Conference on Scale Space and Variational Methods in Computer Vision（SSVM'07）,May-June 2007,Ischia,Italy,520-532.」では、非局所平均フィルタのベイズ的な解釈がなされている）。

（１、パープルフリンジ検出について）
ハイコントラストな画素を検出する。具体的には、Ｇ画素のエッジ強度のしきい値処理により第一候補の画素を抽出する。さらに、Ｇ画素値よりもＢ画素値が大きい画素を検出して、これを第二候補の画素とする。そして、第一候補画素と第二候補画素との論理積（ＡＮＤ）をパープルフリンジ候補画素とする。論理積の前後にモルフォロジー（例えば、小畑秀文，「モルフォロジー」，コロナ社, 1996年．を参照のこと）による適度な膨張処理を行ってもよい。膨張処理により、決定されたパープルフリンジ候補画素の周辺画素について、仮にパープルフリンジの影響が及んでいる場合であっても、色補正の対象として含めることが可能となる。

（２、パープルフリンジ除去処理について）
パープルフリンジ候補画素を色補正処理する。色補正処理は、ＲＧＢカラー画像を輝度色差信号ＹＣｂＣｒに変換した色差信号で行う。ＲＧＢ輝度色差変換の式は、当業者に広く知られているところではあるが、念のために下記に示す。

ＲＧＢ輝度色差変換については、ＡＮＳＩ／ＳＭＰＴＥ１２５Ｍ規格（例えば、ANSI/SMPTE, Component Video Signal 4:2:2 Bit-Parallel Digital Interface, ANSI/SMPTE125M-1995.を参照）によると、ＲＧＢ信号から輝度色差信号ＹＣｂＣｒへの変換は次のようになる。

Ｙ，Ｃｂ，Ｃｒは各８ビットとすると、Ｙには２２０レベルを割り当て、黒レベルを１６、白ピークレベルを２３５とする。Ｃｂ，Ｃｒについては２２５レベルを割当て、信号は１６〜２４０の範囲とし、０信号のレベルを１２８とする。
Ｙと同じ範囲のＲ，Ｇ，Ｂ各８ビットの信号から色差信号の０信号レベルが０となるようなＹ，Ｃｂ，Ｃｒへの変換は次のようになる。

具体的な除去処理では、パープルフリンジ候補画素の色差信号Ｃを、近傍画素領域Ｂにおけるパープルフリンジ候補画素以外の画素の色差信号の重み付け平均とする。その重み係数は、パープルフリンジ候補画素とそれ以外の画素の輝度値Ｙの差と空間的な距離によって、次のように計算する（色差信号Ｃｂ，Ｃｒの両者として略記する）。

重み係数ｗは、輝度値Ｙの差による重みｗ_ｓと距離による重みｗ_ｃとの積であり、それぞれ、ガウス関数により、次のように書ける。

σ_ｓ，σ_ｃはそれぞれ輝度値の差と画素の空間的な距離の許容範囲を調整するパラメータである。これは、輝度値が近く、空間的な距離も近い画素の色は似ていると期待するものであり、物体境界のエッジを保存する平滑化フィルタとして知られているバイラテラルフィルタ（例えば、C. Tomasi and R. Manduchi, Bilateral filtering for gray and color images,Proceedings of the Sixth IEEE International Conference on Computer Vision（ICCV'98）, January 1998, Bombay, India,839-846.参照のこと）と同様な画素値の差と画素の空間的な距離による重み付け平均として表せる。
処理を行う近傍画素領域

は、パープルフリンジの幅に応じて十分な画素数を取ることが好ましいが、画素数が増すにつれて計算処理量も増えることとなる。過剰な計算処理量は、迅速な処理が特に求められる動画映像などのリアルタイム処理（その場処理）においては、好ましいものではない。そこで、間引きなしウェーブレッド変換に用いられている画素を飛び飛びに処理する

アルゴリズム（例えば、M. Holschneider, Ｒ. Kronland-Martinet, J. Morlet, and Ｐ. Tchamitchian, A real-time algorithm for signal analysis with the help of the wavelet transform, In Wavelets,Time-Frequency Methods and Phase Space, 289-297, Springer-Verlag,1989を参照のこと）を適用して計算量の低減を図る（これは、モルフォロジー処理に適用してもよい）。しかし、あまり離れた画素を用いると、画像内容によっては、輝度値は似ていても色が異なることもあり得るので、注意が必要である。また、領域内には、色補正処理をするのに必要十分な画素が存在しないことも考えられる。そこで、重み係数ｗの総和があるしきい値以下の場合には、色補正の結果を０とする。

（３、処理結果について）
図２は、パープルフリンジが見られる画像を処理した結果の一例を説明する図である。図２（ａ）が原画像であり、図２（ｂ）がパープルフリンジ候補２値マスク画像であり、図２（ｃ）が処理画像であり、図２（ｄ）がパープルフリンジ除去処理前後におけるパープルフリンジ候補画素値の二次元色差平面プロット結果を説明する図である。

図２（ａ）の原画像によれば、エッジ部分に紫色のパープルフリンジが発生していることが理解できる。それを処理して得られるパープルフリンジ候補２値マスク画像が図２（ｂ）である。パープルフリンジの検出には、Ｇ画素よりも値が２０以上大きいＢ画素を検出し、さらに３×３画素領域によるモルフォロジー処理により膨張させた。図２（ｃ）が除去処理の結果である。図２（ｄ）は、すべてのパープルフリンジ候補画素値の除去処理の前後における２次元色差平面へのプロットの結果である。処理前の候補画素では、紫色の画素が現れていたが、処理の結果、除去されているのがわかる。色差信号による色補正処理では、２１×２１画素を３画素飛びの領域として用いて、σ_ｓ＝１０，σ_ｃ＝１０とした。

図３は、パープルフリンジ除去処理の他の例を説明する図である。図３（ａ）が原画像であり、図３（ｂ）がＧ／Ｂ画素値の比較によるパープルフリンジ候補２値マスク画像を説明する図であり、図３（ｃ）がＧ／Ｂ画素値の比較とエッジ強度によるパープルフリンジ候補２値マスク画像の論理積を取ったマスク画像を説明する図であり、図３（ｄ）が処理結果を説明する図である。

図３の場合、背景の色がパープルフリンジの紫色に近く、Ｇ／Ｂ画素値の比較によるパープルフリンジ検出では、背景まで検出されてしまう（図３（ｂ）を参照のこと）。そこで、水平垂直エッジを検出して、それらの絶対値の総和によるエッジ強度マスク画像との論理積を取ったものをパープルフリンジ候補２値マスク画像とする（図３（ｃ）を参照のこと）。ここでは、さらに１９×１９画素領域によるモルフォロジー処理により膨張させている。色差信号による色補正処理では、２１×２１画素を３画素飛びの領域として用いてσ_ｓ＝４０，σ_ｃ＝４０とした。図４にも、パープルフリンジ除去処理のさらに他の例を示す（パラメータ設定は図２と同じ）。図４において、上段・中段・下段ともに左から順に原画像、パープルフリンジ候補２値マスク画像、処理画像を示している。

（総括）
画像／映像中のパープルフリンジ妨害を画像処理によって除去した。その基本的な処理方法は、パープルフリンジは、高輝度領域に隣り合う低輝度領域の画素に発生しやすい、さらに、パープルフリンジ画素は、Ｇ（緑）画素値よりもＢ（青）画素値が大きい、という事前の知識を用いて、簡易な画像処理によって、パープルフリンジの候補画素を検出した。そして、検出されたパープルフリンジ候補画素の色差信号に対して、色補正処理を行った。色補正処理は、近傍画素領域におけるパープルフリンジ候補画素以外の、できるだけ輝度値が近く、空間的な距離も近い画素の色差信号の重み付け平均とした。これは、輝度値が近く、空間的な距離も近い画素の色は似ていると期待するものであり、実際のパープルフリンジを含む実画像を処理することにより、その有効性を確認した。今後の課題としては、マルチコアＣＰＵ／ＧＰＵによるパープルフリンジ映像のリアルタイム処理の実現や各種パラメータの自動最適化が挙げられる。

上述したパープルフリンジ除去処理方法で説明したように、パープルフリンジ除去のための色差信号の重み付け平均による色補正処理は、輝度値が近く、かつ空間的な距離も近い画素の色は類似するとの期待及び推定の下に、色補正を遂行するものである。これにより、特定の指定された色を消去するのではなく、パープルフリンジ画素を、元来の色に復元する自然な色補正が可能となる。

上述の実施形態で例示したパープルフリンジ除去処理方法等は、実施形態での説明に限定されるものではなく、実施形態で説明する技術思想の範囲内かつ自明な範囲内で、適宜その構成や動作及び動作方法等を変更することができる。また、説明の便宜上実施形態においては個別に説明しているが、本発明の技術思想の範囲内で実施形態の構成を適宜組み合わせて適用し、またその動作も適宜組み合わせてアレンジしてもよい。

本発明は、画像／映像分野全般に適用可能であり、特に、色補正処理に関してはパープルフリンジ（紫色）のみならず任意の色補正処理にも適用することができる。

Claims

パープルフリンジを自動的に抽出して除去する色補正処理方法であって、
取得した映像の輝度差に関わるエッジ強度を検出して２値化することにより第一候補画素を抽出する工程と、
Ｇ（緑）画素値とＢ（青）画素値とのレベル比較による２値化することにより、Ｇ画素値よりもＢ画素値が大きくかつそれらの差が所定のしきい値以上の画素を、第二候補画素として抽出する工程と、
前記第一候補画素と前記第二候補画素との論理積（ＡＮＤ）により、パープルフリンジ候補画素を特定する工程と、
前記パープルフリンジ候補画素に対する、その近傍画素領域における画素の輝度値とのレベル差、及び空間的な距離による重み係数の計算処理をする工程と、
前記パープルフリンジ候補画素の色差信号に対する前記重み係数を用いた重み付け平均による色補正処理を遂行する工程と、を有し、
前記色補正処理の重み付け平均は、前記パープルフリンジ候補画素に近い近傍画素領域の画素の中で、できるだけ輝度値が当該パープルフリンジ候補画素に近く、かつ空間的な距離もできるだけ近い画素の色差信号の重み付け平均である
ことを特徴とするパープルフリンジ除去処理方法。
請求項１に記載のパープルフリンジ除去処理方法において、
前記第一候補画素と前記第二候補画素との論理積（ＡＮＤ）により、パープルフリンジ候補画素を特定する工程は、
前記第一候補画素と前記第二候補画素との論理積（ＡＮＤ）及びその前後における２値マスクに対する空間的な拡張処理をする工程である
ことを特徴とするパープルフリンジ除去処理方法。
請求項２に記載のパープルフリンジ除去処理方法において、
前記パープルフリンジ候補画素に対する、その近傍画素領域における画素の輝度値とのレベル差、及び空間的な距離による重み係数の計算処理をする工程は、
前記２値マスクに対して、前記近傍画素領域における前記パープルフリンジ候補画素以外の画素の輝度値とのレベル差、及び空間的な距離による重み係数の計算処理をする工程である
ことを特徴とするパープルフリンジ除去処理方法。
請求項１乃至請求項３のいずれか一項に記載のパープルフリンジ除去処理方法を遂行する
ことを特徴とするパープルフリンジ除去処理装置。