JP5349790B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP5349790B2
JP5349790B2 JP2007298532A JP2007298532A JP5349790B2 JP 5349790 B2 JP5349790 B2 JP 5349790B2 JP 2007298532 A JP2007298532 A JP 2007298532A JP 2007298532 A JP2007298532 A JP 2007298532A JP 5349790 B2 JP5349790 B2 JP 5349790B2
Authority
JP
Japan
Prior art keywords
color
image
color blur
blur
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007298532A
Other languages
English (en)
Other versions
JP2009124598A5 (ja
JP2009124598A (ja
Inventor
知 小松
保宏 沢田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007298532A priority Critical patent/JP5349790B2/ja
Priority to US12/266,975 priority patent/US8437539B2/en
Publication of JP2009124598A publication Critical patent/JP2009124598A/ja
Publication of JP2009124598A5 publication Critical patent/JP2009124598A5/ja
Priority to US13/886,504 priority patent/US8805070B2/en
Application granted granted Critical
Publication of JP5349790B2 publication Critical patent/JP5349790B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction

Description

本発明は、撮像により得られたカラー画像に対していわゆる色滲みの軽減処理を行う画像処理装置及び画像処理方法に関する。
カラー撮像系では結像光学系の色収差により、画像上で明るい部分の周囲に本来存在しない色が色滲みとして生じる。色滲みは、結像光学系の中心波長から離れた部分で起きやすく、可視光カラー撮像系では、青や赤又はこれらが混ざった紫色のアーティファクトが滲み状に生ずる。このような色滲みは、パープルフリンジとも呼ばれる。
色収差は、異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に低減することができる。しかし、デジタルカメラの小型化が進行し、イメージセンサ(撮像素子)の高解像度化と共に光学系の小型化に対する要求も高まり、色収差を光学(レンズ)のみで十分に低減することが困難となってきている。このため、画像処理によるアーティファクトの軽減が求められている。
色収差は、横色収差(倍率色収差)と縦色収差(軸上色収差)に大別される。横色収差は、図1に示すように、光源から発した光が結像光学系によって焦点面に結像するとき、波長450nm付近のB光線、波長550nm付近のG光線、波長650nmのR光線の結像位置が像面方向にずれる現象である。縦色収差は、図2に示すように、光源から発した光が結像光学系によって焦点面に結像するとき、B光線、G光線、R光線の結像位置が光軸方向にずれる現象である。
横色収差に対しては、原色系のデジタル撮像系であれば、特許文献1にて開示されているように、RGBの各色プレーンに対して異なる歪曲を加える幾何変換によって補正される。
一方、縦色収差は、例えば可視光域の中心波長を担うGプレーンで合焦した画像においては、可視光域の端部となるRプレーンやBプレーン非合焦画像となる現象である。これは、横色収差に対して有効な幾何補正では補正できないので、特許文献2にて開示されているように、色滲みが生じる領域での彩度を下げることにより目立たなくする方法がある。また、特許文献3にて開示されているように、RGBの各色プレーンに対し、異なる輪郭強調処理を加えて補正することもできる。
しかしながら、特許文献2にて開示されているように彩度を下げる処理は、輝度の強い画素に相応する色を他の色の輝度レベルまで落とす処理である。この処理は、色滲みの色を消して不自然さを減らす効果はあるが、場合によっては被写体の本来の色も影響を受け、色滲みの有無にかかわらず画像がグレーがかる。
また、特許文献3にて開示された処理は、デコンボリューション(deconvolution)及びその近似的な輪郭協調処理であり、フィルタパラメータを算出して行われる。しかし、Gを基準に固定した処理であるために、多様な色滲みには対応できない。
このように従来の色滲み軽減処理は、画像によって異なる滲みに対して常に同一の処理を行うため、滲みの種類によっては不自然な色が発生したり、色滲みが軽減しきれずに残ったりする場合がある。
本発明は、撮像により得られたカラー画像における様々な種類の色滲みに対する色滲み軽減処理を適応的に変化させることで、それらの色滲みを効果的に軽減し、かつ本来の被写体の色を再現可能とする画像処理装置及び画像処理方法を提供する。
本発明の一側面としての画像処理装置は、カラー画像に対して色滲みを軽減する処理を行う画像処理装置であって、画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも1つを変更する色滲み処理判定部を有し、前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも1つであり、前記色滲み処理判定部は、第1の画像の画像全体の輝度が第2の画像の画像全体の輝度よりも低い場合に、該第1の画像に対して推定する前記色滲み量を、前記第2の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする
本発明の他の側面としての画像処理方法は、カラー画像に対して色滲みを軽減する処理を行う画像処理方法であって、画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも1つを変更する色滲み処理判定ステップを有し、前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも1つであり、前記色滲み処理判定ステップは、第1の画像の画像全体の輝度が第2の画像の画像全体の輝度よりも低い場合に、該第1の画像に対して推定する前記色滲み量を、前記第2の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする
本発明の他の側面としてのプログラムは、カラー画像に対して色滲みを軽減する処理を情報処理装置に実行させるプログラムであって、画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも1つを変更する色滲み処理判定ステップを有し、前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも1つであり、前記色滲み処理判定ステップは、第1の画像の画像全体の輝度が第2の画像の画像全体の輝度よりも低い場合に、該第1の画像に対して推定する前記色滲み量を、前記第2の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする
本発明によれば、様々な色滲みや色滲み量を有するカラー画像に対して、画像の特性や撮像条件に応じて適応的に色滲み軽減処理を行うことで、各カラー画像の色滲みを効果的に軽減することができる。
以下、本発明の好ましい実施例について図面を参照しながら説明する。
図3には、本発明の実施例1である画像処理装置を搭載した又は画像処理方法を使用するカラー撮像装置100を示す。
カラー撮像装置100は、結像光学系110と、CCDセンサ又はCMOSセンサ等のイメージセンサ120と、AD変換部130と、デモザイク部140と、色滲み処理判定部150と、色滲み軽減部160とを有する。さらに撮像装置100は、視覚補正部170と、圧縮部180と、記録部190とを有する。
なお、図3中に示した写野(撮像領域,被写体)fやR(赤),G(緑),B(青)の光線は、カラー撮像装置100の構成要素ではないが、説明のため図示している。
図3において、撮像された写野fは、結像光学系110を経てイメージセンサ120上に結像する。一般に、カラー撮像装置に設けられる結像光学系は、一定の色収差補正が施されている。本実施例の結像光学系110は、全ての波長域においてある程度、縦色収差が補正されているが、特にG波長域での縦色収差が良好に補正されており、他波長ではG波長域よりも多くの縦色収差が残存している。このようにBの波長域(他波長域)の縦色収差の補正基準を下げることにより、その他の収差補正を改善したり、撮像装置を小型化したりすることが可能となる。
イメージセンサ120は、一般的な原色カラーフィルタ系を備える単板カラーイメージセンサである。原色カラーフィルタ系は、図4に示すように、それぞれ650nm,550nm,450nmの近傍に透過主波長帯を持つ3種類の色フィルタにより構成されており、それぞれR,G,Bの各バンドに対応する色プレーンを撮像する。単板カラーイメージセンサでは、これらの色フィルタを図5に示すように画素毎に空間的に配列し、各画素に対しては単一の色プレーンにおける強度を得ることしかできない。このためイメージセンサ120からは色モザイク画像が出力される。
なお、不図示の色分解プリズムを用いて入射光をR,G,Bの波長域に分け、それぞれの波長の光を別々のイメージセンサで撮像する3板式カラーイメージセンサを用いてもよい。この場合、デモザイク部140は不要となる。
AD変換部130は、イメージセンサ120からアナログ電圧として出力される色モザイク画像を、これ以降の画像処理に適したデジタルデータに変換する。
デモザイク部140は、色モザイク画像を補間することによって、全ての画素がRGBの色情報を有するカラー画像を生成する。なお、この補間手法には単純な線形補間から、 E. Chang, S. Cheung, and D. Pan, “Color filter array recovery using a threshold-based variable number of gradients.” Proc. SPIE, vol. 3650, pp. 36-43, Jan.1999.にて紹介されている複雑な手法まで多くの手法が提案されている。本実施例における補間手法はこれら又はこれら以外のいずれでもよい。
デモザイク部140で生成されたカラー画像は、結像光学系110の色収差によって、Gプレーン(緑プレーン)に比べてRプレーン(赤プレーン)やBプレーン(青プレーン)の解像度が劣る画像となる。このため、明暗の境界部では、例えば図6に示すように、RやBの色滲みが生じ(ぼやけ)、明部の周囲にRやB又は両者が混ざった紫の縁取りのようなアーティファクトが生じる。そして、結像光学系110の特性及び画像中の光源の分光分布等により、R,Bの滲みの程度が異なる。
なお、本実施例では、イメージセンサ120の色フィルタをR,G,Bからなる原色系とするが、補色系カラーフィルタとしてもよい。この場合、色変換処理によって、R,G,Bの色プレーンからなるカラー画像が得られる。
色滲み処理判定部150は、入力されたカラー画像の特性(又は特徴:以下の説明では特徴とする)や撮像条件に応じて、色滲み軽減部160で行われる処理内容を決定する。これについては、後に詳しく説明する。
色滲み軽減部160は、空間的な演算によって色滲み領域を抽出するとともに色滲み量を推定し、入力カラー画像からその推定量を減算等して色滲みを軽減する。
次に、視覚補正部170による処理が行われる。視覚補正部170は、主として画像の見栄えを改善するための処理をカラー画像に対して行う。例えば、トーンカーブ(ガンマ)補正、彩度強調、色相補正、エッジ強調といった画像補正が行われる。
処理の最後として、圧縮部180は、補正されたカラー画像をJPEG等の方法で画像圧縮を行い、記録時のサイズを小さくする。
圧縮処理が行われたカラー画像は、記録部190にて、ハードディスク、DVD、磁気テープ、フラッシュメモリ等の記録媒体に記録される
これらイメージセンサ120から記録部190までの処理部は、実際にはそれぞれ別々のデバイスによって構成されてもよいし、単一のマイクロプロセッサ上に構成されてもよい。
次に、色滲み処理判定部150での処理(画像処理方法)を図7のフローチャートを用いて説明する。色滲み処理判定部150での処理は、画像特徴算出ステップS151と、色滲み軽減対象プレーン選択ステップS152と、推定パラメータ決定ステップS155とにより構成される。これら各部での処理は、撮像装置100内のメモリに格納されたコンピュータプログラム(画像処理プログラム)に従って実行される。このことは、後述する他の実施例でも同じである。
ここで、通常の結像光学系は、G波長領域を基準として設計される。このため、結像光学系によって異なるが、基本的には、R波長からB波長での色収差が色滲みとなって現れる。そこで、本実施例では、基準として参照する色プレーンをGプレーンに固定して処理を行う。
画像特徴算出ステップS151では、色滲みに関係する画像の特徴としての画像全体の輝度値を算出する。画像全体の輝度値が低い画像である場合は、夜景や暗い屋内で撮像された画像である可能性が高いと推測される。夜景や暗い屋内での撮像で得られた画像では、輝度値が低い領域内に輝度値が高い領域があることが考えられる。
このような場合、図8に示すように輝度差が大きくなり、高輝度領域の周囲に色滲みが発生する可能性が高くなる。色滲みとしては、G波長で焦点が合うので、RやBの色滲みが発生し易い。また、輝度差が大きいほど、輝度飽和領域からの色滲み半径が大きくなる。さらに、輝度値の低い部分に特定の色プレーンの成分が滲むと、彩度が高い色滲みとなって目立ち易い。
このため、夜景や暗い屋内での撮像によって得られた画像全体(画面全体)の輝度値が低い画像(第1の画像)に対しては、画面全体の輝度値が高い画像(第2の画像)に比べて、色滲み量を推定する際の強度を表すパラメータを大きくして色滲み量が大きく推定できるようにする。これにより、効果的に色滲みを軽減できる。
反対に、画面全体の輝度値が高い画像である場合は、昼間の屋外での撮像によって得られた画像であると推測される。このような画像の場合、全体的に輝度が高く、輝度差が大きい領域が発生することが少なく、色滲みがあっても目立ちにくい。このため、軽減対象とする色滲みプレーンを、デフォルト設定の色プレーン(例えばBプレーン)として、色滲み領域が小さく、かつ推定する色滲みの強度も低くなるように強度パラメータを設定する。これにより、色滲み量が小さく推定され、色滲み軽減処理による過剰な軽減処理を回避する。
上記のように画像全体の輝度値を算出することにより、色滲み軽減対象とする色プレーンを選択することができ、色滲みを推定する場合の色滲みの広がりを適応的に変更することができる。また、色滲み量を推定する際の強度を表すパラメータを適応的に変更させることができる。
次に、色滲み軽減対象プレーン選択ステップS152では、画像特徴算出ステップS151で得られた画像の輝度値に基づいて、色滲み軽減対象プレーン、つまりは軽減対象とする色滲みを決定する。例えば、輝度値から入力画像が夜景画像であると判断された場合は、色滲み軽減対象プレーンとしてRプレーンとBプレーンの両方を選択する。
次に、推定パラメータ決定ステップS155では、画像特徴算出ステップS151で得られた画像の特徴である輝度値に基づいて、色滲みに関する推定を行うためのパラメータを決定する。例えば、画面全体の輝度値が低い場合は、色滲み領域が広くなるようにパラメータを設定し、かつ彩度が高い色滲みの量を推定できるようにパラメータを決定する。
ここで、色滲み軽減部160で行う色滲み量の推定方法として、隣接画素間の輝度傾斜によって色滲みを判断するものがある。この方法は、輝度傾斜マップを計算し、輝度傾斜によって色滲み領域を推定し、さらに輝度傾斜によって色滲み量を推定する。
例えば、Rプレーンに対する輝度傾斜マップを∇Rとし、Bプレーンに対する輝度傾斜マップを∇Bとすると、∇R,∇Bはそれぞれ、
として計算される。
ここで、
R(x+1,y)とB(x+1,y)はそれぞれ、R及びBプレーンにおける注目画素の右隣の画素の値である。
R(x−1,y)とB(x−1,y)はそれぞれ、R及びBプレーンにおける注目画素の左隣の画素の値である。
R(x,y+1)とB(x,y+1)はそれぞれ、R及びBプレーンにおける注目画素の下隣の画素の値である。
R(x,y−1)とB(x,y−1)はそれぞれ、R及びBプレーンにおける注目画素の上隣の画素の値である。
色滲み領域は輝度傾斜値によって判断され、輝度傾斜値がある値以上である場合は色滲みであるとする。この際に、R及びBの輝度傾斜だけではなく、基準プレーンであるGの輝度傾斜も算出してこれらを比較することにより、より正確に色滲み領域を特定することができる。
さらに、輝度傾斜の閾値を変えることにより、色滲み領域をより効果的に特定することができる。
色滲み量の推定方法は、Rの輝度傾斜を∇Rとし、Bの輝度傾斜を∇Bとして、これらの絶対値にパラメータk,kを乗じることで推定色滲み量E,Eを算出する。つまり、
という式で推定色滲み量E,Eを算出し、この推定された色滲み量を軽減する処理を行う。
このような色滲み軽減手法を用いる場合において、色滲み推定パラメータ決定ステップS155では、画像の特徴である輝度値に基づいてパラメータk,kの値を決定する。例えば、画面全体の輝度値が低い場合には、色滲み領域が広くなるように、かつ彩度が高い色滲み量を推定するようにパラメータk,kの値を決定する。
ここで、本実施例では、画像特徴算出ステップS151において、画像の特徴として画像全体の輝度値を算出したが、画像全体のコントラストを算出してもよい。画像全体のコントラストが高い画像は輝度差が大きいと考えられ、輝度差が大きい部分に色滲みが発生しやすく、色滲み領域も広く、彩度の高い色滲みとなって目立ち易い。反対に、画像全体のコントラストが低い画像は輝度差が小さいと考えられ、色滲みが発生しにくく、発生しても色滲み領域が狭く目立ちにくい。
よって、画像全体のコントラストが高い画像(第1の画像)に対しては色滲み推定量を大きくし、画像全体のコントラストの低い画像(第2の画像)に対しては色滲み推定量を小さくするといった設定を行うことができる。
次に、本発明の実施例2について説明する。実施例2のカラー撮像装置100’は、図9に示すように、結像光学系110と、イメージセンサ120と、AD変換部130と、デモザイク部140と、色滲み処理判定部150’と、色滲み軽減部160とを有する。さらに、該撮像装置100’は、視覚補正部170と、圧縮部180と、記録部190とを有する。実施例1と共通する構成要素には、実施例1と同じ符号を付している。本実施例は、色滲み処理判定部150’での処理が実施例1と異なる。
本実施例の色滲み処理判定部150’を図10に示す。色滲み処理判定部150’は、色滲み軽減対象プレーン選択ステップS152と、推定パラメータ決定ステップS155とを有する。
色滲み処理判定部150’には、入力カラー画像とともに撮像条件が入力される。色滲み軽減対象プレーン選択ステップS152では、撮像条件の情報に応じて色滲み軽減対象プレーンを決定する。
ここで、色滲み軽減対象プレーンの決定に利用できる撮像条件の1つに、撮像シーンの設定(言い換えれば、撮像モードの設定)がある。撮影者が撮像条件にあったシーン設定を意図的に行って撮像をしていれば、撮像により得られた画像はシーン設定された画像である。このため、画像の特徴(特性)を算出することなく、ある程度の画像の特徴を得ることができる。
例えば、シーン設定が夜景(夜景撮像シーン又は夜景撮像モード)である場合は、夜景撮像により得られた画像であると推測される。夜景画像の場合は、背景が暗く、街灯等の光源があると輝度飽和を起こし易いため、色滲みが発生しやすくなる。さらに、背景が暗いので、特定の色プレーンの成分が滲むと広い範囲に彩度が高い色滲みが現れることになり、色滲みが目立ち易くなる。また、夜景ではGプレーンで焦点が合い、高輝度光源による輝度飽和領域周辺では、補正しきれずに僅かに残ったR,Bの色収差が有意な量となって現れる。このため、Rプレーン及びBプレーン共に色滲みが目立ち易い。
これらのことから、色滲み軽減対象プレーン選択ステップS152では、シーン設定が夜景の場合は、軽減対象の色プレーンをRプレーン及びBプレーンの両方に設定するのが望ましいと判断できる。
推定パラメータ決定ステップS155では、夜景撮像シーン画像(第1の画像)の場合は、夜景撮像シーン以外の撮像シーン画像(第2の画像)の場合に比べて、色滲み領域と判定される部分が多くなるように色滲みの広がりを指定するパラメータの設定を変える。また、色滲み量を推定するパラメータを色滲み量がより大きく推定されるように設定する。
ここで、色滲み軽減部160で行う色滲み量の推定方法として、画像中の輝度飽和領域とそれ以外の領域を算出し、コンボリューション処理を行って、色滲み領域と色滲み量を決定するものがある。はじめに行う領域分割は、基準色プレーンを、ある閾値を設けて飽和領域と非飽和領域に分割し、各領域を2値で表した飽和度Sを算出する。続いて、この飽和度Sに対してコンボリューション処理を行い、色滲み領域と色滲み量を決定する。色滲み軽減対象プレーン選択ステップS152において、色滲み軽減対象プレーンとしてRプレーンとBプレーンが選択された場合、それぞれのプレーンの色滲みをS,Sとすると、
というコンボリューション処理でそれぞれのプレーンの色滲み量が算出される。
ここで、k,kはコンボリューションカーネルであり、k,kのカーネルサイズを大きくすれば色滲み領域が広くなり、カーネルの値によって色滲み強度等を設定できる。
よって、色滲み軽減部160でこのような色滲み軽減手法を用いる場合は、色滲み推定パラメータ決定ステップS155で、シーン設定に合わせて、色滲み領域及び色滲み強度を指定するパラメータであるコンボリューションカーネルのサイズ及び値を決定することになる。
ここでは、シーン設定の例として夜景をあげたが、他のシーン設定(他の撮像モード)でも色滲み判定を行うことができる。例えば、シーン設定が水中である場合は、撮像により得られた画像は青味がかかった画像であると推測される。青味がかかった画像の場合、図11に示すように、画面全体が青味を帯びているため、急激な色の変化がなく、多少の青滲みがあっても目立ちにくい。問題となるのは、青味を帯びた画像の中に赤味を帯びた高輝度領域がある場合である。赤味を帯びた高輝度領域がある場合、図12に示すように、赤味を帯びた高輝度領域の周辺には赤滲みが発生しやすくなる。図11と図12を比較すると、図12においては、赤が滲むことによって、赤味を帯びた高輝度領域の周辺で画像全体の色味とは異なる色が発生し、目立ち易い。よって、色滲み軽減対象プレーン選択ステップS152では、色滲み軽減対象プレーンをRプレーンに設定する。
水中撮像では赤味を帯びた高輝度領域が存在したとしても、輝度飽和を起こすほどの領域があることは稀である。したがって、色滲み領域も狭く、色滲み強度も小さいので、推定パラメータ決定ステップS155では、色滲み領域が狭く、色滲み強度も小さくなるようなパラメータを設定し、色滲み推定量を小さくする。
このように様々なシーン設定において、適切な色滲みの軽減対象とするプレーン、色滲み領域及び色滲み強度を推定するパラメータを設定する。
次に、本発明の実施例3について説明する。本実施例のカラー撮像装置100”は、図13に示すように、結像光学系110と、イメージセンサ120と、AD変換部130と、デモザイク部140と、色滲み処理判定部150”と、色滲み軽減部160とを有する。また、該撮像装置100”は、視覚補正部170と、圧縮部180と、記録部190とを有する。実施例1と共通する構成要素には、実施例1と同じ符号を付している。本実施例は、色滲み処理判定部150”での処理が実施例1と異なる。
本実施例の色滲み処理判定部150”を図14に示す。色滲み処理判定部150”は、画像特徴算出ステップS151と、色滲み軽減対象プレーン選択ステップS152と、基準色プレーン選択ステップS153と、推定方法選択ステップS154と、推定パラメータ決定ステップS155とを有する。
画像特徴算出ステップS151においては、色滲みに関係する画像の特徴(特性)として、画像全体の色味(WB:ホワイトバランス)を用いる。色味を、色温度と言い換え、画像の特徴として色温度を用いてもよい。
画面全体の色味は、環境光の影響が大きく、また色滲みには光源の分光分布も影響する。よって、環境光の分光分布により、輝度差が大きい領域に発生し易い滲みの色が推定できる。
しかし、環境光と同系色が滲んだとしても目立ちにくいため、はっきりと色滲みとして知覚されにくく、色滲みの軽減対象として取り上げる必要性は低い。
ある色味を帯びた画像が、その画像全体の色味と同系色のみで構成されているということは考えにくく、例えば、画像全体の色味とは異なる色の高輝度光源が画像中にあることが多い。このような場合、高輝度の光源の周りに画像全体の色味とは異なる色の滲みが発生することが考えられる。画像全体の色味と異なる色の滲みが発生した場合、違和感のある色滲みとして知覚され易い。このため、画像全体の色味とは異なる色を滲み軽減対象とするのが妥当である。このことから、画像全体の色味を算出することにより、色滲み軽減対象とする色プレーンを適応的に選択することが可能となる。
また、画像全体の色味の程度により、基準として参照する色プレーンを変更する必要もある。通常の結像光学系は、G波長領域を基準として設計されており、結像光学系によっても異なるが、R波長からB波長の色収差が色滲みとなって現れる。この色滲みはG波長で焦点を合わせた場合に生じるため、通常は基準として参照する色プレーンをGプレーンとして問題はない。
しかし、G波長以外の波長で焦点が合った場合はこの限りではなくなる。つまり、画像全体にG波長が少なく、他の波長で焦点が合っている場合は、滲む色がRプレーンやBプレーンではなくなるため、基準として参照する色プレーンをGプレーンとしたままでは色滲みを効果的に軽減できなくなる。よって、基準として参照する色プレーンも可変である必要がある。
ここで、G波長が少なく、他の波長で焦点が合っている可能性のある画像としては、画像全体の色味が極端にRやBに偏った画像が挙げられる。このため、画像全体の色味を算出することにより、基準として参照する色プレーンを適応的に選択する。
例えば、夕方やタングステン光等の赤味のある環境光下で撮像された場合を考える。輝度差の大きい領域に色滲みが発生していないとR,G,Bの各プレーンは図15に示すようになる。しかし、赤味のある環境光下で撮像された場合は、長波長の光(R成分)が多く、短波長の光(B成分)が少ないため、図16に示すように輝度差の大きい領域で赤滲みが発生し易くなる。
しかしながら、図15と図16から分かるように、画面全体が赤味を帯びているため、急激な色の変化がなく、多少赤滲みがあっても目立ちにくい。問題となるのは、赤味を帯びた画像の中に波長の短い光(B成分)を多く持つ高輝度光源がある場合である。高輝度光源が飽和して撮像された場合、図17に示すように、輝度飽和領域の周辺に青滲みが発生し易くなる。図16と図17を比較すると、図17においては青が滲むことによって輝度飽和領域の周辺で画像全体の色味とは異なる色が発生し、目立ち易い。また、環境光の影響により画像全体が赤味を帯びている場合は、青滲みと混じって紫色の滲みとなり、目立つ。
よって、画像全体の色味を算出することで目立つ色滲みを特定できる。このため、画像特徴算出ステップS151では、画像全体の色味を算出する。
色滲み軽減対象プレーン選択ステップS152では、画像特徴算出ステップS151によって算出された色味に基づいて色滲み軽減対象プレーンを選択する。
画像全体が赤味を帯びた画像(第1の画像)である場合は、Bプレーンを色滲み軽減対象のプレーンとする。
画像全体が強く赤味を帯びており、R波長に焦点が合っている場合は、図18に示すように、GプレーンとBプレーンが滲み、シアン寄りの紫滲みとなって目立つ。このような場合、基準色プレーン選択ステップS153では、基準として参照する色プレーンをRプレーンに設定する。そして、色滲み軽減対象プレーン選択ステップS152では、Bプレーン及びGプレーンを色滲み軽減対象プレーンとする。
反対に、画面全体が青味を帯びた画像(第2の画像)である場合は、青滲みは目立ちにくいが赤滲みは画像全体の色味と混じり、紫滲みとなって目立つ。このような場合は、上記例のように、色滲み軽減対象プレーンをRプレーンに設定したり、基準として参照する色プレーンをBプレーンにしたりする等、適応的にプレーン設定を行う。
推定パラメータ決定ステップS155では、画像特徴算出ステップS151で得られた画像の特徴及び撮像条件に応じて、色滲み領域を推定するパラメータ及び色滲み強度を推定するパラメータを決定する。
撮像条件の中で色滲みに影響を与えるものとして、絞りの値がある。絞りを開いた場合は被写界深度が浅くなり、焦点位置から外れた場所では大きくぼけるため、色滲みの広がりも大きくなる傾向にある。反対に、絞りを絞った場合は被写界深度が深くなり、ぼけ量も小さくなるため、色滲みの広がりも小さくなる傾向にある。このため、撮像時の絞り値に応じて、色滲み領域を推定するパラメータを設定することができる。
色滲み処理判定部150の結果は、色滲み軽減部160へ入力され、色滲み軽減部160はこれに基づいて画像ごとに適切な色滲み軽減処理を行う。
色滲み軽減部160で行う色滲み量の推定方法には以下のものがある。すなわち、色滲みは輝度飽和領域の周辺に発生することを前提として輝度飽和領域を検出し、輝度飽和領域からの距離に応じて色滲み量を決定する。この推定方法では、まず基準として参照する色プレーン及び色滲み軽減対象プレーンにおいて、図19に示すような輝度飽和領域からの距離と輝度非飽和領域からの距離を算出する。この算出距離を用いて飽和半径を求めて光源強度を推定し、輝度飽和領域からの距離によって減衰する関数モデルを作成して推定を行う。
この場合、基底値、減衰パラメータ及び色滲みの広がりを表すパラメータ等によって色滲みのモデル化を行う。色滲みと整合するモデルを作成すれば、効果的に色滲みを軽減することができるが、モデルのずれによって色滲みを軽減できなかったり、却って不自然な色になったりする可能性がある。よって、画像ごとにパラメータを変えて適切に色滲み量を推定することが望ましい。
この推定方法を用いた場合、推定パラメータ決定ステップS155で決定する推定パラメータは、基底値、減衰パラメータ及び色滲みの広がりを表すパラメータとなる。
次に、本発明の実施例4について説明する。本実施例のカラー撮像装置100’’’は、図20に示すように、結像光学系110と、イメージセンサ120と、AD変換部130と、デモザイク部140と、色滲み処理判定部150’’’と、色滲み軽減部160とを有する。また、該撮像装置100’’’は、視覚補正部170と、圧縮部180と、記録部190とを有する。実施例1と共通する構成要素には、実施例1と同じ符号を付している。本実施例は、色滲み処理判定部150’’’での処理が実施例1と異なる。
色滲み処理判定部150’’’を図21に示す。色滲み処理判定部150’’’は、画像特徴算出ステップS151と、色滲み軽減対象プレーン選択ステップS152と、基準色プレーン選択ステップS153と、推定方法選択ステップS154と、推定パラメータ決定ステップS155とを有する。
画像特徴算出ステップS151では、画像の特徴(特性)として、画像中の輝度飽和領域の周辺における各色プレーンの輝度値を算出する。輝度飽和領域の周辺において、一般的に基準となる色プレーンであるGプレーンと比べて輝度値が高い色プレーンがあると、その色プレーンの色が滲んでいると推測される。この結果をもとに、色滲み軽減対象プレーン選択ステップS152で軽減対象とする色プレーンを選択する。
なお、画像中の輝度飽和領域ごとに滲んでいる色が異なることも考えられるため、画像中の領域ごとに色滲み軽減対象の色プレーンを異ならせてもよい。
基準色プレーン選択ステップS153では、画像特徴算出ステップS151での結果から、画像中の輝度飽和領域の周辺においてGプレーンの輝度飽和領域より他の色プレーンの輝度飽和領域が小さい場合は、輝度飽和領域が小さいプレーンを基準色プレーンとする。このように、Gプレーン以外の色プレーンの輝度飽和領域が小さくなる現象は、G波長以外の波長で焦点が合っている場合などに生じ易い。また、この現象は、画像中の輝度飽和領域に存在する物体の分光分布等にも依存する。
推定方法選択ステップS154では、画像特徴算出ステップS151で算出された輝度値から、色滲み領域及び色滲み量の推定方法そのものを選択する。これは、推定方法には、画像中にある閾値以上の輝度飽和領域がある場合にのみ色滲み低減処理を行う方法や、画像中に輝度飽和領域がなくても色滲み低減処理を行う方法があるためである。
例えば、実施例3の色滲み軽減部160で示した輝度飽和領域からの距離を用いる方法や、実施例2の色滲み軽減部160で示したコンボリューション処理を用いる方法は、輝度飽和領域の周辺の色滲みを軽減対象とする手法である。
これに対し、実施例1の色滲み軽減部160で示したような輝度傾斜を用いる方法は、輝度傾斜によって色滲みを特定するため、輝度飽和領域以外に発生している色滲みを軽減対象とする。このため、画像中にある閾値以上の輝度飽和領域がある場合は、輝度飽和領域からの距離を用いる方法やコンボリューション処理を用いる方法といった手法を選択し、閾値以上の輝度飽和領域がない場合は、輝度傾斜を用いる方法といった手法を選択するようにに設定する。
また、推定方法選択ステップS154では、色滲み軽減処理自体を行うか否かを選択してもよい。例えば、画像特徴算出ステップS151で得られた画像の特徴(特性)や撮像条件から、入力画像が色滲みの目立つ夜景画像であると判定された場合は色滲み軽減処理を行い、他の画像の場合は色滲み軽減処理を行わないように切り換えてもよい。
推定パラメータ決定ステップS155では、推定方法選択ステップS154で選択された推定方法に用いるパラメータを、画像特徴算出ステップS151での結果や撮像条件を用いて決定する。
次に、本発明の実施例5について説明する。本実施例のカラー撮像装置100の構成は、図3(実施例1)に示したカラー撮像装置100と同じである。また、本実施例において、色滲み処理判定部150及び色滲み軽減部160はそれぞれ、実施例1〜実施例4で説明した色滲み処理判定部150(又は150’,150”,150’’’)及び色滲み軽減部160と同じ処理を行う。
本実施例では、色滲み処理判定部150での色滲み軽減対象プレーン選択ステップS152と推定パラメータ決定ステップS155(図7,図10,図14,図21参照)にてパラメータを決定するために使用する撮像条件として、使用レンズの種類を用いる。色滲みの原因となる色収差はレンズの種類毎に異なり、設計の段階で色収差の量は分かるので、各種類のレンズの滲み易い色やその滲み量を推定できる。このため、本実施例では、撮像時に使用したレンズの種類を撮像条件として使用することで、そのレンズにおいて滲み易い色やその滲み量を判断する。
例えば、R〜G波長にかけての色収差が無く、B波長の色収差が残存して青滲みが発生し易いレンズを使用する場合は、色滲み軽減対象プレーン選択ステップS152で軽減対象プレーンをBプレーンに設定する。また、図14及び図21に示す処理を行う場合における基準色プレーン選択ステップS153では、基準として参照する色プレーンをGプレーンとする。
推定パラメータ決定ステップS155では、残存している色収差量をもとに色滲み推定強度のパラメータを設定する。
また、色滲みの原因となる色収差はズームステートによっても異なるため、撮像条件としてズームステートを用いてもよい。広角側で滲み易い色や望遠側で滲み易い色がある等の特性は予め分かるので、撮像時の使用レンズの種類及び使用レンズのズームステートに応じて、軽減対象の色やその色の滲み量を推定するためのパラメータを設定することができる。
例えば、設計時の色収差の残存によって、広角側になるほど青滲みが発生しやすく、望遠側になるほど赤滲みが発生し易いレンズであって、中間ズーム領域では色滲みが少ないレンズを使用する場合を考える。望遠側での撮像により得られた画像の場合は、色滲み軽減対象プレーン選択ステップS152において、軽減対象プレーンをRプレーンに設定し、広角側での撮像により得られた画像の場合は、軽減対象プレーンをBプレーンに設定する。このようなレンズを使用した場合は、基準色プレーン選択ステップS153において基準として参照するプレーンをGプレーンに設定するのが好ましい。
推定パラメータ決定ステップS155では、残存している色収差量をもとに色滲み推定強度のパラメータを設定する。前述した使用レンズの例では、広角側及び望遠側になるにしたがって、撮像により得られた画像中の色滲み領域が広がるように、かつ色滲み強度が大きくなるようにパラメータを設定する。
また、色滲みの原因となる色収差は、焦点を合わせる物体距離によっても異なるため、撮像条件に物体距離(レンズから合焦対象の物体までの距離)を用いてもよい。近くの物体に焦点を合わせた場合と遠くにある物体に焦点を合わせた場合とでは色滲みの強度が異なる。
例えば、近くの物体に焦点を合わせた場合は色滲み量が大きくなり、遠くの物体に焦点を合わせた場合は色滲みが小さくなるレンズを使用する場合を考える。この場合、推定パラメータ決定ステップS155において、物体距離が短い場合は色滲み推定強度が大きくなるようにパラメータを設定し、物体距離が長い場合は色滲み推定強度が小さくなるようにパラメータを設定する。
なお、以上の実施例1〜5で説明した色滲み軽減方法(画像処理方法)は個別に使用してもよいし、これらを組み合わせて使用してもよい。すなわち、色滲み処理判定部において、画像の特徴(特性)及び撮像条件のうち少なくとも一方に応じて、軽減対象とする色滲み、及び該色滲みの量の推定方法のうち少なくとも一方を変更するようにしてもよい。言い換えれば、軽減対象とする色滲みの色プレーン、色滲みの領域推定に用いるパラメータ、色滲みの強度推定に用いるパラメータ、色滲み軽減処理において基準として参照する色プレーン、及び色滲みの推定方法のうち少なくとも1つを変更すればよい。
また、上記実施例1〜5では、結像光学系110から記録部190までの全部を備えたカラー撮像装置について説明した。しかし、カラー撮像装置とは別の装置として、少なくとも色滲み処理判定部150(又は150’,150”,150’’’)及び色滲み軽減部160を有する画像処理装置(パーソナルコンピュータ等)を構成してもよい。この場合、カラー撮像装置により撮像されて半導体メモリ、磁気/光ディスク等の記録媒体に格納されたカラー画像が画像処理装置に入力されるようにすればよい。また、カラー撮像装置と画像処理装置とをケーブルや無線LAN等によって接続し、カラー撮像装置から画像処理装置に画像が送信されるようにしてもよい。
以上説明したように、上記各実施例によれば、様々な色滲みを有する画像に対して適応的に色滲み軽減処理を行うことができ、各画像の色滲みを効果的に軽減するとともに、自然で違和感のない画像を得ることができる。
また、このような色滲み軽減処理を行うことで、撮像装置における結像光学系の縦色収差の制限を緩めることができ、その他の収差補正を向上させたり、撮像装置の小型化を図ったりすることができる。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
横色収差の説明図。 縦色収差の説明図。 本発明の実施例1であるカラー撮像装置の構成を示すブロック図。 原色カラーフィルタの説明図。 カラーフィルタアレイの説明図。 明暗境界での色滲みの説明図。 実施例1の撮像装置に設けられた色滲み処理判定部の構成(処理手順)を示すフローチャート。 輝度差が大きい場合の色滲みを説明する図。 本発明の実施例2であるカラー撮像装置の構成を示すブロック図。 実施例2の撮像装置に設けられた色滲み処理判定部の構成(処理手順)を示すフローチャート。 青味を帯びた画像の輝度差の大きい領域で青滲みのある場合のR,G,Bプレーンの値を説明する図。 青味を帯びた画像の輝度差の大きい領域で赤滲みのある場合のR,G,Bプレーンの値を説明する図。 本発明の実施例3であるカラー撮像装置の構成を示すブロック図。 実施例3の撮像装置に設けられた色滲み処理判定部の構成(処理手順)を示すフローチャート。 赤味を帯びた画像の輝度差の大きい領域で色滲みのない場合のR,G,Bプレーンの値を説明する図。 赤味を帯びた画像の輝度差の大きい領域で赤滲みのある場合のR,G,Bプレーンの値を説明する図。 赤味を帯びた画像の輝度差の大きい領域で青滲みのある場合のR,G,Bプレーンの値を説明する図。 赤味を帯びた画像の輝度差の大きい領域でRプレーンに焦点が合っている場合のR,G,Bプレーンの値を説明する図。 輝度飽和領域からの距離及び輝度非飽和領域からの距離を説明する図。 本発明の実施例4であるカラー撮像装置の構成を示すブロック図。 実施例4の撮像装置に設けられた色滲み処理判定部の構成(処理手順)を示すフローチャート。
符号の説明
100,100’,100”,100’’’ カラー撮像装置
110 結像光学系
120 イメージセンサ
130 AD変換部
140 デモザイク部
150,150’,150”,150’’’ 色滲み処理判定部
160 色滲み軽減部
170 視覚補正部
180 圧縮部
190 記録部

Claims (12)

  1. カラー画像に対して色滲みを軽減する処理を行う画像処理装置であって、
    画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも1つを変更する色滲み処理判定部を有し、
    前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも1つであり、
    前記色滲み処理判定部は、第1の画像の画像全体の輝度が第2の画像の画像全体の輝度よりも低い場合に、該第1の画像に対して推定する前記色滲み量を、前記第2の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする画像処理装置。
  2. カラー画像に対して色滲みを軽減する処理を行う画像処理装置であって、
    画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも1つを変更する色滲み処理判定部を有し、
    前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも1つであり、
    前記色滲み処理判定部は、第1の画像の画像全体のコントラストが第2の画像の画像全体のコントラストよりも高い場合に、該第1の画像に対して推定する前記色滲み量を、前記第2の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする画像処理装置。
  3. カラー画像に対して色滲みを軽減する処理を行う画像処理装置であって、
    画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも1つを変更する色滲み処理判定部を有し、
    前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも1つであり、
    前記色滲み処理判定部は、画像全体が赤味を帯びた画像において前記軽減対象とする色滲みの色プレーンを青プレーンとし、画像全体が青味を帯びた画像において前記軽減対象とする色滲みの色プレーンを赤プレーンとすることを特徴とする画像処理装置。
  4. カラー画像に対して色滲みを軽減する処理を行う画像処理装置であって、
    画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも1つを変更する色滲み処理判定部を有し、
    前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも1つであり、
    前記色滲み処理判定部は、第1の画像が夜景撮像シーンの画像で、第2の画像が前記夜景撮像シーン以外の撮像シーンの画像である場合に、前記第1の画像に対して推定する前記色滲み量を、前記第2の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする画像処理装置。
  5. カラー画像に対して色滲みを軽減する処理を行う画像処理方法であって、
    画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも1つを変更する色滲み処理判定ステップを有し、
    前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも1つであり、
    前記色滲み処理判定ステップは、第1の画像の画像全体の輝度が第2の画像の画像全体の輝度よりも低い場合に、該第1の画像に対して推定する前記色滲み量を、前記第2の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする画像処理方法。
  6. カラー画像に対して色滲みを軽減する処理を情報処理装置に実行させるプログラムであって、
    画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも1つを変更する色滲み処理判定ステップを有し、
    前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも1つであり、
    前記色滲み処理判定ステップは、第1の画像の画像全体の輝度が第2の画像の画像全体の輝度よりも低い場合に、該第1の画像に対して推定する前記色滲み量を、前記第2の画像に対して推定する前記色滲み量よりも大きくすることを特徴とするプログラム。
  7. カラー画像に対して色滲みを軽減する処理を行う画像処理方法であって、
    画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも1つを変更する色滲み処理判定ステップを有し、
    前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも1つであり、
    前記色滲み処理判定ステップは、第1の画像の画像全体のコントラストが第2の画像の画像全体のコントラストよりも高い場合に、該第1の画像に対して推定する前記色滲み量を、前記第2の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする画像処理方法。
  8. カラー画像に対して色滲みを軽減する処理を情報処理装置に実行させるプログラムであって、
    画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも1つを変更する色滲み処理判定ステップを有し、
    前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも1つであり、
    前記色滲み処理判定ステップは、第1の画像の画像全体のコントラストが第2の画像の画像全体のコントラストよりも高い場合に、該第1の画像に対して推定する前記色滲み量を、前記第2の画像に対して推定する前記色滲み量よりも大きくすることを特徴とするプログラム。
  9. カラー画像に対して色滲みを軽減する処理を行う画像処理方法であって、
    画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも1つを変更する色滲み処理判定ステップを有し、
    前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも1つであり、
    前記色滲み処理判定ステップは、画像全体が赤味を帯びた画像において前記軽減対象とする色滲みの色プレーンを青プレーンとし、画像全体が青味を帯びた画像において前記軽減対象とする色滲みの色プレーンを赤プレーンとすることを特徴とする画像処理方法。
  10. カラー画像に対して色滲みを軽減する処理を情報処理装置に実行させるプログラムであって、
    画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも1つを変更する色滲み処理判定ステップを有し、
    前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも1つであり、
    前記色滲み処理判定ステップは、画像全体が赤味を帯びた画像において前記軽減対象とする色滲みの色プレーンを青プレーンとし、画像全体が青味を帯びた画像において前記軽減対象とする色滲みの色プレーンを赤プレーンとすることを特徴とするプログラム。
  11. カラー画像に対して色滲みを軽減する処理を行う画像処理方法であって、
    画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも1つを変更する色滲み処理判定ステップを有し、
    前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも1つであり、
    前記色滲み処理判定ステップは、第1の画像が夜景撮像シーンの画像で、第2の画像が前記夜景撮像シーン以外の撮像シーンの画像である場合に、前記第1の画像に対して推定する前記色滲み量を、前記第2の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする画像処理方法。
  12. カラー画像に対して色滲みを軽減する処理を情報処理装置に実行させるプログラムであって、
    画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも1つを変更する色滲み処理判定ステップを有し、
    前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも1つであり、
    前記色滲み処理判定ステップは、第1の画像が夜景撮像シーンの画像で、第2の画像が前記夜景撮像シーン以外の撮像シーンの画像である場合に、前記第1の画像に対して推定する前記色滲み量を、前記第2の画像に対して推定する前記色滲み量よりも大きくすることを特徴とするプログラム。
JP2007298532A 2007-11-16 2007-11-16 画像処理装置、画像処理方法、及びプログラム Expired - Fee Related JP5349790B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007298532A JP5349790B2 (ja) 2007-11-16 2007-11-16 画像処理装置、画像処理方法、及びプログラム
US12/266,975 US8437539B2 (en) 2007-11-16 2008-11-07 Image processing apparatus and image processing method
US13/886,504 US8805070B2 (en) 2007-11-16 2013-05-03 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007298532A JP5349790B2 (ja) 2007-11-16 2007-11-16 画像処理装置、画像処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2009124598A JP2009124598A (ja) 2009-06-04
JP2009124598A5 JP2009124598A5 (ja) 2010-09-09
JP5349790B2 true JP5349790B2 (ja) 2013-11-20

Family

ID=40642036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007298532A Expired - Fee Related JP5349790B2 (ja) 2007-11-16 2007-11-16 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (2) US8437539B2 (ja)
JP (1) JP5349790B2 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5349790B2 (ja) * 2007-11-16 2013-11-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP4992698B2 (ja) * 2007-12-17 2012-08-08 ソニー株式会社 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム
US8237823B2 (en) * 2008-11-06 2012-08-07 Samsung Electronics Co., Ltd. Method and apparatus for canceling chromatic aberration
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
JP5523141B2 (ja) * 2009-05-28 2014-06-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2011041094A (ja) * 2009-08-14 2011-02-24 Canon Inc 画像処理装置、撮像装置および画像処理方法
WO2011027536A1 (ja) * 2009-09-01 2011-03-10 オリンパス株式会社 光学装置、およびそれを用いた撮像装置、撮像システム
JP5402504B2 (ja) * 2009-10-15 2014-01-29 株式会社Jvcケンウッド 擬似立体画像作成装置及び擬似立体画像表示システム
JP2011134204A (ja) * 2009-12-25 2011-07-07 Sony Corp 画像処理装置、画像処理方法、及びプログラム
KR101294735B1 (ko) * 2010-03-31 2013-08-08 삼성전자주식회사 이미지 처리 방법 및 이를 이용한 촬영 장치
US8988590B2 (en) 2011-03-28 2015-03-24 Intermec Ip Corp. Two-dimensional imager with solid-state auto-focus
JP5847471B2 (ja) * 2011-07-20 2016-01-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP5917048B2 (ja) * 2011-08-26 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2013219705A (ja) 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
EP2843947B1 (en) 2012-04-24 2020-11-04 Sony Corporation Image processing device, image processing method, and program
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
JP6020123B2 (ja) 2012-12-17 2016-11-02 富士通株式会社 画像処理装置、画像処理方法及びプログラム
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
WO2016190928A2 (en) * 2015-02-16 2016-12-01 Hrl Laboratories, Llc Spike domain convolution circuit
US10262229B1 (en) 2015-03-24 2019-04-16 Hrl Laboratories, Llc Wide-area salient object detection architecture for low power hardware platforms
US10503999B2 (en) 2015-03-24 2019-12-10 Hrl Laboratories, Llc System for detecting salient objects in images
JP5963913B2 (ja) * 2015-05-14 2016-08-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4605956A (en) * 1984-09-10 1986-08-12 Eastman Kodak Company Single-chip electronic color camera with color-dependent birefringent optical spatial frequency filter and red and blue signal interpolating circuit
US4642678A (en) * 1984-09-10 1987-02-10 Eastman Kodak Company Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal
US4663655A (en) * 1985-08-05 1987-05-05 Polaroid Corporation Method and apparatus for reconstructing missing color samples
US4982214A (en) * 1988-05-07 1991-01-01 Canon Kabushiki Kaisha Focusing screen
JP2746692B2 (ja) * 1989-10-09 1998-05-06 富士通株式会社 色画像データ処理装置
US5398124A (en) * 1991-06-29 1995-03-14 Minolta Camera Kabushiki Kaisha Image processor
US5497266A (en) * 1994-07-27 1996-03-05 Litton Systems, Inc. Telescopic day and night sight
US5982953A (en) * 1994-09-02 1999-11-09 Konica Corporation Image displaying apparatus of a processed image from temporally sequential images
US5778106A (en) * 1996-03-14 1998-07-07 Polaroid Corporation Electronic camera with reduced color artifacts
JPH1123972A (ja) * 1997-07-02 1999-01-29 Olympus Optical Co Ltd 結像光学装置
DE19732773B4 (de) * 1997-07-30 2006-01-26 Wilfried Donner Verfahren zur Bildschärfeverbesserung digitalisierter Bilder
JP3925588B2 (ja) * 1997-11-25 2007-06-06 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体
US6356672B1 (en) * 1999-03-08 2002-03-12 Sharp Laboratories Of America, Inc. Method and apparatus for reducing the color registration artifact of image capture devices
US7057659B1 (en) 1999-07-08 2006-06-06 Olympus Corporation Image pickup device and image pickup optical system
JP3990081B2 (ja) 1999-11-16 2007-10-10 オリンパス株式会社 電子撮像装置及び撮像光学系
US6650795B1 (en) * 1999-08-10 2003-11-18 Hewlett-Packard Development Company, L.P. Color image capturing system with antialiazing
US6671401B1 (en) * 1999-09-08 2003-12-30 Eastman Kodak Company Removing color moire patterns from digital images having known chromaticities
US6621937B1 (en) * 1999-10-08 2003-09-16 Eastman Kodak Company Removing chroma noise from digital images by using variable shape pixel neighborhood regions
US6791609B2 (en) * 1999-12-20 2004-09-14 Texas Instruments Incorporated Digital still camera system and method
US7330209B2 (en) * 1999-12-20 2008-02-12 Texas Instruments Incorporated Digital still camera system and complementary-color-filtered array interpolation method
US6754279B2 (en) * 1999-12-20 2004-06-22 Texas Instruments Incorporated Digital still camera system and method
US6829016B2 (en) * 1999-12-20 2004-12-07 Texas Instruments Incorporated Digital still camera system and method
US6373640B1 (en) * 2000-01-28 2002-04-16 Concord Camera Corp. Optical systems for digital cameras
US6915024B1 (en) * 2000-09-29 2005-07-05 Hewlett-Packard Development Company, L.P. Image sharpening by variable contrast mapping
US6621595B1 (en) * 2000-11-01 2003-09-16 Hewlett-Packard Development Company, L.P. System and method for enhancing scanned document images for color printing
AU2002235252A1 (en) * 2000-12-19 2002-07-01 Pulsent Corporation Deblurring and re-blurring image segments
JP4498644B2 (ja) 2001-03-14 2010-07-07 富士通株式会社 データ再生装置
US20030002735A1 (en) * 2001-06-29 2003-01-02 Hideaki Yamamoto Image processing method and image processing apparatus
JP2003018407A (ja) 2001-07-02 2003-01-17 Konica Corp 画像処理方法及び画像処理装置
US7657123B2 (en) * 2001-10-03 2010-02-02 Microsoft Corporation Text document capture with jittered digital camera
US7050636B2 (en) * 2001-12-07 2006-05-23 Eastman Kodak Company Method and system for improving an image characteristic based on image content
US7181082B2 (en) * 2002-12-18 2007-02-20 Sharp Laboratories Of America, Inc. Blur detection system
JP4378994B2 (ja) * 2003-04-30 2009-12-09 ソニー株式会社 画像処理装置、画像処理方法ならびに撮像装置
US8339462B2 (en) * 2008-01-28 2012-12-25 DigitalOptics Corporation Europe Limited Methods and apparatuses for addressing chromatic abberations and purple fringing
JP3824237B2 (ja) * 2003-09-05 2006-09-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4210922B2 (ja) * 2003-10-27 2009-01-21 ソニー株式会社 撮像装置および方法
JP4479457B2 (ja) * 2004-05-27 2010-06-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4403397B2 (ja) * 2004-07-21 2010-01-27 ソニー株式会社 ユーザインタフェース提供装置
JP4539280B2 (ja) * 2004-10-19 2010-09-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US20060093234A1 (en) * 2004-11-04 2006-05-04 Silverstein D A Reduction of blur in multi-channel images
JP2006208487A (ja) * 2005-01-25 2006-08-10 Fuji Photo Film Co Ltd 撮像装置及び撮像装置の合焦制御方法
US8233710B2 (en) * 2005-07-14 2012-07-31 Nikon Corporation Image processing device and image processing method
JP2007129388A (ja) * 2005-11-02 2007-05-24 Matsushita Electric Ind Co Ltd 撮像装置
US7577292B2 (en) * 2005-12-30 2009-08-18 Microsoft Corporation Automatic removal of purple fringing from images
US7587099B2 (en) * 2006-01-27 2009-09-08 Microsoft Corporation Region-based image denoising
US7697212B2 (en) * 2006-05-16 2010-04-13 Ophthonix, Inc. High-order aberration correction for optimization of human visual function
US8144984B2 (en) * 2006-12-08 2012-03-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program for color fringing estimation and compensation
ITVA20060082A1 (it) * 2006-12-22 2008-06-23 St Microelectronics Srl "metodo di trattamento di un'immagine digitale per ridurre eventuali effetti di color bleeding"
EP1944732A3 (en) * 2007-01-12 2010-01-27 Sanyo Electric Co., Ltd. Apparatus and method for blur detection, and apparatus and method for blur correction
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP2009118052A (ja) * 2007-11-05 2009-05-28 Fujifilm Corp 画像信号処理方法及び装置
JP5349790B2 (ja) * 2007-11-16 2013-11-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP4986820B2 (ja) * 2007-11-16 2012-07-25 キヤノン株式会社 画像処理装置及び画像処理方法
JP5047048B2 (ja) * 2008-04-30 2012-10-10 キヤノン株式会社 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
US8237823B2 (en) * 2008-11-06 2012-08-07 Samsung Electronics Co., Ltd. Method and apparatus for canceling chromatic aberration
CN102474628B (zh) * 2010-03-25 2014-09-17 富士胶片株式会社 图像处理方法和设备

Also Published As

Publication number Publication date
US8805070B2 (en) 2014-08-12
US20090129696A1 (en) 2009-05-21
US20130242146A1 (en) 2013-09-19
JP2009124598A (ja) 2009-06-04
US8437539B2 (en) 2013-05-07

Similar Documents

Publication Publication Date Title
JP5349790B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5132401B2 (ja) 画像処理装置及び画像処理方法
US8144984B2 (en) Image processing apparatus, image processing method, and program for color fringing estimation and compensation
JP6525718B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP6327922B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5047048B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
JP5284537B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
JP5113171B2 (ja) イメージ情報にフィルタをかけるための適応空間イメージフィルタ
US8659672B2 (en) Image processing apparatus and image pickup apparatus using same
KR101536162B1 (ko) 화상처리장치 및 방법
JP5020615B2 (ja) 画像処理装置及び撮像装置及び画像処理方法及びプログラム
JP4963598B2 (ja) 画像処理装置及び撮像装置及び画像処理方法及びプログラム
EP1528793A2 (en) Image processing apparatus, image-taking system and image processing method
JP4986820B2 (ja) 画像処理装置及び画像処理方法
JP5917048B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2012165204A (ja) 信号処理装置、信号処理方法、撮像装置及び撮像処理方法
JP5047055B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5907590B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9071803B2 (en) Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program
JP5274697B2 (ja) 画像処理装置及び画像処理方法
JP2010068465A (ja) 画像処理装置、撮像装置及び画像処理方法
JP5178421B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP2011041094A (ja) 画像処理装置、撮像装置および画像処理方法
JP2011041094A5 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100726

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121009

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130626

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130821

R151 Written notification of patent or utility model registration

Ref document number: 5349790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees