JP5683882B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP5683882B2
JP5683882B2 JP2010203106A JP2010203106A JP5683882B2 JP 5683882 B2 JP5683882 B2 JP 5683882B2 JP 2010203106 A JP2010203106 A JP 2010203106A JP 2010203106 A JP2010203106 A JP 2010203106A JP 5683882 B2 JP5683882 B2 JP 5683882B2
Authority
JP
Japan
Prior art keywords
region
color
area
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010203106A
Other languages
English (en)
Other versions
JP2011103640A (ja
Inventor
修太 柳田
修太 柳田
剛幸 味戸
剛幸 味戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Olympus Imaging Corp
Original Assignee
Olympus Corp
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Olympus Imaging Corp filed Critical Olympus Corp
Priority to JP2010203106A priority Critical patent/JP5683882B2/ja
Priority to US12/905,389 priority patent/US8723982B2/en
Priority to CN201010517404.XA priority patent/CN102045489B/zh
Publication of JP2011103640A publication Critical patent/JP2011103640A/ja
Application granted granted Critical
Publication of JP5683882B2 publication Critical patent/JP5683882B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628Memory colours, e.g. skin or sky
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は画像処理装置、画像処理方法および画像処理プログラムに関するものである。
従来、撮影した画像を補正する方法として、彩度を補正する方法がある。彩度を補正する方法は、例えば特許文献1に開示されている。
特許文献1では、画像を複数の領域に分割し、領域毎に彩度レベルを算出する。そして、最も彩度レベルが大きい領域を基準として、画像全体の彩度補正を行っている。
特開2000−224607号公報
一般的には、撮影によって得られた画像は、主要被写体を含む注目領域が際立っていることが好まれている。つまり、注目領域と注目領域以外の非注目領域とを対比した場合に、注目領域の画像特徴が、非注目領域の画像特徴よりも強い印象を与える画像が得られることが望ましい。
しかし、上記の発明では、注目領域の画像特徴が非注目領域の画像特徴よりも強い印象を与える画像となるように補正が行われていない。そのため、注目領域と非注目領域との間で画像特徴を比較した場合に、必ずしも主要被写体が際立った画像を作成できない、といった問題点がある。
本発明はこのような問題点を解決するために発明されたもので、注目領域の主要被写体が際立った画像を作成することを目的とする。
本発明のある態様に係る画像処理装置は、画像を取得する画像取得部と、主要被写体を含む第1領域と主要被写体を含まない第2領域とを画像上に設定する領域設定部と、第1領域および第2領域における第1の画像特徴量をそれぞれ算出する画像特徴量算出部と、第1領域および第2領域における第1の画像特徴量を比較し、かつ、第1領域における色相の偏りを判定する比較部と、第1領域において、彩度又は明度が第1の閾値よりも大きく、かつ最も多い色相における色重心位置を算出する色重心位置算出部と、色重心位置に基づいて、補正する色の範囲である色補正領域を設定する色補正領域設定部と、比較部による比較結果に基づいて、第1領域における第1の画像特徴量が第2領域における第1の画像特徴量以上であり、かつ、第1領域における色相が偏っていると判定された場合、色補正領域設定部によって設定された色補正領域に属する色の彩度又は明度を強調する補正をする特定色補正部と、を備え、第1の画像特徴量は、第1の閾値よりも高彩度又は高明度となる画素の画素数である。
本発明の別の態様に係る画像処理プログラムは、取得した画像をコンピュータで処理するための画像処理プログラムであって、コンピュータに、画像を取得する画像取得手順と、主要被写体を含む第1領域と主要被写体を含まない第2領域とを画像上に設定する領域設定手順と、第1領域および第2領域における第1の画像特徴量をそれぞれ算出する第1画像特徴量算出手順と、第1領域および第2領域における第1の画像特徴量とを比較し、かつ、第1領域における色相の偏りを判定する比較手順と、第1領域において、彩度又は明度が第1の閾値よりも大きく、かつ最も多い色相における色重心位置を算出する色重心位置算出手順と、色重心位置に基づいて、補正する色の範囲である色補正領域を設定する色補正領域設定手順と、比較手順による比較結果に基づいて、第1領域における第1の画像特徴量が第2領域における第1の画像特徴量以上であり、かつ、第1領域における色相が偏っていると判定された場合、色補正領域設定手順によって設定された色補正領域に属する色の彩度又は明度を強調する補正をする特定色補正手順と、を実行させ、第1の画像特徴量は、第1の閾値よりも高彩度又は高明度となる画素の画素数である。
本発明のさらに別の態様に係る画像処理方法は、取得した画像に対して補正を行う画像処理方法であって、画像を取得し、主要被写体を含む第1領域と主要被写体を含まない第2領域とを画像上に設定し、第1領域および第2領域における第1の画像特徴量をそれぞれ算出し、第1領域と第2領域における第1の画像特徴量とを比較し、かつ、第1領域における色相の偏りを判定し、第1領域において、彩度又は明度が第1の閾値よりも大きく、かつ最も多い色相における色重心位置を算出し、色重心位置に基づいて、補正する色の範囲である色補正領域を設定し、比較結果に基づいて、第1領域における第1の画像特徴量が第2領域における第1の画像特徴量以上であり、かつ、第1領域における色相が偏っていると判定された場合、設定された色補正領域に属する色の彩度又は明度を強調する補正をし、第1の画像特徴量は、第1の閾値よりも高彩度又は高明度となる画素の画素数である。
これら態様によれば、例えば非注目領域と比べて注目領域の彩度を強調した画像を得ることができ、また注目領域に多く含まれる特定の色を強調した画像を得ることができる。
本発明によると、主要被写体が際立った画像を作成することができる。
第1実施形態の撮像装置を示す概略ブロック図である。 第1実施形態の画像分析部を示す概略ブロック図である。 第1実施形態の領域選択部を示す概略ブロック図である。 注目領域を例示する図である。 注目領域を例示する図である。 第1実施形態の画素頻度の集計結果を示す図である。 第1実施形態における彩度強調係数および特定色彩度強調係数を算出するマップである。 彩度強調係数を算出するマップである。 第1実施形態の色補正領域を説明する図である。 第1実施形態の画像処理部を示す概略ブロック図である。 第2実施形態の画像分析部を示す概略ブロック図である。 第2実施形態における第1積算値および第2積算値を説明するための図である。 第2実施形態における第3積算値および第4積算値を説明するための図である。 第2実施形態のエッジ強調係数およびぼかし処理係数を算出するマップである。 第2実施形態において異なる方法によってエッジ強調係数を算出するためのマップである。 第2実施形態において異なる方法によってぼかし処理係数を算出するためのマップである。 第2実施形態の画像処理部を示す概略ブロック図である。 第3実施形態の画像分析部を示す概略ブロック図である。 第3実施形態における彩度強調係数、エッジ強調係数およびぼかし処理係数を算出するマップである。 第3実施形態の画像処理部を示す概略ブロック図である。 第4実施形態の画像分析部を示す概略ブロック図である。 分散を算出するためのフローチャートである。 分散を算出するためのフローチャートである。 第4実施形態の画素頻度の集計結果を示す図である。 第4実施形態における彩度強調係数および特定色彩度強調係数を算出するマップである。 注目領域における画素の状態を示す図である。 第5実施形態の画像分析部を示す概略ブロック図である。 第5実施形態の第1領域テクスチャ情報集計部を示す概略ブロック図である。 第5実施形態におけるノイズ補正係数を算出するマップである。 第5実施形態の画像処理部を示す概略ブロック図である。 第6実施形態の画像分析部を示す概略ブロック図である。 第6実施形態の第1領域色集計部を示す概略ブロック図である。 彩度ヒストグラムを例示する図である。 第1領域色集計部における集計結果を示す図である。 第6実施形態における彩度強調係数および特定色彩度強調係数を算出するマップである。 第6実施形態における画像処理部を示す概略ブロック図である。
本発明の第1実施形態について説明する。
本実施形態の撮像装置について図1を用いて説明する。図1は本実施形態の撮像装置の一部を示す概略ブロック図である。以下において説明する撮像装置は、撮像した画像を処理する画像処理装置としての機能を有している。
本実施形態の撮像装置は、撮像素子(画像取得部)1と、画像分析部2と、画像処理部(画像特徴調整部)3と、表示部4と、記録部5と、撮像制御部(画像処理方法設定部)6とを備える。
撮像素子1は、受光面に入射される光に応じた電気信号を所定のタイミングで出力する。撮像素子1は、例えばCCD(電荷結合素子)やCMOS(相補型金属酸化膜半導体)センサと称される形式、あるいはその他の各種の形式の撮像素子である。
画像分析部2について図2を用いて説明する。図2は画像分析部2を示す概略ブロック図である。
画像分析部2は、領域選択部7と、第1領域色集計部(画像特徴量算出部)8と、第2領域色集計部(画像特徴量算出部)9と、色重心位置算出部10と、比較部11と、特定色補正パラメータ算出部(色補正領域設定部)12と、彩度補正パラメータ算出部13とを備える。
領域選択部7について、図3を用いて説明する。図3は領域選択部7を示す概略ブロック図である。
領域選択部7は、顔領域設定部14と、合焦領域設定部15と、注目領域設定部(領域設定部)16と、領域判定部(領域設定部)17とを備える。
顔領域設定部14は、図示しない顔検出部から出力される顔情報に基づいて、撮像素子1を介して得られた画像データから主要被写体を含む領域を選択する。主要被写体は、例えば人間の顔、動物の顔であるが、これらに限られることはない。なお、本実施形態では、主要被写体には顔が含まれているが、顔を含まないものを主要被写体としてもよい。
合焦領域設定部15は、図示しない合焦部から出力されるオートフォーカス情報(AF情報)に基づいて合焦領域を設定する。なお、合焦領域はマニュアルフォーカス情報(MF情報)に基づいて設定されてもよい。また、予め設定された領域を合焦領域と設定してもよい。
注目領域設定部16は、顔領域設定部14によって選択された顔領域と、合焦領域設定部15によって設定された合焦領域とに基づいて注目領域(第1領域)を設定する。注目領域は、顔領域と合焦領域とを含んだ領域であり、主要被写体を含んだ領域である。例えば撮影によって図4に示す画像が得られた場合に、注目領域は、顔領域A1と合焦領域A2とを含む矩形領域A3である。
なお、注目領域は、顔領域、合焦領域のどちらか一方を含んだ領域であってもよい。さらに、注目領域は、画像中の画像中央、画像下部など予め固定された領域であってもよい。
また、領域選択部7は、画面を複数の矩形領域に分割し、各領域における空間周波数分布を求めることで注目領域を設定してもよい。例えば撮影によって図5に示す画像が得られた場合には、注目領域は、高周波成分が所定周波数を超える領域B1を合わせた領域B2である。
領域判定部17は、注目領域設定部16によって設定された注目領域以外の領域を非注目領域(第2領域)として設定する。非注目領域は主要被写体を含んでいない領域である。
また、上記実施形態においては、人や動物の頭の大きさ、顔の大きさ等から、被写体との距離を推定し、最至近の被写体を注目領域として設定してもよい。構図アシスト機能などによってカメラがユーザーに指示したフレーム領域を注目領域として設定してもよい。あらかじめ注目領域が設定された構図パターンやシーンモードと照合することで注目領域を設定してもよい。あらかじめ登録してある個人を認識し、注目領域を設定してもよい。コントラストが高い(光強度の変化が大きい)領域を注目領域として設定してもよい。ユーザーが背面モニター(タッチパネルを含む)で注目領域または非注目領域を指定し、設定してもよい。背面モニターやファインダーを見ながらユーザーが指定枠を移動・拡大して、注目領域を指定してもよい。マニュアルフォーカス撮影時に拡大表示した部分を注目領域として設定してもよい。ストロボ光の強度やピント位置、絞り値を変えて複数回撮影し、輝度差やエッジ成分などによって注目領域を設定してもよい。画像特徴の閾値や、相関関数、レベルセットメソッドなどによって注目領域や非注目領域を設定してもよい。公知の動き検出を用いて、移動している物体を注目被写体として設定し、注目領域を設定してもよい。
図2に戻り、第1領域色集計部8は、注目領域中の画像データに基づいて注目領域中の画素頻度(第1の画像特徴量)を集計する。画素頻度は、或る領域中で同じ画像特徴を有する画素数である。画像特徴とは、色情報、彩度情報、周波数情報、およびエッジ検出情報などである。また、色情報とは、明度情報、色相情報、色彩情報などである。本実施形態では、画像特徴は彩度と色相である。第1領域色集計部8は、注目領域中の画素を彩度が第1閾値(所定値)よりも高い画素と、第1閾値よりも低い画素とに振り分ける。第1閾値は予め設定される値である。また、第1領域色集計部8は、さらに注目領域中の画素を色相毎に振り分ける。振り分ける色相は、赤、紫、青、シアン、緑、黄である。色相における画素の振り分けは、画素の色相が振り分ける色相であると認識可能な範囲に属するかどうかを判定することで行われる。振り分ける色相であると認識可能な範囲は、色相毎に設定されている。そして、第1領域色集計部8は彩度、色相に基づいて注目領域の画素頻度を集計する。なお、本実施形態では振り分ける色相は、赤、紫、青、シアン、緑、黄の6つの色相としたが、これに限られることはなく、例えば8つの色相としてもよい。
また、第1領域色集計部8は、注目領域中で肌色および空色と認識できる画素数を集計する。なお、第1領域色集計部8は、画素頻度の集計を彩度と色相とに基づいて行ったが、明度と色相に基づいて集計を行っても良く、明度、色相、彩度の中から選択した2以上の情報の組み合わせに基づいて行ってもよい。
第2領域色集計部9は、領域判定部17によって判定された非注目領域中の画像データに基づいて、非注目領域の画素頻度を集計する。第2領域色集計部9における集計方法は、第1領域色集計部8と同じであるが、第2領域色集計部9では、肌色および空色の画素数は集計されない。
第1領域色集計部8、および第2領域色集計部9における集計結果を表に表すと、例えば図6のようになる。図6(a)は第1領域色集計部8における集計結果である。図6(b)は第2領域色集計部9における集計結果である。注目領域において、彩度が第1閾値よりも高い場合を「Ki」とし、低い場合を「Li」とする。また、非注目領域において、彩度が第1閾値よりも高い場合を「Mi」とし、低い場合を「Ni」とする。「i」は、1から6までの整数であり、色相に対応する。色相が赤である場合はi=1であり、紫、青、シアン、緑、黄となるにつれてiの数値が増加し、色相が黄である場合はi=6である。なお、注目領域において肌色の画素数はS1とし、空色の画素数はS2とする。
色重心位置算出部10は、第1領域色集計部8によって注目領域の画素頻度を集計した結果に基づいて、彩度が第1閾値よりも高く、かつ画素数が一番多い色相における色重心位置を算出する。色重心位置は、彩度が第1閾値よりも高く、かつ画素数が一番多い色相における色度座標の中心である。色重心位置は、彩度が第1閾値よりも高く、かつ画素数が一番多い色相に属する画素の色平均を算出することで求められる。例えば、色重心位置は、彩度が第1閾値よりも高く、かつ画素数が一番多い色相に属する画素の画素値を加算し、加算値を注目領域の総画素数で割ることで求められる。色重心位置は、画像中の特定色を補正するための補正中心色として特定色補正パラメータ算出部12に出力される。
比較部11は、注目領域の画素頻度と非注目領域の画素頻度を比較する。比較部11は、注目領域において彩度が第1閾値よりも高く、かつ画素数が最大となる色相の画素数Max(Ki)と、非注目領域において彩度が第1閾値よりも高く、かつ画素数が最大となる色相の画素数Max(Mi)との比である第1画素数比Pr1(=Max(Ki)/Max(Mi))とを算出する。
比較部11は、第1画素数比Pr1と第2閾値とを比較する。また、比較部11は、肌色の画素数S1と第3閾値とを比較し、空色の画素数S2と第4閾値とを比較する。比較した結果は、彩度補正パラメータ算出部13へ出力される。第2閾値、第3閾値および第4閾値は予め設定された値である。
また、比較部11は、第1画素数比Pr1に加えて、注目領域において彩度が第1閾値よりも高く、かつ画素数が最大となる色相の画素数Max(Ki)と、注目領域の全色相(赤、紫、青、シアン、緑、黄)の合計画素数Total(Ki)との比である第2画素数比Pr2(=Max(Ki)/Total(Ki))を算出する。第2画素数比Pr2は、注目領域中で色相の頻度が偏っているかどうかを判定するものである。第2画素数比Pr2が大きい場合には、注目領域中で特定の色の画素が多く存在している。また、比較部11は、注目領域において彩度が第1閾値よりも高く、かつ画素数が最大となる色相の画素数Max(Ki)と、肌色の画素数S1との比である第3画素数比Pr3(=Max(Ki)/S1)を算出する。
比較部11は、第2画素数比Pr2と第5閾値とを比較する。また比較部11は第3画素数比Pr3と第6閾値とを比較する。比較した結果は、特定色補正パラメータ算出部12、および彩度補正パラメータ算出部13へ出力される。第5閾値、および第6閾値は予め設定される値である。
彩度補正パラメータ算出部13は、比較部11での比較結果に基づいて彩度強調係数を算出する。彩度強調係数は、注目領域および非注目領域の彩度を変更するための係数である。詳しくは後述するが、彩度強調係数が1.0よりも大きい場合には、彩度が強調される。一方、彩度強調係数が1.0よりも小さい場合には、彩度は抑制される。彩度強調係数が1.0の場合には彩度は補正されない。彩度強調係数は、例えば図7に基づいて算出される。第1画素数比Prが第2閾値以上であり、第2画素数比Pr2が第5閾値よりも小さい場合には、彩度強調係数は1.2である。
彩度強調係数を算出する場合に、注目領域における肌色の画素数S1、空色の画素数S2の値は第1画素数比Pr1よりも優先して算出される。特に、肌色の画素数S1が最も優先して算出される。つまり、肌色の画素数S1が第3閾値以上の場合には、第1画素数比Pr1の値に関わらず、彩度強調係数は1.0となる。また、肌色の画素数S1が第3閾値よりも小さく、かつ空色の画素数S2が第4閾値以上の場合には、彩度強調係数は1.2となる。つまり、第1画素数比Pr1の値に基づいて彩度強調係数が算出される場合は、肌色の画素数S1が第3閾値よりも小さく、かつ空色の画素数S2が第4閾値よりも小さい場合である。
なお、本実施形態では、肌色の画素数S1を最優先として算出したが、これに限られることはなく、例えば第1画素数比Pr1を優先して算出してもよい。
なお、彩度強調係数は、例えば図8に示すように連続関数に基づいて算出してもよい。図8は第1画素数比Pr1と彩度強調係数との関係を示す関数である。第1画素数比Pr1が大きくなる、つまり所定の色相の画素数が多いと、彩度強調係数は大きくなる。第1画素数比Pr1に応じて彩度強調係数を算出することで、注目領域および非注目領域の画素頻度に応じて彩度を補正した画像を得ることができる。なお、図8に示す関数は第2画素数比Pr2に応じて複数設けられる。
特定色補正パラメータ算出部12は、比較部11での比較結果に基づいて特定色彩度強調係数を算出する。彩度強調係数は、画像全体の彩度補正を行うための係数であるが、特定色彩度強調係数は、画像の一部の色を補正するための係数である。
特定色彩度強調係数は、図7に基づいて算出される。例えば、第1画素数比Pr1が第2閾値以上であり、第2画素数比Pr2が第5閾値以上である場合には、特定色彩度強調係数は1.2である。
また、特定色補正パラメータ算出部12は、色重心位置と、特定色彩度強調係数とに基づいて、第1色補正量と色補正領域を算出する。第1色補正量は、色補正領域に属する色の補正量を示すものである。なお、詳しくは後述するが、第1色補正量は重み付けをされ、重み付けにより得られた第2色補正量によって画像の一部の色が補正される。
第1色補正量は、
第1色補正量=(特定色彩度強調係数×色重心位置)−色重心位置 ・・・式(1)
によって算出される。
色補正領域は、
色補正領域=色重心位置±α ・・・式(2)
によって算出される。なおαは、予め設定される値であり、例えば色飛びを防止するための値である。例えば、図9に示すように色重心位置cが算出された場合には、色補正領域Dが算出される。色補正領域は、色重心位置を中心として、色補正を行う色の範囲を示すものである。なお、αは図12に示す色座標において、Cb軸、Cr軸毎に異なる値を設定しても良い。
図1に戻り、画像処理部3について図10を用いて説明する。図10は画像処理部3を示す概略ブロック図である。
画像処理部3は、輝度色差信号生成部18と、重み係数算出部(重み算出部)19と、第1乗算部(色補正量設定部)20と、第1加算部(特定色補正部)21と、第2加算部(特定色補正部)22と、第2乗算部23と、色信号変換部24とを備える。
輝度色差信号生成部18は、撮像素子1によって得られた画像データのRGB信号を輝度信号Yと色差信号Cb、Crとに変換する。
重み係数算出部19は、特定色補正パラメータ算出部12によって算出された色補正領域に基づいて重み係数を算出する。重み係数は、補正される色に対する重みを付ける係数である。重み係数は、色重心位置が1であり、色補正領域の外側はゼロである。色補正領域内の重み係数は、色重心位置から色補正領域の境界へなるにつれて小さくなる。例えば、図9に示すように色重心位置c、色補正領域Dが設定された場合には、色重心位置cの重み係数が1である。また色補正領域Dでは、色重心位置cを中心に色座標において色重心位置Cから離れる色となるに連れて重み係数が次第に小さくなる。そして、色補正領域Dの外側では重み係数はゼロとなる。
第1乗算部20は、重み係数算出部19によって算出した重み係数を特定色補正パラメータ算出部12によって算出した第1色補正量に乗算して、第2色補正量(色補正量)を算出する。
第1加算部21は、輝度色差信号生成部18によって生成された輝度信号Yに第2色補正量を加算する。
第2加算部22は、輝度色差信号生成部18によって生成された色差信号Cb、Crに第2色補正量を加算する。
第1乗算部20によって重み係数が第1色補正量に乗算されるので、重み係数がゼロであった場合には、第2色補正量はゼロとなる。つまり、色補正領域外の色については、第1加算部21、および第2加算部22によっては色補正がされない。一方、重み係数がゼロではない場合、つまり色補正領域に属する色については重み係数に従って第2色補正量が算出される。そして、第2色補正量は、第1加算部21および第2加算部22によって輝度信号Yおよび色差信号Cb、Crに加算され、特定の色に対して色補正が行われる。
ここで、特定色彩度強調係数が1.0よりも大きい場合には、式(1)で算出される第1色補正量に従い第1加算部21および第2加算部22によって、色補正領域に属する色の輝度信号Yおよび色差信号Cb、Crの絶対値は共に増幅される。特定色彩度強調係数が1.0よりも大きい場合は、例えば第1画素数比Pr1が第2閾値以上であり、第2画素数比Pr2が第5閾値以上である場合である。つまり、注目領域の或る色相に画素頻度が偏っている場合には、画像全体でその色相付近の色を強調するように補正が行われる。この場合注目領域の色相が多い色が強調されるので、主要被写体を際立たせることができる。
一方、特定色彩度強調係数が1.0であった場合には、第1色補正量はゼロである。この場合、第2色補正量もゼロとなり第1加算部21、第2加算部22によっては輝度信号Y、色差信号Cr、Cb共に補正されない。つまり、特定の色について補正は行われない。
さらに、特定色彩度強調係数が1.0よりも小さい場合には、式(1)で算出される第1色補正量に従い第1加算部21、および第2加算部22によって色補正領域に属する色の輝度信号Y、色差信号Cr、Cbの絶対値は共に減少する。つまり、注目領域の画像全体で或る色相付近の色が抑制されるように補正が行われる。
以上のように、特定色彩度強調係数、重み係数を算出し、これらの値に基づいて色補正を行うことにより、色補正領域内の色、つまり特定の色(第2の画像特徴量)について補正することができる。
第2乗算部23は、第2加算部22から出力された色差信号Cb、Crを、彩度強調係数を用いて補正する。
ここでは、第2加算部から出力される色差信号Cb、Crに彩度強調係数を乗算することで補正を行う。補正後の色差信号Cb’、Cr’は、
Cb’=Cb×彩度強調係数 ・・・式(3)
Cr’=Cr×彩度強調係数 ・・・式(4)
となる。
色信号変換部24は、輝度信号Yと補正後の色差信号Cb’、Cr’に基づいてRGB信号を生成する。
色差信号Cb、Crを彩度強調係数によって補正することで、彩度を変更した画像を得ることができる。つまり、例えば彩度などの特徴(第2の画像特徴量)が調整された画像を得ることができる。彩度強調係数が1.0よりも大きい場合には、画像全体で彩度が高くなるように補正を行うことで、注目領域の主要被写体を際立たせることができる。
なお、本実施形態では、第2色補正量によって輝度信号Yおよび色差信号Cr、Cbを補正したが、補正する色に応じて明度を補正してもよい。また、画像特徴として彩度、色相を用いたが、エッジ検出量などの他の画像特徴を用いてもよい。さらに、主要被写体を際立たせる方法として、彩度を強調したがエッジ強調など他の強調処理を行ってもよい。
図1に戻り、撮像制御部6は、撮像素子1、画像分析部2、画像処理部3などと接続しており、これらを含むこの撮像装置を制御する。撮像制御部6は、CPU、ROM、RAMなどによって構成される。ROMは制御プログラムおよび各データを格納している。CPUが、ROMに格納された制御プログラムに基づいて演算を実行することにより、撮像制御部6の各機能が発揮される。
表示部4は、例えば画像処理部3によって注目領域の彩度が補正された画像を表示する。また、記録部5は、例えば画像処理部3によって注目領域の彩度が補正された画像データを記憶する。
以上のように、本実施形態では、画像全体で彩度を強調する彩度強調処理と、画像の特定の色を強調する特定色強調処理との複数の画像処理から画像が有する特徴に基づいて画像処理を行う。
本発明の第1実施形態の効果について説明する。
主要被写体を含む第1領域の画素頻度と、主要被写体を含まない第2領域の画素頻度とを比較し、その比較結果に基づいて画像の彩度を補正する彩度強調係数と、画像の特定色を補正する第2色補正量を算出する。そして、画像全体の彩度を強調する彩度強調係数と画像の特定の色を強調する第2色補正量とを用いて画像を補正することで、主要被写体を際立たせることができる。例えば、注目領域で或る色相に画素頻度が偏っている場合には、その色相付近の色のみを色強調することができ、主要被写体をより際立たせることができる。また、例えば主要被写体に肌色が含まれる場合に、画像中の肌色の部分の色をそのままにして、主要被写体を際立たせることができる。
また、色重心位置を中心として、色補正領域に重みを持たせて色補正を行うことで、なめらかな色補正を行うことができる。
次に本発明の第2実施形態について説明する。
本実施形態の撮像装置は、第1実施形態と比較して画像分析部40と、画像処理部41とが異なっている。ここでは、画像分析部40と画像処理部41とについて説明する。画像分析部40と画像処理部41において、第1実施形態と同じ構成のものについては第1実施形態と同じ符号を付し、ここでの説明は省略する。
画像分析部40について図11を用いて説明する。図11は画像分析部40を示す概略ブロック図である。
画像分析部40は、領域選択部7と、第1領域空間周波数特性集計部42と、第2領域空間周波数特性集計部43と、比較部44と、空間周波数補正パラメータ算出部(補正係数算出部)45とを備える。
第1領域空間周波数特性集計部42は、画像データから注目領域の空間周波数分布を集計する。本実施形態では、画像特徴は周波数情報である。ここでは図12に示すように注目領域の周波数とその周波数の頻度との関係から周波数が所定周波数以上となる周波数の頻度を積算する。第1領域空間周波数特性集計部42は、図12において周波数が所定周波数以上となる頻度の積算値である第1積算値Ehと、周波数が所定周波数よりも小さい頻度の積算値である第2積算値Elとを算出する。
第2領域空間周波数特性集計部43は、画像データから非注目領域の空間周波数分布を集計する。ここでは図13に示すように非注目領域の周波数とその周波数の頻度との関係から周波数が所定周波数以上となる周波数の頻度を積算する。第2領域空間周波数特性集計部43は、図13において周波数が所定周波数以上となる頻度の積算値である第3積算値Fhと、周波数が所定周波数よりも小さい頻度の積算値である第4積算値Flを算出する。
比較部44は、第1積算値Ehと第3積算値Fhとの比である積算値比I(=Eh/Fh)を算出する。また比較部44は積算値比Iと第7閾値とを比較する。第7閾値は予め設定される値である。比較した結果は、空間周波数補正パラメータ算出部45に出力される。
空間周波数補正パラメータ算出部45は、比較部44での比較結果に基づいて空間周波数補正係数を算出する。空間周波数補正係数は、エッジ強調係数とぼかし処理係数である。つまり、空間周波数補正パラメータ算出部45は、エッジ強調係数とぼかし処理係数とを算出する。エッジ強調係数とぼかし処理係数とは図14に基づいて算出される。例えば、積算値比Iが第7閾値以上である場合には、注目領域においては、エッジ強調係数は2.0であり、ぼかし処理係数は1.0である。
なお、エッジ強調係数は、例えば図15に示すように連続関数に基づいて算出してもよい。図15は注目領域における積算値比Iとエッジ強調係数との関係を示す関数である。注目領域においては積算値比Iが大きくなると、エッジ強調係数が大きくなる。
また、ぼかし処理係数は、例えば図16に示すように連続関数に基づいて算出してもよい。図16は非注目領域における積算値比Iとぼかし処理との関係を示す関数である。非注目領域においては積算値比Iが大きくなると、ぼかし処理係数が大きくなる。
画像処理部41について図17を用いて説明する。図17は画像処理部41を示す概略ブロック図である。
画像処理部41は、エッジ強調処理部46と、ぼかし処理部47とを備える。
エッジ強調処理部46は、空間周波数補正パラメータ算出部45によって算出したエッジ強調係数に基づいて、注目領域および非注目領域にエッジ強調処理を行う。エッジ強調処理部46は、ラプラシアンフィルタを用いてエッジ強調を行う。エッジ強調処理の強さは、エッジ強調係数が大きくなると強くなり、画像中のエッジが強調される。なお、エッジ強調処理部46は、ラプラシアンフィルタ以外の差分フィルタなどによってエッジ強調を行っても良い。
ぼかし処理部47は、空間周波数補正パラメータ算出部45によって算出したぼかし処理係数に基づいて、注目領域および非注目領域にぼかし処理を行う。ぼかし処理部47は、ガウスフィルタを用いてぼかし処理を行う。ぼかし処理の強さは、ぼかし処理係数が大きくなると強くなり、画像がぼやける。なお、ぼかし処理部47は、ガウスフィルタ以外のローパスフィルタなどによってぼかし処理を行っても良い。
画像処理部41は、RGB信号に対してエッジ強調処理およびぼかし処理を行う。これにより、例えばエッジなどの特徴が調整された画像を得ることができる。
本実施形態では、例えば注目領域の空間周波数が高く、非注目領域の空間周波数が低い場合には、注目領域のエッジ強調係数が大きくなり、非注目領域のぼかし処理係数が大きくなる。これにより、主要被写体が際立った画像を得ることができる。
本発明の第2実施形態の効果について説明する。
注目領域の周波数情報と非注目領域の周波数情報とを比較して積算値比Iを算出し、積算値比Iに基づいて注目領域および非注目領域におけるエッジ強調係数、ぼかし強調係数をそれぞれ算出する。そして、各エッジ強調係数、各ぼかし強調係数に基づいて注目領域、非注目領域で各エッジ強調処理、各ぼかし強調処理を行う。これによって注目領域、非注目領域のそれぞれに適したエッジ強調、ぼかし強調処理を行うことができる。例えば、注目領域の空間周波数が高く、非注目領域の空間周波数が低い場合には、注目領域においてエッジ強調処理を行い、非注目領域においてぼかし強調処理を行う。これによって、注目領域の主要被写体を際立たせることができる。
次に本発明の第3実施形態について説明する。
本発明の第3実施形態は、第1実施形態の一部と第2実施形態の特徴を有する撮像装置である。ここでは、画像分析部50と画像処理部51とについて説明する。
画像分析部50について図18を用いて説明する。図18は画像分析部50を示す概略ブロック図である。
画像分析部50は、領域選択部7と、第1領域色集計部8と、第2領域色集計部9と、色比較部52と、第1領域空間周波数特性集計部42と、第2領域空間周波数特性集計部43と、空間周波数比較部53と、彩度補正パラメータ算出部54と、空間周波数補正パラメータ算出部45とを備える。
色比較部52は、第1実施形態の比較部11と基本的には同じ構成であるが、色比較部は第2画素数比Pr2、第3画素数比Pr3の算出は行わない。
空間周波数比較部53は、第2実施形態の比較部44と同じ構成なので、ここでの説明は省略する。
彩度補正パラメータ算出部54は、色比較部52の比較結果および空間周波数比較部53の比較結果に基づいて彩度強調係数を算出する。また、空間周波数補正パラメータ算出部45は、色比較部52の比較結果および空間周波数比較部53の比較結果に基づいてエッジ強調係数およびぼかし処理係数を算出する。彩度強調係数、エッジ強調係数およびぼかし処理係数は図19に基づいて算出される。例えば、第1画素数比Pr1が第2閾値以上であり、積算値比Iが第7閾値以上である場合には、注目領域において彩度強調係数は2.0、エッジ強調係数は2.0、ぼかし処理係数は1.0である。一方、非注目領域において彩度強調係数は0.5、エッジ強調係数は1.0、ぼかし処理係数は2.0である。なお、彩度強調係数、エッジ強調係数およびぼかし処理係数は、図19に示す値に限られることはない。
画像処理部51について図20を用いて説明する。図20は、画像処理部51の概略ブロック図である。
画像処理部51は、輝度色差信号生成部18と、乗算部55と、色信号変換部56と、エッジ強調処理部46と、ぼかし処理部47とを備える。
乗算部55は、輝度色差信号生成部18によって生成された色差信号Cb、Crを彩度補正パラメータ算出部54によって算出した彩度強調係数を用いて補正する。
画像処理部51は、乗算部55において色差信号を補正し、注目領域の彩度を補正した後に、エッジ強調処理部46においてエッジ強調を行い、ぼかし処理部47においてぼかし処理を行う。
本発明の第3実施形態の効果について説明する。
画素頻度、および空間周波数に基づいて彩度強調処理、エッジ強調処理、ぼかし処理を行うので、主要被写体の状態に適した画像処理を行うことができる。そのため、効果的、かつ精度良く注目被写体主要被写体をより際立たせることができる。例えば、注目領域の彩度が高く、空間周波数が高い場合には、主要被写体は彩度が高く、かつ細かい構造の被写体であると判断することができる。そのため注目領域では、彩度強調処理と、主要被写体の構造が明確となるようにエッジ強調処理を行い、非注目領域ではぼかし処理を行う。これにより、主要被写体の構造が、よりはっきりした際立った画像を得ることができる。また、注目領域の彩度が高く、空間周波数が低い場合には、主要被写体は彩度が高くてなめらかな構造の被写体であると判断することができる。そのため注目領域の彩度強調のみを施すことで、被写体のなめらかさを損なわず、際立った画像を得ることができる。
また、注目領域の彩度を補正した後に、エッジ強調、ぼかし処理を行うことでエッジ強調およびぼかし処理を効果的に行うことができる。
なお、画像処理部によって行われる補正は、明度、色相、彩度の中から選択される2以上の情報に基づいて補正が行われてもよい。
次に本発明の第4実施形態について説明する。
本実施形態の撮像装置は、第1実施形態と比較して画像分析部60が異なっている。ここでは画像分析部60について説明する。画像分析部60において、第2実施形態と同じ構成のものについては第2実施形態と同じ符号を付し、ここでの説明は省略する。
画像分析部60について図21を用いて説明する。図21は画像分析部60を示す概略ブロック図である。
画像分析部60は、領域選択部7と、第1領域色集計部61と、第2領域色集計部9と、色重心位置算出部10と、比較部62と、特定色補正パラメータ算出部(色補正領域設定部)63と、彩度補正パラメータ算出部64とを備える。
第1領域色集計部61は、注目領域中の画素頻度に加えて、各画素の位置情報を集計する。位置情報とは、同じ画像特徴(所定の画像特徴量)を有する画素の位置情報であり、同じ画像特徴を有する画素の重心や分散や標準偏差などである。本実施形態においては、重心と分散とが位置情報として用いられる。
第1領域色集計部61は、注目領域中の画素を彩度と色相毎に振り分けを行い、また画素の位置を記憶し、彩度と色相毎に重心と分散を算出する。なお、重心と分散とは、肌色および空色についても算出される。
ここで、本実施形態における分散の算出方法について図22、23のフローチャートを用いて説明する。
ステップS100では、領域選択部7は、色相、彩度、位置情報を読み込む画素(以下、対象画素とする)をスタート位置に設定する。スタート位置は、任意に設定され、例えば撮像素子の左上を原点とした場合にはスタート位置は原点に設定される。
ステップS101では、領域選択部7は、対象画素が注目領域中の画素であるかどうか判定する。そして、対象画素が注目領域内の画素である場合にはステップS102へ進み、対象画素が非注目領域中の画素である場合にはステップS107へ進む。
ステップS102では、第1領域色集計部61は、対象画素のRGB値および座標を読み込む。座標は例えば画素の左上を原点として撮像装置を正位置とした場合の水平方向をx軸、鉛直方向をy軸として読み込まれる。
ステップS103では、第1領域色集計部61は、読み込んだRGB値から対象画素がどの彩度、色相に属するか判定する。
ステップS104では、第1領域色集計部61は、対象画素の振り分けを行う。ここでは振り分けられる彩度および色相の画素頻度に1を加算する。
ステップS105では、第1領域色集計部61は、対象画素を振り分けた色相のRGB値に、対象画素のRGB値をそれぞれ加算して累積し、注目領域の色相のRGB累積値を算出する。
ステップS106では、第1領域色集計部61は、対象画素を振り分けた色相の画素位置を加算して累積し、座標累積値を算出する。座標累積値は、x座標y座標でそれぞれ算出される。
ステップS101において対象画素が非注目領域にあると判定されると、ステップS107では、第2領域色集計部9は、対象画素のRGB値を読み込む。
ステップS108では、第2領域色集計部9は、読み込んだRGB値から対象画素がどの彩度、色相に属するか判定する。
ステップS109では、第2領域色集計部9は、対象画素の振り分けを行う。ここでは振り分けられる彩度および色相の画素頻度に1を加算する。
ステップS110では、領域選択部7は、撮像素子中の全ての画素に対して対象画素の設定を行ったかどうか判定する。つまり、ここでは全ての画素に対して読み込みを行ったかどうか判定する。そして全ての画素に対して対象画素の設定が行われた場合にはステップ112へ進み、対象画素の設定が行われていない画素がある場合にはステップS111へ進む。
ステップS111では、領域選択部7は、対象画素の位置を1画素移動させる。領域選択部7は、例えばまずy座標を固定してx座標を1画素ずらして対象画素を設定し、x座標の最後の画素に対象画素を設定した後に、y座標を1画素ずらして対象画素を設定する。そして、領域設定部7は、y座標を固定してx座標を1画素ずらして対象画素を設定する。領域選択部7は、この動作を繰り返して対象画素の位置を移動させる。
ステップS112では、第1領域色集計部61は、注目領域において彩度が第1閾値よりも高く、かつ画素数が最大となる色相を決定する。
ステップS113では、第1領域色集計部61は、注目領域において彩度が第1閾値よりも高く、かつ画素数が最大となる色相における座標重心位置を算出する。座標重心位置は、座標累積値をこの色相における画素数で割ることで算出される。
ステップS114では、色重心位置算出部10は、画素頻度が最大頻度となる色相の色重心位置を算出する。
ステップS115では、領域選択部7は、対象画素を再びスタート位置の画素に設定する。
ステップS116では、領域選択部7は、対象画素が注目領域内の画素であるかどうか判定する。そして、対象画素が注目領域内の画素である場合にはステップS118へ進み、対象画素が非注目領域中の画素である場合にはステップS117へ進む。
ステップS117では、領域選択部7は、対象画素の位置を1画素移動させる。画素を移動させる方法は、例えばステップS111と同じ方法である。
ステップS118では、第1領域色集計部61は、対象画素のRGB値および座標を読み込む。
ステップS119では、第1領域色集計部61は、注目領域において彩度が第1閾値よりも高く、かつ画素数が最大となる色相に対象画素が属するかどうか判定する。そして注目領域において彩度が第1閾値よりも高く、かつ画素数が最大となる色相に対象画素が属する場合にはステップS120へ進み、注目領域において彩度が第1閾値よりも高く、かつ画素数が最大となる色相に対象画素が属さない場合にはステップS117へ進む。
ステップS120では、第1領域色集計部61は、対象画素の位置と座標重心位置との偏差を算出する。偏差は、x座標y座標でそれぞれ算出される。
ステップS121では、領域選択部7は全ての画素に対して対象画素を設定したかどうか判定する。そして、全ての画素に対して対象画素を設定した場合にはステップS122へ進み、対象画素の設定が行われていない画素がある場合にはステップS117へ進む。
ステップS122では、第1領域色集計部61は、ステップS120によって算出した偏差に基づいて、注目領域において彩度が第1閾値よりも高く、かつ画素数が最大となる色相における分散を算出する。分散は、x座標y座標でそれぞれ算出される。
なお、ステップS115以降においては注目領域内にのみ対象画素の設定を行ってもよい。
以上の方法によって、注目領域において彩度が第1閾値よりも高く、画素数が最大となる色相、この色相における分散、および色重心位置が算出される。
第1領域色集計部61、および第2領域色集計部9における集計結果を表に表すと、例えば図24のようになる。図24(a)は第1領域色集計部61における集計結果である。図24(b)は第2領域色集計部9における集計結果である。なお、ここでは説明のために各色相における重心と分散とを示している。図24において、彩度が第1閾値よりも高い場合の重心を「(xKi、yKi)」とし、低い場合の重心を「(xLi、yLi)」とする。また彩度が第1閾値よりも高い場合の分散を「(x’Ki、y’Ki)」とし、低い場合の分散を「(x’Li、y’Li)」とする。なお、注目領域において肌色の重心および分散はそれぞれ「(xS1、yS1)」、「(x’S1、y’S1)」とする。注目領域において空色の重心および分散はそれぞれ「(xS2、yS2)」、「x’S2、y’S2」とする。ここで「i」は第1実施形態と同様に色相に対応する。
図21に戻り、比較部62は、第1画素数比Pr1、第2画素数比Pr2および第3画素数比Pr3を算出する。また、比較部62は、注目領域において彩度が第1閾値よりも高く、かつ画素数が最大となる色相の分散のx座標の値とy座標の値とを比較する。ここでは、この分散のx’Kiとy’Kiとを比較し、値が大きい方を代表分散VKiとする。代表分散VKiが小さい場合には注目領域において彩度が第1閾値よりも高く、かつ画素数が最大となる色相の画素は部分的に集中して存在している。また、代表分散VKiが大きい場合には注目領域においてこの色相の画素は点在している。
比較部62は、第2画素数比Pr2と第5閾値とを比較し、第3画素数比Pr3と第6閾値とを比較する。さらに代表分散Vkiと第8閾値とを比較する。比較した結果は、特定色補正パラメータ算出部63、および彩度補正パラメータ算出部64へ出力される。第8閾値は予め設定される値である。第8閾値は、注目領域において彩度が第1閾値よりも高く、かつ画素数が最大となる色相の画素が集中しているかまたは点在しているかどうかを判定する値である。
特定色補正パラメータ算出部63は、比較部62での比較結果に基づいて特定色彩度強調係数を算出する。特定色彩度強調係数は、図25に基づいて算出される。例えば、第1画素数比Pr1が第2閾値以上であり、第2画素数比Pr2が第5閾値以上であり、かつ代表分散VKiが第8閾値よりも小さい場合には、特定色彩度強調係数は1.5である。また、第1画素数比Pr1が第2閾値以上であり、第2画素数比Pr2が第5閾値以上であり、かつ代表分散VKiが第8閾値以上の場合には、特定色彩度強調係数は1.1である。つまり、代表分散VKiが小さく、注目領域において彩度が第1閾値よりも高く、かつ画素数が最大となる色相の画素が集中している場合には、この色相を強調するように特定色彩度強調係数は大きくなる。
彩度補正パラメータ算出部64は、比較部62での比較結果に基づいて彩度強調係数を算出する。彩度強調係数は、図25に基づいて算出される。例えば第1画素数比Pr1が第2閾値以上であり、第2画素数比Pr2が第5閾値以上であり、かつ代表分散VKiが第8閾値よりも小さい場合には、彩度強調係数は1.0である。
なお、本実施形態では位置情報として分散を使用したが、標準偏差や、重心からの距離情報などを使用してもよい。また、撮像素子で得られた画像から解像度を落とした画像を作成し、作成した画像の画素頻度を比較してばらつきを求める手法や、特定色の色相および彩度で二値化し、同値である部分の各固まりの面積、固まり間の距離情報、固まりの輪郭線長さなどによってばらつきを判定した結果を使用してもよい。
本発明の第4実施形態の効果について説明する。
注目領域における画素頻度が同じであっても、画素の状態(特定色の画素の固まり状態など)によっては、注目領域の状態は例えば図26のように異なっている。図26(a)は特定色の画素が注目領域の中央付近に集中している状態であり、図26(b)は特定色の画素が分散している状態である。図26(a)は、主要被写体が集中している場合であるため、特定色強調を大きくすることにより、主要被写体を強調できる。しかし、図26(b)は被写体が複数に分散している場合か、または色がまだらな主要被写体であるため、図26(a)の場合と同様に特定色を大きく強調するとその色のみを目立たせることになり、逆に主要被写体が目立たなくなってしまう。そのため、図26(a)の場合に比べ、図26(b)の場合は特定色補正強調は小さくし、全体的に彩度を上昇させる必要がある。
本実施形態では、注目領域において彩度が第1閾値よりも高く、かつ画素数が最大となる色相における分散を算出し、分散を用いて特定色彩度強調係数、彩度強調係数を算出する。そして、特定色彩度強調係数、彩度強調係数を用いて画像を補正する。例えば注目領域において或る色相に画素頻度が偏っており、かつその色相の画素が注目領域で一定の部分に集中している場合には、特定色彩度強調係数を大きくする。これによりその色相付近の色のみを大きく強調することができ、主要被写体を際立たせることができる。また、例えば注目領域において或る色相に画素頻度が偏っており、かつその色相の画素が注目領域で点在している場合には、特定色彩度強調係数をその色相の画素が集中している場合と比べて小さくする。これによりその色相付近の色のみが大きく強調されることによって起こりうる色拡散の錯視などによるちらつきなどを抑制することができ、主要被写体を適度に際立たせることができる。
次に本発明の第5実施形態について説明する。
本実施形態の撮像装置は、第3実施形態と比較して画像分析部70と画像処理部80が異なっている。ここでは、画像分析部70、画像処理部80について説明する。画像分析部70において、第3実施形態と同じ構成のものについては第3実施形態と同じ符号を付し、ここでの説明は省略する。
画像分析部70について図27を用いて説明する。図27は画像分析部70を示す概略ブロック図である。
画像分析部70は、領域選択部7と、第1領域テクスチャ情報集計部71と、第2領域テクスチャ情報集計部72と、比較部73と、ノイズ補正パラメータ算出部74とを備える。
第1領域テクスチャ情報集計部71は、図28に示すように第1空間周波数特性集計部75によって構成されている。本実施形態では、周波数分布からテクスチャを判断する。第1領域テクスチャ情報集計部71は、注目領域の空間周波数分布を集計し、注目領域のテクスチャを判断する。なお、テクスチャは、画像中の粒状度の情報、エッジ情報、エッジの強度ヒストグラムなどに基づいて判断してもよい。
第1領域テクスチャ情報集計部71は、図12に示すように注目領域の周波数とその周波数の頻度との関係から、注目領域において周波数が所定周波数以上となる高周波数の頻度の積算値である第1積算値Ehと、注目領域において周波数が所定周波数よりも小さい低周波数の頻度の積算値である第2積算値Elとを算出する。
第2領域テクスチャ情報集計部72は、第1領域テクスチャ情報集計部71と同様に、第2空間周波数特性集計部(図示せず)によって構成されている。第2領域テクスチャ情報集計部は、図13に示すように非注目領域の周波数とその周波数の頻度との関係から、周波数が所定周波数以上となる高周波数の頻度の積算値である第3積算値Fhと、非注目領域において周波数が所定周波数よりも小さい低周波数の頻度の積算値である第4積算値Flとを算出する。
比較部73は、第1積算値Ehと第3積算値Fhとの比である積算値比I(=Eh/Fh)を算出し、積算値比Iと第9閾値とを比較する。第9閾値は、予め設定される値であり、積算値比Iが第9閾値以上の場合には、注目領域の質感は非注目領域の質感と比較して、例えば凹凸が多くザラザラ感が大きいと判断される。また、比較部73は、第3積算値Fhと第10閾値とを比較する。第10閾値は、予め設定される値であり、非注目領域の質感を判定する値である。第3積算値Fhが第10閾値以上の場合には、非注目領域の質感は、例えば凹凸が少なく、ザラザラ感が小さい(以下、この質感をのっぺり感という)と判断される。比較した結果はノイズ補正パラメータ算出部74に出力される。
ノイズ補正パラメータ算出部74は、比較部73の比較結果に基づいてノイズ補正係数を算出する。ノイズ補正係数は、注目領域、非注目領域でそれぞれ算出される。ノイズ補正係数は、1.0よりも大きい場合にはランダムノイズの付加量を表し、数値が大きくなるほどノイズ付加が大きくなる。また、ノイズ補正係数は、1.0よりも小さい場合にはノイズリダクションの強さを表し、数値が小さくなるほどノイズリダクションが強くなる。
ノイズ補正係数は、積算値比Iおよび第3積算値Fhに応じて図29に基づいて算出される。例えば積算値比Iが第9閾値以上であり、かつ第3積算値Fhが第10閾値以上の場合には、注目領域のノイズ補正係数は1.2であり、非注目領域のノイズ補正係数は0.8である。つまり、この場合には注目領域ではノイズが付加され、非注目領域ではノイズが低減される。
積算値比Iが大きい場合は、例えば注目領域の質感が非注目領域の質感よりもザラザラ感が高い。そのため、積算値比Iが大きい場合には、注目領域のノイズ補正係数を大きくし、非注目領域のノイズ補正係数を小さくすることで、注目領域のザラザラ感が強調される。
画像処理部80は、図30に示すようにノイズ補正処理部81を備えている。ノイズ補正処理部81は、ノイズ補正係数に基づいて注目領域および非注目領域においてノイズ処理を行う。
本発明の第5実施形態の効果について説明する。
注目領域と非注目領域との各テクスチャ情報に基づいて、注目領域におけるノイズ補正係数と非注目領域におけるノイズ補正係数とを算出する。そして、算出した各ノイズ補正係数に基づいて画像を補正することで、注目領域の質感を強調した補正を行うことができる。
例えば注目領域の質感が、非注目領域の質感よりもザラザラ感が大きい場合には、注目領域にノイズ付加処理を行うことで、注目領域においてザラザラ感を強調した補正を行うことができる。一方、例えば注目領域の質感が、非注目領域の質感よりものっぺり感が強い場合には、注目領域にノイズリダクション処理を行うことで、注目領域においてザラザラ感を抑制し、のっぺり感を強調した補正を行うことができる。
また、例えば非注目領域において、ザラザラ感が小さい場合には、ザラザラ感が大きい場合と比較して注目領域のノイズ付加量を大きくする。これによって、注目領域のザラザラ感を強調した補正を行うことができる。
次に本発明の第6実施形態について説明する。
本実施形態の撮像装置は、第1実施形態と比較して画像分析部90と画像処理部120とが異なっている。ここでは画像分析部90と画像処理部120とについて説明する。画像分析部90、画像処理部120において、第1実施形態と同じ構成のものについては第1実施形態と同じ符号を付し、ここでの説明は省略する。
画像分析部90について図31を用いて説明する。図31は画像分析部90を示す概略ブロック図である。
画像分析部90は、領域選択部7と、第1領域色集計部91と、第2領域色集計部92と、比較部93と、特定色補正パラメータ算出部94と、彩度強調パラメータ算出部95と、色重心位置算出部96とを備える。
第1領域色集計部91は、図32に示すように色相判定部100と、色相別ヒストグラム集計部101とを備える。
色相判定部100は、注目領域中の画素頻度を集計する。
色相別ヒストグラム集計部101は、画素頻度の彩度ヒストグラムを作成する。彩度ヒストグラムは、彩度が第1閾値よりも高いかどうかに関係なく、色相別に作成される。また、色相別ヒストグラム集計部101は、各色相における最頻値Hiを算出する。本実施形態では、まず、作成した彩度ヒストグラム中で画素頻度が最も大きい値が仮最頻値として設定される。そして、この仮最頻値が以下の(1)〜(3)の条件を全て満たす場合に、仮最頻値が最頻値Hiとして算出される。
(1)仮最頻値は第1四分位値(最小値と中央値との中心値)以上である。
(2)仮最頻値は第3四分位値(中央値と最大値との中心値)以下である。
(3)仮最頻値付近の積算値が第11閾値よりも大きい。仮最頻値付近の積算値は、仮最頻値から所定範囲内の画素頻度を積算した値である。第11閾値は予め設定された値である。仮最頻値が(1)〜(3)の条件のいずれかを満たさない場合には、画素頻度がその次に大きい値が仮最頻値として設定される。
例えば、図33に示す彩度ヒストグラムの場合には、まず最大値と第3四分位値との間にある画素頻度の第1ピーク値が一番大きいので、第1ピーク値が仮最頻値として設定される。しかし、この仮最頻値は第3四分位値よりも大きいので、最頻値Hiとしては設定されない。次に最小値と第1四分位値との間にある画素頻度の第2ピーク値が仮最頻値として設定される。しかし、この仮最頻値は第1四分位値よりも小さいので、最頻値Hiとしては設定されない。次に中央値付近にある画素頻度の第3ピーク値が仮最頻値として設定される。この仮最頻値は、第1四分位値以上であり、かつ第3四分位値以下である。さらに仮最頻値付近の積算値が第11閾値よりも大きい。従って、この仮最頻値が最頻値Hiとして算出される。
第1領域色集計部91における集計結果を表に表すと、例えば図34のようになる。図34は第1領域色集計部91における集計結果である。図34において、各色相における最頻値を「Hi」とする。ここで「i」は第1実施形態と同様に色相に対応する。また、色相別ヒストグラム集計部101は、彩度ヒストグラムから色相における標準偏差σを算出する。この標準偏差σは彩度には関係がなく、色相毎に算出される。
比較部93は、第1画素数比Pr1、第2画素数比Pr2および第3画素数比Pr3を算出する。また、比較部93は、画素数が最大となる色相の最頻値Hiと、第12閾値と第13閾値とを比較する。ここで、第12閾値は第1閾値よりも小さい値であり、第13閾値は第1閾値よりも大きい値であり、第12閾値および第13閾値は予め設定される。
特定色補正パラメータ算出部94は、比較部93での比較結果に基づいて特定色彩度強調係数を算出する。特定色彩度強調係数は、図35に基づいて算出される。例えば、第1画素数比Pr1が第2閾値以上であり、第2画素数比Pr2が第5閾値以上であり、かつ最頻値Hiが第13閾値よりも大きい場合には、特定色彩度強調係数は、1.6となる。また、第1画素数比Pr1が第2閾値以上であり、第2画素数比Pr2が第5閾値以上であり、かつ最頻値Hiが第12閾値以上第13閾値以下である場合には、特定色彩度強調係数は1.1となる。これらの例のように他の条件が同じであっても、最頻値Hiの値によって特定彩度強調係数の値を変更する。最頻値Hiが第13閾値よりも大きい場合には、注目領域の彩度が大きいので、特定色を強調するために特定色彩度強調係数は大きくなる。また、最頻値Hiが第12閾値以上第13閾値以下である場合には、注目領域の彩度がさほど大きくないので、特定色が大きく色強調されると本来ならば連続する色の変化は色の境目が大きくなる可能性がある。そのため、特定色彩度強調係数を最頻値Hiが第13閾値よりも大きい場合と比較して小さくする。
特定色補正パラメータ算出部94は、色重心位置と、特定色彩度強調係数とに基づいて第1色補正量を算出する。第1色補正量は式(3)によって算出される。
また、特定色補正パラメータ算出部94は、色重心位置と、標準偏差σとに基づいて色補正領域を算出する。
色補正領域は、
色補正領域=色重心位置±σ・・・式(5)
によって算出される。
彩度強調パラメータ算出部95は、比較部93での比較結果に基づいて彩度強調係数を算出する。彩度強調係数は、図35に基づいて算出される。例えば、第1画素数比Pr1が第2閾値よりも小さく、第2画素数比Pr2が第5閾値よりも小さく、かつ最頻値Hiが第12閾値以上であり第13閾値以下である場合には、彩度強調係数は0.7である。また、第1画素数比Pr1が第2閾値よりも小さく、第2画素数比Pr2が第5閾値よりも小さく、かつ最頻値Hiが第13閾値よりも大きい場合には、彩度強調係数は1.0である。
次に画像処理部120について図36を用いて説明する。図36は画像処理部120を示す概略ブロック図である。画像処理部120は、輝度色差信号生成部16と、重み係数算出部121と、第1乗算部25と、第1加算部26と、第2加算部27と、第2乗算部28と、色信号変換部29とを備える。
重み係数算出部121は彩度強調パラメータ算出部95によって算出された色補正領域に基づいて重み係数を算出する。なお、重み係数の算出方法については、第1実施形態と同様である。
本実施形態では、最大値、最小値、第1四分位値および第3四分位値を用いて最頻Hiを設定したが、これらを用いずに彩度ヒストグラム中で画素頻度が最も高い値を最頻値Hiとして設定してもよい。また、最頻値Hiを設定する場合に、平均値を用いて最頻値Hiを補正してもよい。最頻値Hiと平均値とのずれが大きい場合には、平均値を考量して最頻値Hiを補正する。
本発明の第6実施形態の効果について説明する。
注目領域において彩度ヒストグラムを作成し、彩度ヒストグラムの統計情報に基づいて彩度強調係数および特定色彩度強調係数を算出する。そして、算出した彩度強調係数および特定色彩度強調係数を用いて画像を補正することで、主要被写体を適切に際立たせることができる。例えば、注目領域で或る色相に画素頻度が偏っており、かつ彩度ヒストグラムの最頻値Hiが第13閾値よりも大きい場合には、注目領域において或る色相は彩度が大きい画素が多いと判断できる。そのため、特定彩度強調係数を大きくし、その色相の色を大きく強調することで、主張被写体を際立たせることができる。一方、注目領域で或る色相に画素頻度が偏っている場合でも、彩度ヒストグラムの最頻値Hiが第12閾値以上第13閾値以下の場合には、注目領域において或る色相は彩度が中程度の画素が多いと判断できる。そのため、特定彩度強調係数を大きくした場合にはその色相において色の境目が大きくなる可能性があるので、特定彩度強調係数を大きくせずに色の境目が大きくならないような色調整を行う。
また、色相における標準偏差σを算出し、標準偏差σを用いて色補正領域を設定することで、よりなめらかな色補正を行うことができる。
なお、上記する実施形態を組み合わせることも可能である。また、図7などに示す彩度強調係数などは一例であり、これらの数値に限定されるものではない。

なお、上記実施形態を組み合わせることも可能である。
上記撮像装置は、デジタルカメラ、デジタルビデオカメラ、電子内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に搭載することが可能である。
また、上述した実施形態の説明では、撮像装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。
この場合、撮像装置は、CPU、RAM等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読取り可能な記憶媒体を備える。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、CPUが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上記撮像装置と同様の処理を実現させる。
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。
1 撮像素子(画像取得部)
2、40、50、60、70、90 画像分析部
3、41、51、120 画像処理部(画像特徴調整部)
6 撮像制御部
7 領域選択部
8、61、91 第1領域色集計部(画像特徴量算出部)
9、92 第2領域色集計部(画像特徴量算出部)
10、96 色重心位置算出部
11、44、62、73、93 比較部
12、63、94 特性色補正パラメータ算出部(色補正領域設定部)
13、54、64、95 彩度補正パラメータ算出部
16 注目領域設定部(領域設定部)
17 領域判定部(領域設定部)
19、121 重み係数算出部(重み算出部)
20 第1乗算部(色補正量設定部)
21 第1加算部(特定色補正部)
22 第2加算部(特定色補正部)
23 第2乗算部
42、75 第1領域空間周波数特性集計部
43 第2領域空間周波数特性集計部
45 空間周波数補正パラメータ算出部(補正係数算出部)
46 エッジ強調処理部
47 ぼかし処理部
52 色比較部
53 空間周波数比較部
55 乗算部
71 第1領域テクスチャ情報集計部
72 第2領域テクスチャ情報集計部
74 ノイズ補正パラメータ算出部
101 色相別ヒストグラム集計部(ヒストグラム集計部)

Claims (18)

  1. 取得した画像に対して補正を行う画像処理装置であって、
    画像を取得する画像取得部と、
    主要被写体を含む第1領域と前記主要被写体を含まない第2領域とを前記画像上に設定する領域設定部と、
    前記第1領域および前記第2領域における第1の画像特徴量をそれぞれ算出する画像特徴量算出部と、
    前記第1領域および前記第2領域における前記第1の画像特徴量を比較し、かつ、前記第1領域における色相の偏りを判定する比較部と、
    前記第1領域において、彩度又は明度が第1の閾値よりも大きく、かつ最も多い色相における色重心位置を算出する色重心位置算出部と、
    前記色重心位置に基づいて、補正する色の範囲である色補正領域を設定する色補正領域設定部と、
    前記比較部による比較結果に基づいて、前記第1領域における前記第1の画像特徴量が前記第2領域における前記第1の画像特徴量以上であり、かつ、前記第1領域における色相が偏っていると判定された場合、前記色補正領域設定部によって設定された前記色補正領域に属する色の彩度又は明度を強調する補正をする特定色補正部と、
    を備え
    前記第1の画像特徴量は、前記第1の閾値よりも高彩度又は高明度となる画素の画素数であることを特徴とする画像処理装置。
  2. 前記第1領域は、画像中央領域、合焦領域、顔検出領域のいずれか1つを含むことを特徴とする請求項1に記載の画像処理装置。
  3. 前記色重心位置に基づいて、前記色補正領域に属する色に対する重みを算出する重み算出部と、
    前記重みに基づいて、前記色補正領域に属する色の色補正量を設定する色補正量設定部と、を備え、
    前記特定色補正部は、前記色補正量設定部によって設定された前記色補正量に基づいて補正することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記画像特徴量算出部は、前記第1領域で前記第1の画像特徴量を有する画素の位置情報を算出し、
    前記色補正領域設定部は、前記位置情報に基づいて、前記画素のばらつきが小さい場合には、前記画素のばらつきが大きい場合より、前記色補正領域設定部で設定する特定色彩度強調係数を大きく設定することを特徴とする請求項1から3のいずれか1つに記載の画像処理装置。
  5. 前記画像特徴量算出部は、前記第1領域における彩度ヒストグラムの統計情報を算出するヒストグラム集計部を備え、
    前記ヒストグラム集計部は、前記第1領域における画素の最頻値を算出し、
    前記比較部は、前記最頻値と、第2の閾値とを比較し、
    前記色補正領域設定部は、前記比較部による比較結果に基づいて、前記最頻値が前記第2の閾値よりも大きい場合には、前記最頻値が前記第2の閾値よりも小さい場合よりも、前記色補正領域設定部で設定する特定色彩度強調係数を大きく設定することを特徴とする請求項1から4のいずれか1つに記載の画像処理装置。
  6. 前記比較部は、前記第1領域および前記第2領域における前記第1の画像特徴量の比(=前記第1領域における第1の画像特徴量/前記第2領域における第1の画像特徴量)を算出し、前記比が第3の閾値以上であるかを判定し、
    前記特定色補正部は、前記比較部による比較結果に基づいて、前記比が前記第3の閾値以上であり、かつ、前記第1領域における色相が偏っていると判定された場合、前記色補正領域設定部によって設定された前記色補正領域に属する色の彩度又は明度を強調する補正をすることを特徴とする請求項1から5のいずれか一つに記載の画像処理装置。
  7. 取得した画像をコンピュータで処理するための画像処理プログラムであって、前記コンピュータに、
    画像を取得する画像取得手順と、
    主要被写体を含む第1領域と前記主要被写体を含まない第2領域とを前記画像上に設定する領域設定手順と、
    前記第1領域および第2領域における第1の画像特徴量をそれぞれ算出する画像特徴量算出手順と、
    前記第1領域および前記第2領域における前記第1の画像特徴量とを比較し、かつ、前記第1領域における色相の偏りを判定する比較手順と、
    前記第1領域において、彩度又は明度が第1の閾値よりも大きく、かつ最も多い色相における色重心位置を算出する色重心位置算出手順と、
    前記色重心位置に基づいて、補正する色の範囲である色補正領域を設定する色補正領域設定手順と、
    前記比較手順による比較結果に基づいて、前記第1領域における前記第1の画像特徴量が前記第2領域における前記第1の画像特徴量以上であり、かつ、前記第1領域における色相が偏っていると判定された場合、前記色補正領域設定手順によって設定された前記色補正領域に属する色の彩度又は明度を強調する補正をする特定色補正手順と、を実行させ、
    前記第1の画像特徴量は、前記第1の閾値よりも高彩度又は高明度となる画素の画素数であることを特徴とする画像処理プログラム。
  8. 前記第1領域は、画像中央領域、合焦領域、顔検出領域のいずれか1つを含むことを特徴とする請求項7に記載の画像処理プログラム。
  9. 前記コンピュータに、
    前記色重心位置に基づいて、前記色補正領域に属する色に対する重みを算出する重み算出手順と、
    前記重みに基づいて、前記色補正領域に属する色の色補正量を設定する色補正量設定手順と、を実行させ、
    前記特定色補正手順では、前記色補正量設定手順によって設定された前記色補正量に基づいて彩度又は明度が補正されることを特徴とする請求項7または8に記載の画像処理プログラム。
  10. 前記画像特徴量算出手順では、前記第1領域で前記第1の画像特徴量を有する画素の位置情報が算出され、
    前記色補正領域設定手順では、前記位置情報に基づいて、前記画素のばらつきが小さい場合には、前記画素のばらつきが大きい場合より、特定色彩度強調係数が大きく設定されることを特徴とする請求項7から9のいずれか1つに記載の画像処理プログラム。
  11. 前記画像特徴量算出手順は、前記第1領域における彩度ヒストグラムの統計情報を算出するヒストグラム集計手順を備え、
    前記ヒストグラム集計手順では、前記第1領域における画素の最頻値が算出され、
    前記比較手順では、前記最頻値と、第2の閾値とが比較され、
    前記色補正領域設定手順では、前記比較手順による比較結果に基づいて、前記最頻値が前記第2の閾値よりも大きい場合には、前記最頻値が前記第2の閾値よりも小さい場合よりも、前記色補正領域設定手順で設定される特定色彩度強調係数が大きく設定されることを特徴とする請求項7から10のいずれか1つに記載の画像処理プログラム。
  12. 前記比較手順では、前記第1領域および前記第2領域における前記第1の画像特徴量の比(=前記第1領域における第1の画像特徴量/前記第2領域における第1の画像特徴量)が算出され、前記比が第3の閾値以上であるか判定され、
    前記特定色補正手順では、前記比較手順による比較結果に基づいて、前記比が前記第3の閾値以上であり、かつ、前記第1領域における色相が偏っていると判定された場合、前記色補正領域設定手順によって設定された前記色補正領域に属する色の彩度又は明度を強調する補正がされることを特徴とする請求項7から11のいずれか一つに記載の画像処理プログラム。
  13. 取得した画像に対して補正を行う画像処理方法であって、
    画像を取得し、
    主要被写体を含む第1領域と前記主要被写体を含まない第2領域とを前記画像上に設定し、
    前記第1領域および第2領域における第1の画像特徴量をそれぞれ算出し、
    前記第1領域および前記第2領域における前記第1の画像特徴量を比較し、かつ、前記第1領域における色相の偏りを判定し、
    前記第1領域において、彩度又は明度が第1の閾値よりも大きく、かつ最も多い色相における色重心位置を算出し、
    前記色重心位置に基づいて、補正する色の範囲である色補正領域を設定し、
    比較結果に基づいて、前記第1領域における前記第1の画像特徴量が前記第2領域における前記第1の画像特徴量以上であり、かつ、前記第1領域における色相が偏っていると判定された場合、設定された前記色補正領域に属する色の彩度又は明度を強調する補正をし、
    前記第1の画像特徴量は、前記第1の閾値よりも高彩度又は高明度となる画素の画素数であることを特徴とする画像処理方法。
  14. 前記第1領域は、画像中央領域、合焦領域、顔検出領域のいずれか1つを含むことを特徴とする請求項13に記載の画像処理方法。
  15. 前記色重心位置に基づいて、前記色補正領域に属する色に対する重みを算出し、
    前記重みに基づいて、前記色補正領域に属する色の色補正量を設定し、
    設定された前記色補正領域に属する色の彩度又は明度は、設定された前記色補正量に基づいて補正されることを特徴とする請求項13または14に記載の画像処理方法。
  16. 前記第1の画像特徴量を算出する場合には、前記第1領域で前記第1の画像特徴量を有する画素の位置情報を算出し、
    前記色補正領域を設定する場合には、前記位置情報に基づいて、前記画素のばらつきが小さい場合には、前記画素のばらつきが大きい場合より、特定色彩度強調係数が大きく設定されることを特徴とする請求項13から15のいずれか1つに記載の画像処理方法。
  17. 前記第1の画像特徴量を算出する場合には、前記第1領域における彩度ヒストグラムの統計情報が算出され、前記第1領域における画素の最頻値が算出され、
    前記最頻値と、第2の閾値とを比較し、
    前記色補正領域を設定する場合には、比較結果に基づいて、前記最頻値が前記第2の閾値よりも大きい場合には、前記最頻値が前記第2の閾値よりも小さい場合よりも、特定色彩度強調係数を大きく設定することを特徴とする請求項13から16のいずれか1つに記載の画像処理方法。
  18. 前記第1領域および前記第2領域における前記第1の画像特徴量を比較する場合には、前記第1領域および前記第2領域における前記第1の画像特徴量の比(=前記第1領域における第1の画像特徴量/前記第2領域における第1の画像特徴量)を算出し、前記比が第3の閾値以上であるかを判定し、
    比較結果に基づいて、前記比が前記第3の閾値以上であり、かつ、前記第1領域における色相が偏っていると判定された場合、設定された前記色補正領域に属する色の彩度又は明度を強調する補正をすることを特徴とする請求項13から17のいずれか一つに記載の画像処理方法。
JP2010203106A 2009-10-15 2010-09-10 画像処理装置、画像処理方法および画像処理プログラム Expired - Fee Related JP5683882B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010203106A JP5683882B2 (ja) 2009-10-15 2010-09-10 画像処理装置、画像処理方法および画像処理プログラム
US12/905,389 US8723982B2 (en) 2009-10-15 2010-10-15 Image processing device, storage medium, and image processing method that corrects saturation, specific color and spatial frequency of an obtained image
CN201010517404.XA CN102045489B (zh) 2009-10-15 2010-10-15 图像处理装置以及图像处理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009238539 2009-10-15
JP2009238539 2009-10-15
JP2010203106A JP5683882B2 (ja) 2009-10-15 2010-09-10 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2011103640A JP2011103640A (ja) 2011-05-26
JP5683882B2 true JP5683882B2 (ja) 2015-03-11

Family

ID=43879009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010203106A Expired - Fee Related JP5683882B2 (ja) 2009-10-15 2010-09-10 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US8723982B2 (ja)
JP (1) JP5683882B2 (ja)
CN (1) CN102045489B (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5412953B2 (ja) * 2009-05-20 2014-02-12 リコーイメージング株式会社 撮像装置
WO2012049845A1 (ja) * 2010-10-12 2012-04-19 パナソニック株式会社 色信号処理装置
JP5950652B2 (ja) * 2011-04-08 2016-07-13 ローム株式会社 画像処理回路、半導体装置、画像処理装置
US8957999B2 (en) * 2011-04-27 2015-02-17 Aptina Imaging Corporation Method of selective aperture sharpening and halo suppression using chroma zones in CMOS imagers
JP2013197892A (ja) * 2012-03-19 2013-09-30 Fujitsu Ltd 被写体認識装置、被写体認識方法及び被写体認識用コンピュータプログラム
JP5904878B2 (ja) * 2012-05-30 2016-04-20 オリンパス株式会社 画像処理装置
JP6124518B2 (ja) * 2012-06-28 2017-05-10 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US8929650B2 (en) * 2012-11-28 2015-01-06 International Business Machines Corporation Image color correction
JP6094359B2 (ja) * 2013-04-23 2017-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US9591211B2 (en) 2013-05-10 2017-03-07 Huawei Technologies Co., Ltd. Photographing method and apparatus
CN104144289B (zh) * 2013-05-10 2018-02-06 华为技术有限公司 拍照方法及装置
TWI510101B (zh) * 2013-09-12 2015-11-21 Au Optronics Corp 飽和度調整方法與色彩調整系統
JP6362068B2 (ja) * 2014-02-17 2018-07-25 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法、およびプログラム
RU2707728C2 (ru) * 2015-01-09 2019-11-28 Конинклейке Филипс Н.В. Обработка изображения с изменением степени яркости при постоянстве цвета
JP2017010255A (ja) * 2015-06-22 2017-01-12 オリンパス株式会社 画像認識装置および画像認識方法
WO2017169650A1 (ja) * 2016-03-31 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、映像移動補正方法及び医療用観察システム
WO2018150768A1 (ja) * 2017-02-20 2018-08-23 ソニー株式会社 測光装置、測光方法、プログラムおよび撮像装置
CN107516298B (zh) * 2017-07-21 2020-04-03 安徽航天生物科技股份有限公司 一种内窥镜影像处理方法
JP7051365B2 (ja) * 2017-10-17 2022-04-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
EP3864833A4 (en) * 2018-12-18 2022-03-02 Hewlett-Packard Development Company, L.P. COLOR ADJUSTMENT SYSTEM AND METHOD
CN109949301B (zh) * 2019-03-26 2021-05-18 合肥工业大学 无线内窥镜摄像照明系统
US11935275B2 (en) * 2019-05-30 2024-03-19 Panasonic Intellectual Property Management Co., Ltd. Image processing method, image processing device, and recording medium

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224607A (ja) 1999-01-28 2000-08-11 Matsushita Electric Ind Co Ltd 画像処理装置
JP4375781B2 (ja) * 2002-11-29 2009-12-02 株式会社リコー 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
JP4277534B2 (ja) * 2003-02-12 2009-06-10 オムロン株式会社 画像編集装置および画像編集方法
JP3880553B2 (ja) * 2003-07-31 2007-02-14 キヤノン株式会社 画像処理方法および装置
JP4424216B2 (ja) * 2004-03-30 2010-03-03 セイコーエプソン株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP2006011685A (ja) * 2004-06-24 2006-01-12 Noritsu Koki Co Ltd 写真画像処理方法及びその装置
JP2006014016A (ja) * 2004-06-28 2006-01-12 Seiko Epson Corp 自動画像補正回路
JP2006203841A (ja) * 2004-12-24 2006-08-03 Sharp Corp 画像処理装置、カメラ装置、画像出力装置、画像処理方法、色補正処理プログラムおよび可読記録媒体
JP2006195651A (ja) * 2005-01-12 2006-07-27 Sanyo Electric Co Ltd 階調補正装置
CN101151883B (zh) * 2005-03-31 2010-04-07 松下电器产业株式会社 显示图象处理方法、图象处理方法及装置、含图象处理装置的集成电路
JP4537255B2 (ja) * 2005-04-28 2010-09-01 富士フイルム株式会社 撮像装置および撮像方法
JP4595705B2 (ja) * 2005-06-22 2010-12-08 オムロン株式会社 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP4063290B2 (ja) * 2005-07-25 2008-03-19 ブラザー工業株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
CN101297545B (zh) * 2005-10-28 2012-05-02 株式会社尼康 摄影装置、图像处理装置
JP4345757B2 (ja) * 2006-02-22 2009-10-14 セイコーエプソン株式会社 画像データの色の補正
JP4848965B2 (ja) * 2007-01-26 2011-12-28 株式会社ニコン 撮像装置
JP4769847B2 (ja) * 2008-06-25 2011-09-07 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに、コンピュータ読み取り可能な記憶媒体
US8525899B2 (en) * 2010-05-27 2013-09-03 Canon Kabushiki Kaisha Image-capturing device, user interface and method for selective color balance adjustment

Also Published As

Publication number Publication date
CN102045489A (zh) 2011-05-04
US8723982B2 (en) 2014-05-13
JP2011103640A (ja) 2011-05-26
CN102045489B (zh) 2015-04-01
US20110090369A1 (en) 2011-04-21

Similar Documents

Publication Publication Date Title
JP5683882B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5669489B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US8526761B2 (en) Image processing apparatus and image sensing apparatus
JP4154847B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
US10565742B1 (en) Image processing method and apparatus
TWI602152B (zh) 影像擷取裝置及其影像處理方法
JP3762725B2 (ja) 撮像システムおよび画像処理プログラム
TWI511559B (zh) 影像處理方法
US8274583B2 (en) Radially-based chroma noise reduction for cameras
US8970745B2 (en) Image processing device, image processing method and storage medium to suppress shading of images in which pixel addition processing is performed
JP6074254B2 (ja) 画像処理装置およびその制御方法
JP2003199123A (ja) 動画におけるフリッカ補正
US20140184853A1 (en) Image processing apparatus, image processing method, and image processing program
US8189066B2 (en) Image processing apparatus, image processing method, and computer-readable medium
JP5414691B2 (ja) 画像処理装置及び画像処理方法
EP1365580A1 (en) Image processing circuit
JP5439210B2 (ja) 画像処理装置
JP2005025448A (ja) 信号処理装置、信号処理プログラム、および電子カメラ
JP7423033B2 (ja) 画像信号処理方法
TW202021330A (zh) 圖像縮放方法和裝置
JP2003224859A (ja) 画像処理装置、画像処理方法およびプログラム
JP5743456B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP4014399B2 (ja) ノイズリダクション装置および方法
CN112422940A (zh) 一种自适应颜色校正方法
JP6200687B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110706

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150114

R150 Certificate of patent or registration of utility model

Ref document number: 5683882

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees