JP4803178B2 - 画像処理装置、コンピュータプログラム製品および画像処理方法 - Google Patents

画像処理装置、コンピュータプログラム製品および画像処理方法 Download PDF

Info

Publication number
JP4803178B2
JP4803178B2 JP2007521304A JP2007521304A JP4803178B2 JP 4803178 B2 JP4803178 B2 JP 4803178B2 JP 2007521304 A JP2007521304 A JP 2007521304A JP 2007521304 A JP2007521304 A JP 2007521304A JP 4803178 B2 JP4803178 B2 JP 4803178B2
Authority
JP
Japan
Prior art keywords
color component
signal
saturated
region
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007521304A
Other languages
English (en)
Other versions
JPWO2006134923A1 (ja
Inventor
茂 土井田
英明 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007521304A priority Critical patent/JP4803178B2/ja
Publication of JPWO2006134923A1 publication Critical patent/JPWO2006134923A1/ja
Application granted granted Critical
Publication of JP4803178B2 publication Critical patent/JP4803178B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、電子画像に対する画像処理に関する。
被写体像を撮像して撮像信号を出力する撮像素子は、素子を構成する画素に一定レベル以上の強い光が入射されると、当該画素からの出力信号が飽和する。飽和した画素からの信号値は全て飽和レベルとして扱われるため、いわゆる白とび画像として観察される。このような画素の飽和を避けるため、撮像素子に異なる撮像感度の受光素子群を併存させ、撮像感度が高い側の受光素子からの出力信号が飽和した場合には撮像感度が低い側の受光素子からの出力信号を用いることにより、白とび画像の発生を抑える技術が特許文献1に開示されている。
特開2000−125209号公報
撮像感度が高い受光素子群と撮像感度が低い受光素子群とを撮像素子に併存させることはコスト上昇の要因になる。そこで、この様な高感度と低感度の受光素子を併存させた特殊な撮像素子ではなく、一種類の撮像感度を持つ受光素子群で構成された一般的な撮像素子で撮像された画像について、画素の飽和が発生している場合には当該飽和画素からの飽和信号を補正する技術が望まれる。
請求項の発明による画像処理装置は、画素に対応する所定の表色系の色成分信号で表される画像から、飽和画素に対応する飽和領域を抽出する飽和領域抽出部と、前記画像の前記飽和領域と接する領域に含まれる画素に対応する色成分信号から複数の色成分信号の信号比率を取得する色成分比率取得部と、前記飽和領域に含まれる前記飽和画素の複数の色成分信号の信号比率を、前記色成分比率取得部が取得した複数の色成分信号の信号比率に近づけるように、前記飽和領域の各画素の色成分信号を変更する色成分信号変更部とを備えることを特徴とする
請求項の発明は、請求項1の画像処理装置において、前記画像を表す色成分信号は、RAW形式のデータであることを特徴とする
請求項の発明は、請求項1または2の画像処理装置において、前記飽和画素は、当該画素とその隣接する画素群において、対応する複数の色成分信号のうち少なくとも1つの色成分信号が飽和している画素であることを特徴とする
請求項の発明は、請求項1〜3のいずれかの画像処理装置において、前記飽和領域抽出部は、前記画像の肌色領域から前記飽和領域を抽出することを特徴とする
請求項5の発明は、請求項1〜4のいずれかの画像処理装置において、前記色成分信号変更部は、前記飽和画素に対応する複数の色成分信号の全てが飽和しているか否かを判断し、全てが飽和している場合に、前記複数の色成分信号の中で前記飽和領域の範囲が最も狭い色成分の信号を基準信号とし、この基準信号を前記画像の前記飽和領域と接する領域に含まれる画素に対応する色成分信号を用いて算出し、前記算出した基準信号と前記複数の色成分信号の信号比率とに基づいて前記飽和画素に対応する色成分信号を変更することを特徴とする
請求項6の発明は、請求項5の画像処理装置において、前記色成分信号変更部は、前記飽和画素に対応する複数の色成分信号の中で飽和していない色成分信号が存在する場合、前記色成分信号の中で最も信号値が小さい色成分の信号を基準信号とし、この基準信号と前記複数の色成分信号の信号比率とに基づいて前記飽和画素に対応する色成分信号を変更することを特徴とする
請求項7の発明は、請求項5または6の画像処理装置において、前記色成分信号変更部によって色成分信号が変更された場合、前記変更後の色成分信号で表される画像の輝度レベルを低下させる輝度低下部をさらに備えることを特徴とする
請求項8の発明は、請求項5または6の画像処理装置において、前記色成分信号変更部によって色成分信号が変更された場合、前記飽和領域および当該飽和領域と接する領域間において前記色成分信号が徐々に変化するように前記色成分信号を平滑化する平滑化部をさらに備えることを特徴とする
請求項9の発明によるコンピュータ読み込み可能なコンピュータプログラム製品は、画像処理プログラムを有し、該画像処理プログラムは、画素に対応する所定の表色系の色成分信号で表される画像から、飽和画素に対応する飽和領域を抽出する飽和領域抽出命令と、前記画像の前記飽和領域と接する領域に含まれる画素に対応する色成分信号から複数の色成分信号の信号比率を取得する色成分比率取得命令と、前記飽和領域に含まれる前記飽和画素の複数の色成分信号の信号比率を、前記取得した複数の色成分信号の信号比率に近づけるように、前記飽和領域の各画素の色成分信号を変更する色成分信号変更命令とを有することを特徴とする
請求項10の発明による画像処理方法は、画素に対応する所定の表色系の色成分信号で表される画像から、飽和画素に対応する飽和領域を抽出し、前記画像の前記飽和領域と接する領域に含まれる画素に対応する色成分信号から複数の色成分信号の信号比率を取得し、前記飽和領域に含まれる前記飽和画素の複数の色成分信号の信号比率を、前記取得した複数の色成分信号の信号比率に近づけるように、前記飽和領域の各画素の色成分信号を変更することを特徴とする
本発明によれば、撮像されたカラー画像に含まれる飽和領域の画素を補正できる。
画像処理プログラムの処理の流れを説明するフローチャートである。 プログラムを実行するコンピュータ装置を説明する図である。 カラー電子画像の飽和領域を説明する図である。 飽和領域βおよび飽和領域βに含まれる画素の色成分信号を説明する図である。 飽和領域αと飽和領域βおよびこれら飽和領域αと飽和領域βに含まれる画素の色成分信号を説明する図である。 図5のB色成分信号を抜粋した図である。 ステップS9の処理を説明する図である。 推定された画素の色成分信号の分布を説明する図である。 ステップS11の処理を説明する図である。 電子カメラの構成を示す図である。
本発明による画像処理装置は、カラー電子画像の信号に含まれる飽和信号を補正する。画像処理装置が補正処理の対象とする電子カラー画像は、たとえば、CCDイメージセンサなどで構成される撮像装置によって撮像されたものである。撮像装置は、イメージセンサの撮像面上に結像された被写体像を撮像し、撮像装置から出力される画像信号は、各画素に入射される光の強さに応じてその信号レベルが異なる。
撮像装置の撮像面には、たとえば、R(赤)、G(緑)およびB(青)のフィルタがベイヤー配列された色分解フィルタが、イメージセンサのそれぞれの受光素子の位置に対応するように設けられている。撮像装置が上記色分解フィルタを通して被写体像を撮像するため、撮像装置から出力される信号は1画素当たりRGBのいずれか1つの色成分の情報を有する。すなわち、R色フィルタに対応する画素からはR色の信号が出力され、G色フィルタに対応する画素からはG色の信号が出力され、B色フィルタに対応する画素からはB色の信号が出力される。
一般に、イメージセンサの画素を構成する受光素子の出力は、ADコンバータでデジタルデータに変換される。その扱える値には制限があり、例えば12ビットADコンバータを使用する場合はデータ範囲は0〜4095の範囲である。あるレベル以上の強い光が入射されると飽和し、さらに強い光が入射してもADの出力信号値は変化しない。本説明では、隣接し合ったいくつかの画素が、R成分、G成分、B成分のいずれかについて、取り得る値の最大値を示す画素群の一つの画素を「飽和画素」と呼び、飽和画素に対応する画像信号を「飽和信号」と呼ぶ。
以下、図面を参照して本発明を実施するための最良の形態について説明する。図1は、本発明による画像処理プログラムの処理の流れを説明するフローチャートである。本実施形態では、図1の処理を行うプログラムを図2に示すコンピュータ装置100に実行させることにより、画像処理装置を提供する。画像処理プログラムをパーソナルコンピュータ100に取込んで使用する場合には、パーソナルコンピュータ100のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。
パーソナルコンピュータ100に対するプログラムのローディングは、プログラムを格納したCD−ROMなどの記録媒体104をパーソナルコンピュータ100にセットして行ってもよいし、ネットワークなどの通信回線101を経由する方法でパーソナルコンピュータ100へローディングしてもよい。通信回線101を経由する場合は、通信回線101に接続されたサーバー(コンピュータ)102のハードディスク装置103などにプログラムを格納しておく。また、通信回線101を経由する場合は、プログラムをデータ信号として搬送波に乗せて送信する。このように、プログラムは記録媒体104や通信回線101を介するデータ信号での提供など、種々の形態のコンピュータプログラム製品として供給される。
図1のステップS1において、コンピュータ装置100(図2)のCPUは、処理対象とするカラー電子画像の肌色領域を検出してステップS2へ進む。具体的には、カラー電子画像を構成する画素の色を示す信号であって、RGB表色系で表されている色成分信号(R,G,B)についてのR成分、G成分、およびB成分の信号比率があらかじめ定められている所定範囲内である場合に、当該画素位置をカラー電子画像における肌色領域とみなす。一般に肌色領域は、B成分の比率がR成分およびG成分に比べて小さい。なお、色成分信号(R,G,B)は、ホワイトバランス処理やガンマ補正処理などの信号処理が施されていないRAW形式のデータとする。
肌色領域の検出は、上記色成分間の信号比率を用いた色判定による方式の他に、画像中の顔などの特定形状パターンを抽出する(いわゆる顔検出)方式や、パーソナルコンピュータ100のポインティング部材(不図示)から指定入力された領域を検出する方式として構成してもよい。
ステップS2において、CPUは、ステップS1で検出した肌色領域内に含まれる色成分信号(R,G,B)について、飽和領域を検出してステップS3へ進む。飽和領域は、カラー電子画像の中で上記飽和画素に対応する領域である。CPUは、たとえば、色成分信号が12ビット出力(フルスケール4095)のA/D変換器を用いてディジタル化されている場合、少なくとも1つの色成分の信号値が4095以上の場合に飽和画素とみなす。
ステップS3において、CPUは飽和領域βを検出してステップS4へ進む。飽和領域βは、上記飽和領域の中で1つまたは2つの色成分の信号が飽和している画素がいくつか連なった領域とする。
ステップS4において、CPUは飽和領域αを検出してステップS5へ進む。飽和領域αは、上記飽和領域βの中で3つの色成分の信号が全て飽和している画素の領域とする。
図3は、処理対象とするカラー電子画像の飽和領域の分布を説明する図である。高画素数化が進んだ撮像装置で撮像した画像は、図3の様に、飽和領域βと飽和領域αが存在しているときには、飽和領域隣接部に囲まれて飽和領域βが存在し、飽和領域β内に飽和領域αが存在する。飽和領域隣接部には飽和画素は存在しない(3つの色成分の信号が全て非飽和である)。
図4は、飽和領域βおよび飽和領域βに含まれる画素の色成分信号(Rs,Gs,Bs)を説明する図である。横軸は画素位置を表し、縦軸は信号値を表す。図4において、飽和領域βでは少なくともB色成分の信号が飽和せず、R成分およびG成分の少なくとも一方の信号が飽和している。飽和信号は飽和レベルのまま変化がない。破線41は、R色成分の信号が飽和しなければ得られたであろう信号曲線を例示し、破線42は、G色成分の信号が飽和しなければ得られたであろう信号曲線を例示する。
図5は、飽和領域αと飽和領域βに含まれる画素の色成分信号(Rs,Gs,Bs)を説明する図である。横軸は画素位置を表し、縦軸は信号値を表す。図5において、飽和領域βでは少なくともB色成分の信号が飽和せず、R成分およびG成分の少なくとも一方の信号が飽和している。飽和領域αでは全ての色成分の信号が飽和している。飽和信号は飽和レベルのまま変化がない。破線51は、R色成分の信号が飽和しなければ得られたであろう信号曲線を例示し、破線52は、G色成分の信号が飽和しなければ得られたであろう信号曲線を例示する。また、破線53は、B色成分の信号が飽和しなければ得られたであろう信号曲線を例示する。
図1のステップS5において、CPUは以下のように基準とする色成分を選択し、ステップS6へ進む。すなわち、飽和領域αについては飽和領域の範囲(飽和画素が連続する範囲)が最も狭い色成分(図5の例ではB色成分)を選択し、飽和領域βについては非飽和の色成分のうち最も信号値が小さい色成分(図4、図5の例ではB色成分)を選択する。
ステップS6において、CPUは飽和領域αが存在か否かを判定する。CPUは、ステップS4で飽和領域αが検出されている場合にステップS6を肯定判定してステップS7へ進み、ステップS4で飽和領域αが検出されていない場合にはステップS6を否定判定し、ステップS8へ進む。ステップS8へ進む場合は、非飽和の色成分のうち最も信号値が小さいB色成分の信号を飽和領域βにおける基準の色成分情報Bbとする。
ステップS7において、CPUは基準とする色成分の情報を推測してステップS8へ進む。図6は、図5のB成分についての信号を抜粋した図である。CPUは、ステップS5において選択した色成分(本例ではB色成分)について、信号が飽和しなければ得られたであろう飽和領域αにおける曲線53を推測する。
この場合の推測は、飽和領域αを挟むように飽和領域αの両側に位置する飽和領域βのB色成分の信号値の変化(傾き)をそれぞれ求め、これらの傾きに周知のスプライン補間処理を施すことによって行う。この場合にスプライン曲線は二次式が好ましいが、三次以上の高次式を用いてもよい。飽和領域βの範囲が狭い場合には、飽和領域βだけでなく、飽和領域隣接部に含まれるB色成分の信号値も用いて信号の傾きを求めるとよい。この結果、破線で示した曲線53が得られる。CPUは、B色成分の曲線53によって示される信号を飽和領域αにおける基準の色成分情報Bbとする。なお、曲線53の推測は、スプライン補間処理以外の公知な手法であってもよい。
ステップS8において、CPUは、飽和領域βに接する飽和領域隣接部に含まれる画素(領域周辺画素(図3)と呼ぶ)についての色情報を取得してステップS9へ進む。色情報は、たとえば、領域周辺画素に対応する色成分信号(R,G,B)の色成分比率である。色情報は、飽和領域βに近い画素について取得するのが好ましい。
ステップS9において、CPUは、飽和領域周辺から飽和領域β内部へ向けて色成分の情報を推測し、ステップS10へ進む。この場合の推測は、飽和領域βおよび飽和領域αにおける色成分信号(Rs,Gs,Bs)の色成分比率を、ステップS8で取得した領域周辺画素に対応する色成分信号(R,G,B)の色成分比率と同じに揃えることによって行う。CPUは、基準の色成分情報(本例ではB色成分Bb)にステップS8で取得したR色成分の色成分比率、およびステップS8で取得したG色成分の色成分比率をそれぞれ乗算することにより、R色成分の信号RrおよびG色成分の信号Grをそれぞれ算出する。
図7は、ステップS9の処理を説明する図である。図7の矢印が示すように、飽和領域隣接部に含まれる領域周辺画素から飽和領域β内部へ向けて、それぞれの方向から推測する。そして、飽和領域中の各画素の色成分信号(Rr,Gr)を推定する。図8は、ステップS9で推定されたG色成分およびR色成分を説明する図である。この結果、図8において破線で示した曲線81のように、R色成分の信号が得られる。また、図8において破線で示した曲線82のように、G色成分の信号が得られる。また、図5に示すような飽和領域αを有している場合も同様に各画素の色成分信号(Rr,Gr)を得ることができる。以下の工程では飽和領域αの有無に関係なく同じ処理が行われるので、図4に示す飽和領域を有したケースの説明のみを行う。
ステップS10において、CPUは、飽和領域α、飽和領域βに含まれる画素に対応する色成分信号(Rs,Gs,Bs)のうち、R成分の信号Rsを曲線81で示される信号Rrに、G成分の信号Gsを曲線82で示される信号Grに、それぞれ変更(置換)してステップS11へ進む。これにより、飽和領域α、飽和領域βについての色成分信号(Rr,Gr,Bs)が得られる。なお、飽和領域隣接部に含まれる画素の色成分信号についての変更は不要であり、色成分信号(R,G,B)のままでよい。
ステップS11において、CPUはRAW画像の展開処理を行う。展開処理では、ステップS9で推測した信号曲線のうち最も信号値が大きい色成分を選択し、G色成分の曲線82の最大値を飽和レベルより低くするように、カラー電子画像全体の輝度レベルに1より小さい値のゲインを掛けて低くする。具体的には、飽和レベルが4095、下げ幅がdの場合、(4095/(4095+d))で表されるゲインを掛ける。飽和領域α、飽和領域βについては色成分信号(Rr,Gr,Bs)にも同様に設定されたゲインを掛けて低くするとともに、飽和領域隣接部を含む他の領域についての色成分信号(R,G,B)にも同様にゲインを掛けて低くする。
図9は、ステップS11の処理を説明する図である。図4と同様に横軸は画素位置を表し、縦軸は信号値を表す。図9によれば、輝度レベルを低くしたことにより、どの色成分の信号値も飽和レベルより低く表されている。CPUはさらに、飽和領域βと飽和領域隣接部との境界において色成分信号が徐々に変化するように、色成分信号の不連続部分を平滑化する平滑化処理を行う。CPUは、ステップS11の処理を行うと図2による一連の処理を終了する。
以上説明した実施形態によれば、次の作用効果が得られる。
(1)カラー電子画像の中で、画素が飽和している箇所(飽和領域)の信号の色成分比率を画素が飽和していない箇所(飽和領域隣接部)の信号の色成分比率と揃えるように、上記飽和領域内で飽和している色成分の信号を推測するようにした。したがって、撮像素子の受光素子間の感度を異ならせることなしに共通の感度で撮像した単一の画像データについて、飽和信号の復元処理を撮影後に行うことができる。また、飽和領域と非飽和領域とで色成分比率を揃えるようにしたので、画像の観察者にとって違和感が少ない、より自然な色に復元できる。
(2)電子画像の肌色部分について飽和信号の復元を行うようにしたので、他の色に比べて視覚的に悪影響が大きい肌色部分の白飛びを効果的に抑制できる。一般に、肌の色はなだらかなグラデーションを有して色相の変化が少ないため、飽和領域と非飽和領域とで色成分比率を揃える本実施形態の復元方法は特に有効である。さらに、肌色はB成分の信号比率がR成分およびG成分の信号比率に比べて小さいことから、少なくともB色成分の信号が飽和しないで階調情報を保持している可能性が高い。したがって、全ての色成分の信号が飽和する場合に比べて、より自然な色に復元することができる。
(3)飽和領域と非飽和領域との境界部分において、色成分信号の変化の不連続部分を平滑化するようにしたので、復元後の画像の色合いが境界部分で階段状に変化することなく、画像の観察者にとって違和感が少なくなるように復元することができる。
以上の説明ではRAW形式のデータに対して飽和信号を修復する処理を説明したが、本発明はJPEG形式のデータなど、RAW形式でないデータに対する修復処理においても適用が可能である。
飽和領域を肌色領域の中から検出するようにしたが、飽和信号の復元処理を肌色以外の領域についても行うようにしてもよい。この場合にはステップS1を省略し、ステップS2から開始する構成とすればよい。
飽和画素とみなす判定閾値を信号値4095とする例を説明したが、判定閾値は4000以上の場合などに適宜変更してよい。また、色成分信号が12ビットデータして表現されている例を説明したが、他のビットデータ(14ビット、16ビット等)の場合でも本発明を適用できる。
ステップS11の説明において、飽和領域βと飽和領域隣接部との境界において平滑化処理を行う例を説明したが、飽和領域αが存在する場合には、飽和領域αと飽和領域βとの境界においても平滑化処理を行うように構成してよい。
カラー電子画像がRGBの色分解フィルタを通して撮影された原色系画像信号で表されている例を説明したが、補色系色分解フィルタを通して撮影された補色系画像信号で表されている画像にも本発明を適用できる。なお、色分解数は3色に限らず、4色のものであってもよい。
図1による画像処理プログラムを電子カメラに搭載するようにしてもよい。この場合の電子カメラは、撮影した電子画像データを記録媒体へ記録する場合に、飽和信号の復元処理を施した後の画像信号と、飽和信号の復元処理を施していない画像信号との両方を記録する。なお、電子カメラへの機能設定内容に応じて、いずれか一方の画像信号のみを記録媒体に記録する構成にしてもよい。
図10は、上記電子カメラ(デジタルカメラ)200の構成を示す図である。CCDなどの撮像素子203は、撮影レンズ202を介して被写体201を撮像する。制御装置204は、撮像素子203からの出力信号に基づき電子画像データを生成しメモリ205にいったん格納する。制御装置204は、メモリ205に格納された電子画像データに対して前述した飽和信号の復元処理の画像処理を行い、飽和信号の復元処理を施した後の画像信号と飽和信号の復元処理を施していない画像信号との両方を、電子画像データとしてメモリーカードなどの記録媒体206に記録する。これらの処理は、メモリ205に格納された画像処理プログラムを実行することにより行われる。
以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素との対応関係に何ら限定されるものではない。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2005年第173806号(2005年6月14日出願)

Claims (10)

  1. 画素に対応する所定の表色系の色成分信号で表される画像から、飽和画素に対応する飽和領域を抽出する飽和領域抽出部と、
    前記画像の前記飽和領域と接する領域に含まれる画素に対応する色成分信号から複数の色成分信号の信号比率を取得する色成分比率取得部と、
    前記飽和領域に含まれる前記飽和画素の複数の色成分信号の信号比率を、前記色成分比率取得部が取得した複数の色成分信号の信号比率に近づけるように、前記飽和領域の各画素の色成分信号を変更する色成分信号変更部とを備えることを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記画像を表す色成分信号は、RAW形式のデータであることを特徴とする画像処理装置。
  3. 請求項1または2に記載の画像処理装置において、
    前記飽和画素は、当該画素とその隣接する画素群において、対応する複数の色成分信号のうち少なくとも1つの色成分信号が飽和している画素であることを特徴とする画像処理装置。
  4. 請求項1〜3のいずれか一項に記載の画像処理装置において、
    前記飽和領域抽出部は、前記画像の肌色領域から前記飽和領域を抽出することを特徴とする画像処理装置。
  5. 請求項1〜4のいずれか一項に記載の画像処理装置において、
    前記色成分信号変更部は、前記飽和画素に対応する複数の色成分信号の全てが飽和しているか否かを判断し、全てが飽和している場合に、前記複数の色成分信号の中で前記飽和領域の範囲が最も狭い色成分の信号を基準信号とし、この基準信号を前記画像の前記飽和領域と接する領域に含まれる画素に対応する色成分信号を用いて算出し、前記算出した基準信号と前記複数の色成分信号の信号比率とに基づいて前記飽和画素に対応する色成分信号を変更することを特徴とする画像処理装置。
  6. 請求項5に記載の画像処理装置において、
    前記色成分信号変更部は、前記飽和画素に対応する複数の色成分信号の中で飽和していない色成分信号が存在する場合、前記色成分信号の中で最も信号値が小さい色成分の信号を基準信号とし、この基準信号と前記複数の色成分信号の信号比率とに基づいて前記飽和画素に対応する色成分信号を変更することを特徴とする画像処理装置
  7. 請求項5または6に記載の画像処理装置において、
    前記色成分信号変更部によって色成分信号が変更された場合、前記変更後の色成分信号で表される画像の輝度レベルを低下させる輝度低下部をさらに備えることを特徴とする画像処理装置。
  8. 請求項5または6に記載の画像処理装置において、
    前記色成分信号変更部によって色成分信号が変更された場合、前記飽和領域および当該飽和領域と接する領域間において前記色成分信号が徐々に変化するように前記色成分信号を平滑化する平滑化部をさらに備えることを特徴とする画像処理装置
  9. 画像処理プログラムを有し、
    該画像処理プログラムは、
    画素に対応する所定の表色系の色成分信号で表される画像から、飽和画素に対応する飽和領域を抽出する飽和領域抽出命令と、
    前記画像の前記飽和領域と接する領域に含まれる画素に対応する色成分信号から複数の色成分信号の信号比率を取得する色成分比率取得命令と、
    前記飽和領域に含まれる前記飽和画素の複数の色成分信号の信号比率を、前記取得した複数の色成分信号の信号比率に近づけるように、前記飽和領域の各画素の色成分信号を変更する色成分信号変更命令とを有することを特徴とするコンピュータ読み込み可能なコンピュータプログラム製品。
  10. 画素に対応する所定の表色系の色成分信号で表される画像から、飽和画素に対応する飽和領域を抽出し、
    前記画像の前記飽和領域と接する領域に含まれる画素に対応する色成分信号から複数の色成分信号の信号比率を取得し、
    前記飽和領域に含まれる前記飽和画素の複数の色成分信号の信号比率を、前記取得した複数の色成分信号の信号比率に近づけるように、前記飽和領域の各画素の色成分信号を変更することを特徴とする画像処理方法。
JP2007521304A 2005-06-14 2006-06-13 画像処理装置、コンピュータプログラム製品および画像処理方法 Active JP4803178B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007521304A JP4803178B2 (ja) 2005-06-14 2006-06-13 画像処理装置、コンピュータプログラム製品および画像処理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005173806 2005-06-14
JP2005173806 2005-06-14
JP2007521304A JP4803178B2 (ja) 2005-06-14 2006-06-13 画像処理装置、コンピュータプログラム製品および画像処理方法
PCT/JP2006/311844 WO2006134923A1 (ja) 2005-06-14 2006-06-13 画像処理装置、コンピュータプログラム製品および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2006134923A1 JPWO2006134923A1 (ja) 2009-01-08
JP4803178B2 true JP4803178B2 (ja) 2011-10-26

Family

ID=37532281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007521304A Active JP4803178B2 (ja) 2005-06-14 2006-06-13 画像処理装置、コンピュータプログラム製品および画像処理方法

Country Status (3)

Country Link
US (1) US8270753B2 (ja)
JP (1) JP4803178B2 (ja)
WO (1) WO2006134923A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10271029B2 (en) 2016-12-14 2019-04-23 Canon Kabushiki Kaisha Image pickup apparatus and method of controlling an image pickup apparatus

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60314851D1 (de) * 2003-05-19 2007-08-23 St Microelectronics Sa Bildverarbeitungsverfahren für numerische Bilder mit Belichtungskorrektur durch Erkennung von Hautbereichen des Gegenstandes
JP4999494B2 (ja) * 2007-02-28 2012-08-15 オンセミコンダクター・トレーディング・リミテッド 撮像装置
US8269852B2 (en) * 2007-09-14 2012-09-18 Ricoh Company, Ltd. Imaging apparatus and imaging method
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
JP5521436B2 (ja) * 2009-08-19 2014-06-11 ソニー株式会社 動画像記録装置、動画像記録方法およびプログラム
TWI498786B (zh) * 2009-08-24 2015-09-01 Semiconductor Energy Lab 觸控感應器及其驅動方法與顯示裝置
DE102010003039A1 (de) * 2010-03-18 2011-09-22 Basler Ag Farbsättigungskorrektur
JP5442571B2 (ja) * 2010-09-27 2014-03-12 パナソニック株式会社 固体撮像装置及び撮像装置
JP5961149B2 (ja) * 2013-08-26 2016-08-02 キヤノン株式会社 画像処理装置およびその制御方法
WO2015113655A1 (en) * 2014-01-31 2015-08-06 Thomson Licensing Method for conversion of a saturated image into a non-saturated image
CN105095911B (zh) * 2015-07-31 2019-02-12 小米科技有限责任公司 敏感图片识别方法、装置以及服务器
EP3399497A1 (en) * 2017-05-05 2018-11-07 Koninklijke Philips N.V. Optimizing decoded high dynamic range image saturation
JP7039183B2 (ja) * 2017-05-31 2022-03-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN114175613A (zh) * 2019-07-29 2022-03-11 卡西欧计算机株式会社 色估计装置、色估计方法以及程序

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004010711A1 (ja) * 2002-07-18 2004-01-29 Sony Corporation 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム
JP2004524635A (ja) * 2001-04-12 2004-08-12 ヒューレット・パッカード・カンパニー 画像データ内の飽和した色値の真の色値を推算する方法と装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072526A (en) * 1990-10-15 2000-06-06 Minolta Co., Ltd. Image sensing device that can correct colors corresponding to skin in a video signal
JPH08331573A (ja) * 1995-05-30 1996-12-13 Sanyo Electric Co Ltd 映像信号処理装置
JP3499985B2 (ja) * 1995-09-29 2004-02-23 三洋電機株式会社 撮像装置
JP3836237B2 (ja) * 1997-12-26 2006-10-25 富士写真フイルム株式会社 画像修正方法および装置
JP4040171B2 (ja) 1998-04-24 2008-01-30 キヤノン株式会社 信号処理装置
JP3565723B2 (ja) * 1998-09-30 2004-09-15 富士写真光機株式会社 カラー画像処理装置
JP4018820B2 (ja) 1998-10-12 2007-12-05 富士フイルム株式会社 固体撮像装置および信号読出し方法
JP2003274427A (ja) * 2002-03-15 2003-09-26 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP4483604B2 (ja) 2005-01-31 2010-06-16 株式会社ニコン 色空間変換装置および色空間変換プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004524635A (ja) * 2001-04-12 2004-08-12 ヒューレット・パッカード・カンパニー 画像データ内の飽和した色値の真の色値を推算する方法と装置
WO2004010711A1 (ja) * 2002-07-18 2004-01-29 Sony Corporation 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10271029B2 (en) 2016-12-14 2019-04-23 Canon Kabushiki Kaisha Image pickup apparatus and method of controlling an image pickup apparatus

Also Published As

Publication number Publication date
US20080212892A1 (en) 2008-09-04
US8270753B2 (en) 2012-09-18
WO2006134923A1 (ja) 2006-12-21
JPWO2006134923A1 (ja) 2009-01-08

Similar Documents

Publication Publication Date Title
JP4803178B2 (ja) 画像処理装置、コンピュータプログラム製品および画像処理方法
KR101205842B1 (ko) 복수 개의 이미지 프레임들에 기초하여 이미지를 형성하기위한 방법, 이미지 처리 시스템, 및 디지털 카메라
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
US8351731B2 (en) Image processing apparatus, imaging apparatus, image processing method, and computer program product
WO2005041560A1 (ja) 信号処理システム、信号処理方法、信号処理プログラム
US8170345B2 (en) Imaging system, image processing method, and image processing program
JP2004088149A (ja) 撮像システムおよび画像処理プログラム
JP2008153836A (ja) 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US20070064118A1 (en) Image processing apparatus and image processing method
JP2007288439A (ja) 画像処理装置及び方法
JP2011003048A (ja) 画像処理装置、及び画像処理プログラム
EP2214136B1 (en) Method and program for controlling image capture apparatus
JP4241774B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP3809818B2 (ja) 画像処理方法、記録媒体および画像処理装置
JP4596069B2 (ja) ノイズ除去フィルタ処理回路、画像処理回路、撮像装置及びノイズ除去プログラム
JP4306687B2 (ja) 画像処理方法、画像処理プログラムおよび画像処理装置
KR100999888B1 (ko) 이미지 신호 처리 장치, 이미지 신호 처리 장치의 휘도 노이즈 저감 방법 및 휘도 노이즈 저감 방법이 기록된 기록매체
JP4335727B2 (ja) 顔抽出を行うディジタルカメラ
CN105450909B (zh) 一种信息处理方法及电子设备
KR100999885B1 (ko) 이미지 신호 처리 장치, 이미지 신호 처리 장치의 색 노이즈 저감 방법 및 색 노이즈 저감 방법이 기록된 기록 매체
EP3528202B1 (en) Image processing apparatus, image processing method, and program
JP6314281B1 (ja) 画像処理方法及び前景領域取得方法
JP2003102027A5 (ja)
JP2008035547A (ja) 信号処理システム
JP2010021733A (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110620

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110712

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110725

R150 Certificate of patent or registration of utility model

Ref document number: 4803178

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250