JP4751428B2 - 画像処理装置及びイメージセンサ - Google Patents

画像処理装置及びイメージセンサ Download PDF

Info

Publication number
JP4751428B2
JP4751428B2 JP2008207962A JP2008207962A JP4751428B2 JP 4751428 B2 JP4751428 B2 JP 4751428B2 JP 2008207962 A JP2008207962 A JP 2008207962A JP 2008207962 A JP2008207962 A JP 2008207962A JP 4751428 B2 JP4751428 B2 JP 4751428B2
Authority
JP
Japan
Prior art keywords
color
gain value
matrix coefficient
color matrix
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008207962A
Other languages
English (en)
Other versions
JP2010045580A (ja
Inventor
隆行 小笠原
彰 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008207962A priority Critical patent/JP4751428B2/ja
Priority to US12/539,033 priority patent/US8427550B2/en
Publication of JP2010045580A publication Critical patent/JP2010045580A/ja
Application granted granted Critical
Publication of JP4751428B2 publication Critical patent/JP4751428B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6077Colour balance, e.g. colour cast correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Input (AREA)
  • Facsimile Heads (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

本発明は、画像処理装置及びイメージセンサに関する。
従来においては、標準光源(D65など光源の分光分布が比較的フラットな光源)の下で色処理が最適化されている。
その結果、撮影された画像データは、白熱電球など色温度の低い場所において黄色くなる傾向があり、蛍光灯などの色温度の高い場所において青くなる傾向がある。
特許文献1には、入力画像から該入力画像を可視化するための画像信号への変換を行う色処理装置が開示されている。
この特許文献1の色処理装置は、入力画像を表示する領域の周辺部の表示領域に関する設定条件を認識し、認識された設定条件に従い入力画像における該入力画像の周辺部の条件による色の見えの変化を予測して色変換係数を決定し、決定された色変換係数に基づき入力画像に色変換処理を施す。
しかしながら、この特許文献1は、色温度の影響を受けている画像データの補正は行っていないので、処理対象の画像データについて色温度の差によって発生する色の見えの違いを補正することはできない。
特開2004−72758号公報
本発明は、以上のような実情に鑑みてなされたもので、処理対象の画像データについて、色温度の差によって発生する色の見えの違いを補正する画像処理装置及びイメージセンサを提供することを目的とする。
本発明の一態様に係る画像処理装置は、処理対象の画像データに対するオートホワイトバランス処理によって得られるゲイン値を取得するゲイン値取得手段と、ゲイン値取得手段によって取得されたゲイン値に基づいて、このゲイン値に対応する色温度によって生じる見えの変化を修正する特性を持つ補正カラーマトリクス係数を求めるカラーマトリクス係数生成手段と、補正カラーマトリクス係数に基づいて、オートホワイトバランス処理のなされた画像データに対して色調整を行うカラーマトリクス手段とを具備する。
第1の例として、カラーマトリクス係数生成手段は、ゲイン値取得手段によって取得されたゲイン値をパラメータとして持つ関数と、予め定められているカラーマトリクス係数と、を乗算することにより、補正カラーマトリクス係数を求める。
第2の例として、カラーマトリクス係数生成手段は、ゲイン値取得手段によって取得されたゲイン値と、ゲイン値と補正カラーマトリクス係数との関係を示すテーブルとに基づいて、ゲイン値取得手段によって取得されたゲイン値に対応する補正カラーマトリクス係数を求める。
本発明により、処理対象の画像データについて、色温度の差によって発生する色の見えの違いを補正することができる。
以下、図面を参照しながら本発明の各実施の形態について説明する。なお、以下の説明において、略同一の機能及び構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
(第1の実施の形態)
本実施の形態においては、色温度をリアルタイムに推定してその結果をリアルタイムに色処理にフィードバックし、色温度の差から生ずる色の見えの違いを補正する。
図1は、本実施の形態に係るイメージセンサの一例を示すブロック図である。
イメージセンサ1は、レンズ2、センサ部3、画像処理装置4を具備する。なお、ここでは、イメージセンサ1に画像処理装置4が備えられる構成としているが、イメージセンサ1と画像処理装置4とは分離された構造としてもよい。イメージセンサ1と、画像処理装置4の構成要素の一部が分離された構造としてもよい。
画像処理装置4は、シェーディング部5、アンチノイズリダクション(ANR)部6、輪郭強調部7、デモザイキング部8、オートホワイトバランス(AWB)部9、色温度補正部10、ガンマ補正部11を具備する。
そして、本実施の形態において、色温度補正部10は、ゲイン値取得部12、カラーマトリクス係数生成部13、リニアカラーマトリクス部14を具備する。色温度補正部10は、オートホワイトバランス部9から得られたゲイン情報に基づいて画像データ(画像信号)を補正する。
イメージセンサ1の各構成要素の間では、記憶装置を介して信号又はデータをやり取りするようにしてもよい。以下に、各構成について説明する。
レンズ2は、入射光を集光する。
センサ部3は、レンズ2経由で入射された光を、光電変換により信号(信号電荷)に変換し、画像データ(画像信号)を生成する。
シェーディング部5は、画像データに対して、レンズ2の光学系が起因する中央と周辺との光量差に基づく輝度ムラをシェーディングによって補正する。
アンチノイズリダクション部6は、シェーディング後の画像データに対して、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去するアンチノイズリダクションを行う。
輪郭強調部7は、アンチノイズリダクション後の画像データに対して、解像度を復元するための輪郭強調を行う。
デモザイキング部8は、輪郭強調後の画像データに対して、デモザイキングによりカラー画像データを合成する。
オートホワイトバランス部9は、合成されたカラー画像データに対し、オートホワイトバランス処理を行う。
図2乃至図4は、オートホワイトバランス処理の原理を説明するための例を示すグラフである。
オートホワイトバランス処理とは、この図2から図4のように、色温度の分光分布に応じてRGB(赤緑青)のゲイン値を調整し、白を白く見せる機能である。
図2に示すように、色温度が標準光源下より低い環境(例えば色温度3000K)においては、光源の分光分布(スペクトル分布)は、低波長側(青側)で小さくなり、高波長側(赤側)で大きくなる。そこで、オートホワイトバランス処理では、青のゲイン値を大きくし、赤のゲイン値を小さくして、青の成分と赤の成分とを調整する。すなわち、色温度が低い環境では、分光分布は短波長から長波長に向かって増加傾向となる。この場合、短波長側よりも長波長側の光の方が大きく増幅されることになる。そこで、長波長側よりも短波長側の光の方が十分ではないため、赤のゲイン値を下げ、青のゲイン値を上げ、分光分布の傾きを調整する。
図3に示すように、色温度が低くも高くもない標準光源下の環境(例えば色温度6500K)においては、分光分布が短波長側から長波長側までほぼ同等であるため、各波長の光についてのゲイン値もほぼ同等にしている。
図4に示すように、色温度が標準光源下より高い環境(例えば色温度9000K)においては、光源の分光分布は、低波長側で大きくなり、高波長側で小さくなる。そこで、オートホワイトバランス処理では、青のゲイン値を小さくし、赤のゲイン値を大きくして、青の成分と赤の成分とを調整する。すなわち、色温度が高い環境では、分光分布は短波長から長波長に向かって減少傾向となる。この場合、長波長側の光よりも短波長側の光の方が大きく増幅されることになる。そこで、短波長側よりも長波長側の光の方が十分ではないため、青のゲイン値を下げ、赤のゲイン値を上げ、分光分布の傾きを調整する。
色温度補正部10のゲイン値取得部12は、上記のようなオートホワイトバランス処理によって得られたゲイン値を取得する。なお、本実施の形態においては、ゲイン値取得部12は、青(B)のゲイン値と赤(R)のゲイン値とを取得するものとする。
カラーマトリクス係数生成部13は、ゲイン値取得部12によって取得されたゲイン値に基づいて、このゲイン値に対応する色温度によって生じる見えの変化を修正する特性を持つ補正カラーマトリクス係数を求める。
リニアカラーマトリクス部14は、カラーマトリクス係数生成部13によって生成された補正カラーマトリクス係数に基づいて、オートホワイトバランス部9によってオートホワイトバランス処理の行われた画像データに対して、色調整を行う。
ガンマ補正部11は、リニアカラーマトリクス部14によって補正された画像データに対して、輝度、明るさを修正するためのガンマ補正を行う。
このイメージセンサ1によって生成された画像データは、例えば、表示装置によって表示されるようにしてもよく、記憶装置によって記憶されてもよく、通信装置により送信されてもよい。
以下において、カラーマトリクス係数生成部13による補正カラーマトリクス係数の生成処理について説明する。
図5は、Bのゲイン値とRのゲイン値との比B/Rと、色温度との関係の一例を示すグラフである。
ゲイン値の比B/Rと色温度との関係は、ゲイン値の比B/Rが小さいほど色温度は高く、ゲイン値の比B/Rが大きいほど色温度は低くなる特性を持つ線となる。
このゲイン値の比B/Rと色温度との関係はほぼ曲線を描き、例えば、f(x)=B・e-Axなどの式で近似可能である。
本実施の形態においては、上記図5に示すような近似曲線を用いてゲイン値(例えば、ゲイン値の比B/R)から色温度を推定可能とし、この推定結果を予め定められているカラーマトリクス係数に反映させることで、補正カラーマトリクス係数を生成する。このように、色温度の推定結果をカラーマトリクス係数に反映させることで、イメージセンサ1から出力される画像データを色温度に応じて好ましい色に補正できる。
本実施の形態においては、予め与えられているカラーマトリクス係数を、色温度に応じて適切な補正を行う補正カラーマトリクス係数に変換することにより、補正カラーマトリクス係数が生成される。カラーマトリクス係数の補正は、赤と青の係数に対して、ゲイン値(例えばB/Rなど)をパラメータとする関数を使って補正を行う。
図6は、一般的なカラーマトリクス係数による補正式の一例である。
ここで、R0,G0,B0は、デバイス・ディペンダントなRGBカラーであり、補正前の画像データである。R,G,Bは、デバイス・インディペンダントなRGBカラーであり、補正後の画像データである。3×3の行列は、デバイス・ディペンダントなRGBカラーからデバイス・インディペンダントなRGBカラーに変換するための行列である。aijは、カラーマトリクス係数である。
図7は、補正カラーマトリクス係数の一例を示す図である。
本実施の形態の、デバイス・ディペンダントなRGBカラーからデバイス・インディペンダントなRGBカラーに変換する行列演算においては、この行列演算に使用されるマトリクスの一部又は全部の係数要素がゲイン値(例えば、ゲイン値の比B/R)に基づいて変換され、補正カラーマトリクスが生成される。
具体的には、通常のカラーマトリクス係数のうちの少なくとも一つと、B/Rをパラメータに持つ関数との乗算が行われ、これによりカラーマトリクス係数のうちの少なくとも一つに対してB/Rから推定可能な色温度に応じた重み付けが行われる。
この図7の例では、補正前の3×3のマトリクスの係数のうち、1行1列の係数A11と、B/Rをパラメータに持つ関数g11(B/R)との積が、補正後の1行1列の係数として求められる。
1行2列の係数A12と、B/Rをパラメータに持つ関数g12(B/R)との積が、補正後の1行2列の係数として求められる。
3行1列の係数A13と、B/Rをパラメータに持つ関数g31(B/R)との積が、補正後の3行1列の係数として求められる。
3行2列の係数A32と、B/Rをパラメータに持つ関数g32(B/R)との積が、補正後の1行2列の係数として求められる。
なお、上記図6及び図7では、行列式が3×3の場合を説明しているが、カラーマトリクス及び補正カラーマトリクスの列の数は4以上であってもよい。
図8は、本実施の形態に係る色温度とカラーマトリクスのゲイン係数g11,g31の値との関係の一例を示す図である。
色温度が高い場合(ゲイン値の比B/Rが小さい場合)、上記図4に示すようにRのゲインが必要となるため、g11は大きくなる。また、Bのゲインは不要となるため、A33は小さくなり、g31は大きくなる。
色温度が低い場合(ゲイン値の比B/Rが大きい場合)、上記図2に示すようにRのゲインが不要となるため、g11は小さくなる。また、Bのゲインは必要となるため、A33は大きくなり、g31は大きくなる。なお、関数の値g12,g32は調整パラメータである。
補正カラーマトリクス係数を求めるために用いられる重み(B/Rをパラメータに持つ関数g11(B/R),g12(B/R),g31(B/R),g32(B/R))は、例えば、次のようにして決定される。
まず、各種のゲイン値の比B/R(すなわち色温度)において適切な補正を行うカラーマトリクス係数を理論的に、又は実験・実測により決定する。
次に、各種のゲイン値の比B/Rにおいて、この決定された適切なカラーマトリクス係数となるように、B/Rをパラメータに持つ関数g11(B/R),g12(B/R),g31(B/R),g32(B/R)を含む補正カラーマトリクス係数を決定する。
以上説明した本実施の形態においては、オートホワイトバランス処理によって求められるゲイン値に基づいて推定される色温度環境下における色の見えと、標準光源下における色の見えの違いを補正することができる。
本実施の形態においては、オートホワイトバランス処理によって求められるゲイン値がリアルタイムで取得され、リアルタイムでゲイン値に基づいてカラーマトリクスの補正が行われる。
これにより、複数の色温度に対して複数のカラーマトリクス係数が記憶されており、複数のカラーマトリクス係数が切り替えられる方式と比較して、本実施の形態による画像処理では、色温度に追随して除々にカラーマトリクス係数が変更される。したがって、本実施の形態では違和感なくリアルタイムに色を補正することができる。また、本実施の形態においては、カラーマトリクス係数を複数個持つ必要がないため、メモリ容量の増加を防止でき、コストアップを避けることができる。
さらに、本実施の形態は、静止画像データ及び動画象データのいずれに対しても用いることができる。
(第2の実施の形態)
上記第1の実施の形態においては、ゲイン値に基づいてカラーマトリクス係数が補正され、補正カラーマトリクスが生成される。
これに対して、本実施の形態においては、ゲイン値に基づいてまず色温度が推定され、この推定された色温度に基づいてカラーマトリクス係数が補正され、補正カラーマトリクスが生成される。
図9は、本実施の形態に係る色温度補正部15の一例を示すブロック図である。
色温度補正部15は、環境光を推定する環境光推定部16と、推定された環境光に対して標準光源下との色の見えの違いを補正する色補正処理部17とを具備する。本実施の形態において、環境光推定部16はリアルタイムで処理を行い、色補正処理部17はリアルタイムで処理を行う。
さらに、環境光推定部16は、オートホワイトバランス処理後に得られるゲイン値を取得するゲイン値取得部12、取得されたゲイン値に基づいて色温度を推定する色温度推定部18を具備する。
色温度推定部18は、例えば、オートホワイトバランス処理によって得られたゲイン値を入力し、上記図5の色温度とゲイン値との関係を示す近似式又はルックアップテーブルなどと、取得されたゲイン値とに基づいて、環境光の色温度を推定する。
色補正処理部17は、カラーマトリクス係数生成部19、リニアカラーマトリクス部20を具備する。この色補正処理部17は、環境光推定部16によって推定された色温度を基に、RGBの色空間上において、色補正を行う。
本実施の形態に係る色補正処理部17は、デバイス・ディペンダントなRGBカラーからデバイス・インディペンダントなRGBカラーに変換する行列演算を用いて色補正を行う。この行列演算に使用されるマトリックスの一部又は全部は、推定された色温度に基づいて変換され、補正カラーマトリクスが生成される。
具体的な補正カラーマトリクス係数の生成は、上記第1の実施の形態に係るゲイン値の比B/Rに代えて、推定された色温度を用いることで実施可能である。
上記のような本実施の形態においては、ゲイン値に基づいて色温度がリアルタイムで推定され、この色温度の推定結果がリアルタイムで色処理にフィードバックされ、色温度の差による見えの違いを補正することができる。
(第3の実施の形態)
上記第1又は第2の実施の形態においては、カラーマトリクス係数の一部又は全部と、ゲイン値又は色温度をパラメータに持つ重み関数との乗算により、カラーマトリクス係数から補正カラーマトリクス係数への変換が行われる。
しかしながら、カラーマトリクス係数への乗算を行う手法に限られるものではなく、例えば、ゲイン値又は色温度から補正カラーマトリクス係数を求めるための関数式と、取得されたゲイン値又は推定された色温度とに基づいて、補正カラーマトリクス係数が求められるとしてもよい。
また、ゲイン値又は色温度から補正カラーマトリクス係数を求めるためのルックアップテーブルと、取得されたゲイン値又は推定された色温度とに基づいて、補正カラーマトリクス係数が求められるとしてもよい。
なお、ゲイン値(例えばゲイン値の比B/R)又は色温度から補正カラーマトリクス係数を求めるためのルックアップテーブルは、各種のゲイン値又は色温度において適切な補正を行うカラーマトリクス係数を理論的に、又は実験・実測により決定し、次に、各種のゲイン値又は色温度においてこの決定された適切なカラーマトリクス係数となるように、ゲイン値又は色温度と補正カラーマトリクス係数とを関係付けて生成することが可能である。
(第4の実施の形態)
本実施の形態においては、上記第1乃至第3の実施の形態で説明したイメージセンサをさらに詳細に説明する。
図10は、本実施の形態に係るイメージセンサの一例を示すブロック図である。なお、図10においては、イメージセンサ21が上記第1の実施の形態に係る色温度補正部10を備えている場合を例示しているが、色温度補正部10に代えて他の実施の形態に係る色温度補正部を備えるとしてもよい。
イメージセンサ21は、レンズ2、IRカットフィルタ22、センサ部3、画像処理装置23を具備する。
センサ部3は、レンズ2、IRカットフィルタ22経由で受光した光に基づいて画像データ(画像信号)24を生成し、画像データ24を画像処理装置23に出力する。
画像処理装置23における低周波ノイズ抑制部25は、画像データ24に対する低周波ノイズ抑制処理を実行する。プリセットWB部26は、低周波ノイズ抑制処理後の画像データに対してプリセットWB処理を実行する。シェーディング部5は、プリセットWB処理後の画像データに対してシェーディング補正を行う。アンチノイズリダクション部6は、シェーディング補正後の画像データに対してアンチノイズリダクション処理を実行する。
自動キズ補正部27は、アンチノイズリダクション処理後の画像データに対してキズ補正を行う。輪郭抽出部28は、キズ補正後の画像データに対して輪郭抽出処理を行う。そして、混色補正部29は、輪郭抽出処理後の画像データに対して混色補正処理を行う。
その後のデモザイキング部8からガンマ補正部11までの処理は、上記第1の実施の形態の場合と同様である。
上記各実施の形態においては、画像データはRGBのデータを持ち、RGBの色空間で色補正が行われる場合を例に説明をしている。しかしながら、画像データは、補色系のYUVのデータを持ち、YUVの色空間で色補正が行われるとしてもよい。その他、画像データはLAB、HLS、IPTなどのうちのいずれかのデータを持ち、LAB、HLS、IPTなどのうちのいずれかの色空間上において色補正が行われるとしてもよい。
処理対象の画像データは、第1の色と、第1の色よりも低波長の第2の色と、第1の色よりも高波長の第3の色とに関するデータである。
上記各実施の形態において、各構成要素は同様の動作を実現可能であれば配置を変更させてもよく、また各構成要素を自由に組み合わせてもよく、各構成要素を自由に分割してもよく、いくつかの構成要素を削除してもよい。すなわち、本実施の形態については、上記の構成そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
例えば、ゲイン値取得部12とカラーマトリクス係数生成部13とは組み合わせてもよい。ゲイン値取得部12と色温度推定部18とを組み合わせるとしてもよい。
本発明の第1の実施の形態に係るイメージセンサの一例を示すブロック図。 色温度が標準光源下より低い環境における光源の分光分布とゲイン値の例を示すグラフ。 標準光源下の環境における光源の分光分布とゲイン値の例を示すグラフ。 色温度が標準光源下より高い環境における光源の分光分布とゲイン値の例を示すグラフ。 Bのゲイン値とRのゲイン値との比(B/R)と、色温度との関係の一例を示すグラフ。 一般的なカラーマトリクス係数による補正式の一例を示す図。 補正カラーマトリクス係数の一例を示す図。 色温度とゲイン係数の関数g11,g31の値との関係を示すグラフ。 本発明の第2の実施の形態に係る色温度補正部の一例を示すブロック図。 本発明の第4の実施の形態に係るイメージセンサの一例を示すブロック図。
符号の説明
1,21…イメージセンサ、2…レンズ、3…センサ部、4,23…画像処理部、5…シェーディング部、6…アンチノイズリダクション部、7…輪郭強調部、8…デモザイキング部、9…オートホワイトバランス部、10,15…色温度補正部、11…ガンマ補正部、12…ゲイン値取得部、13,17…カラーマトリクス係数生成部、14,20…リニアカラーマトリクス部、16…環境光推定部、17…色補正処理部、18…色温度推定部

Claims (5)

  1. 処理対象の画像データに対するオートホワイトバランス処理によって得られるゲイン値を取得するゲイン値取得手段と、
    前記ゲイン値取得手段によって取得されたゲイン値に基づいて、このゲイン値に対応する色温度によって生じる見えの変化を修正する特性を持つ補正カラーマトリクス係数を求めるカラーマトリクス係数生成手段と、
    前記補正カラーマトリクス係数に基づいて、前記オートホワイトバランス処理のなされた画像データに対して色調整を行うカラーマトリクス手段と
    を具備し、
    前記カラーマトリクス係数生成手段は、前記ゲイン値取得手段によって取得されたゲイン値をパラメータとして持つ関数と、予め定められているカラーマトリクス係数と、を乗算することにより、前記補正カラーマトリクス係数を求める
    ことを特徴とする画像処理装置。
  2. 前記処理対象の画像データは、第1の色と、前記第1の色よりも低波長の第2の色と、前記第1の色よりも高波長の第3の色とに関するデータであり、
    前記カラーマトリクス係数生成手段は、前記カラーマトリクス係数のうちの前記第2の色の係数及び前記第3の色の係数に対して、前記第2の色のゲイン値と前記第3の色のゲイン値との比をパラメータとして持つ関数を乗算することにより、前記補正カラーマトリクス係数を求めることを特徴とする請求項記載の画像処理装置。
  3. 処理対象の画像データに対するオートホワイトバランス処理によって得られるゲイン値を取得するゲイン値取得手段と、
    前記ゲイン値取得手段によって取得されたゲイン値に基づいて、このゲイン値に対応する色温度によって生じる見えの変化を修正する特性を持つ補正カラーマトリクス係数を求めるカラーマトリクス係数生成手段と、
    前記補正カラーマトリクス係数に基づいて、前記オートホワイトバランス処理のなされた画像データに対して色調整を行うカラーマトリクス手段と
    を具備し、
    前記カラーマトリクス係数生成手段は、前記ゲイン値取得手段によって取得されたゲイン値と、ゲイン値と補正カラーマトリクス係数との関係を示すテーブルとに基づいて、前記ゲイン値取得手段によって取得されたゲイン値に対応する前記補正カラーマトリクス係数を求める
    ことを特徴とする画像処理装置。
  4. 入射される光を集光するレンズと、
    前記レンズ経由で得られる光を光電変換し、第1の色に対する信号、第2の色に対する信号、第3の色に対する信号を観測するセンサと、
    前記第1の色に対する信号、前記第2の色に対する信号、前記第3の色に対する信号に基づいてデモザイキング処理を実行し、カラー画像信号を生成するデモザイキング手段と、
    前記カラー画像信号に対するオートホワイトバランス処理によって得られるゲイン値を取得するゲイン値取得手段と、
    前記ゲイン値取得手段によって取得されたゲイン値に基づいて、色温度によって生じる見えの変化を修正する特性を持つ補正カラーマトリクス係数を求めるカラーマトリクス係数生成手段と、
    前記補正カラーマトリクス係数に基づいて、前記オートホワイトバランス処理のなされたカラー画像信号に対して色調整を行うカラーマトリクス手段と、
    を具備し、
    前記カラーマトリクス係数生成手段は、前記ゲイン値取得手段によって取得されたゲイン値をパラメータとして持つ関数と、予め定められているカラーマトリクス係数と、を乗算することにより、前記補正カラーマトリクス係数を求める
    ことを特徴とするイメージセンサ。
  5. 入射される光を集光するレンズと、
    前記レンズ経由で得られる光を光電変換し、第1の色に対する信号、第2の色に対する信号、第3の色に対する信号を観測するセンサと、
    前記第1の色に対する信号、前記第2の色に対する信号、前記第3の色に対する信号に基づいてデモザイキング処理を実行し、カラー画像信号を生成するデモザイキング手段と、
    前記カラー画像信号に対するオートホワイトバランス処理によって得られるゲイン値を取得するゲイン値取得手段と、
    前記ゲイン値取得手段によって取得されたゲイン値に基づいて、色温度によって生じる見えの変化を修正する特性を持つ補正カラーマトリクス係数を求めるカラーマトリクス係数生成手段と、
    前記補正カラーマトリクス係数に基づいて、前記オートホワイトバランス処理のなされたカラー画像信号に対して色調整を行うカラーマトリクス手段と、
    を具備し、
    前記カラーマトリクス係数生成手段は、前記ゲイン値取得手段によって取得されたゲイン値と、ゲイン値と補正カラーマトリクス係数との関係を示すテーブルとに基づいて、前記ゲイン値取得手段によって取得されたゲイン値に対応する前記補正カラーマトリクス係数を求める
    ことを特徴とするイメージセンサ。
JP2008207962A 2008-08-12 2008-08-12 画像処理装置及びイメージセンサ Expired - Fee Related JP4751428B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008207962A JP4751428B2 (ja) 2008-08-12 2008-08-12 画像処理装置及びイメージセンサ
US12/539,033 US8427550B2 (en) 2008-08-12 2009-08-11 Image processing device correcting image data, image sensor and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008207962A JP4751428B2 (ja) 2008-08-12 2008-08-12 画像処理装置及びイメージセンサ

Publications (2)

Publication Number Publication Date
JP2010045580A JP2010045580A (ja) 2010-02-25
JP4751428B2 true JP4751428B2 (ja) 2011-08-17

Family

ID=41681071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008207962A Expired - Fee Related JP4751428B2 (ja) 2008-08-12 2008-08-12 画像処理装置及びイメージセンサ

Country Status (2)

Country Link
US (1) US8427550B2 (ja)
JP (1) JP4751428B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110205397A1 (en) * 2010-02-24 2011-08-25 John Christopher Hahn Portable imaging device having display with improved visibility under adverse conditions
KR20110135720A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 촬영 환경에 따른 렌즈 쉐이딩 보상 테이블을 생성하기 위한 장치 및 방법
JP5432075B2 (ja) * 2010-07-06 2014-03-05 パナソニック株式会社 撮像装置および色温度算出方法
KR101920816B1 (ko) * 2013-07-08 2018-11-21 한화테크윈 주식회사 쉐이딩 보정이 가능한 화이트 발란스 방법, 그리고 이에 적용되는 장치
KR102170686B1 (ko) * 2014-03-18 2020-10-27 한화테크윈 주식회사 화이트 밸런스 보정 장치 및 방법
CN103916648B (zh) * 2014-04-14 2015-11-04 冠捷显示科技(厦门)有限公司 液晶电视中Gamma的调整算法
US9595086B2 (en) * 2014-09-04 2017-03-14 Samsung Electronics Co., Ltd. Image processing device, image processing system and method for image processing
CN105163102B (zh) * 2015-06-30 2017-04-05 北京空间机电研究所 一种基于fpga的实时图像自动白平衡系统及方法
CN106454285B (zh) * 2015-08-11 2019-04-19 比亚迪股份有限公司 白平衡的调整系统及调整方法
CN109215612A (zh) * 2017-06-30 2019-01-15 北京小米移动软件有限公司 屏幕显示的调节方法及装置、电子设备、存储介质
TWI715142B (zh) * 2019-08-07 2021-01-01 瑞昱半導體股份有限公司 影像感測裝置以及自動白平衡方法
US20230051281A1 (en) * 2020-04-21 2023-02-16 Hewlett-Packard Development Company, L.P. Color correction of an image
CN113298726A (zh) * 2021-05-14 2021-08-24 漳州万利达科技有限公司 一种图像显示调整方法、装置、显示设备和存储介质
CN114554169A (zh) * 2022-02-24 2022-05-27 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003230052A (ja) * 2002-02-01 2003-08-15 Nikon Corp 電子カメラ、画像処理プログラムおよび画像処理方法
JP3793121B2 (ja) * 2002-07-04 2006-07-05 キヤノン株式会社 撮像装置及び画像信号処理方法及びプログラム及び記憶媒体
JP4221584B2 (ja) 2002-07-24 2009-02-12 富士ゼロックス株式会社 色処理装置および色処理方法、色処理プログラム
JP4311945B2 (ja) * 2003-01-29 2009-08-12 オリンパス株式会社 電子的撮像装置及び顕微鏡システム
JP2005210526A (ja) * 2004-01-23 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム
KR100825172B1 (ko) * 2004-04-05 2008-04-24 미쓰비시덴키 가부시키가이샤 촬상 장치
JP2007036462A (ja) * 2005-07-25 2007-02-08 Fujifilm Holdings Corp 画像処理装置

Also Published As

Publication number Publication date
US20100039528A1 (en) 2010-02-18
JP2010045580A (ja) 2010-02-25
US8427550B2 (en) 2013-04-23

Similar Documents

Publication Publication Date Title
JP4751428B2 (ja) 画像処理装置及びイメージセンサ
JP5527448B2 (ja) 画像入力装置
US7999978B2 (en) Matrix coefficient determining method and image input apparatus
US7969480B2 (en) Method of controlling auto white balance
JP5397788B2 (ja) 画像入力装置
JP5223742B2 (ja) エッジ強調画像処理装置
US8154629B2 (en) Noise canceling circuit, noise canceling method, and solid-state imaging device
WO2012004910A1 (ja) 撮像装置および色温度算出方法
JP5222625B2 (ja) 撮像装置
JP4892909B2 (ja) 信号処理方法、信号処理回路およびこれを用いたカメラシステム
JP5701640B2 (ja) 画像処理装置
JP2012165204A (ja) 信号処理装置、信号処理方法、撮像装置及び撮像処理方法
JP4374484B2 (ja) ディジタル・カメラにおける画質向上のための方法
US20180040107A1 (en) Image processing device, imaging device, image processing method, and program
JP2008124928A (ja) オートホワイトバランスシステム
JP2013162248A (ja) 撮像装置及びその制御方法
JP4777038B2 (ja) 撮像装置および画像処理方法
JP6534824B2 (ja) 撮像装置、および撮像装置の制御方法
JP2006148881A5 (ja)
JP2010147800A (ja) 画像処理装置
JP5282306B2 (ja) 画像処理装置、画像処理方法、及び撮像装置
JP5330291B2 (ja) 信号処理装置及び撮像装置
JP2008177724A (ja) 画像入力装置、信号処理装置および信号処理方法
JP2018022951A (ja) 画像処理装置および白黒画像処理装置
JP4833669B2 (ja) 撮像装置およびその信号処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110304

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110520

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees