JP5910043B2 - 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置 - Google Patents

撮像装置、画像処理プログラム、画像処理方法、および画像処理装置 Download PDF

Info

Publication number
JP5910043B2
JP5910043B2 JP2011265208A JP2011265208A JP5910043B2 JP 5910043 B2 JP5910043 B2 JP 5910043B2 JP 2011265208 A JP2011265208 A JP 2011265208A JP 2011265208 A JP2011265208 A JP 2011265208A JP 5910043 B2 JP5910043 B2 JP 5910043B2
Authority
JP
Japan
Prior art keywords
color
correction
image
target color
correction coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011265208A
Other languages
English (en)
Other versions
JP2013118526A (ja
Inventor
由樹雄 平井
由樹雄 平井
清水　雅芳
雅芳 清水
浩寧 吉川
浩寧 吉川
神頭　信之
信之 神頭
上村　拓也
拓也 上村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011265208A priority Critical patent/JP5910043B2/ja
Priority to US13/657,192 priority patent/US8810694B2/en
Publication of JP2013118526A publication Critical patent/JP2013118526A/ja
Application granted granted Critical
Publication of JP5910043B2 publication Critical patent/JP5910043B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、撮像装置、画像処理プログラム、画像処理方法、および画像処理装置に関する。
従来、デジタルカメラなどの可視光による画像を撮影する撮像装置では、赤外カットフィルタを設けて赤外光をカットし、可視光のみによる画像の撮影を行う。一方、監視カメラなどに用いられる、赤外光を照射して撮影を行うアクティブセンサを有する撮影装置では、赤外カットフィルタを設けずに可視光および赤外光による画像の撮影を行う。この可視光および赤外光による画像は、赤外光分を含む影響により、可視光のみによる画像と比べて色合いが変化する。
ところで、可視光による画像の撮影と赤外光による画像の撮影とを１台で兼用する場合、撮影装置に赤外カットフィルタを着脱する着脱機構を設ける構成が考えられる。しかし、着脱機構を設けた場合、撮影装置が大型化し、製造コストも増大する。特に、携帯電話やスマートフォンなどカメラを有する携帯端末では、装置の大型化は問題である。
そこで、赤外カットフィルタを除去し、行列演算を用いて可視光および赤外光による画像に対して色補正を行う技術が提案されている。
特開２００６−９４１１２号公報 特開２００６−１０１２３１号公報 特開２００５−２９５４１９号公報 特開２００３−１１０８６０号公報
豊田 善隆ら、"カラー撮影可能な近赤外撮像装置の研究"、映像情報メディア学会誌、２０１０年、Ｖｏｌ．６４、Ｎｏ１、Ｐ１０１〜Ｐ１１０
ここで、従来の色補正の一例を説明する。画像の各画素は、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の色空間でそれぞれ例えば、２５６階調など所定階調により色を示す値が定められる。補正前の色をＸ、色Ｘの補正による目標色をＹとした場合、Ｎ個の画素の補正前の色Ｘ、目標色Ｙは、以下の（１）式、（２）式に示すようなＲＧＢ３色×Ｎの行列で表される。
補正前の色Ｘを目標色Ｙに補正する補正係数Ｂを以下の（３）式に示すような３×３の行列と定める。
目標色Ｙは、以下の（４）式に示すように、補正前の色Ｘに対する補正係数Ｂの演算で表される。
Ｙ＝Ｂ・Ｘ （４）
補正係数Ｂは、補正前の色Ｘを目標色Ｙに可能なかぎり近く変換できることが好ましい。このため、この補正係数Ｂは、以下の（５）式の最小化問題を解くことにより定まる。
補正係数Ｂは、以下の（６）式に示すように、疑似逆行列として算出される。“ｘt”は、ｘの転置行列を表す。
Ｂ＝ｙ・ｘt／ｘ・ｘt （６）
補正前の色Ｘを補正係数Ｂにより補正した補正後の色をＹoutとした場合、Ｙoutは、以下の（７）式のように表される。
Ｙout＝Ｂ・ｘ （７）
ところで、（６）式から求めた補正係数Ｂを用いて画像の補正を行った場合、補正後の画像にノイズが多くなる現象が発生する。
ここで、ｘ−ｒｉｔｅ社製のカラーチェッカーターゲットを撮影した画像を用いてノイズが多くなる現象の一例を説明する。図１８は、赤外カットフィルタを設けて撮影装置によりカラーチェッカーターゲットを撮影した画像の一例を示す図である。図１９は、赤外カットフィルタを設けずに撮影装置によりカラーチェッカーターゲットを撮影した画像の一例を示す図である。図１８および図１９に示すように、カラーチェッカーターゲット２００は、グレートーンを含む２４色の矩形の色見本領域２０１を有する。図１９は、図１８に比べて色合いが変化している。これは、赤外カットフィルタを設けなかったことにより、撮像素子のＲＧＢの各色の受光部に可視光に加えて赤外光も入射し、赤外光を受光した分の電荷が発生した影響により色合いが変化したものである。
図１８の各色を目標色Ｙとし、図１９の各色を補正前の色Ｘとして、（６）式に示す演算を行って補正前の色Ｘを目標色Ｙに変換する補正係数Ｂを求める。（６）式に示す演算を行って求めた補正係数Ｂの一例を（８）式に示す。
そして、図１９の画像の各画素の色Ｘに対して補正係数Ｂを用いて（７）式に示す変換を行って画素毎に補正後の色Ｙoutを求めることにより補正を行う。図２０は、図１９の画像を補正係数Ｂにより補正した画像の一例を示す図である。図２０は、図１８に比べてノイズが多い。
ここで、補正による画像の変化を明確にするため、補正前の画像と補正後の画像で対応する画素毎に、色を示すＲＧＢの値を輝度Ｙ、色差Ｉ、Ｑに変換して比較する。図２１Ａは、図１８の画像と図２０の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。図２１Ａの例では、図１８の破線に沿った各画素の輝度Ｙを目標値として示し、図２０の破線に沿った各画素の輝度Ｙを補正値として示す。図２１Ｂは、図１８の画像と図２０の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。図２１Ｂの例では、図１８の破線に沿った各画素の色差Ｉを目標値として示し、図２０の破線に沿った各画素の色差Ｉを補正値として示す。図２１Ｃは、図１８の画像と図２０の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。図２１Ｃの例では、図１８の破線に沿った各画素の色差Ｑを目標値として示し、図２０の破線に沿った各画素の色差Ｑを補正値として示す。
図２１Ｂおよび図２１Ｃに示すように、色差Ｉ、Ｑは、補正値が目標値に近い値で変化する。すなわち、補正による色合いの変化は小さいことを示す。一方、図２１Ａに示すように、輝度Ｙは、目標値に対して補正値が大きく変化する。このように輝度Ｙの補正値が目標値に対して大きく変化する理由は、撮像素子への赤外光の混入量が多い場合、補正係数Ｂの各要素が１より非常に大きくなり、その結果、補正後の画像のノイズが強調された画像になるためである。
輝度Ｙのノイズを減少させるために、補正係数Ｂに重みをもたせることが考えられる。例えば、以下の（９）式に示すように、Ｔｉｋｈｏｎｏｖの正則化法を用いて、補正係数Ｂに重み係数λの項を加えて、目標色Ｙと補正前の色Ｘを補正係数Ｂ’で補正した補正色とのノルムを正則化する最小化問題と考える。
この補正係数Ｂ’は、以下の（１０）式から算出される。
Ｂ’＝ｙ・ｘｔ／（ｘ・ｘｔ＋λ2・Ｉ） （１０）
ここで、Ｉは単位行例を表す。
例えば、λ＝３０とした場合の（１０）式に示す演算を行って求めた補正係数Ｂ’の一例を（１１）式に示す。
図１９の画像の各画素の色Ｘに対して、式（８）により求めた補正係数Ｂ’を用いて（７）式に示す変換を行って画素毎に補正後の色Ｙoutを求めることにより画像の補正を行う。図２２は、図１９の画像を補正係数Ｂ’により補正した画像の一例を示す図である。図２２は、図２０に比べてノイズが減少するが、図１８に比べて色合いが大きく変化する。
ここで、補正による画像の変化を明確にするため、補正前の画像と補正後の画像で対応する画素毎に、色を示すＲＧＢの値を輝度Ｙ、色差Ｉ、Ｑに変換して比較する。図２３Ａは、図１８の画像と図２２の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。図２３Ａの例では、図１８の破線に沿った各画素の輝度Ｙを目標値として示し、図２２の破線に沿った各画素の輝度Ｙを補正値として示す。図２３Ｂは、図１８の画像と図２２の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。図２３Ｂの例では、図１８の破線に沿った各画素の色差Ｉを目標値として示し、図２２の破線に沿った各画素の色差Ｉを補正値として示す。図２３Ｃは、図１８の画像と図２２の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。図２３Ｃの例では、図１８の破線に沿った各画素の色差Ｑを目標値として示し、図２２の破線に沿った各画素の色差Ｑを補正値として示す。
図２３Ａに示すように、輝度Ｙは、目標値に近い値で補正値が小さい幅で変化する。すなわち、補正によるノイズの発生は小さいことを示す。一方、図２３Ｂおよび図２３Ｃに示すように、色差Ｉ、Ｑは、目標値から補正値が変化している。すなわち、補正により色合いは変化していることを示す。
このように、重みなしの場合は補正後の輝度Ｙはノイズが大きいが、色差Ｉ、Ｑは目標値に近い。一方、重みありの場合は、補正後の輝度Ｙのノイズは小さくなっているが、色差Ｉ、Ｑは異なっている。このようにノイズと色合いは、トレードオフの関係にある。
開示の技術は、色合いの変化を抑えつつノイズの発生を抑えて画像を補正できる撮像装置、画像処理プログラム、画像処理方法、および画像処理装置を提供することを目的とする。
本願の開示する撮像装置は、一つの態様において、記憶部と、撮影部と、色変換部と、を有する。記憶部は、目標色に対する補正対象色の色差と当該補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出された変換情報を記憶する。撮影部は、画像を撮影する。色変換部は、前記記憶部に記憶された変換情報に基づき、前記撮影部により撮影された画像の各画素の色を変換する。
本願の開示する撮像装置の一つの態様によれば、色合いの変化を抑えつつノイズの発生を抑えて画像を補正できる。
図１は、撮影システムの全体構成の一例を示す図である。 図２は、図１９の画像を補正係数Ａにより補正した画像の一例を示す図である。 図３Ａは、図１８の画像と図２の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。 図３Ｂは、図１８の画像と図２の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。 図３Ｃは、図１８の画像と図２の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。 図４は、色補正部による処理の流れを模式的に示した図である。 図５は、変換情報格納処理の手順を示すフローチャートである。 図６は、撮像処理の手順を示すフローチャートである。 図７は、色補正部による処理の流れを模式的に示した図である。 図８は、撮影システムの全体構成の一例を示す図である。 図９は、第一色空間変換部および色補正部による処理の流れを模式的に示した図である。 図１０は、図１９の画像を補正係数Ａ’により補正した画像の一例を示す図である。 図１１は、図１９の画像を補正係数Ａにより補正した画像の一例を示す図である。 図１２Ａは、図１８の画像と図１０の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。 図１２Ｂは、図１８の画像と図１０の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。 図１２Ｃは、図１８の画像と図１０の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。 図１３Ａは、図１８の画像と図１１の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。 図１３Ｂは、図１８の画像と図１１の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。 図１３Ｃは、図１８の画像と図１１の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。 図１４は、第一色空間変換部および色補正部による処理の流れを模式的に示した図である。 図１５は、画像処理装置の構成の一例を示す図である。 図１６は、画像処理の手順を示すフローチャートである。 図１７は、変換情報格納プログラムを実行するコンピュータを示す図である。 図１８は、赤外カットフィルタを設けて撮影装置によりカラーチェッカーターゲットを撮影した画像の一例を示す図である。 図１９は、赤外カットフィルタを設けずに撮影装置によりカラーチェッカーターゲットを撮影した画像の一例を示す図である。 図２０は、図１９の画像を補正係数Ｂにより補正した画像の一例を示す図である。 図２１Ａは、図１８の画像と図２０の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。 図２１Ｂは、図１８の画像と図２０の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。 図２１Ｃは、図１８の画像と図２０の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。 図２２は、図１９の画像を補正係数Ｂ’により補正した画像の一例を示す図である。 図２３Ａは、図１８の画像と図２２の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。 図２３Ｂは、図１８の画像と図２２の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。 図２３Ｃは、図１８の画像と図２２の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。
以下に、本発明にかかる撮像装置、画像処理プログラム、画像処理方法、および画像処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。以下では、撮影システムに本発明を適用した場合について説明する。
実施例１に係る撮影システムについて説明する。図１は、撮影システムの全体構成の一例を示す図である。図１に示すように、撮影システム１０は、変換情報格納装置２０と、撮像装置３０を有する。変換情報格納装置２０は、撮像装置３０で撮影された画像を補正する際に用いる変換情報を導出し、導出した変換情報を撮像装置３０に格納する機器であり、例えば、コンピュータなどである。変換情報格納装置２０は、例えば、撮像装置３０の製造や検査を行う工場などに設けられ、撮像装置３０に変換情報を格納する。変換情報格納装置２０は、記憶部２１と、算出部２２、格納部２３とを有する。
記憶部２１は、各種情報を記憶する。例えば、記憶部２１は、第一画像情報２１ａと、第二画像情報２１ｂと、変換情報２１ｃとを記憶する。第一画像情報２１ａは、補正対象とする補正対象色を含んだ画像の画像情報である。第二画像情報２１ｂは、補正対象色の補正の目標とする目標色を含んだ画像情報である。第一画像情報２１ａにより示される画像は、例えば、赤外カットフィルタを設けずに対象物を撮影した画像であり、一例として、図１９に示す赤外カットフィルタを設けずにカラーチェッカーターゲットを撮影した画像が該当する。第二画像情報２１ｂにより示される画像は、例えば、赤外カットフィルタを設けて、第一画像情報２１ａと同一の対象物を撮影した画像であり、一例として、図１８の赤外カットフィルタを設けてカラーチェッカーターゲットを撮影した画像が該当する。第一画像情報２１ａおよび第二画像情報２１ｂは、赤外カットフィルタを着脱可能な１台の撮影装置により撮影されたものでもよい。また、第一画像情報２１ａおよび第二画像情報２１ｂは、赤外カットフィルタを設けた撮影装置と、赤外カットフィルタを設けていない撮影装置によりそれぞれ撮影されたものでもよい。記憶部２１のデバイスの一例としては、フラッシュメモリやＮＶＳＲＡＭ(Non Volatile Static Random Access Memory)などのデータを書き換え可能な半導体メモリや、ハードディスク、光ディスクなどの記憶装置が挙げられる。
算出部２２は、各種の算出を行う。例えば、算出部２２は、第一画像情報２１ａおよび第二画像情報２１ｂから撮像装置３０で撮影された画像の色を補正する補正係数Ａを算出する。
ここで、算出部２２による補正係数Ａの算出について説明する。赤外カットフィルタを設けて撮影されたフィルタあり画像は、可視光による画像である。一方、赤外カットフィルタを設けずに撮影されたフィルタなし画像は、可視光および赤外光による画像であり、フィルタあり画像に比べて赤外光分を含む。このため、フィルタあり画像の画素のＲＧＢの各画素値をＲin、Ｇin、Ｂinとし、フィルタなし画像の画素のＲＧＢの各画素値をＲout、Ｇout、Ｂoutとし、赤外光分のＲＧＢの各画素値をΔＲ、ΔＧ、ΔＢとした場合、以下の（１２）式の関係があると考えられる。
Ｒout＝Ｒin＋ΔＲ
Ｇout＝Ｇin＋ΔＧ （１２）
Ｂout＝Ｂin＋ΔＢ
照明によって異なるが、照射される光に含まれる赤外光の割合は定まる。このため、補正係数Ａを３×３の行列と定めると、以下の（１３）式の関係があると考えられる。
フィルタなし画像の画素のＲＧＢの画素値Ｒout、Ｇout、Ｂoutの行例を（１４）式に示すように補正対象色Ｘとする。また、フィルタあり画像の画素の画素値Ｒin、Ｇin、Ｂinの行例を（１５）式に示すように、補正対象色Ｘの補正の目標とする目標色Ｙとする。
（１２）式は、（１３）（１４）（１５）式から以下の（１６）式のように表すことができる。なお、−Ａを新たな補正係数Ａに変更している。
Ｙ＝Ｘ＋Ａ・Ｘ （１６）
一方、赤外光分の画素値ΔＲ、ΔＧ、ΔＢは、以下の（１７）式に示すように、目標色Ｙに対する補正対象色Ｘの色差ｄｙと考えられる。
ｄｙ＝Ｙ−Ｘ （１７）
この（１７）式は、以下の（１８）式のように表せる。
Ｙ＝Ｘ＋ｄｙ （１８）
上記（１６）（１８）式から、補正係数Ａは、補正対象色Ｘを色差ｄｙに可能なかぎり近く変換できることが好ましい。このような補正係数Ａは、目標色Ｙに対する補正対象色Ｘの色差ｄｙと、当該補正対象色Ｘを補正係数Ａで補正した補正色との差分のノルムを正則化する補正係数を算出することにより定めることができる。本実施例では、ノイズを減少させるために、Ｔｉｋｈｏｎｏｖの正則化法を用いて、補正係数Ａの算出を考える。例えば、以下の（１９）式のように、色差ｄｙと補正対象色Ｘを補正係数Ａで補正した補正色との差分のノルムと、所定の重み係数λを施した補正係数Ａのノルムとの和が最小値となる補正係数を算出する最小化問題と考える。
この補正係数Ａは、以下の（２０）式から算出される。
Ａ＝ｄｙ・ｘｔ／（ｘ・ｘｔ＋λ2・Ｉ） （２０）
算出部２２は、記憶部２１に記憶された第一画像情報２１ａおよび第二画像情報２１ｂから（２０）式に示す演算を行って補正係数Ａを算出する。
例えば、図１８の各色を目標色Ｙとし、図１９の各色を補正対象色Ｘとし、λ＝３０とした場合の（２０）式に示す演算を行って求めた補正係数Ａの一例を（２１）式に示す。算出部２２は、算出された補正係数Ａを変換情報２１ｃとして記憶部２１に記憶させる。
本実施例では、補正対象の画像の各画素のＲＧＢの画素値をＸとして上記（１６）式に示す演算を行って補正後のＲＧＢの画素値Ｙを算出することにより色の補正を行う。図２は、図１９の画像を補正係数Ａにより補正した画像の一例を示す図である。なお、補正係数Ａは、重み係数λ＝３０として算出したものを用いている。図２は、図１８に示した赤外カットフィルタを設けて撮影された画像に近い画像に補正される。
ここで、補正による画像の変化を明確にするため、補正前の画像と補正後の画像で対応する画素毎に、色を示すＲＧＢの値を輝度Ｙ、色差Ｉ、Ｑに変換して比較する。図３Ａは、図１８の画像と図２の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。図３Ａの例では、図１８の破線に沿った各画素の輝度Ｙを目標値として示し、図２の破線に沿った各画素の輝度Ｙを補正値として示す。図３Ｂは、図１８の画像と図２の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。図３Ｂの例では、図１８の破線に沿った各画素の色差Ｉを目標値として示し、図２の破線に沿った各画素の色差Ｉを補正値として示す。図３Ｃは、図１８の画像と図２の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。図３Ｃの例では、図１８の破線に沿った各画素の色差Ｑを目標値として示し、図２の破線に沿った各画素の色差Ｑを補正値として示す。
図３Ａに示すように、輝度Ｙは、目標値に近い値で補正値が小さい幅で変化する。すなわち、補正によるノイズの発生は小さいことを示す。また、図３Ｂおよび図３Ｃに示すように、色差Ｉ、Ｑは、補正値が目標値に近い値で変化する。すなわち、補正による色合いの変化は小さいことを示す。
このように補正係数Ａを用いて色の補正を行うことにより、赤外カットフィルタを設けずに撮影された画像は、赤外カットフィルタを設けて撮影された画像に近い画像に補正される。
ここで、重み係数λは、値が小さいほど補正された画像が赤外カットフィルタを設けずに撮影された画像に近い色合いとなるが、画像のノイズ量が多くなる。また、重み係数λは、値が大きいほど補正された画像のノイズが小さくなるが赤外カットフィルタを設けずに撮影された画像からの色合いの変化が大きくなる。重み係数λの値は、撮像装置３０に要求される撮影画像の画質に応じて決定される。例えば、撮影画像のノイズを抑えた場合は、重み係数λに大きい値が管理者により設定される。一方、撮影画像の色合の変化を抑えた場合は、重み係数λに小さい値が管理者により設定される。
格納部２３は、撮像装置３０の後述する記憶部３２に変換情報２１ｃを格納する。なお、変換情報格納装置２０と撮像装置３０がＵＳＢ（Universal Serial Bus）など有線により接続される場合、格納部２３は、有線を介して変換情報２１ｃを記憶部３２に格納してもよい。また、撮像装置３０が後述するようにメモリカード３７が着脱可能な場合、メモリカード３７に変換情報２１ｃを記憶させ、メモリカード３７を介して変換情報２１ｃを記憶部３２に格納してもよい。
図１に戻り、撮像装置３０は、静止画や動画の撮影を行う機器であり、例えば、デジタルカメラやビデオカメラ、監視カメラなどである。なお、撮像装置３０は、カメラを有する携帯端末であってもよい。撮像装置３０は、撮影部３１と、記憶部３２と、色補正部３３と、γ補正部３４と、画質調整部３５と、出力部３６と、メモリカード３７とを有する。
撮影部３１は、画像の撮像を行う。例えば、撮影部３１は、レンズなどの光学系部品、光学系部品の光軸上に配置された、ＣＣＤ（Charge Coupled Devices）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を有する。撮影部３１は、光学系部品に赤外カットフィルタが含まれておらず、可視光および赤外光が撮像素子に入射する。撮像素子は、各画素に対応してＲＧＢが所定パターンで配列したカラーフィルタが受光面に設けられており、各画素で受光した光量に応じたアナログ信号を出力する。撮影部３１は、撮像素子から出力されたアナログ信号に対して相関２重サンプリングなどのノイズ除去処理や、増幅処理など各種のアナログ信号処理を行う。そして、撮影部３１は、アナログ信号処理されたアナログ信号をデジタルデータに変換し、デモザイク処理など各種のデジタル信号処理を行い、撮像された画像を示す画像情報を出力する。この画像情報の各画素は、ＲＧＢの色空間で所定階調により色を示す値が定められている。
記憶部３２は、各種情報を記憶する。例えば、記憶部３２は、変換情報格納装置２０により格納された変換情報２１ｃを記憶する。記憶部３２のデバイスの一例としては、フラッシュメモリやＮＶＳＲＡＭなどのデータを書き換え可能な半導体メモリが挙げられる。
色補正部３３は、撮影部３１により撮影された画像の色の補正を行う。例えば、色補正部３３は、記憶部３２に変換情報２１ｃとして記憶された補正係数Ａを読み出す。そして、色補正部３３は、撮影部３１により撮影された画像の各画素毎に、画素のＲＧＢの画素値をＸとして上記（１６）式に示す演算を行って補正後のＲＧＢの画素値Ｙを算出する。図４は、色補正部による処理の流れを模式的に示した図である。色補正部３３では、撮影部３１により撮影された画像の各画素のＲＧＢの画素値Ｘに補正係数Ａを乗算すると共に画素値Ｘを加算して補正後のＲＧＢの画素値Ｙを算出する。このように補正係数Ａを用いて色の補正を行うことにより、赤外カットフィルタを設けずに撮影された画像は、赤外カットフィルタを設けて撮影された画像に近い画像に補正される。
γ補正部３４は、色補正部３３により色が補正された画像情報に対して撮影部３１の感度特性を補正する非線形のγ補正を行い、撮影部３１により撮影された画像の明るさの変化と画素値の変化が比例するように補正を行う。
画質調整部３５は、画像の画質を調整する各種の画像処理を行う。例えば、画質調整部３５は、γ補正部３４によりγ補正された画像情報により示される画像の鮮やかさやコントラストなどが所定の画質となるように、当該画像情報に対して所定の画像処理を行う。
出力部３６は、各種の情報を出力する。例えば、出力部３６は、画質調整部３５により画質が調整された画像を表示する。出力部３６のデバイスの一例としては、ＬＣＤ（Liquid Crystal Display）の表示デバイスなどが挙げられる。なお、出力部３６は、画質調整部３５により画質が調整された画像情報を外部へ出力するものとしてもよい。
メモリカード３７は、各種の情報を記憶する。例えば、画質調整部３５により画質が調整された画像情報を記憶する。
次に、本実施例に係る変換情報格納装置２０により変換情報を導出し、撮像装置３０に格納する処理の流れを説明する。図５は、変換情報格納処理の手順を示すフローチャートである。この変換情報格納処理は、例えば、撮像装置３０に対して変換情報の格納を指示する所定操作が行われたタイミングで実行される。なお、変換情報格納処理は、変換情報格納装置２０に撮像装置３０が接続されたタイミングで実行してもよい。
図５に示すように、算出部２２は、記憶部２１に記憶された第一画像情報２１ａおよび第二画像情報２１ｂから（２０）式の演算を行って補正係数Ａを算出する（ステップＳ１０）。算出部２２は、算出した補正係数Ａを変換情報２１ｃとして記憶部２１に記憶させる（ステップＳ１１）。格納部２３は、記憶部２１から変換情報２１ｃを読み出し、撮像装置３０の記憶部３２に格納し（ステップＳ１２）、処理を終了する。これにより、撮像装置３０の記憶部３２には、補正係数Ａが記憶される。
次に、本実施例に係る撮像装置３０により画像を撮像する際の処理の流れを説明する。図６は、撮像処理の手順を示すフローチャートである。この撮像処理は、例えば、撮像装置３０に対して撮像を指示する所定操作が行われたタイミングで実行される。
図６に示すように、撮影部３１は、撮像素子の各画素からアナログ信号を読み出して各種のアナログ信号処理、デジタル信号処理を行い、撮像された画像を示す画像情報を出力する（ステップＳ２０）。色補正部３３は、記憶部３２に変換情報２１ｃとして記憶された補正係数Ａを読み出す（ステップＳ２１）。そして、色補正部３３は、読み出した補正係数Ａを用いて撮影部３１から出力された画像情報に対して（１６）式の演算を行って色を変換する補正を行う（ステップＳ２２）。γ補正部３４は、色が補正された画像情報に対してγ補正を行う（ステップＳ２３）。画質調整部３５は、γ補正された画像情報に対して画質を調整する所定の画像処理を行う（ステップＳ２４）。画質調整部３５は、画質が調整された画像を出力部３６へ出力して表示させる（ステップＳ２５）。また、画質調整部３５は、画質が調整された画像情報をメモリカード３７に記憶させ（ステップＳ２６）、処理を終了する。
このように、撮像装置３０は、目標色Ｙに対する補正対象色Ｘの色差と当該補正対象色Ｘを補正係数Ａで補正した補正色との差分のノルムと、所定の重み係数を施した補正係数Ａのノルムとの和が最小値となる補正係数Ａを変換情報として記憶する。そして、撮像装置３０は、変換情報に基づき、撮影部３１により撮影された画像の各画素の色を変換する。よって、撮像装置３０によれば、色合いの変化を抑えつつノイズの発生を抑えて画像を補正できる。これにより、撮像装置３０によれば、赤外カットフィルタを設けなくても、赤外カットフィルタを設けた画像に近い画像を撮影できる。
一方、変換情報格納装置２０は、目標色Ｙに対する補正対象色Ｘの色差と当該補正対象色Ｘを補正係数Ａで補正した補正色との差分のノルムと、所定の重み係数を施した補正係数Ａのノルムとの和が最小値となる補正係数を算出する。そして、変換情報格納装置２０は、算出された補正係数に基づいて導出した変換情報を撮像装置３０の記憶部３２に格納する。これにより、撮像装置３０は、変換情報に基づいて撮影された画像の各画素の色を変換することにより、色合いの変化を抑えつつノイズの発生を抑えて画像を補正できる。
次に、実施例２について説明する。実施例２に係る撮影システム１０、変換情報格納装置２０および撮像装置３０の構成は、図１に示した実施例１に係る撮影システム１０、変換情報格納装置２０および撮像装置３０と略同一であるため、異なる部分について説明する。
ここで、上述した（１６）式は、単位行列をＩとすると以下の（２２）式のように表せる。
Ｙ＝（Ｉ＋Ａ）・Ｘ （２２）
このＩ＋Ａをトータルの補正係数ＡTotalとした場合、（２２）式は、以下の（２３）式のように表せ、計算を簡略化できる。
Ｙ＝ＡTotal・Ｘ （２３）
そこで、算出部２２は、記憶部２１に記憶された第一画像情報２１ａおよび第二画像情報２１ｂから補正係数Ａを算出し、算出した補正係数Ａに単位行列を加算してトータルの補正係数ＡTotalを算出する。そして、算出部２２は、トータルの補正係数ＡTotalを変換情報として記憶部２１に記憶させる。この記憶部２１に記憶されたトータルの補正係数ＡTotalは、格納部２３により撮像装置３０の記憶部３２に格納される。
色補正部３３は、記憶部３２に変換情報２１ｃとして記憶されたトータルの補正係数ＡTotalを読み出し、撮影部３１により撮影された画像の各画素毎に、画素のＲＧＢの画素値をＸとして上記（２３）式に示す演算を行って補正後のＲＧＢの画素値Ｙを算出する。図７は、色補正部による処理の流れを模式的に示した図である。色補正部３３では、撮影部３１により撮影された画像の各画素のＲＧＢの画素値Ｘにトータルの補正係数ＡTotalを乗算して補正後のＲＧＢの画素値Ｙを算出する。
このように、撮像装置３０は、補正係数Ａに単位行列を加算したトータルの補正係数ＡTotalを変換情報として記憶する。そして、撮像装置３０は、撮影部により撮影された画像の各画素の色を構成する各色成分に対してトータルの補正係数ＡTotalを乗算して色を変換する。よって、撮像装置３０によれば、色変換の処理の負荷を軽減できる。
次に、実施例３について説明する。図８は、撮影システムの全体構成の一例を示す図である。なお、図１に示した実施例１に係る撮影システムと同一の部分については、同一の符号を付し、異なる部分について説明する。
変換情報格納装置２０は、色空間変換部２４をさらに有する。色空間変換部２４は、第一画像情報２１ａおよび第二画像情報２１ｂの色空間をＹＩＱの色空間に変換する。例えば、ＲＧＢの色空間からＹＩＱの色空間へ変換する変換係数をＣとし、ＲＧＢの色空間での目標色をＹ、補正対象色をＸとした場合、ＹＩＱの色空間での目標色Ｙ’および補正対象色Ｘ’は、以下の（２４）式、（２５）式のように表せる。
Ｙ’＝Ｃ・Ｙ （２４）
Ｘ’＝Ｃ・Ｘ （２５）
算出部２２は、色空間変換部２４によりＹＩＱの色空間に変換された第一画像情報２１ａおよび第二画像情報２１ｂから撮像装置３０で撮影された画像の色を補正する補正係数Ａ’を算出する。例えば、ＹＩＱの色空間での目標色Ｙ’に対する補正対象色Ｘ’の色差ｄｙ’は、以下の（２６）式のように表せる。
ｄｙ’＝Ｙ’−Ｘ’ （２６）
そして、ＹＩＱの色空間において、上述の（１９）式と同様に、Ｔｉｋｈｏｎｏｖの正則化法を用いて、以下の（２７）式に示す最小化問題を考える。
この補正係数Ａ’は、以下の（２８）式から算出される。
Ａ’＝ｄｙ’・ｘ’ｔ／（ｘ’・ｘ’ｔ＋λ2・Ｉ） （２８）
例えば、図１８の各色を目標色Ｙとし、図１９の各色を補正対象色ＸとしてＹＩＱの色空間に変換した後、λ＝１５として（２８）式に示す演算を行って求めた補正係数Ａ’の一例を（２９）式に示す。
算出部２２は、算出された補正係数Ａ’を変換情報２１ｃとして記憶部２１に記憶させる。この記憶部３２に記憶された補正係数Ａ’は、格納部２３により撮像装置３０の記憶部３２に格納される。
一方、撮像装置３０は、第一色空間変換部４０と、第二色空間変換部４１をさらに有する。第一色空間変換部４０は、撮影部３１により撮影された画像の色空間をＹＩＱの色空間に変換する。
色補正部３３は、記憶部３２に変換情報２１ｃとして記憶された補正係数Ａ’を読み出す。そして、色補正部３３は、第一色空間変換部４０によりＹＩＱの色空間に変換された画素値をＸ’として下記（３０）式に示す演算を行って補正後のＹＩＱの色空間での画素値Ｙ’を算出する。
Ｙ’＝Ｘ’＋Ａ’・Ｘ’ （３０）
図９は、第一色空間変換部および色補正部による処理の流れを模式的に示した図である。第一色空間変換部４０では、撮影部３１により撮影された画像の各画素のＲＧＢ色空間の画素値ＸをＹＩＱ色空間の画素値Ｘ’に変換する。色補正部３３では、ＹＩＱ色空間の画素値Ｘ’に補正係数Ａ’を乗算すると共に画素値Ｘ’を加算して補正後のＲＧＢの画素値Ｙ’を算出する。
第二色空間変換部４１は、色補正部３３により補正撮影されたＹＩＱ色空間の画像をＲＧＢ色空間に変換する。ＲＧＢ色空間に変換された画像は、γ補正部３４によりγ補正が行われる。
図１０は、図１９の画像を補正係数Ａ’により補正した画像の一例を示す図である。なお、補正係数Ａ’は、重み係数λ＝１５として算出したものを用いている。また、比較のため、同じ重み係数λ＝１５として上述の（２０）式の演算により補正係数Ａを算出し、図１９の画像を（１６）式を用いて補正係数Ａにより補正した画像を示す。図１１は、図１９の画像を補正係数Ａにより補正した画像の一例を示す図である。図１０は、図１１よりもノイズが低減している。
ここで、補正による画像の変化を明確にするため、補正前の画像と補正後の画像で対応する画素毎に、色を示すＲＧＢの値を輝度Ｙ、色差Ｉ、Ｑに変換して比較する。図１２Ａは、図１８の画像と図１０の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。図１２Ａの例では、図１８の破線に沿った各画素の輝度Ｙを目標値として示し、図１０の破線に沿った各画素の輝度Ｙを補正値として示す。図１２Ｂは、図１８の画像と図１０の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。図１２Ｂの例では、図１８の破線に沿った各画素の色差Ｉを目標値として示し、図１０の破線に沿った各画素の色差Ｉを補正値として示す。図１２Ｃは、図１８の画像と図１０の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。図１２Ｃの例では、図１８の破線に沿った各画素の色差Ｑを目標値として示し、図１０の破線に沿った各画素の色差Ｑを補正値として示す。
また、図１３Ａは、図１８の画像と図１１の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。図１３Ａの例では、図１８の破線に沿った各画素の輝度Ｙを目標値として示し、図１１の破線に沿った各画素の輝度Ｙを補正値として示す。図１３Ｂは、図１８の画像と図１１の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。図１３Ｂの例では、図１８の破線に沿った各画素の色差Ｉを目標値として示し、図１１の破線に沿った各画素の色差Ｉを補正値として示す。図１３Ｃは、図１８の画像と図１１の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。図１３Ｃの例では、図１８の破線に沿った各画素の色差Ｑを目標値として示し、図１１の破線に沿った各画素の色差Ｑを補正値として示す。
図１２Ａと図１３Ａを比較した場合、輝度Ｙは、図１２Ａの方が目標値に近い値で補正値が小さい幅で変化する。すなわち、補正によるノイズは、ＹＩＱ色空間で求めた補正係数Ａ’により補正した方が低減している。一方、図１２Ｂと図１３Ｂおよび図１２Ｃと図１３Ｃを比較した場合、色差Ｉ、Ｑは、ほぼ同様である。すなわち、補正による色合いの変化はほぼ同様であることを示す。
このように補正係数Ａ’により補正した方が輝度Ｙのノイズが低減される理由は、（２６）（２７）式に示すように、ＹＩＱ色空間での色差から補正係数Ａ’を算出するため、輝度Ｙの差がより小さくなる補正係数Ａ’が求まるためである。
このように、撮像装置３０は、撮影部３１により撮影された画像の色空間を輝度および色差の色空間に変換する。また、撮像装置３０は、輝度および色差の色空間における目標色Ｙに対する補正対象色Ｘの色差と補正対象色Ｘを補正係数で補正した補正色とのノルムと、所定の重み係数を施した補正係数Ａ’のノルムとの和が最小値となる補正係数Ａ’を変換情報として記憶する。そして撮像装置３０は、変換情報に基づき、輝度および色差の色空間に変換された画像の各画素の色を変換する。よって、撮像装置３０によれば、ノイズの発生をより抑えて画像を補正できる。
次に、実施例４について説明する。実施例４に係る撮影システム１０、変換情報格納装置２０および撮像装置３０の構成は、図８に示した実施例３に係る撮影システム１０、変換情報格納装置２０および撮像装置３０と略同一であるため、異なる部分について説明する。
ここで、上述した（３０）式は、単位行列をＩとすると以下の（３１）式のように表せる。
Ｙ’＝（Ｉ＋Ａ’）・Ｘ’ （３１）
このＩ＋Ａ’をトータルの補正係数Ａ’Totalとした場合、（３１）式は、以下の（３２）式のように表せ、計算を簡略化できる。
Ｙ’＝Ａ’Total・Ｘ’ （３２）
そこで、算出部２２は、記憶部２１に記憶された第一画像情報２１ａおよび第二画像情報２１ｂから補正係数Ａ’を算出し、算出した補正係数Ａ’に単位行列を加算してトータルの補正係数Ａ’Totalを算出する。そして、算出部２２は、トータルの補正係数Ａ’Totalを変換情報２１ｃとして記憶部２１に記憶させる。この記憶部２１に記憶されたトータルの補正係数ＡTotalは、格納部２３により撮像装置３０の記憶部３２に格納される。
色補正部３３は、記憶部３２に変換情報２１ｃとして記憶されたトータルの補正係数Ａ’Totalを読み出す。そして、色補正部３３は、第一色空間変換部４０によりＹＩＱの色空間に変換された画像の各画素毎に、画素のＹＩＱの画素値をＸ’として上記（３２）式に示す演算を行って補正後のＹＩＱの画素値Ｙ’を算出する。図１４は、第一色空間変換部および色補正部による処理の流れを模式的に示した図である。第一色空間変換部４０では、撮影部３１により撮影された画像の各画素のＲＧＢ色空間の画素値ＸをＹＩＱ色空間の画素値Ｘ’に変換する。色補正部３３では、ＹＩＱ色空間の画素値Ｘ’にトータルの補正係数Ａ’Totalを乗算して補正後のＲＧＢの画素値Ｙ’を算出する。
このように、撮像装置３０は、補正係数Ａ’に単位行列を加算したトータルの補正係数Ａ’Totalを変換情報として記憶する。そして、撮像装置３０は、撮影部により撮影された画像の各画素の色を構成する各色成分に対してトータルの補正係数Ａ’Totalを乗算して色を変換する。よって、撮像装置３０によれば、色変換の処理の負荷を軽減できる。
また、撮像装置３０は、輝度および色差の色空間において算出した補正係数Ａ’から導出されたトータルの補正係数Ａ’Totalにより画像の各画素の色を変換する。よって、撮像装置３０によれば、ノイズの発生をより抑えて画像を補正できる。
次に、実施例５について説明する。実施例５は、補正情報を導出し、導出した補正情報を用いて画像を補正する画像処理装置５０として構成した場合について説明する。図１５は、画像処理装置の構成の一例を示す図である。なお、上述した実施例１〜４と同一の部分については、同一の符号を付し、異なる部分について説明する。図１５に示すように、画像処理装置５０は、記憶部２１と、算出部２２と、色補正部３３と、出力部３６とを有する。また、画像処理装置５０は、取得部５１をさらに有する。
取得部５１は、各種の情報を取得する。例えば、取得部５１は、補正対象の画像を取得する。取得部５１は、例えば、画像処理装置５０に挿入されたフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＩＣ（Integrated Circuit）カードなどの記憶媒体から補正対象の画像を読み出して取得してもよい。また、取得部５１は、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して補正対象の画像を取得してもよい。
記憶部２１は、第一画像情報２１ａと、第二画像情報２１ｂと、変換情報２１ｃとを記憶する。算出部２２は、第一画像情報２１ａおよび第二画像情報２１ｂから撮像装置３０で撮影された画像の色を補正する補正係数Ａを算出する。そして、算出部２２は、算出された補正係数Ａを変換情報２１ｃとして記憶部２１に記憶させる。
色補正部３３は、取得部５１により取得された補正対象の画像の色の補正を行う。例えば、色補正部３３は、記憶部３２に変換情報２１ｃとして記憶された補正係数Ａを読み出す。そして、色補正部３３は、取得部５１により取得された補正対象の画像の各画素毎に、画素のＲＧＢの画素値をＸとして上記（１６）式に示す演算を行って補正後のＲＧＢの画素値Ｙを算出する。出力部３６は、色補正部３３により補正された画像を出力する。例えば、出力部３６は、色補正部３３により補正された画像を表示する。なお、出力部３６は、色補正部３３により補正された画像を外部装置へ出力するものとしてもよい。
次に、本実施例に係る画像処理装置５０により画像を補正する画像処理の流れを説明する。図１６は、画像処理の手順を示すフローチャートである。この画像処理は、例えば、取得部５１により取得された補正対象の画像に対して補正を指示する所定操作が行われたタイミングで実行される。
図１６に示すように、算出部２２は、第一画像情報２１ａおよび第二画像情報２１ｂから撮像装置３０で撮影された画像の色を補正する補正係数Ａを算出する（ステップＳ３０）。算出部２２は、算出した補正係数Ａを変換情報２１ｃとして記憶部２１に記憶させる（ステップＳ３１）。色補正部３３は、記憶部３２に変換情報２１ｃとして記憶された補正係数Ａを読み出す（ステップＳ３２）。そして、色補正部３３は、読み出した補正係数Ａを用いて補正対象の画像に対して（１６）式の演算を行って色を変換する補正を行い（ステップＳ３３）、処理を終了する。
このように、画像処理装置５０は、目標色Ｙに対する補正対象色Ｘの色差と当該補正対象色Ｘを補正係数Ａで補正した補正色との差分のノルムと、所定の重み係数を施した補正係数Ａのノルムとの和が最小値となる補正係数Ａを算出する。また、画像処理装置５０は、補正対象の画像を取得する。そして、画像処理装置５０は、算出された補正係数に基づいて導出した変換情報に基づき、取得された画像の各画素の色を変換する。よって、画像処理装置５０によれば、色合いの変化を抑えつつノイズの発生を抑えて画像を補正できる。
さて、これまで開示の装置に関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
例えば、上記の実施例１では、ＲＧＢの色空間において補正係数Ａを算出する場合について説明したが、開示の装置はこれに限定されない。例えば、変換情報格納装置２０に、実施例３のように色空間変換部２４を設けて、色空間変換部２４がＲＧＢの色空間の目標色Ｙおよび補正対象色Ｘを輝度および色差の色空間に変換する。そして、算出部２２が、輝度および色差の色空間における目標色Ｙに対する補正対象色Ｘの色差と当該補正対象色Ｘを補正係数で補正した補正色とのノルムと、所定の重み係数を施した補正係数Ａのノルムとの和が最小値となる補正係数Ａを算出する。そして、色空間変換部２４が、算出された補正係数ＡをＲＧＢの色空間に変換して撮像装置３０の記憶部３２に格納するようにしてもよい。この補正係数Ａは、ＹＩＱ色空間での色差がより小さくなるように要素が定められているため、ノイズの発生をより抑えて画像を補正できる。また、撮像装置３０は、撮影画像をＹＩＱ色空間に一旦変換しなくてもノイズの発生をより抑えて画像の色を補正できる。
また、上記の実施例５の画像処理装置５０は、実施例２と同様に、算出部２２が補正係数Ａに単位行列を加算したトータルの補正係数ＡTotalを変換情報として記憶部２１に記憶させる。そして、色補正部３３が補正係数ＡTotal用いて補正対象の画像に対して（２３）式の演算を行って色を変換する補正を行ってもよい。
また、上記の実施例５の画像処理装置５０は、実施例３の変換情報格納装置２０と同様に色空間変換部２４をさらに設けて第一画像情報２１ａおよび第二画像情報２１ｂをＹＩＱの色空間に変換して補正係数Ａ’を算出してもよい。
また、上記の実施例５の画像処理装置５０は、画像の補正の際に、算出部２２により補正係数Ａを毎回算出しなくてもよい。すなわち、画像処理装置５０は、記憶部３２に変換情報２１ｃが記憶されている場合、記憶された変換情報２１ｃにより画像を補正するようにしてもよい。
また、上記の実施例では、目標色に対する補正対象色の色差と補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した補正係数のノルムとの和が最小値となる補正係数を算出する場合について説明したが、これに限定されない。例えば、変換情報格納装置２０は、数値解析などにより、最小値から所定の許容範囲内となり、最小値と見なせる補正係数を算出するようにしてもよい。例えば、反復解法などにより、補正係数をある初期予測値から開始して、ノルムの和の計算を反復的に計算を行って徐々に解に収束させていき、最小値から所定の許容範囲内となるステップで計算を終了して近似値を得るものとしてもよい。
また、上記の実施例では、輝度および色差の色空間をＹＩＱ色空間とした場合について説明したが、これに限定されない。例えば、ＹＵＶ色空間や、ＹＣｂＣｒ色空間、ＹＰｂＰｒ色空間、ＨＬＳ色空間としてもよい。また、ＨＳＶ色空間など明度を含む色空間に変換して補正係数を算出してもよい。
また、上記の実施例では、補正係数を算出して補正情報として記憶させる場合について説明したが、これに限定されない。例えば、変換情報格納装置２０が補正係数から補正前の色と補正後の色を対応させた色変換用のルックアップテーブルを生成し、ルックアップテーブルを補正情報として撮像装置３０に記憶させてもよい。なお、ルックアップテーブルは、全ての色について生成して色変換を行うものとしてもよい。また、ルックアップテーブルは、特定の色についてのみ生成し、特定の色以外の色は特定の色からの補間により色変換を行うものとしてもよい。
また、上記の実施例では、Ｔｉｋｈｏｎｏｖの正則化法を用いて補正係数に乗算する重み係数をλ2とした場合について説明したが、これに限定されない。例えば、乗算する重み係数を変えてもよい。正則化の他の例としては、ＬＡＳＳＯの正則化などがある。
また、照明によって赤外光が含まれる割合が異なる。例えば、蛍光灯は赤外光が少ない。一方、白熱電球は赤外光を多く含む。このため、変換情報格納装置２０が異なる照明環境で補正情報を複数パターン生成して撮像装置３０に記憶させ、撮像装置３０が照明環境に応じた補正情報を用いて色の補正を行うものとしてもよい。撮像装置３０は、照明環境を検出する検出部を設けて照明環境を検出してもよく、ユーザからの入力により照明環境を判別してもよい。
また、上記の実施例では、変換情報格納装置２０が補正情報を１つ生成して撮像装置３０に格納する場合について説明したが、これに限定されない。例えば、変換情報格納装置２０が異なる重み係数λで補正情報を複数パターン生成して撮像装置３０に格納し、撮像装置３０が複数パターンの補正情報から選択して色の補正を行うものとしてもよい。補正情報の選択は、撮像装置３０がユーザから撮影画像の画質の指定の受付け、受付けた画質に応じて選択してもよい。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、変換情報格納装置２０の算出部２２、格納部２３、色空間変換部２４、および撮像装置３０の色補正部３３、γ補正部３４、画質調整部３５、第一色空間変換部４０、第二色空間変換部４１の各処理部が適宜統合されてもよい。また、例えば、画像処理装置５０の算出部２２、色補正部３３の各処理部が適宜統合されてもよい。さらに、各処理部の処理が適宜複数の処理部の処理に分離されてもよい。さらに、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［変換情報格納プログラム］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図１７は、変換情報格納プログラムを実行するコンピュータを示す図である。
図１７に示すように、コンピュータ３００は、ＣＰＵ（Central Processing Unit）３１０、ＨＤＤ（Hard Disk Drive）３２０、ＲＡＭ（Random Access Memory）３４０を有する。これら３００〜３４０の各部は、バス４００を介して接続される。
ＨＤＤ３２０には上記の変換情報格納装置２０の算出部２２、格納部２３、色空間変換部２４と同様の機能を発揮する変換情報格納プログラム３２０ａが予め記憶される。なお、変換情報格納プログラム３２０ａについては、適宜分離しても良い。
また、ＨＤＤ３２０は、各種情報を記憶する。例えば、ＨＤＤ３２０は、図１に示した第一画像情報２１ａおよび第二画像情報２１ｂに対応する第一画像情報３２０ｂおよび第二画像情報３２０ｃを記憶する。
そして、ＣＰＵ３１０が、変換情報格納プログラム３２０ａをＨＤＤ３２０から読み出してＲＡＭ３４０に展開し、ＨＤＤ３２０に記憶された第一画像情報３２０ｂおよび第二画像情報３２０ｃを用いて各処理を実行する。すなわち、変換情報格納プログラム３２０ａは、算出部２２、格納部２３、色空間変換部２４と同様の動作を実行する。
なお、上記した変換情報格納プログラム３２０ａについては、必ずしも最初からＨＤＤ３２０に記憶させることを要しない。
例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）補正対象色の補正の目標とする目標色に対する当該補正対象色の色差と当該補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出された変換情報を記憶する記憶部と、
画像を撮影する撮影部と、
前記記憶部に記憶された変換情報に基づき、前記撮影部により撮影された画像の各画素の色を変換する色変換部と、
を有することを特徴とする撮像装置。
（付記２）前記撮影部により撮影された画像の色空間を輝度および色差の色空間に変換する色空間変換部をさらに有し、
前記記憶部は、輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出された前記変換情報を記憶し、
前記色変換部は、前記変換情報に基づき、前記色空間変換部により輝度および色差の色空間に変換された画像の各画素の色を変換する
ことを特徴とする付記１に記載の撮像装置。
（付記３）前記記憶部は、輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出され、前記撮影部により撮影された画像で用いられる色空間への変換が施された前記変換情報を記憶する
ことを特徴とする付記１に記載の撮像装置。
（付記４）前記記憶部は、前記補正係数に単位行列を加算したトータルの補正係数を前記変換情報として記憶し、
前記色変換部は、前記撮影部により撮影された画像の各画素の色を構成する各色成分に対して前記変換情報として記憶されたトータルの補正係数を乗算して色を変換する
ことを特徴とする付記１〜３の何れか１つに記載の撮像装置。
（付記５）コンピュータに、
補正対象色の補正の目標とする目標色に対する当該補正対象色の色差と当該補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出され、記憶部に記憶された変換情報に基づき、補正対象とする画像の各画素の色を変換する
処理を実行させることを特徴とする画像処理プログラム。
（付記６）補正対象とする画像の色空間を輝度および色差の色空間に変換し、
輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出され、記憶部に記憶された変換情報に基づき、輝度および色差の色空間に変換された画像の各画素の色を変換する
ことを特徴とする付記５に記載の画像処理プログラム。
（付記７）輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出され、前記撮影部により撮影された画像で用いられる色空間への変換が施され、記憶部に記憶された変換情報に基づき、補正対象とする画像の各画素の色を変換する
ことを特徴とする付記５に記載の画像処理プログラム。
（付記８）補正対象とする画像の各画素の色を構成する各色成分に対して補正係数に単位行列を加算したトータルの補正係数を乗算して色を変換する
ことを特徴とする付記５〜７の何れか１つに記載の画像処理プログラム。
（付記９）コンピュータが、
補正対象色の補正の目標とする目標色に対する当該補正対象色の色差と当該補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出され、記憶部に記憶された変換情報に基づき、補正対象とする画像の各画素の色を変換する
処理を実行することを特徴とする画像処理方法。
（付記１０）補正対象とする画像の色空間を輝度および色差の色空間に変換し、
輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出され、記憶部に記憶された変換情報に基づき、輝度および色差の色空間に変換された画像の各画素の色を変換する
ことを特徴とする付記９に記載の画像処理方法。
（付記１１）輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出され、前記撮影部により撮影された画像で用いられる色空間への変換が施され、記憶部に記憶された変換情報に基づき、補正対象とする画像の各画素の色を変換する
ことを特徴とする付記９に記載の画像処理方法。
（付記１２）補正対象とする画像の各画素の色を構成する各色成分に対して補正係数に単位行列を加算したトータルの補正係数を乗算して色を変換する
ことを特徴とする付記９〜１１の何れか１つに記載の画像処理方法。
（付記１３）補正対象色の補正の目標とする目標色に対する当該補正対象色の色差と当該補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数を算出する算出部と、
補正対象の画像を取得する取得部と、
前記算出部により算出された補正係数に基づいて導出した変換情報に基づき、前記取得部により取得された画像の各画素の色を変換する色変換部と、
を有する画像処理装置。
（付記１４）前記目標色および前記補正対象色の色空間を輝度および色差の色空間に変換する色空間変換部をさらに有し、
前記算出部は、輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数を算出する
ことを特徴とする付記１３に記載の画像処理装置。
（付記１５）前記色空間変換部は、前記算出部により算出された補正係数を補正対象の画像で用いられる色空間への変換を施す
ことを特徴とする付記１４に記載の画像処理装置。
（付記１６）前記算出部は、前記補正係数に単位行列を加算してトータルの補正係数を算出する
ことを特徴とする付記１３〜１５の何れか１つに記載の画像処理装置。
（付記１７）コンピュータに、
補正対象色の補正の目標とする目標色に対する当該補正対象色の色差と当該補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数を算出し、
算出された補正係数に基づいて導出した変換情報に基づき、補正対象の画像の各画素の色を変換する
各処理を実行させることを特徴とする画像処理プログラム。
（付記１８）前記目標色および前記補正対象色の色空間を輝度および色差の色空間に変換し、
輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数を算出する
ことを特徴とする付記１７に記載の画像処理プログラム。
（付記１９）算出された補正係数を補正対象の画像で用いられる色空間への変換を施す
ことを特徴とする付記１８に記載の画像処理プログラム。
（付記２０）前記補正係数に単位行列を加算してトータルの補正係数を算出する
ことを特徴とする付記１７〜１９の何れか１つに記載の画像処理プログラム。
（付記２１）コンピュータが、
補正対象色の補正の目標とする目標色に対する当該補正対象色の色差と当該補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数を算出し、
算出された補正係数に基づいて導出した変換情報に基づき、補正対象の画像の各画素の色を変換する
各処理を実行することを特徴とする画像処理方法。
（付記２２）前記目標色および前記補正対象色の色空間を輝度および色差の色空間に変換し、
輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数を算出する
ことを特徴とする付記２１に記載の画像処理方法。
（付記２３）算出された補正係数を補正対象の画像で用いられる色空間への変換を施す
ことを特徴とする付記２２に記載の画像処理方法。
（付記２４）前記補正係数に単位行列を加算してトータルの補正係数を算出する
ことを特徴とする付記２１〜２３の何れか１つに記載の画像処理方法。
１０ 撮影システム
２０ 変換情報格納装置
２１ 記憶部
２１ａ 第一画像情報
２１ｂ 第二画像情報
２１ｃ 変換情報
２２ 算出部
２３ 格納部
２４ 色空間変換部
３０ 撮像装置
３１ 撮影部
３２ 記憶部
３３ 色補正部
４０ 第一色空間変換部
４１ 第二色空間変換部

Claims (9)

  1. 同一の対象物について、赤外光が混入しないように撮影した画像の画素値の行列を目標色とし、赤外光が混入する撮影画像の画素の画素値の行列を補正対象色とし、前記補正対象色の補正に用いる行列を補正係数として、前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色との差分のノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる前記補正係数に基づいて導出された変換情報を記憶する記憶部と、
    画像を撮影する撮影部と、
    前記記憶部に記憶された変換情報に基づき、前記撮影部により撮影された画像の各画素の色を変換する色変換部と、
    を有することを特徴とする撮像装置。
  2. 前記撮影部により撮影された画像の色空間を輝度および色差の色空間に変換する色空間変換部をさらに有し、
    前記記憶部は、輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色とのノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる補正係数に基づいて導出された前記変換情報を記憶し、
    前記色変換部は、前記変換情報に基づき、前記色空間変換部により輝度および色差の色空間に変換された画像の各画素の色を変換する
    ことを特徴とする請求項１に記載の撮像装置。
  3. 前記記憶部は、輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色とのノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる補正係数に基づいて導出され、前記撮影部により撮影された画像で用いられる色空間への変換が施された前記変換情報を記憶する
    ことを特徴とする請求項１に記載の撮像装置。
  4. 前記記憶部は、前記補正係数に単位行列を加算したトータルの補正係数を前記変換情報として記憶し、
    前記色変換部は、前記撮影部により撮影された画像の各画素の色を構成する各色成分に対して前記変換情報として記憶されたトータルの補正係数を乗算して色を変換する
    ことを特徴とする請求項１〜３の何れか１つに記載の撮像装置。
  5. コンピュータに、
    同一の対象物について、赤外光が混入しないように撮影した画像の画素値の行列を目標色とし、赤外光が混入する撮影画像の画素の画素値の行列を補正対象色とし、前記補正対象色の補正に用いる行列を補正係数として、前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色との差分のノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる補正係数に基づいて導出され、記憶部に記憶された変換情報に基づき、補正対象とする画像の各画素の色を変換する
    処理を実行させることを特徴とする画像処理プログラム。
  6. コンピュータが、
    同一の対象物について、赤外光が混入しないように撮影した画像の画素値の行列を目標色とし、赤外光が混入する撮影画像の画素の画素値の行列を補正対象色とし、前記補正対象色の補正に用いる行列を補正係数として、前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色との差分のノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる補正係数に基づいて導出され、記憶部に記憶された変換情報に基づき、補正対象とする画像の各画素の色を変換する
    処理を実行することを特徴とする画像処理方法。
  7. 同一の対象物について、赤外光が混入しないように撮影した画像の画素値の行列を目標色とし、赤外光が混入する撮影画像の画素の画素値の行列を補正対象色とし、前記補正対象色の補正に用いる行列を補正係数として、前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色との差分のノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる補正係数を算出する算出部と、
    補正対象の画像を取得する取得部と、
    前記算出部により算出された補正係数に基づいて導出した変換情報に基づき、前記取得部により取得された画像の各画素の色を変換する色変換部と、
    を有する画像処理装置。
  8. コンピュータに、
    同一の対象物について、赤外光が混入しないように撮影した画像の画素値の行列を目標色とし、赤外光が混入する撮影画像の画素の画素値の行列を補正対象色とし、前記補正対象色の補正に用いる行列を補正係数として、前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色との差分のノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる補正係数を算出し、
    算出された補正係数に基づいて導出した変換情報に基づき、補正対象の画像の各画素の色を変換する
    各処理を実行させることを特徴とする画像処理プログラム。
  9. コンピュータが、
    同一の対象物について、赤外光が混入しないように撮影した画像の画素値の行列を目標色とし、赤外光が混入する撮影画像の画素の画素値の行列を補正対象色とし、前記補正対象色の補正に用いる行列を補正係数として、前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色との差分のノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる補正係数を算出し、
    算出された補正係数に基づいて導出した変換情報に基づき、補正対象の画像の各画素の色を変換する
    各処理を実行することを特徴とする画像処理方法。
JP2011265208A 2011-12-02 2011-12-02 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置 Active JP5910043B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011265208A JP5910043B2 (ja) 2011-12-02 2011-12-02 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置
US13/657,192 US8810694B2 (en) 2011-12-02 2012-10-22 Device and computer-readable recording medium for imaging and image processing with color correction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011265208A JP5910043B2 (ja) 2011-12-02 2011-12-02 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置

Publications (2)

Publication Number Publication Date
JP2013118526A JP2013118526A (ja) 2013-06-13
JP5910043B2 true JP5910043B2 (ja) 2016-04-27

Family

ID=48523750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011265208A Active JP5910043B2 (ja) 2011-12-02 2011-12-02 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置

Country Status (2)

Country Link
US (1) US8810694B2 (ja)
JP (1) JP5910043B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
JP6260428B2 (ja) * 2014-04-18 2018-01-17 富士通株式会社 画像処理装置、画像処理方法、及びプログラム
US9503623B2 (en) * 2014-06-03 2016-11-22 Applied Minds, Llc Color night vision cameras, systems, and methods thereof
US10805600B2 (en) 2016-07-29 2020-10-13 Applied Minds, Llc Methods and associated devices and systems for enhanced 2D and 3D vision
US10692196B2 (en) * 2017-10-18 2020-06-23 Gopro, Inc. Color correction integrations for global tone mapping
CN110827206B (zh) * 2018-08-14 2024-05-28 钰创科技股份有限公司 过滤信号的数位滤波器
JP2023067077A (ja) * 2021-10-29 2023-05-16 セイコーエプソン株式会社 画像処理方法、及び分光カメラシステム
US12015835B2 (en) * 2022-01-25 2024-06-18 Qualcomm Incorporated Multi-sensor imaging color correction

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4288544B2 (ja) * 1999-09-08 2009-07-01 ソニー株式会社 撮像装置
US6982752B2 (en) 2001-08-23 2006-01-03 Motorola, Inc Circuit and method for correcting a digital color sampled signal
GB2430105B (en) * 2004-04-05 2009-09-23 Mitsubishi Electric Corp Imaging device
JP4397724B2 (ja) 2004-04-05 2010-01-13 三菱電機株式会社 撮像装置、カメラ、及び信号処理方法
JP4407448B2 (ja) 2004-09-24 2010-02-03 三菱電機株式会社 撮像装置
JP3966866B2 (ja) * 2004-04-13 2007-08-29 三菱電機株式会社 撮像装置、カメラ、及び信号処理方法
JP4024230B2 (ja) * 2004-06-11 2007-12-19 三菱電機株式会社 撮像装置
JP4575100B2 (ja) 2004-09-29 2010-11-04 オリンパス株式会社 ホワイトバランス調整装置、色調整装置、ホワイトバランス調整方法、及び色調整方法
US7821552B2 (en) * 2005-12-27 2010-10-26 Sanyo Electric Co., Ltd. Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
JP4781825B2 (ja) * 2006-01-19 2011-09-28 三菱電機株式会社 撮像装置
JP4386096B2 (ja) * 2007-05-18 2009-12-16 ソニー株式会社 画像入力処理装置、および、その方法
KR101391432B1 (ko) * 2008-01-22 2014-05-07 삼성전기주식회사 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법
WO2010053029A1 (ja) * 2008-11-04 2010-05-14 コニカミノルタオプト株式会社 画像入力装置
JP5259381B2 (ja) * 2008-12-25 2013-08-07 京セラ株式会社 撮像装置および撮像方法
KR100990791B1 (ko) * 2008-12-31 2010-10-29 포항공과대학교 산학협력단 영상의 블러 제거 방법 및 블러 제거 방법이 기록된 기록매체
US8411176B2 (en) * 2009-04-07 2013-04-02 Konica Minolta Opto, Inc. Image input device
JP5776481B2 (ja) * 2011-10-07 2015-09-09 富士通株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP5899894B2 (ja) * 2011-12-19 2016-04-06 富士通株式会社 撮像装置、画像処理装置、画像処理プログラムおよび画像処理方法
JP5906755B2 (ja) * 2012-01-23 2016-04-20 富士通株式会社 撮像装置、撮像方法、及びプログラム

Also Published As

Publication number Publication date
US8810694B2 (en) 2014-08-19
US20130141611A1 (en) 2013-06-06
JP2013118526A (ja) 2013-06-13

Similar Documents

Publication Publication Date Title
JP5910043B2 (ja) 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置
US8014626B2 (en) Image processing device, image processing method, and program
JP2009153013A (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
JP2011101359A (ja) イメージセンサの統合ノイズモデリング方法及びそれを利用するノイズ低減方法
US8305459B2 (en) Image processing apparatus and camera module
JPWO2006137361A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
WO2006064913A1 (ja) 画像処理方法
JP5676906B2 (ja) 色補正装置
JP5701640B2 (ja) 画像処理装置
US8559747B2 (en) Image processing apparatus, image processing method, and camera module
JP5514042B2 (ja) 撮像モジュール、画像信号処理方法および撮像装置
WO2016111020A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP5899894B2 (ja) 撮像装置、画像処理装置、画像処理プログラムおよび画像処理方法
JP2011151739A (ja) 画像処理装置
KR101650842B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체
JP6247795B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5631769B2 (ja) 画像処理装置
JP5505718B2 (ja) 画像入力装置
JP2008131529A (ja) 撮像装置、画像処理装置、方法およびプログラム
JP2017223823A (ja) 画像処理装置、画像処理プログラム、画像処理方法
JP2010178226A (ja) 撮像装置、色収差抑制方法、色収差抑制回路及びプログラム
JP4948303B2 (ja) 撮像装置及び信号処理方法
JP2007274226A (ja) 画像処理装置および方法、情報処理装置および方法、プログラム、並びに記録媒体
JP2012065069A (ja) 欠陥検出補正装置、及びプログラム、並びに記憶媒体
Park Architectural analysis of a baseline isp pipeline

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160314

R150 Certificate of patent or registration of utility model

Ref document number: 5910043

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150