JP5097914B2 - 成分抽出補正装置、成分抽出補正方法、成分抽出補正プログラム、又は電子機器 - Google Patents

成分抽出補正装置、成分抽出補正方法、成分抽出補正プログラム、又は電子機器 Download PDF

Info

Publication number
JP5097914B2
JP5097914B2 JP2008196814A JP2008196814A JP5097914B2 JP 5097914 B2 JP5097914 B2 JP 5097914B2 JP 2008196814 A JP2008196814 A JP 2008196814A JP 2008196814 A JP2008196814 A JP 2008196814A JP 5097914 B2 JP5097914 B2 JP 5097914B2
Authority
JP
Japan
Prior art keywords
component
original image
unit
signal
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008196814A
Other languages
English (en)
Other versions
JP2010033453A (ja
Inventor
英哉 新垣
▲隆▼弘 齊▲藤▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kanagawa University
Olympus Corp
Original Assignee
Kanagawa University
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kanagawa University, Olympus Corp filed Critical Kanagawa University
Priority to JP2008196814A priority Critical patent/JP5097914B2/ja
Priority to US12/510,568 priority patent/US8396291B2/en
Publication of JP2010033453A publication Critical patent/JP2010033453A/ja
Application granted granted Critical
Publication of JP5097914B2 publication Critical patent/JP5097914B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Description

本発明は、画像信号から成分を抽出し補正する成分抽出補正装置、成分抽出補正方法、成分抽出補正プログラム、又は成分抽出補正装置を搭載する電子機器に関する。
従来、原画像信号Fを、骨格成分（幾何学的画像構造）と骨格成分以外の成分とに分解して抽出する方法が開示されている（非特許文献１参照）。骨格成分は、大局的な構造を表す成分であり、平坦成分（緩やかに変化する成分）とエッジ成分を含む。骨格成分以外の成分は、局所的な構造を表す成分であり、テクスチャのような細かい構造成分とノイズから構成される。
画像分解の手法には、加算型分離と乗算型分離がある。加算型分離では、原画像信号Fが式（１）で示すように、第１成分Uと第２成分Vの和として表される。
第１成分Uは、骨格成分である。骨格成分以外の第２成分Vは、テクスチャ成分とノイズを含み、原画像信号Fに対する第１成分Uの残差成分として定義される。
有界変動関数とノルムを用いた分解方法が使用される。分解を行うために、非特許文献１に記載のＡ２ＢＣ変分モデル(Aujol-Aubert-Blanc- Feraud-Chambolle model)を用いる。最適解として求められる第１成分Uの性質は、不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間ＢＶ(Bounded Variation Function Space)としてモデル化される。第１成分Uのエネルギーは全変動エネルギーとして、式（２）のＴＶ(Total Variation)ノルムJ(U)で定義される。
ただし、式（２）において、ｘは第１成分Uの横方向の画素位置であり、ｙは縦方向の画素位置である。
一方、式（１）中の第２成分Vの関数空間は、振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって式（３）のように表現された関数の空間であり、そのエネルギーは式（４）のGノルム‖Ｖ‖Gとして定義される。
原画像信号Fの分解問題は、エネルギー汎関数を最小化する式（５）の変分問題として定式化される。この変分問題は、ChambolleのProjection法によって解くことができる。
原画像信号Fから分解される第２成分Vはノイズの影響を受ける。しかし、第１成分Uはノイズの影響をほとんど受けないため、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
乗算型分離では、原画像信号Fが第１成分Uと第２成分Vの積によって式（６）のように表されるが、原画像信号Fを対数変換した対数原画像信号をｆとすると、式（７）のように加算型分離問題に変換することができる。
Jean-Francois Aujol, Guy Gilboa, Tony Chan & Stanley Osher, "Structure-Texture Image Decomposition--Modeling, Algorithms, and Parameter Selection", International Journal of Computer Vision, Volume 67, Issue 1, (April 2006) Pages: 111 - 136 Year of Publication: 2006 相澤,石井,小松,齋藤,"TV-L1非線形画像分解による信号依存性雑音の除去",映像メディア処理シンポジウム2007,I-4.15,Oct.2007.
しかし、上記の変分問題を解き、骨格成分と骨格成分以外の成分の分離を高速かつ精度良く行う方法は十分に確立されていなかった。
本発明は、原画像信号から高速かつ精度良く骨格成分等の成分を取得することを目的とする。
本発明のある態様に係る成分抽出装置は、原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解部と、前記生成された複数の帯域信号のうちの一つの帯域信号を構成する複数の成分のうち、前記一つの帯域信号の大局的な構造を表し、前記一つの帯域信号のエッジ成分を含む第１成分を記憶する第１記憶部と、前記一つの帯域信号を構成する複数の成分のうち、前記一つの帯域信号の局所的な構造を表し、前記一つの帯域信号のテクスチャ成分を含む第２成分を記憶する第２記憶部と、前記一つの帯域信号の大局的な構造を表す第１成分を、前記第２記憶部に記憶された第２成分を用いて、前記一つの帯域信号のエッジ成分を含むように新たに抽出する第１抽出部と、前記新たに抽出された第１成分と前記一つの帯域信号とを用いて、前記一つの帯域信号の局所的な構造を表す第２成分を、前記一つの帯域信号のテクスチャ成分を含むように新たに抽出する第２抽出部と、を備え、前記第１記憶部は、既に記憶されている第１成分を、前記新たに抽出された第１成分により更新し、前記第２記憶部は、既に記憶されている第２成分を、前記新たに抽出された第２成分により更新することを特徴とする。
本発明の別の態様に係る成分抽出方法は、原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解ステップと、前記生成された複数の帯域信号のうちの一つの帯域信号を構成する複数の成分のうち、前記一つの帯域信号の大局的な構造を表し、前記一つの帯域信号のエッジ成分を含む第１成分を記憶する第１記憶ステップと、前記一つの帯域信号を構成する複数の成分のうち、前記一つの帯域信号の局所的な構造を表し、前記一つの帯域信号のテクスチャ成分を含む第２成分を記憶する第２記憶ステップと、前記一つの帯域信号の大局的な構造を表す第１成分を、前記第２記憶ステップで記憶された第２成分を用いて、前記一つの帯域信号のエッジ成分を含むように新たに抽出する第１抽出ステップと、前記新たに抽出された第１成分と前記一つの帯域信号とを用いて、前記一つの帯域信号の局所的な構造を表す第２成分を、前記一つの帯域信号のテクスチャ成分を含むように新たに抽出する第２抽出ステップと、を含み、前記第１記憶ステップは、既に記憶されている第１成分を、前記新たに抽出された第１成分により更新し、前記第２記憶ステップは、既に記憶されている第２成分を、前記新たに抽出された第２成分により更新することを特徴とする。
本発明のさらに別の態様に係る成分抽出プログラムは、コンピュータに、原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解手順と、前記生成された複数の帯域信号のうちの一つの帯域信号を構成する複数の成分のうち、前記一つの帯域信号の大局的な構造を表し、前記一つの帯域信号のエッジ成分を含む第１成分を記憶する第１記憶手順と、前記一つの帯域信号を構成する複数の成分のうち、前記一つの帯域信号の局所的な構造を表し、前記一つの帯域信号のテクスチャ成分を含む第２成分を記憶する第２記憶手順と、前記一つの帯域信号の大局的な構造を表す第１成分を、前記第２記憶手順で記憶された第２成分を用いて、前記一つの帯域信号のエッジ成分を含むように新たに抽出する第１抽出手順と、前記新たに抽出された第１成分と前記一つの帯域信号とを用いて、前記一つの帯域信号の局所的な構造を表す第２成分を、前記一つの帯域信号のテクスチャ成分を含むように新たに抽出する第２抽出手順と、を実行させ、前記第１記憶手順は、既に記憶されている第１成分を、前記新たに抽出された第１成分により更新し、前記第２記憶手順は、既に記憶されている第２成分を、前記新たに抽出された第２成分により更新することを特徴とする。
これら態様によれば、複数の成分のうち第１成分以外の第２成分と帯域信号とを用いて、第１成分を抽出する第１の抽出処理を行う。抽出された第１成分と帯域信号とを用いて、前記第２成分を抽出する第２の抽出処理を行う。
このような第１の抽出処理と第２の抽出処理の組み合わせにより、第１成分以外の第２成分を用いて第１成分を、第１成分を用いてこの第２成分を抽出する。このため、高速に精度良く第１成分及び第１成分以外の第２成分を取得できる。例えば、第１の抽出処理と第２の抽出処理を繰り返すことにより、逐次近似的にさらに精度良く第１成分と第１成分以外の第２成分を計算できる。
抽出部は、原画像信号ではなく帯域信号に含まれる第１成分を抽出する。このため、簡易に第１成分と第１成分以外の第２成分の抽出が行える。例えば、合成部が帯域信号ごとに抽出された第１成分を複数の周波数帯域にわたって合成することで、原画像信号に対して高速かつ精度良く第１成分を取得できる。例えば、合成部が帯域信号ごとに前記抽出された第２成分を複数の周波数帯域にわたって合成することで、原画像信号に対して高速かつ精度良く第１成分以外の第２成分を取得できる。
本発明のさらに別の態様に係る成分抽出装置は、原画像信号を構成する複数の成分のうち、前記原画像信号の大局的な構造を表し、前記原画像信号のエッジ成分を含む第１成分を記憶する第１記憶部と、前記原画像信号を構成する複数の成分のうち、前記原画像信号の局所的な構造を表し、前記原画像信号のテクスチャ成分を含む第２成分を記憶する第２の記憶部と、前記原画像信号のうち大局的な構造を表す第１成分を、前記第２記憶部に記憶された第２成分を用いて、前記原画像信号のエッジ成分を含むように新たに抽出する第１抽出部と、前記原画像信号に対して新たに抽出された第１成分と前記原画像信号とを用いて、前記原画像信号の局所的な構造を表す第２成分を、前記原画像信号のテクスチャ成分を含むように新たに抽出する第２抽出部と、を備える。前記第１抽出部は、前記原画像信号を構成する複数の帯域信号ごとに大局的な構造を表す第１成分を、前記第２記憶部に記憶された第２成分を用いて、前記一つの帯域信号のエッジ成分を含むように新たに抽出する帯域信号第１成分抽出部と、 前記帯域信号ごとに抽出された前記第１成分を前記複数の帯域信号に対応する複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する第１成分を生成する合成部と、を備えることを特徴とする。
本発明のさらに別の態様に係る成分抽出方法は、原画像信号を構成する複数の成分のうち、前記原画像信号の大局的な構造を表し、前記原画像信号のエッジ成分を含む第１成分を記憶する第１記憶ステップと、前記原画像信号を構成する複数の成分のうち、前記原画像信号の局所的な構造を表し、前記原画像信号のテクスチャ成分を含む第２成分を記憶する第２の記憶ステップと、前記原画像信号のうち大局的な構造を表す第１成分を、前記第２記憶ステップで記憶された第２成分を用いて、前記原画像信号のエッジ成分を含むように新たに抽出する第１抽出ステップと、前記原画像信号に対して新たに抽出された第１成分と前記原画像信号とを用いて、前記原画像信号の局所的な構造を表す第２成分を、前記原画像信号のテクスチャ成分を含むように新たに抽出する第２抽出ステップと、を含む。前記第１抽出ステップは、前記原画像信号を構成する複数の帯域信号ごとに大局的な構造を表す第１成分を、前記第２記憶ステップに記憶された第２成分を用いて、前記一つの帯域信号のエッジ成分を含むように新たに抽出する帯域信号第１成分抽出ステップと、前記帯域信号ごとに抽出された前記第１成分を前記複数の帯域信号に対応する複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する第１成分を生成する合成ステップと、を含むことを特徴とする。
本発明のさらに別の態様に係る成分抽出プログラムは、コンピュータに、原画像信号を構成する複数の成分のうち、前記原画像信号の大局的な構造を表し、前記原画像信号のエッジ成分を含む第１成分を記憶する第１記憶手順と、前記原画像信号を構成する複数の成分のうち、前記原画像信号の局所的な構造を表し、前記原画像信号のテクスチャ成分を含む第２成分を記憶する第２の記憶手順と、前記原画像信号のうち大局的な構造を表す第１成分を、前記第２記憶手順で記憶された第２成分を用いて、前記原画像信号のエッジ成分を含むように新たに抽出する第１抽出手順と、前記原画像信号に対して新たに抽出された第１成分と前記原画像信号とを用いて、前記原画像信号の局所的な構造を表す第２成分を、前記原画像信号のテクスチャ成分を含むように新たに抽出する第２抽出手順と、を実行させる。前記第１抽出手順は、前記原画像信号を構成する複数の帯域信号ごとに大局的な構造を表す第１成分を、前記第２記憶手順で記憶された第２成分を用いて、前記一つの帯域信号のエッジ成分を含むように新たに抽出する帯域信号第１成分抽出手順と、前記帯域信号ごとに抽出された前記第１成分を前記複数の帯域信号に対応する複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する第１成分を生成する合成手順と、を備えることを特徴とする。
これら態様によれば、帯域信号ごとの第１成分を抽出する第１の抽出処理を行う。帯域信号ごとに抽出された第１成分を複数の周波数帯域にわたって合成し、原画像信号に対する第１成分を生成する。原画像信号に対する第１成分と原画像信号とを用いて、原画像信号に対する第１成分以外の第２成分を抽出する第２の抽出処理を行う。
このような第１の抽出処理と第２の抽出処理の組み合わせにより、高速に精度良く第１成分及び第１成分以外の第２成分を取得できる。例えば、第１の抽出処理と第２の抽出処理を繰り返すことにより、逐次近似的に精度良く第１成分と第１成分以外の第２成分を計算できる。
原画像信号ではなく帯域信号に含まれる第１成分を抽出するため、簡易に第１成分の抽出が行える。帯域信号ごとに抽出された第１成分を複数の周波数帯域にわたって合成することで、原画像信号に対して高速かつ精度良く第１成分を取得できる。原画像信号に対する第１成分と原画像信号とを用いて、原画像信号に対する第１成分以外の第２成分を抽出するため、原画像信号に対して第１成分以外の第２成分を高速かつ精度良く取得できる。この場合、さらに、第１成分以外の第２成分を記録するバッファの容量を抑えることができる。
本発明では、原画像信号から高速かつ精度良く骨格成分と骨格成分以外の一の成分を取得することができる。
＜第１の実施形態＞
図１を参照して、本発明の第１の実施形態に係る成分抽出補正装置について説明する。なお、成分抽出補正装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置（撮像用電子機器）に搭載されるものとして第一実施形態を説明する。しかし、本発明はこれに限定されることなく適用可能である。
撮像装置は、システムコントローラ１００（制御部）、光学系１０１、撮像素子１０２、A/D変換部１０３（以下、単にA/Dと呼ぶ）、補間部１０４、多重解像度分解部１０５（単に、分解部とも呼ぶ）を備える。さらに、撮像装置は、バッファ１０６、成分分離部１０７、多重解像度合成部１０８（単に、合成部とも呼ぶ）、第１信号処理部１０９、第２信号処理部１１０、成分合成部１１１、出力部１１２を備える。上記各部を、論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と、演算プログラムを格納するメモリ等から構成してもよい。本実施形態の成分抽出補正装置は、多重解像度分解部１０５、成分分離部１０７等から構成される。
本実施形態に係る撮像装置において、原画像信号Fが成分分離され、第１成分U、第２成分Vが生成される。ここで、第１成分Uは、平坦成分（緩やかに変化する成分）とエッジ成分を含む原画像信号の骨格成分（幾何学的画像構造）である。第２成分Vは、骨格成分以外の成分であり、原画像信号に対する第１成分Uの残差成分を表している。成分分離後、分離した成分毎に最適な処理を施し合成する。
図１３（ａ）に原画像信号Fのラインプロファイルの例と、原画像の例を示す。図１３（ｂ）に骨格成分のラインプロファイルの例と、その画像例を示す。図１３（ｃ）に骨格成分以外の成分のラインプロファイルの例と、その成分画像の例を示す。図１３（ｂ）のように、骨格成分（第１成分U）は、大局的な構造を表す成分である。大局的な構造は信号の特徴の概要部分を表すものであり、エッジ成分と、エッジによって区分された輝度変化の滑らかな領域の平坦成分（緩やかに変化する成分）から構成される。図１３（ｃ）のように、骨格成分以外の成分（第２成分V）は、局所的な構造を表す成分である。局所的な構造は信号の特徴の詳細部分を表すものであり、テクスチャのような細かい構造成分とノイズから構成される。
成分分離の手法には、加算型分離と乗算型分離がある。加算型分離では、原画像信号Fが前述の式(１)で示すように、第１成分Uと第２成分Vの和として表される（F=U+V）。
乗算型分離では、原画像信号Fが前述の式（６）で示すように、第１成分Uと第２成分Vの積によって表される（F=U*V）。しかし、原画像信号Fを対数変換して対数原画像信号fとすると、前述の式(７)のように加算型分離問題に変換することができる。
本実施形態においては加算型分離に関して説明を行い、乗算型分離に関する詳細な説明は省略する。なお、乗算型分離の場合、原画像信号の画素毎に対数変換した信号値に対し、加算型分離と同様の処理を施して成分分離した後、分離成分毎に逆対数変換を行えば式（６）に示す乗算型の分離処理が実現できる。
撮像素子１０２は、A/D１０３を介して補間部１０４へ接続されている。補間部１０４は、分解部１０５に接続されている。分解部１０５は、バッファ（バッファメモリ）１０６を介して、成分分離部１０７と合成部１０８へ接続されている。成分分離部１０７は、合成部１０８へ接続されている。合成部１０８は、第１信号処理部１０９、及び第２信号処理部１１０を介して成分合成部１１１へ接続されている。成分合成部１１１は出力部１１２へ接続されている。各処理部はシステムコントローラ１００に接続しており、システムコントローラ１００により動作を制御される。
撮像素子１０２は、システムコントローラ１００の制御に基づき、光学系１０１を通して撮像素子１０２面上に結像した光学像をアナログ画像信号として出力する。なお、本実施形態において、撮像素子１０２は、色フィルタアレイを前面に配置したカラー用撮像素子である。撮像素子１０２は、単板方式、多板方式のいずれでも良い。
アナログ画像信号は、A/D１０３へ転送される。A/D１０３は、アナログ画像信号をデジタル信号に変換し、補間部１０４へ転送する。
補間部１０４は、デジタル信号に対し、所定のデモザイク処理を施し、カラー三板画像信号（以下、原画像信号Fと呼ぶ）を生成する。本実施形態において、原画像信号Fは、R（赤）、G（緑）、B（青）の色信号により構成されている。以降、R（赤）、G（緑）、B（青）の色信号をそれぞれFr、Fg、Fbと呼ぶこととする。原画像信号Fは、分解部１０５（多重解像度分解部）へ転送される。
分解部１０５は、各色信号Fr、Fg、Fbに対して所定のI段階（Iは１以上の整数）の多重解像度分解を行い、各色信号を複数の周波数帯域に分解して複数の帯域信号を生成する。分解部１０５は、分解の段階数i（iは、１以上I以下の整数）ごとの高周波成分、低周波成分を生成し、バッファ１０６へ記録する。なお、多重解像度分解の詳細については後述する。
ここで本実施形態において、Harr基底による直交ウェーブレット変換を行っているが、双直交ウェーブレット基底等も含め、全てのウェーブレット基底が適用可能である。また、サブサンプリングを行わないタイプの（各レベルの各ウェーブレット係数が入力画素と同じ数になるよう）冗長性を持たせたウェーブレット変換（Stationary wavelet transform等）を適用することも可能である。
成分分離部１０７は、各高周波成分を、高周波成分に含まれる第１成分、及び第２成分にそれぞれ分解する。ここで、第１成分は、平坦成分とエッジ成分を含む原画像信号の骨格成分である。第２成分は、テクスチャの様な細かい構造成分とノイズを含む、原画像信号に対する第１成分の残差成分を表している。
成分分離部１０７では、高周波成分に対し２つの異なるノイズ低減処理（多段階コアリング処理、コアリング処理（軟判定閾値処理））と差分算出処理を組合わせた処理が反復的に適用される。反復がなされるたびに第１成分、第２成分の分解精度が向上する。所定回数の反復がなされた後の第１成分、第２成分を合成部１０８へ転送する。なお、成分分解、多段階コアリング処理、コアリング処理（軟判定閾値処理）の詳細は後述する。
ここで、コアリング処理は、典型的には、入力信号がコアリング範囲以内に属する場合に、その信号値を一律ゼロとし、コアリング範囲を外れる場合には、閾値だけ減算、または加算した信号値とする。コアリング範囲は、下限閾値、上限閾値で規定される範囲である。また、多段階コアリング処理は、一般のコアリング処理とは異なり、複数のコアリング範囲により規定された変換関数に基づき、入力信号を所定の値に変換する。各コアリング範囲は、下限閾値、上限閾値、および各コアリング範囲に対応する出力値を有する。
合成部１０８(重解像度合成部)は、バッファ１０６から低周波成分を取得し、成分分離部１０７から高周波成分に含まれる第１成分、第２成分を取得する。ここで、合成部１０８は、低周波成分、及び高周波成分に含まれる第１成分に基づき、原画像信号Fに対する第１成分Uを生成する。同様の手法により、高周波成分に含まれる第２成分に基づき、原画像信号Fに対する第２成分Vを生成する。生成した第１成分Uは、第１信号処理部１０９へ、第２成分Vは第２信号処理部１１０へ転送される。なお、多重解像度合成処理の詳細は後述する。
第１信号処理部１０９は、合成部１０８から原画像信号Fに対する第１成分Uを読み込み、所定の信号処理を実施する。本実施形態では、原画像信号Fに対する第１成分Uに対し、階調変換を実施する。階調変換後の第１成分U'は、成分合成部１１１へ転送される。例えば、第１信号処理部１０９は、第１成分Uに対して、信号レベルに基づきヒストグラムを算出し、ヒストグラムに基づき階調変換曲線を設定する。第１信号処理部１０９は、階調変換曲線から各画素に係る階調変換係数を取得して、第１成分Uに乗算して階調変換後の第１成分U'を得ることができる。第１信号処理部１０９は、その他、γ補正等の階調変換を行ってもよい。
第２信号処理部１１０は、合成部１０８から第２成分Vを読み込み、所定の信号処理を実施する。本実施形態では、第２成分Vに対しノイズ低減処理、及びゲインの乗算による鮮鋭化処理を行う。処理後の第２成分V'は成分合成部１１１へ転送される。ノイズ低減処理として、例えば、コアリング処理やフィルタリング処理が為される。
成分合成部１１１は、第１信号処理部１０９で処理された第１成分U’、及び第２信号処理部１１０で処理された第２成分V’とを所定の比率で合成し、合成成分F'を得る。所定の比率は、例えば1:1の比率である。合成成分F'は出力部１１２へ転送され、フラッシュメモリ等で構成される記憶メディアへ記録される。
多重解像度分解部１０５
次に、図２を参照して、多重解像度分解部１０５の構成について説明する。分解部１０５は、各色信号Fr、Fg、Fbを複数の周波数帯域に分解して複数の帯域信号を生成する。
この分解部１０５は、データ読取部２００と、バッファ（バッファメモリ）２０１と、水平ハイパスフィルタ２０２と、水平ローパスフィルタ２０３と、サブサンプラ２０４、２０５と、を含む。また、分解部１０５は、垂直ハイパスフィルタ２０６と、垂直ローパスフィルタ２０７と、垂直ハイパスフィルタ２０８と、垂直ローパスフィルタ２０９と、を含む。さらに、分解部１０５は、サブサンプラ２１０、２１１、２１２、２１３と、切換部２１４と、データ転送制御部２１５と、基底関数ＲＯＭ２１６と、フィルタ係数読取部２１７とを含んでいる。
補間部１０４は、データ読取部２００を介して、バッファ２０１へ接続されている。バッファ２０１は、水平ハイパスフィルタ２０２および水平ローパスフィルタ２０３へ接続されている。水平ハイパスフィルタ２０２は、サブサンプラ２０４を介して、垂直ハイパスフィルタ２０６および垂直ローパスフィルタ２０７へ接続されている。水平ローパスフィルタ２０３は、サブサンプラ２０５を介して、垂直ハイパスフィルタ２０８および垂直ローパスフィルタ２０９へ接続されている。
垂直ハイパスフィルタ２０６は、サブサンプラ２１０へ、垂直ローパスフィルタ２０７はサブサンプラ２１１へ、それぞれ接続されている。垂直ハイパスフィルタ２０８は、サブサンプラ２１２へ、垂直ローパスフィルタ２０９は、サブサンプラ２１３へ、それぞれ接続されている。サブサンプラ２１０、２１１、２１２、２１３は、切換部２１４へそれぞれ接続されている。サブサンプラ２１３は、さらに、データ転送制御部２１５へも接続されている。
切換部２１４は、バッファ１０６へ接続されている。データ転送制御部２１５は、バッファ２０１へ接続されている。基底関数ＲＯＭ２１６は、フィルタ係数読取部２１７へ接続されている。フィルタ係数読取部２１７は、水平ハイパスフィルタ２０２、水平ローパスフィルタ２０３，垂直ハイパスフィルタ２０６、垂直ローパスフィルタ２０７、垂直ハイパスフィルタ２０８、垂直ローパスフィルタ２０９へそれぞれ接続されている。
基底関数ＲＯＭ２１６には、Harr関数やDaubecies関数などのウェーブレット変換に用いられるフィルタ係数が記録されている。これらの内の、例えばHarr関数におけるハイパスフィルタの係数を式（８）に、ローパスフィルタの係数を式（９）に、それぞれ示す。本実施形態においては、Harrの基底関数を用いている。
なお、これらのフィルタ係数は、水平方向と垂直方向とに共通して用いられる。
フィルタ係数読取部２１７は、基底関数ＲＯＭ２１６からフィルタ係数を読み込む。フィルタ係数読取部２１７は、水平ハイパスフィルタ２０２、垂直ハイパスフィルタ２０６、垂直ハイパスフィルタ２０８へハイパスフィルタ係数を転送する。フィルタ係数読取部２１７は、水平ローパスフィルタ２０３、垂直ローパスフィルタ２０７、垂直ローパスフィルタ２０９へローパスフィルタ係数を転送する。
こうして、各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された後に、データ読取部２００は、補間部１０４から原画像信号Fを読み込んで、バッファ２０１へ転送する。
バッファ２０１上の原画像信号Fには、水平および垂直方向のフィルタリング処理がなされる。このフィルタリング処理は、水平ハイパスフィルタ２０２、水平ローパスフィルタ２０３、垂直ハイパスフィルタ２０６、２０８、垂直ローパスフィルタ２０７、２０９によって為される。ここで、サブサンプラ２０４、２０５は、入力映像信号に対して、水平方向に１／２にサブサンプリング（ダウンサンプリング）する。サブサンプラ２１０、２１１、２１２、２１３は入力映像信号を垂直方向に１／２にサブサンプリングする。
従って、サブサンプラ２１０の出力は、水平垂直両方向の高周波成分Ｈhv１を、サブサンプラ２１１の出力は、水平方向の高周波成分Ｈh１を、サブサンプラ２１２の出力は、垂直方向の高周波成分Ｈv１をそれぞれ与える。サブサンプラ２１３の出力は、低周波成分LL１を与える。
切換部２１４は、ウェーブレット係数としての上記３つの高周波成分Ｈhv１、Ｈh１、Ｈv１と低周波成分LL１とを、バッファ１０６へ順次転送する。また、データ転送制御部２１５は、サブサンプラ２１３からの低周波成分LL１をバッファ２０１へ転送する。
こうしてバッファ２０１上に記憶された低周波成分LL１は、上述と同様のフィルタリング処理により２段階目の分解が行われて、３つの高周波成分Ｈhv2、Ｈh2、Ｈv2と低周波成分LL2とが出力される。
上述したような過程は、所定のI段階の分解が行われるまで反復されるように制御される。I段階の分解が終了すると、バッファ１０６には、帯域信号としてウェーブレット係数としての高周波成分Ｈhvi、Ｈhi、Ｈviおよび低周波成分LLi（i＝１〜I）が保存されることになる。こうして、帯域信号（Ｈhvi、Ｈhi、ＨviおよびLLi（i＝１〜I））が、生成保存される。
成分分離部１０７
次に、図３を参照して成分分離部１０７の動作の詳細について説明する。
ここで、成分分離部１０７が行う成分分離について説明しておく。ＲＧＢカラー画像を式（５）のようなＴＶ−Ｇ非線形画像分解モデルによって成分分離する。この場合、色差（Ur-Ug、Ub-Ug、Ur-Ub）、色和（Ur+Ug、Ub+Ug、Ur+Ub）のＴＶ（Total Variation）を導入することで、カラー歪の発生を抑えることができる。色差と色和のＴＶを導入したＴＶ−Ｇ非線形画像分解モデルは式（１０）、式（１１ａ）、式（１１ｂ）のような変分問題に定式化される。
ここで、Ur、Ug、Ubは、それぞれＲ信号、Ｇ信号、Ｂ信号の第１成分である。Vr、Vg、Vbは、それぞれＲ信号、Ｇ信号、Ｂ信号の第２成分である。なお、式（１１ａ）は、この式（１１ａ）の変分問題の解
を用いて、以下のように定義されたWr、Wg、Wbを導入することで、式(１１ｂ)に示す３つの互いに独立な変分問題となる。
上記変分問題におけるＴＶノルムを全てBesovノルム空間B1 1(L1)のノルムで置換すれば、直交（近似的には双直交）ウェーブレット変換領域におけるShrinkage処理によって解を求めることが可能である。
このとき、式（１０）は非特許文献２に記載のＬ１−Ｌ２型最適化問題から導出したShrinkage関数、（具体的には式（１５）（１６）に示すShirnkage関数）を用いた反復アルゴリズムに帰着する。これは、（Fr-Vr,Fg-Vg,Fb-Vb）をＲＧＢ三原色カラー入力画像とみなし、上記、Shrinkage関数を用いたウェーブレット変換領域の雑音除去法でノイズ低減処理を行うことと等価である。このノイズ低減処理は、色信号間の色和、色差を考慮した複数のコアリング範囲を持つ多段階コアリング処理となる。
また、式（１１ｂ）は閾値をμとした軟判定閾値処理（Soft Thresholding）を用いたWavelet Shrinkage法に帰着する。これは、（Fr-Ur,Fg-Ug, Fb-Ub）をＲＧＢ三原色カラー入力画像とみなし、閾値パラメータがμの軟判定閾値処理を用いたWavelet Shrinkage法でノイズ低減処理を行うことと等価である。軟判定閾値処理は、単一のコアリング範囲を持つ通常のコアリング処理である。
成分分離部１０７は、初期化部３０１、第１バッファ３０２、第２バッファ３０３、第１差分算出部３０４、第１ノイズ低減部３０７、第１転送制御部３０８を含んでいる。さらに、成分分離部１０７は、第２差分算出部３０９、第２ノイズ低減部３１０、第３差分算出部３１１、第２転送制御部３１２を含んでいる。
バッファ１０６は、初期化部３０１、第１差分算出部３０４、第２差分算出部３０９、第３差分算出部３１１に接続されている。初期化部３０１は第１バッファ３０２（第１記憶部）、第２バッファ３０３（第２記憶部）に接続されている。
第２バッファ３０３は、第１差分算出部３０４、合成部１０８に接続されている。第１差分算出部３０４は、第１ノイズ低減部３０７に接続されている。第１ノイズ低減部３０７は、第１転送制御部３０８に接続されている。第１転送制御部３０８は、第１バッファ３０２に接続されている。第１バッファ３０２は、第２差分算出部３０９、第３差分算出部３１１、合成部１０８に接続されている。第２差分算出部３０９は、第２ノイズ低減部３１０に接続されている。第２ノイズ低減部３１０は、第３差分算出部３１１に接続されている。第３差分算出部３１１は第２転送制御部３１２に接続されている。第２転送制御部３１２は第２バッファ３０３に接続されている。
成分分離部１０７では、バッファ１０６から各色信号に対する高周波成分（ウェーブレット係数）を取得し、高周波成分毎に第１成分、第２成分への分解を行う。この分解は、所定のノイズ低減処理、差分算出処理の反復処理により行われる。制御部としてのシステムコントローラ１００は、ノイズ低減処理、差分算出処理の動作の繰り返しを制御する。
本実施形態において、第１バッファ３０２が第１成分を保持するバッファメモリ、第２バッファ３０３が第２成分を保持するバッファメモリとなっている。ノイズ低減処理、差分処理を反復する度に、第１バッファ３０２、第２バッファ３０３に保持される第１成分、第２成分は随時更新され、分解精度が向上し、最適化がなされる。所定の反復回数Ｌに達した段階で、第１バッファ３０２、第２バッファ３０３にそれぞれ記録された第１成分（後述のUk i(L)）、第２成分（後述のVk i(L)）は、合成部１０８へ転送される。
なお、本実施形態において、成分抽出補正装置の抽出部は、第１転送制御部３０８から構成されるが、これに限定されるものではない。例えば、最初の多段階コアリング処理に対しては、初期化部３０１が、抽出部として機能する。抽出部は、帯域信号を構成する複数の成分のうち第１成分（骨格成分）を抽出するものである。
また、本実施形態において、第１成分（骨格成分）を補正する第１の補正処理を行う第１補正部は、第１ノイズ低減部３０７から構成される。また、骨格成分以外の一の成分（第２成分）を補正する第２の補正処理を行う第２補正部は、第２ノイズ低減部３１０と第３差分算出部３１１から構成される。
以下に例として、色信号Ｆkに関する高周波成分Hk i（ウェーブレット係数Ｈhvi、Ｈhi、Ｈvi）に対して、第１成分Uk i(l)と第２成分Vk i(l)を分離する場合について説明する。ここで、添字k（=r,g,b）は色を表す記号である。k=rはＲ信号、k=gはＧ信号、k=bはＢ信号を表す。添字i（i=0〜I）は多重解像度分解の段階数、l(l=0〜L)は反復回数を表す。
初めに、l=0の反復においては、第１成分を保持する第１バッファ３０２、第２成分を保持する第２バッファ３０３に対する初期化を行う。初期化部３０１は、バッファ１０６から色信号Fr、Fg、Fbに対する帯域信号のうち高周波成分Hr i、Hg i、Hb iを取得する。初期化部３０１は取得した高周波成Hr i、Hg i、Hb iを第１バッファ３０２へ転送し、第１バッファ３０２にこれを記録する。同時に初期化部３０１の制御により第２バッファの値を全て零にクリアする。
すなわち、初期化部３０１は、l=0の場合に、第１成分に対し高周波成分Hk iを、第２成分に対し零を初期値として代入し、初期化する機能を持つ。このように初期化することで、適切に第１成分と第２成分が計算できる。なお、l=0の場合に、初期化部３０１は、帯域信号を構成する複数の成分のうち第１成分（骨格成分）を抽出する抽出部として機能している。
次にl回目（l≠0）における成分抽出・補正処理の説明を行う。この処理は色信号毎に対し独立に行われるわけではない。１回の反復処理（例えばl回目の処理）において、全色信号（k=r,g,b）に対する処理が１回なされた後、次の反復処理（ｌ＋１回目の処理）が行われる。
まず、第１差分算出部３０４は、バッファ１０６より色信号Fkの高周波成分Hk iを、第２バッファ３０３より第２成分Vk i(l-1)を取得し、式（１２）に基づき第１の差分成分S1k i(l)（第１の差分値）を算出する。なお、l=1の場合、Vk i(l-1) =Vk i(0)=0である。
算出した第１の差分成分S1k i(l)は、第１ノイズ低減部３０７へ転送される。
第１ノイズ低減部３０７は、第１の差分成分S1k i(l)に対し、色信号間の色和、色差を考慮した複数のコアリング範囲を持つ多段階コアリング処理を行う。第１ノイズ低減部３０７の処理の詳細は後述する。なお、後述するように、ここでの多段階コアリングは、Ｍ回反復して行ってもよい。
多段階コアリング処理後の第１の差分成分S1k i(l)'は、第１転送制御部３０８の制御により、第１バッファ３０２へ転送される。この差分成分S1k i(l)'を、第１成分Uk i(l)として、第１バッファ３０２に記録されている第１成分Uk i(l-1)に上書きすることにより、第１成分が補正・更新される（Uk i(l)= S1k i(l)'）。なお、l=1の場合、Uk i(l-1)=Uk i(0)= Hk iである。
次に、第２差分算出部３０９は、バッファ１０６より高周波成分Hk iを、第１バッファ３０２より第１成分Uk i(l)を取得し、式（１３）に基づき第２の差分成分S2k i(l)（第２の差分値）を算出する。
算出した第２の差分成分S2k i(l)は第２ノイズ低減部３１０へ転送される。
第２ノイズ低減部３１０では第２の差分成分S2k i(l)に対し、コアリング範囲を１つ持つ一般的なコアリング処理（軟判定閾値処理）を行う。ここで、コアリング処理後の第２の差分成分をS2k i(l)'とする。後述するように、コアリング処理後の第２の差分成分S2k i(l)'を指標値とも呼ぶ。第２ノイズ低減部３１０の処理の詳細は後述する。
次に、第３差分算出部３１１は、バッファ１０６より高周波成分Hk iを、第１バッファ３０２より第１成分Uk i(l)を、第２ノイズ低減３１０よりコアリング処理後の第２の差分成分S2k i(l)'を取得する。第３差分算出部３１１は、式（１４）に基づき第３の差分成分S3k i(l) （第３の差分値）を算出する。
第３の差分成分S3i(l)は、第２ノイズ低減部３１０がコアリング処理により第２の差分成分S2i(l)から除去した成分に相当する。第３差分算出部３１１にて算出された第３の差分成分S3k i(l)は、第２転送制御部３１２の制御により、第２バッファ３０３へ転送される。この差分成分S3k i(l)を、第２成分Vk i(l)として、バッファに記録されている第２成分Vk i(l-1)に上書きすることにより、第２成分が補正・更新される（Vk i(l)= S3k i(l)）。なお、l=1の場合、Vk i(l-1)= Vk i(0)= 0である。
なお、第２の差分成分S2k i(l)'に依存して第２成分Vk i(l)（=S3k i(l)）が変化するため、第２の差分成分S2k i(l)'を第２成分を定める指標値と呼ぶ。
以上の処理は各色信号（k=r,g,b）に関して適用される。ｌ回目の反復において、全色信号に関して処理が完了した時点でｌ回目の反復が完了する。
反復回数がＬ回目に達した場合、第１バッファ３０２、及び第２バッファ３０３に保持される第１成分Uk i(L)、第２成分Vk i(L)を最終的な出力とし、合成部１０８へ転送する。
なお、本実施形態においては反復回数を所定回数Ｌに予め設定したが、分解精度に応じて可変とする構成としても良い。例えば、ｌ回目の第１成分Uk i(l)とl-1回目のUk i(l-1)との差分の絶対値、またはｌ回目の第１成分Vk i(l)とl-1回目のVk i(l-1)との差分の絶対値が所定の閾値以下となった場合に、反復処理を停止する構成としてもよい。これにより、反復による第１成分又は第２成分変化がほとんどなくなった場合に、反復処理を停止する。
なお、本実施形態においては、反復処理を行っているが、l=0回目の初期化処理以降の反復処理を行わず、l=1回目の処理のみ行う構成としても良い。
第１ノイズ低減部３０７
次に、図４を参照して、第１ノイズ低減部３０７の動作の詳細について説明する。
第１ノイズ低減部３０７は、バッファ４０１、初期化部４０２、変換関数規定部４０３、範囲特定部４０４、加算・減算部４０５、置換部４０６、データ転送制御部４０７、バッファ４０８を含んでいる。
第１差分算出部３０４は、初期化部４０２を介してバッファ４０１に接続されている。バッファ４０１は、初期化部４０２、範囲特定部４０４に接続されている。初期化部４０２はバッファ４０８に接続されている。変換関数規定部４０３は範囲特定部４０４、加算・減算部４０５、置換部４０６に接続されている。範囲特定部４０４は加算・減算部４０５、置換部４０６に接続されている。加算・減算部４０５、置換部４０６はデータ転送制御部４０７を介してバッファ４０８へ接続されている。バッファ４０８は変換関数規定部４０３、第１転送制御部３０８へ接続されている。
第１ノイズ低減部３０７では、第１差分算出部３０４から転送された前述の差分信号に対する多段階コアリング処理を行う。多段階コアリング処理は、複数のコアリング範囲が設定された変換関数に基づき入力信号を所定の出力値に変換するものである。複数のコアリング範囲は、下限閾値、上限閾値の複数の組により定められ、各コアリング範囲に対応する出力値が定められている。
変換関数のコアリング範囲は、処理対象の色信号に関する入力信号のみならず、処理対象外の色信号も用いて設定される。また、成分分解処理と同様に、多段階コアリング処理においても反復処理を行う構成となっている。処理の反復により多段階コアリング（ノイズ低減）の結果は随時更新され、所定の反復回数Ｍに達した時点で最終的な出力となる。また、１回の反復において、Ｒ，Ｇ，Ｂ信号毎に各１回多段階コアリング処理が行われた後、次の反復処理が行われる構成となっている。
以下に例として、各色信号の高周波成分Hr i、Hg i、Hb iに関する第１の差分信号Sr i、Sg i、Sb iに対し、多段階コアリング処理（ノイズ低減処理）がなされる場合を説明する。ここで、Sr i、Sg i、Sb iは、多段階コアリング処理前の第１の差分成分S1r i(l) S1g i(l) S1b i(l)に相当する（Sr i=S1r i(l)、Sg i=S1g i(l)、Sb i=S1b i(l)）。
ｍ回目の多段階コアリング処理により、差分信号Sr i(m) 、Sg i(m) 、Sb i(m)が生成する。ここで、添字r、g、bはＲ信号、Ｇ信号、Ｂ信号を表しており、添字i（i=0〜I）は多重解像度分解の段階数、m(m=0〜M)は、多段階コアリング処理の反復回数を表す。
はじめに、m=0の反復においては、バッファ４０１、バッファ４０８の初期化を行う。即ち、第１差分算出部３０４から初期化部４０２へ転送された差分信号Sr i、Sg i、Sb iを、m=0回目の反復における差分信号Sr i(0)、Sg i(0)、Sb i(0)として、バッファ４０１、バッファ４０８へ記録する。
次に、m回目（m≠0）における処理の説明を行う。ここで１回の反復における色信号の処理の順番に特に制約はないが、本実施形態においては、Ｒ→Ｇ→Ｂ信号の順に各回の多段階コアリングを行うこととする。
まず、変換関数規定部４０３は、バッファ４０１から取得した処理対象の色信号に関するm=0回目における差分信号Sr i(0)、Sg i(0)、Sb i(0)を取得する。また、変換関数規定部４０３は、バッファ４０８から取得した処理対象外の色信号に関するm-1回目、あるいはm回目の反復処理により生成された差分信号を取得する。本実施形態においては、Ｒ信号に関する多段階コアリング処理の場合、変換関数規定部４０３は、差分信号Sr i(0)、Sg i(m-1)、Sb i(m-1)を取得する。Ｇ信号に関する多段階コアリング処理の場合、変換関数規定部４０３は、差分信号Sg i(0)、Sr i(m)、Sb i(m-1)を取得する。Ｂ信号に関する多段階コアリング処理の場合、変換関数規定部４０３は、差分信号Sb i(0)、Sr i(m)、Sg i(m)を取得する。
上記のように取得した差分信号と予め設定された所定のパラメータα、β、λに基づきコアリングに適用される変換関数を規定する。ここで、αは色信号間の信号値の差分が大きい場合に、ノイズ低減の度合いが大きくなるよう調整するパラメータである。βは色信号間の信号値の加算値が大きい場合に、ノイズ低減の度合いが大きくなるよう調整するパラメータである。
以降では、コアリングの処理対象をＧ信号とし、Ｇ信号に対する変換関数を規定する場合についてのみ説明する。コアリングの処理対象がＲ信号の場合は、｛Sg i(0)、Sr i(m)、Sb i(m-1)｝を｛Sr i(0)、Sg i(m-1)、Sb i(m-1)｝に置換えて変換関数を規定すればよい。コアリングの処理対象がＢ信号の場合は、｛Sg i(0)、Sr i(m)、Sb i(m-1)｝を｛Sb i(0)、Sr i(m)、Sg i(m)｝に置換えて変換関数を規定すればよい。
初めに、Sr i(m)とSb i(m-1)を比較する。Sr i(m)とSb i(m-1)の符号が一致し、Sr i(m)>0、Sb i(m-1)>0、Sr i(m)> Sb i(m-1)の場合は、例えば式（１５）のような複数の区間Wj（j=0〜10）から構成される折線関数に、変換関数を規定する。図５（a）に式（１５）により規定される変換関数を示す。
ここで、区間Wj（j=0〜10）は、Sg i(0)に関する区間である。Tbj、Tujは、区間Wjの下限値、上限値を、Sg i(m)は出力値を表している。下限値、上限値Tbj、Tujと出力値Sg i(m)は、α、β、λ、及びSg i(0)、Sr i(m)、Sb i(m-1)に基づいて算出される。区間Wj（j=0〜10）は、反復回数ｍの値に応じて、変化する。
また、区間W1,W3,W5,W7のように、出力が一定値の区間は、コアリング範囲区間と定義される。変換関数内には複数のコアリング範囲区間が設定される。変換関数は連続しており、また、コアリング範囲区間以外の非コアリング範囲区間における関数の傾きは１に固定されている。このため、コアリング範囲区間における下限値、上限値、及び出力値がわかれば、非コアリング範囲区間における出力値も一意に算出することが可能である。また、非コアリング範囲区間において、傾きは１であるため、変換関数と一次関数Sg i(m)= Sg i(0)との差分は一定値となる。
Sr i(m)>0、Sb i(m-1)>0、Sr i(m)< Sb i(m-1)の場合は, 式（１５）において、Sb i(m-1)をSr i(m)に、 Sr i(m)をSb i(m-1)に置換して、コアリング範囲区間、及び出力値を算出できる。
Sr i(m)<0、Sb i(m-1)<0、|Sr i(m)|>|Sb i(m-1)|の場合は, 式（１５）において、Sb i(m-1)を-Sb i(m-1)に、Sr i(m)を- Sr i(m)に、αをβに、βをαに置換することにより、コアリング範囲区間、及び出力値を算出できる。
Sr i(m)<0、Sb i(m-1)<0, |Sr i(m)|<|Sb i(m-1)|の場合は, 式（１５）において、Sb i(m-1)を-Sr i(m)に、Sr i(m)を-Sb i(m-1)に、αをβに、βをαに置換することにより、コアリング範囲区間、及び出力値を算出できる。
Sr i(m)とSb i(m-1)の符号が一致せず、Sr i(m)>0、Sb i(m-1)<0、 |Sr i(m)|>|Sb i(m-1)|の場合は、変換関数を、例えば式（１６）のように規定する。図５（b）に式（１６）により規定される変換関数を示す。
また、Sr i(m)>0、Sb i(m-1)<0、|Sr i(m)|<|Sb i(m-1)|の場合は, 式（１６）において、Sr i(m)を-Sb i(m-1)、-Sb i(m-1)をSr i(m)に、αをβに、βをαに置換することによりコアリング範囲区間、及び出力値を算出できる。
Sr i(m)<0、Sb i(m-1)>0、|Sr i(m)|>|Sb i(m-1)|の場合は、式（１６）において、-Sb i(m-1)をSb i(m-1)に、Sr i(m)を-Sr i(m)に、αをβに、βをαに置換することによりコアリング範囲区間、及び出力値を算出できる。
Sr i(m)<0、Sb i(m-1)>0、|Sr i(m)|<|Sb i(m-1)|の場合は、式（１６）において、Sr i(m)をSb i(m-1)に、-Sb i(m-1)を-Sr i(m)に置換することによりコアリング範囲区間、及び出力値を算出できる。
他のSr i(m)、Sb i(m-1)に対するコアリングの変換関数については、Sg i(0)の変換関数に対し、Sr i(m)、Sg i(0)、Sb i(m-1)を入れ替えれば容易にSr i(m)、またはSb i(m-1)に対する変換関数が算出可能である。
本実施形態においては、第１ノイズ低減部３０７における変換関数規定のため、コアリング範囲区間に関する下限値、上限値、及び出力値が、変換関数規定部４０３から範囲特定部４０４へ転送される。また、非コアリング範囲区間における下限値、上限値、及び、非コアリング範囲区間における変換関数と上記一次関数Sg i(m)= Sg i(0)との差分が、変換関数規定部４０３から範囲特定部４０４へ転送される。
次に、範囲特定部４０４は、変換関数規定部４０３にて設定された変換関数（コアリング範囲区間に対する下限値、上限値）、及びバッファ４０１より差分信号Sg i(0)を取得する。範囲特定部４０４は、差分信号Sg i(0)の値とコアリング範囲区間の下限値、上限値とを比較する。差分信号Sg i(0)の値がコアリング範囲区間に属する場合は、差分信号Sg i(0)の信号値は、置換部４０６へ転送される。差分信号Sg i(0)の値がコアリング範囲区間外に属する場合は、差分信号Sg i(0)の信号値は、加算・減算部４０５へ転送される。
置換部４０６では、差分信号Sg i(0)の信号値が所属するコアリング範囲区間に対応する出力値を変換関数規定部４０３から取得し、その出力値を差分信号の信号値として置換する。置換された信号値は、データ転送制御部４０７の制御により、バッファ４０８へ転送される。上記の出力値は、バッファ４０８上の差分信号Sg i(m-1)上に差分信号Sg i(m)の信号値として上書きされる。即ち、差分信号Sg i(0)の信号値が所属するコアリング範囲区間に対応する出力値が、差分信号Sg i(m)の信号値になる。
加算・減算部４０５では、変換関数規定部４０３から上述の非コアリング範囲区間における変換関数と上記一次関数Sg i(m)= Sg i(0)との差分を取得し、その差分を差分信号Sg i(0)の信号値に対し加算する。加算された信号値は、データ転送制御部４０７の制御により、バッファ４０８へ転送される。加算された信号値は、バッファ上の差分信号Sg i(m-1)上に差分信号Sg i(m)の信号値として上書きされる。
以上の処理を、Ｒ→Ｇ→Ｂ信号に関する差分信号に対し、順番に適用する。各色信号に対し、各１回ずつ多段階コアリング処理を行うことで、１回の反復処理を終了する。
反復処理がＭ回行われた時点で、バッファ４０８に記録されたSr i(M)、Sg i(M)、Sb i(M)は、第１転送制御部３０８の制御により第１バッファ３０２へ転送され、第１成分Ur i(l)、Ug i(l)、Ub i(l)として記録される。なお、Sr i(M)、Sg i(M)、Sb i(M)は、前述の多段階コアリング処理後の第１の差分成分S1r i(l)'、S1g i(l)'、S1b i(l)'に相当する。
なお、本実施形態においては、反復処理を行っているが、m=0回目の初期化処理以降の反復処理を行わず、m=1回目の処理のみ行う構成としても良い。
第２ノイズ低減部３１０
次に、図６を参照して、第２ノイズ低減部３１０の動作の詳細について説明する。
第２ノイズ低減部３１０は、範囲特定部５０２、加算・減算部５０３、置換部５０４を含んでいる。第２差分算出部３０９は範囲特定部５０２に接続されている。範囲特定部５０２は、加算・減算部５０３、置換部５０４に接続されている。加算部・減算部５０３、置換部５０４は、第３差分算出部３１１に接続されている。
第２ノイズ低減部３１０では、第２差分算出部３０９から転送された前述の第２の差分信号S2k i(l)に対するコアリング処理（軟判定閾値処理）を行う。多段階コアリング処理とは異なり、コアリング範囲が一つ設定された変換関数に基づき、第２ノイズ低減部３１０への入力信号は所定の値に変換される。また、本実施形態において、軟判定閾値処理は反復されず、一回のみ行われるが、これに限定されない。
以下に例として、各色信号の高周波成分Hiに関する差分信号Siに対し、ノイズ低減処理がなされた差分信号Si'を生成する場合について説明する。ここで添字i（i=0〜I）は多重解像度分解の段階数を表す。ここで、Siは、前述の多段階コアリング処理前の第２の差分成分S2k i(l)に相当する。Si'は、多段階コアリング処理後の第２の差分成分S2k i(l)'に相当する（Si=S2k i(l)、Si'= S2k i(l)'）。
はじめに、範囲特定部５０２は、第２差分算出部３０９から差分信号Siを取得する。コアリング処理における変換関数は、例えば式（１７）のような複数の区間Wj（j=0〜2）で構成される折線関数により規定される。
ここで、Tbj、Tujは区間Wjの下限値、上限値を表し、Si'は出力値を表している。区間W1が-Th〜Thの範囲で設定されたコアリング範囲を表している。図７に式（１７）により規定される変換関数を示す。
まず、範囲特定部５０２は、第２差分算出部３０９より差分信号Si（= S2k i(l)）を取得する。範囲特定部５０２は、差分信号Siの値とコアリング範囲区間の下限値、上限値と比較する。差分信号Siがコアリング範囲区間に属する場合は、差分信号Siの信号値を置換部５０４へ転送する。差分信号Siがコアリング範囲区間外に属する場合は、差分信号Siの信号値を加算・減算部５０３へ転送する。
置換部５０４では、差分信号Siの信号値が所属するコアリング範囲区間に対応する出力値0を、差分信号の信号値として置換する。置換された信号値は、Si'（=S2k i(l)'）として、第３差分算出部３１１へ転送される。
加算・減算部５０３は、式（１７）に示す変換関数に基づき、Th < Siの場合、Si-Thを算出し、Si<-Thの場合、Si+Thを算出する。加算・減算部５０３は、Si-Th又はSi+Thを、Si'（=S2k i(l)'）として、第３差分算出部３１１へ転送する。
多重解像度合成部１０８
次に、図８を参照して、多重解像度合成部１０８の作用について説明する。
合成部１０８は、データ読取部６００と、切換部６０１と、アップサンプラ６０２と、アップサンプラ６０３と、アップサンプラ６０４と、アップサンプラ６０５とを含む。また、合成部１０８は、垂直ハイパスフィルタ６０６と、垂直ローパスフィルタ６０７と、垂直ハイパスフィルタ６０８と、垂直ローパスフィルタ６０９と、アップサンプラ６１０と、アップサンプラ６１１とを含む。さらに、合成部１０８は、水平ハイパスフィルタ６１２と、水平ローパスフィルタ６１３と、バッファ６１４と、データ転送制御部６１５と、基底関数ＲＯＭ６１６と、フィルタ係数読取部６１７と、を含む。
成分分離部１０７は、データ読取部６００を介して切換部６０１へ接続されている。切換部６０１は、アップサンプラ６０２とアップサンプラ６０３とアップサンプラ６０４とアップサンプラ６０５とへそれぞれ接続されている。アップサンプラ６０２は、垂直ハイパスフィルタ６０６へ、アップサンプラ６０３は、垂直ローパスフィルタ６０７へそれぞれ接続されている。アップサンプラ６０４は、垂直ハイパスフィルタ６０８へ、アップサンプラ６０５は、垂直ローパスフィルタ６０９へ、それぞれ接続されている。垂直ハイパスフィルタ６０６と垂直ローパスフィルタ６０７とは、アップサンプラ６１０へそれぞれ接続されている。垂直ハイパスフィルタ６０８と垂直ローパスフィルタ６０９とは、アップサンプラ６１１へそれぞれ接続されている。アップサンプラ６１０は、水平ハイパスフィルタ６１２へ、アップサンプラ６１１は、水平ローパスフィルタ６１３へ、それぞれ接続されている。水平ハイパスフィルタ６１２と水平ローパスフィルタ６１３とは、バッファ６１４へそれぞれ接続されている。
バッファ６１４は、第１信号処理部１０９、第２信号処理部１１０、及びデータ転送制御部６１５へそれぞれ接続されている。データ転送制御部６１５は、切換部６０１へ接続されている。基底関数ＲＯＭ６１６は、フィルタ係数読取部６１７へ接続されている。フィルタ係数読取部６１７は、垂直ハイパスフィルタ６０６、６０８と垂直ローパスフィルタ６０７、６０９と水平ハイパスフィルタ６１２と水平ローパスフィルタ６１３とへそれぞれ接続されている。
基底関数ＲＯＭ６１６には、Harr関数やDaubechies関数などの逆ウェーブレット変換に用いられるフィルタ係数が記録されている。本実施形態においては、分解部１０５に対応してHarrの基底関数を用いる。
フィルタ係数読取部６１７は、基底関数ＲＯＭ６１６からフィルタ係数を読み込んで、垂直ハイパスフィルタ６０６、垂直ハイパスフィルタ６０８、水平ハイパスフィルタ６１２へハイパスフィルタ係数を転送する。また、フィルタ係数読取部６１７は、垂直ローパスフィルタ６０７、垂直ローパスフィルタ６０９、水平ローパスフィルタ６１３へローパスフィルタ係数を、それぞれ転送する。各ハイパスフィルタと各ローパスフィルタに転送されたフィルタ係数が設定される。
合成部１０８は、分解部１０５からバッファ１０６を介して低周波成分を読み込み、成分分離部１０７から各高周波成分Hk i（Ｈhv"i、Ｈh"i、Ｈv"i）に含まれる第１成分Uk i(L)、第２成分Vk i(L)を読み込む。
合成部１０８は、低周波成分、及び各高周波成分に含まれる第１成分Uk i(L)に基づき、原画像信号Fに対する第１成分U（=Ur,Ub,Ug)を生成する。また、各高周波成分に含まれる第２成分Vk i(L)に基づき、原画像信号Fに対する第２成分V（=Vr,Vb,Vg)を生成する。
本実施形態においては、各高周波成分に含まれる各第１成分をＨhv"i、Ｈh"i、Ｈv"i、低周波成分をLLiと表し、原画像信号Fに対する第１成分Uを生成する場合について説明する。なお、第２成分Vの合成時においてLLiは０に設定する。即ち第２成分Vの合成では、高周波成分のみを用いる。合成した原画像信号Fに対する第１成分U、及び第２成分Vは、それぞれ第１信号処理部１０９、及び第２信号処理部１１０へ転送される。
切換部６０１は、高周波成分Ｈhv"iをアップサンプラ６０２を介して垂直ハイパスフィルタ６０６へ、高周波成分Ｈh"iをアップサンプラ６０３を介して垂直ローパスフィルタ６０７へそれぞれ転送する。また、切換部６０１は、高周波成分Ｈv"iをアップサンプラ６０４を介して垂直ハイパスフィルタ６０８へ、低周波成分LLiをアップサンプラ６０５を介して垂直ローパスフィルタ６０９へ、それぞれ転送する。各フィルタ６０６−６０９は、垂直方向のフィルタリング処理を実行する。
さらに、垂直ハイパスフィルタ６０６および垂直ローパスフィルタ６０７からの周波数成分は、アップサンプラ６１０を介して水平ハイパスフィルタ６１２へ、それぞれ転送される。垂直ハイパスフィルタ６０８および垂直ローパスフィルタ６０９からの周波数成分は、アップサンプラ６１１を介して水平ローパスフィルタ６１３へ、それぞれ転送される。各フィルタ６１２、６１３は、水平方向のフィルタリング処理を行う。水平ハイパスフィルタ６１２および水平ローパスフィルタ６１３からの周波数成分は、バッファ６１４へ転送されて一つに合成されることにより、補正処理がなされた低周波成分LL"i-1が生成される。
ここで、アップサンプラ６０２、アップサンプラ６０３、アップサンプラ６０４、アップサンプラ６０５は、入力周波数成分を垂直方向に２倍にアップサンプリングする。アップサンプラ６１０、アップサンプラ６１１は、入力周波数成分を水平方向に２倍にアップサンプリングする。
データ転送制御部６１５は、バッファ６１４から低周波成分LL"i-1を読み出して、読み出した低周波成分LL"i-1を切換部６０１へ転送する。
また、データ読取部６００は、成分分離部１０７から補正処理がなされた三種類の高周波成分ＨＨv"i-1，Ｈh"i-1，Ｈv"i-1を読み込んで、切換部６０１へ転送する。
その後、分解の段階数i-1の周波数成分に対して、上述と同様のフィルタリング処理がなされ、低周波成分LL"i-2がバッファ６１４へ出力される。このような過程は、所定のI段階の合成が行われるまで反復される。こうしてバッファ６１４には、最終的に、補正処理がなされた低周波成分LL”0が出力される。
低周波成分LL”0は、低周波成分、及び高周波成分に含まれる第１成分に基づき生成した場合には、原画像信号Fに対する第１成分Uに相当する。低周波成分LL”0は、高周波成分に含まれる第２成分に基づき生成した場合には、原画像信号Fに対する第２成分Vに相当する。
なお、本実施形態では、第1ノイズ低減部３０７、第２ノイズ低減部３１０において、多段階コアリング処理、軟判定閾値処理によるノイズ低減を行っているが、これに限定されるものではなく、他の所定のノイズ低減処理に代替可能である。例えば線形フィルタ、非線形フィルタ処理（メディアンフィルタ、バイラテラルフィルタ、非線形拡散型フィルタ）や、他の様々な変換関数によるＳｈｒｉｎｋａｇｅ処理による、適応的な平滑化処理を行っても良い。
また、本実施形態では第２ノイズ低減部３１０はウェーブレット係数に対する軟判定閾値処理を行い帯域信号別に第２成分Ｖを求めたが、原空間における軟判定閾値処理により直接原画像信号Ｆに対する第２成分を求めても良い。すなわち、本実施形態と同様に求めた各帯域信号に対する第１成分Ｕと、第２の差分成分を逆ウェーブレット変換して、原画像信号Ｆに対する第１成分Ｕと、第２の差分成分を算出し、原画像信号に対する第２の差分成分に対して軟判定閾値処理を行い、軟判定閾値処理後の第２の差分信号と原画像信号に対する第１成分Ｕを原画像信号Ｆから減算した、原画像信号に対する第３の差分信号を、原画像信号に対する第２成分とする構成としても良い。
また、原画像信号に対する第２成分を再度ウェーブレット変換して帯域信号に対する第２成分を算出することで、上記ウェーブレット領域での多段階コアリング処理、原空間での軟判定閾値処理を反復処理する構成としても良い。
―作用効果―
次に、第１の実施形態の作用効果について説明する。
分解部１０５は、原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する。成分分離部１０７は、帯域信号に対して大局的な構造を表す第１成分（骨格成分）と局所的な構造を表す第２成分（骨格成分以外の一の成分）を分離する。成分分離部１０７において、第１ノイズ低減部３０７を含む第１補正部は、帯域信号と第２成分とを用いて第１成分を補正する第１の補正処理を行う。成分分離部１０７において、第２ノイズ低減部３１０と第３差分算出部３１１を含む第２補正部は、帯域信号と補正された第１成分を用いて第２成分を補正する第２の補正処理を行う。
このような第１の補正処理と第２の補正処理の組み合わせにより、第２成分を用いて第１成分を、第１成分を用いて第２成分を補正するため、高速に精度良く第１成分と第２成分を計算できる。システムコントローラ１００（制御部）は、第１の補正処理および第２の補正処理の繰り返し動作を制御する。第１の補正処理と第２の補正処理を繰り返すことにより、第１補正部は、第２の補正処理により得た補正された第２成分を用いて、第１の補正処理を行う。このため、逐次近似的にさらに精度良く第１成分と第２成分を計算できる。
また、帯域信号から第２成分を減じて得た第１の差分値（S1k i(l)）を用いて第１の補正処理を行うため、帯域信号に対する第２成分の残差に基づいて得られる第１成分を好適に求められる。帯域信号から補正した第１成分を減じて得た第２の差分値（S2k i(l)）を用いて第２の補正処理を行うため、帯域信号に対する第１成分の残差に基づいて得られる第２成分を好適に求められる。
第２補正部は、第２の差分値（S2k i(l)）と所定の閾値(Th)を比較することで得た指標値（S2k i(l)'）を算出し、第２の差分値から指標値を減じて得た第３の差分値（S3k i(l)）を補正後の第２成分とする。このため、指標値に基づくコアリング処理により、逐次近似的に成分分離のための変分問題の最適解としての第２成分を高速かつ精度良く求められる。
抽出部（例えば第１転送制御部３０８からなる）は、第１成分（骨格成分）を帯域信号ごとに抽出し、第１補正部は、帯域信号ごとに抽出された第１成分を帯域信号ごとに補正する。原画像信号ではなく帯域信号ごとに第１成分を分離する構成としたため、帯域信号ごとに例えばコアリング処理を利用でき、第１成分の成分分離を高速かつ精度良く行える。さらに、多重解像度合成部１０８は、帯域信号ごとに補正された第１成分を複数の周波数帯域にわたって合成することで、帯域信号からなる原画像信号の大局的な構造を示す第１成分を生成する。これにより、原画像信号の大局的な構造を示す成分を精度よく生成できる。
第２補正部は、帯域信号ごとに補正された第１成分を用いて帯域信号ごとに第２成分を補正する。原画像信号ではなく帯域信号ごとに第２成分を分離する構成としたため、例えば、帯域信号ごとのコアリング処理等を利用でき、第２成分の成分分離を高速かつ精度良く行える。多重解像度合成部１０８は、帯域信号ごとに補正された第２成分を複数の周波数帯域にわたって合成することで、帯域信号からなる原画像信号の局所的な構造を示す成分を生成する。これにより、原画像信号の局所的な構造を示す成分を精度よく生成できる。
分解部１０５は、複数の帯域信号を色信号ごとに生成するため、カラー原画像信号も扱うことができる。第１補正部は、帯域信号から第２成分を減じて得た第１の差分値に対して、複数のコアリング範囲を設定する。さらに、第１補正部は、この第１の差分値に対して複数のコアリング範囲に基づきコアリング処理を行った結果を補正された第１成分（骨格成分）とする。これにより、第１補正部は、多段階コアリング処理により、カラー原画像信号に対して色差色和を考慮した第１成分の補正ができ、精度良く第１成分を求められる。
第２補正部は、帯域信号から補正された第１成分を減じて得た第２の差分値に対して、単一のコアリング範囲を設定する。さらに、第２補正部は、この第２の差分値に対して、単一のコアリング範囲に基づきコアリング処理を行った結果に応じて第２成分を補正する。これにより、第２補正部は、コアリング処理により第２成分を補正でき、高速かつ精度良く第２成分を求められる。
第１補正部は、補正された第１成分が平坦成分とエッジ成分を含むよう第１成分を補正するため、大局的な構造を示すものとして第１成分を帯域信号から分離できる。
＜第１の実施形態の変形例＞
上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子１０２からの原画像信号を未処理のままのRawデータとしてメモリカード等の記録媒体に記録する。さらに、撮像条件などの付随情報（例えば、ISO感度などの撮像条件など）をRawデータのヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図９を参照して、画像処理プログラム（成分抽出補正プログラム）による処理のメインルーチンを説明する。
最初に、Raw画像や、露光条件、画像処理条件などのヘッダ情報を読み込むとともに、Raw画像に基づき所定の補間処理により、３色の色信号で構成される原画像信号Fを生成する。（ステップＳ０１）。次に、原画像信号Fを分解の段階数ｉの解像度分解を行い、高周波成分と低周波成分とを取得する（ステップＳ０２）。
次に、分解の段階数を示す変数ｉを０に初期化する（ステップＳ０３）。次に、分解の段階数iを１増分する（ステップＳ０４）。次に、反復処理の繰返し回数を示す変数lを０に初期化する（ステップＳ０５）。
次に、第１成分を保持するための第１バッファと、第２成分を保持するための第２バッファの初期化を行う（ステップＳ０６）。次に、繰返し回数lを１増分する（ステップＳ０７）。次に、色信号を表す変数k（k=rの場合Ｒ信号、k=gの場合Ｇ信号、k=bの場合Ｂ信号）をrとし、処理対象の色信号を設定する（ステップＳ０８）。
次に、式（１２）に基づく第１の差分成分を算出する（ステップＳ０９）。次に、ステップＳ０９にて算出した第１の差分成分に対し、式（１５）、式（１６）に基づく多段階コアリング処理を行う（ステップＳ１０）。次に、ステップＳ１０の結果を第１バッファに上書き記録することで、第１成分を更新してUk i(l)の値を設定する（ステップＳ１１）。
次に、式（１３）に基づく第２の差分成分を算出する（ステップＳ１２）。次に、ステップＳ１２にて算出した第２の差分成分に対し、式（１７）に基づくコアリング処理（軟判定閾値処理）を行う（ステップＳ１３）。次に、式（１４）に基づく第３の差分成分を算出する（ステップＳ１４）。次に、ステップＳ１４の結果を第２バッファに上書き記録することで、第２成分を更新してVk i(l)の値を設定する（ステップＳ１５）。
次に、ｋを参照し、全ての色信号Ｒ、Ｇ、Ｂに対して処理が行われたかを判定する（ステップＳ１６）。全ての色信号Ｒ、Ｇ、Ｂに対して処理が完了していない場合、ステップＳ１７で色信号を表す変数kを次のもの（g又はｂ）に更新し、ステップＳ０９へ戻り、処理を繰り返す。全ての色信号Ｒ、Ｇ、Ｂに対して処理が完了した場合、ステップＳ１８へ進む。
次に、ｌを参照し、反復回数を判定する。ｌが予め設定された所定の反復回数Ｌに達した場合、ステップＳ１９へ進む。ｌがＬ未満の場合、ステップＳ０７へ戻り、処理を繰り返す（ステップＳ１８）。
次に、iを参照し、iが予め設定された所定の多重解像度レベルＩに達した場合、ステップＳ２０へ進む。iがＩ以下の場合、ステップＳ０４へ戻り、処理を繰り返す（ステップＳ１９）。
次に、低周波成分と高周波成分に含まれる第１成分、及び高周波成分に含まれる第２成分とを用いて、Ｉ段階の多重解像度合成を行い、原画像信号に対する第１成分U（=Ur,Ub,Ug)、及び第２成分V（=Vr,Vb,Vg)を生成する（ステップＳ２０）。
次に、第１成分U、及び第２成分Vそれぞれに対し、所定の信号処理を行う（ステップＳ２１）。次に、信号処理された第１成分U'と第２成分V'を合成するよう成分合成処理を行う（ステップＳ２２）。最後に公知の圧縮処理などを行った後、出力し、一連の処理を終了する。
この第１の実施形態の変形例も、第１の実施形態の前述した作用効果が得られるが、特別なハードウェアを必要とせず簡便に成分抽出補正処理が行える利点がある。
＜第２の実施形態＞
図１０を参照して、本発明の第２の実施形態に係る成分抽出補正装置ついて説明する。第２の実施形態に係る成分抽出補正装置は、第１の実施形態と異なり、モノクロ（単色又は白黒）の原画像信号に適した構成を有する。なお、第１の実施形態と同様の構成の部分には、同じ符号を付し、第１の実施形態と異なる構成について主に説明する。
第２の実施形態に係る成分抽出補正装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置（撮像用電子機器）に搭載されるものとして第２の実施形態を説明する。しかし、本発明はこれに限定されることなく適用可能である。
撮像装置は、システムコントローラ１００、光学系１０１、撮像素子１０００、A/D変換部１０３（以下、単にA/Dと呼ぶ）、多重解像度分解部１０５（単に、分解部とも呼ぶ）を備える。さらに、撮像装置は、バッファ１０６、成分分離部１００１、多重解像度合成部１０８（単に、合成部とも呼ぶ）、第１信号処理部１０９、第２信号処理部１１０、成分合成部１１１、出力部１１２を備える。上記各部を、論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と、演算プログラムを格納するメモリ等から構成してもよい。本実施形態の成分抽出補正装置は、分解部１０５、成分分離部１００１等から構成される。
撮像素子１０００は、A/D１０３を介して分解部１０５に接続されている。分解部１０５は、バッファ１０６を介して成分分離部１００１へ接続されている。成分分離部１００１は、合成部１０８へ接続されている。合成部１０８は、第１信号処理部１０９、及び第２信号処理部１１０を介して成分合成部１１１へ接続されている。成分合成部１１１は、出力部１１２へ接続されている。各処理部はシステムコントローラ１００に接続しており、システムコントローラ１００により動作を制御される。
本実施形態において、撮像素子１０００は、モノクロ用撮像素子である。撮像素子１０００は、システムコントローラ１００の制御に基づき、光学系１０１を通して撮像素子１０００面上に結像した光学像をアナログ画像信号として出力する。アナログ画像信号は、A/D１０３へ転送される。A/D１０３は、アナログ画像信号をデジタル信号に変換し、分解部１０５へ転送する。
分解部１０５は、第１の実施形態と同様の処理により、モノクロ（単色又は白黒）の原画像信号Fに対し所定のI段階の多重解像度分解を行う。分解部１０５は、分解の段階数iの高周波成分、低周波成分を生成し、バッファ１０６へ記録する。ここで、Iは１以上の整数であり、iは１以上I以下の整数である。
成分分離部１００１は、各高周波成分を、各高周波成分に含まれる第１成分と第２成分に分解する。成分分離部１００１では、高周波成分に対しコアリング処理（軟判定閾値処理）と差分算出処理により構成される分解アルゴリズムが反復的に適用される。第２の実施形態は、第１の実施形態で行った多段階のコアリング処理を、単一のコアリング範囲を有するコアリング処理（軟判定閾値処理）に置換した構成となっている。所定回数の反復がなされた後の第１成分、第２成分を合成部１０８へ転送する。成分分解処理の詳細は後述する。
以降の処理は、処理対象を色信号から単色又は白黒のモノクロ信号に置換えた第１の実施形態と同様である。即ち、合成部１０８における多重解像度合成処理は、第１の実施形態と同様に行われる。第１信号処理部１０９での第１成分に対する信号処理、第２信号処理部１１０での第２成分に対する信号処理も、第１の実施形態と同様に行われる。成分合成部１１１における合成処理、出力部１１２における処理も、第１の実施形態と同様に行われる。
成分分離部１００１
次に、図１１を参照して、成分分離部１０７の動作の詳細について説明する。
成分分離部１００１は、初期化部３０１、第１バッファ３０２、第２バッファ３０３、第１差分算出部３０４、第１転送制御部３０８を含んでいる。さらに、成分分離部１０７は、第２差分算出部３０９、第２ノイズ低減部３１０、第３差分算出部３１１、第２転送制御部３１２を含んでいる。
バッファ１０６は、初期化部３０１、第１差分算出部３０４、第２差分算出部３０９、第３差分算出部３１１に接続されている。初期化部３０１は、第１バッファ３０２、第２バッファ３０３に接続されている。第２バッファ３０３は、第１差分算出部３０４、合成部１０８に接続されている。第１差分算出部３０４は、第２ノイズ低減部３１０に接続されている。第２ノイズ低減部３１０は、第１転送制御部３０８に接続されている。
第１転送制御部３０８は、第１バッファ３０２に接続されている。第１バッファ３０２は、第２差分算出部３０９、第３差分算出部３１１、合成部１０８に接続されている。第２差分算出部３０９は、第２ノイズ低減部３１０に接続されている。第２ノイズ低減部３１０は、第３差分算出部３１１に接続されている。第３差分算出部３１１は、第２転送制御部３１２に接続されている。第２転送制御部３１２は、第２バッファ３０３に接続されている。
成分分離部１００１は、バッファ１０６から高周波成分を取得し、高周波成分毎に第１成分、第２成分への分解を行う。第１の実施形態と同様にコアリングによるノイズ低減処理と、差分算出処理の反復により分解精度が最適化される。
第１の実施形態では、第１ノイズ低減部３０７において多段階コアリング処理を行った。しかし、第２の実施形態では、第１ノイズ低減部３０７における多段階コアリング処理は、第２ノイズ低減部３１０で行われるコアリング処理（軟判定閾値処理）に置き換えられている。これは、第２の実施形態では、原画像信号Fがモノクロであるためである。このため、第２の実施形態では、第２ノイズ低減部３１０が、第１成分Ui(l)を補正・更新する第１補正部に相当する。
以下に例として、原画像信号Fに関する高周波成分Hiに対し、第１成分Ui(l)、第２成分Vi(l)に分離する場合について説明する。ここで、添字i（i=0〜I）は多重解像度分解の段階数、l(l=0〜L)は反復回数を表す。
初めに、l=0の反復においては、第１成分を保持する第１バッファ３０２、第２成分を保持する第２バッファ３０３に対する初期化のみ行う。初期化部３０１はバッファ１０６から原画像信号Fに対する高周波成分Hiを取得する。初期化部３０１は取得した高周波成分Hiを第１バッファ３０２へ転送し、第１バッファ３０２はこれを記録する。同時に初期化部３０１の制御により第２バッファの値を全て零にクリアする。
次にl回目（l≠0）における処理を行う。まず、第１差分算出部３０４は、バッファ１０６より原画像信号Fの高周波成分Hiを、第２バッファ３０３より、第２成分Vi(l-1)を取得し、式（１８）に基づき第１の差分成分S1i(l)（第１の差分値）を算出する。なお、l=1の場合、Vi(l-1) =Vi(0)=0である。
算出した第１の差分成分S1i(l)は、第２ノイズ低減部３１０へ転送される。
第２ノイズ低減部３１０では第１の差分成分S1i(l)に対し、式（１７）に基づくコアリング処理（軟判定閾値処理）を行う。コアリング処理後の第１の差分成分S1i(l)'は、第１転送制御部３０８の制御により、第１バッファ３０２へ転送される。コアリング処理後の第１の差分成分S1i(l)'を、第１成分Ui(l)として、バッファに記録されている第１成分Ui(l-1)に上書きすることにより、第１成分が補正・更新される（Ui(l)= S1i(l)'）。なお、l=1の場合、Ui(l-1)=Ui(0)= Hiである。
次に、第２差分算出部３０９は、バッファ１０６より高周波成分Hiを、第１バッファ３０２より第１成分Ui(l)を取得し、式（１９）に基づき第２の差分成分S2i(l)（第２の差分値）を算出する。
算出した第２の差分成分S2i(l)は第２ノイズ低減部３１０へ転送される。第２ノイズ低減部３１０は、第２の差分成分S2i(l)に対し、式（１７）に基づくコアリング処理（軟判定閾値処理）を行う。
次に、第３差分算出部３１１は、バッファ１０６より高周波成分Hiを、第１バッファ３０２より第１成分Ui(l)を、第２ノイズ低減３１０よりコアリング処理後の第２の差分成分S2i(l)'を取得する。第３差分算出部３１１は、式（２０）に基づき第３の差分成分S3i(l)（第３の差分値）を算出する。
第３の差分成分S3i(l)は、第２ノイズ低減部３１０がコアリング処理により第２の差分成分S2i(l)から除去した成分に相当する。第３差分算出部３１１にて算出された第３の差分成分S3i(l)は、第２転送制御部３１２の制御により、第２バッファ３０３へ転送される。この第３の差分成分S3i(l)は、第２成分Vi(l)として、第２バッファ３０３に記録されている第２成分Vi(l-1)に上書きされることにより、第２成分が補正・更新される（Vi(l)= S3i(l)）。なお、l=1の場合、Vi(l-1)= Vi(0)= 0である。
以上のようにl回目の反復において、高周波成分Hiは第１成分Ui(l)、第２成分Vi(l)に分解される。反復回数がＬ回目に達した場合、第１バッファ３０２に保持される第１成分Ui(L)、及び、第２バッファ３０３に保持される第２成分Vi(L)を最終的な出力とし、合成部１０８へ転送する。
第２の実施形態も、第１の実施形態と同様の作用効果が得られる。ただし、第２の実施形態は、モノクロの原画像信号に適した構成となっており、多段階コアリング処理は、単一のコアリング範囲を有する通常のコアリング処理に置き換えられている。このため、第１の実施形態に比較して、成分分離部の構成が単純化できる。
＜第２の実施形態の変形例＞
上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば撮像素子１０００からの原画像信号を未処理のままメモリカード等の記録媒体に記録する。さらに、撮像条件などの付随情報（例えば、ISO感度などの撮像条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図１２を参照して、画像処理プログラム（成分抽出補正プログラム）による処理のメインルーチンを説明する。
最初に、原画像信号Fや、露光条件、画像処理条件などのヘッダ情報を読み込む（ステップＳ２３）。次に、原画像信号を分解の段階数ｉの解像度分解を行い、高周波成分と低周波成分とを取得する（ステップＳ０２）。
次に、分解の段階数を示す変数ｉを０に初期化する（ステップＳ０３）。次に、分解の段階数iを１増分する（ステップＳ０４）。次に、反復処理の繰返し回数を示す変数lを０に初期化する（ステップＳ０５）。次に、第１成分を保持するための第１バッファと、第２成分を保持するための第２バッファの初期化を行う（ステップＳ０６）。次に、繰返し回数lを１増分する（ステップＳ０７）。
次に、式（１８）に基づいて、第１の差分成分S1i(l)を算出する（ステップＳ２４）。次に、ステップＳ２４にて算出した第１の差分成分S1i(l)に対し、式（１７）に基づいて、単一のコアリング範囲を有するコアリング処理（軟判定閾値処理）を行う（ステップＳ２５）。次に、ステップＳ２５の結果S1i(l)'を第１バッファに上書き記録することで、第１成分を更新する（ステップＳ１１）。
次に、式（１９）に基づく第２の差分成分S2i(l)を算出する（ステップＳ２６）。次に、ステップＳ２６にて算出した第２の差分成分S2i(l)に対し、式（１７）に基づいて、単一のコアリング範囲を有するコアリング処理（軟判定閾値処理）を行う（ステップＳ１３）。
次に、式（２０）に基づいて第３の差分成分S3i(l)を算出する（ステップＳ２７）。次に、ステップＳ２７の結果S3i(l)を第２バッファに上書き記録することで、第２成分を更新する（ステップＳ１５）。
次に、ｌを参照し、反復回数を判定する。ｌが予め設定された所定の反復回数Ｌに達した場合、ステップＳ１９へ進む。ｌがＬ未満の場合、ステップＳ０７へ戻り、処理を繰り返す（ステップＳ１８）。
次に、iを参照し、iが予め設定された所定の多重解像度レベルＩに達した場合、ステップＳ２０へ進む。iがＩ以下の場合、ステップＳ０４へ戻り、処理を繰り返す（ステップＳ１９）。
次に、低周波成分と高周波成分に含まれる第１成分、及び高周波成分に含まれる第２成分とを用いて、Ｉ段階の多重解像度合成を行い、原画像信号Fに対する第１成分U、及び第２成分Vを生成する（ステップＳ２０）。次に、第１成分Uと第２成分Vそれぞれに対し、所定の信号処理を行う（ステップＳ２１）。次に、信号処理された第１成分U'と第２成分V'の合成処理を行う（ステップＳ２２）。最後に公知の圧縮処理などを行った後、出力し、一連の処理を終了する。
この第２の実施形態の変形例も、第２の実施形態の作用効果が得られるが、さらに特別なハードウェアを必要とせず簡便に成分抽出補正処理が行える利点がある。
＜第３の実施形態＞
図１４を参照して、本発明の第３の実施形態に係る成分抽出補正装置ついて説明する。なお、第３の実施形態に係る成分抽出補正装置は、第１の実施形態と同様の構成の部分には、同じ符号を付し、第１の実施形態と異なる構成について主に説明する。
第３の実施形態に係る成分抽出補正装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置（撮像用電子機器）に搭載されるものとして第３の実施形態を説明する。しかし、本発明はこれに限定されることなく適用可能である。
撮像装置は、システムコントローラ１００（制御部）、光学系１０１、撮像素子１０２、A/D１０３、補間部１０４、成分分離部１５０１、第１信号処理部１０９、第２信号処理部１１０、成分合成部１１１、出力部１１２を備える。上記各部を、論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と、演算プログラムを格納するメモリ等から構成してもよい。本実施形態の成分抽出補正装置は成分分離部１５０１から構成される。
撮像素子１０２は、A/D１０３を介して補間部１０４へ接続されている。補間部１０４は、成分分離部１５０１へ接続されている。成分分離部１５０１は、第１信号処理部１０９、及び第２信号処理部１１０を介して成分合成部１１１へ接続されている。成分合成部１１１は出力部１１２へ接続されている。各処理部はシステムコントローラ１００に接続しており、システムコントローラ１００により動作を制御される。
撮像素子１０２は、システムコントローラ１００の制御に基づき、光学系１０１を通して撮像素子１０２面上に結像した光学像をアナログ画像信号として出力する。
アナログ画像信号は、A/D１０３へ転送される。A/D１０３は、アナログ画像信号をデジタル信号に変換し、補間部１０４へ転送する。
補間部１０４は、デジタル信号に対し、所定のデモザイク処理を施し、カラー三板画像信号（以下、原画像信号Fと呼ぶ）を生成する。本実施形態において、原画像信号Fは、R（赤）、G（緑）、B（青）の色信号により構成されている。以降、R（赤）、G（緑）、B（青）の色信号をそれぞれFr、Fg、Fbと呼ぶこととする。原画像信号Fは、成分分離部１５０１へ転送される。
成分分離部１５０１は、原画像信号Ｆを第１成分、及び第２成分に分解する。第１の実施形態においては、多重解像度分解処理により生成された各高周波成分に対し、第１ノイズ低減部３０７による第１の補正処理により第１成分、第２ノイズ低減部３１０と第３差分算出部３１１による第２の補正処理により第２成分を生成した後、それぞれの成分を各周波数帯域に渡り合成することで、原画像信号Ｆに対する第１成分、及び第２成分を生成した。
本実施形態においては、多重解像度分解処理により生成した各高周波成分に対し、第１ノイズ低減部３０７による多段階コアリング処理により、各高周波成分に対する第１成分を生成する。この第１成分を各周波数帯域に渡り合成することで原画像信号に対する第１成分を生成した後、原画像信号と原画像信号に対する第１成分との差分信号を算出する。算出した差分信号に対し第２ノイズ低減部３１０による軟判定閾値処理を行うことで、原画像信号に対する第２成分を生成する。なお、成分分離の詳細は後述する。生成した第１成分Uは、第１信号処理部１０９へ、第２成分Vは第２信号処理部１１０へ転送される。
第１信号処理部１０９は、合成部１０８から原画像信号Fに対する第１成分Uを読み込み、所定の信号処理を実施する。本実施形態では、原画像信号Fに対する第１成分Uに対し、階調変換を実施する。階調変換後の第１成分U'は、成分合成部１１１へ転送される。第１信号処理部１０９は、その他、γ補正等の階調変換を行ってもよい。
第２信号処理部１１０は、合成部１０８から第２成分Vを読み込み、所定の信号処理を実施する。本実施形態では、第２成分Vに対しノイズ低減処理、及びゲインの乗算による鮮鋭化処理を行う。処理後の第２成分V'は成分合成部１１１へ転送される。
成分合成部１１１は、第１信号処理部１０９で処理された第１成分U’、及び第２信号処理部１１０で処理された第２成分V’とを所定の比率で合成し、合成成分F'を得る。所定の比率は、例えば1:1の比率である。合成成分F'は出力部１１２へ転送され、フラッシュメモリ等で構成される記憶メディアへ記録される。
次に、図１５を参照して、成分分離部１５０１の動作の詳細について説明する。
成分分離部１５０１は、バッファ１５０２、初期化部３０１、第１バッファ３０２、第２バッファ３０３、第１差分算出部１５０３、多重解像度分解部１０５、第１ノイズ低減部３０７、多重解像度合成部１０８、第１転送制御部３０８、第１バッファ３０２、第２差分算出部１５０４、第２ノイズ低減部３１０、第２転送制御部３１２を含んでいる。
補間部１０４はバッファ１５０２に接続されている。バッファ１５０２は、初期化部３０１、第１差分算出部１５０３、第２差分算出部１５０４に接続されている。初期化部３０１は第１バッファ３０２（第１記憶部）、第２バッファ３０３（第２記憶部）に接続されている。
第２バッファ３０３は、第１差分算出部１５０３、第２信号処理部１１０に接続されている。第１差分算出部１５０３は、多重解像度分解部１０５に接続されている。多重解像度分解部１０５は第１ノイズ低減部３０７、多重解像度合成部１０８に接続されている。第１ノイズ低減部３０７は、多重解像度合成部１０８に接続されている。多重解像度合成部１０８は第１転送制御部３０８に接続されている。第１転送制御部３０８は、第１バッファ３０２に接続されている。第１バッファ３０２は、第２差分算出部１５０４、第１信号処理部１０９に接続されている。第２差分算出部１５０４は、第２ノイズ低減部３１０に接続されている。第２ノイズ低減部３１０は第２転送制御部３１２に接続されている。第２転送制御部３１２は第２バッファ３０３に接続されている。
成分分離部１５０１では、補間部１０４から各色信号に対する原画像信号を取得し、第１成分、第２成分への分解を行う。この分解は、所定のノイズ低減処理、差分算出処理の反復処理により行われる。制御部としてのシステムコントローラ１００は、ノイズ低減処理、差分算出処理の動作の繰り返しを制御する。
本実施形態において、バッファ１５０２が原画像信号を保持するバッファメモリ、第１バッファ３０２が第１成分を保持するバッファメモリ、第２バッファ３０３が第２成分を保持するバッファメモリとなっている。
ノイズ低減処理、差分処理を反復する度に、第１バッファ３０２、第２バッファ３０３に保持される第１成分、第２成分は随時更新され、分解精度が向上し、最適化がなされる。所定の反復回数Ｌに達した段階で、第１バッファ３０２、第２バッファ３０３にそれぞれ記録された第１成分（後述のUk (L)）、第２成分（後述のVk (L)）は、それぞれ第１信号処理部１０９、第２信号処理部１１０へ転送される。
なお、本実施形態において、成分抽出補正装置の抽出部は、第１差分算出部１５０３から構成されるが、これに限定されるものではない。例えば、最初の多段階コアリング処理に対しては、初期化部３０１と第１差分算出部１５０３が、抽出部として機能する。本実施形態において、抽出部は、原画像信号のうち補正前の第１成分（骨格成分）、即ち原画像信号から第２成分を減算した差分成分を抽出するものである。
また、本実施形態において、第１成分（骨格成分）を補正する第１の補正処理を行う第１補正部は、第１ノイズ低減部３０７から構成される。また、骨格成分以外の一の成分（第２成分）を補正する第２の補正処理を行う第２補正部は、第２ノイズ低減部３１０から構成される。ただし第１の実施形態において第２ノイズ低減部３１０は多重解像度分解に基づく帯域信号（高周波成分）に対し処理を行っていたが、本実施形態においては原画像信号から、原画像信号に対する第１成分を減算した差分成分に対する処理となっている。
以下に例として、色信号Ｆkに対して、第１成分Uk (l)と第２成分Vk (l)に分離する場合について説明する。ここで、添字k（=r,g,b）は色を表す記号である。k=rはＲ信号、k=gはＧ信号、k=bはＢ信号を表す。l(l=0〜L)は反復回数を表す。また、補間部１０４により生成した色信号Ｆkは予めバッファ１５０２へ記録される。
初めに、l=0の反復においては、第１成分を保持する第１バッファ３０２、第２成分を保持する第２バッファ３０３に対する初期化を行う。初期化部３０１は、バッファ１５０２から色信号Fr、Fg、Fbを取得し、第１バッファ３０２にこれを記録する。同時に初期化部３０１の制御により第２バッファの値を全て零にクリアする。
このように初期化することで、適切に第１成分と第２成分が計算できる。なお、l=0の場合に、初期化部３０１と第１差分算出部１５０３は、帯域信号を構成する複数の成分のうち第１成分（骨格成分）を抽出する抽出部として機能している。
次にl回目（l≠0）における成分抽出・補正処理の説明を行う。この処理は色信号毎に対し独立に行われるわけではない。１回の反復処理（例えばl回目の処理）において、全色信号（k=r,g,b）に対する処理が１回なされた後、次の反復処理（ｌ＋１回目の処理）が行われる。
まず、第１差分算出部１５０３は、バッファ１５０２より色信号Fkを、第２バッファ３０３より第２成分Vk (l-1)を取得し、式（２１）に基づき第１の差分成分S1k (l) （第１の差分値）を算出する。
算出した第１の差分成分S1k (l)は、多重解像度分解部１０５へ転送される。多重解像度分解部１０５ではS1k (l)を第１の実施形態と同様に複数の周波数帯域に分解する。分解した第１の差分成分の周波数成分のうち、高周波成分S1k i(l)を第１ノイズ低減部３０７へ、低周波成分（直流成分）を多重解像度合成部１０８へ転送する。ここで添字i（i=0〜I）は多重解像度分解の段階数を表す。
第１ノイズ低減部３０７は、第１の差分成分の高周波成分S1k i(l)に対し、第１の実施形態と同様の手法により色信号間の色和、色差を考慮した複数のコアリング範囲を持つ多段階コアリング処理を行う。多段階コアリング処理後の第１の差分成分の高周波成分S1k i(l)'は、多重解像度合成部１０８へ転送される。多段階コアリング処理は全ての段階i（i=0〜I）における高周波成分S1k i(l)に対して行われる。多重解像度合成部１０８では、多重解像度分解部１０５、及び第１ノイズ低減部３０７からの、第１の差分成分の低周波成分（直流成分）、及び多段階コアリング後の高周波成分S1k i(l)'に基づき、第１の実施形態と同様の処理により多重解像度合成処理を行う。合成した成分は第１転送制御部３０８の制御により、第１成分Uk (l)として、第１バッファ３０２に記録されている第１成分Uk (l-1)に上書きすることにより、第１成分が補正・更新される。
次に、第２差分算出部１５０４は、バッファ１５０２より原画像信号Fkを、第１バッファ３０２より第１成分Uk (l)を取得し、式（２２）に基づき第２の差分成分S2k (l) （第２の差分値）を算出する。
算出した第２の差分成分S2k (l)は第２ノイズ低減部３１０へ転送される。
第２ノイズ低減部３１０では第２の差分成分S2k (l)に対し、第１の実施形態と同様の手法により、コアリング範囲を１つ持つ一般的なコアリング処理（軟判定閾値処理）を行う。ただし、コアリング対象の信号は第１の実施形態とは異なり、原空間における原画像信号Ｆと第１成分Ｕとの差分信号であるため、原画像信号Ｆの画素と同じ個数分だけ画素毎にコアリング処理を行えば良い。コアリング処理後の差分成分S2k (l)'は第２転送制御部３１２の制御により、第２バッファ３０３へ転送される。この差分成分を、第２成分Vk (l)として、バッファに記録されている第２成分Vk (l-1)に上書きすることにより、第２成分が補正・更新される（Vk (l)= S2k (l)'）。
以上の処理は各色信号（k=r,g,b）に関して適用される。ｌ回目の反復において、全色信号に関して処理が完了した時点でｌ回目の反復が完了する。
反復回数がＬ回目に達した場合、第１バッファ３０２、及び第２バッファ３０３に保持される第１成分Uk (L)、第２成分Vk (L)が、最終的な出力として、それぞれ第１信号処理部１０９、第２信号処理部１１０へ転送される。
なお、本実施形態においては反復回数を所定回数Ｌに予め設定したが、分解精度に応じて可変とする構成としても良い。例えば、ｌ回目の第１成分Uk i(l)とl-1回目のUk i(l-1)との差分の絶対値、またはｌ回目の第１成分Vk (l)とl-1回目のVk (l-1)との差分の絶対値が所定の閾値以下となった場合に、反復処理を停止する構成としてもよい。これにより、反復による第１成分又は第２成分変化がほとんどなくなった場合に、反復処理を停止する。
なお、本実施形態においては、反復処理を行っているが、l=0回目の初期化処理以降の反復処理を行わず、l=1回目の処理のみ行う構成としても良い。
第３の実施形態も、第１の実施形態と同様の作用効果が得られる。ただし、第３の実施形態における第１成分の補正処理（第１ノイズ低減部３０７における多段階コアリング処理）は多重解像度分解に基づく第１の差分成分（S1k i(l)）の各高周波成分に対する処理であり、第２成分の補正処理（第２ノイズ低減部３１０における軟判定閾値処理）は第２の差分成分（S2k (l)）に対する処理となっている。第２成分の補正処理は、多重解像度領域ではなく、原空間領域での処理となっており、第１の実施形態と比較し第２成分を記録する第２バッファ３０３のバッファ容量を抑えることができる。（第１の実施形態では、多重解像度の段階数に応じて、帯域信号に対する第２成分の記録用の第２バッファ３０３のバッファ容量が増えることになる。）
なお、本実施形態では、第１の実施形態と同様に第1ノイズ低減部３０７、第２ノイズ低減部３１０において、多段階コアリング処理、軟判定閾値処理によるノイズ低減を行っているが、これに限定されるものではなく、他の所定のノイズ低減処理に代替可能である。例えば線形フィルタ、非線形フィルタ処理（メディアンフィルタ、バイラテラルフィルタ、非線形拡散型フィルタ）や、他の様々な変換関数によるＳｈｒｉｎｋａｇｅ処理による、適応的な平滑化処理を行っても良い。
例えば、第1ノイズ低減部３０７における多段階コアリング処理を、第２ノイズ低減部３１０における軟判定閾値処理と置換える（第２ノイズ低減部３１０において、第１、第２の差分成分に対する軟判定閾値処理を行う）ことで、処理構成を簡便にすることが可能である。
なお、本実施形態では、Harr基底による直交ウェーブレット変換を行っているが、第１の実施形態と同様に、双直交ウェーブレット基底等も含め、全てのウェーブレット基底が適用可能である。また、サブサンプリングを行わないタイプの（各レベルの各ウェーブレット係数が入力画素と同じ数になるよう）冗長性を持たせたウェーブレット変換（Stationary wavelet transform等）を適用することも可能である。
＜第３の実施形態の変形例＞
上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子１０２からの原画像信号を未処理のままのRawデータとしてメモリカード等の記録媒体に記録する。さらに、撮像条件などの付随情報（例えば、ISO感度などの撮像条件など）をRawデータのヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図１６を参照して、画像処理プログラム（成分抽出補正プログラム）による処理のメインルーチンを説明する。
最初に、Raw画像や、露光条件、画像処理条件などのヘッダ情報を読み込むとともに、Raw画像に基づき所定の補間処理により、３色の色信号で構成される原画像信号Fを生成する。（ステップＳ０１）。
次に、反復処理の繰返し回数を示す変数lを０に初期化する（ステップＳ０５）。次に、第１成分を保持するための第１バッファと、第２成分を保持するための第２バッファの初期化を行う（ステップＳ０６）。次に、繰返し回数lを１増分する（ステップＳ０７）。
次に、式（２１）に基づいて第１の差分成分を算出する（ステップＳ２８）。次に、第１の差分成分に対し分解の段階数Ｉの多重解像度度分解を行い、高周波成分と低周波成分とを取得する（ステップＳ２９）。次に、ステップＳ２９にて算出した高周波成分に対し、多段階コアリング処理を行う（ステップＳ１０）。
次に、第１の差分成分の低周波成分と多段階コアリング処理後の高周波成分を用いて、Ｉ段階の多重解像度合成を行い、原画像信号に対する第１成分Uを生成する（ステップＳ３０）。次に、ステップＳ３０の結果を第１バッファに上書き記録することで、第１成分を更新してUk (l)の値を設定する（ステップＳ１１）。
次に、式（２２）に基づく第２の差分成分を算出する（ステップＳ３１）。次に、ステップＳ３１にて算出した第２の差分成分に対し、コアリング処理（軟判定閾値処理）を行う（ステップＳ１３）。次に、ステップＳ１３の結果を第２バッファに上書き記録することで、第２成分を更新してVk (l)の値を設定する（ステップＳ１５）。
次に、ｌを参照し、反復回数を判定する。ｌが予め設定された所定の反復回数Ｌに達した場合、ステップＳ２１へ進む。ｌがＬ未満の場合、ステップＳ０７へ戻り、処理を繰り返す（ステップＳ１８）。
次に、第１成分U、及び第２成分Vそれぞれに対し、所定の信号処理を行う（ステップＳ２１）。次に、信号処理された第１成分U'と第２成分V'を合成するよう成分合成処理を行う（ステップＳ２２）。最後に公知の圧縮処理などを行った後、出力し、一連の処理を終了する。
この第３の実施形態の変形例も、第３の実施形態と同様の作用効果が得られるが、特別なハードウェアを必要とせず簡便に成分抽出補正処理が行える利点がある。
本発明は上記の実施の形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
第１の実施形態に係る成分抽出補正装置を搭載した撮像用電子機器の構成図である。 第１の実施形態に係る多重解像度分解部の構成図である。 第１の実施形態に係る成分分離部の構成図である。 第１の実施形態に係る第1ノイズ低減部の構成図である。 多段階コアリング処理の変換関数を示す図である。 第１の実施形態に係る第２ノイズ低減部の構成図である。 コアリング処理（軟判定閾値処理）の変換関数を示す図である。 第１の実施形態に係る多重解像度合成部の構成図である。 第１の実施形態の変形例に係る処理を示すフローチャートである。 第２の実施形態に係る成分抽出補正装置を搭載した撮像用電子機器の構成図である。 第２の実施形態に係る成分分離部の構成図である。 第２の実施形態の変形例に係る処理を示すフローチャートである。 （ａ）原画像信号の例と原画像の例を示す図である。（ｂ）骨格成分の例と、その画像例を示す図である。（ｃ）骨格成分以外の成分の例と、その成分画像の例を示す図である。 第３の実施形態に係る成分抽出補正装置を搭載した撮像用電子機器の構成図である。 第３の実施形態に係る成分分離部の構成図である。 第３の実施形態の変形例に係る処理を示すフローチャートである。
符号の説明
１０５ 分解部
３０１ 初期化部
３０４ 第１差分算出部
３０７ 第１ノイズ低減部
３０８ 第１転送制御部
３０９ 第２差分算出部
３１０ 第２ノイズ低減部
３１１ 第３差分算出部
３１２ 第２転送制御部

Claims (23)

  1. 原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解部と、
    前記生成された複数の帯域信号のうちの一つの帯域信号を構成する複数の成分のうち、前記一つの帯域信号の大局的な構造を表し、前記一つの帯域信号のエッジ成分を含む第１成分を記憶する第１記憶部と、
    前記一つの帯域信号を構成する複数の成分のうち、前記一つの帯域信号の局所的な構造を表し、前記一つの帯域信号のテクスチャ成分を含む第２成分を記憶する第２記憶部と、
    前記一つの帯域信号の大局的な構造を表す第１成分を、前記第２記憶部に記憶された第２成分を用いて、前記一つの帯域信号のエッジ成分を含むように新たに抽出する第１抽出部と、
    前記新たに抽出された第１成分と前記一つの帯域信号とを用いて、前記一つの帯域信号の局所的な構造を表す第２成分を、前記一つの帯域信号のテクスチャ成分を含むように新たに抽出する第２抽出部と、を備え、
    前記第１記憶部は、既に記憶されている第１成分を、前記新たに抽出された第１成分により更新し、
    前記第２記憶部は、既に記憶されている第２成分を、前記新たに抽出された第２成分により更新することを特徴とする成分抽出装置。
  2. 前記第１抽出部は、前記一つの帯域信号から前記第２成分を減じて得た第１の差分値を用いて、前記第１成分を新たに抽出することを特徴とする請求項１に記載の成分抽出装置。
  3. 前記第２抽出部は、前記一つの帯域信号から前記新たに抽出された第１成分を減じて得た第２の差分値を用いて、前記第２成分を新たに抽出することを特徴とする請求項１に記載の成分抽出装置。
  4. 前記第２抽出部は、前記第２の差分値と所定の閾値を比較することで得た指標値を算出し、前記第２の差分値から前記指標値を減じて得た第３の差分値を前記新たに抽出された第２成分とすることを特徴とする請求項３に記載の成分抽出装置。
  5. 前記分解部は前記複数の帯域信号を色信号ごとに生成し、
    前記第１抽出部は色信号ごとに生成された帯域信号を用いて、前記第１成分を色信号ごとに新たに抽出し、
    前記第２抽出部は前記新たに抽出された第１成分を用いて、色信号ごとに前記第２成分を新たに抽出することを特徴とする請求項１に記載の成分抽出装置。
  6. 前記第１抽出部による前記第１成分を新たに抽出する処理、および前記第２抽出部による前記第２成分を新たに抽出する処理の動作の繰り返しを制御する制御部と、
    前記制御部により前記第１成分を新たに抽出する処理が繰り返される場合、前記第１抽出部は、前記第２成分を新たに抽出する処理により新たに得た前記第２成分を用いて、前記一つの帯域信号の大局的な構造を表す第１成分を、前記一つの帯域信号のエッジ成分を含むように新たに抽出する処理を行うことを特徴とする請求項１に記載の成分抽出装置。
  7. 前記第１抽出部は、前記帯域信号の構造を表す第１成分を帯域信号ごとに新たに抽出するものであり、
    帯域信号ごとに抽出された前記第１成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号の大局的な構造を示す第１成分を、前記原画像信号のエッジ成分を含むように生成する合成部をさらに備えることを特徴とする請求項１に記載の成分抽出装置。
  8. 前記第１抽出部は、前記帯域信号の構造を表す第１成分を帯域信号ごとに新たに抽出するものであり、前記第２抽出部は、その帯域信号ごとに抽出された前記第１成分を用いて帯域信号ごとに前記第２成分を新たに抽出するものであって、
    帯域信号ごとに新たに抽出された前記第２成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号の局所的な構造を示す第２成分を、前記原画像信号のテクスチャ成分を含むように生成する合成部をさらに備えることを特徴とする請求項１に記載の成分抽出装置。
  9. 一回目の前記第１成分を新たに抽出する処理の前に、前記第１記憶部が記憶する第１成分を前記一つの帯域信号に設定し、前記第２記憶部が記憶する第２成分をゼロに設定する初期化部と、
    を備えることを特徴とする請求項１に記載の成分抽出装置。
  10. 前記第１抽出部は、
    前記帯域信号から前記第２成分を減じて得た第１の差分値に対して、複数のコアリング範囲を設定し、
    前記第１の差分値に対して前記複数のコアリング範囲に基づきコアリング処理を行った結果を前記新たに抽出された第１成分とすることを特徴とする請求項１に記載の成分抽出装置。
  11. 前記第１抽出部は、
    前記第１の差分値がいずれかのコアリング範囲に属する場合に、前記第１の差分値をそのコアリング範囲に対応した固定値に変換し、
    前記第１の差分値がいずれのコアリング範囲にも属さない場合に、前記第１の差分値を変換関数に基づいて変換することを特徴とする請求項１０に記載の成分抽出装置。
  12. 前記第２抽出部は、
    前記帯域信号から前記新たに抽出された第１成分を減じて得た第２の差分値に対して、単一のコアリング範囲を設定し、
    前記第２の差分値に対して前記単一のコアリング範囲に基づきコアリング処理を行った結果に応じて前記第２成分を補正することを特徴とする請求項１に記載の成分抽出装置。
  13. 前記第２抽出部は、
    前記第２の差分値が前記単一のコアリング範囲に属する場合に、前記第２の差分値を所定の固定値に変換し、
    前記第２の差分値がいずれのコアリング範囲にも属さない場合に、前記第２の差分値を変換関数に基づいて変換することを特徴とする請求項１２に記載の成分抽出装置。
  14. 前記分解部は、ウェーブレット変換により前記原画像信号を前記複数の周波数帯域に分解することを特徴とする請求項１に記載の成分抽出装置。
  15. 原画像信号を構成する複数の成分のうち、前記原画像信号の大局的な構造を表し、前記原画像信号のエッジ成分を含む第１成分を記憶する第１記憶部と、
    前記原画像信号を構成する複数の成分のうち、前記原画像信号の局所的な構造を表し、前記原画像信号のテクスチャ成分を含む第２成分を記憶する第２の記憶部と、
    前記原画像信号のうち大局的な構造を表す第１成分を、前記第２記憶部に記憶された第２成分を用いて、前記原画像信号のエッジ成分を含むように新たに抽出する第１抽出部と、
    前記原画像信号に対して新たに抽出された第１成分と前記原画像信号とを用いて、前記原画像信号の局所的な構造を表す第２成分を、前記原画像信号のテクスチャ成分を含むように新たに抽出する第２抽出部と、を備え、
    前記第１抽出部は、
    前記原画像信号を構成する複数の帯域信号ごとに大局的な構造を表す第１成分を、前記第２記憶部に記憶された第２成分を用いて、前記一つの帯域信号のエッジ成分を含むように新たに抽出する帯域信号第１成分抽出部と、
    前記帯域信号ごとに抽出された前記第１成分を前記複数の帯域信号に対応する複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する第１成分を生成する合成部と、
    を備えることを特徴とする成分抽出装置。
  16. 前記成分抽出装置は、前記第１抽出部による前記第１成分を新たに抽出する処理、および前記第２抽出部による前記第２成分を新たに抽出する処理の動作の繰り返しを制御する制御部を備え、
    前記制御部により前記第１抽出部による抽出処理が繰り返される場合、前記第１抽出部は、前記第２抽出部により新たに抽出された前記第２成分と、前記原画像信号を用いて、前記抽出処理を行うことを特徴とする請求項１５に記載の成分抽出装置。
  17. 前記第１抽出部は、前記原画像信号から前記第２成分を減じて得た差分値を用いて、前記原画像信号に対する前記第１成分の抽出を行うことを特徴とする請求項１５に記載の成分抽出装置。
  18. 前記第１抽出部は、ウェーブレット変換により前記差分値を前記複数の周波数帯域に分解することを特徴とする請求項１７に記載の成分抽出装置。
  19. 請求項１から１８のいずれか一つに記載する成分抽出装置を備えた電子機器。
  20. 原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解ステップと、
    前記生成された複数の帯域信号のうちの一つの帯域信号を構成する複数の成分のうち、前記一つの帯域信号の大局的な構造を表し、前記一つの帯域信号のエッジ成分を含む第１成分を記憶する第１記憶ステップと、
    前記一つの帯域信号を構成する複数の成分のうち、前記一つの帯域信号の局所的な構造を表し、前記一つの帯域信号のテクスチャ成分を含む第２成分を記憶する第２記憶ステップと、
    前記一つの帯域信号の大局的な構造を表す第１成分を、前記第２記憶ステップで記憶された第２成分を用いて、前記一つの帯域信号のエッジ成分を含むように新たに抽出する第１抽出ステップと、
    前記新たに抽出された第１成分と前記一つの帯域信号とを用いて、前記一つの帯域信号の局所的な構造を表す第２成分を、前記一つの帯域信号のテクスチャ成分を含むように新たに抽出する第２抽出ステップと、を含み、
    前記第１記憶ステップは、既に記憶されている第１成分を、前記新たに抽出された第１成分により更新し、
    前記第２記憶ステップは、既に記憶されている第２成分を、前記新たに抽出された第２成分により更新することを特徴とする成分抽出方法。
  21. コンピュータに、
    原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解手順と、
    前記生成された複数の帯域信号のうちの一つの帯域信号を構成する複数の成分のうち、前記一つの帯域信号の大局的な構造を表し、前記一つの帯域信号のエッジ成分を含む第１成分を記憶する第１記憶手順と、
    前記一つの帯域信号を構成する複数の成分のうち、前記一つの帯域信号の局所的な構造を表し、前記一つの帯域信号のテクスチャ成分を含む第２成分を記憶する第２記憶手順と、
    前記一つの帯域信号の大局的な構造を表す第１成分を、前記第２記憶手順で記憶された第２成分を用いて、前記一つの帯域信号のエッジ成分を含むように新たに抽出する第１抽出手順と、
    前記新たに抽出された第１成分と前記一つの帯域信号とを用いて、前記一つの帯域信号の局所的な構造を表す第２成分を、前記一つの帯域信号のテクスチャ成分を含むように新たに抽出する第２抽出手順と、を実行させ、
    前記第１記憶手順は、既に記憶されている第１成分を、前記新たに抽出された第１成分により更新し、
    前記第２記憶手順は、既に記憶されている第２成分を、前記新たに抽出された第２成分により更新することを特徴とする成分抽出プログラム。
  22. 原画像信号を構成する複数の成分のうち、前記原画像信号の大局的な構造を表し、前記原画像信号のエッジ成分を含む第１成分を記憶する第１記憶ステップと、
    前記原画像信号を構成する複数の成分のうち、前記原画像信号の局所的な構造を表し、前記原画像信号のテクスチャ成分を含む第２成分を記憶する第２の記憶ステップと、
    前記原画像信号のうち大局的な構造を表す第１成分を、前記第２記憶ステップで記憶された第２成分を用いて、前記原画像信号のエッジ成分を含むように新たに抽出する第１抽出ステップと、
    前記原画像信号に対して新たに抽出された第１成分と前記原画像信号とを用いて、前記原画像信号の局所的な構造を表す第２成分を、前記原画像信号のテクスチャ成分を含むように新たに抽出する第２抽出ステップと、を含み、
    前記第１抽出ステップは、
    前記原画像信号を構成する複数の帯域信号ごとに大局的な構造を表す第１成分を、前記第２記憶ステップに記憶された第２成分を用いて、前記一つの帯域信号のエッジ成分を含むように新たに抽出する帯域信号第１成分抽出ステップと、
    前記帯域信号ごとに抽出された前記第１成分を前記複数の帯域信号に対応する複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する第１成分を生成する合成ステップと、
    を含むことを特徴とする成分抽出方法。
  23. コンピュータに、
    原画像信号を構成する複数の成分のうち、前記原画像信号の大局的な構造を表し、前記原画像信号のエッジ成分を含む第１成分を記憶する第１記憶手順と、
    前記原画像信号を構成する複数の成分のうち、前記原画像信号の局所的な構造を表し、前記原画像信号のテクスチャ成分を含む第２成分を記憶する第２の記憶手順と、
    前記原画像信号のうち大局的な構造を表す第１成分を、前記第２記憶手順で記憶された第２成分を用いて、前記原画像信号のエッジ成分を含むように新たに抽出する第１抽出手順と、
    前記原画像信号に対して新たに抽出された第１成分と前記原画像信号とを用いて、前記原画像信号の局所的な構造を表す第２成分を、前記原画像信号のテクスチャ成分を含むように新たに抽出する第２抽出手順と、を実行させ、
    前記第１抽出手順は、
    前記原画像信号を構成する複数の帯域信号ごとに大局的な構造を表す第１成分を、前記第２記憶手順で記憶された第２成分を用いて、前記一つの帯域信号のエッジ成分を含むように新たに抽出する帯域信号第１成分抽出手順と、
    前記帯域信号ごとに抽出された前記第１成分を前記複数の帯域信号に対応する複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する第１成分を生成する合成手順と、
    を備えることを特徴とする成分抽出プログラム。
JP2008196814A 2008-07-30 2008-07-30 成分抽出補正装置、成分抽出補正方法、成分抽出補正プログラム、又は電子機器 Expired - Fee Related JP5097914B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008196814A JP5097914B2 (ja) 2008-07-30 2008-07-30 成分抽出補正装置、成分抽出補正方法、成分抽出補正プログラム、又は電子機器
US12/510,568 US8396291B2 (en) 2008-07-30 2009-07-28 Component extraction/correction device, component extraction/correction method, storage medium and electronic equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008196814A JP5097914B2 (ja) 2008-07-30 2008-07-30 成分抽出補正装置、成分抽出補正方法、成分抽出補正プログラム、又は電子機器

Publications (2)

Publication Number Publication Date
JP2010033453A JP2010033453A (ja) 2010-02-12
JP5097914B2 true JP5097914B2 (ja) 2012-12-12

Family

ID=41608426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008196814A Expired - Fee Related JP5097914B2 (ja) 2008-07-30 2008-07-30 成分抽出補正装置、成分抽出補正方法、成分抽出補正プログラム、又は電子機器

Country Status (2)

Country Link
US (1) US8396291B2 (ja)
JP (1) JP5097914B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8391635B2 (en) * 2007-08-31 2013-03-05 Olympus Corporation Noise removal device, noise removal method, and computer readable recording medium
EP2536152B1 (en) * 2010-02-12 2018-09-05 Canon Kabushiki Kaisha Image processing device and image processing method
JP5488048B2 (ja) * 2010-02-26 2014-05-14 国立大学法人 名古屋工業大学 画像処理装置および画像処理プログラム
JP2012068162A (ja) * 2010-09-24 2012-04-05 Renesas Electronics Corp 半導体装置のコントラスト画像処理方法、処理装置、及び、処理プログラム
TWI510076B (zh) * 2011-12-05 2015-11-21 Realtek Semiconductor Corp 影像處理方法及相關的影像處理裝置
WO2013161940A1 (ja) * 2012-04-27 2013-10-31 日本電気株式会社 画像処理方法、画像処理システム、画像処理装置および画像処理プログラム
WO2014103230A1 (ja) * 2012-12-26 2014-07-03 日本電気株式会社 信号処理装置、信号処理方法、および記憶媒体
JP6363889B2 (ja) * 2014-07-01 2018-07-25 キヤノン株式会社 撮像素子、撮像装置およびその制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5526446A (en) * 1991-09-24 1996-06-11 Massachusetts Institute Of Technology Noise reduction system
JP2003134352A (ja) * 2001-10-26 2003-05-09 Konica Corp 画像処理方法及び装置並びにプログラム
JP4293039B2 (ja) * 2004-04-15 2009-07-08 ソニー株式会社 画像処理装置および画像処理方法、プログラム、並びに記録媒体
US8059910B2 (en) 2005-03-31 2011-11-15 Nikon Corporation Image processing method for removing noise from an image
JP5352942B2 (ja) * 2005-03-31 2013-11-27 株式会社ニコン 画像処理方法、画像処理プログラム、および画像処理装置
JP2007018379A (ja) * 2005-07-08 2007-01-25 Konica Minolta Medical & Graphic Inc 画像処理方法及び画像処理装置
WO2007116543A1 (ja) 2006-03-31 2007-10-18 Nikon Corporation 画像処理方法
US8391635B2 (en) * 2007-08-31 2013-03-05 Olympus Corporation Noise removal device, noise removal method, and computer readable recording medium

Also Published As

Publication number Publication date
US20100027885A1 (en) 2010-02-04
US8396291B2 (en) 2013-03-12
JP2010033453A (ja) 2010-02-12

Similar Documents

Publication Publication Date Title
JP5097914B2 (ja) 成分抽出補正装置、成分抽出補正方法、成分抽出補正プログラム、又は電子機器
JP4998287B2 (ja) 画像処理装置および方法、並びにプログラム
US6937772B2 (en) Multiresolution based method for removing noise from digital images
US11625815B2 (en) Image processor and method
US7257271B2 (en) Noise reduction in color digital images using pyramid decomposition
JP4526445B2 (ja) 撮像装置
JP5668105B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20070071353A1 (en) Denoising method, apparatus, and program
WO2006106919A1 (ja) 画像処理方法
US20200396397A1 (en) Multispectral Image Processing System and Method
KR20110065997A (ko) 영상처리장치 및 영상처리방법
JPH0944657A (ja) 画像処理方法および装置
JPH09284798A (ja) 信号処理装置
JP2006309749A (ja) 画像処理方法
JP5376202B2 (ja) ノイズ除去装置，ノイズ除去方法及びノイズ除去プログラム
CN113168671A (zh) 噪点估计
JPWO2016075914A1 (ja) 画像信号処理装置、画像信号処理方法及び画像信号処理プログラム
JPH0944656A (ja) 画像処理方法および装置
JP5272219B2 (ja) 画像処理装置及び画像処理プログラム
JPH0944655A (ja) 画像処理方法および装置
WO2007011067A1 (ja) 画像処理装置
JP2011043901A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器
CN105321156B (zh) 一种基于多元结构的图像复原方法
JP2017130167A (ja) 画像処理装置、撮像装置および画像処理プログラム
CN101133430A (zh) 图像对比度和锐度增强

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120717

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120814

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5097914

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees