JP5586031B2 - Image processing system, image processing method, and image processing program - Google Patents
Image processing system, image processing method, and image processing program Download PDFInfo
- Publication number
- JP5586031B2 JP5586031B2 JP2012064483A JP2012064483A JP5586031B2 JP 5586031 B2 JP5586031 B2 JP 5586031B2 JP 2012064483 A JP2012064483 A JP 2012064483A JP 2012064483 A JP2012064483 A JP 2012064483A JP 5586031 B2 JP5586031 B2 JP 5586031B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal
- image signal
- correction coefficient
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 133
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000012937 correction Methods 0.000 claims description 115
- 238000006243 chemical reaction Methods 0.000 claims description 92
- 238000000034 method Methods 0.000 description 44
- 238000012546 transfer Methods 0.000 description 38
- 238000000354 decomposition reaction Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 25
- 238000000926 separation method Methods 0.000 description 22
- 238000001514 detection method Methods 0.000 description 20
- 239000000203 mixture Substances 0.000 description 19
- 230000015572 biosynthetic process Effects 0.000 description 18
- 238000003786 synthesis reaction Methods 0.000 description 18
- 238000001444 catalytic combustion detection Methods 0.000 description 15
- 238000001914 filtration Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
本発明は、画像の各局所領域に対して階調変換を実施するための画像処理システム、画像処理方法および画像処理プログラムに関する。 The present invention relates to an image processing system, an image processing method, and an image processing program for performing gradation conversion on each local region of an image .
最近、デジタルスチルカメラおよびデジタルビデオカメラが、デジタル画像データを取り込むための一般的なデバイスとなってきた。これらのデバイスは画像処理システムを備え、このシステム中で取り込んだ画像に対して画像処理を実施する。このような基礎の下で、画像処理システム中において入力され処理される画像信号のビット幅(例えば10〜12ビット)は、一般に、画像処理システムからの最終的な出力信号のビット幅(例えば8ビット)よりも広く設定される。この設定は、デジタル信号処理を通した桁落ちによって引き起こされる画質劣化を防止するためのものである。この場合には、信号のビット幅を出力システムのビット幅に合致するように変換する必要がある。従来、このようなビット幅変換は、標準的なシーンに対する固定的な(スペースインバリアントな)階調特性を用いて実施されてきた。 Recently, digital still cameras and digital video cameras have become common devices for capturing digital image data. These devices include an image processing system, and perform image processing on images captured in the system. On this basis, the bit width (eg, 10 to 12 bits) of the image signal input and processed in the image processing system is generally the bit width (eg, 8) of the final output signal from the image processing system. Bit). This setting is for preventing image quality degradation caused by digit loss through digital signal processing. In this case, it is necessary to convert the bit width of the signal to match the bit width of the output system. Conventionally, such bit width conversion has been performed using fixed (space invariant) gradation characteristics for a standard scene.
提案された別の技術では、各シーンの階調特性を用いてビット幅変換が実施される。例えば、日本特許第3465226号には、テクスチャ情報に基づいて画像信号が領域に分割される方法が開示されており、分割された各領域に個別に階調変換が適用される。しかし、この方法は、テクスチャ分析および区分化のせいで、高い計算コストを必要とする。さらに、この方法は、空間的連続性を保存するとは考えられない(空間的に滑らかであるとは考えられない)。 In another proposed technique, bit width conversion is performed using the gradation characteristics of each scene. For example, Japanese Patent No. 3465226 discloses a method in which an image signal is divided into regions based on texture information, and gradation conversion is individually applied to each divided region. However, this method requires high computational costs due to texture analysis and segmentation. Furthermore, this method is not considered to preserve spatial continuity (it is not considered to be spatially smooth).
一方、画像処理システムが開示されている国際特許出願公開第WO02/089060号には、局所ヒストグラム平坦化に基づく計算効率の高い方法が提案されている。しかし、この方法は、顔領域といったような幾つかの領域には適応可能ではなく、従ってわずかな改善しか示さない。 On the other hand, International Patent Application Publication No. WO 02/089060, which discloses an image processing system, proposes a method with high calculation efficiency based on local histogram flattening. However, this method is not adaptable to some areas, such as the face area, and therefore shows only a slight improvement.
本発明は、これらの事情に鑑みて考案されたものであり、本発明の目的は、階調変換を適切かつ効率的に実施することができる画像処理システム、画像処理方法および画像処理プログラムを提供することである。 The present invention has been devised in view of these circumstances, and an object of the present invention is to provide an image processing system, an image processing method, and an image processing program capable of appropriately and efficiently performing gradation conversion. It is to be.
本発明の一態様の画像処理システムは、画像信号に対する階調補正処理のための画像処理システムであって、前記画像信号に基づく信号を生成する信号生成手段と、特定領域を含む特定画像信号を前記画像信号から取得するための特定画像信号取得手段と、前記特定領域を含む前記特定画像信号の情報を用いて補正係数を取得し、前記補正係数は低周波数成分の寄与を高周波数成分の寄与よりも高くするものである、補正係数取得手段と、前記画像信号に基づく信号において前記特定画像信号に相当する領域に前記補正係数を用いて補正を行う補正係数処理手段と、前記補正係数処理手段により補正された信号に基づく信号と前記画像信号とを合成することにより、前記画像信号に対して階調変換処理を実行する階調変換手段と、を具備する。 An image processing system according to an aspect of the present invention is an image processing system for gradation correction processing on an image signal, and includes a signal generation unit that generates a signal based on the image signal, and a specific image signal including a specific region. A correction coefficient is acquired using specific image signal acquisition means for acquiring from the image signal and information of the specific image signal including the specific region, and the correction coefficient contributes a low-frequency component to a high-frequency component. is intended to be higher than, the correction coefficient acquiring unit, a correction coefficient processing means for performing correction using the correction coefficient in a region corresponding to the specific image signal in the signal based on the image signal, the correction coefficient processing unit Gradation conversion means for performing gradation conversion processing on the image signal by synthesizing the signal based on the signal corrected by the above and the image signal.
本発明の一態様の画像処理方法は、画像信号に対する階調補正処理のための画像処理方法であって、前記画像信号に基づく信号を生成する信号生成ステップと、定領域を含む特定画像信号を前記画像信号から取得するための特定画像信号取得ステップと、前記特定領域を含む前記特定画像信号の情報を用いて補正係数を取得し、前記補正係数は低周波数成分の寄与を高周波数成分の寄与よりも高くするものである、補正係数取得ステップと、前記画像信号に基づく信号において前記特定画像信号に相当する領域に前記補正係数を用いて補正を行う補正係数処理ステップと、前記補正係数処理ステップにより補正された信号に基づく信号と前記画像信号とを合成することにより、前記画像信号に対して階調変換処理を実行する階調変換ステップと、を含む。
本発明の一態様の画像処理プログラムは、画像信号に対する階調補正処理のための画像処理プログラムであって、前記画像信号に基づく信号を生成する信号生成ステップと、特定領域を含む特定画像信号を前記画像信号から取得するための特定画像信号取得ステップと、前記特定領域を含む前記特定画像信号の情報を用いて補正係数を取得し、前記補正係数は低周波数成分の寄与を高周波数成分の寄与よりも高くするものである、補正係数取得ステップと、前記画像信号に基づく信号において前記特定画像信号に相当する領域に前記補正係数を用いて補正を行う補正係数処理ステップと、前記補正係数処理ステップにより補正された信号に基づく信号と前記画像信号とを合成することにより、前記画像信号に対して階調変換処理を実行する階調変換ステップと、を含む。
An image processing method according to an aspect of the present invention is an image processing method for gradation correction processing for an image signal, and includes a signal generation step for generating a signal based on the image signal, and a specific image signal including a constant region. A specific image signal acquisition step for acquiring from the image signal, and a correction coefficient is acquired using information on the specific image signal including the specific region, and the correction coefficient contributes a low-frequency component to a high-frequency component. is intended to be higher than, the correction coefficient acquiring step, a correction coefficient processing step of performing a correction using the correction coefficient in a region corresponding to the specific image signal in the signal based on the image signal, the correction coefficient processing step A gradation conversion step of performing gradation conversion processing on the image signal by combining the image signal and the signal based on the signal corrected by , Including the.
An image processing program of one embodiment of the present invention is an image processing program for gradation correction processing for an image signal, and includes a signal generation step for generating a signal based on the image signal, and a specific image signal including a specific region. A specific image signal acquisition step for acquiring from the image signal, and a correction coefficient is acquired using information on the specific image signal including the specific region, and the correction coefficient contributes a low-frequency component to a high-frequency component. is intended to be higher than, the correction coefficient acquiring step, a correction coefficient processing step of performing a correction using the correction coefficient in a region corresponding to the specific image signal in the signal based on the image signal, the correction coefficient processing step By combining the signal based on the signal corrected in accordance with the image signal and the image signal, a gradation conversion process is performed on the image signal. Comprising a conversion step, the.
本発明によれば、階調変換を適切かつ効率的に実施することができる。 By the present invention lever, tone conversion can be appropriately and efficiently.
(第1の実施形態)
図1〜9に、本発明の第1の実施形態を示す。図1は、画像処理システムの構成を示すブロック図である。
(First embodiment)
1 to 9 show a first embodiment of the present invention. FIG. 1 is a block diagram showing the configuration of the image processing system.
図1に示すように、この画像処理システムは、被写体の画像を形成するためのレンズ系100と、光を入れるための開口である絞り101と、レンズ系100に含まれるフォーカスレンズを駆動するためのオートフォーカス(AF)モータ102と、レンズ系100および絞り101によって形成された光学的な被写体像を電気的な画像信号に光電変換してアナログ信号を出力するための撮像素子を構成する電荷結合素子(CCD)103と、CCD103から出力されたアナログ画像信号の利得を増幅し、画像信号に対してアナログ/デジタル変換を実施してデジタル形式にするための前処理部104と、絞り101およびCCD103を制御するための測光値を計算するための測光評価部105と、画像信号からコントラスト情報を検出し、コントラスト情報を最大化するようにAFモータ102を制御するためのフォーカス検出部106と、前処理部104から出力されたデジタル画像信号を一時的に記憶するためのバッファ107と、各画素において欠落している色信号を補間するための周知の補間、ホワイトバランス、および色変換などの処理を画像信号に対して実施するための信号処理部108と、画像信号に対して階調変換を実施する階調変換手段としての働きをする階調変換部109と、階調変換のための補正係数を計算する補正係数計算手段としての働きをする補正係数計算部110と、補正係数計算部110からの補正係数に基づいて階調変換の補償を実施する補正処理手段としての働きをする補正係数処理部111と、画像信号を例えばメモリカードに記録、従って保存するために、階調変換部109によって処理された画像信号を出力するための出力部112と、電源投入スイッチ、シャッタボタン、および、撮像の際に種々のモード間で切り換えるのに用いられるインタフェースを含む、外部インタフェース(I/F)部114と、制御部113とを備え、制御部113は、前処理部104、測光評価部105、フォーカス検出部106、信号処理部108、階調変換部109、補正係数計算部110、補正係数処理部111、出力部112、および外部I/F部114と双方向に接続されていて、これら各部を含めた画像処理システム全体を包括的に制御するためのマイクロコンピュータを備えている。
As shown in FIG. 1, the image processing system drives a lens system 100 for forming an image of a subject, a
前述の構成において、CCD103は、前処理部104、バッファ107、信号処理部108、および階調変換部109を介して、出力部112に接続されている。バッファ107は、測光評価部105およびフォーカス検出部106に接続されている。測光評価部105は、絞り101およびCCD103に接続されている。フォーカス検出部106は、AFモータ102に接続されている。信号処理部108は、補正係数計算部110に接続されている。補正係数計算部110は、補正係数処理部111に接続されている。補正係数処理部111は、階調変換部109に接続されている。
In the above-described configuration, the
図1に示す画像処理システム中の信号の流れについて次に述べる。 Next, the flow of signals in the image processing system shown in FIG. 1 will be described.
この画像処理システムでは、ISO感度、シャッタ速度、および絞り値などの撮像条件を、外部I/F部114を介して設定することができる。これらの設定が行われた後に、シャッタボタンを半押しすることによってプリ撮影モードが設定される。次いで、シャッタボタンの押下に応答して、レンズ系100によって形成された光学的な被写体像がCCD103によって電気的なアナログ画像信号に変換され、この画像信号はCCD103から読み出される。画像信号は前処理部104へ転送される。前処理部104は、利得増幅やアナログ/デジタル変換などの前処理を実施する。次いで画像信号はバッファ107へ転送され、そこに記憶される。信号処理部108が、バッファ107から画像信号を読み取り、周知の補間(補間は、後述するように各画素において欠落している色成分を補間するための処理を含む)、ホワイトバランス処理、および色変換処理を実施する。信号処理部108は、処理の結果を階調変換部109および補正係数計算部110へ転送する。この実施形態では、CCD103は、単板、二板、三板CCDの何れであっても良く、原色タイプと補色タイプの何れであっても良い。例えば単板CCDが用いられるときは、信号処理部108は、単板CCDからの信号を三板CCDからの信号に相当するように調整するための補間を実施する。制御部113の制御の下で、階調変換部109が、信号処理部108から転送された画像信号に対して、補正係数処理部111からの情報を用いて階調変換処理を実施する。次いで階調変換部109は、処理の結果を出力部112へ転送する。この実施形態では、階調変換処理は、各色信号に対して実施される。すなわち、例えば3原色CCDが用いられる場合は、階調変換部109は、R(赤)、G(緑)、およびB(青)の各信号に対して階調変換を実施する。出力部112は、画像信号をメモリカードに記録および記憶する。
In this image processing system, imaging conditions such as ISO sensitivity, shutter speed, and aperture value can be set via the external I /
図2は、図1に示した階調変換部109の例を示すブロック図である。この例の階調変換部109は、P関数部200、Q関数部201、周波数分解手段および多重解像度分解手段としての働きをする多重解像度分解部202、バッファ203、周波数合成手段および多重解像度合成手段としての働きをする多重解像度合成部204、乗算器205、バッファ206、加算器207、合成部208、およびスイッチ部209を備えている。合成部208は、階調補正情報計算手段、階調補正処理手段、局所ヒストグラム計算手段、階調補正曲線計算手段、および利得計算手段としての働きをする。
FIG. 2 is a block diagram illustrating an example of the
信号処理部108は、P関数部200、Q関数部201、および合成部208に接続されている。P関数部200は、多重解像度分解部202、バッファ203、多重解像度合成部204、乗算器205、バッファ206、および加算器207を介して、合成部208に接続されている。Q関数部201は、乗算器205に接続されている。バッファ203は、補正係数処理部111に接続されている。バッファ206は、スイッチ部209を介して、P関数部200およびQ関数部201に接続されている。合成部208は、出力部112に接続されている。制御部113は、多重解像度分解部202、多重解像度合成部204、合成部208、およびスイッチ部209と双方向に接続されていて、これらを制御する。
The
P関数部200およびQ関数部201は、信号処理部108から転送される画像信号を画素毎に読み出す。これらの各部の詳細は、前述の国際特許出願公開第WO02/089060に記載されている。
The
以下の式(1)に従って、画像の種々の位置(x,y)の強度値I(x,y)が調整されて、調整済み強度値I’(x,y)が生成される。 Intensity values I (x, y) at various positions (x, y) of the image are adjusted according to the following equation (1) to generate adjusted intensity values I ′ (x, y).
ここに、Pi(γ)は、範囲0<γ<1におけるγの関数の直交基底である。Qi()は、Pi()の不定積分である。 Here, Pi (γ) is an orthogonal basis of the function of γ in the range 0 <γ <1. Qi () is an indefinite integral of Pi ().
L[]は、多重解像度フィルタリングの作用素である。F()は重み関数である。Mは、P0()を除いた直交基底Pi()の数である(言い換えれば、Mは、パラメータiが取り得る最大の数である)。 L [] is an operator for multi-resolution filtering. F () is a weight function. M is the number of orthogonal bases Pi () excluding P 0 () (in other words, M is the maximum number that the parameter i can take).
この階調変換処理は、局所ヒストグラム平坦化に基づく。画像信号は、前述の(M+1)個の基底関数(すなわち0番目の関数〜M番目の関数)を用いて処理される。従って、画像信号は、(M+1)個の信号に分割される。 This gradation conversion processing is based on local histogram flattening. The image signal is processed using the above-described (M + 1) basis functions (that is, the 0th function to the Mth function). Therefore, the image signal is divided into (M + 1) signals.
P関数部200からの第1の信号は、多重解像度分解部202へ転送される。多重解像度分解部202は、P関数部200から転送された第1の信号を、多重解像度分解法を用いて処理する。第1の信号は、後述するように高周波数成分と低周波数成分とに分解される。分解された成分は、バッファ203へ転送される。
The first signal from the
バッファ203中の分解済み信号は、補正係数処理部111からの情報を用いて処理される。例えば、バッファ203中の信号と、補正係数処理部111からの補正係数とが、画素毎に乗算される(乗算手段)。より詳細には、補正係数は、補正係数計算部110によって高周波数成分と低周波数成分とに分解される係数である。次いで、補正係数処理部111は、各分解レベルで信号成分と補正係数とを画素毎に乗算し、結果をバッファ203に上書きする。その後、バッファ203上の処理済み信号は、多重解像度合成部204へ転送される。
The decomposed signal in the
多重解像度合成部204は、バッファ203から転送された信号を、後述するように多重解像度合成法を用いて処理する。
The
乗算器205は、多重解像度合成部204から転送された信号と、Q関数部201から転送された信号とに対して、画素毎に乗算処理を実施する。この処理は、同じパラメータiを有する信号に対して実施される(すなわち、共に同じパラメータiを有する、Qiと処理済みのPiとが乗算される)(式(1)参照)。これらの処理は、LPFユニットを例外として、前述の国際特許出願公開第WO02/089060号に記載されているのと同じ方法を用いて実施される。すなわち、前述のように、この実施形態では、LPFに代えて多重解像度分解部202、バッファ203、および多重解像度合成部204が用いられる。乗算処理の後に、信号はバッファ206へ転送される。バッファ206は、これらの各部によって処理された第1の信号を保存する。
The
スイッチ部209は、バッファ206の情報を取得して、処理された信号がM番目の信号であるか否かを判定する。処理された信号がM番目の信号でない場合は、スイッチ部209は、次の信号を転送するようにP関数部200およびQ関数部201を制御する。一方、バッファ206がM番目の信号を取得している場合は、スイッチ部209は、次の信号を転送するようにP関数部200およびQ関数部201を制御することはしない。従って、バッファ206は、前述の各部によって処理された(M+1)個の信号を保存し、これらの信号は加算器207へ転送される。
The
加算器207は、式(1)に示したように、これらの処理済み信号の合計を画素毎に計算する。
The
合成部208は、式(2)に示すように、信号処理部108から転送された信号I(x,y)と、加算器207から転送された信号I’(x,y)との重み付け加算を計算する。
The combining
O(x,y)=αI’(x,y)+(1−α)I(x,y) (2)
ここに、O(x,y)は、合成部208からの出力信号であり、αは、範囲0≦α≦1をとる重み係数である。合成部208の信号は、出力部112へ転送される。
O (x, y) = αI ′ (x, y) + (1−α) I (x, y) (2)
Here, O (x, y) is an output signal from the synthesizing
図3は、図2に示した多重解像度分解部202の例を示すブロック図である。この例の多重解像度分解部202は、バッファ300、係数ROM301、係数読取部302、水平方向用ハイパスフィルタ303、水平方向用ローパスフィルタ304、ダウンサンプラ305、306、垂直方向用ハイパスフィルタ307、309、垂直方向用ローパスフィルタ308、310、ダウンサンプラ311、312、313、314、データ転送制御部315、および転送部316を備えている。この例では、多重解像度分解部202は、ウェーブレット変換手段としての働きをする。
FIG. 3 is a block diagram illustrating an example of the
P関数部200は、バッファ300に接続されている。バッファ300は、水平方向用ハイパスフィルタ303および水平方向用ローパスフィルタ304に接続されている。水平方向用ハイパスフィルタ303は、ダウンサンプラ305を介して、垂直方向用ハイパスフィルタ307および垂直方向用ローパスフィルタ308に接続されている。水平方向用ローパスフィルタ304は、ダウンサンプラ306を介して、垂直方向用ハイパスフィルタ309および垂直方向用ローパスフィルタ310に接続されている。垂直方向用ハイパスフィルタ307、垂直方向用ローパスフィルタ308、垂直方向用ハイパスフィルタ309、および垂直方向用ローパスフィルタ310は、ダウンサンプラ311、312、313、314をそれぞれ介して、転送部316に接続されている。転送部316は、バッファ203に接続されている。ダウンサンプラ314は、データ転送制御部315を介してバッファ300に接続されている。係数ROM301は、係数読取部302を介して、水平方向用ハイパスフィルタ303、水平方向用ローパスフィルタ304、垂直方向用ハイパスフィルタ307、垂直方向用ローパスフィルタ308、垂直方向用ハイパスフィルタ309、および垂直方向用ローパスフィルタ310に接続されている。制御部113は、係数読取部302、データ転送制御部315、および転送部316と双方向に接続されていて、これらを制御する。
The
係数ROM301は、ウェーブレット変換におけるハール(Haar)関数およびドブシー(Daubechies)関数に対するフィルタ係数をその内部に記憶する。これらの係数に代えて、係数ROM301は、ガウシアンフィルタ(ガウシアン・フィルタリング手段)およびラプラシアンフィルタ(ラプラシアン・フィルタリング手段)のフィルタ係数を記憶してもよい。例えば、ハール関数におけるハイパスフィルタおよびローパスフィルタの係数を、式(3)および式(4)にそれぞれ示す。
The
ハイパスフィルタの係数={0.5,−0.5} (3)
ローパスフィルタの係数={0.5,0.5} (4)
これらのフィルタ係数は、水平方向のフィルタリングと垂直方向のフィルタリングの両方に用いられる。
High pass filter coefficient = {0.5, -0.5} (3)
Low-pass filter coefficient = {0.5, 0.5} (4)
These filter coefficients are used for both horizontal and vertical filtering.
制御部113の制御の下で、係数読取部302は、処理前に係数ROM301からフィルタ係数を読み出す。係数読取部302は、ハイパスフィルタの係数を、水平方向用ハイパスフィルタ303、垂直方向用ハイパスフィルタ307、および垂直方向用ハイパスフィルタ309へ転送する。係数読取部302はまた、ローパスフィルタの係数を、水平方向用ローパスフィルタ304、垂直方向用ローパスフィルタ308、および垂直方向用ローパスフィルタ310へ転送する。
Under the control of the
次いで、バッファ300は、P関数部200から転送された信号を得て、この信号を水平方向用ハイパスフィルタ303および水平方向用ローパスフィルタ304へ転送する。バッファ300中の信号をL0とすると、信号L0は、水平方向用ハイパスフィルタ303でのハイパス・フィルタリングおよび水平方向用ローパスフィルタ304でのローパス・フィルタリングによって処理される。各ダウンサンプラ305、306は、この信号を水平方向に1/2にダウンサンプリングする。次いで、前述の方式に従って、ダウンサンプラ305からの信号は、ハイパスフィルタの係数およびローパスフィルタの係数をそれぞれ用いて、垂直方向用ハイパスフィルタ307および垂直方向用ローパスフィルタ308によって処理される。同様に、ダウンサンプラ306からの信号は、ハイパスフィルタの係数およびローパスフィルタの係数をそれぞれ用いて、垂直方向用ハイパスフィルタ309および垂直方向用ローパスフィルタ310によって処理される。フィルタリングの後に、これらのフィルタからの信号は、それぞれダウンサンプラ311、312、313、314によって垂直方向に1/2にダウンサンプリングされる。
Next, the
図6に、ウェーブレット分解の例、およびその際に得られる各成分の名前を示す。この図では、水平、垂直、対角線、および低周波数の成分が、それぞれH、V、D、およびLと名付けられている。各成分の添え字は、分解のレベルを示す。この名前付け規則に従い、ダウンサンプラ311、312、313の出力を、図6に示すようにそれぞれD1、V1、およびH1と称する。ダウンサンプラ314の出力はL1である(図6には示さず)。制御部113の制御の下で、転送部316は、出力D1、V1、およびH1をバッファ203へ転送する。制御部113の制御の下で、データ転送制御部315は、成分L1をバッファ300へ転送する。
FIG. 6 shows an example of wavelet decomposition and names of components obtained at that time. In this figure, the horizontal, vertical, diagonal, and low frequency components are labeled H, V, D, and L, respectively. The subscript of each component indicates the level of decomposition. In accordance with this naming convention, the outputs of
バッファ300中の成分L1は、前述と同じ方式に従って、D2、V2、H2、およびL2に分解される。この処理が、n番目の分解が完了するまで繰り返される。 Component L 1 in buffer 300 is decomposed into D 2 , V 2 , H 2 , and L 2 in the same manner as described above. This process is repeated until the nth decomposition is completed.
n番目の分解ステップが完了した後に、ダウンサンプラ314からの成分Lnがまた、転送部316によってバッファ203へ転送される。このような処理の結果、バッファ203は、Dj、Vj、Hj(j=1〜n)、およびLnを保存する。
After the nth decomposition step is completed, the component L n from the
図4は、図2に示した多重解像度合成部204の例を示すブロック図である。
FIG. 4 is a block diagram showing an example of the
この例の多重解像度合成部204は、スイッチ部400、係数ROM401、係数読取部402、アップサンプラ403、404、405、406、垂直方向用ハイパスフィルタ407、409、垂直方向用ローパスフィルタ408、410、加算器411、412、アップサンプラ413、414、水平方向用ハイパスフィルタ415、水平方向用ローパスフィルタ416、加算器417、バッファ418、およびデータ転送制御部419を備えている。この例では、多重解像度合成部204は、ウェーブレット変換手段としての働きをする。
The
バッファ203は、スイッチ部400に接続されている。スイッチ部400は、各アップサンプラ403、404、405、406に接続されている。アップサンプラ403、404は、それぞれ垂直方向用ハイパスフィルタ407および垂直方向用ローパスフィルタ408を介して、加算器411に接続されている。アップサンプラ405、406は、それぞれ垂直方向用ハイパスフィルタ409および垂直方向用ローパスフィルタ410を介して、加算器412に接続されている。加算器411は、アップサンプラ413および水平方向用ハイパスフィルタ415を介して、加算器417に接続されている。加算器412は、アップサンプラ414および水平方向用ローパスフィルタ416を介して、加算器417に接続されている。加算器417は、バッファ418を介して乗算器205に接続されている。バッファ418は、データ転送制御部419を介してスイッチ部400に接続されている。係数ROM401は、係数読取部402を介して、垂直方向用ハイパスフィルタ407、垂直方向用ローパスフィルタ408、垂直方向用ハイパスフィルタ409、垂直方向用ローパスフィルタ410、水平方向用ハイパスフィルタ415、および水平方向用ローパスフィルタ416のそれぞれに接続されている。制御部113は、係数読取部402およびデータ転送制御部419と双方向に接続されていて、これらを制御する。
The
係数ROM401は、逆ウェーブレット変換におけるハール関数およびドブシー関数に対するフィルタ係数をその内部に記憶する。これらの係数に代えて、係数ROM401は、ガウシアンフィルタ(ガウシアン・フィルタリング手段)およびラプラシアンフィルタ(ラプラシアン・フィルタリング手段)のフィルタ係数を記憶してもよい。 The coefficient ROM 401 stores therein filter coefficients for the Haar function and the Dobsey function in the inverse wavelet transform. Instead of these coefficients, the coefficient ROM 401 may store filter coefficients of a Gaussian filter (Gaussian filtering means) and a Laplacian filter (Laplacian filtering means).
制御部113の制御の下で、係数読取部402は、処理前に係数ROM401からフィルタ係数を読み出す。係数読取部402は、ハイパスフィルタの係数を、垂直方向用ハイパスフィルタ407、409、および水平方向用ハイパスフィルタ415へ転送する。係数読取部402はまた、ローパスフィルタの係数を、垂直方向用ローパスフィルタ408、410、および水平方向用ローパスフィルタ416へ転送する。
Under the control of the
その後、スイッチ部400は、補正済み信号D’n、V’n、H’n、およびL’nをバッファ203から得て、これらの信号をアップサンプラ403、404、405、406にそれぞれ転送する。各アップサンプラ403、404、405、406は、信号を垂直方向に2倍にアップサンプリングする。次いで、アップサンプラ403、405からの信号は、ハイパスフィルタの係数を用いて、垂直方向用ハイパスフィルタ407、409によってそれぞれ処理される。アップサンプラ404、406からの信号は、ローパスフィルタの係数を用いて、垂直方向用ローパスフィルタ408、410によってそれぞれ処理される。加算器411、412は、これらの処理済み信号の合計を画素毎に計算する。各アップサンプラ413、414は、信号を水平方向に2倍にアップサンプリングする。水平方向用ハイパスフィルタ415および水平方向用ローパスフィルタ416は、ハイパスフィルタの係数およびローパスフィルタの係数をそれぞれ用いて、信号を処理する。加算器417は、これらの処理済み信号の合計を画素毎に計算し、低周波数成分L’n−1を合成する。加算器417は、信号L’n−1をバッファ418へ転送する。制御部113の制御の下で、データ転送制御部419は、信号L’n−1をスイッチ部400へ転送する。スイッチ部400は、バッファ203から高周波数成分D’n−1、V’n−1、H’n−1を読み出す。そして、上述したようなフィルタリング法を実施することにより、低周波数成分L’n−2が算出される。こうした処理が、0番目の成分(すなわち信号L’0)が計算されるまで繰り返される。最後に、信号L’0はバッファ418へ転送され、この補正済み信号は乗算器205へ転送される。
Thereafter, the
図5は、図1に示した補正係数計算部110の例を示すブロック図である。この例の補正係数計算部110は、特定画像信号取得手段としての働きをする顔検出部500と、第2の多重解像度分解手段としての働きをする多重解像度分解部501と、高周波数除去手段としての働きをする補正部502とを備えている。
FIG. 5 is a block diagram illustrating an example of the correction
信号処理部108は、顔検出部500、多重解像度分解部501、および補正部502を介して、補正係数処理部111に接続されている。制御部113は、顔検出部500、多重解像度分解部501、および補正部502と双方向に接続されていて、これらを制御する。
The
制御部113の制御の下で、顔検出部500は、信号処理部108から転送された画像信号に対して、周知の顔検出処理を実施する。本明細書では、顔検出部500を用いて顔が特定画像として検出されるが、これについてはどんな限定も課されないことに留意されたい。これに代えて、例えば重要被写体検出または被写体認識のような、他の処理も採用可能である。具体的には、被写体検出部を用いて、被写体領域を特定画像として検出してもよい。
Under the control of the
図7A〜7Cは、補正係数を記述するための図である。図7Aは、顔検出部500による顔検出の結果である。顔検出処理は、画像信号から、顔画像を含む矩形または円形領域を抽出する。この処理では、図7Aに示すように、顔領域を除いた画像信号は0に設定される(図7Aは、矩形領域が採用されたときの例を示す)。この処理の後に、顔検出部500は、抽出された画像を、顔検出の結果として多重解像度分解部501へ転送する。
7A to 7C are diagrams for describing the correction coefficient. FIG. 7A shows the result of face detection by the
多重解像度分解部501は、図7Bに示すように、顔検出部500からの画像に対して多重解像度分解を実施する。ここで、図7Bは、図7Aの多重解像度分解画像を示す。多重解像度分解部501は、多重解像度分解画像の情報を補正部502へ転送する。補正部502は、以下の方法に従って多重解像度分解画像の情報を修正する。
The
1.Ln(nはウェーブレット分解の最大レベル)が1に設定される(これは、顔領域以外の領域を含めたLn中の全ての画素が1に設定されることを意味する)。この値は、0〜1の範囲で正規化される。 1. L n (n is the maximum level of wavelet decomposition) is set to 1 (this means that all pixels in L n including areas other than the face area are set to 1). This value is normalized in the range of 0-1.
2.条件m≦i(iは、nよりも小さい自由裁量の数)を満たす全てのmについて、Vm、Hm、およびDmが、Vm=0、Hm=0、Dm=0に設定される。 2. For all m satisfying the condition m ≦ i (i is a discretionary number smaller than n), V m , H m , and D m are set to V m = 0, H m = 0, and D m = 0. Is set.
図7Cに、図7Bに示した分解済み画像の修正によって得られる補正係数を示す。補正係数が乗算に用いられるとき、低周波数成分は1に設定される。というのは、画像信号の低周波数成分は重要な情報を保持するからである。分解レベルでの高周波数成分の情報は、いくらかのノイズ情報を含む場合がある。この理由で、低レベル成分(すなわち高周波数成分)が除去される。図7Cに示すように、nレベルとiレベル以下とを除いた成分は、そのままである。 FIG. 7C shows correction coefficients obtained by correcting the decomposed image shown in FIG. 7B. When the correction factor is used for multiplication, the low frequency component is set to 1. This is because the low frequency component of the image signal holds important information. High frequency component information at the decomposition level may include some noise information. For this reason, low level components (ie high frequency components) are removed. As shown in FIG. 7C, the components other than the n level and the i level or lower remain as they are.
前述の方法では、除去されるレベルの最大数iは、任意の数である。従って、数iを何らかの方法で決定しなければならない。数iを決定するために、低周波数成分Lnを除いた各成分に対して、例えば、最大値を計算する(最大値計算手段)。次いで、これらの最大値の内で最大値を有する数iを、レベルの数として決定する(レベル計算手段)。 In the above method, the maximum number i of removed levels is an arbitrary number. Therefore, the number i must be determined in some way. To determine the number i, for each component excluding the low frequency components L n, for example, calculates the maximum value (maximum value calculating means). Next, the number i having the maximum value among these maximum values is determined as the number of levels (level calculation means).
数iを決定するための他の構成も利用可能である。例えば、数iは、各成分に対して計算されたノイズの量に基づいて決定してもよい。図8Aおよび8Bは、ISO感度100、200、および400をパラメータとして用いたときの輝度値Yに対する成分D1、H2のノイズ量Nの変化を、これら3つのパラメータに対応する関数を示す3つの曲線によって示している。このノイズモデルを用いて、ノイズ量が計算される。次いで、各成分における平均ノイズ値が計算される(高周波数成分ノイズ推定手段)。ある成分の平均ノイズ値が所定のしきい値(このしきい値は、しきい値設定手段によって手動または自動で設定される)よりも大きい場合には、この成分の全ての値が0に設定されるか、または、この成分のレベル以下のレベルの全成分の全ての値が0に設定される(レベル計算手段)。この処理の後に、補正部502は、補正係数を補正係数処理部111へ転送する。
Other configurations for determining the number i can also be used. For example, the number i may be determined based on the amount of noise calculated for each component. FIGS. 8A and 8B show changes in the noise amount N of the components D 1 and H 2 with respect to the luminance value Y when the
以上の記述ではハードウェア処理が前提であるが、本発明はこれに限定されないことに留意されたい。例えば、CCD103から出力された画像信号を未処理のRAWデータ(生データ)のままとして、ISO感度や画像データのサイズなどの情報が例えばヘッダ情報としてRAWデータに追加される。次いで、ヘッダ情報付きのRAWデータがコンピュータ等のプロセッサに入力されると、それによりプロセッサは、画像処理プログラムを実行することによってRAWデータを処理することができる。コンピュータ中で実行される画像処理プログラムに基づく処理の例について、次に図9を参照しながら述べる。
Although the above description assumes hardware processing, it should be noted that the present invention is not limited to this. For example, the image signal output from the
図9は、例示的なソフトウェア画像処理を示すフローチャートである。処理が開始されると、前述のようなISO感度と画像データのサイズとを含むヘッダ情報が読み取られ(ステップS1)、次いで、RAWデータの画像が読み取られる(ステップS2)。次いで、周知の補間処理、ホワイトバランス処理、および色変換処理などの信号処理が実行される(ステップS3)。次いで補正係数が計算され(ステップS4)、補正係数情報を用いて階調変換が実行される(ステップS5)。その後、画像中の全ての画素について処理が完了したか否かが判定される(ステップS6)。処理が完了していないと判定されたときは、処理はステップS5に戻り、完了するまで上記の処理を繰り返す。一方、ステップS6で全ての画素について処理が完了していると判定されたときは、処理は終了する。 FIG. 9 is a flowchart illustrating exemplary software image processing. When the process is started, the header information including the ISO sensitivity and the size of the image data as described above is read (step S1), and then the image of the RAW data is read (step S2). Next, signal processing such as known interpolation processing, white balance processing, and color conversion processing is executed (step S3). Next, a correction coefficient is calculated (step S4), and gradation conversion is executed using the correction coefficient information (step S5). Thereafter, it is determined whether or not processing has been completed for all pixels in the image (step S6). If it is determined that the process has not been completed, the process returns to step S5, and the above process is repeated until the process is completed. On the other hand, when it is determined in step S6 that the process has been completed for all pixels, the process ends.
この実施形態では、階調変換で用いられる補正係数は、重要な領域に応じて変化する。このために、重要な領域に対応する階調変換が最適化され、従って高品質の画像が実現される。 In this embodiment, the correction coefficient used for gradation conversion changes according to an important area. For this reason, the tone conversion corresponding to the important area is optimized, and thus a high quality image is realized.
加えて、ノイズ情報に基づいて決定される補正係数を、高い精度で推定することができる。 In addition, the correction coefficient determined based on the noise information can be estimated with high accuracy.
一方、補正係数が、周波数分解された成分の最大値に基づいて計算される場合には、比較的高速に処理を実施することができる利点がある。 On the other hand, when the correction coefficient is calculated based on the maximum value of the frequency-resolved component, there is an advantage that the processing can be performed at a relatively high speed.
(第2の実施形態)
図10〜12に、本発明の第2の実施形態を示す。図10は、画像処理システムの構成を示すブロック図である。図11は、変換部の例示的な構成を示すブロック図である。図12は、画像処理プログラムを用いる例示的なソフトウェア画像処理を示すフローチャートである。
(Second Embodiment)
10 to 12 show a second embodiment of the present invention. FIG. 10 is a block diagram illustrating a configuration of the image processing system. FIG. 11 is a block diagram illustrating an exemplary configuration of the conversion unit. FIG. 12 is a flowchart illustrating exemplary software image processing using an image processing program.
この第2の実施形態では、第1の実施形態と同じ参照符号を同様の部分に用い、これらの部分についての説明は省略する。相違点について主に述べる。 In the second embodiment, the same reference numerals as those in the first embodiment are used for the same parts, and description of these parts is omitted. The differences are mainly described.
図10に示すように、第2の実施形態の画像処理システムは、図1に示したものと同じであるが、例外として、階調変換部109が、階調変換手段および彩度補正手段としての働きをする変換部116で置き換えられ、色信号分解手段としての働きをする色分解部115と、色信号合成手段としての働きをする色合成部117とが新たに追加されている。
As shown in FIG. 10, the image processing system of the second embodiment is the same as that shown in FIG. 1, except that the
信号処理部108は、色分解部115に接続されている。色分解部115は、補正係数計算部110および変換部116に接続されている。補正係数処理部111は、変換部116に接続されている。変換部116は、色合成部117に接続されている。色合成部117は、出力部112に接続されている。制御部113は、色分解部115、変換部116、および色合成部117とも双方向に接続されていて、これらの各部を制御する。
The
色分解部115は、信号処理部108からの、例えばR、G、およびB信号からなる画像信号を、例えばCIE L*a*b*信号などの別の信号に変換する。色分解部115は、分解済み信号の内の明度信号を補正係数計算部110へ転送し、全ての分解済み信号を変換部116へ転送する。変換部116は、色分解部115からの画像信号(L*a*b*信号)に対して、階調補正および彩度補正を実施する。色合成部117は、変換部116からのL*a*b*画像信号を、R、G、およびB画像信号に変換する。
The
次に、図10に示す画像処理システム中の信号の流れについて述べる。色分解部115は、信号処理部108からの画像信号を別の信号に変換する。R、G、およびB信号が色分解部115に転送されたときは、これらの信号は、CIE L*a*b*信号やYCbCr信号のような、明度、彩度、および色相信号に変換される。別の色空間に変換された画像信号は、変換部116へ転送される。
Next, the flow of signals in the image processing system shown in FIG. 10 will be described. The
図11は、変換部116の例示的な構成を示すブロック図である。このブロック図では、図2と同じ参照符号を同様の部分に用い、これらの部分についての説明は省略する。相違点について主に述べる。図11に示すように、変換部116は、図2に示したものと同じであるが、例外として、多重解像度分解部202が、ローパス・フィルタリング手段としての働きをするローパスフィルタ部601で置き換えられ、多重解像度合成部204が削減され、色分離手段としての働きをする色分離部600と、彩度補正手段としての働きをする彩度変換部602とが新たに追加されている。
FIG. 11 is a block diagram illustrating an exemplary configuration of the
色分解部115は、色分離部600に接続されている。色分離部600は、P関数部200、Q関数部201、合成部208、および彩度変換部602に接続されている。P関数部200は、ローパスフィルタ部601に接続されている。ローパスフィルタ部601は、バッファ203に接続されている。バッファ203は、乗算器205に接続されている。合成部208は、彩度変換部602に接続されている。彩度変換部602は、色合成部117に接続されている。制御部113は、色分離部600、ローパスフィルタ部601、および彩度変換部602とも双方向に接続されていて、これらの各部を制御する。
The
色分離部600は、色分解部115からの画像信号を、明度、彩度、および色相信号に分離する。明度信号は、P関数部200、Q関数部201、合成部208、および彩度変換部602へ転送される。彩度信号および色相信号は、彩度変換部602へ転送される。P関数部200は、明度信号を前述のように(M+1)個の信号に分割する。P関数部200の第1の信号は、ローパスフィルタ部601へ転送される。ローパスフィルタ部601は、周知のローパス・フィルタリング法を用いて、第1の信号を処理する。この処理の後に、ローパス・フィルタリング済み信号は、バッファ203へ転送される。乗算器205は、ローパスフィルタ部601から転送された信号と、Q関数部201から転送された信号とに対して、画素毎に乗算処理を実施する。乗算器205は、信号をバッファ206へ転送する。加算器207および合成部208は、信号を前述のように処理する。彩度変換部602は、彩度信号を補償する。彩度変換部602中では、式(5)に示すように、色分離部600からの明度信号I(x,y)と、合成部208からの明度信号O(x,y)とを用いて、明度利得gが計算される。
The
式(6)に示すように、明度利得gおよび色相信号hに基づいて彩度信号sが補償される。 As shown in Expression (6), the saturation signal s is compensated based on the brightness gain g and the hue signal h.
s’=(g・αh+(1−αh))・s (6)
ここに、s’は、補償された彩度信号であり、αh(0≦αh≦1)は、色相信号hに依存する定数である。この処理の後に、画像信号(明度信号O(x,y)、彩度信号s’、および色相信号h)は、色合成部117へ転送される。
s ′ = (g · α h + (1−α h )) · s (6)
Here, s ′ is a compensated saturation signal, and α h (0 ≦ α h ≦ 1) is a constant depending on the hue signal h. After this processing, the image signal (lightness signal O (x, y), saturation signal s ′, and hue signal h) is transferred to the
この実施形態ではハードウェア処理が前提であるが、本発明はこれに限定されないことに留意されたい。処理はソフトウェアによって実施してもよい。 It should be noted that although hardware processing is assumed in this embodiment, the present invention is not limited to this. Processing may be performed by software.
図12を参照しながら、次に、コンピュータにおける画像処理システムに基づくソフトウェア処理の例について述べる。図12では、第1の実施形態における図9の処理と同じ処理は同じ参照符号を有し、これらの処理についての説明は省略する。ステップS3の後、信号は、明度、彩度、および色相信号に分解される(ステップS10)。次いで、補正係数情報を用いて、階調変換および彩度変換を含む変換処理が実行される(ステップS11)。次いで信号は、RGB信号に変換される(ステップS12)。その後の処理は、図9の処理と同じである。 Next, an example of software processing based on an image processing system in a computer will be described with reference to FIG. In FIG. 12, the same processes as those in FIG. 9 in the first embodiment have the same reference numerals, and description of these processes is omitted. After step S3, the signal is decomposed into lightness, saturation, and hue signals (step S10). Next, conversion processing including gradation conversion and saturation conversion is executed using the correction coefficient information (step S11). Next, the signal is converted into an RGB signal (step S12). The subsequent processing is the same as the processing in FIG.
第2の実施形態によれば、第1の実施形態で述べたのとほぼ同じ利点が実現される。加えて、階調変換だけでなく彩度変換も実施され、従って高品質の画像が達成される。 According to the second embodiment, substantially the same advantages as described in the first embodiment are realized. In addition, not only tone conversion but also saturation conversion is performed, thus achieving a high quality image.
(第3の実施形態)
図13〜16に、本発明の第3の実施形態を示す。図13は、画像処理システムの構成を示すブロック図である。図14は、階調変換部の例示的な構成を示すブロック図である。図15Aおよび15Bは、階調曲線をそれぞれ記述するための図である。図16は、画像処理プログラムを用いる例示的なソフトウェア画像処理を示すフローチャートである。
(Third embodiment)
13 to 16 show a third embodiment of the present invention. FIG. 13 is a block diagram illustrating a configuration of the image processing system. FIG. 14 is a block diagram illustrating an exemplary configuration of the gradation conversion unit. 15A and 15B are diagrams for describing the gradation curves. FIG. 16 is a flowchart illustrating exemplary software image processing using an image processing program.
この第3の実施形態では、第1の実施形態と同じ参照符号を同様の部分に用い、これらの部分についての説明は省略する。相違点について主に述べる。 In the third embodiment, the same reference numerals as those in the first embodiment are used for the same parts, and description of these parts is omitted. The differences are mainly described.
図13に示すように、第3の実施形態の画像処理システムは、図1に示したものと同じであるが、例外として、階調変換部109が、階調変換手段としての働きをする階調変換部118で置き換えられ、ROI(region of interest、関心領域)抽出手段および特定画像信号取得手段としての働きをするROI抽出部116が新たに追加され、補正係数計算部110および補正係数処理部111が削減されている。
As shown in FIG. 13, the image processing system of the third embodiment is the same as that shown in FIG. 1, except that the
信号処理部108は、ROI抽出部116および階調変換部118に接続されている。ROI抽出部116は、階調変換部118に接続されている。階調変換部118は、出力部112に接続されている。制御部113は、ROI抽出部116および階調変換部118とも双方向に接続されていて、これらの各部を制御する。
The
制御部113の制御の下で、階調変換部118は、ROI(関心領域)抽出部116の情報を用いて、信号処理部108から転送された画像信号に対して階調変換処理を実施する。階調変換部118は、処理の結果を出力部112へ転送する。
Under the control of the
図14は、階調変換部118の例示的な構成を示すブロック図である。このブロック図では、図2と同じ参照符号を同様の部分に用い、これらの部分についての説明は省略する。相違点について主に述べる。図14に示すように、階調変換部118は、図2に示したものと同じであるが、例外として、多重解像度分解部202が、ローパス・フィルタリング手段としての働きをするローパスフィルタ部601で置き換えられ、多重解像度合成部204が削減され、補償処理手段、階調補正処理手段、および利得計算手段としての働きをする補償部700が追加されている。この実施形態では、合成部208は、階調補正情報計算手段、局所ヒストグラム計算手段、および階調補正曲線計算手段としての働きをする。
FIG. 14 is a block diagram illustrating an exemplary configuration of the
信号処理部108は、補償部700にも接続されている。P関数部200は、ローパスフィルタ部601に接続されている。ローパスフィルタ部601は、バッファ203に接続されている。バッファ203は、乗算器205に接続されている。合成部208は、補償部700に接続されている。補償部700は、出力部112に接続されている。制御部113は、ローパスフィルタ部601および補償部700とも双方向に接続されていて、これらの各部を制御する。
The
合成部208は、国際特許出願公開第WO02/089060号に記載のように、信号処理部108から転送された信号と、加算器207から転送された信号との重み付け加算を計算する。合成部208の信号は、補償部700へ転送される。一方、ROI抽出部116は、関心領域(ROI)(例えば顔領域または被写体領域)を抽出し、ROIの強度範囲を計算する。強度範囲の情報(例えば、図15Aおよび15Bに示すI0)は、補償部700へ転送される。補償部700は、図15Aおよび15Bに示すようなROI抽出部116からの情報を用いて、合成部208からの信号を補償する。図15Aおよび15Bは、階調曲線をそれぞれ記述するための図である。図15Aにおいて、入力強度は、信号処理部108からの信号の強度であり、出力強度は、合成部208からの出力信号の強度である。信号処理部108からの信号の強度が、ROIの強度範囲内にある(図15Aおよび15Bの場合、強度I0よりも低い)場合、補償部700は、図15Bに示すように合成部208からの信号を補償する。すなわち、補償部700は、階調変換曲線を例えば線形化する補償を実施して、ROIの強度範囲内の信号の階調を劣化させないように階調変換を実施する(線形化手段)。補償部700の信号は、出力部112へ転送される。
The
前述の構成により、顔領域などの特定領域に適した高品質の画像を得ることが可能である。 With the above-described configuration, it is possible to obtain a high-quality image suitable for a specific area such as a face area.
この実施形態ではハードウェア処理が前提であるが、本発明はこれに限定されないことに留意されたい。処理はソフトウェアによって実施してもよい。 It should be noted that although hardware processing is assumed in this embodiment, the present invention is not limited to this. Processing may be performed by software.
図16を参照しながら、次に、コンピュータにおける画像処理システムに基づくソフトウェア処理の例について述べる。図16では、第1の実施形態における図9の処理と同じ処理は同じ参照符号を有し、これらの処理についての説明は省略する。 Next, an example of software processing based on an image processing system in a computer will be described with reference to FIG. In FIG. 16, the same processes as those in FIG. 9 in the first embodiment have the same reference numerals, and descriptions of these processes are omitted.
ステップS3の後に、画像信号の関心領域(ROI)が抽出され(ステップS20)、ROI情報に基づいて階調変換が実行される(ステップS21)。その後の処理は、図9の処理と同じである。 After step S3, the region of interest (ROI) of the image signal is extracted (step S20), and gradation conversion is performed based on the ROI information (step S21). The subsequent processing is the same as the processing in FIG.
第3の実施形態によれば、画像信号のROIにとって理想的な階調曲線が得られ、従って高品質の画像が達成される。 According to the third embodiment, an ideal gradation curve is obtained for the ROI of the image signal, and thus a high-quality image is achieved.
前述の各実施形態は、本発明の説明的な例としてのみ理解されるべきであり、本発明のさらに他の実施形態を考えることもできる。ある実施形態に関連して述べた任意の特徴を他の実施形態で用いてもよいことを理解されたい。さらに、添付の特許請求の範囲に定義する本発明の範囲を逸脱することなく、上述しなかった均等物および修正を利用することもできる。 Each of the above-described embodiments should be understood only as an illustrative example of the present invention, and still other embodiments of the present invention can be considered. It should be understood that any feature described in connection with one embodiment may be used in other embodiments. Furthermore, equivalents and modifications not described above may be utilized without departing from the scope of the present invention as defined in the appended claims.
100…レンズ系
101…絞り
102…AFモータ
103…CCD
104…前処理部
105…測光評価部
106…フォーカス検出部
107…バッファ
108…信号処理部
109…階調変換部
110…補正係数計算部
111…補正係数処理部
112…出力部
113…制御部
114…外部I/F部
115…色分解部
116…変換部
116…ROI抽出部
117…色合成部
118…階調変換部
200…P関数部
201…Q関数部
202…多重解像度分解部
203…バッファ
204…多重解像度合成部
205…乗算器
206…バッファ
207…加算器
208…合成部
209…スイッチ部
300…バッファ
301…係数ROM
302…係数読取部
303…水平方向用ハイパスフィルタ
304…水平方向用ローパスフィルタ
305,306,311,312,313,314…ダウンサンプラ
307,309…垂直方向用ハイパスフィルタ
308,310…垂直方向用ローパスフィルタ
315…データ転送制御部
316…転送部
400…スイッチ部
401…係数ROM
402…係数読取部
403,404,405,406,413,414…アップサンプラ
407,409…垂直方向用ハイパスフィルタ
408,410…垂直方向用ローパスフィルタ
411,412,417…加算器
415…水平方向用ハイパスフィルタ
416…水平方向用ローパスフィルタ
418…バッファ
419…データ転送制御部
500…顔検出部
501…多重解像度分解部
502…補正部
600…色分離部
601…ローパスフィルタ部
602…彩度変換部
700…補償部
DESCRIPTION OF SYMBOLS 100 ...
104 ...
302 ...
402:
Claims (5)
前記画像信号に基づく信号を生成する信号生成手段と、
特定領域を含む特定画像信号を前記画像信号から取得するための特定画像信号取得手段と、
前記特定領域を含む前記特定画像信号の情報を用いて補正係数を取得し、前記補正係数は低周波数成分の寄与を高周波数成分の寄与よりも高くするものである、補正係数取得手段と、
前記画像信号に基づく信号において前記特定画像信号に相当する領域に前記補正係数を用いて補正を行う補正係数処理手段と、
前記補正係数処理手段により補正された信号に基づく信号と前記画像信号とを合成することにより、前記画像信号に対して階調変換処理を実行する階調変換手段と、
を具備したことを特徴とする画像処理システム。 An image processing system for gradation correction processing for an image signal,
Signal generating means for generating a signal based on the image signal;
Specific image signal acquisition means for acquiring a specific image signal including a specific region from the image signal;
A correction coefficient is acquired using information of the specific image signal including the specific area , and the correction coefficient is a correction coefficient acquisition means for making the contribution of the low frequency component higher than the contribution of the high frequency component ;
Correction coefficient processing means for performing correction using the correction coefficient in a region corresponding to the specific image signal in the signal based on the image signal;
A gradation conversion means for performing gradation conversion processing on the image signal by combining the image signal and the signal based on the signal corrected by the correction coefficient processing means;
An image processing system comprising:
前記画像信号に基づく信号を周波数成分に分解するための周波数分解手段と、
前記補正係数に基づいて前記画像信号に基づく信号の周波数成分を補正するための補正処理手段と、
補正済み前記画像信号に基づく信号の周波数成分を合成して補正済み前記画像信号に基づく信号を計算するための周波数合成手段と、
を具備したことを特徴とする請求項1に記載の画像処理システム。 The gradation converting means includes
Frequency resolving means for decomposing a signal based on the image signal into frequency components;
Correction processing means for correcting a frequency component of a signal based on the image signal based on the correction coefficient;
A frequency synthesizer for calculating a signal based on the corrected image signal by combining frequency components of the signal based on the corrected image signal;
The image processing system according to claim 1, further comprising:
前記画像信号に基づく信号を生成する信号生成ステップと、
特定領域を含む特定画像信号を前記画像信号から取得するための特定画像信号取得ステップと、
前記特定領域を含む前記特定画像信号の情報を用いて補正係数を取得し、前記補正係数は低周波数成分の寄与を高周波数成分の寄与よりも高くするものである、補正係数取得ステップと、
前記画像信号に基づく信号において前記特定画像信号に相当する領域に前記補正係数を用いて補正を行う補正係数処理ステップと、
前記補正係数処理ステップにより補正された信号に基づく信号と前記画像信号とを合成することにより、前記画像信号に対して階調変換処理を実行する階調変換ステップと、
を含むことを特徴とする画像処理方法。 An image processing method for gradation correction processing for an image signal,
A signal generating step for generating a signal based on the image signal;
A specific image signal acquisition step for acquiring a specific image signal including a specific region from the image signal;
A correction coefficient is obtained using information of the specific image signal including the specific area , and the correction coefficient is a correction coefficient acquisition step that makes the contribution of the low frequency component higher than the contribution of the high frequency component ;
A correction coefficient processing step of performing correction using the correction coefficient in a region corresponding to the specific image signal in the signal based on the image signal;
A gradation conversion step of performing gradation conversion processing on the image signal by combining the image signal and the signal based on the signal corrected in the correction coefficient processing step;
An image processing method comprising:
前記画像信号に基づく信号を生成する信号生成ステップと、
特定領域を含む特定画像信号を前記画像信号から取得するための特定画像信号取得ステップと、
前記特定領域を含む前記特定画像信号の情報を用いて補正係数を取得し、前記補正係数は低周波数成分の寄与を高周波数成分の寄与よりも高くするものである、補正係数取得ステップと、
前記画像信号に基づく信号において前記特定画像信号に相当する領域に前記補正係数を用いて補正を行う補正係数処理ステップと、
前記補正係数処理ステップにより補正された信号に基づく信号と前記画像信号とを合成することにより、前記画像信号に対して階調変換処理を実行する階調変換ステップと、
を含むことを特徴とする画像処理プログラム。 An image processing program for gradation correction processing for an image signal,
A signal generating step for generating a signal based on the image signal;
A specific image signal acquisition step for acquiring a specific image signal including a specific region from the image signal;
A correction coefficient is obtained using information of the specific image signal including the specific area , and the correction coefficient is a correction coefficient acquisition step that makes the contribution of the low frequency component higher than the contribution of the high frequency component ;
A correction coefficient processing step of performing correction using the correction coefficient in a region corresponding to the specific image signal in the signal based on the image signal;
A gradation conversion step of performing gradation conversion processing on the image signal by combining the image signal and the signal based on the signal corrected in the correction coefficient processing step;
An image processing program comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012064483A JP5586031B2 (en) | 2012-03-21 | 2012-03-21 | Image processing system, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012064483A JP5586031B2 (en) | 2012-03-21 | 2012-03-21 | Image processing system, image processing method, and image processing program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009539558A Division JP5259616B2 (en) | 2007-03-14 | 2007-03-14 | Image processing system and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012128881A JP2012128881A (en) | 2012-07-05 |
JP5586031B2 true JP5586031B2 (en) | 2014-09-10 |
Family
ID=46645753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012064483A Active JP5586031B2 (en) | 2012-03-21 | 2012-03-21 | Image processing system, image processing method, and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5586031B2 (en) |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03102478A (en) * | 1989-09-14 | 1991-04-26 | Shimadzu Corp | Image processing device |
JPH08123959A (en) * | 1994-10-28 | 1996-05-17 | Olympus Optical Co Ltd | Electronic picture noise eliminating system |
JPH11272866A (en) * | 1998-03-23 | 1999-10-08 | Olympus Optical Co Ltd | Image restoring method |
JP3833177B2 (en) * | 2000-11-30 | 2006-10-11 | キヤノン株式会社 | Image processing apparatus, image processing method, storage medium, and program |
GB0110748D0 (en) * | 2001-05-02 | 2001-06-27 | Apical Ltd | Image enhancement methods and apparatus therefor |
JP2003290170A (en) * | 2002-03-29 | 2003-10-14 | Konica Corp | Image processing apparatus, method for image processing, program, and recording medium |
JP2004021374A (en) * | 2002-06-13 | 2004-01-22 | Fuji Xerox Co Ltd | Image processing method, image processing device, program, and storage medium |
JP2004187036A (en) * | 2002-12-04 | 2004-07-02 | Canon Inc | Contour correction system |
JP4277534B2 (en) * | 2003-02-12 | 2009-06-10 | オムロン株式会社 | Image editing apparatus and image editing method |
JP3914168B2 (en) * | 2003-04-08 | 2007-05-16 | オリンパス株式会社 | Imaging system, image processing program |
JP2005191711A (en) * | 2003-12-24 | 2005-07-14 | Olympus Corp | Imaging system and method therefor, regeneration system and program thereof, and imaging regeneration system and program thereof |
JP4527500B2 (en) * | 2004-11-10 | 2010-08-18 | 富士フイルム株式会社 | Image processing method, apparatus, and program |
JP4869653B2 (en) * | 2005-08-03 | 2012-02-08 | オリンパス株式会社 | Image processing device |
-
2012
- 2012-03-21 JP JP2012064483A patent/JP5586031B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012128881A (en) | 2012-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4837503B2 (en) | Image processing system and image processing program | |
JP4837365B2 (en) | Image processing system and image processing program | |
KR101205842B1 (en) | Method of forming an image based on a plurality of image frames, image processing system and digital camera | |
US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
KR101099401B1 (en) | Image processing apparatus and computer-readable medium | |
JP4869653B2 (en) | Image processing device | |
JP4979595B2 (en) | Imaging system, image processing method, and image processing program | |
JP5343726B2 (en) | Image processing apparatus and image processing program | |
US20070183681A1 (en) | Adaptive image filter for filtering image information | |
JP5123756B2 (en) | Imaging system, image processing method, and image processing program | |
WO2015119271A1 (en) | Image processing device, imaging device, image processing method, computer-processable non-temporary storage medium | |
JP5259616B2 (en) | Image processing system and image processing program | |
JP2008263507A (en) | Video processor and video processing program | |
JP2011151739A (en) | Image processing apparatus | |
JP3863808B2 (en) | Outline enhancement circuit | |
JP4687454B2 (en) | Image processing apparatus and imaging apparatus | |
JP5586031B2 (en) | Image processing system, image processing method, and image processing program | |
JP4433545B2 (en) | Image signal processing apparatus, image signal processing method, learning apparatus, learning method, and recording medium | |
JP4547757B2 (en) | Image signal processing apparatus, image signal processing method, learning apparatus, learning method, and recording medium | |
JP5494249B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP5242750B2 (en) | Image processing device | |
JP4547758B2 (en) | Image signal processing apparatus, image signal processing method, learning apparatus, learning method, and recording medium | |
JP2008310666A (en) | Image processor and imaging system equipped therewith | |
JP2009004893A (en) | Image processor and imaging system equipped with same | |
WO2010103668A1 (en) | Image processing apparatus, image processing method, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120321 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140701 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140716 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5586031 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |