JP2024024478A - Image processing device and method, program and storage medium - Google Patents
Image processing device and method, program and storage medium Download PDFInfo
- Publication number
- JP2024024478A JP2024024478A JP2022127326A JP2022127326A JP2024024478A JP 2024024478 A JP2024024478 A JP 2024024478A JP 2022127326 A JP2022127326 A JP 2022127326A JP 2022127326 A JP2022127326 A JP 2022127326A JP 2024024478 A JP2024024478 A JP 2024024478A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- image processing
- noise
- sensitivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims description 29
- 230000035945 sensitivity Effects 0.000 claims abstract description 62
- 230000009467 reduction Effects 0.000 claims abstract description 27
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 238000013459 approach Methods 0.000 claims abstract description 6
- 239000002131 composite material Substances 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000003672 processing method Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000012935 Averaging Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011946 reduction process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000005375 photometry Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、複数の画像を合成して、ノイズ低減を行う画像処理装置に関する。 The present invention relates to an image processing device that combines a plurality of images and reduces noise.
デジタルカメラ等の撮像装置において静止画を撮影する場合に、ノイズの少ない画像を得るためには、十分な露光時間を確保することが有効である。しかしながら露光時間を長くすると、手振れによるカメラの動きや被写体の動きにより画像に像ブレが生じ、撮影した画像が不鮮明になるという問題がある。 When capturing still images with an imaging device such as a digital camera, it is effective to ensure a sufficient exposure time in order to obtain images with less noise. However, when the exposure time is increased, there is a problem that image blur occurs due to camera movement due to camera shake or movement of the subject, and the photographed image becomes unclear.
このような像ブレに対処する方法として、電子像ブレ補正が提案されている。例えば、特許文献1には、像ブレの少ない短い露光時間の撮影を連続して複数回行い、得られた複数枚の画像間のズレをキャンセルするように位置合わせした後、合成処理を行うことで、像ブレとノイズの少ない画像を得る方法が開示されている。 Electronic image blur correction has been proposed as a method for dealing with such image blur. For example, Patent Document 1 discloses a technique in which images are taken multiple times in succession with a short exposure time with little image blurring, and after alignment is performed to cancel the deviation between the multiple images obtained, compositing processing is performed. discloses a method for obtaining images with less image blur and noise.
しかしながら、撮像素子で撮像されたRAW画像には、被写体からの光量つまり各画素の輝度に依存しないダークノイズや、各画素の輝度に依存する光ショットノイズなど、特性の異なる複数種類のノイズが含まれている。そのため、それぞれのノイズの種類により、例えばISO感度1段分のノイズ改善効果を得るために必要となる合成枚数が異なる。 However, RAW images captured by image sensors contain multiple types of noise with different characteristics, such as dark noise that does not depend on the amount of light from the subject, that is, the brightness of each pixel, and light shot noise that depends on the brightness of each pixel. It is. Therefore, the number of composite images required to obtain a noise improvement effect equivalent to one step of ISO sensitivity, for example, differs depending on the type of noise.
より具体的には、ISO感度が1段変わる、つまりゲインが2倍変わる場合に、ダークノイズは2倍になり、光ショットノイズは√2倍になる。そのため、ISO感度1段分のノイズ改善のために必要な合成枚数は、ダークノイズであれば4枚、光ショットノイズであれば2枚となる。 More specifically, if the ISO sensitivity changes by one step, that is, if the gain changes by a factor of two, the dark noise will double and the light shot noise will increase by a factor of √2. Therefore, the number of composite images required to improve noise by one step of ISO sensitivity is four for dark noise and two for optical shot noise.
つまり、被写体の輝度によらず一律同じ枚数を合成すると、被写体の明るさによってノイズ改善効果が異なり、ISO感度の低い条件で撮影した合成していない1枚画像と、ノイズ特性の異なる合成画像が生成されてしまう。 In other words, if the same number of images are combined regardless of the brightness of the subject, the noise reduction effect will differ depending on the brightness of the subject, and a single uncombined image taken at a low ISO sensitivity will differ from a composite image with different noise characteristics. It will be generated.
このように、合成画像の特性が、ISO感度の低い条件で撮影した1枚画像と異なってしまうと、合成されたRAW画像(合成RAW画像)をアプリケーションソフト等で現像する際に、合成していない1枚画像と異なる特性で処理を行わなければならない。結果として、ユーザの使い勝手が悪くなる。また、デジタルカメラ内で現像処理を行う際にも、1枚画像と合成画像とで、それぞれ最適な設定値を保持しておく必要が生ずる。 In this way, if the characteristics of the composite image differ from those of a single image taken at a low ISO sensitivity, it may be difficult to combine the composite images when developing the composite RAW image (composite RAW image) with application software, etc. Processing must be performed using characteristics different from those for a single image. As a result, the usability for the user deteriorates. Further, when performing development processing within a digital camera, it is necessary to maintain optimal setting values for each single image and composite image.
本発明は上述した課題に鑑みてなされたものであり、その目的は、複数枚の画像を合成した合成画像と1枚画像のノイズ特性の差を低減することが可能な画像処理装置を提供することである。 The present invention has been made in view of the above-mentioned problems, and its purpose is to provide an image processing device that can reduce the difference in noise characteristics between a composite image obtained by combining a plurality of images and a single image. That's true.
本発明に係わる画像処理装置は、目標とする感度よりも高い感度で撮像した複数の画像を合成して第1の画像を生成する合成手段と、前記第1の画像に対してノイズリダクション処理を行い、第2の画像を生成する生成手段と、前記第2の画像のノイズ特性が、前記目標とする感度で撮像した画像のノイズ特性に近づくように、前記合成手段で合成する画像の枚数と、前記ノイズリダクション処理の特性の少なくともいずれかを調整する制御手段と、を備えることを特徴とする。 The image processing device according to the present invention includes a composition means for generating a first image by combining a plurality of images taken at a sensitivity higher than a target sensitivity, and a noise reduction process for the first image. and a generation means for generating a second image, and a number of images to be synthesized by the synthesis means so that the noise characteristics of the second image approach the noise characteristics of the image captured at the target sensitivity. , and a control means for adjusting at least one of the characteristics of the noise reduction process.
本発明によれば、複数枚の画像を合成した合成画像と1枚画像のノイズ特性の差を低減することが可能となる。 According to the present invention, it is possible to reduce the difference in noise characteristics between a composite image obtained by combining a plurality of images and a single image.
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. Note that the following embodiments do not limit the claimed invention. Although a plurality of features are described in the embodiments, not all of these features are essential to the invention, and the plurality of features may be arbitrarily combined. Furthermore, in the accompanying drawings, the same or similar components are designated by the same reference numerals, and redundant description will be omitted.
(第1の実施形態)
本実施形態では、複数枚撮影した画像をデジタルカメラ内で合成することにより、ノイズ低減画像を生成する例について説明する。
(First embodiment)
In this embodiment, an example will be described in which a noise-reduced image is generated by combining a plurality of captured images within a digital camera.
図1は、本発明の第1の実施形態に係わるデジタルカメラ100の構成を示すブロック図である。
FIG. 1 is a block diagram showing the configuration of a
図1において、光学系101は、被写体像を撮像部102に結像させる。撮像部102は、例えばCCDやCMOSセンサ等からなる撮像素子102aを備え、撮像素子102aは、光学系101により結像された光学像を光電変換して、アナログ画像信号を生成する。さらに、撮像部102は、撮像素子102aから出力されたアナログ画像信号をA/D変換して、デジタル画像データを生成する。
In FIG. 1, an
画像処理部103は、撮像部102で生成された画像データに対して、ホワイトバランス調整処理、色補間処理、縮小/拡大処理、フィルタリング処理などの様々な画像処理を適用する。
The
RAM104は、書き換え可能な揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作において出力されたデータの一時的な記憶領域や、画像バッファとして用いられる。
The
ROM105は、書き換え可能な不揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。また、目標とするISO感度で撮影した画像のノイズ特性の情報なども記憶する。
The
制御部106は、例えばCPUであり、デジタルカメラ100が備える各ブロックの動作プログラムをROM105から読み出し、RAM104に展開して実行することによりデジタルカメラ100が備える各ブロックの動作を制御する。また、制御部106が光学系101にレンズ駆動量を指示することで、異なる合焦位置で撮影することが可能である。
The
合成処理部107は、RAM104に記憶されている画像データに対して、後述する画像の合成処理を行い、ノイズ低減画像を生成する。
The
記録部108は、RAM104に記憶されている画像処理部103で処理された画像や、合成処理部107で処理された合成画像を、記録画像として記録する。
The
表示部109は、例えばPCモニタ、テレビ、スマートフォン等の表示装置からなり、RAM104に記録された画像を表示する。
The
ユーザー入力部110は、ユーザーからの指示を制御部106に入力する。内部バス111は、制御部106の指示に従い各ブロック間でデータの伝送を行う。
The
次に、図2A~図2C、図3を用いて第1の実施形態のデジタルカメラ100の動作について説明する。
Next, the operation of the
図2Aは、複数枚の撮像画像を合成してノイズ低減画像を生成する一連の処理を示すフローチャートである。 FIG. 2A is a flowchart showing a series of processes for synthesizing a plurality of captured images to generate a noise-reduced image.
制御部106は、ステップS201において、複数の画像を撮像し、ステップS202において各画像を合成し、ステップS203において合成画像にノイズリダクション処理(NR処理)を行う。以下、これらの各ステップについて詳細に説明する。
The
図2Bは、図2AのステップS201における画像撮像動作を詳しく示すフローチャートである。 FIG. 2B is a flowchart showing in detail the image capturing operation in step S201 of FIG. 2A.
ステップS211において、制御部106は、光学系101、撮像部102に関する撮影条件を決定する。撮影条件はシャッタ速度、絞り値、ISO感度であるが、これらは、デジタルカメラ100の測光結果により制御部106が自動で決めるか、撮影者が撮影する被写体に応じて任意に設定することが可能である。また、動感や深度表現に関わるシャッタ速度や絞り値は撮影者が決めて、ISO感度はデジタルカメラ100の測光結果により制御部106が自動で決めることも可能である。
In step S211, the
ステップS212では、制御部106は、撮影枚数(N)を決定する。この値は、何段分のノイズ低減効果を目標とするかによって制御部106がセットする。言い換えると、撮像部102で撮像する画像のISO感度に対して何段分低いISO感度と同等のノイズ特性を目標とするかを設定する。例えば、1段分のノイズ低減効果を目標とする場合には、ダークノイズを1段分低減することが可能な枚数(N=4)を設定する。これは光ショットノイズに比べ、ダークノイズの方がISO感度1段分のノイズを低減するために必要な合成枚数が多いためである。N枚の画像は全て同じ撮影条件で撮像するものとする。
In step S212, the
ステップS213では、制御部106は、ステップS211で設定した撮影条件とステップS212で決定した撮影枚数とに基づいて撮像部102を動作させ、複数枚の画像を撮像する。
In step S213, the
ステップS214では、制御部106は、撮像した枚数がステップS212で設定した撮影枚数(N)に達したか否かを判定する。制御部106は、撮影枚数(N)に達していなければ、撮影枚数(N)になるまで、ステップS213、ステップS214を繰り返す。また、撮影枚数(N)に達していれば、撮影を終了する。
In step S214, the
次に、ステップS202の画像合成処理について、図2Cと図3を用いて説明する。 Next, the image synthesis process in step S202 will be explained using FIG. 2C and FIG. 3.
図3は、本実施形態における合成処理部107の構成例を示すブロック図である。合成処理部107は、ブロック読み出し部301、位置合わせ処理部302、ノイズ特性設定部303、画像合成部304、NR(ノイズリダクション)処理部305を備えて構成されている。
FIG. 3 is a block diagram showing an example of the configuration of the
図2Cは、図2AのステップS202における画像合成処理(合成処理部107の処理)を詳しく示すフローチャートである。 FIG. 2C is a flowchart showing in detail the image synthesis process (processing by the synthesis processing unit 107) in step S202 of FIG. 2A.
図2Cにおいて、ステップS221では、制御部106は、ブロック読み出し部103を用いて、RAM104に記録された撮像画像の中から合成の基準となる基準画像を選択し、所定のサイズのブロック画像として読み出す(ブロック分割する)。ブロックサイズは、例えば縦16画素、横16画素のサイズとする。以下、本実施形態の合成処理では、このブロック画像の単位で処理が行われるものとする。1ブロックの処理が終了すると、次に隣接するブロックの処理を行い、全てのブロックの処理が完了すると合成処理も終了する。また、基準画像の選択は任意であるが、シャッタを押下したタイミングで撮影された画像を選択するとよい。
In FIG. 2C, in step S221, the
ステップS222では、制御部106は、位置合わせ処理部302に、まず、RAM104に記憶された撮像画像の中から、合成対象画像となる参照画像を入力する。そして、ブロック読み出し部301から出力された基準画像のブロック画像(基準ブロック画像)に対して、参照画像における同じサイズのブロック画像の位置合わせ処理を行い、相対的に位置のあったブロック画像(参照ブロック画像)を出力する。手振れや局所動体により基準画像と参照画像には一般にズレがあるので、そのまま合成すると被写体が多重像となる。そのため、画像間で被写体の位置を合わせて合成を行う。位置合わせ処理は、テンプレートマッチング等の公知の技術を用いればよい。
In step S222, the
ステップS223では、制御部106は、ノイズ特性算出部303を用いて、ROM105から撮影画像のISO感度(撮影ISO感度)と、目標とするノイズ低減効果に相当するISO感度(目標ISO感度)の輝度毎のノイズの分散値をそれぞれ読み出す。そして、画像合成部304で合成する合成枚数と、NR処理部305でNR処理を行う際の特性を算出する。具体的には、まず基準ブロック画像内で最も高輝度な画素の輝度値(輝度情報)に対して、撮影ISO感度のノイズ分散値と、目標ISO感度のノイズ分散値を参照して合成枚数を算出する。
In step S223, the
ここで、基準ブロック画像内で最も高輝度な画素の輝度値をYmax、輝度値Ymaxにおける撮影ISO感度のノイズの分散値をVar_O(Ymax)、目標ISO感度のノイズの分散値をVar_T(Ymax)として、合成枚数N_COMPを式(1)を用いて算出する。 Here, Ymax is the brightness value of the brightest pixel in the reference block image, Var_O (Ymax) is the noise variance of the shooting ISO sensitivity at the brightness value Ymax, and Var_T (Ymax) is the noise variance of the target ISO sensitivity. , the composite number N_COMP is calculated using equation (1).
N_COMP=Var_O(Ymax)/Var_T(Ymax) …(1)
式(1)において、小数が出た場合には切り捨てを行う。
N_COMP=Var_O(Ymax)/Var_T(Ymax)...(1)
In equation (1), if a decimal number appears, it is rounded down.
なお、本実施形態では基準ブロック画像内で最も高輝度な画素を用いて合成枚数N_COMPを算出しているが、1画素の値しか参照しない場合、孤立点ノイズの影響を受けることも考えらえる。そのため、画素ではなく高輝度領域の輝度値から合成枚数を算出するようにしてもよい。例えば、予め基準ブロック画像に対してローパスフィルタ処理を行い、フィルタ処理後の画像からYmaxを算出することで孤立点ノイズの影響を軽減することが可能である。 Note that in this embodiment, the number of composite images N_COMP is calculated using the pixel with the highest brightness in the reference block image, but if only the value of one pixel is referenced, it may be affected by isolated point noise. . Therefore, the number of composite images may be calculated from the brightness values of high brightness areas instead of pixels. For example, it is possible to reduce the influence of isolated point noise by performing low-pass filter processing on the reference block image in advance and calculating Ymax from the image after the filter processing.
このように合成枚数を算出することにより、ブロック内の高輝度領域において、目標ISO感度相当のノイズ低減効果を得るために必要な合成枚数が算出可能である。 By calculating the number of composite images in this manner, it is possible to calculate the number of composite images necessary to obtain a noise reduction effect equivalent to the target ISO sensitivity in a high-brightness region within a block.
次にNR処理部305でNR処理を行う際の、各画素の輝度値に基づくノイズ低減効果の強度を示すパラメータを算出する。
Next, when performing NR processing in the
ここで、基準ブロック画像の該当する画素の輝度値をY、輝度値Yにおける撮影ISO感度のノイズの分散値をVar_O(Y)、目標ISO感度のノイズの分散値をVar_T(Y)、合成枚数をN_COMPとした場合、ノイズ低減パラメータαを式(2)により算出する。 Here, the brightness value of the corresponding pixel of the reference block image is Y, the variance value of the noise of the shooting ISO sensitivity at the brightness value Y is Var_O(Y), the variance value of the noise of the target ISO sensitivity is Var_T(Y), and the number of composite images When N_COMP is used, the noise reduction parameter α is calculated using equation (2).
α=Var_O(Y)/(Var_T(Y)× N_COMP) …(2)
このように、ノイズ低減パラメータαを算出することにより、画像合成部304で合成された画像の各画素において、各々の画素の輝度値に対して、目標ISO感度相当のノイズ低減効果を得るために必要となるフィルタの特性(何画素加算相当のフィルタ強度が必要か)を算出可能である。
α=Var_O(Y)/(Var_T(Y)×N_COMP)…(2)
In this way, by calculating the noise reduction parameter α, it is possible to obtain a noise reduction effect equivalent to the target ISO sensitivity for the luminance value of each pixel in each pixel of the image synthesized by the
ステップS224では、制御部106は、画像合成部304を用いて、ブロック読み出し部301から出力された基準ブロック画像と、位置合わせ処理部302から出力された参照ブロック画像を合成する。具体的には基準ブロック画像に対して、N_COMP-1枚の参照ブロック画像を画素毎に加算平均する。合成されたブロック画像(合成ブロック画像)は、NR処理部305へ出力される。
In step S224, the
なお、本実施形態では、画素毎に単純に加算平均を行ったが、基準ブロック画像、参照ブロック画像のそれぞれに対して、高速フーリエ変換、離散コサイン変換などの変換処理を行い周波数画像に変換した上で、周波数成分毎に加算平均処理を行ってもよい。また、周波数成分毎に加算平均処理を行う際に、各周波数成分で基準ブロック画像と参照ブロック画像の差分を算出し、差分が所定の閾値より小さい周波数成分のみ加算平均を行ってもよい。このように差分の小さい周波数成分のみ加算することで、ノイズ成分が支配的な周波数に関しては加算平均によりノイズが抑圧され、位置ずれや被写体の形状変化によって周波数成分に差が生じている周波数に関しては、加算平均されない。そのため、被写体が多重像になる現象を軽減することが可能である。 Note that in this embodiment, the averaging was simply performed for each pixel, but each of the standard block image and reference block image was converted to a frequency image by performing transformation processing such as fast Fourier transformation or discrete cosine transformation. Above, averaging processing may be performed for each frequency component. Furthermore, when performing the averaging process for each frequency component, the difference between the reference block image and the reference block image may be calculated for each frequency component, and the averaging process may be performed only for the frequency components for which the difference is smaller than a predetermined threshold. By adding only frequency components with small differences in this way, noise is suppressed by averaging for frequencies where noise components are dominant, and for frequencies where differences in frequency components occur due to positional shift or changes in the shape of the subject. , not averaged. Therefore, it is possible to reduce the phenomenon of multiple images of the subject.
ステップS225では、制御部106は、NR処理部305を用いて、画像合成部304から出力された合成ブロック画像に対してNR処理を行う。具体的には、合成ブロック画像の処理対象画素を着目画素とした場合、着目画素の周辺の画素(例えば、上下左右の2画素)を、着目画素との差分が少ない順にソートした上で、ノイズ特性算出部303で算出したパラメータα個について加算平均を求める。
In step S225, the
このように、パラメータαに基づいて着目画素と周辺の画素の加算平均を求めるフィルタ処理を行うことで、目標ISO感度相当のノイズ低減効果を得ることが可能となる。 In this way, by performing filter processing to calculate the additive average of the pixel of interest and surrounding pixels based on the parameter α, it is possible to obtain a noise reduction effect equivalent to the target ISO sensitivity.
ステップS226では、制御部106は、全ブロック画像について処理が終了したかを判定する。制御部106は、全ブロック画像の処理を行っていれば画像合成処理を終了する。全ブロック画素の処理を行っていなければ、ステップS227に処理を進め、新たなブロック画素を設定した上で、ステップS222~ステップS226の処理を繰り返す。 以上が合成処理部107の詳細動作である。全動作が終了すると出力画像が生成され、RAM104に記憶される。
In step S226, the
本実施形態では、このように画像合成処理を行うことにより、ISO感度の低い条件で撮影した、合成していない1枚画像とノイズ特性の差が少ない合成画像を生成することが可能となる。 In this embodiment, by performing image synthesis processing in this manner, it is possible to generate a synthesized image that has little difference in noise characteristics from a single uncomposed image shot under conditions of low ISO sensitivity.
なお、本実施形態では、新たに撮像した画像に対して合成処理を行ったが、記録部108に記録された画像の中から、ユーザーがユーザー入力部110を用いて画像を選択し、合成処理を実行してもよい。例えば、ユーザーが指定した画像に対して、同じ条件で連続撮影された画像をRAM104に読み出して、図2Cのフローチャートに従って合成する。
Note that in this embodiment, the compositing process is performed on newly captured images, but the user selects an image from among the images recorded in the
このとき、ノイズ特性算出部303では、RAM104に読み出された画像の枚数に応じて、ダークノイズを低減可能なISO感度段数を算出し、目標ISO感度を設定する。例えば、RAM104に読み出された画像が4枚~15枚の範囲であれば、撮影ISO感度に対して、1段低い感度を目標ISO感度として設定する。
At this time, the noise
このように合成処理を行うことで、新たに撮影された画像だけでなく、予め撮影しておいた画像に対しても合成処理を実施することが可能となる。 By performing the compositing process in this manner, it becomes possible to perform the compositing process not only on newly captured images but also on previously captured images.
(第2の実施形態)
第1の実施形態では、図2BのステップS213において画像を撮像する際に、全て同じ条件で撮像を行った。それに対し、第2の実施形態では、全て同じ条件で撮像するのではなく、撮影ISO感度と目標ISO感度の段数差と、RAM104に記憶できる画像の枚数に応じて、撮影画像を一部異なる撮影条件で撮影する。
(Second embodiment)
In the first embodiment, when images were captured in step S213 of FIG. 2B, all images were captured under the same conditions. In contrast, in the second embodiment, instead of capturing images under the same conditions, some images are captured differently depending on the difference in the number of steps between the shooting ISO sensitivity and the target ISO sensitivity and the number of images that can be stored in the
図4は、本実施形態における、ステップS201の画像撮像処理の流れを示すフローチャートである。 FIG. 4 is a flowchart showing the flow of image capturing processing in step S201 in this embodiment.
ステップS401では、制御部106は、ステップS211と同様に撮影条件を決定する。
In step S401, the
ステップS402では、制御部106は、ステップS212と同様に撮影枚数(N)を決定する。この段階では第1の実施形態と同様に、N枚の画像は全て同じ撮影条件で撮像するものとして撮影枚数(N)を決定する。
In step S402, the
ステップS403では、制御部106は、N枚の画像がRAM104に記憶できるか否かを判断する。制御部106は、記憶できる場合はステップS405へ処理を進め、RAM104(画像記憶部)の空き容量がなく、N枚の画像を記憶できない場合にはステップS404へ処理を進める。
In step S403, the
ステップS404では、制御部106は、撮影枚数と撮影条件の見直しを行う。具体的には、ステップS401で決定した撮影ISO感度と、目標ISO感度の段数差と、RAM104に記憶できる画像枚数から、撮影条件の見直しを行う。そして、撮影条件を変更しないで撮影する撮影枚数(N)、撮影条件を変更して撮影する撮影枚数(M)を決定する。
In step S404, the
例えば、撮影ISO感度と目標ISO感度の段数差を2段とした場合、ダークノイズを2段分低減するためには16枚合成する必要が生じる。しかしながら、RAM104に記憶できる画像の枚数が例えば12枚であった場合、撮影画像の一部を、シャッタスピードを2倍にするなどして、2倍の明るさで撮影するように撮影条件を変更する。このように撮影条件を変更した画像(高露出画像)に対して、合成時に1/2のゲインを乗じることで、ダークノイズを低減するために必要な撮影枚数(M)を4枚にすることが可能となる。また、予めステップS401で決定した撮影条件で撮影する撮影枚数(N)は、RAM104に記憶可能な残りの画像、この場合は8枚を設定する。
For example, if the difference in the number of steps between the photographing ISO sensitivity and the target ISO sensitivity is two steps, it will be necessary to combine 16 images in order to reduce dark noise by two steps. However, if the number of images that can be stored in the
ステップS405では、制御部106は、ステップS401で設定した撮影条件、もしくは、ステップS404で見直しが行われた撮影条件で撮像部102を動作させ画像を撮像する。
In step S405, the
ステップS406では、制御部106は、撮像した枚数がステップS402で設定した撮影枚数、もしくは、ステップS404で見直しが行われた撮影枚数に到達したかを判定する。到達していれば、制御部106は、画像撮像を終了する。撮影枚数より少なければステップS405に処理を戻し、ステップS405、ステップS406の処理を繰り返す。
In step S406, the
第2の実施形態におけるステップS202の画像合成の処理に関しては、第1の実施形態と同様に図2Cのフローチャートに従うが、ステップS222で位置合わせ処理を行う際に、高露出画像に対しては、1/2のゲインを乗じて位置合わせ処理を行う。 The image synthesis process in step S202 in the second embodiment follows the flowchart in FIG. 2C as in the first embodiment, but when performing the alignment process in step S222, for high exposure images, Positioning processing is performed by multiplying by a gain of 1/2.
また、ステップS223において、画像合成部304で合成する合成枚数と、NR処理部305でNR処理を行う特性を算出する際に、基準ブロック画像内で最も高輝度な画素の輝度値Ymaxが輝度の最大値の1/2未満であれば高露出画像を選択するようにする。
In addition, in step S223, when calculating the number of images to be combined in the
基準ブロック画像内で最も高輝度な画素の輝度値Ymaxが輝度の最大値の1/2以上の場合は、第1の実施形態と同様の処理を行うが、N_COMPが撮影枚数(N)より多くなるので、その場合はN_COMP=Nとして処理を行う。 If the brightness value Ymax of the highest brightness pixel in the reference block image is 1/2 or more of the maximum brightness value, the same processing as in the first embodiment is performed, but N_COMP is greater than the number of captured images (N). Therefore, in that case, processing is performed with N_COMP=N.
以上のように合成処理を行うことにより、撮影ISO感度と目標ISO感度の差が大きい場合であっても、RAM104に記憶できる画像の枚数の範囲でノイズ低減処理を行うことが可能となる。
By performing the compositing process as described above, even if the difference between the photographing ISO sensitivity and the target ISO sensitivity is large, the noise reduction process can be performed within the range of the number of images that can be stored in the
本明細書の開示は、以下の画像処理装置、方法、プログラムおよび記憶媒体を含む。 The disclosure of this specification includes the following image processing apparatus, method, program, and storage medium.
(項目1)
目標とする感度よりも高い感度で撮像した複数の画像を合成して第1の画像を生成する合成手段と、
前記第1の画像に対してノイズリダクション処理を行い、第2の画像を生成する生成手段と、
前記第2の画像のノイズ特性が、前記目標とする感度で撮像した画像のノイズ特性に近づくように、前記合成手段で合成する画像の枚数と、前記ノイズリダクション処理の特性の少なくともいずれかを調整する制御手段と、
を備えることを特徴とする画像処理装置。
(Item 1)
a synthesizing means for synthesizing a plurality of images taken at a sensitivity higher than a target sensitivity to generate a first image;
generating means for performing noise reduction processing on the first image to generate a second image;
Adjusting at least one of the number of images to be combined by the combining means and the characteristics of the noise reduction processing so that the noise characteristics of the second image approach the noise characteristics of the image captured at the target sensitivity. control means for;
An image processing device comprising:
(項目2)
前記複数の画像は、撮像手段により撮像された画像であることを特徴とする項目1に記載の画像処理装置。
(Item 2)
The image processing device according to item 1, wherein the plurality of images are images captured by an imaging means.
(項目3
前記複数の画像は、記憶手段に記憶されていた画像であることを特徴とする項目1に記載の画像処理装置。
(Item 3
The image processing device according to item 1, wherein the plurality of images are images stored in a storage means.
(項目4)
前記目標とする感度で撮像した画像のノイズ特性を記憶する記憶手段をさらに備えることを特徴とする項目1乃至3のいずれか1項目に記載の画像処理装置。
(Item 4)
The image processing device according to any one of items 1 to 3, further comprising a storage unit that stores noise characteristics of an image captured at the target sensitivity.
(項目5)
前記合成手段は、前記複数の画像を位置合わせして合成することを特徴とする項目1乃至4のいずれか1項に記載の画像処理装置。
(Item 5)
5. The image processing apparatus according to any one of items 1 to 4, wherein the compositing means aligns and composites the plurality of images.
(項目6)
前記合成手段は、前記画像を複数の画素からなるブロックに分割し、ブロック内の高輝度領域の輝度情報に基づいて、合成する複数の画像の枚数を決定することを特徴とする項目1乃至5のいずれか1項目に記載の画像処理装置。
(Item 6)
Items 1 to 5, wherein the combining means divides the image into blocks each consisting of a plurality of pixels, and determines the number of images to be combined based on brightness information of a high brightness area within the block. The image processing device according to any one of the above.
(項目7)
前記合成手段は、前記目標とする感度に基づいて、前記ブロックごとに、合成枚数とノイズリダクションの特性を変更することを特徴とする項目6に記載の画像処理装置。
(Item 7)
7. The image processing apparatus according to item 6, wherein the compositing means changes the number of composite images and noise reduction characteristics for each block based on the target sensitivity.
(項目8)
前記生成手段は、前記第1の画像に対して、各々の画素の輝度情報に基づいて、ノイズリダクション処理の特性を変更することを特徴とする項目1乃至5のいずれか1項目に記載の画像処理装置。
(Item 8)
The image according to any one of items 1 to 5, wherein the generating means changes characteristics of noise reduction processing for the first image based on luminance information of each pixel. Processing equipment.
(項目9)
前記合成手段は、合成する画像の枚数が、画像記憶部の容量を超える場合、撮像する画像の露出を変更することを特徴とする項目1乃至8のいずれか1項目に記載の画像処理装置。
(Item 9)
9. The image processing device according to any one of items 1 to 8, wherein the compositing means changes the exposure of the captured images when the number of images to be composited exceeds the capacity of the image storage unit.
(項目10)
前記感度はISO感度であることを特徴とする項目1乃至9のいずれか1項目に記載の画像処理装置。
(Item 10)
The image processing device according to any one of items 1 to 9, wherein the sensitivity is an ISO sensitivity.
(項目11)
目標とする感度よりも高い感度で撮像した複数の画像を合成して第1の画像を生成する合成工程と、
前記第1の画像に対してノイズリダクション処理を行い、第2の画像を生成する生成工程と、
前記第2の画像のノイズ特性が、前記目標とする感度で撮像した画像のノイズ特性に近づくように、前記合成工程で合成する画像の枚数と、前記ノイズリダクション処理の特性の少なくともいずれかを調整する制御工程と、
を有することを特徴とする画像処理方法。
(Item 11)
a compositing step of composing a plurality of images captured at a sensitivity higher than a target sensitivity to generate a first image;
a generation step of performing noise reduction processing on the first image to generate a second image;
Adjusting at least one of the number of images to be combined in the combining step and the characteristics of the noise reduction processing so that the noise characteristics of the second image approach the noise characteristics of the image captured at the target sensitivity. a control process to
An image processing method comprising:
(項目12)
コンピュータを、項目1乃至10のいずれか1項目に記載の画像処理装置の各手段として機能させるためのプログラム。
(Item 12)
A program for causing a computer to function as each means of the image processing apparatus according to any one of items 1 to 10.
(項目13)
コンピュータを、項目1乃至10のいずれか1項目に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
(Item 13)
A computer-readable storage medium storing a program for causing a computer to function as each means of the image processing apparatus according to any one of items 1 to 10.
(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
(Other embodiments)
The present invention also provides a system or device with a program that implements one or more functions of the above-described embodiments via a network or a storage medium, and one or more processors in a computer of the system or device reads the program. This can also be achieved by executing a process. It can also be implemented by a circuit (eg, ASIC) that implements one or more functions.
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the embodiments described above, and various changes and modifications can be made without departing from the spirit and scope of the invention. Therefore, the following claims are hereby appended to disclose the scope of the invention.
100:デジタルカメラ、101:光学系、102:撮像部、102a:撮像素子、103:画像処理部、104:RAM、105:ROM、106:制御部、107:合成処理部、108:記録部、109:表示部、110:ユーザー入力部、111:内部バス、301:ブロック読み出し部、302:位置合わせ処理部、303:ノイズ特性算出部、304:画像合成部、305:NR処理部 100: Digital camera, 101: Optical system, 102: Imaging unit, 102a: Imaging element, 103: Image processing unit, 104: RAM, 105: ROM, 106: Control unit, 107: Combination processing unit, 108: Recording unit, 109: Display section, 110: User input section, 111: Internal bus, 301: Block reading section, 302: Alignment processing section, 303: Noise characteristic calculation section, 304: Image composition section, 305: NR processing section
Claims (13)
前記第1の画像に対してノイズリダクション処理を行い、第2の画像を生成する生成手段と、
前記第2の画像のノイズ特性が、前記目標とする感度で撮像した画像のノイズ特性に近づくように、前記合成手段で合成する画像の枚数と、前記ノイズリダクション処理の特性の少なくともいずれかを調整する制御手段と、
を備えることを特徴とする画像処理装置。 a synthesizing means for synthesizing a plurality of images taken at a sensitivity higher than a target sensitivity to generate a first image;
generating means for performing noise reduction processing on the first image to generate a second image;
Adjusting at least one of the number of images to be combined by the combining means and the characteristics of the noise reduction processing so that the noise characteristics of the second image approach the noise characteristics of the image captured at the target sensitivity. control means for;
An image processing device comprising:
前記第1の画像に対してノイズリダクション処理を行い、第2の画像を生成する生成工程と、
前記第2の画像のノイズ特性が、前記目標とする感度で撮像した画像のノイズ特性に近づくように、前記合成工程で合成する画像の枚数と、前記ノイズリダクション処理の特性の少なくともいずれかを調整する制御工程と、
を有することを特徴とする画像処理方法。 a compositing step of composing a plurality of images captured at a sensitivity higher than a target sensitivity to generate a first image;
a generation step of performing noise reduction processing on the first image to generate a second image;
Adjusting at least one of the number of images to be combined in the combining step and the characteristics of the noise reduction processing so that the noise characteristics of the second image approach the noise characteristics of the image captured at the target sensitivity. a control process to
An image processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022127326A JP2024024478A (en) | 2022-08-09 | 2022-08-09 | Image processing device and method, program and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022127326A JP2024024478A (en) | 2022-08-09 | 2022-08-09 | Image processing device and method, program and storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024024478A true JP2024024478A (en) | 2024-02-22 |
Family
ID=89940070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022127326A Pending JP2024024478A (en) | 2022-08-09 | 2022-08-09 | Image processing device and method, program and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024024478A (en) |
-
2022
- 2022-08-09 JP JP2022127326A patent/JP2024024478A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5744614B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US9025049B2 (en) | Image processing method, image processing apparatus, computer readable medium, and imaging apparatus | |
US8023000B2 (en) | Image pickup apparatus, image processing apparatus, image pickup method, and image processing method | |
JP5408053B2 (en) | Image processing apparatus and image processing method | |
US9288392B2 (en) | Image capturing device capable of blending images and image processing method for blending images thereof | |
KR101303410B1 (en) | Image capture apparatus and image capturing method | |
JP5767485B2 (en) | Image processing apparatus and control method | |
JP5672796B2 (en) | Image processing apparatus and image processing method | |
WO2019124289A1 (en) | Device, control method, and storage medium | |
WO2019013217A1 (en) | Correction device, imaging device, control method for correction device, and control program | |
JP2008277896A (en) | Imaging device and imaging method | |
JP6887853B2 (en) | Imaging device, its control method, program | |
JP5211589B2 (en) | Image processing apparatus, electronic camera, and image processing program | |
JP2012160852A (en) | Image composition device, imaging device, image composition method, and image composition program | |
JP2024024478A (en) | Image processing device and method, program and storage medium | |
JP2008219230A (en) | Imaging apparatus, and image processing method | |
JP2018181070A (en) | Image processing device and image processing method | |
JP7442989B2 (en) | Imaging device, control method for the imaging device, and program | |
JP6245847B2 (en) | Image processing apparatus and image processing method | |
JP6157274B2 (en) | Imaging apparatus, information processing method, and program | |
JP2017212698A (en) | Imaging apparatus, control method for imaging apparatus, and program | |
JP2017068513A (en) | Image processing device and method thereof, program, and storage medium | |
JP2017229025A (en) | Image processing apparatus, image processing method, and program | |
JP2016208118A (en) | Image processing apparatus, image processing method, and program | |
JP2017216657A (en) | Image processing device, image processing method, and program |