JP7423033B2 - Image signal processing method - Google Patents
Image signal processing method Download PDFInfo
- Publication number
- JP7423033B2 JP7423033B2 JP2019103566A JP2019103566A JP7423033B2 JP 7423033 B2 JP7423033 B2 JP 7423033B2 JP 2019103566 A JP2019103566 A JP 2019103566A JP 2019103566 A JP2019103566 A JP 2019103566A JP 7423033 B2 JP7423033 B2 JP 7423033B2
- Authority
- JP
- Japan
- Prior art keywords
- subtraction
- signal value
- unit
- image signal
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 28
- 238000004364 calculation method Methods 0.000 claims description 33
- 230000009467 reduction Effects 0.000 claims description 33
- 238000012937 correction Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
本発明は、色ノイズを低減する画像信号処理方法に関するものである。 The present invention relates to an image signal processing method for reducing color noise.
近年、画像データにおいて色に関するノイズである色ノイズを低減するための画像信号処理方法が提言されている。 In recent years, image signal processing methods have been proposed for reducing color noise, which is color-related noise, in image data.
色ノイズとは、画像データに本来存在しないはずの色情報が、何らかの理由で含まれることで発生するノイズである。 Color noise is noise that occurs when color information that should not originally exist is included in image data for some reason.
よって、この色ノイズを含んだ画像データをデジカメの背面液晶画面やモニター画面上や紙媒体などに出力すると、本来存在しない色情報が画像信号として表示されるため、撮影者に違和感を与える。 Therefore, when image data containing this color noise is output on the rear LCD screen of a digital camera, a monitor screen, or a paper medium, color information that does not originally exist is displayed as an image signal, giving the photographer a sense of discomfort.
特許文献1は、ホワイトバランス補正した後、画像データの画素毎に色差データを算出し、色差データが一定の範囲内であり、輝度が指定された輝度範囲内である画素のデータに対して、当該画素の色差データが小さくなるように色ノイズ低減処理が施される技術が開示されている。
本発明の目的は、色ノイズの原因になりうる高周波成分を取り除くことが可能であり、高周波成分の色ノイズを取り除いた画像信号へフィルタサイズの大きなフィルタリングなどの処理を行っても、色ノイズの広がりを抑えつつ、さらには各色すべての高周波成分にノイズ処理を施した場合よりも、高周波の情報を維持することが可能な画像信号処理方法を提供することにある。
特許文献1にて開示されている画像信号処理方法は、色差データが小さいほど、色ノイズ低減処理の効果が得られるが、色差データが大きい部分については色ノイズ低減処理の効果は得にくいという課題を有する。
The image signal processing method disclosed in
したがって、特に孤立した強いノイズ成分には色ノイズの低減効果は得られにくくなり、孤立した色ノイズが残ってしまうという課題を有する。 Therefore, it becomes difficult to obtain a color noise reduction effect particularly for isolated strong noise components, and there is a problem that isolated color noise remains.
一方、孤立した色ノイズを消すために、色差データが大きい部分にも色ノイズ低減処理の効果を得ようとすると、多色の滲みや色差のディテールを著しく損なう結果になってしまう。 On the other hand, if an attempt is made to obtain the effect of color noise reduction processing even in areas with large color difference data in order to eliminate isolated color noise, the result will be multicolor bleeding and a significant loss of color difference detail.
本発明はこのような状況に鑑みてなされたものであり、多色の高周波情報を用いて画像信号処理を行うことで、色ノイズの原因になりうる高周波成分を取り除くことが可能であり、高周波成分の色ノイズを取り除いた画像信号へフィルタサイズの大きなフィルタリングなどの処理を行っても、広がりを持つノイズが発生しにくく、さらには各色すべての色信号にノイズ処理を施した場合よりも、高周波の情報を維持することが可能な画像信号処理方法を提供することを目的とする。 The present invention was made in view of this situation, and by performing image signal processing using multicolor high frequency information, it is possible to remove high frequency components that can cause color noise, and it is possible to remove high frequency components that can cause color noise. Even if processing such as filtering with a large filter size is performed on the image signal from which component color noise has been removed, spread noise is less likely to occur. An object of the present invention is to provide an image signal processing method that can maintain information on images.
上記課題を解決するための手段である第1の発明は、複数の色画像信号を処理する画像信号処理方法において、補正対象の色となる1色の前記色画像信号を補正対象信号値として選択する画像信号選択部と、前記補正対象信号値以外の複数色の画像信号の加重平均信号値を計算する加重平均計算部と、前記補正対象信号値から前記加重平均信号値を減算して第1の減算信号値を求める第1減算部と、前記第1の減算信号値にローパスフィルタを適用することで第1の高周波成分削減信号値を算出する第1高周波成分削減部と、前記第1の減算信号値から前記第1の高周波成分削減信号値を減算して第2の減算信号値を算出する第2減算部と、前記第2の減算信号値にローパスフィルタを適用することで第2の高周波成分削減信号値を算出する第2高周波成分削減部と、前記第2の減算信号値から前記第2の高周波成分削減信号値を減算して第3の減算信号値を算出する第3減算部と、前記補正対象信号値から前記第3の減算信号値を減算して第4の減算信号値を算出する第4減算部と、からなり、前記第4の減算信号値を前記画像信号選択部にて選択した前記補正対象信号値とすることを特徴とする画像信号処理方法。 A first invention, which is a means for solving the above problems, is an image signal processing method for processing a plurality of color image signals, in which the color image signal of one color, which is a color to be corrected, is selected as a signal value to be corrected. a weighted average calculation unit that calculates a weighted average signal value of image signals of a plurality of colors other than the correction target signal value, and a weighted average calculation unit that calculates a first a first subtraction unit that calculates a subtracted signal value of the first subtracted signal value; a first high-frequency component reduction unit that calculates a first high-frequency component reduced signal value by applying a low-pass filter to the first subtracted signal value; a second subtraction unit that calculates a second subtraction signal value by subtracting the first high frequency component reduction signal value from the subtraction signal value; a second high-frequency component reduction unit that calculates a high-frequency component reduction signal value; and a third subtraction unit that calculates a third subtraction signal value by subtracting the second high-frequency component reduction signal value from the second subtraction signal value. and a fourth subtraction unit that calculates a fourth subtraction signal value by subtracting the third subtraction signal value from the correction target signal value, and a fourth subtraction unit that calculates a fourth subtraction signal value by subtracting the third subtraction signal value from the correction target signal value. An image signal processing method characterized in that the signal value to be corrected is selected in .
また、上述の課題を解決するための手段である第2の発明は、第1の発明に記載の画像信号処理方法であって、前記第1高周波成分削減部は、前記第1の減算信号値をリサイズ縮小したのち、再度リサイズ拡大して元のサイズに戻すことで第1の高周波成分削減信号値を算出することを特徴とする画像信号処理方法。 Further, a second invention, which is a means for solving the above-mentioned problem, is the image signal processing method according to the first invention, wherein the first high frequency component reduction unit reduces the first subtracted signal value. An image signal processing method comprising: resizing and reducing the image, and then resizing and enlarging it again to return to the original size to calculate a first high frequency component reduction signal value.
また、上述の課題を解決するための手段である第3の発明は、第1又は第2の発明に記載の画像信号処理方法であって、前記第2減算部は、前記第2の減算信号値が閾値を超える場合には、前記第2の減算信号値を閾値に置き換える処理を適用する第1閾値部を有することを特徴とする画像信号処理方法。 Further, a third invention, which is a means for solving the above-mentioned problem, is the image signal processing method according to the first or second invention, wherein the second subtraction unit An image signal processing method, comprising: a first threshold section that applies a process of replacing the second subtracted signal value with a threshold value when the value exceeds the threshold value.
また、上述の課題を解決するための手段である第4の発明は、第1の発明乃至第3の発明のいずれか1項に記載の画像信号処理方法であり、前記第3減算部は、前記第3の減算信号値が閾値を超える場合には、前記第3の減算信号値を閾値に置き換える処理を適用する第2閾値部を有することを特徴とする画像信号処理方法。 Further, a fourth invention, which is a means for solving the above-mentioned problem, is the image signal processing method according to any one of the first invention to the third invention, wherein the third subtraction unit includes: An image signal processing method, comprising: a second threshold unit that applies a process of replacing the third subtraction signal value with a threshold value when the third subtraction signal value exceeds a threshold value.
また、上述の課題を解決するための手段である第5の発明は、第1の発明乃至第4の発明のいずれか1項に記載の画像信号処理方法であり、前記複数の色画像信号は、積層型の固体撮像素子により変換された画像信号であることを特徴とする画像信号処理方法。 Further, a fifth invention, which is a means for solving the above-mentioned problem, is the image signal processing method according to any one of the first invention to the fourth invention, wherein the plurality of color image signals are An image signal processing method characterized in that the image signal is an image signal converted by a stacked solid-state image sensor.
本発明によれば、多色の高周波情報を用いて画像信号処理を行うことで、色ノイズの原因になりうる高周波成分を取り除くことが可能であり、高周波成分の色ノイズを取り除いた画像信号へフィルタサイズの大きなフィルタリングなどの処理を行っても、広がりを持つノイズが発生しにくく、さらには各色すべての色信号にノイズ処理を施した場合よりも、高周波の情報を維持することが可能な画像信号処理方法を提供することができる。 According to the present invention, by performing image signal processing using multicolor high frequency information, it is possible to remove high frequency components that can cause color noise, and to produce an image signal from which color noise of high frequency components has been removed. Even when processing such as filtering with a large filter size is performed, spreading noise is less likely to occur, and furthermore, it is possible to maintain high-frequency information better than when noise processing is applied to all color signals of each color. A signal processing method can be provided.
以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。 DESCRIPTION OF THE PREFERRED EMBODIMENTS The best mode for carrying out the present invention will be described below with reference to the accompanying drawings. Note that the present invention is not limited to this embodiment.
本実施例において、100はレンズ鏡筒、101は固体撮像素子、1011は、マイクロレンズ、1012は光電変換部、1013は配線部、102はCPU、1021は画像信号決定部、1022は加重平均計算部、1023は第1減算部、1024は第1高周波削減部、1025は第2減算部、1026は第2高周波削減部、1027は第3減算部、1028は第4減算部、1029は第1閾値部、1030は第2閾値部、とする。 In this embodiment, 100 is a lens barrel, 101 is a solid-state image sensor, 1011 is a microlens, 1012 is a photoelectric conversion unit, 1013 is a wiring unit, 102 is a CPU, 1021 is an image signal determination unit, and 1022 is a weighted average calculation unit. 1023 is a first subtraction unit, 1024 is a first high frequency reduction unit, 1025 is a second subtraction unit, 1026 is a second high frequency reduction unit, 1027 is a third subtraction unit, 1028 is a fourth subtraction unit, and 1029 is a first subtraction unit. The threshold section 1030 is a second threshold section.
図1は、本実施例の撮像装置の構成を示す構成図である。 FIG. 1 is a configuration diagram showing the configuration of an imaging device according to this embodiment.
撮像装置10は、レンズ鏡筒100と不図示のカメラ本体から構成される。
The imaging device 10 includes a
レンズ鏡筒100は、カメラ本体に脱着可能であり、レンズ鏡筒100のマウント部とカメラ本体のマウント部とがバヨネット機構などにより接続される。尚、レンズ鏡筒100は、カメラ本体に固定式の物でも構わない。
The
固体撮像素子101は、マイクロレンズ1011と光電変換部1012と配線部1013などを含む。 The solid-state image sensor 101 includes a microlens 1011, a photoelectric conversion section 1012, a wiring section 1013, and the like.
マイクロレンズ1011は、レンズ鏡筒100に入射した光束を各光電変換部1012が受光に適するように集光するレンズである。
The microlens 1011 is a lens that condenses the light flux incident on the
光電変換部1012は、マイクロレンズ1011を通過した光束を画像信号に変換する。 The photoelectric conversion unit 1012 converts the light beam that has passed through the microlens 1011 into an image signal.
光電変換部1012にて変換された画像信号について説明する。光束を画像信号へ変換する光電変換部1012は、各画素に配置される。固体撮像素子101がベイヤー型の場合、各画素に配置された光電変換部1012からマイクロレンズ1011と光電変換部1012配置されたカラーフィルタと同色の画像信号へ変換される。カラーフィルタは赤色(R)、緑色(G)、青色(B)の3色が用いられることが一般的であり、この時、変換される画像信号は3種類となる。 The image signal converted by the photoelectric conversion unit 1012 will be explained. A photoelectric conversion unit 1012 that converts a luminous flux into an image signal is arranged at each pixel. When the solid-state image sensor 101 is a Bayer type, the image signal is converted from the photoelectric conversion unit 1012 arranged in each pixel into an image signal of the same color as the microlens 1011 and the color filter arranged in the photoelectric conversion unit 1012. Three colors, red (R), green (G), and blue (B), are generally used for color filters, and at this time, there are three types of image signals to be converted.
一方、固体撮像素子101が積層型の場合、1画素から光電変換部の積層数分の画像信号が変換される。本願実施例では、1画素に赤色(R)、緑色(G)、青色(B)の3色の画像信号を得る為、光電変換部1012は3層積層されている。 On the other hand, when the solid-state image sensor 101 is a stacked type, image signals corresponding to the number of stacked photoelectric conversion units are converted from one pixel. In the embodiment of the present application, the photoelectric conversion section 1012 is laminated in three layers in order to obtain image signals of three colors, red (R), green (G), and blue (B) in one pixel.
配線部1013は、光電変換部1012にて変換された画像信号を各光電変換部1012からCPU102へ転送する。
The wiring unit 1013 transfers the image signal converted by the photoelectric conversion unit 1012 from each photoelectric conversion unit 1012 to the
CPU102は、光電変換部1012が変換し配線部1013を通じて転送されてきた画像信号に各々の処理を行う。
The
画像信号選択部1021は、光電変換部1012が変換し、配線部1013を通じて転送された画像信号から補正対象とする画像信号を決定する。 The image signal selection unit 1021 determines an image signal to be corrected from the image signal converted by the photoelectric conversion unit 1012 and transferred through the wiring unit 1013.
加重平均計算部1022は、画像信号選択部1021が決定した補正対象となる画像信号以外の画像信号において、画像信号から加重平均を計算する。具体的な計算方法は後述する。 The weighted average calculation unit 1022 calculates a weighted average from the image signals other than the image signal to be corrected determined by the image signal selection unit 1021. The specific calculation method will be described later.
第1減算部1023は、画像信号選択部1021にて決定した補正対象画像信号から加重平均計算部1022にて計算した補正対象以外の画像信号の加重平均を減算する。 The first subtraction unit 1023 subtracts the weighted average of image signals other than the correction target calculated by the weighted average calculation unit 1022 from the correction target image signal determined by the image signal selection unit 1021.
第1高周波成分削減部1024は、加重平均計算部1022にて計算した結果である加重平均にローパスフィルタを適用することで、高周波成分が削減されて、結果として低周波成分を抽出することができる。
The first high-frequency
第2減算部1025は、第1減算部1023の計算結果から、第1高周波成分削減部1024にて抽出された画像信号を減算する。
The second subtraction unit 1025 subtracts the image signal extracted by the first high frequency
第2高周波成分削減部1026は、第2減算部1025の計算結果にローパスフィルタを適用する。 The second high-frequency component reduction unit 1026 applies a low-pass filter to the calculation result of the second subtraction unit 1025.
第3減算部1027は、第2減算部1026にて計算した結果から、第2高周波成分削減部1026にて抽出された画像信号を減算する。 The third subtraction unit 1027 subtracts the image signal extracted by the second high frequency component reduction unit 1026 from the result calculated by the second subtraction unit 1026.
第4減算部1028は、画像信号選択部1021の決定した画像信号から第3減算部1027にて計算した画像信号を減算する。その結果、補正対象の画像信号は色ノイズが除去された画像信号となる。 The fourth subtraction unit 1028 subtracts the image signal calculated by the third subtraction unit 1027 from the image signal determined by the image signal selection unit 1021. As a result, the image signal to be corrected becomes an image signal from which color noise has been removed.
第1閾値部1029は、第2減算部1024の計算結果に適用し、計算結果が閾値範囲を超えた場合には閾値に置き換えるなどすることで、補正量をコントロールする。
The first threshold unit 1029 controls the correction amount by applying the calculation result of the
第2閾値部1030は、第3減算部1026の計算結果に適用し、計算結果が閾値範囲を超えた場合には閾値に置き換えるなどすることで、補正量をコントロールする。 The second threshold unit 1030 controls the correction amount by applying the calculation result of the third subtraction unit 1026 and replacing it with the threshold value when the calculation result exceeds the threshold range.
次に、本発明における画像信号処理方法について、図2のフローチャートを用いて実施例を説明する。 Next, an embodiment of the image signal processing method according to the present invention will be described using the flowchart of FIG.
図1に示すようにレンズ鏡筒100を通過した光束は、固体撮像素子101へ届き、マイクロレンズ1011を経て光電変換部1012へ導かれた後、画像信号へ変換される。本願実施例に用いられる固体撮像素子101は、1画素に3層の光電変換部1012が積層される。従って、1画素から3種類の画像信号が変換される。
As shown in FIG. 1, the light flux that has passed through the
ステップ#1の画像信号決定部では、固体撮像素子101の光電変換部1012にて変換された3種類の画像信号の中から、画像信号選択部1021が補正対象となる画像信号を決定する。
In the image signal determination unit in
ステップ#2では、ステップ#1にて画像信号選択部1021が決定した補正対象となる画像信号以外の2種類の画像信号を用いて、加重平均計算部1022は加重平均を計算する。
In
加重平均の係数は、ステップ#1にて決定した補正対象となる画像信号の分光感度と、補正対象となる画像信号以外の分光感度の差分から求める。
The weighted average coefficient is determined from the difference between the spectral sensitivity of the image signal to be corrected determined in
例えば、補正対象となる画像信号と分光感度の形状やピークが近い画像信号成分の加重平均の係数を大きくし、分光感度の形状やピークの違いが大きい画像信号であれば、加重平均の係数を小さくする。 For example, increase the weighted average coefficient for image signal components whose spectral sensitivity shape and peak are close to the image signal to be corrected, and increase the weighted average coefficient for image signals with large differences in spectral sensitivity shape and peak. Make it smaller.
ステップ#3では、第1減算部1023はステップ#1にて画像信号決定部1021が決定した補正対象となる画像信号から、ステップ#2にて加重平均計算部1022が計算した加重平均を減算する。この減算結果を第1減算結果とする。
In
ステップ#4では、第1高周波成分削減部1024がステップ#3の第1減算部1023の計算した第1減算結果は、ローパスフィルタを適用することで低周波成分を抽出する。
In
ステップ#4では、ローパスフィルタのフィルタサイズを比較的大きくして適用する。
In
ローパスフィルタのフィルタサイズを大きくする理由は、幅を持つ色ノイズの除去するためにあり、より広い範囲を考慮した信号を正しい色と判定するためである。 The reason for increasing the filter size of the low-pass filter is to remove color noise having a wide range, and to determine a signal that takes into account a wider range as the correct color.
仮にローパスフィルタのフィルタサイズを小さくした場合には、極端な信号に引っ張られるケースや、幅を持つノイズがある場合に、正しい色と判断される色の信頼性が低くなるためである。 This is because if the filter size of the low-pass filter were to be made small, the reliability of colors that are determined to be correct would decrease in cases where the signal is influenced by extreme signals or when there is noise with a wide range.
尚、低周波成分を抽出することが出来れば、ローパスフィルタを適用する方法以外にも、リサイズなどでも問題ない。 Note that as long as low frequency components can be extracted, there is no problem with resizing or the like in addition to the method of applying a low-pass filter.
具合的には、特定の比率で縮小リサイズを行い、その後、前記比率の逆数で拡大リサイズすることで、高周波成分を削減する方法などでも問題ない。 Specifically, there is no problem with a method in which high frequency components are reduced by reducing and resizing at a specific ratio, and then enlarging and resizing at the reciprocal of the ratio.
ステップ#5では、第2減算部1025がステップ#4にて抽出した低周波成分をステップ#3の第1減算結果から減算する。この結果を第2減算結果とし、第2減算結果は、高周波成分を抽出したものとなる。
In
この高周波成分はノイズ成分と共に、色滲み成分も持ってしまう。この色滲み成分はステップ#4で使用したローパスフィルタのフィルタサイズを大きくした影響で、エッジなどの著しい色の変化があった部分の周辺で発生する。
This high frequency component has a color blurring component as well as a noise component. This color blur component occurs around areas where there is a significant color change, such as edges, due to the effect of increasing the filter size of the low-pass filter used in
例えば、信号の小さい側から大きい側に変化するエッジがある部分に対しては、元信号からローパスフィルタ適用後の信号を引いて差分信号を算出した場合、信号の小さい側からエッジ部では、差分信号はエッジに近付く程マイナス量が少しずつ増え、信号の大きい側からエッジ部では、差分信号はエッジに近付く程プラス量が少しずつ増える特性を持つ。 For example, if a difference signal is calculated by subtracting the signal after applying a low-pass filter from the original signal for a portion where there is an edge that changes from the small side of the signal to the large side, then in the edge portion from the small side of the signal, the difference signal The signal has a characteristic in which the negative amount increases little by little as it approaches the edge, and the positive amount of the difference signal increases little by little as it approaches the edge from the side where the signal is large.
差分信号がエッジ付近でマイナス量及びプラス量が増える幅は、ローパスフィルタのフィルタサイズが大きい程広くなり色滲みの成分となる。 The range in which the difference signal increases in negative and positive amounts near the edge increases as the filter size of the low-pass filter increases, and becomes a component of color blur.
この高周波成分に含まれる色滲み成分は、エッジに近い程大きくなる特性を持つため、閾値を設ける事でエッジ付近の色滲みの量とノイズ成分を調整してもよい。 Since the color blurring component included in this high frequency component has a characteristic that it increases as it approaches the edge, the amount of color blurring and noise component near the edge may be adjusted by providing a threshold value.
ステップ#6では、第2高周波成分削減部1026がステップ#5にて第2減算部1025が算出した第2減算結果にローパスフィルタを適用する。
In
第2高周波成分削減部1026のローパスフィルタは、ステップ#4で使用したローパスフィルタのフィルタサイズよりもフィルタサイズを小さくすることで、前記エッジ部分の色滲み成分を含む画像信号となる。また、以下にフィルタサイズを小さくする理由を述べる。
By making the filter size of the low-pass filter of the second high-frequency component reduction unit 1026 smaller than that of the low-pass filter used in
例えば、ステップ#5で得られる高周波成分は前述した通り色滲み成分を含んでおり、この色滲み成分はエッジ部を境にプラス側成分とマイナス側成分に発生している。ステップ#6の第2高周波成分削減部は、特に色滲み成分のみを抽出したいため、なるべくエッジ部を境にしたプラス側成分毎およびエッジ部を境にしたマイナス側成分毎にローパスフィルタを掛けることが望まれる。
For example, the high frequency component obtained in
仮にステップ#4と同じサイズのローパスフィルタを掛けた場合、エッジ部を境にしたプラス側成分とエッジ部を境にしたマイナス側成分が足し合わされて、色滲み成分を除外することが出来なくなってしまう。
If a low-pass filter of the same size as in
ステップ#7では、第3減算部1027がステップ#5にて算出した第2減算結果からステップ#6にて第2減算結果にローパスフィルタを適用したものを減算する。この減算結果を第3減算結果とする。
In
第3の減算結果は、主に画像信号補正対象色と画像信号対象外以外の加重平均の差分信号のノイズ成分で構成される画像信号となる。 The third subtraction result becomes an image signal mainly composed of noise components of the weighted average difference signal between the image signal correction target color and the color other than the image signal target.
この高周波成分に残った色滲み成分は、エッジに近い程大きくなる特性を持つため、閾値を設ける事でエッジ付近の色滲みの量とノイズ成分を調整してもよい。 Since the color blurring component remaining in this high frequency component has a characteristic that it increases as it approaches the edge, the amount of color blurring and noise component near the edge may be adjusted by providing a threshold value.
ステップ#8では、第4減算部1026がステップ#7にて算出した第3減算結果からステップ#1にて画像信号決定部1021の決定した補正対象となる画像信号を減算する。この減算結果を第4減算結果とする。
In
この第4減算結果を画像信号決定部1021にて決定した補正対象画像信号の補正後の画像信号とする。 This fourth subtraction result is used as the corrected image signal of the correction target image signal determined by the image signal determination unit 1021.
補正対象画像信号は、処理前の画像信号と比較して、単色でノイズ処理をした場合よりも解像感を維持した状態で色ノイズが軽減された画像信号となる。 Compared to the image signal before processing, the correction target image signal becomes an image signal in which color noise is reduced while maintaining resolution compared to when noise processing is performed on a single color.
以下に、上記各ステップを具体的に説明する。 Each of the above steps will be specifically explained below.
本実施例では、光電変換部1012の変換した画像信号のうち、緑色(G)を補正対象の画像信号として、具体的に補正方法を説明する。 In this embodiment, a correction method will be specifically described using green (G) among the image signals converted by the photoelectric conversion unit 1012 as an image signal to be corrected.
補正対象の画像信号を緑色(G)としているので、ステップ#1で画像信号選択部1021は、緑色(G)を補正対象の画像信号となる。
Since the image signal to be corrected is green (G), in
次に、ステップ#2では、補正対象の画像信号である緑色(G)以外の画像信号である赤色(R)と青色(B)を用いて、加重平均計算部1022が加重平均を計算する。
Next, in
ステップ#1にて決定した補正対象となる画像信号とステップ#2にて加重平均を計算の基となる2種類の画像信号は、同一画素から得られる画像信号を用いている。なぜなら、本願実施例にて用いる固体撮像素子101は、前述したように1画素から3種類の画像信号を得ることが可能である積層型の固体撮像素子であるため。
The image signal to be corrected determined in
実施例の加重平均計算部1022が行う具体的な計算方法を示す。 A specific calculation method performed by the weighted average calculation unit 1022 of the embodiment will be described.
赤色(R)と青色(B)の画像信号をそれぞれRとBとし、係数をそれぞれαとβとすると加重平均は以下のように表せる。
加重平均:(α*R+β*B) (α+β=1)
If the red (R) and blue (B) image signals are R and B, respectively, and the coefficients are α and β, respectively, the weighted average can be expressed as follows.
Weighted average: (α*R+β*B) (α+β=1)
次に、ステップ#3で第1減算部1023の計算を説明する。光電変換部1012の変換した緑色(G)の画像信号をGとし、計算後の緑色(G)をG1とすると、以下の式となる。
G1=G-(α*R+β*B) (α+β=1)
Next, the calculation of the first subtraction unit 1023 will be explained in
G1=G-(α*R+β*B) (α+β=1)
ステップ#4では、ステップ#3にて計算したG1から低周波成分を抽出する。
G2=LPF(G1)
In
G2=LPF(G1)
ステップ#5では、ステップ#3にて計算したG1からステップ#4にて抽出した周波成分を減算する。G1から低周波成分を減算することで、高周波成分のみを抽出することが可能となる。
G3=G1-G2
In
G3=G1-G2
この高周波成分は緑色の画像信号と、赤色と青色を用いた加重平均の画像信号の違いとなり、緑色の高周波色ノイズ成分と成り得るが、同時に、この高周波成分はエッジ部分の色滲みを発生させる要素を持っている。 This high-frequency component becomes the difference between the green image signal and the weighted average image signal using red and blue, and can become a green high-frequency color noise component, but at the same time, this high-frequency component causes color blurring at the edges. have elements.
ステップ#6では、第2減算部1025の計算結果にステップ#4と同様にローパスフィルタを適用することで、第2減算部1025の計算結果より低周波成分を抽出する。
G4=LPF(G3)
この時、適用するローパスフィルタのサイズは、ステップ#4に用いたローパスフィルタよりも小さいフィルタサイズ(または縮小率)となる。
In
G4=LPF(G3)
At this time, the size of the low-pass filter to be applied has a smaller filter size (or reduction rate) than the low-pass filter used in
縮小率とは、ローパスフィルタの代わりにリサイズ処理を用いた場合の画像サイズ変更比率をあらわす。縮小率の値が大きいほど、リサイズで作成される画像は小さくなる。 The reduction ratio represents the image size change ratio when resizing processing is used instead of a low-pass filter. The larger the reduction ratio value, the smaller the image created by resizing.
ステップ#7では、ステップ#5の第2減算部1025にて求めた計算からステップ#6の第2高周波削減部1026にてローパスフィルタを適用された画像信号である。
G5=G3-G4
In
G5=G3-G4
また、追加実施例として、計算結果の代わりに閾値を用いることとしてもよい。 Further, as an additional embodiment, a threshold value may be used instead of the calculation result.
具体的には、ステップ#5と#6の間に、ステップ#5.5を追加する。ステップ#5.5は、第1閾値部1029がステップ#5にて第2減算部1025が計算した計算結果と閾値とを比較し、計算結果が閾値範囲外の場合、以降のステップにて用いる第2減算部1025の計算結果は閾値とする。
Specifically, step #5.5 is added between
同様にステップ#7と#8の間に、ステップ#7.5を追加する。ステップ#7.5は、第2閾値部1030がステップ#6にて第3減算部1027が計算した計算結果と第2閾値を比較し、計算結果が第2閾値範囲外の場合、以降のステップにて用いる第3減算部1027の計算結果は第2閾値とする。
Similarly, step #7.5 is added between
また、前述した実施例に追加して第1閾値部1029や第2閾値部1030を用いる方法は、いずれか一方の閾値部だけを追加してもよいし、両方の閾値部を追加してもよい。 Furthermore, in the method of using the first threshold section 1029 and the second threshold section 1030 in addition to the above-described embodiment, it is possible to add only one threshold section or both threshold sections. good.
ステップ#8は、一つ前の工程であるステップ#7又はステップ#7.5によって、計算された計算結果からステップ#1の画像信号決定部1021の決定した補正対象となる画像信号の補正後の画像信号となる。
In
また、これまでの実施例では、固体撮像素子101は、積層型を想定していたが、1画素に1種類の画像信号を有するベイヤー型の固体撮像素子を用いてもかまわない。 Further, in the embodiments described above, the solid-state image sensor 101 is assumed to be a stacked type, but a Bayer type solid-state image sensor having one type of image signal per pixel may be used.
積層型の固体撮像素子である場合、同一の位置の信号を取得出来る為、高周波情報の損失を防ぎ易く色ノイズ抑制効果を得られ易い。また、色が混色しているセンサの場合、他の色信号にも対象信号の高周波情報が含まれるため、高周波情報の損失を防ぎ易く色ノイズ抑制効果を得られ易い。 In the case of a stacked solid-state image sensor, since signals at the same position can be acquired, loss of high-frequency information can be easily prevented and color noise suppressing effects can be easily obtained. Furthermore, in the case of a sensor in which colors are mixed, high frequency information of the target signal is included in other color signals, so it is easy to prevent loss of high frequency information and obtain a color noise suppressing effect.
また、ベイヤー型の固体撮像素子では、1画素から1種類の画像信号しか得ることができない。そこで、他の2種類の画像信号については、周辺の画素より補間することで得ることができる。本願発明にて、ベイヤー型の固体撮像素子を用いる場合、補間処理にて1画素の画像信号を3種類の状態にしてから、ステップ#1の補正対象となる画像信号を決定することで、以後の処理は積層型の固体撮像素子を用いる場合と同様とすることが可能である。
Furthermore, with a Bayer type solid-state image sensor, only one type of image signal can be obtained from one pixel. Therefore, the other two types of image signals can be obtained by interpolating from surrounding pixels. In the present invention, when a Bayer type solid-state image sensor is used, the image signal of one pixel is changed into three types of states through interpolation processing, and then the image signal to be corrected in
10 撮像装置
100 レンズ鏡筒
101 固体撮像素子
1011 マイクロレンズ
1012 光電変換部
1013 配線層
102 CPU
1020 減算部
1021 画像信号決定部
1022 線形和計算部
1023 第1ローパスフィルタ部
1024 第1減算部
1025 第2ローパスフィルタ部
1026 第2減算部
1027 第3減算部
1028 第1閾値部
1029 第2閾値部
10
1020 Subtraction unit 1021 Image signal determination unit 1022 Linear sum calculation unit 1023 First low-
Claims (5)
補正対象の色となる1色の前記色画像信号を補正対象信号値として選択する画像信号選択部と、
前記補正対象信号値以外の前記複数の色画像信号の加重平均信号値を計算する加重平均計算部と、
前記補正対象信号値から前記加重平均信号値を減算して第1の減算信号値を求める第1減算部と、
前記第1の減算信号値にローパスフィルタを適用することで第1の高周波成分削減信号値を算出する第1高周波成分削減部と、
前記第1の減算信号値から前記第1の高周波成分削減信号値を減算して第2の減算信号値を算出する第2減算部と、
前記第2の減算信号値にローパスフィルタを適用することで第2の高周波成分削減信号値を算出する第2高周波成分削減部と、
前記第2の減算信号値から前記第2の高周波成分削減信号値を減算して第3の減算信号値を算出する第3減算部と、
前記補正対象信号値から前記第3の減算信号値を減算して第4の減算信号値を算出する第4減算部と、
からなり、
前記第4の減算信号値を前記画像信号選択部にて選択した前記補正対象信号値とすることを特徴とする画像信号処理方法。 In an image signal processing method for processing multiple color image signals,
an image signal selection unit that selects the color image signal of one color that is a color to be corrected as a signal value to be corrected;
a weighted average calculation unit that calculates a weighted average signal value of the plurality of color image signals other than the correction target signal value;
a first subtraction unit that obtains a first subtraction signal value by subtracting the weighted average signal value from the correction target signal value;
a first high-frequency component reduction unit that calculates a first high-frequency component reduction signal value by applying a low-pass filter to the first subtraction signal value;
a second subtraction unit that calculates a second subtraction signal value by subtracting the first high frequency component reduction signal value from the first subtraction signal value;
a second high-frequency component reduction unit that calculates a second high-frequency component reduction signal value by applying a low-pass filter to the second subtraction signal value;
a third subtraction unit that calculates a third subtraction signal value by subtracting the second high frequency component reduction signal value from the second subtraction signal value;
a fourth subtraction unit that calculates a fourth subtraction signal value by subtracting the third subtraction signal value from the correction target signal value;
Consisting of
An image signal processing method characterized in that the fourth subtraction signal value is the correction target signal value selected by the image signal selection section .
前記第1高周波成分削減部は、前記第1の減算信号値をリサイズ縮小したのち、再度リサイズ拡大して元のサイズに戻すことで第1の高周波成分削減信号値を算出することを特徴とする画像信号処理方法。 Regarding the image signal processing method according to claim 1,
The first high-frequency component reduction unit is characterized in that after resizing and reducing the first subtraction signal value, the first subtraction signal value is resized and enlarged again to return to the original size, thereby calculating a first high-frequency component reduction signal value. Image signal processing method.
前記第2減算部は、前記第2の減算信号値が閾値を超える場合には、前記第2の減算信号値を閾値に置き換える処理を適用する第1閾値部を有することを特徴とする画像信号処理方法。 Regarding the image signal processing method according to any one of claims 1 to 2,
The second subtraction unit includes a first threshold unit that applies a process of replacing the second subtraction signal value with a threshold value when the second subtraction signal value exceeds a threshold value. Processing method.
前記第3減算部は、前記第3の減算信号値が閾値を超える場合には、前記第3の減算信号値を閾値に置き換える処理を適用する第2閾値部を有することを特徴とする画像信号処理方法。 Regarding the image signal processing method according to any one of claims 1 to 3,
The third subtraction unit includes a second threshold unit that applies a process of replacing the third subtraction signal value with a threshold value when the third subtraction signal value exceeds a threshold value. Processing method.
前記複数の色画像信号は、積層型の固体撮像素子により変換された画像信号であることを特徴とする画像信号処理方法。 Regarding the image signal processing method according to any one of claims 1 to 4 ,
An image signal processing method, wherein the plurality of color image signals are image signals converted by a stacked solid-state image sensor.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019103566A JP7423033B2 (en) | 2019-06-03 | 2019-06-03 | Image signal processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019103566A JP7423033B2 (en) | 2019-06-03 | 2019-06-03 | Image signal processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020198540A JP2020198540A (en) | 2020-12-10 |
JP7423033B2 true JP7423033B2 (en) | 2024-01-29 |
Family
ID=73649341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019103566A Active JP7423033B2 (en) | 2019-06-03 | 2019-06-03 | Image signal processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7423033B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7463666B2 (en) | 2019-03-29 | 2024-04-09 | いすゞ自動車株式会社 | Transportation management device and transportation management program |
JP7371342B2 (en) | 2019-03-29 | 2023-10-31 | いすゞ自動車株式会社 | Transportation management device and transportation management method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002074356A (en) | 2000-08-28 | 2002-03-15 | Fuji Photo Film Co Ltd | Method and device for processing picture and recording medium |
JP2005128006A (en) | 2003-09-29 | 2005-05-19 | Brother Ind Ltd | Three-dimensional shape detector, imaging device, and three-dimensional shape detecting program |
US20150310602A1 (en) | 2014-04-23 | 2015-10-29 | Samsung Electronics Co., Ltd. | X-ray imaging apparatus and image processing method thereof |
JP2017129952A (en) | 2016-01-19 | 2017-07-27 | ソニー株式会社 | Data processor, imaging apparatus and data processing method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0730905A (en) * | 1993-07-06 | 1995-01-31 | Matsushita Electric Ind Co Ltd | Picture element defect correction device |
-
2019
- 2019-06-03 JP JP2019103566A patent/JP7423033B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002074356A (en) | 2000-08-28 | 2002-03-15 | Fuji Photo Film Co Ltd | Method and device for processing picture and recording medium |
JP2005128006A (en) | 2003-09-29 | 2005-05-19 | Brother Ind Ltd | Three-dimensional shape detector, imaging device, and three-dimensional shape detecting program |
US20150310602A1 (en) | 2014-04-23 | 2015-10-29 | Samsung Electronics Co., Ltd. | X-ray imaging apparatus and image processing method thereof |
JP2017129952A (en) | 2016-01-19 | 2017-07-27 | ソニー株式会社 | Data processor, imaging apparatus and data processing method |
Also Published As
Publication number | Publication date |
---|---|
JP2020198540A (en) | 2020-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5527448B2 (en) | Image input device | |
US7697044B2 (en) | Image processing apparatus and image processing method | |
JP5349790B2 (en) | Image processing apparatus, image processing method, and program | |
US8526761B2 (en) | Image processing apparatus and image sensing apparatus | |
EP1931130B1 (en) | Image processing apparatus, image processing method, and program | |
EP1528793B1 (en) | Image processing apparatus, image-taking system and image processing method | |
EP2162863B1 (en) | Non-linear transformations for enhancement of images | |
KR101099401B1 (en) | Image processing apparatus and computer-readable medium | |
US20120026357A1 (en) | Image input device | |
JP2008289090A (en) | Imaging signal processor | |
JP5020615B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP2007041834A (en) | Image processor | |
JP2003304549A (en) | Camera and image signal processing system | |
US8189066B2 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
JP2008147980A (en) | Image processor, image sensing device, method for processing image, program and recording medium | |
JP7423033B2 (en) | Image signal processing method | |
JP5907590B2 (en) | Image processing apparatus, image processing method, and program | |
JP2009124580A (en) | Image processing apparatus, and image processing method | |
WO2017154293A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP2009284009A (en) | Image processor, imaging device, and image processing method | |
JP3863808B2 (en) | Outline enhancement circuit | |
JP5330291B2 (en) | Signal processing apparatus and imaging apparatus | |
JP4086572B2 (en) | Video signal processing device | |
KR100999888B1 (en) | Apparatus for Processing Image Siganls, Method for Reducing luminence Noise in the Image Signal Processing Apparatus and Record Medium for Performing Method of Reducing luminence Noise | |
JP5178421B2 (en) | Image processing apparatus, image processing method, and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230607 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230922 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7423033 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |