KR20100101380A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- KR20100101380A KR20100101380A KR1020090019847A KR20090019847A KR20100101380A KR 20100101380 A KR20100101380 A KR 20100101380A KR 1020090019847 A KR1020090019847 A KR 1020090019847A KR 20090019847 A KR20090019847 A KR 20090019847A KR 20100101380 A KR20100101380 A KR 20100101380A
- Authority
- KR
- South Korea
- Prior art keywords
- noise
- signal
- photoelectric conversion
- image
- conversion unit
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 43
- 238000003672 processing method Methods 0.000 title claims description 21
- 230000035945 sensitivity Effects 0.000 claims abstract description 101
- 238000003384 imaging method Methods 0.000 claims abstract description 84
- 238000012937 correction Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 claims description 92
- 238000003860 storage Methods 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 abstract description 6
- 230000008030 elimination Effects 0.000 abstract description 2
- 238000003379 elimination reaction Methods 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 abstract 1
- 230000001131 transforming effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 17
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 영상 처리 장치 및 영상 처리 방법에 관한 것으로, 보다 상세하게는 고감도로 촬영을 실행할 때에 광전 변환부의 제조시에 미리 획득하여 저장해둔 잡음 신호 정보를 이용하여 신호 중의 잡음을 제거함으로써 촬영 시간이 단축될 수 있는 영상 처리 장치 및 영상 처리 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and an image processing method, and more particularly, to photographing at a high sensitivity by removing noise in a signal using noise signal information previously obtained and stored at the time of manufacturing a photoelectric conversion unit. The present invention relates to an image processing apparatus and an image processing method that can be shortened.
필름 카메라를 이용하던 시절에는 적은 광량 환경에서 촬영하거나 빠른 동작 변화를 촬영하기 위해서 고감도(ISO)의 필름을 이용하였다. 그러나 씨씨디(CCD) 나 씨모스(CMOS)와 같은 촬상소자(이미지 센서)가 필름을 대체한 최근의 카메라 에서는, 카메라의 ISO 설정을 변경하면 된다. In the days of film cameras, high sensitivity (ISO) film was used to shoot in low light conditions or to capture fast motion changes. However, in recent cameras in which imaging devices (image sensors) such as CCD and CMOS have replaced film, the ISO setting of the camera may be changed.
그런데 디지털 카메라의 ISO 설정을 고감도로 변경한다는 것은, 이미지 센서의 신호를 증폭시켜 센서 자체의 감도(sensitivity)를 증가키는 것을 의미한다. 모든 전기 회로와 마찬가지로 이미지 센서의 신호에도 원하지 않는 신호인 노이즈(잡음)가 포함된다. 디지털 이미지에서 노이즈는 잘못된 색상을 갖는 입자나 점, 선 등의 형태로 나타난다.However, changing the ISO setting of the digital camera to high sensitivity means amplifying the signal of the image sensor to increase the sensitivity of the sensor itself. As with all electrical circuits, the signal from the image sensor contains noise (noise), an unwanted signal. In digital images, noise appears in the form of particles, dots, or lines with the wrong color.
낮은 ISO 설정에서는 이미지 센서에 의해 생성되는 신호에 대해 노이즈의 크기가 상대적으로 작다. 이로 인해 이미지 센서의 노이즈는 촬영 결과의 품질에 큰 영향을 미치지 않는다. ISO 설정을 높게 하는 경우 카메라의 이미지 센서는 더 약한 신호들을 증폭시켜야 하지만, 카메라는 어떤 신호가 노이즈이고 어떤 신호가 원하는 신호인지 구별할 수 없다. 결국 고감도의 ISO 설정에서는 노이즈도 크게 증폭되어, 촬영 결과물에서 많은 노이즈를 발견할 수 있다. 이와 같은 신호(실제 이미지 정보를 포함하는 신호)와 노이즈(바람직하지 않은 잘못된 정보)의 관계는 신호대 잡음비(signal to noise ration; S/N ration)로 알려져 있으며, 신호대 잡음비가 높을수록 사진에 나타나는 노이즈가 감소할 수 있다.At low ISO settings, the amount of noise is relatively small for the signal produced by the image sensor. Because of this, the noise of the image sensor does not significantly affect the quality of the photographing result. At higher ISO settings, the camera's image sensor must amplify weaker signals, but the camera can't tell which signal is the noise and which one is the desired signal. As a result, the noise is also greatly amplified at high ISO settings, and a lot of noise can be found in the shooting result. The relationship between such a signal (a signal containing actual image information) and noise (undesired false information) is known as a signal to noise ratio (S / N ratio), and the higher the signal-to-noise ratio, the more noise in the picture. May decrease.
디지털 카메라에서는 상술한 바와 같이 ISO 설정을 고감도로 하여 촬영할 때에 발생하는 노이즈를 저감시키기 위해, 여러 가지 방법이 고안되어 왔다. As described above, in the digital camera, various methods have been devised to reduce noise generated when shooting with high ISO setting.
노이즈를 저감하기 위한 종래의 기술의 일예로, 일본 공개특허공보 제2002-125155호에는 촬영시에 이미지 센서에 외부 광이 입사하지 못하도록 차광을 실시한 상태에서 실시하는 노이즈 획득용 촬영과 피사체를 촬영하는 본 촬영으로 2회에 걸쳐 촬영을 실행한 후, 본 촬영에서 얻은 이미지에서 노이즈 획득용 촬영을 통해 얻은 노이즈를 제거하는 기술이 개시되었다. As an example of a conventional technique for reducing noise, Japanese Laid-Open Patent Publication No. 2002-125155 discloses a noise-acquisition photographing and a photographing subject performed in a state where shading is performed so that external light does not enter the image sensor during photographing. After photographing two times with this photographing, a technique of removing noise obtained through photographing for noise acquisition from an image obtained by the photographing has been disclosed.
도 1은 종래의 영상 처리 장치에서 노이즈를 제거하기 위한 작동의 예를 나타내는 신호 그래프이다.1 is a signal graph illustrating an example of an operation for removing noise in a conventional image processing apparatus.
2회에 걸쳐 촬영을 실행한 후 노이즈를 제거하는 방식을 이용하는 종래의 영상 처리 장치에서는 촬영 시간이 길어지는 단점이 있다. 도 1 첫 번째 촬영에 약 1.7 초가 소요되는데, 두 번째 촬영에 소요되는 시간도 동일하게 1.7 초이다. 이로 인해 촬영 후 노이즈를 제거하기 위해서는 두 배의 시간이 소요되어야 한다.In the conventional image processing apparatus using a method of removing noise after performing shooting twice, there is a disadvantage in that the shooting time is long. FIG. 1 takes about 1.7 seconds for the first shot, and 1.7 seconds for the second shot. Because of this, it takes twice as long to remove noise after shooting.
최근에는 디지털 카메라에 사용되는 이미지 센서의 화소수가 급격히 증가하였는데, 종래의 방식으로 2회에 걸쳐 촬영을 실시하면 1회의 촬영만을 행하는 경우에 비해 2배 이상이 소요되기 때문에 사용상의 불편함을 증가시키는 문제점이 있었다. In recent years, the number of pixels of an image sensor used in a digital camera has sharply increased. However, if a user shoots twice in a conventional manner, it takes more than twice as much as taking a single shot. There was a problem.
본 발명의 목적은 고감도로 촬영을 실행할 때에도 발생하는 노이즈(잡음)가 효과적으로 제거되는 영상 처리 장치 및 영상 처리 방법을 제공하는 데 있다.It is an object of the present invention to provide an image processing apparatus and an image processing method in which noise (noise) generated even when shooting with high sensitivity is effectively removed.
본 발명의 다른 목적은 고감도로 촬영을 실행할 때에 발생하는 노이즈(잡음) 제거를 위한 소요 시간이 크게 단축되는 영상 처리 장치 및 영상 처리 방법을 제공하는 데 있다.It is another object of the present invention to provide an image processing apparatus and an image processing method in which a time required for removing noise (noise) generated when shooting with high sensitivity is greatly shortened.
본 발명은 고감도로 촬영을 실행할 때에 광전 변환부의 제조시에 미리 획득하여 저장해둔 잡음 신호 정보를 이용하여 신호 중의 잡음을 제거하는 영상 처리 장치 및 영상 처리 방법을 제공한다.The present invention provides an image processing apparatus and an image processing method for removing noise in a signal by using noise signal information previously acquired and stored at the time of manufacturing a photoelectric conversion unit when photographing with high sensitivity.
본 발명에 관한 영상 처리 장치는, 영상광을 전기 신호로 변환하는 복수 개의 화소들을 구비하여 영상광을 화상 신호로 변환하여 출력하는 광전 변환부와, 화소들의 전기 신호의 세기를 변경하여 광전 변환부가 동작하는 촬상 감도를 설정 하는 감도 제어부와, 광전 변환부가 촬상 동작을 수행하도록 감도 제어부에 의해 설정되는 촬상 감도에 대응하여 화소들의 전기 신호에 포함되는 잡음 신호에 관한 잡음 신호 정보를 저장하는 잡음 저장부와, 광전 변환부가 화상 신호를 생성할 때의 촬상 감도에 해당하는 잡음 신호를 광전 변환부의 화상 신호로부터 감산하는 잡음 보정부를 구비한다.An image processing apparatus according to the present invention includes a photoelectric conversion unit including a plurality of pixels for converting image light into an electrical signal, and converting and outputting the image light into an image signal, and a photoelectric conversion unit by changing the intensity of an electrical signal of the pixels. A sensitivity controller configured to set an operating imaging sensitivity, and a noise storage unit storing noise signal information regarding a noise signal included in an electrical signal of the pixels corresponding to the imaging sensitivity set by the sensitivity controller so that the photoelectric conversion unit performs the imaging operation And a noise correction unit for subtracting a noise signal corresponding to the imaging sensitivity when the photoelectric conversion unit generates the image signal from the image signal of the photoelectric conversion unit.
본 발명에 있어서, 잡음 저장부에 저장되는 잡음 신호 정보는, 광전 변환부의 제조시에 화소들에 입사되는 광을 차단한 상태에서 각각의 촬상 감도에 대응하도록 화소들의 전기 신호를 변경하여 광전 변환부로부터 획득되는 블랙 이미지 화상 신호를 포함할 수 있다.In the present invention, the noise signal information stored in the noise storage unit may change the electrical signal of the pixels so as to correspond to each imaging sensitivity in a state in which light incident on the pixels is blocked at the time of manufacturing the photoelectric conversion unit, thereby changing the electrical signal of the photoelectric conversion unit. It may include a black image picture signal obtained from.
본 발명에 있어서, 잡음 보정부는 감도 제어부에 의해 설정된 촬상 감도가 소정 범위에 해당할 때에 잡음 신호를 광전 변환부의 화상 신호로부터 감산할 수 있다.In the present invention, the noise correction unit can subtract the noise signal from the image signal of the photoelectric conversion unit when the imaging sensitivity set by the sensitivity control unit falls within a predetermined range.
본 발명에 있어서, 잡음 저장부에 저장되는 잡음 신호 정보는, 블랙 이미지 화상 신호가 획득될 때에 검출된 광전 변환부의 온도 정보를 포함할 수 있다.In the present invention, the noise signal information stored in the noise storage unit may include temperature information of the photoelectric conversion unit detected when the black image image signal is obtained.
본 발명에 있어서, 영상 처리 장치는 광전 변환부의 온도를 감지하는 온도 감지부를 더 구비할 수 있고, 잡음 보정부는 온도 감지부에 의해 감지된 온도가 감도 제어부에 의해 설정된 촬상 감도에 대응하여 잡음 저장부에 저장된 온도 정보의 소정 범위 이내일 때에 잡음 신호를 광전 변환부의 화상 신호로부터 감산할 수 있다.In the present invention, the image processing apparatus may further include a temperature sensing unit for sensing the temperature of the photoelectric conversion unit, the noise correction unit, the noise storage unit in response to the imaging sensitivity set by the sensitivity control unit temperature detected by the temperature sensing unit The noise signal can be subtracted from the image signal of the photoelectric conversion section when it is within a predetermined range of the temperature information stored in the.
본 발명에 관한 영상 처리 방법은, 영상광을 전기 신호로 변환하는 복수 개의 화소들을 구비하는 광전 변환부에서 화소들의 전기 신호의 세기를 변경하여 광전 변환부가 동작하는 촬상 감도를 설정하는 감도 설정 단계와, 광전 변환부를 구동하여 영상광을 화상 신호로 변환하여 출력하는 촬상 단계와, 광전 변환부가 촬상 동작을 수행하는 촬상 감도에 대응하여 화소들의 전기 신호에 포함되는 잡음 신호에 관해 미리 저장해 놓은 잡음 신호 정보를 이용해 광전 변환부의 화상 신호로부터 잡음 신호를 감산하는 잡음 보정 단계를 포함한다. An image processing method according to the present invention includes a sensitivity setting step of setting an imaging sensitivity at which a photoelectric conversion unit operates by changing an intensity of an electrical signal of pixels in a photoelectric conversion unit including a plurality of pixels for converting image light into an electrical signal; And an imaging signal for driving the photoelectric conversion unit to convert the image light into an image signal and outputting the image signal, and the noise signal information previously stored about the noise signal included in the electrical signal of the pixels corresponding to the imaging sensitivity at which the photoelectric conversion unit performs the imaging operation. And a noise correction step of subtracting the noise signal from the image signal of the photoelectric conversion unit.
상술한 바와 같은 본 발명의 영상 처리 장치 및 영상 처리 방법은, 고감도로 촬영을 실행할 때에 발생하는 잡음(노이즈)이 효과적으로 제거될 수 있다. 또한 광전 변환부의 제조시에 미리 획득하여 저장해둔 잡음 신호 정보를 이용하여 잡음 제거 처리가 이루어지므로 잡음 제거를 위한 별도의 추가 시간이 소요되지 않아 촬영 시간이 단축될 수 있다.In the image processing apparatus and image processing method of the present invention as described above, noise (noise) generated when shooting with high sensitivity can be effectively removed. In addition, since the noise removing process is performed by using the noise signal information previously acquired and stored at the time of manufacturing the photoelectric conversion unit, the additional time for removing the noise may not be required and the shooting time may be shortened.
이하, 첨부 도면의 실시예들을 통하여, 본 발명에 관한 영상 처리 장치 및 영상 처리 방법의 구성과 작용을 상세히 설명한다.Hereinafter, the configuration and operation of an image processing apparatus and an image processing method according to the present invention will be described in detail with reference to the accompanying drawings.
도 2는 본 발명의 일 실시예에 관한 영상 처리 장치의 각 구성 요소를 개략적으로 나타낸 블록도이다.2 is a block diagram schematically illustrating each component of an image processing apparatus according to an exemplary embodiment of the present invention.
도 2에 나타난 실시예에 관한 영상 처리 장치는, 복수 개의 화소들(21)을 구비하는 광전 변환부(20)와, 광전 변환부(20)가 동작하는 촬상 감도를 설정하는 감도 제어부(32)와, 광전 변환부(20)가 동작하는 촬상 감도에 대응하여 화소들(21) 의 전기 신호에 포함된 잡음 신호에 관한 정보를 저장하는 잡음 저장부(40)와, 광전 변환부(20)의 화상 신호에서 잡음 신호를 감산하는 잡음 보정부(50)를 구비한다.The image processing apparatus according to the embodiment illustrated in FIG. 2 includes a
광전 변환부(20)는 광학계(10)를 통해 입사되는 영상광을 화상 신호로 변환하는 기능을 수행한다. 광전 변환부(20)에는 씨씨디(CCD; charge coupled device) 또는 씨모스(CMOS; complementary metal oxide semiconductor)와 같은 광전 변환 기능을 수행할 수 있는 촬상소자가 사용될 수 있다. 광전 변환부(20)는 매트릭스 형태로 배치되어 영상광을 전기 신호로 변환할 수 있는 복수 개의 화소들(21)을 구비하여, 광학계(10)를 통해 입사된 영상광을 전기적 신호인 화상 신호로 변환한다. The
광전 변환부(20)는 촬영 제어부(30)에 의해 제어되어 영상광을 화상 신호로 변환하여 출력하는 촬상 동작을 수행할 수 있다. 촬영 제어부(30)는 광전 변환부(20)의 각각의 화소들(21)을 구동하는 구동부(31)와, 화소들(21)의 전기 신호의 세기를 변경하여 광전 변환부(20)가 동작하는 촬상 감도를 설정하는 감도 제어부(32)를 구비한다.The
아날로그 디지털 변환기(A/D 변환기; 25)는 광전 변환부(20)에 의해 생성된 화상 신호를 디지털 신호로 변환하는 기능을 수행한다. A/D 변환기(25)에 의해 광전 변환부(20)에서 출력된 아날로그 화상 신호(Ao)는 디지털 화상 신호(Do)로 변환된다. The analog-to-digital converter (A / D converter) 25 performs a function of converting the image signal generated by the
잡음 저장부(40)는 광전 변환부(20)가 촬상 동작을 수행하는 촬상 감도에 대응하여, 화소들(21)의 전기 신호에 포함되는 잡음 신호에 관한 잡음 신호 정보를 저장하는 기능을 한다. 잡음 저장부(40)에는 광전 변환부(20)의 제조시에 저장된 잡음 신호 정보가 미리 저장될 수 있다.The
도 3은 도 2에 나타난 영상 처리 장치에서 잡음 저장부에 촬상 감도에 대응하는 잡음 신호 정보를 저장하는 작동 상태를 나타낸 블록도이다.3 is a block diagram illustrating an operation state of storing noise signal information corresponding to imaging sensitivity in a noise storage unit in the image processing apparatus illustrated in FIG. 2.
도 3에서는 광전 변환부(20)에 입사되는 광을 차단한 상태에서 광전 변환부(20)로부터 획득되는 블랙 이미지 화상 신호(Db)를 잡음 저장부(40)에 저장한다. 블랙 이미지 화상 신호(Db)는 광전 변환부(20)의 촬상 감도의 각 단계에 대응하도록 화소들(21)의 전기 신호를 변경하여 획득된다. In FIG. 3, the black image image signal Db obtained from the
종래에는 고감도 ISO 촬영시에 촬상소자에서 발생하는 노이즈를 제거하기 위해, 촬상소자를 차광 상태로 차광하여 얻은 프레임을 온도를 고려하지 않고 촬상소자의 화상 신호에서 프레임 감산 처리(frame subtraction)를 행하였다. 그러나 이러한 종래 방식에 의하면 온도가 고려되지 않음으로 인해 노이즈 제거 효과가 확실하지 않은 문제점이 있었다.Conventionally, in order to remove noise generated in an image pickup device during high ISO shooting, a frame subtraction is performed on an image signal of the image pickup device without considering temperature in a frame obtained by shielding the image pickup device in a light shielding state. . However, according to this conventional method, there is a problem that the noise removing effect is not clear because the temperature is not considered.
따라서 잡음 저장부(40)에 저장되는 블랙 이미지 화상 신호(Db)는 광전 변환부(20)의 온도 정보를 포함할 수 있다. 이를 위해 도 3에 도시된 바와 같이 광전 변환부(20)에는 온도 센서(15)가 배치된다. 블랙 이미지 화상 신호(Db)에 온도 정보를 포함하는 이유는, 고감도 ISO 촬영시 촬상소자에서 발생하는 노이즈는 온도와 밀접한 관련이 있기 때문이다.Therefore, the black image image signal Db stored in the
잡음 저장부(40)에 블랙 이미지 화상 신호가 저장될 때의 기준 정보들의 예를 들면, ISO 1600(촬상 감도)에서 45 ℃, ISO 1600에서 50 ℃, ISO 1600에서 55 ℃, ISO 1600에서 60 ℃, ISO 3200에서 45 ℃, ISO 3200에서 50 ℃, ISO 3200에서 55 ℃, ISO 3200에서 60 ℃ 가 될 수 있다. 이와 같이 잡음 저장부(40)에는 고감도 촬상 감도에서 화소들의 전기 신호에 포함되는 잡음 신호에 관한 정보와 함께 온도 정보가 저장되므로, 이하에서 설명할 잡음 보정부(50)에 의한 잡음 제거 효과가 향상될 수 있다.Examples of reference information when the black image image signal is stored in the
도 2를 참조하면, 잡음 보정부(50)는 광전 변환부(20)의 화상 신호(Do)로부터 잡음 저장부(40)의 잡음 신호(Db)를 감산하는 기능을 수행한다. 잡음 보정부(50)는 보정 여부를 판단하는 보정 판단부(51)와, 신호의 감산 처리를 행하는 감산기(52)를 구비할 수 있다. 감산기(52)는 광전 변환부(20)가 화상 신호(Do)를 생성할 때의 촬상 감도에 해당하는 잡음 신호(Db)를 대응시켜 감산 처리를 수행한다.Referring to FIG. 2, the
보정 판단부(51)는 광전 변환부(20)가 촬상 동작을 수행하는 현재의 촬상 감도가 잡음 제거가 필요한지를 판단하는 기능을 한다. 영상 처리 장치에서는 광전 변환부(20)의 특성에 기초하여 잡음이 잘 발생하지 않는 촬상 감도의 범위에 대해서는 잡음 보정부(50)가 잡음 제거 처리를 실행하지 않도록 보정 판단부(51)를 미리 설정해 놓을 수 있다. The
보정 판단부(51)가 잡음 제거의 필요 여부를 판단할 때에는 촬상 동작을 수행하는 광전 변환부(20)의 작동 온도를 고려할 수 있다. 이를 위해 영상 처리 장치는 광전 변환부(20)의 온도를 감지하는 온도 센서(15)를 구비할 수 있다. 온도 센서(15)에 의해 감지된 광전 변환부(20)의 온도는 보정 판단부(51)에 입력되고, 광전 변환부(20)의 촬상 감도를 설정한 감도 제어부(32)의 감도 제어 신호도 보정 판단부(51)에 입력된다. When the
보정 판단부(51)는 광전 변환부(20)의 동작 온도가 현재 설정된 촬상 감도에 대응하여 잡음 저장부(40)에 저장된 잡음 신호 정보의 온도 정보의 소정 범위 이내일 때에, 잡음을 제거할 필요가 있는 것으로 판단할 수 있다. 그러므로 보정 판단부(51)는 현재 광전 변환부(20)가 작동하는 촬상 감도가 잡음의 제거가 필요한 고감도 영역인 경우에도, 광전 변환부(20)의 온도가 잡음을 일으키는 범위에 해당하지 않으면 잡음을 제거하는 처리가 필요 없는 것으로 판단할 수도 있다.The
또한 보정 판단부(51)는 광전 변환부(20)의 작동 온도와 촬상 감도가 잡음 제거가 필요한 경우라고 판단한 경우에는, 잡음 저장부(40)로부터 광전 변환부(20)의 촬상 감도와 작동 온도에 대응하는 잡음 신호(Db)를 읽어와 감산기(52)에 의한 감산 처리를 실행시킬 수 있다.In addition, when the
잡음 보정부(50)에 의해 화상 신호(Do)에 대한 잡음 제거 처리가 완료되면, 잡음이 제거된 신호(Dn)가 출력된다. 신호 처리부(75)에서는 잡음이 제거된 신호(Dn)에 대한 영상 처리를 수행할 수 있다. 예를 들어, 신호 처리부(75)는 디지털 신호에 대한 픽셀 결함 보정, 게인 보정, 화이트 밸런스 보정, 감마 보정 등의 신호 처리와 같은 세부 단계들을 실행할 수 있다. When the noise canceling process for the image signal Do is completed by the
도 4는 본 발명의 일 실시예에 관한 영상 처리 방법의 단계들을 나타낸 순서도이다.4 is a flowchart illustrating steps of an image processing method according to an embodiment of the present invention.
도 4에 나타난 영상 처리 방법은, 광전 변환부가 동작하는 촬상 감도를 설 정하는 감도 설정 단계(S100)와, 광전 변환부를 구동하여 촬상을 실행하는 촬상 단계(S110)와, 화상 신호에서 촬상 감도에 대응하여 미리 저장된 잡음 신호를 감산하는 잡음 보정 단계(S130)를 포함한다. 영상 처리 방법은 잡음의 보정이 필요한지를 판단하는 보정 판단 단계(S120)를 더 포함할 수 있다.The image processing method shown in FIG. 4 corresponds to a sensitivity setting step (S100) of setting an imaging sensitivity at which the photoelectric conversion unit operates, an imaging step (S110) of driving the photoelectric conversion unit to perform imaging, and an image sensitivity in the image signal. And a noise correction step (S130) of subtracting the prestored noise signal. The image processing method may further include a correction determination step S120 of determining whether noise correction is necessary.
감도 설정 단계(S100)는 광전 변환부가 동작하는 촬상 감도를 설정하는 단계이다. 광전 변환부는 씨씨디(CCD)나 씨모스(CMOS)와 같이 입사되는 영상광을 전기 신호로 변환하는 복수 개의 화소들의 구비하는 촬상소자이다. 감도 설정 단계(S100)에서는 화소들의 전기 신호의 세기를 변경하여 촬상 감도를 설정한다.The sensitivity setting step S100 is a step of setting the imaging sensitivity at which the photoelectric conversion unit operates. The photoelectric conversion unit is an imaging device including a plurality of pixels that convert incident image light such as a CCD or a CMOS into an electric signal. In the sensitivity setting step S100, the imaging sensitivity is set by changing the intensity of the electric signals of the pixels.
촬상 단계(S110)는 감도 설정 단계(S100)에서 설정된 촬상 감도에 의해 광전 변환부를 구동함으로써 영상광을 화상 신호로 변환하여 출력하는 단계이다.The imaging step S110 is a step of converting image light into an image signal by driving the photoelectric conversion unit with the imaging sensitivity set in the sensitivity setting step S100 to output the image signal.
잡음 보정 단계(S130)는 광전 변환부가 촬상 동작을 수행하는 촬상 감도에 대응하는 잡음 신호 정보를 이용함으로써, 광전 변환부의 화상 신호로부터 잡음 신호를 감산하는 단계이다. 잡음 신호 정보는 광전 변환부의 제조시에 미리 저장되는 정보로서, 화소들에 입사되는 광을 차단한 상태에서 각각의 촬상 감도에 대응하도록 화소들의 전기 신호를 변경하여 광전 변환부로부터 획득되는 블랙 이미지 화상 신호를 포함하는 정보이다. The noise correction step S130 is a step of subtracting a noise signal from an image signal of the photoelectric conversion unit by using noise signal information corresponding to the imaging sensitivity at which the photoelectric conversion unit performs the imaging operation. The noise signal information is information stored in advance at the time of manufacture of the photoelectric converter, and is a black image image obtained from the photoelectric converter by changing an electric signal of the pixels so as to correspond to respective imaging sensitivity while blocking light incident on the pixels. Information containing a signal.
이와 같이 광을 차단한 상태에서 고감도로 촬영을 실행할 때에 미리 저장하여 둔 잡음 신호를 이용한다면, 실제로 촬영할 때에는 잡음 신호를 획득하기 위해 촬영을 실시할 필요가 없어져 촬영 시간이 단축되는 효과를 얻을 수 있다.When using a noise signal stored in advance when shooting with high sensitivity in a state where light is blocked in this way, it is possible to obtain an effect of shortening the shooting time since it is not necessary to perform shooting to acquire a noise signal when actually shooting. .
잡음 보정 단계(S130)는 보정 판단 단계(S120)의 판단 결과에 의해 실행될 수 있다. 보정 판단 단계(S120)는 광전 변환부가 촬상 동작을 수행하는 현재의 촬상 감도가 잡음 제거가 필요한지를 판단하는 기능을 한다. 따라서 광전 변환부의 특성에 기초하여 잡음이 잘 발생하지 않는 촬상 감도의 범위에 대해서는 보정 판단 단계(S120)에서 잡음 제거가 필요하지 않은 것으로 판단하여 잡음 제거 처리를 실행하지 않고, 단계 S140으로 분기할 수 있다. The noise correction step S130 may be executed by the determination result of the correction determination step S120. The correction determination step S120 serves to determine whether the current imaging sensitivity at which the photoelectric conversion unit performs the imaging operation requires noise reduction. Therefore, based on the characteristics of the photoelectric conversion unit, it is determined that the noise removal is not necessary in the correction determination step (S120), and thus branches to step S140 without performing the noise removal process for the range of the imaging sensitivity in which the noise is less likely to occur. have.
보정 판단 단계(S120)에서 잡음 제거의 필요 여부를 판단할 때에는 촬상 동작을 수행하는 광전 변환부의 작동 온도를 고려할 수 있다. 이를 위해 광전 변환부의 온도를 감지하는 온도 센서를 이용할 수 있다. When determining whether to eliminate the noise in the correction determination step (S120), the operating temperature of the photoelectric conversion unit performing the imaging operation may be considered. To this end, a temperature sensor for sensing the temperature of the photoelectric converter may be used.
보정 판단 단계(S120)에서는 광전 변환부의 동작 온도가 현재 설정된 촬상 감도에 대응하여 미리 저장된 잡음 신호 정보의 온도 정보의 소정 범위 이내일 때에, 잡음을 제거할 필요가 있는 것으로 판단할 수 있다. 그러므로 보정 판단 단계(S120)에서는 현재 광전 변환부가 작동하는 촬상 감도가 잡음의 제거가 필요한 고감도 영역인 경우에도, 광전 변환부의 온도가 잡음을 일으키는 범위에 해당하지 않으면 잡음을 제거하는 처리가 필요 없는 것으로 판단할 수도 있다.In the correction determination step (S120), when the operating temperature of the photoelectric conversion unit is within a predetermined range of temperature information of the noise signal information stored in advance corresponding to the currently set imaging sensitivity, it may be determined that the noise needs to be removed. Therefore, in the correction determination step (S120), even if the imaging sensitivity at which the photoelectric conversion unit is currently operated is a high sensitivity region requiring noise removal, if the temperature of the photoelectric conversion unit does not correspond to the range in which the noise is generated, no noise removing process is required. You can also judge.
또한 보정 판단 단계(S12)에서는 광전 변환부의 작동 온도와 촬상 감도가 잡음 제거가 필요한 경우라고 판단한 경우에, 광전 변환부의 촬상 감도와 작동 온도에 대응하는 잡음 신호를 읽어와 광전 변환부의 화상 신호로부터 감산하는 감산 처리를 실행할 수 있다.In addition, when it is determined in operation S12 that the operating temperature and the imaging sensitivity of the photoelectric conversion section need to remove noise, a noise signal corresponding to the imaging sensitivity and the operating temperature of the photoelectric conversion section is read and subtracted from the image signal of the photoelectric conversion section. A subtraction process can be performed.
도 5는 도 4의 영상 처리 방법에 의해 잡음이 제거되는 개념을 설명한 개념도이다.5 is a conceptual diagram illustrating a concept of removing noise by the image processing method of FIG. 4.
감도 설정 단계(S100)에서 고감도의 촬상 감도로 설정된 경우, 촬상 단계(S110)에서 광전 변환부가 촬상 동작을 수행하여 생성한 화상 신호가 나타내는 화상(91)에는 도 5에 도시된 것과 같이 광전 변환부의 특성으로 인해 발생하는 잡음(92)이 나타난다.In the case of setting the high sensitivity imaging sensitivity in the sensitivity setting step S100, the
잡음 보정 단계(S130)에서는 미리 저장된 잡음 신호 정보에 의한 블랙 이미지(95)의 잡음 신호를 화상 신호로부터 감산하는 감산 처리를 실행하며, 그 결과 도 5에 도시된 것과 같이 잡음이 제거된 화상 신호에 의한 깨끗한 화상(98)을 얻을 수 있다.In the noise correction step S130, a subtraction process of subtracting the noise signal of the
잡음 보정 단계(S130)에 의해 화상 신호에 대한 잡음 제거 처리가 완료되면, 신호 처리 단계(S140)에서 잡음이 제거된 신호에 대한 영상 처리를 하는 신호 처리 단계(S140)가 실행될 수 있다. 예를 들어, 신호 처리 단계(S140)에서는 디지털 신호에 대한 픽셀 결함 보정, 게인 보정, 화이트 밸런스 보정, 감마 보정 등의 신호 처리와 같은 세부 단계들을 실행할 수 있다. When the noise canceling process for the image signal is completed by the noise correction step S130, a signal processing step S140 for performing image processing on the signal from which the noise is removed may be performed in the signal processing step S140. For example, in the signal processing step S140, detailed steps, such as signal processing such as pixel defect correction, gain correction, white balance correction, and gamma correction, may be performed on the digital signal.
도 6은 도 4의 영상 처리 방법에서 영상 처리에 소요되는 시간을 나타낸 그래프이다.6 is a graph illustrating a time required for image processing in the image processing method of FIG. 4.
종래에는 촬영시에 이미지 센서에 외부 광이 입사하지 못하도록 차광을 실시한 상태에서 실시하는 잡음 정보 획득용 촬영과 피사체를 촬영하는 본 촬영으로 2회에 걸쳐 촬영을 실행하였는데, 이로 인해 촬영 후 노이즈를 제거하기 위해서 두 배의 시간이 소요되는 문제점이 있었다. Conventionally, two shots have been performed for acquiring noise information that is performed in a state where shading is prevented so that external light does not enter the image sensor during shooting and a main shot for photographing a subject. There was a problem that takes twice as much time.
그러나 도 1 내지 도 5에 나타난 실시예에 관한 영상 처리 장치와 영상 처 리 방법에 의하면, 광전 변환부의 제조시에 미리 획득하여 저장해둔 잡음 신호 정보를 이용하여 잡음 제거 처리를 실행하므로 별도의 추가적인 처리 시간이 소요되지 않는다. 도 6에 도시된 그래프를 참조하면, 한번의 촬영이 실행되는 1.7초의 짧은 시간만으로도 노이즈 제거 효과를 얻을 수 있으므로, 촬영 시간도 크게 단축된다.However, according to the image processing apparatus and the image processing method of the embodiment shown in FIGS. 1 to 5, the noise removing process is performed by using the noise signal information previously acquired and stored at the time of manufacturing the photoelectric conversion unit, thereby additional processing. It does not take time. Referring to the graph shown in Fig. 6, the noise elimination effect can be obtained even with a short time of 1.7 seconds when one shooting is performed, so that the shooting time is greatly reduced.
도 7은 본 발명의 다른 실시예에 관한 영상 처리 장치의 각 구성 요소를 개략적으로 나타낸 블록도이다.7 is a block diagram schematically illustrating each component of an image processing apparatus according to another embodiment of the present invention.
도 7에 나타난 실시예에 관한 영상 처리 장치는, 복수 개의 화소들(121)을 구비하는 광전 변환부(120)와, 광전 변환부(120)가 동작하는 촬상 감도를 설정하는 감도 제어부(132)와, 광전 변환부(120)가 동작하는 촬상 감도에 대응하여 화소들(121)의 전기 신호에 포함된 잡음 신호에 관한 정보를 저장하는 잡음 저장부(140)와, 광전 변환부(120)의 화상 신호에서 잡음 신호를 감산하는 잡음 보정부(150)를 구비한다.The image processing apparatus according to the exemplary embodiment illustrated in FIG. 7 includes a
도 7에 나타난 실시예에서는 광전 변환부(120)와, 잡음 저장부(140)와, 잡음 보정부(150)가 영상광을 화상 신호로 변환하는 하나의 촬상장치(100)를 구현하였다. 이와 같은 구성으로 인해 촬상장치(100)는 예를 들어 아날로그 신호를 디지털 신호로 변환시킬 필요 없이 광전 변환부(120)의 화상 신호(So)에 대해 잡음 제거 처리를 행할 수 있다. 이러한 구성을 위해 잡음 저장부(140)와 잡음 보정부(150)는 광전 변환부(120)에 전기적으로 연결된 반도체칩이나 회로로 구현될 수 있다.In the embodiment shown in FIG. 7, the
광전 변환부(120)는 광학계(10)를 통해 입사되는 영상광을 화상 신호로 변환하는 기능을 수행한다. 광전 변환부(120)에는 씨씨디(CCD) 또는 씨모스(CMOS)와 같은 광전 변환 기능을 수행할 수 있는 촬상소자가 사용될 수 있다. 광전 변환부(120)는 영상광을 전기 신호로 변환할 수 있는 복수 개의 화소들(21)을 구비하여, 광학계(10)를 통해 입사된 영상광을 전기적 신호인 화상 신호로 변환한다. The
광전 변환부(120)는 촬영 제어부(130)에 의해 제어되어 영상광을 화상 신호로 변환하여 출력하는 촬상 동작을 수행할 수 있다. 촬영 제어부(130)는 광전 변환부(120)의 각각의 화소들(121)을 구동하는 구동부(131)와, 화소들(121)의 전기 신호의 세기를 변경하여 광전 변환부(120)가 동작하는 촬상 감도를 설정하는 감도 제어부(132)를 구비한다.The
광전 변환부(120)로부터 출력되는 화상 신호(So)는 잡음 처리부(110)를 통해 잡음 신호가 제거된 신호(Sn)로 처리된다. 잡음 처리부(110)는 잡음 저장부(140)와, 잡음 보정부(150)를 구비한다.The image signal So output from the
잡음 저장부(140)는 광전 변환부(120)가 촬상 동작을 수행하는 촬상 감도에 대응하여, 화소들(121)의 전기 신호에 포함되는 잡음 신호에 관한 잡음 신호 정보를 저장하는 기능을 한다. 잡음 저장부(140)에는 광전 변환부(120)의 제조시에 저장된 잡음 신호 정보가 미리 저장될 수 있다. 잡음 저장부(140)에 저장되는 잡음 신호 정보는 광전 변환부(120)의 온도 정보를 포함할 수 있다. 잡음 신호 정보에 온도 정보를 포함하는 이유는, 고감도 ISO 촬영시 발생하는 노이즈는 온도와 밀접한 관련이 있기 때문이다.The
잡음 보정부(150)는 광전 변환부(120)의 화상 신호(So)로부터 잡음 신호를 제거하는 기능을 수행한다. 잡음 신호의 제거는 예를 들어, 감산 처리에 의해 수행될 수 있다. 잡음 보정부(150)가 잡음 제거의 필요 여부를 판단할 때에는 촬상 동작을 수행하는 광전 변환부(120)의 작동 온도를 고려할 수 있다. 이를 위해 영상 처리 장치는 광전 변환부(120)의 온도를 감지하는 온도 센서(115)를 구비할 수 있다. 온도 센서(115)에 의해 감지된 광전 변환부(120)의 온도는 잡음 보정부(150)에 입력되고, 광전 변환부(120)의 촬상 감도를 설정한 감도 제어부(132)의 감도 제어 신호도 잡음 보정부(150)에 입력된다. The
잡음 보정부(150)는 광전 변환부(120)의 동작 온도가 현재 설정된 촬상 감도에 대응하여 잡음 저장부(140)에 저장된 잡음 신호 정보의 온도 정보의 소정 범위 이내일 때에, 잡음을 제거할 수 있다. 그러므로 잡음 보정부(150)는 현재 광전 변환부(120)가 작동하는 촬상 감도가 잡음의 제거가 필요한 고감도 영역인 경우에도, 광전 변환부(120)의 온도가 잡음을 일으키는 범위에 해당하지 않으면 잡음을 제거하는 처리를 수행하지 않을 수 있다.The
또한 잡음 보정부(150)는 광전 변환부(120)의 작동 온도와 촬상 감도가 잡음 제거가 필요한 경우에는, 잡음 저장부(140)로부터 광전 변환부(120)의 촬상 감도와 작동 온도에 대응하는 잡음 신호를 읽어와 감산 처리를 실행시킬 수 있다. 잡음 보정부(150)에 의해 화상 신호(So)에 대한 잡음 제거 처리가 완료되면, 잡음이 제거된 신호(Sn)가 출력된다. In addition, when the operating temperature and the imaging sensitivity of the
상술한 구성의 본 실시예의 영상 처리 장치에 의하면, 광전 변환부의 제조 시에 미리 획득하여 저장해둔 잡음 신호 정보를 이용하여 잡음 제거 처리를 실행하므로 별도의 추가적인 처리 시간이 소요되지 않아 촬영 시간이 단축될 수 있다.According to the image processing apparatus of this embodiment having the above-described configuration, since the noise removing process is performed by using the noise signal information previously obtained and stored at the time of manufacturing the photoelectric conversion unit, additional processing time is not required and the shooting time is shortened. Can be.
본 발명은 상술한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.Although the present invention has been described with reference to the above-described embodiments, these are merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the appended claims.
도 1은 종래의 영상 처리 장치에서 노이즈를 제거하기 위한 작동의 예를 나타내는 신호 그래프이다.1 is a signal graph illustrating an example of an operation for removing noise in a conventional image processing apparatus.
도 2는 본 발명의 일 실시예에 관한 영상 처리 장치의 각 구성 요소를 개략적으로 나타낸 블록도이다.2 is a block diagram schematically illustrating each component of an image processing apparatus according to an exemplary embodiment of the present invention.
도 3은 도 2에 나타난 영상 처리 장치에서 잡음 저장부에 촬상 감도에 대응하는 잡음 신호 정보를 저장하는 작동 상태를 나타낸 블록도이다.3 is a block diagram illustrating an operation state of storing noise signal information corresponding to imaging sensitivity in a noise storage unit in the image processing apparatus illustrated in FIG. 2.
도 4는 본 발명의 일 실시예에 관한 영상 처리 방법의 단계들을 나타낸 순서도이다.4 is a flowchart illustrating steps of an image processing method according to an embodiment of the present invention.
도 5는 도 4의 영상 처리 방법에 의해 잡음이 제거되는 개념을 설명한 개념도이다.5 is a conceptual diagram illustrating a concept of removing noise by the image processing method of FIG. 4.
도 6은 도 4의 영상 처리 방법에서 영상 처리에 소요되는 시간을 나타낸 그래프이다.6 is a graph illustrating a time required for image processing in the image processing method of FIG. 4.
도 7은 본 발명의 다른 실시예에 관한 영상 처리 장치의 각 구성 요소를 개략적으로 나타낸 블록도이다.7 is a block diagram schematically illustrating each component of an image processing apparatus according to another embodiment of the present invention.
* 도면의 주요부분에 대한 부호의 설명DESCRIPTION OF THE REFERENCE NUMERALS
10: 광학계 51: 보정 판단부10: optical system 51: correction determination unit
15, 115: 온도 센서 52: 감산기15, 115: temperature sensor 52: subtractor
20, 120: 광전 변환부 75: 신호 처리부20, 120: photoelectric conversion unit 75: signal processing unit
21, 121: 화소들 91: 화상21, 121
25: A/D 변환기 92: 잡음25: A / D converter 92: Noise
30, 130: 촬영 제어부 95: 블랙 이미지30, 130: shooting control part 95: black image
31, 131: 구동부 98: 깨끗한 화상31, 131: drive portion 98: clean image
32, 132: 감도 제어부 100: 촬상장치32, 132: sensitivity controller 100: imaging device
40, 140: 잡음 저장부 110: 잡음 처리부40 and 140: noise storage unit 110: noise processing unit
50, 150: 잡음 보정부50, 150: noise compensator
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090019847A KR20100101380A (en) | 2009-03-09 | 2009-03-09 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090019847A KR20100101380A (en) | 2009-03-09 | 2009-03-09 | Image processing apparatus and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20100101380A true KR20100101380A (en) | 2010-09-17 |
Family
ID=43006916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090019847A KR20100101380A (en) | 2009-03-09 | 2009-03-09 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20100101380A (en) |
-
2009
- 2009-03-09 KR KR1020090019847A patent/KR20100101380A/en not_active Application Discontinuation
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7952621B2 (en) | Imaging apparatus having temperature sensor within image sensor wherin apparatus outputs an image whose quality does not degrade if temperature increases within image sensor | |
JP5526014B2 (en) | Imaging device | |
US20110261235A1 (en) | Imaging apparatus and its control method | |
JP5207926B2 (en) | Imaging apparatus and control method thereof | |
JP4379764B2 (en) | Method for suppressing fixed pattern noise in solid-state imaging device and solid-state imaging device | |
JPH11112884A (en) | Method for correcting dark current of video camera device and video camera device using the method | |
WO2005004467A1 (en) | Electronic camera video signal correcting device | |
JP2008288723A (en) | Imaging apparatus, imaging method, program, and integrated circuit | |
JP2006074172A (en) | Image signal processing circuit, camera and image signal processing method | |
JP2007096607A (en) | Image processing apparatus | |
KR20100101380A (en) | Image processing apparatus and image processing method | |
JP4196581B2 (en) | Digital camera | |
JP2007281759A (en) | Imaging device and imaging apparatus | |
JP2009302850A (en) | Noise removal device of solid-state image sensor, image capturing apparatus, noise removal method of solid-state image sensor | |
JP6149615B2 (en) | Imaging device | |
JP2017143585A (en) | Imaging device | |
JP4498253B2 (en) | Image processing device | |
JP7490939B2 (en) | Imaging device | |
US9549131B2 (en) | Imaging apparatus and imaging method using independently corrected color values | |
JP5404217B2 (en) | Imaging apparatus and control method thereof | |
JP6878947B2 (en) | Image imager and electronic equipment | |
JP2010178384A (en) | Image signal processing circuit, camera and image signal processing method | |
JP2008252714A (en) | Image processing program and electronic camera | |
JP2006108918A (en) | Imaging apparatus | |
JP5515320B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |