KR20140071877A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- KR20140071877A KR20140071877A KR1020130102662A KR20130102662A KR20140071877A KR 20140071877 A KR20140071877 A KR 20140071877A KR 1020130102662 A KR1020130102662 A KR 1020130102662A KR 20130102662 A KR20130102662 A KR 20130102662A KR 20140071877 A KR20140071877 A KR 20140071877A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pixel
- exposure time
- defective
- defective pixel
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 99
- 238000003672 processing method Methods 0.000 title claims description 20
- 230000002950 deficient Effects 0.000 claims abstract description 98
- 230000007547 defect Effects 0.000 claims abstract description 57
- 238000003384 imaging method Methods 0.000 claims abstract description 17
- 238000012937 correction Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 22
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 description 17
- 230000015654 memory Effects 0.000 description 14
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
본 발명은 영상 처리 장치 및 영상 처리 방법에 관한 것이다.The present invention relates to an image processing apparatus and an image processing method.
디지털 카메라나 디지털 비디오 카메라, 방범 카메라 등의 촬영 장치에는, 예를 들어, CMOS(Complementary Metal Oxide Semiconductor)나 CCD(Charge Coupled Device Image Sensor) 등의 광전 변환 소자(촬상 소자)가 여러 개 배치된 영상 센서가 이용되고 있다. 상기와 같은 영상 센서는 수광 양에 따른 영상 신호(전기 신호)를 출력한다.2. Description of the Related Art Photographing devices such as a digital camera, a digital video camera, and a security camera include a camera having a plurality of photoelectric conversion elements (imaging elements) such as CMOS (Complementary Metal Oxide Semiconductor) or CCD (Charge Coupled Device Image Sensor) Sensor is being used. The image sensor outputs an image signal (electric signal) according to the amount of received light.
여기에서 상기와 같은 영상 센서에는, 예를 들어, 입사광에 반응하지 않는 촬상 소자나 과도하게 반응하는 촬상 소자 등 결함이 있는 촬상 소자(이하, "결함 화소"라고 함)가 포함되어 있는 경우가 대부분이다. Here, the image sensor as described above includes, for example, an image pickup element which does not react with incident light or an image pickup element which has a defect such as an image pickup element which reacts excessively (hereinafter referred to as "defective pixel & to be.
따라서, 상기와 같은 촬영 장치에 대하여, 제조 단계에서 결함 화소의 위치가 검출되어, 검출된 결함 화소의 위치 정보(데이터)가 메모리 등에 기록된다. 그리고, 촬영 때마다, 결함 화소의 위치 정보가 이용되어, 결함 화소에 대응하는 화소의 신호가 보정된다.Therefore, with respect to the above-described photographing apparatus, the position of the defective pixel is detected in the manufacturing step, and the positional information (data) of the detected defective pixel is recorded in a memory or the like. Then, the position information of the defective pixel is used every time of photographing, and the signal of the pixel corresponding to the defective pixel is corrected.
또한, 영상 신호에 따라, 영상 신호가 나타내는 영상에서의 판정 대상 화소가 결함 화소인지를 판정하는 기술이 개발되어 있다. Further, a technique has been developed to determine whether a pixel to be judged in an image represented by a video signal is a defective pixel in accordance with the video signal.
판정 대상 화소의 주변 화소들의 화소 값들을 참조하여 판정 대상 화소가 결함 화소인지의 여부를 판정하는 기술로서, 예를 들어, 특허문헌 1에 기재된 기술이나 특허문헌 2에 기재된 기술, 특허문헌 3에 기재된 기술을 들 수 있다.As a technique for determining whether or not a determination target pixel is a defective pixel with reference to pixel values of surrounding pixels of a determination target pixel, for example, a technique described in
통상적으로, 촬영 장치의 제조 단계에서 결함 화소의 위치를 검출할 경우, 차광된 상태에서 촬영 장치의 각각의 화소 값을 설정 문턱 값과 비교하여, 문턱 값보다 높은 휘도를 나타내는 화소를 결함 화소로서 검출한다. 검출된 결함 화소의 위치는 기록 매체에 기록된다.Generally, when detecting the position of a defective pixel in a manufacturing step of a photographing apparatus, each pixel value of the photographing apparatus in a shaded state is compared with a set threshold value, and a pixel showing a luminance higher than the threshold value is detected as a defective pixel do. The position of the detected defective pixel is recorded in the recording medium.
또한, 촬영 장치의 제조 단계에서 결함 화소의 위치를 검출할 경우, 어느 일정 조도 하에서 촬영 장치의 각각의 화소 값을 설정 문턱 값과 비교하여, 문턱 값보다 낮은 휘도를 나타내는 화소를 결함 화소로서 검출한다. 검출된 결함 화소의 위치는 기록 매체에 기록된다.When the position of the defective pixel is detected in the manufacturing step of the photographing apparatus, each pixel value of the photographing apparatus is compared with the set threshold value under a predetermined illuminance, and a pixel showing a luminance lower than the threshold value is detected as a defective pixel . The position of the detected defective pixel is recorded in the recording medium.
하지만, 촬영 장치의 제조 단계에서 결함 화소의 위치를 검출할 경우, 촬영 장치의 제조 단계에서 결함 화소 검출 공정을 마련해야 하고, 결함 화소의 위치 정보를 기억하는 기록 매체를 촬영 장치에 설치할 필요가 있다. 따라서 촬영 장치의 제조 단계에서 결함 화소의 위치를 검출할 경우, 촬영 장치의 제조 비용이 증가한다.However, when detecting the position of the defective pixel in the manufacturing step of the photographing apparatus, it is necessary to provide a defective pixel detecting step in the manufacturing step of the photographing apparatus, and a recording medium for storing the positional information of the defective pixel needs to be provided in the photographing apparatus. Therefore, when the position of the defective pixel is detected in the manufacturing step of the photographing apparatus, the manufacturing cost of the photographing apparatus increases.
한편, 특허문헌 1 내지 3에 기재된 기술들과 같이, 판정 대상 화소의 주변 화소들의 화소 값들을 참조하여 결함 화소를 판정할 경우, 상기 촬영 장치의 제조 단계에서의 결함 화소 검출 공정은 불필요하며 또 결함 화소의 위치 정보를 기억하는 기록 매체를 촬영 장치에 설치할 필요도 없다. 따라서, 영상 신호에 따라 결함 화소를 검출하는 종래의 기술을 이용할 경우, 촬영 장치의 제조 비용을 줄이면서 결함 화소를 검출할 가능성은 있다.On the other hand, in the case of determining defective pixels by referring to the pixel values of the surrounding pixels of the judgment object pixel as in the techniques described in
하지만, 판정 대상 화소가 고주파 영역에 존재하는 경우, 그 주변 화소 값들 사이의 편차가 크므로, 판정 대상 화소가 결함 화소인지의 여부를 판정할 수 없다. 또한, 영상 센서에서 결함 화소들이 일정 영역 내에 다수 존재할 경우, 주변 화소 값들을 참조하더라도 판정 대상 화소가 결함 화소인지의 여부를 판정할 수 없다.However, when the determination target pixel exists in the high frequency region, the deviation between the neighboring pixel values is large, and therefore it can not be determined whether the determination target pixel is a defective pixel. Also, when a plurality of defective pixels exist in a certain area in the image sensor, it is impossible to determine whether or not the determination target pixel is a defective pixel even if the neighboring pixel values are referred to.
또한, 상기 영상 신호에 따라 결함 화소를 검출하는 종래의 기술을 사용할 경우, 높은 정확도로써 결함 화소를 검출하려면 판정 대상 화소와 비교되는 주변 화소들의 개수를 늘릴 필요가 있다. 따라서, 높은 정확도로써 결함 화소를 검출하려면 보다 많은 라인 메모리들이 필요하다는 기본적인 문제점이 있다.Further, in the case of using a conventional technique for detecting a defective pixel in accordance with the video signal, in order to detect a defective pixel with a high accuracy, it is necessary to increase the number of peripheral pixels compared with the determination target pixel. Thus, there is a fundamental problem that more line memories are needed to detect defective pixels with high accuracy.
본 발명의 실시 예들은, 촬영 장치의 제조 비용을 줄이고, 상대적으로 적은 개수의 라인 메모리들을 사용하면서도 높은 정확도로써 결함 화소를 검출할 수 있는 영상 처리 장치 및 영상 처리 방법을 제공하고자 한다.Embodiments of the present invention provide an image processing apparatus and an image processing method capable of reducing the manufacturing cost of a photographing apparatus and detecting a defective pixel with high accuracy while using a relatively small number of line memories.
본 발명의 제1 측면에 의하면, 동일한 피사체를 동일한 촬상 소자에 의해 촬상함으로써 얻어진 제1 영상과, 상기 제1 영상보다 노광 시간이 짧은 제2 영상을 처리하는 영상 처리 장치가 제공된다.According to the first aspect of the present invention, there is provided an image processing apparatus for processing a first image obtained by capturing the same subject with the same imaging element, and a second image having a shorter exposure time than the first image.
여기에서, 상기 영상 처리 장치는, 상기 제1 영상과 상기 제2 영상에서 대응하는 위치의 화소의 화소 값들에 따라, 결함 화소를 판정하는 결함 판정부를 포함한다.Here, the image processing apparatus includes a defect determination unit that determines a defective pixel according to pixel values of a pixel at a position corresponding to the first image and the second image.
바람직하게는, 상기 결함 판정부는, 상기 제1 영상과 상기 제2 영상에서 대응하는 위치의 화소에서, 노광 시간과 화소 값 사이에 선형의 관계가 성립하는지의 여부에 따라, 결함 화소를 판정한다.Preferably, the defect determination unit determines a defective pixel according to whether or not a linear relationship is established between the exposure time and the pixel value in the pixel at the position corresponding to the first image and the second image.
바람직하게는, 상기 영상 처리 장치는, 상기 결함 판정부에서의 판정 결과에 따라, 상기 제1 영상 및 상기 제2 영상 각각에서 결함 화소로 판정된 화소에 대응하는 화소 값을 보정하는 결함 보정부를 더 포함한다.Preferably, the image processing apparatus further includes a defect correction unit for correcting a pixel value corresponding to a pixel determined as a defective pixel in each of the first image and the second image, in accordance with the determination result of the defect determination unit .
바람직하게는, 상기 결함 보정부에서 보정된 결과의 제1 영상과 제2 영상을 합성하는 합성부를 더 포함한다.The apparatus may further include a combining unit for combining the first image and the second image of the corrected result of the defect correcting unit.
본 발명의 제2 측면에 의하면, 두 단계들을 포함한 영상 처리 방법이 제공된다. According to a second aspect of the present invention, there is provided an image processing method including two steps.
제1 단계에서는, 동일한 피사체를 동일한 촬상 소자에 의해 촬상함으로써 얻어진 제1 영상과, 상기 제1 영상보다 노광 시간이 짧은 제2 영상이 구해진다.In the first step, a first image obtained by capturing the same object by the same imaging element and a second image having a shorter exposure time than the first image are obtained.
제2 단계에서는, 상기 제1 영상과 상기 제2 영상에서 대응하는 위치의 화소의 화소 값들에 따라, 결함 화소가 판정된다.In the second step, the defective pixels are determined according to the pixel values of the pixels at the corresponding positions in the first image and the second image.
본 발명의 제3 측면에 의하면, 컴퓨터에 의하여 상기 영상 처리 방법이 수행되는 프로그램이 저장된, 컴퓨터 판독 가능한 기록 매체가 제공될 수 있다.According to a third aspect of the present invention, there is provided a computer-readable recording medium having stored thereon a program for performing the image processing method by a computer.
본 발명의 실시 예들의 상기 영상 처리 장치 및 영상 처리 방법에 의하면 다음과 같은 효과들을 얻을 수 있다.According to the image processing apparatus and the image processing method of the embodiments of the present invention, the following effects can be obtained.
첫째, 영상 신호를 이용하여 결함 화소를 판정하므로, 촬영 장치의 제조 단계에서 결함 화소의 위치를 검출할 필요가 없다. First, since the defective pixel is determined using the video signal, it is not necessary to detect the position of the defective pixel in the manufacturing step of the imaging apparatus.
따라서, 촬영 장치의 제조 비용을 줄일 수 있다.Therefore, the manufacturing cost of the image pickup apparatus can be reduced.
둘째, 상기 제1 영상과, 상기 제1 영상보다 노광 시간이 짧은 제2 영상에서, 대응하는 위치의 화소의 화소 값들에 따라, 결함 화소가 판정된다. 즉, 종래의 기술들처럼 판정 대상 화소의 주변 화소들의 화소 값들을 참조하여 결함 화소를 판정하지 않는다. Second, a defective pixel is determined in accordance with the pixel values of the pixel at the corresponding position in the first image and the second image having a shorter exposure time than the first image. That is, as in conventional techniques, the defective pixel is not determined by referring to the pixel values of the surrounding pixels of the determination target pixel.
따라서, 판정 대상 화소의 주변 화소들의 화소 값들을 참조하여 결함 화소를 판정하는 종래 기술의 문제점들이 해소되어, 상대적으로 적은 개수의 라인 메모리들이 사용되면서도 높은 정확도로써 결함 화소가 검출될 수 있다.Therefore, the problems of the prior art for determining the defective pixel by referring to the pixel values of the peripheral pixels of the determination target pixel are solved, so that a defective pixel can be detected with high accuracy while a relatively small number of line memories are used.
예를 들어, 상대적으로 적은 개수의 라인 메모리들이 사용되면서도, 판정 대상의 화소가 고주파 영역에 존재함에도 불구하고 결함 화소의 여부가 정확히 판정될 수 있다.For example, even when a relatively small number of line memories are used, it is possible to accurately determine whether or not a defective pixel exists even though the pixel to be judged exists in the high-frequency region.
도 1은 정상적인 촬상 소자에서의 노광 시간(exposure time)과 화소 값의 관계를 보여주는 그래프이다.
도 2는 본 발명의 실시 예의 영상 처리 방법을 설명하기 위한 그래프이다.
도 3은 본 발명의 제1 실시 예의 영상 처리 장치를 보여주는 블록도다.
도 4 및 5는 도 3의 영상 처리 장치와 연관된 와이드 다이나믹 레인지(WDR : Wide Dynamic Range) 처리를 설명하기 위한 그래프들이다.
도 6은 본 발명의 제2 실시 예의 영상 처리 장치를 보여주는 블록도다.
도 7은 도 6의 제2 실시 예에서의 결함 판정부 및 결함 보정부의 동작을 설명하기 위한 흐름도이다.
도 8은 도 6의 제2 실시 예에서의 합성부의 내부 구성의 일 예를 보여주는 블록도이다.1 is a graph showing the relationship between the exposure time and the pixel value in a normal imaging device.
2 is a graph for explaining an image processing method of an embodiment of the present invention.
3 is a block diagram showing a video processing apparatus according to the first embodiment of the present invention.
4 and 5 are graphs for explaining a wide dynamic range (WDR) process associated with the image processing apparatus of FIG.
6 is a block diagram showing a video processing apparatus according to a second embodiment of the present invention.
FIG. 7 is a flowchart for explaining the operation of the defect determination unit and the defect correction unit in the second embodiment of FIG.
8 is a block diagram showing an example of the internal configuration of the combining unit in the second embodiment of FIG.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다. The following description and accompanying drawings are for understanding the operation according to the present invention, and parts that can be easily implemented by those skilled in the art can be omitted.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.Furthermore, the specification and drawings are not intended to limit the present invention, and the scope of the present invention should be determined by the claims. The terms used in the present specification should be construed to mean the meanings and concepts consistent with the technical idea of the present invention in order to best express the present invention.
이하 첨부 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세히 설명하기로 한다. 아울러 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 구성요소에 대해서는 동일한 부호를 붙임으로써 중복 설명을 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In addition, elements having substantially the same functional configuration in the present specification and drawings are denoted by the same reference numerals, and redundant description will be omitted.
(본 발명의 실시 예의 영상 처리 방법)(Image processing method of an embodiment of the present invention)
본 발명의 실시 예의 영상 처리 장치에 대해 설명하기 전에, 본 발명의 실시 예의 영상 처리 방법에 대해 설명하기로 한다. 이하에서는, 본 발명의 실시 예의 영상 처리 방법을 본 발명의 실시 예의 영상 처리 장치가 실시하는 것으로서 설명한다.Before describing the image processing apparatus of the embodiment of the present invention, the image processing method of the embodiment of the present invention will be described. Hereinafter, the image processing method of the embodiment of the present invention will be described as being performed by the image processing apparatus of the embodiment of the present invention.
위에서 설명된 바와 같이, 촬영 장치의 제조 단계에서 결함 화소의 위치를 검출할 경우에는 비용 증가를 초래할 우려가 있다. 또한, 판정 대상 화소의 주변 화소 값들을 참조하여 결함 화소를 판정할 경우, 결함 화소를 정확히 검출할 수 없으며, 또 검출 정확도를 향상시키기 위해서 다수의 라인 메모리들이 필요하다.As described above, when the position of the defective pixel is detected in the manufacturing step of the photographing apparatus, the cost may increase. In addition, when a defective pixel is determined by referring to surrounding pixel values of a determination target pixel, a defective pixel can not be detected accurately, and a plurality of line memories are required to improve detection accuracy.
본 발명의 실시 예의 영상 처리 장치는, 동일한 피사체를 동일한 촬상 소자에 의해서 촬상함으로써 얻어진, 노광 시간이 다른 2 개의 영상(영상 신호가 나타내는 영상)에서 대응하는 위치의 화소의 화소 값들에 따라, 결함 화소를 판정한다.The image processing apparatus according to the embodiment of the present invention detects the defective pixel (s) according to the pixel values of the pixel at the corresponding position in two images (image represented by the image signal) obtained by capturing the same subject by the same imaging element .
이하, 본 발명의 실시 예의 노광 시간이 다른 2 개의 영상 중에서 하나의 영상을 "제1 영상"으로 나타내고, 제1 영상보다 노광 시간이 짧은 영상을 "제2 영상"으로 나타낸다. 또한, 본 발명의 실시 예의 제1 영상을 "긴 노광 시간의 프레임(FLONG)"으로 나타내는 경우가 있으며, 본 발명의 실시 예의 제2 영상을 "짧은 노광 시간의 프레임(FSHORT)"으로 나타내는 경우가 있다.Hereinafter, one of two images having different exposure times in the embodiment of the present invention is referred to as a "first image ", and an image having a shorter exposure time than the first image is referred to as a" second image ". Further, a of the first image embodiment of the present invention there is a case showing a "frame (F LONG) of the long exposure time", showing the example second image of the present invention carried out by "frame (F SHORT) of the short exposure time." There is a case.
이하, 본 발명의 실시 예의 영상 처리 방법에 대하여 보다 구체적으로 설명하기로 한다.Hereinafter, the image processing method of the embodiment of the present invention will be described in more detail.
도 1은 정상적인 촬상 소자에서의 노광 시간(exposure time)과 화소 값의 관계를 보여준다.1 shows the relationship between the exposure time and the pixel value in a normal imaging device.
상기한 바와 같이, 영상 센서가 구비한 CMOS 등의 촬상 소자(광전 변환 소자)는 수광 양에 대응한 영상 신호(전기 신호)를 출력한다. 여기에서 촬상 소자에 빛이 입사되는 시간, 즉 노광 시간이 길면 길수록 수광 양이 증가하기 때문에 노광 시간에 따라 화소 값은 선형으로 커진다.As described above, an image pickup element (photoelectric conversion element) such as CMOS provided in the image sensor outputs a video signal (electrical signal) corresponding to the amount of received light. Here, since the amount of received light increases as the time when the light is incident on the image pickup device, that is, the longer the exposure time, the pixel value becomes larger linearly with the exposure time.
도 2는 본 발명의 실시 예의 영상 처리 방법을 설명하기 위한 그래프이다. 보다 상세하게는, 도 2는, 정상적인 촬상 소자에 대한 노광 시간과 화소 값의 일 예(도 2에 도시된 정상 화소의 그래프)와, 비정상적인 촬상 소자에서의 노광 시간과 화소 값의 일 예(도 2에 도시된 결함 화소의 그래프)를 보여준다.2 is a graph for explaining an image processing method of an embodiment of the present invention. More specifically, FIG. 2 shows an example of an exposure time and a pixel value for a normal image pickup element (a graph of a normal pixel shown in FIG. 2), an example of an exposure time and a pixel value in an abnormal image pickup element 2 is a graph of a defective pixel shown in FIG.
도 2에서, "긴 노광 시간"은 본 발명의 실시 예의 제1 영상의 노광 시간을, 그리고 "짧은 노광 시간"은 본 발명의 실시 예의 제2 영상의 노광 시간을 각각 가리킨다.In FIG. 2, "long exposure time" indicates the exposure time of the first image in the embodiment of the present invention, and "short exposure time" indicates the exposure time of the second image in the embodiment of the present invention.
도 2에 도시한 바와 같이 비정상적인 촬상 소자, 즉 결함 화소의 화소 값은 정상 화소의 화소 값처럼 노광 시간에 선형으로 비례하지 않는다.As shown in Fig. 2, the pixel value of the abnormal imaging element, that is, the defective pixel is not linearly proportional to the exposure time like the pixel value of the normal pixel.
이에 착안하여, 본 발명의 실시 예의 영상 처리 장치는, 제1 영상과 제2 영상에서 대응하는 위치의 화소의 화소 값들에 따라 결함 화소를 판정함으로써, 결함 화소를 검출한다.In view of this, the image processing apparatus of the embodiment of the present invention detects defective pixels by determining defective pixels in accordance with the pixel values of the pixels at the corresponding positions in the first image and the second image.
예를 들어, 본 발명의 실시 예의 영상 처리 장치는, 판정 대상 화소의 화소 값이 하기 수학식 1의 조건을 충족하지 않는 경우, 판정 대상 화소의 화소 값이 노광 조건에 영향을 받지 않으므로, 판정 대상 화소를 결함 화소로 판정한다. For example, in the image processing apparatus of the embodiment of the present invention, when the pixel value of the judgment object pixel does not satisfy the condition of the following expression (1), since the pixel value of the judgment object pixel is not influenced by the exposure condition, It is determined that the pixel is a defective pixel.
상기 수학식 2에서 VSFP는 짧은 노광 시간에 의한 제2 영상에서의 판정 대상 화소의 화소 값을, *는 곱셈 기호를, K는 제2 영상의 노광 시간에 대한 제1 영상의 노광 시간의 비율을, α는 영상 신호의 노이즈에 대한 오차 보정 계수를, 그리고 VLFP는 긴 노광 시간에 의한 제1 영상에서의 판정 대상 화소의 화소 값을, 각각 가리킨다.In Equation (2), V SFP denotes a pixel value of a determination target pixel in the second image by a short exposure time, * denotes a multiplication symbol, K denotes a ratio of exposure time of the first image to the exposure time of the second image, Represents an error correction coefficient for noise of a video signal, and V LFP represents a pixel value of a determination target pixel in the first image by a long exposure time, respectively.
제1 영상의 노광 시간을 tEL, 그리고 제2 영상의 노광 시간을 tES라 하면, 노광 비율 K는 아래의 수학식 2에 의하여 구해진다.Assuming that the exposure time of the first image is t EL and the exposure time of the second image is t ES , the exposure ratio K is obtained by the following equation (2).
즉, 노광 비율 K는 1보다 큰 수이다. That is, the exposure ratio K is a number greater than one.
노광 비율 K는 상기 수학식 2에 한정되지 않는다. 또한, 오차 보정 계수 α도 고정 값 뿐만 아니라 가변 값이 적용될 수도 있다.The exposure ratio K is not limited to Equation (2). In addition, the error correction coefficient? May be a fixed value as well as a variable value.
물론, 본 발명의 실시예의 결함 화소의 판정 방법은 상기 수학식 1에 한정되지 않는다.Of course, the method of determining a defective pixel in the embodiment of the present invention is not limited to the above-described expression (1).
예를 들어, 본 발명의 실시 예의 영상 처리 장치는, 제1 영상과 제2 영상에서 대응하는 위치의 화소에서 노광 시간과 화소 값 사이에 선형의 관계가 성립하는지 여부에 따라, 결함 화소를 판정할 수 있다. 본 발명의 실시 예의 결함 화소의 판정 방법의 다른 예에 대해서는 후술하기로 한다.For example, the image processing apparatus of the embodiment of the present invention determines a defective pixel according to whether or not a linear relationship is established between the exposure time and the pixel value in the pixel at the corresponding position in the first image and the second image . Other examples of the defective pixel determination method of the embodiment of the present invention will be described later.
상기와 같은 본 발명의 실시 예의 영상 처리 장치 및 영상 처리 방법에 의하면, 다음과 같은 효과들을 얻을 수 있다.According to the image processing apparatus and image processing method of the embodiment of the present invention as described above, the following effects can be obtained.
첫째, 영상 신호를 이용하여 결함 화소를 판정하므로, 촬영 장치의 제조 단계에서 결함 화소의 위치를 검출할 필요가 없다. First, since the defective pixel is determined using the video signal, it is not necessary to detect the position of the defective pixel in the manufacturing step of the imaging apparatus.
따라서, 촬영 장치의 제조 비용을 줄일 수 있다.Therefore, the manufacturing cost of the image pickup apparatus can be reduced.
둘째, 제1 영상과, 제1 영상보다 노광 시간이 짧은 제2 영상에서, 대응하는 위치의 화소의 화소 값들에 따라, 결함 화소가 판정된다. 즉, 종래의 기술들처럼 판정 대상 화소의 주변 화소들의 화소 값들을 참조하여 결함 화소를 판정하지 않는다. Second, a defective pixel is determined in accordance with pixel values of a pixel at a corresponding position in a first image and a second image having a shorter exposure time than the first image. That is, as in conventional techniques, the defective pixel is not determined by referring to the pixel values of the surrounding pixels of the determination target pixel.
따라서, 판정 대상 화소의 주변 화소들의 화소 값들을 참조하여 결함 화소를 판정하는 종래 기술의 문제점들이 해소되어, 상대적으로 적은 개수의 라인 메모리들이 사용되면서도 높은 정확도로써 결함 화소가 검출될 수 있다.Therefore, the problems of the prior art for determining the defective pixel by referring to the pixel values of the peripheral pixels of the determination target pixel are solved, so that a defective pixel can be detected with high accuracy while a relatively small number of line memories are used.
예를 들어, 상대적으로 적은 개수의 라인 메모리들이 사용되면서도, 판정 대상의 화소가 고주파 영역에 존재함에도 불구하고 결함 화소의 여부가 정확히 판정될 수 있다.For example, even when a relatively small number of line memories are used, it is possible to accurately determine whether or not a defective pixel exists even though the pixel to be judged exists in the high-frequency region.
(본 발명의 실시 예의 영상 처리 장치)(Image processing apparatus of the embodiment of the present invention)
다음으로, 상술한 본 발명의 실시 예의 영상 처리 방법에 관한 처리를 할 수 있는 본 발명의 실시 예의 영상 처리 장치 구성의 일 예에 대해 설명하기로 한다.Next, an example of a configuration of a video processing apparatus according to an embodiment of the present invention capable of performing processing relating to the video processing method of the above-described embodiment of the present invention will be described.
［1］제1 실시 예의 영상 처리 장치[1] The image processing apparatus of the first embodiment
도 3은 본 발명의 제1 실시 예의 영상 처리 장치(100)를 보여준다. 도 3에서 FLONG은 제1 영상을, FSHORT은 제1 영상보다 노광 시간이 짧은 제2 영상을, 그리고 DDEC는 판정 데이터를 각각 가리킨다. 제1 영상과 제2 영상은 동일한 피사체를 동일한 촬상 소자에 의해 촬상함으로써 얻어진다.Fig. 3 shows a
도 3을 참조하면, 본 발명의 제1 실시 예의 영상 처리 장치(100)는 결함 판정부(102)를 포함한다. Referring to FIG. 3, the
물론, 제어부, ROM(Read Only Memory), RAM(Random Access Memory), 기록부, 사용자 조작부, 디스플레이부, 통신부, 촬영부 등이 더 포함될 수 있다.Of course, it may further include a control unit, a ROM (Read Only Memory), a RAM (Random Access Memory), a recording unit, a user operation unit, a display unit, a communication unit,
여기에서, 제어부(미도시)는, CPU(Central Processing Unit)나 각종 처리 회로 등으로 구성되어, 영상 처리 장치(100) 전체를 제어한다. 또한, 제어부(미도시)는 결함 판정부(102)의 역할을 할 수도 있다. 물론, 결함 판정부(102)는 전용(또는 범용) 처리 회로로 구성될 수도 있다.Here, the control unit (not shown) is composed of a CPU (Central Processing Unit) and various processing circuits, and controls the entire
또한, 제어부(미도시)는, 결함 화소의 유무 및/또는 결함 화소의 위치 등을 나타내는 판정 데이터를 기록부(미도시)에 기록하는 처리나 판정 데이터를 외부 장치에 대해 송신시키는 송신 제어 처리 등을 할 수도 있다.The control unit (not shown) performs processing for recording determination data indicating the presence or absence of a defective pixel and / or the position of a defective pixel in a recording unit (not shown), transmission control processing for transmitting determination data to an external apparatus You may.
ROM(미도시)은, 제어부(미도시)가 사용하는 프로그램이나 연산 파라미터 등의 제어용 데이터를 기억한다. RAM(미도시)은 제어부(미도시)에 의해 실행되는 프로그램 등을 일시적으로 기억한다.A ROM (not shown) stores control data such as a program and operation parameters used by a control unit (not shown). A RAM (not shown) temporarily stores a program or the like executed by a control unit (not shown).
기록부(미도시)는 영상 데이터나 어플리케이션 등 다양한 데이터를 기억한다. 기록부(미도시)의 예로서, 하드 디스크(Hard Disk) 등의 자기 기록 매체나 플래시 메모리(flash memory) 등의 불휘발성 메모리(nonvolatile memory) 등을 들 수 있다. 또한, 기록부(미도시)는 영상 처리 장치(100)로부터 탈부착 가능할 수 있다.A recording unit (not shown) stores various data such as video data and applications. Examples of the recording unit (not shown) include a magnetic recording medium such as a hard disk and a nonvolatile memory such as a flash memory. In addition, the recording unit (not shown) may be detachably attachable to the
조작부(미도시)의 예로서, 버튼이나 방향 키 혹은 이들의 조합 등을 들 수 있다. 또한, 영상 처리 장치(100)는, 영상 처리 장치(100)의 외부 장치로서의 조작 입력 디바이스(예를 들어, 키보드나 마우스 등)와 접속될 수도 있다.Examples of the operation unit (not shown) include buttons, direction keys, combinations thereof, and the like. The
디스플레이부(미도시)의 예로서, 액정 디스플레이(Liquid Crystal Display)나 유기 EL 디스플레이(Organic Electro-Luminescence display) 등을 들 수 있다. 아울러, 디스플레이부(미도시)는, 예를 들어, 터치 스크린 등과 같이 표시와 사용자 조작이 가능한 디바이스일 수도 있다. 또한, 영상 처리 장치(100)는 디스플레이부(미도시)의 유무와 상관없이 영상 처리 장치(100)의 외부 장치로서의 디스플레이 장치와 접속될 수 있다.Examples of the display unit (not shown) include a liquid crystal display (LCD) and an organic EL display (Organic Electro-Luminescence display). In addition, the display unit (not shown) may be a device capable of display and user operations such as a touch screen. Also, the
통신부(미도시)는, 통신망을 통하여(또는 직접적으로) 외부 장치와 무선 또는 유선으로 통신한다. 무선 통신부(미도시)의 예로서, 통신 안테나 및 RF(Radio Frequency) 회로나, IEEE 802.15.1 포트 및 송수신 회로, 또는 IEEE 802.11b 포트 및 송수신 회로 등을 들 수 있다. 유선 통신부(미도시)의 예로서, LAN(Local Area Network) 단자 및 송수신 회로 등을 들 수 있다. A communication unit (not shown) communicates wirelessly or wiredly with an external device via a communication network (or directly). Examples of the wireless communication unit (not shown) include a communication antenna and an RF (Radio Frequency) circuit, an IEEE 802.15.1 port and a transmission / reception circuit, or an IEEE 802.11b port and a transmission / reception circuit. As an example of a wired communication unit (not shown), a LAN (Local Area Network) terminal and a transmission / reception circuit can be given.
또한, 통신망(미도시)의 예로서, LAN이나 WAN(Wide Area Network) 등의 유선 네트워크, 무선 LAN(WLAN；Wireless Local Area Network)이나 기지국을 통한 무선 WAN(WWAN；Wireless Wide Area Network) 등의 무선 네트워크 혹은 TCP/IP(Transmission Control Protocol/Internet Protocol) 등의 통신 프로토콜을 이용한 인터넷 등을 들 수 있다.As an example of a communication network (not shown), a wired network such as a LAN or a WAN (Wide Area Network), a wireless LAN (WLAN) or a wireless wide area network (WWAN) A wireless network, or the Internet using a communication protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol).
촬영부(미도시)는 정지 영상이나 동영상을 촬영한다. 촬영부(미도시)를 구비한 경우, 영상 처리 장치(100)는 촬영부(미도시)로부터 전달되는 영상 신호를 처리할 수 있다. 촬영부(미도시)는 광학계와 영상 센서로써 구성된다. 영상 센서는 CMOS 또는 CCD의 촬상 소자들의 집합체이다.A photographing unit (not shown) photographs a still image or a moving image. When a photographing unit (not shown) is provided, the
결함 판정부(102)는, 본 발명의 실시 예의 영상 처리 방법을 수행하고, 제1 영상과 제2 영상에서 대응하는 위치의 화소의 화소 값들에 따라, 결함 화소를 판정한다. 예를 들어, 결함 판정부(102)는, 판정 대상 화소의 화소 값이 상기 수학식 1의 조건을 충족하지 않는 경우에 판정 대상 화소를 결함 화소로 판정한다.The
여기에서 결함 판정부(102)가 처리하는 제1 영상(FLONG) 및 제2 영상(FSHORT)의 예로서, 촬영부(미도시)나 외부 장치인 촬영 장치가 촬영함으로써 생성한 영상들을 들 수 있는데, 이에 한정되지 않는다. 예를 들어, 결함 판정부(102)는, 기록부(미도시)나 외부 기록 매체에서 독출된 제1 영상 및 제2 영상이나, 통신망을 통하여(혹은 직접적으로) 접속된 외부 장치로부터 수신한 제1 영상 및 제2 영상을 처리할 수도 있다.Here, as examples of the first image (F LONG ) and the second image (F SHORT ) processed by the
결함 판정부(102)는 결함 화소의 유무 및/또는 결함 화소의 위치 등을 나타내는 판정 결과 데이터(DDEC)를 출력한다.The
본 발명의 실시 예의 영상 처리 장치는 도 3에 도시한 구성으로 한정되지 않는다. 예를 들어, 본 발명의 실시 예의 영상 처리 장치는 노광 시간이 서로 다른 제1 영상(FLONG)과 제2 영상(FSHORT)을 합성하여 다이나믹 레인지(Dynamic Range)가 넓은 영상을 생성하는 와이드 다이나믹 레인지(WDR : Wide Dynamic Range) 처리를 더 할 수도 있다.The image processing apparatus of the embodiment of the present invention is not limited to the configuration shown in Fig. For example, the image processing apparatus of the embodiment of the present invention may include a wide dynamic range image synthesizing unit that synthesizes a first image (F LONG ) and a second image (F SHORT ) having different exposure times to generate an image having a wide dynamic range Range (WDR: Wide Dynamic Range) processing.
따라서, 다음으로, 와이드 다이나믹 레인지 처리(WDR)를 더 실시할 수 있는 제2 실시 예의 영상 처리 장치에 대해 설명하기로 한다.Therefore, the video processing apparatus of the second embodiment, which can further perform the wide dynamic range processing (WDR), will be described below.
［2］제2 실시 예의 영상 처리 장치[2] The image processing apparatus of the second embodiment
제2 실시 예의 영상 처리 장치(이하, 「영상 처리 장치(200)」라고 나타내는 경우가 있음)에 대해 설명하기 전에, 우선 본 발명의 실시 예의 와이드 다이나믹 레인지 처리에 대해 설명하기로 한다.Before describing the image processing apparatus of the second embodiment (hereinafter sometimes referred to as "
도 4 및 5는 도 3의 영상 처리 장치(100)와 연관된 와이드 다이나믹 레인지(WDR) 처리를 설명하기 위한 그래프들이다.FIGS. 4 and 5 are graphs for explaining the wide dynamic range (WDR) processing associated with the
도 4에서, 참조 부호 A는 촬영된 피사체의 휘도의 예의 그래프를, 그리고 B는 그래프 A에 해당하는 피사체가 촬영됨으로써 얻어진 영상 신호의 그래프를 각각 가리킨다.In FIG. 4, reference symbol A denotes an example graph of luminance of a photographed subject, and symbol B denotes a graph of a video signal obtained by photographing a subject corresponding to graph A.
단위 화소의 촬상 소자에 축적할 수 있는 수광량(최대 전하량)은 정해져 있으므로, 다이나믹 레인지가 좁으면, 도 4의 B에 도시한 바와 같이 백색 포화 영역 및 흑색 포화 영역에서 화질 저하가 발생된다. 이와 같은 화질 저하를 방지하기 위하여, 노광 시간이 서로 다른 제1 영상(FLONG)과 제2 영상(FSHORT)을 합성하는 처리가 와이드 다이나믹 레인지(WDR) 처리이다.The amount of light received (the maximum amount of charge) that can be accumulated in the image pickup element of the unit pixel is determined. When the dynamic range is narrow, image quality deterioration occurs in the white saturated region and the black saturated region as shown in Fig. In order to prevent such deterioration in image quality, a process for synthesizing a first image (F LONG ) and a second image (F SHORT ) having different exposure times is a wide dynamic range (WDR) process.
도 5에서 참조 부호 GLONG은 노광 시간이 상대적으로 긴 제1 영상의 특성 그래프를, 그리고 참조 부호 GSHORT은 노광 시간이 상대적으로 짧은 제2 영상의 특성 그래프를 각각 가리킨다.In FIG. 5, reference symbol G LONG denotes a characteristic graph of a first image having a relatively long exposure time, and reference symbol G SHORT denotes a characteristic graph of a second image having a relatively short exposure time.
도 5를 참조하면, 본 발명의 실시 예의 영상 처리 장치(도 6의 200)는 문턱 값 TH0 및 TH1(TH1＞TH0)을 사용하여 제1 영상과 제2 영상을 선택적으로 합성한다. 예를 들어, 문턱 값 TH0 및 TH1(TH1＞TH0)가 사용되어 아래의 (a) 내지 (c) 단계들이 수행됨에 따라, 화소의 위치(x,y)에 대응하는 화소 값 GLONG(x,y)와 GSHORT(x,y)가 선택적으로 합성된다.Referring to FIG. 5, the image processing apparatus (200 of FIG. 6) of the embodiment of the present invention selectively combines the first image and the second image using threshold values TH0 and TH1 (TH1> TH0). For example, the pixel values G LONG (x, y) corresponding to the position (x, y) of the pixel as the threshold values TH 0 and TH 1 (
(a) 도 5의 A 영역처럼 GLONG(x,y) ＜ TH0 인 화소에 대하여, 영상 처리 장치(200)는 화소 값들을 합성하지 않고, 노광 시간이 상대적으로 긴 제1 영상의 화소 값 GLONG(x,y)를 출력한다. (a) For a pixel having G LONG (x, y) < TH 0 as in the area A in FIG. 5, the
(b) 도 5의 도시한 B 영역처럼 GLONG(x,y)가 TH0 내지 TH1의 범위에 들 때, 영상 처리 장치(200)는, 아래의 수학식 3에 의하여 얻어진 합성 화소 값 GCOMB(x,y)를 출력한다.(b) When G LONG (x, y) is in the range of TH0 to TH1 like the B area shown in FIG. 5, the
상기 수학식 3에서, *는 곱셈 기호를, β는 합성 비율의 계수를, 그리고 K는 상기 수학식 2의 노광 비율을 각각 가리킨다.In the above equation (3), * denotes a multiplication sign,? Denotes a coefficient of a synthesis ratio, and K denotes an exposure ratio of the equation (2).
(c) 도 5의 C 영역처럼 GLONG(x,y) > TH1 인 화소에 대하여, 영상 처리 장치(200)는 화소 값들을 합성하지 않고, 노광 시간이 상대적으로 짧은 제2 영상의 화소 값 GSHORT(x,y)를 출력한다. (c) For a pixel having G LONG (x, y)>
상기와 같이 문턱 값 TH0 및 TH1(TH1＞TH0)가 사용되어 아래의 (a) 내지 (c) 단계들이 수행됨에 따라, 다이나믹 레인지가 더욱 넓은 영상 즉, WDR(Wide Dynamic Rage)의 영상을 얻을 수 있다.(A) to (c) are performed using the threshold values TH0 and TH1 (TH1> TH0) as described above, images having a wider dynamic range, that is, a WDR (Wide Dynamic Rage) have.
다음으로, 상기 와이드 다이나믹 레인지(WDR)의 처리를 더 실시할 수 있는 제2 실시 예의 영상 처리 장치(200)에 대해 설명하기로 한다.Next, the
도 6은 본 발명의 제2 실시 예의 영상 처리 장치(200)를 보여준다.Fig. 6 shows a
도 6에서 참조 부호 FLONG은 상대적으로 노광 시간이 긴 제1 영상을, FSHORT은 상대적으로 노광 시간이 짧은 제2 영상을, DDEC는 판정 결과 데이터를, CFLONG은 결함이 보정된 결과의 제1 영상을, CFSHORT은 결함이 보정된 결과의 제2 영상을, 그리고 FWDR은 와이드 다이나믹 레인지(WDR)의 영상을 각각 가리킨다.In FIG. 6, F LONG denotes a first image having a relatively long exposure time, F SHORT denotes a second image having a relatively short exposure time, D DEC denotes a judgment result data, and CF LONG denotes a defect corrected result CF SHORT indicates the second image of the defect-corrected result, and F WDR indicates the image of the wide dynamic range (WDR), respectively.
도 6을 참조하면, 본 발명의 제2 실시 예의 영상 처리 장치(200)는 결함 판정부(102), 결함 보정부(202) 및 합성부(204)를 포함한다.6, the
물론, 영상 처리 장치(200)는, 제1 실시 예의 영상 처리 장치(100)와 마찬가지로, 제어부, ROM(Read Only Memory), RAM(Random Access Memory), 기록부, 사용자 조작부, 디스플레이부, 통신부, 촬영부 등을 더 포함할 수 있다.Of course, like the
여기에서, 제어부(미도시)는 CPU나 각종 처리 회로 등으로 구성되어 영상 처리 장치(200) 전체를 제어한다. 또한, 제어부(미도시)는 결함 판정부(102), 결함 보정부(202) 및 합성부(204) 중에서 적어도 하나의 역할을 할 수 있다. 물론, 결함 판정부(102), 결함 보정부(202) 및 합성부(204)는 각 부의 처리를 실현할 수 있는 전용(또는 범용) 처리 회로로 구성될 수도 있다.Here, the control unit (not shown) includes a CPU, various processing circuits, and the like, and controls the entire
또한, 제어부(미도시)는, 처리 후의 와이드 다이나믹 레인지(WDR)의 영상(FWDR)을 기록부(미도시)에 기록하거나, 외부 장치에 전송할 수도 있다.In addition, the control unit (not shown) may record the processed wide dynamic range (WDR) image F WDR in a recording unit (not shown) or transmit it to an external device.
결함 판정부(102)는, 도 3에 도시한 제1 실시 예의 결함 판정부(102)와 마찬가지로, 제1 영상(FLONG)과 제2 영상(FSHORT)에서 대응하는 위치의 화소의 화소 값들에 따라, 결함 화소를 판정한다. 결함 판정부(102)는 판정 결과를 나타내는 판정 결과 데이터(DDEC)를 결함 보정부(202)에 전달한다.Similar to the
결함 보정부(202)는, 결함 판정부(102)로부터의 판정 결과 데이터(DDEC)에 따라, 결함 화소로 판정된 화소에 대응하는 제1 영상 및 제2 영상 각각의 화소 값을 보정한다. 그리고 결함 보정부(202)는 결함이 보정된 결과의 제1 영상(CFLONG)과 제2 영상(CFSHORT)의 신호들을 합성부(204)에 전달한다.The
결함 보정부(202)는, 보정 처리로서, 예를 들어, 결함 화소로 판정된 화소의 주변 화소들의 화소 값들을 참조하여 결함 화소로 판정된 화소의 화소 값에 대하여 선형 보간 처리를 할 수 있다. 물론, 결함 보정부(202)에서의 보정 처리는 이에 한정되지 않는다. As the correction processing, the
아울러 상기에서는, 결함 보정부(202)가 결함 판정부(102)로부터의 판정 결과 데이터(DDEC)에 따라, 결함 화소로 판정된 화소에 대응하는 화소 값을 보정하는 예를 나타냈으나, 이에 한정되지 않는다. 예를 들어, 제2 실시 예의 결함 보정부(202)는, 결함 판정부(102)와 같은 기능을 더 가지고, 제1 영상(FLONG) 및 제2 영상(FSHORT)에 따라 결함 화소를 판정하고, 결함 화소로 판정된 화소에 대응하는 화소 값을 선택적으로 보정할 수 있다.In the above description, the example in which the
도 7은 도 6의 제2 실시 예에서의 결함 판정부(102) 및 결함 보정부(202)의 동작을 설명하기 위한 흐름도이다. 도 7에서, 결함 판정부(102)에서의 결함 화소의 판정에 관한 처리의 다른 예가 함께 도시된다. FIG. 7 is a flowchart for explaining the operation of the
도 6 및 7을 참조하면, 단계들 S100, S102 및 S106은 결함 판정부(102)에 의하여 수행된다. 단계들 S104, S108 내지 S112는 결함 보정부(202)에 의하여 수행된다.Referring to Figs. 6 and 7, steps S100, S102, and S106 are performed by the
또한, 단계들 S100 내지 S110은 제1 영상(FLONG) 및 제2 영상(FSHORT)의 모든 화소들에 대하여 수행된다. 이하에서는, 도 7의 처리 방법을 도 6의 영상 처리 장치(200)가 실시하는 것으로서 설명된다.Steps S100 to S110 are performed for all the pixels of the first image F LONG and the second image F SHORT . Hereinafter, the processing method of FIG. 7 will be described as being performed by the
영상 처리 장치(200)는, 제1 영상(FLONG)에서의 판정 대상 화소의 화소 값(VLFP)이 포화 판정용 문턱값(TH)보다 적은지의 여부를 판정한다(단계 S100). 여기에서 포화 판정용 문턱값(TH)는 고정 값 또는 가변 값이다.The
상기 단계 S100에서 제1 영상(FLONG)에서의 판정 대상 화소의 화소 값(VLFP)이 포화 판정용 문턱값 TH보다 적다고 판정된 경우, 즉, 제1 화소 값(VLFP)이 포화되지 않았다고 판정된 경우, 영상 처리 장치(200)는 제1 화소 값(VLFP) 및 제2 화소 값(VSFP)이 상기 수학식 1의 조건을 만족시키는지의 여부를 판정한다(단계 S102).If it is determined in step S100 that the pixel value (V LFP ) of the determination target pixel in the first image (F LONG ) is smaller than the threshold value TH for saturation determination, that is, the first pixel value (V LFP ) The
상기 단계 S102에서 제1 화소 값(VLFP) 및 제2 화소 값(VSFP)이 상기 수학식 1의 조건을 만족시킨다고 판정된 경우, 화소 값이 노광 시간에 영향을 받으므로, 판정 대상 화소가 결함 화소에 해당하지 않는다고 판정한다. 따라서 영상 처리 장치(200)는 판정 대상 화소의 화소 값을 보정하지 않는다(단계 S104).If it is determined in step S102 that the first pixel value (V LFP ) and the second pixel value (V SFP ) satisfy the condition of Equation (1), since the pixel value is affected by the exposure time, It is determined that the pixel does not correspond to the defective pixel. Therefore, the
상기 단계 S102에서 제1 화소 값(VLFP) 및 제2 화소 값(VSFP)이 상기 수학식 1의 조건을 만족시키지 않는다고 판정된 경우, 화소 값이 노광 시간에 영향을 받지 않으므로, 영상 처리 장치(200)는 판정 대상 화소가 결함 화소에 해당한다고 판정한다. 그리고 영상 처리 장치(200)는 판정 대상 화소의 화소 값을 보정한다(단계 S110).If it is determined in step S102 that the first pixel value V LFP and the second pixel value V SFP do not satisfy the condition of Equation (1), since the pixel value is not affected by the exposure time, (200) determines that the determination target pixel corresponds to a defective pixel. Then, the
상기 단계 S100에서, 제1 영상(FLONG)에서의 판정 대상 화소의 화소 값 즉, 제1 화소 값(VLFP)이 포화 판정용 문턱값 TH보다 적지 않다고 판정된 경우, 즉, 제1 화소 값(VLFP)이 포화되어 있다고 판정된 경우, 영상 처리 장치(200)는, 제2 영상(FSHORT)에서의 판정 대상 화소의 화소 값 즉, 제2 화소 값(VSFP)이 아래의 수학식 4의 조건을 만족시키는지의 여부를 판정한다(단계 S102).If it is determined in step S100 that the pixel value of the determination subject pixel in the first image F LONG , that is, the first pixel value V LFP is not less than the threshold value TH for saturation determination, that is, If (V LFP) is determined that is saturated, the
상기 수학식 4에서 *는 곱셈 기호를, 그리고 K는 상기 수학식 2의 노광 비율을 각각 가리킨다.In Equation (4), * denotes a multiplication symbol, and K denotes an exposure ratio of Equation (2).
상기 수학식 4의 조건에 의한 판정 방법은, "제1 영상과 제2 영상에서 대응하는 위치의 화소에서 노광 시간과 화소 값 사이에 선형의 관계가 성립하는지의 여부에 따라, 결함 화소를 판정하는 방법"과 다른 예에 해당된다.The determination method based on the condition of the expression (4) is to judge whether or not a defective pixel is determined according to whether or not a linear relationship is established between the exposure time and the pixel value in the pixel at the position corresponding to the first image and the second image Method "and other examples.
상기 단계 S106에서 제2 화소 값(VSFP)이 상기 수학식 4의 조건을 만족시킨다고 판정된 경우, 영상 처리 장치(200)는 화소 값이 노광 시간에 영향을 받으므로, 판정 대상 화소가 결함 화소에 해당하지 않는다고 판정한다. 그리고 영상 처리 장치(200)는 판정 대상 화소의 화소 값을 보정하지 않는다(단계 S108).When it is determined in step S106 that the second pixel value (V SFP ) satisfies the condition of Equation (4), since the pixel value is affected by the exposure time, the image processing apparatus (200) Quot; Then, the
또한, 상기 단계 S106에서 제2 화소 값(VSFP)이 상기 수학식 4의 조건을 만족시키지 않는다고 판정된 경우, 영상 처리 장치(200)는 화소 값이 노광 시간에 영향을 받지 않으므로, 판정 대상 화소가 결함 화소에 해당한다고 판정한다. 그리고 영상 처리 장치(200)는 판정 대상 화소의 화소 값을 보정한다(단계 S110).When it is determined in step S106 that the second pixel value (V SFP ) does not satisfy the condition of Equation (4), the image processing apparatus (200) determines that the pixel value is not affected by the exposure time, Is a defective pixel. Then, the
상기 단계들 S100 내지 S110이 제1 영상(FLONG) 및 제2 영상(FSHORT)의 모든 화소들에 대하여 수행되면, 영상 처리 장치(200)는 결함이 보정된 결과의 제1 영상(CFLONG) 및 제2 영상(CFSHORT)을 출력한다(단계 S112).If the above steps S100 to S110 are performed on all the pixels of the first image F LONG and the second image F SHORT , the
다시 도 6을 참조하여 본 발명의 제2 실시 예의 영상 처리 장치(200)에 대해 설명하기로 한다. Referring again to FIG. 6, the
합성부(204)는, 상술한 본 발명의 실시 예의 와이드 다이나믹 레인지 처리를 하는 역할을 하여, 결함 보정부(202)에 대해 보정 결과의 제1 영상(CFLONG)과 보정 결과의 제2 영상(CFSHORT)을 합성한다.The combining
도 8은 도 6의 제2 실시 예에서의 합성부(204)의 내부 구성의 일 예를 보여준다. FIG. 8 shows an example of the internal configuration of the combining
도 8을 참조하면, 합성부(204)는 곱셈부(210), 레벨 판정부(212) 및 합성 처리부(214)를 포함한다.Referring to FIG. 8, the combining
곱셈부(210)는 보정 결과의 제2 영상(CFSHORT)에 상기 노광 비율(K)을 곱한다. 그리고 곱셈부(210)는, 곱셈 결과의 영상의 신호를 합성 처리부(214)에 전달한다.The
레벨 판정부(212)는, 보정 결과의 제1 영상(CFLONG), 하한 문턱 값(TH0) 및 상한 문턱 값(TH1)을 사용하여, 보정 결과의 제1 영상(CFLONG)의 각각의 화소 값(GLONG(x,y))의 레벨을 판정한다. 그리고 레벨 판정부(212)는 판정 결과를 합성 처리부(214)에 전달한다. 여기에서 레벨 판정부(212)에서의 판정 방법은 도 5를 참조하여 설명된 바와 같다.The
합성 처리부(214)는, 레벨 판정부(212)에서 전달되는 판정 결과에 따라, 결함 보정 결과의 제1 영상(CFLONG)과 결함 보정 결과의 제2 영상(CFSHORT)을 합성하고, 합성 결과의 와이드 다이나믹 레인지(WDR)의 영상(FWDR)을 출력한다.The
여기에서, 합성 처리부(214)는, 문턱 값 TH0 및 TH1(TH1＞TH0)을 사용하여, 결함 보정 결과의 제1 영상(CFLONG)과 결함 보정 결과의 제2 영상(CFSHORT)을 선택적으로 합성한다. 여기에서 합성 처리부(214)에서의 합성 방법은 도 5를 참조하여 설명된 바와 같다.Here, the
요약하면, 합성부(204)는 도 8에 도시한 구성에 의해 상술한 본 발명의 실시 예의 와이드 다이나믹 레인지의 처리를 실시한다. 물론, 제2 실시 예의 합성 처리부(204)의 구성이 도 8에 도시한 구성으로 한정되지 않는다.In summary, the combining
한편, 본 발명의 실시 예의 영상 처리 장치의 구성은, 도 3에 도시한 제1 실시 예의 구성이나, 도 6에 도시한 제2 실시 예의 구성으로 한정되지 않는다. 예를 들어, 본 발명의 실시 예의 와이드 다이나믹 레인지 처리를 하는 외부 장치와 연계하여 처리할 경우, 본 발명의 실시 예의 영상 처리 장치는, 도 6에 도시한 구성에서 합성부(204)를 구비하지 않는 구성을 채용하는 것도 가능하다.On the other hand, the configuration of the image processing apparatus of the embodiment of the present invention is not limited to the configuration of the first embodiment shown in Fig. 3 or the configuration of the second embodiment shown in Fig. For example, when processing is performed in conjunction with an external device that performs wide dynamic range processing according to an embodiment of the present invention, the image processing apparatus of the embodiment of the present invention may be configured so that, in the configuration shown in FIG. 6, It is also possible to employ a configuration.
본 발명은 상기 실시 예들에 한정되지 않는다. 본 발명의 실시 예들은, 예를 들어, 디지털카메라 등의 촬영 장치나 PC(Personal Computer)나 서버 등의 컴퓨터, 텔레비전 수상기 등의 표시장치, 휴대전화나 스마트폰 등의 통신 장치, 영상/음악 재생장치(또는 영상/음악 기록 재생장치), 게임기 등 영상 신호를 처리할 수 있는 다양한 기기에 적용할 수 있다. 또한, 본 발명의 실시 예들은, 상기 기기들에 편입시킬 수 있는 영상 처리 IC(Integrated Circuit)에 적용할 수도 있다.The present invention is not limited to the above embodiments. The embodiments of the present invention can be applied to various applications such as a photographing device such as a digital camera, a computer such as a PC (Personal Computer) or a server, a display device such as a television receiver, a communication device such as a mobile phone or a smart phone, (Or a video / music recording / reproducing apparatus), a game machine, and the like. Embodiments of the present invention can also be applied to an image processing IC (Integrated Circuit) that can be incorporated into the devices.
(본 발명의 실시 예의 프로그램)(Program of the embodiment of the present invention)
컴퓨터를 본 발명의 제1 실시 예의 영상 처리 장치로서 기능시키기 위한 프로그램(예를 들어, 컴퓨터를 결함 판정부로서 기능시킬 수 있는 프로그램)이 컴퓨터에서 실행될 수 있다.A program for causing a computer to function as the image processing apparatus of the first embodiment of the present invention (for example, a program capable of functioning as a defect judgment section) can be executed in the computer.
또한, 컴퓨터를 본 발명의 제2 실시 예의 영상 처리 장치로서 기능시키기 위한 프로그램(예를 들어, 컴퓨터를 결함 판정부, 결함 보정부 및 합성부(204)로서 기능시킬 수 있는 프로그램)이 컴퓨터에서 실행될 수 있다.In addition, a program for causing a computer to function as the image processing apparatus of the second embodiment of the present invention (for example, a program capable of making the computer function as a defect determination section, a defect correction section, and a synthesis section 204) .
물론, 상기 영상 처리 방법이 수행되는 프로그램은 컴퓨터 판독 가능한 비휘발성 기록 매체에 저장되어 사용된다.Of course, the program in which the image processing method is performed is stored and used in a computer-readable nonvolatile recording medium.
이상 설명된 바와 같이, 본 발명의 실시 예들의 상기 영상 처리 장치 및 영상 처리 방법에 의하면, 다음과 같은 효과들을 얻을 수 있다.As described above, according to the image processing apparatus and the image processing method of the embodiments of the present invention, the following effects can be obtained.
첫째, 영상 신호를 이용하여 결함 화소를 판정하므로, 촬영 장치의 제조 단계에서 결함 화소의 위치를 검출할 필요가 없다. First, since the defective pixel is determined using the video signal, it is not necessary to detect the position of the defective pixel in the manufacturing step of the imaging apparatus.
따라서, 촬영 장치의 제조 비용을 줄일 수 있다.Therefore, the manufacturing cost of the image pickup apparatus can be reduced.
둘째, 제1 영상과, 제1 영상보다 노광 시간이 짧은 제2 영상에서, 대응하는 위치의 화소의 화소 값들에 따라, 결함 화소가 판정된다. 즉, 종래의 기술들처럼 판정 대상 화소의 주변 화소들의 화소 값들을 참조하여 결함 화소를 판정하지 않는다. Second, a defective pixel is determined according to the pixel values of the pixel at the corresponding position in the first image and the second image having a shorter exposure time than the first image. That is, as in conventional techniques, the defective pixel is not determined by referring to the pixel values of the surrounding pixels of the determination target pixel.
따라서, 판정 대상 화소의 주변 화소들의 화소 값들을 참조하여 결함 화소를 판정하는 종래 기술의 문제점들이 해소되어, 상대적으로 적은 개수의 라인 메모리들이 사용되면서도 높은 정확도로써 결함 화소가 검출될 수 있다.Therefore, the problems of the prior art for determining the defective pixel by referring to the pixel values of the peripheral pixels of the determination target pixel are solved, so that a defective pixel can be detected with high accuracy while a relatively small number of line memories are used.
예를 들어, 상대적으로 적은 개수의 라인 메모리들이 사용되면서도, 판정 대상의 화소가 고주파 영역에 존재함에도 불구하고 결함 화소의 여부가 정확히 판정될 수 있다.For example, even when a relatively small number of line memories are used, it is possible to accurately determine whether or not a defective pixel exists even though the pixel to be judged exists in the high-frequency region.
이제까지 본 발명에 대하여 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. The present invention has been described above with reference to preferred embodiments. It will be understood by those skilled in the art that the present invention may be embodied in various other forms without departing from the spirit or essential characteristics thereof.
그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.Therefore, the above-described embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and the inventions claimed by the claims and the inventions equivalent to the claimed invention are to be construed as being included in the present invention.
영상 센서의 결함 화소 판정뿐만 아니라, 영상 처리 과정에서의 이차적 결함 화소 판정에 이용될 가능성이 있다.There is a possibility of being used not only for determining defective pixels of an image sensor but also for determining secondary defective pixels in an image processing process.
100, 200 : 영상 처리 장치, 102 : 결함 판정부,
202 : 결함 보정부, 204 : 합성부,
210 : 곱셈부, 212 : 레벨 판정부,
214 : 합성 처리부.100, 200: image processing apparatus, 102: defect judgment unit,
202: defect correction section, 204: synthesis section,
210: multiplication unit, 212: level determination unit,
214: synthesis processor.
Claims (11)
상기 제1 영상과 상기 제2 영상에서 대응하는 위치의 화소의 화소 값들에 따라, 결함 화소를 판정하는 결함 판정부;를 포함한, 영상 처리 장치.1. An image processing apparatus for processing a first image obtained by capturing the same object by the same imaging element and a second image having a shorter exposure time than the first image,
And a defect determination unit that determines a defective pixel according to pixel values of a pixel at a position corresponding to the first image and the second image.
상기 제1 영상과 상기 제2 영상에서 대응하는 위치의 화소에서, 노광 시간과 화소 값 사이에 선형의 관계가 성립하는지 여부에 따라, 결함 화소를 판정하는, 영상 처리 장치.The apparatus according to claim 1,
Wherein a defective pixel is determined based on whether or not a linear relationship exists between an exposure time and a pixel value in a pixel at a position corresponding to the first image and the second image.
상기 제1 영상과 상기 제2 영상에서 판정 대상 화소의 화소 값들이 아래의 수학식의 조건을 만족시키지 않은 경우, 상기 판정 대상 화소를 결함 화소로서 판정하는, 영상 처리 장치.
<수학식>
상기 수학식에서 VSFP는 짧은 노광 시간에 의한 제2 영상에서의 판정 대상 화소의 화소 값을, *는 곱셈 기호를, K는 제2 영상의 노광 시간에 대한 제1 영상의 노광 시간의 비율을, α는 영상 신호의 노이즈에 대한 오차 보정 계수를, 그리고 VLFP는 긴 노광 시간에 의한 제1 영상에서의 판정 대상 화소의 화소 값을, 각각 가리킴.The apparatus according to claim 2,
And judges the judgment object pixel as a defective pixel when the pixel values of the judgment object pixel in the first image and the second image do not satisfy the condition of the following equation.
≪ Equation &
In the above equation, V SFP denotes a pixel value of a determination target pixel in a second image due to a short exposure time, * denotes a multiplication sign, K denotes a ratio of exposure time of the first image to the exposure time of the second image, alpha is an error correction coefficient for noise of a video signal, and V LFP is a pixel value of a determination target pixel in the first image due to a long exposure time.
상기 결함 판정부에서의 판정 결과에 따라, 상기 제1 영상 및 상기 제2 영상 각각에서 결함 화소로 판정된 화소에 대응하는 화소 값을 보정하는 결함 보정부;를 더 포함한, 영상 처리 장치.4. The method according to any one of claims 1 to 3,
And a defect corrector configured to correct a pixel value corresponding to a pixel determined as a defective pixel in each of the first image and the second image in accordance with the determination result of the defect determination section.
상기 결함 보정부에서 보정된 결과의 제1 영상과 제2 영상을 합성하는 합성부를 더 포함한, 영상 처리 장치.5. The method of claim 4,
And a combining unit for combining the first image and the second image of the corrected result of the defect correcting unit.
상기 제1 영상과 상기 제2 영상에서 대응하는 위치의 화소의 화소 값들에 따라, 결함 화소를 판정함;을 포함한, 영상 처리 방법.Obtaining a first image obtained by capturing the same object by the same imaging element and a second image having a shorter exposure time than the first image; And
And determining a defective pixel according to pixel values of a pixel at a corresponding position in the first image and the second image.
상기 제1 영상과 상기 제2 영상에서 대응하는 위치의 화소에서, 노광 시간과 화소 값 사이에 선형의 관계가 성립하는지 여부에 따라, 결함 화소가 판정되는, 영상 처리 방법.7. The method of claim 6, wherein, in determining the defective pixel,
Wherein a defective pixel is determined according to whether or not a linear relationship is established between an exposure time and a pixel value in a pixel at a position corresponding to the first image and the second image.
상기 제1 영상과 상기 제2 영상에서 판정 대상 화소의 화소 값들이 아래의 수학식의 조건을 만족시키지 않은 경우, 상기 판정 대상 화소를 결함 화소로서 판정하는, 영상 처리 방법.
<수학식>
상기 수학식에서 VSFP는 짧은 노광 시간에 의한 제2 영상에서의 판정 대상 화소의 화소 값을, *는 곱셈 기호를, K는 제2 영상의 노광 시간에 대한 제1 영상의 노광 시간의 비율을, α는 영상 신호의 노이즈에 대한 오차 보정 계수를, 그리고 VLFP는 긴 노광 시간에 의한 제1 영상에서의 판정 대상 화소의 화소 값을, 각각 가리킴.8. The method of claim 7, wherein, in determining the defective pixel,
Wherein the determination target pixel is determined as a defective pixel when the pixel values of the determination target pixel in the first image and the second image do not satisfy the condition of the following equation.
≪ Equation &
In the above equation, V SFP denotes a pixel value of a determination target pixel in a second image due to a short exposure time, * denotes a multiplication sign, K denotes a ratio of exposure time of the first image to the exposure time of the second image, alpha is an error correction coefficient for noise of a video signal, and V LFP is a pixel value of a determination target pixel in the first image due to a long exposure time.
상기 결함 화소의 판정 결과에 따라, 상기 제1 영상 및 상기 제2 영상 각각에서 결함 화소로 판정된 화소에 대응하는 화소 값을 보정함;을 더 포함한, 영상 처리 방법.10. The method according to any one of claims 6 to 9,
And correcting a pixel value corresponding to a pixel determined as a defective pixel in each of the first image and the second image in accordance with the determination result of the defective pixel.
상기 화소 값이 보정된 결과의 제1 영상과 제2 영상을 합성함;을 더 포함한, 영상 처리 방법.10. The method of claim 9,
And synthesizing a first image and a second image resulting from the correction of the pixel values.
상기 영상 처리 방법은,
동일한 피사체를 동일한 촬상 소자에 의해 촬상함으로써 얻어진 제1 영상과, 상기 제1 영상보다 노광 시간이 짧은 제2 영상을 구함; 및
상기 제1 영상과 상기 제2 영상에서 대응하는 위치의 화소의 화소 값들에 따라, 결함 화소를 판정함;을 포함한, 컴퓨터 판독 가능한 기록 매체.
A computer-readable recording medium storing a program for performing a video processing method by a computer,
The image processing method includes:
Obtaining a first image obtained by capturing the same object by the same imaging element and a second image having a shorter exposure time than the first image; And
And determining a defective pixel according to pixel values of a pixel at a corresponding position in the first image and the second image.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2012-265771 | 2012-12-04 | ||
| JP2012265771A JP6674182B2 (en) | 2012-12-04 | 2012-12-04 | Image processing apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140071877A true KR20140071877A (en) | 2014-06-12 |
| KR102015585B1 KR102015585B1 (en) | 2019-08-28 |
Family
ID=51030990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130102662A KR102015585B1 (en) | 2012-12-04 | 2013-08-28 | Image processing apparatus and image processing method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6674182B2 (en) |
| KR (1) | KR102015585B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10542184B2 (en) | 2017-01-25 | 2020-01-21 | Ricoh Company, Ltd. | Photoelectric conversion device, defective pixel determining method, image forming apparatus, and recording medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000358195A (en) * | 1999-06-15 | 2000-12-26 | Matsushita Electric Ind Co Ltd | Video signal processor |
| JP2008301142A (en) | 2007-05-31 | 2008-12-11 | Fujitsu Microelectronics Ltd | Solid-state imaging device and pixel correction method |
| JP2012095219A (en) | 2010-10-28 | 2012-05-17 | Canon Inc | Imaging apparatus and control method of the same |
| JP2012134685A (en) | 2010-12-21 | 2012-07-12 | Hitachi Ltd | Imaging device |
-
2012
- 2012-12-04 JP JP2012265771A patent/JP6674182B2/en active Active
-
2013
- 2013-08-28 KR KR1020130102662A patent/KR102015585B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000358195A (en) * | 1999-06-15 | 2000-12-26 | Matsushita Electric Ind Co Ltd | Video signal processor |
| JP2008301142A (en) | 2007-05-31 | 2008-12-11 | Fujitsu Microelectronics Ltd | Solid-state imaging device and pixel correction method |
| JP2012095219A (en) | 2010-10-28 | 2012-05-17 | Canon Inc | Imaging apparatus and control method of the same |
| JP2012134685A (en) | 2010-12-21 | 2012-07-12 | Hitachi Ltd | Imaging device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014110622A (en) | 2014-06-12 |
| KR102015585B1 (en) | 2019-08-28 |
| JP6674182B2 (en) | 2020-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8509482B2 (en) | Subject tracking apparatus, subject region extraction apparatus, and control methods therefor | |
| JP5657182B2 (en) | Imaging apparatus and signal correction method | |
| EP2091261B1 (en) | White balance calibration for digital camera device | |
| TWI395958B (en) | Defective pixel detection and correction devices, systems, and methods for detecting and correcting defective pixel | |
| US9357127B2 (en) | System for auto-HDR capture decision making | |
| US8537269B2 (en) | Method, medium, and apparatus for setting exposure time | |
| US9407884B2 (en) | Image pickup apparatus, control method therefore and storage medium employing phase difference pixels | |
| US20170094241A1 (en) | Image processing device, imaging device, image processing method, and image processing program | |
| US20130021484A1 (en) | Dynamic computation of lens shading | |
| US9743031B2 (en) | Imaging device and imaging method | |
| TW200935357A (en) | Motion assisted image sensor configuration | |
| JP5851650B2 (en) | Restoration filter generation apparatus and method, image processing apparatus, imaging apparatus, restoration filter generation program, and recording medium | |
| JP5866478B2 (en) | Imaging apparatus, signal processing method, and signal processing program | |
| US20200412967A1 (en) | Imaging element and imaging apparatus | |
| US11290635B2 (en) | Imaging apparatus and image processing method | |
| US9877004B2 (en) | Color-mixture-ratio calculation device and method, and imaging device | |
| US20110187877A1 (en) | Image Correction For Image Capturing With an Optical Image Stabilizer | |
| WO2014098143A1 (en) | Image processing device, imaging device, image processing method, and image processing program | |
| US20140192219A1 (en) | Imaging device and imaging method | |
| JP2018185586A (en) | Image processing device and image processing method, and imaging device | |
| KR102015585B1 (en) | Image processing apparatus and image processing method | |
| JP2012222617A (en) | Image processing apparatus, image processing method, and program | |
| US11399145B2 (en) | Image processing device, imaging apparatus, image processing method, and program | |
| KR101871946B1 (en) | Apparatus, method and program of image processing | |
| JP6041523B2 (en) | Image processing apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |