KR20140009706A - Image processing device of searching and controlling an motion blur included in an image data and method thereof - Google Patents
Image processing device of searching and controlling an motion blur included in an image data and method thereof Download PDFInfo
- Publication number
- KR20140009706A KR20140009706A KR1020120076186A KR20120076186A KR20140009706A KR 20140009706 A KR20140009706 A KR 20140009706A KR 1020120076186 A KR1020120076186 A KR 1020120076186A KR 20120076186 A KR20120076186 A KR 20120076186A KR 20140009706 A KR20140009706 A KR 20140009706A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- boundary
- motion blur
- pixel
- pixel value
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 196
- 238000000034 method Methods 0.000 title claims description 69
- 230000000873 masking effect Effects 0.000 claims description 27
- 239000000284 extract Substances 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
Description
아래 실시예들은 이미지 데이터에 포함된 모션 블러 영역을 찾고 그 모션 블러 영역을 처리하는 이미지 프로세싱 장치 및 그 장치를 이용한 이미지 프로세싱 방법에 관한 것이다.
The following embodiments relate to an image processing apparatus for finding a motion blur region included in image data and processing the motion blur region, and an image processing method using the apparatus.
이미지 프로세싱(image processing)은 넓게는 입출력이 영상인 모든 형태의 정보 처리를 가리키며, 예를 들어 사진이나 동영상을 처리하는 작업 등을 포함할 수 있다. 대부분의 영상 처리 기법은 화상을 2차원 신호로 보고 여기에 표준적인 신호 처리 기법을 적용하는 방법을 이용한다.Image processing broadly refers to all types of information processing where input / output is an image, and may include, for example, processing a picture or a video. Most image processing techniques use a method of viewing an image as a 2D signal and applying standard signal processing techniques thereto.
이미지 센서는 이미지 프로세싱을 위한 입력 데이터를 센싱하는 장치로서, 예를 들어 CCD 이미지 센서 및 CMOS 이미지 센서를 포함할 수 있다.The image sensor is an apparatus for sensing input data for image processing, and may include, for example, a CCD image sensor and a CMOS image sensor.
디지털 카메라나 카메라폰에 포함된 CCD 이미지 센서 또는 CMOS 이미지 센서는 노출 시간 동안 광전 소자에 의해 모인 전하를 일정한 속도로 리드 아웃(read-out)할 수 있다. CCD image sensors or CMOS image sensors included in digital cameras or camera phones can read out the charge collected by the optoelectronic device at a constant rate during the exposure time.
이 때, 일반적인 보급형 디지털 카메라나 카메라폰에 쓰이는 CCD 이미지 센서나 CMOS 이미지 센서는 크기가 작을 수 있다. 따라서, 빛의 양이 상대적으로 적은 실내에서 촬영하거나 밤에 촬영하는 경우, 리드 아웃 속도가 느려질 수 있다. 이 경우, 이미지 센서가 충분한 전하를 얻기 위해 노출 시간을 늘려야 하는데, 그 결과 손 떨림이나 사물의 움직임과 같은 모션에 민감하게 된다. In this case, a CCD image sensor or a CMOS image sensor used in a general-purpose digital camera or a camera phone may have a small size. Therefore, when shooting indoors or at night when the amount of light is relatively low, the lead-out speed may be slowed down. In this case, the image sensor needs to increase the exposure time to obtain sufficient charge, which results in it being sensitive to motion such as hand shake and object movement.
또한, 카메라의 줌 기능을 사용하는 경우 초점거리가 길어지고 화각이 좁아지므로, 작은 흔들림에도 이미지의 결과물에 큰 모션으로 나타날 수 있다. In addition, when the zoom function of the camera is used, the focal length becomes longer and the angle of view becomes narrower, so that even a small shake may appear in the motion of the image in large motion.
이러한 모션에 의하여 이미지에 모션 블러가 발생될 수 있다. 이러한 모션 블러를 제거하기 위해 카메라의 노출 시간을 임의로 줄이는 경우, 모션 블러는 줄어들지만 이미지에 많은 노이즈가 생기고 밝기가 어두워질 수 있다.
Such motion may cause motion blur in the image. If the exposure time of the camera is arbitrarily reduced to eliminate such motion blur, the motion blur is reduced but the image may be much noisy and the brightness may be dark.
일 측에 따른 이미지 데이터에 포함된 모션 블러(motion blur)를 처리하는 이미지 프로세싱 장치는 한 번의 촬영으로 제1 이미지와 제2 이미지를 획득하는 이미지 촬영부; 상기 제1 이미지와 상기 제2 이미지에 기초하여 모션 블러가 발생된 모션 블러 영역을 검출하는 모션 블러 영역 검출부; 및 상기 제1 이미지, 상기 제2 이미지, 및 상기 모션 블러 영역에 기초하여 복원 이미지를 생성하는 이미지 복원부를 포함한다.An image processing apparatus for processing a motion blur included in image data according to one side may include: an image photographing unit configured to acquire a first image and a second image in one shot; A motion blur region detector configured to detect a motion blur region where motion blur is generated based on the first image and the second image; And an image reconstructor configured to generate a reconstructed image based on the first image, the second image, and the motion blur region.
이 때, 상기 이미지 촬영부는 제1 노출 시간에 기초하여 상기 제1 이미지를 생성하고, 제2 노출 시간에 기초하여 상기 제2 이미지를 생성하는 이미지 생성부를 포함하고, 상기 제1 노출 시간은 상기 제2 노출 시간보다 짧을 수 있다.The image capturing unit may include an image generating unit generating the first image based on a first exposure time and generating the second image based on a second exposure time. 2 may be shorter than the exposure time.
또한, 상기 이미지 촬영부는 상기 제2 이미지에 기초하여 상기 제1 이미지에 상기 제 2 이미지의 디자이어드 히스토그램(desired histogram) 정보를 사용하여 상기 제 1 이미지상에 히스토그램 등화(histogram equalization) 기법을 적용하는 히스토그램 등화부를 더 포함할 수 있다.The image capturing unit may apply a histogram equalization technique to the first image based on the second image by using histogram information of the second image. The histogram equalizer may be further included.
또한, 상기 모션 블러 영역 검출부는 상기 제 2 이미지의 디자이어드 히스토그램 정보를 사용하여 히스토그램 등화가 수행된 상기 제1 이미지에 포함된 제1 경계(edge)를 추출하고, 상기 제2 이미지에 포함된 제2 경계를 추출하는 경계 추출부; 및 상기 제1 경계와 상기 제2 경계에 기초하여 상기 모션 블러 영역을 획득하는 모션 블러 영역 획득부를 포함할 수 있다.In addition, the motion blur region detector extracts a first edge included in the first image on which histogram equalization is performed by using the histogram information of the second image, and includes a first image included in the second image. A boundary extractor for extracting two boundaries; And a motion blur region acquirer configured to obtain the motion blur region based on the first boundary and the second boundary.
또한, 상기 경계 추출부는 경계인지 여부를 판단하기 위한 문턱값을 결정하는 문턱값 결정부; 및 상기 문턱값에 기초하여 상기 제1 경계와 상기 제2 경계를 생성하는 경계 생성부를 포함할 수 있다. 이 경우, 문턱값 결정부는 곤잘레즈 스레시홀드 기법(Gonzalez’s threshold method)을 이용할 수 있다.The boundary extractor may further include: a threshold determiner configured to determine a threshold for determining whether the boundary is a boundary; And a boundary generator configured to generate the first boundary and the second boundary based on the threshold value. In this case, the threshold determination unit may use the Gonzalez's threshold method.
또한, 상기 모션 블러 영역 획득부는 상기 제1 경계와 상기 제2 경계를 포함하는 제3 경계-상기 제3 경계는 상기 제 1 경계로부터 모션에 의해 이동된 상기 제 2 경계까지의 무브먼트(movement)를 구성함-를 생성하는 경계 생성부; 및 제안된 단순 패쇄 경로 영역 마스킹(simple closed path region masking) 기법에 따라 상기 제3 경계에 의해 둘러싸인 영역을 포함하는 상기 모션 블러 영역을 생성하는 모션 블러 영역 생성부를 포함할 수 있다.In addition, the motion blur region obtaining unit may include a third boundary including the first boundary and the second boundary, wherein the third boundary comprises a movement from the first boundary to the second boundary moved by motion. A boundary generating unit for generating a constitution box; And a motion blur region generator for generating the motion blur region including the region surrounded by the third boundary according to the proposed simple closed path region masking technique.
또한, 상기 단순 패쇄 경로 영역 마스킹 기법은 OR 연산과 AND 연산을 이용하여 상기 제3 경계에 둘러싸인 영역을 획득할 수 있다.In addition, the simple block path region masking technique may obtain an area surrounded by the third boundary by using an OR operation and an AND operation.
또한, 상기 이미지 복원부는 상기 모션 블러 영역에 포함되는 복수의 픽셀들을 제안된 웨이티드 컬러 인터폴레이션(weighted color interpolation) 기법에 의해 모션 디블러링 함으로써 상기 복원 이미지를 생성할 수 있다.The image reconstructor may generate the reconstructed image by motion blurring a plurality of pixels included in the motion blur region by a proposed weighted color interpolation technique.
또한, 상기 이미지 복원부는 상기 제2 이미지에 기초하여 상기 모션 블러 영역에 포함되지 않는 복수의 픽셀들 각각의 픽셀값과 모션 블러 영역에 포함되는 상기 히스토그램 등화된(histogram equalized) 제 1 이미지의 픽셀값들을 설정함으로써 상기 복원 이미지를 생성할 수 있다.The image reconstructor may further include pixel values of each of the pixels that are not included in the motion blur region and pixel values of the histogram equalized first image included in the motion blur region based on the second image. The reconstructed image may be generated by setting the values.
또한, 상기 이미지 복원부는 상기 모션 블러 영역에 포함되는 대상 픽셀을 모션 디블러링 하기 위해 참조되는 복수의 참조 픽셀들을 상기 모션 블러 영역에 포함되지 않는 복수의 픽셀들로부터 추출하는 참조 픽셀 추출부; 상기 대상 픽셀과 상기 복수의 참조 픽셀들 각각 사이의 거리에 기초하여 상기 복수의 참조 픽셀들 각각의 가중치(weight)를 계산하는 가중치 계산부; 상기 제2 이미지에 포함된 복수의 픽셀들 중 상기 복수의 참조 픽셀들 각각에 대응되는 픽셀의 픽셀값과 상기 가중치에 기초하여 상기 복수의 참조 픽셀들 각각의 가중 픽셀값을 계산하는 가중 픽셀값 계산부; 및 상기 제1 이미지에 포함된 복수의 픽셀들 중 상기 대상 픽셀에 대응되는 히스토그램 등화된 픽셀의 픽셀값, 상기 가중치, 및 상기 가중 픽셀값에 기초하여 상기 대상 픽셀의 픽셀값을 계산하는 대상 픽셀값 계산부를 포함할 수 있다.The image reconstruction unit may further include: a reference pixel extracting unit configured to extract a plurality of reference pixels, which are referred to for motion blurring a target pixel included in the motion blur region, from a plurality of pixels not included in the motion blur region; A weight calculator configured to calculate a weight of each of the plurality of reference pixels based on a distance between the target pixel and each of the plurality of reference pixels; A weighted pixel value calculation for calculating a weighted pixel value of each of the plurality of reference pixels based on a pixel value of the pixel corresponding to each of the plurality of reference pixels among the plurality of pixels included in the second image and the weight. part; And a target pixel value for calculating a pixel value of the target pixel based on the pixel value, the weight, and the weighted pixel value of the histogram equalized pixel corresponding to the target pixel among the plurality of pixels included in the first image. It may include a calculation unit.
또한, 상기 대상 픽셀값 계산부는 상기 대상 픽셀이 상기 제1 경계에 포함되는 경우 상기 대상 픽셀에 대응되는 히스토그램 등화된 픽셀의 픽셀값과 관련된 가중치 인자의 값을 증가시키고, 상기 대상 픽셀이 상기 제1 경계에 포함되지 않는 경우 상기 가중치 및 상기 가중 픽셀값과 관련된 가중치 인자의 값을 증가시킬 수 있다.The target pixel value calculator may increase a value of a weighting factor associated with a pixel value of a histogram equalized pixel corresponding to the target pixel when the target pixel is included in the first boundary. When not included in the boundary, the value of the weight factor related to the weight and the weighted pixel value may be increased.
다른 일 측에 따른 이미지 데이터에 포함된 모션 블러를 처리하는 이미지 프로세싱 방법은 한 번의 촬영으로 제1 이미지와 제2 이미지를 획득하는 단계; 상기 히스토그램 등화된 제1 이미지에 포함된 제1 경계를 추출하고, 상기 제2 이미지에 포함된 제2 경계를 추출하는 단계; 및 상기 제1 경계와 상기 제2 경계에 기초하여 상기 모션 블러 영역을 획득하는 단계; 및 상기 제1 이미지, 상기 제2 이미지, 및 상기 모션 블러 영역에 기초하여 복원 이미지를 생성하는 단계를 포함하고, 상기 제1 이미지를 위한 제1 노출 시간은 상기 제2 이미지를 위한 제2 노출 시간보다 짧다.According to another aspect, an image processing method for processing motion blur included in image data may include obtaining a first image and a second image by one shot; Extracting a first boundary included in the histogram equalized first image and extracting a second boundary included in the second image; And obtaining the motion blur area based on the first boundary and the second boundary. And generating a reconstructed image based on the first image, the second image, and the motion blur region, wherein the first exposure time for the first image is a second exposure time for the second image. Shorter than
이 때, 상기 모션 블러 영역을 획득하는 단계는 상기 제1 경계와 상기 제2 경계를 포함하는 제3 경계를 생성하는 단계; 및 OR 연산과 AND 연산을 이용하는 단순 패쇄 경로 영역 마스킹 기법에 따라, 상기 제3 경계에 둘러싸인 영역을 포함하는 상기 모션 블러 영역을 생성하는 단계를 포함할 수 있다.In this case, the obtaining of the motion blur region may include generating a third boundary including the first boundary and the second boundary; And generating the motion blur region including the region surrounded by the third boundary according to a simple blockage path region masking technique using an OR operation and an AND operation.
또한, 상기 복원 이미지를 생성하는 단계는 상기 모션 블러 영역에 포함되는 복수의 픽셀들을 제안된 웨이티드 컬러 인터폴레이션 기법에 따라서 모션 디블러링 함으로써 상기 복원 이미지를 생성할 수 있다.In the generating of the reconstructed image, the reconstructed image may be generated by motion deblocking a plurality of pixels included in the motion blur region according to a proposed weighted color interpolation technique.
또한, 상기 복원 이미지를 생성하는 단계는 상기 모션 블러 영역에 포함되는 대상 픽셀을 모션 디블러링 하기 위해 참조되는 복수의 참조 픽셀들을 상기 모션 블러 영역에 포함되지 않는 복수의 픽셀들로부터 추출하는 단계; 상기 대상 픽셀과 상기 복수의 참조 픽셀들 각각 사이의 거리에 기초하여 상기 복수의 참조 픽셀들 각각의 가중치를 계산하는 단계; 상기 제2 이미지에 포함된 복수의 픽셀들 중 상기 복수의 참조 픽셀들 각각에 대응되는 픽셀의 픽셀값과 상기 가중치에 기초하여 상기 복수의 참조 픽셀들 각각의 가중 픽셀값을 계산하는 단계; 및 상기 제1 이미지에 포함된 복수의 픽셀들 중 상기 대상 픽셀에 대응되는 히스토그램 등화된 픽셀의 픽셀값, 상기 가중치, 및 상기 가중 픽셀값에 기초하여 상기 대상 픽셀의 픽셀값을 계산하는 단계를 포함할 수 있다.The generating of the reconstructed image may include extracting, from a plurality of pixels not included in the motion blur region, a plurality of reference pixels which are referred to for motion blurring a target pixel included in the motion blur region; Calculating weights of each of the plurality of reference pixels based on a distance between the target pixel and each of the plurality of reference pixels; Calculating a weighted pixel value of each of the plurality of reference pixels based on a pixel value of the pixel corresponding to each of the plurality of reference pixels among the plurality of pixels included in the second image and the weight; And calculating a pixel value of the target pixel based on the pixel value, the weight, and the weighted pixel value of the histogram equalized pixel corresponding to the target pixel among the plurality of pixels included in the first image. can do.
또한, 상기 대상 픽셀의 픽셀값을 계산하는 단계는 상기 대상 픽셀이 상기 제1 경계에 포함되는 경우 상기 대상 픽셀에 대응되는 히스토그램 등화된 픽셀의 픽셀값과 관련된 가중치 인자의 값을 증가시키고, 상기 대상 픽셀이 상기 제1 경계에 포함되지 않는 경우 상기 가중치 및 상기 가중 픽셀값과 관련된 가중치 인자의 값을 증가시킬 수 있다.
The calculating of the pixel value of the target pixel may include increasing a value of a weighting factor related to the pixel value of the histogram equalized pixel corresponding to the target pixel when the target pixel is included in the first boundary. When the pixel is not included in the first boundary, a value of the weight factor related to the weight and the weighted pixel value may be increased.
도 1a는 일 실시예에 따른 이미지에 포함된 모션 블러를 처리하는 이미지 프로세싱 장치를 나타낸 블록도.
도 1b는 일 실시예에 따른 이미지 복원부의 동작을 설명하기 위한 그래프.
도 1c는 일 실시예에 따른 한번의 촬영으로 두 장의 이미지를 얻는 동작을 설명하기 위한 도면
도 2는 일 실시예에 따른 이미지 촬영부의 동작을 설명하기 위한 그래프.
도 3은 일 실시예에 따른 모션 블러 영역을 설명하기 위한 도면.
도 4는 일 실시예에 따른 단순 패쇄 경로 영역 마스킹 기법을 설명하기 위한 도면.
도 5는 일 실시예에 따른 이미지에 포함된 모션 블러를 처리하는 이미지 프로세싱 방법을 나타낸 동작 흐름도.
도 6a와 도 6b는 일 실시예에 따른 이미지 프로세싱 장치의 반응 속도를 설명하기 위한 도면.
도 7은 일 실시예에 따른 이미지 프로세싱 장치에 의해 모션 블러가 처리된 결과를 설명하기 위한 도면.1A is a block diagram illustrating an image processing apparatus for processing motion blur included in an image, according to an exemplary embodiment.
1B is a graph for describing an operation of an image reconstruction unit according to an embodiment.
1C is a diagram for describing an operation of obtaining two images by one shooting, according to an exemplary embodiment.
2 is a graph illustrating an operation of an image capturing unit according to an exemplary embodiment.
3 is a diagram for describing a motion blur region according to an exemplary embodiment.
4 is a diagram for describing a simple blockage path area masking technique, according to an exemplary embodiment.
5 is an operation flowchart illustrating an image processing method of processing motion blur included in an image according to an exemplary embodiment.
6A and 6B are diagrams for describing a reaction speed of an image processing apparatus according to an embodiment.
7 is a diagram for describing a result of motion blur processed by an image processing apparatus according to an exemplary embodiment.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.
도 1은 일 실시예에 따른 이미지에 포함된 모션 블러(motion blur)를 처리하는 이미지 프로세싱 장치를 나타낸 블록도이다.1 is a block diagram illustrating an image processing apparatus for processing a motion blur included in an image according to an exemplary embodiment.
도 1을 참조하면, 일 실시예에 따른 이미지 프로세싱 장치(100)는 이미지 촬영부(110), 모션 블러 영역 검출부(120), 및 이미지 복원부(130)를 포함한다.Referring to FIG. 1, an
일 실시예에 따른 이미지 촬영부(110)는 한 번의 촬영으로 제1 이미지와 제2 이미지를 획득할 수 있다. 도 1c는 한번의 촬영으로 제 1이미지(160)와 제 2 이미지(170)를 획득하는 이미지 촬영부(110)의 동작을 보여준다.The
보다 구체적으로, 이미지 촬영부(110)는 이미지 생성부(111)를 포함할 수 있다. 이미지 생성부(111)는 제1 노출 시간에 기초하여 제1 이미지(160)를 생성하고, 제2 노출 시간에 기초하여 제2 이미지(170)를 생성할 수 있다. 여기서, 제1 노출 시간과 제2 노출 시간 각각은 촬영을 위해 이미지 센서가 빛에 노출되는 시간으로, 제1 노출 시간은 제2 노출시간보다 짧을 수 있다. More specifically, the
이 경우, 제1 이미지(160)는 제2 이미지(170)에 비하여 노이즈를 많이 포함하고 어두운 대신 모션 블러를 거의 포함하지 않을 수 있다. 반면, 제2 이미지(170)는 제1 이미지(160)에 비하여 모션 블러를 많이 포함하는 대신 시그널-노이즈 비율(Signal-to-Noise Ratio; SNR)이 좋고 밝을 수 있다. 한 번의 촬영으로 제1 이미지(160)와 제2 이미지(170)를 획득하는 이미지 생성부(111)와 관련된 보다 상세한 사항은 도 2를 참조하여 후술한다.In this case, the
즉, 일 실시예에 따른 이미지 프로세싱 장치(100)는 모션 디블러링(motion debluring)을 위하여, 모션 블러를 거의 포함하지 않는 제1 이미지로부터 형태 정보를 추출하고, 밝고 SNR이 좋은 제2 이미지로부터 색상 정보를 추출할 수 있다.That is, the
여기서, 모션 디블러링은 이미지 내 모션 블러를 제거하거나 완화하는 이미지 프로세싱 기법을 포함할 수 있다. 제1 이미지로부터 형태 정보를 추출하고 제2 이미지로부터 색상 정보를 추출하는 이미지 프로세싱 장치(100)의 동작과 관련된 보다 상세한 사항은 후술한다.Here, motion deblurring may include image processing techniques to remove or mitigate motion blur in the image. More details related to the operation of the
나아가, 이미지 촬영부(110)는 히스토그램 등화부(112)를 더 포함할 수 있다. 히스토그램 등화부(112)는 제1 이미지에 히스토그램 등화(equalization) 기법을 적용함으로써 제1 이미지의 밝기 개선과 명암대비를 보다 뚜렷하게 만들 수 있다. 여기서, 히스토그램 등화 기법은 제 2 이미지의 디자이어드 히스토그램(desired histogram) 정보를 참조하여 제1 이미지의 명암대비(또는 제1 이미지의 색상대비)를 조절하는 이미지 프로세싱 기법일 수 있다.In addition, the
보다 구체적으로, 히스토그램 등화부(112)는 전체적으로 어두운 제1 이미지에 포함된 복수의 픽셀들 각각의 명암을 보다 고르게 분포시킬 수 있다. 이로 인하여, 히스토그램 등화부(112)는 제1 이미지에 포함된 경계(edge)와 관련된 정보를 보다 정확하게 만들 수 있다.More specifically, the
이 때, 히스토그램 등화부(112)는 제2 이미지에 기초하여(즉, 제2 이미지의 디자이어드 히스토그램 정보에 기초하여) 제1 이미지에 히스토그램 등화(equalization) 기법을 적용할 수 있다. 즉, 히스토그램 등화부(112)는 제2 이미지의 명암에 기초하여 제1 이미지에 포함된 복수의 픽셀들 각각의 명암을 보다 고르게 분포시킬 수 있다.In this case, the
또한, 일 실시예에 따른 모션 블러 영역 검출부(120)는 제1 이미지와 제2 이미지에 기초하여 모션 블러가 발생된 모션 블러 영역을 검출할 수 있다. 이하, 제1 이미지는 히스토그램 등화부(112)에 의해 히스토그램 등화 기법이 적용된 결과 이미지를 지칭할 수 있다.In addition, the motion
보다 구체적으로, 모션 블러 영역 검출부(120)는 경계 추출부(121)를 포함할 수 있다. 경계 추출부(121)는 제1 이미지에 포함된 제1 경계를 추출하고, 제2 이미지에 포함된 제2 경계를 추출할 수 있다.More specifically, the motion
경계 추출부(121)는 제1 이미지와 제2 이미지 각각에 스레시홀딩(thresholding) 기법을 적용함으로써 제1 경계와 제2 경계를 추출할 수 있다. 여기서, 스레시홀딩 기법은 이미지 내 복수의 픽셀들 각각이 가지는 픽셀값을 특정 문턱값을 비교한 결과에 따라 복수의 픽셀들을 분할(segmentation)하는 이미지 프로세싱 기법이다.The
예를 들면, 경계 추출부(121)는 복수의 픽셀들 각각이 가지는 픽셀값이 특정 문턱값보다 큰 경우 해당 픽셀을 '1'로 분류할 수 있다. 또한, 경계 추출부(121)는 특정 문턱값보다 작은 픽셀들을 '0'으로 분류할 수 있다. 즉, 경계 추출부(121)는 이미지 내 복수의 픽셀들을 이원화시킴으로써 경계에 해당하는 픽셀들(이 경우, '1'로 분류된 픽셀들)을 추출할 수 있다.For example, the
보다 구체적으로, 도면에 표시되지 아니하였으나, 경계 추출부(121)는 문턱값 결정부와 경계 생성부를 포함할 수 있다.More specifically, although not shown in the drawing, the
일 실시예에 따른 문턱값 결정부는 곤잘레즈(Gonzalez) 알고리즘을 이용하여 제1 이미지를 위한 제1 문턱값과 제2 이미지를 위한 제2 문턱값을 각각 결정할 수 있다. 여기서, 곤잘레즈 알고리즘은 경계인지 여부를 판단하기 위한 문턱값을 결정하는 알고리즘으로, 해당 분야에서 통상의 지식을 가진 자라면 곤잘레즈 알고리즘을 명확하게 이해할 수 있는 바, 보다 상세한 설명은 생략한다.According to an exemplary embodiment, the threshold determiner may determine a first threshold value for the first image and a second threshold value for the second image by using a Gonzalez algorithm. Here, the Gonzales algorithm is an algorithm for determining a threshold value for determining whether the boundary, and a person skilled in the art can clearly understand the Gonzales algorithm, and thus a detailed description thereof will be omitted.
일 실시예에 따른 경계 생성부는 제1 이미지와 제2 이미지 각각에 소발 오퍼레이터(Sobal operator)를 적용함으로써 제1 픽셀값들과 제2 픽셀값들을 획득할 수 있다. 여기서, 소발 오퍼레이터는 이미지의 경계 정보를 얻기 위해 사용되는 기본적으로 사용되는 것으로서, 해당 분야에서 통상의 지식을 가진 자라면 소발 오퍼레이터를 명확하게 이해할 수 있는 바, 보다 상세한 설명은 생략한다.The boundary generator according to an exemplary embodiment may obtain first pixel values and second pixel values by applying a Sobal operator to each of the first image and the second image. Here, the hair removal operator is basically used to obtain boundary information of an image, and a person having ordinary knowledge in the art can clearly understand the hair removal operator, and thus a detailed description thereof will be omitted.
경계 생성부는 제1 픽셀값들 각각을 제1 경계와 비교함으로써 제1 경계를 생성하고, 제2 픽셀값들 각각을 제2 경계와 비교함으로써 제2 경계를 생성할 수 있다.The boundary generator may generate the first boundary by comparing each of the first pixel values with the first boundary, and generate the second boundary by comparing each of the second pixel values with the second boundary.
이 때, 전술한 바와 같이 제1 경계와 제2 경계 각각은 이진화된 이미지를 포함할 수 있다. 예를 들면, 제1 경계와 제2 경계 각각은 '0'과 '1'로 구성된 이진화된 이미지일 수 있고, 이진화된 이미지 내 '1'의 값을 갖는 픽셀들의 집합이 경계를 나타낼 수 있다.In this case, as described above, each of the first boundary and the second boundary may include a binarized image. For example, each of the first boundary and the second boundary may be a binarized image composed of '0' and '1', and a set of pixels having a value of '1' in the binarized image may represent the boundary.
나아가, 모션 블러 영역 검출부(120)는 모션 블러 영역 획득부(122)를 더 포함할 수 있다. 모션 블러 영역 획득부(122)는 제1 경계와 제2 경계에 기초하여 모션 블러 영역을 획득할 수 있다. 여기서, 모션 블러 영역은 이미지 내 모션 블러가 발생된 영역으로, 추후 모션 디블러링이 적용될 영역일 수 있다.In addition, the motion
즉, 일 실시예에 따른 이미지 프로세싱 장치(100)는 제1 이미지와 제2 이미지로부터 획득된 제1 경계와 제2 경계를 이용하여 모션 디블러링을 적용할 영역(즉, 모션 블러 영역)을 한정함으로써, 이미지 복원을 위한 연산량을 감소시킬 수 있다.That is, the
예를 들면, 모션 블러된 이미지에서 눈에 거슬리고 이미지의 질을 크게 저하시키는 부분은 경계 주변-예를 들면, 고 주파수 성분들(high frequency details)-에 형성될 수 있다. 이미지의 부드러운 영역(즉, 경계 주변을 제외한 영역)에서 발생된 모션 블러는 이미지의 질에 거의 영향을 미치지 아니한다. 따라서, 일 실시예에 따른 이미지 프로세싱 장치(100)는 모션 디블러링을 적용할 영역을 경계 주변으로 한정함으로써, 연산량 대비 복원된 이미지의 질을 최적화시키는 기술을 제공할 수 있다.For example, an unobtrusive part of the motion blurred image that greatly degrades the quality of the image may be formed around the boundary—eg, high frequency details. Motion blur generated in soft areas of the image (ie, areas other than the perimeter of the boundary) has little effect on the quality of the image. Accordingly, the
보다 구체적으로, 도면에 표시되지 아니하였으나, 모션 블러 영역 획득부(122)는 경계 생성부와 모션 블러 영역 생성부를 포함할 수 있다.More specifically, although not shown in the drawing, the motion
경계 생성부는 제1 경계와 제2 경계를 포함하는 제3 경계를 생성할 수 있다. 전술한 바와 같이, 사람의 눈은 경계 주변에 형성된 모션 블러에 민감하므로, 경계 생성부는 제 1 경계와 제 1경계로부터 모션에 의해 생성된 제 2 경계를 포함하고 제 1경계로부터 제 2 경계까지의 무브먼트(movement) 영역인 제3 경계를 생성할 수 있다.The boundary generator may generate a third boundary including the first boundary and the second boundary. As described above, the human eye is sensitive to motion blur formed around the boundary, so that the boundary generating portion includes the first boundary and the second boundary generated by the motion from the first boundary and from the first boundary to the second boundary. A third boundary, which is a movement region, may be generated.
모션 블러 영역 생성부는 단순 패쇄 경로 마스킹(simple closed path masking) 기법에 따라, 제3 경계에 둘러싸인 영역을 포함하는 모션 블러 영역을 생성할 수 있다. 즉, 모션 블러 영역 생성부는 제3 경계에 둘러싸인 영역이 모션 블러 영역에 포함될 수 있다. 단순 패쇄 경로 마스킹 기법과 관련된 보다 상세한 사항은 도 4를 참조하여 후술한다.The motion blur region generator may generate a motion blur region including a region surrounded by a third boundary according to a simple closed path masking technique. That is, the motion blur region generator may include the region surrounded by the third boundary in the motion blur region. More details related to the simple closed path masking technique are described below with reference to FIG. 4.
다시 말하면, 모션 블러 영역 획득부(122)는 모션 블러 영역을 획득하기 위하여 경계 추출부(121)에 의해 추출된 제1 경계와 제2 경계를 합치고, 그 합쳐진 결과(즉, 제3 경계)에 의해 둘러싸인 영역까지 모션 블러 영역으로 포함시킬 수 있다.In other words, the motion blur
또한, 일 실시예에 따른 이미지 복원부(130)는 제1 이미지, 제2 이미지, 및 모션 블러 영역에 기초하여 복원 이미지를 생성할 수 있다.In addition, the
이미지 복원부(130)는 복원 이미지를 생성하기 위하여, 제2 이미지에 기초하여 모션 블러 영역에 포함되지 않는 복수의 픽셀들 각각의 픽셀값을 설정할 수 있다. 즉, 이미지 복원부(130)는 제2 이미지로부터 추출된 색상 정보를 이용하여 모션 블러 영역에 포함되지 않는 복수의 픽셀들 각각의 픽셀값을 설정할 수 있다.The
나아가, 이미지 복원부(130)는 모션 블러 영역에 포함되는 복수의 픽셀들을 모션 디블러링 함으로써 복원 이미지를 생성할 수 있다. 이미지 복원부(130)는 모션 블러 영역을 모션 디블러링 하기 위하여 제1 이미지, 제2 이미지를 이용할 수 있다.In addition, the
이 때, 이미지 복원부(130)는 모션 블러 영역을 두 개의 영역으로 분할할 수 있다. 예를 들어, 도 1b를 참조하면, 이미지(140)는 모션 블러 영역(143, 145, 147)과 그 외의 영역(141, 149)를 포함한다. 이미지 복원부(130)는 모션 블러 영역(143, 145, 147)을 경계 영역(145)과 블러 영역(143, 147)으로 구분할 수 있다. 여기서, 경계 영역(145)은 제1 이미지로부터 추출된 제1 경계이고, 블러 영역(143, 147)은 모션 블러 영역 중 경계 영역을 제외한 나머지 영역일 수 있다.In this case, the
이미지 복원부(130)는 블러 영역(143)을 모션 디블러링 하기 위하여 모션 블러가 발생되지 아니한 근처 영역(141)을 활용할 수 있다. 즉, 이미지 복원부(130)는 블러 영역(143)에 포함된 픽셀(144)의 픽셀값을 설정할 때, 이미지 내 모션 블러 영역에 속하지 아니한 근처 픽셀(142)의 색상 정보를 참조할 수 있다. 이 때, 픽셀(142)의 색상 정보는 제2 이미지로부터 획득할 수 있다.The
마찬가지로, 이미지 복원부(130)는 블러 영역(147)을 모션 디블러링 하기 위하여 모션 블러가 발생되지 아니한 근처 영역(149)을 활용할 수 있다. 즉, 이미지 복원부(130)는 블러 영역(147)에 포함된 픽셀(148)의 픽셀값을 설정할 때, 이미지 내 모션 블러 영역에 속하지 아니한 근처 픽셀(150)의 색상 정보를 참조할 수 있다. 이 때, 픽셀(150)의 색상 정보는 제2 이미지로부터 획득할 수 있다.Similarly, the
나아가, 이미지 복원부(130)는 경계 영역(145)을 모션 디블러링 하기 위하여 제1 이미지를 이용할 수 있다. 즉, 이미지 복원부(130)는 경계 영역(145)에 포함된 픽셀(146)의 픽셀값을 설정할 때, 모션 블러 영역에 속하지 아니한 근처 유효 참조 픽셀들(142, 150)의 색상 정보와 함께 픽셀(146) 자신의 색상 정보를 이용할 수 있다. 이 때, 픽셀(146)은 급격히 변하는 영역(sharply changed region)-즉, 고 주파수 영역(high frequency region)-이기 때문에 근처 유효 참조 픽셀 색상 정보보다 히스토그램 등화된(histogram equalized) 자신의 색상 정보에 큰 가중치를 두어 복원 값을 획득할 수 있다. 전술한 바와 같이 제1 이미지는 히스토그램 등화부(112)에 의해 히스토그램 등화 기법이 적용된 이미지일 수 있다.Furthermore, the
보다 구체적으로, 도면에 도시되지는 아니하였으나, 이미지 복원부(130)는 참조 픽셀 추출부, 가중치 계산부, 가중 픽셀값 계산부, 및 대상 픽셀값 계산부를 포함할 수 있다.More specifically, although not shown in the drawing, the
참조 픽셀 추출부는 모션 블러 영역에 포함되는 대상 픽셀을 모션 디블러링 하기 위해 참조되는 복수의 참조 픽셀들을 모션 블러 영역에 포함되지 않는 복수의 픽셀들로부터 추출할 수 있다. 예를 들면, 모션 블러 영역 내 블러 영역(147)에 포함되는 대상 픽셀(148)을 모션 디블러링 하기 위해 참조되는 참조 픽셀(150)을 모션 블러 영역이 아닌 영역(149)으로부터 추출할 수 있다. 이 때, 참조 픽셀(150)은 복수일 수 있다.The reference pixel extractor may extract a plurality of reference pixels, which are referred to for motion blurring a target pixel included in the motion blur region, from a plurality of pixels not included in the motion blur region. For example, the
가중치 계산부는 대상 픽셀과 복수의 참조 픽셀들 각각 사이의 거리에 기초하여 복수의 참조 픽셀들 각각의 가중치(weight)를 계산할 수 있다. 나아가, 가중치 계산부는 수학식 1을 이용하여 복수의 참조 픽셀들 각각의 가중치의 총 합 WT(i,j)를 계산할 수 있다.
The weight calculator may calculate a weight of each of the plurality of reference pixels based on a distance between the target pixel and each of the plurality of reference pixels. Furthermore, the weight calculator may calculate the total sum W T (i, j) of the weights of the plurality of reference
여기서, (i, j)는 참조 픽셀 추출부에 의해 추출된 참조 픽셀의 좌표이다. 예를 들면, (i, j)는 대상 픽셀을 기준으로 한 참조 픽셀의 상대 좌표일 수 있다. i2은 대상 픽셀과 참조 픽셀 사이의 x축 픽셀 거리의 제곱일 수 있다. 마찬가지로, j2은 대상 픽셀과 참조 픽셀 사이의 y축 픽셀 거리의 제곱일 수 있다. C1는 가중치 인자로, 상수일 수 있다.Here, (i, j) are coordinates of the reference pixel extracted by the reference pixel extracting unit. For example, (i, j) may be relative coordinates of the reference pixel with reference to the target pixel. i 2 may be the square of the x-axis pixel distance between the target pixel and the reference pixel. Similarly, j 2 may be the square of the y-axis pixel distance between the target pixel and the reference pixel. C 1 is a weighting factor and may be a constant.
가중치 계산부는 상수인 C1에서 대상 픽셀과 참조 픽셀 사이의 거리의 제곱에 비례하는 값을 차감함으로써 대상 픽셀로부터 참조 픽셀까지의 맨하탄 디스턴스(Manhattan distance)에 따라 참조 픽셀의 가중치를 계산할 수 있다. 따라서, 가중치 계산부는 참조 픽셀이 대상 픽셀과 더 가까이 있을수록 더 큰 가중치를 줄 수 있다.The weight calculator may calculate a weight of the reference pixel according to a Manhattan distance from the target pixel to the reference pixel by subtracting a value proportional to the square of the distance between the target pixel and the reference pixel from the constant C 1 . Therefore, the closer the reference pixel is to the target pixel, the greater the weight calculation unit may give.
가중 픽셀값 계산부는 제2 이미지에 포함된 복수의 픽셀들 중 복수의 참조 픽셀들 각각에 대응되는 픽셀의 픽셀값과 가중치에 기초하여 복수의 참조 픽셀들 각각의 가중 픽셀값을 계산할 수 있다. 예를 들면, 가중 픽셀값 계산부는 제2 이미지에 포함된 복수의 픽셀들 중 참조 픽셀(150)에 대응되는 픽셀의 픽셀값(즉, 색상 정보)과 참조 픽셀(150)의 가중치에 기초하여 참조 픽셀(150)의 가중 픽셀값을 계산할 수 있다.The weighted pixel value calculator may calculate a weighted pixel value of each of the plurality of reference pixels based on a pixel value and a weight of a pixel corresponding to each of the plurality of reference pixels among the plurality of pixels included in the second image. For example, the weighted pixel value calculator may refer to the pixel based on the pixel value (ie, color information) of the pixel corresponding to the
가중 픽셀값 계산부는 참조 픽셀의 가중 픽셀값을 계산하기 위하여, 제2 이미지 내 참조 픽셀에 대응되는 픽셀의 픽셀값과 참조 픽셀의 가중치를 곱할 수 있다. 이 때, 가중 픽셀값 계산부는 곱셈 연산을 시프트(shift) 연산으로 근사함으로써 연산량을 감소시킬 수 있다. 나아가, 가중 픽셀값 계산부는 수학식 2를 이용하여 복수의 참조 픽셀들 각각의 가중 픽셀값의 총 합 ST(i,j)를 계산할 수 있다.
The weighted pixel value calculator may multiply the pixel value of the pixel corresponding to the reference pixel in the second image by the weight of the reference pixel to calculate the weighted pixel value of the reference pixel. In this case, the weighted pixel value calculator may reduce the amount of calculation by approximating a multiplication operation to a shift operation. Furthermore, the weighted pixel value calculator may calculate the total sum S T (i, j) of the weighted pixel values of each of the plurality of reference pixels using Equation 2.
여기서, (i, j)는 참조 픽셀 추출부에 의해 추출된 참조 픽셀의 좌표이다. 예를 들면, (i, j)는 대상 픽셀을 기준으로 한 참조 픽셀의 상대 좌표일 수 있다. VNEI(i,j)는 제2 이미지 내 (i, j) 좌표의 모션 블러 영역에 포함 되지 않는 픽셀의 유효 참조 픽셀값일 수 있다.Here, (i, j) are coordinates of the reference pixel extracted by the reference pixel extracting unit. For example, (i, j) may be relative coordinates of the reference pixel with reference to the target pixel. VNEI (i, j) may be an effective reference pixel value of a pixel not included in the motion blur region of the (i, j) coordinate in the second image.
대상 픽셀값 계산부는 제1 이미지에 포함된 복수의 픽셀들 중 대상 픽셀에 대응되는 픽셀의 픽셀값, 참조 픽셀의 가중치, 및 참조 픽셀의 가중 픽셀값에 기초하여 대상 픽셀의 픽셀값을 계산할 수 있다.The target pixel value calculator may calculate the pixel value of the target pixel based on the pixel value of the pixel corresponding to the target pixel among the plurality of pixels included in the first image, the weight of the reference pixel, and the weighted pixel value of the reference pixel. .
보다 구체적으로, 대상 픽셀값 계산부는 가중치 계산부에 의해 계산된 가중치들의 총 합과 가중 픽셀값 계산부에 의해 계산된 가중 픽셀값들의 총 합을 이용하여 평균 가중 픽셀값을 계산할 수 있다. 대상 픽셀값 계산부는 대상 픽셀의 픽셀값을 계산하기 위하여, 평균 가중 픽셀값뿐 아니라, 제1 이미지 내 대상 픽셀의 좌표에 대응되는 픽셀의 픽셀값도 이용할 수 있다.
More specifically, the target pixel value calculator may calculate the average weighted pixel value using the total sum of the weights calculated by the weight calculator and the total sum of the weighted pixel values calculated by the weighted pixel value calculator. The target pixel value calculator may use not only the average weighted pixel value but also the pixel value of the pixel corresponding to the coordinate of the target pixel in the first image to calculate the pixel value of the target pixel.
여기서, 
이 때, 대상 픽셀값 계산부는 대상 픽셀이 제1 경계에 포함되는 경우(즉, 경계 영역에 포함되는 경우) 대상 픽셀에 대응되는 픽셀의 픽셀값과 관련된 가중치 인자(C3)의 값을 증가시킬 수 있다. 대상 픽셀값 계산부는 대상 픽셀이 제1 경계에 포함되지 않는 경우(즉, 블러 영역에 포함되는 경우) 가중치 및 가중 픽셀값과 관련된 가중치 인자(C2)의 값을 증가시킬 수 있다.
In this case, the target pixel value calculator may increase the value of the weighting factor C 3 associated with the pixel value of the pixel corresponding to the target pixel when the target pixel is included in the first boundary (ie, included in the boundary region). Can be. The target pixel value calculator may increase a value of the weight factor C 2 related to the weight and the weighted pixel value when the target pixel is not included in the first boundary (ie, included in the blur area).
도 2는 일 실시예에 따른 이미지 촬영부의 동작을 설명하기 위한 그래프이다.2 is a graph for describing an operation of an image photographing unit according to an exemplary embodiment.
도 2를 참조하면, 일 실시예에 따른 이미지 촬영부는 한 번의 촬영으로 제1 이미지와 제2 이미지를 생성할 수 있다. 도 2의 x축은 시간이고, y축은 이미지 센서에 축적된 광전하의 양(또는, 이미지 센서에 의해 흐를 수 있는 광전류의 양)일 수 있다.Referring to FIG. 2, the image photographing unit may generate the first image and the second image by one photographing. The x-axis of FIG. 2 is time, and the y-axis may be the amount of photocharge accumulated in the image sensor (or the amount of photocurrent that may flow by the image sensor).
전술한 바와 같이, 제1 이미지는 제1 노출 시간(210)에 기초하여 생성되고, 제2 이미지는 제2 노출 시간(220)에 기초하여 생성될 수 있다. 이 때, 이미지 촬영부는 제2 이미지를 획득하기 위해 이미지 센서를 빛에 노출하는 중간에 제1 이미지를 획득할 수 있다.As described above, the first image may be generated based on the
이 때, 제2 노출 시간(220)은 충분한 화소의 이미지를 생성하는 데 필요한 양의 빛을 입력 받는 데 걸리는 시간으로 설정될 수 있다. 이 때, 제2 노출 시간(220)은 촬영 환경에 따라 자동으로 변경될 수 있다. In this case, the
예를 들면, 밝은 환경에서는 특정 품질의 이미지를 생성하기 위해 필요한 양의 빛을 빠르게 입력 받을 수 있다. 반면, 어두운 환경에서는 동일한 품질의 이미지를 생성하기 위해 필요한 양의 빛을 입력 받는데 더 오랜 시간이 요구될 수 있다. 따라서, 밝은 환경에서의 제2 노출 시간은 어두운 환경에서의 제2 노출 시간에 비하여 짧게 설정될 수 있다.In bright environments, for example, you can quickly receive the amount of light needed to produce a certain quality image. In dark environments, on the other hand, it may take longer to receive the amount of light required to produce the same quality image. Therefore, the second exposure time in the bright environment can be set shorter than the second exposure time in the dark environment.
다른 실시예에 따르면, 제2 노출 시간(220)은 모션 디블러링 장치의 동작 모드에 따라 수동으로 변경될 수 있다.According to another embodiment, the
한편, 제1 노출 시간(210)은 노이즈를 많이 포함하고 어둡지만 모션 블러가 실질적으로 거의 없는 이미지를 생성하는 데 필요한 양의 빛을 입력 받는 데 걸리는 시간으로 설정될 수 있다.Meanwhile, the
제1 노출 시간(210)도 제2 노출 시간(220)과 마찬가지로, 모션 디블러링 장치의 동작 모드에 따라 자동 또는 수동으로 변경될 수 있다.
Like the
도 3은 일 실시예에 따른 모션 블러 영역을 설명하기 위한 도면이다.3 is a diagram for describing a motion blur region according to an exemplary embodiment.
도 3을 참조하면, 일 실시예에 따른 이미지 프로세싱 장치는 제1 이미지(310)와 제2 이미지(320)를 생성할 수 있다.Referring to FIG. 3, an image processing apparatus according to an embodiment may generate a
제1 이미지(310)는 제2 이미지(320)에 비하여 노이즈를 많이 포함하고 어두운 대신 모션 블러를 거의 포함하지 않을 수 있다. 반면, 제2 이미지(320)는 제1 이미지(310)에 비하여 모션 블러를 많이 포함하는 대신 SNR이 좋고 밝을 수 있다.The
또한, 일 실시예에 따른 이미지 프로세싱 장치는 제1 이미지(310)로부터 제1 경계(330)을 추출하고, 제2 이미지(320)로부터 제2 경계(340)를 추출할 수 있다.In addition, the image processing apparatus may extract the
이 경우, 제1 경계(330)와 제2 경계(340) 각각은 이진화된 이미지를 포함할 수 있다. 예를 들면, 제1 경계(330)와 제2 경계(340) 각각은 '0'과 '1'로 구성된 이진화된 이미지일 수 있고, 이진화된 이미지 내 '1'의 값을 갖는 픽셀들의 집합이 경계를 나타낼 수 있다.In this case, each of the
또한, 일 실시예에 따른 이미지 프로세싱 장치는 제1 경계(330)와 제2 경계(340)로부터 모션 블러 영역(350)을 생성할 수 있다.In addition, the image processing apparatus according to an embodiment may generate the
우선, 이미지 프로세싱 장치는 제1 경계(330)와 제2 경계(340)를 모두 포함하는 제3 경계(도면 미표시)를 생성할 수 있다. 이미지 프로세싱 장치는 단순 패쇄 경로 마스킹 기법에 기초하여 제3 경계에 의하여 둘러싸이는 부분들을 검출하고, 검출된 부분들을 포함하는 모션 블러 영역(350)을 생성할 수 있다. 단순 패쇄 경로 마스킹 기법과 관련된 보다 상세한 사항은 도 4를 참조하여 후술한다.
First, the image processing apparatus may generate a third boundary (not shown) including both the
도 4는 일 실시예에 따른 단순 패쇄 경로 마스킹 기법을 설명하기 위한 도면이다.4 is a diagram for describing a simple blockade path masking technique, according to an exemplary embodiment.
도 4를 참조하면, 일 실시예에 따른 이미지 프로세싱 장치는 단순 패쇄 경로 마스킹 기법에 기초하여 모션 블러 영역을 생성할 수 있다.Referring to FIG. 4, an image processing apparatus according to an embodiment may generate a motion blur region based on a simple block path masking technique.
보다 구체적으로, 일 실시예에 따른 단순 패쇄 경로 마스킹 기법은 영역 R(490)을 모션 블러 영역에 포함시킬지 여부를 결정할 수 있다.More specifically, the simple blockade path masking technique according to an embodiment may determine whether to include the
단순 패쇄 경로 마스킹 기법은 영역 R(490)을 기준을 8방향 모두에 모션 블러 영역에 속하는 픽셀들이 존재한다면, 영역 R(490)도 모션 블러 영역에 포함된다고 판단할 수 있다.The simple block path masking technique may determine that the
예를 들면, 단순 패쇄 경로 마스킹 기법은 영역 R(490)을 기준으로 제1 방향(410), 제2 방향(420), 제3 방향(430), 제4 방향(440), 제5 방향(450), 제6 방향(460), 제7 방향(470), 및 제8 방향(480)에 모션 블러 영역에 속하는 픽셀이 존재하는 지 여부를 판단할 수 있다.For example, the simple blocking path masking technique may be based on the
이 때, 제1 방향(410) 내지 제8 방향(480) 각각은 미리 정해진 수(예를 들면, 2)의 영역들을 포함할 수 있다. 또한, 단순 패쇄 경로 마스킹 기법은 제1 방향(410) 내지 제8 방향(480) 각각에 포함된 미리 정해진 수(예를 들면, 2)의 영역들 중 적어도 하나의 영역이 모션 블러 영역에 속하는 경우, 해당 방향에 모션 블러 영역에 속하는 픽셀이 존재한다고 판단할 수 있다. 여기서, 단순 패쇄 경로 마스킹 기법은 특정 영역이 모션 블러 영역에 속하는 픽셀을 포함하는 경우, 해당 영역이 모션 블러 영역에 속한다고 판단할 수 있다.In this case, each of the
나아가, 단순 패쇄 경로 마스킹 기법은 제1 방향(410) 내지 제8 방향(480)에 모두 모션 블러 영역에 속하는 픽셀이 존재한다고 판단하는 경우, 영역 R(490)을 모션 블러 영역에 추가할 수 있다.Furthermore, when the simple block path masking technique determines that the pixels belonging to the motion blur region exist in the
여기서, 영역 R(490)는 복수의 픽셀들로 구성된 픽셀군일 수 있다. 예를 들면, 영역 R(490)는 n * n의 픽셀들을 포함하는 픽셀군일 수 있다. 이 경우, 제1 방향(410) 내지 제8 방향(480) 각각에 포함되는 미리 정해진 수의 영역들 또한 각각 n * n의 픽셀들을 포함하는 픽셀군일 수 있다.Here, the
또 다른 실시예에 따르면, 단순 패쇄 경로 마스킹 기법은 OR 연산과 AND 연산을 이용하여 전술한 연산을 수행하도록 구현될 수 있다. 예를 들면, 단순 패쇄 경로 마스킹 기법은 제1 방향(410) 내지 제8 방향(480) 각각에 포함되는 미리 정해진 수의 영역들을 OR 시킬 수 있다. 그 결과, 단순 패쇄 경로 마스킹 기법은 제1 방향(410) 내지 제8 방향(480) 각각에 모션 블러 영역에 속하는 픽셀이 존재하는지 여부를 연산할 수 있다. 나아가, 단순 패쇄 경로 마스킹 기법은 제1 방향(410) 내지 제8 방향(480) 각각의 OR 연산 결과를 모두 AND 시킬 수 있다. 그 결과, 단순 패쇄 경로 마스킹 기법은 제1 방향(410) 내지 제8 방향(480)에 모두 모션 블러 영역에 속하는 픽셀이 존재하는지 여부를 연산할 수 있다.According to another embodiment, the simple block path masking technique may be implemented to perform the aforementioned operation using an OR operation and an AND operation. For example, the simple blockade path masking technique may OR the predetermined number of regions included in each of the
또 다른 실시예에 따르면, 단순 패쇄 경로 마스킹 기법은 수학식 4를 이용하여 전술한 연산을 수행하도록 구현될 수 있다.
According to another embodiment, the simple block path masking technique may be implemented to perform the aforementioned operation using Equation 4.
만약, 
if,
도 5는 일 실시예에 따른 이미지에 포함된 모션 블러를 처리하는 이미지 프로세싱 방법을 나타낸 동작 흐름도이다.5 is an operation flowchart illustrating an image processing method of processing motion blur included in an image according to an exemplary embodiment.
도 5를 참조하면, 이미지에 포함된 모션 블러를 처리하는 이미지 프로세싱 방법은 제1 이미지와 제2 이미지를 획득하는 단계(510), 제1 경계와 제2 경계를 추출하는 단계(520), 모션 블러 영역을 획득하는 단계(530), 및 복원 이미지를 생성하는 단계(530)을 포함할 수 있다.Referring to FIG. 5, the image processing method for processing motion blur included in an image may include obtaining 510 a first image and a second image, extracting a first boundary and a
제1 이미지와 제2 이미지를 획득하는 단계(510)는 한 번의 촬영으로 제1 이미지와 제2 이미지를 획득할 수 있다. 이 때, 제1 이미지를 위한 제1 노출 시간은 제2 이미지를 위한 제2 노출 시간보다 짧을 수 있다. 또한, 제1 경계와 제2 경계를 추출하는 단계(520)는 제1 이미지에 포함된 제1 경계를 추출하고, 제2 이미지에 포함된 제2 경계를 추출할 수 있다.Acquiring the first image and the
또한, 모션 블러 영역을 획득하는 단계(530)는 제1 경계와 제2 경계에 기초하여 모션 블러 영역을 획득할 수 있다. 보다 구체적으로, 모션 블러 영역을 획득하는 단계(530)는 제1 경계와 제2 경계를 포함하는 제3 경계를 생성하는 단계와 OR 연산과 AND 연산을 이용하는 단순 패쇄 경로 마스킹 기법에 따라 제3 경계 및 제3 경계에 둘러싸인 영역을 포함하는 모션 블러 영역을 생성하는 단계를 포함할 수 있다.In
또한, 복원 이미지를 생성하는 단계(530)는 제1 이미지, 제2 이미지, 및 모션 블러 영역에 기초하여 복원 이미지를 생성할 수 있다. 보다 구체적으로, 복원 이미지를 생성하는 단계(530)는 모션 블러 영역에 포함되는 복수의 픽셀들을 모션 디블러링 함으로써 복원 이미지를 생성할 수 있다.In
이 때, 복원 이미지를 생성하는 단계(530)는 복수의 참조 픽셀들을 추출하는 단계, 복수의 참조 픽셀들 각각의 가중치를 계산하는 단계, 복수의 참조 픽셀들 각각의 가중 픽셀값을 계산하는 단계, 및 대상 픽셀의 픽셀값을 계산하는 단계를 포함할 수 있다.In this case, the generating of the reconstructed image may include extracting a plurality of reference pixels, calculating a weight of each of the plurality of reference pixels, calculating a weighted pixel value of each of the plurality of reference pixels, And calculating a pixel value of the target pixel.
복수의 참조 픽셀들을 추출하는 단계는 모션 블러 영역에 포함되는 대상 픽셀을 모션 디블러링 하기 위해 참조되는 복수의 참조 픽셀들을 모션 블러 영역에 포함되지 않는 복수의 픽셀들로부터 추출할 수 있다. 복수의 참조 픽셀들 각각의 가중 픽셀값을 계산하는 단계는 대상 픽셀과 복수의 참조 픽셀들 각각 사이의 거리에 기초하여 복수의 참조 픽셀들 각각의 가중치를 계산할 수 있다. 복수의 참조 픽셀들 각각의 가중 픽셀값을 계산하는 단계는 제2 이미지에 포함된 복수의 픽셀들 중 복수의 참조 픽셀들 각각에 대응되는 픽셀의 픽셀값과 가중치에 기초하여 복수의 참조 픽셀들 각각의 가중 픽셀값을 계산할 수 있다. 대상 픽셀의 픽셀값을 계산하는 단계는 제1 이미지에 포함된 복수의 픽셀들 중 대상 픽셀에 대응되는 픽셀의 픽셀값, 가중치, 및 가중 픽셀값에 기초하여 대상 픽셀의 픽셀값을 계산할 수 있다.The extracting of the plurality of reference pixels may extract a plurality of reference pixels, which are referred to for motion deblocking a target pixel included in the motion blur region, from a plurality of pixels not included in the motion blur region. The calculating of the weighted pixel value of each of the plurality of reference pixels may calculate a weight of each of the plurality of reference pixels based on a distance between the target pixel and each of the plurality of reference pixels. The calculating of the weighted pixel value of each of the plurality of reference pixels may include each of the plurality of reference pixels based on a pixel value and a weight of a pixel corresponding to each of the plurality of reference pixels among the plurality of pixels included in the second image. Calculate the weighted pixel value of. The calculating of the pixel value of the target pixel may calculate the pixel value of the target pixel based on the pixel value, the weight, and the weighted pixel value of the pixel corresponding to the target pixel among the plurality of pixels included in the first image.
이 경우, 대상 픽셀의 픽셀값을 계산하는 단계는 대상 픽셀이 제1 경계에 포함되는 경우 대상 픽셀에 대응되는 픽셀의 픽셀값과 관련된 가중치 인자의 값을 증가시키고, 대상 픽셀이 제1 경계에 포함되지 않는 경우 가중치 및 상기 가중 픽셀값과 관련된 가중치 인자의 값을 증가시킬 수 있다.In this case, calculating the pixel value of the target pixel increases the value of the weighting factor associated with the pixel value of the pixel corresponding to the target pixel when the target pixel is included in the first boundary, and includes the target pixel in the first boundary. If not, the value of the weighting factor associated with the weight and the weighted pixel value may be increased.
도 5에 도시된 단계들 각각에는 도 1 내지 도 4를 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
Since the details described with reference to FIGS. 1 through 4 may be applied to each of the steps illustrated in FIG. 5, a detailed description thereof will be omitted.
도 6a와 도 6b는 일 실시예에 따른 이미지 프로세싱 장치의 반응 속도(response time)를 설명하기 위한 도면이다.6A and 6B are diagrams for describing a response time of an image processing apparatus, according to an exemplary embodiment.
도 6a를 참조하면, 디지털 카메라를 사용하여 이미지를 생성하는 일반적인 과정이 보여진다. 보다 구체적으로, 디지털 카메라는 이용자로부터 촬영 버튼의 입력을 수신할 수 있다(611). 디지털 카메라는 촬영 버튼의 입력에 반응하여 프리뷰를 정지할 수 있다(612). 여기서, 프리뷰는 디지털 카메라에 포함된 디스플레이를 이용하여 이용자에게 제공되는 화면으로, 이용자는 프리뷰를 통하여 자신이 원하는 구도의 사진을 촬영할 수 있다. 즉, 디지털 카메라는 이용자로부터 촬영 버튼의 입력이 수신됨에 반응하여 프리뷰를 정지하고, 이미지 파일의 생성에 필요한 동작을 수행할 수 있다.Referring to FIG. 6A, a general process of generating an image using a digital camera is shown. More specifically, the digital camera may receive an input of a shooting button from the user (611). The digital camera may stop the preview in response to the input of the shooting button (612). Here, the preview is a screen provided to the user by using a display included in the digital camera, and the user may take a picture of a composition desired by the preview. That is, the digital camera may stop the preview in response to the input of the photographing button from the user, and perform an operation required for generating the image file.
나아가, 디지털 카메라는 카메라 모드를 변경 및 설정할 수 있다(613). 예를 들면, 디지털 카메라는 주변의 밝기, 피사체와의 거리, 및 초점 거리 등에 기초하여 촬영에 요구되는 각종 카메라 모드를 변경 및 설정할 수 있다. 이어서, 디지털 카메라는 이미지 센서를 빛에 노출시킴으로써 이미지를 센싱(sensing) 할 수 있다(614). In
디지털 카메라는 커널 레벨에서 수집된 이미지 데이터를 라이브러리 레벨로 전송할 수 있다(615). 이러한 전송은 큐(Queue)를 이용하여 구현될 수 있고, 이러한 촬영 버퍼로의 전송 과정은 디큐(Dequeue)라고 지칭될 수 있다.The digital camera may transmit the image data collected at the kernel level to the library level (615). This transmission may be implemented using a queue, and the process of transferring to the imaging buffer may be referred to as a dequeue.
디지털 카메라는 라이브러리 레벨에서 전송 받은 이미지 데이터에 기초하여 이미지 프로세싱을 수행하고, 최종 이미지 파일을 생성할 수 있다(616). 디지털 카메라는 다시 프리뷰를 동작 시킴으로써 이용자에게 다음 사진을 촬영할 수 있음을 알릴 수 있다(617).The digital camera may perform image processing based on the image data received at the library level and generate a final image file (616). The digital camera may notify the user that the next picture can be taken by operating the preview again (617).
도 6b를 참조하면, 도 1의 일 실시예에 따른 이미지 프로세싱 장치(100)는 디큐 단계(622)와 모션 블러 영역 검출 단계(623)를 병렬적으로 수행할 수 있다.Referring to FIG. 6B, the
보다 구체적으로, 이미지 프로세싱 장치(100)는 이미지 파일을 생성하는 단계(616)를 모션 블러 영역 검출 단계(623), 이미지 복원 단계(624), 및 이미지 파일 생성 단계(625)로 분할하여 수행할 수 있다.More specifically, the
전술한 바와 같이, 이미지 프로세싱 장치(100)는 이미지 센싱 단계(621)에서 제1 이미지와 제2 이미지를 생성할 수 있다. 이 때, 이미지 프로세싱 장치(100)는 버퍼로부터 이전 프리뷰 이미지 데이터를 불러올 수 있다(626). 즉, 이미지 프로세싱 장치(100)는 제1 이미지와 제2 이미지를 모두 커널 레벨에서 라이브러리 레벨로 디큐하는 동안(622), 이전 제 2 이미지와 동일한 노출 시간을 갖는 프리뷰 이미지 데이터를 사용하여 제1 이미지의 히스토그램 등화를 위한 디자이어드 히스토그램 등화 파라미터(desired histogram equalization parameter)값을 계산할 수 있다(623). 또한, 이미지 프로세싱 장치(100)는 디큐 단계 동안(622), 곤잘레즈(Gonzalez) 알고리즘을 사용하여 제 2 이미지의 경계값을 계산할 수 있다(623). As described above, the
일 실시예에 따르면, 모션 블러 영역은 이진화된 이미지 파일이므로, 제1 이미지 또는 제2 이미지에 비하여 용량이 매우 작을 수 있다. 따라서, 이미지 프로세싱 장치(100)는 제1 이미지와 제2 이미지를 모두 촬영 버퍼에서 라이브러리 레벨로 디큐하는 동안(622), 검출된 모션 블러 영역을 라이브러리 레벨로 디큐할 수 있다.According to an embodiment, since the motion blur region is a binarized image file, the capacity may be very small compared to the first image or the second image. Accordingly, the
이미지 프로세싱 장치(100)는 라이브러리 레벨에서 제1 이미지, 제2 이미지, 및 모션 블러 영역에 기초하여 이미지를 복원을 위한 모션 디블러링을 수행할 수 있다(624). 이미지 프로세싱 장치(100)는 이미지 복원 결과를 이용하여 최종 이미지 파일을 생성할 수 있다(625).The
한편, 이미지 프로세싱 장치(100)는 디큐 단계(622)동안 이미지 파일 생성 단계(625)가 완료되었는지 여부와 무관하게 카메라 센서로 하여금 프리뷰를 동작시키도록 할 수 있다(626). 디큐 단계(622) 내지 이미지 파일 생성 단계(625)는 소프트웨어(SW)로 구동되므로(즉, AP를 사용하므로), 디큐 단계(622) 내지 이미지 파일 생성 단계(625)가 수행되는 동안 카메라 센서는 아무런 작업을 수행하지 않을 수 있다. 따라서, 이미지 프로세싱 장치(100)는 디큐 단계(622)동안 카메라 센서가 프리뷰 동작을 재개하도록 제어할 수 있다.. 이로 인하여, 이미지 프로세싱 장치(100)는 이용자가 느끼는 촬영의 반응 속도를 감소시키는 기술을 제공할 수 있다.
Meanwhile, the
도 7은 일 실시예에 따른 이미지 프로세싱 장치에 의해 모션 블러가 처리된 결과를 설명하기 위한 도면이다.FIG. 7 is a diagram for describing a result of motion blur being processed by the image processing apparatus, according to an exemplary embodiment.
도 7을 참조하면, 일 실시예에 따른 이미지 프로세싱 장치는 제1 이미지(710)와 제2 이미지(720)를 생성할 수 있다.Referring to FIG. 7, an image processing apparatus may generate a
제1 이미지(710)는 제2 이미지(720)에 비하여 노이즈를 많이 포함하고 어두운 대신 모션 블러를 거의 포함하지 않을 수 있다. 반면, 제2 이미지(720)는 제1 이미지(710)에 비하여 모션 블러를 많이 포함하는 대신 SNR이 좋고 밝을 수 있다.The
또한, 일 실시예에 따른 이미지 프로세싱 장치는 제1 이미지(710)로부터 제1 경계(730)을 추출하고, 제2 이미지(720)로부터 제2 경계(740)를 추출할 수 있다.In addition, the image processing apparatus may extract the
이 경우, 제1 경계(730)와 제2 경계(740) 각각은 이진화된 이미지를 포함할 수 있다. 예를 들면, 제1 경계(730)와 제2 경계(740) 각각은 '0'과 '1'로 구성된 이진화된 이미지일 수 있고, 이진화된 이미지 내 '1'의 값을 갖는 픽셀들의 집합이 경계를 나타낼 수 있다.In this case, each of the
또한, 일 실시예에 따른 이미지 프로세싱 장치는 제1 경계(730)와 제2 경계(740)로부터 모션 블러 영역(750)을 생성할 수 있다.In addition, the image processing apparatus may generate the
이미지 프로세싱 장치는 제1 경계(730)와 제2 경계(740)를 모두 포함하는 제3 경계(도면 미표시)를 생성할 수 있다. 나아가, 이미지 프로세싱 장치는 단순 패쇄 경로 마스킹 기법에 기초하여 제3 경계에 의하여 둘러싸이는 부분들을 검출하고, 검출된 부분들을 더 포함하는 모션 블러 영역(750)을 생성할 수 있다.The image processing apparatus may generate a third boundary (not shown) including both the
또한, 일 실시예에 따른 이미지 프로세싱 장치는 모션 블러 영역(750)으로 한정된 영역에만 모션 디블러링을 수행함으로써, 최종 이미지 파일(760)을 생성할 수 있다. 이로 인하여, 이미지 프로세싱 장치는 이미지 복원을 위한 연산량을 감소시키고, 연산량 대비 복원된 이미지의 질을 최적화시키는 기술을 제공할 수 있다.In addition, the image processing apparatus according to an exemplary embodiment may generate the
뿐만 아니라, 제1 이미지와 제2 이미지에 기초하여 생성된 모션 블러 영역(750)을 이용함에 따라 이미지 프로세싱 장치는 이미지 내 오브젝트(object) 별로 모션 디블러링을 수행하는 기술을 제공할 수 있다.In addition, by using the
예를 들면, 모션 블러가 발생되는 경우는 크게 두 가지로 분류할 수 있다. 우선, 이미지 센서가 빛에 노출되는 동안 이미지 센서가 고정되지 못하고 흔들리는 경우 모션 블러가 발생될 수 있다. 이 경우, 이미지 내 오브젝트들에 동일한 방향과 동일한 크기의 모션 블러가 발생될 수 있다.For example, motion blur can be classified into two types. First, motion blur may occur when the image sensor is not fixed and shakes while the image sensor is exposed to light. In this case, motion blur of the same direction and the same size may be generated in the objects in the image.
또한, 이미지 센서가 빛에 노출되는 동안 이미지 센서는 고정되어 있으나, 피사체가 움직이는 경우 모션 블러가 발생될 수 있다. 이 경우, 이미지 내 오브젝트들이 다른 방향과 다른 속도로 이동한다면, 이미지 내 오브젝트마다 상이한 방향과 상이한 크기의 모션 블러가 발생될 수 있다.In addition, although the image sensor is fixed while the image sensor is exposed to light, motion blur may occur when the subject moves. In this case, if the objects in the image move at different speeds and in different directions, motion blur of different directions and sizes may be generated for each object in the image.
일 실시예에 따른 이미지 프로세싱 장치는 첫 번째 경우뿐 아니라, 두 번째 경우에도 효율적으로 모션 블러를 제거하는 기술을 제공할 수 있다.
The image processing apparatus according to an embodiment may provide a technique for efficiently eliminating motion blur in the second case as well as in the first case.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (17)
한 번의 촬영으로 제1 이미지와 제2 이미지를 획득하는 이미지 촬영부;
상기 제1 이미지와 상기 제2 이미지에 기초하여 모션 블러가 발생된 모션 블러 영역을 검출하는 모션 블러 영역 검출부; 및
상기 제1 이미지, 상기 제2 이미지, 및 상기 모션 블러 영역에 기초하여 복원 이미지를 생성하는 이미지 복원부
를 포함하는 이미지 프로세싱 장치.An image processing apparatus for processing a motion blur included in image data,
An image capturing unit which acquires the first image and the second image by one shooting;
A motion blur region detector configured to detect a motion blur region where motion blur is generated based on the first image and the second image; And
An image reconstructor configured to generate a reconstructed image based on the first image, the second image, and the motion blur region
Image processing apparatus comprising a.
상기 이미지 촬영부는
제1 노출 시간에 기초하여 상기 제1 이미지를 생성하고, 제2 노출 시간에 기초하여 상기 제2 이미지를 생성하는 이미지 생성부
를 포함하고,
상기 제1 노출 시간은 상기 제2 노출 시간보다 짧은 이미지 프로세싱 장치.The method of claim 1,
The image capturing unit
An image generator which generates the first image based on a first exposure time and generates the second image based on a second exposure time.
Lt; / RTI >
And the first exposure time is shorter than the second exposure time.
상기 이미지 촬영부는
상기 제2 이미지에 기초하여 상기 제1 이미지에 히스토그램 등화(equalization) 기법을 적용하는 히스토그램 등화부
를 더 포함하는 이미지 프로세싱 장치.3. The method of claim 2,
The image capturing unit
A histogram equalizer which applies a histogram equalization technique to the first image based on the second image
Image processing apparatus further comprising.
상기 모션 블러 영역 검출부는
상기 제1 이미지에 포함된 제1 경계(edge)를 추출하고, 상기 제2 이미지에 포함된 제2 경계를 추출하는 경계 추출부; 및
상기 제1 경계와 상기 제2 경계에 기초하여 상기 모션 블러 영역을 획득하는 모션 블러 영역 획득부
를 포함하는 이미지 프로세싱 장치.The method of claim 1,
The motion blur region detector
A boundary extractor extracting a first edge included in the first image and extracting a second boundary included in the second image; And
A motion blur region acquisition unit that obtains the motion blur region based on the first boundary and the second boundary.
Image processing apparatus comprising a.
상기 경계 추출부는
경계인지 여부를 판단하기 위한 문턱값을 결정하는 문턱값 결정부; 및
상기 문턱값에 기초하여 상기 제1 경계와 상기 제2 경계를 생성하는 경계 생성부
를 포함하는 이미지 프로세싱 장치.5. The method of claim 4,
The boundary extractor
A threshold value determination unit which determines a threshold for determining whether the boundary is a boundary; And
A boundary generator for generating the first boundary and the second boundary based on the threshold value.
Image processing apparatus comprising a.
상기 모션 블러 영역 획득부는
상기 제1 경계와 상기 제2 경계를 포함하는 제3 경계를 생성하는 경계 생성부; 및
단순 패쇄 경로 마스킹(simple closed path masking) 기법에 따라, 상기 제3 경계 및 상기 제3 경계에 둘러싸인 영역을 포함하는 상기 모션 블러 영역을 생성하는 모션 블러 영역 생성부
를 포함하는 이미지 프로세싱 장치.5. The method of claim 4,
The motion blur region acquisition unit
A boundary generator which generates a third boundary including the first boundary and the second boundary; And
A motion blur region generator for generating the motion blur region including the third boundary and the region surrounded by the third boundary according to a simple closed path masking technique.
Image processing apparatus comprising a.
상기 단순 패쇄 경로 마스킹 기법은 OR 연산과 AND 연산을 이용하여 상기 제3 경계에 둘러싸인 영역을 획득하는 이미지 프로세싱 장치.The method according to claim 6,
The simple block path masking technique obtains an area surrounded by the third boundary by using an OR operation and an AND operation.
상기 이미지 복원부는 상기 모션 블러 영역에 포함되는 복수의 픽셀들을 모션 디블러링 함으로써 상기 복원 이미지를 생성하는 이미지 프로세싱 장치.The method of claim 1,
And the image reconstructor generates the reconstructed image by motion debluring a plurality of pixels included in the motion blur region.
상기 이미지 복원부는 상기 제2 이미지에 기초하여 상기 모션 블러 영역에 포함되지 않는 복수의 픽셀들 각각의 픽셀값을 설정함으로써 상기 복원 이미지를 생성하는 이미지 프로세싱 장치.The method of claim 1,
And the image reconstructor generates the reconstructed image by setting pixel values of each of a plurality of pixels not included in the motion blur region based on the second image.
상기 이미지 복원부는
상기 모션 블러 영역에 포함되는 대상 픽셀을 모션 디블러링 하기 위해 참조되는 복수의 참조 픽셀들을 상기 모션 블러 영역에 포함되지 않는 복수의 픽셀들로부터 추출하는 참조 픽셀 추출부;
상기 대상 픽셀과 상기 복수의 참조 픽셀들 각각 사이의 거리에 기초하여 상기 복수의 참조 픽셀들 각각의 가중치(weight)를 계산하는 가중치 계산부;
상기 제2 이미지에 포함된 복수의 픽셀들 중 상기 복수의 참조 픽셀들 각각에 대응되는 픽셀의 픽셀값과 상기 가중치에 기초하여 상기 복수의 참조 픽셀들 각각의 가중 픽셀값을 계산하는 가중 픽셀값 계산부; 및
상기 제1 이미지에 포함된 복수의 픽셀들 중 상기 대상 픽셀에 대응되는 픽셀의 픽셀값, 상기 가중치, 및 상기 가중 픽셀값에 기초하여 상기 대상 픽셀의 픽셀값을 계산하는 대상 픽셀값 계산부
를 포함하는 이미지 프로세싱 장치.The method of claim 1,
The image restoration unit
A reference pixel extracting unit which extracts a plurality of reference pixels, which are referred to for motion blurring a target pixel included in the motion blur region, from a plurality of pixels not included in the motion blur region;
A weight calculator configured to calculate a weight of each of the plurality of reference pixels based on a distance between the target pixel and each of the plurality of reference pixels;
A weighted pixel value calculation for calculating a weighted pixel value of each of the plurality of reference pixels based on a pixel value of the pixel corresponding to each of the plurality of reference pixels among the plurality of pixels included in the second image and the weight. part; And
A target pixel value calculator configured to calculate a pixel value of the target pixel based on a pixel value, the weight, and the weighted pixel value of a pixel corresponding to the target pixel among the plurality of pixels included in the first image
Image processing apparatus comprising a.
상기 대상 픽셀값 계산부는
상기 대상 픽셀이 상기 제1 경계에 포함되는 경우 상기 대상 픽셀에 대응되는 픽셀의 픽셀값과 관련된 가중치 인자의 값을 증가시키고,
상기 대상 픽셀이 상기 제1 경계에 포함되지 않는 경우 상기 가중치 및 상기 가중 픽셀값과 관련된 가중치 인자의 값을 증가시키는 이미지 프로세싱 장치.The method of claim 10,
The target pixel value calculation unit
When the target pixel is included in the first boundary, a value of a weighting factor associated with a pixel value of a pixel corresponding to the target pixel is increased;
And increase a value of a weight factor associated with the weight and the weighted pixel value when the target pixel is not included in the first boundary.
한 번의 촬영으로 제1 이미지와 제2 이미지를 획득하는 단계;
상기 제1 이미지에 포함된 제1 경계를 추출하고, 상기 제2 이미지에 포함된 제2 경계를 추출하는 단계; 및
상기 제1 경계와 상기 제2 경계에 기초하여 상기 모션 블러 영역을 획득하는 단계; 및
상기 제1 이미지, 상기 제2 이미지, 및 상기 모션 블러 영역에 기초하여 복원 이미지를 생성하는 단계
를 포함하고,
상기 제1 이미지를 위한 제1 노출 시간은 상기 제2 이미지를 위한 제2 노출 시간보다 짧은 이미지 프로세싱 방법.An image processing method for processing motion blur included in image data,
Acquiring the first image and the second image in one shot;
Extracting a first boundary included in the first image and extracting a second boundary included in the second image; And
Obtaining the motion blur area based on the first boundary and the second boundary; And
Generating a reconstructed image based on the first image, the second image, and the motion blur region
Lt; / RTI >
And a first exposure time for the first image is shorter than a second exposure time for the second image.
상기 모션 블러 영역을 획득하는 단계는
상기 제1 경계와 상기 제2 경계를 포함하는 제3 경계를 생성하는 단계; 및
OR 연산과 AND 연산을 이용하는 단순 패쇄 경로 마스킹 기법에 따라, 상기 제3 경계 및 상기 제3 경계에 둘러싸인 영역을 포함하는 상기 모션 블러 영역을 생성하는 단계
를 포함하는 이미지 프로세싱 방법.The method of claim 12,
Acquiring the motion blur region
Creating a third boundary comprising the first boundary and the second boundary; And
Generating the motion blur region including the third boundary and an area surrounded by the third boundary according to a simple blockage path masking technique using an OR operation and an AND operation
Image processing method comprising a.
상기 복원 이미지를 생성하는 단계는 상기 모션 블러 영역에 포함되는 복수의 픽셀들을 모션 디블러링 함으로써 상기 복원 이미지를 생성하는 이미지 프로세싱 방법.The method of claim 12,
The generating of the reconstructed image may include generating the reconstructed image by motion deblocking a plurality of pixels included in the motion blur region.
상기 복원 이미지를 생성하는 단계는
상기 모션 블러 영역에 포함되는 대상 픽셀을 모션 디블러링 하기 위해 참조되는 복수의 참조 픽셀들을 상기 모션 블러 영역에 포함되지 않는 복수의 픽셀들로부터 추출하는 단계;
상기 대상 픽셀과 상기 복수의 참조 픽셀들 각각 사이의 거리에 기초하여 상기 복수의 참조 픽셀들 각각의 가중치를 계산하는 단계;
상기 제2 이미지에 포함된 복수의 픽셀들 중 상기 복수의 참조 픽셀들 각각에 대응되는 픽셀의 픽셀값과 상기 가중치에 기초하여 상기 복수의 참조 픽셀들 각각의 가중 픽셀값을 계산하는 단계; 및
상기 제1 이미지에 포함된 복수의 픽셀들 중 상기 대상 픽셀에 대응되는 픽셀의 픽셀값, 상기 가중치, 및 상기 가중 픽셀값에 기초하여 상기 대상 픽셀의 픽셀값을 계산하는 단계
를 포함하는 이미지 프로세싱 방법.The method of claim 12,
Generating the reconstructed image
Extracting a plurality of reference pixels, which are referred to for motion blurring a target pixel included in the motion blur region, from a plurality of pixels not included in the motion blur region;
Calculating weights of each of the plurality of reference pixels based on a distance between the target pixel and each of the plurality of reference pixels;
Calculating a weighted pixel value of each of the plurality of reference pixels based on a pixel value of the pixel corresponding to each of the plurality of reference pixels among the plurality of pixels included in the second image and the weight; And
Calculating a pixel value of the target pixel based on a pixel value of the pixel corresponding to the target pixel, the weight, and the weighted pixel value among the plurality of pixels included in the first image
Image processing method comprising a.
상기 대상 픽셀의 픽셀값을 계산하는 단계는
상기 대상 픽셀이 상기 제1 경계에 포함되는 경우 상기 대상 픽셀에 대응되는 픽셀의 픽셀값과 관련된 가중치 인자의 값을 증가시키고,
상기 대상 픽셀이 상기 제1 경계에 포함되지 않는 경우 상기 가중치 및 상기 가중 픽셀값과 관련된 가중치 인자의 값을 증가시키는 이미지 프로세싱 방법.16. The method of claim 15,
Computing the pixel value of the target pixel
When the target pixel is included in the first boundary, a value of a weighting factor associated with a pixel value of a pixel corresponding to the target pixel is increased;
And increase a value of a weight factor associated with the weight and the weighted pixel value when the target pixel is not included in the first boundary.
A computer-readable recording medium having recorded thereon a program for executing the method of any one of claims 12 to 16.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120076186A KR101886246B1 (en) | 2012-07-12 | 2012-07-12 | Image processing device of searching and controlling an motion blur included in an image data and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120076186A KR101886246B1 (en) | 2012-07-12 | 2012-07-12 | Image processing device of searching and controlling an motion blur included in an image data and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140009706A true KR20140009706A (en) | 2014-01-23 |
| KR101886246B1 KR101886246B1 (en) | 2018-08-07 |
Family
ID=50142743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120076186A KR101886246B1 (en) | 2012-07-12 | 2012-07-12 | Image processing device of searching and controlling an motion blur included in an image data and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101886246B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230257A (en) * | 2017-11-15 | 2018-06-29 | 北京市商汤科技开发有限公司 | Image processing method, device, electronic equipment and storage medium |
| WO2020231065A1 (en) * | 2019-05-10 | 2020-11-19 | Samsung Electronics Co., Ltd. | Method and apparatus for combining image frames captured using different exposure settings into blended images |
| CN114187231A (en) * | 2021-10-26 | 2022-03-15 | 昆山丘钛微电子科技股份有限公司 | Viewing angle calculation method, terminal device, and storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060170780A1 (en) * | 2005-01-31 | 2006-08-03 | Richard Turley | Method and apparatus for motion estimation in a digital imaging device |
| JP2009088935A (en) * | 2007-09-28 | 2009-04-23 | Sanyo Electric Co Ltd | Image recording apparatus, image correcting apparatus, and image pickup apparatus |
| KR20090080616A (en) * | 2008-01-22 | 2009-07-27 | 삼성전자주식회사 | Apparatus and method for obtaining images and apparatus and method for processing images |
| JP2009207118A (en) * | 2008-01-16 | 2009-09-10 | Sanyo Electric Co Ltd | Image shooting apparatus and blur correction method |
-
2012
- 2012-07-12 KR KR1020120076186A patent/KR101886246B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060170780A1 (en) * | 2005-01-31 | 2006-08-03 | Richard Turley | Method and apparatus for motion estimation in a digital imaging device |
| JP2009088935A (en) * | 2007-09-28 | 2009-04-23 | Sanyo Electric Co Ltd | Image recording apparatus, image correcting apparatus, and image pickup apparatus |
| JP2009207118A (en) * | 2008-01-16 | 2009-09-10 | Sanyo Electric Co Ltd | Image shooting apparatus and blur correction method |
| KR20090080616A (en) * | 2008-01-22 | 2009-07-27 | 삼성전자주식회사 | Apparatus and method for obtaining images and apparatus and method for processing images |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230257A (en) * | 2017-11-15 | 2018-06-29 | 北京市商汤科技开发有限公司 | Image processing method, device, electronic equipment and storage medium |
| WO2020231065A1 (en) * | 2019-05-10 | 2020-11-19 | Samsung Electronics Co., Ltd. | Method and apparatus for combining image frames captured using different exposure settings into blended images |
| US11062436B2 (en) | 2019-05-10 | 2021-07-13 | Samsung Electronics Co., Ltd. | Techniques for combining image frames captured using different exposure settings into blended images |
| CN114187231A (en) * | 2021-10-26 | 2022-03-15 | 昆山丘钛微电子科技股份有限公司 | Viewing angle calculation method, terminal device, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101886246B1 (en) | 2018-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110121882B (en) | Image processing method and device | |
| CN108898567B (en) | Image noise reduction method, device and system | |
| KR101664123B1 (en) | Apparatus and method of creating high dynamic range image empty ghost image by using filtering | |
| KR101633377B1 (en) | Method and Apparatus for Processing Frames Obtained by Multi-Exposure | |
| KR102182695B1 (en) | Method and Apparatus for Noise Reduction | |
| JP5651118B2 (en) | Image processing apparatus and image processing method | |
| US20170280073A1 (en) | Systems and Methods for Reducing Noise in Video Streams | |
| WO2017090458A1 (en) | Imaging device, imaging method, and program | |
| JP5427935B2 (en) | Camera and method for optimizing the exposure of an image frame in a series of image frames that capture a scene based on the level of motion in the scene | |
| KR102049080B1 (en) | Image processing apparatus and method thereof | |
| US10171743B2 (en) | Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium for improving quality of captured image | |
| KR20150037369A (en) | Method for decreasing noise of image and image processing apparatus using thereof | |
| CN111614867B (en) | Video denoising method and device, mobile terminal and storage medium | |
| US10063779B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
| KR20200047389A (en) | Method and apparatus for capturing an image based motion information in the image | |
| JP4958806B2 (en) | Blur detection device, blur correction device, and imaging device | |
| Gyongy et al. | Object tracking and reconstruction with a quanta image sensor | |
| KR101886246B1 (en) | Image processing device of searching and controlling an motion blur included in an image data and method thereof | |
| US10467730B2 (en) | Image-processing apparatus to reduce staircase artifacts from an image signal | |
| JP2020046960A (en) | Image processing apparatus, control method for image processing apparatus, and program | |
| JP2015156189A (en) | image evaluation device, and image evaluation program | |
| Paramanand et al. | Motion blur for motion segmentation | |
| JP7341712B2 (en) | Image processing device, image processing method, imaging device, and program | |
| JP5853369B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2024110493A (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, AND IMAGE PROCESSING METHOD |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |