KR101844332B1 - 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치 - Google Patents

블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치 Download PDF

Info

Publication number
KR101844332B1
KR101844332B1 KR1020120025622A KR20120025622A KR101844332B1 KR 101844332 B1 KR101844332 B1 KR 101844332B1 KR 1020120025622 A KR1020120025622 A KR 1020120025622A KR 20120025622 A KR20120025622 A KR 20120025622A KR 101844332 B1 KR101844332 B1 KR 101844332B1
Authority
KR
South Korea
Prior art keywords
image
uniform motion
motion blur
noise
blur
Prior art date
Application number
KR1020120025622A
Other languages
English (en)
Other versions
KR20130104258A (ko
Inventor
조정욱
이승용
문영수
이시화
이치영
조성현
조호진
Original Assignee
삼성전자주식회사
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 포항공과대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020120025622A priority Critical patent/KR101844332B1/ko
Priority to US13/674,391 priority patent/US8995781B2/en
Priority to JP2013043486A priority patent/JP2013192224A/ja
Priority to CN201310079470.7A priority patent/CN103310430B/zh
Publication of KR20130104258A publication Critical patent/KR20130104258A/ko
Application granted granted Critical
Publication of KR101844332B1 publication Critical patent/KR101844332B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 블러 영상의 비균일 모션 블러 정보를 추정하고, 비균일 모션 블러 정보의 추정 및 레이턴트 영상의 획득을 반복적으로 수행함으로써 비균일 모션 블러 정보의 추정 정확도를 향상시키고, 처리 시간을 감소시킴으로써 보다 선명한 영상을 제공하는 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치를 제공할 수 있다.

Description

블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치{A METHOD AND AN APPARATUS FOR DEBLURING NON-UNIFORM MOTION BLUR USIGN MULTIFRAME COMPRISES OF A BLUR IMAGE AND A NOISE IMAGE}
아래의 실시예들은 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치에 관한 것이다.
블러(Blur) 현상은 영상 획득 장치를 이용하여 영상을 획득하는 과정에서 흔히 발생할 수 있는 현상으로 영상의 품질을 저하시키는 주요한 원인 중 하나이다.
어두운 실내나 저녁 무렵의 야외와 같이 광량이 부족한 환경에서 카메라 등의 장치를 이용하여 영상을 획득하는 경우, 선명한 영상을 얻기 위해서는 충분한 광량이 있어야 하고 이를 위해 영상 센서를 빛에 오래 노출시켜야 한다. 그러나, 노출 시간이 길어지면 영상 센서의 흔들림으로 인해 획득한 영상에 블러가 발생하게 된다.
영상에서 블러를 제거하는 것은 주어진 정보의 양에 비해 알아내야 하는 더 많은 양의 정보를 필요하기 때문에 여전히 해결하기 어려운 문제이다.
일 실시예에 따른 비균일 모션 블러를 제거하는 방법은 비균일 모션 블러(motion blur)가 포함된 블러 영상(blur image) 및 블러가 포함되지 않은 노이즈 영상(noise image)을 포함하는 멀티 프레임을 수신하는 단계; 노출 시간의 차이를 보정하기 위한 히스토그램 매칭(histogram matching) 방법을 이용하여, 상기 블러 영상과 상기 노이즈 영상에 대한 영상 밝기 정합을 수행하는 단계; 상기 영상 밝기 정합을 수행함으로써 생성된 블러 영상에 대한 비균일 모션 블러 정보를 추정하는 단계; 및 상기 추정된 비균일 모션 블러 정보를 기초로, 상기 멀티 프레임으로부터 상기 비균일 모션 블러가 제거된 레이턴트 영상(latent image)을 획득하는 단계를 포함한다.
상기 블러 영상과 상기 노이즈 영상에 대한 영상 밝기 정합을 수행하는 단계는 상기 노이즈 영상으로부터 노이즈를 제거하는 단계; 및 상기 블러 영상 및 상기 노이즈가 제거된 노이즈 영상에 대한 영상 밝기 정합을 수행하는 단계를 포함할 수 있다.
상기 비균일 모션 블러 정보를 추정하는 단계 및 상기 레이턴트 영상을 획득하는 단계를 반복적(iteratively)으로 수행하는 단계를 더 포함할 수 있다.
상기 반복적으로 수행하는 단계는 상기 영상 밝기 정합을 수행함으로써 생성된 블러 영상의 해상도를 변화시켜가면서 상기 비균일 모션 블러 정보를 추정하는 단계 및 상기 레이턴트 영상을 획득하는 단계를 반복적으로 수행할 수 있다.
첫번째 반복(iteration)에서, 상기 노이즈가 제거된 노이즈 영상에 대하여 상기 비균일 모션 블러 정보를 추정하는 단계를 더 포함할 수 있다.
두 번째 이후의 반복(iteration)들 각각에서, 이전 반복(iteration)에서 획득된 레이턴트 영상을 이용하여 상기 비균일 모션 블러 정보를 업데이트하는 단계를 더 포함할 수 있다.
상기 레이턴트 영상을 획득하는 단계는 상기 반복적인 수행에 의해 획득한 최종적인 비균일 모션 블러 정보, 상기 비균일 모션 블러가 포함된 블러 영상 및 상기 노이즈가 제거된 노이즈 영상에 대하여 RL(Richardson-Lucy) 디컨볼루션 방법을 수행함으로써 상기 멀티 프레임으로부터 복원되는 최종 레이턴트 영상을 획득하는 단계를 포함할 수 있다.
상기 비균일 모션 블러 정보를 추정하는 단계는 상기 영상 밝기 정합을 수행한 블러 영상에 대한 호모그라피(Homography)를 추정하는 단계; 및 상기 추정된 호모그라피를 이용하여 상기 호모그라피에 대한 가중치를 계산하는 단계를 포함할 수 있다.
상기 호모그라피를 추정하는 단계 및 상기 가중치를 계산하는 단계는 미리 정해진 횟수만큼 반복적으로 수행될 수 있다.
상기 레이턴트 영상을 획득하는 단계는 상기 RL(Richardson-Lucy) 디컨볼루션 방법에 기반한 잔여 블러 영상 및 잔여 레이턴트 영상을 이용하여 상기 비균일 모션 블러를 제거하는 단계를 더 포함할 수 있다.
일 실시예에 따른 비균일 모션 블러를 제거하는 장치는 비균일 모션 블러(motion blur)가 포함된 블러 영상(blur image) 및 블러가 포함되지 않은 노이즈 영상(noise image)을 포함하는 멀티 프레임을 수신하는 수신부; 노출 시간의 차이를 보정하기 위한 히스토그램 매칭(histogram matching) 방법을 이용하여, 상기 블러 영상과 상기 노이즈 영상에 대한 영상 밝기 정합을 수행하는 수행부; 상기 영상 밝기 정합을 수행함으로써 생성된 블러 영상에 대한 비균일 모션 블러 정보를 추정하는 추정부; 및 상기 추정된 비균일 모션 블러 정보를 기초로, 상기 멀티 프레임으로부터 상기 비균일 모션 블러가 제거된 레이턴트 영상(latent image)을 획득하는 획득부를 포함한다.
상기 수행부는 상기 노이즈 영상으로부터 노이즈를 제거하는 노이즈 제거 수단; 및 상기 블러 영상 및 상기 노이즈가 제거된 노이즈 영상에 대한 영상 밝기 정합을 수행하는 수행 수단을 포함할 수 있다.
상기 비균일 모션 블러 정보의 추정 및 상기 레이턴트 영상의 획득을 반복적(iteratively)으로 수행하도록 하는 제어부를 포함할 수 있다.
상기 제어부는 상기 영상 밝기 정합을 수행함으로써 생성된 블러 영상의 해상도를 변화시켜가면서 상기 비균일 모션 블러 정보의 추정 및 상기 레이턴트 영상의 획득을 반복적으로 수행할 수 있다.
상기 제어부는 첫번째 반복(iteration)에서, 상기 노이즈가 제거된 노이즈 영상에 대하여 상기 비균일 모션 블러 정보를 추정할 수 있다.
상기 제어부는 두 번째 이후의 반복(iteration)들 각각에서, 이전 반복(iteration)에서 획득된 레이턴트 영상을 이용하여 상기 비균일 모션 블러 정보를 업데이트할 수 있다.
상기 획득부는 상기 반복적인 수행에 의해 획득한 최종적인 비균일 모션 블러 정보, 상기 비균일 모션 블러가 포함된 블러 영상 및 상기 노이즈가 제거된 노이즈 영상에 대하여 RL(Richardson-Lucy) 디컨볼루션 방법을 수행함으로써 상기 멀티 프레임으로부터 복원되는 최종 레이턴트 영상을 획득할 수 있다.
상기 추정부는 상기 영상 밝기 정합을 수행한 블러 영상에 대한 호모그라피(Homography)를 추정하는 추정 수단; 및 상기 추정된 호모그라피를 이용하여 상기 호모그라피에 대한 가중치를 계산하는 계산 수단을 포함할 수 있다.
상기 추정 수단에 의한 상기 호모그라피의 추정 및 상기 계산 수단에 의한 상기 가중치의 계산은 미리 정해진 횟수만큼 반복적으로 수행될 수 있다.
일 실시예에 따르면, 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 블러 영상의 비균일 모션 블러 정보를 추정함으로써 보다 선명한 영상을 보다 정확하고 빠르게 추정할 수 있다.
일 실시예에 따르면, 비균일 모션 블러 정보의 추정 및 레이턴트 영상의 획득을 반복적으로 수행함으로써 비균일 모션 블러 정보의 추정 정확도를 향상시킬 수 있다.
도 1은 일 실시예에 따른 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용한 비균일 모션 블러를 제거하는 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용한 비균일 모션 블러를 제거하는 방법을 나타낸 플로우차트이다.
도 3은 일 실시예에 따른 멀티 프레임을 구성하는 블러 영상을 나타낸 도면이다.
도 4는 일 실시예에 따른 멀티 프레임을 구성하는 노이즈 영상을 나타낸 도면이다.
도 5는 도 3의 블러 영상을 흑백으로 나타낸 영상이다.
도 6은 도 4의 노이즈 영상에서 노이즈를 제거한 후, 블러 영상과의 히스토그램 매칭을 수행한 결과를 나타낸 도면이다.
도 7은 일 실시예에 따른 비균일 모션 블러를 제거하는 방법에 의해 추정된 비균일 모션 블러를 나타낸 도면이다.
도 8은 일 실시예에 따른 비균일 모션 블러를 제거하는 방법을 이용하여 비균일 모션 블러를 제거한 결과를 나타낸 도면이다.
도 9는 일 실시예에 따른 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 장치의 블록도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 일실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용한 비균일 모션 블러를 제거하는 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에서는 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하기 위해, 단계 110에서는 우선 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임이 제공된다. 이때, 블러 영상은 장시간 노출에 의해 획득한 영상이고, 노이즈 영상은 영상 센서의 ISO 감도(sensitivity)를 높게 하여 단노출로 촬영한 영상이다.
단계 120에서는 단계 110에서 입력된 노이즈 영상을 처리한다.
즉, 멀티 프레임에 포함된 노이즈 영상의 노이즈를 제거하고, 노이즈가 제거된 노이즈 영상 및 블러 영상의 노출 시간의 차이를 보상하기 위해서 히스토그램 매칭을 적용한다.
이때, 노이즈 영상에 포함된 노이즈의 종류에 따라 에지 보존 노이즈 제거(Edge-preserving noise removal) 방법을 이용할 수 있다. 이 과정에서 텍스처 (texture)와 같은 세부 정보는 사라질 수 있지만 대부분의 에지 정보를 보존하여 단계 130에서의 호모그라피 추정에 이용할 수 있다. 단계 120에 의해, 노이즈 영상으로부터 노이즈가 제거되고, 블러 영상과 유사한 색상을 가지도록 보정된 영상을 얻을 수 있다.
단계 130에서는 정합을 이용하여 비균일 모션 블러 정보를 추정한다. 단계 130에서는 멀티 프레임의 블러 영상을 단계 120에서 계산한 노이즈가 제거된 영상에 정합하여 비균일 모션 블러 정보를 추정할 수 있다.
단계 130과 단계 140의 반복 수행 과정에서 처음 반복 시에는 노이즈가 제거된 영상을 기준으로 블러 영상의 비균일 모션 블러 정보를 추정하지만, 두 번째 반복부터는 단계 140의 레이턴트 영상 복원 과정에 의해 획득한, 비균일 모션 블러가 제거된 레이턴트 영상을 이용하여 블러 영상의 비균일 모션 블러 정보를 추정한다.
반복 회수가 늘어남에 따라 추정된 비균일 모션 블러 정보는 실제로 카메라가 흔들린 모션의 정보와 유사하도록 수렴하게 된다. 또한 비균일 모션 블러 정보의 추정 시에 사용되는 획득된 레이턴트 영상(중간 레이턴트 영상)도 반복 회수가 늘어남에 따라 더 선명해진다. 하지만, 획득된 레이턴트 영상(중간 레이턴트 영상)은 비균일 모션 블러 추정에만 사용되고 단계 150에서 최종적으로 복원되는 선명한 영상에는 직접적으로 영향을 미치지 않는다.
단계 140에서는 단계 130에서 추정된 비균일 모션 블러 정보를 기반으로 상술한 RL(Richardson-Lucy) 디컨볼루션 방법을 이용하여 선명한 영상, 즉 레이턴트 영상을 획득할 수 있다. 단계 140에서 복원된 레이턴트 영상은 단계 130과 단계 140 사이의 반복적(iteratively)인 수행 과정에 의해, 다시 단계 130의 입력으로 제공될 수 있다.
일 실시예에 따른 비균일 모션 블러를 제거하는 방법에서는 보다 효과적으로 비균일 모션 블러 정보를 추정하고 레이턴트 영상을 획득하기 위해, 단계 130 및 단계 140 사이의 반복적인 수행 시에 멀티-스케일 반복 처리(multi-scale iterative processing) 방식에 의해 영상의 해상도를 변화시켜가며 추정 및 복원의 정확도를 향상시킬 수 있다.
멀티-스케일 반복 처리 방식은 먼저, 비균일 모션이 큰 경우의 블러 정보를 추정할 수 있는 낮은 해상도(low resolution)에서 비균일 모션 블러 정보를 추정한다. 그리고, 높은 해상도에서는 이전의 낮은 해상도를 통해 획득한 비균일 모션 블러 정보를 업 샘플링하여 작은 크기의 모션으로 인해 발생되는 블러 정보를 추정한다. 멀티-스케일 반복 처리 방식을 이용하는 경우, 하나의 스케일을 이용해서는 다루지 못했던 큰 모션으로 인한 블러를 추정할 수 있다. 또한, 큰 모션을 먼저 추정함으로 인해서 처리 속도도 가속화할 수 있다.
단계 150은 최종 레이턴트 영상을 복원하는 과정이다. 단계 130 및 단계 140의 반복적 수행을 통해, 입력된 블러 영상에 대한 최종 비균일 모션 블러 정보가 얻어진 후, 단계 150에서는 비균일 모션 블러가 제거된 최종 영상을 얻기 위해 최종적으로 추정된 비균일 모션 블러 정보, 입력된 비균일 모션 블러가 포함된 블러 영상 및 블러 정보가 포함되지 않은 노이즈 영상을 모두 이용하여 디컨볼루션을 수행한다. 이때, 추정된 비균일 모션 블러 정보를 이용하여 멀티 프레임의 각 컬러 채널(R,G,B)에 대한 디컨볼루션을 수행함으로써 최종 레이턴트 영상을 복원할 수 있다.
이하에서는 일 실시예에 따른 비균일 모션 블러를 제거하는 방법을 보다 구체적으로 설명하기로 한다.
일반적으로 모션 블러는 [수학식 1]과 같이 표현될 수 있다.
Figure 112012020288030-pat00001
[수학식 1]에서 B는 블러가 포함된 영상(Blurred image)를 의미하고, K는 영상의 블러 정보를 나타내는 모션 블러 커널(blur kernel) 또는 점 확산 함수(PSF: Point Spread Function)를 의미한다. L은 레이턴트 영상(Latent image) 즉, 블러가 없는 선명한 영상을 의미하고, N은 영상 획득 과정에서 도입된 알 수 없는 잡음(Noise)을 의미한다. *는 컨볼루션 연산자(convolution operator)를 의미한다.
[수학식 1]은 아래의 [수학식 2]와 같은 벡터 형태로 표현될 수 있다.
Figure 112012020288030-pat00002
[수학식 2]에서 b, l, n은 각각 [수학식 1]에서 B, L, N의 벡터 표현을 의미한다. 여기서 T i 는 시점 ti에서 카메라의 병진 움직임(translational motion)을 대표하는 행렬식이다. w i 는 ti에서 카메라가 멈추어 있는 시간의 상대적인 길이(단,
Figure 112012020288030-pat00003
), 즉, 시점 ti에서 카메라의 노출 시간을 의미한다.
[수학식 2]가 의미하는 바는 다음과 같다.
블러 영상(b)은 카메라가 움직인 경로 상의 각 지점(T i )에서의 선명한 영상(l)의 합으로 표현된다는 것이다. 여기서 [수학식 1] 및 [수학식 2]는 동일한 모델을 다른 표현 방법으로 나타낸 것이다.
[수학식 1] 또는 [수학식 2]의 모션 블러 모델에 근거하여 선명한 영상(l)이 계산될 수 있다. 이 때에는 선명한 영상(레이턴트 영상) 추정을 위한 블러 모델 자체가 영상의 모든 픽셀들이 균일하게 움직인 경우를 가정하므로, 카메라의 병진 움직임 외에 회전 움직임(rotational motion)에 의해 발생하는 비균일 모션 블러를 제거하기 어렵다.
따라서, 일 실시 예에서는 비균일 모션 블러를 표현할 수 있는 다른 모델을 이용하여 비균일 모션 블러를 제거하도록 한다.
카메라의 흔들림이 비-병진 움직임(non-translational motion)을 나타내는 경우에는 [수학식 1]의 형태로 표현하기가 어렵다. 따라서, 일 실시예에서는 [수학식 2]에서의 T i 를 호모그라피 P i 로 치환함으로써 [수학식 3]과 같이 카메라의 비균일 모션 블러 효과를 기술하는 비균일 모션 블러 모델을 도출할 수 있다.
Figure 112012020288030-pat00004
일 실시예에 따른 비균일 모션 블러를 제거하는 방법에서는 [수학식 3]을 응용하여 블라인드 모션 디블러링(blind motion deblurring)을 수행할 수 있다.
일반적으로 블라인드 모션 디블러링에서는 입력된 블러 영상(b)만을 이용하여 레이턴트 영상(l)과 비균일 모션 블러 정보(P i , w i )를 계산한다. 하지만, 일 실시예에서는 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용한다. 즉, 입력된 블러 영상(b) 이외에 노이즈 영상 l N 으로부터 노이즈를 제거한 영상 N D 을 함께 이용하여 최종적으로 선명한 레이턴트 영상(l)과 비균일 모션 블러 정보(P i , w i )를 계산할 수 있다.
일 실시예에 따른 비균일 모션 블러를 제거하는 방법에서는, 입력된 멀티 프레임에 포함된 블러 영상에 대해 [수학식 3]을 만족하는 비균일 모션 블러 정보(P i , w i )와 이를 선명하게 복원한 레이턴트 영상(l)를 구하기 위해서 비균일 모션 블러 정보의 추정 과정 및 레이턴트 영상의 획득 과정을 수행할 수 있다.
이때, 비균일 모션 블러 정보의 추정 과정 및 레이턴트 영상의 획득 과정은 반복적으로 처리(iteratively process)될 수 있다.
일 실시예에서는 이와 같은 반복적인 처리에 의해 비균일 모션 블러 정보를 포함하는 P와 w의 정확도를 점진적으로 개선(refine)할 수 있다.
블러 영상으로부터 비균일 모션 블러가 제거된 최종 레이턴트 영상은, 반복적인 수행에 의해 획득한 최종적인 비균일 모션 블러 정보(P, w)와 비균일 모션 블러가 포함된 입력 블러 영상(b) 및 비균일 모션 블러가 포함되지 않은 노이즈 영상 l N 으로부터 노이즈를 제거한 영상 N D 를 이용하여 획득할 수 있다.
이때, 노이즈 영상 l N 으로부터 노이즈를 제거한 영상 N D 를 구하는 방법은 제한하지 않으며, 노이즈 영상 내에 존재하는 노이즈의 종류에 따라 어떠한 노이즈 제거 방법도 이용할 수 있다.
비균일 모션 블러 정보의 추정 과정 및 레이턴트 영상의 획득 과정을 번갈아 가며 반복적으로 최적화 하는 과정에서 추정된 중간 레이턴트 영상은 비균일 모션 블러가 제거된 최종 영상에 직접적인 영향을 미치지 않는다. 즉, 중간 레이턴트 영상은 비균일 모션 블러 정보(P, w) 추정에 영향을 미침으로써 비균일 모션 블러가 제거된 최종 선명한 영상에는 간접적으로 영향을 미치게 된다.
일 실시예에 따른 비균일 모션 블러를 제거하는 방법에서 비균일 모션 블러 정보의 추정 과정은 영상 정합(image registration)을 이용하여 수행된다. 이 과정은 비균일 모션 블러를 표현하는 호모그라피(P) 추정 과정 및 해당 호모그라피의 가중치(w) 계산 과정의 두 가지 단계를 포함할 수 있다.
비균일 모션 블러 정보의 추정 과정에서는 중간 레이턴트 영상(l)이 주어진 경우, 먼저 비균일 모션 블러를 표현하는 호모그라피(P)를 계산할 수 있다. 호모그라피 P를 계산하기 위해 [수학식 3]을 재배열하여 [수학식 4]를 얻을 수 있다.
Figure 112012020288030-pat00005
일 실시예에 따른 비균일 모션 블러를 제거하는 방법은 [수학식 4]에서 하나의 호모그라피 P i 를 계산하기 위해, 영상 정합 방법을 적용함으로써 좌변의
Figure 112012020288030-pat00006
와 우변의
Figure 112012020288030-pat00007
사이의 차이를 최소화하는 호모그라피(P i )를 계산할 수 있다. 전체 호모그라피 집합 P를 계산하기 위해, [수학식 4]에서 각각의 호모그라피 P i 는 전체 호모그라피 중의 하나로 번갈아 가며 선택되어 모든 호모그라피들을 계산할 수 있다.
호모그라피를 계산함에 있어서, 블러 영상과 노이즈 영상을 이용하여 영상 정합을 하는 경우에는 두 영상 간의 노출 시간의 차이로 인해 정합을 수행하기가 어렵다. 따라서, 이를 해결하기 위해 일 실시예에서는 히스토그램 매칭(histogram matching) 방법을 이용하여 노이즈 영상의 톤 값(tone value)을 블러 영상의 톤 값과 유사하도록 바꾸어 준 후, 영상 정합을 수행한다.
전체 호모그라피 P를 계산한 후에는, 계산된 전체 호모그라피 P를 이용하여 호모그라피의 가중치 w를 계산할 수 있다. 가중치 w를 계산하기 위해 먼저 [수학식 3]을 아래의 [수학식 5]과 같이 표현할 수 있다.
Figure 112012020288030-pat00008
여기서,
Figure 112012020288030-pat00009
이며, L은 크기가 m×n 인 행렬이다. 여기서, m은 영상의 픽셀의 개수이고, n은 호모그라피 P의 개수이다.
일반적으로 m >> n 이므로, [수학식 5]에서 가중치 w는 '0' 이상의 값을 가져야 하므로, 비음수 최소제곱법(non-negative least square method)을 이용하여 가중치를 계산할 수 있다. 비음수 최소제곱법을 이용하기 위해서 [수학식 5]를 아래의 [수학식 6]과 같은 정규 방정식(normal equation) 형태로 표현할 수 있다.
아래의 [수학식 6]을 이용하여 가중치 w를 계산할 수 있다.
Figure 112012020288030-pat00010
여기서,
Figure 112012020288030-pat00011
는 괄호 안의 행렬식의 역행렬을 구할 때 역행렬이 존재하지 않는 문제를 해결하기 위한 정규화 파라미터이고, I는 단위 행렬(identity matrix)이다.
일 실시예에 따른 비균일 모션 블러를 제거하는 방법 중 비균일 모션 블러 정보의 추정 과정에서는 [수학식 4] 및 [수학식 6]에 의한 반복적인 수행을 통해, 현재 주어진 레이턴트 영상(l)에 대응하는 최적화된 호모그라피(P)와 가중치(w)를 계산할 수 있다.
단, 이때, 첫번째 반복(iteration)에서의 레이턴트 영상(l)으로는 노이즈가 제거된 영상 N D 을 이용하고, 두 번째 이후의 반복들 각각에서, 이전 반복(iteration)에서 획득된 레이턴트 영상을 이용하여 비균일 모션 블러 정보를 업데이트할 수 있다.
일 실시예에 따른 비균일 모션 블러를 제거하는 방법에서 비균일 모션 블러 정보(P, w)의 추정은 레이턴트 영상(l)이 업데이트 될 때마다 반복적으로 수행되며, 이러한 반복 처리 과정을 통해 최적화된 레이턴트 영상(l)과 그에 대응하는 비균일 모션 블러 정보(P, w)를 계산할 수 있다.
일 실시예에 따른 비균일 모션 블러를 제거하는 방법에서 레이턴트 영상의 획득 과정에서는 추정된 비균일 모션 블러 정보(P, w)와 입력 블러 영상(b) 및 입력 노이즈 영상 l N 을 이용하여 레이턴트 영상(l)를 계산한다.
먼저, 레이턴트 영상(l)은 아래의 [수학식 7]에서와 같이 노이즈가 제거된 영상 N D 와 원래의 선명한 에지 정보를 포함하는 잔여 레이턴트 영상
Figure 112012020288030-pat00012
의 합으로 표현될 수 있다.
Figure 112012020288030-pat00013
[수학식 7]에서 잔여 레이턴트 영상
Figure 112012020288030-pat00014
은 노이즈의 제거 과정에서 없어지는 영상의 선명한 정보이다. [수학식 3]과 [수학식 7]을 이용하면 잔여 레이턴트 영상
Figure 112012020288030-pat00015
에 대한 비균일 모션 블러 △b를 다음의 [수학식 8]과 같이 표현할 수 있다.
Figure 112012020288030-pat00016
일 실시예에서는 [수학식 8]을 해결하기 위해 잔여 레이턴트 영상
Figure 112012020288030-pat00017
을 계산할 수 있다. 잔여 레이턴트 영상
Figure 112012020288030-pat00018
의 계산에는 비균일 모션 블러에 맞게 확장된 Richardson-Lucy (RL) 디컨볼루션 알고리즘이 이용될 수 있다.
이와 같이, 잔여 블러 영상에 대해 디컨볼루션을 수행함으로써 결과 영상의 품질을 저하시키는 링잉 효과(ringing artifact)를 줄일 수 있다.
각 반복에서의 잔여 레이턴트 영상
Figure 112012020288030-pat00019
은 다음의 [수학식 9]에 의해서 계산될 수 있다.
Figure 112012020288030-pat00020
[수학식 9]에서
Figure 112012020288030-pat00021
는 호모그라피
Figure 112012020288030-pat00022
를 역으로 적용하는 변환이다.
일 실시예에서는 [수학식 9]를 해결함으로써 구해진 잔여 레이턴트 영상
Figure 112012020288030-pat00023
과 노이즈가 제거된 영상 N D 를 더하면 최종 선명한 영상 l을 구할 수 있다.
하지만 [수학식 9]의 결과로부터 획득한 잔여 레이턴트 영상
Figure 112012020288030-pat00024
은 선명한 영상 외에도 약간의 링잉 현상을 포함한다. 즉, 링잉 현상을 줄일 수는 있지만 완전히 제거할 수가 없다.
따라서, 일 실시예에서는 이를 해결하기 위해 더 개선된 이득 제어 RL 디컨볼루션 (Gain-Controlled RL Deconvolution)을 함께 이용한다. 이득 제어 RL 디컨볼루션에서 반복 수행에 의한 잔여 레이턴트 영상
Figure 112012020288030-pat00025
은 아래의 [수학식 10]에 의해서 계산될 수 있다.
Figure 112012020288030-pat00026
[수학식 10]에서
Figure 112012020288030-pat00027
은 다음의 [수학식 11]에 의해 구할 수 있다.
Figure 112012020288030-pat00028
여기서, 알파
Figure 112012020288030-pat00029
는 이득 지표 (gain map)의 영향을 제어하기 위한 변수이며,
Figure 112012020288030-pat00030
은 노이즈가 제거된 영상의 그래디언트를 표준 편차가 0.5인 가우시안 피라미드로 블러(blur)시켰을 때, 피라미드에서 l 단계의 영상을 의미한다.
[수학식 11]의 알파
Figure 112012020288030-pat00031
값은 0~1 사이의 임의의 값이 될 수 있지만, 주로 0.2를 사용할 수 있다.
[수학식 10]의 이득 제어 RL 디컨볼루션 결과는 [수학식 9]의 RL 디컨볼루션에 비해 더 부드러운 (smooth) 결과 영상을 얻게 하며, 이는 링잉 현상을 제거하는데 사용할 수 있다.
일 실시예에서는 [수학식 9]와 [수학식 10]의 결과를 상호 보완적으로 이용할 수 있다. 먼저 [수학식 9]의 RL 디컨볼루션 결과를 [수학식 10]의 이득 제어 RL 디컨볼루션 결과와 함께 공동 양방향 필터(joint bilateral filter)에 적용하여 링잉 현상만을 주로 포함하는 영상을 얻을 수 있다. 이 후, [수학식 9]의 RL 디컨볼루션 결과로부터 링잉 현상만을 주로 포함하는 영상을 뺌으로써 선명하고 링잉 현상이 없는 잔여 레이턴트 영상을 얻을 수 있다. 일 실시예에서는 링잉 현상이 없는 잔여 레이턴트 영상을 [수학식 10]의 이득 제어 RL 디컨볼루션 결과에 더함으로써 최종적으로 선명한 최종 레이턴트 영상을 얻을 수 있다.
도 2는 일 실시예에 따른 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용한 비균일 모션 블러를 제거하는 방법을 나타낸 플로우차트이다.
도 2를 참조하면, 일 실시예에 따른 비균일 모션 블러를 제거하는 장치는 비균일 모션 블러(motion blur)가 포함된 블러 영상(blur image) 및 블러가 포함되지 않은 노이즈 영상(noise image)을 포함하는 멀티 프레임을 수신한다(201).
비균일 모션 블러를 제거하는 장치는 노출 시간의 차이를 보정하기 위한 히스토그램 매칭(histogram matching) 방법을 이용하여, 블러 영상과 노이즈 영상에 대한 영상 밝기 정합을 수행한다(203).
203에서 비균일 모션 블러를 제거하는 장치는 노이즈 영상으로부터 노이즈를 제거한 후, 블러 영상 및 노이즈가 제거된 노이즈 영상에 대한 영상 밝기 정합을 수행할 수 있다.
비균일 모션 블러를 제거하는 장치는 영상 밝기 정합을 수행함으로써 생성된 블러 영상에 대한 비균일 모션 블러 정보를 추정한다(205).
205에서 비균일 모션 블러 정보의 추정을 위해, 비균일 모션 블러를 제거하는 장치는 영상 밝기 정합을 수행한 블러 영상에 대한 호모그라피(Homography)를 추정하고, 추정된 호모그라피를 이용하여 호모그라피에 대한 가중치를 계산할 수 있다. 이러한 호모그라피의 추정 및 가중치의 계산 과정은 미리 정해진 횟수만큼 반복적으로 수행추정된 호모그라피들을 포함하는 호모그래피 집합에 대한 에러값의 변화량에 일정 수준 이상의 변화가 없을 때까지 수행될 수 있다.
비균일 모션 블러를 제거하는 장치는 추정된 비균일 모션 블러 정보를 기초로, 멀티 프레임으로부터 비균일 모션 블러가 제거된 레이턴트 영상(latent image)을 획득한다(207). 비균일 모션 블러를 제거하는 장치는 이후의 반복적인 수행에 의하여 RL(Richardson-Lucy) 디컨볼루션 방법에 기반한 잔여 블러 영상 및 잔여 레이턴트 영상을 이용하여 비균일 모션 블러를 제거할 수 있다.
비균일 모션 블러를 제거하는 장치는 비균일 모션 블러 정보를 추정하는 205 단계 및 레이턴트 영상을 획득하는 207 단계를 반복적(iteratively)으로 수행할 수 있다(209). 이때, 209에서의 반복적인 수행은 멀티 스케일 프로세싱 방식에 의해, 영상 밝기 정합을 수행함으로써 생성된 블러 영상의 해상도를 변화시켜가면서 반복적으로 수행될 수 있다.
209의 반복적인 수행 과정 중, 첫번째 반복(iteration)에서는 노이즈가 제거된 노이즈 영상에 대하여 비균일 모션 블러 정보를 추정할 수 있다. 또한, 두 번째 이후의 반복(iteration)들 각각에서는, 이전 반복(iteration)에서 획득된 레이턴트 영상을 이용하여 비균일 모션 블러 정보를 업데이트할 수 있다.
비균일 모션 블러를 제거하는 장치는 반복적인 수행에 의해 최종적인 비균일 모션 블러 정보를 획득할 수 있다(211).
이 후, 비균일 모션 블러를 제거하는 장치는 최종적인 비균일 모션 블러 정보, 비균일 모션 블러가 포함된 블러 영상 및 노이즈가 제거된 노이즈 영상에 대하여 RL(Richardson-Lucy) 디컨볼루션 방법을 수행함으로써 멀티 프레임으로부터 복원되는 최종 레이턴트 영상을 획득할 수 있다(213).
이하에서 설명하는 도 3 내지 도 8은 일 실시예에 따른 블러 영상 및 노이즈 영상으로 구성된 멀티프레임을 이용한 비균일 모션 블러를 제거하는 방법에서 각 단계별 중간 영상들을 나타낸 것이다.
도 3은 일 실시예에 따른 멀티 프레임을 구성하는 비균일 모션 블러가 포함된 블러 영상이고, 도 4는 일 실시예에 따른 멀티 프레임을 구성하는 블러가 포함되지 않은 노이즈 영상이다.
또한, 도 5는 도 3의 블러 영상을 흑백화 한 영상이며, 도 6은 도 4의 노이즈 영상으로부터 노이즈를 제거한 뒤 흑백화 한 영상을 나타낸다.
도 7은 도 5 및 도 6를 이용하여 추정한 도 3의 블러 영상의 비균일 모션 블러를 나타내며, 도 8은 도 7에서 추정된 비균일 모션 블러 정보를 이용하여 블러를 제거한 최종 레이턴트 영상을 나타난다.
일 실시예에서는 이와 같이 두 종류의 영상(즉, 블러 영상 및 노이즈 영상)을 상호 보완적으로 이용함으로써 블러가 제거된 최종 레이턴트 영상을 복원할 수 있다.
도 9는 일 실시예에 따른 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 장치의 블록도이다.
일 실시예에 따른 비균일 모션 블러를 제거하는 장치는 수신부(910), 수행부(930), 추정부(950), 획득부(970) 및 제어부(990)를 포함한다.
수신부(910)는 비균일 모션 블러(motion blur)가 포함된 블러 영상(blur image) 및 블러가 포함되지 않은 노이즈 영상(noise image)을 포함하는 멀티 프레임을 수신한다.
수행부(930)는 노출 시간의 차이를 보정하기 위한 히스토그램 매칭(histogram matching) 방법을 이용하여, 블러 영상과 노이즈 영상에 대한 영상 밝기 정합을 수행한다. 수행부(930)는 노이즈 제거 수단(931) 및 수행 수단(935)을 포함할 수 있다.
노이즈 제거 수단(931)은 노이즈 영상으로부터 노이즈를 제거할 수 있다.
수행 수단(935)은 블러 영상 및 노이즈가 제거된 노이즈 영상에 대한 영상 밝기 정합을 수행할 수 있다.
추정부(950)는 영상 밝기 정합을 수행함으로써 생성된 블러 영상에 대한 비균일 모션 블러 정보를 추정한다. 추정부(950)는 추정 수단(951) 및 계산 수단(955)을 포함할 수 있다.
추정 수단(951)은 영상 밝기 정합을 수행한 블러 영상에 대한 호모그라피(Homography)를 추정할 수 있다.
계산 수단(955)은 추정된 호모그라피를 이용하여 호모그라피에 대한 가중치를 계산할 수 있다.
이때, 추정 수단에 의한 호모그라피의 추정 및 계산 수단에 의한 가중치의 계산은 미리 정해진 횟수만큼 반복적으로 수행되거나, 추정 수단에 의한 추정된 호모그라피들을 포함하는 호모그래피 집합에 대한 에러값의 변화량에 일정 수준 이상의 변화가 없을 때까지 수행될 수 있다.획득부(970)는 추정된 비균일 모션 블러 정보를 기초로, 멀티 프레임으로부터 비균일 모션 블러가 제거된 레이턴트 영상(latent image)을 획득한다.
획득부(970)는 이 후의 반복적인 수행에 의해 획득한 최종적인 비균일 모션 블러 정보, 비균일 모션 블러가 포함된 블러 영상 및 노이즈가 제거된 노이즈 영상에 대하여 RL(Richardson-Lucy) 디컨볼루션 방법을 수행함으로써 멀티 프레임으로부터 복원되는 최종 레이턴트 영상을 획득할 수 있다.
제어부(990)는 추정부(950)에 의한 비균일 모션 블러 정보의 추정 및 획득부(970)에 의한 레이턴트 영상의 획득을 반복적(iteratively)으로 수행할 수 있다.
제어부(990)는 영상 밝기 정합을 수행함으로써 생성된 블러 영상의 해상도를 변화시켜가면서 비균일 모션 블러 정보의 추정 및 레이턴트 영상의 획득을 반복적으로 수행할 수 있다.
이때, 제어부(990)는 첫번째 반복(iteration)에서, 노이즈가 제거된 노이즈 영상에 대하여 비균일 모션 블러 정보를 추정하고, 두 번째 이후의 반복(iteration)들 각각에서, 이전 반복(iteration)에서 획득된 레이턴트 영상을 이용하여 비균일 모션 블러 정보를 업데이트할 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
910: 수신부
930: 수행부
931: 노이즈 제거 수단
935: 수행 수단
950: 추정부
951: 추정 수단
955: 계산 수단
970: 획득부
990: 제어부

Claims (20)

  1. 비균일 모션 블러(motion blur)가 포함된 블러 영상(blur image) 및 블러가 포함되지 않은 노이즈 영상(noise image)을 포함하는 멀티 프레임을 수신하는 단계;
    노출 시간의 차이를 보정하기 위한 히스토그램 매칭(histogram matching) 방법을 이용하여, 상기 블러 영상과 상기 노이즈 영상에 대한 영상 밝기 정합을 수행하는 단계;
    상기 영상 밝기 정합을 수행함으로써 생성된 블러 영상에 대한 비균일 모션 블러 정보를 추정하는 단계;
    상기 추정된 비균일 모션 블러 정보를 기초로, 상기 멀티 프레임으로부터 상기 비균일 모션 블러가 제거된 레이턴트 영상(latent image)을 획득하는 단계; 및
    상기 영상 밝기 정합을 수행함으로써 생성된 블러 영상의 해상도를 변화시켜가면서 상기 비균일 모션 블러 정보를 추정하는 단계 및 상기 레이턴트 영상을 획득하는 단계를 반복적(iteratively)으로 수행하는 단계
    를 포함하는 비균일 모션 블러를 제거하는 방법.
  2. 제1항에 있어서,
    상기 블러 영상과 상기 노이즈 영상에 대한 영상 밝기 정합을 수행하는 단계는
    상기 노이즈 영상으로부터 노이즈를 제거하는 단계; 및
    상기 블러 영상 및 상기 노이즈가 제거된 노이즈 영상에 대한 영상 밝기 정합을 수행하는 단계
    를 포함하는 비균일 모션 블러를 제거하는 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    첫번째 반복(iteration)에서, 상기 노이즈가 제거된 노이즈 영상에 대하여 상기 비균일 모션 블러 정보를 추정하는 단계
    를 더 포함하는 비균일 모션 블러를 제거하는 방법.
  6. 제1항에 있어서,
    두 번째 이후의 반복(iteration)들 각각에서, 이전 반복(iteration)에서 획득된 레이턴트 영상을 이용하여 상기 비균일 모션 블러 정보를 업데이트하는 단계
    를 더 포함하는 비균일 모션 블러를 제거하는 방법.
  7. 제1항에 있어서,
    상기 레이턴트 영상을 획득하는 단계는
    상기 반복적인 수행에 의해 획득한 최종적인 비균일 모션 블러 정보, 상기 비균일 모션 블러가 포함된 블러 영상 및 상기 노이즈가 제거된 노이즈 영상에 대하여 RL(Richardson-Lucy) 디컨볼루션 방법을 수행함으로써 상기 멀티 프레임으로부터 복원되는 최종 레이턴트 영상을 획득하는 단계
    를 포함하는 비균일 모션 블러를 제거하는 방법.
  8. 제1항에 있어서,
    상기 비균일 모션 블러 정보를 추정하는 단계는
    상기 영상 밝기 정합을 수행한 블러 영상에 대한 호모그라피(Homography)를 추정하는 단계; 및
    상기 추정된 호모그라피를 이용하여 상기 호모그라피에 대한 가중치를 계산하는 단계
    를 포함하는 비균일 모션 블러를 제거하는 방법.
  9. 제8항에 있어서,
    상기 호모그라피를 추정하는 단계 및 상기 가중치를 계산하는 단계는 미리 정해진 횟수만큼 반복적으로 수행되는 비균일 모션 블러를 제거하는 방법.
  10. 제1항에 있어서,
    상기 레이턴트 영상을 획득하는 단계는
    RL(Richardson-Lucy) 디컨볼루션 방법에 기반한 잔여 블러 영상 및 잔여 레이턴트 영상을 이용하여 상기 비균일 모션 블러를 제거하는 단계
    를 더 포함하는 비균일 모션 블러를 제거하는 방법.
  11. 제1항 내지 제2항, 제5항 내지 제10항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록되어 있는 컴퓨터로 판독 가능한 기록매체.
  12. 비균일 모션 블러(motion blur)가 포함된 블러 영상(blur image) 및 블러가 포함되지 않은 노이즈 영상(noise image)을 포함하는 멀티 프레임을 수신하는 수신부;
    노출 시간의 차이를 보정하기 위한 히스토그램 매칭(histogram matching) 방법을 이용하여, 상기 블러 영상과 상기 노이즈 영상에 대한 영상 밝기 정합을 수행하는 수행부;
    상기 영상 밝기 정합을 수행함으로써 생성된 블러 영상에 대한 비균일 모션 블러 정보를 추정하는 추정부;
    상기 추정된 비균일 모션 블러 정보를 기초로, 상기 멀티 프레임으로부터 상기 비균일 모션 블러가 제거된 레이턴트 영상(latent image)을 획득하는 획득부; 및
    상기 영상 밝기 정합을 수행함으로써 생성된 블러 영상의 해상도를 변화시켜가면서 상기 비균일 모션 블러 정보의 추정 및 상기 레이턴트 영상의 획득을 반복적으로 수행하는 제어부
    를 포함하는 비균일 모션 블러를 제거하는 장치.
  13. 제12항에 있어서,
    상기 수행부는
    상기 노이즈 영상으로부터 노이즈를 제거하는 노이즈 제거 수단; 및
    상기 블러 영상 및 상기 노이즈가 제거된 노이즈 영상에 대한 영상 밝기 정합을 수행하는 수행 수단
    을 포함하는 비균일 모션 블러를 제거하는 장치.
  14. 삭제
  15. 삭제
  16. 제12항에 있어서,
    상기 제어부는
    첫번째 반복(iteration)에서, 상기 노이즈가 제거된 노이즈 영상에 대하여 상기 비균일 모션 블러 정보를 추정하는 비균일 모션 블러를 제거하는 장치.
  17. 제12항에 있어서,
    상기 제어부는
    두 번째 이후의 반복(iteration)들 각각에서, 이전 반복(iteration)에서 획득된 레이턴트 영상을 이용하여 상기 비균일 모션 블러 정보를 업데이트하는 비균일 모션 블러를 제거하는 장치.
  18. 제12항에 있어서,
    상기 획득부는
    상기 반복적인 수행에 의해 획득한 최종적인 비균일 모션 블러 정보, 상기 비균일 모션 블러가 포함된 블러 영상 및 상기 노이즈가 제거된 노이즈 영상에 대하여 RL(Richardson-Lucy) 디컨볼루션 방법을 수행함으로써 상기 멀티 프레임으로부터 복원되는 최종 레이턴트 영상을 획득하는 비균일 모션 블러를 제거하는 장치.
  19. 제12항에 있어서,
    상기 추정부는
    상기 영상 밝기 정합을 수행한 블러 영상에 대한 호모그라피(Homography)를 추정하는 추정 수단; 및
    상기 추정된 호모그라피를 이용하여 상기 호모그라피에 대한 가중치를 계산하는 계산 수단
    을 포함하는 비균일 모션 블러를 제거하는 장치.
  20. 제19항에 있어서,
    상기 추정 수단에 의한 상기 호모그라피의 추정 및 상기 계산 수단에 의한 상기 가중치의 계산은 미리 정해진 횟수만큼 반복적으로 수행되는 비균일 모션 블러를 제거하는 장치.
KR1020120025622A 2012-03-13 2012-03-13 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치 KR101844332B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120025622A KR101844332B1 (ko) 2012-03-13 2012-03-13 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치
US13/674,391 US8995781B2 (en) 2012-03-13 2012-11-12 Method and apparatus for deblurring non-uniform motion blur using multi-frame including blurred image and noise image
JP2013043486A JP2013192224A (ja) 2012-03-13 2013-03-05 ブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去する方法及び装置
CN201310079470.7A CN103310430B (zh) 2012-03-13 2013-03-13 对非均匀运动模糊进行去模糊的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120025622A KR101844332B1 (ko) 2012-03-13 2012-03-13 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130104258A KR20130104258A (ko) 2013-09-25
KR101844332B1 true KR101844332B1 (ko) 2018-04-03

Family

ID=49135607

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120025622A KR101844332B1 (ko) 2012-03-13 2012-03-13 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치

Country Status (4)

Country Link
US (1) US8995781B2 (ko)
JP (1) JP2013192224A (ko)
KR (1) KR101844332B1 (ko)
CN (1) CN103310430B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102197089B1 (ko) 2020-09-22 2020-12-30 엘아이지넥스원 주식회사 단일 영상 비균일 블러 제거를 위한 딥러닝 기반 다중 학습 구조
US11568519B2 (en) 2020-08-31 2023-01-31 Samsung Electronics Co., Ltd. Image enhancement method, image enhancement apparatus, and method and apparatus for training image enhancement apparatus
US11928792B2 (en) 2018-07-17 2024-03-12 Xi'an Jiaotong University Fusion network-based method for image super-resolution and non-uniform motion deblurring

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201520906A (zh) * 2013-11-29 2015-06-01 Univ Nat Taiwan Science Tech 影像註冊方法
CN104932868B (zh) * 2014-03-17 2019-01-15 联想(北京)有限公司 一种数据处理方法及电子设备
EP3272027B1 (en) * 2015-03-16 2024-05-01 Commscope Technologies LLC Das management by radio access network node
CN105049718A (zh) * 2015-07-06 2015-11-11 深圳市金立通信设备有限公司 一种图像处理方法及终端
JP2017028583A (ja) * 2015-07-24 2017-02-02 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US10516875B2 (en) 2016-01-22 2019-12-24 Samsung Electronics Co., Ltd. Method and apparatus for obtaining depth image by using time-of-flight sensor
KR101862490B1 (ko) * 2016-12-13 2018-05-29 삼성전기주식회사 영상 보정 프로세서 및 컴퓨터 판독가능 기록 매체
CN107633490B (zh) * 2017-09-19 2023-10-03 北京小米移动软件有限公司 图像处理方法、装置及存储介质
CN108830802B (zh) * 2018-05-16 2022-07-08 浙江大学 一种基于短曝图像梯度导向的图像模糊核估计方法
CN109190571B (zh) * 2018-09-12 2020-11-13 内蒙古大学 一种放牧绵羊采食典型植物种类的检测识别方法及其装置
CN113992848A (zh) * 2019-04-22 2022-01-28 深圳市商汤科技有限公司 视频图像处理方法及装置
KR102665968B1 (ko) * 2019-06-27 2024-05-16 삼성전자주식회사 블러 추정 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298300A (ja) * 1999-04-13 2000-10-24 Ricoh Co Ltd 手ぶれ画像補正方法、記録媒体及び撮像装置
US20080240607A1 (en) * 2007-02-28 2008-10-02 Microsoft Corporation Image Deblurring with Blurred/Noisy Image Pairs
JP2009088935A (ja) * 2007-09-28 2009-04-23 Sanyo Electric Co Ltd 画像記録装置、画像補正装置及び撮像装置
WO2011145296A1 (ja) * 2010-05-21 2011-11-24 パナソニック株式会社 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020180876A1 (en) 2001-06-01 2002-12-05 Sobol Robert E. Intelligent motion blur minimization
JP2005527854A (ja) 2002-05-28 2005-09-15 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ デューティサイクルの変化におけるモーションブラーの減少
US8698924B2 (en) * 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US7463296B2 (en) * 2004-04-01 2008-12-09 Microsoft Corporation Digital cameras with luminance correction
EP1794739A1 (en) 2004-09-03 2007-06-13 Koninklijke Philips Electronics N.V. Cheap motion blur reduction (eco-overdrive) for lcd video/graphics processors
JP4250583B2 (ja) * 2004-09-30 2009-04-08 三菱電機株式会社 画像撮像装置及び画像復元方法
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
KR100639164B1 (ko) 2005-03-12 2006-10-26 전재춘 영상 장치의 흔들림에 의한 영상 블러링 제거 방법
US7728909B2 (en) 2005-06-13 2010-06-01 Seiko Epson Corporation Method and system for estimating motion and compensating for perceived motion blur in digital video
KR100805802B1 (ko) 2005-12-09 2008-02-21 한국전자통신연구원 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템
KR100860967B1 (ko) 2007-04-16 2008-09-30 삼성전자주식회사 영상의 모션 블러를 제거하기 위한 장치 및 방법
US8063942B2 (en) * 2007-10-19 2011-11-22 Qualcomm Incorporated Motion assisted image sensor configuration
KR20090057619A (ko) 2007-12-03 2009-06-08 주식회사 대우일렉트로닉스 모션 블러 개선 장치 및 방법
KR100957275B1 (ko) 2008-03-21 2010-05-12 현대자동차주식회사 차량 배기 계의 후 처리 장치를 구성하는 매연 여과 필터의다단 재생 방법
KR101018518B1 (ko) 2008-09-24 2011-03-03 한양대학교 산학협력단 영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법
US8238694B2 (en) * 2008-10-03 2012-08-07 Microsoft Corporation Alignment of sharp and blurred images based on blur kernel sparseness
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
US8237813B2 (en) * 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8390704B2 (en) * 2009-10-16 2013-03-05 Eastman Kodak Company Image deblurring using a spatial image prior
US8379120B2 (en) * 2009-11-04 2013-02-19 Eastman Kodak Company Image deblurring using a combined differential image
CN101710416A (zh) * 2009-12-07 2010-05-19 中国科学院新疆生态与地理研究所 多目标遥感图像云的处理方法
JP5511403B2 (ja) * 2010-01-20 2014-06-04 キヤノン株式会社 画像処理装置およびその制御方法
KR101140414B1 (ko) 2010-02-22 2012-05-03 한국외국어대학교 연구산학협력단 디블러링 지원 디지털 촬영 장치 및 그 방법
US8428390B2 (en) * 2010-06-14 2013-04-23 Microsoft Corporation Generating sharp images, panoramas, and videos from motion-blurred videos
US8532421B2 (en) * 2010-11-12 2013-09-10 Adobe Systems Incorporated Methods and apparatus for de-blurring images using lucky frames
EP2577955B1 (en) * 2011-02-18 2014-07-30 DigitalOptics Corporation Europe Limited Dynamic range extension by combining differently exposed hand-held device-acquired images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298300A (ja) * 1999-04-13 2000-10-24 Ricoh Co Ltd 手ぶれ画像補正方法、記録媒体及び撮像装置
US20080240607A1 (en) * 2007-02-28 2008-10-02 Microsoft Corporation Image Deblurring with Blurred/Noisy Image Pairs
JP2009088935A (ja) * 2007-09-28 2009-04-23 Sanyo Electric Co Ltd 画像記録装置、画像補正装置及び撮像装置
WO2011145296A1 (ja) * 2010-05-21 2011-11-24 パナソニック株式会社 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928792B2 (en) 2018-07-17 2024-03-12 Xi'an Jiaotong University Fusion network-based method for image super-resolution and non-uniform motion deblurring
US11568519B2 (en) 2020-08-31 2023-01-31 Samsung Electronics Co., Ltd. Image enhancement method, image enhancement apparatus, and method and apparatus for training image enhancement apparatus
KR102197089B1 (ko) 2020-09-22 2020-12-30 엘아이지넥스원 주식회사 단일 영상 비균일 블러 제거를 위한 딥러닝 기반 다중 학습 구조

Also Published As

Publication number Publication date
CN103310430A (zh) 2013-09-18
US20130243346A1 (en) 2013-09-19
CN103310430B (zh) 2017-10-27
KR20130104258A (ko) 2013-09-25
JP2013192224A (ja) 2013-09-26
US8995781B2 (en) 2015-03-31

Similar Documents

Publication Publication Date Title
KR101844332B1 (ko) 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치
KR101810876B1 (ko) 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치
JP4799428B2 (ja) 画像処理装置及び方法
KR101839617B1 (ko) 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
CN101504765B (zh) 采用梯度融合技术的运动模糊图像序列的复原方法
JP4613990B2 (ja) 画像処理装置、画像処理方法、プログラム
US20150036943A1 (en) Patch-Based, Locally Content-Adaptive Image and Video Sharpening
JP2008146643A (ja) 動きでぶれた画像における動きのぶれを低減する方法、動きでぶれた画像における動きのぶれを低減するための装置、および動きでぶれた画像における動きのぶれを低減するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体
US20140355901A1 (en) Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
KR20100056167A (ko) 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
JP6293374B2 (ja) 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置
JP2011041276A (ja) ぶれ補正方法、ぶれ補正装置およびコンピューター読み取り可能な媒体
JP6624061B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体
KR101341871B1 (ko) 비디오 디블러링 방법 및 그 장치
JP4958806B2 (ja) ぶれ検出装置、ぶれ補正装置及び撮像装置
KR101827361B1 (ko) 안개 제거를 위한 대기 강도 추정 장치 및 방법
KR101651889B1 (ko) 극저조도 영상의 화질 개선 장치 및 방법
KR101804215B1 (ko) 강건하게 비균일 모션 블러를 추정하는 방법 및 장치
JP4859516B2 (ja) 画像処理装置および画像復元方法
CN112819699A (zh) 视频处理方法、装置及电子设备
CN106651790A (zh) 图像去模糊的方法、装置和设备
KR101617551B1 (ko) 얼굴 검출 능력 향상을 위한 이미지 처리 방법 및 시스템
KR101152525B1 (ko) 모션 블러 제거 방법 및 이러한 방법을 수행하는 장치
JP4915468B2 (ja) 画像処理装置、画像処理方法、プログラム
JP4886663B2 (ja) 動画像用ノイズ低減装置及び動画像用ノイズ低減プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120313

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160825

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120313

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170605

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20171226

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180327

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180328

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20220107