KR101810876B1 - 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치 - Google Patents

타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치 Download PDF

Info

Publication number
KR101810876B1
KR101810876B1 KR1020120025623A KR20120025623A KR101810876B1 KR 101810876 B1 KR101810876 B1 KR 101810876B1 KR 1020120025623 A KR1020120025623 A KR 1020120025623A KR 20120025623 A KR20120025623 A KR 20120025623A KR 101810876 B1 KR101810876 B1 KR 101810876B1
Authority
KR
South Korea
Prior art keywords
motion blur
uniform motion
tiles
input image
image
Prior art date
Application number
KR1020120025623A
Other languages
English (en)
Other versions
KR20130104259A (ko
Inventor
조정욱
이승용
문영수
이시화
이치영
조성현
조호진
Original Assignee
삼성전자주식회사
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 포항공과대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020120025623A priority Critical patent/KR101810876B1/ko
Priority to CN201310059828.XA priority patent/CN103310413B/zh
Priority to US13/793,319 priority patent/US9042673B2/en
Priority to JP2013049522A priority patent/JP6218402B2/ja
Publication of KR20130104259A publication Critical patent/KR20130104259A/ko
Application granted granted Critical
Publication of KR101810876B1 publication Critical patent/KR101810876B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)

Abstract

큰 크기(large scale)를 갖는 입력 영상을 국부 영역의 타일들로 나누고, 나누어진 타일들 중 비균일 모션 블러 정보의 추정에 가장 적합한 국부 영역에 대한 최적의 타일을 선택함으로써 저장 공간의 한계를 극복하는 동시에 비균일 모션 블러 정보의 추정에 대한 정확성을 높여 영상을 더욱 선명하게 복원하며, 각 타일을 패딩(padding)함으로써 각 타일 단위로 비균일 모션 블러를 제거할 때에 생기는 타일 외각의 아티팩트(artifact)를 효과적으로 제거할 수 있는 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치를 제공할 수 있다.

Description

타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치{A METHOD AND AN APPARATUS FOR DEBLURING NON-UNIFORM MOTION BLUR OF A LARGE SCALE INPUT IMAGE BASED ON A TILE UNIT}
아래의 실시예들은 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치에 관한 것이다.
블러(Blur) 현상은 영상 획득 장치를 이용하여 영상을 획득하는 과정에서 흔히 발생할 수 있는 현상으로 영상의 품질을 저하시키는 주요한 원인 중 하나이다.
어두운 실내나 저녁 무렵의 야외와 같이 광량이 부족한 환경에서 카메라 등의 장치를 이용하여 영상을 획득하는 경우, 선명한 영상을 얻기 위해서는 충분한 광량이 있어야 하고 이를 위해 영상 센서를 빛에 오래 노출시켜야 한다. 그러나, 노출 시간이 길어지면 영상 센서의 흔들림으로 인해 획득한 영상에 블러가 발생하게 된다.
영상에서 블러를 제거하는 것은 주어진 정보의 양에 비해 알아내야 하는 더 많은 양의 정보를 필요하기 때문에 여전히 해결하기 어려운 문제이다. 특히, 영상의 각 픽셀들은 카메라의 병진 움직임(translational motion) 뿐 아니라 회전 움직임(rotational motion)에 의해 서로 다른 방향과 크기의 비균일 모션 블러를 포함하게 된다. 이러한 비균일 모션 블러에 대한 정보는 화소(pixel) 단위로 저장되어 처리될 수 있는데, 실제 일상 생활에서 촬영하는 10메가 픽셀 이상의 크기를 갖는 큰 영상들을 처리하는 데에 필요한 저장 공간의 한계 때문에 비균일 모션 블러 정보의 추정이 매우 어렵다.
일 실시예에 따른 입력 영상의 비균일 모션 블러를 제거하는 방법은 입력 영상을 미리 설정된 사이즈를 갖는 복수 개의 타일들로 나누는 단계; 상기 복수 개의 타일들 중 어느 하나의 타일을 선택하는 단계; 영상 정합을 수행함으로써 상기 선택된 타일에 대한 비균일 모션 블러 정보를 추정하는 단계; 상기 추정된 비균일 모션 블러 정보를 기초로 비균일 모션 블러를 제거하여, 상기 복수 개의 타일들 각각에 대한 레이턴트 영상(latent image)을 획득하는 단계; 및 상기 복수 개의 타일들 각각에 대한 레이턴트 영상(latent image)을 이용하여 상기 입력 영상을 복원하는 단계를 포함한다.
상기 어느 하나의 타일을 선택하는 단계는 상기 복수 개의 타일들 각각이 가지는 엣지 픽셀의 개수 및 상기 엣지 픽셀의 그래디언트 방향(gradient direction)에 따라 분류되는 상기 엣지 픽셀들의 방향을 기초로 상기 복수 개의 타일들 각각에 대한 그래디언트 히스토그램을 생성하는 단계; 및 상기 그래디언트 히스토그램을 이용하여 상기 어느 하나의 타일을 선택하는 단계를 포함할 수 있다.
상기 그래디언트 히스토그램을 생성하는 단계는 상기 복수 개의 타일들 각각에 대한 그래디언트 맵(gradient map)을 생성하는 단계; 상기 그래디언트 맵의 그래디언트 크기 값에 기초하여 엣지 픽셀들을 결정하는 단계; 상기 엣지 픽셀들을 상기 그래디언트 방향에 따라 분류하는 단계; 및 상기 분류된 엣지 픽셀들을 기초로 상기 복수 개의 타일들 각각에 대한 그래디언트 히스토그램을 생성하는 단계를 포함할 수 있다.
상기 그래디언트 히스토그램을 이용하여 상기 어느 하나의 타일을 선택하는 단계는 상기 복수 개의 타일들 각각의 그래디언트 히스토그램을 기초로, 상기 복수 개의 타일들 각각에 대해 상기 그래디언트 방향마다에 속한 엣지 픽셀들의 개수를 파악하는 단계; 및 상기 그래디언트 방향마다에 속한 엣지 픽셀들의 개수를 이용하여 상기 어느 하나의 타일을 선택하는 단계를 포함할 수 있다.
상기 레이턴트 영상(latent image)을 획득하는 단계는 상기 추정된 비균일 모션 블러 정보를 상기 입력 영상에서의 해당 위치에 대응하는 픽셀 좌표에 맞도록 보정하는 단계; 및 상기 보정된 비균일 모션 블러 정보를 상기 복수 개의 타일 단위마다에 대한 비균일 모션 블러 정보로 이용하여 상기 비균일 모션 블러를 제거하는 단계를 포함할 수 있다.
상기 입력 영상은 상기 비균일 모션 블러를 포함하는 단일 프레임, 상기 비균일 모션 블러를 포함하는 멀티 프레임, 상기 비균일 모션 블러를 포함하는 단일 블러 영상 및 블러(blur)를 포함하지 않는 단일 노이즈 영상으로 구성된 멀티 프레임 중 적어도 하나의 형태를 가질 수 있다.
상기 레이턴트 영상(latent image)들을 획득하는 단계는 상기 입력 영상의 형태가 상기 비균일 모션 블러를 포함하는 단일 프레임 및 상기 비균일 모션 블러를 포함하는 멀티 프레임 중 어느 하나의 형태인 경우, 켤레 구배법(conjugate gradient method)을 이용하여 상기 비균일 모션 블러를 제거하는 단계를 포함할 수 있다.
상기 레이턴트 영상(latent image)들을 획득하는 단계는 상기 입력 영상의 형태가 상기 비균일 모션 블러를 포함하는 단일 블러 영상 및 블러를 포함하지 않는 단일 노이즈 영상으로 구성된 멀티 프레임의 형태인 경우, RL(Richardson-Lucy) 디컨볼루션 알고리즘을 이용하여 상기 비균일 모션 블러를 제거하는 단계를 포함할 수 있다.
상기 복수 개의 타일들 각각의 경계 부분에 대한 패딩(padding)을 수행하는 단계를 더 포함할 수 있다.
상기 패딩을 수행하는 단계는 상기 추정된 비균일 모션 블러 정보 및 상기 복수 개의 타일들 각각에 대응하는 픽셀의 위치 정보를 이용하여 상기 복수 개의 타일들 각각에 대한 패딩의 크기를 계산하는 단계; 및 상기 복수 개의 타일들 각각의 사이즈를 상기 패딩의 크기만큼 확장하는 단계를 포함할 수 있다.
상기 복수 개의 타일들 각각에 대한 패딩의 크기는 상기 복수 개의 타일들 각각을 구성하는 픽셀들이 블러로 인해 이동할 수 있는 픽셀 거리를 기초로 계산될 수 있다.
상기 레이턴트 영상(latent image)들을 획득하는 단계는 상기 패딩의 크기만큼 사이즈를 확장한 복수 개의 타일들 각각에 대하여 상기 비균일 모션 블러를 제거하여 상기 레이턴트 영상(latent image)들을 획득할 수 있다.
일 실시예에 따른 입력 영상의 비균일 모션 블러를 제거하는 장치는 입력 영상을 미리 설정된 사이즈를 갖는 복수 개의 타일들로 나누는 분할부; 상기 복수 개의 타일들 중 어느 하나의 타일을 선택하는 선택부; 영상 정합을 수행함으로써 상기 선택된 타일에 대한 비균일 모션 블러 정보를 추정하는 추정부; 상기 추정된 비균일 모션 블러 정보를 기초로 비균일 모션 블러를 제거하여, 상기 복수 개의 타일들 각각에 대한 레이턴트 영상(latent image)을 획득하는 획득부; 및 상기 복수 개의 타일들 각각에 대한 레이턴트 영상(latent image)을 이용하여 상기 입력 영상을 복원하는 복원부를 포함한다.
상기 선택부는 상기 복수 개의 타일들 각각이 가지는 엣지 픽셀의 개수 및 그래디언트 방향(gradient direction)에 따라 분류되는 상기 엣지 픽셀들의 방향을 기초로 상기 복수 개의 타일들 각각에 대한 그래디언트 히스토그램을 생성하는 생성 수단; 및 상기 그래디언트 히스토그램을 이용하여 상기 어느 하나의 타일을 선택하는 선택 수단을 포함할 수 있다.
상기 획득부는 상기 추정된 비균일 모션 블러 정보를 상기 입력 영상에서의 해당 위치에 대응하는 픽셀 좌표에 맞도록 보정하는 보정 수단; 및 상기 보정된 비균일 모션 블러 정보를 상기 복수 개의 타일 단위마다에 대한 비균일 모션 블러 정보로 이용하여 상기 비균일 모션 블러를 제거하는 제거 수단을 포함할 수 있다.
상기 입력 영상은 상기 비균일 모션 블러를 포함하는 단일 프레임, 상기 비균일 모션 블러를 포함하는 멀티 프레임, 상기 비균일 모션 블러를 포함하는 단일 블러 영상 및 블러를 포함하지 않는 단일 노이즈 영상으로 구성된 멀티 프레임 중 적어도 하나의 형태를 가질 수 있다.
상기 복수 개의 타일들 각각의 경계 부분에 대한 패딩(padding)을 수행하는 패딩 수행부를 더 포함할 수 있다.
상기 패딩 수행부는 상기 추정된 비균일 모션 블러 정보 및 상기 복수 개의 타일들 각각에 대응하는 픽셀의 위치 정보를 이용하여 상기 복수 개의 타일들 각각에 대한 패딩의 크기를 계산하는 계산 수단; 및 상기 복수 개의 타일들 각각의 사이즈를 상기 패딩의 크기만큼 확장하는 확장 수단을 포함할 수 있다.
상기 획득부는 상기 패딩의 크기만큼 사이즈를 확장한 복수 개의 타일들 각각에 대하여 상기 비균일 모션 블러를 제거하여 상기 레이턴트 영상(latent image)들을 획득할 수 있다.
일 실시예에 따르면, 큰(large scale) 크기의 입력 영상을 타일 단위의 국부 영역으로 나누어 블러를 제거함으로써 큰 영상들을 처리하는 데에 필요한 저장 공간의 한계를 극복할 수 있다.
일 실시예에 따르면, 큰 영상으로부터 나누어진 타일들 중 비균일 모션 블러 정보의 추정에 가장 적합한 국부 영역에 대한 최적의 타일을 선택함으로써 큰 영상에 대한 디블러링이 용이하도록 할 수 있다.
또한, 일 실시예에 따르면, 설정된 타일의 크기보다 조금 더 큰 크기로 타일을 패딩(padding)함으로써 각 타일 단위로 비균일 모션 블러를 제거할 때에 생기는 타일 외각의 아티팩트(artifact)를 효과적으로 제거하는 동시에 더 선명하게 복원된 영상을 획득할 수 있다.
도 1은 일 실시예에 따른 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법을 나타낸 도면이다.
도 2는 일 실시예에 따른 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법을 나타낸 플로우차트이다.
도 3은 일 실시예에 따른 입력 영상의 비균일 모션 블러를 제거하는 방법에서 어느 하나의 타일을 선택하는 방법을 나타낸 플로우차트이다.
도 4는 일 실시예에 따른 입력 영상의 비균일 모션 블러를 제거하는 방법에서 패딩을 수행하는 방법을 나타낸 플로우차트이다.
도 5는 비균일 모션 블러가 포함된 블러 입력 영상이다.
도 6은 블러가 포함되지 않은 노이즈 입력 영상을 나타낸 도면이다.
도 7은 일 실시예에 따른 입력 영상의 비균일 모션 블러를 제거하는 방법에서 패딩을 수행하지 않고 블러를 제거한 결과를 나타낸 도면이다.
도 8은 일 실시예에 따른 입력 영상의 비균일 모션 블러를 제거하는 방법에서 패딩을 수행하여 블러를 제거한 결과를 나타낸 도면이다.
도 9는 일 실시예에 따른 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 장치의 블록도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 일실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법을 나타낸 도면이다.
도 1을 참조하면, 큰 크기(Large scale)의 입력 영상이 제공(110)되면, 일 실시예에 따른 비균일 모션 블러를 제거하는 장치(이하, '제거 장치')는 입력 영상을 작은 크기의 복수 개의 타일(tile)들로 나누어 그래디언트 맵(gradient map)을 구한다.
이때, 입력 영상의 크기에 따라 타일의 크기 및 타일의 개수는 가변적일 수 있다.
그 후, 제거 장치는 그래디언트 방향(gradient direction)에 따라 엣지 픽셀(edge pixel)의 개수를 측정하여 복수 개의 타일들 각각에 대한 그래디언트 히스토그램(gradient histogram)을 생성하고, 그래디언트 히스토그램을 이용하여 최적의 타일을 선택한다(120).
120에서 제거 장치는 복수 개의 타일들 각각에 대한 그래디언트 히스토그램을 비교하여 에지 방향이 다양하고, 에지 픽셀의 개수가 많은 픽셀을 최적의 타일을 선정할 수 있다.
제거 장치는 영상 정합(image registration)을 수행하여 최적의 타일에 대한 비균일 모션 블러 정보(non-uniform motion blur information)를 추정한다(130). 이때, 추정된 비균일 모션 블러 정보는 입력 영상에서의 타일 위치에 해당하는 픽셀 좌표에 맞도록 보정되어, 영상 전체에 대한 (비균일 모션) 블러 정보로 사용될 수 있다.
제거 장치는, 복수 개의 타일들 각각의 외곽 영역에 대한 아티팩트(artifact)를 제거하기 위하여, 복수 개의 타일들 각각의 경계 부분에 대한 패딩(padding)을 수행할 수 있다(140). 이때, 제거 장치는 추정된 블러 정보와 타일의 픽셀 위치 정보를 바탕으로 패딩의 크기를 계산하여 패딩을 수행할 수 있다.
이 후, 제거 장치는 입력 영상의 국부 영역인 타일 각각에 대하여 순차적으로 비균일 모션 블러를 제거한다(150). 이때, 입력 영상의 형태가 비균일 모션 블러를 포함한 단일 프레임, 혹은 멀티 프레임인 경우, 켤레 구배법(conjugate gradient method)을 이용하여 후술하는 [수학식 7]을 풀어서 레이턴트 영상을 획득한다.
또한, 입력 영상의 형태가 단일 블러 영상 및 단일 노이즈 영상으로 구성된 멀티 프레임인 경우, 후술하는 [수학식 11] 및 [수학식 12]에 해당하는 RL 디컨볼루션 알고리즘을 사용하여 비균일 모션 블러를 제거한 레이턴트 영상을 획득할 수 있다.
150의 결과, 복수 개의 타일들 각각에 대한 레이턴트 영상이 얻어지면, 제거 장치는 이 타일들을 이어 붙여 최종적으로 큰 입력 영상을 선명하게 복원한다(160).
이하에서는 일 실시예에 따른 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법을 보다 구체적으로 설명한다.
일반적으로 카메라의 사영 변환(projective transform)에 의해 흔들린 비균일 모션 블러는 [수학식 1]과 같이 표현될 수 있다.
Figure 112012020288186-pat00001
여기서, b, l, n은 블러가 포함된 영상 b(blurred image), 레이턴트 영상 l(latent image), 영상 획득 과정에서 도입된 알 수 없는 잡음 n(noise)에 대한 벡터 형태의 표현을 의미한다. 또한, P i 는 시점 ti에서 카메라의 사영 변환 움직임(projective transform motion)을 대표하는 행렬식이고, w i 는 ti에서 카메라가 멈추어 있는 시간의 상대적인 길이(단,
Figure 112012020288186-pat00002
), 즉, 시점 ti에서 카메라의 노출 시간을 의미한다.
[수학식 1]이 의미하는 바는 다음과 같다.
블러 영상(b)은 카메라가 움직인 경로 상의 각 지점(coordinate) 및 시점(view point)에서의 선명한 영상(l)의 합으로 표현된다는 것이다.
일 실시예에 따른 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법에서는 [수학식 1]을 응용하여 블라인드 모션 디블러링(blind motion deblurring)을 수행할 수 있다. 일반적인 블라인드 모션 디블러링에서는 입력된 블러 영상 b만을 이용하여 레이턴트 영상 l과 비균일 모션 블러 정보(P i , w i )를 계산한다.
하지만 일 실시예에서는 입력 영상이 비균일 모션 블러를 포함하는 단일 프레임, 비균일 모션 블러를 포함하는 멀티 프레임, 혹은 단일 블러 영상 및 블러(blur)를 포함하지 않는 단일 노이즈 영상으로 구성된 멀티 프레임 등의 다양한 형태를 가질 수 있다. 그렇기 때문에, 일 실시예에서는 서로 다른 형태의 입력 형상들을 이용하여, 최종적으로 선명한 레이턴트 영상 l과 비균일 모션 블러 정보(P i , w i )를 계산하기로 한다.
일 실시예에서는 입력 영상의 비균일 모션 블러를 제거하기 위한 방법을 블러 영상에 대해 [수학식 1]을 만족하는 비균일 모션 블러 정보(P i , w i )의 추정과 이를 이용한 레이턴트 영상(l)의 획득의 문제들로 구분하고, 반복 처리 과정(iterative process)을 통한 최적화에 의해 이 문제들을 해결한다.
여기서, 반복 처리 과정을 통한 최적화의 목적은 비균일 모션 블러 정보를 포함하는 P와 w의 정확도를 점진적으로 개선(refine)하기 위한 것이다. 블러가 포함된 입력 영상으로부터 비균일 모션 블러가 제거된 최종 레이턴트 영상은, 최종적으로 계산된 비균일 모션 블러 정보(P, w)와 비균일 모션 블러가 포함된 입력 블러 영상 b를 이용하여 얻어진다.
비균일 모션 블러 정보의 추정 과정 및 레이턴트 영상의 획득 과정을 번갈아 가면서 반복적으로 최적화 하는 과정에서 추정된 중간 레이턴트 영상은 비균일 모션 블러가 제거된 복원된 입력 영상에는 직접적인 영향을 미치지 않는다. 다만, 추정된 중간 레이턴트 영상은 비균일 모션 블러 정보(P, w)의 추정에 영향을 미침으로써 비균일 모션 블러가 제거된 레이턴트 영상에만 간접적으로 영향을 미치게 된다.
이하에서는 비균일 모션 블러 정보의 추정 과정에 대해 설명한다.
일 실시예에 따른 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법에서 비균일 모션 블러 정보의 추정은 영상 정합(image registration)을 이용하여 수행된다. 이 과정은 비균일 모션 블러를 표현하는 호모그라피(P)를 추정하고, 해당 호모그라피의 가중치(w)를 계산하는 두 가지 단계로 구성될 수 있다.
비균일 모션 블러 정보의 추정 과정에서는 중간 레이턴트 영상 l이 주어진 경우, 먼저 비균일 모션 블러를 표현하는 호모그라피 P를 계산한다. 호모그라피 P는 [수학식 1]을 재배열하여 얻은 아래의 [수학식 2]를 계산하여 구할 수 있다.
Figure 112012020288186-pat00003
[수학식 2]에서 하나의 호모그라피 P i 를 계산하기 위해, 좌변의
Figure 112012020288186-pat00004
와 우변의
Figure 112012020288186-pat00005
사이의 차이를 최소화하는 호모그라피(P i )를 영상 정합 방법을 적용하여 계산할 수 있다. 전체 호모그라피 집합 P를 계산하기 위해, [수학식 2]에서 각각의 호모그라피 P i 는 전체 호모그라피 중의 하나로 번갈아 가며 선택되어 모든 호모그라피들을 계산할 수 있다.
전체 호모그라피 집합 P를 계산한 후에는, 계산된 P를 이용하여 호모그라피의 가중치 w를 계산할 수 있다.
가중치 w를 계산하기 위해 우선 [수학식 2]를 아래의 [수학식 3]과 같이 표현할 수 있다.
Figure 112012020288186-pat00006
여기서,
Figure 112012020288186-pat00007
이며 L은 크기가 m×n 인 행렬이다. 여기서 m은 영상의 픽셀의 개수이고, n은 호모그라피의 개수이다.
여기서, 일반적으로 m >> n 이고, [수학식 3]에서 가중치 w는 0 이상의 값을 가져야 하기 때문에 비음수 최소제곱법(non-negative least square method)을 이용할 수 있다.
비음수 최소제곱법을 이용하기 위해서 [수학식 3]을 아래의 [수학식 4]의 정규 방정식(normal equation) 형태로 표현하여 가중치 w를 계산할 수 있다.
Figure 112012020288186-pat00008
[수학식 4]에서
Figure 112012020288186-pat00009
는 괄호 안의 행렬식의 역행렬을 구할 때 역행렬이 존재하지 않는 문제를 해결하기 위한 정규화 파라미터이고, I는 단위 행렬(identity matrix)이다.
비균일 모션 블러를 포함하는 멀티 프레임, 또는 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임의 형태를 가지는 입력 영상에서 가정하는 사영 변환 모션(projective transform motion) 블러 모델의 경우 상술한 호모그라피 및 가중치 추정 방법이 공통적으로 이용될 수 있다.
하지만, 일 실시예와 같이 10메가 픽셀의 크기를 갖는 큰 영상에는 저장 공간(메모리)의 한계 때문에 상술한 비균일 모션 블러 정보를 추정하는 방법을 수행할 수 없는 문제가 생긴다.
예를 들어, 추정하는 호모그라피의 샘플링 개수를 64개로 가정하고, 영상의 크기를 10메가 픽셀로 가정하자.
이 경우, [수학식 2]에서의 좌변을 계산하기 위해, 전체 영상의 픽셀 숫자, 추정된 호모그라피의 수, 실수형 연산(floating point operation)을 수행하는데 필요한 bytes 수, 컬러 영상을 처리하기 위해 필요한 채널의 수를 전부 곱할 경우, 약 7 Giga bytes 이상의 일시적 저장 공간이 필요하다. 만약, 추정되는 호모그라피의 개수가 증가하는 경우, 혹은 입력 영상의 크기가 더 큰 경우에는 필요한 일시적 저장 공간의 크기도 또한 그에 비례해서 증가한다. 따라서, 이러한 큰 영상에 대한 (비균일 모션) 블러 정보의 추정은 영상 전체를 사용하여 한번에 계산할 수 없으며, 영상의 국부 영역을 한정하여, 전체 영상에 대한 (비균일 모션) 블러 정보를 추정해야 한다.
도 1에 도시된 바와 같이, 일 실시예에 따른 타일 단위를 기반으로 입력 영상의 비균일 모션 블러를 제거하는 방법에서는 비균일 모션 블러 정보의 추정을 위해, 영상 전체를 여러 개의 작은 단위의 국부 영역인 타일로 나눈 후, 블러 정보 추정에 가장 유리한 최적 타일을 선택한다. 이 후, [수학식 2] 및 [수학식 4]의 반복적인 해결을 통해 현재 주어진 레이턴트 영상 l에 대응하는 최적화된 호모그라피 P와 가중치 w를 계산한다.
이때, 비균일 모션 블러 정보의 추정을 위해 사용되는 영상 정합은 영상의 엣지 정보에 민감하다. 그렇기 때문에, 일 실시예에서는 입력 영상을 구성하는 모든 타일들 중에서 엣지 픽셀의 개수가 많고, 엣지의 방향이 다양한 타일을 최적의 타일로 결정할 수 있다.
최적의 타일을 결정하는 방법은 다음과 같다.
복수 개의 타일들 각각에 대한 그래디언트 맵을 생성한 후, 이 그래디언트 맵의 그래디언트 크기(gradient magnitude)값을 기준으로 일정 한계값(gradient threshold) 이상의 픽셀들을 엣지 픽셀들로 간주할 수 있다. 엣지 픽셀로 간주된 픽셀은 그래디언트 방향(gradient direction)에 따라, 상하 방향, 좌우 방향, 대각 방향, 대각 방향에 수직인 또 다른 대각 방향의 네 가지 방향 중 하나로 분류될 수 있다.
그래디언트의 크기 및 방향에 기초한 분류가 끝나면, 이를 기초로 복수 개의 타일들 각각에 대한 그래디언트 히스토그램을 생성할 수 있다.
이후, 상술한 네 가지 그래디언트 방향(gradient direction)에 대해 각 타일 별로 엣지 픽셀의 개수가 몇 개 인지를 파악하여 기록할 수 있다. 이때, 엣지 픽셀의 개수도 많고, 엣지의 방향이 다양한 타일을 선택하기 위해서, 복수 개의 타일들 각각의 그래디언트 히스토그램 중 최소로 분류된 방향의 픽셀 개수를 기록할 수 있다. 여기서, 최소로 분류된 방향의 픽셀 개수는 각 타일의 가장 적은 엣지 픽셀을 가지는 방향의 엣지 픽셀 개수이다.
입력 영상을 구성하는 복수 개의 타일들 각각에 대해 최소로 분류된 방향의 픽셀 개수를 비교하여, 이 값이 가장 높은 타일을 최적 타일로 결정할 수 있다. 최적의 타일로 결정된 국부 영역으로 대하여 구해진 비균일 모션 블러 정보(P, w)는 타일의 입력 영상에서의 해당 위치에 대응하는 픽셀 좌표 값에 해당하는 병진 변환(translation motion)을 통해 보정된다. 그 후, 보정된 비균일 모션 블러 정보는 영상 전체에 대한 비균일 모션 블러 정보로 사용될 수 있다.
이때, 비균일 모션 블러 정보(P, w)의 추정은 레이턴트 영상 l이 업데이트 될 때마다 반복적으로 수행되며, 이러한 반복 처리 과정을 통해 최적화된 레이턴트 영상 l과 그에 대응하는 비균일 모션 블러 정보(P, w)를 계산할 수 있다.
레이턴트 영상의 획득 과정은 다음과 같다.
일 실시예에서는 비균일 모션 블러를 포함한 단일 프레임, 멀티 프레임, 단일 블러 영상과 단일 노이즈 영상으로 구성된 멀티 프레임 등 다양한 형태의 입력 영상 및 추정된 비균일 모션 블러 정보 (P, w)를 이용하여 레이턴트 영상 l를 계산할 수 있다.
구체적으로 단일 프레임 혹은 멀티 프레임을 입력으로 받아 비균일 모션 블러를 제거하는 경우에는 아래의 [수학식 5]를 풀어 레이턴트 영상 l을 계산할 수 있다.
Figure 112012020288186-pat00010
[수학식 5]에서
Figure 112012020288186-pat00011
이며, λ l 은 P l 의 가중치이다.
Figure 112012020288186-pat00012
는 벡터의 L-
Figure 112012020288186-pat00013
노름(norm)을 의미한다.
일반적으로 자연 영상에서는 평탄한 영역이 선명한 에지 영역보다 더 많은 영역을 차지하기 때문에 평탄한 영역에서의 잡음을 억제하는 것이 중요하며, 선명한 에지를 효과적으로 복원해 내는 것이 중요하다. 일 실시예에서는 이러한 문제를 해결하기 위해서 스파스니스 프라이어(Sparseness prior)를 사용하며 이 때의 알파 값은
Figure 112012020288186-pat00014
을 사용한다.
[수학식 5]에서 레이턴트 영상 l은 반복적인 가중치-재계산 최소제곱법 (iterative reweighted least square method)에 의해 계산되며, 아래의 [수학식 6]과 같이 정규화 항을 근사하여 계산될 수 있다.
Figure 112012020288186-pat00015
[수학식 6]에서
Figure 112012020288186-pat00016
와
Figure 112012020288186-pat00017
는 대각 행렬 (diagonal matrix)로써 k번째 대각 원소가 각각
Figure 112012020288186-pat00018
와
Figure 112012020288186-pat00019
이다. 여기서,
Figure 112012020288186-pat00020
와
Figure 112012020288186-pat00021
는 각각 벡터
Figure 112012020288186-pat00022
과
Figure 112012020288186-pat00023
의 k번째 원소를 의미한다.
[수학식 6]을 해결하여 레이턴트 영상 l을 계산하기 위해서, 켤레 구배법(conjugate gradient method)을 아래의 [수학식 7]에 적용할 수 있다.
Figure 112012020288186-pat00024
여기서,
Figure 112012020288186-pat00025
이다.
지금까지 설명한 모델은 입력된 블러 영상 b가 싱글 프레임인 경우에 해당된다.
입력된 블러 영상 b가 싱글 프레임인 경우는 [수학식 2]를 기반으로 하는 정합을 이용한 비균일 모션 블러 정보의 추정 단계에서 선명한 영상(l)를 예측하는 과정을 필요로 한다. 하지만 비균일 모션 블러 정보의 추정에서 사용되는 레이턴트 영상은 정합의 성능에 직접적으로 영향을 미치게 되고, 이는 디블러링 결과의 품질을 좌우한다. 결국, 상술한 방법에 의해서는 적절한 선명한 영상을 안정적으로 제공하기가 어렵기 때문에, 멀티 프레임을 사용하는 비균일 모션 제거 방법에서는 블러 영상에 대한 선명한 영상(l)의 초기값으로 나머지 블러 영상을 제공한다.
입력 영상이 비균일 모션 블러를 포함한 멀티 프레임인 경우, 반복적인 비균일 모션 블러 정보의 추정 과정의 처음 반복에서는 멀티 프레임의 각 영상이 다른 영상의 블러 정보 추정에 대한 레이턴트 영상의 초기값 역할을 하게 되고, 이는 블러 정보 추정의 정확도를 높일 수 있다. 또한, 두 번째 반복에서부터는 이전 반복 과정에서 추정된 비균일 모션 블러가 제거된 레이턴트 영상을 이용하여 멀티 프레임 각 영상의 비균일 모션 블러 정보를 추정할 수 있다.
일 실시예에 따른 입력 영상의 비균일 모션 블러를 제거하는 방법에서는 [수학식 5]를 확장하여 두 장 이상의 이미지들을 이용하여 블러를 제거함으로써 레이턴트 영상의 품질을 향상시킬 수 있다.
멀티 프레임을 이용하도록 확장하기 위해 [수학식 5]를 아래의 [수학식 8]과 같이 변경하여 표현할 수 있다.
Figure 112012020288186-pat00026
[수학식 8]에서
Figure 112012020288186-pat00027
와
Figure 112012020288186-pat00028
는 각각 비균일 모션 블러를 포함하는 k번째 이미지(
Figure 112012020288186-pat00029
)의 i번째 호모그라피와 가중치를 의미한다.
비균일 모션 블러를 포함하는 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 경우에는 멀티 프레임의 각 영상이 서로 다른 비균일 모션 블러 정보를 포함한다고 가정하며, 선명한 영상을 예측하지 않아도 되기 때문에 보다 안정적으로 비균일 모션 블러 정보를 추정하고 제거할 수 있다.
비균일 모션 블러를 포함한 단일 블러 영상 및 블러를 포함하지 않는 노이즈 영상으로 구성된 멀티 프레임을 입력으로 받아 비균일 모션 블러를 제거하는 경우에는 추정된 비균일 모션 블러 정보 (P, w)와 입력 블러 영상 b 및 입력 노이즈 영상 l N 을 이용하여 레이턴트 영상 l를 계산할 수 있다.
먼저, 레이턴트 영상 l은 아래의 [수학식 9]에서와 같이 노이즈가 제거된 영상 N D 와 원래의 선명한 에지 정보를 포함하는 잔여 레이턴트 영상
Figure 112012020288186-pat00030
의 합으로 표현될 수 있다.
Figure 112012020288186-pat00031
여기서, 잔여 레이턴트 영상
Figure 112012020288186-pat00032
은 노이즈 제거 과정에서 없어지는 영상의 레이턴트 정보이다.
[수학식 1]과 [수학식 9]을 이용하면 잔여 레이턴트 영상
Figure 112012020288186-pat00033
에 대한 비균일 모션 블러 △b를 아래와 같이 표현할 수 있다.
Figure 112012020288186-pat00034
단일 블러 영상 및 단일 노이즈 영상으로 구성된 멀티 프레임을 입력으로 받는 경우에는 Richardson-Lucy(RL) 디컨볼루션을 이용하여 [수학식 10]을 해결함으로써 잔여 레이턴트 영상
Figure 112012020288186-pat00035
를 계산할 수 있다.
일 실시예에서는 잔여 블러 영상을 이용한 RL 디컨볼루션 알고리즘을 비균일 모션 블러에 맞게 확장하여 이용한다. 잔여 블러 영상에 대해 디컨볼루션을 수행하면 결과 영상의 품질을 저하시키는 링잉 효과(ringing artifact)를 줄일 수 있다.
각 반복에서의 잔여 레이턴트 영상
Figure 112012020288186-pat00036
은 아래의 [수학식 11]에 의해서 계산될 수 있다.
Figure 112012020288186-pat00037
여기서,
Figure 112012020288186-pat00038
는 호모그라피
Figure 112012020288186-pat00039
를 역으로 적용하는 변환이다.
[수학식 11]를 해결하여 얻어진 잔여 레이턴트 영상
Figure 112012020288186-pat00040
과 노이즈가 제거된 영상 ND를 더하면 최종 레이턴트 영상 l을 구할 수 있다.
하지만, [수학식 11]의 결과로 얻은 잔여 레이턴트 영상
Figure 112012020288186-pat00041
은 선명한 영상 외에도 약간의 링잉 현상을 포함한다. 즉, 링잉 현상을 줄일 수는 있지만 완전히 제거할 수가 없다. 따라서, 일 실시예에서는 이를 해결하기 위해 더 개선된 이득 제어 RL 디컨볼루션 (Gain-Controlled RL Deconvolution)을 함께 이용한다. 이득 제어 RL 디컨볼루션에서 각 반복의 잔여 레이턴트 영상
Figure 112012020288186-pat00042
은 아래의 [수학식 12]에 의해서 계산될 수 있다.
Figure 112012020288186-pat00043
여기서,
Figure 112012020288186-pat00044
은 아래의 [수학식 13]에 의해 계산될 수 있다.
Figure 112012020288186-pat00045
[수학식 13]에서 알파
Figure 112012020288186-pat00046
는 이득 지표 (gain map)의 영향을 제어하기 위한 변수이며,
Figure 112012020288186-pat00047
은 노이즈가 제거된 영상의 그래디언트를 표준 편차가 0.5인 가우시안 피라미드로 블러시켰을 때, 피라미드에서 l 단계의 영상을 의미한다. [수학식 13]의 알파
Figure 112012020288186-pat00048
값은 0~1 사이의 임의의 값이 될 수 있지만, 주로 0.2를 사용한다.
[수학식 12]의 이득 제어 RL 디컨볼루션 결과는 [수학식 11]의 RL 디컨볼루션에 비해 더 부드러운 (smooth) 결과 영상을 얻게 하며, 이는 링잉 현상을 제거하는데 사용할 수 있다.
일 실시예에서는 [수학식 11]과 [수학식 12]의 결과를 상호 보완적으로 이용할 수 있다. 먼저 [수학식 11]의 RL 디컨볼루션 결과를 [수학식 12]의 이득 제어 RL 디컨볼루션의 결과와 함께 공동 양방향 필터 (joint bilateral filter)를 적용할 수 있다. 이를 통해, 영상에서 링잉 현상만을 주로 포함하는 영상을 얻고, 링잉 현상만을 주로 포함하는 영상을 [수학식 11]의 RL 디컨볼루션 결과로부터 빼어서 선명하고 링잉 현상이 없는 잔여 레이턴트 영상을 얻는다. 그 후, 잔여 레이턴트 영상을 [수학식 12]의 이득 제어 RL 디컨볼루션 결과에 더하여 최종 선명한 레이턴트 영상 l을 얻을 수 있다.
큰(large scale) 영상에 대한 비균일 모션 블러 정보의 추정 과정과 마찬가지로, 비균일 모션 블러를 제거하여 선명한 영상 l을 얻는 레이턴트 영상의 획득 단계에서도 역시 영상의 크기가 크면 실제 수행 환경의 제약에 따른 문제점이 있다.
레이턴트 영상을 획득하는 과정에서 멀티 프레임을 입력으로 받는 경우, 켤레 구배법을 이용하여 [수학식 7]을 계산한다고 가정하자.
이 경우, 영상의 총 픽셀 수, 추정된 호모그라피의 수, 실수형 연산에 사용되는 바이트 수, 컬러 영상의 채널 수가 전부 곱해진 만큼의 일시적 저장 공간을 필요로 한다. 따라서, 영상의 크기가 10메가 픽셀 이상이고 추정된 호모그라피의 개수가 64개라 가정할 경우, 약 7 Giga bytes 이상의 저장 공간이 필요하다.
단일 블러 영상과 단일 노이즈 영상으로 구성된 멀티 프레임을 입력으로 받는 경우, RL 디컨볼루션 및 이득 제어 RL 디컨볼루션을 수행하는 [수학식 11], [수학식 12]의 계산 과정은 [수학식 7]을 계산할 때와 마찬가지로 약 7 Giga bytes 이상의 일시적 저장 공간을 필요로 한다. 만약, 입력 영상의 크기가 더 큰 경우에는 필요한 일시 저장공간의 크기도 그에 비례해서 증가한다.
따라서, 이러한 큰 영상에 대한 비균일 모션 블러의 제거 단계(150) 역시, 영상 전체를 사용하여 한번에 수행할 수 없으며, 영상의 국부 영역에 대하여 수행 환경이 감당할 수 있을 만한 크기의 국부 영역에 대해 순차적으로 (비균일 모션) 블러의 제거를 수행해야 한다.
큰 영상에 대한 타일 단위의 비균일 모션 블러의 제거 방법은 다음과 같다.
120의 최적 타일의 선택 단계를 통해 추정된 영상 전체에 대한 비균일 모션 블러 정보 (P, w)를 각 타일의 입력 영상에서의 해당 위치에 대응하는 픽셀 좌표에 따른 병진 변환(translation motion)을 이용하여 보정한다.
이후, 보정된 비균일 모션 블러 정보(P' , w)를 복수 개의 타일 단위마다에 대한 비균일 모션 블러 정보로 이용하여 비균일 모션 블러를 제거한다.
타일의 원래 영상에서의 위치에 따른 보정된 비균일 모션 블러 정보 P' 은 아래의 [수학식 14]에 의해 계산될 수 있다.
Figure 112012020288186-pat00049
여기서, u, v 는 현재 블러를 제거하고자 하는 타일의 원래 영상에서의 픽셀 좌표이고, P는 영상 전체에 대해서 추정된 호모그라피이다.
타일의 원래 영상에서의 픽셀 좌표로 보정된 새로운 블러 정보(즉, 보정된 비균일 모션 블러 정보 P')를 이용하여 작은 크기의 타일에 대하여 독립적으로 블러 제거를 수행할 수 있다. 이후, 블러가 제거된 선명한 타일들을 이어 붙임으로써, 영상 전체를 이용하여 한번에 수행할 수 없는 큰 영상의 비균일 모션 블러 제거를 효과적으로 수행할 수 있다.
그러나, 단순히 전체 영상을 여러 개의 국부 영역인 타일들로 나눠서 블러 제거를 수행할 경우, 후술하는 도 7과 같이 타일 경계 부분에 아티팩트(artifact)가 생길 수 있다. 이러한 경계 부분에 발생하는 아티팩트의 원인은 타일의 한 픽셀을 복원하기 위해 필요한 주변 픽셀들이 해당 타일에 속해 있지 않고, 영상의 다른 국부 영역에 속해 있어서 필요한 픽셀 정보를 가져올 수 없기 때문이다.
따라서, 일 실시예에서는 타일의 크기보다 조금 더 큰 크기를 사용하게 끔 패딩하여, 비균일 모션 블러를 제거하면 패딩 영역을 제외한 타일 내부는 경계 부분 아티팩트가 없는 선명한 영상을 얻어낼 수 있도록 한다.
여기서, 패딩(padding)은 주어진 타일의 크기보다 상, 하, 좌, 우 일정 크기만큼의 영역을 덧붙여서 블러 제거를 위해 사용되는 타일의 크기를 크게 만드는 것을 의미한다.
이때, 패딩의 크기를 결정하는 것이 중요하다. 패딩의 크기는 타일의 경계 부근의 아티팩트가 생기지 않도록 충분히 커야 한다. 또한, 일시적 저장 공간의 한계가 발생하지 않고, 패딩으로 인해 증가하는 수행 시간이 최소화되도록 가능한 작게 설정되어야 한다.
상술한 내용들을 고려할 때, 최적의 패딩 크기는 주어진 타일의 원래 영상에서의 픽셀 좌표와, 타일의 픽셀 좌표에 맞춰서 보정된 블 러정보 (P' , w)에 따라 아래의 [수학식 15]에 의해 계산될 수 있다.
Figure 112012020288186-pat00050
여기서,
Figure 112012020288186-pat00051
이다. 또한, s는 각 타일 별 패딩 크기이고, P' 는 원래 영상에서의 타일의 픽셀 좌표에 대해 보정된 블러 정보,
Figure 112012020288186-pat00052
는 타일의 왼쪽 상단, 오른쪽 상단, 왼쪽 하단, 오른쪽 하단에 위치한 네 개의 귀퉁이 픽셀의 원래 영상에서의 픽셀 좌표이다.
즉, [수학식 15]에서 각 타일의 패딩 크기는 타일을 구성하는 픽셀들이 블러로 인해 이동할 수 있는 최대 픽셀 거리로 계산된다. 각 타일의 크기를 이 패딩 크기만큼 키운 후, 각 타일 별로 비균일 모션 블러를 제거하면, 후술하는 도 8과 같이 타일 경계 부분의 아티팩트가 없는 선명한 블러 제거 영상을 얻을 수 있다.
도 2는 일 실시예에 따른 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법을 나타낸 플로우차트이다.
일 실시예에 따른 제거 장치는 입력 영상을 미리 설정된 사이즈를 갖는 복수 개의 타일들로 나눈다(201).
여기서, 입력 영상은 10 메가 픽셀 이상의 큰 크기(large scale)를 갖는 입력 영상일 수 있다.
입력 영상은 비균일 모션 블러를 포함하는 단일 프레임, 비균일 모션 블러를 포함하는 멀티 프레임, 비균일 모션 블러를 포함하는 단일 블러 영상 및 블러(blur)를 포함하지 않는 단일 노이즈 영상으로 구성된 멀티 프레임 중 적어도 하나의 형태를 가질 수 있다.
제거 장치는 복수 개의 타일들 중 어느 하나의 타일을 선택한다(203).
제거 장치는 복수 개의 타일들 각각이 가지는 엣지 픽셀의 개수 및 그래디언트 방향(gradient direction)에 따라 분류되는 엣지 픽셀들의 방향을 기초로 복수 개의 타일들 각각에 대한 그래디언트 히스토그램을 생성한다. 그리고 생성된 그래디언트 히스토그램을 이용하여 어느 하나의 타일을 선택할 수 있다. 이때, 선택된 어느 하나의 타일은 입력 영상에 대한 비균일 모션 블러 정보를 추정하는 데에 적합한 최적의 타일일 수 있다. 여기서, 그래디언트 방향(gradient direction)은 상하 방향, 좌우 방향, 대각 방향 및 대각 방향에 수직인 또 다른 대각 방향 중 어느 한 방향일 수 있다. 제거 장치가 어느 하나의 타일을 선택하는 구체적인 방법은 도 3을 참조하여 설명한다.
제거 장치는 영상 정합을 수행함으로써 선택된 타일에 대한 비균일 모션 블러 정보를 추정한다(205).
제거 장치는 복수 개의 타일들 각각의 경계 부분에 대한 패딩(padding)을 수행할 수 있다(207). 패딩을 수행하는 구체적인 방법은 도 4를 참조하여 설명한다.
제거 장치는 추정된 비균일 모션 블러 정보를 기초로 비균일 모션 블러를 제거하여, 복수 개의 타일들 각각에 대한 레이턴트 영상(latent image)을 획득한다(209). 제거 장치는 추정된 비균일 모션 블러 정보를 입력 영상에서의 해당 위치에 대응하는 픽셀 좌표에 맞도록 보정할 수 있다. 그 후, 제거 장치는 보정된 비균일 모션 블러 정보를 복수 개의 타일 단위마다에 대한 비균일 모션 블러 정보로 이용하여 비균일 모션 블러를 제거할 수 있다.
패딩을 수행한 경우, 제거 장치는 패딩의 크기만큼 사이즈를 확장한 복수 개의 타일들 각각에 대하여 비균일 모션 블러를 제거하여 레이턴트 영상(latent image)들을 획득할 수 있다.
이때, 제거 장치는 입력 영상의 형태에 따라 각기 다른 방법에 의해 비균일 모션 블러를 제거하여 레이턴트 영상을 획득할 수 있다. 즉, 입력 영상의 형태가 비균일 모션 블러를 포함하는 단일 프레임 및 비균일 모션 블러를 포함하는 멀티 프레임 중 어느 하나의 형태인 경우, 제거 장치는 켤레 구배법(conjugate gradient method)을 이용하여 비균일 모션 블러를 제거함으로써 레이턴트 영상을 획득할 수 있다. 반면에, 입력 영상의 형태가 비균일 모션 블러를 포함하는 단일 블러 영상 및 블러를 포함하지 않는 단일 노이즈 영상으로 구성된 멀티 프레임의 형태인 경우, 제거 장치는 RL(Richardson-Lucy) 디컨볼루션 알고리즘을 이용하여 비균일 모션 블러를 제거함으로써 레이턴트 영상을 획득할 수 있다.
제거 장치는 복수 개의 타일들 각각에 대한 레이턴트 영상(latent image)을 결합하여 입력 영상을 복원한다(211).
도 3은 일 실시예에 따른 입력 영상의 비균일 모션 블러를 제거하는 방법에서 어느 하나의 타일을 선택하는 방법을 나타낸 플로우차트이다.
제거 장치는 복수 개의 타일들 각각에 대한 그래디언트 맵(gradient map)을 생성할 수 있다(301).
제거 장치는 그래디언트 맵의 그래디언트 크기 값에 기초하여 엣지 픽셀들을 결정할 수 있다. 보다 구체적으로, 제거 장치는 픽셀들에 대한 그래디언트 맵의 그래디언트 크기 값이 미리 설정된 임계치 이상을 갖는지 여부를 판단할 수 있다(303).
제거 장치는 미리 설정된 임계치 이상을 갖는 픽셀들을 엣지 픽셀로 결정할 수 있다(305). 만약, 픽셀들에 대한 그래디언트 맵의 그래디언트 크기 값이 미리 설정된 임계치보다 작다면, 제거 장치는 303으로 가서 픽셀들에 대한 그래디언트 맵의 그래디언트 크기 값이 미리 설정된 임계치 이상이 될 때까지 대기할 수 있다.
제거 장치는 엣지 픽셀들을 그래디언트 방향에 따라 분류할 수 있다(307). 여기서, 그래디언트 방향은 상하 방향, 좌우 방향, 대각 방향 및 대각 방향에 수직인 또 다른 대각 방향 중 어느 한 방향일 수 있다.
제거 장치는 복수 개의 타일들 각각에 대한 결정이 종료했는지 여부를 판단할 수 있다(309). 즉, 제거 장치는 복수 개의 타일들 모두에 대한 그래디언트 맵(gradient map)의 그래디언트 크기 값에 기초한 엣지 픽셀들의 결정이 종료되지 않았다면 다시 303의 동작을 수행한다. 반면에, 복수 개의 타일들 각각에 대한 엣지 픽셀들의 결정이 종료되었다면, 제거 장치는 분류된 엣지 픽셀들을 기초로 복수 개의 타일들 각각에 대한 그래디언트 히스토그램을 생성할 수 있다(311).
제거 장치는 복수 개의 타일들 각각의 그래디언트 히스토그램을 기초로, 복수 개의 타일들 각각에 대해 그래디언트 방향마다에 속한 엣지 픽셀들의 개수를 파악할 수 있다(313).
제거 장치는 그래디언트 방향마다에 속한 엣지 픽셀들의 개수를 이용하여 어느 하나의 타일을 선택할 수 있다(315). 일 실시예에서는 상술한 바와 같이 다양한 방향의 엣지 픽셀의 개수가 많은 영역을 입력 영상에 대한 비균일 모션 블러 정보를 추정하는 데에 적합한 최적의 타일로 선택함으로써 비균일 모션 블러 정보의 추정에 대한 정확성을 높여 영상을 더욱 선명하게 복원할 수 있다.
도 4는 일 실시예에 따른 입력 영상의 비균일 모션 블러를 제거하는 방법에서 패딩을 수행하는 방법을 나타낸 플로우차트이다.
제거 장치는 205 과정에서 추정된 비균일 모션 블러 정보 및 복수 개의 타일들 각각에 대응하는 픽셀의 위치 정보를 이용하여 복수 개의 타일들 각각에 대한 패딩의 크기를 계산할 수 있다. 여기서, 복수 개의 타일들 각각에 대한 패딩의 크기는 복수 개의 타일들 각각을 구성하는 픽셀들이 블러로 인해 이동할 수 있는 픽셀 거리를 기초로 계산될 수 있다. 예를 들어, 픽셀들이 블러로 인해 이동할 수 있는 최대 픽셀 거리에 의해 복수 개의 타일들 각각에 대한 패딩의 크기가 결정될 수 있다.
제거 장치는 복수 개의 타일들 각각의 사이즈를 패딩의 크기만큼 확장하여 패딩을 수행할 수 있다.
패딩을 수행한 경우, 제거 장치는 패딩의 크기만큼 사이즈를 확장한 복수 개의 타일들 각각에 대하여 비균일 모션 블러를 제거하여 레이턴트 영상(latent image)들을 획득할 수 있다.
도 5는 비균일 모션 블러가 포함된 블러 입력 영상이고, 도 6은 블러가 포함되지 않은 노이즈 입력 영상을 나타낸 도면이다. 도 5 및 도 6은 일 실시예에 따른 입력 영상의 한 형태인 비균일 모션 블러를 포함하는 단일 블러 영상 및 블러를 포함하지 않는 노이즈 영상으로 구성된 멀티 프레임을 보여준다.
도 7은 일 실시예에 따른 입력 영상의 비균일 모션 블러를 제거하는 방법에서 패딩을 수행하지 않고 블러를 제거한 결과를 나타낸 도면이고, 도 8은 일 실시예에 따른 입력 영상의 비균일 모션 블러를 제거하는 방법에서 패딩을 수행하여 블러를 제거한 결과를 나타낸 도면이다.
도 7 및 도 8은 추정된 비균일 모션 블러 정보를 이용하여 블러를 제거한 최종 영상이다. 도 7은 타일 외곽의 아티팩트를 없애기 위한 패딩 작업을 수행하지 않았을 때의 결과이고, 도 8은 패딩 작업을 수행하였을 때의 결과이다. 도 8과 같이 패딩 작업을 수행하였을 때, 타일 외곽의 아티팩트가 효과적으로 제거됨을 볼 수 있다.
도 9는 일 실시예에 따른 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 장치의 블록도이다.
도 9를 참조하면, 일 실시예에 따른 제거 장치(900)는 분할부(910), 선택부(920), 추정부(930), 패딩 수행부(940), 획득부(950), 복원부(960)를 포함한다.
분할부(910)는 입력 영상을 미리 설정된 사이즈를 갖는 복수 개의 타일들로 나눈다. 이때, 입력 영상은 예를 들어, 10메가 픽셀 이상의 높은 해상도를 갖는 영상일 수 있다.
선택부(920)는 복수 개의 타일들 중 어느 하나의 타일을 선택한다.
선택부(920)는 생성 수단(921) 및 선택 수단(925)을 포함할 수 있다.
생성 수단(921)은 복수 개의 타일들 각각이 가지는 엣지 픽셀의 개수 및 그래디언트 방향(gradient direction)에 따라 분류되는 엣지 픽셀들의 방향을 기초로 복수 개의 타일들 각각에 대한 그래디언트 히스토그램을 생성할 수 있다.
선택 수단(925)은 그래디언트 히스토그램을 이용하여 어느 하나의 타일을 선택할 수 있다.
추정부(930)는 영상 정합(image registration)을 수행함으로써 선택된 타일에 대한 비균일 모션 블러 정보를 추정한다.
패딩 수행부(940)는 복수 개의 타일들 각각의 경계 부분에 대한 패딩(padding)을 수행할 수 있다. 일 실시예에서는 복수 개의 타일들 각각의 경계 부분에 대한 아티팩트(artifact)를 제거하기 위해 패딩을 수행할 수 있다.
패딩 수행부(940)는 계산 수단(941) 및 확장 수단(945)을 포함할 수 있다.
계산 수단(941)은 추정된 비균일 모션 블러 정보 및 복수 개의 타일들 각각에 대응하는 픽셀의 위치 정보를 이용하여 복수 개의 타일들 각각에 대한 패딩의 크기를 계산할 수 있다.
확장 수단(945)은 복수 개의 타일들 각각의 사이즈를 패딩의 크기만큼 확장할 수 있다.
획득부(950)는 추정된 비균일 모션 블러 정보를 기초로 복수 개의 타일들 각각에 대한 비균일 모션 블러를 제거하여, 복수 개의 타일들 각각에 대한 레이턴트 영상(latent image)을 획득한다. 획득부(950)는 보정 수단(951) 및 제거 수단(955)을 포함할 수 있다.
획득부(950)는 패딩의 크기만큼 사이즈를 확장한 복수 개의 타일들 각각에 대하여 비균일 모션 블러를 제거하여 레이턴트 영상(latent image)들을 획득할 수 있다.
보정 수단(951)은 추정된 비균일 모션 블러 정보를 입력 영상에서의 해당 위치에 대응하는 픽셀 좌표에 맞도록 보정할 수 있다.
제거 수단(955)은 보정된 비균일 모션 블러 정보를 복수 개의 타일 단위마다에 대한 비균일 모션 블러 정보로 이용하여 비균일 모션 블러를 제거할 수 있다.
입력 영상은 비균일 모션 블러를 포함하는 단일 프레임, 비균일 모션 블러를 포함하는 멀티 프레임, 비균일 모션 블러를 포함하는 단일 블러 영상 및 블러를 포함하지 않는 단일 노이즈 영상으로 구성된 멀티 프레임 중 적어도 하나의 형태를 가질 수 있다.
일 실시예에 따른 제거 장치(900)는 입력 영상의 형태에 따라 각기 다른 방법에 의해 비균일 모션 블러를 제거하여 레이턴트 영상을 획득할 수 있다.
복원부(960)는 복수 개의 타일들 각각에 대한 레이턴트 영상(latent image)을 이용하여 입력 영상을 복원한다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
910: 분할부
920: 선택부
930: 추정부
940: 패딩 수행부
950: 획득부
960: 복원부

Claims (20)

  1. 입력 영상의 복수 개의 타일들 중 어느 하나의 타일을 선택하는 단계;
    상기 선택된 타일에 기초하여 상기 입력 영상에 대한 제1 비균일 모션 블러 정보를 추정하는 단계;
    상기 제1 비균일 모션 블러 정보에 기초하여, 상기 복수 개의 타일들에 대한 제2 비균일 모션 블러 정보를 추정하는 단계;
    상기 제2 비균일 모션 블러 정보를 기초하여, 상기 복수 개의 타일들 각각에 대한 레이턴트 영상(latent image)을 획득하는 단계; 및
    상기 복수 개의 타일들 각각에 대한 레이턴트 영상(latent image)을 이용하여 상기 입력 영상을 복원하는 단계
    를 포함하는 입력 영상의 비균일 모션 블러를 제거하는 방법.
  2. 제1항에 있어서,
    상기 어느 하나의 타일을 선택하는 단계는
    상기 복수 개의 타일들 각각이 가지는 엣지 픽셀의 개수 및 상기 엣지 픽셀의 그래디언트 방향(gradient direction)에 따라 분류되는 상기 엣지 픽셀들의 방향을 기초로 상기 복수 개의 타일들 각각에 대한 그래디언트 히스토그램을 생성하는 단계; 및
    상기 그래디언트 히스토그램을 이용하여 상기 어느 하나의 타일을 선택하는 단계
    를 포함하는 입력 영상의 비균일 모션 블러를 제거하는 방법.
  3. 제2항에 있어서,
    상기 그래디언트 히스토그램을 생성하는 단계는
    상기 복수 개의 타일들 각각에 대한 그래디언트 맵(gradient map)을 생성하는 단계;
    상기 그래디언트 맵의 그래디언트 크기 값에 기초하여 엣지 픽셀들을 결정하는 단계;
    상기 엣지 픽셀들을 상기 그래디언트 방향에 따라 분류하는 단계; 및
    상기 분류된 엣지 픽셀들을 기초로 상기 복수 개의 타일들 각각에 대한 그래디언트 히스토그램을 생성하는 단계
    를 포함하는 입력 영상의 비균일 모션 블러를 제거하는 방법.
  4. 제3항에 있어서,
    상기 그래디언트 히스토그램을 이용하여 상기 어느 하나의 타일을 선택하는 단계는
    상기 복수 개의 타일들 각각의 그래디언트 히스토그램을 기초로, 상기 복수 개의 타일들 각각에 대해 그래디언트 방향마다에 속한 엣지 픽셀들의 개수를 파악하는 단계; 및
    상기 그래디언트 방향마다에 속한 엣지 픽셀들의 개수를 이용하여 상기 어느 하나의 타일을 선택하는 단계
    를 포함하는 입력 영상의 비균일 모션 블러를 제거하는 방법.
  5. 제1항에 있어서,
    상기 제2 비균일 모션 블러 정보를 추정하는 단계는
    상기 제1 비균일 모션 블러 정보를 상기 입력 영상에서의 해당 위치에 대응하는 픽셀 좌표에 맞도록 보정하는 단계
    를 포함하는 입력 영상의 비균일 모션 블러를 제거하는 방법.
  6. 제1항에 있어서,
    상기 입력 영상은
    비균일 모션 블러를 포함하는 단일 프레임, 상기 비균일 모션 블러를 포함하는 멀티 프레임, 상기 비균일 모션 블러를 포함하는 단일 블러 영상 및 블러(blur)를 포함하지 않는 단일 노이즈 영상으로 구성된 멀티 프레임 중 적어도 하나의 형태를 가지는 입력 영상의 비균일 모션 블러를 제거하는 방법.
  7. 제6항에 있어서,
    상기 레이턴트 영상(latent image)들을 획득하는 단계는
    상기 입력 영상의 형태가 상기 비균일 모션 블러를 포함하는 단일 프레임 및 상기 비균일 모션 블러를 포함하는 멀티 프레임 중 어느 하나의 형태인 경우,
    켤레 구배법(conjugate gradient method)을 이용하여 상기 비균일 모션 블러를 제거하는 단계
    를 포함하는 입력 영상의 비균일 모션 블러를 제거하는 방법.
  8. 제6항에 있어서,
    상기 레이턴트 영상(latent image)들을 획득하는 단계는
    상기 입력 영상의 형태가 상기 비균일 모션 블러를 포함하는 단일 블러 영상 및 블러를 포함하지 않는 단일 노이즈 영상으로 구성된 멀티 프레임의 형태인 경우,
    RL(Richardson-Lucy) 디컨볼루션 알고리즘을 이용하여 상기 비균일 모션 블러를 제거하는 단계
    를 포함하는 입력 영상의 비균일 모션 블러를 제거하는 방법.
  9. 제1항에 있어서,
    상기 복수 개의 타일들 각각의 경계 부분에 대한 패딩(padding)을 수행하는 단계
    를 더 포함하는 입력 영상의 비균일 모션 블러를 제거하는 방법.
  10. 제9항에 있어서,
    상기 패딩을 수행하는 단계는
    상기 제1 비균일 모션 블러 정보 및 상기 복수 개의 타일들 각각에 대응하는 픽셀의 위치 정보를 이용하여 상기 복수 개의 타일들 각각에 대한 패딩의 크기를 계산하는 단계; 및
    상기 복수 개의 타일들 각각의 사이즈를 상기 패딩의 크기만큼 확장하는 단계
    를 포함하는 입력 영상의 비균일 모션 블러를 제거하는 방법.
  11. 제10항에 있어서,
    상기 복수 개의 타일들 각각에 대한 패딩의 크기는
    상기 복수 개의 타일들 각각을 구성하는 픽셀들이 블러로 인해 이동할 수 있는 픽셀 거리를 기초로 계산되는 입력 영상의 비균일 모션 블러를 제거하는 방법.
  12. 제10항에 있어서,
    상기 레이턴트 영상(latent image)들을 획득하는 단계는
    상기 패딩의 크기만큼 사이즈를 확장한 복수 개의 타일들 각각에 대하여 상기 비균일 모션 블러를 제거하여 상기 레이턴트 영상(latent image)들을 획득하는 입력 영상의 비균일 모션 블러를 제거하는 방법.
  13. 제1항 내지 제12항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록되어 있는 컴퓨터로 판독 가능한 기록매체.
  14. 입력 영상의 복수 개의 타일들 중 어느 하나의 타일을 선택하는 선택부;
    상기 선택된 타일에 기초하여 상기 입력 영상에 대한 제1 비균일 모션 블러 정보를 추정하는 제1 추정부;
    상기 제1 비균일 모션 블러 정보에 기초하여, 상기 복수 개의 타일들에 대한 제2 비균일 모션 블러 정보를 추정하는 제2 추정부;
    상기 제2 비균일 모션 블러 정보를 기초하여, 상기 복수 개의 타일들 각각에 대한 레이턴트 영상(latent image)을 획득하는 획득부; 및
    상기 복수 개의 타일들 각각에 대한 레이턴트 영상(latent image)을 이용하여 상기 입력 영상을 복원하는 복원부
    를 포함하는 입력 영상의 비균일 모션 블러를 제거하는 장치.
  15. 제14항에 있어서,
    상기 선택부는
    상기 복수 개의 타일들 각각이 가지는 엣지 픽셀의 개수 및 그래디언트 방향(gradient direction)에 따라 분류되는 상기 엣지 픽셀들의 방향을 기초로 상기 복수 개의 타일들 각각에 대한 그래디언트 히스토그램을 생성하는 생성 수단; 및
    상기 그래디언트 히스토그램을 이용하여 상기 어느 하나의 타일을 선택하는 선택 수단
    을 포함하는 입력 영상의 비균일 모션 블러를 제거하는 장치.
  16. 제14항에 있어서,
    상기 제2 추정부는
    상기 제1 비균일 모션 블러 정보를 상기 입력 영상에서의 해당 위치에 대응하는 픽셀 좌표에 맞도록 보정하는 보정 수단
    을 포함하는 입력 영상의 비균일 모션 블러를 제거하는 장치.
  17. 제14항에 있어서,
    상기 입력 영상은
    상기 비균일 모션 블러를 포함하는 단일 프레임, 상기 비균일 모션 블러를 포함하는 멀티 프레임, 상기 비균일 모션 블러를 포함하는 단일 블러 영상 및 블러를 포함하지 않는 단일 노이즈 영상으로 구성된 멀티 프레임 중 적어도 하나의 형태를 가지는 입력 영상의 비균일 모션 블러를 제거하는 장치.
  18. 제14항에 있어서,
    상기 복수 개의 타일들 각각의 경계 부분에 대한 패딩(padding)을 수행하는 패딩 수행부
    를 더 포함하는 입력 영상의 비균일 모션 블러를 제거하는 장치.
  19. 제18항에 있어서,
    상기 패딩 수행부는
    상기 제1 비균일 모션 블러 정보 및 상기 복수 개의 타일들 각각에 대응하는 픽셀의 위치 정보를 이용하여 상기 복수 개의 타일들 각각에 대한 패딩의 크기를 계산하는 계산 수단; 및
    상기 복수 개의 타일들 각각의 사이즈를 상기 패딩의 크기만큼 확장하는 확장 수단
    을 포함하는 입력 영상의 비균일 모션 블러를 제거하는 장치.
  20. 제18항에 있어서,
    상기 획득부는
    상기 패딩의 크기만큼 사이즈를 확장한 복수 개의 타일들 각각에 대하여 상기 비균일 모션 블러를 제거하여 상기 레이턴트 영상(latent image)들을 획득하는 입력 영상의 비균일 모션 블러를 제거하는 장치.
KR1020120025623A 2012-03-13 2012-03-13 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치 KR101810876B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120025623A KR101810876B1 (ko) 2012-03-13 2012-03-13 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치
CN201310059828.XA CN103310413B (zh) 2012-03-13 2013-02-26 对非均匀运动模糊进行去模糊的方法和设备
US13/793,319 US9042673B2 (en) 2012-03-13 2013-03-11 Method and apparatus for deblurring non-uniform motion blur in large scale input image based on tile unit
JP2013049522A JP6218402B2 (ja) 2012-03-13 2013-03-12 タイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120025623A KR101810876B1 (ko) 2012-03-13 2012-03-13 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130104259A KR20130104259A (ko) 2013-09-25
KR101810876B1 true KR101810876B1 (ko) 2018-01-26

Family

ID=49135591

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120025623A KR101810876B1 (ko) 2012-03-13 2012-03-13 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치

Country Status (4)

Country Link
US (1) US9042673B2 (ko)
JP (1) JP6218402B2 (ko)
KR (1) KR101810876B1 (ko)
CN (1) CN103310413B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928792B2 (en) 2018-07-17 2024-03-12 Xi'an Jiaotong University Fusion network-based method for image super-resolution and non-uniform motion deblurring

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013025466A (ja) * 2011-07-19 2013-02-04 Sony Corp 画像処理装置、画像処理システム及び画像処理プログラム
KR101811718B1 (ko) 2013-05-31 2018-01-25 삼성전자주식회사 영상 처리 방법 및 장치
US20150026130A1 (en) * 2013-07-17 2015-01-22 LiveQoS Inc. Method for efficient management of email attachments
US9349165B2 (en) 2013-10-23 2016-05-24 Adobe Systems Incorporated Automatically suggesting regions for blur kernel estimation
US9208543B2 (en) * 2013-10-23 2015-12-08 Adobe Systems Incorporated Deblurring images having spatially varying blur
US9299132B2 (en) * 2013-10-23 2016-03-29 Adobe Systems Incorporated Automatically determining the size of a blur kernel
CN104408707B (zh) * 2014-10-28 2017-04-19 哈尔滨工业大学 一种快速数字成像模糊鉴别与复原图像质量评估方法
CN104680491B (zh) * 2015-02-28 2016-03-30 西安交通大学 一种基于深度神经网络的图像非均匀运动模糊去除方法
JP2017010095A (ja) * 2015-06-17 2017-01-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6541454B2 (ja) * 2015-06-17 2019-07-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017010092A (ja) * 2015-06-17 2017-01-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
EP3144883A1 (en) * 2015-09-16 2017-03-22 Thomson Licensing Method and apparatus for sharpening a video image using an indication of blurring
US10516875B2 (en) 2016-01-22 2019-12-24 Samsung Electronics Co., Ltd. Method and apparatus for obtaining depth image by using time-of-flight sensor
CN105957043B (zh) * 2016-06-22 2018-12-14 西北工业大学 基于梯度自动激活的模糊图像盲复原方法
US10311554B2 (en) * 2017-03-01 2019-06-04 Fotonation Limited Method of providing a sharpness measure for an image
CN107290700B (zh) * 2017-08-08 2020-12-04 上海联影医疗科技股份有限公司 一种相位校正方法、装置及磁共振系统
CN108564552A (zh) * 2018-04-28 2018-09-21 深圳市商汤科技有限公司 图像去模糊的方法及装置
US11183108B2 (en) * 2019-06-04 2021-11-23 Sct Ltd. System and method for reducing motion blur for LED display
CN114140363B (zh) * 2022-02-08 2022-05-24 腾讯科技（深圳）有限公司 视频去模糊方法及装置、视频去模糊模型训练方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298300A (ja) * 1999-04-13 2000-10-24 Ricoh Co Ltd 手ぶれ画像補正方法、記録媒体及び撮像装置
JP2010157210A (ja) * 2008-12-31 2010-07-15 Postech Academy-Industry Foundation 画像のブラー除去方法および記録媒体
JP2011188094A (ja) * 2010-03-05 2011-09-22 Toyota Central R&D Labs Inc 物体認識装置及びプログラム
WO2011145297A1 (ja) * 2010-05-21 2011-11-24 パナソニック株式会社 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100557733B1 (ko) 1998-02-23 2006-05-09 엘지.필립스 엘시디 주식회사 대화면 액정표시장치 제조방법 및 그 방법을 수행하는 장비
JPH11284944A (ja) * 1998-03-31 1999-10-15 Canon Inc 画像処理方法及び装置
KR100698029B1 (ko) 2000-10-28 2007-03-23 엘지.필립스 엘시디 주식회사 액정판넬을 여러개 연결한 대화면 액정표시소자
ATE394769T1 (de) 2003-05-23 2008-05-15 Barco Nv Verfahren zur anzeige von bildern auf einer grossbildschirmanzeige aus organischen leuchtdioden sowie die dazu verwendete anzeige
US20050134525A1 (en) 2003-12-23 2005-06-23 Gino Tanghe Control system for a tiled large-screen emissive display
US7916173B2 (en) * 2004-06-22 2011-03-29 Canon Kabushiki Kaisha Method for detecting and selecting good quality image frames from video
JP5089857B2 (ja) 2004-11-19 2012-12-05 アビックス株式会社 大画面ｌｅｄ表示システム
US7616826B2 (en) * 2006-07-28 2009-11-10 Massachusetts Institute Of Technology Removing camera shake from a single photograph using statistics of a natural image
KR20080047234A (ko) 2006-11-24 2008-05-28 삼성코닝 주식회사 타일형 면광원 장치 및 이를 구비하는 백라이트 유닛
JP2008136318A (ja) * 2006-11-29 2008-06-12 Olympus Corp 超音波モータ及び顕微鏡ステージ
CN101222584A (zh) * 2007-01-12 2008-07-16 三洋电机株式会社 晃动检测装置、晃动修正装置及方法
KR100860967B1 (ko) 2007-04-16 2008-09-30 삼성전자주식회사 영상의 모션 블러를 제거하기 위한 장치 및 방법
WO2009128798A1 (en) * 2008-04-16 2009-10-22 Nikon Corporation Method for deblurring an image that produces less ringing
JP4840426B2 (ja) * 2008-09-24 2011-12-21 ソニー株式会社 電子機器、ぼけ画像選別方法及びプログラム
CN101540043B (zh) * 2009-04-30 2012-05-23 南京理工大学 单幅图像复原的解析迭代快速频谱外推方法
KR20110043991A (ko) 2009-10-22 2011-04-28 삼성테크윈 주식회사 모션 블러 처리 장치 및 방법
US8264553B2 (en) * 2009-11-12 2012-09-11 Microsoft Corporation Hardware assisted image deblurring
KR101127960B1 (ko) 2010-02-12 2012-03-23 디스플레이솔루션스(주) 타일링 기술을 이용한 대화면 표시장치와 그 제조 방법
US8861853B2 (en) * 2010-03-19 2014-10-14 Panasonic Intellectual Property Corporation Of America Feature-amount calculation apparatus, feature-amount calculation method, and program
CN102254309B (zh) * 2011-07-27 2016-03-23 清华大学 一种基于近红外图像的运动模糊图像去模糊方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298300A (ja) * 1999-04-13 2000-10-24 Ricoh Co Ltd 手ぶれ画像補正方法、記録媒体及び撮像装置
JP2010157210A (ja) * 2008-12-31 2010-07-15 Postech Academy-Industry Foundation 画像のブラー除去方法および記録媒体
JP2011188094A (ja) * 2010-03-05 2011-09-22 Toyota Central R&D Labs Inc 物体認識装置及びプログラム
WO2011145297A1 (ja) * 2010-05-21 2011-11-24 パナソニック株式会社 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928792B2 (en) 2018-07-17 2024-03-12 Xi'an Jiaotong University Fusion network-based method for image super-resolution and non-uniform motion deblurring

Also Published As

Publication number Publication date
JP2013192227A (ja) 2013-09-26
JP6218402B2 (ja) 2017-10-25
KR20130104259A (ko) 2013-09-25
US20130243319A1 (en) 2013-09-19
CN103310413A (zh) 2013-09-18
CN103310413B (zh) 2017-09-29
US9042673B2 (en) 2015-05-26

Similar Documents

Publication Publication Date Title
KR101810876B1 (ko) 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치
KR101844332B1 (ko) 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치
US9262815B2 (en) Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
US8326069B2 (en) Computing higher resolution images from multiple lower resolution images
KR101839617B1 (ko) 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
WO2016183716A1 (zh) 图像去模糊方法及系统
KR101811718B1 (ko) 영상 처리 방법 및 장치
US20110304687A1 (en) Generating sharp images, panoramas, and videos from motion-blurred videos
JP2008146643A (ja) 動きでぶれた画像における動きのぶれを低減する方法、動きでぶれた画像における動きのぶれを低減するための装置、および動きでぶれた画像における動きのぶれを低減するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体
JP2005310135A (ja) 動きブレした画像におけるブレを補正する方法及び装置
US10013741B2 (en) Method for deblurring video using modeling blurred video with layers, recording medium and device for performing the method
US20200074717A1 (en) Generating scenes containing shadows using pixel noise reduction techniques
KR101804215B1 (ko) 강건하게 비균일 모션 블러를 추정하는 방법 및 장치
US20120321200A1 (en) Method and apparatus for generating super-resolution image using prediction and stabilization of high-frequency information of image
JP4859516B2 (ja) 画像処理装置および画像復元方法
CN106651790B (zh) 图像去模糊的方法、装置和设备
US8478062B2 (en) Reducing signal-dependent noise in digital cameras
JP2009111921A (ja) 画像処理装置及び画像処理方法
KR101651889B1 (ko) 극저조도 영상의 화질 개선 장치 및 방법
KR102508384B1 (ko) 공간 가변적 정규화에 기반한 ToF 카메라 초해상도 영상 복원 방법 및 장치
KR101776501B1 (ko) 비국부 평균 알고리즘을 이용한 영상 잡음 제거 장치 및 방법
KR102003671B1 (ko) 영상 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right