KR20110022544A - 동작 번짐을 감소시키는 방법, 시스템 및 컴퓨터 프로그램 제품 - Google Patents

Abstract

본 발명은 동작 번짐(motion blur)을 감소시키는 방법에 관한 것이다. 이 방법에 따르면, 적어도 2개의 이미지 프레임(F_i)이 캡처된다. 값들의 시퀀스(E)가 제공된다. 하나의 시퀀스 값을 각각의 캡처된 프레임(F_i)과 순차적으로 연관시킴으로써 모든 캡처된 프레임들(F_i)이 처리된다. 처리된 캡처된 프레임들이 누적되고 이 누적된 프레임(F_A)에 디컨벌루션이 적용된다.
본 발명은 또한 동작 번짐을 감소시키는 시스템에 관한 것이다.

Description

동작 번짐을 감소시키는 방법, 시스템 및 컴퓨터 프로그램 제품{METHOD, SYSTEM AND COMPUTER PROGRAM PRODUCT FOR REDUCING MOTION BLUR}

본 발명은 코드화된 노출 사진 촬영(coded exposure photography)의 분야에 관한 것이다. 보다 구체적으로는, 본 발명은 이미지 데이터에서의 동작 번짐(motion blur)을 감소시키는 방법, 이 방법의 단계들을 수행하는 컴퓨터 프로그램 제품, 이미지 데이터에서의 동작 번짐을 감소시키는 시스템, 및 동작 번짐을 감소시키는 시스템을 포함하는 촬영 장치(imaging device)에 관한 것이다.

이미지가 카메라에 의해 캡처될 때, 이미지는 하나의 순간을 나타내지 않고 일정 기간에 걸친 장면을 나타낸다. 따라서, 임의의 물체가 카메라에 대해 움직이면, PSF(point spread function)[예를 들어, 박스 필터(box filter) 또는 광대역 필터]와의 컨벌루션 이후에, 이미지가 번지게 된다. 동작 번짐은 이미지를 캡처하는 동안 불안정한 손 움직임 또는 물체 이동으로 인해 일어날 수 있으며, 이미지가 상대 운동의 방향을 따라 스미어(smear)된다.

동작 번짐은 3가지 서로 다른 방식으로 처리될 수 있다.

1. 짧은 노출 시간 촬영

2. 종래의 카메라 방식을 사용한 이미지 디블러링

3. 플러터 셔터(Flutter Shutter) 방식을 사용한 이미지 디블러링

짧은 노출 시간 촬영의 경우에, 각각의 개별 프레임은 잡음이 많을 수 있다. 노출 시간이 낮을수록, 센서에 도달하는 광자의 수가 적고, 따라서 캡처된 이미지는 잡음이 더 많다. 색조도 또한 상실되는데, 그 이유는 충분치 않은 광이 센서에 의해 포착되기 때문이다.

종래의 카메라를 사용하는 두번째의 상기한 디블러링(deblurring) 방식의 경우에, 도 1에 도시된 바와 같은 카메라 노출 패턴의 박스-형상의 성질로 인해 높은 공간 주파수가 상실된다. 도 1에, x-축에 시간을 갖고 y-축에 셔터를 열고 닫는 표시를 갖는 도표가 도시되어 있다. 이미지가 이러한 종류의 응답과 컨벌루션될 때, 이는 고주파 성분을 스미어시킨다.

따라서, 대역 제한된 응답의 경우, 푸리에 영역(Fourier domain)의 PSF 커버리지(PSF coverage)가 불완전하고 정보가 상실된다. 따라서, 평탄한 번짐(flat blur) 및 동작 번짐이 일어나고, 그 결과 연속적인 스미어가 있게 된다. 이것에 대해서는 도 2를 참조하여 보다 상세히 설명한다. 도 2는 PSF의 푸리에 스펙트럼을 나타낸 것이다. x-축에 정규화된 주파수가 나타내어져 있고, y-축에 크기(단위: dB)가 나타내어져 있다. 알 수 있는 바와 같이, 푸리에 스펙트럼은 그의 스펙트럼에 30으로 표시된 몇개의 영(zero)을 포함하고 있다. 그 경우에, PSF의 푸리에 스펙트럼은 도 2에 나타낸 바와 같이 그의 스펙트럼에 0들을 포함하고, 역필터링(inverse filtering)은 잡음을 증폭시켜 링잉 아티팩트(ringing artifact)를 생성하며 디컨벌루션을 부적절한 문제(ill-posed problem)로 되게 한다.

이제부터, 플러터 셔터(flutter shutter) 방식을 사용한 디블러링이라는 세번째의 상기한 방법에 대해 설명할 것이다. 이러한 방식은 R. Raskar 등의 "Coded Exposure Photography: Motion Deblurring using Fluttered Shutter" 문서에 기술되어 있으며, 이 문서는 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다. 셔터가 하나의 노출 시간에 걸쳐 랜덤한 이진 코드화된 시퀀스(binary coded sequence)에 따라 열리고 닫히며, 이에 대해서는, 예를 들어, A. Agrawal 등의 "Coded Exposure Deblurring: Optimized Codes for PSF Estimation and Invertibility" 문서에 기술되어 있다. 이 시퀀스는 결과의 동작 번짐 PSF가 평탄한 주파수 스펙트럼을 갖고 높은 공간 주파수가 보존되도록 선택된다. 이 시스템의 블록도가 도 3에 도시되어 있다.

시스템(100)은 플러터 셔터 방식을 사용하여 몇개의 프레임을 촬영하는 코드화된 노출 카메라(coded exposure camera)(101)를 포함한다. 블러링된 이미지(blurred image)(111)가 이어서 PSF 추정 유닛(103)으로 보내진다. 사용자 상호작용에 의해 수신된 정보(120)도 역시 PSF를 결정하는 PSF 추정 유닛(103)으로 보내진다. 이 정보(113)는 이어서 디컨벌루션(deconvolution)을 수행하는 디컨벌루션 유닛(105)으로 보내지고, 최종적인 디블러링된 이미지(115)가 출력된다.

따라서, 본 발명의 목적은 종래 기술을 개선하는 것이다. 보다 구체적으로는, 본 발명의 목적은 종래 기술에 의해 제기되는 문제점들을 감소시키는 것이다.

상기 목적은 독립 청구항들의 특징들에 의해 달성된다.

추가적인 특징들 및 장점들이 종속항들에 기재되어 있다.

이제부터, 첨부 도면과 관련하여 양호한 실시예들에 대한 이하의 설명에서 본 발명에 대해 더 상세히 설명할 것이다.
도 1은 종래의 노출 패턴을 나타낸 도면.
도 2는 종래의 기법들에 의해 획득되는 PSF의 주파수 스펙트럼을 나타낸 도면.
도 3은 종래 기술에 따른 시스템의 개략 블록도.
도 4는 본 발명에 따른 시스템의 개략 블록도.
도 5는 본 발명에 따른 방법에 의해 획득되는 PSF의 주파수 스펙트럼을 나타낸 도면.
도 6은 본 발명의 제1 실시예의 방법에 따른 프로세스 단계들을 갖는 플로우차트.
도 7은 본 발명의 제2 실시예에 따른 프로세스 단계들을 갖는 플로우차트.

동작 번짐은 이미지를 통상적으로 캡처하는 동안 시간 영역에서 일어날 수 있는 현상이다. 이는 움직이는 물체 또는 카메라 움직임의 경우에 또는 카메라 손 떨림에 의해 일어난다. 따라서, 이 동작 번짐을 보상하기 위해, 여러 방식들이 사용될 수 있다. 대역 제한된 노출 시간을 갖는 종래의 카메라를 사용하여 블러링된 이미지를 디블러링하는 것은 그 자체로 부적절한 문제이다. 이 방식에서, 노출 시간은 시간 박스 필터(temporal box filter)처럼 동작하며, 따라서 이 박스 필터가 입력 이미지와 컨벌루션될 때, 이는 움직이는 물체를 스미어시키고 블러링된 이미지에서 높은 공간 주파수가 상실된다. 그것으로 인해 디컨벌루션을 통해 종래의 카메라를 사용하여 디블러링하는 것은 부적절한 문제가 되며, 플러터 셔터 방식에 의해 디컨벌루션이 적절한 문제가 된다.

플러터 셔터 방식에서는, 일정한 노출 시간을 사용하는 대신에, 전체 노출 기간 동안에 이진 코드화된 시퀀스에 의해 카메라 셔터가 닫히고 열리며, 따라서 이는 박스 필터 거동을, 높은 공간 주파수를 유지하는 방식을 제공하는 광대역 필터로 변환시킨다. 그것은 블러링된 이미지 자체가 고주파수 값들을 유지한다는 것을 의미한다. 이 방식에서의 문제점들 중 하나는 이진 코드들에 따라 이미지를 캡처한다는 것이다. 그를 위해, 특별한 트리거 모드를 갖는 외부 하드웨어 또는 카메라가 필요하고, 그의 셔터가 전자적으로 제어될 수 있는데, 즉 카메라 셔터를 제어하지 않고 카메라를 트리거하지 않는 경우, 코드화된 시퀀스에 따라 이미지를 캡처하는 것이 가능하지 않다. 그 때문에, 트리거 소스/장치가 필요하다. 카메라 처리 중간에 PSF를 추정하는 것은 아주 어렵다. 이것은 이 방법에서의 또 하나의 문제점인데, 그 이유는 이 방식이 사용자 상호작용에 의존하여 PSF를 추정하기 때문이다. PSF 추정은 이미지를 정확하게 복구하는 데 아주 중요하다. 이 방식에서의 세번째 문제점은 코드화된 시퀀스가 이미지 컨텐츠에 따라 최적화될 수 없다는 것이다.

따라서, 본 발명은 프레임 처리 기법을 제안하며, 이 경우 캡처된 프레임들의 일부가 미리 정의된 코드화된 시퀀스에 따라 누락(drop)되고 및/또는 가중(weight)된다. 본 발명에서, 움직임 추정(motion estimation)이 PSF(Point Spread Function)를 추정하는 데 사용될 수 있다. 프레임 누락/가중을 정의하는 코드가 최적화될 수 있고, 외부 하드웨어 또는 특수한 셔터 시간 제어 카메라가 더 이상 필요하지 않다. 본 발명은 코드화된 노출 방식의 이점을 갖지만 그 구현을 단순화시킨다.

본 발명에 따른 시스템의 블록도가 도 4에 도시되어 있다. 시스템(10)은 n개(단, n은 1보다 큰 정수임)의 프레임을 캡처하도록 구성되어 있는 프레임 캡처기(frame capturer)(1)를 포함한다. 본 발명에서, 프레임들은 셔터 제어 기능 또는 임의의 다른 하드웨어 변경을 고려하지 않고 임의의 유형의 카메라를 사용하여 캡처될 수 있으며, 예를 들어, 이미지가 (안전한 셔터 속도를 갖는) 버스트 샷 모드(burst shot mode) 또는 비디오 캡처 기능을 갖는 임의의 카메라를 사용하여 캡처될 수 있다. 본 발명에 따르면, 이미지 프레임은 전체 이미지를 포함할 수 있거나 이미지의 일부일 수도 있다. '이미지'라는 용어는, 본 출원에서 사용되는 바와 같이, 정지 영상(still image)일 수 있거나 비디오를 구성하는 동영상들(moving images)의 시퀀스 내의 하나의 이미지일 수 있다.

캡처된 프레임들(11)은 이어서 프레임 처리기(frame processor)(2) 및 PSF 추정 유닛(PSF estimation unit)(3)으로 보내진다. PSF 추정 유닛(3)은 이로써 PSF(Point Spread Function)를 추정하고 PSF(13)를 디컨벌루션 유닛(deconvolution unit)(5)으로 보낸다. PSF 추정 유닛은 이로써 임의의 공지된 PSF 추정 방법을 사용할 수 있다. 양호한 실시예에서, PSF 추정 유닛은 움직임 추정에 기초하여 및/또는 움직임 측정 센서(33)[예를 들어, 자이로스코프, 가속도계, 기타의 움직임 측정 센서(33) 등]에 의해 제공되는 데이터에 기초하여 PSF를 추정한다.

프레임 캡처기(1)에 의해 캡처된 모든 프레임들로부터, 프레임 처리기(2)는 시퀀스 제공기(6)에 의해 제공되는 코드화된 시퀀스(E)의 값을 캡처된 프레임들 각각에 순차적으로 연관시키는 것으로 각각의 프레임을 처리한다. 프레임 처리기(2)는 그로써 유지하거나 누락시킬 프레임들의 선택을 달성하고 및/또는 캡처된 프레임들의 가중(weighting)을 달성한다. 시퀀스 제공기(sequence provider)(6) 및 프레임 처리기(2)의 기능에 대해서는 나중에 상세히 설명할 것이다.

코드화된 시퀀스 제공기(6)에 의해 제공되는 코드화된 시퀀스는 실제의 설정(actual settings) 및/또는 이미지 속성들(image properties)에 기초하여 동적으로 결정될 수 있거나, 처리량을 감소시키기 위해, 실제의 요구사항에 따라 선택될 수 있는 여러 가지 코드화된 시퀀스를 저장하고 있는 탐색 테이블(look-up-table)(66)이 제공될 수 있다.

처리된 프레임(12), 즉 유지된 프레임 및/또는 가중된 프레임은 미리 정의된 방식에 따라 모든 처리된 프레임들을 누적시키는 프레임 누적기(frame accumulator)(4)로 보내지고, 이에 대해서도 나중에 설명할 것이다. 프레임 누적기(4)는 이어서 누적된 프레임(14)을 디컨벌루션 유닛(5)으로 보내고, 디컨벌루션 유닛(5)은 PSF 추정 유닛(3)에 의해 제공된 PSF(13)에 따라 누적된 프레임(14)에 대해 디컨벌루션을 수행한다.

최종적인 디블러링된 이미지(15)가 이어서 디컨벌루션 유닛(5)에 의해 출력된다. 본 발명에 따르면, 디컨벌루션 이후에, 추가적인 유형의 이미지 보정 또는 처리가 제공될 수 있다.

제안된 프레임 처리 방식을 사용하여 획득된 주파수 스펙트럼이 도 5에 도시되어 있다. 제안된 기법들에서 알 수 있는 바와 같이, 스펙트럼에 0이 없으며, 높은 공간 주파수가 유지되고, 최적의 디블러링된 이미지가 달성된다.

이하에서, 본 발명의 제1 실시예에 대해 도 6을 참조하여 보다 상세히 설명할 것이다. 이 제1 실시예에서, 각각의 캡처된 프레임은 하나의 시퀀스 값과 곱해지며, 즉 프레임의 각각의 픽셀이 곱해진다. 시퀀스 값들에 따라, 곱해진 프레임이 누락되거나(시퀀스 내의 0의 경우), 곱해진 프레임이 그대로 있거나(시퀀스 내의 1의 경우), 곱해진 프레임이 다른 가중으로 유지된다(시퀀스 내의 0 또는 1 이외의 임의의 값의 경우).

이 프로세스는 단계(S0)에서 시작된다. 그 다음 단계(S1)에서, 프레임 캡처기(1)에 의해 n개의 프레임이 캡처된다.

단계(S2)에서, 시퀀스[E(i)]가 시퀀스 제공기(6)에 의해 제공된다. 시퀀스(E)는 캡처된 프레임들의 수보다 크거나 같은 수의 값들을 포함하며, 따라서 각각의 캡처된 프레임이 할당된 값을 갖는다. 그렇지만, 또한 캡처된 프레임들보다 적은 수의 값들을 갖는 시퀀스를 제공하고 동일한 시퀀스를 캡처된 프레임들에 대해 2번 이상 사용하는 것도 가능하다.

일 실시예에서, 시퀀스(E)는, 예를 들어, 1과 같은, 1보다 큰, 또는 1보다 작은 유리수 값들일 수 있는 연속적인 값들을 포함한다. 시퀀스가 0을 포함할 수 있거나 0을 포함하지 않을 수 있다. 0이 제공되는 경우에, 0과 곱해지는 대응하는 프레임은 더 이상 처리되지 않으며, 즉 대응하는 프레임이 누락된다.

시퀀스(E)가, 예를 들어, 0과 1 사이의 임의의 값들을 포함할 수 있고, 따라서 프레임을 대응하는 값들과 곱함으로써 프레임들을 가중하는 것도 가능하게 된다.

양호한 실시예에서, 시퀀스는 0과 1의 값들을 포함하는 이진-코드화된 시퀀스이며, 여기서 0은 프레임(F_i)이 누락되어야 한다는 것을 나타내고, 1은 프레임(F_i)이 유지되어야 한다는 것을 나타낸다.

그렇지만, 본 발명은 이상의 정의된 시퀀스들로 제한되지 않고 캡처된 프레임들의 누락 및/또는 가중을 가능하게 해주는 임의의 다른 유형의 시퀀스를 포함할 수 있다.

그 다음 단계(S3)에서, 반복 프로세스가 시작하며, 즉 모든 캡처된 프레임들(F_i)에 대해 반복되는 프로세스가 시작된다. 단계(S4)에서, 각각의 프레임(F_i)은 시퀀스의 값[E(i)]과 순차적으로 곱해짐으로써, m개의 곱해진 프레임들(F_j)(단, j는 1, ... m이고 m은 캡처된 이미지 프레임들의 수인 n보다 작거나 같음)을 획득한다.

시퀀스 내에 0이 있는 경우, 대응하는 프레임이 누락될 것이라는 것이 명백하다. 마찬가지로, 시퀀스 내에 몇개의 서로 다른 값들을 제공할 때, 프레임들이 가중될 수 있다.

그 다음 단계에서, 곱해진 캡처된 프레임들이 누적되며, 이에 대해서는 나중에 상세히 설명할 것이다.

단계(S6)에서의 최종적인 이미지는 이어서 누적된 프레임에 디컨벌루션을 적용함으로써 획득된다.

이제부터, 본 발명의 제2 실시예에 대해 설명할 것이다. 이 실시예에서, 프레임들이 시퀀스 값들과 곱해지지 않으며, 시퀀스 값들이 캡처된 프레임들을 처리하는 유형을 결정하기 위한 표시자(indicator) 또는 플래그(flag)로서 사용된다. 양호한 실시예에서, 시퀀스는 0과 1의 값들을 포함하며, 따라서 그 시퀀스에 의해 프레임이 누락되어야 하는지 유지되어야 하는지가 정의된다.

이 프로세스는 단계(S10)에서 시작된다. 그 다음 단계(S11)에서, 프레임 캡처기(1)에 의해 n개의 프레임이 캡처된다.

본 발명의 양호한 실시예에 따르면, 첫번째 프레임(F₁)은 항상 유지되고, 따라서 그 다음 단계(S12)에서, 첫번째 프레임(F₁)이 판독된다.

이미 설명한 바와 같이, 시퀀스(E)는 캡처된 이미지 프레임이 누락되어야 하는지 유지되어야 하는지를 정의한다. 양호한 실시예에서, 시퀀스는 캡처된 프레임들의 수보다 크거나 같은 수의 심볼들을 포함하며, 따라서 각각의 프레임에 하나의 심볼이 할당될 수 있다. 심볼의 유형에 따라, 대응하는 프레임이 유지되어야 하는지 누락되어야 하는지가 결정된다.

일 실시예에서, 시퀀스는 0과 1의 심볼들을 포함하는 이진-코드화된 시퀀스이며, 여기서 0은 프레임이 누락되어야 한다는 것을 나타내고, 1은 프레임이 유지되어야 한다는 것을 나타낸다.

본 발명에 따른 이 코드화된 시퀀스(E)는 따라서 다음과 같이 정의될 수 있다.

(i = 1, ... n 모두에 대해)

이것은 E가 심볼이 각각의 프레임에 할당되는 시퀀스라는 것을 의미한다. 프레임에 0이 할당되는 경우, 이 프레임은 누락되고, 프레임에 1이 할당되는 경우, 이 프레임은 유지된다.

그렇지만, 본 발명은 이진-코드화된 시퀀스로 제한되지 않고 임의의 유형의 심볼들을 포함하는 임의의 다른 유형의 시퀀스를 사용할 수 있다. 이 심볼들은 프레임 처리기(2)에 의해 표시자 또는 플래그로서 인식되고, 프레임들이 그에 따라 처리된다. 이로써, 시퀀스 값들과 처리 단계들 간에 어떤 관계라도 가능하다.

첫번째 프레임(F₁)이 판독되고 유지된 후에, 그 다음 단계(S13)에서, 프레임 2부터 프레임 n에 이르는 모든 이후의 프레임들(i)에 대해 반복이 시작된다.

그 다음 단계(S14)에서, 이진-코드화된 시퀀스[E(i)]가 검사되고, 그 다음 단계(S15)에서, 현재 고려 중인 프레임에 대해, 코드화된 시퀀스가 1인지 여부가 검사된다. 그렇지 않은 경우, 즉 시퀀스가 0인 경우, 대응하는 프레임(F_i)이 단계(S16)에서 누락되고, 그 다음 프레임에 대해 프로세스가 단계(S3)에서 계속된다.

그렇지 않고 단계(S15)에서, 시퀀스[E(i)]가 1인 것으로 확인되면, 그 다음 단계(S17)에서, 현재 고려 중인 프레임이 유지되고 판독된다.

단계(S18)에서, 첫번째 프레임(F₁) 및 모든 유지된 프레임들이 누적된다.

모든 프레임들이 누락되거나 유지된 경우, 누적 이후에, 단계(S19)에서 최종적인 이미지가 얻어진다.

이제부터, 누적하는 프로세스에 대해 더 상세히 설명할 것이다. 프레임들을 누적하는 데, 여러 메카니즘들이 가능하다. 한 메카니즘은 모든 프레임들이 처리될 때까지 기다리고 이어서 모든 처리된 캡처된 프레임들의 합을 계산하고 그 합을 처리된 프레임들의 수로 나누는 것이다.

보다 명확히 말하면, p개의 처리된 프레임들을 누적하는 제1 누적 방법은 이하의 식에 의해 누적된 프레임(F_A)을 획득한다.

다른 방법은 첫번째 처리된 프레임과 미리 정의된 수의 차후의 처리된 프레임들을 합산하고 그 합을 합산된 프레임들의 수로 나눔으로써 누적된 프레임을 재귀적으로 구하는 것이다. 이 단계에 의해, 첫번째 중간 프레임이 획득되고, 이 중간 프레임이 또다시 미리 정의된 수의 차후의 처리된 프레임들과 합산되어 합산된 프레임들의 수로 나누어져 두번째 중간 프레임을 획득하며, 이 단계가 모든 프레임들이 누적될 때까지 반복된다.

제안된 기법에 의해, 버스트 샷 모드(burst shot mode)를 갖는 임의의 카메라 또는 임의의 비디오 카메라가, 임의의 외부 하드웨어 요구사항 및 제약조건 없이 또 임의의 트리거 모드 요구사항 없이, 코드화된 시퀀스에 따라 이미지를 캡처하는 데 사용될 수 있다. 특별한 트리거 모드를 갖는 부가의 외부 하드웨어 또는 카메라가 더 이상 필요하지 않다.

제안된 기법에 의해, PSF가 움직임 추정을 사용하여 또는, 예를 들어, 자이로스코프, 가속도계, 기타의 움직임 측정 센서들을 사용하여 추정될 수 있다. 그에 따라, 본 발명에 따른 코드화된 시퀀스를 사용하는 것이 여전히 가능하다. 게다가, 본 발명에 따른 PSF 추정은 그로써 공지된 방법들에 비해 더 안정적이다. 구체적으로는, 맹목적인 PSF 추정이 수행될 필요가 없다.

제안된 기법들에 의해, 코드화된 시퀀스가 실제의 설정 및/또는 이미지의 컨텐츠에 따라 최적화될 수 있다. 코드화된 시퀀스는, 예를 들어, 물체의 폭에 기초할 수 있다. 물체가, 예를 들어, 단지 한개 픽셀의 두께인 경우, 코드화된 시퀀스는 최소 스미어링(minimum smearing)을 달성하도록 최적화될 수 있다. 반면에, 물체가 몇개 픽셀의 두께인 경우, 코드화된 시퀀스는 보다 두꺼운 물체를 보존하도록 최적화될 수 있다.

또한, 잡음 대 이득(noise to gain) 속성, 휘도 설정(luminance setting), 기타가 코드화된 시퀀스를 적응시키는 데 사용될 수 있다.

본 시스템, 방법 및 컴퓨터 프로그램 제품은 구체적으로는 비스트로보스코픽(non-stroboscopic) 디스플레이 장치에서, 특정의 LCD(Liquid Crystal Display) 패널에서, TFT(Thin Film Transistor) 디스플레이, CSD(Color Sequential Display), PDP(Plasma Display Panel), DMD(Digital Micro Mirror Device) 또는 OLED(Organic Light Emitting Diode) 디스플레이에서 이미지들을 디스플레이할 때 사용될 수 있다.

본 발명의 양호한 실시예들에 대한 이상의 설명은 예시 및 설명을 위해 제공된 것이다. 이는 전수적이거나 본 발명을 개시된 정확한 형태로 제한하기 위한 것이 아니다. 많은 수정들 및 변형들이 당업자에게는 명백할 것이다. 본 발명의 원리들 및 그의 실제 응용을 가장 잘 기술하기 위해 실시예들이 선택되어 기술되었으며, 그로써 당업자들이 본 발명, 다양한 실시예들 및 생각되는 특정의 용도에 적합한 다양한 수정들을 이해할 수 있다.

본 발명이 구조의 특징들 및/또는 방법의 단계들과 관련하여 기술되어 있지만, 첨부된 청구항들에 정의된 본 발명이 꼭 기술된 구체적인 특징들 또는 단계들로 제한되는 것은 아니라는 것을 잘 알 것이다. 오히려, 구체적인 특징들 및 단계들이 청구된 발명을 구현하는 양호한 형태들로서 개시되어 있다.

Claims (31)

1. 동작 번짐(motion blur)을 감소시키는 방법으로서,
   적어도 2개의 이미지 프레임(F_i)을 캡처하는 단계(S1),
   값들의 시퀀스(E)를 제공하는 단계(S2),
   하나의 시퀀스 값을 각각의 캡처된 프레임(F_i)에 순차적으로 연관시킴으로써 각각의 캡처된 프레임(F_i)을 처리하는 단계(S4, S14),
   모든 캡처된 처리된 프레임들(F_j)을 누적하는 단계(S5), 및
   상기 누적된 프레임(F_A)에 디컨벌루션(deconvolution)을 적용하는 단계(S6)를 포함하는 방법.
2. 제1항에 있어서, 상기 연관시키는 단계가, 상기 시퀀스 값들로, 캡처된 프레임(F_i)이 누락되어야 하는지 유지되어야 하는지를 정의하는 단계를 포함하고 및/또는, 상기 시퀀스 값들로, 상기 캡처된 프레임들(F_j)을 가중하는 단계를 포함하는 것인 방법.
3. 제1항 또는 제2항에 있어서, 상기 시퀀스(E)가 캡처된 프레임들(F_i)의 수보다 크거나 같은 수의 값들을 포함하며, 각각의 프레임(F_i)이 할당된 값을 갖는 것인 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 시퀀스(E)가 연속적인 값들을 포함하는 것인 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 시퀀스(E)가 1보다 작거나 같은 유리수 값들을 포함하는 것인 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 처리하는 단계가 각각의 캡처된 프레임(F_i)을 하나의 시퀀스 값과 순차적으로 곱하는 단계를 포함하는 것인 방법.
7. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 시퀀스(E)가 0과 1의 값들을 포함하는 이진-코드화된 시퀀스(binary-coded sequence)이며, 0은 프레임(F_i)이 누락되어야 한다는 것을 나타내고, 1은 프레임(F_i)이 유지되어야 한다는 것을 나타내는 것인 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 움직임 추정에 기초하여 또는 움직임 측정 센서들(33)에 의해 제공된 데이터에 기초하여 PSF(point spread function)를 추정하는 단계를 포함하는 방법.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 누적을 위해, 모든 처리된 프레임들(F_j)이 합산되고 합산된 프레임들의 수로 나누어지는 것인 방법.
10. 제1항 내지 제9항 중 어느 한 항에 있어서, 첫번째 프레임(F₁)을 유지하는 단계를 포함하는 방법.
11. 제10항에 있어서, 누적을 위해, 상기 첫번째 프레임(F₁) 및 미리 정의된 수의 차후의 처리된 프레임들(F_j)이 합산되고 합산된 프레임들의 수로 나누어지며, 그로써 중간 프레임을 획득하는 것인 방법.
12. 제11항에 있어서, 누적을 위해, 최종적인 누적된 프레임이 획득될 때까지, 각각의 이전에 획득된 중간 프레임 및 미리 정의된 수의 차후의 처리된 프레임들이 합산되고 합산된 프레임들의 수로 나누어지는 것인 방법.
13. 제1항 내지 제12항 중 어느 한 항에 있어서, 실제의 설정 및/또는 이미지 컨텐츠에 따라 상기 시퀀스(E)를 동적으로 발생하는 단계를 포함하는 방법.
14. 제1항 내지 제13항 중 어느 한 항에 있어서, 실제의 설정 및/또는 이미지 컨텐츠에 따라 탐색 테이블(66)에 저장된 시퀀스(E)를 선택하는 단계를 포함하는 방법.
15. 동작 번짐을 감소시키는 시스템으로서,
    적어도 2개의 이미지 프레임(F_i)을 캡처하는 프레임 캡처기(frame capturer)(1),
    값들의 시퀀스(E)를 제공하는 시퀀스 제공기(sequence provider)(6),
    하나의 시퀀스 값을 각각의 캡처된 프레임(F_i)에 순차적으로 연관시킴으로써 각각의 캡처된 프레임(F_i)을 처리하는 프레임 처리기(frame processor)(2),
    모든 캡처된 처리된 프레임들(F_j)을 누적하는 프레임 누적기(frame accumulator)(4), 및
    상기 누적된 프레임(F_A)에 디컨벌루션을 적용하는 디컨벌루션 유닛(deconvolution unit)(5)을 포함하는 시스템.
16. 제15항에 있어서, 상기 연관시키는 프레임 처리기(2)가, 상기 시퀀스 값들로, 캡처된 프레임(F_i)이 누락되어야 하는지 유지되어야 하는지를 정의하도록 구성되어 있고 및/또는, 상기 시퀀스 값들로, 상기 캡처된 프레임들(F_i)을 가중하도록 구성되어 있는 것인 시스템.
17. 제15항 또는 제16항에 있어서, 상기 시퀀스 제공기(6)가 캡처된 프레임들(F_i)의 수보다 크거나 같은 수의 값들을 포함하는 시퀀스(E)를 제공하고, 각각의 프레임(F_i)이 할당된 값을 갖는 것인 시스템.
18. 제15항 내지 제17항 중 어느 한 항에 있어서, 상기 시퀀스 제공기(6)가 연속적인 값들을 포함하는 시퀀스(E)를 제공하는 것인 시스템.
19. 제15항 내지 제18항 중 어느 한 항에 있어서, 상기 시퀀스 제공기(6)가 1보다 작거나 같은 유리수 값들(rational values)을 포함하는 시퀀스(E)를 제공하는 것인 시스템.
20. 제15항 내지 제19항 중 어느 한 항에 있어서, 상기 시퀀스 처리기(2)가 각각의 캡처된 프레임(F_i)을 하나의 시퀀스 값과 순차적으로 곱하는 것인 시스템.
21. 제15항 내지 제19항 중 어느 한 항에 있어서, 상기 시퀀스 제공기(6)가 0과 1의 값들을 포함하는 이진-코드화된 시퀀스를 제공하며, 0은 프레임(F_i)이 누락되어야 한다는 것을 나타내고, 1은 프레임(F_i)이 유지되어야 한다는 것을 나타내는 것인 시스템.
22. 제15항 내지 제21항 중 어느 한 항에 있어서, 움직임 추정에 기초하여 또는 움직임 측정 센서들(33)에 의해 제공된 데이터에 기초하여 PSF(point spread function)를 추정하는 PSF 추정 유닛(3)을 더 포함하는 시스템.
23. 제15항 내지 제22항 중 어느 한 항에 있어서, 상기 프레임 누적기(4)가 누적을 위해 모든 처리된 프레임들(F_j)의 합을 계산하고 이 합을 합산된 프레임들의 수로 나누는 것인 시스템.
24. 제15항 내지 제23항 중 어느 한 항에 있어서, 상기 프레임 누적기가 첫번째 프레임(F₁)을 유지하는 것인 시스템.
25. 제24항에 있어서, 상기 프레임 누적기(4)가 누적을 위해 상기 첫번째 프레임(F₁) 및 미리 정의된 수의 차후의 처리된 프레임들(F_j)의 합을 계산하고 이 합을 합산된 프레임들의 수로 나누며, 그로써 중간 프레임을 획득하는 것인 시스템.
26. 제25항에 있어서, 상기 프레임 누적기(4)가 누적을 위해, 최종적인 누적된 프레임이 획득될 때까지, 각각의 이전에 획득된 중간 프레임 및 미리 정의된 수의 차후의 처리된 프레임들의 합을 계산하고 이 합을 합산된 프레임들의 수로 나누는 단계를 반복하는 것인 시스템.
27. 제15항 내지 제26항 중 어느 한 항에 있어서, 상기 시퀀스 제공기(6)가 실제의 설정 및/또는 이미지 컨텐츠에 따라 상기 시퀀스(E)를 동적으로 발생하도록 구성되어 있는 것인 시스템.
28. 제15항 내지 제26항 중 어느 한 항에 있어서, 상기 시퀀스 제공기(6)가 실제의 설정 및/또는 이미지 컨텐츠에 따라 탐색 테이블(66)에 저장된 시퀀스(E)를 선택하도록 구성되어 있는 것인 시스템.
29. 제15항 내지 제28항 중 어느 한 항에 따른 시스템(10)을 포함하는 장치, 양호하게는 버스트 샷 모드(burst shot mode)를 갖는 스틸 카메라 또는 비디오 카메라.
30. 동작 번짐을 감소시키는 시스템으로서,
    적어도 2개의 이미지 프레임(F_i)을 캡처하는 수단,
    값들의 시퀀스(E)를 제공하는 수단,
    하나의 시퀀스 값을 각각의 캡처된 프레임(F_i)에 순차적으로 연관시킴으로써 각각의 캡처된 프레임(F_i)을 처리하는 수단,
    모든 캡처된 처리된 프레임들(F_j)을 누적하는 수단, 및
    상기 누적된 프레임(F_A)에 디컨벌루션을 적용하는 수단을 포함하는 시스템.
31. 컴퓨터로 하여금 단계들을 수행하게 하는, 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 프로그램 제품으로서,
    상기 단계들이,
    적어도 2개의 이미지 프레임(F_i)을 캡처하는 단계(S1),
    값들의 시퀀스(E)를 제공하는 단계(S2),
    하나의 시퀀스 값을 각각의 캡처된 프레임(F_i)에 순차적으로 연관시킴으로써 각각의 캡처된 프레임을 처리하는 단계(S4, S14),
    모든 캡처된 처리된 프레임들(F_j)을 누적하는 단계(S5), 및
    상기 누적된 프레임(F_A)에 디컨벌루션을 적용하는 단계(S6)를 포함하는 것인 컴퓨터 프로그램 제품.

Images