KR101896026B1

KR101896026B1 - 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법

Info

Publication number: KR101896026B1
Application number: KR1020110116048A
Authority: KR
Inventors: 박민규; 이용구
Original assignee: 삼성전자주식회사
Priority date: 2011-11-08
Filing date: 2011-11-08
Publication date: 2018-09-07
Also published as: KR20130050800A; US20130113950A1; CN103096097A; US8928777B2

Abstract

본 발명은 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법에 관한 것으로, 동영상 촬영 중에 움직임 끊김 현상이 발생하는지 여부를 결정하며, 상기 움직임 끊김 현상이 발생하면, 상기 움직임 끊김 현상이 발생된 연속하는 제1이미지와 제2이미지 간의 블록별 움직임 벡터를 추정하고, 상기 블록별 움직임 벡터를 이용하여 상기 제2이미지 상에 움직임 블러를 생성한 후, 표시하는 것을 특징으로 한다.

Description

휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법{APPARATUS AND METHOD FOR GENERATING A MOTION BLUR IN A PORTABLE TERMINAL}

본 발명은 휴대 단말기에 관한 것으로, 특히, 휴대 단말기에서 동영상의 이미지에 움직임 블러를 생성하는 장치 및 방법에 관한 것이다.

최근 들어 휴대 단말기의 급속한 발전으로 인하여, 휴대 단말기는 통화 기능뿐만 아니라, 여러 가지 기능, 예를 들면, 카메라 기능을 제공한다.

휴대 단말기의 두께 및 부피에 대한 제약 때문에, 휴대 단말기는 셔터 속도(shutter speed) 대신에 이미지 센서의 노출 시간(integration time)을 조정하는 방식을 사용하여 카메라 기능을 조절한다.

좀 더 자세히 설명하면, 촬영 환경이 어두운 경우에, 휴대 단말기는 아날로그 이득(analog gain)과 디지털 이득(digital gain)을 높이거나 셔터 속도(혹은 노출 시간)를 느리게 하고, 촬영 환경이 밝은 경우에, 아날로그 이득과 디지털 이득을 낮추거나 셔터 속도(혹은 노출 시간)를 빠르게 한다.

한편, 밝은 환경에서는 노출 시간이 줄어들게 되는데, 동영상 촬영 중에 프레임 레이트(frame rate)가 충분하지 않으면, 움직임이 끊어져서 보이는 움직임　끊김(motion stopping) 현상이 발생한다. 이러한 움직임 끊김 현상은 동영상이 부드럽게 재생되지 못하게 하는 원인이 된다.

따라서, 휴대 단말기가 밝은 환경에서 동영상을 촬영할 때, 움직임 끊김 현상을 방지하는 방안의 필요성이 대두되었다.

따라서, 본 발명은 움직임 끊김 현상을 방지하기 위해 이미지상에 움직임 블러를 생성하는 장치 및 방법을 제공한다.

상기한 과제를 해결하기 위한, 본 발명의 장치는, 휴대 단말기에서 움직임 블러를 생성하는 장치에 있어서, 동영상 촬영 중에 움직임 끊김 현상이 발생하면, 상기 움직임 끊김 현상이 발생된 연속하는 제1이미지와 제2이미지 간의 블록별 움직임 벡터를 추정하며, 상기 블록별 움직임 벡터를 이용하여 상기 제2이미지 상에 움직임 블러를 생성한 후, 표시하는 움직임 블러 생성부를 포함하는 것을 특징으로 한다.

상기한 과제를 해결하기 위한, 본 발명의 방법은, 휴대 단말기에서 움직임 블러를 생성하는 방법에 있어서, 동영상 촬영 중에 움직임 끊김 현상이 발생하는지 여부를 결정하며, 상기 움직임 끊김 현상이 발생하면, 상기 움직임 끊김 현상이 발생된 연속하는 제1이미지와 제2이미지 간의 블록별 움직임 벡터를 추정하고, 상기 블록별 움직임 벡터를 이용하여 상기 제2이미지 상에 움직임 블러를 생성한 후, 표시하는 것을 특징으로 한다.

본 발명은 이미지상에 움직임 블러를 생성함으로써, 움직임 끊김 현상을 방지하는 효과를 가진다.

도 1은 본 발명의 실시 예에 따른 휴대 단말기의 블록 구성도,
도 2는 본 발명의 실시 예에 따른 카메라부의 블록 구성도,
도 3은 본 발명의 실시 예에 따른 움직임 블러 생성부의 블록 구성도,
도 4는 본 발명의 실시 예에 따른 이미지 센서부가 출력하는 이미지,
도 5는 본 발명의 실시 예에 따라 이미지상에 움직임 벡터를 도시한 도면,
도 6은 본 발명의 실시 예에 따른 휴대 단말기가 이미지상에 움직임 블러를 생성하는 흐름도,
도 7은 본 발명의 실시 예에 따라 움직임 블러가 생성된 이미지를 나타내는 도면이다.

이하, 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

본 발명의 실시 예에 따른 휴대 단말기는 휴대가 용이하게 이동 가능한 전자기기로서, 화상전화기, 휴대폰, 스마트 폰(smart phone), IMT-2000(International Mobile Telecommunication 2000) 단말기, WCDMA 단말기, UMTS(Universal Mobile Telecommunication Service) 단말기, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), DMB(Digital Multimedia Broadcasting) 단말기, E-Book, 휴대용 컴퓨터(Notebook, Tablet 등) 또는 디지털 카메라(Digital Camera) 등이 될 수 있다.

도 1은 본 발명의 실시 예에 따른 휴대 단말기의 블록 구성도이다.

도 1을 참조하면, 휴대 단말기는 제어부(101)와 카메라부(105)와 표시부(107)와 키입력부(109)와 메모리부(111)와 RF부(113)와 데이터 처리부(115)와 오디오 처리부(117)를 포함한다.

각 구성요소를 설명하면, RF부(113)는 휴대 단말기의 무선 통신 기능을 수행한다. 좀 더 자세히 설명하면, RF부(113)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선 송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 무선 수신기 등을 포함한다. 그리고 데이터 처리부(115)는 송신되는 신호를 부호화 및 변조하는 송신기 및 수신되는 신호를 복조 및 복호화하는 수신기 등을 포함한다. 여기서, 데이터 처리부(115)는 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있으며, 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 포함할 수 있다.

그리고 오디오 처리부(117)는 데이터 처리부(115)에서 출력되는 수신 오디오 신호를 스피커를 통해 재생하거나 마이크로부터 발생되는 송신 오디오 신호를 데이터 처리부(115)에 전송하는 기능을 수행한다. 그리고 키입력부(109)는 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능들을 설정하기 위한 기능 키들을 구비하고, 표시부(107)는 영상 신호를 화면으로 표시하며, 제어부(101)로부터 출력 요청되는 데이터를 표시한다. 만약에, 표시부(107)가 정전식 또는 감압식 등의 터치 표시 화면 방식으로 구현될 경우, 키입력부(109)는 미리 설정된 최소한의 키만을 포함할 수 있으며 표시부(107)는 키입력부(109)의 키입력 기능을 일부 대체할 수 있다.

그리고 메모리부(111)는 프로그램 메모리와 데이터 메모리를 포함한다. 여기서, 프로그램 메모리는 휴대 단말기의 일반적인 동작을 제어하기 위한 부팅(booting) 및 운영 시스템(Operating System, 이하 'OS'라 한다)을 저장하고, 데이터 메모리는 휴대 단말기 동작 중에 발생되는 각종 데이터들을 저장한다.

그리고 카메라부(105)는 피사체의 영상을 촬상하여 이미지를 생성하고, 생성된 이미지를 제어부(101)로 출력한다. 여기서, 카메라부(105)는 한 컷의 이미지를 촬상할뿐 아니라 동영상을 촬영할 수 있다.

도 2를 참조하면, 카메라부(105)는 이미지 센서부(201)와 이미지 신호 처리부(203)를 포함한다.

각 구성요소를 설명하면, 이미지 센서부(201)는 렌즈를 통해 피사체를 촬영하여 프레임 단위로 촬영된 피사체에 대한 이미지를 이미지 신호 처리부(203)로 출력한다. 이때, 이미지 센서부(201)는 도 4에 도시된 바와 같은, 베이어 패턴(bayer pattern)으로 이미지를 생성하고, 생성된 이미지를 이미지 신호 처리부(203)로 출력한다.

도 4를 참조하면, 이미지(401)는 이미지 센서부(201)에서 출력되는 이미지의 예시도이다. 여기서, B는 파란색(blue)을 나타내며, R은 빨간색(red)을 나타내며 Gr은 파란색과 파란색 사이에 존재하는 녹색(green)을 나타내고, Gb는 빨간색과 빨간색 사이에 존재하는 녹색(green)을 나타낸다.

이러한 이미지 센서부(201)의 종류에는 CMOS(Complementary Metal Oxide Semiconductor) 센서, CCD(Charge Coupled Device) 센서, 포비언(Foveon) 센서, 보색(Complementary) 이미지 센서 등이 존재한다.

그리고 이미지 신호 처리부(203)는 이미지 센서부(201)로부터 입력된 이미지의 화질을 개선하기 위해, 렌즈 보정(Lens Correnction) 기능과 컬러 보간(Color Interpolation) 기능과 감마 보정(Gamma Correction) 기능과 컬러 매트릭스(Color Matrix) 기능과 노이즈 감소(Noise Reduction) 기능과 채도 억제(Chroma Suppression) 기능을 수행한다.

여기서, 렌즈 보정 기능은 렌즈의 주변부에 있는 픽셀의 밝기값을 보정하는 기능을 말하며, 컬러 보간 기능은 이미지 센서부(201)로부터 입력된 베이어 패턴의 이미지를 RGB 방식 또는 YUV 방식의 이미지로 변환하는 기능을 말한다. 여기서, 여기서, YUV 방식은 색을 휘도 신호(Y)와 휘도 신호와 적색 성분의 차(U)와 휘도 신호와 청색 성분의 차(V)로 구성된 3가지 정보로 나타내는 방식이다. 그리고 RGB 방식은 색을 빨간색(red)과 녹색(green)과 파란색(blue)으로 나타내는 방식이다.

그리고 감마 보정 기능은 디지털로 수치화된 영상을 표시부에 출력할 때 실제 디지털 영상과 영상 출력장치의 신호 값이 1:1로 매칭되지 않으므로, 이를 보정하는 기능을 말한다. 그리고 컬러 매트릭스 기능은 이미지 센서부(201)의 디지털 값이 사람의 눈과 1:1로 매칭되지 않으므로, 이를 보정하는 기능을 말한다. 그리고 노이즈 감소 기능은 이미지에서 잡음을 제거하는 기능을 말하고, 채도 억제 기능은 컬러 노이즈를 제거하는 기능을 말한다.

특히, 이미지 처리부(203)는 입력된 베이어 패턴의 이미지를 YUV 방식 또는 RGB 방식의 이미지로 변환하고, 변환된 이미지를 제어부(101)로 출력한다. 예를 들면, 이미지 처리부(203)는 이미지

과 이미지

를 제어부(101)로 출력할 수 있다. 여기서,

은 n번째 이미지를 나타내며,

은 n+1번째 이미지를 나타내고, x는 이미지 내에서의 가로 좌표를 나타내고, y는 이미지 내에서의 세로 좌표를 나타낸다.

그리고 제어부(101)는 휴대 단말기의 전반적인 동작을 제어하는 기능을 수행한다. 특히, 제어부(101)는 동영상을 촬영할 때, 프레임 레이트(frame rate)가 미리 지정된 기준값 미만인 경우, 이미지에 움직임 블러를 생성하는 움직임 블러(Motion Blur) 생성부(103)를 포함한다. 여기서, 움직임 블러는 영상 및 애니메이션 같은 연속된 그림들이나 스틸 이미지 속에 비치는 빠르게 움직이는 물체의 뚜렷한 줄무늬를 말한다. 그리고 기준값은 사람이 동영상을 볼 때, 피사체의 움직임이 끊기지 않는 정도의 프레임 레이트를 고려하여 결정된다. 예를 들면, 기준값은 60 또는 50 프레임/초로 설정될 수 있다.

도 3을 참조하면, 움직임 블러 생성부(103)는 움직임 추정부(301)와 블러 커널 추정부(303)와 블러 추가부(305)와 이미지 합성부(307)을 포함한다.

각 구성요소를 설명하면, 동영상을 촬영 중에 움직임 끊김 현상이 발생하면, 움직임 추정부(301)는 이미지 신호 처리부(203)으로부터 움직임 끊김 현상이 발생된 연속하는 두 개의 이미지들(

,

)을 수신하고, 수신된 두 개의 이미지들 사이의 움직임을 추정한다. 이때, 움직임 추정부(301)는 동영상의 프레임 레이트(frame rate)가 미리 지정된 기준값 미만인 경우, 움직임 끊김 현상이 발생한 것으로 결정한다.

좀 더 자세히 설명하면, 움직임 끊김 현상이 발생되면, 움직임 추정부(301)는 입력된 이미지를 복수 개의 일정한 크기를 가지는 블록으로 분할하고, 블록별로 움직임 벡터를 계산한다. 이때, 움직임 추정부(301)는 다음과 같은 수학식 1을 이용하여 블록별로 움직임 벡터를 계산할 수 있다.

여기서,

는 블록의 x축의 범위를 나타내고,

는 블록의 y축의 범위를 나타낸다. 그리고

은 n번째 이미지를 나타내며,

이때, 움직임 추정부(301)는 복수의 블록 중에서 어느 하나의 블록에 대한 수학식 1의 크기를 최소로 하는 △

와 △

를 추정하고, 추정된 △

와 △

를 움직임 벡터로 결정함으로써, 해당 블록에 대응하는 움직임 벡터를 계산한다. 이러한 과정을 반복함으로써, 움직임 추정부(301)는 블록별로 움직임 벡터를 계산하고, 계산된 블록별 움직임 벡터를 블러 커널 추정부(303)로 출력한다. 예를 들면, 영상이 9개의 블록으로 분할된다면, 움직임 추정부(301)는 9개의 블록에 대응되는 9개의 움직임 벡터를 계산할 수 있다.

도 5를 참조하면, 이미지(501)는 화살표를 이용하여 블록별로 움직임 벡터를 표시하고 있다. 즉, 이미지(501)에는 분할된 288개의 블록들에 대응되는 움직임 벡터들이 도시되어 있다.

본 발명의 설명을 위해, 영상이 복수의 블록으로 분할되고 움직임 벡터가 블록 별로 계산된다고 설명하였으나 이것으로 한정되지 않는다. 예를 들면, 움직임 추정부(301)는 영상을 분할하지 않고 영상 전체에 대한 움직임 벡터를 계산되거나 모든 화소에 대응되는 움직임 벡터들을 계산할 수 있다.

그리고 블러 커널 추정부(303)는 입력된 블록별 움직임 벡터를 이용하여 블록별 움직임 블러의 커널을 추정하고, 추정된 블록별 움직임 블러의 커널을 블러 추가부(305)로 출력한다. 이때, 블러 커널 추정부(303)는 움직임 벡터의 크기에 따라 움직임 블러의 커널을 추정한다.

예를 들면, 움직임 추정부(301)로부터 9개의 움직임 벡터가 입력되면, 블러 커널 추정부(303)는 9개의 움직임 벡터에 대응되는 9개의 움직임 블러의 커널을 계산할 수 있다.

또 다른 예로, 움직임 벡터가 (5, 0)인 경우, x축 방향, 즉 가로 방향으로만 움직임이 있으므로, 블러 커널 추정부(303)는 가로 방향으로의 균일 블러(uniform blur) 매트릭스를 이용하여 움직임 블러의 커널을 추정할 수 있다. 즉, 중심 값이 임의의 좌표 (x, y)라고 가정하는 경우, 움직임 벡터 (5, 0)의 움직임 블러 커널 H(x,y)는

　가 된다.

그리고 블러 추가부(305)는 블러 커널 추정부(303)로부터 입력된 블록별 움직임 블러의 커널을 이용하여 이미지

에 움직임 블러를 추가하고, 움직임 블러가 추가된 이미지

을 이미지 합성부(307)로 출력한다.

좀 더 자세히 설명하면, 블러 추가부(305)는 블록별 움직임 블러 커널 중 어느 하나와 해당 블록에 포함된 화소들 각각을 컨벌루션(convolution)한다. 블러 추가부(305)는 이러한 동작을 블록별로 수행함으로써, 이미지

에 움직임 블러를 추가한다.

이때, 블러 추가부(305)는 다음과 같은 수학식 2를 이용하여 이미지

을 생성할 수 있다.

여기서,

는 이미지 블러가 추가된 n 번째 이미지를 나타내며,

은 n 번째 이미지를 나타내고, H는 움직임 블러 커널을 나타내며, x는 이미지 내에서의 가로 좌표를 나타내고, y는 이미지 내에서의 세로 좌표를 나타낸다.

그리고 이미지 합성부(307)는 미리 지정된 가중치

를 이용하여 움직임 블러가 추가된 이미지

와 n+1 번째 이미지

를 합성함으로써, 움직임 블러가 합성된 이미지

을 생성한다. 그리고 이미지 합성부(307)는 이미지

를 표시부(107)를 통해 출력한 후,

대신에 이미지

를 출력함으로써, 움직임 끊김 현상을 방지할 수 있다.

이때, 이미지 합성부(307)는 다음과 같은 수학식 3을 이용하여 이미지

를 생성할 수 있다.

여기서,

은 움직임 블러가 합성된 이미지를 나타내며,

는 이미지 블러가 추가된 n 번째 이미지를 나타내며,

는 n+1 번째 이미지를 나타낸다. 그리고

는

와

의 합성 비율을 나타내는 가중치이며,

의 범위는 0≤

≤1이고, x는 이미지 내에서의 가로 좌표를 나타내고, y는 이미지 내에서의 세로 좌표를 나타낸다. 여기서, 가중치는 가중치의 범위 내에서 이전에 계산된 프레임 레이트에 따라 설정될 수 있다.

예를 들면, 가중치

가 0.5인 경우, 이미지 합성부(307)는 이미지

와 이미지

를 1:1로 합성할 수 있다. 또 다른 예로, 가중치

가 0.6인 경우, 이미지 합성부(307)는

와 이미지

를 6:4로 합성할 수 있다.

도 6은 본 발명의 실시 예에 따른 휴대 단말기가 이미지상에 움직임 블러를 생성하는 흐름도이다.

도 6을 참조하면, 601 단계에서, 휴대 단말기는 동영상 촬영이 요청되는지 여부를 확인한다. 만약에, 동영상 촬영이 요청되면, 휴대 단말기는 603 단계로 진행하고, 그렇지 않으면, 601 단계를 반복적으로 수행한다.

만약에, 603 단계로 진행하면, 휴대 단말기는 동영상의 프레임 레이트를 계산하고, 605 단계로 진행한다. 그리고 605 단계에서, 휴대 단말기는 계산된 프레임 레이트와 미리 지정된 기준값과 비교한다. 여기서, 기준값은 사람이 동영상을 볼 때, 피사체의 움직임이 끊기지 않는 정도의 프레임 레이트를 고려하여 결정된다. 예를 들면, 기준값은 60 프레임/분 으로 설정될 수 있다.

비교 결과, 계산된 프레임 레이트가 기준값 미만이면, 휴대 단말기는 607 단계로 진행하고, 그렇지 않으면, 603 단계로 진행한다.

만약에, 607 단계로 진행하면, 휴대 단말기는 연속하는 이미지들(

,

)간의 움직임 벡터들을 추정한 후, 609 단계로 진행한다.

좀 더 자세히 설명하면, 휴대 단말기는 연속하는 이미지들 각각을 복수 개의 일정한 크기를 가지는 블록들로 분할한다. 그리고 휴대 단말기는 이미지

의 첫 번째 블록과 이미지

의 첫 번째 블록 간의 움직임 벡터를 추정한다. 이러한 동작을 이미지

의 마지막 블록과 이미지

의 마지막 블록 간의 움직임 벡터를 추정할 때까지 반복함으로써, 휴대 단말기는 블록별 움직임 벡터를 추정할 수 있다. 이때, 휴대 단말기는 수학식 1을 이용하여 블록별 움직임 벡터를 추정할 수 있다.

그리고 609 단계에서, 휴대 단말기는 움직임 벡터들을 이용하여 움직임 블러 커널들을 추정한 후, 611 단계로 진행한다. 이때, 휴대 단말기는 블록별 움직임 벡터를 이용하여 블록별 움직임 블러 커널을 추정한다.

예를 들면, 움직임 벡터가 (5, 0)인 경우, x축 방향, 즉 가로 방향으로만 움직임이 있으므로, 휴대 단말기는 가로 방향으로의 균일 블러(uniform blur) 매트릭스를 이용하여 움직임 블러의 커널을 추정할 수 있다. 즉, 중심 값이 임의의 좌표 (x, y)라고 가정하는 경우, 움직임 벡터 (5, 0)의 움직임 블러 커널 H(x, y)는

　가 된다.

그리고 611 단계에서, 휴대 단말기는 움직임 블러 커널들을 이용하여 이미지

에 움직임 블러를 추가함으로써, 움직임 블러가 추가된 이미지

을 생성한 후, 613 단계로 진행한다.

좀 더 자세히 설명하면, 휴대 단말기는 블록별 움직임 블러 커널 중 어느 하나와 해당 블록에 포함된 화소들 각각을 컨벌루션(convolution)한다. 블러 추가부(305)는 이러한 동작을 블록별로 수행함으로써, 이미지

을 생성한다. 이때, 휴대 단말기는 수학식 2를 이용하여 이미지

을 생성할 수 있다.

그리고 613 단계에서, 휴대 단말기는 미리 지정된 가중치

를 이용하여 움직임 블러가 추가된 이미지

과 이미지

을 합성함으로써, 이미지

을 생성한다. 그리고 휴대 단말기는 이미지

를 표시하고, 이미지

대신에 생성된 이미지

를 표시한 후, 603 단계로 진행한다.

예를 들면, 가중치

가 0.5인 경우, 이미지 합성부(307)는 이미지

와 이미지

를 1:1로 합성할 수 있다. 또 다른 예로, 가중치

가 0.6인 경우, 이미지 합성부(307)는

와 이미지

를 6:4로 합성할 수 있다.

이때, 이미지 합성부(307)는 위에서 언급된 수학식 3을 이용하여 이미지

를 생성할 수 있다.

도 7은 본 발명의 실시 예에 따라 움직임 블러가 생성된 이미지를 나타내는 도면이다.

도 7을 참조하면, 제1이미지(701)는 연속하는 이미지들 중에서 이미지

을 나타내고, 제2이미지(703)는 연속하는 이미지들 중에서 이미지 을 나타낸다. 그리고 제3이미지(705)는 움직임 블러가 생성된 이미지

을 나타낸다.

휴대 단말기는 제1이미지(701)과 제2이미지(703) 각각을 복수 개의 블록들로 분할하고, 제1이미지(701)과 제2이미지(703) 간의 블록별 움직임 벡터를 추정하고, 블록별 움직임 벡터를 이용하여 블록별 움직임 블러 커널을 추정한다. 그리고 휴대 단말기는 블록별 움직임 블러 커널을 이용하여 제1이미지(701) 상에 움직임 블러를 추가함으로써 제4이미지를 생성하고, 가중치를 이용하여 제4이미지와 제2이미지(703)를 합성함으로써, 제3이미지(705)를 생성한 후, 표시한다.

이러한 동작을 통해, 본 발명은 이미지상에 움직임 블러를 생성함으로써, 움직임 끊김 현상을 방지하는 효과를 달성할 수 있다.

상술한 본 발명의 설명에서는 이동통신단말기와 같은 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 특허 범위는 상기 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위뿐 아니라 균등 범위에도 미침은 자명할 것이다.

101: 제어부 103: 움직임 블러 생성부
105: 카메라부 107: 표시부
109: 키입력부 111: 메모리부
113: RF부 115: 데이터 처리부
117: 오디오 처리부
201: 이미지 센서부 203: 이미지 신호 처리부
301: 움직임 추정부 303: 블러 커널 추정부
305: 블러 추가부 307: 이미지 합성부

Claims

휴대 단말기에서 움직임 블러를 생성하는 장치에 있어서,
동영상 촬영 중에 움직임 끊김 현상이 발생하면, 상기 움직임 끊김 현상이 발생된 연속하는 제1이미지와 제2이미지 간의 블록별 움직임 벡터를 추정하며, 상기 블록별 움직임 벡터를 이용하여 움직임 블러를 상기 제1이미지에 적용하고, 상기 움직임 블러가 적용된 상기 제1이미지와 상기 제2이미지를 합성하는 움직임 블러 생성부; 및
상기 합성된 이미지를 표시하는 표시부를 포함하는 것을 특징으로 하는 움직임 블러 생성 장치.
제1항에 있어서,
상기 움직임 블러 생성부는, 동영상의 프레임 레이트(frame rate)를 계산하고, 상기 프레임 레이트가 미리 지정된 기준값 미만이면, 상기 움직임 끊김 현상이 발생한 것으로 결정하는 것을 특징으로 하는 움직임 블러 생성 장치.
제1항에 있어서,
상기 움직임 블러 생성부는, 상기 제1이미지와 상기 제2이미지를 복수 개의 블록들로 각각 분할하고, 상기 제1이미지의 블록들과 상기 제2이미지의 블록들 간의 블록별 움직임 벡터를 추정하는 움직임 추정부와,
상기 블록별 움직임 벡터를 이용하여 블록별 움직임 블러 커널을 추정하는 블러 커널 추정부와,
상기 블록별 움직임 블러 커널을 이용하여 상기 제1이미지 상에 움직임 블러를 추가함으로써 제3이미지를 생성하는 블러 추가부와,
상기 제3이미지와 상기 제2이미지를 합성함으로써 제4이미지를 생성하는 이미지 합성부를 포함하는 것을 특징으로 하는 움직임 블러 생성 장치.
제3항에 있어서,
상기 표시부는, 상기 제1이미지를 표시한 후, 상기 제2이미지 대신에 상기 제4이미지를 표시하는 것을 특징으로 하는 움직임 블러 생성 장치.
제3항에 있어서,
상기 이미지 합성부는, 상기 제3이미지와 상기 제2이미지의 합성 비율을 나타내는 가중치를 이용하여 상기 제3이미지와 상기 제2이미지를 합성하는 것을 특징으로 하는 움직임 블러 생성 장치.
휴대 단말기에서 움직임 블러를 생성하는 방법에 있어서,
동영상 촬영 중에 움직임 끊김 현상이 발생하는지 여부를 결정하는 과정과,
상기 움직임 끊김 현상이 발생하면, 상기 움직임 끊김 현상이 발생된 연속하는 제1이미지와 제2이미지 간의 블록별 움직임 벡터를 추정하는 과정과,
상기 블록별 움직임 벡터를 이용하여 움직임 블러를 상기 제1이미지에 적용하고, 상기 움직임 블러가 적용된 상기 제1이미지와 상기 제2이미지를 합성하는 과정과,
상기 합성된 이미지를 표시하는 과정을 포함하는 것을 특징으로 하는 움직임 블러 생성 방법.
제6항에 있어서,
상기 결정하는 과정은, 동영상의 프레임 레이트(frame rate)를 계산하고, 상기 프레임 레이트가 미리 지정된 기준값 미만이면, 상기 움직임 끊김 현상이 발생한 것으로 결정하는 것을 특징으로 하는 움직임 블러 생성 방법.
제6항에 있어서,
상기 추정하는 과정은, 상기 제1이미지와 상기 제2이미지를 복수 개의 블록들로 각각 분할하는 과정과,
상기 제1이미지의 블록들과 상기 제2이미지의 블록들 간의 블록별 움직임 벡터를 추정하는 과정을 포함하는 것을 특징으로 하는 움직임 블러 생성 방법
제6항에 있어서,
상기 합성하는 과정은, 상기 블록별 움직임 벡터를 이용하여 블록별 움직임 블러 커널을 추정하는 과정과,
상기 블록별 움직임 블러 커널을 이용하여 상기 제1이미지 상에 움직임 블러를 추가함으로써 제3이미지를 생성하는 과정과, 및
상기 제3이미지와 상기 제2이미지를 합성함으로써 제4이미지를 생성하는 과정을 포함하고,
상기 합성된 이미지를 표시하는 과정은, 상기 제4이미지를 표시하는 과정을 포함하는 것을 특징으로 하는 움직임 블러 생성 방법.
제9항에 있어서,
상기 제4이미지를 표시하는 과정은, 상기 제1이미지를 표시한 후, 상기 제2이미지 대신에 상기 제4이미지를 표시하는 것을 특징으로 하는 움직임 블러 생성 방법.
제9항에 있어서,
상기 제4이미지를 표시하는 과정은, 상기 제3이미지와 상기 제2이미지의 합성 비율을 나타내는 가중치를 이용하여 상기 제3이미지와 상기 제2이미지를 합성하는 것을 특징으로 하는 움직임 블러 생성 방법.