KR100629885B1

KR100629885B1 - 이동 통신 단말기의 동영상 녹화 및 재생 장치

Info

Publication number: KR100629885B1
Application number: KR1020050005920A
Authority: KR
Inventors: 황정환; 김성훈
Original assignee: 엘지전자 주식회사
Priority date: 2005-01-21
Filing date: 2005-01-21
Publication date: 2006-09-29
Also published as: KR20060085020A

Abstract

본 발명은 동영상 녹화 및 재생 시 영상의 화질을 개선할 수 있도록 하는 이동 통신 단말기의 동영상 녹화 및 재생 장치에 관한 것으로, 동영상을 촬영하여 보간없이 엘시디에 바로 출력할 수 있도록, 엘시디와 동일한 크기로 동영상을 촬영하는 카메라 모듈과; 상기 촬영된 동영상 신호를 카메라 모듈 내부적으로 저장하는 카메라 버퍼와; 상기 카메라 버퍼에 저장된 영상을 동영상 파일의 크기에 맞도록 재조정(Resize)하여 저장하는 인코더 버퍼와; 상기 인코더 버퍼에 저장된 동영상 신호를 인코딩하여 엠펙 파일을 생성하는 동영상 인코더를 포함하여 동영상 녹화 장치를 구성하고, 또한, 동영상 파일을 디코딩 하기 위한 동영상 디코더와; 상기 동영상 디코더를 통해 디코딩된 동영상 데이터를 저장하는 디코더 버퍼와; 상기 디코더 버퍼에 저장된 동영상을 출력할 엘시디의 크기에 맞도록 크기를 재조정(Resize)하여 저장하는 엘시디 버퍼와; 상기 엘시디 버퍼를 통해 출력되는 영상을 필터링하여 보상하기 위한 가우시안 필터와; 상기 가우시안 필터를 통해 보상 출력되는 영상을 디스플레이 하는 엘시디를 포함하여 동영상 재생장치를 구성함으로써 달성할 수 있다.

Description

이동 통신 단말기의 동영상 녹화 및 재생 장치{VIDEO RECODING AND PLAYING APPARATUS FOR MOBILE COMMUNICATION DEVICE}

도 1은 종래 이동 통신 단말기에서의 동영상 녹화를 위한 장치의 구성을 보인 블록도.

도 2는 종래 이동 통신 단말기에서의 동영상 재생을 위한 장치의 구성을 보인 블록도.

도 3은 종래 이동 통신 단말기에서의 동영상 재생 시 발생하는 계단 현상 화면을 보인 예시도.

도 4는 본 발명에 따른 이동 통신 단말기에서의 동영상 녹화를 위한 장치의 구성을 보인 블록도.

도 5는 본 발명에 따른 이동 통신 단말기에서의 동영상 재생을 위한 장치의 구성을 보인 블록도.

도 6은 본 발명에 따른 서브 샘플링 및 업 샘플링에 의한 보간법을 설명하기 위한 예시도.

도 7은 본 발명에 따른 이동 통신 단말기에서의 동영상 녹화 과정을 보인 순서도.

도 8은 본 발명에 따른 이동 통신 단말기에서의 동영상 재생 과정을 보인 순서도.

*도면의 주요 부분에 대한 부호의 설명*

401 : 카메라 모듈 402 : 카메라 버퍼

403, 505 : 엘시디 404 : 인코더 버퍼

405 : 동영상 인코더 501 : 동영상 디코더

502 : 디코더 버퍼 503 : 엘시디 버퍼

본 발명은 이동 통신 단말기의 동영상 녹화 및 재생 장치에 관한 것으로, 특히 이동 통신 단말기를 이용한 동영상 녹화 시 영상 소스와 엘시디 화면의 크기 차이로 인해 발생하는 계단현상을 제거하고, 동영상 파일의 재생 시 가우시안 필터링에 의하여 계단현상을 재차 제거함으로써, 동영상 녹화 및 재생 시 영상의 화질을 개선할 수 있도록 하는 이동 통신 단말기의 동영상 녹화 및 재생 장치에 관한 것이다.

최근 이동 통신 단말기에는 소형 카메라 모듈을 내장하는 경우가 대부분인데, 초기의 카메라 모듈을 내장한 단말기(카메라 폰)는 정지 영상 촬영 기능에 주안점을 둔데 비하여, 최근에 출시되는 카메라 폰은 동영상 녹화 및 재생 기능까지 추가되는 경우가 대부분이다.

그러나, 상기 기능(정지영상 촬영, 동영상 녹화)에 따른 영상의 화질에는 많은 차이가 발생하는데, 정지영상 촬영의 경우에는 백만 화소 이상의 고화질 촬영이 가능하지만, 동영상 녹화의 경우에는 QCIF(176*144), QVGA(320*240) 크기가 주로 사용된다.

상기와 같이 동영상 녹화에 사용되는 영상은 비교적 화소수가 적고 풍경화 형태(가로가 세로보다 긴 형태)인데 비하여, 엘시디의 크기는 QVGA 급 이상이며 초상화 형태(세로가 가로보다 긴 형태)이기 때문에, 동영상 녹화된 영상 소스와 엘시디에 표시되는 영상 사이에 화질의 차이가 발생하게 된다.

도1은 종래 이동 통신 단말기에서의 동영상 녹화를 위한 장치의 구성을 보인 블록도로서, 이에 도시된 바와 같이 카메라 모듈(101)을 통해 지정된 크기(QCIF, QVGA 등)로 촬영된 동영상 신호(YUV 4:2:2)를 저장하는 카메라 버퍼(102)와; 상기 동영상 신호(YUV 4:2:2)를 평면 타입의 신호(YUV 4:2:0)로 포맷 변환하여 엠펙 파일로 출력하는 동영상 인코더(104)와; 상기 카메라 버퍼에 저장된 영상을 엘시디(105)에 출력할 수 있는 크기로 재조정(Resize)하여 저장하는 엘시디 버퍼(103)와; 상기 엘시디 버퍼를 통해 출력되는 영상을 출력하는 엘시디(105)를 포함하여 구성한다.

이때, 상기 카메라 모듈을 통해 촬영한 이미지의 크기와 동영상 인코딩 파일의 크기는 동일하기 때문에, 동영상 녹화를 위해서는 별도의 크기 재조정이 필요하지 않지만, 상술한 바와 같이 촬영된 이미지와 엘시디는 그 크기가 다르기 때문에, 엘시디에 출력하기 전 반드시 영상의 크기를 재조정(Resize)할 필요가 있다.

즉, 일반적으로 동영상의 크기보다 엘시디에 표시할 영상이 더 크므로, 카메라 버퍼의 영상을 업 샘플(Up Sample)하여 엘시디 버퍼에 복사하게 되고, 엘시디 드라이버에 의해 엘시디 버퍼의 내용을 디스플레이 하게 된다.

도2는 종래 이동 통신 단말기에서의 동영상 재생을 위한 장치의 구성을 보인 블록도로서, 이에 도시된 바와 같이 파일 단위의 동영상 파일(예 : 엠펙 파일)을 디코딩하여 동영상 재생 신호(YUV 4:2:0)를 출력하는 동영상 디코더(201)와; 상기 동영상 디코더를 통해 디코딩된 동영상 재생 신호를 저장하는 디코더 버퍼(202)와; 상기 디코더 버퍼에 저장된 동영상을 엘시디(204)에 출력할 수 있는 크기로 재조정(Resize)하여 저장하는 엘시디 버퍼(203)와; 상기 엘시디 버퍼를 통해 출력되는 영상을 출력하는 엘시디(204)를 포함하여 구성한다.

이때, 상기 동영상 파일을 재생할 경우에도 그 동영상 파일의 크기는 카메라 모듈을 통해 촬영된 영상의 크기와 동일하므로, 그 동영상의 이미지 크기보다 큰 엘시디에 동영상을 표시하기 위해서는, 디코더 버퍼의 영상을 업 샘플링(Up Sampling)하여 엘시디의 크기에 맞게 재조정(Resize)하여 엘시디 버퍼에 복사하게 되고, 엘시디 드라이버에 의해 그 엘시디 버퍼에 저장된 내용을 디스플레이 하게 된다.

상기와 같이 종래의 동영상 녹화 및 재생 장치에서는 동영상 인코딩 크기와 엘시디의 크기가 다르기 때문에, 영상을 엘시디의 크기에 맞춰 표시하기 위해서는 카메라 영상의 보간(Interpolation)이 필요한데, 이동 통신 단말기의 연산처리 능력의 한계로 인하여 단순한 보간법(Nearest Neighbor Interpolation)만 적용 가능함으로써, 도3에 도시된 바와 같이 엘시디에 출력되는 영상에 계단 현상이 발생하는 문제점이 있다.

따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 창출한 것으로, 이동 통신 단말기를 이용한 동영상 녹화 시 영상 소스와 엘시디 화면의 크기 차이로 인해 발생하는 계단현상을 제거하고, 동영상 파일의 재생 시 가우시안 필터링에 의하여 계단현상을 재차 제거함으로써, 동영상 녹화 및 재생 시 영상의 화질을 개선할 수 있도록 하는 이동 통신 단말기의 동영상 녹화 및 재생 장치를 제공함에 그 목적이 있다.

이와 같은 목적을 달성하기 위한 본 발명은, 동영상을 촬영하여 보간없이 엘시디에 바로 출력할 수 있도록, 엘시디와 동일한 크기로 동영상을 촬영하는 카메라 모듈과; 상기 촬영된 동영상 신호를 카메라 모듈 내부적으로 저장하는 카메라 버퍼와; 상기 카메라 버퍼에 저장된 영상을 동영상 파일의 크기에 맞도록 재조정(Resize)하여 저장하는 인코더 버퍼와; 상기 인코더 버퍼에 저장된 동영상 신호를 인코딩하여 엠펙 파일을 생성하는 동영상 인코더를 포함하여 구성한 것을 특징으로 한다.

또한, 본 발명은 상기 목적을 달성하기 위하여, 동영상 파일을 디코딩 하기 위한 동영상 디코더와; 상기 동영상 디코더를 통해 디코딩된 동영상 데이터를 저장하는 디코더 버퍼와; 상기 디코더 버퍼에 저장된 동영상을 출력할 엘시디의 크기에 맞도록 크기를 재조정(Resize)하여 저장하는 엘시디 버퍼와; 상기 엘시디 버퍼를 통해 출력되는 영상을 필터링하여 보상하기 위한 가우시안 필터와; 상기 가우시안 필터를 통해 보상 출력되는 영상을 디스플레이 하는 엘시디를 포함하여 구성한 것을 특징으로 한다.

본 발명은 이동 통신 단말기에서 녹화한 동영상을 재생할 때, 녹화된 동영상의 이미지와 엘시디의 크기 차이로 인하여, 엘시디 화면에 발생하는 계단현상을 제거하기 위한 장치의 제공을 요지로 한다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.

우선, 각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.

또한, 하기의 설명에서 구체적인 처리흐름과 같은 많은 특정 상세들은 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있으며, 이들 특정 상세들 없이 본 발명이 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게는 자명할 것이다.

그리고, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

도4는 본 발명에 따른 이동 통신 단말기에서의 동영상 녹화를 위한 장치의 구성을 보인 블록도로서, 이에 도시된 바와 같이 동영상을 촬영하여 보간없이 엘시디(403)에 바로 출력할 수 있도록, 엘시디와 동일한 크기로 동영상을 촬영하는 카메라 모듈(401)과; 상기 카메라 모듈을 통해 촬영된 동영상 신호(YUV 4:2:2)를 내부적으로 저장하는 카메라 버퍼(402)와; 상기 카메라 버퍼에 저장된 영상을 동영상 파일의 크기에 맞도록 재조정(Resize)하여 저장하는 인코더 버퍼(404)와; 상기 인코더 버퍼에 저장된 동영상 신호를 포맷 변환(YUV 4:2:2 →YUV 4:2:0)한 후 인코딩하여 엠펙 파일을 생성하는 동영상 인코더(405)를 포함하여 구성한다.

즉, 종래의 경우에는 카메라 모듈에서 출력되는 카메라 신호가 동영상 녹화용 크기로 출력하기 때문에, 그 녹화 영상을 인코딩과 동시에 엘시디에 출력하기 위해서는 엘시디의 크기에 맞도록 보간을 수행해야 했다.

그러나, 본 발명에서는 상기 카메라 모듈(401)에서 출력하는 카메라 신호를, 동영상 녹화용 크기로 출력하지 않고 엘시디 화면 크기로 출력하게 함으로써, 동영상 녹화 시 엘시디로 출력하는 화면을 보간 없이 카메라 버퍼를 통해 바로 출력할 수 있게 되어 엘시디 화질을 향상시킬 수 있도록 한다. 즉, 영상 출력 시 엘시디에 계단 현상이 발생하지 않도록 하는 것이다.

한편, 상기 동영상 인코딩에 사용할 영상은 상기 카메라 버퍼에 저장된 영상을 서브 샘플링(Sub Sampling) 하여 인코더 버퍼에 저장한 후, 동영상 인코더(405)를 통해 인코딩 하여 동영상 파일(엠펙 파일)로 저장하게 된다.

도5는 본 발명에 따른 이동 통신 단말기에서의 동영상 재생을 위한 장치의 구성을 보인 블록도로서, 이에 도시된 바와 같이 파일 단위의 동영상 데이터를 디코딩하여 동영상 재생 신호(YUV 4:2:0)를 출력하는 동영상 디코더(501)와; 상기 동영상 디코더를 통해 디코딩된 동영상 재생 신호를 저장하는 디코더 버퍼(502)와; 상기 디코더 버퍼에 저장된 동영상을 엘시디(505)에 출력할 수 있는 크기로 재조정(Resize)하여 저장하는 엘시디 버퍼(503)와; 상기 엘시디 버퍼를 통해 출력되는 영 상을 필터링하여 보상하기 위한 가우시안 필터(504)와; 상기 가우시안 필터를 통해 보상 출력되는 영상을 디스플레이 하는 엘시디(505)를 포함하여 구성한다.

즉, 종래에는 디코딩된 동영상의 크기와 엘시디의 크기가 다르더라도, 별도의 보상없이 동영상을 그대로 디스플레이 함으로써, 엘시디에 디스플레이 되는 영상에 계단 현상이 발생하였으나, 본 발명에서는 녹화 시 서브 샘플링에 의해 저하된 화질을 동영상 재생 시 가우시안 필터를 통하여 보상한다.

다시 말해, 이동 통신 단말기를 이용한 동영상 녹화시에는 인코딩 자체의 연산량이 많으므로, 종래와 같은 간단한 보간법(Nearest Neighbor Interpolation)에 의한 서브 샘플링 정도가 가능하지만, 동영상 재생시에는 디코딩의 연산량이 작으므로 가우시안 필터를 통해, 상기 인코딩 시 서브 샘플링으로 열화된 화질을 보상할 수 있도록 하는 것이다.

예컨대, 240*320의 화소를 갖는 카메라 모듈을 이용하여, 동영상 인코딩(QCIF : 176*144)과 동시에 '228*187' 크기의 LCD 디스플레이를 갖는 이동 통신 단말기를 개발하는 경우에 대하여 설명하면 다음과 같다.

우선, 동영상 녹화 시 각 모듈에서의 해상도는 다음 표1과 같다.

카메라 모듈	카메라 버퍼	인코더 버퍼
228*187	228*187	176*144

이때, 카메라 버퍼의 이미지를 보간법(Nearest Neighbor Interpolation)을 이용해 1.3 비율로 서브 샘플링(Sub Sampling) 하여 축소시킨다.

즉, 도6에 도시된 바와 같이 13 픽셀 중 10 픽셀이 가로 방향과 세로 방향을 따라서 서브 샘플링 한다. 서브 샘플링 알고리즘은 다음 수학식 1과 같다.

for(j=0; j<height; j+=13)

{

for(i=0; l<width; i+=13)

{

Input[i,j] = Orgimage[i,j];

]

Outimage[i,j]=subsample13to10(input);

}

여기서, Width, height : 카메라 이미지의 가로, 세로 폭.

Orgimage : 서브 샘플링 이전의 카메라 버퍼에 저장된 영상.

Outimage : 서브 샘플링 후 인코더 버퍼에 저장되는 영상.

Input : 13*13 매트릭스를 저장하는 임시 공간.

Subsample13to10() : 도6에 도시된 방법으로 13*13 메트릭스를 서브 샘플링하여 10*10 메트릭스로 변환하는 함수.

상기와 같은 방법으로 서브 샘플링된 영상을 인코더 버퍼에 저장한 후, 엠펙 등으로 압축하여 저장하고, 엘시디에는 카메라 버퍼의 영상을 그대로 엘시디 드라이버를 통하여 디스플레이 한다.

다음, 동영상 재생 시 각 모듈에서의 해상도는 다음 표2와 같다.

엠펙 디코더	엘시디 버퍼	엘시디
176*144	228*187	228*187

즉, 엠펙 등의 동영상 디코더로부터 176*144의 이미지 데이터가 출력되면, 그 디코딩 영상을 업 샘플링 하여 엘시디 크기에 맞추어 변환한 후 엘시디 버퍼에 저장한다. 이때 업 샘플링 방법은 도6의 역순으로 진행된다.

상기 업 샘플링 결과 생성된 이미지는 엠펙 인코딩/디코딩 시의 데이터 손실에 의하여 고주파 성분이 소실되었기 때문에, 계단 현상이 종래에 적용된 방법보다 훨씬 줄어들게 된다.

즉, 15fps(frame per sec) 의 동영상 재생시에는 66msec 에 한 프레임만 표시하면 되므로, CPU 성능의 여유가 동영상 녹화시 보다 많이 발생한다. 따라서, 업 샘플링 한 후 가우시안 필터링을 통하여 남아있는 계단현상의 영향을 소거시킬 수 있다.

참고로, 상기 본 발명에서 사용된 가우시안 필터(H)는 다음 수학식 2와 같이 구현된다.

A =

B = EXP[A/(2*S²)}

H = B / ∑B

다음, 상기 가우시안 필터에 의하여 계단현상이 보정된 영상을 엘시디 드라이버에 의하여 출력시킨다.

도7은 본 발명에 따른 이동 통신 단말기에서의 동영상 녹화 과정을 보인 순서도로서, 이에 도시된 바와 같이 카메라 모듈을 통해 엘시디와 동일한 크기의 동영상을 녹화하여, 그 녹화된 영상을 카메라 버퍼에 저장한다.

다음, 상기 카메라 버퍼에 저장된 영상은 엘시디와 크기가 동일하므로, 크기 재조정 없이 그대로 엘시디로 출력하여 디스플레이하고, 아울러 상기 카메라 버퍼의 영상을 서브 샘플링하여 인코딩을 위한 크기로 변환하여 인코더 버퍼에 저장한 후, 그 인코더 버퍼에 저장된 영상을 인코딩 하여 동영상 파일로 출력한다.

즉, 엘시디 화면에 디스플레이 되는 영상은 카메라 모듈에서 출력하는 카메라 신호를 보간없이 그대로 출력하기 때문에, 종래와 같은 계단 현상이 발생하지 않게 되어 화질을 향상시킬 수 있게 되고, 아울러, 동영상 인코딩을 통해 생성할 동영상 파일(엠펙 파일)은, 카메라 버퍼에 저장된 영상을 서브 샘플링(Sub Sampling) 하여 인코더 버퍼에 저장한 후 사용하게 된다.

도8은 본 발명에 따른 이동 통신 단말기에서의 동영상 재생 과정을 보인 순서도로서, 이에 도시된 바와 같이 동영상 파일을 디코딩 하여 그 디코딩된 동영상 데이터를 디코더 버퍼에 저장한다.

다음, 상기 디코더 버퍼에 저장된 동영상을 엘시디에 출력하기 위하여 업 샘플링을 통해 엘시디의 크기에 맞도록 영상의 크기를 재조정한 후, 그 재조정된 영상을 엘시디 버퍼에 저장한다.

다음, 상기 엘시디 버퍼에 저장된 영상을 가우시안 필터에 의해 필터링하여 영상을 보상함으로써 계단 현상이 제거된 영상을 엘시디를 통해 디스플레이하게 된다.

이상에서 설명한 바와 같이 본 발명 이동 통신 단말기의 동영상 녹화 및 재생 장치는 이동 통신 단말기를 이용한 동영상 녹화 시 영상 소스와 엘시디 화면의 크기 차이로 인해 발생하는 계단현상을 제거하고, 동영상 파일의 재생 시 가우시안 필터링에 의하여 계단현상을 재차 제거함으로써, 동영상 녹화 및 재생 시 영상의 화질을 개선할 수 있도록 하는 효과가 있다.

Claims

동영상을 촬영하여 보간없이 엘시디에 바로 출력할 수 있도록, 엘시디와 동일한 크기로 동영상을 촬영하는 카메라 모듈과;

상기 촬영된 동영상 신호를 카메라 모듈 내부적으로 저장하는 카메라 버퍼와;

상기 카메라 버퍼에 저장된 영상을 동영상 파일의 크기에 맞도록 재조정(Resize)하여 저장하는 인코더 버퍼와;

상기 인코더 버퍼에 저장된 동영상 신호를 인코딩하여 엠펙 파일을 생성하는 동영상 인코더를 포함하여 구성한 것을 특징으로 하는 이동 통신 단말기의 동영상 녹화 장치.
제1항에 있어서, 상기 인코딩할 영상의 크기 재조정은 상기 카메라 버퍼에 저장된 영상을 서브 샘플링(Sub Sampling)을 통해 조정 하도록 이루어진 것을 특징으로 하는 이동 통신 단말기의 동영상 녹화 장치.
동영상 파일을 디코딩 하기 위한 동영상 디코더와;

상기 동영상 디코더를 통해 디코딩된 동영상 데이터를 저장하는 디코더 버퍼와;

상기 디코더 버퍼에 저장된 동영상을 출력할 엘시디의 크기에 맞도록 크기를 재조정(Resize)하여 저장하는 엘시디 버퍼와;

상기 엘시디 버퍼를 통해 출력되는 영상을 필터링하여 보상하기 위한 가우시안 필터와;

상기 가우시안 필터를 통해 보상 출력되는 영상을 디스플레이 하는 엘시디를 포함하여 구성한 것을 특징으로 하는 이동 통신 단말기의 동영상 재생 장치.
제3항에 있어서, 상기 가우시안 필터(H)는 다음 수학식 1에 의해 구현하는 것을 특징으로 하는 이동 통신 단말기의 동영상 재생 장치.

(수학식 1)

A =

B = EXP[A/(2*S²)}

H = B / ∑B