KR100669622B1

KR100669622B1 - 휴대 영상 단말기의 오디오 및 비디오 동기화 방법

Info

Publication number: KR100669622B1
Application number: KR1020040118404A
Authority: KR
Inventors: 김성진
Original assignee: 엘지전자 주식회사
Priority date: 2004-12-31
Filing date: 2004-12-31
Publication date: 2007-01-15
Also published as: KR20060078446A

Abstract

본 발명은 영상 단말기에 있어서, 특히 영상 통화 또는 녹화에 따른 동영상 모드시 카메라에 의해 발생되는 오디오와 비디오의 동기 문제를 해결할 수 있도록 한 것으로, 본 발명에 따른 휴대 영상 단말기의 오디오 및 비디오 동기화 방법은, 휴대 영상 단말기를 통해 영상 통화 중, 카메라가 비정상적으로 오프되면 비디오 코덱의 압축 동작을 멈추지 않고 계속 수행하여, 시간적 기준 값을 카운트시켜 주며, 상기 카메라가 온 되면 그 시점의 마지막 시간적 기준 값을 비디오 스트림의 픽쳐 레이어에 채워 넣어, 오디오 및 비디오 동기를 맞추어 줌으로써, 카메라의 비정상적인 동작에 의한 오디오와 비디오 동기가 일치하지 않는 문제를 해결할 수 있다.

영상 단말기, 카메라, TR, 동기

Description

휴대 영상 단말기의 오디오 및 비디오 동기화 방법{Synchronization method for audio and video of mobile picture phone}

도 1은 휴대 영상 통화를 위한 이동통신 시스템 구성도.

도 2는 H.263 스트림의 픽쳐 레이어를 나타낸 구성도.

도 3은 종래 영상 통화에 따른 오디오 및 비디오 동기 상태를 나타낸 도면.

도 4는 종래 영상 통화 시 오디오 및 비디오 동기 에러를 나타낸 도면.

도 5는 본 발명 실시 예에 따른 휴대 영상 단말기의 구성도.

도 6은 본 발명에 따른 영상 통화 중 오디오 및 비디오 동기 상태를 나타낸 도면.

도 7은 본 발명 실시 예에 따른 휴대 영상 단말기의 오디오 및 비디오 동기화 방법을 나타낸 플로우 챠트.

<도면의 주요부분에 대한 부호의 설명>

11...고주파부 12...모뎀 칩

12a...타이머 12b...오디오 코덱

13...오디오 처리부 14...스피커

15...마이크 16...키 입력부

17...DSP 칩 17a...비디오 코덱

18...카메라부 19...LCD부

20...메모리부

본 발명은 영상 단말기에 있어서, 특히 영상 통화 또는 녹화에 따른 동영상 모드시 카메라에 의해 발생되는 오디오와 비디오의 동기 문제를 해결할 수 있도록 한 휴대 영상 단말기의 오디오 및 비디오 동기화 방법에 관한 것이다.

도 1은 전형적인 멀티미디어 이동 통신 시스템을 나타낸다. 제1 멀티미디어 이동 단말기(이하 영상 단말기라 지칭함)(1)는 이동 통신 네트워크(4)로의 무선 링크(3)를 경유하여 제2 영상 단말기(2)와 통신한다. 멀티미디어 데이터뿐만 아니라 제어 데이터도 상기 2개의 단말기(1, 2)간에 전송된다.

상기 영상 단말기(1,2)는 영상 통화를 위해 카메라를 통해 캡쳐된 영상을 상대방으로 부호화하여 전송하게 된다. 이때 상대방으로부터 수신된 멀티미디어 데이터를 수신하여 내부 코덱에 의해 복호화한 다음 디스플레이(7) 및 스피커를 통해 재생시켜 줌으로써, 상대방과의 영상 통화가 가능하게 된다.

종래의 영상전화에서는 영상전화를 사용하는 동안에는 카메라가 꺼지거나, 오디오 비디오를 보내는 도중 비디오를 끊었을 때에 대해서는 고려하지 않았다. 따라서 이러한 경우가 발생하는 경우 오디오/비디오 동기설정 방식에 의해서 필연적 으로 오디오/비디오 동기가 깨지게 된다.

종래의 영상전화에서의 동기 설정 방식은 H.263의 픽쳐 레이어(Picture layer)에 있는 시간적 기준(TR: Temporal Reference)값을 이용해 맞춘다. 시간적 기준(TR)은 프레임 레이트(frame rate) 설정시 사용되는데, 설정된 프레임 레이트에 따라서 프레임간 간격이 결정되고, 이 간격의 합이 시간적 기준으로 들어가게 된다. 시간적 기준은 8bit로 되어 있어 0~255사이의 값을 가지게 되는데, 그 값이 255보다 크게 되면 다시 0부터 카운트를 시작하게 된다. 비디오의 압축이 한 장 한 장의 프레임의 압축으로 이루어 지므로 한 프레임을 압축할 때마다 픽쳐 레이어(Picture layer)가 생기고 그때마다 계산된 시간적 기준(TR)값을 가진다. 따라서 비디오 압축이 끝날 때까지는 계속해서 이 값을 가지고 동기를 맞추게 된다.

도 2는 H.263 스트림의 픽쳐 레이어를 나타낸다. 압축되는 각 프레임마다 픽쳐 레이어를 가지게 되고, 픽쳐 시작 코드(PSC: Picture Start Code) (22bit) 이후에 시간적 기준(TR) 값으로 8bit가 오게 된다.

H.263 비트 스트림은 도 2와 같은 형식을 갖는다. 각 부분에 대한 서술자(descriptor)는 다음과 같다.

픽쳐 시작 코드(PSC; picture start code)는 화상의 시작을 나타낸다. 시간적 참조(TR; Temporal Reference)는 시간적으로 이전 참조 화상 헤더의 값을, 이전에 전송된 것 이후에 생략되거나 비-참조된 화상들의 수 더하기 1만큼을 증가시킴으로써 형성된다.

PTYPE은 화상 부호화 유형의 상세를 나타내며, 코드 에뮬레이션을 시작하지 못하도록 하는 비트, H.261과 구분하기 위한 비트, 스크린 표시자, 문서 카메라 표시자 등의 온오프를 나타내는 비트 등을 포함하는 부호워드이다. PQUANT은 다음의 GQUANT 또는 DQUANT에 의해 갱신될 때까지 화상에 대해 사용되는 양자화기를 나타내는 부호워드이다. CPM(Continuous Presence Multipoint)는 CPM 모드의 사용 여부를 나타내는 부호워드이다. 이 밖에도, PSBI(Picture Sub Bitstream Indicator) (2 bits), TR_B (Temporal Reference for B-pictures) (3 bits), DBQUANT(Quantization information for B-pictures) (2 bits) 등의 코드워드가 포함된다.

여기서, 상기 시간적 기준은 설정된 비트 레이트나 프레임 레이트에 따른 프레임간 간격을 나타내고, 0~255 사이의 값을 가지게 된다. 상기 시간적 기준 값은 TR(Current) = TR(Previous) + frame interval , (0≤TR<256, TR은 정수)이 된다.

따라서 계산되는 시간적 기준 값을 이용해 스킵(SKIP)해야 할 입력 프레임 수를 알 수 있고 이로 인해서 오디오와 비디오 사이의 동기를 맞출 수 있게 된다.

예를 들어, 초당 30프레임(30 fps)로 입력되는 카메라를 이용해 초당 7.5fps로 H.263압축을 하게된다면 이상적인 경우, 프레임간 간격은 4가 되고 0, 4, 8, 12,...,252, 0,... 의 형태로 구성이 된다.

도 3은 이상적인 경우의 초당 30프레임(30fps) 입력의 카메라를 통해 7.5 fps로 압축할때의 시간적 기준과 오디오 비디오간의 동기를 나타내며, 이를 통해 영상 전화를 수행할 수가 있게 된다.

만약 영상전화 도중, 카메라를 끄게 된다거나 입력이 되지 않게 되는 경우, 카메라의 설정이 꺼짐으로 되면 현재의 영상전화에서 비디오는 일시 정지 상태가 된다. 이때, H.263의 시간적 기준 값의 증가는 멈춰지게 된다. 이 상황에서 비디오는 정지되어 있지만, 오디오는 계속 압축이 되어서 전달되며, 상대방은 음성을 듣고 있는 상황이다. 여기서 카메라의 설정을 다시 켜게 되면 도 4과 같은 상황이 발생하게 된다.

도 4에서 알 수 있듯이, 카메라가 시간적 기준이 8인 상태(T1)에서 멈췄다고 하면 비디오 코덱은 동작을 정지상태에 있게 된다. 이때 오디오는 계속해서 출력을 내보내고 있는 상황이고 카메라가 켜질 때(T2)까지 비디오 지연(Video delay)(T1-T2)이 계속 진행된다. 카메라가 정상적으로 동작을 하더라도 실제로 증가하고 있던 시간적 기준의 값이 맞지 않기 때문에 시간적 기준의 카운트가 일치할 때까지 지연(delay)(Td)이 생기게 되고, 지연이 존재하는 상태에서 압축한 비디오 데이터가 오디오 데이터와 합쳐지기 때문에 오디오 비디오간 동기문제가 발생하게 된다. 이것은 시간적 기준의 값이 항상 증가하는 값으로 존재해야 하기 때문에 발생하는 문제이다.

본 발명은 영상 통화 도중 카메라의 온/오프에 따라 발생되는 동기 문제를 해결할 수 있도록 함에 있다.

본 발명은 시간적 기준 값의 변화에 의해 비디어 지연이 발생되지 않도록 카메라의 오프와 상관없이 압축을 계속 진행하여 시간적 기준 값을 증가시킨 후, 카메라가 켜지는 시점에 마지막 시간적 기준 값을 픽쳐 레이어의 시간적 기준값 코드워드에 채워 넣어 주어, 오디오와 비디오 간의 동기가 맞추어 줄 수 있도록 함에 있다.

상기한 목적 달성을 위한 본 발명에 따른 휴대 영상 단말기의 오디오 및 비디오 동기화 방법은,

휴대 영상 단말기에 있어서,

영상 통화를 수행하는 단계;

상기 영상 통화 수행 중 카메라가 오프되면 비디오 코덱이 압축 수행을 멈추지 않고 계속 수행하여, 시간적 기준 값을 카운트시켜 주는 단계;

상기 카메라가 온되면 그 시점의 마지막 시간적 기준 값을 비디오 스트림의 픽쳐 레이어에 채워 넣어, 오디오 및 비디오 동기를 맞추는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 실시 예에 따른 휴대 영상 단말기의 오디오 및 비디오 동기화 방법은, 단말기의 동영상 모드 중, 카메라의 비정상적인 에러 발생에 상관없이 비디오 코덱의 압축을 계속 수행하여 시간적 기준 값의 카운트를 증가시켜 주는 단계;

상기 카메라가 정상적으로 동작되면 그 시점에 마지막으로 카운트되는 시간적 기준 값을 비디오 스트림에 채워 넣어, 오디오와 비디오의 동기를 맞추는 단계를 포함하는 것을 특징으로 한다.

바람직하게, 상기 비디오 스트림은 H.263 스트림인 것을 특징으로 한다.

도 5는 본 발명 실시 예에 따른 휴대 영상 단말기의 오디오 및 비디오 동기화 장치를 나타낸 구성도이다.

도 5를 참조하면, 고주파부(RF부)(11)는 휴대 전화기의 무선 통신 기능을 수행한다. 상기 RF부(11)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신기 등을 포함한다.

MSM 칩(모뎀 칩)(12)은 모뎀 및 코덱을 포함하며, 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화하는 수신기 등을 구비한다. 여기서 상기 코덱은 패킷데이터 등을 처리하는 데이터 코덱(미도시)과 음성 등의 오디오 신호를 처리하는 오디오 코덱(12b)을 구비한다. 오디오 코덱(12b)은 휴대 전화기에 내장된 음성 코덱(speech codec)으로서, 상대방과의 통화시 입력 음성 신호를 인코딩하게 된다. 타이머(12a)는 클럭을 생성시킨다. MSM 칩(12)은 영상 통화 모드시 전체적인 동작을 제어하며, 타이머(12a)에서 발생되는 클럭의 시간 정보를 제공하는 역할도 한다.
오디오 처리부(13)는 상기 모뎀 칩(12)의 오디오 코덱(12b)에서 출력되는 수신 오디오 신호를 스피커(13)로 재생하거나 또는 마이크(15)로부터 발생되는 입력 오디오신호를 상기 모뎀 칩(12)의 오디오 코덱(12b)에 전송하는 기능을 수행한다.
마이크(15)로부터 발생되는 입력 오디오 신호와 카메라부(18)를 통해 입력되는 비디오 신호는 각각 오디오 코덱(12b)과 비디오 코덱(17a)에 의해 인코딩되고, 모뎀 칩(12)을 통해 RF부(11)로 전달되어, 통신 중인 다른 단말기로 전송된다.

삭제

키 입력부(16)는 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능들을 설정하기 위한 기능 키들을 구비한다. 또한 상기 키 입력부(16)는 본 발명의 실시 예에 따라 동영상 녹화모드를 제어하기 위한 기능 키들 및 카메라를 구동하는 촬영 키 들을 구비할 수 있다. 또한 본 발명의 실시 예에서는 상기 키 입력부(16)를 통해 합성 동영상 신호에 합성되는 텍스트신호를 입력할 수도 있다.

DSP(Digital Signal Processor: DSP) 칩(17)은 카메라부(18)에서 캡쳐되는 영상 신호를 표시하기 위한 화면 데이터를 상대방에 전송하기 위해 인코딩하는 기능을 수행한다. 또한 상기 DSP 칩(17)은 비디오 코덱(17a)을 구비하며, 상기 비디오 코덱(17a)은 예를 들면, H.263에 따라 영상 신호를 설정된 방식으로 인코딩하거나, 인코딩된 프레임 영상데이터를 원래의 프레임 영상데이터로 디코딩하는 기능을 수행한다. 상기 DSP 칩(17)의 동작은 상기 MSM 칩(12)의 제어하에 수행된다. 상기 DSP 칩(17)은 상기 카메라부(18)에서 출력되는 영상신호를 프레임 단위로 처리하며, 상기 프레임 영상 데이터를 상기 LCD부(19)의 특성 및 크기에 맞춰 출력하는 역할도 한다.

카메라부(camera module)(18)는 영상 촬영시에 감지되는 광 신호를 전기적 신호로 변환하는 카메라 센서와, 상기 카메라센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호 처리부를 구비한다. 여기서 상기 카메라센서는 CCD 센서라 가정하며, 또한 상기 카메라 센서 및 신호처리부는 일체형으로 구현할 수 있으며, 또한 분리하여 구현할 수도 있다.

LCD부(19)는 상기 DSP 칩(17)에서 출력되는 프레임 영상신호 또는 상대방 영상을 화면으로 표시하며, 상기 MSM 칩(12)에서 출력되는 사용자 데이터를 표시하기도 한다. 또한 상기 LCD부(19)는 DSP 칩(17)의 제어 하에 재생되는 동영상 신호를 표시한다.

메모리부(20)는 프로그램 메모리, 데이터 메모리로 구성될 수 있다. 상기 프로그램 메모리는 휴대 전화기의 일반적인 동작을 제어하기 위한 프로그램들 및 LCD부에 인가되는 영상신호의 경로를 제어하는 프로그램들을 저장할 수 있다. 또한 상기 데이터 메모리는 상기 프로그램들을 수행하는 중에 발생되는 데이터들을 일시 저장하는 기능을 수행한다. 또한 상기 데이터 메모리는 상기 키 입력부(16)를 통해 입력되는 텍스트신호들을 저장하는 텍스트버퍼, 비디오 코덱(17a)에서 생성되는 동영상신호를 저장하는 이미지버퍼, 상기 오디오 코덱(12b)에서 생성되는 오디오신호를 저장하는 오디오 버퍼들을 구비할 수도 있다. 상기 동영상 메모리는 본 발명의 실시 예에 따라 코딩된 영상데이터들과 텍스트신호(오디오신호들도 포함될 수 있음)의 합성데이터들을 저장하는 메모리이다.

본 발명의 DSP 칩(17)의 비디오 코덱(17a)은 영상 전화 통신중에 카메라가 오프되거나 에러가 발생하는 등의 사유로 입력되는 영상 신호가 없게 되더라도, 카메라의 오프에 상관없이 계속 압축을 수행하게 된다. 이에 따라 DSP 칩(17)은 시간의 흐름에 따라서 시간적 기준값을 일정하게 증가시켜 주며, 증가하는 시간적 기준값은 DSP 칩(17)에 의해 제공될 수 있다. 이후 카메라가 켜지는 시점, 또는 영상 신호가 정상적으로 입력되는 시점에 DSP 칩(17)에 의해 제공되는 시간적 기준값은 픽쳐 레이어에 채워지며, MSM 칩(12)은 제공되는 픽쳐 레이어의 시간적 기준값 필드를 참조하여 오디오 신호와 비디오 신호의 동기를 계속 유지할 수 있다.

도 6은 참조하면, 카메라가 오프된 시점, 또는 영상 신호가 끊긴 시점(T11)이 시간적 기준값이 8일 경우, 오프된 시점(T11) 이후에도 비디오 코덱은 오디오 신호를 통해 영상 전화가 진행되는 동안에는 계속 압축을 수행하게 된다.

이후, 카메라가 켜지는 시점(T12)에 DSP 칩(17a) 내에 저장된 시간적 기준 값을 생성된 픽쳐 레이어의 시간적 기준값 필드에 채워 넣게 되고, 이로써 카메라가 오프되어 있던 시간 동안의 딜레이 없이 오디오 신호와 비디오 신호의 동기는 계속 유지된다.

도 7은 본 발명의 휴대 영상 단말기의 비디오 및 오디오 동기화 방법을 나타낸 플로우 챠트이다.

도 7을 참조하면, 영상 전화가 수행된다(S11). 이때, 카메라가 오프되었는지를 판단하여(S13), 카메라가 오프되면 비디오 코덱은 널(null) 영상에 대해 압축을 계속 수행하고 시간적 기준값을 증가시켜 준다(S15). 이후, 다시 카메라가 온 되는지를 판단하여(S17), 카메라가 온 되면 그때 DSP 칩(17a)에 저장되어 있던 시간적 기준값을 픽쳐 레이어의 시간적 기준값 필드에 채워 넣어 줌으로써(S19), 비디오와 오디오의 동기를 맞출 수 있게 된다.

이러한 본 발명은 영상 전화뿐만 아니라 녹화 모드시 카메라가 비 정상적으로 동작하더라도 계속 비디오 코덱을 동작시켜 주어, 시간적 기준값이 계속 증가되도록 함으로써, 정상적인 동작과 동시에 오디오 및 비디오의 동기를 맞추어 줄 수 있도록 할 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시 예를 중심으로 살펴보았으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 기술 범위 내에서 상기 본 발명의 상세한 설명과 다른 형태의 실시 예들을 구현할 수 있을 것이다. 여기서 본 발명의 본질적 기술범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 속하는 기술들은 본 발명에 포함된 것으로 해석되어야 할 것이다.

상술한 바와 같이 본 발명에 따른 휴대 영상 단말기의 오디오와 비디오 동기화 방법에 의하면, 영상 통화시 비디오 코덱을 카메라의 온/오프에 상관없이 계속 동작시켜 줌으로써 비디오와 오디오의 동기를 카메라 오프 전과 같이 계속 유지할 수 있다.

또한, 카메라의 일시적인 동작 멈춤 상태로 인해서 오디오와 비디오 동기가 깨지게 되면 카메라가 다시 동작하더라도, 잘못된 동기 상태로 통신을 수행하게 되는 상황을 방지할 수 있다.

Claims

휴대 영상 단말기의 오디오와 비디오 동기화 방법에 있어서,

영상 통화를 수행하는 단계;

상기 영상 통화 수행 중 영상 신호가 입력되지 않으면, 비디오 코덱이 압축 수행을 멈추지 않고 계속 수행하여, 시간적 기준 값을 증가시켜 주는 단계;

상기 영상 신호가 다시 입력되기 시작한 시점의 마지막 시간적 기준 값을 비디오 스트림의 픽쳐 레이어에 채워 넣는 단계;

상기 시간적 기준값을 이용하여 오디오 및 비디오 동기를 맞추는 단계를 포함하는 것을 특징으로 하는 휴대 영상 단말기의 오디오와 비디오 동기화 방법.
제 1항에 있어서,

상기 비디오 스트림은 H.263 스트림인 것을 특징으로 하는 휴대 영상 단말기의 오디오와 비디오 동기화 방법.
삭제
삭제