KR100622225B1 - 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치및 방법 - Google Patents

휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치및 방법 Download PDF

Info

Publication number
KR100622225B1
KR100622225B1 KR1020040084993A KR20040084993A KR100622225B1 KR 100622225 B1 KR100622225 B1 KR 100622225B1 KR 1020040084993 A KR1020040084993 A KR 1020040084993A KR 20040084993 A KR20040084993 A KR 20040084993A KR 100622225 B1 KR100622225 B1 KR 100622225B1
Authority
KR
South Korea
Prior art keywords
video
time
audio
increase
time increase
Prior art date
Application number
KR1020040084993A
Other languages
English (en)
Other versions
KR20060035475A (ko
Inventor
오석병
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020040084993A priority Critical patent/KR100622225B1/ko
Priority to PCT/KR2005/003460 priority patent/WO2006043768A1/en
Priority to US11/253,571 priority patent/US7898574B2/en
Publication of KR20060035475A publication Critical patent/KR20060035475A/ko
Application granted granted Critical
Publication of KR100622225B1 publication Critical patent/KR100622225B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/22—Synchronisation circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 휴대 전화기에 있어서, 특히 녹화모드시 비디오 및 오디오 데이터의 데이터 동기화 장치 및 방법에 관한 것이다.
본 발명은 휴대 전화기에서 녹화모드시 카메라의 초당 비디오 프레임 수를 프레임당 시간으로 비디오 시간 증가분을 구하여 비디오 데이터와 저장하는 한편, MSM 칩으로부터 전달되는 오디오 시간 증가분의 누적 시간을 이용하여 일정 주기마다 상기 비디오 시간 증가분을 보정해 줄 수 있도록 함에 있다.
휴대 전화기, 비디오, 오디오, 동기화

Description

휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치 및 방법{Synchronization apparatus and method for video and audio data in mobile phone}
도 1은 종래 비디오 및 오디오 동기화를 위한 휴대 전화기의 개략 구성도.
도 2는 종래 휴대 전화기의 녹화모드시, 비디오 및 오디오 데이터 동기화 방법을 나타낸 플로우 챠트.
도 3은 본 발명 실시 예에 따른 비디오 및 오디오 데이터 동기화를 위한 휴대 전화기의 블록 구성도.
도 4의 (a)(b)는 본 발명 실시 예에 따른 비디오 및 오디오 시간 증가분을 나타낸 도면이며, (c)는 오디오 시간 증가분에 의해 종래 비디오 시간 증가분의 문제점을 나타낸 시간 흐름도.
도 5는 본 발명 실시 예에 따른 휴대 전화기의 녹화모드시, 비디오 및 오디오 데이터 동기화 방법을 나타낸 플로우 챠트.
<도면의 주요부분에 대한 부호의 설명>
11...고주파부 12...모뎀 칩
12a.18a...타이머 12b...오디오 코덱
13...오디오 처리부 14...스피커
15...마이크 16...키 입력부
17...DSP 칩 17a...비디오 코덱
18...카메라부 19...LCD부
20...메모리부
본 발명은 휴대 전화기에 있어서, 특히 녹화모드시 비디오 및 오디오 데이터의 데이터 동기화 장치 및 방법에 관한 것이다.
최근의 휴대 전화기는 초소형 디지털 카메라가 장착되어 있어 사진을 찍을 수 있도록 만들어진 카메라 폰이 출시되어 사용되고 있다. 이러한 휴대 전화기에서의 카메라는 외장형과 내장형으로 구분되는데, 외장형은 별도로 판매하는 초소형 디지털 카메라를 구입해 휴대 전화기 본체에 부착하는 방식이고, 내장형은 전화기 자체에 소형 카메라 렌즈가 달려 있는 방식이다.
이러한 휴대 전화기는 작동원리나 저장방식은 디지털 카메라와 비슷하지만, 기능은 떨어진다. 즉, 저장용량이 작기 때문에 찍은 사진 또는 동영상을 자주 퍼스널컴퓨터에 옮겨 놓거나, 따로 출력해서 보관하게 된다. 또 대부분의 휴대 전화기는 빛이 없는 곳에서는 사진을 찍기 힘들기 때문에 이러한 단점을 보완하기 위해 플래시가 장착된 제품도 출시되고 있다.
휴대 전화기에 장착되어 있어 항상 가지고 다닐 수 있고, 별다른 기술 없이도 자유 자재로 사진을 찍을 수 있기 때문에 일반 휴대폰보다 상대적으로 고가임에도 갈수록 구매자들은 늘어나고 있는 추세이다. 단순한 사진만을 찍을 수 있는 카메라 폰부터 30분 길이의 동영상을 찍을 수 있는 카메라 폰, 26만 컬러 액정화면과 디지털 줌 기능을 갖춘 카메라 폰 등 종류와 성능도 다양하다.
일반적으로 영상처리장치는 영상을 촬영하는 카메라와, 상기 카메라로부터 촬영된 영상신호를 표시하는 표시부를 구비한다. 여기서 상기 카메라는 CCD나 CMOS 센서를 사용할 수 있으며, 표시부는 LCD를 사용할 수 있다. 또한 상기 카메라 장치의 소형화에 따라 상기 영상을 촬영하는 장치는 점점 소형화되는 추세에 있다. 그리고 상기 카메라 장치는 휴대용 단말기에도 장착되는 추세이다. 상기 휴대용 단말기는 영상 화면을 촬영하여 동영상(moving picture) 및 정지영상(still picture)으로 표시할 수 있으며, 또한 촬영된 영상 화면을 기지국에 전송할 수도 있다.
이와 같이 휴대 전화기에서 녹화 기능 또는 캠코더 기능을 수행하려고 할 때, 영상 데이터와 오디오 데이터간의 시간 동기화가 이루어져야 한다.
도 1은 종래 휴대 전화기에서의 개략 구성도로서, 녹화 모드시 칩간 동기화를 위한 개략 블록 구성도이다.
도 1을 참조하면, 휴대 전화기는 모뎀 칩(1) 및 DSP 칩(2)을 포함한다. 모뎀 칩(1)은 통화 에 관련된 각 종 동작 제어 및 시스템의 전반적인 동작을 제어하며, 사용자의 키 입력을 감지하여 DSP 칩(2)을 제어하게 된다.
여기서, 상기 모뎀 칩(1)은 일 예로, 미합중국 "QUALCOMM사" 에서 생산되는 MSM(Mobile station MODEM(MOdulator and DEModulator))칩으로 구현될 수 있다. 상기 MSM칩의 일 예로는 MSM2000, MSM2300, MSM3000, MSM3100 등이 있다.
DSP(Digital Signal Processor) 칩(2)은 디지털 신호 프로세서로서, 모뎀 칩(1)에 의해 동작 제어를 받는다.
상기와 같은 휴대 전화기의 녹화 모드시, 듀얼 칩(1)(2)을 사용하는 휴대 전화기에서 두 개의 칩 중 하나의 칩에서만 타이머(1a)가 사용되고 나머지 칩에서는 상기 타이머를 사용한 칩에서 시간을 받아서 칩간의 동기화를 수행하게 된다.
상기 모뎀 칩(1)은 입력되는 오디오 신호를 인코딩하고, DSP 칩(2)은 카메라로 캡쳐된 비디오 신호를 인코딩하게 된다. 이때, 두 개의 칩간의 동기화를 위해 모뎀 칩(1)은 타이머(1a)에서 발생되는 클럭의 시간 정보로부터 오디오 데이터를 인코딩하고, 이때의 오디오 데이터와 오디오 시간 증가분을 DSP 칩(2)으로 전달한다. 여기서, 상기 오디어 시간 증가분은 구해진 오디오 시간 증가분 동안 해당 오디오 데이터를 재생시켜 주는 시간이다.
상기 DSP 칩(2)은 오디어 데이터 및 오디오 시간 증가분을 받아서 메모리부(미도시)에 저장하고, 상기 오디오 시간 증가분을 이용하여 비디오 시간 증가분을 구하게 된다. 여기서, 비디오 시간 증가분은 비디오 데이터의 재생을 위해 저장되는 시간 값이다.
상기 비디오 시간 증가분은 현재 오디오 시간 증가분을 합한 전체 시간에서 이전 오디오 시간까지의 합을 감산한 값으로 구해진다. 그러므로, DSP 칩(2)은 오디오 데이터 및 오디오 시간 증가분, 비디오 데이터 및 비디오 시간 증가분을 메모 리에 저장하게 된다.
예들 들면, 모뎀 칩(1)은 오디오 데이터의 오디어 시간 증가분을 300msec 간격으로 설정되어 있을 경우, 타이머의 300msec 마다 DSP 칩(2)에 오디오 시간 증가분을 오디오 데이터와 하나의 묶음으로 전달하게 된다. 이에 따라, DSP 칩(2)은 화면 프레임에 상관없이 상기 300msec 마다 오디오 시간 증가분을 받아서 이를 이용하여 비디오 시간 증가분을 구하게 된다. 이렇게 구해진 비디오 시간 증가분과 비디오 데이터를 저장하게 된다.
그러나, 비디오 데이터는 예를 들면, 초당 15프레임(15f/s)으로 화면을 내보내게 된다. 그러나, 모뎀 칩에서 전달되는 비디오 시간 증가분은 항상 일정한 300msec가 되므로, 오디오 시간 증가분을 이용하여 비디오 시간 증가분을 구한 후 저장하게 된다.
그러나, 모뎀 칩(1)과 DSP 칩(2) 간을 연결하는 라인 상에서 데이터가 정상적으로 전달되지 않을 때 즉, 오디오 시간 증가분이 DSP 칩(2)에 정상 보다 빨리 도착되거나 정상 보다 늦게 도착되는 경우, 또는 불규칙하게 도착하는 경우가 발생된다. 이때에도 DSP 칩(2)은 오디오 시간 증가분을 이용하여 비디오 시간 증가분을 구하고 비디오 데이터를 저장함으로써, 비디오 끓어짐 현상 등이 발생된다. 또 오디오 및 비디오의 립싱크 동기화에 문제가 발생된다.
도 2는 종래 휴대 전화기에서의 오디오 및 비디오 동기화 방법을 나타낸 플로우 챠트이다.
도 2를 참조하면, 녹화 모드가 시작되면 카메라를 통해서 화면 캡쳐 및 캡쳐 된 비디오 데이터를 인코딩하게 된다(S1). 이때, 비디오 데이터의 저장을 위해 모뎀 칩으로부터 전달되는 오디오 시간 증가분을 받아서 비디오 시간 증가분을 구하고(S2), 상기 구해진 비디오 시간 증가분 및 인코딩된 비디오 데이터를 저장하게 된다(S3). 그리고, 상기 모뎀 칩으로부터 전달되는 오디오 데이터, 오디오 시간 증가분도 저장된다.
여기서, 비디오 시간 증가분(T_DSP_INC)은 현재 시간에서 이전 시간을 감산한 값이며, 현재 시간(T_MSM_CUR)은 모뎀 칩으로부터 현재까지 전달받은 시간이며, 이전 시간(T_MSM_PREV)은 모뎀 칩으로부터 이전까지 전달받은 시간이다. 즉, T_DSP _INC = T_MSM_CUR -T_MSM_PREV
이후, 녹화 종료 여부를 확인한 후(S4) 녹화 종료가 아니면 S1 단계로 진입하게 된다. 이러한 동작을 반복하면서 임의의 녹화시간 동안 비디오 데이터의 시간 증가분을 저장해 줄 수 있게 된다.
그러나, 오디오와 비디오 신호의 립싱크는 오디오 데이터를 인코딩하는 모뎀 칩의 오디오 시간 증가분이 기준이 되며, DSP 칩의 비디오 시간 증가분은 오디오 시간 증가분을 받아서 맞추게 된다. 이에 따라 모뎀 칩에서 DSP 칩으로 시간 증가분을 전달하는 과정에서 지연, 폭주 등이 발생할 수가 있고, 또 비디오 신호를 무조건 오디오 신호에 맞출 경우 비디오 신호의 시간 증가분의 간격이 불규칙하게 된다.
본 발명의 제 1목적은 카메라로부터 획득된 비디오 프레임 수를 이용하여 기준 타이머로 할 수 있도록 한 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치 및 방법을 제공함에 있다.
본 발명의 제 2목적은 매 프레임마다의 비디오 시간 증가분을 구하여 비디오 데이터 및 그 시간 증가분을 저장하고, 일정 시간마다 상기 카메라 타이머와 모뎀 칩의 타이머 사이의 시간 차이를 보상해 줄 수 있도록 한 휴대 전화기에서의 비디오 및 오디오 동기화 장치 및 방법을 제공함에 있다.
상기한 목적 달성을 위한 본 발명에 따른 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치는,
시스템의 전반적인 제어 및 통화 제어를 수행하며, 녹화모드시 오디오 데이터 및 오디오 시간 증가분을 전달하는 MSM 칩과;
녹화 모드시 비디오 데이터를 캡쳐하여 초당 일정 개의 프레임을 출력하는 카메라부와;
상기 카메라 프레임 수를 이용하여 비디오 시간 증가분을 구한 후, 상기 비디오 데이터 및 비디오 시간 증가분, 상기 MSM 칩으로부터 전달받은 오디오 데이터 및 오디오 시간 증가분의 저장을 제어하는 DSP 칩과;
상기 DSP 칩에 의해 오디오 데이터 및 오디오 시간 증가분, 비디오 데이터 및 비디오 시간 증가분을 저장하는 메모리부를 포함하는 것을 특징으로 한다.
바람직하게, 상기 DSP 칩은 카메라 프레임 수를 이용하여 프레임당 비디오 시간 증가분을 계산하는 비디오 시간 증가분 계산부와, 상기 오디오 시간 증가분의 누적 합과 상기 비디오 시간 증가분의 누적 합을 비교하여 시간 차이에 해당하는 오차 보정 값을 구한 후, 상기 비디오 시간 증가분 계산부에 의해 계산된 비디오 시간 증가분을 보정해 주는 오차 검출부를 포함하는 것을 특징으로 한다.
바람직하게, 상기 오차 검출부는 상기 오디오 시간 증가분의 누적 합을 기준으로 비디오 시간 증가분의 누적 합과의 차이에 의해 상기 비디오 시간 증가분 계산부의 비디오 시간 증가분을 가감시켜 주는 것을 특징으로 한다.
바람직하게, 상기 오차 검출부는 상기 오디오 시간 증가분을 이용하여 일정 시간마다 보정 주기로 하여 동작하는 것을 특징으로 한다.
바람직하게, 상기 오차 검출부는 일정 개의 비디오 프레임 수 단위를 보정 주기로 하여 동작하는 것을 특징으로 한다.
바람직하게, 상기 비디오 시간 증가분 계산부는 상기 오차 검출부에 의해 검출된 오차 보정값을 다음 보정 주기 동안 각 프레임별 비디오 시간 증가분에 오차 보정을 수행하는 것을 특징으로 한다.
바람직하게, 상기 오차 검출부에 의해 검출된 오차 보정값은 프레임별 시간 보다 작고 정 또는 부의 값을 갖는 것을 특징으로 한다.
그리고, 본 발명에 따른 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 방법은,
녹화가 시작되면 초기에 카메라를 이용하여 화면 캡쳐하고 캡쳐된 화면을 인코딩하는 단계;
상기 인코딩된 카메라 프레임 수를 이용하여 비디오 시간 증가분을 구하는 단계;
상기 구해진 비디오 시간 증가분과 비디오 데이터 및 MSM칩으로부터 전달받는 오디오 시간 증가분 및 오디오 데이터를 메모리에 저장하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 상기 비디오 시간 증가분은 카메라로부터 입력되는 초당 비디오 프레임 수를 프레임당 시간으로 구하여, 각 프레임별 비디오 시간 증가분으로 구해지는 것을 특징으로 한다.
바람직하게, 상기 저장 단계 후, 상기 비디오 시간 증가분의 보정 주기인지를 확인한 후, 그 확인결과 보정 주기이면 상기 오디오 시간 증가분의 합과 상기 비디오 시간 증가분의 합을 비교한 후, 오차 보정 값을 구하여 상기 구해진 비디오 시간 증가분을 보정해 주는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게, 상기 비디오 시간 증가분의 보정 주기는 오디오 시간 증가분의 일정 시간마다 또는 일정 개의 비디오 프레임 수를 이용하는 것을 특징으로 한다.
이하 첨부된 도면을 참조하여 설명하면 다음과 같다.
도 3은 본 발명 실시 예에 따른 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치를 나타낸 구성도이다.
도 3을 참조하면, 무선 통신을 위한 고주파부(11)와, 통화 제어와 시스템 전 반적인 동작 제어하며 타이머(12a) 및 오디오 코덱(12a)을 구비한 모뎀 칩(12)과, 입출력되는 오디오 신호를 처리하는 오디오 처리부(13)와, 오디오 신호의 입출력을 위한 스피커(14) 및 마이크(15), 통화 및 녹화를 위한 각 종 키 신호를 구비한 키 입력부(16)와, 녹화 모드시 카메라 프레임 수를 이용하여 비디오 시간 증가분을 구하고 상기 비디오 시간 증가분을 모뎀 칩(12)의 타이머와의 오차로 보정하며 비디오 코덱(17a)을 구비한 DSP 칩(17)과, 외부 영상을 캡쳐하여 상기 DSP 칩(17)으로 전달하고 타이머(18a)를 구비한 카메라부(18)와, 정보 표시를 위한 LCD(Liquid Crystal Display)부(19)와, 데이터를 저장하는 메모리부(20)를 포함하는 구성이다.
상기와 같은 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치의 동작에 대해 도 3을 참조하여 설명하기로 한다.
도 3을 참조하면, 고주파부(RF부)(11)는 휴대 전화기의 무선 통신 기능을 수행한다. 상기 고주파부(11)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신기 등을 포함한다.
모뎀(MSM) 칩(12)은 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화하는 수신기 등을 구비한다. 즉, 상기 모뎀 칩(12)은 모뎀(MODEM) 및 코덱(CODEC)을 포함한다. 여기서 상기 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱(12b)을 구비한다.
또한 본 발명의 실시 예에서 상기 오디오 코덱(12b)은 휴대 전화기에 내장된 음성 코덱(speech codec)이라고 가정한다. 상기 오디오 코덱(12b)은 오디오 신호가 인코딩된다.
그리고, MSM 칩(12)은 녹화 모드시 타이머(12a)에서 발생되는 클럭의 시간 정보를 기초로 상기 인코딩된 오디오 데이터, 오디오 시간 증가분을 DSP 칩(17)으로 전달해 준다.
오디오 처리부(13)는 상기 모뎀 칩(12)의 오디오 코덱(12b)에서 출력되는 수신 오디오신호를 스피커(13)로 재생하거나 또는 마이크(15)로부터 발생되는 입력 오디오신호를 상기 모뎀 칩(12)의 오디오 코덱(12b)에 전송하는 기능을 수행한다.
키 입력부(16)는 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능들을 설정하기 위한 기능 키들을 구비한다. 또한 상기 키 입력부(16)는 본 발명의 실시 예에 따라 동영상 녹화모드를 제어하기 위한 기능 키들 및 카메라를 구동하는 촬영 키 들을 구비할 수 있다. 또한 본 발명의 실시 예에서는 상기 키 입력부(16)를 통해 합성 동영상 신호에 합성되는 텍스트신호를 입력할 수도 있다.
DSP(Digital Signal Processor: DSP) 칩(17)은 신호 처리수단 또는 멀티미디어 처리 수단으로서, 카메라부(18)에서 출력되는 영상 신호를 표시하기 위한 화면 데이터를 발생하는 기능을 수행한다. 상기 DSP 칩(17)은 상기 카메라부(18)에서 출력되는 영상신호를 프레임 단위로 처리하며, 상기 프레임 영상 데이터를 상기 LCD부(19)의 특성 및 크기에 맞춰 출력한다. 또한 상기 DSP 칩(17)은 비디오 코덱(17a)을 구비하며, 상기 비디오 코덱(17a)은 영상 신호를 설정된 방식으로 인코딩하거나, 인코딩된 프레임 영상데이터를 원래의 프레임 영상데이터로 디코딩하 는 기능을 수행한다. 상기 DSP 칩(17)은 상기 MSM 칩(12)의 제어하에 설정되는 모드에 따른 동영상 신호를 생성 및 재생하는 기능을 수행한다.
카메라부(camera module)(18)는 영상 촬영시에 감지되는 광 신호를 전기적 신호로 변환하는 카메라 센서와, 상기 카메라센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호 처리부를 구비한다. 여기서 상기 카메라센서는 CCD 센서라 가정하며, 또한 상기 카메라 센서 및 신호처리부는 일체형으로 구현할 수 있으며, 또한 분리하여 구현할 수도 있다.
LCD부(19)는 상기 DSP 칩(17)에서 출력되는 프레임 영상신호를 화면으로 표시하며, 상기 MSM 칩(12)에서 출력되는 사용자 데이터를 표시한다. 또한 상기 LCD부(19)는 DSP 칩(17)의 제어하에 재생되는 동영상 신호를 표시한다.
메모리부(20)는 프로그램 메모리, 데이터 메모리, 그리고 본 발명의 실시 예에 따라 생성 및 수신되는 동영상 데이터를 저장하는 동영상 메모리들로 구성될 수 있다. 상기 프로그램 메모리는 휴대 전화기의 일반적인 동작을 제어하기 위한 프로그램들 및 본 발명의 실시 예에 따라 표시부에 인가되는 영상신호의 경로를 제어하는 프로그램들을 저장할 수 있다. 또한 상기 데이터 메모리는 상기 프로그램들을 수행하는 중에 발생되는 데이터들을 일시 저장하는 기능을 수행한다. 또한 상기 데이터 메모리는 상기 키 입력부(16)를 통해 입력되는 텍스트신호들을 저장하는 텍스트버퍼, 비디오 코덱(17a)에서 생성되는 동영상신호를 저장하는 이미지버퍼, 상기 오디오 코덱(12b)에서 생성되는 오디오신호를 저장하는 오디오 버퍼들을 구비할 수도 있다. 상기 동영상 메모리는 본 발명의 실시 예에 따라 코딩된 영상데이터들과 텍스트신호(오디오신호들도 포함될 수 있음)의 합성데이터들을 저장하는 메모리이다.
한편, 휴대 전화기가 녹화 모드시의 동작을 보면, DSP 칩(17)은 카메라부(18)에서 출력되는 영상 신호가 1초당 일정한 수의 프레임(화면)으로 입력된다. 즉, 카메라부(18)에 장착된 타이머(18a)가 균일하게 클럭을 발생하며 이를 기준으로 초당 일정 프레임 즉, 초당 15프레임(15f/s) 또는 초당 30프레임(30f/s) 단위로 DSP 칩(17)으로 전달된다.
상기 DSP 칩(17)은 카메라부로부터 초당 일정하게 정해진 프레임 수를 받게 되므로, 하나의 프레임에 해당하는 시간을 계산하면 프레임별 시간 증가분이 구해진다. 예컨대, 초당 15프레임은 1/1000초(1msec) 단위로 환산하면 하나의 프레임이 약 67msec가 구해지므로, 하나의 프레임이 발생할 때마다 67msec(=1000msec/15)가 흘러가는 것을 알 수 있다.
이에 따라, DSP 칩의 시간 증가분 계산부(17b)는 비디오 프레임의 카메라 클럭 또는 프레임 수를 이용하여 비디오 시간 증가분(즉, 비디오 시간 증가 정보)을 계산하게 된다. 상기 계산된 시간 증가분과 비디오 데이터의 저장이 프레임별로 가능하게 된다. 즉, 모뎀 칩에서 전달해 오는 시간을 사용하지 않고 매 프레임 마다 일정한 시간 증가분(예컨대, 67msec)으로 비디오 데이터를 저장하게 된다.
또한, DSP 칩(17)은 단순하게 카메라 프레임 수를 이용하여 구해진 비디오 시간 증가분으로 비디오 데이터가 저장되므로, 오디오 데이터와의 립싱크 차이를 해결하여야 한다. 즉, MSM 칩(12)의 타이머(12a)와 카메라부(18)의 타이머(18a) 상 호 간에 발생되는 오차 값으로 비디오 시간 증가분을 보정해 주어야 한다.
이를 위해, 오차 검출부(17c)는 상기 카메라의 프레임 수의 클럭이 카메라 내부 타이머를 이용하게 되므로, 카메라의 타이머와 모뎀 칩의 타이머 사이에 발생되는 오차를 검출하게 된다. 이때, 오차 검출부(17c)는 DSP 칩(17)에 저장된 MSM 칩(12)으로부터 전달되는 오디오 시간 증가분의 현재까지의 시간 합과 상기 비디오 시간 증가분의 현재까지의 시간 합을 비교하게 된다. 이때, 비교 기준은 오디오 시간 증가분의 전체 시간의 합이 된다.
또한, 오차 검출부(17c)는 초기 오차 보정값을 0으로 하고, 이후 일정 시간 간격(보정 주기)마다 두 타이머(12a)(18a)의 시간 오차를 검출하여 다음 보정 주기 이내에 보정해 주게 된다.
다시 말하면, DSP 칩(17)의 오차 검출부(17c)는 일정한 시간마다 두 타이머(12a)(18a)의 차이를 검출하게 되는데, MSM 칩(12)의 타이머 값은 오디오 시간 증가분의 누적 합으로 구하고, 카메라 타이머(18a)의 값은 카메라 프레임 수를 이용하여 프레임당 시간의 누적 합으로 구하게 된다. 따라서, 두 타이머의 시간 차이를 이용하여 검출된 오차 보정 값을 다음 보정 주기 내에서 각 프레임의 비디오 시간 증가분에 보상해 주게 된다. 예컨대, 2초가 지난 후 두 타이머(12a)(18a)의 시간 차이가 30msec가 발생되면 다음 2초 동안은 비디오 시간 증가분이 67msec가 아닌 68msec(67+1)가 된다. 만약, 오차 값이 1msec 이면 67msec 마다 68msec 시간 증가분으로 저장된다.
여기서, 1msec = 30msec/30(=15*2)으로 구해지며, 여기서 30msec는 일정한 시간 간격에서의 두 타이머의 시간 차이이며, 30은 15(f/s) * 2초이다. 즉, 오차 값은 일정한 시간마다의 두 타이머의 시간 차이를 상기 일정한 시간 및 초당 프레임 수를 곱한 값으로 나눈 값이 된다.
이와 같이, DSP 칩(17)의 오차 검출부(17c)에서 검출된 오차 값은 비디오 시간 계산부(17b)에 전달됨으로써, 보정된 시간 증가분 및 비디오 데이터가 메모리부(20)에 저장된다.
한편, 도 4는 본 발명의 비디오 및 오디오 시간 증가분을 계산하기 위한 시간 흐름을 예로 나타낸 것이다. 도 4의 (a)는 카메라의 초당 15 프레임을 프레임당 시간(1/15)으로 환산하여 각 프레임별 시간 증가분(1/15sec)으로 구해진다.
그리고, 도 4의 (b)와 같이 오디오 시간 증가분은 MSM 칩에서 0.5초 간격으로 DSP 칩으로 전송할 경우, DSP 칩은 0.5초 간격과는 상관이 없이 도 4의 (a)와 같은 비디오 시간 증가분을 구할 수 있으며, 비디오 데이터와 함께 저장할 수 있게 된다.
그러나, 도 4의 (c)와 같이 종래 비디오 시간 증가분은 도 4의 (b)의 오디오 시간 증가분이 지연될 때 그 지연된 만큼 각 프레임 마다의 시간 증가분이 불규칙하게 됨을 알 수 있다.
도 5는 본 발명 실시 예에 따른 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 방법을 나타낸 플로우 챠트이다.
도 5를 참조하면, 녹화가 시작되면 오차 보정값을 초기 값(α =0)을 설정한 후(S11), 카메라부를 통해 캡쳐된 화면이 초당 일정 개의 프레임 단위로 입력되면 이를 인코딩하게 된다(S12). 여기서, 비디오 데이터를 인코딩하지 않는 기기는 비디오 데이터를 압축하지 않을 수도 있다.
이때, 카메라 프레임 수를 이용하여 비디오 데이터의 시간 증가분을 구하게 된다(S13). 상기 비디오 시간 증가분 = 프레임당 시간(T_CAM_INC) + 오차 값(α)으로 구해진다.
여기서, 프레임당 시간은 1000msec/FPS로 구해지며, FPS는 초당 프레임 수(Frame Per second)이다. 본 발명에 따른 휴대 전화기가 초당 15프레임일 경우 프레임별 시간은 1000/15(≒67msec) 또는 1/15(≒0.067sec)로 구해진다.
상기 오차 보정값은 카메라 타이머 시간(T_CAM_TOTAL)에서 MSM 칩의 타이머 시간(T_MSM_TOTAL)을 뺀 값을 초당 프레임 수(FPS)로 나누어 구하게 된다. 즉, α =(T_CAM_TOTAL - T_MSM_TOTAL ) /(FPS*보정 주기) 이 된다. 이때의 α는 0이 된다.
그리고, 상기 비디오 시간 증가분, 비디오 데이터를 메모리에 저장하게 된다(S14).
이후, 일정 시간이 흘러 오차 보정값 계산 주기가 되면(S15) 오차 값을 계산하게 되는데, 상기 오차 보정값 계산은 모뎀 칩으로부터 전달된 오디오 데이터의 오디오 시간 증가분과 카메라 프레임 수를 두 타이머의 시간 차이를 구하게 된다.
즉, 오차 보정 값 α =(T_CAM_TOTAL - T_MSM_TOTAL ) /(FPS * 보정 주기)로 검출된다(S16). 여기서, 초당 프레임이 15초이고 보정 주기가 2초이고, 두 타이머 간의 시간 차이가 30msec 일 때 오차 보정 값은 30msec/30(=15*2) = 1msec로 구해진다.
이후, 녹화 종료 여부를 확인한 후(S17), 녹화 종료가 아니면 상기 S12단계로 진입한 후, S13 단계에서의 카메라 프레임 수를 이용하여 구해진 시간 증가분에 가감됨으로써(S13), 보정된 시간 증가분으로 비디오 데이터와 비디오 시간 증가분이 저장된다(S14).
이와 같이, 녹화 종료 전까지 상기의 보정주기 마다 오차 보정값을 검출한 후 다음 보정 주기가 되기 전까지 각 프레임의 프레임당 간격 즉, 비디오 시간 증가분을 보정해 주는 동작을 반복하게 된다.
여기서, 보정 주기는 일정한 시간 간격으로 이루어지며, 상기 오차 보정 값으로 다음 보정 주기 동안 비디오 시간 증가분을 보정해 주게 된다.
또한, 상기 오차 보정 값은 프레임당 시간 보다 작고 정(+) 또는 부(-) 값을 갖는다. 즉, 67msec 보다 작은 값을 갖고 이전 프레임과의 간격 또 다음 프레임과의 간격 조정을 통해서 전체적인 시간 증가분을 보정하여, 오디오 시간 증가분과의 립 싱크를 수행할 수 있다.
본 발명의 다른 실시 예로서, 비디오 시간 증가분의 보정 주기는 오디오 시간 증가분을 이용한 일정 시간마다 수행할 수도 있지만, 일정 개의 비디오 프레임 수 예컨대 30개일 때마다 30개 프레임의 합 시간과 오디오 시간 증가분의 합 차이를 구하여 보정을 수행할 수 있다. 이러한 보정 주기는 DSP 칩에서 비디오 시간 증가분은 조절 가능하기 때문에 오디오 비디오 시간 증가분을 기준으로 한다.
이제까지 본 발명에 대하여 그 바람직한 실시 예를 중심으로 살펴보았으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 기술 범위 내에서 상기 본 발명의 상세한 설명과 다른 형태의 실시 예들을 구현할 수 있을 것이다. 여기서 본 발명의 본질적 기술범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
상술한 바와 같이 본 발명은 휴대 전화기의 비디오 및 오디오 데이터 동기화 장치 및 방법에 의하면, 카메라로부터 획득된 초당 프레임 수를 이용하여 매 프레임마다의 비디오 시간 증가분을 구하여 비디오 데이터를 저장하는 한편, 상기 비디오 시간 증가분을 일정 주기마다 오디오 시간 증가분으로 보정할 수 있도록 함으로써, 종래 오디오 시간 증가분의 불규칙적인 문제로 인해 발생되는 비디오 데이터의 끓어짐 등의 문제를 제거할 수 있는 효과가 있다.

Claims (11)

  1. 시스템의 전반적인 제어 및 통화 제어를 수행하며, 녹화모드시 오디오 데이터 및 오디오 시간 증가분을 전달하는 MSM 칩과;
    녹화 모드시 비디오 데이터를 캡쳐하여 초당 일정 개의 프레임을 출력하는 카메라부와;
    상기 카메라 프레임 수를 이용하여 프레임당 비디오 시간 증가분을 계산하는 비디오 시간 증가분 계산부와, 상기 MSM 칩으로부터의 오디오 시간 증가분의 누적 합과 상기 비디오 시간 증가분의 누적 합을 비교하여 시간 차이에 해당하는 오차 보정 값을 구한 후, 상기 비디오 시간 증가분 계산부에 의해 계산된 비디오 시간 증가분을 보정해 주는 오차 검출부를 포함하는 DSP 칩과;
    상기 DSP 칩에 의해 오디오 데이터 및 오디오 시간 증가분, 비디오 데이터 및 비디오 시간 증가분을 저장하는 메모리부를 포함하는 것을 특징으로 하는 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치.
  2. 제 1항에 있어서,
    상기 오차 검출부는 상기 오디오 시간 증가분의 누적 합을 기준으로 비디오 시간 증가분의 누적 합과의 차이에 의해 상기 비디오 시간 증가분 계산부의 비디오 시간 증가분을 가감시켜 주는 것을 특징으로 하는 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치.
  3. 제 1항에 있어서,
    상기 오차 검출부는 상기 오디오 시간 증가분을 이용하여 일정 시간마다 보정 주기로 하여 동작하는 것을 특징으로 하는 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치.
  4. 제 1항에 있어서,
    상기 오차 검출부는 일정 개의 비디오 프레임 수 단위를 보정 주기로 하여 동작하는 것을 특징으로 하는 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치.
  5. 제 1항에 있어서,
    상기 비디오 시간 증가분 계산부는 상기 오차 검출부에 의해 검출된 오차 보정값을 다음 보정 주기 동안 각 프레임별 비디오 시간 증가분에 오차 보정을 수행하는 것을 특징으로 하는 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치.
  6. 제 1항에 있어서,
    상기 오차 검출부에 의해 검출된 오차 보정값은 프레임별 시간 보다 작고 정 또는 부의 값을 갖는 것을 특징으로 하는 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치.
  7. 녹화가 시작되면 초기에 카메라를 이용하여 화면 캡쳐하고 캡쳐된 화면을 인코딩하는 단계;
    상기 인코딩된 카메라 프레임 수를 이용하여 비디오 시간 증가분을 구하는 단계;
    상기 구해진 비디오 시간 증가분과 비디오 데이터, MSM칩으로부터 전달받는 오디오 시간 증가분 및 오디오 데이터를 메모리에 저장하는 단계; 및
    상기 비디오 시간 증가분의 보정 주기인지를 확인한 후, 그 확인결과 보정 주기이면 상기 오디오 시간 증가분의 합과 상기 비디오 시간 증가분의 합을 비교한 후, 오차 보정 값을 구하여 상기 구해진 비디오 시간 증가분을 보정하는 단계;
    를 포함하는 것을 특징으로 하는 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 방법.
  8. 제 7항에 있어서,
    상기 비디오 시간 증가분은 카메라로부터 입력되는 초당 비디오 프레임 수를 프레임당 시간으로 구하여, 각 프레임별 비디오 시간 증가분으로 구해지는 것을 특징으로 하는 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 방법.
  9. 제 7항에 있어서,
    상기 비디오 시간 증가분의 보정 주기는 오디오 시간 증가분의 일정 시간 마다 또는 일정 개의 비디오 프레임 수를 이용하는 것을 특징으로 하는 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 방법.
  10. 삭제
  11. 삭제
KR1020040084993A 2004-10-22 2004-10-22 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치및 방법 KR100622225B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020040084993A KR100622225B1 (ko) 2004-10-22 2004-10-22 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치및 방법
PCT/KR2005/003460 WO2006043768A1 (en) 2004-10-22 2005-10-18 Image processor and operating method thereof
US11/253,571 US7898574B2 (en) 2004-10-22 2005-10-20 Image processor and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040084993A KR100622225B1 (ko) 2004-10-22 2004-10-22 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치및 방법

Publications (2)

Publication Number Publication Date
KR20060035475A KR20060035475A (ko) 2006-04-26
KR100622225B1 true KR100622225B1 (ko) 2006-09-19

Family

ID=37144036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040084993A KR100622225B1 (ko) 2004-10-22 2004-10-22 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치및 방법

Country Status (1)

Country Link
KR (1) KR100622225B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101048302B1 (ko) * 2008-11-14 2011-07-13 주식회사 코아로직 임베디드 멀티미디어 시스템에서의 시간 동기화 장치와 방법, 및 그 동기화 장치를 포함한 멀티미디어 재생기

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100658866B1 (ko) * 2005-03-10 2006-12-15 엘지전자 주식회사 비디오 및 오디오 데이터 동기화 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101048302B1 (ko) * 2008-11-14 2011-07-13 주식회사 코아로직 임베디드 멀티미디어 시스템에서의 시간 동기화 장치와 방법, 및 그 동기화 장치를 포함한 멀티미디어 재생기

Also Published As

Publication number Publication date
KR20060035475A (ko) 2006-04-26

Similar Documents

Publication Publication Date Title
US9792602B2 (en) Apparatus and method for providing emotion expression service in mobile communication terminal
KR100651521B1 (ko) 휴대단말기의 속력측정방법
US8411133B2 (en) Mobile terminal and panoramic photographing method for the same
KR20050113058A (ko) 카메라를 구비한 이동 단말에서 촬영 이미지 합성 장치 및방법
US20090115866A1 (en) Image processing apparatus
KR20040100746A (ko) 카메라를 구비한 휴대 단말기에서 역광촬영을 보정하기위한 장치 및 방법
KR100622225B1 (ko) 휴대 전화기에서의 비디오 및 오디오 데이터 동기화 장치및 방법
US7606432B2 (en) Apparatus and method for providing thumbnail image data on a mobile terminal
US20070064093A1 (en) Method for performing video communication service and mobile communication terminal employing the same
US7705890B2 (en) Apparatus and method for photographing an image in a wireless terminal
US7898574B2 (en) Image processor and operating method thereof
KR100703354B1 (ko) 휴대단말기의 화상통화모드에서 영상데이터 전송방법
KR101103150B1 (ko) 비디오 및 오디오 데이터 동기화 장치 및 방법
KR100459422B1 (ko) 카메라 결합형 이동통신 단말기의 화질 보정 방법
JP2002369073A (ja) 移動無線端末
US20070101363A1 (en) Method and apparatus for searching moving picture in portable terminal
KR20060083492A (ko) 이동 통신 단말기의 증명사진 촬영 방법
KR100658866B1 (ko) 비디오 및 오디오 데이터 동기화 장치 및 방법
JP5146885B2 (ja) テレビ電話装置及びその音量制御方法
KR100593298B1 (ko) 고화소 영상을 프리뷰하는 장치 및 방법
KR100770927B1 (ko) 휴대용 단말기에서 영상을 촬영하는 방법
KR20050023549A (ko) 손떨림 움직임 보상 카메라폰
KR20040046254A (ko) 이동 통신 단말기의 화면 흔들림 보상 장치 및 방법
KR100606010B1 (ko) 휴대 단말기에서 흔들림 방지 장치 및 방법
JP2004312130A (ja) Ｉｐテレビ電話機

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090619

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee