KR100538704B1 - 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법및 디코딩 방법 - Google Patents

카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법및 디코딩 방법 Download PDF

Info

Publication number
KR100538704B1
KR100538704B1 KR10-2003-0020335A KR20030020335A KR100538704B1 KR 100538704 B1 KR100538704 B1 KR 100538704B1 KR 20030020335 A KR20030020335 A KR 20030020335A KR 100538704 B1 KR100538704 B1 KR 100538704B1
Authority
KR
South Korea
Prior art keywords
audio
video
packet
encoding
mobile terminal
Prior art date
Application number
KR10-2003-0020335A
Other languages
English (en)
Other versions
KR20040085591A (ko
Inventor
유혁
김민자
Original Assignee
주식회사 씬멀티미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씬멀티미디어 filed Critical 주식회사 씬멀티미디어
Priority to KR10-2003-0020335A priority Critical patent/KR100538704B1/ko
Publication of KR20040085591A publication Critical patent/KR20040085591A/ko
Application granted granted Critical
Publication of KR100538704B1 publication Critical patent/KR100538704B1/ko

Links

Classifications

    • C—CHEMISTRY; METALLURGY
    • C21—METALLURGY OF IRON
    • C21D—MODIFYING THE PHYSICAL STRUCTURE OF FERROUS METALS; GENERAL DEVICES FOR HEAT TREATMENT OF FERROUS OR NON-FERROUS METALS OR ALLOYS; MAKING METAL MALLEABLE, e.g. BY DECARBURISATION OR TEMPERING
    • C21D9/00—Heat treatment, e.g. annealing, hardening, quenching or tempering, adapted for particular articles; Furnaces therefor
    • C21D9/28—Heat treatment, e.g. annealing, hardening, quenching or tempering, adapted for particular articles; Furnaces therefor for plain shafts
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F27—FURNACES; KILNS; OVENS; RETORTS
    • F27D—DETAILS OR ACCESSORIES OF FURNACES, KILNS, OVENS, OR RETORTS, IN SO FAR AS THEY ARE OF KINDS OCCURRING IN MORE THAN ONE KIND OF FURNACE
    • F27D5/00—Supports, screens, or the like for the charge within the furnace
    • F27D5/0056—Hangers

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Materials Engineering (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Thermal Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Metallurgy (AREA)
  • Organic Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Telephone Function (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

카메라를 내장한 이동 단말기내에서 카메라에 의하여 촬영된 비디오와 마이크를 통하여 입력된 오디오를 동기시켜 인코딩하는 오디오 비디오 인코딩 방법이 개시된다. 본 발명에 따른 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법은 오디오와 비디오를 동시에 인코딩하면서 오디오 인코딩시에 사용된 인터럽트 타이머 값을 기초로 결정되는 타임 스탬프값을 각각 비디오 패킷 및 오디오 패킷의 헤더내 소정 영역에 삽입하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법 및 디코딩 방법은 휴대폰 및 개인휴대단말기(Personal Digital Assistant: PDA)와 같이 중앙처리장치의 성능에 많은 제약이 따르고 전송 환경이 열악한 무선을 기반으로 전송이 이루어지는 핸드 헬드(hand-held) 기반의 이동 단말기 분야에서 현재 수준의 중앙처리장치를 사용하여 효과적으로 비디오와 오디오를 동시에 인코딩할 수 있다는 장점이 있다. 또한, 인코딩되는 영상은 초당 3 프레임 정도의 프레임 레이트(frame rate)를 유지하면서 마이크를 통하여 입력되는 음성과 동기시켜 인코딩됨으로써 자연스러운 멀티미디어 통화를 가능하게 한다.

Description

카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법 및 디코딩 방법{Video encoding method and decoding method for mobile terminal which have camera built in}
본 발명은 비디오 인코딩 및 디코딩 방법에 관한 것으로, 특히 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법에 관한 것이다.
최근에는 카메라를 내장한 휴대폰의 보급이 급격히 늘고 있다. 이와 같은 카메라 내장형 휴대폰은 스틸 영상 뿐만 아니라 동영상을 촬영하여 촬영된 영상을 인코딩하여 다른 휴대폰으로 전송하는 기능이 요구되고 있다. 일반적으로, 무선 전송 환경은 유선 전송에 비하여 매우 열악하기 때문에 동영상의 인코딩시에는 오류 강인성(error resilience)을 고려하여야 할 뿐만 아니라 촬영되는 영상의 해상도를 무한정 높일 수 없고 영상의 종류도 적절히 선택할 것이 요구된다.
또한, 휴대폰이나 개인휴대단말기(Personal Digital Assistant: PDA)와 같은 핸드헬드(hand-held) 기반의 이동 단말기 내에 구비되는 중앙처리장치(central processing unit: CPU)도 그 성능에 많은 제약을 받기 때문에 카메라를 내장한 휴대폰에서 CPU의 성능을 고려하여 최적으로 동영상을 인코딩할 수 있는 방법에 대한 요구가 여전히 존재한다.
본 발명이 이루고자 하는 기술적 과제는 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는 상기 오디오 비디오 인코딩 방법에 의하여 인코딩된 정보를 디코딩하는 카메라 내장형 이동 단말기의 오디오 비디오 디코딩 방법을 제공하는 것이다.
상기와 같은 기술적 과제를 이루기 위한 본 발명의 일측면에 따른 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법은, 카메라를 내장한 이동 단말기내에서 카메라에 의하여 촬영된 비디오와 마이크를 통하여 입력된 오디오를 동기시켜 인코딩하는 오디오 비디오 인코딩 방법에 있어서, 오디오와 비디오를 동시에 인코딩하면서 오디오 인코딩시에 사용된 인터럽트 타이머 값을 기초로 결정되는 타임 스탬프값을 각각 비디오 패킷 및 오디오 패킷의 헤더내 소정 영역에 삽입하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기와 같은 기술적 과제를 이루기 위한 본 발명의 다른 측면에 따른 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법은,
카메라를 내장한 이동 단말기내에서 카메라에 의하여 촬영된 비디오와 마이크를 통하여 입력된 오디오를 동기시켜 인코딩하는 오디오 비디오 인코딩 방법에 있어서,
(a) 제1 소정 시간 간격마다 비디오 인코딩 명령을 이동 단말기의 운영체제로부터 접수하는 단계;
(b) 상기 (a) 단계에서 인코딩 명령이 접수되면 비디오 인코딩 및 오디오 인코딩을 수행함과 동시에 오디오 데이터의 인코딩에 사용되고 제2 소정 시간 간격마다 증가되는 타이머값을 기준 타이머값으로 설정하는 단계;
(c) 하나의 비디오 프레임에 대한 인코딩이 완료되었는지를 체크하는 단계;
(d) 상기 (c) 단계에서 하나의 비디오 프레임에 대한 인코딩이 완료된 것으로 체크되면 비디오 프레임의 인코딩이 완료된 싯점에서의 기준 타이머값을 타임 스탬프로써 비디오 패킷의 헤더 필드에 삽입하는 단계; 및
(e) 오디오 버퍼의 용량에 의하여 결정되는 제3 소정 시간이 경과하면 기준 타이머값을 타임 스탬프로써 오디오 패킷의 헤더 필드에 삽입하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 헤더 필드는,
오디오 패킷인지 비디오 패킷인지를 식별하기 위한 패킷 종류 식별자 영역과, 인코딩된 비디오 오디오 패킷의 일련 번호를 나타내는 패킷 시퀀스 영역, 및 패킷의 길이를 맞추기 위한 패딩 비트 영역을 포함하는 것이 바람직하다.
또한, 상기 제1 소정 시간 간격은 200 밀리초 내지 400 밀리초에서 선택된 것이 바람직하다.
또한, 상기 제1 소정 시간 간격은 300 밀리초 이고 상기 제2 소정 시간 간격은 20 밀리초이며 상기 오디오 인코딩은 EVRC(Enhanced Variable Rate Coding) 코딩을 기반으로 하고 상기 제3 소정 시간 간격은 500 밀리초인 것이 보다 바람직하다.
또한, 상기 (b) 단계의 오디오 인코딩은 비디오 인코딩과 독립적으로 수행될 수 있다.
또한, 상기 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법은 녹화중이면 촬영된 비디오와 함께 마이크 볼륨을 나타내는 심볼을 디스플레이창에 표시하는 단계;를 더 포함하는 것이 바람직하다.
또한, 상기 다른 기술적 과제를 이루기 위한 본 발명의 일측면에 따른 카메라 내장형 이동 단말기의 오디오 비디오 디코딩 방법은,
카메라를 내장한 이동 단말기에 의하여 인코딩된 오디오 비디오 정보를 수신하여 디코딩하는 오디오 비디오 디코딩 방법에 있어서,
오디오와 비디오를 동시에 인코딩하면서 오디오 인코딩시에 사용된 인터럽트 타이머 값을 기초로 결정되는 타임 스탬프값이 각각 비디오 패킷 및 오디오 패킷의 헤더내 소정 영역에 삽입된 비디오 패킷과 오디오 패킷을 동시에 디코딩하면서 타임 스탬프값을 참조하여 비디오 프레임의 디스플레이 여부를 결정하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 다른 기술적 과제를 이루기 위한 본 발명의 일측면에 따른 카메라 내장형 이동 단말기의 오디오 비디오 디코딩 방법은,
카메라를 내장한 이동 단말기에 의하여 인코딩된 오디오 비디오 정보를 수신하여 디코딩하는 오디오 비디오 디코딩 방법에 있어서,
(a) 오디오 패킷과 비디오 패킷을 각각 디코딩하는 단계;
(b) 현재 디코딩중인 비디오 패킷과 오디오 패킷의 타임스탬프값을 참조하여 비디오 패킷의 타임 스탬프값이 오디오 패킷의 타임 스탬프 값 보다 큰지를 체크하는 단계; 및
(c) 상기 (b) 단계에서 비디오 패킷의 타임 스탬프값이 오디오 패킷의 타임 스탬프 값 보다 크거나 같은 것으로 체크되면 해당 비디오 프레임을 디스플레이하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 비디오 디코딩 방법은, 상기 (b) 단계 이후에,
(d) 상기 (c) 단계에서 비디오 패킷의 타임 스탬프값이 오디오 패킷의 타임 스탬프 값 보다 작은 것으로 체크되면 소정 시간 지연후 해당 비디오 프레임을 디스플레이하는 단계;를 더 포함하는 것이 바람직하다.
이하 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세히 설명하기로 한다.
도 1에는 본 발명의 실시예에 따른 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법에서 수행되는 주요 단계들을 흐름도로써 나타내었다.
도 1을 참조하면, 카메라를 내장한 이동 단말기내에서 카메라에 의하여 촬영된 비디오와 마이크를 통하여 입력된 오디오를 동기시켜 인코딩하는 오디오 비디오 인코딩 방법에서는, 제1 소정 시간 간격, 본 실시예에서는 300 mSec 마다 비디오 인코딩 명령을 이동 단말기의 운영체제로부터 접수한다(단계 S102). 비디오 인코딩 명령을 200 mSec보다 짧은 시간 간격으로 할당하는 경우, 영상은 보다 자연스럽게 보이지만 오디오 데이터의 끊김이 발생할 수 있고, 400 mSec 보다 긴 시간 간격을 할당하는 경우에는 영상이 부자연스럽게 보이는 문제가 발생할 수 있다. 따라서, 비디오 데이터를 읽어들이는 타이머 이벤트는 200 mSec 내지 400 mSec 범위에서 선택하는 것이 바람직하다.
다음으로, 상기 단계(S102)에서 비디오 인코딩 명령이 접수되면 오디오 데이터의 인코딩에 사용되는 타이머값을 기준 타이머값으로 설정(단계 S104)하고, 비디오 인코딩 및 오디오 인코딩을 수행한다(단계 S106). 타이머값은 당업자에 의하여 이해되어지는 바와 같이 일정 시간 간격마다 증가되는 값으로, 위에서 기술한 오디오 데이터의 인코딩에 사용되는 타이머값은 제2 소정 시간 간격마다, 본 실시예에서와 같이 EVRC를 기반으로 하는 경우에는 상기 제2 소정 시간은 20 mSec에 해당한다.
다음으로, 하나의 비디오 프레임에 대한 인코딩이 완료되었는지를 체크(단계 S108)하여, 상기 단계(S108)에서 하나의 비디오 프레임에 대한 인코딩이 완료된 것으로 체크되면 비디오 프레임의 인코딩이 완료된 싯점에서의 기준 타이머값을 타임 스탬프로써 비디오 패킷의 헤더 필드에 삽입한다(단계 S110). 이러한 기준 타이머값 또는 타임 스탬프의 값은 이후에 설명될 오디오 및 비디오의 동기적 디코딩시에 사용되는 동기 시간값으로 이해될 수 있다.
다음으로, 사용자가 녹화를 종료하였거나 메모리가 가득 찼는지를 체크(단계 S120)하여, 그 결과에 따라 단계(S106)에서 인코딩을 계속하거나 종료한다.
이상에서는 비디오 인코딩 과정을 중심으로 설명하였다. 도 2에는 상기 비디오 인코딩과 동시에 이루어지는 오디오 인코딩 과정을 흐름도로써 나타내었다.
도 2를 참조하여 본 발명의 실시예에 따른 오디오 인코딩 과정을 설명한다.오디오 인코딩이 EVRC(Enhanced Variable Rate Coding) 코딩을 기반으로 하는 경우, 매 20 mSec마다 오디오 인터럽트 호출이 이루어진다(단계 S202). 이때, 비디오 인코딩 및 오디오 인코딩은 동시에 이루어진다(단계 S204).
다음으로, 제3 소정 시간, 본 실시예에서는 500 mSec가 경과하였는지를 체크하여 그러한 경우에는 기준 타이머값을 타임 스탬프로써 헤더 필드에 삽입한다(단계 S208). 상기 제3 소정 시간은 오디오 버퍼의 용량에 의하여 결정된다.
한편, 타임 스탬프값의 삽입예를 설명하면, 최초로 인코딩된 오디오 패킷의 헤더에 포함된 타임스탬프의 값은 500 mSec가 되고, 그 다음으로 인코딩된 오디오 패킷의 헤더에 포함된 타임스탬프의 값은 1,000 mSec가 된다. 이러한 타임 스탬프의 값은 이후에 설명될 오디오 및 비디오의 동기적 디코딩시에 사용되는 동기 시간값으로 이해될 수 있다.
다음으로, 사용자가 녹화를 종료하였거나 메모리가 가득 찼는지를 체크(단계 S210)하여, 그 결과에 따라 단계(S204)에서 인코딩을 계속하거나 종료한다.
상술한 인코딩 과정들은 녹화중일때 일어나는데, 프리뷰(pre-view) 모드인지 녹화중인지를 보다 쉽게 파악할 수 있도록 녹화중이면 촬영된 비디오와 함께 마이크 볼륨을 나타내는 심볼을 디스플레이창에 표시하여도 좋다.
도 3에는 도 1 및 도 2를 참조하여 설명한 비디오 인코딩 및 오디오 인코딩 과정에서 패킷내에 포함되는 헤더 필드 구조의 일예를 나타내었다.
도 3을 참조하면, 본 발명의 실시예에서 헤더 필드는, 디코딩할 패킷의 전체 사이즈를 나타내는 2 바이트의 패킷 사이즈 영역(302), 도 1 및 도 2를 참조하여 설명한 과정에 의하여 삽입되는 동기 시간값을 나타내는 4 바이트의 타임 스탬프 영역(304), 인코딩된 비디오 오디오 패킷의 일련 번호를 나타내는 2 바이트의 패킷 시퀀스 영역(306), 오디오 패킷인지 비디오 패킷인지를 식별하기 위한 패킷 종류 식별자 영역(308), 및 패킷의 길이를 맞추기 위한 패딩 비트 영역(310)을 포함한다. 예를 들어, 패킷 종류 식별자 영역(308)에는 해당 패킷이 오디오 패킷인 경우에는 0xB1으로, 비디오 패킷인 경우에는 0xA7으로 채운다.
도 4에는 오디오 인코딩 및 비디오 인코딩의 시간 제어 관계를 설명하기 위한 도면을 나타내었다. 도 4를 참조하면, 비디오 인코더는 운영체제로부터의 타이머 이벤트에 의한 제어와 사용자 인터페이스의 제어에 따라 타이머 처리부에서 매 300 mSec 마다 비디오 인코딩을 위한 타이머 이벤트를 접수하여 비디오 인코딩을 수행한다. 또한, 오디오 인코더는 외부 인터럽트에 의한 제어와 보코더에 의한 제어에 따라 오디오 인터럽트 처리부에서 매 20 mSec마다 오디오 인코딩을 위한 인터럽트를 접수하여 오디오 인코딩을 수행한다.
도 5에는 비디오 콜백 과정과 오디오 콜백 과정을 보다 상세히 설명하기 위한 도면을 나타내었다. 도 5를 참조하면, 비디오 콜백 함수는 매 300 mSec마다의 타이머 이벤트에 의하여 동작한다. 비디오 콜백 함수가 불리어지면, 카메라 모듈에서 비디오 영상을 얻어오고, 패킷 단위의 인코딩을 시작하며, 패킷 단위의 인코딩이 종료되면 헤더를 붙인다. 상기 헤더는 오디오 콜백 과정의 기준 타이머값을 타임스탬프로써 포함한다. 오디오 콜백 함수는 매 20mSec마다의 인터럽트에 의하여 동작한다. 오디오 콜백 함수가 불리어지면, 보코더 칩을 통하여 오디오 프레임 데이터와 그 데이터 크기 정보를 얻는다. 기준 타이머값(Ts라 칭함)은 매번 20mSec씩 증가된다. Ts가 500 mSec가 되면 인코딩된 오디오 패킷에 헤더를 붙인다. 즉, 오디오 헤더의 타임 스탬프값은 500 mSec 단위로 증가한다.
도 1 및 도 2를 참조하여 설명한 인코딩된 오디오 패킷 및 비디오 패킷들은 하나의 파일로 저장되어 전송되거나 스트리밍 기법에 의하여 실시간으로 전송될 수 있다. 전송된 비디오 패킷 및 오디오 패킷 또는 이들 패킷을 포함하는 파일은 다음에서 설명하는 디코딩 방법들이 포함하는 단계들에 의하여 동기적으로 디코딩된다.
도 6에는 상술한 과정에 의하여 인코딩된 오디오 비디오 정보를 수신하여 디코딩하는 본 발명의 실시예에 따른 오디오 비디오 디코딩 방법의 주요 단계들을 흐름도로써 나타내었다. 본 발명의 실시예에 따른 오디오 비디오 디코딩 방법은 이동 단말기내에 구비되는 마이크로 프로세서(미도시)의 메모리에 프로그램으로써 저장되어 있다가, 상기 마이크로 프로세서에 의하여 읽혀져 실행됨으로써 동작을 수행한다.
먼저, 도 6에는 나타내지 않았으나, 인코딩된 비디오 오디오 패킷의 일련 번호를 나타내는 2 바이트의 패킷 시퀀스 영역(306)을 참조하여 패킷의 순서를 인지하고, 2 바이트의 패킷 사이즈 영역(302)을 참조하여, 패킷의 크기에 대한 정보를 얻어 디코딩할 단위 패킷의 크기를 파악한다. 또한, 패킷 종류 식별자 영역(308)을 참조하여, 해당 패킷이 0xB1이면 오디오 패킷으로 인식하고, 해당 패킷이 0xA7인 경우에는 비디오 패킷으로 인식하여 각각 디코딩을 수행한다.
다음으로, 도 6을 참조하면, 오디오/비디오 디코딩을 수행(단계 S602)하면서, 현재 디코딩 중인 오디오 패킷과 비디오 패킷의 타임 스탬프값을 참조(단계 S604)한다. 다음으로, 비디오 패킷의 타임 스탬프값이 오디오 패킷의 타임 스탬프 값 보다 큰지를 체크한다(단계 S606).
만일, 상기 단계(S606)에서 비디오 패킷의 타임 스탬프값이 오디오 패킷의 타임 스탬프 값 보다 크거나 같은 것으로 체크되면 해당 비디오 프레임을 디스플레이한다(단계 S608). 다음으로, 디코딩할 패킷이 남아 있는지를 체크(단계 S610)하여 디코딩을 계속하거나 종료한다.
반면에, 상기 단계(S606)에서 비디오 패킷의 타임 스탬프값이 오디오 패킷의 타임 스탬프 값 보다 작은 것으로 체크되면 오디오/비디오 디코딩을 계속 수행하거나 소정 시간 지연후 해당 비디오 프레임을 디스플레이하는 것이 바람직하다. 도 6에서는 상기 단계(S606)에서 비디오 패킷의 타임 스탬프값이 오디오 패킷의 타임 스탬프 값 보다 작은 것으로 체크되면 오디오/비디오 디코딩을 계속 수행하면서 두 타임스탬프를 매번 비교하는 것을 도시하였으나, 소정 시간 지연후 해당 비디오 프레임을 디스플레이하는 것도 가능한 것이다.
도 7에는 상술한 본 발명에 따른 오디오 비디오 인코딩 방법을 수행하는 이동 단말기내에 이루어지는 프로토콜 스택 구조를 블록도로써 나타내었다. 도 7을 참조하면, 이동 단말기내에 구현되는 프로토콜 스택의 최하위에는 운영 체제(702: Operating System-O/S)가 자리잡고, 운영 체제를 기반으로 비디오 영상 캡처부(704), EVRC 프로세싱부(706)가 동작하며, 그 위에서 비디오 인코더(710) 및 오디오 인코더(712)가 동작하고, 업로드 프로토콜(720)에 의하여 다른 단말기로 전송된다.
도 1 및 도 2를 참조하여 설명한 오디오 인코딩 방법과 비디오 인코딩 방법에 의하여 인코딩된 비디오 패킷과 오디오 패킷에 대한 디코딩 과정에서 디코딩의 대상인 인코딩된 비디오 패킷과 오디오 패킷에는 오디오 인코딩시에 사용된 인터럽트 타이머 값을 기초로 결정되는 타임 스탬프값이 각각 비디오 패킷 및 오디오 패킷의 헤더내 소정 영역에 삽입되어 있다. 디코더는 인코딩된 비디오 패킷과 오디오 패킷을 동시에 디코딩하면서 타임 스탬프값을 참조하여 비디오 프레임의 디스플레이 여부를 결정하는 것이 본원 발명의 주요한 특징이 된다.
본원 발명에 따른 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법 및 디코딩 방법은 휴대폰 및 개인휴대단말기(Personal Digital Assistant: PDA)와 같이 중앙처리장치의 성능에 많은 제약이 따르고 전송 환경이 열악한 무선을 기반으로 전송이 이루어지는 핸드 헬드(hand-held) 기반의 이동 단말기 분야에서 현재 수준의 중앙처리장치를 사용하여 효과적으로 비디오와 오디오를 동시에 인코딩할 수 있다는 장점이 있다. 또한, 상기와 같은 비디오 오디오 인코딩 방법에 따르면 인코딩되는 영상은 초당 3 프레임 정도의 프레임 레이트(frame rate)를 유지하면서 마이크를 통하여 입력되는 음성과 동기시켜 인코딩함으로써 자연스러운 멀티미디어 통화를 가능하게 한다.
한편, 상기와 같은 본 발명에 따른 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법 및 디코딩 방법은 컴퓨터 프로그램으로 작성될 수 있다. 상기 컴퓨터 프로그램은 카메라 내장형 이동 단말기 내부에 구비되는 마이크로 컴퓨터에 의하여 읽혀지고 실행됨으로써 본 발명에 따른 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법 및 디코딩 방법이 수행되어, 단말기내에서의 오디오 비디오 코덱(CODEC)으로써 기능한다. 또한, 상기 프로그램은 ROM, EPROM, EEPROM, 및 플래시 메모리와 같은 반도체 메모리내에 저장될 수 있고, 인터넷 및 기타 통신 선로를 통하여 다운로드될 수 도 있다.
이상의 실시예는 본원 발명에 대한 이해를 돕기 위한 설명적인 것이며 첨부된 청구항들에 의하여 정의되는 본원 발명의 범위내에서 다양한 변형 및 수정이 가능하다. 따라서, 본 발명에 따른 카메라 내장형 휴대폰의 비디오 인코딩 방법의 권리 범위는 상기 실시예에 한정되지 아니한다.
상술한 바와 같이 본 발명에 따른 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법 및 디코딩 방법에 따르면, 휴대폰 및 개인휴대단말기(Personal Digital Assistant: PDA)와 같이 중앙처리장치의 성능에 많은 제약이 따르고 전송 환경이 열악한 무선을 기반으로 전송이 이루어지는 핸드 헬드(hand-held) 기반의 이동 단말기 분야에서 현재 수준의 중앙처리장치를 사용하여 효과적으로 비디오와 오디오를 동시에 인코딩할 수 있다는 장점이 있다. 또한, 인코딩되는 영상은 초당 3 프레임 정도의 프레임 레이트(frame rate)를 유지하면서 마이크를 통하여 입력되는 음성과 동기시켜 인코딩됨으로써 자연스러운 멀티미디어 통화를 가능하게 한다.
도 1은 본 발명의 실시예에 따른 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법의 흐름도.
도 2는 본 발명의 실시예에 따른 카메라 내장형 이동 단말기의 오디오 비디오 디코딩 방법의 흐름도.
도 3는 도 1 및 도 2를 참조하여 설명한 비디오 인코딩 및 오디오 인코딩 과정에서 패킷내에 포함되는 헤더 필드 구조의 일예를 나타낸 도면.
도 4는 상기 오디오 인코딩 및 비디오 인코딩의 시간 제어 관계를 설명하기 위한 도면.
도 5는 비디오 콜백 과정과 오디오 콜백 과정을 보다 상세히 설명하기 위한 도면.
도 6은 본 발명의 실시예에 따른 오디오 비디오 디코딩 방법의 주요 단계들을 나타낸 흐름도.
도 7은 본 발명에 따른 오디오 비디오 인코딩 방법을 수행하는 이동 단말기내에 이루어지는 프로토콜 스택 구조를 나타낸 블록도.

Claims (10)

  1. 삭제
  2. 카메라를 내장한 이동 단말기내에서 카메라에 의하여 촬영된 비디오와 마이크를 통하여 입력된 오디오를 동기시켜 인코딩하는 오디오 비디오 인코딩 방법에 있어서,
    (a) 이동 단말기의 운영체제로부터 타이머 이벤트로서 제1 소정 시간 간격마다 비디오 인코딩 명령을 접수하는 단계;
    (b) 상기 (a) 단계에서 인코딩 명령이 접수되면 비디오 인코딩 및 오디오 인코딩을 수행함과 동시에 오디오 데이터의 인코딩에 사용되고 제2 소정 시간 간격마다 증가되는 타이머값을 기준 타이머값으로 설정하는 단계;
    (c) 하나의 비디오 프레임에 대한 인코딩이 완료되었는지를 체크하는 단계;
    (d) 상기 (c) 단계에서 하나의 비디오 프레임에 대한 인코딩이 완료된 것으로 체크되면 비디오 프레임의 인코딩이 완료된 싯점에서의 기준 타이머값을 타임 스탬프로써 비디오 패킷의 헤더 필드에 삽입하는 단계; 및
    (e) 오디오 버퍼의 용량에 의하여 결정되는 제3 소정 시간이 경과하면 기준 타이머값을 타임 스탬프로써 오디오 패킷의 헤더 필드에 삽입하는 단계;를 포함하는 것을 특징으로 하는 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법.
  3. 제2항에 있어서, 상기 헤더 필드는,
    오디오 패킷인지 비디오 패킷인지를 식별하기 위한 패킷 종류 식별자 영역과, 인코딩된 비디오 오디오 패킷의 일련 번호를 나타내는 패킷 시퀀스 영역, 및 패킷의 길이를 맞추기 위한 패딩 비트 영역을 포함하는 것을 특징으로 하는 카메라 내장형 이동 단말기의 오디오 비디오 디코딩 방법.
  4. 제1항에 있어서, 상기 제1 소정 시간 간격은,
    200 밀리초 내지 400 밀리초에서 선택된 것을 특징으로 하는 카메라 내장형 이동 단말기의 오디오 비디오 디코딩 방법.
  5. 제4항에 있어서,
    상기 제1 소정 시간 간격은 300 밀리초 이고 상기 제2 소정 시간 간격은 20 밀리초이며 상기 오디오 인코딩은 EVRC(Enhanced Variable Rate Coding) 코딩을 기반으로 하고 상기 제3 소정 시간 간격은 500 밀리초인 것을 특징으로 하는 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법.
  6. 제2항에 있어서, 상기 (b) 단계의 오디오 인코딩은,
    비디오 인코딩과 독립적으로 수행되는 것을 특징으로 하는 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법.
  7. 제2항에 있어서,
    녹화중이면 촬영된 비디오와 함께 마이크 볼륨을 나타내는 심볼을 디스플레이창에 표시하는 단계;를 더 포함하는 것을 특징으로 하는 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법.
  8. 삭제
  9. 카메라를 내장한 이동 단말기내에서 오디오와 비디오를 동시에 인코딩하면서 오디오 인코딩시에 사용된 인터럽트 타이머 값을 기초로 결정되는 타임 스탬프값을 각각 비디오 패킷 및 오디오 패킷의 헤더내 소정 영역에 삽입하는 단계를 포함하는 인코딩 방법에 의하여 인코딩된 오디오 비디오 정보를 수신하여 디코딩하는 오디오 비디오 디코딩 방법에 있어서,
    (a) 오디오 패킷과 비디오 패킷을 각각 디코딩하는 단계;
    (b) 현재 디코딩중인 비디오 패킷과 오디오 패킷의 타임스탬프값을 참조하여 비디오 패킷의 타임 스탬프값이 오디오 패킷의 타임 스탬프 값 보다 큰지를 체크하는 단계; 및
    (c) 상기 (b) 단계에서 비디오 패킷의 타임 스탬프값이 오디오 패킷의 타임 스탬프 값 보다 크거나 같은 것으로 체크되면 해당 비디오 프레임을 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 카메라 내장형 이동 단말기의 오디오 비디오 디코딩 방법.
  10. 제9항에 있어서, 상기 (b) 단계 이후에,
    (d) 상기 (c) 단계에서 비디오 패킷의 타임 스탬프값이 오디오 패킷의 타임 스탬프 값 보다 작은 것으로 체크되면 소정 시간 지연후 해당 비디오 프레임을 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 카메라 내장형 이동 단말기의 오디오 비디오 디코딩 방법.
KR10-2003-0020335A 2003-04-01 2003-04-01 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법및 디코딩 방법 KR100538704B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2003-0020335A KR100538704B1 (ko) 2003-04-01 2003-04-01 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법및 디코딩 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0020335A KR100538704B1 (ko) 2003-04-01 2003-04-01 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법및 디코딩 방법

Publications (2)

Publication Number Publication Date
KR20040085591A KR20040085591A (ko) 2004-10-08
KR100538704B1 true KR100538704B1 (ko) 2005-12-23

Family

ID=37368561

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0020335A KR100538704B1 (ko) 2003-04-01 2003-04-01 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법및 디코딩 방법

Country Status (1)

Country Link
KR (1) KR100538704B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006043768A1 (en) * 2004-10-22 2006-04-27 Lg Electronics, Inc. Image processor and operating method thereof
KR100713538B1 (ko) * 2005-01-13 2007-05-02 엘지전자 주식회사 변동망 환경에서의 단말기의 화질 제어 장치 및 방법
KR100658866B1 (ko) * 2005-03-10 2006-12-15 엘지전자 주식회사 비디오 및 오디오 데이터 동기화 장치 및 방법
KR100677441B1 (ko) * 2005-03-11 2007-02-02 엘지전자 주식회사 휴대단말기의 영상과 음성신호 동기장치 및 방법
US7890071B2 (en) * 2005-05-11 2011-02-15 Sigmatel, Inc. Handheld audio system
US8842666B2 (en) 2005-05-13 2014-09-23 Qualcomm Incorporated Methods and apparatus for packetization of content for transmission over a network
KR101366266B1 (ko) * 2007-07-27 2014-02-20 엘지전자 주식회사 휴대 단말기 및 휴대 단말기에서의 신호 처리 방법
JP2011504313A (ja) * 2007-10-26 2011-02-03 シェラキ、ジャン 既存のデジタル音声転送プロトコルを用いてマルチメディアコンテンツを転送する方法およびシステム

Also Published As

Publication number Publication date
KR20040085591A (ko) 2004-10-08

Similar Documents

Publication Publication Date Title
JP4250648B2 (ja) 情報処理装置
JP4842033B2 (ja) 携帯端末機の画像表示装置及び方法
JP3775346B2 (ja) テレビ電話システムおよびその端末装置
CN110784718B (zh) 视频数据编码方法、装置、设备和存储介质
JP5026167B2 (ja) ストリーム伝送サーバおよびストリーム伝送システム
EP1855483A2 (en) Apparatus and method for transmitting and receiving moving pictures using near field communication
KR100605935B1 (ko) 동영상 촬영 방법
KR100538704B1 (ko) 카메라 내장형 이동 단말기의 오디오 비디오 인코딩 방법및 디코딩 방법
CN110996122B (zh) 视频帧传输方法、装置、计算机设备及存储介质
KR100606076B1 (ko) 휴대단말기의 이미지 처리방법
CN111182302B (zh) 视频的图像编码方法、终端设备以及存储介质
US8120636B2 (en) Method for performing recording operation in video communication mode of wireless terminal and wireless terminal implementing the same
US7606432B2 (en) Apparatus and method for providing thumbnail image data on a mobile terminal
US8159970B2 (en) Method of transmitting image data in video telephone mode of a wireless terminal
US20150189231A1 (en) Video conferencing system
JP2005182629A (ja) 情報送受信システムおよび方法、送信装置および送信方法、受信装置および受信方法、並びにプログラム
EP1463333A1 (en) Apparatus and method for image, video and audio processing
KR101216695B1 (ko) 정지 화상 또는 동화상의 선택적 출력이 가능한 화상 통신
KR100456972B1 (ko) 카메라 내장형 이동 단말기의 비디오 인코딩 방법
KR100669622B1 (ko) 휴대 영상 단말기의 오디오 및 비디오 동기화 방법
JP2009141388A (ja) 情報処理装置および情報処理方法
KR100479786B1 (ko) 영상전화기를 이용한 동영상메일 송수신방법
JP4116056B2 (ja) 携帯端末
WO2003101102A1 (en) Mobile communication device
KR20080035112A (ko) 이동통신 단말기에서의 동영상 컨텐츠 다운로드 방법 및이를 위한 이동통신 단말기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111219

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20121220

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee