KR20040045382A - 휴대단말기의 영상표시 장치 및 방법 - Google Patents

휴대단말기의 영상표시 장치 및 방법 Download PDF

Info

Publication number
KR20040045382A
KR20040045382A KR1020030083777A KR20030083777A KR20040045382A KR 20040045382 A KR20040045382 A KR 20040045382A KR 1020030083777 A KR1020030083777 A KR 1020030083777A KR 20030083777 A KR20030083777 A KR 20030083777A KR 20040045382 A KR20040045382 A KR 20040045382A
Authority
KR
South Korea
Prior art keywords
signal
image
video signal
audio
video
Prior art date
Application number
KR1020030083777A
Other languages
English (en)
Other versions
KR100566253B1 (ko
Inventor
임채환
서정욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20040045382A publication Critical patent/KR20040045382A/ko
Application granted granted Critical
Publication of KR100566253B1 publication Critical patent/KR100566253B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Abstract

영상신호를 촬영하는 카메라를 구비하는 휴대단말기의 합성동영상신호를 생성하는 방법이, 촬영되는 영상신호들을 프레임 크기의 정지영상신호로 부호화하는 과정과, 수신되는 오디오신호를 부호화하는 과정과, 부호화된 각 프레임 정지영상신호에 영상패턴 및 프레임 길이를 포함하는 이미지헤더를 삽입하는 과정과, 이미지헤더가 삽입된 프레임 크기의 부호화 영상신호에 상기 부호화된 오디오신호를 합성하는 과정과, 상기와 같은 과정을 반복 수행하면서 연속되는 프레임 정지영상에 상기 대응되는 오디오신호를 합성하는 과정과, 기록 종료시 합성된 영상신호들을 동영상 파일로 저장하는 과정으로 이루어진다.

Description

휴대단말기의 영상표시 장치 및 방법{DEVICE AND METHOD FOR DISPLAYING PICTURE IN WIRELESS TERMINAL}
본 발명은 휴대용 단말기의 영상 표시장치 및 방법에 관한 것으로, 특히 정지 영상들을 동영상 화면으로 표시할 수 있는 장치 및 방법에 관한 것이다.
현재 휴대용 이동통신 단말기는 음성 통신 기능 이외에 고속의 데이터를 전송할 수 있는 구조로 변환하고 있다. 즉, IMT 2000 규격의 이동통신 망을 구현하면, 상기 휴대용 전화기를 이용하여 음성통신 이외에 고속의 데이터 통신을 구현할 수 있다. 상기 데이터 통신을 수행하는 휴대용 단말기에서 처리할 수 있는 데이터들은 패킷 데이터 및 영상데이타들이 될 수 있다.
일반적으로 영상처리장치는 영상을 촬영하는 카메라와, 상기 카메라로부터 촬영된 영상신호를 표시하는 표시부를 구비한다. 여기서 상기 카메라는 CCD나 CMOS 센서를 사용할 수 있으며, 표시부는 LCD를 사용할 수 있다. 또한 상기 카메라 장치의 소형화에 따라 상기 영상을 촬영하는 장치는 점점 소형화되는 추세에 있다. 그리고 상기 카메라 장치는 휴대용 단말기에도 장착되는 추세이다. 상기 휴대용 단말기는 영상 화면을 촬영하여 동영상(moving picture) 및 정지영상(still picture)으로 표시할 수 있으며, 또한 촬영된 영상 화면을 기지국에 전송할 수도 있다.
상기와 같이 현재 동영상 메일에 관하여 사업자 및 소비자의 욕구가 증대됨에 따라 상기와 같은 서비스를 구현하고 있으며, 또한 향후 크게 증가될 추세이다. 그러나 상기 동영상 화면을 전송하는 경우, 데이터 량이 많아 영상 압축의 문제가 크게 대두되고 있으며, 휴대용 단말기를 이용하여 동영상 화면을 전송하는 경우에는 더욱 큰 문제가 된다.
일반적으로 동영상 신호의 압축은 MPEG4(Moving Picture Expert Group 4) 방법을 사용하고 있다. 상기 MPEG4 방식은 동영상신호를 압축하는 경우 많은 데이터를 압축할 수 있으나 너무 높은 MIPS를 요구하고 있다. 따라서 ARM7을 기반으로 하는 휴대용 단말기에 적용하는 것이 매우 어렵다. 예를들면 VOD(Video On Demand)인 경우 MPEG4로 디코딩하는데 약 10MIPS가 필요하고 영상 메일(video mail)을 MPEG4로 디코딩하는데 약 200MIPS 이상이 필요하다. 따라서 임블레이즈 칩(emblaze chip), 메가패스 칩(megapass chip), 알파모자이크 칩(Alphamosaic chip) 등의 다양한 보조 프로세서들을 탑재하여야 하며, 이로인해 하드웨어의 단가가 증가되고 부피가 커지는 단점이 있다.
따라서 상기와 같은 영상 압축 방법을 사용하는 경우, 소프트웨어만으로 처리가능하며 화면 갱신율이 높은 솔루션을 가질 수 없다. 현재 카메라를 내장하는 휴대용 단말기 또는 카메라 외장형의 휴대용 단말기들은 LCD(Liquid Crystal Display) 및 정지화면의 영상데이타를 압축하는 코덱을 가지고 있다. 상기 정지화면용 영상압축 코덱은 JPEG 코덱이 될 수 있다. 그리고 상기와 같은 구성을 가지는 카메라 폰들은 IMT 2000과 같은 광대역 서비스가 제공되는 상황에서 점차 일반화될 것으로 보인다. 따라서 상기 JPEG코덱을 통해 수신되는 동영상신호를 연속적으로 영상압축하여 동영상 데이터로 저장하고, 필요시 이를 동영상 메일로 전송할 수 있을 것이다.
따라서 본 발명의 목적은 카메라를 구비하는 휴대단말기에서 카메라로부터촬영되는 정지영상신호들을 동영상신호로 생성 및 표시할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 카메라를 구비하는 휴대단말기에서 카메라로부터 촬영되는 동영상신호에 오디오신호를 결합하여 합성 동영상신호로 생성할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 카메라를 구비하는 휴대단말기에서 카메라로부터 촬영되는 동영상신호에 텍스트신호를 결합하여 합성 동영상신호로 생성할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 카메라를 구비하는 휴대단말기에서 카메라로부터 촬영되는 동영상신호에 오디오 및 텍스트신호를 결합하여 합성 동영상신호로 생성할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 카메라 및 영상코덱을 구비하는 휴대전화기에서 동영상신호 및 오디오신호가 합성된 동영상신호를 억세스하여 동영상신호 및 오디오신호로 분리하고, 상기 분리된 동영상신호 및 오디오신호를 재생할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 카메라 및 영상코덱을 구비하는 휴대전화기에서 동영상신호 및 텍스트신호가 합성된 동영상신호를 억세스하여 동영상신호 및 텍스트신호로 분리하고, 상기 분리된 동영상신호 및 텍스트신호를 재생할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 카메라 및 영상코덱을 구비하는 휴대전화기에서동영상신호, 텍스트 및 오디오신호가 합성된 동영상신호를 억세스하여 동영상신호, 텍스트신호 및 오디오신호로 분리하고, 상기 분리된 동영상신호, 텍스트 및 오디오신호를 재생할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 카메라 및 영상코덱을 구비하는 휴대전화기에서 합성된 동영상신호를 통신 경로를 통해 전송할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 카메라 및 영상코덱을 구비하는 휴대전화기에서기지국으로부터 수신되는 합성 동영상신호를 수신하여 저장 및 재생하는 장치 및 방법을 제공함에 있다.
도 1은 본 발명을 수행하기 위한 휴대단말의 구성을 도시하는 도면
도 2는 도 1의 영상처리부의 상세한 구성을 도시하는 도면
도 3은 본 발명의 실시예에 따라 합성 동영상신호를 생성하여 저장하는 절차를 설명하기 위한 도면
도 4는 본 발명의 실시예에 따라 합성 동영상신호를 재생하는 절차를 설명하기 위한 도면
도 5는 본 발명의 실시예에 따라 합성 동영상신호를 전송하는 절차를 설명하기 위한 도면
도 6은 본 발명의 실시예에 따라 합성 동영상신호를 수신하는 절차를 설명하기 위한 도면
도 7은 본 발명의 실시예에 따라 영상신호 및 오디오신호를 획득하여 합성된 동영상신호를 생성 및 저장하는 절차를 도시하는 흐름도
도 8은 본 발명의 실시예에 따라 영상신호 및 오디오신호를 획득하여 합성된 동영상신호를 생성 및 저장하는 절차를 도시하는 또 다른 흐름도
도 9는 본 발명의 실시예에 따라 영상신호 및 오디오신호를 획득하여 합성된 동영상신호를 생성 및 저장하는 구성을 도시하는 도면
도 10a 및 도 10b는 상기 도 7에서 도 9에 의해 생성된 합성 동영상데이타의 구조를 도시하는 도면
도 11은 본 발명의 실시예에 따라 동영상신호 및 텍스트신호를 합성하고, 상기 합성된 동영상신호를 저장하는 절차를 도시하는 흐름도
도 12는 본 발명의 실시예에 따라 동영상신호 및 텍스트신호를 합성하고, 상기 합성된 동영상신호를 저장하는 절차를 도시하는 또 다른 흐름도
도 13은 본 발명의 실시예에 다라 영상신호 및 텍스트신호를 획득하여 합성된 동영상신호를 생성 및 저장하는 구성을 도시하는 도면
도 14a - 도 14c는 도 11 - 도 13에서 생성하는 텍스트신호가 합성된 합성 동영상신호의 포맷을 도시하는 도면
도 15는 본 발명의 실시예에 따라 동영상신호, 오디오신호 및 텍스트신호를 합성하고, 상기 합성된 동영상신호를 저장하는 절차를 도시하는 흐름도
도 16은 본 발명의 실시예에 따라 동영상신호, 오디오신호 및 텍스트신호를 합성하고, 상기 합성된 동영상신호를 저장하는 절차를 도시하는 또 다른 흐름도
도 17은 본 발명의 실시예에 다라 영상신호, 오디오신호 및 텍스트신호를 획득하여 합성된 동영상신호를 생성 및 저장하는 구성을 도시하는 도면
도 18은 도 15 - 도 17에서 생성하는 영상신호에 오디오 및 텍스트신호가 합성된 합성 동영상신호의 포맷을 도시하는 도면
도 19는 본 발명의 실시예에 따라 합성 동영상신호를 분리하여 재생하는 절차를 도시하는 흐름도
도 20은 본 발명의 실시예에 따라 합성 동영상신호를 분리하여 재생하는 구성을 도시하는 도면
도 21은 본 발명의 실시예에 따라 텍스트신호가 합성된 합성 동영상신호를 재생하는 절차를 도시하는 흐름도
도 22는 본 발명의 실시예에 따라 텍스트신호가 합성된 합성 동영상신호를 재생하는 구성을 도시하는 도면
도 23은 본 발명의 실시예에 따라 영상신호, 오디오신신호 및 텍스트신호가 합성된 합성 동영상신호를 재생하는 절차를 도시하는 흐름도
도 24는 본 발명의 실시예에 따라 영상신호, 오디오신호 및 텍스트신호가 합성된 합성 동영상신호를 재생하는 구성을 도시하는 도면
도 25는 본 발명의 실시예에 따라 합성 동영상신호를 패킷으로 조립하여 전송하는 절차를 도시하는 흐름도
도 26은 본 발명의 실시예에 따라 합성 동영상신호를 패킷으로 조립하는 전송하는 구성을 도시하는 도면
도 27a - 도 27e는 상기 합성 동영상신호를 전송할 때 생성되는 합성 동영상신호의 패킷 구조를 도시하는 도면
도 28은 본 발명의 실시예에 따라 텍스트 및 동영상신호가 합성된 합성 동영상신호를 패킷으로 조립하여 전송하는 구성을 도시하는 도면
도 29a - 도 29b는 상기 합성 동영상신호의 전송 패킷 포맷을 도시하는 도면
도 30은 본 발명의 실시예에 따라 텍스트, 오디오 및 동영상신호가 합성된 합성 동영상신호를 패킷으로 조립하는 전송하는 구성을 도시하는 도면
도 31a - 도 31c는 상기 합성 동영상신호의 전송 패킷 포맷을 도시하는 도면
도 32는 본 발명의 실시예에 따라 수신되는 합성 동영상신호의 패킷들을 분해하여 합성 동영상신호의 형태로 저장하는 절차를 도시하는 흐름도
도 33은 본 발명의 실시예에 따라 수신되는 합성 동영상신호의 패킷들을 분해하여 합성 동기신호의 형태로 저장 및 재생하는 구성을 도시하는 도면
도 34a - 도 34c는 합성 동영상신호의 패킷 구조를 분해하여 합성 동영상신호 형태로 생성하는 구조를 도시하는 도면
도 35는 본 발명의 실시예에 따라 텍스트 및 동영상신호들이 합성된 합성 동영상신호의 패킷들을 수신하여 분해하는 구성을 도시하는 도면
도 36은 본 발명의 실시예에 따라 텍스트, 오디오 및 동영상신호들이 합성된 합성 동영상신호의 패킷들을 수신하여 분해하는 구성을 도시하는 도면
도 37은 본 발명의 실시예에 따라 합성동영상신호의 생성, 재생, 전송 및 수신하는 절차를 도시하는 흐름도
이하 본 발명의 바람직한 실시예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
하기 설명에서 영상압축방식, 동영상신호의 전송속도, 영상데이타의 포맷, 영상신호 사이즈 등과 같은 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
본 발명의 실시예에서 영상신호의 코딩 방식은 JPEG 코딩 방식을 사용한다고가정한다. 그러나 다른 영상 코딩 방식을 사용하는 경우에도 동일하게 적용할 수 있다. 본 발명의 실시예에서는 정지 영상신호의 코딩방식인 JPEG 방식을 사용하여 수신되는 동영상신호를 소정시간 간격으로 코딩하여 코딩된 영상 데이터를 생성한다. 그리고 상기 코딩된 영상데이타에 오디오 데이터 또는 텍스트 데이터를 합성한 합성 동영상신호를 생성할 수 있다. 또한 상기 코딩된 데이터에 오디오 및 텍스트데이타를 합성한 합성 동영상신호를 생성할 수 있다.
그리고 본 발명의 실시예에서는 상기와 같이 합성 동영상신호를 생성할 수 있으며, 상기 합성 동영상신호를 분해하여 재생할 수 있고, 합성 동영상신호를 통신부를 통해 전송할 수 있으며, 또한 통신부를 통해 수신할 수도 있다.
본 발명의 실시예에서 동영상신호의 용어는 촬영되는 동영상신호를 영상코덱이 설정된 시간 단위로 정지영상들을 코딩하며, 이렇게 연속적으로 코딩된 정지영상신호들을 동영상 형태로 생성하는 영상신호를 의미한다. 즉, 영상코덱은 설정된 시간마다 프레임 크기의 정지영상신호들을 코딩하며, 여기서 상기 설정된 시간은 상기 영상코덱이 1프레임의 영상신호를 코딩하는데 소요되는 시간을 의미한다. 여기서 상기 영상코덱은 JPEG 코덱이 될 수 있다. 또한 본 발명의 실시예에서 합성 동영상신호라는 용어는 상기 동영상신호에 오디오신호, 또는 텍스트신호, 또는 오디오 및 텍스트신호가 합성된 신호를 의미한다.
본 발명의 실시예에서 동영상합성모드라는 용어는 카메라로부터 촬영되는 영상신호를 상기 영상코덱이 설정시간 단위로 정지영상을 코딩하여 부호화 영상신호로 출력하며, 상기 영상코덱에서 연속적으로 코딩된 부호화 영상신호에 오디오신호, 또는 텍스트신호, 또는 오디오 및 텍스트신호를 합성하는 모드를 의미한다. 동영상재생모드라는 용어는 부호화된 동영상신호에 오디오신호, 또는 텍스트신호, 또는 오디오 및 텍스트신호가 합성된 영상데이터를 억세스하여 표시하는 모드를 의미한다. 동영상전송모드라는 용어는 동영상신호에 오디오신호, 또는 텍스트신호, 또는 오디오 및 텍스트신호의 합성 동영상신호를 전송하는 모드를 의미한다. 이때 상기 동영상 전송모드는 상기 동영상합성모드를 수행한 후 합성된 동영상신호를 전송하는 절차를 연속적으로 수행할 수 있으며, 또한 상기 동영상합성모드를 수행하여 메모리에 저장하고 있는 합성 동영상신호를 선택하여 전송할 수도 있다. 동영상수신모드라는 용어는 기지국으로부터 송신되는 합성동영상신호를 수신하여 저장하는 모드를 의미한다. 이때 상기 동영상수신모드를 수행하면서 상기 동영상재생모드를 연속적으로 수행할 수도 있다.
본 발명의 실시예에 따라 동영상신호를 처리하는 휴대단말기를 휴대전화기로 가정하여 설명될 것이다. 그러나 본 발명의 실시예에 따른 휴대단말기는 상기 휴대 전화기 이외에 카메라를 이용하여 영상을 표시하는 휴대용 통신장치에도 동일하게 적용할 수 있다.
도 1은 본 발명의 실시예에 따른 휴대단말기의 구성을 도시하는 도면으로써, 휴대전화기의 구성이 될 수 있다.
상기 도 1을 참조하면, RF부23은 휴대용 전화기의 무선 통신 기능을 수행한다. 상기 RF부23은 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강변환하는 RF수신기등을 포함한다.데이터처리부20은 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화하는 수신기등을 구비한다. 즉, 상기 데이터 처리부23은 모뎀(MODEM) 및 코덱(CODDEC)으로 구성될 수 있다. 여기서 상기 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱85를 구비한다. 또한 본 발명의 실시예에서 상기 오디오 코덱85는 휴대전화기에 내장된 음성 코덱(speech codec)이라고 가정한다. 상기 오디오 코덱85가 8 kbps speech codec인 경우, 매 20 msec마다 1 프레임(frame: 20 bytes)의 부호화된 오디오신호가 생성된다. 오디오 처리부25는 상기 데이터 처리부20의 오디오 코덱에서 출력되는 수신 오디오신호를 재생하거나 또는 마이크로부터 발생되는 송신 오디오신호를 상기 데이터 처리부20의 오디오 코덱에 전송하는 기능을 수행한다.
키입력부27은 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능들을 설정하기 위한 기능키들을 구비한다. 또한 상기 키입력부27은 본 발명의 실시예에 따라 동영상 모드를 제어하기 위한 기능키들 및 카메라를 구동하는 촬영키 들을 구비할 수 있다. 또한 본 발명의 실시예에서는 상기 키입력부27을 통해 합성 동영상신호에 합성되는 텍스트신호를 입력할 수도 있다.
메모리30은 프로그램 메모리, 데이터 메모리, 그리고 본 발명의 실시예에 따라 생성 및 수신되는 합성 동영상신호를 저장하는 동영상 메모리들로 구성될 수 있다. 상기 프로그램 메모리는 휴대용 전화기의 일반적인 동작을 제어하기 위한 프로그램들 및 본 발명의 실시예에 따라 표시부에 인가되는 영상신호의 경로를 제어하는 프로그램들을 저장할 수 있다. 또한 상기 데이터 메모리는 상기 프로그램들을수행하는 중에 발생되는 데이터들을 일시 저장하는 기능을 수행한다. 또한 상기 데이터 메모리는 상기 키입력부27을 통해 입력되는 텍스트신호들을 저장하는 텍스트버퍼, 영상코덱80에서 생성되는 동영상신호를 저장하는 이미지버퍼, 상기 오디오코덱85에서 생성되는 오디오신호를 저장하는 오디오버퍼들을 구비할 수도 있다. 상기 동영상 메모리는 본 발명의 실시예에 따라 코딩된 영상데이터들과 텍스트신호(오디오신호들도 포함될 수 있음)의 합성데이터들을 저장하는 메모리이다.
제어부10은 휴대용 전화기의 전반적인 동작을 제어하는 기능을 수행한다. 또한 상기 제어부10은 상기 데이터처리부20을 포함할 수도 있다. 또한 상기 제어부10은 본 발명의 실시예에 따라 상기 키입력부27로부터 설정되는 모드 명령에 따라 상기 합성동영상신호를 생성 및 저장, 재생, 전송 및 수신하는 동작들을 제어한다. 또한 상기 제어부10은 사용자데이터(user data)를 상기 표시부60에 출력하는 표시하는 기능을 수행한다. 여기서 상기 사용자 데이터는 휴대전화기에 표시되는 정보는 현재시간, 수신감도, 배터리 잔량들을 표시하기 위한 제1사용자 데이터들 및 사용자의 설정에 의해 표시되는 제2사용자데이터들이 될 수 있다. 여기서 상기 제2사용자 데이터에는 본 발명의 실시예에 따라 사용자가 선택 또는 입력한 합성 동영상신호의 텍스트신호가 될 수 있다. 본 발명의 실시예에서 상기 제2사용자 데이터는 합성 동영상신호의 텍스트신호라고 가정한다.
카메라부(camera module)40은 영상 촬영시에 감지되는 광신호를 전기적 신호로 변환하는 카메라 센서와, 상기 카메라센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부를 구비한다. 여기서 상기 카메라 센서는 CCD센서라 가정하며, 상기 신호처리부는 DSP(Digital Signal Processor: DSP)로 구현할 수 있다. 또한 상기 카메라 센서 및 신호처리부는 일체형으로 구현할 수 있으며, 또한 분리하여 구현할 수도 있다.
영상처리부50은 상기 카메라부40에서 출력되는 영상신호를 표시하기 위한 화면 데이터를 발생하는 기능을 수행한다. 상기 영상처리부50은 상기 카메라부40에서 출력되는 영상신호를 프레임 단위로 처리하며, 상기 프레임 영상데이터를 상기 표시부60의 특성 및 크기에 맞춰 출력한다. 또한 상기 영상처리부50은 영상코덱80을 구비하며, 상기 영상코덱80은 영상신호를 설정된 방식으로 코딩하거나, 코딩된 프레임 영상데이터를 원래의 프레임 영상데이터로 디코딩하는 기능을 수행한다. 상기 영상처리부50은 상기 제어부10의 제어하에 설정되는 모드에 따른 동영상신호를 생성 및 재생하는 기능을 수행한다.
표시부60은 상기 영상처리부50에서 출력되는 프레임 영상신호를 화면으로 표시하며, 상기 제어부10에서 출력되는 사용자 데이터를 표시한다. 또한 상기 표시부60은 상기 제어부10의 제어하에 재생되는 동영상신호를 표시한다. 여기서 상기 표시부60은 LCD를 사용할 수 있으며, 이런 경우 상기 표시부60은 LCD제어부(LCD controller), 영상데이터를 저장할 수 있는 메모리 및 LCD표시소자 등을 구비할 수 있다. 여기서 상기 LCD를 터치스크린(touch screen) 방식으로 구현하는 경우, 입력부로 동작할 수도 있다.
GPS수신기(Global Positioning System receiver)70은 GPS 위성으로부터 GPS 정보를 수신하여 상기 제어부10에 전송한다. 여기서 상기 GPS 정보는 현재 휴대전화기가 위치된 정보가 될 수 있다. 본 발명의 실시예에서는 상기 GPS수신기를 통해 현재 동영상을 획득하는 위치(장소) 정보 및 시간 정보를 수신할 수 있다.
상기 도 1을 참조하면, 발신 통화시 사용자가 키입력부27을 통해 다이알링 동작을 수행하면, 상기 제어부10은 이를 감지하고 데이터처리부20을 통해 수신되는 다이알정보를 처리한 후 RF부23을 통해 RF신호로 변환하여 출력한다. 이후 상대 가입자가 응답하면, 상기 RF부23 및 데이터처리부20을 통해 이를 감지한다. 그러면 상기 제어부10은 RF부23, 데이터처리부20 및 오디오처리부25로 이루어지는 통화로를 형성하여 통신 기능을 수행한다. 또한 착신 통화시 상기 제어부10은 데이터처리부20을 통해 착신 요구를 감지하고, 오디오처리부25를 제어하여 링신호를 발생한다. 이후 사용자가 응답하면 상기 제어부10은 이를 감지하고, 역시 오디오처리부25, 데이터처리부20 및 RF부23으로 이루어지는 통화로를 형성하여 통신 기능을 수행한다. 상기 발신 및 착신통화에서는 음성통신을 예로들어 설명하고 있지만, 상기 음성 통신 이외에 패킷 데이터 및 영상데이터를 통신하는 데이터 통신 기능을 수행할 수도 있다. 또한 대기모드 또는 문자 통신을 수행하는 경우, 상기 제어부10은 데이터처리부23을 통해 처리되는 문자데이터를 표시부60 상에 표시한다.
여기서 상기 휴대전화기가 부호분할다중접속(Code Division Multiple Access: CDMA) 방식의 채널들을 사용하는 경우, 상기 데이터처리부20은 CDMA 방식의 채널송수신기들을 구비한다. 또한 상기 데이터처리부20은 상기한 바와 같이 본 발명의 실시예에 따라 동영상신호에 오디오신호를 코딩 및 디코딩하기 위한 오디오코덱85를 구비한다.
본 발명의 실시예에 따른 상기 휴대전화기는 인물 또는 주변 환경을 촬영하여 영상화면으로 표시 또는 전송하는 동작을 수행할 수 있다. 먼저 카메라부40은 휴대용 전화기에 장착되거나 또는 외부의 소정 위치에 연결될 수 있다. 즉, 상기 카메라부40은 외장형 또는 내장형 카메라일 수 있다. 상기 카메라부40은 영상을 촬영하기 위한 센서 및 상기 센서로부터 촬영되는 영상신호를 디지털 데이터로 변환하는 신호처리부등을 구비할 수 있다. 상기 센서는 CMOS센서나 CCD(Charge Coupled Device) 센서를 사용할 수 있다. 상기 카메라부40에 촬영되는 영상은 내부의 센서에서 전기적신호로 변환된 후 신호처리부에서 상기 영상신호를 디지털 영상 데이터로 변환한다. 그리고 상기 변환된 디지털 영상신호와 동기신호들을 상기 영상처리부50에 출력한다. 여기서 상기 동기신호는 수평동기신호(Hsync: Horizontal Synchronization signal) 및 수직동기신호(Vsync: Vertical Synchronization signal)등이 될 수 있다.
도 2는 본 발명의 실시예에 따른 상기 영상처리부50의 구성의 일예를 도시하는 도면이다. 상기 영상처리부50은 상기 카메라부40과 표시부60간에 영상신호를 인터페이스하는 동시에 상기 카메라부40으로부터 입력되는 영상신호를 코딩 및 디코딩하는 기능을 수행한다. 또한 상기 코딩되는 메인화면의 영상데이터의 화소들 및 라인들을 데시메이션(decimation) 및 크러핑(cropping)하여 소화면을 생성하는 기능을 수행한다. 상기한 바와 같이 상기 영상처리부50은 영상신호를 코딩 및 디코딩하기 위한 영상코덱80을 구비하며, 본 발명의 실시예에서는 상기 영상코덱80이JPEG 코덱인 경우를 가정하여 설명하기로 한다.
도 2를 참조하면, 카메라인터페이스311은 상기 카메라40에서 출력되는 영상데이타를 인터페이스하는 기능을 수행한다. 여기서 상기 카메라40에서 출력되는 영상데이타는 YUV 포맷의 영상데이터이며, 표시부60은 RGB 포맷의 영상데이타를 표시한다고 가정한다. 본 발명의 실시예에서는 상기 카메라40에서 출력되는 영상데이타가 YUV211(16bit)포맷으로써, CIF(352ㅧ288) 사이즈로 고정된다고 가정하며, 표시부60은 RGB 포맷으로써 128*112 사이즈라고 가정한다.
스케일러313은 상기 제어부10에서 출력되는 제어신호에 따라 상기 카메라40에서 촬영되는 영상신호를 상기 표시부60 상에 표시할 수 있도록 스케일링한다. 즉, 상기한 바와 같이 카메라40에서 발생하는 영상신호의 픽셀수는 CIF사이즈(352ㅧ288)이며, 상기 표시부60에 표시할 수 있는 영상신호의 픽셀 수는 128ㅧ112 또는 128ㅧ96이다. 따라서 상기 스케일러313은 상기 카메라40에서 출력되는 영상신호 픽셀들을 표시부60에서 표시할 수 있는 영상신호의 픽셀 수로 축소 및 크러핑한다. 그러나 상기 표시부60이 카메라40에서 출력되는 영상데이타의 사이즈보다 더 큰 크기를 가지는 영상데이타를 표시할 수 있는 경우, 상기 스케일러313은 상기 제어부10의 제어하에 상기 카메라40에서 출력되는 영상신호를 확대하여 표시할 수 있도록 설계할 수 있다. 상기 확대 표시 방법은 상기 카메라40에서 출력되는 영상신호에서 표시부40에서 표시할 수 있는 픽셀수 만큼 선택하여 표시하면 된다.
색변환부315는 상기 스케일러313에서 출력되는 YUV 데이터를 RGB로 변환하여 출력한다. 여기서 상기 카메라40이 촬영되는 영상데이타를 RGB 포맷으로 발생하거나 또는 상기 표시부60이 YUV 포맷의 영상데이타를 표시할 수 있는 경우에는 상기 색변환부315의 구성을 생략할 수 있다.
그리고 LCD 인터페이스317은 상기 표시부60에 영상데이타를 인터페이싱하는 기능을 수행한다. 상기 LCD 인터페이스부317은 내부에 버퍼를 구비하여 상기 LCD인터페이스317에서 표시부60과 인터페이싱되는 영상데이타를 버퍼링하는 기능을 수행할 수 있다.
영상코덱80은 상기 촬영되는 영상데이타를 상기 제어부10의 제어하여 영상 코딩하거나 또는 코딩된 영상데이타를 복원하는 기능을 수행할 수 있다. 본 발명의 실시예에서 상기 영상코덱325는 JPEG 코덱이라고 가정한다. 상기 영상코덱80은 상기 제어부10의 제어하에 상기 색변환기315에서 출력되는 카메라 영상신호 또는 상기 표시부60에서 표시되는 영상신호를 입력하여 JPEG 코딩하며, 또한 JPEG 코딩된 영상신호를 디코딩하여 스케일러313 또는 LCD인터페이스부317에 출력한다. 즉, 상기 영상코덱80은 카메라 영상 또는 표시되는 영상을 코딩 및 디코딩할 수 있다.
상기 제어인터페이스321은 상기 영상처리부50 및 제어부10 간의 인터페이스 기능을 수행하며, 또한 상기 표시부60과 제어부10 간의 인터페이스 기능을 수행한다. 즉, 상기 제어인터페이스321은 상기 제어부10과 영상처리부50 간의 인터페이스 기능을 수행한다.
선택기319는 상기 제어부10에서 출력되는 경로제어신호에 의해 상기 영상처리부50에서 출력되는 데이터 또는 상기 제어부10에서 출력되는 데이터를 선택하여 표시부60에 출력하는 기능을 수행한다. 여기서 제1경로제어신호는 상기영상처리부50과 표시부60 간의 버스를 활성화시키는 신호를 의미하며, 제2경로제어신호는 상기 제어부10과 표시부60 간의 경로를 활성화시키는 신호이다. 또한 상기 제어부10은 상기 선택기319를 통해 상기 표시부60이 양방향 통신을 수행할 수 있다.
상기 도 2를 참조하면, 상기 카메라40에서 획득한 영상데이타를 표시부60에 전송하는 동작을 살펴보면, 상기 영상처리부50은 상기 카메라40에서 촬영되는 동영상데이타의 전송율을 제어하며, 입력되는 영상데이타를 그대로 LCD인터페이스317을 통해 표시부60의 메모리에 저장한다. 여기서 상기 카메라40으로부터 출력되는 1프레임의 영상데이타 크기는 CIF(352ㅧ288)이며, 상기 표시부60에서 표시할 수 있는 1프레임 영상데이타의 화소수(128ㅧ112 또는 128ㅧ96)에 대응시키기 위해 축소처리 및 부분 절출 (크러핑)을 수행하다. 따라서 영상처리부50의 스케일러313은 상기 카메라40에서 출력되는 영상데이타의 화소수를 상기 표시부60에 표시할 수 있도록 상기 화소들 증의 일부를 제거하거나 상기 화소들의 일부 영역을 선택하여 표시(zooming)할 수 있다. 상기 영상데이터의 전송율은 마스터 클럭을 기준으로 고정적으로 결정한다. 그러나 카메라40, 영상처리부50 및 표시부60으로의 영상신호 흐름은 상기 표시부60의 억세스 속도에 의해 제한된다. 따라서 상기 카메라40로부터의 독출 속도(read speed)와 상기 표시부60으로 기록속도(write speed)를 조정하기 위해 상기 LCD인터페이스317은 버퍼를 구비하여 일시적으로 버퍼링을 수행할 수 있다.
또한 상기 카메라40에서 촬영되는 영상신호를 표시부60에서 동영상 화면으로 표시하는 과정에서 사용자는 표시되는 화면을 정지화면으로 캡쳐하여 저장할 수 있다. 즉, 사용자는 키입력부27의 사진찍기 기능키를 이용하여 표시되는 영상화면을 사진으로 저장할 수 있다. 이때 사진찍기 명령이 발생되면, 상기 제어부10은 상기 영상처리부50의 동작을 중단시켜 상기 표시부60에 표시되는 영상화면을 정지화면으로 재생하고 영상코덱80을 구동한다. 그러면 상기 영상코덱80은 상기 카메라부40에서 출력되는 영상화면 또는 표시부60에 표시중인 영상화면의 1프레임 영상데이타를 입력하게 되며, 입력되는 영상데이타를 JPEG 포맷으로 부호화하여 제어인터페이스부321에 출력한다. 그리고 제어부10은 상기 수신되는 코딩된 영상데이타를 메모리30에 사진으로 저장한다.
상기 도 2와 같은 영상처리부50의 상세한 구성은 본원 출원인에 의해 선출원된 대한민국 특허출원 제2002-22066호 및 제2002-22844호에 기재되어 있다.
본 발명의 실시예에 따른 영상처리부50은 상기 제어부10의 제어하에 영상신호를 처리하는 구성을 도시하고 있다. 그러나 상기 영상처리부50은 영상처리제어부 및 영상메모리를 더 구비할 수 있으며, 이런 경우 상기 제어부10은 휴대단말기의 전반적인 제어 기능을 수행하고, 영상처리부50은 상기 제어부10의 제어하에 영상처리 기능을 전담하여 처리할 수도 있다.
도 3은 본 발명의 실시예에 따라 카메라 및 영상코덱을 구비하는 휴대전화기에서 카메라로부터 촬영되는 영상신호를 연속되는 정지영상신호로 코딩하고, 코딩된 동영상신호에 오디오신호 및(또는) 텍스트신호를 합성하여 합성 동영상신호를생성하고 이를 저장하는 동작을 설명하기 위한 도면이다.
상기 도 3을 참조하면, 먼저 카메라부40에서 촬영되는 영상신호는 영상코덱80에 인가되어 프레임 단위로 코딩되어 JPEG 영상 데이터로 부호화되며, 상기 JPEG 부호화 영상 데이터는 제어부10에 인가된다. 이때 상기 영상코덱80은 부호화 성능에 따라 카메라부40에서 출력되는 영상신호들 중에서 일부 프레임을 건너뛰면서 코딩된 JPEG 부호화 영상데이타들을 발생한다. 즉, 상기 영상코덱80은 영상코덱80의 부호화 능력에 따라 연속되는 정지영상신호로 코딩 동작을 수행하게 된다. 또한 상기 데이터처리부20의 오디오 코덱85는 상기 동영상신호에 따른 오디오신호를 코딩 부호화하며, 상기 부호화된 오디오신호는 제어부10에 인가된다. 그러면 상기 제어부10은 상기 영상코덱80에서 출력되는 동영상신호에 상기 오디오코덱85에서 출력되는 오디오신호를 합성하여 합성 동영상신호를 생성한다. 그리고 상기와 같이 생성된 합성 동영상신호를 메모리30에 저장한다. 상기와 같은 동작을 반복 수행하면, 상기 메모리30에는 동영상신호에 오디오신호가 합성되는 합성 동영상신호들이 저장된다.
또한 상기 제어부10은 상기 영상코덱80에서 출력되는 동영상신호에 상기 데이터처리부20에서 출력되는 텍스트신호를 합성하여 합성 동영상신호를 생성한다. 그리고 상기와 같이 생성된 합성 동영상신호를 메모리30에 저장한다. 이때 상기 텍스트신호는 사용자가 키입력부27을 통해 직접 입력할 수 있으며, 또한 미리 저장한 텍스트신호를 선택하여 합성할 수도 있다. 또한 상기 동영상신호에 텍스트신호를 합성하는 방법은 텍스트 및 동영상신호의 입력은 각각 독립적으로 수행하며, 상기동영상신호의 입력이 종료된 상태에서 상기 동영상신호에 상기 텍스트신호를 합성할 수 있다.
그리고 상기 저장된 합성 동영상신호의 이름, 장소, 시간 등을 함께 저장한다. 여기서 휴대전화기가 GPS 수신기를 구비하는 경우, 상기 동영상신호를 촬영한 장소 및 시간은 GPS를 통해 수신되는 장소 및 시간 정보를 이용하여 자동으로 등록되게 할 수 있다. 이런 경우, 사용자는 합성동영상신호의 이름을 별도로 입력하여 메뉴 정보로 활용할 수 있다. 또한 상기 휴대전화기가 GPS수신기를 구비하지 않는 경우에는 상기 이름, 촬영장소 및 시간을 함께 입력하여 향후 메뉴정보로 이용할 수 있도록 한다.
상기와 같은 동작은 카메라 및 영상코덱을 구비하는 휴대전화기에 대한 설명이다. 그러나 영상코덱을 구비하지 않고 소프트웨어적인 영상코덱(JPEG Codec)을 가지는 휴대단말기에 대해서도 상기와 같은 동작을 구현할 수 있다. 그러나 영상코덱 내장하여 하드웨어적으로 영상신호를 코딩 및 디코딩하는 휴대전화기와 달리 소프트웨어적으로 JPEG 영상을 코딩 및 디코딩하는 것은 시간이 많이 걸린다. 따라서, 수신된 동영상 메일에서 비디오에 관련해서는 몇 프래임을 건너 뛰면서 JPEG 데이터를 디코딩하고 오디오에 대해서는 모두 디코딩하게 되면 프레임 갱신율은 낮아지지만 충분히 음성 메시지와 영상 메시지를 전송할 수 있게 된다.
도 4는 본 발명의 실시예에 따라 상기 도 3과 같이 저장된 합성 동영상신호들을 억세스하여 동영상신호, 오디오신호 및(또는) 텍스트신호로 분리하고, 상기 분리된 동영상신호, 오디오신호 및(또는) 텍스트신호를 재생하는 동작을 도시하는도면이다.
상기 도 4를 참조하면, 합성 동영상신호의 재생이 요구되면, 제어부10은 상기 메모리30에서 선택된 합성 동영상신호를 억세스한 후, 헤더를 분석하여 영상, 오디오 및(또는) 텍스트신호를 분리한다. 이후 상기 제어부10은 상기 오디오 및(또는) 텍스트신호를 오디오코덱85 및 (또는) 표시부60에 전송하고 동영상신호는 영상코덱80에 전송한다. 그러면 상기 영상코덱80은 부호화된 JPEG 영상신호는 원래의 영상신호로 복원하며, 영상처리부50은 상기 복원된 영상신호를 표시부60의 크기에 맞춰 처리한 후 표시부60에 전송하여 표시하도록 한다. 이때 상기 제어부10에서 출력되는 텍스트신호는 상기한 바와 같은 제2사용자데이터가 될 수 있으며, 상기 텍스트신호는 상기 동영상신호를 표시하는 상태에서 지정된 표시형태에 따라 표시된다. 이때 상기 표시형태(display type)은 후술하기로 한다. 그리고 상기 오디오코덱85는 상기 부호화된 오디오신호를 원래의 오디오신호로 복원한 후 오디오처리부25를 재생하도록 한다.
도 5는 본 발명의 실시예에 따라 카메라 및 영상코덱을 구비하는 휴대전화기에서 합성 동영상신호를 전송하는 동작을 설명하기 위한 도면이다. 상기 합성 동영상신호를 전송하는 방법은 상기 메모리30에서 저장된 합성 동영상신호를 억세스하여 전송하거나 또는 상기 도 3과 같은 동작을 수행하면서 합성된 동영상신호를 실시간으로 전송할 수도 있다. 여기서 상기 합성동영상신호는 동영상, 오디오 및(또는) 텍스트신호가 합성된 경우를 가정하고 있다.
먼저 상기 메모리30에 저장된 합성 동영상신호를 전송하는 동작을 살펴본다.상기 메모리30에는 적어도 하나 이상의 합성 동영상신호들이 저장되어 있을 수 있다. 따라서 사용자는 메뉴를 통해 원하는 합성 동영상신호를 선택할 수 있으며, 상기 합성 동영상신호가 선택되면 상기 제어부10은 상기 메모리30에서 해당하는 합성 동영상신호를 억세스한 후 전송 형태의 패킷데이터로 조립한 후 이를 데이터처리부20에 출력한다. 그리고 상기 데이터처리부20은 데이터채널을 할당한 후 상기 합성 동영상신호를 채널 부호화 및 변조하여 RF부23에 전송하며, 상기 RF부23은 이를 다시 무선신호로 변환하여 전송한다.
두 번째로 카메라부40에서 촬영되는 동영상신호를 실시간으로 전송하는 동작을 살펴본다. 상기 카메라부40에서 촬영되는 동영상신호를 영상코덱80에서 JPEG 부호화하고 오디오신호를 오디오코덱85에서 부호화하며, 제어부10은 상기와 같이 부호화된 동영상신호 및 오디오신호에 텍스트신호를 합성한다. 상기 합성 과정에서 텍스트신호 및 영상신호는 헤더를 구비한다. 또한 상기 영상 및 오디오신호는 실시간(real time)으로 처리되어야 하므로 영상 및 오디오신호가 인터레이스(interlace)되어 합성되며, 상기 텍스트신호는 처음 또는 뒷단 등과 특정 위치에 합성된다. 본 발명의 실시예에서는 상기 텍스트신호가 동영상신호의 맨 앞단에 위치되며, 상기 영상 및 오디오신호는 인터레이스되는 형태로 저장된다고 가정한다. 이후 상기 제어부10은 상기 합성된 동영상신호를 메모리30에 저장하고, 또한 상기 전송 형태의 패킷데이터로 조립한 후 데이터처리부20에 전송한다. 그리고 상기 데이터처리부20은 데이터채널을 할당한 후 상기 합성 동영상신호를 채널 부호화 및 변조하여 RF부23에 전송하며, 상기 RF부23은 이를 다시 무선신호로 변환하여 전송한다.
도 6은 본 발명의 실시예에 따라 카메라 및 영상코덱을 구비하는 휴대전화기에서 합성 동영상신호를 수신하는 동작을 설명하기 위한 도면이다. 상기 합성 동영상신호를 수신하는 방법은 기지국으로부터 수신되는 합성동영상신호를 상기 메모리30에 저장하거나, 상기 수신된 합성동영상신호를 상기 도 4와 같은 동작을 수행하면서 실시간으로 표시할 수도 있다. 여기서 상기 합성동영상신호는 동영상, 오디오 및 텍스트신호가 합성된 경우를 가정하고 있다.
먼저 수신되는 합성 동영상신호를 상기 메모리30에 저장하는 동작을 살펴본다. RF부23은 수신되는 무선신호를 기저 대역의 신호로 변환하고, 데이터처리부20은 상기 수신되는 합성 동영상신호를 채널복조 및 복호하여 제어부10에 전송한다. 그러면 상기 제어부10은 상기 수신되는 합성 동영상신호의 패킷 형태이므로, 수신되는 패킷의 헤더를 분석하여 상기와 같은 형태의 합성 동영상신호로 변환하여 메모리30에 저장한다. 본 발명의 실시예에 따른 합성 동영상신호는 상기한 바와 같이 상기 텍스트신호가 동영상신호의 맨 앞단에 위치되며, 상기 영상 및 오디오신호는 인터레이스되는 형태라고 가정한다. 그리고 상기 도 4에서 설명된 바와 같이 수신된 합성동영상신호의 이름 등을 등록하여 향후 메뉴 정보로 활용할 수도 있다.
두 번째로 상기 메모리30에 저장되는 정보는 실시간으로 재생될 수도 있다. 이런 경우 상기 제어부10은 상기 메모리30에 상기 수신된 합성 동영상신호를 저장하는 동시에 상기 도 4와 같은 동작을 수행하여 동영상신호 및 오디오신호를 재생할 수 있다.
이하 상기 도 3에서 도 6의 실시예들에 따른 동작을 구체적으로 살펴본다.
도 7은 본 발명의 실시예에 따라 카메라부40에서 촬영되는 동영상신호를 영상처리부50의 영상코덱80에서 연속되는 정지영상의 JPEG 부호화 데이터로 생성하고, 데이터처리부20의 오디오코덱85에서 부호화된 오디오데이타를 생성하며, 상기 생성된 동영상데이타 및 오디오 데이터를 합성하여 메모리30에 저장하는 과정을 도시하는 도면이다. 그리고 도 8은 합성 동영상신호를 생성하여 저장할 때, 먼저 동영상신호를 생성하여 저장한 후, 상기 저장된 동영상신호에 따른 오디오신호를 생성한 후 합성하여 저장하는 과정을 도시하고 있다. 도 9는 상기 도 7과 같은 동작 절차를 수행하는 장치의 구조를 도시하는 도면이다.
상기 도 7을 참조하면, 사용자는 키입력부27을 통해 동영상 및 오디오신호를 합성하기 위한 동영상모드를 수행하기 위한 명령어를 발생한다. 그러면 상기 제어부10은 411단계에서 동영상모드임을 감지하고, 413단계 및 415단계에서 카메라부40을 구동하여 촬영을 시작하고, 영상처리부50을 제어하여 상기 카메라부40에서 촬영되는 동영상신호의 JPEG 부호화 동작을 시작한다. 또한 데이터처리부20의 오디오코덱85를 구동하여 상기 동영상신호에 따른 오디오신호의 부호화 동작도 시작한다. 이때 상기 카메라부40에서 촬영되는 동영상신호는 상기 영상처리부50을 통해 표시부60에서 인가되어 표시된다.
상기 영상코덱80은 프레임크기의 영상데이타들을 JPEG 부호화한다. 따라서 상기 제어부10은 417단계 및 419단계를 수행하면서 상기 영상코덱80이 1화면(frame)의 영상데이타를 JPEG 부호화하는 동안 상기 오디오코덱85에서 출력되는 부호화된 오디오 데이터를 버퍼링한다. 이후 상기 JPEG 부호화된 1화면의 영상데이타가 수신되면 상기 제어부10은 419단계에서 이를 감지하고, 상기 417단계에서 버퍼링된 오디오 데이터를 억세스하며, 423단계에서 상기 JPEG 부호화된 영상데이타 및 오디오 데이터를 합성하기 위한 헤더를 생성한다. 이후 상기 제어부10은 425단계에서 도 10b와 같이 상기 생성된 헤더, JPEG 부호화된 영상 데이터 및 상기 오디오 데이터를 합성한 후, 메모리30에 저장한다. 그리고 사용자가 동영상모드를 해제시킬 때까지 1화면 단위로 헤더, 영상데이타 및 오디오데이타를 합성되어 메모리30에 저장하는 상기와 같은 동작을 반복 수행한다.
따라서 상기 메모리30에 저장되는 합성 동영상데이타는 도 10a에 도시된 바와 같이 정지 영상데이타(JPEG1, JPEG2, ...)가 연속적으로 저장되며, 따라서 상기 메모리30에 저장된 정지 영상데이타는 동영상 형태가 된다. 이때 상기 부호화된 정지 영상데이타 JPEG1, JPEG2, JPEG3,...들은 상기한 바와 같이 영상코덱80의 부호화 능력에 따라 결정될 수 있다. 즉, 상기 카메라부40에서 1초에 20프레임의 영상데이타를 촬영할 수 있으며, 상기 영상코덱80이 1초에 5프레임의 영상데이타를 코딩할 수 있다고 가정하면, 상기 JPEG1은 카메라부40에서 출력되는 첫 번째 프레임의 영상데이타가 될 수 있으며, JPEG2는 상기 카메라부40에서 출력되는 5번째 프레임의 영상데이타가 될 수 있고, JPEG3은 상기 카메라부40에서 출력되는 9번째 프레임의 영상데이타가 될 수 있으며, JPEG4는 상기 카메라부40에서 출력되는 13번째 프레임의 영상데이타가 될 수 있다. 또한 상기 제어부10은 사용자의 선택에 따라 상기 영상코덱80의 부호화율을 가변시키는 방법을 사용할 수도 있다. 즉, 상기 영상코덱80의 최대 부호화율보다 낮은 부호화율을 설정하여 JPEG 영상데이타를 생성하도록 제어할 수도 있다. 예를들면, 상기 카메라부40에서 1초에 20프레임의 영상데이타를 촬영할 수 있으며, 상기 영상코덱80이 1초에 5프레임의 영상데이타를 코딩할 수 있다고 가정하면, 사용자는 1초에 1프레임, 2프레임,3프레임 및 4프레임들 중의 한 부호화율을 가지도록 상기 영상코덱80을 제어할 수도 있다.
상기와 같이 프레임 단위로 부호화된 합성 영상데이타를 생성하는 중에 사용자로부터 동영상모드의 종료 요구가 발생되면, 상기 제어부10은 427단계에서 이를 감지하고, 429단계에서 상기 영상코덱80 및 오디오코덱85를 오프시킨다. 이때 상기 카메라부40은 휴대전화기의 동작 상태에 따라 독립적으로 제어할 수 있다. 즉, 상기 휴대전화기는 카메라부40으로부터 촬영되는 영상신호를 표시부60에 표시하는 모드(preview mode)를 수행할 수 있다. 이런 경우, 상기 영상코덱80 및 오디오코덱85는 동작하지 않으며, 상기 카메라부40으로부터 촬영되는 영상신호는 영상처리부50의 화면표시생성부를 통해 표시부60에 표시된다. 따라서 상기 동영상모드가 상기 프리뷰 모드 상태에서 수행된 경우, 상기 동영상모드를 종료하면 상기 제어부10은 영상코덱80은 오프시키며, 상기 카메라부40에서 출력되는 영상화면은 카메라인터페이스부311, 색변환부315, 스케일러313 및 LCD인터페이스부317을 통해 표시부60에 인가되어 프리뷰 영상화면으로 표시된다. 그러나 상기 프리뷰 모드를 수행하지 않는 상태에서 상기 동영상모드를 수행한 경우, 상기 제어부10은 상기 429단계에서 카메라부40도 오프시킨다.
상기 429단계 수행 후, 상기 제어부10은 431단계에서 상기 메모리30에 저장된 동영상의 이름을 등록하기 위한 정보를 표시한다. 이때 상기 휴대전화기가 GPS 수신기를 구비하지 않는 경우, 동영상을 촬영한 장소 및 시간, 그리고 메모리30에 저장된 합성 동영상신호의 이름을 입력하도록 안내하는 메뉴를 표시할 수 있다. 그리고 상기 휴대전화기가 GPS 수신기를 구비하는 경우 상기 메모리30에 저장된 합성 동영상신호의 이름을 입력하도록 안내하는 메뉴를 표시할 수 있다. 상기 메뉴 정보는 상기 제어부10에서 생성하며, 상기 생성된 정보는 사용자 데이터(user data)로써, 상기 표시부60 상에 표시된다.
상기와 같이 메뉴를 표시하는 상태에서 키입력부27을 통해 상기 합성 동영상의 이름이 입력되면, 상기 제어부10은 433단계에서 이를 감지하고, 435단계에서 상기 메모리30에 저장된 합성 동영상에 대응되는 이름, 촬영장소 및 시간 정보를 입력한다. 이때 사용자는 촬영장소 및 시간 정보를 입력하지 않고 이름만 입력할 수도 있다. 이런 경우, 사용자는 이름을 입력한 후 종료키를 누르면, 상기 제어부10은 상기 종료키에 의해 이름 메뉴에 입력된 정보를 통해 이름만 등록한다.
상기 도 7은 제어부10에서 합성 동영상신호를 생성하여 저장하는 동작 절차를 도시하고 있다. 그러나 상기 도 7과 같은 동작은 도 9와 같은 구성으로도 구현이 가능하다. 도 9는 휴대전화기에서 합성동영상신호를 생성하여 저장하는 구성을 도시하는 도면이다. 상기 도 9의 구성에서 버퍼부20, 스위치211, 213, 헤더생성기230 및 합성기240은 제어부10의 구성이 될 수 있다.
상기 도 9의 구성을 살펴보면, 오디오코덱85는 오디오처리부25에서 출력되는 오디오신호를 부호화하여 부호화된 오디오 데이터를 생성한다. 영상코덱80은 상기카메라부40에서 촬영된 영상데이타를 부호화하여 JPEG 영상 데이터를 생성한다. 상기 버퍼부220의 이미지버퍼(Img_Buf)222는 상기 영상코덱80에서 출력되는 JPEG 영상데이타를 버퍼링한다. 제1 및 제2오디오버퍼(Aud_Buf) 224 및 226은 각각 상기 오디오코덱85에서 출력되는 부호화된 오디오 데이터를 버퍼링한다. 스위치211은 공통단자가 상기 오디오코덱85의 출력단에 연결되며, 제1출력단자가 제1오디오버퍼224의 입력단에 연결되고 제2출력단자가 제2오디오버퍼226의 출력단에 연결된다. 또한 스위치213은 제1입력단자가 상기 제1오디오버퍼224의 출력단에 연결되고 제2입력단자가 상기 제2오디오버퍼226의 출력단에 연결되며, 공통단자가 합성기240에 연결된다. 상기 스위치211 및 213은 상기 이미지버퍼220의 출력에 의해 제어된다. 헤더생성기230은 상기 이미지버퍼222에서 JPEG 데이터 출력시 헤더를 삽입하여 출력한다. 합성기240은 상기 스위치213에서 출력되는 오디오와 상기 이미지버퍼222에서 출력되는 JPEG 영상을 합성하여 합성 영상데이타를 출력한다. 메모리30은 상기 제어부10의 제어하여 상기 합성기240에서 출력되는 합성 영상데이타를 저장한다.
상기 도 9의 동작을 살펴보면, 오디오 데이터 및 영상데이타는 각각 오디오코덱85 및 영상코덱80에서 부호화되며, 각각의 경로(path)를 통해 버퍼부20에 입력된다. 이때 상기 합성 동영상의 첫번째 입력은 무조건 영상데이타로 고정된다고 가정한다. 상기 버퍼부220의 내부에는 2 개의 오디오 버퍼(Aud_Buf1, Aud_Buf2)224 및 226과 하나의 이미지버퍼(Img_Buf)222가 존재한다. 동작 순서는 다음과 같다.
먼저 상기 이미지버퍼220은 상기 영상코덱80에서 출력되는 1프레임의 영상데이터 JPEG1을 입력한다. 이때 상기 이미지버퍼220은 (a)경로를 통해 제1스위치(speech input switch)211이 (ㄱ)에 위치되도록 스위칭 제어하며, 따라서 상기 오디오코덱85에서 출력되는 오디오데이타는 제1오디오버퍼(Aud_Buf1)에 인가되어 버퍼링된다. 이후 상기 이미지버퍼222에 버퍼링되는 JPEG1 영상데이타는 헤더생성기230에 인가되며, 상기 헤더생성기230은 상기 JPEG1 영상데이타에 헤더를 삽입한다. 그리고 상기 헤더가 삽입된 JPEG1 영상데이타는 합성기240을 통해 메모리30에 전달된다. 이후 상기 이미지버퍼220은 다음 프레임의 영상데이타 JPEG2를 버퍼링하기 위한 준비를 하며, 또한 (a) 경로를 통해 제1스위치211을 (ㄴ)에 위치되도록 제어하고, 동시에 (b) 경로를 통해 제2스위치(speech output switch)213이 (ㄷ)에 위치되도록 제어한다. 그러면 상기 제1오디오버퍼224에 버퍼링된 오디오 데이터가 상기 합성기240에 인가되며, 상기 제2오디오버퍼226에는 상기 오디오 코덱85에서 출력되는 오디오 데이터가 버퍼링된다. 이후 상기 이미지버퍼222가 JPEG2의 버퍼링을 완료하면, 상기 이미지버퍼220은 상기 JPEG2 영상데이타를 헤더생성기230에 출력하며, 상기 헤더생성기230은 상기 JPEG2 영상데이타에 헤더를 삽입한다. 그리고 상기 헤더가 삽입된 JPEG2 영상데이타는 합성기240을 통해 메모리30에 전달된다. 이후 상기 이미지버퍼220은 다음 프레임의 영상데이타 JPEG3을 버퍼링하기 위한 준비를 하며, 또한 (b) 경로를 통해 제1스위치211을 (ㄱ)에 위치되도록 제어하고, 동시에 (b) 경로를 통해 제2스위치213이 (ㄹ)에 위치되도록 제어한다. 그러면 상기 제2오디오버퍼226에 버퍼링된 오디오 데이터가 상기 합성기240에 인가되며, 상기 제1오디오버퍼224에는 상기 오디오 코덱85에서 출력되는 오디오데이터가 버퍼링된다.
상기와 같은 동작을 반복하면, 헤더 생성기230은 상기 이미지버퍼220에서 순차적으로 출력되는 부호화된 영상데이타 JPEG1, JPEG2, JPEG3, JPEG4, .... 들에 각각 헤더를 생성하여 삽입하고, 합성기240은 순차적으로 수신되는 부호화된 영상데이타 및 오디오데이타를 합성하여 헤더1, JPEG1, 제1오디오버퍼224의 출력, 헤더2, JPEG2, 제2오디오버퍼226의 출력의 순으로 출력한다. 그리고 상기 이미지버퍼222가 상기 스위치211 및 213을 제어하므로, 상기 제1 및 제2오디오버퍼224 및 226은 각각 버퍼링된 오디오 데이터를 출력하게 된다. 따라서 상기 메모리30에 저장되는 합성 영상데이타는 상기 도 10b와 같은 형태의 동영상 형태가 됨을 알 수 있다.
도 8은 합성 영상데이타를 생성하여 저장하는 또 다른 형태의 흐름을 도시하는 도면이다. 상기 도 8은 카메라부40으로 촬영되는 동영상을 영상코덱80을 통해 JPEG 영상데이타로 부호화하여 메모리30에 저장한 후, 상기 메모리30에 저장된 JPEG 영상데이타들에 오디오 데이터를 합성하여 합성 영상데이타를 생성하는 절차를 도시하고 있다.
상기 도 8을 참조하면, 사용자는 키입력부27을 통해 동영상모드를 수행하기 위한 명령어를 발생한다. 그러면 상기 제어부10은 451단계에서 동영상모드임을 감지하고, 453단계 및 455단계에서 카메라부40을 구동하여 촬영을 시작하고, 영상처리부50을 제어하여 상기 카메라부40에서 촬영되는 동영상신호의 JPEG 부호화 동작을 시작한다. 이때 상기 카메라부40에서 촬영되는 동영상신호는 상기 영상처리부50을 통해 표시부60에서 인가되어 표시된다.
상기 영상코덱80은 프레임크기의 영상데이타를 JPEG 부호화하며, 상기 제어부10은 상기 JPEG 영상데이타의 수신을 대기한다. 이후 상기 JPEG 부호화된 1프레임의 영상데이타가 수신되면, 상기 제어부10은 419단계에서 이를 감지하고, 459단계에서 1프레임의 JPEG 데이터를 상기 메모리30에 저장한다. 제어부10은 상기와 같은 동작을 동영상 모드 종료시 까지 반복 수행하며, 이때 상기 메모리30에 저장되는 데이터는 JPEG 영상데이타들이 된다.
이후 사용자가 동영상모드의 종료를 요구하면, 상기 제어부10은 461단계에서 이를 감지하고, 463단계에서 영상코덱80을 오프시킨다. 이후 465단계-469단계를 수행하면서 상기 메모리30에 저장된 동영상의 이름, 촬영장소 및 시간을 등록한다. 상기 동작은 도 7의 431-435단계와 동일하게 수행시킬 수 있다.
상기 451단계-469단계를 수행하면, 상기 메모리30에는 JPEG 영상데이타만 저장된다. 따라서 상기 JPEG 영상데이타에 오디오를 합성하는 동작을 수행하려면, 사용자는 키입력부27을 통해 오디오 합성모드를 명령한다. 그러면 상기 제어부10은 471단계에서 이를 감지하고 473단계에서 영상코덱80 및 오디오코덱85를 구동한다. 그리고 상기 제어부10은 474단계에서 상기 메모리30에서 저장하고 있는 동영상들을 메뉴로 표시하여 사용자의 선택을 대기한다. 이때 사용자가 표시중인 동영상들 중에서 특정 동영상을 선택하면, 상기 제어부10은 475단계에서 이를 감지하고, 476단계에서 선택된 동영상의 첫 번째 JPEG 프레임을 복원한다. 상기 복원 과정을 살펴보면, 상기 JPEG 영상 데이터는 상기 영상코덱80에 인가되며, 상기 영상코덱80은수신되는 JPEG 영상데이타를 원래의 영상데이타로 복원(decoding)하며, 영상처리부50의 화면영상생성부는 이를 상기 표시부60의 크기로 스케일링하여 출력한다. 따라서 상기 표시부60에는 상기 복원된 영상데이타가 표시된다. 그리고 상기 영상코덱80이 1화면(frame)의 영상데이타를 복원하는 동안 상기 제어부10은 479단계에서 상기 오디오코덱85에서 출력되는 부호화된 오디오 데이터를 버퍼링한다. 이후 상기 JPEG 부호화된 1화면의 영상데이타의 복원되면 상기 제어부10은 481단계에서 이를 감지하고, 상기 483단계에서 버퍼링된 오디오 데이터를 억세스하며, 485단계에서 상기 JPEG 부호화된 영상데이타 및 오디오 데이터를 합성하기 위한 헤더를 생성한다. 이후 상기 제어부10은 487단계에서 도 10b와 같이 상기 생성된 헤더, JPEG 부호화된 영상 데이터 및 상기 오디오 데이터를 합성한 후 메모리30에 저장한다. 그리고 사용자가 동영상모드를 해제시킬 때까지 1화면 단위로 상기 JPEG 영상데이타를 복원하여 표시하면서 헤더, JPEG 영상데이타 및 오디오데이타를 합성하여 메모리30에 저장하는 상기와 같은 동작을 반복 수행한다.
따라서 상기 메모리30에 저장되는 합성 동영상데이타는 도 10a에 도시된 바와 같이 정지 영상데이타(JPEG1, JPEG2, ...)가 연속적으로 저장되며, 따라서 상기 메모리30에 저장된 영상데이타는 동영상 형태가 된다.
상기와 같이 JPEG 영상데이타에 오디오데이타를 합성하는 동작의 종료가 요구되면, 상기 제어부10은 489단계에서 이를 감지하고, 493단계-497단계를 수행하면서 합성 영상데이타의 이름을 등록한다. 이 과정은 상기 431단계-435단계와 동일하게 수행시킬 수 있다. 또한 상기 465단계-469단계에서 등록한 동영상 이름을 그대로 사용하는 경우, 상기 493단계-497단계는 생략할 수 있다.
도 11은 본 발명의 실시예에 따라 카메라부40에서 촬영되는 동영상신호를 영상처리부50의 영상코덱80에서 연속 정지영상의 JPEG 부호화 데이터로 생성하고, 상기 생성되는 JPEG 부호화 영상에 따른 텍스트신호를 생성한 후, 상기 생성된 동영상 및 텍스트신호를 합성하여 메모리30에 저장하는 과정을 도시하는 도면이다. 그리고 도 12는 합성 동영상신호를 생성하여 저장할 때, 먼저 동영상신호를 생성하여 저장한 후, 상기 저장된 동영상신호에 따른 텍스트신호를 합성하여 저장하는 과정을 도시하고 있다. 도 13은 상기 도 11과 같은 동작 절차를 수행하는 장치의 구조를 도시하는 도면이다.
상기 도 11을 참조하면, 사용자는 키입력부27을 통해 동영상 및 텍스트신호를 합성하기 위한 동영상합성모드를 수행하기 위한 명령어를 발생한다. 그러면 상기 제어부10은 1411단계에서 동영상합성모드임을 감지하고, 1413단계에서 카메라부40을 구동하여 촬영을 시작하고, 영상처리부50의 영상코덱80을 제어하여 상기 카메라부40에서 촬영되는 동영상신호의 JPEG 부호화 동작을 시작한다. 이때 상기 카메라부40에서 촬영되는 동영상신호는 상기 영상처리부50을 통해 표시부60에서 인가되어 표시된다.
상기 영상코덱80은 프레임크기의 영상데이터를 JPEG 부호화하며, 1화면(frame)의 영상신호를 코딩하면 이를 제어부10에 전송한다. 상기 JPEG 부호화된 1화면의 영상신호가 수신되면 상기 제어부10은 1415단계에서 이를 감지하고, 1417단계에서 상기 JPEG 부호화된 영상데이터의 헤더를 생성하여 삽입한다. 이때상기 헤더의 정보는 부호화된 1화면의 영상신호 크기 및 영상임을 나타내는 패턴신호 등이 될 수 있다. 이후 상기 제어부10은 1419단계에서 상기 헤더가 삽입된 JPEG 영상을 메모리30에 저장한다. 이때 상기 JPEG 영상은 메모리30의 이미지버퍼에 저장될 수 있다. 그리고 상기와 같은 동영상 코딩 동작은 사용자가 동영상수신 동작을 해제시킬 때까지 반복 수행한다.
따라서 상기 메모리30에 저장되는 합성 동영상데이터는 정지 영상데이터(JPEG1, JPEG2, ...)가 연속적으로 저장되며, 따라서 상기 메모리30에 저장된 영상데이터는 동영상 형태가 된다. 이때 상기 부호화된 영상데이터 JPEG1, JPEG2, JPEG3,...들은 상기한 바와 같이 영상코덱80의 부호화 능력에 따라 상기한 바와 같이 결정될 수 있다.
상기와 같이 프레임 단위로 부호화된 합성 영상데이터를 생성하는 중에 사용자로부터 동영상모드의 종료 요구가 발생되면, 상기 제어부10은 1421단계에서 이를 감지하고, 1423단계에서 상기 저장된 동영상신호에 합성하기 위한 텍스트신호의 선택 여부를 알리는 메뉴를 상기 표시부60에 표시한다. 이때 사용자가 상기 텍스트신호의 입력을 선택하면, 상기 제어부10은 1425단계에서 이를 감지하고, 1433단계에서 상기 표시부60에 텍스트의 표시 형태(text diplay type)를 표시한다. 이후 사용자가 상기 표시형태들 중 임의 한 표시방법을 선택하면, 상기 제어부10은 1434단계에서 이를 감지하고, 1437단계에서 선택된 표시방법에 따라 표시 가능한 텍스트의 최대길이를 표시한다. 여기서 상기 텍스트 표시 형태는 선표시방법, 후표시방법, 슬라이드표시방법, 파일업표시방법 등이 될 수 있다.
먼저 상기 선표시방법(top display type)은 동영상신호를 표시하기 전에 먼저 텍스트신호를 표시하는 방법을 의미한다. 상기 선표시방법을 선택한 경우, 상기 제어부10은 표시 가능한 최대텍스트길이를 표시하지 않는다.
두 번째로 후표시방법(bottom display type)은 동영상신호를 표시한 후 나중에 텍스트신호를 표시하는 방법을 의미한다. 상기 후 표시방법을 선택한 경우, 상기 제어부10은 표시 가능한 최대텍스트길이를 표시하지 않는다.
세 번째로 슬라이드 표시 방법(slide diplay type)은 동영상신호를 재생하면서 표시부10의 특정 위치에 상기 텍스트신호를 슬라이딩시켜 표시하는 방법을 의미한다. 이때 상기 텍스트를 슬라이딩하는 속도는 상기 동영상신호의 전체 재생시간에 맞춰 결정한다. 따라서 상기 슬라이드표시방법을 선택하면, 상기 동영상신호와의 동기를 위해 최대 입력 가능 문자수를 제한할 필요가 있다. 여기서 상기 1문자의 슬라이딩 속도를 0.5sec로 가정하면, 텍스트의 최대 길이를 하기와 같이 계산할 수 있다.
최대입력 문자 수 = 2문자/초 * 총 영상신호의 재생시간(sec)
예를들면, 상기 저장된 동영상신호의 재생시간이 10초이면 입력 가능한 최대 문자 수는 20문자가 된다. 따라서 상기 제어부10은 상기 메모리30의 이미지 버퍼에 저장된 동영상신호의 재생시간을 계산한 후, 계산 결과에 따라 슬라이딩 표시 형태로 표시 가능한 최대 문자수를 계산하여 이를 표시한다. 또한 상기 표시부60의 상기 특정위치는 표시부60의 상단 또는 하단, 그리고 좌측 또는 우측이 될 수 있다.또한 상기 표시부60은 상기 텍스트신호를 영상 표시영역 이외의 표시영역에 상기 텍스트신호를 표시하거나 또는 상기 영상신호가 표시되는 영역에 온스크린 형태로 상기 텍스트를 표시할 수도 있다
네 번째로 상기 파일업 표시방법(pile-up display type)은 상기 슬라이딩 표시방법과 유사한 표시방법으로써, 동영상을 재생하는 중에 표시부60에 설정된 크기의 텍스트신호들을 상기 표시부60의 특정 위치에 한꺼번에 표시하는 방법이다. 즉, 상기 파일업 표시방법은 표시부60에 설정된 수의 문자들을 일정시간 표시한 후, 시간이 경과되면 다음의 문자들을 상기와 같은 방법으로 표시하는 방법이다. 이때 한번에 표시할 수 있는 문자 수의 설정은 상기 표시부60의 크기에 따라 결정될 수 있다. 상기와 같은 파일업 방법을 선택하면, 상기 동영상신호와의 동기를 위해 최대 입력 가능 문자수를 제한할 필요가 있다. 본 발명의 실시예에서는 10개의 문자로 가정하며, 10개의 문자를 표시하는 시간은 2초로 가정하면, 상기와 같이 텍스트의 최대 길이를 계산할 수 있다.
최대입력 문자수 = 10문자/2초 * 총영상신호의 재생시간(sec)
따라서 총영상신호의 재생시간이 10초라면 파일업 표시 방법으로 표시 가능한 최대 문자수는 50문자가 된다. 따라서 상기 제어부10은 상기 메모리30의 이미지 버퍼에 저장된 동영상신호의 재생시간을 계산한 후, 계산 결과에 따라 파일업 표시 형태로 표시 가능한 최대 문자수를 계산하여 이를 표시한다. 또한 상기 표시부60의 상기 특정위치는 표시부60의 상단 또는 하단, 그리고 좌측 또는 우측이 될 수 있다. 또한 상기 표시부60은 상기 텍스트신호를 영상 표시영역 이외의 표시영역에 상기 텍스트신호를 표시하거나 또는 상기 영상신호가 표시되는 영역에 온스크린 형태로 상기 텍스트를 표시할 수도 있다
이후 상기 제어부10은 사용자가 텍스트를 입력하면, 1437단계에서 이를 수신하여 메모리30에 저장한다. 이때 상기 텍스트는 메모리30의 텍스트버퍼에 저장될 수 있다. 이후 상기 텍스트의 입력이 종료되면 상기 제어부10은 1439단계에서 이를 감지하고 1441단계에서 상기 수신된 텍스트에 헤더를 삽입한다. 이때 상기 텍스트 헤더는 텍스트임을 나타내는 패턴과 수신된 텍스트의 길이등을 포함한다.
도 14a는 텍스트신호의 포맷을 도시하는 도면이며, 도 14b는 JPEG영상신호의 포맷을 도시하는 도면이고, 도 14c는 상기 텍스트신호 및 동영상신호가 합성된 신호의 포맷을 도시하는 도면이다.
상기 도 14a를 참조하면, P는 패턴신호(pattern signal)를 삽입하는 영역으로써, 이어지는 데이터가 텍스트신호임을 나타내는 패턴을 삽입하고, L은 텍스트신호의 총길이(text total length)를 삽입하고, T는 표시형태(display type)를 삽입하는 영역으로써, "0000"은 선표시방법, "0001"은 후표시방법, "0010"은 슬라이드표시방법, "0011"은 파일업 표시방법이라고 가정한다. 그리고 상기 T 영역 다음은 텍스트신호가 삽입되는 영역이 될 수 있다. 여기서 상기 P,L,T는 텍스트 헤더가 된다.
또한 상기 도 14b를 참조하면, P는 패턴신호를 삽입하는 영역으로써 이어지는 데이터가 JPEG 영상신호임을 나타내는 패턴을 삽입하고, L은 JPEG 영상신호의총길이(Image total length)를 삽입하는 영역이다. 여기서 상기 P 및 L은 이미지헤더가 된다.
상기 텍스트 입력이 종료되면, 제어부10은 상기 메모리30의 이미지버퍼에 저장된 동영상신호에 상기 메모리30의 텍스트버퍼에 저장된 텍스트신호를 합성한다. 이때 상기 동영상신호는 연속하여 처리되어야 하는 신호이지만, 상기 텍스트신호는 상기한 바와 같이 필요에 따라 적절하게 표시하면된다. 따라서 상기 텍스트신호는 상기 오디오신호와는 달리 상기 동영상신호에 인터레이스되어 합성하지 않아도 된다. 본 발명의 실시예에서는 상기 텍스트신호를 동영상신호의 앞에 삽입시켜 합성 동영상신호를 생성한다고 가정한다. 도 14c는 상기 텍스트신호와 동영상신호가 합성된 합성 동영상신호의 포맷을 도시하고 있다.
상기와 같이 동영상신호에 텍스트신호를 합성하여 합성 동영상신호를 생성한 후, 상기 제어부10은 1427단계에서 상기 메모리30에 저장된 동영상의 이름을 등록하기 위한 정보를 표시한다. 이때 상기 휴대전화기가 GPS 수신기를 구비하지 않는 경우, 동영상을 촬영한 장소 및 시간, 그리고 메모리30에 저장된 합성 동영상신호의 이름을 입력하도록 안내하는 메뉴를 표시할 수 있다. 그리고 상기 휴대전화기가 GPS 수신기를 구비하는 경우 상기 메모리30에 저장된 합성 동영상신호의 이름을 입력하도록 안내하는 메뉴를 표시할 수 있다. 상기 메뉴 정보는 상기 제어부10에서 생성하며, 상기 생성된 정보는 사용자 데이터(user data)로써, 상기 표시부60 상에 표시된다.
상기와 같이 메뉴를 표시하는 상태에서 키입력부27을 통해 상기 합성 동영상의 이름이 입력되면, 상기 제어부10은 1429계에서 이를 감지하고, 1431단계에서 상기 메모리30에 저장된 합성 동영상에 대응되는 이름, 촬영장소 및 시간 정보를 입력한다. 이때 사용자는 촬영장소 및 시간 정보를 입력하지 않고 이름만 입력할 수도 있다. 이런 경우, 사용자는 이름을 입력한 후 종료키를 누르면, 상기 제어부10은 상기 종료키에 의해 이름 메뉴에 입력된 정보를 통해 이름만 등록한다.
상기 도 11은 제어부10에서 합성 동영상신호를 생성하여 저장하는 동작 절차를 도시하고 있다. 그러나 상기 도 11과 같은 동작은 도 9와 같은 구성으로도 구현이 가능하다. 도 13은 휴대전화기에서 합성동영상신호를 생성하여 저장하는 구성을 도시하는 도면이다. 상기 도 13의 구성에서 버퍼부20, 스위치211, 213, 헤더생성기230 및 합성기240은 제어부10의 구성이 될 수 있다.
상기 도 13의 구성을 살펴보면, 영상코덱80은 상기 카메라부40에서 촬영된 영상데이터를 부호화하여 JPEG 영상 데이터를 생성한다. 이미지버퍼222는 상기 영상코덱80에서 출력되는 JPEG 영상데이터를 버퍼링한다. 헤더생성기230은 상기 이미지버퍼222에서 JPEG 데이터 출력시 헤더를 생성하여 삽입한다. 제어부10은 상기 동영상신호에 합성할 텍스트를 발생한다. 상기 제어부10은 사용자가 입력하는 텍스트신호를 처리하거나 또는 사용자에 의해 지정된 문자메모를 선택하여 상기 텍스트신호로 발생할 수도 있다. 텍스트버퍼228은 상기 제어부10에서 생성되는 텍스트를 저장한다. 텍스트헤더생성기235는 상기 텍스트버퍼228에서 출력되는 텍스트신호에 헤더를 생성하여 삽입한다. 합성기240은 상기 텍스트헤더생성기235에서 출력되는 텍스트신호를 상기 이미지헤더생성기230에서 출력되는 JPEG 영상에 합성하여 합성 영상데이터를 출력한다. 메모리30은 상기 제어부10의 제어하여 상기 합성기240에서 출력되는 합성 영상데이터를 저장한다.
도 12는 합성 영상데이터를 생성하여 저장하는 또 다른 형태의 흐름을 도시하는 도면이다. 상기 도 12는 카메라부40으로 촬영되는 동영상을 영상코덱80을 통해 JPEG 영상데이터로 부호화하여 메모리30에 저장한 후, 상기 메모리30에 저장된 JPEG 영상데이터들에 텍스트신호를 합성하는 절차를 도시하고 있다.
상기 도 12를 참조하면, 사용자는 키입력부27을 통해 동영상모드를 수행하기 위한 명령어를 발생한다. 그러면 상기 제어부10은 1451단계에서 동영상모드임을 감지하고, 1453단계에서 카메라부40을 구동하여 촬영을 시작하고, 영상처리부50의 영상코덱80을 제어하여 상기 카메라부40에서 촬영되는 동영상신호의 JPEG 부호화 동작을 시작한다. 이때 상기 카메라부40에서 촬영되는 동영상신호는 상기 영상처리부50을 통해 표시부60에서 인가되어 표시된다.
상기 영상코덱80은 프레임크기의 영상데이터를 JPEG 부호화하며, 1화면(frame)의 영상신호를 코딩하면 이를 제어부10에 전송한다. 상기 JPEG 부호화된 1화면의 영상신호가 수신되면 상기 제어부10은 1455단계에서 이를 감지하고, 1417단계에서 상기 JPEG 부호화된 영상데이터의 헤더를 생성하여 삽입한다. 이때 상기 헤더의 정보는 부호화된 1화면의 영상신호 크기 및 영상임을 나타내는 패턴신호 등이 될 수 있다. 이후 상기 제어부10은 1459단계에서 상기 헤더가 삽입된 JPEG 영상을 메모리30에 저장한다. 이때 상기 JPEG 영상은 메모리30의 이미지버퍼에 저장될 수 있다. 그리고 상기와 같은 동영상 코딩 동작은 사용자가 동영상수신 동작을 해제시킬 때까지 반복 수행한다.
이후 사용자가 동영상모드의 종료를 요구하면, 상기 제어부10은 1461단계에서 이를 감지하고, 1463단계에서 동영상의 정보를 입력하라는 메뉴 정보를 표시한다. 이후 1465단계-1467단계를 수행하면서 상기 메모리30에 저장된 동영상의 이름, 촬영장소 및 시간을 등록한다. 상기 동작은 도 11의 1429-1431단계와 동일하게 수행시킬 수 있다.
상기 1451단계-1467단계를 수행하면, 상기 메모리30에는 JPEG 영상데이터만 저장된다. 따라서 상기 JPEG 영상신호에 텍스트신호를 합성하는 동작을 수행하려면, 사용자는 키입력부27을 통해 텍스트합성 합성모드를 명령한다. 상기 텍스트합성모드를 감지하면, 상기 제어부10은 1471단계에서 상기 표시부60에 텍스트의 표시 형태(text diplay type)를 표시한다. 이후 사용자가 상기 표시형태들 중 임의 한 표시방법을 선택하면, 상기 제어부10은 1473단계에서 이를 감지하고, 1475단계에서 선택된 표시방법에 따라 표시 가능한 텍스트의 최대길이를 표시한다. 여기서 상기 텍스트 표시 형태는 상기한 바와 같이 선표시방법, 후표시방법, 슬라이드표시방법, 파일업표시방법 등이 될 수 있다.
이후 상기 제어부10은 사용자가 텍스트를 입력하면, 1477단계에서 이를 수신하여 메모리30에 저장한다. 이때 상기 텍스트는 메모리30의 텍스트버퍼에 저장될 수 있다. 이후 상기 텍스트의 입력이 종료되면 상기 제어부10은 1479단계에서 이를 감지하고 1481단계에서 상기 수신된 텍스트에 헤더를 삽입한다. 이때 상기 텍스트 헤더는 도 14에 도시된 바와 같이 텍스트임을 나타내는 패턴과 수신된 텍스트의 길이 등을 포함한다.
상기 텍스트 입력이 종료되면, 제어부10은 1483단계에서 상기 텍스트신호를 합성할 동영상신호를 선택하기 위한 메뉴를 표시한다. 즉, 상기 메모리30은 다수개의 동영상신호들을 저장하고 있을 수 있으며, 텍스트신호 합성시 상기 제어부10은 1483단계에서 상기 저장하고 있는 동영상신호들을 표시한다. 이때 사용자가 임의의 동영상신호를 선택하면, 상기 제어부10은 1485단계에서 이를 감지하고, 상기 선택된 동영상신호에 상기 텍스트신호를 합성한다.
도 15는 본 발명의 실시예에 따라 카메라부40에서 촬영되는 영상신호들을 연속되는 동영상신호들로 코딩하고, 이런 동영상신호들에 오디오신호 및 텍스트신호를 합성하는 절차를 도시하는 흐름도이다. 여기서 상기 도 15는 상기 도 7과 같은 오디오 합성 및 도 11과 같은 절차의 합성 절차에 따라 진행될 수 있다. 그리고 도 17은 상기 도 15와 같은 절차로 생성하는 합성 동영상신호의 구성을 도시하는 도면이다.
상기 도 15를 참조하면, 먼저 동영상신호에 오디오 및 텍스트신호를 합성하기 위한 동영상 합성모드가 선택되면, 상기 제어부10은 811단계에서 이를 감지하고, 813단계에서 카메라부40, 영상코덱80 및 오디오코덱85를 구동한다. 이후 상기 제어부10은 815단계에서 상기 도 7의 417단계 - 427단계와 같은 동작을 수행하면서 연속되는 부호화 영상화면 신호에 부호화되는 오디오신호를 합성한다. 이후 상기 제어부10은 817단계에서 상기 도 11의 1423단계 - 1443단계와 같은 동작을 수행하면서 상기 오디오신호가 합성된 동영상신호에 텍스트를 합성한다. 이후 상기 제어부10은 819단계에서 상기 동영상신호에 오디오 및 텍스트가 합성된 동영상신호를 저장한다. 이때의 동작 절차는 도 7의 431단계 - 435단계 또는 도 11의 1427단계 - 1431단계와 같은 절차로 수행된다.
그리고 상기 도 15와 같은 잘차를 수행하면서 생성되는 합성 동영상신호는 도 17과 같은 구성의 장치로도 수행할 수 있으며, 이때 생성되는 합성 동영상신호의 구조는 도 18과 같다.
또한 도 16은 본 발명의 실시예에 따라 카메라부40에서 촬영되는 영상신호들을 연속되는 동영상신호들로 코딩하고, 이런 동영상신호들에 오디오신호 및 텍스트신호를 합성하는 절차를 도시하는 또 따른 방법의 흐름도이다. 여기서 상기 도 16은 상기 도 8과 같은 오디오 합성 및 도 12와 같은 절차의 합성 절차에 따라 진행될 수 있다.
상기 도 16을 참조하면, 상기 제어부10은 동영상모드가 선택되면 831단계에서 이를 감지하고, 833단계에서 도 8의 453단계 - 463단계와 같은 절차를 수행하면서 연속 입력되는 영상화면을 부호화하여 동영상신호를 생성한다. 또한 오디오합성모드가 서택되면, 상기 제어부10은 835단계에서 이를 감지하고, 837단계에서 도 8의 473단계 - 491단계를 수행하면서 선택된 동영상신호에 오디오신호를 합성한다. 또한 텍스트합성모드가 선택되면, 상기 제어부10은 839단계에서 이를 감지하고, 841단계에서 도 12의 1471단계 - 1481단계을 절차를 수행하면서 선택된 동영상신호에 텍스트신호를 합성한다. 이때 상기 선택되는 동영상신호는 동영상신호에 오디오신호가 합성된 동영상신호가 될 수 있다. 그리고 상기와 같이 동영상신호 또는 동영상신호를 합성한 후, 상기 제어부10은 843단계에서 도 8의 465단계 - 469단계 또는 도 12의 1463단계 - 1467단계를 수행하면서 합성 동영상신호를 저장한다.
상기 도 15 - 도 17의 방법으로 생성되는 합성 동영상신호는 상기한 바와 같인 동영상신호에 오디오 및 텍스트신호가 합성된 신호가 될 수 있으며, 이때의 상기 합성 동영상신호는 도 18과 같은 구조를 가지게 된다.
도 19는 본 발명의 제2실시예에 따라 상기 메모리30에 저장된 합성 동영상을 재생하는 절차를 도시하는 흐름도이다.
상기 도 19를 참조하면, 사용자가 키입력부27을 통해 동영상 재생모드를 명령하면 상기 제어부10은 511단계에서 이를 감지하고, 513단계에서 상기 표시부60에 동영상메뉴를 표시한다. 이때 상기 동영상메뉴 정보는 상기 메모리30에 저장하고 있는 합성 동영상들의 이름 또는 이름 및 촬영장소 및 시간들이 될 수 있다. 상기 동영상 메뉴가 표시되고 있는 상태에서 사용자가 원하는 동영상을 선택하면 상기 제어부10은 515단계에서 이를 감지하고, 517단계 및 519단계에서 상기 영상코덱80 및 오디오코덱85를 구동하는 동시에 상기 메모리30에서 선택된 합성 동영상정보들을 억세스한다.
이후 상기 제어부10은 521단계에서 상기 억세스된 합성 동영상의 헤더를 분석하여 JPEG 영상 및 오디오데이타를 분리한다. 이후 상기 제어부10은 상기 JPEG 영상데이타면 525단계에서 상기 JPEG 영상데이타를 영상코덱80에 전송하며, 오디오 데이터이면 523단계에서 오디오코덱85에 전송한다. 그러면 상기 JPEG 영상은 영상처리부50의 표시화면생성부를 통해 처리된 후 표시부60에 표시되고, 오디오는 오디오처리부25를 통해 스피커에서 재생된다. 이런 상태에서 상기 제어부10은 529단계에서 다시 다음 프레임의 합성 동영상을 억세스한 후 상기 521단계-525단계를 반복 수행한다. 따라서 상기 메모리30에 저장된 합성 동영상들은 연속적으로 표시부60 및 스피커를 통해 연속적으로 재생되며, 따라서 동영상 형태로 재생되게 된다. 상기 제어부10은 상기 메모리30에서 마지막 프레임의 합성 동영상을 재생하거나 또는 사용자로부터 재생 중지명령이 발생되면 527단계에서 이를 감지하고, 상기 동영상 재생모드를 종료한다.
상기 도 19는 제어부10에서 합성 동영상신호를 생성하여 저장하는 동작 절차를 도시하고 있다. 그러나 상기 도 19와 같은 동작은 도 20과 같은 구성으로도 구현이 가능하다. 도 20은 휴대전화기에서 합성동영상신호를 생성하여 저장하는 구성을 도시하는 도면이다. 상기 도 20의 구성에서 헤더분석기250, 스위치261, 263, 265, 버퍼부270은 제어부10의 구성이 될 수 있다.
상기 도 20의 구성을 살펴보면, 메모리30은 합성 동영상들을 저장하고 있으며, 상기 제어부10의 제어하에 선택된 합성 동영상들이 억세스된다. 헤더분석기250은 상기 메모리30에서 억세스되는 합성 동영상의 헤더를 분석하여 JPEG 영상 및 오디오를 분리하기 위한 스위치 제어신호를 발생한다. 스위치261은 공통단자가 상기 메모리30에 연결되고 제1출력단자가 오디오신호를 스위칭 출력하는 스위치263의 공통단자에 연결되며, 제2출력단자가 이미지버퍼272에 연결된다. 상기 버퍼부270의 이미지버퍼(Img_Buf)27는 상기 스위치261에서 출력되는 JPEG 영상데이타를 버퍼링한다. 제1 및 제2오디오버퍼(Aud_Buf) 224 및 226은 각각 부호화된 오디오 데이터를 버퍼링한다. 스위치263은 공통단자가 상기 스위치261의 제1출력단자에 연결되며, 제1출력단자가 제1오디오버퍼224의 입력단에 연결되고 제2출력단자가 제2오디오버퍼226의 출력단에 연결된다. 또한 스위치265는 제1입력단자가 상기 제1오디오버퍼224의 출력단에 연결되고 제2입력단자가 상기 제2오디오버퍼226의 출력단에 연결되며, 공통단자가 오디오코덱85에 연결된다. 상기 스위치211 및 213은 상기 이미지버퍼220의 출력에 의해 제어된다. 따라서 상기 버퍼부20은 상기 메모리30에서 출력되는 합성 영상에서 오디오와 JPEG 영상을 분리하는 분리기(splitter) 기능을 수행한다. 오디오코덱85는 스위치265에서 출력되는 부호화된 오디오신호를 복원(decoding)하여 출력한다. 영상코덱80은 상기 이미지버퍼272에서 출력되는 JPEG 영상데이타를 복원(decoding)하여 출력한다.
상기 도 20의 동작을 살펴보면, 오디오 데이터 및 영상데이타는 각각 오디오코덱85 및 영상코덱80에서 복호화되며, 각각의 경로(path)를 통해 버퍼부20에 입력된다. 이때 상기 합성 동영상의 첫번째 입력은 무조건 영상데이타로 고정된다고 가정한다. 상기 버퍼부220의 내부에는 2 개의 오디오 버퍼(Aud_Buf1, Aud_Buf2)224 및 226과 하나의 이미지버퍼(Img_Buf)222가 존재한다. 동작 순서는 다음과 같다.
먼저 상기 메모리 30은 저장하고 있는 합성 동영상들 중에서 선택된 합성 동영상을 출력한다. 상기 메모리30에서 저장된 합성 동영상은 상기 도 10b에 도시된 바와 같이 이미지 헤더를 포함한 JPEG 영상 및 부호화된 오디오들이 JPEG 영상의 프레임 단위로 저장되어 있다. 따라서 동영상 재생모드시 상기 합성 영상에서 JPEG 영상과 오디오를 분리한 후 재생하여야 한다. 헤더분석기250은 상기 메모리30에서출력되는 도 10b와 같은 합성 영상에서 상기 헤더를 분석하여 오디오와 JPEG 영상을 분리하기 위한 스위치 제어신호를 발생한다. 상기 합성 영상의 형태는 상기한 바와 같이 헤더, JPEG 영상, 그리고 오디오 순서로 저장되어 있다고 가정한다.
상기 헤더분석기250은 상기 합성 영상의 헤더를 분석한 후, JPEG 영상데이타이면 스위치(A/V switch)를 (ㄱ)의 위치로 옮긴다. 그리고 이미지버퍼272는 상기 스위치(speech input switch)263을 (ㄴ)의 위치로 옮긴다. 그러면 상기 메모리30에서 출력되는 JPEG 영상은 스위치261을 통해 이미지버퍼272에 저장된다. 이때 상기 패턴분석기250은 1프레임의 JPEG 영상이 상기 이미지버퍼272에 인가될 수 있도록 상기 스위치261이 (ㅂ)에 위치되도록 제어한다. 따라서 상기 JPEG 영상은 이미지버퍼(Img_Buf)272에 저장된다. 이때 상기 메모리(30)에서 JPEG 영상의 출력이 종료되면, 상기 헤더분석기250은 상기 스위치(A/V switch)261을 (ㅁ) 위치로 옮긴다. 이때 상기 스위치263은 (ㄱ)에 위치되어 있는 상태이므로, 상기 메모리30에서 출력되는 오디오 데이터는 제1오디오버퍼(Aud_Buf1)에 저장된다.
상기 이미지버퍼(Img_Buf)272는 버퍼링된 상기 JEPG 영상데이타를 상기 영상코덱80에 인가하고, 스위치(speech output switch)를 (ㄷ) 위치로 옮겨, 상기 제1오디오버퍼(Aud_Buf1)의 오디오 데이터를 오디오코덱85에 전송한다. 그러면 상기 영상코덱80은 상기 JPEG 영상을 복원하여 표시부60에 전송하고 오디오코덱85은 부호화된 오디오 데이터를 복원하여 스피커로 출력한다.
이후 상기 메모리30에서 다음 프레임의 합성 영상이 출력되면, 상기 헤더분석기250은 상기 스위치261을 (ㅂ)에 위치시키고, 상기 이미지버퍼272는 버퍼링 중인 JPEG 영상의 출력이 종료되면 tm위치263을 (ㄴ)에 위치시킨다. 그러면 상기한 바와 같이 메모리30에서 출력되는 다음 프레임의 JPEG 영상이 이미지버퍼272에 버퍼링되며, 상기 메모리(30)에서 JPEG 영상의 출력이 종료되면, 상기 헤더분석기250은 상기 스위치(A/V switch)261을 (ㅁ) 위치로 옮긴다. 이때 상기 스위치263은 (ㄴ)에 위치되어 있는 상태이므로, 상기 메모리30에서 출력되는 오디오 데이터는 제2오디오버퍼(Aud_Buf2)에 저장된다. 상기와 같은 동작을 반복하면서 상기 메모리30에 저장된 합성 영상을 재생한다.
도 21은 본 발명의 실시예에 따라 상기 메모리30에 저장된 합성 동영상을 재생하는 절차를 도시하는 흐름도이다. 여기서 상기 합성동영상신호는 동영상신호에 텍스트신호가 합성된 경우로 가정하여 설명한다.
상기 도 21을 참조하면, 사용자가 키입력부27을 통해 합성 동영상 재생모드를 명령하면 상기 제어부10은 1511단계에서 이를 감지하고, 1513단계에서 상기 표시부60에 동영상메뉴를 표시한다. 이때 상기 동영상메뉴 정보는 상기 메모리30에 저장하고 있는 합성 동영상들의 이름 또는 이름 및 촬영장소 및 시간들이 될 수 있다. 상기 동영상 메뉴가 표시되고 있는 상태에서 사용자가 원하는 동영상을 선택하면 상기 제어부10은 1515단계에서 이를 감지하고, 1517단계에서 상기 영상코덱80을 동시에 상기 메모리30에서 선택된 합성 동영상정보의 헤더를 억세스한다.
이후 상기 제어부10은 1519단계에서 상기 억세스된 합성 동영상의 헤더를 분석하여 JPEG 영상과 텍스트신호를 분리한다. 이때 상기 헤더분석 결과 텍스트헤더이면, 상기 제어부10은 1521단계 및 1523단계에서 상기 헤더의 표시형태 및 길이를분석한다. 이후 상기 제어부10은 1525단계에서 상기 텍스트신호를 억세스한 후, 1527단계에서 상기 표시형태에 따라 표시부60에 출력하여 표시한다. 또한 상기 헤더분석 결과 이미지 헤더이면, 1529단계에서 헤더의 동영상길이를 확인한 후, 1531단계에서 동영상신호를 억세스한 후, 1533단계에서 영상코덱80에 전송한다. 그러면 상기 영상코덱80은 상기 JPEG 영상신호를 원래의 영상신호로 복원하며, 영상처리부50은 상기 복원된 영상신호를 표시부60의 크기에 맞도록 조정한 후 표시부60에 출력하여 표시한다. 그리고 상기 동영상신호의 재생이 종료되면, 상기 도 21과 같은 절차를 종료한다.
이때 상기 제어부10은 상기 텍스트 표시 형태에 따라 선표시방법이면 상기 텍스트신호를 먼저 표시부60에 출력하여 표시하고, 이후 상기 동영상들을 연속적으로 억세스하여 상기 영상코덱80에 출력한다. 그러면 상기 표시부60은 먼저 상기 텍스트신호를 표시한 후 이어서 연속적으로 수신되는 정지 영상신호들을 동영상으로 표시한다. 두 번째로 상기 표시형태가 후표시방법이면 먼저 상기 동영상신호들을 연속적으로 억세스하여 상기 영상코덱에 출력하고, 상기 영상신호 출력을 종료한 후 상기 표시부60에 상기 텍스트신호를 출력한다. 그러며 상기 표시부60은 정지영상신호들을 연속적으로 수신하여 동영상신호로 표시하고, 이후 수신되는 텍스트신호를 표시한다. 세 번째로 상기 표시형태가 슬라이드표시방법이면, 상기 영상신호를 영상코덱80으로 출력하는 동시에 상기 <수학식 1>에 의해 결정된 시간으로 상기 텍스트들을 표시부60에 전송한다. 따라서 상기 표시부60은 상기 정지영상신호들은 연속적으로 수신하여 동영상신호로 표시하는 동시에 상기 제어부10에서 출력되는텍스트신호들을 특정위치에서 슬라이딩시켜 표시한다. 네 번째로 상기 표시형태가 파일업 표시방법이면, 상기 영상신호를 영상코덱80으로 출력하는 동시에 상기 <수학식 2>에 의해 결정된 시간에서 설정된 수의 텍스트들을 표시부60에 전송한다. 따라서 상기 표시부60은 상기 정지영상신호들은 연속적으로 수신하여 동영상신호로 표시하는 동시에 상기 제어부10에서 출력되는 소정 수의 텍스트신호들을 특정위치에 표시한다.
상기 도 21은 제어부10에서 합성 동영상신호를 생성하여 저장하는 동작 절차를 도시하고 있다. 그러나 상기 도 21과 같은 동작은 도 22와 같은 구성으로도 구현이 가능하다. 도 22는 휴대전화기에서 합성동영상신호를 재생하는 구성을 도시하는 도면이다.
상기 도 22의 구성을 살펴보면, 메모리30은 합성 동영상들을 저장하고 있으며, 상기 제어부10의 제어하에 선택된 합성 동영상들이 억세스된다. 헤더분석기250은 상기 메모리30에서 억세스되는 합성 동영상의 헤더를 분석하여 JPEG 영상 및 텍스트신호를 분리하기 스위치 제어신호를 발생한다. 스위치261은 공통단자가 상기 메모리30에 연결되고 제1출력단자가 텍스트버퍼228에 연결되며, 제2출력단자가 이미지버퍼272에 연결된다. 상기 이미지버퍼222는 상기 스위치261에서 출력되는 JPEG 영상신호를 버퍼링한다. 상기 텍스트버퍼228은 상기 스위치261에서 출력되는 텍스트신호를 버퍼링한다.
상기 헤더분석기250 및 스위치261, 그리고 버퍼222 및 228은 상기 메모리30에서 출력되는 합성 영상에서 텍스트신호 및 JPEG 영상신호를 분리하는분리기(splitter) 기능을 수행한다. 영상코덱80은 상기 이미지버퍼272에서 출력되는 JPEG 영상데이터를 복원(decoding)하여 출력한다. 표시부60은 상기한 바와 같이 제어부10의 제어하에 표시형태에 따라 출력되는 텍스트신호 및 동영상신호를 표시한다.
상기 도 22의 동작을 살펴보면, 상기 메모리 30은 저장하고 있는 합성 동영상들 중에서 선택된 합성 동영상을 출력한다. 상기 메모리30에서 저장된 합성 동영상은 상기 도 14a에 도시된 바와 같은 텍스트헤더를 포함하는 텍스트신호와 및 도 14b에 도시된 바와 같은 이미지 헤더를 포함한 JPEG 영상신호들이 저장되어 있다. 따라서 동영상 재생모드시 상기 합성 영상에서 JPEG 영상과 오디오를 분리한 후 재생하여야 한다. 헤더분석기250은 상기 메모리30에서 출력되는 도 14c와 같은 합성 동영상신호에서 텍스트 및 영상의 헤더를 분석한다. 이때 상기 헤더 분석시 상기 텍스트헤더는 도 14a와 같이 구성되어 있으며, 이미지헤더는 도 14b와 같이 구성되어 있다. 상기 도 14c와 같은 구조를 가지는 경우, 상기 헤더분석기250은 먼저 텍스트헤더의 패턴신호에 의해 텍스트신호임을 감지하고, 이어지는 L값을 읽어 텍스트신호의 길이를 확인한다. 그리고 스위치261을 제어하여 상기 메모리30의 출력을 텍스트버퍼228에 연결시킨다. 이후 상기 헤더분석기250은 상기 L값만큼의 텍스트신호가 출력되도록 상기 메모리30을 제어한다. 따라서 상기 메모리30에서 출력되는 텍스트신호는 텍스트버퍼228에 인가되며, 상기 텍스트버퍼228에 버퍼링되는 텍스트신호는 제어부10에 인가된다. 또한 상기 헤더분석기250은 이미지헤더가 입력되면 상기 헤더의 패턴신호에 의해 JPEG 영상신호임을 감지하고, 이어지는 L값을 읽어텍스트 신호의 길이를 확인한다. 그리고 스위치261을 제어하여 상기 메모리30의 출력을 이미지버퍼222에 연결시킨다. 이후 상기 헤더분석기250은 상기 L값만큼의 JPEG신호가 출력되도록 상기 메모리30을 제어한다. 따라서 상기 메모리30에서 출력되는 영상신호는 이미지버퍼228에 인가되며, 상기 이미지버퍼222에 버퍼링되는 JPEG 영상신호는 영상코덱80에 인가된다. 이때 상기 영상코덱80에 인가되는 JPEG 영상신호는 프레임 크기의 영상신호이며, 상기 헤더분석기250은 연속되는 프레임 크기의 JPEG 영상신호를 출력하도록 제어한다.
이때 상기 제어부10이 상기 텍스트신호를 수신하면, 상기 텍스트헤더의 표시형태 T의 정보를 확인한다. 그리고 상기 영상처리부50을 제어하여 상기 지정된 표시형태에 따라 상기 텍스트신호와 동영상신호를 재생한다. 이때 상기 제어부10이 영상처리부50 및 표시부60을 제어하여 상기 동영상신호 및 텍스트신호를 재생하는 방법은 상기 도 21에서 설명된 바와 같다.
도 23은 본 발명의 실시예에 따라 오디오 및 텍스트신호가 합성된 동영상신호를 재생하는 절차를 도시하는 흐름도이다. 그리고 도 24는 동영상신호에 오디오 및 텍스트신호가 합성된 신호를 재생하는 장치의 구성을 도시하는 도면이다.
도 23을 참조하면, 상기 동영상 재생모드를 발생되면, 상기 제어부10은 861단계에서 이를 감지하고, 863단계에서 상기 합성 동영상신호의 메뉴를 표시한다. 상기 합성 동영상 메뉴가 표시되고 있는 상태에서 원하는 동영상이 선택되면, 상기 제어부10은 865단계에서 이를 감지하고, 817단계 및 519단계에서 상기 영상코덱80 및 오디오코덱85를 구동하는 동시에 상기 선택된 합성 동영상정보들을 억세스한다.
이후 상기 제어부10은 869단계에서 상기 억세스된 합성 동영상의 헤더를 분석하여 JPEG 영상 및 오디오데이타를 분리한다. 이후 상기 제어부10은 상기 JPEG 영상데이타면 873단계에서 상기 JPEG 영상데이타를 영상코덱80에 출력하여 표시하고, 오디오 데이터이면 871단계에서 오디오코덱85에 출력하여 재생하며, 텍스트데이타이면 875단계에서 표시부60에 출력하여 표시한다.
상기 제어부10은 879단계에서 다시 다음 프레임의 합성 동영상을 억세스한 후 상기 869단계-875단계를 반복 수행한다. 따라서 상기 합성 동영상신호들은 연속적으로 표시부60 및 스피커를 통해 연속적으로 재생되며, 따라서 동영상 형태로 재생되게 된다. 상기 제어부10은 마지막 프레임의 합성 동영상을 재생하거나 또는 사용자로부터 재생 중지명령이 발생되면 587단계에서 이를 감지하고, 상기 동영상 재생모드를 종료한다.
도 24는 상기 도 23과 같은 절차로 수행되는 합성 동영상신호의 재생 장치 구성을 도시하는 도면이다. 상기 도 24의 구성에서 헤더분석기250, 스위치261,263,265 및 버퍼부270은 제어부10의 구성이 될 수 있다. 상기 도 24의 합성 동영상신호는 텍스트, JPEG 영상 및 오디오신호들이 합성된 신호인 경우를 가정하고 있다.
상기 도 24의 구성을 살펴보면, 상기 메모리30에 저장된 합성 동영상신호들은 헤더분석기250에 의해 분석된다. 상기 헤더분석기250은 상기 메모리30에서 억세스되는 합성 동영상신호에 포함된 텍스트헤더 및 이미지헤더를 분석하여 텍스트, JPEG 영상 및 오디오신호를 분리하기 위한 스위치 제어신호를 발생한다. 스위치261은 공통단자가 상기 메모리30에 연결되고 제1출력단자가 오디오신호를 스위칭 출력하는 스위치263의 공통단자에 연결되며, 제2출력단자가 이미지버퍼272에 연결되고, 제3출력단자가 텍스트버퍼278에 연결된다. 상기 버퍼부270의 텍스트버퍼278은 상기 스위치261에서 출력되는 텍스트신호를 버퍼링한다. 또한 상기 버퍼부270의 이미지버퍼(Img_Buf)272는 상기 스위치261에서 출력되는 JPEG 영상데이터를 버퍼링한다. 제1 및 제2오디오버퍼(Aud_Buf) 224 및 226은 각각 부호화된 오디오 데이터를 버퍼링한다. 스위치263은 공통단자가 상기 스위치261의 제1출력단자에 연결되며, 제1출력단자가 제1오디오버퍼224의 입력단에 연결되고 제2출력단자가 제2오디오버퍼226의 출력단에 연결된다. 또한 스위치265는 제1입력단자가 상기 제1오디오버퍼224의 출력단에 연결되고 제2입력단자가 상기 제2오디오버퍼226의 출력단에 연결되며, 공통단자가 오디오코덱85에 연결된다. 상기 스위치211 및 213은 상기 이미지버퍼220의 출력에 의해 제어된다. 오디오코덱85는 스위치265에서 출력되는 부호화된 오디오신호를 복원(decoding)하여 출력한다. 영상코덱80은 상기 이미지버퍼272에서 출력되는 JPEG 영상데이터를 복원(decoding)하여 출력한다.
상기 도 36의 동작을 살펴보면, 먼저 상기 헤더분석기250은 상기 메모리30에 저장된 합성동영상신호를 일정한 크기로 읽어가면서 헤더를 분석한다. 이때 상기 헤더의 패턴신호가 텍스트패턴이면 상기 헤더분석기250은 상기 스위치261을 텍스트버퍼278에 접속하며, 이미지 패턴이면 상기 스위치261을 이미지버퍼272에 접속하고, 오디오패턴이면 스위치 263에 접속한다. 그리고 상기 이미지버퍼272는 프레임 구간으로 스위치263 및 265를 제어하여 제1오디오버퍼274가 입력되는 오디오신호를버퍼링할 때 제2오디오버퍼276에 저장된 오디오데이타를 출력하거나 또는 제2오디오버퍼가276이 입력되는 오디오신호를 버퍼링할 때 상기 제1오디오버퍼274에 저장된 오디오데이타가 출력되도록 한다.
따라서 상기와 같이 합성 동영상신호가 헤더분석기250의 분석에 의해 텍스트신호, 동영상신호 및 오디오신호로 분해되고, 분해된 각 신호들은 각각 제어부10, 영상코덱80 및 오디오코덱85에 인가되어 각각 재생된다.
도 25는 합성 동영상신호를 전송하는 동작 절차를 도시하는 흐름도이다. 상기 도 13에서 전송되는 합성동영상신호는 상기 도 7, 도 8, 도 11, 도 12, 도 15 또는 도 16과 같은 동작을 수행하여 메모리30에 저장된 합성 동영상신호가 될 수 있다. 또한 상기 도 25에서 전송되는 합성동영상신호는 동영상신호에 텍스트 및(또는), 오디오신호가 합성된 합성동영상신호가 될 수도 있다. 또한 상기 도 25는 상기와 같은 합성 동영상신호를 생성 절차를 수행한 후, 즉시 수행될 수도 있다.
상기 도 25를 참조하면, 사용자가 키입력부27을 통해 동영상 전송을 명령하면, 상기 제어부10은 551단계에서 이를 감지하고, 553단계에서 상기 표시부60을 통해 합성 동영상 메뉴를 표시한다. 여기서 상기 합성 동영상 메뉴는 상기 메모리30에 저장된 합성 동영상들의 이름 또는 이름, 촬영시간 및 장소들이 될 수 있다. 상기 합성 동영상 메뉴를 표시하는 상태에서 사용자가 원하는 합성 동영상을 선택하면, 상기 제어부10은 555단계에서 이를 감지하고, 557단계에서 상기 메모리30에 저장된 해당하는 합성 동영상을 억세스한다.
이후 상기 제어부10은 상기 억세스되는 합성 동영상을 분할하여 전송을 위한패킷 데이터로 조립한다. 이때 상기 패킷의 크기는 미리 정의된 일정길이(N)으로 고정되며, 1프레임의 영상 데이터는 다수 개의 패킷으로 나누어져 생성될 수 있다. 또한 상기 패킷 내에는 영상/음성 데이터가 혼합되어 존재할 수도 있게된다. 그리고 상기 조립된 패킷 데이터를 데이터처리부20에 출력하여 전송한다. 이때 상기 데이터 처리부20은 상기 수신되는 패킷 데이터를 데이터 채널을 통해 채널 부호화 및 변조하여 출력하며, RF부23은 이를 무선신호로 변환하여 송신한다. 상기와 같이 합성 동영상의 패킷 전송이 완료되면, 상기 제어부10은 565단계에서 다음 프레임의 합성 동영상을 억세스하여 패킷을 생성 및 전송하는 동작을 반복 수행한다. 이후 선택된 합성 동영상의 전송이 완료되면, 상기 제어부10은 563단계에서 이를 감지하고 상기 합성 동영상의 전송 절차를 종료한다.
상기 도 25는 상기한 바와 같이 메모리30에 저장된 합성 동영상을 전송함을 도시하고 있다. 그러나 상기 도 7 및 도 8과 같은 절차를 수행하면서 합성 영상을 생성하여 메모리30에 저장하는 동시에 상기 생성된 합성영상을 전송할 수도 있다. 이런 경우 상기 제어부10은 1프레임의 합성 동영상을 메모리30에 저장하고, 이때의 합성 동영상을 패킷 데이터로 조립하여 전송하면 된다.
도 26은 휴대전화기에서 합성동영상신호를 생성하여 저장하는 동시에 상기 합성동영상신호를 전송하는 구성을 도시하는 도면이다. 상기 도 26의 구성에서 버퍼부20, 스위치211, 213, 헤더생성기230, 합성기240 및 패킷생성기245는 제어부10의 구성이 될 수 있다. 그리고 도 27a - 도 27e는 합성 동영상을 전송하기 위한 패킷 데이터 구조를 도시하는 도면이다.
상기 도 26의 휴대전화기의 송신부는 영상코덱80에서 출력되는 연속적인 정지영상(JPEG 영상)과 오디오코덱85를 통해 부호화되는 연속된 오디오신호를 합성(merge)하여 저장하고, 또한 전송시에는 상기 합성 동영상에 미리 정해진 헤더포맷(header format)을 첨부하여 패킷화(packetization)한 후 전송한다. 여기서 상기 부호화된 오디오 데이터 및 JPEG 영상데이타들을 전송하기 위한 패킷데이타들은 도 27a-도 27e와 같이 할 수 있다.
도 27a는 RF부23을 통해 통해 전송되는 합성 동영상의 패킷 구조를 도시하고 있다. 상기 전송되는 1프레임 합성 영상 패킷의 전체 크기(N)는 필요에 따라 결정될 수 있으며, 대략 200~1500 bytes 정도로 설정될 수 있을 것이다. 이때 전송되는 패킷 크기는 매 패킷마다 일정해야 한다. 상기 패킷의 구조를 살펴보면, 우선 44 바이트의 TCP/IP 헤더가 연결되고, 7 비트의 시퀀스번호(sequence number)가 연결될 수 있다. 상기 시퀀스번호는 생성되는 패킷의 순서를 나타내는 것으로, 0~127번까지 표시한 후, 다시 0번부터 삽입된다. 그리고 상기 시퀀스번호 뒤에 위치되는 A/V 1 비트는 해당하는 패킷의 첫부분의 데이터가 오디오 데이터 또는 JPEG 영상데이타인지를 표시하는 값이다.
도 27b 및 도 27c는 JPEG 영상의 형태(image data format)을 보여주고 있다. JEPG 영상의 경우 일반적으로 한 프레임(frame)의 크기가 5~10 킬로바이트(kbytes) 정도이며, 따라서 본 발명의 실시예에 따라 RF부23을 통해 전송할 때 사용되는 패킷 데이터 보다 크다. 따라서 한 프레임의 JPEG 영상 데이터는 여러 개의 패킷들로전송하여야 한다. 이때 프레임 영상데이타의 첫 번째 패킷은 도 27b와 같이 이미지 헤더(image header) P 및 L을 부가한다. 상기 도 27b에서는 P는 패턴신호(pattern signal)로서, 패킷 데이터를 수신하는 수신기에서 오디오 데이터와 JPEG 영상데이타를 구분하기 위해 필요한 값이다. 상기 도 27b에 L은 JPEG 프레임(image frame)의 전체 크기를 나타내는 값이다. 이는 상기 수신기가 상기 패턴신호(pattern signal) P에 의해 JPEG 영상으로 판단한 후, 상기 L 길이만큼을 JPEG 영상을 읽도록 하기 위함이다. 그러면 상기 수신기는 수신되는 패킷들에서 L 길이만큼 수신되는 데이타들을 계속 버퍼링(buffering)하고 있다가, 상기 L 길이만큼의 데이터가 수신되면 상기 수신된 데이터를 JPEG 영상을 복원하는 영상코덱80에 인가하여 재생하도록 한다. 상기 도 27c 는 전송하고자 하는 1프레임의 JPEG 영상에서 첫 번째 패킷을 전송한 후 이어지는 나머지 패킷들의 형태로써, 이미지 헤더 없이 전체가 JPEG 영상데이타로 채워진다.
도 27d는 오디오 데이터의 패킷 구조를 도시하고 있다. 본 발명의 실시예에서는 상기 오디오 코덱85가 8 kbps speech codec이라고 가정한다. 상기 오디오 코덱85가 8 kbps speech codec인 경우, 상기 부호화되는 오디오 데이터는 매 20 msec마다 1 프레임(frame: 20 bytes)의 오디오 데이터가 생성된다. 이때 하나의 패킷으로 조립할 수 있는 데이터의 최대 크기인 N-45 bytes가 될 때까지 연속적으로 부호화된 오디오 프레임 데이터들을 연결하여 오디오 패킷을 생성한다. 예를 들어, N이 200일 경우, 17 프레임과 3/4 프레임(15 bytes)의 오디오 데이터들을 묶어서 하나의 패킷을 생성하게 된다. 그러나 일반적으로 오디오 프레임들 사이에 JPEG 영상이입력되므로, 도 27e와 같이 오디오 및 JPEG 영상이 혼합되는 구조를 가지게 된다.
도 26에서 오디오코덱85, 영상코덱80, 스위치211 및 213, 버퍼부220, 헤더생성기230 및 합성기240로 구성되는 합성 동영상을 생성하는 구성의 동작은 상기 도 9와 동일하다. 상기 도 26은 상기와 같이 구성되는 합성 동영상 생성기의 구성에 패킷 생성기245를 더 구비하여, 상기 생성된 합성 동영상을 전송하는 기능을 수행한다.
상기 도 26을 참조하면, 오디오 데이터와 JPEG 영상 데이터는 각각 오디오코덱85와 영상코덱85를 통해 부호화되고, 각각의 경로를 통해 버퍼부220에 입력된다. 이때 본 발명의 실시예에서는 동영상 메일의 첫번째 입력은 무조건 JPEG 영상 데이터로 고정되는 것으로 가정한다. 상기 버퍼부220의 내부에는 2 개의 오디오버퍼224, 226과 하나의 이미지버퍼222가 존재한다. 합성 동영상을 생성하는 동작은 상기 도 9의 절차와 동일하게 수행된다.
먼저 첫 번째 단계에서 이미지버퍼(Img_buf)220에 1프레임의 JPEG 영상데이타를 입력하며, 두 번째 단계에서 스위치211을 (ㄱ)에 위치시켜 부호화된 오디오데이타를 제1오디오버퍼(Aud_Buf1)224에 입력한다. 세 번째 단계에서 상기 이미지버퍼220에 1프레임의 JPEG 영상데이타가 채워지면, 상기 JPEG 영상데이타의 앞에 헤더(image header)를 삽입한 후, 다음 단으로 전송한다. 이때 상기 헤더는 JPEG 영상임을 나타내는 패턴신호 P 및 JPEG 영상데이터의 길이 L이 될 수 있다. 그리고 네 번째 단계에서 상기 (a) 경로를 통해 스위치211을 (ㄴ)의 위치로 변경하고, 동시에 다섯 번째 단계에서 (b) 경로를 통해 스위치213을 (ㄷ)의 위치로 변경한다.그리고 여섯 번째 단계에서 상기 오디오코덱85에서 계속 출력되는 오디오 데이터를 제2오디오버퍼(Aud_Buf2)226에 저장한다. 일곱 번째 단계에서는 상기 제1오디오버퍼(Aud_Buf1)224에 버퍼링된 오디오 데이터를 다음 단으로 전송한다. 여덟 번째 단계에서는 상기 첫 번째 단계로 되돌아가 상기와 같은 동작을 반복 수행한다. 이때 상기 스위치211 및 213은 이전 상태의 반대의 위치로 동작한다.
상기와 같은 방법으로 순차적으로 생성되는 JPEG 영상 데이터와 오디오 데이터는 합성되어 도 10b와 같은 형태로 메모리30에 임시 저장된다. 그리고 상기와 같이 저장된 합성 동영상 데이터는 패킷생성기245에서 도 10a-도 10e와 같은 형태의 패킷으로 조립된 후, 데이터처리부20 및 RF부23을 통해 전송된다.
먼저 상기 메모리30에 저장된 합성 동영상 데이터는 상기 도 10b에 도시된 바와 같이, 이미지 헤더, JPEG 영상 데이터, 오디오 데이터 프레임들이 된다. 상기와 같은 구조를 가지는 합성 동영상은 다수의 패킷데이타들로 조립되어 전송된다. 따라서 상기 도 10b와 같은 합성 영상 데이터를 패킷으로 조립한 후 전송하기 위하여, 상기 패킷생성기245는 각 패킷데이타에 TCP/IP 헤더, 시퀀스번호 및 A/V비트를 삽입한 후, 그 뒤에 데이터를 연결한다. 여기서 상기 TCP/IP 헤더는 각 패킷데이타의 맨앞에 위치되며 본 발명의 실시예에서는 44바이트 크기를 갖는다고 가정한다. 또한 상기 시퀀스번호(sequence number)는 생성되는 패킷의 순서를 나타내는 것으로 7비트의 크기를 가진다고 가정한다. 그러면 상기 시퀀스번호는 0~127번까지 표시할 수 있으며, 상기 127번을 초과하면 다시 0번부터 표시한다. A/V비트는 해당 패킷의 첫 부분이 JPEG 영상 데이터인지 아니면 오디오데이타인지를 표시하는 비트로써, 1비트로 구성된다고 가정한다. 상기 TCP/IP 헤더, 시퀀스번호 및 A/V비트는 매 패킷의 앞에 위치되며, 본 발명의 실시예에서는 45바이트로 구성된다고 가정한다.
상기 도 27b에 도시된 바와 같이 합성 동영상은 먼저 1프레임의 JPEG 영상데이타가 위치되고 뒤에 1프레임 구간에서 생성된 오디오 데이터가 위치된다. 따라서 상기 패킷생성기245는 먼저 JPEG 영상의 패킷 데이터를 생성하고 이후 오디오 패킷 데이터를 생성한다.
도 27b 및 도 27c는 JPEG 영상 데이터의 패킷 형태를 도시하고 있다. 상기 JPEG 영상 데이터는 1프레임 크기가 5~10 kbytes 정도로 하나의 패킷 크기보다 큰 데이터를 가진다. 따라서 1프레임의 JPEG 영상데이타는 여러개의 패킷들로 조립하여야 한다. 이때 JPEG 영상데이타의 첫 번째 프레임은 도 27b와 같이 상기 TCP/IP 헤더, 시퀀스번호 및 A/V비트 다음에 이미지헤더를 연결한다. 여기서 상기 이미지헤더는 오디오데이타와 JPEG 영상데이타를 구분하기 위한 패턴신호 P와, 프레임 영상데이타의 전체 크기를 나타내는 길이 L로 구성된다. 그리고 수신측에서는 상기 패턴신호 P에 의해 JPEG 영상데이타임을 판단한 후 L 길이만큼을 JPEG 영상 데이터를 읽어 들이게 된다. 도 27c는 상기 JPEG 영상데이타의 첫 번째 패킷 뒤에 이어지는 두 번째 이상의 JPEG 영상데이타들을 패킷으로 조립한 패킷데이타 포맷으로써, 상기 이미지헤더 없이 전체가 JPEG 영상데이타들로 구성된다.
상기 도 27b 및 도 27c와 같은 영상 패킷들을 조립한 후, 오디오 데이터들은 도 27d와 같은 형태로 오디오 패킷으로 조립한다. 이때 상기 오디오코덱85가 상기한 바와 같이 8 kbps 음성 코덱인 경우에는 매 20 msec마다 한 frame(20 bytes)의 오디오 데이터가 생성되며, 상기 패킷생성기245는 하나의 패킷에 조립할 수 있는 최대 크기인 N-45 바이트가 될 때까지 연속적으로 오디오 프레임들을 연결하여 오디오 패킷을 생성한다. 이때 영상 및 오디오 데이터를 패킷화할 때, 프레임의 경계 구간에 생성되는 패킷 데이터는 오디오와 영상 데이터가 하나의 패킷에 조립될 수 있다. 이런 경우 상기 패킷생성기245는 도 27e와 같은 패킷 데이터를 생성하게 된다.
상기 패킷생성기245에 의해 생성되는 패킷 데이터들은 데이터처리부20을 통해 채널부호화 및 변조된 후, RF부23을 통해 전송된다.
상기 도 26과 같은 합성 동영상의 전송 방법은 합성 동영상을 생성하면서 동시에 전송하는 경우를 가정하여 설명되고 있다. 그러나 상기 합성 동영상의 전송은 상기 도 7 및 도 9와 같은 동작을 수행한 후, 도 25와 같은 동작을 수행하면서 상기 메모리30에 저장된 합성 동영상들 중에서 원하는 동영상을 선택하여 전송할 수도 있다.
도 28은 휴대전화기에서 합성동영상신호를 생성하여 저장하는 동시에 상기 합성동영상신호를 전송하는 구성을 도시하는 도면이다. 상기 도 30의 구성에서 버퍼부20, 스위치211, 213, 이미지헤더생성기230, 텍스트헤더생성기235 및 합성기240 및 패킷생성기245는 제어부10의 구성이 될 수 있다. 그리고 도 29a - 도 29b는 합성 동영상신호의 구조 및 전송하기 위한 패킷 데이터 구조를 도시하는 도면이다.
상기 도 28의 휴대전화기의 송신부는 영상코덱80에서 출력되는 연속적인 정지영상(JPEG 영상)과 패킷신호를 합성(merge)하여 저장하고, 또한 전송시에는 상기 합성 동영상에 미리 정해진 패킷 헤더(packet header)를 첨부하여 패킷화(packetization)한 후 전송한다.
상기 도 28을 참조하면, 먼저 화면 영상신호는 영상코덱80을 통해 부호화되어 이미지버퍼222에 입력되고, 이미지헤더 생성기230은 상기 프레임 크기의 이미지헤더를 생성한 후, 상기 이미지헤더에 해당 화면의 영상신호를 연결한다.
이후 상기 제어부10은 현재 저장된 JPEG 영상신호의 재생시간을 계산한 후, 텍스트신호의 최대 길이를 안내한다. 그러면 사용자는 표시부60에 표시되는 텍스트의 최대 크기를 확인한 후, 키입력부27을 통해 합성 동영상신호의 텍스트신호를 입력한다. 상기 텍스트신호는 텍스트버퍼228에 버퍼링되며, 텍스트헤더생성기235는 사용자가 지정한 표시형태 및 입력된 텍스트의 길이를 포함하는 텍스트헤더를 생성한 후, 상기 버퍼링된 텍스트에 상기 텍스트헤더를 삽입하며, 이를 합성기240에 인가한다. 그러면 상기 합성기240은 상기 메모리30에 저장하고 있는 연속되는 JPEG 영상신호들에 상기 텍스트신호를 합성하여 도 29a와 같은 합성 동영상신호를 생성한다. 이때 합성 방법은 텍스트신호가 상기 동영상신호의 앞에 위치되도록 할 수 있다. 그리고 상기 도 29a와 같은 합성 동영상신호는 다시 메모리30에 저장된다.
그리고 상기와 같이 저장된 합성 동영상 데이터는 패킷생성기245에서 도 29b와 같은 형태의 패킷으로 조립된 후, 데이터처리부20 및 RF부23을 통해 전송된다.
상기 텍스트 및 동영상신호가 합성된 동영상신호의 전송 절차를 살펴보면, 먼저 상기 메모리30에 저장된 합성 동영상 데이터는 상기 도 29a에 도시된 바와 같이, 텍스트헤더, 텍스트신호, 이미지 헤더, JPEG 영상신호들이 된다. 상기와 같은 구조를 가지는 합성 동영상은 다수의 패킷데이터들로 조립되어 전송된다. 따라서 상기 도 29a와 같은 합성 영상 데이터를 패킷으로 조립한 후 전송하기 위하여, 상기 패킷생성기245는 도 29b와 같이 각 패킷데이터에 TCP/IP 헤더, 시퀀스번호 및 A/V/T비트들로 이루어지는 패킷헤더를 삽입한 후, 그 뒤에 데이터를 연결한다. 여기서 상기 TCP/IP 헤더는 각 패킷데이터의 맨앞에 위치되며 본 발명의 실시예에서는 44바이트 크기를 갖는다고 가정한다. 또한 상기 시퀀스번호(sequence number)는 생성되는 패킷의 순서를 나타내는 것으로 7비트의 크기를 가진다고 가정한다. 그러면 상기 시퀀스번호는 0~127번까지 표시할 수 있으며, 상기 127번을 초과하면 다시 0번부터 표시한다. A/V/T비트는 해당 패킷의 첫 부분이 텍스트신호, JPEG 영상신호 또는 오디오신호인지를 표시하는 비트로써, 2비트로 구성된다고 가정한다. 상기 TCP/IP 헤더, 시퀀스번호 및 A/V비트는 매 패킷의 앞에 위치되며, 본 발명의 실시예에서는 45바이트로 구성된다고 가정한다.
상기 도 31a에 도시된 바와 같이 합성 동영상은 먼저 텍스트신호가 위치되고, 이어서 1프레임의 JPEG 영상데이터들이 연속되어 위치된다. 따라서 상기 패킷생성기245는 먼저 텍스트신호의 패킷 데이터를 생성하며, 이후 인터레이스된 형태의 JPEG 영상신호들의 패킷데이터들을 생성한다.
상기 도 31b는 RF부23을 통해 통해 전송되는 합성 동영상의 패킷 구조를 도시하고 있다. 상기 전송되는 1프레임 합성 영상 패킷의 전체 크기(N)는 필요에 따라 결정될 수 있으며, 대략 200~1500 bytes 정도로 설정될 수 있을 것이다. 이때전송되는 패킷 크기는 매 패킷마다 일정해야 한다. 상기 패킷의 구조를 살펴보면, 우선 44 바이트의 TCP/IP 헤더가 연결되고, 7 비트의 시퀀스번호(sequence number)가 연결될 수 있다. 상기 시퀀스번호는 생성되는 패킷의 순서를 나타내는 것으로, 0~127번까지 표시한 후, 다시 0번부터 삽입된다. 그리고 상기 시퀀스번호 뒤에 위치되는 A/V 1 비트는 해당하는 패킷의 첫부분의 데이터가 오디오 데이터 또는 JPEG 영상데이터인지를 표시하는 값이다.
JEPG 영상의 경우 일반적으로 한 프레임(frame)의 크기가 5~10 킬로바이트(kbytes) 정도이며, 따라서 본 발명의 실시예에 따라 RF부23을 통해 전송할 때 사용되는 패킷 데이터 보다 크다. 따라서 한 프레임의 JPEG 영상 데이터는 여러 개의 패킷들로 전송하여야 한다. 이때 프레임 영상데이터의 첫 번째 패킷은 이미지 헤더(image header) P 및 L을 부가한다. 상기 이미지헤더의 P는 패턴신호(pattern signal)로서, 패킷 데이터를 수신하는 수신기에서 오디오신호 및 텍스트신호와 JPEG 영상데이터를 구분하기 위해 필요한 값이다. 상기 이미지헤더의 L은 JPEG 프레임(image frame)의 전체 크기를 나타내는 값이다. 이는 상기 수신기가 상기 패턴신호(pattern signal) P에 의해 JPEG 영상으로 판단한 후, 상기 L 길이만큼을 JPEG 영상을 읽도록 하기 위함이다. 그러면 상기 수신기는 수신되는 패킷들에서 L 길이만큼 수신되는 데이터들을 계속 버퍼링(buffering)하고 있다가, 상기 L 길이만큼의 데이터가 수신되면 상기 수신된 데이터를 JPEG 영상을 복원하는 영상코덱80에 인가하여 재생하도록 한다. 이후 1프레임의 JPEG 영상에서 첫 번째 패킷을 전송한 후 이어지는 나머지 패킷들은 이미지 헤더 없이 전체가 JPEG 영상데이터로 채워진다.
상기 패킷생성기245에 의해 도 31b와 같이 생성되는 패킷 데이터들은 데이터처리부20을 통해 채널부호화 및 변조된 후, RF부23을 통해 전송된다.
도 30은 휴대전화기에서 동영상, 오디오 및 텍스트신호 합성된 동영상신호를 생성하여 저장하는 동시에 상기 합성동영상신호를 전송하는 구성을 도시하는 도면이다. 상기 도 30의 구성에서 버퍼부20, 스위치211, 213, 이미지헤더생성기230, 텍스트헤더생성기235 및 합성기240 및 패킷생성기245는 제어부10의 구성이 될 수 있다. 그리고 도 31a - 도 31b는 합성 동영상신호의 구조 및 전송하기 위한 패킷 데이터 구조를 도시하는 도면이다.
상기 도 30의 휴대전화기의 송신부는 영상코덱80에서 출력되는 연속적인 정지영상(JPEG 영상)과 오디오코덱85를 통해 부호화되는 연속된 오디오신호를 합성(merge)하여 저장하고, 또한 전송시에는 상기 합성 동영상에 미리 정해진 패킷 헤더(packet header)를 첨부하여 패킷화(packetization)한 후 전송한다.
상기 도 30를 참조하면, 오디오 데이터와 JPEG 영상 데이터는 각각 오디오코덱85와 영상코덱80을 통해 부호화되고, 각각의 경로를 통해 버퍼부220에 입력된다. 이때 본 발명의 실시예에서는 동영상 메일의 첫번째 입력은 무조건 JPEG 영상 데이터로 고정되는 것으로 가정한다. 상기 버퍼부220의 내부에는 2 개의 오디오버퍼224, 226과 하나의 이미지버퍼222 및 텍스트버퍼228이 존재한다.
합성 동영상을 생성하여 전송하는 절차는 하기와 같다.
먼저 첫 번째 단계에서 이미지버퍼(Img_buf)220에 1프레임의 JPEG 영상데이터를 입력하며, 두 번째 단계에서 스위치211을 (ㄱ)에 위치시켜 부호화된 오디오데이터를 제1오디오버퍼(Aud_Buf1)224에 입력한다. 세 번째 단계에서 상기 이미지버퍼220에 1프레임의 JPEG 영상데이터가 채워지면, 상기 JPEG 영상데이터의 앞에 헤더(image header)를 삽입한 후, 다음 단으로 전송한다. 이때 상기 헤더는 JPEG 영상임을 나타내는 패턴신호 P 및 JPEG 영상데이터의 길이 L이 될 수 있다. 그리고 네 번째 단계에서 상기 (a) 경로를 통해 스위치211을 (ㄴ)의 위치로 변경하고, 동시에 다섯 번째 단계에서 (b) 경로를 통해 스위치213을 (ㄷ)의 위치로 변경한다. 그리고 여섯 번째 단계에서 상기 오디오코덱85에서 계속 출력되는 오디오 데이터를 제2오디오버퍼(Aud_Buf2)226에 저장한다. 일곱 번째 단계에서는 상기 제1오디오버퍼(Aud_Buf1)224에 버퍼링된 오디오 데이터를 다음 단으로 전송한다. 여덟 번째 단계에서는 상기 첫 번째 단계로 되돌아가 상기와 같은 동작을 반복 수행한다. 이때 상기 스위치211 및 213은 이전 상태의 반대의 위치로 동작한다.
상기와 같은 방법으로 순차적으로 생성되는 JPEG 영상 데이터와 오디오 데이터는 도 31a에 같이 JPEG 영상과 오디오신호가 인터레이스되는 형태로 합성되어 메모리30에 임시 저장된다. 이후 상기 제어부10은 현재 저장된 JPEG 영상신호의 재생시간을 계산한 후, 텍스트신호의 최대 길이를 안내한다. 그러면 사용자는 표시부60에 표시되는 텍스트의 최대 크기를 확인한 후, 키입력부27을 통해 합성 동영상신호의 텍스트신호를 입력한다. 상기 텍스트신호는 텍스트버퍼228에 버퍼링되며, 텍스트헤더생성기235는 사용자가 지정한 표시형태 및 입력된 텍스트의 길이를 포함하는 텍스트헤더를 생성한 후, 상기 버퍼링된 텍스트에 상기 텍스트헤더를 삽입하며, 이를 합성기240에 인가한다. 그러면 상기 합성기240은 상기 메모리30에 저장하고 있는 오디오 및 JPEG 영상의 합성신호에 상기 텍스트신호를 합성하여 도 31b와 같은 합성 동영상신호를 생성한다. 그리고 상기 도 31b와 같은 합성 동영상신호는 다시 메모리30에 저장된다.
그리고 상기와 같이 저장된 합성 동영상 데이터는 패킷생성기245에서 도 31b와 같은 형태의 패킷으로 조립된 후, 데이터처리부20 및 RF부23을 통해 전송된다.
먼저 상기 메모리30에 저장된 합성 동영상 데이터는 상기 도 31b에 도시된 바와 같이, 텍스트헤더, 텍스트신호, 이미지 헤더, JPEG 영상신호, 오디오신호들이 된다. 상기와 같은 구조를 가지는 합성 동영상은 다수의 패킷데이터들로 조립되어 전송된다. 따라서 상기 도 31b와 같은 합성 영상 데이터를 패킷으로 조립한 후 전송하기 위하여, 상기 패킷생성기245는 도 31c와 같이 각 패킷데이터에 TCP/IP 헤더, 시퀀스번호 및 A/V/T비트들로 이루어지는 패킷헤더를 삽입한 후, 그 뒤에 데이터를 연결한다. 여기서 상기 TCP/IP 헤더는 각 패킷데이터의 맨앞에 위치되며 본 발명의 실시예에서는 44바이트 크기를 갖는다고 가정한다. 또한 상기 시퀀스번호(sequence number)는 생성되는 패킷의 순서를 나타내는 것으로 7비트의 크기를 가진다고 가정한다. 그러면 상기 시퀀스번호는 0~127번까지 표시할 수 있으며, 상기 127번을 초과하면 다시 0번부터 표시한다. A/V/T비트는 해당 패킷의 첫 부분이 텍스트신호, JPEG 영상신호 또는 오디오신호인지를 표시하는 비트로써, 2비트로 구성된다고 가정한다. 상기 TCP/IP 헤더, 시퀀스번호 및 A/V비트는 매 패킷의 앞에 위치되며, 본 발명의 실시예에서는 45바이트로 구성된다고 가정한다.
상기 도 31b에 도시된 바와 같이 합성 동영상은 먼저 텍스트신호가 위치되고, 이어서 1프레임의 JPEG 영상데이터 및 1프레임 영상 구간에서 생성된 오디오 데이터들이 인터레이스되는 형태로 연속되어 위치된다. 따라서 상기 패킷생성기245는 먼저 텍스트신호의 패킷 데이터를 생성하며, 이후 인터레이스된 형태의 JPEG 영상신호 및 오디오신호의 패킷데이터들을 생성한다.
상기 도 31c는 RF부23을 통해 통해 전송되는 합성 동영상의 패킷 구조를 도시하고 있다. 상기 전송되는 1프레임 합성 영상 패킷의 전체 크기(N)는 필요에 따라 결정될 수 있으며, 대략 200~1500 bytes 정도로 설정될 수 있을 것이다. 이때 전송되는 패킷 크기는 매 패킷마다 일정해야 한다. 상기 패킷의 구조를 살펴보면, 우선 44 바이트의 TCP/IP 헤더가 연결되고, 7 비트의 시퀀스번호(sequence number)가 연결될 수 있다. 상기 시퀀스번호는 생성되는 패킷의 순서를 나타내는 것으로, 0~127번까지 표시한 후, 다시 0번부터 삽입된다. 그리고 상기 시퀀스번호 뒤에 위치되는 A/V 1 비트는 해당하는 패킷의 첫부분의 데이터가 오디오 데이터 또는 JPEG 영상데이터인지를 표시하는 값이다.
JEPG 영상의 경우 일반적으로 한 프레임(frame)의 크기가 5~10 킬로바이트(kbytes) 정도이며, 따라서 본 발명의 실시예에 따라 RF부23을 통해 전송할 때 사용되는 패킷 데이터 보다 크다. 따라서 한 프레임의 JPEG 영상 데이터는 여러 개의 패킷들로 전송하여야 한다. 이때 프레임 영상데이터의 첫 번째 패킷은 이미지 헤더(image header) P 및 L을 부가한다. 상기 이미지헤더의 P는 패턴신호(pattern signal)로서, 패킷 데이터를 수신하는 수신기에서 오디오신호 및텍스트신호와 JPEG 영상데이터를 구분하기 위해 필요한 값이다. 상기 이미지헤더의 L은 JPEG 프레임(image frame)의 전체 크기를 나타내는 값이다. 이는 상기 수신기가 상기 패턴신호(pattern signal) P에 의해 JPEG 영상으로 판단한 후, 상기 L 길이만큼을 JPEG 영상을 읽도록 하기 위함이다. 그러면 상기 수신기는 수신되는 패킷들에서 L 길이만큼 수신되는 데이터들을 계속 버퍼링(buffering)하고 있다가, 상기 L 길이만큼의 데이터가 수신되면 상기 수신된 데이터를 JPEG 영상을 복원하는 영상코덱80에 인가하여 재생하도록 한다. 이후 1프레임의 JPEG 영상에서 첫 번째 패킷을 전송한 후 이어지는 나머지 패킷들은 이미지 헤더 없이 전체가 JPEG 영상데이터로 채워진다.
또한 상기 오디오 코덱85가 8 kbps speech codec이라고 가정하면, 상기 부호화되는 오디오 데이터는 매 20 msec마다 1 프레임(frame: 20 bytes)의 오디오 데이터가 생성된다. 이때 하나의 패킷으로 조립할 수 있는 데이터의 최대 크기인 N-45 bytes가 될 때까지 연속적으로 부호화된 오디오 프레임 데이터들을 연결하여 오디오 패킷을 생성한다. 예를 들어, N이 200일 경우, 17 프레임과 3/4 프레임(15 bytes)의 오디오 데이터들을 묶어서 하나의 패킷을 생성하게 된다. 그러나 일반적으로 도 31a와 같이 텍스트신호가 합성 동영상신호의 맨 앞에 위치되고, 오디오 프레임들 사이에 JPEG 영상이 입력되므로, 상기 텍스트신호와 JPEG 영상, 그리고 오디오 및 JPEG 영상이 혼합되는 구조를 가지게 된다.
상기 패킷생성기245에 의해 도 31b와 같이 생성되는 패킷 데이터들은 데이터처리부20을 통해 채널부호화 및 변조된 후, RF부23을 통해 전송된다.
도 32는 기지국으로부터 합성 동영상신호를 수신하여 메모리30에 저장하며, 또 상기 저장된 합성 동영상신호를 재생하는 절차를 도시하고 있다. 도 33은 휴대전화기에서 합성동영상신호를 수신하여 저장하는 동시에 상기 합성동영상신호를 재생하는 구성을 도시하는 도면이다. 상기 도 33의 구성에서 패킷분해기255, 패턴분석기250, 스위치261,263,265 및 버퍼부270은 제어부10의 구성이 될 수 있다. 그리고 도 34a - 도 34c는 패킷데이타를 분해하여 합성 동영상신호를 생성하는 절차를 설명하기 위한 도면이다.
상기 도 32를 참조하면, 기지국으로부터 데이터가 수신되면, 상기 제어부10은 611단계에서 이를 감지하고, 613단계에서 합성 동영상의 수신인가 검사한다. 이때 상기 613단계에서 합성 동영상의 수신임을 감지하면, 615단계에서 상기 영상코덱80 및 오디오코덱85를 구동하고, 이후 수신되는 패킷 데이터를 분해하여 메모리30에 저장하고, 상기 합성 동영상의 패턴을 분석하여 재생한다.
이때 상기 수신되는 합성 동영상은 패킷 형태로 수신되므로, 상기 제어부10은 617단계에서 패킷을 분해한다. 상기 제어부10은 617단계에서 수신되는 패킷을 분해한 후, 619단계에서 메모리30에 저장한다.
이후 상기 제어부10은 621단계에서 상기 메모리30에 저장된 합성 동영상의 헤더를 분석하여 JPEG 영상과 오디오데이타 및(또는) 텍스트데이타를 분리한다. 이때 상기 제어부10은 상기 JPEG 영상데이타면 상기 JPEG 영상데이타를 영상코덱80에 전송하며, 오디오 데이터이면 오디오코덱85에 전송하고, 텍스트데이타이면 표시부60에 전송한다. 그러면 상기 JPEG 영상은 영상처리부50의 표시화면생성부를통해 처리된 후 표시부60에 표시되고, 오디오는 오디오처리부25를 통해 스피커에서 재생되며, 텍스트는 표시부60상에 표시된다. 상기와 같이 617단계627단계를 반복 수행하면서, 상기 제어부10은 수신되는 패킷 데이터들을 분해하여 메모리30에 저장하고, 상기 메모리30에 저장된 프레임단위의 합성 동영상을 재생한다. 이후 상기 제어부10은 상기 합성 동영상의 수신이 종료되면, 상기 제어부10은 627단계에서 이를 감지하고, 629단계에서 상기 수신된 동영상의 이름을 입력하기 위한 동영상메뉴를 표시한 후, 입력되는 동영상 정보에 따라 동영상 메뉴를 등록하고 동영상 수신모드를 종료한다.
도 33은 휴대전화기에서 동영상 및 오디오신호가 합성된 동영상신호의 패킷을 수신하여 저장 및 재생하는 구성을 도시하는 도면이다. 상기 도 33의 구성에서 패킷분해기255, 헤더분석기250, 스위치261, 263, 265, 버퍼부270은 제어부10의 구성이 될 수 있다.
상기 도 33의 구성을 살펴보면, 패킷 데이터는 RF부23 및 데이터처리부20을 통해 처리된 후 패킷분해기255에 수신된다. 이때 수신되는 패킷들은 상기 도 27a-도 27e와 같은 구조를 가진다. 그러면 상기 패킷분해기255는 수신되는 패킷에서 TCP/IP헤더를 제거한다. 이때 상기 패킷분해기255는 상기 패킷의 시퀀스번호에 따라 송신시 전송된 순서대로 패킷들을 처리할 수 있으며, 또한 A/V비트에 의해 오디오 패킷인지 아니면 JPEG 영상 패킷인지를 구분할 수 있다. 따라서 상기 패킷분해기255는 상기 수신되는 패킷들을 도 10b와 같은 형태로 분해할 수 있으며, 이런 수신데이타를 메모리30에 저장한다. 상기와 같은 동작은 상기 도 34a - 도 34c에 도시되어 있다.
그러면 상기 메모리30은 상기 패킷분해기255에서 출력되는 도 10b와 같은 합성 동영상들을 저장하게 되며, 상기 메모리30에 저장된 합성 동영상들은 헤더분석기250에 의해 분석된다. 상기 헤더분석기250은 상기 메모리30에서 억세스되는 합성 동영상의 헤더를 분석하여 JPEG 영상 및 오디오를 분리하기 위한 스위치 제어신호를 발생한다. 스위치261은 공통단자가 상기 메모리30에 연결되고 제1출력단자가 오디오신호를 스위칭 출력하는 스위치263의 공통단자에 연결되며, 제2출력단자가 이미지버퍼272에 연결된다. 상기 버퍼부270의 이미지버퍼(Img_Buf)27는 상기 스위치261에서 출력되는 JPEG 영상데이타를 버퍼링한다. 제1 및 제2오디오버퍼(Aud_Buf) 224 및 226은 각각 부호화된 오디오 데이터를 버퍼링한다. 스위치263은 공통단자가 상기 스위치261의 제1출력단자에 연결되며, 제1출력단자가 제1오디오버퍼224의 입력단에 연결되고 제2출력단자가 제2오디오버퍼226의 출력단에 연결된다. 또한 스위치265는 제1입력단자가 상기 제1오디오버퍼224의 출력단에 연결되고 제2입력단자가 상기 제2오디오버퍼226의 출력단에 연결되며, 공통단자가 오디오코덱85에 연결된다. 상기 스위치211 및 213은 상기 이미지버퍼220의 출력에 의해 제어된다. 따라서 상기 버퍼부20은 상기 메모리30에서 출력되는 합성 영상에서 오디오와 JPEG 영상을 분리하는 분리기(splitter) 기능을 수행한다. 오디오코덱85는 스위치265에서 출력되는 부호화된 오디오신호를 복원(decoding)하여 출력한다. 영상코덱80은 상기 이미지버퍼272에서 출력되는 JPEG 영상데이타를 복원(decoding)하여 출력한다.
상기 도 33의 동작을 살펴보면, 상기 수신되는 패킷은 패킷분해기255에서 TCP/IP 헤더가 제거되며, 도 33과 같은 구성을 통해 오디오 데이터와 영상데이타로 분리된 후 대응되는 코덱에서 복원된다. 상기한 바와 같이 수신된 패킷은 패킷분해기255에서 분해되어 메모리30에 저장되고, 이후 헤더분석기250에서 분석되며, 이후의 동작은 상기 도 20에서의 동작과 동일하게 진행된다.
상기한 바와 같이 본 발명의 실시예에서는 오디오 데이터 및 연속되는 정지영상 데이터들을 합성하여 합성 동영상신호를 생성할 수 있으며, 상기 생성된 합성 동영상신호를 영상 및 오디오로 분리하여 동시에 재생할 수 있다. 또한 상기 생성된 합성 동영상신호를 전송 패킷 형태로 조립하여 기지국을 통해 다른 단말기 또는 서버에 전송할 수 있으며, 다른 단말기 또는 서버로부터 합성 동영상의 패킷들을 수신하여 분해한 후 재생할 수 있다.
도 35는 휴대전화기에서 동영상신호와 텍스트신호가 합성된 동영상신호를 수신하여 저장하는 동시에 상기 합성동영상신호를 재생하는 구성을 도시하는 도면이다. 상기 도 35의 구성에서 패킷분해기255, 헤더분석기250, 스위치261,263,265 및 버퍼부270은 제어부10의 구성이 될 수 있다.
상기 도 35의 구성을 살펴보면, 패킷 데이터는 RF부23 및 데이터처리부20을 통해 처리된 후 패킷분해기255에 수신된다. 이때 수신되는 패킷들은 상기 도 29b와 같은 구조를 가진다. 그러면 상기 패킷분해기255는 수신되는 패킷에서 TCP/IP헤더를 제거한다. 이때 상기 패킷분해기255는 상기 패킷의 시퀀스번호에 따라 송신시 전송된 순서대로 패킷들을 처리할 수 있으며, 또한 V/T비트에 의해 텍스트패킷 및JPEG 영상 패킷들을 구분할 수 있다. 따라서 상기 패킷분해기255는 상기 수신되는 패킷들을 분해할 수 있으며, 이런 수신데이터를 메모리30에 저장한다. 상기와 같이 패킷을 분해하면, 상기 도 29a와 같은 형태로 메모리30에 저장된다.
그러면 상기 메모리30에 저장된 합성 동영상신호들은 헤더분석기250에 의해 분석된다. 상기 헤더분석기250은 상기 메모리30에서 억세스되는 합성 동영상신호에 포함된 텍스트헤더 및 이미지헤더를 분석하여 텍스트 및 JPEG 영상신호들을 분리하기 위한 스위치 제어신호를 발생한다. 스위치261은 공통단자가 상기 메모리30에 연결되고 제1출력단자가 제1출력단자가 이미지버퍼272에 연결되고, 제2출력단자가 텍스트버퍼278에 연결된다. 상기 버퍼부270의 텍스트버퍼278은 상기 스위치261에서 출력되는 텍스트신호를 버퍼링한다. 또한 상기 버퍼부270의 이미지버퍼(Img_Buf)272는 상기 스위치261에서 출력되는 JPEG 영상데이터를 버퍼링한다. 영상코덱80은 상기 이미지버퍼272에서 출력되는 JPEG 영상데이터를 복원(decoding)하여 출력한다.
상기 도 35의 동작을 살펴보면, 상기 수신되는 패킷은 패킷분해기255에서 TCP/IP 헤더가 제거되며, 도 36과 같은 구성을 통해 오디오 데이터와 영상데이터로 분리된 후 대응되는 코덱에서 복원된다. 상기한 바와 같이 수신된 패킷은 패킷분해기255에서 분해되어 메모리30에 저장되고, 이후 헤더분석기250에서 분석된다. 이후의 동작은 상기의 도 22와 동일한 절차로 진행된다.
도 36은 휴대전화기에서 동영상, 오디오 및 텍스트신호가 합성된 동영상신호를 수신하여 저장하는 동시에 상기 합성동영상신호를 재생하는 구성을 도시하는 도면이다. 상기 도 36의 구성에서 패킷분해기255, 헤더분석기250, 스위치261,263,265 및 버퍼부270은 제어부10의 구성이 될 수 있다. 상기 도 36의 합성 동영상신호는 텍스트, JPEG 영상 및 오디오신호들이 합성된 신호인 경우를 가정하고 있다.
상기 도 36의 구성을 살펴보면, 패킷 데이터는 RF부23 및 데이터처리부20을 통해 처리된 후 패킷분해기255에 수신된다. 이때 수신되는 패킷들은 상기 도 31b와 같은 구조를 가진다. 그러면 상기 패킷분해기255는 수신되는 패킷에서 TCP/IP헤더를 제거한다. 이때 상기 패킷분해기255는 상기 패킷의 시퀀스번호에 따라 송신시 전송된 순서대로 패킷들을 처리할 수 있으며, 또한 A/V/T비트에 의해 텍스트패킷, 오디오 패킷 및 JPEG 영상 패킷들을 구분할 수 있다. 따라서 상기 패킷분해기255는 상기 수신되는 패킷들을 분해할 수 있으며, 이런 수신데이터를 메모리30에 저장한다. 상기와 같이 패킷을 분해하면, 도 31a와 같은 형태로 메모리30에 저장된다.
그러면 상기 메모리30에 저장된 합성 동영상신호들은 헤더분석기250에 의해 분석된다. 상기 헤더분석기250은 상기 메모리30에서 억세스되는 합성 동영상신호에 포함된 텍스트헤더 및 이미지헤더를 분석하여 텍스트, JPEG 영상 및 오디오신호를 분리하기 위한 스위치 제어신호를 발생한다. 스위치261은 공통단자가 상기 메모리30에 연결되고 제1출력단자가 오디오신호를 스위칭 출력하는 스위치263의 공통단자에 연결되며, 제2출력단자가 이미지버퍼272에 연결되고, 제3출력단자가 텍스트버퍼278에 연결된다. 상기 버퍼부270의 텍스트버퍼278은 상기 스위치261에서 출력되는 텍스트신호를 버퍼링한다. 또한 상기 버퍼부270의 이미지버퍼(Img_Buf)272는 상기 스위치261에서 출력되는 JPEG 영상데이터를 버퍼링한다. 제1 및 제2오디오버퍼(Aud_Buf) 224 및 226은 각각 부호화된 오디오 데이터를 버퍼링한다. 스위치263은 공통단자가 상기 스위치261의 제1출력단자에 연결되며, 제1출력단자가 제1오디오버퍼224의 입력단에 연결되고 제2출력단자가 제2오디오버퍼226의 출력단에 연결된다. 또한 스위치265는 제1입력단자가 상기 제1오디오버퍼224의 출력단에 연결되고 제2입력단자가 상기 제2오디오버퍼226의 출력단에 연결되며, 공통단자가 오디오코덱85에 연결된다. 상기 스위치211 및 213은 상기 이미지버퍼220의 출력에 의해 제어된다. 오디오코덱85는 스위치265에서 출력되는 부호화된 오디오신호를 복원(decoding)하여 출력한다. 영상코덱80은 상기 이미지버퍼272에서 출력되는 JPEG 영상데이터를 복원(decoding)하여 출력한다.
상기 도 36의 동작을 살펴보면, 상기 수신되는 패킷은 패킷분해기255에서 TCP/IP 헤더가 제거되며, 도 36과 같은 구성을 통해 오디오 데이터와 영상데이터로 분리된 후 대응되는 코덱에서 복원된다. 상기한 바와 같이 수신된 패킷은 패킷분해기255에서 분해되어 메모리30에 저장되고, 이후 헤더분석기250에서 분석된다. 이후의 동작은 상기 도 24와 동일한 절차로 수행된다.
도 37은 카메라 및 정지영상을 코딩 부호화하는 영상코덱을 구비하는 휴대전화기에서, 상기와 같은 동작을 수행하는 절차를 도시하는 흐름도이다.
상기 도 37을 참조하면, 카메라부40을 통해 영상을 촬영하여 표시부60에 표시하고자 하는 경우, 사용자는 키입력부27을 통해 카메라부40을 구동하기 위한 키 데이터를 발생한다. 이때 상기 촬영모드를 구동하는 키는 키입력부27의 네비게이션 키(navigation key) 상에 위치시키거나 또는 메뉴 키를 이용하여 메뉴로 표시하여선택할 수도 있다. 상기와 같이 촬영모드가 선택되면, 상기 제어부10은 711단계에서 이를 감지하고, 713단계에서 상기 카메라부40 및 영상처리부50을 제어하여 촬영되는 영상신호를 수신할 수 있는 경로를 활성화시킨다. 이때 상기 촬영모드시 상기 카메라부40은 촬영되는 영상신호 및 동기신호HREF 및 VREF를 발생한다. 여기서 상기 HREF신호는 수평동기신호가 될 수 있으며 VREF는 수직동기신호 즉, 프레임동기신호가 될 수 있다.
따라서 상기 VREF신호가 발생되면, 상기 제어부10은 이를 프레임 시작을 의미하며, 이로인해 상기 선택기319는 상기 LCD인터페이스317의 출력을 선택한다. 그러면 상기 카메라부40에서 출력되는 영상데이타는 영상처리부50의 화면표시생성부에서 라인 단위(또는 프레임단위)로 처리되어 상기 표시부60에 전달한다. 이때 상기한 바와 같이 스케일러315는 상기 카메라부40에서 출력되는 CIF 영상 크기를 상기 표시부60에 화면 크기에 맞도록 스케일링하며, 상기 변환기315는 상기 YUV 포맷의 영상신호를 RGB 포맷으로 변환하여 출력한다. 그리고 상기 LCD인터페이스317은 상기 라인단위로 수신되는 영상신호를 버퍼링하면서 상기 표시부60의 타이밍에 맞춰 표시부60에 출력한다. 상기와 같은 카메라부40의 영상신호 표시 동작은 상기 1프레임의 영상신호 전송이 종료될 때까지 라인 단위로 반복된다.
상기와 같은 상태는 715단계의 프리뷰 화면(preview screen)을 표시하는 상태로써, 상기 카메라부40으로부터 촬영되는 영상신호가 동영상으로 표시되고 및 제어부10에서 출력되는 사용자 데이타가 표시되는 상태이다. 상기와 같이 표시부60 상에 프리뷰 영상이 표시되는 상태에서, 사용자는 표시되는 동영상을 확인하여 특정 시점에서 정지화상을 획득하기 위한 사진찍기 명령을 발생할 수 있다. 상기 사진찍기 명령은 상기 키입력부27 상에 특정 기능키를 이용하여 구현할 수 있으며, 또한 표시부60 상에 표시되는 메뉴키를 이용하여 선택할 수도 있다. 상기 사진찍기 명령이 발생되면, 상기 제어부10은 717단계에서 이를 감지하고, 719단계에서 상기 영상처리부50의 영상코덱80을 구동하여 선택된 프레임의 영상데이타를 JPEG 영상데이타로 부호화하고, 표시부60 상에는 JPEG 부호화된 프레임의 영상데이타를 정지화면으로 표시한다. 그리고 721단계에서는 영상코덱80에서 부호화된 JPEG 영상 데이터를 메모리30에 저장하며, 소화면 생성부를 통해 소화면을 생성한다. 이후 상기 제어부10은 사진정보 입력을 안내하는 메뉴를 표시하며, 상기 사진정보가 입력되면 상기 제어부10은 723단계에서 이를 감지하고, 725단계에서 상기 JPEG 영상 데이터를 소화면 및 사진이름과 함께 저장하여 등록한다.
이후 상기 사진찍기 모드가 종료되거나 또는 프리뷰 화면 표시 상태에서 상기 촬영모드의 해제요구가 발생되면, 상기 제어부10은 727단계에서 이를 감지하고 촬영모드를 종료한다.
상기한 바와 같이 촬영모드에서는 프리뷰 화면을 표시하거나 또는 정지화면을 캡쳐하여 저장할 수 있다.
또한 사용자로부터 합성 동영상저장모드가 요구되면, 상기 제어부10은 731단계에서 이를 감지하고, 합성 동영상 저장모드를 수행한다. 이때 합성 동영상저장모드가 선택되면, 상기 제어부10은 동영상에 오디오신호를 합성하는 모드, 동영상에 텍스트신호를 합성하는 모드 및 동영상에 오디오 및 텍스트신호를 합성하는 모드들을 안내할 수도 있다. 이때 사용자가 해당하는 합성동영상의 저장모드를 선택하면, 상기 제어부10은 733단계에서 도 7 또는 도 8, 도 11 또는 도 12, 그리고 도 15 또는 도 16과 같은 과정을 수행하면서 상기 카메라부40로부터 촬영되는 영상데이타를 프레임 단위로 JPEG 부호화한다. 이때 상기 JPEG 프레임 영상은 정지 영상이지만 상기 영상코덱80이 연속하여 JPEG 영상 프레임들을 생성하므로 동영상의 형태로 발생된다. 그리고 상기와 같이 동영상 형태로 발생되는 JPEG 영상데이타와 상기 영상과 관련된 오디오데이타 및(또는) 텍스트신호를 합성하여 합성 동영상으로 생성하여 메모리30에 저장한다.
또한 상기 사용자가 상기 메모리30에 저장된 합성 동영상을 선택하여 재생을 요구하면, 상기 제어부10은 741단계에서 이를 감지하고, 743단계에서 상기 선택된 합성 동영상을 재생한다. 이때 상기 제어부10은 동영상에 오디오신호가 합성된 동영상신호이면 상기 743단계에서 도 19와 같은 절차를 수행하면서 합성 동영상신호를 재생하고, 동영상에 텍스트신호가 합성된 동영상신호이면 상기 743단계에서 도 21과 같은 절차를 수행하면서 합성 동영상신호를 재생하며, 동영상에 오디오 및 텍스트 신호가 합성된 동영상신호이면 상기 743단계에서 도 23과 같은 절차를 수행하면서 합성 동영상신호를 재생한다. 이때 상기 합성 동영상의 재생은 합성된 JPEG 영상과 오디오 및(또는) 텍스트신호들을 각각 분리한 후, 대응되는 코덱들을 통해 재생한다.
또한 상기 메모리30에 저장된 합성 동영상들은 다른 단말 또는 서버로 전송할 수 있다. 이때 전송하는 방법은 합성 동영상을 생성함과 동시에 전송할 수 있으며, 또한 메모리30에 일단 저장한 후 필요시 전송할 수도 있다. 상기 사용자가 동영상 전송을 요구하면, 상기 제어부10은 751 및 753단계에서 이를 감지하고, 755단계에서 상기 도 25와 같은 절차로 전송한다.
또한 영상 코덱 및 오디오 코덱을 구비하는 휴대전화기인 경우에는 다른 단말 또는 서버로부터 전송되는 합성 동영상을 수신하여 재생할 수 있다. 따라서 합성 동영상이 수신되는 경우, 상기 제어부10은 761단계 및 763단계를 통해 이를 감지하고, 765단계에서 상기 도 32와 같은 절차로 합성동영상 수신 및 재생 동작을 수행한다.
상술한 바와 같이 본 발명은 카메라 및 영상코덱을 구비하는 휴대단말기에서 카메라로부터 촬영되는 연속되는 정지 영상신호들을 부호화하여 동영상신호로 생성할 수 있다. 또한 상기 동영상신호에 오디오 및(또는) 텍스트신호를 합성하여 합성 동영상신호를 생성할 수 있다. 또한 상기 합성 동영상신호를 재생 또는 다른 단말기 또는 서버에 전송할 수 있으며, 또한 수신되는 합성 동영상신호를 저장 및 재생할 수 있다. 따라서 휴대 단말기에서 사용자가 동영상 메일을 생성 및 편집할 수 있으며, 상기 생성된 동영상 메일을 전송하거나 또는 수신되는 동영상 메일을 재생할 수 있는 효과가 있다.

Claims (29)

  1. 영상신호를 촬영하는 카메라를 구비하는 휴대단말기의 합성동영상신호를 생성하는 방법에 있어서,
    상기 촬영되는 영상신호들을 프레임 크기의 정지영상신호로 부호화하는 과정과,
    수신되는 오디오신호를 부호화하는 과정과,
    상기 부호화된 각 프레임 정지영상신호에 영상패턴 및 상기 프레임 길이를 포함하는 이미지헤더를 삽입하는 과정과,
    상기 이미지헤더가 삽입된 프레임 크기의 부호화 영상신호에 상기 부호화된 오디오신호를 합성하는 과정과,
    상기와 같은 과정을 반복 수행하면서 연속되는 프레임 정지영상에 상기 대응되는 오디오신호를 합성하는 과정과,
    기록 종료시 상기 합성된 영상신호들을 동영상 파일로 저장하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  2. 제1항에 있어서, 상기 부호화된 영상신호가 JPEG 부호화 영상신호임을 특징으로 하는 상기 방법.
  3. 상기 제1항에 있어서, 기록 종료시 상기 합성된 동영상파일의 이름 및 촬영한 장소 및 시간의 입력을 안내하고, 상기 입력되는 정보를 상기 동영상파일의 정보로 함께 등록하는 과정을 더 구비함을 특징으로 하는 상기 방법.
  4. 영상신호를 촬영하는 카메라를 구비하는 휴대단말기의 합성 동영상신호를 생성 방법에 있어서,
    동영상을 촬영하는 저장하는 과정과, 합성 동영상을 생성하는 과정으로 이루어지며,
    상기 동영상을 촬영하는 과정이,
    상기 카메라로부터 촬영되는 영상신호들을 상기 영상코덱에서 설정된 시간에서 프레임 크기의 정지 영상으로 부호화하는 과정과,
    상기 영상 부호화된 프레임 정지 영상신호들을 저장하는 과정과,
    상기 과정을 반복하여 프레임 정지 영상들을 부호화하여 저장하는 과정과,
    상기 정지영상들을 저장하는 과정에서 기록종료시 상기 파일명 입력을 안내하며, 파일명 입력시 상기 저장된 영상신호들을 동영상화일로 저장하는 과정으로 이루어지고,
    상기 합성 동영상신호를 생성하는 과정이,
    상기 저장된 동영상들을 프레임 크기로 억세스하여 재생하며, 상기 프레임구간에서 수신되는 오디오신호를 부호화하는 과정과,
    상기 프레임의 경계에서 부호화된 영상신호에 영상 패턴 및 프레임의 길이를 포함하는 이미지 헤더를 삽입하는 과정과,
    상기 이미지 헤더가 삽입된 영상신호에 상기 부호화된 오디오신호를 합성하는 과정과,
    상기 합성된 오디오신호를 메모리에 저장하는 과정과,
    상기 과정을 반복하여 프레임 정지 영상신호에 오디오신호를 합성하여 저장하는 과정과,
    상기 정지영상들을 저장하는 과정에서 기록종료시 상기 파일명 입력을 안내하며, 파일명 입력시 상기 저장된 영상신호들을 동영상화일로 저장하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  5. 휴대단말기의 합성 영상신호의 생성 장치에 있어서,
    영상신호를 촬영하는 카메라부와,
    상기 촬영되는 영상신호를 프레임 크기로 부호화하는 영상코덱을 구비하며, 상기 카메라부에서 생성되는 동영상신호를 프레임 크기의 표시화면으로 처리하는 영상처리부와,
    상기 영상처리부에서 처리되는 영상신호를 표시하는 표시부와,
    수신되는 오디오신호를 부호화하는 오디오코덱을 구비하며, 데이터를 처리하는 데이터처리부와,
    상기 영상코덱에서 부호화되는 영상신호를 프레임 크기로 버퍼링하는 이미지버퍼 및 상기 오디오코덱에서 부호화되는 오디오신호를 버퍼링하는 오디오버퍼들을 구비하는 버퍼부와,
    상기 이미지버퍼에서 프레임 크기의 영상신호 출력시 상기 영상신호에 영상 패턴 및 프레임의 길이를 포함하는 이미지 헤더를 삽입하여 출력하는 헤더생성기와,
    상기 헤더 생성기의 출력에 상기 오디오버퍼의 출력을 합성하여 출력하는 합성기와,
    상기 합성기의 출력을 합성 동영상신호로 저장하는 메모리로 구성된 것을 특징으로 하는 상기 장치.
  6. 제5항에 있어서, 상기 버퍼부가,
    상기 오디오버퍼가 제1 및 제2오디오버퍼로 구성되고, 상기 오디오 코덱과 상기 제1 및 제2오디오 버퍼 사이에 오디오입력스위치가 연결되고 상기 제1 및 제2오디오버퍼와 상기 합성기 사이에 오디오 출력스위치가 연결되는 구성을 더 구비하며, 상기 스위치들이 상기 이미지버퍼의 출력에 의해 스위칭 제어됨을 특징으로 하는 상기 장치.
  7. 카메라 및 영상코덱를 구비하며, 프레임 영상신호에 오디오신호가 합성되는 합성 영상신호들을 저장하는 메모리를 구비하는 휴대단말기에서 상기 합성 동영상신호를 재생하는 방법에 있어서,
    합성 동영상 재생모드시 상기 메모리에 저장하고 있는 합성 동영상 메뉴를 표시하는 과정과,
    상기 표시 중인 합성 동영상메일이 선택되면, 상기 선택된 합성 동영상 메일을 프레임 단위로 억세스하는 과정과,
    상기 억세스된 프레임 합성 동영상신호에서 이미지헤더를 분석하여 동영상신호 및 동영상신호의 크기를 분석하는 과정과,
    상기 상기 분석 결과에 따라 상기 합성동영상신호에서 영상신호를 분리하여 상기 영상코덱에 인가하고 오디오신호를 오디오코덱에 인가하여 합성 동영상신호를 재생하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  8. 휴대단말기에서 합성 영상신호를 재생하는 장치에 있어서,
    프레임 단위로 이미지헤더, 영상신호 및 오디오신호가 합성된 합성 동영상신호를 저장하고 있는 메모리와,
    상기 이미지헤더를 분석하여 영상신호 및 오디오신호를 분리하는 제어신호를 발생하는 헤더분석기와,
    상기 헤더분석기의 제어에 의해 상기 메모리에서 출력되는 영상신호를 프레임 크기로 버퍼링하는 이미지버퍼 및 상기 오디오코덱에서 부호화되는 오디오신호를 버퍼링하는 오디오버퍼들을 구비하는 버퍼부와,
    영상코덱을 구비하며, 상기 영상코덱이 상기 버퍼부에서 출력되는 영상신호를 복원하며, 상기 복원된 영상신호를 프레임 크기의 표시화면으로 처리하는 영상처리부와,
    상기 영상처리부에서 처리되는 영상신호를 표시하는 표시부와,
    상기 오디오코덱을 구비하며, 상기 오디오코덱이 상기 버퍼부에서 출력되는 오디오신호를 복원하며, 상기 복원된 오디오신호를 재생하는 데이터처리부로 구성된 것을 특징으로 하는 상기 장치.
  9. 카메라 및 영상코덱을 구비하는 휴대단말기에서 합성 동영상신호를 전송하는 방법에 있어서,
    합성 동영상 전송모드시 상기 메모리에 저장하고 있는 합성 동영상 메뉴를 표시하는 과정과,
    상기 표시 중인 합성 동영상메일이 선택되면, 상기 선택된 합성 동영상 메일을 프레임 단위로 억세스하는 과정과,
    상기 억세스된 프레임 합성 동영상신호를 패킷크기로 분할한 후 패킷 헤더를 연결하여 패킷들로 조립하며, 상기 패킷들은 먼저 영상 데이터들을 패킷으로 조립하여 이어서 오디오 데이터를 패킷으로 조립하는 과정과,
    상기 조립되는 패킷들을 순차적으로 전송하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  10. 카메라 및 영상코덱를 구비하는 휴대단말기에서 합성 동영상신호를 전송하는 방법에 있어서,
    카메라로부터 촬영되는 동영상신호를 상기 영상코덱을 통해 프레임 크기의 정지 영상으로 부호화하는 과정과,
    수신되는 오디오신호를 부호화하는 과정과,
    상기 부호화된 영상신호에 영상 패턴 및 프레임의 길이를 포함하는 이미지 헤더를 삽입하는 과정과,
    상기 이미지 헤더가 삽입된 영상신호에 오디오신호를 합성하여 합성 동영상신호를 생성하는 과정과,
    상기 합성 동영상신호를 패킷크기로 분할한 후 패킷 헤더를 연결하여 패킷들로 조립하며, 상기 패킷들은 먼저 영상 데이터들을 패킷으로 조립하여 이어서 오디오 데이터를 패킷으로 조립하는 과정과,
    상기 조립되는 패킷들을 순차적으로 전송하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  11. 휴대단말기의 합성 영상신호의 생성 장치에 있어서,
    영상신호를 촬영하는 카메라부와,
    상기 촬영되는 영상신호를 프레임 크기로 부호화하는 영상코덱을 구비하며, 상기 카메라부에서 생성되는 동영상신호를 프레임 크기의 표시화면으로 처리하는 영상처리부와,
    상기 영상처리부에서 처리되는 영상신호를 표시하는 표시부와,
    수신되는 오디오신호를 부호화하는 오디오코덱을 구비하며, 데이터를 처리하는 데이터처리부와,
    상기 영상코덱에서 부호화되는 영상신호를 프레임 크기로 버퍼링하는 이미지버퍼 및 상기 오디오코덱에서 부호화되는 오디오신호를 버퍼링하는 오디오버퍼들을 구비하는 버퍼부와,
    상기 이미지버퍼에서 프레임 크기의 영상신호 출력시 상기 영상신호에 영상 패턴 및 프레임의 길이를 포함하는 이미지 헤더를 삽입하여 출력하는 헤더생성기와,
    상기 헤더 생성기의 출력에 상기 오디오버퍼의 출력을 합성하여 출력하는 합성기와,
    상기 합성기의 출력을 합성 동영상신호로 저장하는 메모리와,
    상기 합성 동영상신호를 패킷크기로 분할한 후 패킷 헤더를 연결하여 패킷들로 조립하며, 상기 패킷들은 먼저 영상 데이터들을 패킷으로 조립하여 이어서 오디오 데이터를 패킷으로 조립하여 전송하는 패킷생성기로 구성된 것을 특징으로 하는 상기 장치.
  12. 카메라 및 영상코덱를 구비하는 휴대단말기에서 프레임 영상신호에 오디오신호가 합성된 패킷데이타를 수신하는 방법에 있어서,
    순차적으로 수신되는 합성 오디오패킷의 헤더를 분석하며, 상기 분석된 결과에 따라 영상 패킷 및 오디오패킷을 분해하는 과정과,
    상기 분해된 영상 및 오디오데이타를 합성하며, 상기 합성 동영상신호를 메모리에 저장하는 과정과,
    상기 합성 동영상신호에서 이미지헤더를 분석하여 동영상신호 및 동영상신호의 크기를 분석하는 과정과,
    상기 상기 분석 결과에 따라 상기 합성동영상신호에서 영상신호를 분리하여 상기 영상코덱에 인가하고 오디오신호를 오디오코덱에 인가하여 합성 동영상신호를 재생하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  13. 휴대단말기에서 합성 영상신호를 재생하는 장치에 있어서,
    순차적으로 수신되는 합성 오디오패킷의 헤더를 분석하며, 상기 분석된 결과에 따라 영상 패킷 및 오디오패킷을 분해하고, 상기 분해된 영상 및 오디오데이타를 합성하는 패킷분해기와,
    상기 패킷분해된 프레임 단위로 이미지헤더, 영상신호 및 오디오신호가 합성된 합성 동영상신호를 저장하는 메모리와,
    상기 이미지헤더를 분석하여 영상신호 및 오디오신호를 분리하는 제어신호를 발생하는 헤더분석기와,
    상기 헤더분석기의 제어에 의해 상기 메모리에서 출력되는 영상신호를 프레임 크기로 버퍼링하는 이미지버퍼 및 상기 오디오코덱에서 부호화되는 오디오신호를 버퍼링하는 오디오버퍼들을 구비하는 버퍼부와,
    영상코덱을 구비하며, 상기 영상코덱이 상기 버퍼부에서 출력되는 영상신호를 복원하며, 상기 복원된 영상신호를 프레임 크기의 표시화면으로 처리하는 영상처리부와,
    상기 영상처리부에서 처리되는 영상신호를 표시하는 표시부와,
    상기 오디오코덱을 구비하며, 상기 오디오코덱이 상기 버퍼부에서 출력되는 오디오신호를 복원하며, 상기 복원된 오디오신호를 재생하는 데이터처리부로 구성된 것을 특징으로 하는 상기 장치.
  14. 카메라 및 영상코덱을 구비하는 휴대단말기에서 영상신호를 처리하는 방법이,
    촬영모드시 카메라로부터 수신되는 영상신호를 표시하며, 사진찍기 모드시상기 표시중인 영상신호를 부호화하여 정지 영상으로 메모리에 저장하는 과정과,
    합성 동영상 저장모드시 촬영되는 영상신호를 프레임 크기의 영상데이타로 부호화하고, 상기 부호화 영상에 따라 오디오신호를 부호화하며, 상기 부호화한 영상데이타에 이미지 헤더를 부가한 후 오디오 데이터를 합성하여 생성되는 합성 동영상데이타를 메모리에 저장하는 과정과,
    합성 동영상 재생모드시 상기 메모리에 저장된 합성 동영상들을 표시하며, 선택된 합성 동영상을 억세스한 후 이미지 헤더로부터 영상 및 오디오 데이터를 분리하고, 상기 분리된 영상 및 오디오를 복원하여 재생하는 과정과,
    합성 동영상 전송모드시 상기 메모리에 저장된 합성 동영상들을 표시하며, 선택된 하벙 동영상을 억세스한 후 전송 패킷으로 조립하여 전송하는 과정과,
    합성 동영상 수신모드시 수신되는 패킷 데이터들을 분해한 후, 영상 및 오디오데이타로 재합성하여 상기 메모리에 저장하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  15. 카메라 및 영상코덱를 구비하는 휴대단말기의 합성 동영상신호를 생성 방법에 있어서,
    카메라로부터 촬영되는 영상신호를 상기 영상코덱을 통해 프레임 크기의 정지 영상으로 부호화하며, 상기 부호화된 영상신호에 영상 패턴 및 프레임의 길이를 포함하는 이미지 헤더를 삽입하는 동작을 반복 수행하여 동영상신호를 생성하는 과정과,
    상기 동영상신호 획득 후 텍스트신호를 생성하는 과정과,
    상기 획득된 동영상신호에 상기 텍스트신호를 합성하는 과정과,
    상기 합성된 동영상신호를 메모리에 저장하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  16. 제15항에 있어서, 상기 텍스트신호를 생성하는 과정이,
    상기 획득된 동영상신호에 재생시간에 따른 표시 가능한 최대 텍스트 길이를 결정하여 표시하는 과정과,
    상기 수신된 텍스트신호의 길이 및 텍스트 패턴신호를 포함하는 텍스트헤더를 생성하는 과정과,
    상기 텍스트신호에 텍스트헤더를 삽입하여 상기 텍스트신호를 생성하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  17. 제16항에 있어서, 상기 최대길이를 결정하는 과정이, 상기 텍스트신호 발생기가 상기 동영상신호의 재생시간을 판단하는 과정과, 사용자에 의해 지정된 표시 형태 및 상기 동영상의 재생시간에 따른 텍스트신호의 최대길이를 결정하는 과정으로 이루어지며,
    상기 텍스트헤더를 생성하는 과정이, 상기 수신된 텍스트신호의 길이 및 상기 표시형태 정보를 포함하는 텍스트헤더를 생성함을 특징으로 하는 상기 방법.
  18. 제15항에 있어서, 상기 동영상신호를 생성하는 과정이,
    프레임 크기의 영상신호를 압축 부호화하는 과정과,
    상기 압축 부호화된 부호화 영상신호의 길이 및 영상패턴신호를 포함하는 이미지헤더를 생성하는 과정과,
    상기 압축 부호화 영상신호에 상기 이미지헤더를 삽입하여 프레임 크기의 정지영상신호를 생성하는 과정과,
    상기 정지영상신호의 생성과정을 반복하여 상기 동영상신호를 생성하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  19. 제18항에 있어서, 상기 압축부호화 영상 신호가 JPEG 부호화 영상신호임을 특징으로 하는 상기 방법.
  20. 상기 제15항에 있어서, 상기 합성 동영상신호를 저장하는 과정이, 상기 합성 동영상신호의 이름 및 촬영한 장소 및 시간을 함께 등록하는 합성 동영상 메뉴 설정 과정을 더 구비함을 특징으로 하는 상기 방법.
  21. 카메라 및 영상코덱를 구비하는 휴대단말기의 합성 동영상신호를 생성 방법에 있어서,
    카메라로부터 촬영되는 영상신호를 상기 영상코덱을 통해 프레임 크기의 정지 영상으로 부호화하며, 상기 부호화된 영상신호에 영상 패턴 및 프레임의 길이를 포함하는 이미지 헤더를 삽입하여 프레임 크기의 정지영상신호를 생성하는 과정과,
    상기 정지 영상신호에 따른 오디오신호를 생성하는 과정과,
    상기 정지영상시켜 상기 오디오신호가 합성된 동영상신호를 생성하는 과정과,
    상기 동영상신호 획득 후 텍스트신호를 생성하는 과정과,
    상기 획득된 동영상신호에 상기 텍스트신호를 합성하는 과정과,
    상기 합성된 동영상신호를 메모리에 저장하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  22. 휴대단말기의 합성 영상신호의 생성 장치에 있어서,
    영상신호를 촬영하는 카메라부와,
    상기 촬영되는 영상신호를 프레임 크기로 부호화하는 영상코덱을 구비하며,상기 카메라부에서 생성되는 동영상신호를 프레임 크기의 표시화면으로 처리하는 영상처리부와,
    상기 영상처리부에서 처리되는 영상신호를 표시하는 표시부와,
    상기 영상코덱에서 부호화되는 영상신호에 영상 패턴 및 프레임의 길이를 포함하는 이미지 헤더를 삽입하여 출력하는 이미지헤더생성기와,
    텍스트신호를 발생하는 텍스트신호발생기와,
    상기 텍스트신호의 패턴 및 텍스트길이를 포함하는 텍스트헤더를 생성하는 텍스트헤더생성기와,
    상기 헤더 생성기들에서 출력되는 텍스트신호 및 동영상신호를 합성하는 합성기와,
    상기 합성기의 출력을 합성 동영상신호로 저장하는 메모리로 구성된 것을 특징으로 하는 상기 장치.
  23. 제22항에 있어서, 상기 텍스트신호 발생기가 상기 동영상신호의 재생시간을 확인하며, 사용자에 의해 지정된 표시 형태 및 상기 동영상의 재생시간에 따른 텍스트신호의 최대길이를 결정하여 상기 표시부에 출력함을 특징으로 하는 상기 장치.
  24. 휴대단말기의 합성 영상신호의 생성 장치에 있어서,
    영상신호를 촬영하는 카메라부와,
    상기 촬영되는 영상신호를 프레임 크기로 부호화하는 영상코덱을 구비하며, 상기 카메라부에서 생성되는 동영상신호를 프레임 크기의 표시화면으로 처리하는 영상처리부와,
    상기 영상신호를 표시하는 표시부와,
    수신되는 오디오신호를 부호화하는 오디오코덱과,
    상기 촬영되는 영상신호를 프레임 크기로 부호화하는 영상코덱과,
    상기 영상코덱에서 상기 영상신호에 영상 패턴 및 프레임의 길이를 포함하는 이미지 헤더를 삽입하여 출력하는 이미지헤더생성기와,
    상기 이미지 헤더 생성기의 출력에 상기 오디오버퍼의 출력을 인터레이스 합성하는 제1합성기와,
    텍스트신호를 발생하는 텍스트신호발생기와,
    상기 텍스트신호의 패턴 및 텍스트길이를 포함하는 텍스트헤더를 생성하는 텍스트헤더생성기와,
    상기 제1합성동영상신호에 상기 텍스트헤더생성기의 출력을 합성하는 제2합성기와,
    상기 제2합성기의 출력을 합성 동영상신호로 저장하는 메모리로 구성된 것을 특징으로 하는 상기 장치.
  25. 카메라 및 영상코덱를 구비하며, 프레임 영상신호에 텍스트신호가 합성되는 합성 영상신호들을 저장하는 메모리를 구비하는 휴대단말기에서 상기 합성 동영상신호를 재생하는 방법에 있어서,
    합성 동영상 재생모드시 상기 메모리에 저장하고 있는 합성 동영상신호들을 표시하는 과정과,
    상기 표시 중인 합성 동영상신호가 선택되면, 상기 선택된 합성 동영상신호에서 텍스트헤더를 분석하여 표시형태 및 텍스트의 길이를 결정하는 과정과,
    상기 텍스트의 표시 형태를 결정한 후 상기 합성 동영상신호를 프레임 단위로 억세스하여 재생하며, 상기 동영상을 재생하는 상태에서 상기 표시 형태에 따라 텍스트신호를 재생하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  26. 제25항에 있어서, 상기 텍스트를 표시하는 과정이,
    상기 텍스트의 표시형태가 선표시이면 상기 동영상신호를 재생하기 전에 상기 텍스트신호를 표시하는 과정과,
    상기 텍스트의 표시형태가 후표시이면 상기 동영상신호를 재생완료한 후 상기 텍스트신호를 표시하는 과정과,
    상기 텍스트의 표시형태가 슬라이드표시이면 상기 동영상신호를 재생하면서 표시부의 특정영역에 상기 텍스트신호를 슬라이딩시키며 표시하는 과정과,
    상기 텍스트의 표시형태가 파일업표시이면 상기 동영상신호를 재생하면서 상기 표시부의 특정영역에 설정된 텍스트 크기를 설정된 시간동안 표시하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  27. 휴대단말기에서 합성 영상신호를 재생하는 장치에 있어서,
    텍스트헤더, 텍스트신호와 프레임 크기를 가지는 다수의 이미지헤더, 정지영상신호들로 구성된 합성 동영상신호를 저장하고 있는 메모리와,
    상기 텍스트헤더를 분석하여 상기 텍스트의 길이를 결정하고, 이미지헤더를 분석하여 영상신호의 크기를 결정한 후, 사이 텍스트 및 영상신호를 분리하는 제어신호를 발생하는 헤더분석기와,
    상기 헤더분석기의 제어에 의해 상기 메모리에서 출력되는 텍스트신호 및 영상신호를 분리하여 각각 텍스트버퍼 및 이미지버퍼에 저장하는 버퍼부와,
    영상코덱을 구비하며, 상기 영상코덱이 상기 버퍼부에서 출력되는 영상신호를 복원하며, 상기 복원된 영상신호를 프레임 크기의 표시화면으로 처리하는 영상처리부와,
    상기 텍스트 헤더의 표시형태에 따라 상기 텍스트신호를 처리하는 제어부와,
    상기 제어부 및 영상처리부에서 처리되는 영상신호를 표시하는 표시부로 구성된 것을 특징으로 하는 상기 장치.
  28. 제27항에 있어서, 상기 제어부가,
    상기 텍스트의 표시형태가 선표시이면 상기 동영상신호를 재생하기 전에 상기 텍스트신호를 표시하며, 상기 텍스트의 표시형태가 후표시이면 상기 동영상신호를 재생완료한 후 상기 텍스트신호를 표시하고, 상기 텍스트의 표시형태가 슬라이드표시이면 상기 동영상신호를 재생하면서 표시부의 특정영역에 상기 텍스트신호를 슬라이딩시키며 표시하며, 상기 텍스트의 표시형태가 파일업표시이면 상기 동영상신호를 재생하면서 상기 표시부의 특정영역에 설정된 텍스트 크기를 설정된 시간동안 표시함을 특징으로 하는 상기 장치.
  29. 카메라 및 정지 영상코덱를 구비하는 휴대단말기가 동영상신호를 생성 방법에 있어서,
    동영상 촬영 모드시 상기 카메라로부터 촬영되는 영상신호들을 상기 영상코덱에서 설정된 시간에서 프레임 크기의 정지 영상으로 부호화하는 과정과,
    상기 영상 부호화된 프레임 정지 영상신호들을 저장하는 과정과,
    상기 과정을 반복하여 프레임 정지 영상들을 부호화하여 생성되는 저장하는 과정과,
    상기 정지영상들을 저장하는 과정에서 기록종료시 상기 파일명 입력을 안내하며, 파일명 입력시 상기 저장된 영상신호들을 동영상화일로 저장하는 과정으로이루어짐을 특징으로 하는 상기 방법.
KR20030083777A 2002-11-25 2003-11-24 휴대단말기의 영상표시 장치 및 방법 KR100566253B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20020073403 2002-11-25
KR1020020073403 2002-11-25
KR1020020086057 2002-12-28
KR20020086057 2002-12-28

Publications (2)

Publication Number Publication Date
KR20040045382A true KR20040045382A (ko) 2004-06-01
KR100566253B1 KR100566253B1 (ko) 2006-03-29

Family

ID=29782090

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20030083777A KR100566253B1 (ko) 2002-11-25 2003-11-24 휴대단말기의 영상표시 장치 및 방법

Country Status (6)

Country Link
US (1) US7782373B2 (ko)
JP (2) JP3843269B2 (ko)
KR (1) KR100566253B1 (ko)
CN (1) CN100493135C (ko)
DE (1) DE10354556B4 (ko)
GB (1) GB2396988B (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006043768A1 (en) * 2004-10-22 2006-04-27 Lg Electronics, Inc. Image processor and operating method thereof
WO2006080692A1 (en) * 2004-10-08 2006-08-03 Neomtel Co., Ltd. Method and mobile communication terminal for playing multimedia content
KR100693598B1 (ko) * 2004-09-08 2007-03-14 주식회사 팬택앤큐리텔 정지영상을 이용한 동영상 생성 기능을 가지는무선통신단말기 및 그 방법
KR100818927B1 (ko) 2006-10-27 2008-04-04 삼성전자주식회사 휴대 단말기의 컨텐츠 관리 장치 및 방법
US7801222B2 (en) 2004-06-30 2010-09-21 Lg Electronics Inc. Coding image signal
KR20150034931A (ko) * 2013-09-27 2015-04-06 삼성전자주식회사 이미지 촬영 장치 및 방법

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195205A1 (en) * 2004-03-03 2005-09-08 Microsoft Corporation Method and apparatus to decode a streaming file directly to display drivers
WO2005125182A1 (ja) * 2004-06-18 2005-12-29 Konica Minolta Opto, Inc. 撮像装置
JP4389694B2 (ja) * 2004-06-28 2009-12-24 ソニー株式会社 無線通信システム、無線通信装置及び無線通信方法、並びにコンピュータ・プログラム
US7373174B2 (en) * 2004-12-31 2008-05-13 Motorola, Inc. Method and apparatus for reducing the effect of EMI on receiver sensitivity in a camera phone
KR100733835B1 (ko) * 2005-04-20 2007-07-03 주식회사 코아로직 음성 및 오디오 데이터를 포함한 제이피이지 파일의 생성장치, 그의 생성 방법 및 그의 저장 매체
KR100754656B1 (ko) * 2005-06-20 2007-09-03 삼성전자주식회사 이미지와 관련한 정보를 사용자에게 제공하는 방법 및시스템과 이를 위한 이동통신단말기
US8121534B2 (en) * 2006-09-27 2012-02-21 Sirius Xm Radio Inc. System and method for sending and receiving images via wireless audio channels
JP4267036B2 (ja) * 2007-01-10 2009-05-27 キヤノン株式会社 表示制御装置及び表示制御方法
JP2008228121A (ja) * 2007-03-15 2008-09-25 Fujifilm Corp 動画変換装置および動画送信装置ならびにそれらの動作制御方法
KR101335174B1 (ko) 2007-04-13 2013-11-29 주식회사 엘지유플러스 동영상 관리 방법 및 시스템
JP5080305B2 (ja) 2008-02-13 2012-11-21 株式会社リコー 画像処理方法及び装置、並びに画像撮像装置
JP4517310B2 (ja) * 2008-03-27 2010-08-04 ソニー株式会社 撮像装置、文字情報関連付け方法及び文字情報関連付けプログラム
JP5268608B2 (ja) * 2008-12-09 2013-08-21 キヤノン株式会社 撮像再生装置
CN101888475B (zh) * 2009-05-12 2012-11-21 虹软(杭州)多媒体信息技术有限公司 摄像电子装置
KR101607295B1 (ko) * 2009-07-31 2016-04-11 엘지전자 주식회사 압축 파일 생성 방법 및 장치, 이와 관련된 카메라 모듈 및 이를 포함하는 단말기
JP5378929B2 (ja) * 2009-09-28 2013-12-25 京セラ株式会社 携帯端末、リスト作成プログラムおよびリスト作成方法
US9191612B2 (en) * 2010-06-29 2015-11-17 Ricoh Co., Ltd. Automatic attachment of a captured image to a document based on context
JP5482629B2 (ja) * 2010-11-16 2014-05-07 株式会社Ｊｖｃケンウッド 無線装置および通信方法
CN102012818B (zh) * 2010-12-01 2014-03-26 广东威创视讯科技股份有限公司 屏幕录制方法与装置
US9792363B2 (en) 2011-02-01 2017-10-17 Vdopia, INC. Video display method
US10972746B2 (en) 2012-08-14 2021-04-06 Shuttersong Incorporated Method of combining image files and other files
US9009123B2 (en) 2012-08-14 2015-04-14 Shuttersong Incorporated Method of combining image files and other files
CN104077588A (zh) * 2014-07-10 2014-10-01 苏州皓琪信息科技有限公司 Jpeg压缩的医学dicom动态影像的帧偏移量自动插入的方法
WO2017051955A1 (ko) * 2015-09-25 2017-03-30 이정빈 동영상 이펙트 적용 장치 및 방법
US11588872B2 (en) 2017-06-12 2023-02-21 C-Hear, Inc. System and method for codec for combining disparate content
US10187443B2 (en) * 2017-06-12 2019-01-22 C-Hear, Inc. System and method for encoding image data and other data types into one data format and decoding of same

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982291A (en) * 1987-08-27 1991-01-01 Casio Computer Co., Ltd. Electronic still video camera capable of searching desired picture in simple and quick manner
KR940002277B1 (ko) 1991-08-27 1994-03-19 주식회사 금성사 브이씨알의 자막문자 표시장치 및 방법
JP3002348B2 (ja) 1992-11-30 2000-01-24 シャープ株式会社 画像通信システム
JPH06233225A (ja) * 1992-12-08 1994-08-19 Nikon Corp デジタルスチルビデオカメラの画像データ記録方法
ATE160066T1 (de) 1993-02-03 1997-11-15 Novell Inc Multimediaverteilungssystem
JPH06276435A (ja) 1993-03-22 1994-09-30 Victor Co Of Japan Ltd テレビジョン受像機
JPH0750798A (ja) 1993-08-06 1995-02-21 Ricoh Co Ltd 電子スチルカメラ
JPH0779411A (ja) 1993-09-06 1995-03-20 Sony Corp 画像信号再生方法および画像信号再生装置、ならびに 画像信号記録媒体
JPH06233226A (ja) 1993-11-16 1994-08-19 Olympus Optical Co Ltd カメラ
EP1024664B1 (en) * 1993-12-24 2002-05-29 Sharp Kabushiki Kaisha Image-information storage regenerating device
US5640202A (en) * 1994-04-26 1997-06-17 Canon Kabushiki Kaisha Imaging system which changes the frame rate of the image signal
JP3504724B2 (ja) 1994-05-18 2004-03-08 オリンパス株式会社 画像記録装置
JPH08181961A (ja) 1994-12-21 1996-07-12 Toshiba Corp テレビジョン会議端末装置
JPH098763A (ja) 1995-06-16 1997-01-10 Hitachi Denshi Ltd データ伝送システム
JP3326669B2 (ja) * 1995-06-30 2002-09-24 ソニー株式会社 データ再生装置
JPH09322078A (ja) * 1996-05-24 1997-12-12 Toko Inc 画像伝送装置
JP3664335B2 (ja) 1996-06-13 2005-06-22 株式会社ニコン 情報入力装置
US5903309A (en) * 1996-09-19 1999-05-11 Flashpoint Technology, Inc. Method and system for displaying images and associated multimedia types in the interface of a digital camera
JP3787398B2 (ja) 1996-11-27 2006-06-21 キヤノン株式会社 画像処理装置及びその方法
TW399181B (en) * 1997-09-17 2000-07-21 Matsushita Electric Ind Co Ltd Video data editing apparatus and computer-readable recording medium storing an editing program
JP3086676B2 (ja) * 1998-09-29 2000-09-11 三洋電機株式会社 画像再生装置
JP3091728B2 (ja) 1998-09-30 2000-09-25 三洋電機株式会社 画像記録方法及び撮像装置
JP2001119653A (ja) 1999-10-18 2001-04-27 Toshiba Corp マルチメディア情報処理装置および画像情報処理装置
JP2001174900A (ja) 1999-12-16 2001-06-29 Canon Inc カメラ、画像プリント装置および画像表示装置
JP2001189909A (ja) 1999-12-28 2001-07-10 Matsushita Electric Ind Co Ltd 動画カメラ
JP2001251537A (ja) 2000-03-07 2001-09-14 Minolta Co Ltd デジタルカメラ
JP2001285841A (ja) 2000-03-31 2001-10-12 Megafusion Corp 画像送信装置、画像受信装置、および画像伝送システム
JP2002012335A (ja) 2000-06-30 2002-01-15 Canon Aptex Inc シート搬送装置とこのシート搬送装置を備えた画像形成装置
KR20020012335A (ko) 2000-08-07 2002-02-16 정병철 사운드가 부가된 애니메이션 동영상 부호화/복호화 방법및 그 부호화된 파일을 기록한 컴퓨터가 읽을 수 있는기록매체
JP4445653B2 (ja) 2000-08-08 2010-04-07 オリンパス株式会社 電子カメラ
JP2002057977A (ja) 2000-08-08 2002-02-22 Matsushita Electric Ind Co Ltd 動画像生成装置および動画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4174960B2 (ja) * 2000-08-11 2008-11-05 ソニー株式会社 信号処理装置及び方法並びにファイル生成方法
KR20020032803A (ko) * 2000-10-27 2002-05-04 구자홍 스트리밍 서비스를 위한 파일 구조
KR20020050780A (ko) * 2000-12-21 2002-06-27 조명래 상황 정보 처리 장치 및 그 처리 방법
JP2002203231A (ja) 2000-12-28 2002-07-19 Canon Inc 画像データの再生方法、その装置および記憶媒体
JP2002223403A (ja) 2001-01-29 2002-08-09 Fuji Photo Film Co Ltd 電子カメラ
JP2002290908A (ja) 2001-03-28 2002-10-04 Minolta Co Ltd 撮影装置、動画および静止画の記録制御方法、画像編集装置
US20020146133A1 (en) * 2001-03-31 2002-10-10 Lee Kyu Ho Portable multimedia reproducing apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801222B2 (en) 2004-06-30 2010-09-21 Lg Electronics Inc. Coding image signal
KR100693598B1 (ko) * 2004-09-08 2007-03-14 주식회사 팬택앤큐리텔 정지영상을 이용한 동영상 생성 기능을 가지는무선통신단말기 및 그 방법
WO2006080692A1 (en) * 2004-10-08 2006-08-03 Neomtel Co., Ltd. Method and mobile communication terminal for playing multimedia content
WO2006043768A1 (en) * 2004-10-22 2006-04-27 Lg Electronics, Inc. Image processor and operating method thereof
US7898574B2 (en) 2004-10-22 2011-03-01 Lg Electronics Inc. Image processor and operating method thereof
KR100818927B1 (ko) 2006-10-27 2008-04-04 삼성전자주식회사 휴대 단말기의 컨텐츠 관리 장치 및 방법
KR20150034931A (ko) * 2013-09-27 2015-04-06 삼성전자주식회사 이미지 촬영 장치 및 방법

Also Published As

Publication number Publication date
US7782373B2 (en) 2010-08-24
CN100493135C (zh) 2009-05-27
JP2006325241A (ja) 2006-11-30
GB0327271D0 (en) 2003-12-24
DE10354556A1 (de) 2004-07-29
JP3843269B2 (ja) 2006-11-08
KR100566253B1 (ko) 2006-03-29
GB2396988A (en) 2004-07-07
US20040150723A1 (en) 2004-08-05
GB2396988B (en) 2006-07-12
DE10354556B4 (de) 2008-10-09
CN1510906A (zh) 2004-07-07
JP4842033B2 (ja) 2011-12-21
JP2004312685A (ja) 2004-11-04

Similar Documents

Publication Publication Date Title
KR100566253B1 (ko) 휴대단말기의 영상표시 장치 및 방법
KR100606060B1 (ko) 휴대단말기의 데이터를 외부장치로 출력하는 장치 및 방법
KR100605935B1 (ko) 동영상 촬영 방법
KR100575924B1 (ko) 카메라를 구비하는 장치의 영상 촬영 방법
KR100826157B1 (ko) 이동통신 단말기의 디지털 방송 전송 방법 및 장치
KR101042796B1 (ko) 카메라를 구비하는 휴대단말기의 착신호 처리 방법
KR20100041108A (ko) Ｕｄｔａ 정보를 이용한 ＭＰ4 동영상 연속 촬영 방법 및 이를 지원하는 휴대 단말기
US20030123621A1 (en) Simple structured portable phone with video answerphone message function and portable phone system including the same
US7606432B2 (en) Apparatus and method for providing thumbnail image data on a mobile terminal
KR100650251B1 (ko) 비디오 처리 기능을 갖는 단말기 및 그 처리 방법
KR100678035B1 (ko) 휴대단말기의 촬영자 식별장치 및 방법
KR100735303B1 (ko) 카메라를 가지는 이동통신단말기의 이미지 파일 저장방법
JPH11187468A (ja) 携帯形テレビ電話システムにおける画像データ領域可変方式
KR100617564B1 (ko) 이동단말기의 화상통화를 이용한 멀티미디어 데이터 전송방법
JP4275629B2 (ja) データ送受信装置、画像処理装置、及び、画像処理方法
GB2413452A (en) Apparatus and method for displaying pictures in a mobile terminal
KR20050041589A (ko) 휴대단말기의 영상 촬영 방법
KR100693552B1 (ko) 다중 멀티미디어 파일 연결 재생 기능을 가지는 휴대용단말기 및 그 방법
KR20060058318A (ko) 화상통화 동영상파일 생성기능을 가지는 이동통신 단말기및 상기 동영상파일 생성방법
KR20030008721A (ko) 동영상 전송시스템
KR20050072970A (ko) 영상 중계장치로서의 이동 통신 단말기
KR20060066314A (ko) 영상 전화 단말기의 대체 영상 처리 장치 및 방법
JP2002229594A (ja) 通信端末装置
KR20040096350A (ko) 통신 단말기에서의 영상 및 음성 처리 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee