KR100950911B1 - 디코딩된 멀티미디어 비디오 및 오디오 신호를 공유하는이동통신 단말기 - Google Patents

디코딩된 멀티미디어 비디오 및 오디오 신호를 공유하는이동통신 단말기 Download PDF

Info

Publication number
KR100950911B1
KR100950911B1 KR1020080016187A KR20080016187A KR100950911B1 KR 100950911 B1 KR100950911 B1 KR 100950911B1 KR 1020080016187 A KR1020080016187 A KR 1020080016187A KR 20080016187 A KR20080016187 A KR 20080016187A KR 100950911 B1 KR100950911 B1 KR 100950911B1
Authority
KR
South Korea
Prior art keywords
audio
data
video
multimedia
terminal
Prior art date
Application number
KR1020080016187A
Other languages
English (en)
Other versions
KR20090090753A (ko
Inventor
이준철
Original Assignee
주식회사 텔레칩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 텔레칩스 filed Critical 주식회사 텔레칩스
Priority to KR1020080016187A priority Critical patent/KR100950911B1/ko
Publication of KR20090090753A publication Critical patent/KR20090090753A/ko
Application granted granted Critical
Publication of KR100950911B1 publication Critical patent/KR100950911B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 이동통신 단말기 기술에 관한 것으로, 특히 MP3 등의 오디오 파일 재생 기능이 구비된 단말기를 통해 멀티미디어 컨텐츠를 재생하면서 통화자의 음성뿐만 아니라 현재 재생되는 오디오 신호를 함께 상대방 단말기로 전송할 수 있고 화상통화 가능한 단말기의 경우에는 MPEG4, AVI, Divx, WMV 등의 동영상 파일을 메모리에 저장해두었다가 재생하면서 화상통화 영상과 멀티미디어 컨텐츠의 비디오 영상을 합성하여 전송함으로써 현재 단말기 화면을 통해 재생되는 비디오 영상을 사용자의 카메라 영상과 함께 상대방 단말기로 전송할 수 있는 이동통신 단말기 기술에 관한 것이다. 본 발명에 따르면 이동통신 단말기를 통해 MP3 파일 등의 오디오 파일을 저장해두었다가 재생하면서 통화중인 상대방에게 현재 재생 중인 오디오를 들려줄 수 있는 효과가 있다. 또한, 화상통화가 지원되며 영화 파일 등 동영상 데이터를 저장해둘 수 있는 메모리와 하드웨어 자원이 구비된 이동통신 단말기를 통해 동영상 파일을 재생하면서 통화중인 상대방에게 현재 단말기 화면을 통해 재생되는 영상 화면을 상대방에게 실시간으로 보여줄 수 있는 효과가 있다.
화상통화, 멀티미디어, 비디오, 오디오, 영화, MP3, 공유

Description

디코딩된 멀티미디어 비디오 및 오디오 신호를 공유하는 이동통신 단말기{Mobile terminal sharing decoded multimedia video and audio signal}
본 발명은 이동통신 단말기 기술에 관한 것으로, 특히 MP3 등의 오디오 파일 재생 기능이 구비된 단말기를 통해 멀티미디어 컨텐츠를 재생하면서 통화자의 음성뿐만 아니라 현재 재생되는 오디오 신호를 함께 상대방 단말기로 전송할 수 있고 화상통화 가능한 단말기의 경우에는 MPEG4, AVI, Divx, WMV 등의 동영상 파일을 메모리에 저장해두었다가 재생하면서 화상통화 영상과 멀티미디어 컨텐츠의 비디오 영상을 합성하여 전송함으로써 현재 단말기 화면을 통해 재생되는 비디오 영상을 사용자의 카메라 영상과 함께 상대방 단말기로 전송할 수 있는 이동통신 단말기 기술에 관한 것이다.
근래에 들어 이동통신 단말기에는 사용자간의 음성통화뿐만 아니라 다양한 각종 기능들이 추가되고 있다. 즉, MP3, WMA, Ogg 등 다양한 포맷의 음악 파일 재생 기능, 카메라 촬영 기능 등이 거의 기본적으로 추가되며, 그 밖에도 DMB 방송 수신 기능이 추가되어 이동통신 단말기를 통해서 야외에서 드라마, 뉴스 등을 시청할 수 있다.
이때, 종래의 이동통신 단말기를 통해 상대방 단말기로 MP3 음악 파일 등을 전송하기 위해서는 무선인터넷 등을 이용하여 데이터 전송이 이루어져야 하는데 아직까지는 이동통신 단말기를 통해서 음악 파일을 주고받는데 많은 시간이 소요되는 한계가 있으며, 특히 영화 파일 등 대용량의 파일을 무선인터넷을 통해 전송하는데는 많은 한계가 있다.
최근에는 종래의 2세대 이동통신 대신에 넓은 대역폭과 빠른 처리 기능을 지원하여 멀티미디어 데이터의 빠른 전송과 화상통화가 가능한 3세대 이동통신 단말기가 출시되고 있다. 그러나, 이러한 3세대 이동통신 기술을 통해서도 대용량의 멀티미디어 파일을 상대방 단말기로 전송하는 속도에는 한계가 있으며 상대방과 실시간으로 통화를 하면서 데이터를 실시간으로 공유할 수 있는 기술에 대해서는 아직까지 크게 효율적인 기술적인 방안이 제시되지 않고 있는 실정이다.
본 발명의 목적은 단말기에 저장된 멀티미디어 컨텐츠의 영상 및 오디오를 재생하면서 상대방 단말기와 공유할 수 있는 이동통신 단말기를 제공하는 것이다.
본 발명에 따른 이동통신 단말기는 이동통신망을 통해 상대방 단말기와 호 연결하여 음성통화를 처리하는 이동통신 단말기로서, 아날로그 음성 신호를 입력받는 마이크; 단말기에 저장된 멀티미디어 데이터를 재생하여 디지털 멀티미디어 오디오 데이터를 생성하는 멀티미디어 제어부; 아날로그 음성 신호와 디지털 멀티미디어 오디오 데이터를 선택적으로 합성하여 단일 디지털 오디오 데이터를 생성하는 오디오 합성부; 단일 디지털 오디오 데이터를 오디오 코덱을 통해 압축하여 오디오 압축 데이터를 생성하는 오디오 인코더; 및 오디오 압축 데이터를 변조하여 이동통신망을 통해 상대방 이동통신 단말기로 발신하는 신호 송수신부를 포함하여 구성된다.
본 발명에 따르면 이동통신 단말기를 통해 MP3 파일 등의 오디오 파일을 저장해두었다가 재생하면서 통화중인 상대방에서 현재 재생 중인 오디오를 들려줄 수 있는 효과가 있다.
또한, 화상통화가 지원되며 영화 파일 등 동영상 데이터를 저장해둘 수 있는 메모리와 하드웨어 자원이 구비된 이동통신 단말기를 통해 동영상 파일을 재생하면서 통화중인 상대방에게 현재 단말기 화면을 통해 재생되는 영상 화면을 상대방에게 실시간으로 보여줄 수 있는 효과가 있다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 화상통화 전용 단말기간 이동통신 시스템 구성도이다.
화상통화 지원 이동통신망(20)은 넓은 대역폭을 제공하는 3세대 이동통신망으로서 WCDMA 기반의 비동기식과 CDMA2000 기반의 동기식이 있다. WCDMA 기반의 이동통신망의 경우에는 화상통화를 지원하기 위해 3G.324M 프로토콜이 사용되며, CDMA2000 기반에서 화상통화를 지원하는 프로토콜로서 H.323이 쓰인다.
화상통화 전용 단말기(10, 30)는 내부에 카메라가 장착되어 단말기 사용자의 영상을 실시간 촬영하여 상대방 단말기로 전송할 수 있는 기능을 구비하고 있다. 단말기(10)의 카메라를 통해 촬영된 영상과 단말기 마이크를 통해 입력된 사용자 음성을 각각 인코딩하고, 인코딩된 각 데이터를 전송 가능한 신호로 전환하여 화상통화 지원 이동통신망(20)을 통해 상대방 단말기(30)로 전송한다.
도 2는 본 발명에 따른 이동통신 단말기의 전체 구성을 나타낸 블럭도이다.
본 발명에 따른 이동통신 단말기는 일반적인 음성통화만 가능한 단말기와 화 상통화도 가능한 단말기의 2가지 경우로 나누어 각 구성요소를 달리 생각해볼 수 있다. 이때, 음성통화만 지원되는 경우에는 디코딩된 멀티미디어 오디오 신호를 상대방 단말기와 공유하는 것이 가능하며, 화상통화가 지원되는 경우에는 디코딩된 멀티미디어 오디오 신호와 비디오 신호를 모두 공유하는 것이 가능하다.
■ 음성통화만 지원되는 경우
이동통신 단말기(10)가 음성통화만 지원되는 경우로서, 이동통신망을 통해 상대방 단말기와 호 연결하여 통화를 처리하는 일반적인 이동통신 단말기의 기능과 아래 언급되는 오디오 데이터 재생 기능이 구비된 단말기를 의미하며, 도 2에서 하단의 점선으로 표시된 '화상통화 가능한 단말기의 경우 부가되는 구성요소'를 제외하고 나머지 구성요소를 통해 상대방과 오디오 신호를 공유하는 기능이 구현된다.
마이크부(11)를 통해서는 단말기 사용자의 아날로그 음성 신호를 입력받는다.
멀티미디어 제어부(15)는 단말기에 저장된 멀티미디어 데이터를 재생하여 디지털 멀티미디어 오디오 데이터를 생성한다. 멀티미디어 데이터는 사용자가 단말기의 재생 버튼을 눌러서 재생 가능한 MP3 등의 오디오 데이터를 의미하며, 외부 라인을 통해 전송되거나 무선인터넷 등을 통해 다운로드되어 메모리(14)에 저장된다.
오디오 합성부(12)는 마이크부(11)를 통해 입력된 아날로그 음성 신호와 멀티미디어 데이터를 재생하여 생성되는 디지털 멀티미디어 오디오 데이터를 합성하여 단일 디지털 오디오 데이터를 생성한다. 이때, 단일 디지털 오디오 데이터는 인 코딩 등 특별한 가공 과정을 거치지 않은 가장 기본적인 PCM 형태의 디지털 데이터로서 일반적인 오디오 CD에 저장된 데이터가 이에 해당된다.
또한, 오디오 합성부(12)는 외부 사용자 조작에 의해 오디오 합성 기능을 스위칭할 수 있다. 즉, 사용자가 오디오 합성 기능을 켜면 현재 재생되는 오디오 신호와 사용자 음성의 합성이 진행되며, 사용자가 오디오 합성 기능을 끄면 현재 재생되는 오디오 신호는 사용자의 아날로그 음성 신호와는 별개의 데이터로 취급되어 상대방 단말로 전해지는 신호에 아무런 영향을 미치지 않게 된다.
오디오 합성부(12)의 보다 구체적인 구현예에 대해서는 이후 도 3을 통해 보다 상세히 설명하기로 한다.
오디오 인코더(13)는 오디오 합성부(12)를 통해 생성된 단일 디지털 오디오 데이터를 오디오 코덱을 통해 압축하여 오디오 압축 데이터를 생성한다. 일반적으로 이동통신 시스템에서는 비교적 낮은 주파수 대역의 사람 음성을 처리하기에 적절한 보코더(vocoder)를 사용하여 오디오 압축이 이루어지며, 본 발명에서는 멀티미디어 재생을 통해 생성된 오디오 신호의 특성을 잘 살리기 위해서 보다 고성능의 오디오 코덱을 적용할 수도 있다.
신호 송수신부(19)는 오디오 인코더(13)를 통해 생성된 오디오 압축 데이터를 변조하여 이동통신망(20)을 통해 상대방 이동통신 단말기로 발신한다.
이상의 구성요소 간의 데이터 이동 및 변환을 통해, 단말기에서 재생되는 오디오 신호가 사용자 음성과 합성된 후에 단일 오디오 신호로서 상대방 단말기로 전달된다.
■ 화상통화 기능이 지원되는 경우
이 경우는 이동통신 단말기(10)에 화상통화 기능이 구비된 경우로서, 화상통화가 지원되는 이동통신망을 통해 상대방 화상통화 전용 단말기와 호 연결하여 화상통화를 처리하는 화상통화 기능과 아래 언급되는 멀티미디어 데이터 재생 기능이 구비된 단말기를 의미한다.
앞서 언급된 음성 통화만 지원되는 단말기의 구성요소에 카메라부(16), 비디오 합성부(17), 비디오 인코더(18)가 더 추가되며, 앞서 언급된 신호 송수신부(19)는 화상통화도 지원가능한 화상통화 신호 송수신부(19)로 대체되도록 구성됨으로써 상대방과 오디오 신호뿐만 아니라 비디오 신호도 공유하는 기능이 구현된다.
오디오 인코더(13)를 통해 오디오 압축 데이터가 생성되기까지의 기술 내용은 앞서 음성통화만 지원되는 경우에서 설명한 사항과 동일하므로 아래 설명에서는 생략하고, 비디오 압축 데이터를 생성하여 오디오 압축 데이터와 함께 시스템 코덱으로 압축 및 전송하는 과정을 추가로 설명하였다.
앞서 언급된 멀티미디어 제어부(15)는 오디오 재생기능뿐만 아니라 비디오 재생기능을 구비하며, 멀티미디어 데이터를 재생하여 디지털 멀티미디어 비디오 데이터를 생성한다. 이때, 멀티미디어 데이터는 MP3, WMA, Ogg 등의 오디오 파일이나 MPEG, AVI, H.264, Divx, WMA 등의 동영상 파일을 모두 포함한 개념으로서, 사용자는 단말기를 통해 영화 파일 등을 재생하여 감상함으로써 이동통신 단말기를 마치 PMP(portable media player)처럼 활용할 수 있다.
카메라부(16)는 외부영상을 실시간으로 촬영하여 디지털 화상통화 영상 데이터를 생성한다. 일반적으로 이동통신 단말기에 내장된 수백만 화소의 카메라와는 별도로 화상통화를 위해 따로 장착된 수십만 화소대의 캠이 사용된다.
비디오 합성부(17)는 카메라부(16)를 통해 생성된 디지털 화상통화 영상 데이터와 멀티미디어 데이터를 재생하여 생성되는 디지털 멀티미디어 비디오 데이터를 이용하여 합성영상 데이터를 생성한다.
이때의 합성영상 데이터는 사용자가 선택적으로 합성영상의 형태를 설정할 수 있다. 즉, 사용자의 카메라 영상이 배경으로 깔리고 멀티미디어 비디오 영상이 전체 화면 속의 일부 영역에 축소된 영상으로 배치되는 PIP(piture-in-picture) 형태로 합성영상을 구성할 수도 있고, 또는 그 반대로 합성영상을 구성할 수도 있다. 또한, 사용자의 카메라 영상을 포함하는 대신 멀티미디어 비디오 영상만으로 전체 화면이 채우도록 합성영상을 구성하여 제공할 수도 있다.
비디오 합성부(17)에서 생성된 합성영상 데이터는 앞서 오디오 합성부(12)에서 생성된 단일 디지털 오디오 데이터와 마찬가지로 인코딩 등 특별한 가공 과정을 거치지 않은 가장 기본적인 YUV RAW 데이터 형태의 디지털 데이터이다.
또한, 앞서 오디오 합성부(12)의 기능과 마찬가지로 비디오 합성 기능을 단말기 사용자가 스위칭할 수 있다. 즉, 사용자가 비디오 합성 기능을 켜면 합성영상이 생성되며, 사용자가 비디오 합성 기능을 끄면 더이상 합성영상이 생성되지 않는다.
비디오 합성부(17)의 보다 구체적인 구현예에 대해서는 이후 도 4를 통해 보 다 상세히 설명하기로 한다.
비디오 인코더(18)는 비디오 합성부(17)를 통해 생성된 합성영상 데이터를 비디오 코덱을 통해 압축하여 비디오 압축 데이터를 생성한다. 일반적으로 화상통화를 위한 비디오 코덱으로는 MPEG4, H.263, H.264 등이 사용되며 이동통신망, 단말기, 서버에 따라 사용되는 비디오 코덱에 조금씩 차이가 있다.
화상통화 신호 송수신부(19)는 앞서 신호 송수신부(19)가 오디오 데이터 전송만 담당하는데 비해서 보다 기능을 추가하여 비디오 데이터도 처리할 수 있게 구성되었다. 즉, 비디오 인코더(18)를 통해 생성된 비디오 압축 데이터를 오디오 인코더(13)를 통해 생성된 오디오 압축 데이터와 함께 화상통화 시스템 코덱으로 인코딩 및 변조하여 멀티미디어 이동통신망을 통해 상대방 화상통화 전용 단말기로 발신한다.
이상의 구성요소 간의 데이터 이동 및 변환을 통해 단말기에서 재생되는 멀티미디어 데이터의 비디오 및 오디오 신호가 사용자의 음성 및 카메라 영상과 합성되어 상대방 단말기로 전달된다.
도 3은 도 2의 오디오 합성부(12)를 (A) 아날로그 신호를 중첩하여 합성하도록 구현한 제 1 실시예와, (B) 디지털 데이터를 중첩하여 합성하도록 구현한 제 2 실시예를 나타낸 블럭도이다.
■ 도 3(A)의 제 1 실시예에 따른 오디오 합성부(12)는 DAC 모듈, 아날로그 오디오 합성 모듈, ADC 모듈을 포함하여 구성된다.
멀티미디어 칩은 도 2에서 설명된 멀티미디어 제어부(15)와 동일한 개념의 구성요소로서 단말기 내의 이동통신 기능을 제어하는 칩과는 별도로 멀티미디어 기능만을 담당하는 칩이 추가될 수 있다.
멀티미디어 칩에는 재생되는 멀티미디어 데이터를 재생하기 위한 오디오 코덱과 비디오 코덱이 갖추어져 있으며, 이는 이동통신을 통해 외부로 송신되는 데이터를 인코딩하기 위한 코덱과는 별도의 개념으로서 단말기 내부에서 멀티미디어를 재생하기 위한 멀티미디어 코덱이다. 도 3을 통해서는 오디오 데이터를 처리하는 경우에 대해서만 일단 언급하고 비디오 데이터를 처리하는 경우에 대해서는 도 4를 통해 설명하기로 한다.
멀티미디어 칩을 통해 MP3 등의 멀티미디어 데이터가 재생되면 PCM 형태의 디지털 멀티미디어 오디오 데이터가 생성된다.
그리고, DAC 모듈에서는 멀티미디어 칩에서 생성된 디지털 멀티미디어 오디오 데이터를 아날로그 오디오 신호로 변환한다.
마이크를 통해서는 사용자의 목소리가 담긴 아날로그 음성 신호가 입력되며, 아날로그 오디오 합성 모듈에서는 DAC 모듈을 통해 출력되는 아날로그 오디오 신호와 마이크를 통해 입력된 아날로그 음성 신호를 중첩하여 합성함으로써 단일 아날로그 오디오 신호를 생성한다.
이때, 아날로그로 표현되는 사운드는 단순히 중첩하는 것만으로 두 가지의 소리가 합성되므로 아날로그 오디오 합성 모듈을 구현하기 위해서는 복잡한 내부구 성이 필요치 않으며 단순히 두 신호 라인을 연결해주는 것만으로도 구현이 가능하다. 도 3(A)에서는 마이크와 DAC 모듈 사이에 'ⓧ'로 표시된 구성요소가 아날로그 오디오 합성 모듈에 해당된다.
아날로그 오디오 합성 모듈을 통해 합성된 단일 아날로그 오디오 신호는 ADC 모듈에서 PCM 방식의 단일 디지털 오디오 데이터로 변환되며, 오디오 인코더를 통해 ① 압축 오디오 데이터로 변환된다.
또한, 앞서 DAC 모듈을 통해 출력된 아날로그 오디오 신호는 단말기의 헤드폰이나 스피커로 출력되기 전에 상대방 단말기로부터 수신된 음성 신호와 합성되는 과정을 거쳐야 된다. 즉, DAC 모듈을 통해 출력되는 아날로그 오디오 신호와 상대방 단말기로부터 수신된 아날로그 음성 신호를 중첩하여 합성하고 외부 출력하는 오디오 출력부가 더 추가될 수 있다.
■ 도 3(B)의 제 2 실시예에 따른 오디오 합성부(12)는 ADC 모듈, 디지털 오디오 합성 모듈을 포함하여 구성된다.
먼저, 마이크를 통해 사용자의 목소리가 담긴 아날로그 음성 신호가 입력되며, 아날로그 음성 신호는 ADC 모듈을 통해 PCM 방식의 디지털 음성 데이터로 변환된다.
또한, 멀티미디어 칩을 통해서는 MP3 등의 멀티미디어 데이터를 재생하여 PCM 형태의 디지털 멀티미디어 오디오 데이터가 생성된다.
이처럼 두 종류의 PCM 디지털 데이터가 생성된 상태에서, 디지털 오디오 합 성 모듈에서는 ADC 모듈에서 출력되는 디지털 음성 데이터와 멀티미디어 칩을 통해 출력되는 디지털 멀티미디어 오디오 데이터를 중첩하여 합성함으로써 PCM 방식의 단일 디지털 오디오 데이터를 생성한다.
PCM 형태의 디지털 오디오 사운드의 경우에도 아날로그 오디오 사운드를 일정 시간 간격으로 샘플링한 값이므로 앞서 아날로그의 경우와 같이 단순히 중첩하는 것만으로도 두 신호의 합성이 가능하다.
그러나, 디지털 오디오 합성 모듈의 경우에는 아날로그의 경우와 같이 단순히 두 신호 라인을 연결하여 구성할 수는 없으며, 입력된 두 데이터 신호를 칩 내부에서 소프트웨어적으로 더하거나(adding) 하드웨어적으로 구비된 hardwired block을 통해 두 종류의 데이터 신호를 중첩하게 된다. 도 3(B)에서는 ADC 모듈과 멀티미디어 칩 사이에 'ⓧ'로 표시된 구성요소가 디지털 오디오 합성 모듈을 나타낸다.
그리고, 단일 디지털 오디오 데이터는 오디오 인코더를 통해 ① 압축 오디오 데이터로 변환된다.
또한, 멀티미디어 칩을 통해 생성된 멀티미디어 디지털 오디오 데이터를 헤드폰이나 스피커를 통해 듣기 위해서는 일단 아날로그 신호로 변환되어야 하며 출력되기 전에 상대방 단말기로부터 수신된 음성 신호와 합성되어야 한다. 이를 위해, 멀티미디어 제어부를 통해 출력되는 디지털 멀티미디어 오디오 데이터를 아날로그 오디오 신호로 변환하고, 아날로그 오디오 신호와 상대방 단말기로부터 수신된 아날로그 음성 신호를 중첩하여 합성하고 외부 출력하는 오디오 출력부가 더 추 가될 수 있다.
도 4는 도 2의 비디오 합성부(17)에서 합성영상이 생성되는 과정을 설명하기 위한 블럭도이다.
먼저, 멀티미디어 칩에서 비디오 정보가 포함된 멀티미디어 데이터를 디코딩하여 재생함으로써 YUV RAW 데이터 형태의 디지털 멀티미디어 비디오 데이터가 생성된다. 멀티미디어 칩에는 AVI, H.264, MPEG4 등의 단말기 내에서 멀티미디어 데이터를 재생하기 위한 비디오 코덱이 갖추어져 있다.
일단, 멀티미디어 칩에서 생성된 디지털 멀티미디어 비디오 데이터는 화면 1(Scene 1)을 구성한다.
그리고, 카메라를 통해서는 외부 영상이 실시간으로 촬영되어 디지털 화상통화 영상 데이터를 생성한다. 디지털 화상통화 영상 데이터는 화면 2(Scene 2)를 구성한다.
이때, 화면 1과 화면 2는 모두 YUV 또는 RGB 타입의 디지털 데이터이므로 오디오의 경우와 같이 별도의 아날로그-디지털 변환 과정을 거칠 필요가 없다
비디오 합성부에서는 화면 1과 화면 2를 입력받아 합성영상을 생성한다. 이때, 합성영상이란 화면 1과 화면 2가 중첩된 데이터를 의미하는 것이 아니며 사용자의 설정에 따라 화면 1의 정보와 화면 2의 정보를 용이하게 상대방이 인식할 수 있도록 재구성된 영상을 의미한다.
2개의 영상을 용이하게 표시하는 방법으로서 화면 1과 화면 2 중 어느 하나 가 다른 나머지 하나의 일부 영역에 축소된 영상으로 배치되도록 PIP 형태로 화면을 구성하거나 화면을 분할하여 표시하도록 합성영상을 생성할 수 있다.
또는, 디지털 멀티미디어 비디오 데이터에 해당되는 화면 1을 전체 화면으로 구성하도록 합성영상을 생성할 수도 있다. 그 밖에, 화면 1과 화면 2의 투명도를 조절하여 서로 겹쳐보이도록 합성영상을 생성하는 것도 가능하다.
비디오 합성부를 통해 합성영상이 생성되면 비디오 인코더를 통해 ② 압축 비디오 데이터로 변환된다.
또한, 멀티미디어 칩을 통해 출력되는 디지털 멀티미디어 비디오 데이터를 단말기의 LCD 화면을 통해 출력하기 전에 상대방 단말기로부터 수신된 화상통화 영상과 합성하여 출력하는 비디오 출력부가 더 추가될 수 있다. PIP로 화면을 구성하는 경우, 비디오 출력부는 2 종류의 영상 중 어느 하나가 다른 나머지 하나의 일부 영역에 축소된 영상으로 배치되도록 단일 PIP 비디오 데이터를 생성하여 외부 출력한다.
도 5는 상대방 단말기 화면을 통해 (A) 카메라 영상과 멀티미디어 영상이 PIP 형태로 표시된 경우와, (B) 멀티미디어 영상이 전체 화면으로 표시된 경우를 나타낸 예시도이다.
도 6은 도 2의 화상통화 신호 송수신부(19)에서 ① 오디오 압축 데이터와 ② 비디오 압축 데이터를 상대방 단말기로 발신하기 위해 구현된 구성을 구체적으로 나타낸 블럭도이다.
앞서 살펴본 바와 같이, 도 3의 오디오 인코더를 통해 ① 오디오 압축 데이터가 생성되었으며, 도 4의 비디오 인코더를 통해서는 ② 비디오 압축 데이터가 생성되었다.
그리고, 시스템 코덱(System CODEC)을 통해서는 ① 오디오 압축 데이터와 ② 비디오 압축 데이터를 함께 묶어 데이터 전송에 효율적인 압축 데이터로 인코딩하며, 변조(Modulation)부를 통해서는 인코딩된 데이터를 무선 전송을 위한 아날로그 신호로 변조하여 외부 공간으로 송출한다.
도 7은 본 발명에 따른 이동통신 단말기를 운용하는 전체 동작과정을 나타낸 순서도이다.
이후, 도 7, 도 8, 도 9를 통해 설명되는 구성요소와 용어들은 앞서 설명한 도 1 ~ 도 6에서 설명한 내용들과 기술적으로 동일하므로 이후 설명되는 각 프로세스를 구현하기 위한 구체적인 기술적 구성을 파악하기 위해서는 앞서 설명된 내용들을 참고하면 된다.
먼저, 화상통화 단말기의 내장 카메라를 통해서는 외부 영상을 실시간으로 촬영하여 디지털 화상통화 영상 데이터를 생성하며(ST10), 마이크를 통해서는 아날로그 음성 신호를 입력받는다(ST20).
이처럼 화상통화가 이루어지는 중에 사용자가 멀티미디어 재생 명령을 선택하면(ST30) 단말기 메모리에 저장된 멀티미디어 데이터의 재생이 진행되므로 디지 털 멀티미디어 비디오 데이터와 디지털 멀티미디어 오디오 데이터가 생성되며(ST40), 멀티미디어 재생 명령이 선택되지 않은 경우에는 일반적인 화상통화 과정이 진행된다.
이때, 단말기 사용자에 의해 멀티미디어 데이터 합성 명령이 선택되면(ST50), 화상통화를 위한 데이터와 현재 재생되는 멀티미디어 데이터의 합성 과정이 진행된다.
즉, 아날로그 음성 신호와 디지털 멀티미디어 오디오 데이터를 합성하여 단일 디지털 오디오 데이터를 생성하고(ST60), 생성된 단일 디지털 오디오 데이터를 오디오 코덱을 통해 압축하여 오디오 압축 데이터를 생성한다(ST70).
그리고, 디지털 화상통화 영상 데이터와 디지털 멀티미디어 비디오 데이터를 이용해서는 사용자의 선택에 의한 합성영상 데이터를 생성하고(ST80), 합성영상 데이터를 비디오 코덱을 통해 압축하여 비디오 압축 데이터를 생성한다(ST90).
그리고, 각각 생성된 오디오 압축 데이터와 비디오 압축 데이터를 화상통화 시스템 코덱을 통해 인코딩 및 변조하여 상대방 화상통화 전용 단말기로 발신함으로써(ST100), 발신자 단말기에서 재생되는 멀티미디어 컨텐츠의 비디오 및 오디오를 수신자 단말기에서 보고 들을 수 있게 된다. 또한, 수신자 단말기에 발신자 단말기와 동일한 기능이 구비되어 있다면 수신자 단말기에서 재생되는 멀티미디어 컨텐츠의 비디오 및 오디오를 발신자 단말기에서 시청하는 것도 가능하다.
그러나, 멀티미디어 데이터 합성 명령이 선택되지 않은 경우에는, 아날로그 음성 신호를 디지털 오디오 데이터로 변환하고(ST110), 변환된 디지털 오디오 데이 터를 오디오 코덱을 통해 압축하여 오디오 압축 데이터를 생성하며(ST120), 디지털 화상통화 영상 데이터를 비디오 코덱을 통해 압축하여 비디오 압축 데이터를 생성(ST130)하는 일반적인 화상통화 처리과정이 진행된다.
도 8은 도 7에서 단말기의 마이크를 통해 입력된 음성과 멀티미디어 오디오를 합성하는 단계(ST60)의 제 1 실시예를 보다 상세히 나타낸 순서도이다.
즉, 도 7의 멀티미디어 데이터 합성 명령이 선택된 단계(ST50)에 이어서, 디지털 멀티미디어 오디오 데이터를 아날로그 오디오 데이터로 변환한다(ST61).
그리고, 아날로그 오디오 데이터와 아날로그 음성 신호를 합성하여 단일 아날로그 오디오 신호를 생성한다(ST62). 두 아날로그 신호를 합성하기 위해서는 단순히 두 신호 라인을 중첩해주면 된다.
이상의 과정을 거쳐 생성된 단일 아날로그 오디오 신호를 PCM 방식의 단일 디지털 오디오 데이터로 변환함으로써 마이크 음성과 멀티미디어 오디오가 합성되어 디지털 데이터로 변환된다.
도 9는 도 7에서 단말기의 마이크를 통해 입력된 음성과 멀티미디어 오디오를 합성하는 단계(ST60)의 제 2 실시예를 보다 상세히 나타낸 순서도이다.
먼저, 아날로그 음성 신호를 PCM 방식의 디지털 음성 데이터로 변환한다(ST64).
그리고, 디지털 음성 데이터와 디지털 멀티미디어 오디오 데이터를 합성하여 단일 디지털 오디오 데이터를 생성한다(ST65). 이때, 두 디지털 데이터는 모두 비압축 사운드 데이터이므로 각각의 값을 더해주는 것만으로도 오디오 신호의 합성이 이루어진다.
이상에서 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 화상통화 전용 단말기간 이동통신 시스템 구성도,
도 2는 본 발명에 따른 이동통신 단말기의 전체 구성을 나타낸 블럭도,
도 3은 도 2의 오디오 합성부(12)를 (A) 아날로그 신호를 중첩하여 합성하도록 구현한 제 1 실시예와, (B) 디지털 데이터를 중첩하여 합성하도록 구현한 제 2 실시예를 나타낸 블럭도,
도 4는 도 2의 비디오 합성부(17)에서 합성영상이 생성되는 과정을 설명하기 위한 블럭도,
도 5는 상대방 단말기 화면을 통해 (A) 카메라 영상과 멀티미디어 영상이 PIP 형태로 표시된 경우와, (B) 멀티미디어 영상이 전체 화면으로 표시된 경우를 나타낸 예시도,
도 6은 도 2의 화상통화 신호 송수신부(19)에서 ① 오디오 압축 데이터와 ② 비디오 압축 데이터를 상대방 단말기로 발신하기 위해 구현된 구성을 구체적으로 나타낸 블럭도,
도 7은 본 발명에 따른 이동통신 단말기를 운용하는 전체 동작과정을 나타낸 순서도,
도 8은 도 7에서 단말기의 마이크를 통해 입력된 음성과 멀티미디어 오디오를 합성하는 단계(ST60)의 제 1 실시예를 보다 상세히 나타낸 순서도,
도 9는 도 7에서 단말기의 마이크를 통해 입력된 음성과 멀티미디어 오디오를 합성하는 단계(ST60)의 제 2 실시예를 보다 상세히 나타낸 순서도이다.

Claims (7)

  1. 화상통화가 지원되는 이동통신망을 통해 상대방 화상통화 전용 단말기와 호 연결하여 화상통화를 처리하는 화상통화 기능을 구비한 단말기로서,
    외부영상을 실시간으로 촬영하여 디지털 화상통화 영상 데이터를 생성하는 카메라부;
    아날로그 음성 신호를 입력받는 마이크;
    단말기에 저장된 멀티미디어 데이터를 재생하여 디지털 멀티미디어 오디오 데이터와 디지털 멀티미디어 비디오 데이터를 생성하는 멀티미디어 제어부;
    상기 아날로그 음성 신호와 상기 디지털 멀티미디어 오디오 데이터를 선택적으로 합성하여 단일 디지털 오디오 데이터를 생성하는 오디오 합성부;
    상기 단일 디지털 오디오 데이터를 오디오 코덱을 통해 압축하여 오디오 압축 데이터를 생성하는 오디오 인코더;
    상기 디지털 화상통화 영상 데이터와 상기 디지털 멀티미디어 비디오 데이터를 이용하여 합성영상 데이터를 선택적으로 생성하되, 두 영상 중 어느 하나가 다른 나머지 하나의 일부 영역에 축소된 영상으로 배치되는 PIP 형태로 합성하는 방식과, 화면을 분할하여 표시하는 합성하는 방식과, 두 영상의 투명도를 조절하여 서로 겹쳐보이도록 합성하는 방식 중 어느 하나의 방식으로 상기 합성영상 데이터를 생성하는 비디오 합성부;
    상기 합성영상 데이터를 비디오 코덱을 통해 압축하여 비디오 압축 데이터를 생성하는 비디오 인코더;
    상기 비디오 압축 데이터를 상기 오디오 압축 데이터와 함께 화상통화 시스템 코덱을 통해 인코딩 및 변조하여 멀티미디어 이동통신망을 통해 상대방 화상통화 전용 단말기로 발신하는 화상통화 신호 송수신부; 및
    상기 디지털 멀티미디어 비디오 데이터와 상대방 단말로부터 수신된 화상통화 영상 중 어느 하나가 다른 나머지 하나의 일부 영역에 축소된 영상으로 배치되는 단일 PIP 비디오 데이터를 선택적으로 생성하여 화면 출력하는 비디오 출력부;
    를 포함하여 구성되는 이동통신 단말기.
  2. 청구항 1에 있어서,
    상기 오디오 합성부는,
    상기 멀티미디어 제어부에서 생성된 디지털 멀티미디어 오디오 데이터를 아날로그 오디오 신호로 변환하는 DAC 모듈;
    상기 DAC 모듈을 통해 출력되는 아날로그 오디오 신호와 상기 마이크를 통해 입력된 아날로그 음성 신호를 중첩하여 합성함으로써 단일 아날로그 오디오 신호를 생성하는 아날로그 오디오 합성 모듈; 및
    상기 단일 아날로그 오디오 신호를 PCM 방식의 단일 디지털 오디오 데이터로 변환하는 ADC 모듈;
    을 포함하여 구성된 것을 특징으로 하는 이동통신 단말기.
  3. 청구항 2에 있어서,
    상기 이동통신 단말기는 상기 DAC 모듈을 통해 출력되는 아날로그 오디오 신호와 상대방 단말기로부터 수신된 아날로그 음성 신호를 중첩하여 합성하고 외부 출력하는 오디오 출력부를 더 포함하여 구성되는 이동통신 단말기.
  4. 청구항 1에 있어서,
    상기 오디오 합성부는,
    상기 마이크를 통해 입력된 아날로그 음성 신호를 PCM 방식의 디지털 음성 데이터로 변환하는 ADC 모듈; 및
    상기 ADC 모듈에서 출력되는 디지털 음성 데이터와 상기 멀티미디어 제어부를 통해 출력되는 디지털 멀티미디어 오디오 데이터를 중첩하여 합성함으로써 PCM 방식의 단일 디지털 오디오 데이터를 생성하는 디지털 오디오 합성 모듈;
    을 포함하여 구성된 것을 특징으로 하는 이동통신 단말기.
  5. 청구항 4에 있어서,
    상기 이동통신 단말기는 상기 멀티미디어 제어부를 통해 출력되는 디지털 멀티미디어 오디오 데이터를 아날로그 오디오 신호로 변환하고, 상기 아날로그 오디오 신호와 상대방 단말기로부터 수신된 아날로그 음성 신호를 중첩하여 합성하고 외부 출력하는 오디오 출력부를 더 포함하여 구성되는 이동통신 단말기.
  6. 삭제
  7. 삭제
KR1020080016187A 2008-02-22 2008-02-22 디코딩된 멀티미디어 비디오 및 오디오 신호를 공유하는이동통신 단말기 KR100950911B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080016187A KR100950911B1 (ko) 2008-02-22 2008-02-22 디코딩된 멀티미디어 비디오 및 오디오 신호를 공유하는이동통신 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080016187A KR100950911B1 (ko) 2008-02-22 2008-02-22 디코딩된 멀티미디어 비디오 및 오디오 신호를 공유하는이동통신 단말기

Publications (2)

Publication Number Publication Date
KR20090090753A KR20090090753A (ko) 2009-08-26
KR100950911B1 true KR100950911B1 (ko) 2010-04-01

Family

ID=41208496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080016187A KR100950911B1 (ko) 2008-02-22 2008-02-22 디코딩된 멀티미디어 비디오 및 오디오 신호를 공유하는이동통신 단말기

Country Status (1)

Country Link
KR (1) KR100950911B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101577012B1 (ko) * 2014-06-24 2015-12-11 (주)에듀필미디어 멀티미디어 데이터의 합성방법 및 동영상 재생기

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101624894B1 (ko) * 2009-10-15 2016-06-07 주식회사 엘지유플러스 패킷 통화 중 데이터를 전송하는 단말기 및 이를 포함하는 서비스 시스템
WO2012134150A2 (ko) * 2011-03-29 2012-10-04 (주)티아이스퀘어 커뮤니케이션 서비스 수행 도중 멀티미디어 콘텐츠 공유 서비스 제공 방법 및 시스템
KR101226560B1 (ko) * 2011-03-29 2013-01-25 (주)티아이스퀘어 커뮤니케이션 서비스 수행 도중 멀티미디어 콘텐츠 공유 서비스 제공 방법 및 시스템
KR102067642B1 (ko) 2012-12-17 2020-01-17 삼성전자주식회사 휴대 단말기에서 영상 통화를 제공하는 장치 및 방법
CN113539279B (zh) * 2020-04-16 2024-08-06 腾讯科技（深圳）有限公司 一种音频数据处理方法、装置以及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070113A (ko) * 2004-12-20 2006-06-23 삼성전자주식회사 미리 준비된 미디어 데이터를 전송하는 화상통화 방법
KR20070076016A (ko) * 2006-01-17 2007-07-24 엘지전자 주식회사 통화 상대에게 방송을 전달하는 방법 및 그 기능을 갖는이동통신단말기

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070113A (ko) * 2004-12-20 2006-06-23 삼성전자주식회사 미리 준비된 미디어 데이터를 전송하는 화상통화 방법
KR20070076016A (ko) * 2006-01-17 2007-07-24 엘지전자 주식회사 통화 상대에게 방송을 전달하는 방법 및 그 기능을 갖는이동통신단말기

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101577012B1 (ko) * 2014-06-24 2015-12-11 (주)에듀필미디어 멀티미디어 데이터의 합성방법 및 동영상 재생기

Also Published As

Publication number Publication date
KR20090090753A (ko) 2009-08-26

Similar Documents

Publication Publication Date Title
CN101272570B (zh) 一种实现网络卡拉ok的方法及便携式设备
US8578429B2 (en) Device and method for outputting data of a wireless terminal to an external device
KR100950911B1 (ko) 디코딩된 멀티미디어 비디오 및 오디오 신호를 공유하는이동통신 단말기
US20070087686A1 (en) Audio playback device and method of its operation
TW200830874A (en) Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method
US20110085046A1 (en) Data communication method and system using mobile terminal
JP2008182463A (ja) テレビジョン受信装置
KR20110139782A (ko) 이동통신 단말기 간 실시간 스트리밍을 위한 장치 및 방법
CN101527153B (zh) 使异步的传递文本和音视频数据在移动终端同步显示的方法
JP3844485B2 (ja) 携帯電話向けインターネットライブ放送システム、携帯電話向けインターネットライブ放送方法、ストリーミングデータ作成配信プログラム及び記録媒体
JP2007095163A (ja) マルチメディア符号化データ分離伝送装置
GB2410160A (en) Base station for transmitting audio visual signal to a mobile device in a home network
KR20030010233A (ko) 다기능 텔레비전 수상기
US11943492B2 (en) Method and system for adding subtitles and/or audio
US20080168522A1 (en) Broadcast communication converter system and method
KR100756896B1 (ko) 분리형 멀티미디어 단말기와 노래 반주 기능을 위한 장치를 갖는 노래 반주기
KR20080047683A (ko) 휴대용 단말기에서 스트리밍 서비스 전송 방법 및 장치
CN101212670A (zh) 接收无线电信号以再现声音的音频设备和音频系统
KR20050112674A (ko) 다기능 장치 및 그의 제어방법
KR100711713B1 (ko) 실시간 스트리밍데이터 전송 기능을 가지는 이동통신 단말기
JP4275629B2 (ja) データ送受信装置、画像処理装置、及び、画像処理方法
JP2001103580A (ja) 遠隔操作システム
KR100756019B1 (ko) 디지털 멀티미디어 방송 신호를 일반적인 방송신호출력장치로 출력하기 위한 디지털 멀티미디어 방송 수신장치 및 방법
KR20080029415A (ko) 근거리 무선통신을 이용한 멀티미디어 데이터 재생 장치 및방법
KR20010078997A (ko) Dsp를 이용한 다중 동영상 압축포맷 지원 tv수신카드

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130208

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140205

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150202

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160201

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170217

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20200211

Year of fee payment: 11