KR101130413B1 - 미디어 스트림 믹싱 - Google Patents

미디어 스트림 믹싱 Download PDF

Info

Publication number
KR101130413B1
KR101130413B1 KR1020057023322A KR20057023322A KR101130413B1 KR 101130413 B1 KR101130413 B1 KR 101130413B1 KR 1020057023322 A KR1020057023322 A KR 1020057023322A KR 20057023322 A KR20057023322 A KR 20057023322A KR 101130413 B1 KR101130413 B1 KR 101130413B1
Authority
KR
South Korea
Prior art keywords
media stream
signal
type
communication device
portable communication
Prior art date
Application number
KR1020057023322A
Other languages
English (en)
Other versions
KR20060013685A (ko
Inventor
뵈른 노르함머
토비아스 린드퀴스트
Original Assignee
소니 에릭슨 모빌 커뮤니케이션즈 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP03013877A external-priority patent/EP1489823B1/en
Application filed by 소니 에릭슨 모빌 커뮤니케이션즈 에이비 filed Critical 소니 에릭슨 모빌 커뮤니케이션즈 에이비
Publication of KR20060013685A publication Critical patent/KR20060013685A/ko
Application granted granted Critical
Publication of KR101130413B1 publication Critical patent/KR101130413B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Abstract

본 발명은 제1 실시간 미디어 스트림을 제2 미디어 스트림과 믹싱함으로써 실시간 출력 미디어 스트림을 형성하는 방법 및 휴대용 통신 장치(200)에 관한 것이다. 미디어 스트림의 믹싱을 제공하면 예를 들어, 다수의 매력적인 기능이 제공된다. 본 발명은 이동 VT 애플리케이션의 사용을 증가시키는 방법 및 비디오 전화에서 사용될 때 무결성 문제(integrity issue)를 처리할 수 있는 방법에 관한 것이다.
휴대용 통신 장치, 미디어 스트림, 믹싱, 지연, 동기화.

Description

미디어 스트림 믹싱{MEDIA STREAM MIXING}
본 발명은 휴대용 통신 장치에서 두 개 이상의 미디어 스트림의 실시간 믹싱에 관한 것이다. 특히, 본 발명은 실시간으로 송신된 출력 미디어 스트림을 제공하기 위하여 두 개 이상의 미디어 스트림의 실시간 믹싱을 위한 방법 및 장치에 관한 것이다.
대부분의 제3 세대 이동 단말기는 3GPP 사양(324M)을 기초로 하여 구현된 비디오 전화(VT) 애플리케이션을 가질 것이다. 이러한 VT-애플리케이션은 실시간 음성 및 비디오 정보를 포함하는 통신과의 개인-대-개인 접속을 가능하게 한다. 이러한 애플리케이션은 오디오 및 이미지 정보 둘 모두를 포함한 하나의 단일 비디오 스트림을 기록하고 발생시키는 것을 포함한다.
휴대용 통신 장치에서 두 개의 상이한 미디어 스트림을 결합하는 것이 가능하다면, 음성을 갖는 하나의 스트림을 다른 것으로 교환하는 것, 한 스트림의 이미지 정보를 다른 것의 이미지 정보로 대체하는 것 등과 같은 많은 매력적인 기능이 제공될 수 있다.
VT를 사용하는 하나의 관심이 있는 방식은 소위 "보고 말하기(show and tell)"를 사용하는 것이다. 이것은 오디오 및 이미지 정보를 포함하는 기록된 비디 오를 재생할 때, 음성(오디오)이 동시에 이 스트림에 부가된다는 것을 의미한다.
또한, 일부 소비자는 보안상의 이유로 다른 사람이 그 장소를 보는 것을 허용받지 않거나 그것이 부적절할 수 있는 장소에서 분명하게 촬영되는 것에 대해 근심할 수 있다. 분명한 실시간 영화는 예를 들어, 두 개의 상이한 영화의 조합일 수 있고, 그 중 하나는 장소를 보여주며 다른 하나는 소비자를 보여준다.
본 발명은 이동 VT 애플리케이션의 사용을 증가시키는 방법 및 비디오 전화에서 사용될 때 무결성 문제(integrity issue)를 처리할 수 있는 방법에 관한 것이다.
그러므로, 적어도 하나는 실시간 스트림인 두 개의 별도의 입력 스트림을 기초로 하는 출력 미디어 스트림을 제공할 수 방법 및 장치가 필요로 된다.
그러므로, 본 발명은 휴대용 통신 장치로부터 송신되는 실시간 동기화된 출력 미디어 스트림을 제공하는 문제를 해결하는 것에 관한 것이며, 여기서, 상기 출력 미디어 스트림은 제1(실시간) 미디어 스트림과 제2 미디어 스트림의 믹스쳐(mixture)이다.
이것은 이동 통신 장치에서 제1 미디어 스트림을 실시간으로 발생시키고, 출력 미디어 스트림을 형성하기 위하여 상기 제1 미디어 스트림을 제2 미디어 스트림과 실시간으로 결합하는 것을 제공함으로써 달성된다.
본 발명의 하나의 목적은 제1 실시간 미디어 스트림과 제2 미디어 스트림으로 이루어진 실시간 출력 미디어 스트림을 형성하는 방법을 제공하는 것이다.
본 발명의 제1 양상에 따르면, 이 목적은 통신 세션 동안 휴대용 통신 장치로부터 송신되며, 제1 형태의 신호를 포함하는 출력 미디어 스트림을 형성하는 방법에 의해 달성되며, 상기 방법은:
상기 휴대용 통신 장치에서 제1 미디어 스트림을 실시간으로 발생시키는 단계, 및
출력 미디어 스트림을 형성하기 위하여 상기 제1 미디어 스트림을 제2 미디어 스트림과 실시간으로 결합하는 단계를 포함한다.
본 발명의 제2 양상은 제1 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 출력 미디어 스트림은 제2 형태의 신호를 포함한다.
본 발명의 제3 양상은 제1 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 출력 미디어 스트림을 송신하는 단계를 더 포함한다.
본 발명의 제4 양상은 제1 양상의 특성을 포함하는 방법에 관한 것으로서, 다른 장치와의 접속을 설정하는 단계를 더 포함한다.
본 발명의 제5 양상은 제4 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 접속은 회선 교환 접속이다.
본 발명의 제6 양상은 제1 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 단계들 중 하나 이상은 상기 휴대용 통신 장치의 사용자로부터의 입력 데이터에 따른다.
본 발명의 제7 양상은 제1 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 결합 단계는 상기 제1 미디어 스트림으로부터의 제1 형태의 신호를 상기 제2 미디어 스트림으로부터의 제2 형태의 신호와 결합하는 단계를 포함한다.
본 발명의 제8 양상은 제1 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 결합 단계는 상기 제1 미디어 스트림으로부터의 제1 형태의 신호를 상기 제2 미디어 스트림으로부터의 제1 형태의 신호와 결합하는 단계를 포함한다.
본 발명의 제9 양상은 제8 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 결합 단계는 상기 제1 미디어 스트림으로부터의 제2 형태의 신호를 상기 제2 미디어 스트림으로부터의 신호와 결합하는 단계를 더 포함한다.
본 발명의 제10 양상은 제8 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 결합 단계는 상기 제1 미디어 스트림으로부터의 신호를 상기 제2 미디어 스트림으로부터의 제2 형태의 신호와 결합하는 단계를 더 포함한다.
본 발명의 제11 양상은 제10 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 결합 단계는 상기 제1 미디어 스트림으로부터의 제2 형태의 신호를 상기 제2 미디어 스트림으로부터의 신호와 결합하는 단계를 더 포함한다.
본 발명의 제12 양상은 제11 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 결합 단계는:
상기 출력 미디어 스트림 내에서 상기 제2 미디어 스트림으로부터 동기화된 신호를 제공하기 위하여, 결합 이전에, 상기 제2 미디어 스트림의 한 형태의 신호를 동일한 스트림의 다른 형태의 신호와 관련하여 지연시키는 단계를 더 포함한다.
본 발명의 제13 양상은 제10 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 결합 단계는 제1 형태의 신호 및 제2 형태의 신호를 독립적으로 결합하는 단계를 더 포함한다.
본 발명의 제14 양상은 제9 양상 또는 제11 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 결합 단계는 상기 출력 미디어 스트림 내에서 상기 제1 미디어 스트림으로부터의 동기화된 신호를 제공하기 위하여, 상기 출력 미디어 스트림 내의 한 형태의 신호를 동일한 스트림의 다른 형태의 신호와 관련하여 지연시키는 단계를 더 포함한다.
본 발명의 제15 양상은 제9 양상의 특성을 포함하는 방법에 관한 것으로서, 제1 형태의 신호가 오디오 신호인 상기 신호 결합 단계는 상기 제1 형태의 신호들을 중첩시키는 단계를 더 포함한다.
본 발명의 제16 양상은 제15 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 중첩 단계는 상기 제1 미디어 스트림 및 상기 제2 미디어 스트림으로부터의 오디오 신호의 가중 특성을 포함한다.
본 발명의 제17 양상은 제9 양상의 특성을 포함하는 방법에 관한 것으로서, 제1 형태의 신호가 이미지 신호인 상기 신호 결합 단계는 제1 형태의 신호들을 혼합하는 단계를 더 포함한다.
본 발명의 제18 양상은 제17 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 혼합 단계는 상기 제1 미디어 스트림 및 상기 제2 미디어 스트림으로부터의 이미지 신호의 가중 특성을 포함한다.
본 발명의 제19 양상은 제16 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 가중 특성은 상기 제1 미디어 스트림으로부터의 신호의 비율을 상기 제2 미디어 스트림으로부터의 신호의 비율과 관련하여 변화시키는 것을 포함한다.
본 발명의 제20 양상은 제19 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 가중 특성은 상기 휴대용 통신 장치의 사용자의 입력 데이터에 따른다.
본 발명의 제21 양상은 제19 양상의 특성을 포함하는 방법에 관한 것으로서, 상기 비율을 변화시키는 것은 0과 100% 사이의 범위 내에서 각각의 비율을 변화시키는 것을 포함한다.
본 발명의 다른 목적은 제1 실시간 미디어 스트림 및 제2 미디어 스트림으로 이루어진 실시간 출력 미디어 스트림을 형성하는 휴대용 통신 장치를 제공하는 것이다.
본 발명의 제22 양상에 따르면, 이 목적은 통신 세션 동안 휴대용 통신 장치로부터 송신되며, 제1 형태의 신호를 포함하는 출력 미디어 스트림을 형성하는 휴대용 통신 장치에 의해 달성되며, 상기 휴대용 통신 장치는:
실시간으로 제1 미디어 스트림을 발생시키기 위하여 제공되는 발생 유닛,
상기 발생 유닛에 접속되며, 상기 제1 미디어 스트림을 제2 미디어 스트림과 실시간으로 결합하기 위하여 제공되는 제1 결합 유닛, 및
상기 발생 유닛 및 상기 결합 유닛을 제어하는 제어 유닛을 포함한다.
본 발명의 제23 양상은 통신 세션 동안 상기 휴대용 통신 장치로부터 송신되는 출력 미디어 스트림을 형성하는 제22 양상의 특성을 포함하는 휴대용 통신 장치에 관한 것으로서, 상기 제1 결합 유닛은 상기 제1 및 제2 미디어 스트림 둘 모두의 제1 형태 신호들을 결합하기 위하여 제공되며, 상기 출력 미디어 스트림은 제1 형태 및 제2 형태를 포함하며, 상기 휴대용 장치는:
상기 제1 및 제2 형태의 신호들을 포함하는 출력 미디어 스트림을 제공하기 위하여 상기 제1 미디어 스트림의 제2 형태의 신호와 상기 제2 미디어 스트림의 제2 형태의 신호를 결합하는 제2 결합 유닛을 더 포함한다.
본 발명의 제24 양상은 제22 양상의 특성을 포함하는 휴대용 통신 장치에 관한 것으로서:
상기 제2 미디어 스트림에 대한 저장을 제공하는 메모리 유닛을 더 포함한다.
본 발명의 제25 양상은 제22 양상의 특성을 포함하는 휴대용 통신 장치에 관한 것으로서:
상기 발생 유닛 및 모든 결합 유닛이 사용자 입력에 따라 제어되도록 상기 제어 유닛에 접속되며 사용자 입력을 제공하는 사용자 입력 인터페이스를 더 포함한다.
본 발명의 제26 양상은 제23 양상의 특성을 포함하는 휴대용 통신 장치에 관한 것으로서:
상기 출력 미디어 스트림 내에서, 상기 제1 미디어 스트림으로부터의 한 형태의 신호의 동일한 제1 미디어 스트림으로부터의 다른 형태의 신호와 관련된 동기화를 제공하는 멀티플렉싱 유닛(220)을 더 포함한다.
본 발명의 제27 양상은 제23 양상의 특성을 포함하는 휴대용 통신 장치에 관한 것으로서:
상기 출력 미디어 스트림 내에서 동기화된 신호를 제공하는 지연 유닛을 더 포함한다.
본 발명의 제28 양상은 제27 양상의 특성을 포함하는 휴대용 통신 장치에 관한 것으로서, 상기 지연 유닛은 상기 제1 스트림과 결합하기 이전에, 상기 제2 미디어 스트림으로부터의 신호들의 동기화를 제공한다.
본 발명의 제29 양상은 제28 양상의 특성을 포함하는 휴대용 통신 장치에 관한 것으로서, 상기 지연 유닛은 한 형태의 신호의 동일한 제2 미디어 스트림으로부터의 다른 형태의 신호와 관련된 동기화를 제공한다.
본 발명은 제1 실시간 미디어 스트림이 제2 미디어 스트림과 결합되는 출력 미디어 스트림을 제공한다. 이것은 예를 들어, 다수의 상이한 매력적인 기능을 제공하는 다수의 방식에서 두 개의 미디어 스트림이 결합될 수 있다는 장점을 갖는다.
이동 장치의 사용자는 통신 당사자에게 비디오 카메라 이미지를 개별적으로 송신하는 대신에, 상기 미리-기록된 비디오를 실시간 음성 또는 오디오 정보와 믹싱하면서, 미리-기록된 비디오 또는 사운드를 송신하여 사용자가 실제로 자신이 있는 다른 장소에 위치되어 있다는 것을 통신 당사자에게 인식시킨다. 이와 같은 효과는 또한 사용자의 얼굴과 같은 이동하는 이미지 정보를 상기 미리-기록된 비디오 내로 믹싱함으로써 강화될 수 있다.
비디오 전화 호출을 수신시에, 사용자는 자신의 카메라로부터 실시간 비디오 카메라 이미지를 호출자에게 송신하는 대신에, 메모리 내에 저장된 이동 또는 정지 픽처(picture)를 포함하는 미리-기록된 비디오 응답 메시지를 재생하도록 결정하여 이동 비디오 응답 기계를 제공하도록 한다.
대화 동안, 통신 장치의 사용자는 VT-세션의 출력 미디어 스트림에서 콘텐트 정보를 제공함으로써 비디오 또는 정지 이미지와 같은 콘텐트 정보를 즉시 공유할 수 있다. 그러므로 이것은 동시 멀티미디어가 가능하도록 사용될 수 있다.
다른 예는 감소된 광고 요금에 대한 자격을 부여하는, VT 세션의 시작 동안 광고를 포함할 수 있는 미리-기록된 비디오 파일을 송신하는 것을 사용하는 것이다.
본 명세서에서 사용될 때의 "포함한다/포함하는"이라는 용어는 서술된 특성, 정수, 단계 또는 구성요소의 존재를 규정하기 위하여 사용된 것이지, 하나 이상의 다른 특성, 정수, 단계, 구성요소 또는 그 그룹의 존재 또는 부가를 배제하고자 하는 것이 아니라는 것이 강조되어야만 한다.
본 발명은 이제 첨부된 도면과 관련하여 보다 상세히 서술될 것이다.
도1은 휴대용 통신 장치로부터 송신되는 동기화된 출력 미디어 스트림을 실시간에 제공하는 방법을 도시한 도면으로서, 상기 출력 미디어 스트림은 제1 실시간 미디어 스트림과 제2 미디어 스트림의 믹스쳐(mixture)이다.
도2는 도1의 방법에 따라 발생되는 동기화된 출력 미디어 스트림을 제공하는 휴대용 통신 장치를 도시한 도면이다.
본 발명은 통신 세션 동안 휴대용 통신 장치로부터 송신되는 동기화된 출력 미디어 스트림을 형성하는 것에 관한 것이다.
이러한 바람직한 실시예에 따른 특성은 통신 장치의 3G-324M 애플리케이션에서 이용 가능할 것이다. 이것을 달성하기 위하여, H.245 프로토콜의 유연성은 갱신된 SW/HW 구조와 함께 사용될 것이다.
본 발명에 따른 휴대용 통신 장치로부터 송신되는 동기화된 출력 미디어 스트림을 실시간에 제공하는 방법 및 휴대용 통신 장치를 각각 도시하는 도1과 2가 참조될 것이다.
이러한 바람직한 실시예에 따르면, 상기 방법은 단계(102)에서, 휴대용 통신 장치(200)와 다른 통신 장치 사이의 접속을 설정함으로써 시작되며, 이것에 의해 휴대용 통신 장치의 사용자는 VT 통신 세션을 설정할 것이다. 이것은 제어 유닛(204)이 송신 장치(222)가 다른 장치와의 VT-세션을 설정하도록 하는 선택에 기초하여, 사용자 입력 인터페이스(202)를 통하여 VT-세션을 사용자가 선택함으로써 행해진다. 그리고 나서, 단계(104)에서, 오디오 및 이미지 정보, 즉, 제1 및 제2 형태의 신호 둘 모두를 갖는 제1 미디어 스트림의 발생이 제어 유닛(204)에 의해 둘 모두가 제어되는 오디오 발생 유닛(206) 및 이미지 발생 유닛(208)에 의해 수행된다. 이것은 이미지 발생 유닛(208)에 포함된 카메라를 통한 기록 이미지 및 오디오 발생 유닛(206) 내에 포함된 마이크로폰을 통한 오디오를 통하여 행해진다.
이 실시예에 따르면, 제1 미디어 스트림은 오디오 및 이미지 정보 둘 모두를 포함한다. 이제, 단계(106)에서 제2 미디어 스트림을 제공하는 것은 메모리 유닛(210)으로부터 상기 미디어 스트림을 획득함으로써 수행된다. 또한, 이것은 사용자 입력에 따른 제어 유닛의 제어를 통하여 행해진다. 이 메모리 유닛은 이러한 바람직한 실시예에서, 휴대용 통신 장치(200)에 포함되는 내부 메모리이다. 제2 미디어 스트림이 멀티플렉싱된 오디오 및 이미지 정보를 포함하기 때문에, 이러한 스트림은 이러한 두 가지 형태의 신호로 디멀티플렉싱된다. 이것은 디멀티플렉싱 유닛(212)에서 수행된다. 디멀티플렉싱 유닛(212)은 이러한 바람직한 실시예에 따른 믹싱에 적절한 포맷을 획득하기 위하여 이미지 포맷의 디코딩을 수행한다. 적절한 포맷은 예를 들어, YUV 포맷이다. 이러한 디멀티플렉싱 유닛(212)은 또한 오디오 정보를 적절한 포맷으로 디코딩한다. 이러한 오디오 포맷은 예를 들어, PCM 포맷이다. 디멀티플렉싱 유닛(212)은 또한 결합 유닛(216 및 218)에서 동일한 형태의 정보를 결합하는 단계를 용이하게 하기 위하여 오디오 및/또는 이미지 정보의 비트-레이트를 변환하는 비트-레이트 변환 성능을 갖는다. 제1 및 제2 미디어 스트림은 이제 오디오 및 이미지 정보를 각각 포함하는 디코딩되는 분리된 형태의 신호를 포함한다.
본 발명에 따른, 상술된 상이한 신호 형태의 디멀티플렉싱 및 디코딩은 상이한 양의 시간을 소모한다. 이러한 바람직한 실시예에서, 이미지 프로세싱 경로는 일반적인 경우에 오디오 프로세싱 경로보다 더 많은 시간을 필요로 한다. 제2 스트림으로부터 동기화된 오디오 및 이미지 정보를 포함하는 그 다음 출력 미디어 스트림을 획득하기 위하여, 단계(108)에서, 이러한 제2 스트림으로부터의 오디오 정보는 지연 유닛(214)에 의해 지연을 겪게 된다. 사용된 지연의 양은 또한 상이한 프 로세싱 단계의 시간의 차이에 기초하여 제어 유닛에 의해 결정된다. 그러나, 사용된 지연의 양은 또한 제1 미디어 스트림의 오디오와 이미지 정보 사이의 임의의 시간차에 따른다. 그러므로, 제2 미디어 스트림에 영향을 주는 지연 유닛(214)은 출력 미디어 스트림에 영향을 주는 멀티플렉싱 유닛(220)에 의한 그 다음 동기화의 부분을 보상해야만 하며, 상기 부분은 제1 미디어 스트림 내의 오디오와 이미지 정보 사이의 임의의 타이밍 차이에 기인한다.
분리된 형태의 정보, 즉, 오디오 및 이미지는 이제 결합을 겪게 된다. 단계(110)에서, 양 스트림으로부터의 오디오 정보가 제1 결합 유닛(216: 또는 제1 믹싱 유닛)에 의해 결합된다. 단계(112)에서 제2 결합 유닛(218: 또는 제2 믹싱 유닛)이 마찬가지로 양 스트림으로부터의 이미지 정보를 결합한다. 오디오 정보의 결합은 제1 스트림의 오디오 정보를 제2 스트림의 오디오 정보 상에 중첩함으로써 수행된다. 이러한 결합은 또한 제1 스트림으로부터의 오디오 정보 및 제2 스트림으로부터의 오디오 정보의 특성들을 가중시키는 것을 포함한다. 이것은 하나의 스트림으로부터의 오디오 정보의 비율을 다른 스트림으로부터의 오디오 정보의 비율과 관련하여 변화시키는 것을 포함한다.
본 발명의 이러한 바람직한 실시예에 따르면, 제1 결합 유닛(216)은 결합된 오디오 정보를 AMR과 같은 적절한 포맷으로 코딩하는 것을 포함한다.
이미지 정보의 경우에, 결합 유닛(218)은 당업자들에게 널리 공지되어 있으므로 본원에서 더 논의되지 않는 소위 α-혼합(α-blending)이라 칭하는 프로세스에 의해 제1 스트림으로부터 이미지 정보를 제2 스트림으로부터의 이미지 정보와 결합한다. 그러나, 이미지 정보의 이러한 결합은 제1 스트림 및 제2 스트림으로부 터의 이미지 정보의 특성들을 가중시키는 것을 포함한다. 제 결합 유닛(216)에 의한 오디오 정보의 결합과 마찬가지로, 제2 결합 유닛(218) 내에서의 특성들을 가중시키는 것은 하나의 스트림으로부터의 이미지 정보의 비율을 다른 스트림으로부터의 이미지 정보의 비율과 관련하여 변화시키는 것을 포함한다.
오디오 및 이미지 정보의 특성들을 가중시키는 것은 사용자 입력 인터페이스(202)를 통하여 사용자로부터 획득된 사용자 입력 데이터에 따른다.
또한, 상기 바람직한 실시예에 따르면, 제2 결합 유닛(218)은 결합된 이미지 정보를 MPEG-4와 같은 적절한 포맷으로 코딩하는 것을 포함한다.
단계(114)에서, 두 개의 상이한 스트림으로부터 동일한 형태의 정보를 결합하는 단계가 이제 멀티플렉싱 유닛(220)에 의해 출력 미디어 스트림을 형성함으로써 다음에 수행된다.
이러한 멀티플렉싱 유닛(220)은 또한 제1 미디어 스트림으로부터의 두 형태의 정보들 사이의 내부 동기화를 달성하기 위하여, 즉, 이 스트림으로부터의 이미지 정보와 오디오를 동기화시키기 위하여, 동기화 성능을 포함한다. 이러한 동기화는 제1 스트림 내의 오디오 정보와 이미지 정보 사이의 임의의 시간차를 고려한다. 그러나, 이것은 또한 오디오 정보가 한편의 결합 유닛을 통과하는데 필요로 되는 시간, 및 이미지 정보가 다른 편의 결합 유닛을 통과하는데 필요로 되는 시간 사이의 임의의 시간 차를 중요시한다. 이러한 필요로 되는 지속기간은 전형적으로 결합ㅎ되는 미디어 스트림 내의 오디오 및/또는 이미지 정보의 존재에 따를 것이다.
제1 미디어 스트림으로부터의 정보 및 제2 스트림으로부터의 동기화된 정보 를 포함한 출력 미디어 스트림을 형성시에, 이러한 결합되는 멀티플렉싱된 출력 스트림은 단계(116)에서, 송신 유닛(22)에 의한 실시간 송신을 겪게 된다.
도2에 도시된 바와 같은 휴대용 통신 장치를 참조하면, 제어 유닛(204)은 사용자 입력 데이터 인터페이스(202)를 통하여 사용자 입력 데이터를 수신시에, 모든 다른 수행 유닛을 제어하기 위하여, 모든 다른 수행 유닛에 접속된다는 것이 도시되어 있다. 단계(104)의 제1 미디어 스트림 발생 단계, 단계(106)의 제2 미디어 스트림을 제공 단계, 단계(110)의 오디오 정보 결합 단계는 단계 및 단계(112)의 이미지 정보 결합 단계는 사용자 입력 데이터를 필요로 한다.
또한, 정확한 형태의 정보, 오디오 또는 이미지 정보 중 하나를 지연시키기 위하여, 제2 결합 유닛(212)과 제어 유닛(204) 사이에 피드백 시그널링이 포함되어 지연 유닛(214)에서 정확한 형태의 정보가 겪는 지연을 조정하도록 한다.
본 발명은 예를 들어 많은 방식으로 변화될 수 있다:
제1 미디어 스트림은 단지 이미지 정보만을 포함하거나, 단지 오디오 정보만을 포함하거나 또는 이들의 조합을 포함할 수 있다. 또한, 제2 미디어 스트림은 단지 이미지 정보만을 포함하거나, 단지 오디오 정보만을 포함하거나 또는 이들의 조합을 포함할 수 있다. 제1 및 제2 미디어 스트림의 모든 이러한 상이한 변형이 결합될 수 있다. 메모리 유닛은 장치에 고정되거나, 메모리 스틱 또는 휴대용 통신 장치에 접속 가능하거나 삽입 가능한 다른 메모리 유닛과 같이 용이하게 교체 가능한 유닛일 수 있다.
또한, 이미지 정보는 이동 픽처, 또는 정지 픽처 및 이동 픽처 둘 모두의 결 합으로서 제1 및 제2 스트림 내에 제공될 수 있다.
제2 미디어 스트림으로부터의 오디오 정보의 프로세싱은 동일한 스트림으로부터의 이미지 정보의 프로세싱보다 더 시간을 소모할 수 있고, 이것은 동기화된 정보를 포함하는 출력 미디어 스트림을 획득하기 위하여 제2 스트림의 이미지 정보가 오디오 정보와 관련하여 지연될 필요가 있다는 것을 의미한다.
또한, 제2 미디어 스트림은 상당히 많은 상이한 코드 중 어느 하나를 사용함으로써 코딩된 오디오 및 이미지 정보를 포함할 수 있다. 또한, 제1 및 제2 결합 유닛은 중첩된 오디오 정보 및 혼합된 이미지 정보를 상당히 많은 상이한 포맷으로 인코딩하기 위한 코딩 성능을 가질 수 있다.
다른 실시예에 따르면, 제1 미디어 스트림은 단일 미디어 스트림 발생 유닛으로부터 단일 멀티플렉싱된 제1 미디어 스트림으로서 제공된다. 이 경우에, 오디오 정보 및 이미지 정보를 개별적으로 결합하는 단계 이전에, 이러한 멀티플렉싱된 미디어 스트림을 디멀티플렉싱하기 위하여 부가적인 유닛, 즉, 디멀티플렉싱 유닛이 필요로 된다.
다른 가능한 변형은 상기 방법에 따른 단계를 상이한 순서로 실행하는 것이다.
두 개 이상의 미디어 스트림으로부터 출력 미디어 스트림을 형성하는 것 뿐만 아니라, 두 개 이상의 상이한 형태의 정보를 갖는 출력 미디어 스트림을 형성하는 것이 또한 가능하다. 멀티미디어 스트림으로부터 정보를 결합함으로써 출력 미디어 스트림을 형성하는 것이 더 가능하다.
본 발명의 또 다른 실시예에 따르면, 제1 및 제2 실시간 미디어 스트림이 결 합된다. 이 경우에, 제2 미디어 스트림은 휴대용 통신 장치에 실시간으로 제공된다. 이러한 실시예의 일례는 에를 들어, 휴대용 장치의 정면에 장착된 카메라로부터의 하나의 실시간 미디어 스트림을 예를 들어, 동일한 휴대용 장치의 배면에 장착된 카메라로부터의 다른 실시간 미디어 스트림과 결합하는 것이다. 사람의 손 내의 휴대용 장치를 두 개의 카메라가 상이하거나 반대의 방향으로 지향된 채, 예를 들어, 관광지 정면에 팔을 뻗치고 서있는 채로 유지하면 사람이 자신의 오디오 및 이미지 정보를 포함하는 미디어 스트림을 자신의 현재 장소, 즉, 관광지의 오디오 및 이미지를 포함하는 제2 스트림과 결합하는 것이 가능해진다. 그러므로, 도움을 위하여 타인을 찾아낼 필요 없이, 오디오 및 이미지 정보를 포함하는 실시간 스트림 내에 자신을 포함시키는 것이 용이하고 편리하다.
그러므로, 본 발명에 의하여, 제1 미디어 스트림을 제2 미디어 스트림과 믹싱함으로써 실시간 출력 미디어 스트림을 형성하는 방법 및 장치가 서술되었다.
미디어 스트림의 믹싱을 제공하면 예를 들어, 다수의 매력적인 기능이 제공된다.
이동 장치의 사용자는 통신 당사자에게 비디오 카메라 이미지를 개별적으로 송신하는 대신에, 상기 미리-기록된 비디오를 음성 또는 오디오 정보와 믹싱하면서 미리-기록된 비디오 또는 사운드를 송신할 수 있다. 이러한 믹싱이 "활동중에" 실시간으로 수행되기 때문에, 수신 당사자는 예를 들어, 호화로운 휴양지와 같이, 사용자가 실제로 있는 것보다 다른 장소에 있다는 인상을 받을 수 있다.
이러한 효과는 사용자의 얼굴과 같은 이동하는 이미지 정보를 상기 미리-기 록된 비디오와 믹싱함으로써 더 강화될 수 있다.
이것은 또한 다른 상황, 예를 들어, 통신 당사자가 보안상의 이유로 그 장소를 보는 것이 허용되지 않을 때, 적용 가능하다.
비디오 전화 호출을 수신시에, 사용자는 자신의 카메라로부터 호출 당사자로 비디오 카메라 이미지를 실시간으로 송신하는 대신에, 메모리에 저장된 이동 또는 정지 픽처를 포함하는 미리-기록된 비디오 응답 메시지를 재생하도록 결정할 수 있다. 그러므로, 이 특성은 이동 비디오 응답 기계로서 사용될 수 있다. 이것은 VT 호출에 응답할 때 사용자가 자신의 라이브 비디오 카메라를 턴 온하는 것을 희망하지 않을 수 있지만, 호출 당사자로부터 픽처를 수신할 가능성을 여전히 가질 수 있기 때문에 유용할 수 있다.
대화 동안, 통신 장치의 사용자는 비디오 또는 정지 이미지와 같은 콘텐트 정보를 미디어 파일을 교환하는 베어러로서 즉시 공유할 수 있어서, 동시적인 멀티미디어를 허용한다.
VT-세션의 시작 동안 광고를 포함할 수 있는 미리-기록된 비디오 파일을 송신하는 것은 감소된 통신 요금에 대한 자격을 부여한다.

Claims (30)

  1. 통신 세션 동안 휴대용 통신 장치로부터 송신되며, 제1 및 제2 형태의 신호를 포함하는 출력 미디어 스트림을 형성하는 방법으로서:
    제1 및 제2 형태의 신호를 갖는 제1 미디어 스트림을 상기 휴대용 통신 장치에서 실시간으로 발생시키는 단계(104)와,
    제1 미디어 스트림으로부터의 제1 형태의 신호와, 제2 미디어 스트림으로부터의 제1 형태의 신호를 실시간으로 믹싱하는 단계(110)와,
    제1 미디어 스트림으로부터의 제2 형태의 신호와, 제2 미디어 스트림으로부터의 제2 형태의 신호를 실시간으로 믹싱하는 단계(112)와,
    상기 출력 미디어 스트림을 형성하기 위하여, 제1 형태의 믹싱된 신호와 제2 형태의 믹싱된 신호를 멀티플렉싱하는 단계(114)를 포함하는, 출력 미디어 스트림 형성 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 출력 미디어 스트림을 송신하는 단계(116)를 더 포함하는 것을 특징으로 하는 출력 미디어 스트림 형성 방법.
  4. 제1항에 있어서, 다른 장치와의 접속을 설정하는 단계(102)를 더 포함하는 것을 특징으로 하는 출력 미디어 스트림 형성 방법.
  5. 제4항에 있어서, 상기 접속은 회선 교환 접속인 것을 특징으로 하는 출력 미 디어 스트림 형성 방법.
  6. 제1항, 제3항 내지 5항 중 어느 한 항에 있어서, 상기 단계들 중 하나 이상은 상기 휴대용 통신 장치의 사용자로부터의 입력 데이터에 따르는 것을 특징으로 하는 출력 미디어 스트림 형성 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제1항에 있어서, 상기 믹싱 단계는:
    출력 미디어 스트림 내에서 상기 제2 미디어 스트림으로부터 동기화된 신호를 제공하기 위하여, 믹싱 이전에, 상기 제2 미디어 스트림의 한 형태의 신호를 동일한 스트림의 다른 형태의 신호와 관련하여 지연시키는 단계(108)를 더 포함하는 것을 특징으로 하는 출력 미디어 스트림 형성 방법.
  13. 제1항에 있어서, 상기 믹싱 단계는 제1 형태의 신호 및 제2 형태의 신호를 독립적으로 믹싱하는 단계(110 및 112)를 더 포함하는 것을 특징으로 하는 출력 미디어 스트림 형성 방법.
  14. 제1항에 있어서, 상기 믹싱 단계는 출력 미디어 스트림 내에서 상기 제1 미디어 스트림으로부터의 동기화된 신호를 제공하기 위하여, 상기 출력 미디어 스트림 내의 한 형태의 신호를 동일한 스트림의 다른 형태의 신호와 관련하여 지연시키는 단계를 더 포함하는 것을 특징으로 하는 출력 미디어 스트림 형성 방법.
  15. 제1항에 있어서, 제1 형태의 신호가 오디오 신호인 상기 신호 믹싱 단계는 상기 제1 형태의 신호들을 중첩시키는 단계를 더 포함하는 것을 특징으로 하는 출력 미디어 스트림 형성 방법.
  16. 제15항에 있어서, 상기 중첩 단계는 상기 제1 미디어 스트림 및 상기 제2 미디어 스트림으로부터의 오디오 신호의 가중 특성을 포함하는 것을 특징으로 하는 출력 미디어 스트림 형성 방법.
  17. 제1항에 있어서, 제1 형태의 신호가 이미지 신호인 상기 신호 믹싱 단계는 제1 형태의 신호들을 혼합하는 단계를 더 포함하는 것을 특징으로 하는 출력 미디어 스트림 형성 방법.
  18. 제17항에 있어서, 상기 혼합 단계는 상기 제1 미디어 스트림 및 상기 제2 미디어 스트림으로부터의 이미지 신호의 가중 특성을 포함하는 것을 특징으로 하는 출력 미디어 스트림 형성 방법.
  19. 제16항 또는 제18항에 있어서, 상기 가중 특성은 상기 제1 미디어 스트림으로부터의 신호의 비율을 상기 제2 미디어 스트림으로부터의 신호의 비율과 관련하여 변화시키는 것을 포함하는 것을 특징으로 하는 출력 미디어 스트림 형성 방법.
  20. 제19항에 있어서, 상기 가중 특성은 상기 휴대용 통신 장치의 사용자의 입력 데이터에 따르는 것을 특징으로 하는 출력 미디어 스트림 형성 방법.
  21. 제19항에 있어서, 상기 비율을 변화시키는 것은 0과 100% 사이의 범위 내에서 각각의 비율을 변화시키는 것을 포함하는 것을 특징으로 하는 출력 미디어 스트림 형성 방법.
  22. 통신 세션 동안 휴대용 통신 장치로부터 송신되며, 제1 및 제2 형태의 신호를 포함하는 출력 미디어 스트림을 형성하는 휴대용 통신 장치로서:
    제1 및 제2 형태의 신호를 갖는 제1 미디어 스트림을 발생시키기 위하여 제공되는 하나 이상의 발생 유닛(206, 208)과,
    사용자 입력에 독립적으로 발생 유닛을 제어하는 제어 유닛(204)과,
    제1 미디어 스트림으로부터의 제1 형태의 신호와, 제2 미디어 스트림으로부터의 제1 형태의 신호를 실시간으로 믹싱하기 위해 제공되고, 상기 발생 유닛에 접속되는 제1 믹싱 유닛(216)과,
    제1 미디어 스트림의 제2 형태의 신호와, 제2 미디어 스트림의 제2 형태의 신호를 믹싱하는 위한 제2 믹싱 유닛(218)과,
    출력 미디어 스트림을 형성하기 위하여, 제1 형태의 믹싱된 신호와 제2 형태의 믹싱된 신호를 멀티플렉싱하기 위한 멀티플렉싱 유닛(220)을 포함하는, 출력 미디어 스트림을 형성하는 휴대용 통신 장치
  23. 삭제
  24. 제22항에 있어서, 상기 제2 미디어 스트림에 대한 저장을 제공하는 메모리 유닛(210)을 더 포함하는 것을 특징으로 하는 출력 미디어 스트림을 형성하는 휴대용 통신 장치.
  25. 제22항 또는 제24항에 있어서, 사용자 입력을 제공하는 사용자 입력 인터페이스(202)를 더 포함하는 것을 특징으로 하는 출력 미디어 스트림을 형성하는 휴대용 통신 장치.
  26. 제22항에 있어서, 상기 장치는:
    상기 출력 미디어 스트림 내에서, 상기 제1 미디어 스트림으로부터의 한 형태의 신호의, 동일한 제1 미디어 스트림으로부터의 다른 형태의 신호와 관련된 동기화를 제공하는 멀티플렉싱 유닛을 더 포함하는 것을 특징으로 하는 출력 미디어 스트림을 형성하는 휴대용 통신 장치.
  27. 제22항 또는 제24항에 있어서, 상기 출력 미디어 스트림 내에서 동기화된 신호를 제공하는 지연 유닛(214)을 더 포함하는 것을 특징으로 하는 출력 미디어 스트림을 형성하는 휴대용 통신 장치.
  28. 제27항에 있어서, 상기 지연 유닛(214)은 상기 제1 스트림과 믹싱하기 이전에, 상기 제2 미디어 스트림으로부터의 신호들의 동기화를 제공하는 것을 특징으로 하는 출력 미디어 스트림을 형성하는 휴대용 통신 장치.
  29. 제28항에 있어서, 상기 지연 유닛(214)은 한 형태의 신호의 동일한 제2 미디어 스트림으로부터의 다른 형태의 신호와 관련된 동기화를 제공하는 것을 특징으로 하는 출력 미디어 스트림을 형성하는 휴대용 통신 장치.
  30. 제1항에 있어서, 제1 미디어 스트림은 휴대용 통신 장치 내의 제1 카메라의 사용시에 실시간으로 발생하고, 제2 미디어 스트림은 휴대용 통신 장치 내의 제2 카메라의 사용 시에 실시간으로 발생하며, 제1 및 제2 카메라는 다른 방향으로 지향된 것을 특징으로 하는 출력 미디어 스트림 형성 방법.
KR1020057023322A 2003-06-19 2004-06-09 미디어 스트림 믹싱 KR101130413B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP03013877.0 2003-06-19
EP03013877A EP1489823B1 (en) 2003-06-19 2003-06-19 Media stream mixing
US48087403P 2003-06-24 2003-06-24
US60/480,874 2003-06-24
PCT/EP2004/006226 WO2005004450A1 (en) 2003-06-19 2004-06-09 Media stream mixing

Publications (2)

Publication Number Publication Date
KR20060013685A KR20060013685A (ko) 2006-02-13
KR101130413B1 true KR101130413B1 (ko) 2012-03-27

Family

ID=33566313

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057023322A KR101130413B1 (ko) 2003-06-19 2004-06-09 미디어 스트림 믹싱

Country Status (4)

Country Link
US (1) US7907638B2 (ko)
JP (1) JP5026785B2 (ko)
KR (1) KR101130413B1 (ko)
WO (1) WO2005004450A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092735B2 (en) * 2002-03-22 2006-08-15 Osann Jr Robert Video-voicemail solution for wireless communication devices
US7489925B2 (en) * 2004-07-01 2009-02-10 Scenera Technologies, Llc Method and apparatus for automatically sending a captured image to a phone call participant
EP1631105A1 (en) * 2004-08-25 2006-03-01 Sony Ericsson Mobile Communications AB Electronic equipment for a wireless communication system to transmit and receive information content during ongoing communication
US7376699B2 (en) * 2004-12-02 2008-05-20 Scenera Technologies, Llc System and method for sending an image from a communication device
US20070077784A1 (en) * 2005-08-01 2007-04-05 Universal Electronics Inc. System and method for accessing a user interface via a secondary device
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US7701972B1 (en) 2006-03-31 2010-04-20 Verint Americas Inc. Internet protocol analyzing
US8204056B2 (en) 2006-03-31 2012-06-19 Verint Americas, Inc. Systems and methods for endpoint recording using a media application server
KR100810269B1 (ko) * 2006-04-18 2008-03-06 삼성전자주식회사 휴대 단말기 및 그 단말기의 화상 통화 서비스 수행 방법
US7966397B2 (en) 2006-06-30 2011-06-21 Verint Americas Inc. Distributive data capture
US7953750B1 (en) 2006-09-28 2011-05-31 Verint Americas, Inc. Systems and methods for storing and searching data in a customer center environment
US7899178B2 (en) 2006-09-29 2011-03-01 Verint Americas Inc. Recording invocation of communication sessions
US7570755B2 (en) * 2006-09-29 2009-08-04 Verint Americas Inc. Routine communication sessions for recording
US8401155B1 (en) 2008-05-23 2013-03-19 Verint Americas, Inc. Systems and methods for secure recording in a customer center environment
ES2313860B1 (es) * 2008-08-08 2010-03-16 Nilo Garcia Manchado Camara digital y procedimiento asociado.
KR101554643B1 (ko) * 2009-02-17 2015-09-21 삼성전자주식회사 이동통신 단말기에서 화상통화 시 자동으로 이모티콘을 전송하기 위한 장치 및 방법
US11238465B2 (en) 2009-08-26 2022-02-01 Consumeron, Llc System and method for remote acquisition and delivery of goods
US10628835B2 (en) 2011-10-11 2020-04-21 Consumeron, Llc System and method for remote acquisition and deliver of goods
US8874090B2 (en) 2010-04-07 2014-10-28 Apple Inc. Remote control operations in a video conference
TW201615008A (en) * 2014-10-09 2016-04-16 Kuo-Ching Chiang Portable device with recording transform module
US10089793B2 (en) 2016-09-02 2018-10-02 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
US9729820B1 (en) 2016-09-02 2017-08-08 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices
US10812700B2 (en) * 2017-11-02 2020-10-20 Arris Enterprises Llc Approach to live multi-camera streaming of events with hand-held cameras

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001031900A2 (en) 1999-10-26 2001-05-03 Pingtel Corporation Distributed communications network including one or more telephony communication devices having programmable functionality
US20010048463A1 (en) 2000-06-03 2001-12-06 Vesa Lunden Method and system for providing and transmitting alternative video data during interruptions in video transmissions

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5202761A (en) * 1984-11-26 1993-04-13 Cooper J Carl Audio synchronization apparatus
JP2651872B2 (ja) * 1989-09-28 1997-09-10 松下電器産業株式会社 Ｃｃｔｖシステム装置
DE69222479T2 (de) * 1991-07-15 1998-04-09 Hitachi Ltd Telekonferenzendstellengerät
JPH06209444A (ja) * 1992-04-29 1994-07-26 Canon Inf Syst Res Australia Pty Ltd マルチメディア装置
US5430496A (en) * 1992-04-29 1995-07-04 Canon Kabushiki Kaisha Portable video animation device for creating a real-time animated video by combining a real-time video signal with animation image data
EP0598295B1 (en) * 1992-11-17 1998-10-14 Matsushita Electric Industrial Co., Ltd. Video and audio signal multiplexing apparatus and separating apparatus
US5387943A (en) * 1992-12-21 1995-02-07 Tektronix, Inc. Semiautomatic lip sync recovery system
US5689641A (en) * 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US5570372A (en) * 1995-11-08 1996-10-29 Siemens Rolm Communications Inc. Multimedia communications with system-dependent adaptive delays
JP3554999B2 (ja) * 1996-03-08 2004-08-18 株式会社リコー 多地点テレビ会議システム
JPH09322078A (ja) * 1996-05-24 1997-12-12 Toko Inc 画像伝送装置
US6088360A (en) * 1996-05-31 2000-07-11 Broadband Networks Corporation Dynamic rate control technique for video multiplexer
US5953049A (en) * 1996-08-02 1999-09-14 Lucent Technologies Inc. Adaptive audio delay control for multimedia conferencing
JP3216534B2 (ja) * 1996-08-29 2001-10-09 三菱電機株式会社 多重化方法
US5822542A (en) * 1996-10-31 1998-10-13 Sensormatic Electronics Corporation Electronic and structural components of an intelligent video information management apparatus
JPH10257008A (ja) * 1997-03-12 1998-09-25 Nec Corp マルチプレクサ
US5982436A (en) * 1997-03-28 1999-11-09 Philips Electronics North America Corp. Method for seamless splicing in a video encoder
JPH10285457A (ja) * 1997-04-04 1998-10-23 Sony Corp 編集装置
US6259957B1 (en) * 1997-04-04 2001-07-10 Cirrus Logic, Inc. Circuits and methods for implementing audio Codecs and systems using the same
US6032130A (en) * 1997-10-22 2000-02-29 Video Road Digital Inc. Multimedia product catalog and electronic purchasing system
US6160570A (en) * 1998-04-20 2000-12-12 U.S. Philips Corporation Digital television system which selects images for display in a video sequence
DE69917489T2 (de) * 1998-11-09 2005-06-02 Broadcom Corp., Irvine Anzeigesystem zur mischung von graphischen daten und videodaten
US6853385B1 (en) * 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
FI109444B (fi) * 1999-01-11 2002-07-31 Nokia Corp Menetelmä ja järjestelmä datansiirtokanavien rinnakkaiskäyttöä varten
US6519283B1 (en) * 1999-01-25 2003-02-11 International Business Machines Corporation Integrated video processing system having multiple video sources and implementing picture-in-picture with on-screen display graphics
JP2000324463A (ja) * 1999-05-12 2000-11-24 Nec Corp テレビ会議システム
US6323893B1 (en) * 1999-10-27 2001-11-27 Tidenet, Inc. Portable conference center
US6778493B1 (en) * 2000-02-07 2004-08-17 Sharp Laboratories Of America, Inc. Real-time media content synchronization and transmission in packet network apparatus and method
JP4481444B2 (ja) * 2000-06-30 2010-06-16 株式会社東芝 画像符号化装置
JP3732722B2 (ja) * 2000-07-11 2006-01-11 フューシーズ株式会社 電話用情報重畳装置および電話機
JP2002064794A (ja) * 2000-08-18 2002-02-28 Sony Corp 多重化装置および方法、画像出力装置および方法、並びに記録媒体
US6912544B1 (en) * 2000-08-31 2005-06-28 Comverse Ltd. System and method for interleaving of material from database and customized audio-visual material
SE517245C2 (sv) * 2000-09-14 2002-05-14 Ericsson Telefon Ab L M Synkronisering av audio- och videosignaler
JP2002111998A (ja) * 2000-09-27 2002-04-12 Toshiba Corp 画像合成方法および情報処理装置
US7039178B2 (en) * 2000-10-19 2006-05-02 Qwest Communications International Inc. System and method for generating a simultaneous mixed audio output through a single output interface
AU2002230501A1 (en) * 2000-11-27 2002-06-03 Intellocity Usa, Inc. System and method for providing an omnimedia package
JP4320509B2 (ja) * 2000-11-30 2009-08-26 日本電気株式会社 映像再符号化装置および方法
JP3548521B2 (ja) * 2000-12-05 2004-07-28 Ｎｅｃマイクロシステム株式会社 半透明画像処理装置及び方法
US7006154B2 (en) * 2001-02-21 2006-02-28 Edmond Louis Dudkowski Portable system for live television signal editing
JP2002354436A (ja) * 2001-05-29 2002-12-06 Nec Corp テレビ電話装置
US6894715B2 (en) * 2001-06-16 2005-05-17 Eric Harold Henrikson Mixing video signals for an audio and video multimedia conference call
JP2003153079A (ja) * 2001-11-08 2003-05-23 Sony Corp 画像処理装置と画像処理方法
JP2003189168A (ja) * 2001-12-21 2003-07-04 Nec Corp 携帯電話用カメラ
US6906741B2 (en) * 2002-01-29 2005-06-14 Palm, Inc. System for and method of conferencing with a handheld computer using multiple media types
US7092735B2 (en) * 2002-03-22 2006-08-15 Osann Jr Robert Video-voicemail solution for wireless communication devices
US6853398B2 (en) * 2002-06-21 2005-02-08 Hewlett-Packard Development Company, L.P. Method and system for real-time video communication within a virtual environment
US7603414B2 (en) * 2005-09-09 2009-10-13 Outland Research, Llc System, method and computer program product for collaborative background music among portable communication devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001031900A2 (en) 1999-10-26 2001-05-03 Pingtel Corporation Distributed communications network including one or more telephony communication devices having programmable functionality
US20010048463A1 (en) 2000-06-03 2001-12-06 Vesa Lunden Method and system for providing and transmitting alternative video data during interruptions in video transmissions

Also Published As

Publication number Publication date
KR20060013685A (ko) 2006-02-13
JP2007527128A (ja) 2007-09-20
US20060149399A1 (en) 2006-07-06
US7907638B2 (en) 2011-03-15
WO2005004450A1 (en) 2005-01-13
JP5026785B2 (ja) 2012-09-19

Similar Documents

Publication Publication Date Title
KR101130413B1 (ko) 미디어 스트림 믹싱
JP2007527128A5 (ko)
AU2002355089B2 (en) Method and apparatus for continuously receiving frames from a pluarlity of video channels and for alternatively continuously transmitting to each of a plurality of participants in a video conference individual frames containing information concerning each of said video channels
WO2006051365A3 (en) Transmission control in multiparty conference
US7425979B2 (en) Communication system
DE60302561T2 (de) Telekommunikations system
KR100606785B1 (ko) 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법
EP0805600A2 (en) Compressed video text overlay
US7180535B2 (en) Method, hub system and terminal equipment for videoconferencing
EP1489823B1 (en) Media stream mixing
KR100311354B1 (ko) 통신시스템에서 멀티미디어 컨텐츠의 삽입을 통한 통화 서비스방법
Sun et al. A coded-domain video combiner for multipoint continuous presence video conferencing
JP2002290973A (ja) マルチメディア通信装置
KR100747895B1 (ko) 다자간 화상 통화 방법
JP3178509B2 (ja) ステレオ音声テレビ会議装置
JP4175232B2 (ja) テレビ電話システム及びテレビ電話装置
JP2007006085A (ja) 無線携帯端末、並びに、それを用いた撮像方法および通信方法
JPH0287789A (ja) Ｔｖ電話会議方式並びにフレーム間符号器及び複合器
CN114500914A (zh) 音视频转发方法、装置、终端与系统
JPH05153583A (ja) 多地点間ビデオ通信方式
Rauhala et al. A new feature for TV programs: Viewer participation through videoconferencing
JPH1028259A (ja) 通信装置
JPH02305082A (ja) 放射受信システム
JP2001268651A (ja) 通信制御装置、通信装置、通信システム、その方法および提供媒体
JPH05316499A (ja) 画像伝送システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150225

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee