KR20070090184A - 휴대용 멀티미디어 장치에서의 오디오와 비디오 데이터의처리 - Google Patents

휴대용 멀티미디어 장치에서의 오디오와 비디오 데이터의처리 Download PDF

Info

Publication number
KR20070090184A
KR20070090184A KR1020077012815A KR20077012815A KR20070090184A KR 20070090184 A KR20070090184 A KR 20070090184A KR 1020077012815 A KR1020077012815 A KR 1020077012815A KR 20077012815 A KR20077012815 A KR 20077012815A KR 20070090184 A KR20070090184 A KR 20070090184A
Authority
KR
South Korea
Prior art keywords
data stream
audio
video
delay
synchronizing
Prior art date
Application number
KR1020077012815A
Other languages
English (en)
Inventor
윌리암 제이.디 리안
안쿠르 메흐로트라
라비 칸트 라오
Original Assignee
모토로라 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모토로라 인코포레이티드 filed Critical 모토로라 인코포레이티드
Publication of KR20070090184A publication Critical patent/KR20070090184A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1106—Call signalling protocols; H.323 and related
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

동기화 엔티티(112)에 통신가능하게 연결된 실시간 프로세서(110) 및 애플리케이션 프로세서(120)를 포함하는 멀티미디어 이용가능 휴대용 통신 장치 및 방법에 관한 것이다. 일 실시예에서 동기화 엔티티는 실시간 프로세서와 통합된 H.324 엔티티이다. 동기화 엔티티는 지연 정보에 기초하여 애플리케이션 프로세서로부터의 비디오 데이터 스트림을 실시간 프로세서로부터의 오디오 데이터 스트림과 동기화한다.
동기화 엔티티, 실시간 프로세서, 오디오 데이터, 비디오 데이터

Description

휴대용 멀티미디어 장치에서의 오디오와 비디오 데이터의 처리{AUDIO AND VIDEO DATA PROCESSING IN PORTABLE MULTIMEDIA DEVICES}
본 발명은 일반적으로 전자 장치에서의 데이터 스트림 처리에 관한 것으로, 보다 상세히는 동기화되지 않은 데이터 스트림, 예를 들면, 멀티미디어 이용가능 무선 통신 장치에서의 오디오와 비디오 데이터 스트림의 처리, 및 방법에 관한 것이다.
다수의 멀티미디어 이용가능 무선 통신 단말에서, 오디오와 비디오는 공통된 타이밍 소스로 참조되고 관련 디지털 신호 처리(DSP) 장치로부터 인코딩된 오디오와 비디오 정보를 캡처하는 단일 코어 프로세서 내에서 멀티플렉싱되어, 이 오디오와 비디오 입출력은 밀접하게 연결되어 있다. 이들 공지된 아키텍처는 다른 것들 중에서도, 오디오와 비디오 동기화를 포함하는 거의 변함없는 품질 세트를 제공하도록 설계된다.
3GPP 및 3GPP2 표준 본체들은 UMTS(Universal Mobile Telecommunications System) WCDMA 및 CDMA 2000 프로토콜 네트워크를 포함하는 제3 세대(3G) 무선 통신 네트워크를 통한 실시간 애플리케이션 및 서비스를 가능하게 하는 회선 교환식 H.324M 프로토콜을 채택하였다. 예시적인 애플리케이션 및 서비스는 다른 것들 중 에서도, 비디오폰을 이용한 회의, 비디오 감시, 실시간 게임 및 주문형 비디오를 포함하지만 이에 한정되지 않는다.
H.324M에서, 오디오와 비디오 정보는 동기화되지 않은 채로 전송되지만, H.324M 프로토콜은 수신 장치에서 일반적인 오디오/비디오 지연 보상을 위한 명령어 및 인터페이스를 제공한다. 보다 구체적으로, H.324M은 송신 단말이 수신 단말에 오디오와 비디오 데이터 스트림 간의 스큐(skew)를 보고할 수 있게 하는 스큐 표시 메시지를 제공하여, 그 다음에 동기화된 데이터 스트림, 예를 들면, 립 동기화된(lip synchronized) 오디오와 비디오 데이터를 제공하도록 보상할 수 있다. 그러나, H.324M 프로토콜에서, 동기화는 필수적인 것이 아니어서 수신 단말은 스큐 정보를 이용하여 동기화를 제공할 필요가 없다.
본 발명의 다양한 양태, 특징 및 이점은 아래 첨부된 도면과 함께 기술된 본 발명의 이하의 상세한 설명을 주의 깊게 고려해볼 때 당업자들에게 보다 완전히 명백해질 것이다.
도 1은 예시적인 휴대용 멀티미디어 장치의 블록도.
도 2는 오디오와 비디오 스큐를 관리하기 위한 예시적인 오디오와 비디오 큐잉 매카니즘을 도시하는 도면.
도 3은 오디오와 비디오 스큐를 동적으로 줄여주는 선택적인 버림 절차를 도시하는 도면.
도 4는 오디오와 비디오 스큐를 동적으로 늘려주는 선택적인 삽입 절차를 도시하는 도면.
도 5는 예시적인 처리 흐름도.
도 1은 이하 보다 상세히 설명할 바와 같이 전송 이전에 멀티플렉싱되는 동기화되지 않은 오디오와 비디오 데이터 스트림을 제공하는, 모뎀(110) 및 애플리케이션 엔티티(120)를 포함하는 예시적인 형태의 무선 통신 단말(100)로 된 휴대용 멀티미디어 장치이다. 일 실시예에서, 예를 들면, PC로 비디오를 라우팅하거나, 예를 들면, 오디오 소스와 통합되지 않은, USB(Universal Serial Bus) 포트를 통한 비디오 렌더링 및/또는 캡처와 같은, 카메라로부터의 비디오 삽입을 수행하는 데에 일반적인 인터페이스가 이용될 수 있다. 일반적으로 동기화되지 않은 소스에 의해 제공되거나 이 소스로부터 발생한 데이터 스트림들을 분리하는 다른 애플리케이션 및 실시예들이 존재한다. 본 발명에서는 데이터 스트림 소스가 동기화되지 않은 이유는 중요하지 않다.
몇몇의 실시예에서, 하나 이상의 데이터 스트림을 발생시킨 소스 또는 소스들의 변경은 타이밍에 영향을 미친다. 예를 들면, 스피커폰으로부터 블루투스 헤드셋으로 오디오 데이터 스트림의 소스를 변경하는 것은 이 오디오 데이터 스트림과 동기화하는 것이 바람직할 수 있는 대응하는 비디오 데이터 스트림에 대한 오디오 데이터 스트림의 타이밍 또는 스큐를 변경시킬 수 있다. 몇몇의 애플리케이션에서, 동기화되지 않은 소스들로부터의 복수의 데이터 스트림들 간의 지연은 데이 터 스트림들 중 하나 또는 둘 다를 처리하는 몇 가지 것들의 동적인 결과로서 변경된다. 타이밍에서의 변경은, 예를 들면, 데이터 스트림들 중 하나 또는 둘 다의 일부에, 예를 들면, DRM(Digital Rights Management) 인코딩같은, 인코딩이나 다른 처리를 하게 되는 것으로 부터 기인할 수 있다.
다른 실시예에서, 비디오가 하나의 소스로부터 획득되는 경우 오디오와 비디오를 동기화하는 것이 불필요할 수 있지만, 비디오가 다른 소스로부터 획득되는 경우에는 오디오와 비디오를 동기화하는 것이 바람직할 수 있다. 예를 들면, 몇몇의 셀룰러폰은 복수의 카메라를 포함하는데, 이들 중 어떤 것 또는 다른 것은 사용자에 의해 선택될 수 있다. 사용자와 마주하고 있지 않은 카메라가 선택된 경우, 오디오와의 동기화는 중요하지 않을 수 있다. 그러나 사용자가 마주하고 있는 카메라가 선택된다면, 일반적으로 립 동기화가 바람직하다. 그러므로 몇몇의 실시예에서, 선택되는 비디오 소스에 따라서, 오디오와 비디오의 동기화가 바람직하다.
본 개시물에서, 스큐는 제1 데이터와 제2 데이터 스트림을 얻은 동기화되지 않은 소스들 간의 거의 일정한 지연이다. 일 실시예에서, 예를 들면, 이 스큐는 동기화되지 않은 데이터 스트림 소스들 간의 지연 차 또는 지터에 기초하는 평균치 또는 중간 값이다. 일반적으로, 동기화되지 않은 소스는 데이터 스트림의 도관으로서 동작하거나 시작한다.
일 실시예에서, 모뎀(110)은, 예를 들면, 다른 셀룰러 통신 프로토콜들 중에서도, GSM(Global System for Mobile Communications) 프로토콜, 제3세대(3G) UMTS(Universal Mobile Telecommunications System) W-CDMA 프로토콜, 또는 몇몇의 CDMA 프로토콜 중 하나와 같은 셀룰러 통신 프로토콜을 지원하는 무선 모뎀이다. 대안으로, 모뎀은 다른 것들 중에서도, IEEE 802.xx와 같은 LAN 프로토콜, 블루투스와 같은 개인 영역 네트워크 프로토콜, WAN 프로토콜을 포함하는 몇몇의 다른 무선 통신 프로토콜과 호환될 수 있다. 다른 실시예에서, 이 모뎀은, 예를 들면, DECT 호환 또는 다른 무선 전화 프로토콜과 같은 단 범위 무선 모뎀이다. 대안으로, 모뎀은 유선 모뎀일 수 있다. 예시적인 멀티미디어 장치는 모뎀을 포함하지만, 보다 일반적으로 본 개시물은 모뎀을 요구하지 않는다. 이러한 모뎀이 장착되지 않은 장치는 다른 휴대용 장치들 중에서도, PDA, 멀티미디어 플레이어, 오디오와 비디오 녹음 장치, 랩탑 및 노트북 컴퓨터를 포함하며, 이들 중 임의의 것은 무선 모뎀을 포함할 수도 있다.
예시적인 모뎀(110)은 오디오 관리자 엔티티(132)로부터의 오디오 입력을 포함한다. 오디오 스트림 관리자는 오디오 인코더(134)로부터 오디오 데이터 스트림을 수신하고 오디오 디코더(136)로 오디오 출력을 제공한다. 인코더(134)는 적어도 하나의 소스로부터 오디오 입력을 획득하지만, 보다 일반적으로는 오디오 입력은 오디오 관리자 엔티티의 제어 하의 몇몇의 소스들 중 하나로부터 선택될 수 있다. 일 실시예에서, 예를 들면, 오디오 관리자 엔티티는 해드셋 마이크로폰, 스피커폰, 또는 블루투스 해드셋으로부터, 또는 몇몇의 다른 소스들로부터 오디오를 선택한다. 몇몇의 실시예에서, 오디오 코덱은 DSP 프로세서로 구현되는데, 이는 모뎀 통합형 회로(IC)의 일부로서 또는 별개의 엔티티로서 패키징될 수 있다. 예시적인 오디오 소스 각각은 일반적으로, 예를 들면, 카메라에 의해 캡쳐된 대응하는 비디오 스트림에 관련된 고유한 지연을 가질 것이며, 이들의 예는 이하 더 설명할 것이다. 예시적인 모뎀은 실시간 음성 데이터 스트림을 수신한다.
도 1에서, 예시적인 애플리케이션 엔티티(120)는 서로 다른 소스로부터 발생한 비디오 데이터를 관리하기 위한 비디오 스트림 관리자 엔티티(122)를 일반적으로 포함한다. 예시적인 멀티미디어 장치(110)는, 예를 들면, 카메라 또는 비디오 레코더와 같은 악세서리(130)에 통신가능하게 연결되어, 비디오 데이터 스트림을 비디오 스트림 관리자(122)에 제공한다. 예시적인 애플리케이션 앤티티는 또한 입력으로서 통합형 카메라 엔진을 가지는 비디오 인코더(124) 및, 예를 들면, 표시 장치로의 비디오 신호 출력을 가지는 비디오 디코더(126)를 포함한다. 그러므로 예시적인 애플리케이션 프로세서(120)의 비디오 스트림 관리자(122)는 다른 소스들로부터 발생한 비디오 데이터 스트림의 도관이다. 몇몇의 실시예에서, 데이터 스트림의 선택은 사용자가 제어하며 다른 실시예에서 이 선택은 애플리케이션에 의해 자동적으로 제어된다. 일반적으로, 관리 엔티티(123)에 의해 관리되는 데이터 스트림의 특정한 유형과 소스 및 비디오 데이터 스트림 선택 방법은 중요하지 않다. 대안으로, 비디오 스트림 관리자로의 비디오 데이터 스트림 입력은 모두 통합된 소스 또는 악세서리들로부터 발생할 수 있다.
도 1에서, 일반적으로, 모뎀(110)은 멀티플렉싱된 오디오와 비디오 데이터를 전송하기 전에 오디오와 비디오 데이터 멀티플랙싱을 수행한다. 몇몇의 실시예에서, 오디오와 비디오 데이터 스트림은 이하 더 기술될 바와 같이 멀티플렉싱 이전에 동기화된다. 모뎀(110)은 또한 독립적이고 동기화되지 않은 프로세서로부터 비 디오 데이터를 획득하는데, 이 프로세서는 예시적인 실시예에서 애플리케이션 엔티티(120)의 일부이다. 모뎀(110)의 관점으로부터, 비디오 데이터 스트림은 애플리케이션 엔티티(120)로부터 발생하지만, 몇몇의 실시예에서는 애플리케이션 엔티티(120)는 다른 소스, 예를 들면, 악세서리(130)로부터 또는 상술한 몇몇의 다른 소스로부터 발생한 비디오 데이터의 도관에 불과하다. 멀티플렉서가 모뎀 중 하나의 일부일 필요는 없다. 일반적으로, 멀티플렉싱이 필요한 경우의 적용에서는, 멀티플렉서는 두 데이터 스트림 소스들과는 별개의 엔티티일 수 있다. 그러나 본 개시물은 데이터 스트림이 멀티플렉싱되는 경우의 실시예 또는 적용으로 제한되지 않는다.
도 1에서, 예시적인 모뎀(110)은 제3세대(3G) 무선 통신 네트워크를 통한 서비스 및 실시간 적용을 가능하게 하기 위한 H.324M 프로토콜 엔티티(112)를 포함한다. H.324M 프로토콜 엔티티는 다른 기능들 중에서도 오디오와 비디오 기능 교환, 마스터/슬레이브 결정, 논리 채널의 개폐 신호 보내기를 포함하는 호출 제어 프로토콜을 기술하는 H.245 모듈(114)을 포함한다. H.324M 프로토콜 엔티티는 또한 신호 및 데이터 채널을 멀티플렉싱하고 디멀티플렉싱하는 H.223 모듈(116)을 포함한다. 특히, H.223 멀티플렉서(116)는 비디오 채널(118) 상의 비디오 데이터 스트림, 오디오 채널(119) 상의 오디오 데이터 스트림 및 H.245 채널(114) 상의 제어와 신호 전송 정보를 멀티플렉싱한다. H.223 프로토콜은 공통된 통신 링크를 통해 디지털 비디오/오디오, 디지털 비디오/이미지 및 데이터의 조합의 전송을 지원한다. 도 1에서, H.223 출력은 예시적인 64 kbps 회선 교환식 데이터(CSD) 채널에 통신가 능하게 연결된다. 몇몇의 실시예에서 멀티플렉서는 동기화되지 않은 엔티티들로부터 분리된 개별적인 엔티티이다. 다른 실시예에서, 멀티플렉서는 H.324 프로토콜과 호환될 필요는 없다. 다른 실시예에서, 다른 비동기화되지 않은 소스들로부터의 데이터 스트림은, 예를 들면, H.324 엔티티의 패킷 기반의 대응물인 H.323 엔티티와 같은 몇몇의 다른 멀티플렉서에 의해 멀티플렉싱된다.
도 1에서, 상술한 바와 같이 애플리케이션 엔티티(120)는 선택된 비디오 캡처 및 랜더 경로들의 구축을 제어할 때 H.324M 호출을 개시하고 종료한다. 예를 들면, 도 1의 악세서리(130)로부터 또는 통합된 카메라 인코더(124)로부터와 같은 비디오 데이터 스트림의 소스는, 이들 소스가 오디오 데이터 스트림의 소스인 모뎀(110)과 동기화되지 않았기 때문에 오디오와 비디오 타이밍에 일반적으로 영향을 미칠 것이다.
도 2는 예시적인 H.324 스택에서의 오디오와 비디오 스큐를 관리하기 위한 오디오와 비디오 큐잉 메카니즘을 도시한다. 일 실시예에서 오디오와 비디오 데이터 스트림은 멀티플렉싱되기 전에 H.324 엔티티에서 동기화된다. 애플리케이션 프로세서는 초당 7 프레임(7프레임/초)의 예시적인 비율로 예시적인 H.223 멀티플렉서(220)에 비디오 프레임(212)을 포함하는 비디오 데이터 스트림(210)을 제공한다. 모뎀은 초당 50 프레임(50프레임/초)의 예시적인 비율로 이 멀티플렉서에 오디오 프레임(232)을 포함하는 오디오 데이터 스트림(230)을 제공한다.
도 1의 예시적인 실시예에서, 제어, 비디오 및 오디오 채널을 멀티플렉싱하기 전에 동기화가 일어난다. 구체적으로, 동기화를 보장하기 위해 H.223 멀티플렉 서에 오디오와 비디오 데이터 스트림을 제공하는 때를 결정하는 데에 스큐 정보가 이용된다. 이 스큐 정보는 다른 알려진 정보에 기초하거나 데이터 스트림을 획득한 소스에 의존하여 알려진다. 예시적인 실시예에서, 동기화는 코덱을 고려할 수 없는 시스템-레벨 오버헤드가 존재하기 때문에 오디오와 비디오 코덱의 외부에서 일어난다. 도 1의 예시적인 실시예에서, 예를 들면, 오디오 코덱은 개별적인 서브시스템 상에 상주하므로, 비디오 데이터 스트림은 복수의 프로세서를 통해 관리되어야 한다. 또한, DRM 인코딩과 같은 코덱과 관련없는 오버헤드가 데이터 스트림에 알려진 분량의 지연을 발생시킬 수 있다.
도 1에서, 모뎀(110)은 애플리케이션 엔티티(120)에 오디오/비디오 동기화를 위하여 큐잉 지연을 계산하는 데에 이용하는 비디오 캡처 및 랜더링 지연 파라미터를 설정하기 위한 인터페이스를 제공한다. 예시적인 인터페이스는 비디오 애플리케이션 엔티티(123)와 H.324 엔티티(112) 사이에 있다. 예시적인 실시예에서, 비디오 애플리케이션 엔티티(123)는 또한 비디오 스트림 관리자(120) 및 오디오 스트림 관리자(132)와도 통신한다.
도 1에서, 오디오와 비디오 멀티플렉싱을 홀드오프(hold off)하는 시간 양과 H.223 디멀티플렉싱 동작을 수행한 이후에 오디오 디코딩을 홀드오프하는 시간 양은 비디오 애플리케이션 앤티티(123)와 H.324 엔티티 간의 인터페이스를 통해 제공된다. 이들 예시적인 파라미터는 오디오/비디오 동기화를 위한 지연 변수를 계산하는 데에 이용된다. 상기 제시한 바와 같이, 몇몇의 실시예에서는, 지연 또는 스큐 변경이 하나 이상의 데이터 스트림이 발생한 소스에서의 변경에 기초하여 및/또 는 다른 조건, 예를 들면, 하나 이상의 데이터 스트림에 이루어지는 특정 처리에 기초한다.
일 실시예에서, 휴대용 멀티미디어 장치에서, 선택된 소스로부터 발생한 데이터 스트림은 다른 동기화되지 않은 소스로부터 발생한 다른 데이터 스트림에 동기화되는데 이는 이 데이터 스트림들이 발생한 소스들 간의 지연 또는 스큐에 기초하여 이루어진다. 도 1의 예시적인 멀티미디어 장치에서, 선택된 데이터 스트림 및 다른 데이터 스트림은 공중파 인터페이스를 통한 멀티플렉싱 및 전송 이전에 동기화된다.
스큐 및 지연이 변경되는 경우의 일 실시예에서, 제1 및 제2 데이터 스트림은 순간적인 시간 간격 또는 기간 동안에 점진적으로 동기화된다. 예를 들면, 지연이 높은 값으로부터 낮은 값으로 감소하는 경우의 몇몇의 실시예에서, 데이터 스트림들 중 하나로부터 프레임들을 제거함으로써 점진적인 동기화를 획득할 수 있다. 제1 및 제2 데이터 스트림이 오디오와 비디오 데이터 스트림인 경우의 예시적인 실시예에서, 예를 들면, DTX 프레임과 같은 제한된-데이터를 지닌 프레임 오디오 데이터 스트림으로부터 제거된다. 도 3의 예시적인 실시예에서는, 시간 "t"에서, 스큐가 160ms로부터 80ms로 변경된다. 100ms 기간 동안 오디오 스트림으로부터 DTX 프레임들을 제거함으로써 새로운 스큐 비율로의 단계적인 동기화가 이루어진다. 다른 실시예에서는, 비디오 데이터 스트림으로부터 프레임들을 선택적으로 제거함으로써 비디오 및 오디오 데이터 스트림이 점진적으로 동기화될 수 있다. 도 1의 예시적인 실시예에서는, H.324 엔티티에서 프레임 제거가 수행되지만, 다른 실시예에서는 선택적인 프레임 또는 데이터를 제거할 수 있는 임의의 다른 동기화 엔티티 또는 장치에 의해 프레임 제거가 수행될 수 있다.
예를 들어, 지연이 낮은 값으로부터 높은 값으로 증가하는 경우의 다른 실시예에서, 데이터 스트림들 중 하나에 프레임들을 추가하거나 삽임함으로써 점진적인 동기화를 획득할 수 있다. 제1 및 제2 데이터 스트림이 오디오와 비디오 데이터 스트림인 경우의 예시적인 실시예에서, 예를 들면, DTX 프레임과 같은 제한된 데이터를 지닌 프레임들이 오디오 데이터 스트림에 삽입된다. 도 4의 예시적인 실시예에서, 시간 "t"에서, 스큐는 80ms로부터 140ms로 변경된다. 180ms 기간 동안 오디오 스트림으로부터 DTX 프레임을 삽입함으로써 새로운 스큐로의 단계적인 동기화가 이루어진다. 다른 실시예에서, 비디오 데이터 스트림에 프레임들을 선택적으로 삽입함으로써 비디오와 오디오 데이터 스트림이 점진적으로 동기화될 수 있다. 도 1의 예시적인 실시예에서는, H.324 엔티티에서 프레임 삽입이 수행되지만, 다른 실시예에서는 선택적인 프레임 또는 데이터를 삽입할 수 있는 임의의 다른 엔티티 또는 장치에 의해 삽입이 수행될 수 있다. 비디오가 완전히 동기화되지 않는 경우의 응용에서, 데이터 스트림은 프레임 및 비디오 비트율 증가 또는 감소의 조합에 의해 감소되거나 증가될 수 있다.
도 5는 예를 들면, 도 1의 H.324 엔티티에서, 동기화된 오디오와 비디오 데이터 스트림을 멀티플렉싱하기 위한 예시적인 처리(500)를 도시한다. 블록(510)에서, 동기화된 오디오와 비디오 멀티플렉싱 요청이 존재한다. 일 실시예에서, 동기화가 있건 없건 간에, 예를 들면, 오디오와 비디오 멀티플렉싱은, 특정 시간 간격, 예를 들면, 20ms 마다 일어난다. 다른 실시예에서, 이 간격은 변동된다, 즉, 고정되지 않는다. 일반적으로, 소정의 시간 간격은 오디오와 비디오 신호를 동기화하는 데에 요구될 수 있다. 이 간격은 예를 들면 제거될 프레임의 이용가능성에 따라 변할 수 있다.
도 5에서는, 블럭(520)에서, 오디오 지연이 기준 구성의 지연보다 큰지에 대한 판정이 이루어진다. 오디오 지연이 기준 구성보다 크다면, 블록(530)에서 데이터, 예를 들면, DTX 프레임이 오디오 데이터 스트림으로부터 제거된다. 몇몇의 실시예에서, 프레임들은 새로운 스큐 비율에 도달할 때까지 선택적으로 제거된다. 한편, 블록(560)에서 동기화가 완료되건 완료되지 않건 간에, 프레임들은 특정된 비율로 멀티플렉싱된다. 블록(540)에서, 지연이 기준 구성의 지연보다 작은지에 대한 판정이 이루어진다. 오디오 지연이 기준 구성보다 작다면, 블록(550)에서 프레임, 예를 들면, DTX 프레임은 새로운 스큐 비율에 도달할 때까지 선택적으로 오디오 데이터 스트림에 추가된다. 한편, 블록(560)에서 동기화가 완료되건 완료되지 않건 간에, 프레임들은 특정된 비율로 멀티플렉싱된다.
본 발명 및 본 발명의 최적의 모드라 현재 고려되는 것들은 본 발명자에 의해 소유권을 구축하고 당업자들이 본 발명을 작성하고 이용할 수 있게 하는 방식으로 기술되었지만, 본원에서 기술된 예시적인 실시예에서 다수의 동등물이 존재하며 예시적인 실시예에 의해서가 아닌 특허청구범위에 의해서 제한되어야 할 본 발명의 사상 및 범위로부터 벗어나지 않는 수정물 또는 변형물이 이루어질 수 있다고 이해되고 인식될 것이다.

Claims (22)

  1. 휴대용 멀티미디어 장치에서의 방법으로서,
    적어도 2개의 소스들 중 하나로부터 발생한 데이터 스트림을 선택하는 단계, 및
    상기 선택된 데이터 스트림과 다른 동기화되지 않은 소스로부터 발생한 다른 데이터 스트림을 상기 선택된 데이터 스트림이 발생한 소스와 상기 다른 소스들 간의 스큐(skew)에 기초하여 동기화하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 데이터 스트림을 선택할 때 새로운 스큐로 변경하는 단계 - 상기 새로운 스큐는 이전에 선택된 데이터 스트림과 관련된 이전의 스큐와는 상이함 - , 및
    소정 기간 동안 상기 선택된 데이터 스트림과 상기 다른 데이터 스트림을 점진적으로 동기화하여 상기 새로운 스큐를 수용하는 단계를 포함하는 방법.
  3. 제2항에 있어서,
    상기 새로운 스큐는 상기 이전의 스큐보다 작고,
    상기 기간 동안 상기 선택된 데이터 스트림과 상기 다른 데이터 스트림 중 하나로부터 프레임들을 선택적으로 제거함으로써 상기 선택된 데이터 스트림과 상기 다른 데이터 스트림을 점진적으로 동기화하는 단계를 포함하는 방법.
  4. 제3항에 있어서,
    상기 선택된 데이터 스트림은 비디오 데이터 스트림이고 상기 다른 데이터 스트림은 오디오 데이터 스트림이며,
    상기 오디오 데이터 스트림으로부터 제한된 데이터를 지닌 프레임들을 선택적으로 제거함으로써 상기 오디오와 비디오 데이터 스트림들을 점진적으로 동기화하는 단계를 포함하는 방법.
  5. 제3항에 있어서,
    상기 선택된 데이터 스트림은 비디오 데이터 스트림이고 상기 다른 데이터 스트림은 오디오 데이터 스트림이며,
    상기 비디오 데이터 스트림으로부터 프레임들을 선택적으로 제거함으로써 상기 오디오와 비디오 데이터 스트림들을 점진적으로 동기화하는 단계를 포함하는 방법.
  6. 제2항에 있어서,
    상기 새로운 스큐는 상기 이전 스큐보다 크고,
    상기 선택된 데이터 스트림과 상기 다른 데이터 스트림 중 하나에 프레임들을 삽입함으로써 상기 선택된 데이터 스트림과 상기 다른 데이터 스트림을 점진적으로 동기화하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    상기 동기화된 선택된 데이터 스트림과 다른 데이터 스트림을 전송하기 전에 상기 선택된 데이터 스트림과 상기 다른 데이터 스트림을 동기화하는 단계를 포함하는 방법.
  8. 제1항에 있어서,
    동기화 이후에 상기 선택된 데이터 스트림과 상기 다른 데이터 스트림을 멀티플렉싱하는 단계, 및
    상기 선택된 데이터 스트림의 상기 소스에 따라 다른 지연 파라미터에 기초하여 동기화하는 단계를 포함하는 방법.
  9. 멀티미디어 이용가능 휴대용 통신 장치로서,
    애플리케이션 프로세서,
    상기 애플리케이션 프로세서와 동기화되지 않은 실시간 프로세서,
    상기 애플리케이션 프로세서와 상기 실시간 프로세서에 통신가능하게 연결된 동기화 엔티티를 포함하고,
    상기 동기화 엔티티는 지연 정보에 기초하여 상기 애플리케이션 프로세서로부터의 비디오 정보를 상기 실시간 프로세서로부터의 오디오 정보와 동기화하는 휴대용 통신 장치.
  10. 제9항에 있어서,
    상기 애플리케이션 프로세서와 상기 실시간 프로세서 중 하나와 관련된 타이밍 제어 엔티티를 포함하고,
    상기 동기화 엔티티는 상기 타이밍 제어 엔티티에 통신가능하게 연결되고, 상기 타이밍 제어 엔티티는 상기 동기화 엔티티에 상기 지연 정보를 제공하는 휴대용 통신 장치.
  11. 제9항에 있어서,
    상기 애플리케이션 프로세서는 적어도 2개의 소스들 중 하나로부터 비디오 정보를 획득하는 비디오 스트림 관리자를 가지며,
    상기 타이밍 제어 엔티티는 상기 비디오 정보를 획득한 소스에 기초하여 지연 정보를 제공하는 휴대용 통신 장치.
  12. 제9항에 있어서,
    상기 동기화 엔티티는 지연 정보에서의 변경에 응답하여 상기 오디오와 비디오 정보를 점진적으로 동기화하기 위한 것인 휴대용 통신 장치.
  13. 제12항에 있어서,
    상기 동기화 엔티티는 상기 오디오와 비디오 정보 중 하나로부터 프레임들을 제거함으로써 상기 오디오와 비디오 정보를 점진적으로 동기화하기 위한 것인 휴대용 통신 장치.
  14. 제12항에 있어서,
    상기 동기화 엔티티는 상기 오디오와 비디오 정보 중 하나에 프레임들을 삽입함으로써 상기 오디오와 비디오 정보를 점진적으로 동기화하기 위한 것인 휴대용 통신 장치.
  15. 멀티미디어 이용가능 전자 장치에서의 방법으로서,
    대응하는 동기화되지 않은 소스들로부터 제1 데이터 스트림과 제2 데이터 스트림을 획득하는 단계, 및
    시간 간격 동안 상기 제1 데이터 스트림과 상기 제2 데이터 스트림을 점진적으로 동기화함으로써 상기 제1 데이터 스트림과 상기 제2 데이터 스트림 간의 지연에서의 변경을 보상하는 단계를 포함하는 방법.
  16. 제15항에 있어서,
    상기 시간 간격 동안 상기 제1 데이터 스트림과 상기 제2 데이터 스트림 중 하나로부터 선택적으로 프레임들을 제거함으로써 상기 제1 데이터 스트림과 상기 제2 데이터 스트림 간의 지연에서의 변경을 보상하는 단계를 포함하는 방법.
  17. 제16항에 있어서,
    상기 제1 데이터 스트림은 오디오 데이터 스트림이고 상기 제2 데이터 스트림은 비디오 데이터 스트림이며,
    상기 오디오 데이터 스트림과 상기 비디오 데이터 스트림 중 하나로부터 제한된 데이터를 지닌 프레임들을 제거함으로써 상기 제1 데이터 스트림과 상기 제2 데이터 스트림 간의 지연에서의 변경을 보상하는 단계를 포함하는 방법.
  18. 제15항에 있어서,
    상기 제1 스트림과 상기 제2 스트림 중 하나에 프레임들을 삽입함으로써 상기 제1 데이터 스트림과 상기 제2 데이터 스트림 간의 지연에서의 변경을 보상하는 단계를 포함하는 방법.
  19. 제15항에 있어서,
    상기 제1 데이터 스트림은 오디오 데이터 스트림이고 상기 제2 데이터 스트림은 비디오 데이터 스트림이며,
    상기 오디오 데이터 스트림과 상기 비디오 데이터 스트림 중 하나에 제한된 데이터를 지닌 프레임들을 삽입함으로써 상기 제1 데이터 스트림과 상기 제2 데이터 스트림 간의 지연에서의 변경을 보상하는 단계를 포함하는 방법.
  20. 제15항에 있어서,
    상기 제1 데이터 스트림과 상기 제2 데이터 스트림 중 하나가 발생한 소스를 변경함으로써 상기 지연을 변경하는 단계를 포함하는 방법.
  21. 제15항에 있어서,
    상기 제1 데이터 스트림과 상기 제2 데이터 스트림 중 하나를 처리함으로써 상기 지연을 변경하는 단계를 포함하는 방법.
  22. 제15항에 있어서,
    상기 동기화된 제1 데이터 스트림과 제2 데이터 스트림을 멀티플렉싱하는 단계를 포함하는 방법.
KR1020077012815A 2004-12-08 2005-11-17 휴대용 멀티미디어 장치에서의 오디오와 비디오 데이터의처리 KR20070090184A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/007,374 2004-12-08
US11/007,374 US20060123063A1 (en) 2004-12-08 2004-12-08 Audio and video data processing in portable multimedia devices

Publications (1)

Publication Number Publication Date
KR20070090184A true KR20070090184A (ko) 2007-09-05

Family

ID=36575640

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077012815A KR20070090184A (ko) 2004-12-08 2005-11-17 휴대용 멀티미디어 장치에서의 오디오와 비디오 데이터의처리

Country Status (5)

Country Link
US (1) US20060123063A1 (ko)
EP (1) EP1825689A1 (ko)
KR (1) KR20070090184A (ko)
CN (1) CN101057504A (ko)
WO (1) WO2006062715A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180112471A (ko) * 2017-04-04 2018-10-12 한국전자통신연구원 복수의 영상 동기화 방법 및 그 장치

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8451375B2 (en) * 2005-04-28 2013-05-28 Panasonic Corporation Lip-sync correcting device and lip-sync correcting method
WO2007031918A2 (en) * 2005-09-12 2007-03-22 Nxp B.V. Method of receiving a multimedia signal comprising audio and video frames
AU2007219142A1 (en) * 2006-02-21 2007-08-30 Markport Limited Audio and video communication
FR2900750B1 (fr) * 2006-05-02 2008-11-28 Oberthur Card Syst Sa Entite electronique portable apte a recevoir un flux de donnees multimedia diffuse.
US20090319260A1 (en) * 2008-06-19 2009-12-24 Hongwei Kong Method and system for audio transmit processing in an audio codec
US8411603B2 (en) * 2008-06-19 2013-04-02 Broadcom Corporation Method and system for dual digital microphone processing in an audio CODEC
US20090319279A1 (en) * 2008-06-19 2009-12-24 Hongwei Kong Method and system for audio transmit loopback processing in an audio codec
KR101016600B1 (ko) * 2008-07-04 2011-02-22 최상준 분산형 휴대전화 인터넷 장치
CN101827271B (zh) * 2009-03-04 2012-07-18 联芯科技有限公司 音频视频同步方法、装置以及数据接收终端
US9185445B2 (en) 2009-09-24 2015-11-10 At&T Intellectual Property I, L.P. Transmitting a prioritized audio stream along with multimedia content
JP5258826B2 (ja) * 2010-03-26 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 端末装置及びアプリケーション制御方法
KR101526094B1 (ko) * 2011-02-11 2015-06-10 인터디지탈 패튼 홀딩스, 인크 협업 세션 중에 이동국 미디어 플로우를 동기화하는 방법 및 장치
US9459768B2 (en) 2012-12-12 2016-10-04 Smule, Inc. Audiovisual capture and sharing framework with coordinated user-selectable audio and video effects filters
US20140297882A1 (en) * 2013-04-01 2014-10-02 Microsoft Corporation Dynamic track switching in media streaming
US9300713B2 (en) * 2013-08-16 2016-03-29 Qualcomm Incorporated Clock synchronization for multi-processor/multi-chipset solution
AT15134U1 (de) * 2015-08-26 2017-01-15 Reditune Österreich Bornhauser Gmbh Verfahren zur Auswahl einer Videodatengruppe aus einer Mehrzahl von Videodatengruppen
CN105187688B (zh) * 2015-09-01 2018-03-23 福建富士通信息软件有限公司 一种对手机采集的实时视频和音频进行同步的方法及系统
US10834295B2 (en) * 2018-08-29 2020-11-10 International Business Machines Corporation Attention mechanism for coping with acoustic-lips timing mismatch in audiovisual processing

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949410A (en) * 1996-10-18 1999-09-07 Samsung Electronics Company, Ltd. Apparatus and method for synchronizing audio and video frames in an MPEG presentation system
US6654933B1 (en) * 1999-09-21 2003-11-25 Kasenna, Inc. System and method for media stream indexing
US6177928B1 (en) * 1997-08-22 2001-01-23 At&T Corp. Flexible synchronization framework for multimedia streams having inserted time stamp
US6269122B1 (en) * 1998-01-02 2001-07-31 Intel Corporation Synchronization of related audio and video streams
IL123906A0 (en) * 1998-03-31 1998-10-30 Optibase Ltd Method for synchronizing audio and video streams
US6285405B1 (en) * 1998-10-14 2001-09-04 Vtel Corporation System and method for synchronizing data signals
US20040198386A1 (en) * 2002-01-16 2004-10-07 Dupray Dennis J. Applications for a wireless location gateway
US6377972B1 (en) * 1999-01-19 2002-04-23 Lucent Technologies Inc. High quality streaming multimedia
US6480902B1 (en) * 1999-05-25 2002-11-12 Institute For Information Industry Intermedia synchronization system for communicating multimedia data in a computer network
US6429902B1 (en) * 1999-12-07 2002-08-06 Lsi Logic Corporation Method and apparatus for audio and video end-to-end synchronization
SE517245C2 (sv) * 2000-09-14 2002-05-14 Ericsson Telefon Ab L M Synkronisering av audio- och videosignaler
US6636270B2 (en) * 2000-12-14 2003-10-21 Microsoft Corporation Clock slaving methods and arrangements
US6888893B2 (en) * 2001-01-05 2005-05-03 Microsoft Corporation System and process for broadcast and communication with very low bit-rate bi-level or sketch video
US7080152B2 (en) * 2001-06-14 2006-07-18 International Business Machines Corporation Broadcast user controls for streaming digital content under remote direction
US7194676B2 (en) * 2002-03-01 2007-03-20 Avid Technology, Inc. Performance retiming effects on synchronized data in an editing system
US7602851B2 (en) * 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
US7519274B2 (en) * 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180112471A (ko) * 2017-04-04 2018-10-12 한국전자통신연구원 복수의 영상 동기화 방법 및 그 장치

Also Published As

Publication number Publication date
WO2006062715A1 (en) 2006-06-15
CN101057504A (zh) 2007-10-17
US20060123063A1 (en) 2006-06-08
EP1825689A1 (en) 2007-08-29

Similar Documents

Publication Publication Date Title
KR20070090184A (ko) 휴대용 멀티미디어 장치에서의 오디오와 비디오 데이터의처리
US5570372A (en) Multimedia communications with system-dependent adaptive delays
RU2408158C2 (ru) Синхронизация звука и видео
CN101827271B (zh) 音频视频同步方法、装置以及数据接收终端
KR100565333B1 (ko) 휴대단말기의 비디오 오디오 동기장치 및 방법
US20090305694A1 (en) Audio-video sharing system and audio-video sharing method thereof
US20070047590A1 (en) Method for signaling a device to perform no synchronization or include a synchronization delay on multimedia stream
WO2009124604A1 (en) Methods, apparatus, system and computer program product for audio input at video recording
JP2007097185A (ja) マルチメディアストリームにおける同期化ウォーターマーキング
WO2018204117A1 (en) Web real-time communication from an audiovisual file
US7822011B2 (en) Self-synchronized streaming architecture
US20050282580A1 (en) Video and audio synchronization
CN101540871B (zh) 基于电路域可视电话同步录制对端声音图像的方法和终端
JP2015012557A (ja) 映像音声処理装置、映像音声処理システム、映像音声同期方法、プログラム
JP2011087074A (ja) 遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラム
KR20090010385A (ko) 화상 통신 단말의 화상 통화 녹화 방법 및 장치
JP5434390B2 (ja) 電子会議システム、多地点接続装置、データ通信方法、プログラム、記録媒体及び通信装置
KR100678124B1 (ko) 화상 통신 단말 및 화상 통신 단말의 화상 통신 데이터처리 방법
TWI410137B (zh) 一種視頻幀流控裝置及視頻幀的控制方法
KR100550801B1 (ko) 인터넷과 연결되어 영상전화를 하는 시스템에서 vod 서비스를 제공하는 방법
KR100650245B1 (ko) 이동통신단말기 및 그 멀티미디어 데이터 처리방법
JP2000115730A (ja) テレビ電話装置とそのモード設定方法
JP2005057362A (ja) 音声及び画像の送受信記録システム
JP2010093328A (ja) 音声信号通信システム、音声合成装置、音声合成処理方法、音声合成処理プログラム、並びに該プログラムを格納した記録媒体
KR20060058318A (ko) 화상통화 동영상파일 생성기능을 가지는 이동통신 단말기및 상기 동영상파일 생성방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid