KR101027354B1 - 멀티미디어 데이터를 프로세싱하는 방법, 장치, 컴퓨터 프로그램 제품 및 프로세서 - Google Patents

멀티미디어 데이터를 프로세싱하는 방법, 장치, 컴퓨터 프로그램 제품 및 프로세서 Download PDF

Info

Publication number
KR101027354B1
KR101027354B1 KR1020087023003A KR20087023003A KR101027354B1 KR 101027354 B1 KR101027354 B1 KR 101027354B1 KR 1020087023003 A KR1020087023003 A KR 1020087023003A KR 20087023003 A KR20087023003 A KR 20087023003A KR 101027354 B1 KR101027354 B1 KR 101027354B1
Authority
KR
South Korea
Prior art keywords
frames
channel
frame rate
presenting
decoding
Prior art date
Application number
KR1020087023003A
Other languages
English (en)
Other versions
KR20080098071A (ko
Inventor
고든 켄트 워커
비자얄라크시미 알 라빈드란
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20080098071A publication Critical patent/KR20080098071A/ko
Application granted granted Critical
Publication of KR101027354B1 publication Critical patent/KR101027354B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/26—Arrangements for switching distribution systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

본 발명은, 특히, 무선 이동 장치 셋팅에서 멀티-프로그램 "화상-내-화상" 뷰잉을 개선시킬 수 있는, 멀티미디어 데이터를 프로세싱하기 위한 다수의 기술들을 설명한다. 일 예에서, 방법은, 멀티미디어 데이터의 다수의 채널들을 수신하는 단계, 그 채널들 중 2개 이상의 채널들과 관련된 프레임들을 디코딩하는 단계, 제 1 프레임 레이트로 제 1 채널의 제 1 프레임들을 프리젠테이션하는 단계, 및 그 제 1 프레임들을 프리젠테이션하면서 제 2 프레임 레이트로 제 2 채널의 제 2 프레임들을 프리젠테이션하는 단계를 포함하며, 여기서, 그 제 2 프레임 레이트는 그 제 1 프레임 레이트보다 낮다. 또 다른 예에서, 그 방법은, 그 멀티미디어 데이터의 다수의 채널들을 수신하는 단계, 그 다수의 채널들과 관련된 채널 스위치 프레임 (CSF) 들을 수신하는 단계, 및 그 다수의 채널들 중 2개 이상의 채널들과 관련된 CSF들을 사용자에게 동시에 프리젠테이션하는 단계를 포함한다.
Figure R1020087023003
멀티-프로그램 뷰잉, 채널 스위치 프레임 (CSF)

Description

멀티미디어 데이터를 프로세싱하는 방법, 장치, 컴퓨터 프로그램 제품 및 프로세서 {METHOD, APPARATUS, COMPUTER PROGRAM PRODUCT AND PROCESSOR FOR PROCESSING MULTIMEDIA DATA}
35 U.S.C §119 하의 우선권 주장
본 특허 출원은, 2006년 2월 21일자로 출원되고, 여기서 그 전체가 참조로서 포함되는 미국 가출원 제 60/775,608 호 (대리인 참조번호 제 060704P1) 를 우선권 주장한다.
기술분야
본 발명은 디지털 멀티미디어 콘텐츠의 프리젠테이션 (presentation) 에 관한 것으로, 더 상세하게는, 무선 장치에서의 멀티-프로그램 뷰잉에 대한 기술에 관한 것이다.
배경
디지털 멀티미디어를 브로드캐스팅하기 위한 다수의 기술들이 이동 무선 장치들에 의한 수신을 위해 개발되어 왔다. 그러한 기술들은, 순방향 링크 전용 (FLO), 디지털 멀티미디어 브로드캐스팅 (DMB), 및 디지털 비디오 브로드캐스팅-핸드헬드 (DVB-H) 로서 지칭되는 기술들을 포함한다. 통상적으로, 디지털 멀티미디어 브로드캐스팅은, MPEG (Moving Picture Experts Group)-1, MPEG-2, MPEG-4, ITU (International Telecommunication Union) H.263, 및 ITU H.264 와 같은 하나 이상의 디지털 비디오 인코딩 표준들에 의존한다. ITU H.264 표준은, "향상된 비디오 코딩" 으로 명칭된 MPEG-4 Part 10 에 대응한다. 일반적으로, 이러한 코딩 표준들은, 압축된 방식으로 데이터를 인코딩함으로써 멀티미디어 시퀀스들의 송신 효율도를 지원한다. 프레임 보간 및/또는 계층화 코딩과 같은 부가적인 기술들이 또한 사용될 수도 있다.
디지털 멀티미디어 브로드캐스팅은 일련의 채널들로서 콘텐츠를 전달하고, 종래의 텔레비전의 멀티미디어 콘텐츠 선택 경험과 유사한 멀티미디어 콘텐츠 선택 경험을 제공한다. 각각의 브로드캐스트 채널은, 인코딩된 오디오/비디오 스트림들, 오디오/비디오 클립들, 또는 다른 정보 콘텐츠를 포함하는 디지털 데이터를 운송한다. 디지털 브로드캐스트 채널들은 멀티캐스트 기반으로 다수의 이동 무선 장치들로 동시에 전달된다. 각각의 무선 장치는 디지털 브로드캐스트를 수신하며, 사용자에 대한 프리젠테이션을 위해 특정 채널에 동조할 수도 있다. 채널들을 스위칭하기 위해, 각각의 무선 장치는 상이한 채널로부터 디지털 데이터를 획득하고, 그 데이터를 디코딩하여 상이한 콘텐츠를 사용자에게 프리젠테이션한다.
요약
본 발명은, 특히, 무선 이동 장치 셋팅에서 멀티-프로그램 뷰잉을 개선시킬 수 있는 멀티미디어 데이터를 프로세싱하기 위한 다수의 기술들을 설명한다. 그 기술들은, 무선 이동 장치상에서 멀티캐스트의 2개 이상의 채널들과 관련된 프레임들의 동시 프리젠테이션을 위해 제공되며, 그 동시 프리젠테이션은 "화상-내-화상 (picture-in-picture)" 뷰잉으로 종종 지칭된다. 계산 리소스들이 제한된 이동 셋팅 또는 다른 셋팅에서 그러한 멀티-프로그램 뷰잉을 지원하기 위해, 그 기술들은 채널들 중 적어도 일부의 비교적 낮은 프레임 레이트 프리젠테이션을 사용할 수도 있다. 예를 들어, 비교적 낮은 해상도 (resolution) 채널 스위치 프레임 (CSF) 은 낮은 해상도, 낮은 프레임 레이트 콘텐츠의 프리젠테이션을 위해 사용될 수도 있다. 이것은, 사용자가 관심 채널들 사이에서 신속하게 선택하고, 후속하여, 더 높은 해상도 및 더 높은 프레임 레이트로 선택된 채널을 수신할 수 있게 한다.
많은 경우, 그 기술들은, 상이한 프레임 레이트에서 2개의 상이한 채널들과 관련된 프레임들의 동시 프리젠테이션을 지원할 수도 있다. 특히, 제 1 채널은 비교적 높은 해상도 및 비교적 높은 프레임 레이트로 프리젠테이션될 수도 있으며, 제 2 채널은 비교적 더 낮은 해상도 및 비교적 더 낮은 프레임 레이트로 프리젠테이션될 수도 있다. 이러한 경우, 제 2 채널의 프리젠테이션은, 그 채널의 낮은-해상도, 낮은 프레임 레이트 콘텐츠의 프리젠테이션을 위해 CSF에 기초할 수도 있다. 이것은, 이동 장치에서 합당한 계산 레벨로 화상-내-화상 뷰잉을 허용한다. 비교적 낮은-해상도, 낮은 프레임 레이트 콘텐츠는, 비교적 높은-해상도, 낮은 프레임 레이트 콘텐츠보다 더 작은 윈도우내의 디스플레이상에서 프리젠테이션될 수도 있다. 그 장치와 관련된 사용자 인터페이스는, 사용자가 더 높은 프레임 레이트로 그러한 콘텐츠를 수신하기 위해 낮은 프레임 레이트 콘텐츠에 대한 채널들을 변경할지의 여부를 식별하게 할 수도 있다.
일 양태에서, 본 발명은 멀티미디어 데이터를 프로세싱하는 방법을 제공한 다. 그 방법은, 멀티미디어 데이터의 다수의 채널들을 수신하는 단계, 그 채널들 중 2개 이상의 채널들과 관련된 프레임들을 디코딩하는 단계, 제 1 프레임 레이트로 제 1 채널의 제 1 프레임들을 프리젠테이션하는 단계, 및 그 제 1 프레임들을 프리젠테이션하면서, 제 2 프레임 레이트로 제 2 채널의 제 2 프레임들을 프리젠테이션하는 단계를 포함하며, 여기서, 그 제 2 프레임 레이트는 그 제 1 프레임 레이트보다 낮다.
또 다른 양태에서, 본 발명은 멀티미디어 데이터를 프로세싱하는 장치를 제공하며, 그 장치는, 그 멀티미디어 데이터의 다수의 채널들을 수신하는 수신기, 그 채널들 중 2개 이상과 관련된 프레임들을 디코딩하는 하나 이상의 디코더, 및 디스플레이를 포함하며, 그 디스플레이는 제 1 프레임 레이트로 제 1 채널의 제 1 프레임들을 프리젠테이션하고, 그 제 1 프레임들을 프리젠테이션하면서 제 2 프레임 레이트로 제 2 채널의 제 2 프레임들을 프리젠테이션하며, 그 제 2 프레임 레이트는 그 제 1 프레임 레이트보다 낮다.
또 다른 양태에서, 본 발명은, 멀티미디어 데이터의 다수의 채널들을 수신하는 수단, 그 채널들 중 2개 이상의 채널들과 관련된 프레임들을 디코딩하는 수단, 제 1 프레임 레이트로 제 1 채널의 제 1 프레임들을 프리젠테이션하는 수단, 및 그 제 1 프레임들을 프리젠테이션하면서 제 2 프레임 레이트로 제 2 채널의 제 2 프레임들을 프리젠테이션하는 수단을 포함하는 장치를 제공하며, 여기서, 그 제 2 프레임 레이트는 그 제 1 프레임 레이트보다 낮다.
여기에 설명된 기술들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 소프트웨어는, 디지털 신호 프로세서 (DSP) 또는 다른 타입의 프로세서와 같은 컴퓨터에서 실행될 수도 있다. 그 기술들을 실행하는 소프트웨어는, 먼저, 컴퓨터 프로그램 제품의 컴퓨터-판독가능 매체에 저장될 수도 있으며, 여기에 설명된 바와 같이 멀티-채널 뷰잉을 허용하기 위해, 프로세서 또는 다른 컴퓨터에서 로딩 및 실행될 수도 있다.
따라서, 본 발명은, 실행시에 컴퓨터로 하여금, 멀티미디어 데이터의 다수의 채널들을 수신하게 하고, 그 채널들 중 2개 이상의 채널들과 관련된 프레임들을 디코딩하게 하고, 제 1 프레임 레이트로 제 1 채널의 제 1 프레임들을 프리젠테이션하게 하며, 그 제 1 프레임들을 프리젠테이션하면서 제 2 프레임 레이트로 제 2 채널의 제 2 프레임들을 프리젠테이션하게 하는 명령들을 포함한 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품을 또한 고려하며, 여기서, 그 제 2 프레임 레이트는 그 제 1 프레임 레이트보다 낮다.
또한, 본 발명은, 멀티미디어 데이터의 다수의 채널들을 수신하고, 그 채널들 중 2개 이상의 채널들과 관련된 프레임들을 디코딩하고, 디스플레이로 하여금 제 1 프레임 레이트로 제 1 채널의 제 1 프레임들을 프리젠테이션하게 하며, 디스플레이로 하여금 그 제 1 프레임들을 프리젠테이션하면서 제 2 프레임 레이트로 제 2 채널의 제 2 프레임들을 프리젠테이션하게 하도록 구성된 프로세서에 관한 것이며, 여기서, 그 제 2 프레임 레이트는 그 제 1 프레임 레이트보다 낮다.
하나 이상의 예들의 세부사항들은 첨부한 도면 및 아래의 설명에서 설명된다. 다른 특성들, 목적들, 및 이점들은 그 설명 및 도면, 및 청구항으로부터 명백할 것이다.
도면의 간단한 설명
도 1은, 본 발명에서 설명된 기술들 중 하나 이상의 기술들을 구현할 수도 있는 시스템의 일 예인 멀티미디어 브로드캐스팅 시스템을 도시한 블록도이다.
도 2 내지 도 5는 본 발명의 기술들을 구현하는 무선 이동 장치의 스크린들의 전면도이다.
도 6 및 도 7은 본 발명에 따라 멀티-채널 뷰잉을 용이하게 할 수 있는 기술들을 도시한 흐름도이다.
도 8은 여기에 설명된 기술들 중 하나 이상의 기술들을 구현할 수도 있는 시스템을 도시한 또 다른 블록도이다.
상세한 설명
본 발명은, 특히, 무선 이동 장치 셋팅에서 멀티-프로그램 뷰잉을 개선시킬 수 있는 기술들에 관한 것이다. 그 기술들은, 멀티캐스트 또는 무선 이동 장치의 2개 이상의 채널들과 관련된 프레임들의 동시 프리젠테이션을 위해 제공된다. 계산 리소스들이 제한된 이동 셋팅 또는 다른 셋팅에서 그러한 멀티-프로그램 뷰잉을 지원하기 위해, 그 기술들은 그 채널들 중 적어도 일부의 비교적 낮은 프레임 레이트 프리젠테이션을 사용할 수도 있다. 예를 들어, 비교적 낮은 해상도 채널 스위치 프레임 (CSF) 은 낮은 해상도, 낮은 프레임 레이트 콘텐츠의 프리젠테이션을 위해 사용될 수도 있다. 이것은, 사용자가 관심 채널들을 신속하게 뷰잉하고, 그 채널들 중 하나를 선택하며, 후속하여, 더 높은 해상도 및 더 높은 프레 임 레이트로 선택된 채널을 수신하게 할 수 있다.
또한, 기술들은 상이한 프레임 레이트에서의 2개의 상이한 채널들과 관련된 비디오 프레임들의 동시 프리젠테이션을 지원할 수도 있다. 특히, 제 1 채널은 높은 해상도 및 높은 프레임 레이트로 프리젠테이션될 수도 있고, 제 2 채널은 더 낮은 해상도 및 더 낮은 프레임 레이트로 프리젠테이션될 수도 있다. 이러한 경우, 제 2 채널의 프리젠테이션은 그 채널의 낮은-해상도, 낮은 프레임 레이트 콘텐츠의 프리젠테이션을 위해 CSF에 기초할 수도 있다. 이것은, 무선 이동 장치에서 합당한 계산 레벨로 화상-내-화상 (PIP) 뷰잉을 허용한다. 그 CSF는 더 낮은 프레임 레이트로 인코딩 및 송신될 수도 있지만, 각각의 채널은 더 높은 프레임 레이트로 인코딩 및 송신될 수도 있다.
낮은-해상도, 낮은 프레임 레이트 콘텐츠는 높은-해상도, 낮은 프레임 레이트 콘텐츠보다 더 작은 윈도우내에서 장치의 디스플레이상에 프리젠테이션될 수도 있다. 그 장치와 관련된 사용자 인터페이스는, 사용자가 그러한 콘텐츠를 더 높은 프레임 레이트로 수신하기 위해 낮은 프레임 레이트 콘텐츠에 대한 채널들을 변경할 지의 여부를 식별하게 할 수도 있다. 사용자는 사용자의 기호에 대해 PIP 뷰잉을 구성할 수 있을 수도 있고, 더 높은 프레임 레이트에서의 프리젠테이션을 위해 낮은 프레임 레이트 콘텐츠 중에서 선택할 수 있을 수도 있거나, 낮은 프레임 레이트 콘텐츠와 높은 프레임 레이트 콘텐츠 사이에서 토글 (toggle) 할 수 있을 수도 있다.
도 1은 본 발명의 기술들을 구현할 수도 있는 하나의 샘플 시스템 (2) 을 도 시한 블록도이다. 시스템 (2) 은, 2개 이상의 멀티미디어 시퀀스들의 동시 프리젠테이션이 바람직한 임의의 셋팅에서 본 발명의 기술들이 구현될 수 있는 단지 샘플일 뿐이다. 시스템 (2) 에서, 디지털 멀티미디어 코딩 장치 (4) 는 일련의 채널들로서 콘텐츠를 많은 장치들로 전달한다. 그러나, 예시의 목적을 위해, 단일 멀티미디어 디코딩 장치 (6) 가 도 1에 도시되어 있다. 대부분의 경우에서, 수 개의 유사한 (장치 (6) 와 같은) 장치들은 장치 (4) 로부터 동일한 브로드캐스트들을 수신할 것이지만, 상이한 채널들에 개별적으로 동조할 수 있다. 시스템 (2) 은, 종래의 텔레비전의 사용자 경험과 유사한 사용자 경험을 제공하는 방식으로 장치 (4) 로의 멀티미디어 콘텐츠 전달을 허용한다.
멀티미디어 코딩 장치 (4) 는, 비디오의 하나 이상의 채널들을 무선 가입자 장치들로 브로드캐스팅하는데 사용되는 브로드캐스트 네트워크 컴포넌트의 일부를 형성할 수도 있다. 멀티미디어 코딩 장치 (4) 는 멀티캐스트를 브로드캐스팅할 수 있는 멀티캐스트 장치의 일 예이다. 다른 예에서, 멀티캐스트 장치는 인코딩을 실제로 수행할 필요는 없지만, 멀티캐스트로 멀티미디어 데이터를 브로드캐스팅하는 브로드캐스트 컴포넌트 또는 장치로 간단히 실현될 수 있다. 그러한 경우에서, 멀티미디어 콘텐츠는 다양한 콘텐츠 제공자들로부터의 하나 이상의 생방송 또는 미리-레코딩된 멀티미디어 피드 (feed) 로부터 획득될 수 있다.
예로서, 멀티미디어 디코딩 장치 (6) 는, 디지털 텔레비전, 무선 통신 장치, 개인 휴대 정보 단말기 (PDA), 랩탑 컴퓨터 또는 데스크탑 컴퓨터, "iPod" 라는 상표로 판매되는 것과 같은 디지털 음악 및 비디오 장치, 비디오 게임 장치, 또는 셀 룰러, 위성 또는 지상-기반 라디오 전화기 (radiotelephone) 와 같은 라디오 전화기의 일부로서 구현될 수도 있다. 대부분의 다음 예들에서, 디코딩 장치는 무선 라디오 전화기로 가정되지만, 본 발명은 이러한 관점으로 제한되지는 않는다.
멀티미디어 코딩 장치 (4) 및 멀티미디어 디코딩 장치 (6) 는, 하나 이상의 프로세서, 디지털 신호 프로세서, 주문형 집적회로 (ASIC), 필드 프로그래밍가능 게이트 어레이 (FPGA), 별개의 로직, 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 장치 (4) 및 장치 (6) 의 도시된 컴포넌트들은 하나 이상의 인코더 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 하나는 인코더/디코더 (CODEC) 의 일부로서 통합될 수도 있다. 몇몇의 경우, 송신기 (16) 및 수신기 (17) 는 상이한 컴포넌트들, 또는 다른 컴포넌트들 이외의 칩들상에 형성될 수도 있다. 송신기 (16) 및 수신기 (17) 는, 모뎀, 필터, 주파수 변환 유닛, 증폭기, 및/또는 다른 컴포넌트들과 같은 적절한 RF 컴포넌트들을 포함할 수도 있다.
설명된 바와 같이, 멀티미디어 코딩 장치 (4) 는 비디오 데이터의 하나 이상의 채널들을 브로드캐스팅하는데 사용되는 브로드캐스트 네트워크 컴포넌트의 일부를 형성할 수도 있다. 그러한 컴포넌트들의 예는, 인코딩된 멀티미디어 데이터를 브로드캐스팅하는데 사용되는 무선 기지국 또는 임의의 인프라구조 노드를 포함한다. 도 1에 도시된 바와 같이, 멀티미디어 코딩 장치 (4) 는 복수의 인코딩 모듈들 (12A 내지 12N; 총괄적으로 "모듈들 (12)") 을 포함한다. 이러한 인코딩 모듈들 (12) 각각은 별개의 인코더 또는 인코딩 프로세스를 포함할 수도 있다. 각각의 인코딩 모듈들 (12) 은 상이한 채널에 대해 멀티미디어 콘텐츠를 인코딩한다. 상이한 채널들은, 뉴스 브로드캐스트, 스포츠 이벤트, 텔레비전 프로그램, 영화 등과 같은 상이한 프로그램들을 포함할 수도 있다. 또한, 상이한 채널들은, 상이한 카메라 앵글 (angle) 로부터의 동일한 스포츠 이벤트와 같이 상이한 뷰로 유사한 콘텐츠를 프리젠테이션할 수도 있다.
일단 인코딩되면, 인코딩 모듈들 (12) 로부터의 콘텐츠는, 그 콘텐츠를 멀티캐스트로 결합시키는 멀티플렉스 모듈 (14) 로 제공된다. 필요하다면, 멀티플렉스 모듈 (14) 은 인코딩 모듈들 (12) 과 통신하여, 인코딩 모듈들 (12) 의 상이한 인코딩 모듈들에 의해 적용된 인코딩 레이트를 조정할 수도 있고, 예를 들어, 통신 채널 (19) 의 대역폭 요건들을 충족시킬 수도 있다. 송신기 (16) 는 많은 상이한 채널들의 인코딩된 멀티미디어 콘텐츠를 포함하는 멀티캐스트를 멀티미디어 디코딩 장치들로 송신한다. 또한, 예시의 목적을 위해, 도 1은 단일 멀티미디어 디코딩 장치 (6) 를 도시한다. 그러나, 실제로, 많은 유사한 (장치 (6) 와 같은) 멀티미디어 디코딩 장치들은 멀티미디어 코딩 장치 (4) 로부터 동일한 멀티캐스트를 수신할 수도 있다.
통상적으로, 통신 채널 (19) 은 무선 채널이지만, 임의의 특정 무선 통신 기술에 의해 제한되지는 않는다. 예로서, 멀티캐스트 데이터는, 코드 분할 다중 액세스 (CDMA) 기술, 주파수 분할 다중 액세스 (FDMA) 기술, 시분할 다중 액세스 (FDMA) 기술, 다른 기술들, 또는 그러한 기술들의 다양한 조합들에 의하여 채널 (19) 을 통해 전달될 수도 있다. 브로드캐스트에 있어서, 진폭 변조 (AM), 주 파수 변조 (FM), 여기에 리스트된 기술들의 조합들, 또는 다른 타입의 변조 또는 코딩과 같은 많은 다른 기술들이 또한 사용될 수 있다.
멀티-미디어 디코딩 장치 (6) 의 수신기 (17) 는 무선 채널 (19) 을 통해 멀티캐스트를 수신한다. 그 후, 디코더 (18) 는, 예를 들어, 사용자 선택에 응답하여 특정한 관심 채널에 동조할 수도 있고, 그 채널의 콘텐츠를 디코딩할 수도 있다. 디스플레이 (5) 는 디코딩된 콘텐츠를 디스플레이하기 위해 사용된다. 본 발명에 따르면, 디코더 (18) 는 화상-내-화상 (PIP) 모듈 (10) 을 포함한다. PIP 모듈 (10) 은, 디스플레이 (5) 상에서의 멀티캐스트의 2개 이상의 채널들과 관련된 프레임들의 동시 프리젠테이션을 용이하게 하는 디코더 (18; 또는 별개의 디코더) 의 일부이다. 예를 들어, PIP 모듈 (10) 은 비교적 낮은 해상도 채널 스위치 프레임 (CSF) 을 디코딩할 수도 있으며, 디스플레이 (5) 는 낮은 해상도, 낮은 프레임 레이트 콘텐츠로서 CSF를 프리젠테이션할 수 있다. 본 발명의 기술들은 단일 디코더 (18) 또는 다수의 디코더들에 의해 실행될 수도 있다. 예를 들어, PIP 모듈 (10) 은 제 2 디코더로서 구현될 수 있다.
CSF는 채널 스위칭을 위해 포함된 멀티캐스트의 프레임을 지칭한다. 사용자가 멀티캐스트에서 채널들을 스위칭할 경우, 예측-기반 비디오 코딩과 관련된 인터프레임 의존도로 인해 문제가 발생할 수도 있다. 이러한 문제를 감소 또는 제거하기 위해, CSF는 채널에 대해 주기적으로 포함될 수도 있다. CSF는 채널 스위칭의 이벤트에서 멀티캐스트의 각각의 채널에 대해 사용된 비-예측적인 프레임들을 포함할 수도 있다. CSF는 통상의 프레임들보다 더 낮은 해상도를 가질 수 도 있지만, 일반적으로, 그 CSF가 비-예측적이라는 사실로 인한 채널 변경에 후속한다는 것을 나타낼 수도 있는 문제들을 감소 또는 제거할 수도 있다. 비-예측적인 것에 의하여, 본 발명은, CSF가 이전 또는 후속 프레임들에 의존하지 않고, 다른 프레임들의 비디오 블록들에 대한 모션 벡터들에 의존하지 않고 디코딩가능하다는 것을 의미한다. 채널 스위치에 후속하여 디코딩할 시에, 채널 스위칭이 예측-기반 문제들의 긴 주기를 초래하지 않는다는 것을 보장하기 위해, CSF는 주기적으로 전달될 수도 있다.
몇몇 예에서, 하나 이상의 SEI (supplemental enhancement information) 네트워크 추상화 레이어 (NAL) 유닛으로 CSF가 캡슐화될 수도 있으며, SEI CSF 로 지칭될 수도 있다. CSF는, 코딩된 비트스트림에서 랜덤 액세스 포인트로의 가시도를 가능하게 하기 위해 독립적인 전송 프로토콜 패킷으로 캡슐화될 수 있다. CSF 디코딩에 있어서, 채널 변경 요청이 개시되면, 요청된 채널에서의 CSF는 디코딩될 것이다. CSF는 SEI CSF 메시지에 포함될 수도 있다.
예로서, 각각의 채널의 프레임들은 초당 약 30프레임으로 전달될 수도 있고, CSF는 초당 약 1프레임으로 전달될 수도 있다. 그러나, 여기에 설명된 기술들이 다양한 다른 프레임 레이트로 구현될 수 있으므로, 이러한 레이트들은 단지 샘플들일 뿐이다. CSF는 각각의 특정 채널에 포함될 수도 있거나, 미디어 로직 채널 (MLC) 상에 포함될 수도 있다. 몇몇의 경우, MLC는 다른 채널들에서의 CSF에 대한 포인터들, 또는 MLC 에서의 CSF에 대한 포인터들을 포함할 수도 있다. 이러한 경우, PIP 모듈 (10) 은, 디코딩 및 사용자로의 프리젠테이션을 위해 CSF를 신속하고 효율적으로 위치결정하기 위해 포인터들을 사용할 수 있다. 다른 경우, CSF는 포인터들없이 위치될 수도 있으며, 이는 덜 효율적인 접근법일 수도 있다. 임의의 경우, 비교적 낮은 프레임 레이트에서의 CSF의 프리젠테이션은, 사용자가 관심 채널들 사이에서 신속하게 선택하고, 후속하여, 더 높은 해상도 및 더 높은 프레임 레이트로 선택된 채널에 동조하게 할 수도 있다.
여기에 설명된 임의의 사용자 선택은, 예를 들어, 영숫자 키패드, 터치 스크린, 스크롤 휠, 방향성 패드, 조이스틱, 터치패드, 음성 인식 등을 포함할 수도 있는 사용자 인터페이스를 통해 행해질 수도 있다. 간략화를 위해, 장치 (6) 의 이러한 옵션적인 입력 컴포넌트들은 도 1에 도시되어 있지 않다. 사용자 인터페이스는 디스플레이 (5) 를 구동시키는 디코더 (18) 에, 또는 프로세서 (미도시) 에 커플링할 수도 있고, 사용자 인터페이스로부터의 사용자 입력에 응답하여 디스플레이 (5) 를 구동시키는데 사용될 수도 있으며, 이러한 경우, 프로세서는 디스플레이 (5) 및 사용자 인터페이스 양자에 커플링할 것이다.
PIP 모듈 (10) 은 디스플레이 (5) 상의 상이한 프레임 레이트들에서의 2개의 상이한 채널들과 관련된 프레임들의 동시 프리젠테이션을 용이하게 한다. 디코더 (18) 는 높은 해상도 및 높은 프레임 레이트로 제 1 채널을 디코딩할 수도 있으며, 이것은 디스플레이 (5) 상에서 프리젠테이션된다. 동시에, 디코더 (18) 의 PIP 모듈 (10) 은 더 낮은 해상도 및 더 낮은 프레임 레이트로 제 2 채널을 디코딩할 수도 있으며, 이것은 또한 디스플레이 (5) 상에서 프리젠테이션된다. 제 2 채널의 프리젠테이션은 상술된 바와 같이 CSF에 기초할 수도 있거나, 채널의 프레 임들의 서브-샘플링과 같은 다른 기술들에 기초할 수 있다. 서브-샘플링이 사용되면, 디코더 (18) 는 제 1 채널과 관련된 실질적으로 모든 수신되고 인코딩된 프레임들을 디코딩할 수도 있으며, PIP 모듈 (10) 은 제 2 채널과 관련된 수신되고 인코딩된 프레임들의 서브세트를 디코딩할 수도 있다. 임의의 경우에서, PIP 모듈 (10) 은, 멀티미디어 디코딩 장치 (6) 에서 합당한 계산 레벨로 디스플레이 (5) 상에 화상-내-화상 뷰잉을 허용할 수 있다.
PIP 모듈 (10) 에 의해 디코딩된 낮은-해상도, 낮은 프레임 레이트 콘텐츠는, 높은-해상도, 낮은 프레임 레이트 콘텐츠보다 더 작은 윈도우에서 디스플레이 (5) 상에 프리젠테이션될 수도 있으며, 사용자가, 그러한 콘텐츠를 더 높은 프레임 레이트로 수신하기 위해 낮은 프레임 레이트 콘텐츠에 대한 채널들을 변경할지의 여부를 식별하게 한다. 사용자는 사용자의 기호에 대해 디스플레이 (5) 상에서 화상-내-화상 뷰잉을 구성할 수 있을 수도 있고, 더 높은 프레임 레이트에서의 프리젠테이션을 위해 낮은 프레임 레이트 콘텐츠 중에서 선택할 수 있을 수도 있거나, 낮은 프레임 레이트 콘텐츠와 높은 프레임 레이트 콘텐츠 사이에서 토글할 수 있을 수도 있다. 장치 (6) 의 몇몇 경우 또는 모드에서, PIP 모듈 (10) 은, 임의의 높은 해상도 채널들의 프리젠테이션 없이 사용자로의 수 개의 낮은 해상도 채널들의 프리젠테이션을 위해 수 개의 CSF를 디코딩할 수도 있다. 예를 들어, 이러한 모드는, 사용자가 많은 채널들을 탐색하고 그러한 채널들 중에서 선택할 수 있는 디스플레이 (5) 상의 메뉴 모드를 포함할 수도 있다. 또한, 여기에 설명된 사용자 선택 또는 디스플레이 구성은, 영숫자 키패드, 터치 스크린, 터치패드, 음성 인식, 또는 장치 (6) 에 대해 사용된 임의의 입력 메커니즘으로부터의 선택을 통해 행해질 수 있다.
도 2 내지 도 5는 본 발명의 화상-내-화상 기술들을 구현하는 이동 장치들의 스크린의 전면도이다. 도 2에 도시된 바와 같이, 장치 (20) 는, 제 1 멀티미디어 프레임들 (26; "비디오 1" 로 라벨링됨) 및 제 2 멀티미디어 프레임들 (28; "비디오 2" 로 라벨링됨) 을 동시에 프리젠테이션하는 디스플레이 (22) 를 포함한다. 특히, 제 1 멀티미디어 프레임들 (26) 은, 제 2 멀티미디어 프레임들 (28) 의 프리젠테이션과 관련된 제 2 프레임 레이트보다 더 높은 제 1 프레임 레이트로 프리젠테이션될 수도 있다. 제 2 멀티미디어 프레임 (28) 의 프리젠테이션은 CSF에 기초할 수도 있지만, 본 발명이 이러한 관점으로 제한될 필요는 없다.
사용자는 제 1 멀티미디어 프레임들 (26) 및 제 2 멀티미디어 프레임들 (28) 로서 어느 채널들, 및 가능하다면 토글 뷰가 프리젠테이션되는지를 선택할 수 있을 수도 있다. 토글링 (toggling) 이 발생할 경우, 제 2 멀티미디어 프레임들 (28) 은 제 1 멀티미디어 프레임들 (26) 보다 더 큰 윈도우에서 프리젠테이션된다. 즉, 토글링은, 제 2 프레임들 (28) 에 대한 제 1 프레임들 (26) 의 상대적인 위치가 스위칭되게 한다. 더 작은 윈도우에 대한 프레임 레이트는 더 큰 윈도우의 프레임 레이트보다 작게 유지될 수도 있다. 따라서, 토글링에 후속하여, 제 1 프레임들의 프리젠테이션은 더 작은 윈도우에서 더 느린 프레임 레이트로 발생하고, 제 2 프레임들의 프리젠테이션은 더 큰 윈도우에서 더 높은 프레임 레이트로 발생한다. 도 2에 도시된 바와 같이, 이러한 예에서, 더 작은 윈도우는 더 큰 윈도우의 저부 좌측 코너를 오버레이한다.
도 3은 본 발명의 화상-내-화상 기술들을 구현하는 이동 장치 (30) 의 스크린 (32) 의 또 다른 샘플 전면도이다. 이러한 예에서, 디스플레이 스크린 (32) 은, 각각 상이한 채널과 관련된 멀티미디어 프레임들을 프리젠테이션하는 4개의 상이한 뷰들 (비디오 1 내지 비디오 4) 로 분할된다. 이러한 경우, 각각의 뷰는, 상이한 채널들에 대한 CSF에 기초하여 낮은-해상도, 낮은 프레임 레이트 시퀀스를 프리젠테이션할 수도 있다. 다른 방법으로, 하나의 뷰 (즉, 비디오 1) 는 통상의 높은 해상도 및 높은 프레임 레이트로 프리젠테이션될 수도 있으며, 다른 뷰들 (즉, 비디오 2 내지 비디오 4) 은 낮은 해상도 및 낮은 프레임 레이트로 프리젠테이션된다.
도 4는 본 발명의 화상-내-화상 기술들을 구현하는 이동 장치 (40) 의 스크린 (42) 의 또 다른 샘플 전면도이다. 이러한 예에서, 디스플레이 (42) 는, 각각 상이한 채널과 관련된 멀티미디어 프레임들을 프리젠테이션하는 많은 뷰들 (비디오 1 내지 비디오 25) 로 분할된다. 이러한 경우, 각각의 뷰는, 상이한 채널들에 대한 CSF에 기초하여, 낮은-해상도, 낮은 프레임 레이트 시퀀스를 프리젠테이션할 수도 있다. 스크린 (42) 의 이러한 뷰는, 사용자가 모든 가능한 채널들로부터 콘텐츠를 탐색할 수 있고 관심 채널을 선택할 수 있는 메뉴 옵션에 대응할 수도 있다. 그 선택에 후속하여, 선택된 채널은 높은 프레임 레이트 및 높은 해상도로 프리젠테이션될 수도 있다.
도 5는 본 발명의 화상-내-화상 기술들을 구현하는 이동 장치 (50) 의 스크 린 (52) 의 또 다른 샘플 전면도이다. 이러한 예에서, 디스플레이 스크린 (42) 은 하나의 큰 뷰 (비디오 1) 및 많은 더 작은 뷰들 (비디오 2 내지 비디오 17) 로 분할된다. 더 작은 뷰들 (비디오 2 내지 비디오 17) 은 큰 뷰의 주변에 배치된다. 더 작은 뷰들 (비디오 2 내지 비디오 17) 은 선택될 수도 있는 상이한 채널들의 프레임들의 낮은 프레임 레이트, 낮은 해상도 프리젠테이션을 포함한다. 더 큰 뷰 (비디오 1) 는 선택된 채널의 프레임들의 높은 프레임 레이트, 높은 해상도 프리젠테이션을 포함한다. 이러한 방식으로, 사용자는 많은 낮은 해상도, 낮은 프레임 레이트 뷰들을 탐색할 수 있을 수도 있고, 이러한 뷰들을 사용하여 채널들을 변경할지의 여부를 확인할 수도 있다. 동시에, 사용자는 선택된 채널의 높은 해상도, 높은 프레임 레이트 뷰 (비디오 1) 를 탐색할 수 있다.
본 발명에 따르면, 사용자는, 도 2 내지 도 5의 예들에 도시된 바와 같이, 상이한 뷰들을 구성할 수 있을 수도 있다. 그러나, 많은 다른 화상-내-화상 배열들이 또한 미리-정의되거나 사용자에 의해 구성될 수 있다. 사용자는, 화상-내-화상 뷰잉을 구성하고, 어느 뷰들이 낮은 프레임 레이트를 갖는지 및 어느 뷰들이 높은 프레임 레이트를 갖는지를 정의하도록 구성 데이터를 입력할 수도 있다. 다른 방법으로, 사용자는 장치 (6) 상의 메뉴 옵션으로부터 원하는 화상-내-화상 뷰를 간단히 선택할 수도 있다.
도 6은 본 발명의 교시와 부합하는 기술을 도시한 흐름도이다. 도 6은 도 1의 시스템 (2) 을 참조하여 설명되었지만, 다른 시스템들 또한 그 기술들을 지원할 수 있다. 도 6에 도시된 바와 같이, 멀티미디어 디코딩 장치 (6) 의 수신 기 (17) 는 멀티미디어 데이터의 다수의 채널들을 수신한다 (61). 멀티미디어 인코딩 장치 (4) 는, 장치 (6) 와 같은 많은 장치들로 멀티캐스트를 전송하는 멀티미디어 브로드캐스팅 장치의 일 예이다. 장치 (6) 가 멀티미디어 데이터의 다수의 채널들을 수신하면, 디코더 (18) 는 2개 이상의 채널들과 관련된 프레임들을 디코딩한다 (62). 예를 들어, 디코더 (18) 는 하나의 채널의 프레임들을 획득 및 디코딩할 수도 있지만, PIP 모듈 (10) 은 또 다른 채널에 대한 CSF를 획득 및 디코딩한다.
그 후, 멀티미디어 디코딩 장치 (6) 의 디스플레이 (5) 는 제 1 프레임 레이트로 제 1 채널의 제 1 프레임들을 프리젠테이션하면서 (63), 제 2 프레임 레이트로 제 2 채널의 프레임들을 프리젠테이션한다 (64). 일 예로서, 제 1 프레임 레이트는 초당 약 15 프레임보다 클 수도 있고, 제 2 프레임 레이트는 초당 약 15 프레임보다 작을 수도 있다. 하나의 특정 예에서, 제 1 프레임 레이트는 초당 약 30 프레임일 수도 있고, 제 2 프레임 레이트는 초당 약 1 프레임일 수도 있다. 이러한 레이트들은, 초당 약 1 프레임의 CSF 인코딩을 갖는 초당 약 30 프레임의 멀티캐스트 채널들의 인코딩으로 인한 것일 수도 있다.
장치 (6) 의 사용자는, 화상-내-화상 뷰잉을 위해 장치 (6) 의 공통 디스플레이 (5) 내의 제 2 프레임들에 대한 제 1 프레임들의 상대적인 위치를 정의할 수 있을 수도 있다. 특히, (도 2 내지 도 6의 예에서 도시된 바와 같은) 이러한 상대적인 위치는 사용자 입력에 기초하여 정의될 수도 있다. 예를 들어, 도 2를 다시 참조하면, 사용자는, 사용자의 기호에 대한 화상-내-화상을 정의하기 위하 여, 제 1 멀티미디어 프레임들 (26) 및 제 2 멀티미디어 프레임들 (28) 과 관련된 윈도우의 사이즈, 형상 및 위치결정을 정의할 수 있을 수도 있다. 다른 방법으로, 사용자는, 장치 (6) 의 메뉴로부터 원하는 화상-내-화상 뷰 스크린을 간단히 선택할 수도 있다. 또한, 사용자는 뷰들을 교환하고, 즉, 제 2 멀티미디어 프레임들 (28) 에 대한 제 1 멀티미디어 프레임들 (26) 의 상대적인 위치를 바꿀 수 있을 수도 있다. 그러한 교환이 발생할 경우, 제 1 프레임들 (26) 은 제 2 프레임 레이트로 프리젠테이션될 수도 있고, 제 2 프레임들 (28) 은 제 1 프레임 레이트로 프리젠테이션될 수도 있으며, 이러한 상이한 프레임들과 관련된 윈도우들은 교환될 수도 있다.
또한, 본 발명의 기술들은 다중의 화상-내-화상을 위해 부가적인 채널들의 부가적인 프레임들의 프리젠테이션을 지원한다. 예를 들어, 제 1 프레임이 프리젠테이션되는 동안, 제 3 채널의 제 3 프레임들은 제 2 프레임으로 프리젠테이션될 수도 있다. 또한, CSF는 그러한 화상-내-화상 또는 다중의 화상-내-화상 뷰잉을 지원하기 위해 비교적 간단한 메커니즘을 제공할 수도 있다. 높은 해상도, 높은 프레임 레이트 윈도우에 있어서, 디코더 (18) 는 제 1 채널과 관련된 실질적으로 모든 수신된 프레임들을 디코딩할 수도 있다. 하나 이상의 낮은 해상도, 낮은 프레임 레이트 윈도우들에 있어서, PIP 모듈 (10) 은 이러한 채널들에 대해 CSF를 디코딩할 수도 있다.
PIP 모듈 (10) 은, 미디어 로직 채널 (MLC) 로부터 CSF로의 포인터들에 액세스함으로써 그 CSF를 디코딩할 수도 있다. CSF 그 자체는 MLC에 저장될 수도 있거나 각각의 채널에 저장될 수도 있다. 어느 경우에서든, PIP 모듈 (10) 은 포인터들에 기초하여 CSF를 획득할 수도 있다. 따라서, 포인터들은 MLC 내에서 CSF를 식별할 수도 있거나, 미디어 콘텐츠의 각각의 세트와 관련된 각각의 채널들내에서 CSF의 위치들을 포인팅할 수도 있다. 상이한 콘텐츠는, 뉴스 브로드캐스트, 스포츠 이벤트, 텔레비전 프로그램, 영화 등과 같은 상이한 프로그램들을 포함할 수도 있다. 또한, 상이한 채널들은, 상이한 카메라 앵글로부터의 동일한 스포츠 이벤트와 같이 공통 브로드캐스트의 상이한 뷰들을 프리젠테이션할 수도 있다. CSF는 비-예측적인 프레임들을 포함한다. 또한, 더 낮은 프레임 레이트로 프리젠테이션되는 CSF는 또한 통상의 프레임들보다 더 낮은 공간 해상도일 수도 있지만, 본 발명은 이러한 관점으로 제한될 필요는 없다. 즉, 상이한 프레임 레이트들로 프리젠테이션되는 제 1 및 제 2 프레임들 (도면부호 (63 및 64)) 은, 더 낮은 프레임 레이트 프리젠테이션이 각각의 프레임들의 해상도의 관점에서 또한 더 낮은 품질이도록 상이한 해상도를 또한 가질 수도 있다. 예를 들어, CSF는 통상의 프레임들보다 더 높은 양자화 파라미터로 인코딩될 수도 있다.
도 7은 본 발명에 따라 멀티-채널 뷰잉을 용이하게 할 수 있는 또 다른 기술을 도시한 또 다른 흐름도이다. 도 7에 도시된 바와 같이, 멀티미디어 디코딩 장치 (6) 의 수신기 (17) 는 멀티미디어 데이터의 다수의 채널들을 수신한다 (71). 또한, 수신기 (17) 는 그 채널들에 대한 CSF를 수신한다 (72). 디코더 (18) 는 CSF 중 2개 이상을 디코딩하고 (72), 디스플레이 (5) 는 CSF 중 2개 이상을 "느린" 프레임 레이트로 동시에 프리젠테이션한다. "느린" 프레임 레이트는, 초당 1 프레임일 수도 있는 초당 수신된 CSF의 수에 의해 정의될 수도 있거나, 더 높은 레이트 또는 더 낮은 레이트로 정의될 수도 있다. 도 3 및 도 4는, 다수의 채널들이 이러한 "느린" 프레임 레이트로 동시에 프리젠테이션될 수도 있는 2개의 샘플 뷰들을 도시한다. 이것은, 하나 이상의 채널들의 완전한 디코딩과 관련된 더 집중적인 계산 비용을 초래하지 않고도, 관심 채널의 사용자 선택을 허용할 수 있다.
"느린" 프레임 레이트에서의 CSF 중 2개 이상의 프리젠테이션에 기초하여, 사용자는 "신속한" 프레임 레이트에서의 후속 뷰잉을 위해 채널들 중 하나를 선택할 수도 있다. 이러한 "신속한" 프레임 레이트는 초당 약 30 프레임일 수도 있지만, 본 발명은 이러한 관점으로 제한되지 않는다. 더 일반적으로, 이러한 콘텍스트에서, "느린 프레임 레이트" 및 "신속한 프레임 레이트" 라는 어구는 상대적인 용어이며, 느린 프레임 레이트가 신속한 프레임 레이트보다 느린 한, 임의의 특정한 레이트를 내포할 필요는 없다. 장치 (6) 가 채널들 중 하나를 선택하는 사용자 입력을 수신할 경우 (75), 그 후, 디스플레이 (5) 는 신속한 프레임 레이트로 선택된 채널을 프리젠테이션한다 (76). 이러한 방식으로, 더 높은 프레임 레이트로 채널을 디코딩하는 것과 관련된 계산 복잡도를 초래하지 않고도 사용자-통지된 채널 선택을 용이하게 하기 위해, 2개 이상의 채널들이 느린 프레임 레이트로 프리젠테이션될 수도 있다. 그 후, 채널 선택에 후속하여, 그 선택된 채널만이 신속한 프레임 레이트로 완전하게 디코딩되고 프리젠테이션될 수도 있다. 상술된 바와 같이, 또한, 느린 프레임 레이트로 프리젠테이션된 프레임들은 신속한 프레임 레이트로 프리젠테이션된 프레임들에 비하여 낮은 해상도 포맷으로 프리젠테이션될 수도 있다. 사용자 선택은, 영숫자 키패드, 터치 스크린, 스크롤 휠, 방향성 패드, 조이스틱, 터치패드, 음성 인식, 또는 임의의 입력 수단을 통해 수신될 수도 있다.
CSF는 다수의 채널들 각각에 포함될 수도 있다. CSF의 신속한 획득을 용이하게 하기 위해, 포인터가 MLC에서 정의되어 다른 채널들내에서 CSF를 위치결정할 수도 있다. 다른 방법으로, MLC 그 자체는 다른 채널들에 대한 CSF를 포함할 수도 있다. 또 다른 경우, CSF는 상이한 채널들에 포함될 수도 있고, 임의의 포인터들의 도움없이 획득될 수도 있지만, 이러한 방법은 덜 효율적일 수도 있다.
도 8은 여기에 설명된 기술들 중 하나 이상을 구현할 수도 있는 시스템 (102) 을 도시한 또 다른 블록도이다. 도 8에 도시된 바와 같이, 멀티미디어 인코딩용 장치 (104) 는 복수의 인코딩용 모듈들 (112A 내지 112N; 총괄하여 "인코딩용 모듈들 (112)") 을 포함한다. 이러한 인코딩용 모듈들 (112) 각각은 별개의 인코더 또는 인코딩 프로세스를 포함할 수도 있다. 모듈들 (122) 각각은 상이한 채널에 대한 멀티미디어 콘텐츠를 인코딩한다. 일단 인코딩되면, 인코딩용 모듈들 (112) 로부터의 콘텐츠는, 그 콘텐츠를 멀티캐스트로 결합시키는 멀티플렉싱용 모듈 (114) 로 제공된다.
그 후, 송신용 모듈 (116) 은 통신 채널 (119) 을 통해 그 멀티캐스트를 송신하며, 그 통신 채널은 통상적으로 무선 채널이지만, 임의의 특정 무선 통신 기술 에 의해 제한되지는 않는다. 다수의 멀티미디어 디코딩용 장치들은 그 멀티캐스트를 수신할 수도 있지만, 장치 (106) 는 도시된 단지 수신 장치일 뿐이다. 수신용 모듈 (117) 은 무선 채널 (119) 을 통해 멀티캐스트를 수신한다. 그 후, 디코딩용 모듈 (118) 은, 예를 들어, 사용자 선택에 응답하여 특정 관심 채널에 동조할 수도 있고, 그 채널의 콘텐츠를 디코딩할 수도 있다. 프리젠테이션용 모듈 (105) 은 디코딩된 콘텐츠를 프리젠테이션하는데 사용된다. 여기에 설명된 바와 같이, 디코딩용 모듈 (118) 은 화상-내-화상 (PIP) 용 모듈 (110) 을 포함한다. PIP용 모듈 (110) 은, 프리젠테이션용 모듈 (105) 상의 멀티캐스트의 2개 이상의 채널들과 관련된 프레임들의 동시 프리젠테이션을 용이하게 하는 디코딩용 모듈 (118) (또는 별개의 디코더 또는 프로세스) 의 일부이다. 예를 들어, PIP용 모듈 (110) 은 비교적 낮은 해상도 CSF를 디코딩할 수도 있고, 프리젠테이션용 모듈 (105) 은 낮은 해상도, 낮은 프레임 레이트 콘텐츠로서 그 CSF를 프리젠테이션할 수 있다. 본 발명의 기술들은 단일 디코더 또는 다수의 디코더들에 의해 실행될 수도 있다.
본 발명에 따르면, 인코딩 수단은 인코딩 모듈 (12; 도 1) 또는 인코딩용 모듈들 (112; 도 8) 을 포함할 수도 있다. 멀티플렉싱 수단은 멀티플렉스 모듈 (14; 도 1) 또는 멀티플렉싱용 모듈 (114; 도 8) 을 포함할 수도 있다. 송신 수단은 송신기 (16; 도 1) 또는 송신용 모듈 (116; 도 8) 을 포함할 수도 있다.
수신측상에서, 수신 수단은 수신기 (17; 도 1) 또는 수신용 모듈 (117; 도 8) 을 포함할 수도 있다. 디코딩 수단은 디코더 (18; 도 1) 또는 디코딩용 모 듈 (118; 도 8) 을 포함할 수도 있다. PIP 수단은 PIP 모듈 (10; 도 1) 또는 PIP용 모듈 (110; 도 8) 을 포함할 수도 있으며, 이들 중 어느 하나는 별개의 유닛 또는 디코더 (18) 또는 디코딩용 모듈 (118) 에 통합된 유닛일 수도 있다. 프리젠테이션 수단은 디스플레이 (5; 도 1) 또는 프리젠테이션용 모듈 (105; 도 8) 을 포함할 수도 있다. 여기에 설명된 바와 같이, 임의의 사용자 입력은, 영숫자 키패드, 터치스크린, 조이스틱, 음성 인식, 또는 임의의 입력 수단으로부터 캡쳐될 수도 있다. 그러한 장치들은 PIP의 프리젠테이션을 제어하는 수단, PIP의 뷰들을 교환하는 수단, PIP의 뷰들을 선택하는 수단 등으로 지칭될 수도 있다.
다수의 예들이 설명되었다. 본 발명의 기술들은, 특히, 무선 이동 장치 셋팅에서 멀티-프로그램 뷰잉을 개선시킬 수도 있다. 여기에 설명된 기술들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 그 기술들은, 적어도 부분적으로, 컴퓨터 프로그램 제품의 컴퓨터-판독가능 매체상의 하나 이상의 저장된 또는 송신된 명령들 또는 코드에 의해 실현될 수도 있다. 컴퓨터-판독가능 매체는, 컴퓨터 저장 매체, 통신 매체, 또는 이들 양자를 포함할 수도 있으며, 일 장소로부터 또 다른 장소로의 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함할 수도 있다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 컴퓨터 프로그램 제품은 패키징 재료를 포함할 수도 있다.
제한이 아닌 예로서, 컴퓨터-판독가능 매체는, 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 RAM, 판독-전용 메모리 (ROM), 비-휘발성 랜덤 액세스 메모 리 (NVRAM), ROM, 전기적으로 소거가능한 프로그래밍가능 판독-전용 메모리 (EEPROM), EEPROM, 플래시 메모리, CD-ROM 또는 다른 광학 디스크 저장부, 자성 디스크 저장부 또는 다른 자성 저장 장치, 또는 명령 또는 데이터 구조의 형태로 원하는 프로그램 코드를 운송 또는 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다.
또한, 임의의 접속부가 컴퓨터-판독가능 매체로 적절하게 명칭된다. 예를 들어, 소프트웨어가, 동축 케이블, 광섬유 케이블, 꼬인 케이블 (twisted pair), 디지털 가입자 라인 (DSL), 적외선, 무선, 및 마이크로웨이브와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되면, 동축 케이블, 광섬유 케이블, 꼬인 케이블, DSL, 또는 적외선, 무선 및 마이크로웨이브와 같은 무선 기술들이 매체의 정의에 포함된다. 여기에 사용된 바와 같이, disk 및 disc는, 컴팩 디스크 (CD), 레이저 디스크, 광학 디스크, DVD (digital versatile disc), 플로피 디스크 및 블루-레이 디스크를 포함하며, 여기서, disk들은 일반적으로 데이터를 자기적으로 생성하지만, disc들은, 예를 들어, 레이저로 데이터를 광학적으로 생성한다. 또한, 상기의 조합들은 컴퓨터-판독가능 매체의 범위내에 포함되어야 한다.
컴퓨터 프로그램 제품의 컴퓨터-판독가능 매체와 관련된 코드는 컴퓨터, 예를 들어, 하나 이상의 디지털 신호 프로세서 (DSP), 범용 마이크로프로세서, 주문형 집적회로 (ASIC), 필드 프로그래밍가능 로직 어레이 (FPGA), 또는 다른 동등한 집적 또는 별개의 로직 회로와 같은 하나 이상의 프로세서에 의해 실행될 수도 있 다. 몇몇 양태에서, 여기에 설명된 기능은 인코딩 및 디코딩을 위해 구성된 전용 소프트웨어 모듈들 또는 하드웨어 모듈들내에서 제공되거나 결합된 비디오 인코더-디코더 (CODEC) 에 포함될 수도 있다.
그럼에도, 다양한 변형들이 다음의 청구항의 범위를 벗어나지 않고 설명된 기술들에 행해질 수도 있다. 예를 들어, CSF를 사용하지 않는 다른 기술들은 또한 다른 콘텐츠의 더 높은 레이트 프리젠테이션내의 화상-내-화상 프레임들로서 낮은 해상도, 낮은 프레임 레이트 콘텐츠의 프리젠테이션을 실현하는데 사용될 수 있다.
또한, 여기에서의 교시들이 광범위하게 다양한 형태로 포함될 수도 있으며, 여기에 개시된 임의의 특정 구조 및/또는 기능이 단지 대표적인 것일뿐이라는 것은 명백할 것이다. 여기에서의 교시들에 기초하여, 당업자는, 여기에 개시된 양태가 임의의 다른 양태들과 독립적으로 구현될 수도 있으며, 이러한 양태들 중 2개 이상이 다양한 방식으로 결합될 수도 있다는 것을 인식할 것이다. 예를 들어, 여기에 설명된 임의의 수의 양태들을 이용하여 장치가 구현될 수도 있고 및/또는 방법이 실행될 수도 있다. 또한, 여기에 설명된 양태들 중 하나 이상에 부가하여, 또는 그 이외에 다른 구조 및/또는 기능을 사용하여 장치가 구현되고 및/또는 방법이 실행될 수도 있다.
따라서, 이러한 및 다른 양태들은 다음의 청구항의 범위내에 있다.

Claims (56)

  1. 멀티미디어 데이터의 다수의 채널들을 수신하는 단계;
    상기 채널들 중 2개 이상의 채널들과 관련된 프레임들을 디코딩하는 단계;
    제 1 프레임 레이트로 제 1 채널의 디코딩된 제 1 프레임들을 프리젠테이션하는 단계; 및
    상기 제 1 프레임들을 프리젠테이션하면서 제 2 프레임 레이트로 제 2 채널의 디코딩된 제 2 프레임들을 프리젠테이션하는 단계를 포함하며,
    상기 프레임들을 디코딩하는 단계는,
    상기 제 1 채널과 관련된 수신 프레임들을 디코딩하는 단계; 및
    상기 제 2 채널과 관련된 채널 스위치 프레임 (CSF) 들을 디코딩하는 단계를 포함하며,
    상기 CSF들을 디코딩하는 단계는,
    상기 제 2 채널내에서 미디어 로직 채널 (MLC) 로부터 상기 CSF들로의 포인터들에 액세스하는 단계; 및
    상기 포인터들에 기초하여 상기 제 2 채널로부터 상기 CSF들을 획득하는 단계를 포함하며,
    상기 제 2 프레임 레이트는 상기 제 1 프레임 레이트보다 낮은, 멀티미디어 데이터를 프로세싱하는 방법.
  2. 제 1 항에 있어서,
    상기 제 1 프레임들 및 상기 제 2 프레임들을 프리젠테이션하는 단계는, 무선 장치의 공통 디스플레이내에서 상기 제 1 프레임들 및 상기 제 2 프레임들을 프리젠테이션하는 단계를 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  3. 제 2 항에 있어서,
    상기 무선 장치내의 단일 디코더로 상기 프레임들을 디코딩하는 단계를 더 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  4. 제 2 항에 있어서,
    사용자 입력에 기초하여, 상기 공통 디스플레이내에서 상기 제 2 프레임들에 대한 상기 제 1 프레임들의 상대적인 위치들을 정의하는 단계를 더 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  5. 제 4 항에 있어서,
    상기 제 2 프레임들에 대한 상기 제 1 프레임들의 상기 상대적인 위치들을 바꾸는 단계;
    상기 제 2 프레임 레이트로 상기 제 1 프레임들을 프리젠테이션하는 단계; 및
    상기 제 1 프레임 레이트로 상기 제 2 프레임들을 프리젠테이션하는 단계를 더 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  6. 제 1 항에 있어서,
    상기 제 2 프레임들을 프리젠테이션하는 단계는, 화상-내-화상 (picture-in-picture) 포맷으로 상기 제 1 프레임들내에서 상기 제 2 프레임들을 프리젠테이션하는 단계를 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  7. 제 1 항에 있어서,
    상기 제 1 프레임들의 외연 주위에 복수의 프레임들을 프리젠테이션하는 단 계를 더 포함하며,
    상기 제 2 프레임들은 상기 외연 주위의 상기 복수의 프레임들내에 포함되는, 멀티미디어 데이터를 프로세싱하는 방법.
  8. 제 1 항에 있어서,
    상기 제 1 프레임 레이트는 초당 30 프레임이고, 상기 제 2 프레임 레이트는 초당 1 프레임인, 멀티미디어 데이터를 프로세싱하는 방법.
  9. 제 1 항에 있어서,
    상기 제 1 프레임들을 프리젠테이션하면서, 상기 제 2 프레임 레이트로 제 3 채널의 제 3 프레임들을 프리젠테이션하는 단계를 더 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  10. 제 1 항에 있어서,
    상기 프레임들을 디코딩하는 단계는,
    상기 제 2 채널과 관련된 수신 프레임들의 서브세트를 디코딩하는 단계를 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 제 1 항에 있어서,
    상기 제 1 채널 및 상기 제 2 채널은 공통 브로드캐스트와 관련된 2개의 상이한 뷰 (view) 들을 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  17. 제 1 항에 있어서,
    상기 제 1 프레임들보다 낮은 해상도로 상기 제 2 프레임들을 프리젠테이션하는 단계를 더 포함하는, 멀티미디어 데이터를 프로세싱하는 방법.
  18. 제 1 항에 있어서,
    상기 제 1 프레임들은 상기 제 1 프레임 레이트로 인코딩되고, 상기 제 2 프레임들은 상기 제 2 프레임 레이트로 인코딩되는, 멀티미디어 데이터를 프로세싱하는 방법.
  19. 멀티미디어 데이터의 다수의 채널들을 수신하도록 구성된 수신기;
    상기 채널들 중 2개 이상의 채널들과 관련된 프레임들을 디코딩하도록 구성된 하나 이상의 디코더들; 및
    디스플레이를 포함하며,
    상기 디스플레이는, 제 1 프레임 레이트로 제 1 채널의 디코딩된 제 1 프레임들을 프리젠테이션하고, 상기 제 1 프레임들을 프리젠테이션하면서 제 2 프레임 레이트로 제 2 채널의 디코딩된 제 2 프레임들을 프리젠테이션하도록 구성되며,
    상기 하나 이상의 디코더들은,
    상기 제 1 채널과 관련된 수신 프레임들을 디코딩하고,
    상기 제 2 채널과 관련된 채널 스위치 프레임 (CSF) 들을 디코딩하고,
    상기 제 2 채널내에서 미디어 로직 채널 (MLC) 로부터 상기 CSF들로의 포인터들에 액세스하고,
    상기 포인터들에 기초하여 상기 제 2 채널로부터 상기 CSF들을 획득하도록 구성되며,
    상기 제 2 프레임 레이트는 상기 제 1 프레임 레이트보다 낮은, 멀티미디어 데이터 프로세싱 장치.
  20. 제 19 항에 있어서,
    상기 멀티미디어 데이터 프로세싱 장치는 무선 장치를 포함하는, 멀티미디어 데이터 프로세싱 장치.
  21. 제 19 항에 있어서,
    상기 하나 이상의 디코더들은, 상기 채널들 중 상기 2개 이상의 채널들과 관련된 디코딩을 수행하도록 구성되는 단일 디코더를 포함하는, 멀티미디어 데이터 프로세싱 장치.
  22. 제 19 항에 있어서,
    상기 멀티미디어 데이터 프로세싱 장치는 사용자 입력을 수신하고, 상기 사용자 입력에 기초하여 상기 디스플레이내에서 상기 제 2 프레임들에 대한 상기 제 1 프레임들의 상대적인 위치들을 정의하도록 구성되는, 멀티미디어 데이터 프로세싱 장치.
  23. 제 22 항에 있어서,
    상기 디스플레이상에서, 상기 제 2 프레임들에 대한 상기 제 1 프레임들의 상기 상대적인 위치들을 바꾸고,
    상기 디스플레이상에서 상기 제 2 프레임 레이트로 상기 제 1 프레임들을 프리젠테이션하며, 그리고,
    상기 디스플레이상에서 상기 제 1 프레임 레이트로 상기 제 2 프레임들을 프리젠테이션하는, 멀티미디어 데이터 프로세싱 장치.
  24. 제 19 항에 있어서,
    상기 제 2 프레임들은 상기 제 1 프레임들내에서 화상-내-화상으로서 상기 디스플레이상에 프리젠테이션되는, 멀티미디어 데이터 프로세싱 장치.
  25. 제 19 항에 있어서,
    상기 디스플레이는 상기 제 1 프레임들의 외연 주위에 복수의 프레임들을 프리젠테이션하도록 구성되며,
    상기 제 2 프레임들은 상기 외연 주위의 상기 복수의 프레임들내에 포함되는, 멀티미디어 데이터 프로세싱 장치.
  26. 제 19 항에 있어서,
    상기 제 1 프레임 레이트는 초당 30 프레임이고, 상기 제 2 프레임 레이트는 초당 1 프레임인, 멀티미디어 데이터 프로세싱 장치.
  27. 제 19 항에 있어서,
    상기 디스플레이는 상기 제 1 프레임들을 프리젠테이션하면서 상기 제 2 프레임 레이트로 제 3 채널의 제 3 프레임들을 프리젠테이션하도록 구성되는, 멀티미디어 데이터 프로세싱 장치.
  28. 제 19 항에 있어서,
    상기 하나 이상의 디코더들은,
    상기 제 2 채널과 관련된 수신 프레임들의 서브세트를 디코딩하도록 구성되는, 멀티미디어 데이터 프로세싱 장치.
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 제 19 항에 있어서,
    상기 제 1 채널 및 상기 제 2 채널은 공통 브로드캐스트와 관련된 2개의 상이한 뷰들을 포함하는, 멀티미디어 데이터 프로세싱 장치.
  35. 제 19 항에 있어서,
    상기 디스플레이는 상기 제 1 프레임들보다 낮은 해상도로 상기 제 2 프레임들을 프리젠테이션하도록 구성되는, 멀티미디어 데이터 프로세싱 장치.
  36. 제 19 항에 있어서,
    상기 제 1 프레임들은 상기 제 1 프레임 레이트로 인코딩되고, 상기 제 2 프레임들은 상기 제 2 프레임 레이트로 인코딩되며,
    상기 디코더는, 상기 디스플레이상에서 상기 제 1 프레임들 및 상기 제 2 프레임들을 프리젠테이션하기 위해, 상기 프레임들 각각의 인코딩 레이트들에 따라 상기 제 1 프레임들 및 상기 제 2 프레임들을 디코딩하도록 구성되는, 멀티미디어 데이터 프로세싱 장치.
  37. 멀티미디어 데이터의 다수의 채널들을 수신하는 수단;
    상기 채널들 중 2개 이상의 채널들과 관련된 프레임들을 디코딩하는 수단;
    제 1 프레임 레이트로 제 1 채널의 디코딩된 제 1 프레임들을 프리젠테이션하는 수단; 및
    상기 제 1 프레임들을 프리젠테이션하면서 제 2 프레임 레이트로 제 2 채널의 디코딩된 제 2 프레임들을 프리젠테이션하는 수단을 포함하며,
    상기 프레임들을 디코딩하는 수단은,
    상기 제 1 채널과 관련된 수신 프레임들을 디코딩하는 수단;
    상기 제 2 채널과 관련된 채널 스위치 프레임 (CSF) 들을 디코딩하는 수단;
    상기 제 2 채널내에서 미디어 로직 채널 (MLC) 로부터 상기 CSF들로의 포인터들에 액세스하는 수단; 및
    상기 포인터들에 기초하여 상기 제 2 채널로부터 상기 CSF들을 획득하는 수단을 포함하며,
    상기 제 2 프레임 레이트는 상기 제 1 프레임 레이트보다 낮은, 멀티미디어 데이터 프로세싱 장치.
  38. 제 37 항에 있어서,
    상기 장치는 무선 장치를 포함하며,
    상기 제 1 프레임들을 프리젠테이션하는 수단 및 상기 제 2 프레임들을 프리젠테이션하는 수단은, 상기 무선 장치의 공통 디스플레이를 포함하는, 멀티미디어 데이터 프로세싱 장치.
  39. 제 38 항에 있어서,
    상기 디코딩하는 수단은 상기 무선 장치내에서 단일 디코더를 포함하는, 멀티미디어 데이터 프로세싱 장치.
  40. 제 37 항에 있어서,
    사용자 입력에 기초하여 상기 제 2 프레임들에 대한 상기 제 1 프레임의 상대적인 위치들을 정의하는 수단을 더 포함하는, 멀티미디어 데이터 프로세싱 장치.
  41. 제 40 항에 있어서,
    상기 제 2 프레임들에 대한 상기 제 1 프레임들의 상기 상대적인 위치들을 바꾸는 수단;
    상기 제 2 프레임 레이트로 상기 제 1 프레임들을 프리젠테이션하는 수단; 및
    상기 제 1 프레임 레이트로 상기 제 2 프레임들을 프리젠테이션하는 수단을 더 포함하는, 멀티미디어 데이터 프로세싱 장치.
  42. 제 37 항에 있어서,
    상기 프리젠테이션하는 수단은 화상-내-화상 포맷으로 상기 제 1 프레임들내에서 상기 제 2 프레임들을 프리젠테이션하는 수단을 포함하는, 멀티미디어 데이터 프로세싱 장치.
  43. 제 37 항에 있어서,
    상기 프리젠테이션하는 수단은 상기 제 1 프레임들의 외연 주위에 복수의 프레임들을 프리젠테이션하는 수단을 포함하며,
    상기 제 2 프레임들은 상기 외연 주위의 상기 복수의 프레임들내에 포함되는, 멀티미디어 데이터 프로세싱 장치.
  44. 제 37 항에 있어서,
    상기 제 1 프레임 레이트는 초당 30 프레임이고, 상기 제 2 프레임 레이트는 초당 1 프레임인, 멀티미디어 데이터 프로세싱 장치.
  45. 제 37 항에 있어서,
    상기 제 1 프레임들을 프리젠테이션하면서 상기 제 2 프레임 레이트로 제 3 채널의 제 3 프레임들을 프리젠테이션하는 수단을 더 포함하는, 멀티미디어 데이터 프로세싱 장치.
  46. 제 37 항에 있어서,
    상기 프레임들을 디코딩하는 수단은,
    상기 제 2 채널과 관련된 수신 프레임들의 서브세트를 디코딩하는 수단을 포함하는, 멀티미디어 데이터 프로세싱 장치.
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 제 37 항에 있어서,
    상기 제 1 채널 및 상기 제 2 채널은 공통 브로드캐스트와 관련된 2개의 상이한 뷰들을 포함하는, 멀티미디어 데이터 프로세싱 장치.
  53. 제 37 항에 있어서,
    상기 제 1 프레임들보다 낮은 해상도로 상기 제 2 프레임을 프리젠테이션하는 수단을 더 포함하는, 멀티미디어 데이터 프로세싱 장치.
  54. 제 37 항에 있어서,
    상기 제 1 프레임들은 상기 제 1 프레임 레이트로 인코딩되고, 상기 제 2 프레임들은 상기 제 2 프레임 레이트로 인코딩되는, 멀티미디어 데이터 프로세싱 장치.
  55. 멀티미디어 데이터를 프로세싱하기 위한, 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 판독가능 매체는, 실행시에 컴퓨터로 하여금,
    상기 멀티미디어 데이터의 다수의 채널들을 수신하게 하고;
    상기 채널들 중 2개 이상의 채널들과 관련된 프레임들을 디코딩하게 하고;
    제 1 프레임 레이트로 제 1 채널의 디코딩된 제 1 프레임들을 프리젠테이션하게 하며; 그리고,
    상기 제 1 프레임들을 프리젠테이션하면서 제 2 프레임 레이트로 제 2 채널의 디코딩된 제 2 프레임들을 프리젠테이션하게 하는 명령들을 포함하며,
    상기 채널들 중 2개 이상의 채널들과 관련된 프레임들을 디코딩하는 것은 상기 제 1 채널과 관련된 수신 프레임들을 디코딩하고, 상기 제 2 채널과 관련된 채널 스위치 프레임 (CSF) 들을 디코딩하는 것을 포함하며,
    상기 CSF들을 디코딩하는 것은 상기 제 2 채널내에서 미디어 로직 채널 (MLC) 로부터 상기 CSF들로의 포인터들에 액세스하고, 상기 포인터들에 기초하여 상기 제 2 채널로부터 상기 CSF들을 획득하는 것을 포함하며,
    상기 제 2 프레임 레이트는 상기 제 1 프레임 레이트보다 낮은, 컴퓨터-판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  56. 멀티미디어 데이터를 프로세싱하는 프로세서로서,
    상기 멀티미디어 데이터의 다수의 채널들을 수신하고;
    상기 채널들 중 2개 이상의 채널들과 관련된 프레임들을 디코딩하고;
    디스플레이로 하여금, 제 1 프레임 레이트로 제 1 채널의 디코딩된 제 1 프레임들을 프리젠테이션하게 하며; 그리고,
    상기 디스플레이로 하여금, 상기 제 1 프레임들을 프리젠테이션하면서 제 2 프레임 레이트로 제 2 채널의 디코딩된 제 2 프레임들을 프리젠테이션하게 하도록 구성되며,
    상기 채널들 중 2개 이상의 채널들과 관련된 프레임들을 디코딩하는 것은 상기 제 1 채널과 관련된 수신 프레임들을 디코딩하고, 상기 제 2 채널과 관련된 채널 스위치 프레임 (CSF) 들을 디코딩하는 것을 포함하며,
    상기 CSF들을 디코딩하는 것은 상기 제 2 채널내에서 미디어 로직 채널 (MLC) 로부터 상기 CSF들로의 포인터들에 액세스하고, 상기 포인터들에 기초하여 상기 제 2 채널로부터 상기 CSF들을 획득하는 것을 포함하며,
    상기 제 2 프레임 레이트는 상기 제 1 프레임 레이트보다 낮은, 프로세서.
KR1020087023003A 2006-02-21 2007-02-16 멀티미디어 데이터를 프로세싱하는 방법, 장치, 컴퓨터 프로그램 제품 및 프로세서 KR101027354B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US77560806P 2006-02-21 2006-02-21
US60/775,608 2006-02-21
US11/622,899 US8330866B2 (en) 2006-02-21 2007-01-12 Multi-program viewing in a wireless apparatus
US11/622,899 2007-01-12

Publications (2)

Publication Number Publication Date
KR20080098071A KR20080098071A (ko) 2008-11-06
KR101027354B1 true KR101027354B1 (ko) 2011-04-11

Family

ID=38197994

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087023003A KR101027354B1 (ko) 2006-02-21 2007-02-16 멀티미디어 데이터를 프로세싱하는 방법, 장치, 컴퓨터 프로그램 제품 및 프로세서

Country Status (8)

Country Link
US (1) US8330866B2 (ko)
EP (1) EP1987613A1 (ko)
JP (1) JP2009527994A (ko)
KR (1) KR101027354B1 (ko)
CN (1) CN101379741B (ko)
AR (1) AR059868A1 (ko)
TW (2) TW200742438A (ko)
WO (1) WO2007098414A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428048B2 (en) * 2006-02-21 2013-04-23 Qualcomm Incorporated Multi-program viewing in a wireless apparatus
US20080028431A1 (en) * 2006-07-28 2008-01-31 Samsung Electronics Co., Ltd Image processing apparatus, display apparatus and image processing method
JP2009284268A (ja) * 2008-05-22 2009-12-03 Mitsubishi Electric Corp マルチキャスト放送システムおよび受信機
KR20100016741A (ko) * 2008-08-05 2010-02-16 삼성전자주식회사 영상처리장치 및 그 제어 방법
US20100138864A1 (en) * 2008-12-02 2010-06-03 Nortel Networks Limited Enhanced channel surfing
US20100146388A1 (en) * 2008-12-05 2010-06-10 Nokia Corporation Method for defining content download parameters with simple gesture
AU2010238757A1 (en) * 2009-04-24 2011-11-03 Vidyo, Inc. Systems, methods and computer readable media for instant multi-channel video content browsing in digital video distribution systems
KR101590364B1 (ko) * 2009-05-22 2016-02-01 엘지전자 주식회사 멀티뷰 디스플레이를 구비하는 휴대 단말기 및 그 제어방법
EP2296366A1 (en) * 2009-09-03 2011-03-16 Thomson Licensing, Inc. Methods for transmission and reception of video services
US8869203B2 (en) * 2009-10-08 2014-10-21 Marshall Communications Multimedia content fusion
US20120008053A1 (en) * 2010-07-12 2012-01-12 Jeffrey Fisher Method and system for fast channel change between programs utilizing a single decoder to concurrently decode multiple programs
WO2013116163A1 (en) * 2012-01-26 2013-08-08 Zaletel Michael Edward Method of creating a media composition and apparatus therefore
US20150058709A1 (en) * 2012-01-26 2015-02-26 Michael Edward Zaletel Method of creating a media composition and apparatus therefore
US20170257414A1 (en) * 2012-01-26 2017-09-07 Michael Edward Zaletel Method of creating a media composition and apparatus therefore
KR101310940B1 (ko) 2012-01-30 2013-09-23 삼성전자주식회사 디스플레이 장치 및 이를 이용한 멀티 뷰 제공 방법
KR102067642B1 (ko) * 2012-12-17 2020-01-17 삼성전자주식회사 휴대 단말기에서 영상 통화를 제공하는 장치 및 방법
US9900629B2 (en) * 2013-03-13 2018-02-20 Apple Inc. Codec techniques for fast switching with intermediate sequence
FR3005821B1 (fr) * 2013-05-15 2016-10-28 Peugeot Citroen Automobiles Sa Procede de transmission de donnees de diverses origines au moyen de trames video numeriques, et dispositifs d'affichage et de traitement associes
KR102082661B1 (ko) * 2013-07-12 2020-02-28 삼성전자주식회사 전자 장치의 촬영 이미지 생성 방법 및 장치
KR101892952B1 (ko) * 2014-01-21 2018-08-30 에스케이테크엑스 주식회사 클라우드 스트리밍 서비스 시스템, 이벤트 기반 프레임 레이트 조절 방법 및 이를 위한 장치
US9712749B2 (en) 2014-02-27 2017-07-18 Google Technology Holdings LLC Electronic device having multiple sides
US9600442B2 (en) 2014-07-18 2017-03-21 Intel Corporation No-locality hint vector memory access processors, methods, systems, and instructions
WO2016016688A1 (en) * 2014-07-30 2016-02-04 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for surfing an ordered lineup of tv channels
EP3010225B1 (en) * 2014-10-14 2019-07-24 Nokia Technologies OY A method, apparatus and computer program for automatically capturing an image
WO2016065513A1 (zh) * 2014-10-27 2016-05-06 深圳市大疆创新科技有限公司 飞行器的位置提示方法及装置
US9582422B2 (en) 2014-12-24 2017-02-28 Intel Corporation Hardware prefetcher for indirect access patterns
US20170171495A1 (en) * 2015-12-15 2017-06-15 Le Holdings (Beijing) Co., Ltd. Method and Electronic Device for Displaying Live Programme
CN107888964B (zh) * 2016-09-30 2021-04-02 杭州海康威视数字技术股份有限公司 一种视频播放的码流类型切换方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1061737A1 (en) * 1999-06-18 2000-12-20 THOMSON multimedia Process and device for switching digital television programmes
WO2005076503A1 (en) * 2004-02-06 2005-08-18 Nokia Corporation Mobile telecommunications apparatus for receiving and displaying more than one service

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5477397A (en) 1993-02-23 1995-12-19 Matsushita Electric Corporation Of America Digital high definition television receiver with features that facilitate trick-play modes on a digital VCR
DK0775413T3 (da) 1994-04-15 2002-12-23 Koninkl Philips Electronics Nv System til afkodning af digitale videosignaler
KR100409187B1 (ko) 1994-08-16 2004-03-10 소니 가부시끼 가이샤 텔레비젼신호수신및프로그램절환장치와방법과원격조정기
JP4001942B2 (ja) 1995-02-06 2007-10-31 ソニー株式会社 受信装置および受信方法、並びに放送システムおよび放送方法
JPH10145788A (ja) 1996-11-11 1998-05-29 Sumitomo Electric Ind Ltd 映像再生装置
US5892505A (en) * 1997-03-17 1999-04-06 Tropper Technologies, Inc. Image viewing apparatus and method
JP2000013803A (ja) 1998-06-22 2000-01-14 Sharp Corp 複数番組を表示するデジタル放送受信機
US6826272B1 (en) * 1998-10-01 2004-11-30 Nortel Networks Limited Method and apparatus for integrated multimedia call control
US6320623B1 (en) 1998-11-13 2001-11-20 Philips Electronics North America Corporation Method and device for detecting an event in a program of a video and/ or audio signal and for providing the program to a display upon detection of the event
EP1233614B1 (fr) 2001-02-16 2012-08-08 C.H.I. Development Mgmt. Ltd. XXIX, LLC Système de transmission et de traitement vidéo pour générer une mosaique utilisateur
US6833874B2 (en) 2001-03-27 2004-12-21 Sony Corporation Ticker tape picture-in-picture system
US7873972B2 (en) * 2001-06-01 2011-01-18 Jlb Ventures Llc Method and apparatus for generating a mosaic style electronic program guide
US7386870B2 (en) 2001-08-23 2008-06-10 Koninklijke Philips Electronics N.V. Broadcast video channel surfing system based on internet streaming of captured live broadcast channels
JP4323776B2 (ja) 2001-11-14 2009-09-02 パナソニック株式会社 マルチチャンネル映像処理装置及びその方法
FI20012256A0 (fi) * 2001-11-20 2001-11-20 Nokia Corp Matkaviestintäverkot ja digitaaliset yleislähetyspalvelut
JP4500684B2 (ja) * 2002-11-13 2010-07-14 パナソニック株式会社 リモコン装置及び番組受信システム
KR100429688B1 (ko) 2003-06-21 2004-05-03 주식회사 휴맥스 모자이크 이피지 서비스에서의 오디오 송신 및 수신방법
US7610011B2 (en) * 2004-09-19 2009-10-27 Adam Albrett Providing alternative programming on a radio in response to user input
US7630740B2 (en) * 2004-12-30 2009-12-08 Lg Electronics Inc. Method of updating channel information by a mobile station that is in power saving mode
US7770785B2 (en) 2005-06-13 2010-08-10 Qualcomm Incorporated Apparatus and methods for detection and management of unauthorized executable instructions on a wireless device
US8428048B2 (en) 2006-02-21 2013-04-23 Qualcomm Incorporated Multi-program viewing in a wireless apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1061737A1 (en) * 1999-06-18 2000-12-20 THOMSON multimedia Process and device for switching digital television programmes
WO2005076503A1 (en) * 2004-02-06 2005-08-18 Nokia Corporation Mobile telecommunications apparatus for receiving and displaying more than one service

Also Published As

Publication number Publication date
TW200742438A (en) 2007-11-01
CN101379741B (zh) 2011-08-31
AR059868A1 (es) 2008-05-07
US20070195203A1 (en) 2007-08-23
WO2007098414A1 (en) 2007-08-30
EP1987613A1 (en) 2008-11-05
KR20080098071A (ko) 2008-11-06
JP2009527994A (ja) 2009-07-30
US8330866B2 (en) 2012-12-11
TW201218771A (en) 2012-05-01
CN101379741A (zh) 2009-03-04

Similar Documents

Publication Publication Date Title
KR101027354B1 (ko) 멀티미디어 데이터를 프로세싱하는 방법, 장치, 컴퓨터 프로그램 제품 및 프로세서
KR101011612B1 (ko) 무선장치에서 멀티―프로그램 뷰잉
US20080155586A1 (en) Method and device for processing video stream in digital video broadcasting systems
US9661378B2 (en) Using scalable codecs for providing channel zapping information to broadcast receivers
KR101404493B1 (ko) 스펙트럼의 이용가능한 채널을 사용하는 데이터의 무선 송신
US8396113B2 (en) Data receiving device and method for shortening channel switching time in digital multimedia broadcasting system
US8335259B2 (en) System and method for reformatting digital broadcast multimedia for a mobile device
US7778276B2 (en) Mobile communication terminal, mobile communication method, and information recording medium
US9992492B2 (en) Providing a common set of parameters for sub-layers of coded video
KR20120083747A (ko) 방송통신 융합형 서비스를 위한 전송 방법 및 장치
KR20110042331A (ko) 2차 채널 비디오 스트림을 이용한 고속 채널 변경 방법 및 장치
CA2622100A1 (en) Multi-decoder and method
US20160337671A1 (en) Method and apparatus for multiplexing layered coded contents
KR20160091901A (ko) 수신 장치
Ha et al. Portable receivers for digital multimedia broadcasting
US20150195617A1 (en) Image display apparatus, image processing method, and computer readable recording medium
KR100772652B1 (ko) 이동 디지털 방송 수신기의 고속 채널 전환 장치 및 방법
KR20140106121A (ko) 계층적 위성 방송을 제공하는 다계층 위성방송 시스템
KR100750471B1 (ko) 디지털 멀티미디어 방송 시스템의 방송 재생 방법
Kim et al. Comparisons of mobile TV standards and development of 3D mobile TV based on DMB

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151230

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 9