KR20160006190A - 무선 통신 시스템의 비디오 스트리밍 - Google Patents

무선 통신 시스템의 비디오 스트리밍 Download PDF

Info

Publication number
KR20160006190A
KR20160006190A KR1020157034408A KR20157034408A KR20160006190A KR 20160006190 A KR20160006190 A KR 20160006190A KR 1020157034408 A KR1020157034408 A KR 1020157034408A KR 20157034408 A KR20157034408 A KR 20157034408A KR 20160006190 A KR20160006190 A KR 20160006190A
Authority
KR
South Korea
Prior art keywords
display data
display
source device
data packets
sink device
Prior art date
Application number
KR1020157034408A
Other languages
English (en)
Other versions
KR101810496B1 (ko
Inventor
비자야 나이커 수브라마니암
파와드 사우카트
파담 랄 카플레
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160006190A publication Critical patent/KR20160006190A/ko
Application granted granted Critical
Publication of KR101810496B1 publication Critical patent/KR101810496B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H04L65/604—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

무선 통신 디바이스들에 직접적인 비디오 및 오디오 스트리밍 능력이 제공된다. 스트리밍 능력은 중첩들 및 찾기 기능을 지원할 수 있다. 일부 구현들은 미라캐스트와 같은 미러링 디스플레이 모드를 통한 디바이스들로의 이러한 특징들의 통합을 포함한다.

Description

무선 통신 시스템의 비디오 스트리밍{VIDEO STREAMING IN A WIRELESS COMMUNICATION SYSTEM}
[1] 비디오 및 오디오의 하나의 무선 통신 인에이블 디바이스로부터 직접적으로 다른 것으로의 직접적인 스트리밍을 허용하는 최근의 발전들이 이루어졌다. 하나의 그러한 시스템은 "미라캐스트(Miracast)"로 알려져 있다. 미라캐스트는 Wi-Fi 어플라이언스에 의해 공표된 무선 (예를 들면, IEEE 802.11 무선 프로토콜들의 패밀리 또는 "Wi-Fi") 디스플레이 프로토콜에 대한 트레이드마크이다. 본원에 사용된 바와 같이, 용어 미라캐스트는 WFD(Wi-Fi Display)로 또한 알려진 현재 형태의 Wi-Fi 어플라이언스의 디스플레이 공유 프로토콜을 지칭한다. 미라캐스트 규격은 소스 디바이스로부터 싱크 디바이스로 임의의 타입의 비디오 비트스트림을 스트리밍하기 위해 설계된다. 일 예로서, 소스는 스마트 폰일 수 있고, 싱크는 텔레비전 세트일 수 있다. 통상적인 IEEE 802.11 무선 네트워크들에서, 클라이언트 디바이스들이 액세스 포인트(AP) 디바이스를 통해 통신하지만, 직접적인 디바이스 통신들을 지원하는 프로토콜들(가령, Wi-Fi 다이렉트)이 존재한다. 미라캐스트 시스템은 하나의 디바이스로부터 다른 것으로 가령, 스마트 폰으로부터 텔레비전 또는 컴퓨터로 또는 그 역으로 디스플레이 데이터를 전송하기 위해 그러한 프로토콜들을 사용한다. 미라캐스트 시스템은 소스 디바이스의 프레임 버퍼 또는 스피커 오디오의 콘텐츠를 Wi-Fi 접속을 통해 원격 디스플레이/스피커 디바이스(싱크)에 공유하는 것을 수반한다.
[2] 미라캐스트 프로토콜은 소스가 프레임 버퍼로부터 RGB 데이터를 캡처하고 오디오 서브시스템으로부터 임의의 PCM(Pulse Coded Modulation) 오디오 데이터를 캡처하는 것을 수반한다. 프레임 버퍼의 콘텐츠는 소스 상에서 실행되는 애플리케이션 프로그램들 또는 미디어 플레이어로부터 유도될 수 있다. 이어서, 소스는 비디오 및 오디오 콘텐츠를 압축하고, 데이터를 싱크 디바이스로 전송한다. 비트스트림을 수신할 때, 싱크는 비트스트림을 디코딩하고, 이를 자신의 로컬 디스플레이 및 스피커들 상에서 렌더링한다.
[3] 사용자가 미라캐스트 가능 소스 디바이스 상에서 로컬적으로 오디오/비디오 클립을 재생할 때, 비트스트림은 소스 디스플레이 상에서 로컬적으로 디코딩 및 렌더링되고, 이어서 오디오/비디오 콘텐츠가 동시에 캡처되고, 재인코딩되고, 미라캐스트 가능 싱크 디바이스로 스트리밍된다. 이어서, 싱크 디바이스는 동일한 콘텐츠를 디코딩하고 자신의 디스플레이 및 스피커들 상에서 렌더링한다. 그러한 동작은 종종 "미러링" 모드로 불린다.
[4] 일 구현에서, 중재(intermediary) 디바이스를 통과하지 않고서 소스 디바이스로부터 무선으로 수신된 디스플레이 콘텐츠를 디스플레이하는 방법이 제공된다. 상기 방법은 소스 디바이스로부터 직접적으로 제 1 비디오 압축 포맷을 사용하여 인코딩된 이미지 프레임 중 제 1 중첩 부분에 대한 제 1 세트의 디스플레이 데이터 패킷들을 무선으로 수신하는 단계를 포함한다. 상기 방법은 소스 디바이스로부터 직접적으로 제 2 비디오 압축 포맷을 사용하여 인코딩된 이미지 프레임 중 제 2 중첩 부분에 대한 제 2 세트의 디스플레이 데이터 패킷들을 무선으로 수신하는 단계를 포함한다. 상기 방법은 소스 디바이스로부터 직접적으로 중첩 블렌딩(blending) 정보를 무선으로 수신하는 단계를 포함한다. 상기 방법은 제 1 세트의 디스플레이 데이터 패킷들로부터 이미지 프레임 중 제 1 중첩 부분 및 제 2 세트의 디스플레이 데이터 패킷들로부터 이미지 프레임 중 제 2 중첩 부분을 추출하는 단계를 포함한다. 상기 방법은 소스 디바이스로부터 수신된 중첩 블렌딩 정보에 적어도 부분적으로 기초하여, 디스플레이를 위해 적어도 제 1 중첩 부분 및 제 2 중첩 부분을 블렌딩하는 단계를 포함한다.
[5] 다른 구현에서, 중재 디바이스를 통해 디스플레이 콘텐츠를 전달하지 않고서 디스플레이 콘텐츠를 싱크 디바이스로 무선으로 전송하는 방법이 제공된다. 상기 방법은 제 1 비디오 압축 포맷을 사용하여 이미지 프레임 중 제 1 중첩 부분에 대한 제 1 세트의 디스플레이 데이터 패킷들을 인코딩하는 단계를 포함한다. 상기 방법은 제 2 비디오 압축 포맷을 사용하여 이미지 프레임 중 제 2 중첩 부분에 대한 제 2 세트의 디스플레이 데이터 패킷들을 인코딩하는 단계를 포함한다. 상기 방법은 제 1 중첩 부분 및 제 2 중첩 부분과 연관된 중첩 블렌딩 정보를 생성하는 단계를 포함한다. 상기 방법은 제 1 세트의 디스플레이 데이터 패킷들, 제 2 세트의 디스플레이 데이터 패킷들 및 중첩 블렌딩 정보를 직접적으로 싱크 디바이스로 무선으로 전송하는 단계를 포함한다.
[6] 다른 구현에서, 디스플레이 데이터 싱크 디바이스가 제공된다. 상기 디바이스는 디스플레이, 복수의 비디오 디코더들, 및 프로세싱 회로를 포함한다. 프로세싱 회로는, 소스 디바이스로부터 직접적으로 제 1 비디오 압축 포맷을 사용하여 인코딩된 이미지 프레임 중 제 1 중첩 부분에 대한 제 1 세트의 디스플레이 데이터 패킷들을 무선으로 수신하도록 구성된다. 프로세싱 회로는 소스 디바이스로부터 직접적으로 제 2 비디오 압축 포맷을 사용하여 인코딩된 이미지 프레임 중 제 2 중첩 부분에 대한 제 2 세트의 디스플레이 데이터 패킷들을 무선으로 수신하도록 구성된다. 프로세싱 회로는 소스 디바이스로부터 중첩 블렌딩 정보를 무선으로 수신하도록 구성된다. 프로세싱 회로는 제 1 세트의 디스플레이 데이터 패킷들로부터 이미지 프레임 중 제 1 중첩 부분 및 제 2 세트의 디스플레이 데이터 패킷들로부터 이미지 프레임 중 제 2 중첩 부분을 추출하도록 구성된다. 프로세싱 회로는 소스 디바이스로부터 수신된 중첩 블렌딩 정보에 적어도 부분적으로 기초하여, 디스플레이를 위해 제 1 중첩 부분 및 제 2 중첩 부분을 블렌딩하도록 구성된다. 프로세싱 회로는 이미지 프레임을 디스플레이 상에 제공하도록 구성된다.
[7] 다른 구현에서, 디스플레이 데이터 소스 디바이스가 제공된다. 상기 디바이스는 디스플레이, 복수의 비디오 디코더들, 적어도 하나의 미디어 플레이어 프로그램 및 프로세싱 회로를 포함한다. 프로세싱 회로는 제 1 비디오 압축 포맷을 사용하여 이미지 프레임 중 제 1 중첩 부분에 대한 제 1 세트의 디스플레이 데이터 패킷들을 인코딩하도록 구성된다. 프로세싱 회로는 제 2 비디오 압축 포맷을 사용하여 이미지 프레임 중 제 2 중첩 부분에 대한 제 2 세트의 디스플레이 데이터 패킷들을 인코딩하도록 구성된다. 프로세싱 회로는 제 1 중첩 부분 및 제 2 중첩 부분과 연관된 중첩 블렌딩 정보를 생성하도록 구성된다. 프로세싱 회로는 제 1 세트의 디스플레이 데이터 패킷들, 제 2 세트의 디스플레이 데이터 패킷들 및 중첩 블렌딩 정보를 직접적으로 싱크 디바이스로 무선으로 전송하도록 구성된다.
[8] 다른 구현에서, 중재 디바이스를 통해 디스플레이 데이터를 전달하지 않고서 디스플레이 데이터를 소스 디바이스로부터 싱크 디바이스로 무선으로 전송하기 위한 시스템에 제공된다. 상기 시스템은 디스플레이 및 무선 전송 및 수신 회로를 갖는 소스 디바이스를 포함한다. 상기 시스템은 디스플레이 및 무선 전송 및 수신 회로를 갖는 싱크 디바이스를 포함한다. 소스 디바이스 및 싱크 디바이스는, 제 1 모드 및 제 2 모드를 허용하기 위해 디스플레이 전송 및 수신 파라미터들을 협상하도록 구성된다. 제 1 모드에서, 디스플레이 데이터가 소스 디바이스의 디스플레이 프레임 버퍼로부터 리트리브(retrieve)되고, 무선 전송을 위해 인코딩되고, 싱크 디바이스로 무선으로 전송되고, 싱크 디바이스 상에서 디코딩되고, 싱크 디바이스의 디스플레이 상에 제공된다. 제 2 모드에서, 소스 디바이스에서 이미지 프레임 중 적어도 제 1 중첩 부분이 제 1 비디오 압축 포맷을 사용하여 인코딩되고, 이미지 프레임 중 제 2 중첩 부분이 제 2 비디오 압축 포맷을 사용하여 인코딩된다. 제 2 모드에서, 제 1 중첩 부분 및 제 2 중첩 부분이 싱크 디바이스로 무선으로 전송되고, 싱크 디바이스 상에서 별개로 디코딩되고, 소스 디바이스로부터 수신된 중첩 블렌딩 정보에 적어도 부분적으로 기초하여 싱크 디바이스 상에서 블렌딩되고, 싱크 디바이스의 디스플레이 상에 제공된다.
[9] 도 1은 직접적인 스트리밍을 지원하는 확장된 미라캐스트 비디오 스트리밍 시스템의 일 구현에서 소스 및 싱크 디바이스들의 블록도이다.
[10] 도 2는 도 1의 확장된 미라캐스트 비디오 스트리밍 시스템의 일 구현에서 소스 디바이스의 블록도이다.
[11] 도 3은 도 1의 확장된 미라캐스트 비디오 스트리밍 시스템의 일 구현에서 싱크 디바이스의 블록도이다.
[12] 도 4는 미러링으로부터 직접적인 스트리밍으로 스위칭하기 위한 메시지 시퀀스의 일 구현을 예시한 시퀀스도이다.
[13] 도 5는 싱크 측 찾기 기능에 대한 메시지 시퀀스의 일 구현을 예시한 시퀀스도이다.
[14] 도 6은 싱크 디바이스에서 중첩 프로세싱을 지원하는 확장된 미라캐스트 비디오 스트리밍 시스템에서 수송 스트림의 일 구현을 예시한다.
[15] 도 7은 싱크 디바이스에서 중첩 프로세싱을 지원하는 확장된 미라캐스트 비디오 스트리밍 시스템의 일 구현의 블록도이다.
[16] 도 8은 싱크 디바이스에서 중첩 프로세싱을 지원하는 확장된 미라캐스트 비디오 스트리밍 시스템의 싱크 디바이스에서 블렌딩 모듈의 일 구현의 블록도이다.
[17] 도 9는 소스 디바이스 또는 싱크 디바이스의 일 구현의 블록도이다.
[18] 신규한 시스템들, 장치들 및 방법들의 다양한 양상들이 첨부한 도면들을 참조하여 이후에 더 완전히 설명된다. 그러나, 개시된 교시들은 다수의 다른 형태들로 구현될 수 있고, 본 개시 전체에 제시되는 임의의 특정한 구조 또는 기능에 제한되는 것으로 해석되어서는 안된다. 오히려, 이 양상들은, 본 개시가 철저하고 완전해지도록 제공되고, 본 개시의 범위를 당업자들에게 완전하게 전달할 것이다. 본 명세서의 교시들에 기초하여, 당업자는, 본 개시의 범위가 본 발명의 임의의 다른 양상과 결합되어 구현되든 또는 독립적으로 구현되든, 본 명세서에 개시된 신규한 시스템들, 장치들 및 방법들의 임의의 양상을 커버하도록 의도됨을 인식해야 한다. 예를 들어, 본 명세서에 기술된 양상들 중 임의의 수의 양상들을 이용하여 장치가 구현될 수 있고, 또는 방법이 실시될 수 있다. 또한, 본 발명의 범위는, 본 명세서에 기술된 본 발명의 다양한 양상들에 부가하여 또는 그 이외의 다른 구조, 기능, 또는 구조 및 기능을 이용하여 실시되는 이러한 장치 또는 방법을 커버하도록 의도된다. 본 명세서에 개시된 임의의 양상은 청구항의 하나 이상의 엘리먼트들에 의해 구현될 수 있음을 이해해야 한다.
[19] 특정한 양상들이 본 명세서에서 설명되지만, 이 양상들의 많은 변화들 및 치환들은 본 개시의 범위 내에 속한다. 선호되는 양상들의 몇몇 이익들 및 이점들이 언급되지만, 본 개시의 범위는 특정한 이점들, 이용들 또는 목적들로 제한되도록 의도되지 않는다. 오히려, 본 개시의 양상들은, 상이한 무선 기술들, 시스템 구성들, 네트워크들 및 전송 프로토콜들에 광범위하게 적용가능하도록 의도되고, 이들 중 일부는, 선호되는 양상들의 하기 설명 및 도면들에서 예시의 방식으로 예시된다. 상세한 설명 및 도면들은 제한적이기보다는 본 개시의 단지 예시이고, 본 개시의 범위는 첨부된 청구항들 및 이들의 균등물들에 의해 정의된다.
[20] 본 개시는 제 2 디바이스 상의 디스플레이를 위해, 본원에서 소스로 지칭되는 제 1 디바이스가 본원에서 싱크로 지칭되는 제 2 디바이스로 비디오 콘텐츠를 전달하도록 허용하는 시스템들 및 방법들에 관한 것이다. 일부 구현들에서, 각각의 디바이스는 무선 통신 프로토콜들의 IEEE 802.11 패밀리 중 하나 이상에 따라 무선으로 통신할 수 있다. 그러한 디바이스들이 통상적으로 직접적으로보다는 액세스 포인트(AP)를 통해 통신하지만, 어떠한 AP 또는 다른 중재자(intermediary)를 사용하지 않고서, 소스 디바이스들이 비디오를 싱크 디바이스들로 직접적으로 전송하도록 허용하는 프로토콜들이 개발되었다. 앞서 설명된 바와 같이, 하나의 그러한 프로토콜은 미라캐스트 또는 Wi-Fi 디스플레이로 알려져 있다. 아래에 설명되는 구현들은 자신의 공통으로 사용되는 미러 모드에서 시작점으로서 현재 기존의 미라캐스트 프로토콜을 사용한다. 이러한 프로토콜의 개선책들 및 확장들이 아래에 제시된다. 이러한 개선책들 및 확장들은 단지 미라캐스트뿐만 아니라 임의의 디스플레이 공유 디바이스 또는 프로토콜, 시스템 또는 방법에 적용되어, 로컬 환경에서 무선으로 접속된 디바이스들 상에서 그리고 디바이스들 사이에서 디스플레이 데이터의 전송, 수신 및 프리젠테이션을 허용하고, 여기서 "로컬"은 가령 룸, 빌딩 등 내의 무선 LAN 접속의 범위를 일반적으로 지칭한다.
[21] 비디오 클립이 미라캐스트 타입 시스템 내의 소스 디바이스 상에서 재생되면, 미라캐스트는 자신의 기본 모드(미러링)에서 비디오 출력이 디코딩된 후에 이를 캡처하는 것을 요구하고, 이어서 비디오 출력을 싱크 디바이스로 스트리밍하기 전에 이를 H.264 코덱을 통해 재인코딩하는 것을 요구한다. 트랜스코딩으로 종종 지칭되는 그러한 동작은, 비디오 클립이 클립을 디코딩하기 위해 먼저 비디오 디코더를 사용하기 때문에, 디바이스로 하여금 더 많은 전력을 소비하게 하고, 이어서 디코딩된 비디오 클립은 싱크 디바이스로 스트리밍되기 전에 재인코딩되게 된다.
[22] 비디오의 트랜스코딩은 또한, 특히 인코딩된 비트레이트가 비디오 클립의 네이티브 비트레이트보다 더 낮을 때, 비디오 품질을 잠재적으로 저하시킬 수 있다. 이것은, 현재 미라캐스트 구현들이 제약된 기본 또는 제약된 높은 프로파일들의 H.264 코덱만을 사용하는 재인코딩을 요구하고, 반면에 비디오 콘텐츠가 종종 다른 포맷들로 이용 가능하기 때문에, 발생할 수 있다.
[23] 이러한 제한들을 극복하기 위해, 무선 통신 인에이블 디바이스들은, 트랜스코딩의 필요성 없이 오디오/비디오 콘텐츠의 스트리밍을 허용하는 직접적인 스트리밍 능력을 부가적으로 지원하도록 보충될 수 있다. 이것은 트랜스코딩을 제거함으로써 더 높은 품질, 및 비트-스트림들의 스트리밍을 통한 전력 감소를 허용한다.
[24] 이제 도 1 내지 도 3을 참조하면, 확장된 미라캐스트 시스템에서, 부가적인 제어 통신들 및 수송 프로토콜 협상들이 소스 디바이스(30)와 싱크 디바이스(32) 사이에서 발생할 수 있다. 도 1에 도시된 바와 같이, 소스(30)에서, 디스플레이 데이터(34)가 인코더(36)로 라우팅된다. 종래의 미라캐스트 시스템들에서, 인코더(36) 및 디코더(38)는 H.264 프로토콜들만을 지원한다. 이어서, 이러한 데이터는 종래의 미라캐스트 시스템들에서의 RTSP(Real Time Transport Protocol) 메시징을 통한 MPEG2 수송 스트림을 사용하여 싱크(32)로 무선으로 전송된다. 싱크(32)에서 수신될 때, 데이터는 대응하는 디코더(38)로 라우팅되고, 싱크(32) 상의 디스플레이(40)로 전송된다. 제어 신호들은 또한 소스(30) 및 싱크(32) 사이에서 전달된다. 종래의 미라캐스트 시스템에서, 세션 셋업 및 세션 유지를 위한 제어 신호들이 사용된다. 도 1 내지 도 3의 시스템에서, 하나 이상의 부가적인 제어 통신들이 소스(30)와 싱크(32) 사이에서 발생할 수 있다. 하나의 구현에서, 능력 협상 동안에, 소스(30)는 싱크가 특징 자체를 지원하는지를 알기 위해 직접적인 스트리밍에 대해 싱크(32)에 질의한다. 소스(30)는 또한 싱크(32)가 지원하는 오디오 및 비디오에 대한 다양한 코덱들 및 프로파일들 및 싱크(32)가 스트림 콘텐츠를 지시하도록 소스에 원하는 TCP(Transmission Control Protocol) 또는 UDP(User Datagram Protocol) 포트 넘버에 대해 질의한다. 싱크(32)는, 자신이 미라캐스트 세션 동안에 직접적인 스트리밍을 지원하면, 오디오/비디오 코덱들 및 프로파일들 및 TCP 또는 UDP 포트 넘버의 리스트로 다시 응답할 수 있다. 하나의 비디오 클립의 스트리밍 후에, 다른 비디오 클립이 직접적인 스트리밍 데이터 경로로 스위칭될 수 있다. 이것은 아래에 추가로 설명되는 이점들을 갖고서 다양한 인코더들(36) 및 디코더들(38)의 사용을 허용한다. 아래에 추가로 설명될 바와 같이, 중첩들을 처리하기 위한 지원 및 싱크 측 찾기 기능이 또한 제공될 수 있다.
[25] 이제 도 2를 참조하면, 도 1의 소스 디바이스(30)의 일 구현의 블록도가 예시된다. 도 2에서, 소스 디바이스는 그래픽 프로세싱 유닛(GPU)(50), 디스플레이 프로세서/블렌더(52), 프레임 버퍼(54) 및 디스플레이(56)를 포함한다. 소스는, 사용자에 대한 프리젠테이션을 위한 디스플레이 데이터를 제공하는 애플리케이션 1(62) 및 애플리케이션 2(64)와 같은 몇몇의 애플리케이션들을 실행할 수 있다. 소스 운영 시스템의 제어 하에서, GPU(50) 및 디스플레이 프로세서/블렌더(52)는, 디스플레이(56)로의 포워딩을 위해, 디스플레이 데이터를 준비하고 프레임 버퍼(54)를 채운다. 소스는 또한 미디어 플레이어(66)를 포함할 수 있고, 이것은 또한 비디오 디코더를 통해 콘텐츠를 디스플레이 프로세서/블렌더(52)로 라우팅한다.
[26] 종래의 자립형 디스플레이 모드 및 종래의 미라캐스트 미러링 모드에서의 데이터 흐름이 도 2의 실선 화살표로 예시된다. 미라캐스트 미러링이 수행될 때, 프레임 버퍼(54) 내의 픽셀 데이터의 연속적인 프레임들은 데이터 경로(80)를 따라 비디오 인코더(72)로 라우팅되고, 인코딩된 데이터는 모듈(74)에 의해 MPEG2 수송 스트림으로 조립되고, 모듈(75)에 의해 RTP 메시징 데이터와 결합되고, 싱크 디바이스(32)로의 전송을 위해 소켓(77)으로 라우팅된다. 종래의 미라캐스트에서, 인코더(72)는 H.264 인코더이고, 소켓은 UDP 소켓이고, 어떠한 다른 옵션들도 지원되지 않는다.
[27] 싱크 디바이스(32)가 도 3에 예시된다. 싱크에서, 소켓(92)은 인커밍 데이터 스트림을 수신하고, RTP 메시징은 모듈(94)을 통해 추출되고, 디스플레이 데이터는 모듈(96)을 통해 추출된다. 도 2에서와 같이, 종래의 미라캐스트 데이터 흐름이 실선 화살표들로 예시된다. 디스플레이 데이터는 비디오 디코더(98)로, 이어서 디스플레이 프로세서/블렌더(102)로 라우팅될 수 있고, 이것은 디스플레이(106) 상의 프리젠테이션을 위해 프레임 버퍼(104)를 채운다. 종래의 미라캐스트에서, 비디오 디코더(98)는 H.264 디코더이고, 이것은 미라캐스트 표준과 호환 가능한 임의의 싱크 디바이스에서 요구된다.
[28] 종래의 미라캐스트 시스템에서, 픽셀 데이터가 싱크(32)로의 전송을 위해 프레임 버퍼로부터 리트리브(retrieve)되기 때문에, 어떠한 타입들의 디스플레이 정보가 프레임 버퍼(54)로 로딩되는지에 관한 어떠한 정보도 이용 가능하지 않다는 것을 알 수 있다. 정보는 애플리케이션 프로그램(62 및 64)으로부터의 텍스트, 또는 미디어 플레이어(66)로부터의 영화, 또는 이 둘의 조합일 수 있다. 많은 경우들에서, 이러한 정보는 싱크 디스플레이 품질을 최적화하고 소스 디바이스의 전력 유출을 최소화하는데 유용할 수 있다.
[29] 종래의 미라캐스트 디스플레이 시스템의 성능 및 능력들을 개선하기 위해, 부가적인 비디오 인코더들(82 및 84)이 시스템에 의해 지원될 수 있고, 파선 화살표들로 예시된 부가적인 데이터 경로들이 제공될 수 있다.
[30] 하나의 구현에서, 미디어 플레이어(66)로부터의 사전-코딩된 비트 스트림을 포함하는 직접적인 스트리밍 경로(86)는, 모듈(74)에 의한 MPEG2 수송 스트림으로의 트랜스코딩 없이, 데이터 경로(80)에서 프레임 버퍼 입력을 사용하는 대신에, 자체적으로 조립될 수 있다. 이것은, 수송 스트림 조립 전에, 비디오 디코더(68)에 의한 디코딩 및 및 비디오 인코더(72)에 의한 후속 H.264 재인코딩을 먼저 수행하는 것을 회피한다. 이것은 소스(30)에서의 전력을 절약한다. 싱크 디바이스(32)에서, 데이터는 미디어 플레이어(66)로부터 출력된 디스플레이 데이터의 오리지널 사전-인코딩된 포맷 ― H.264 포맷이 아닐 수 있음 ― 에 대응하는 디코더를 통해 디코딩된다. 이러한 구현에서, 앞서 설명된 질의 프로세스 동안에, 소스 디바이스에 의해 결정된 바와 같이, 싱크 디바이스가 호환 가능한 디코더를 갖는 한, 임의의 인코딩 포맷이 적절하다. 예를 들면, 도 2 및 도 3을 참조하면, 이러한 구현에서, 비디오 디코더(98)에 대한 유일한 제한은, 비디오 디코더가 도 2의 경로(86)로부터의 오리지널 사전-인코딩된 비트 스트림을 디코딩할 수 있다는 것이다.
[31] 직접적인 스트리밍을 위한 적어도 2 개의 옵션들, 즉, RTSP 기반 메시징 및 MPEG2-TS 기반 메시징이 사용될 수 있다.
[32] RTSP 기반 메시징이 도 4에 예시된다. 시스템은, (예를 들면, 앞서 설명된 도 2 및 도 3의 실선들을 사용하여) 이미지 데이터가 소스의 프레임 버퍼로부터 취해지고 소스에서 H.264 인코딩되고 싱크에서 H.264 디코딩되는 상태(110)에서 종래의 미라캐스트 프로토콜에서와 같이 디스플레이 미러링 모드에서 시작될 수 있다. 이러한 모드는 앞서 또한 설명된 바와 같이 디스플레이 데이터의 트랜스코딩을 요구한다. 소스 디바이스(30)의 사용자가 비디오 클립 ― 싱크(32)가 호환 가능한 코덱을 포함하는 인코딩 포맷으로 소스 상에 저장되거나, 소스에 의해 생성되거나 소스에 의해 수신됨 ― 을 재생하기로 선택하면, 소스 디바이스(30)는 미러링으로부터 직접적인 스트리밍으로의 스트림 스위칭이 시작할 것임을 표시하기 위한 RTSP 요청 메시지를 112에서 전송할 수 있다. 싱크가 이러한 요청을 수신할 때, 114에서, 싱크는 비트스트림을 미러링으로부터 직접적인 스트리밍으로 변경하도록 소스에 응답하고, 협상된 TCP/UDP 포트 상에서 새로운 비트스트림을 수신하기 위해 자신의 디코더를 준비하고, 자신이 직접적인 스트리밍을 위해 준비가 된 것을 소스에 통지한다. 싱크로부터 응답을 수신할 때 소스는 미러링 비트스트림을 정지하고, 비디오 클립에 포함된 비트스트림을 이러한 목적으로 협상된 TCP/UDP 포트로 스트리밍하기 시작하여, 블록(115)에서 직접적인 스트리밍 모드에 진입한다. 사용자가 클립을 정지하거나 클립이 스트림의 끝에 도달하면, (116)에서, 소스는 직접적인 스트리밍이 종료된다는 것, 즉, 직접적인 스트리밍으로부터 미러링으로 스트림 스위치가 시작할 것이라는 것을 표시하기 위해 RTSP 요청을 전송한다. 싱크가 이러한 요청을 수신할 때, 118에서, 싱크는 직접적인 스트리밍으로부터 미러링 모드로 비트스트림을 변경하도록 소스에 응답하고, 미라캐스트 세션 동안에 디폴트 미라캐스트 포트 셋업 상에서 미러링 비트스트림을 수신하도록 자신의 디코더를 준비한다. 싱크로부터 응답을 수신할 때, 소스는 120에서 미러링 모드에 진입하고, 디폴트 미라캐스트 포트로 미러링 비트스트림을 스트리밍하기 시작한다.
[33] 다른 가능한 구현에서, MPEG2 TS 기반 메시징은, UDP 수송 포트를 사용할 때 사용될 수 있다. 예를 들면, 소스 디바이스의 사용자가 그의 코덱 및 프로파일들이 싱크에 의해 지원되는 비디오 클립을 재생하기로 선택하면, 소스 디바이스는, 자신이 직접적인 스트리밍을 위해 새로운 비트스트림을 수송하기 위해 상이한 활성 프로그램 넘버를 사용하도록, PAT(Program Association Table) 및 PMT(Program Map Table)을 변경한다. 싱크가 새로운 PAT 및 PMT를 수신할 때, 싱크는 미러링 비트스트림을 재생하는 것을 정지하고, 미러링 동안에 사용된 동일한 UDP 포트 상에서 계속해서 수신될 새로운 비트스트림을 수신하기 위해 자신의 디코더를 준비한다. 소스는, 업데이트된 PAT 및 PMT를 전송한 후에, 비디오 클립에 포함된 비트스트림을 미러링 비트스트림과 동일한 UDP 포트로 스트리밍하기 시작한다. 사용자가 클립을 정지하거나 클립이 스트림의 끝에 도달하면, 소스는 PAT 및 PMT를 활성 프로그램으로서 미러링 프로그램 넘버의 것으로 다시 변경한다. 싱크가 업데이트된 PAT 및 PMT를 수신할 때, 싱크는 직접적인 스트리밍 비트스트림을 재생하는 것을 정지하고, 동일한 UDP 포트 상에서 계속해서 수신될 미러링 비트스트림을 수신하기 위해 자신의 디코더를 준비한다.
[34] 앞서 설명된 구현들에서, 소스는, 비디오 콘텐츠의 현재 압축 포맷이 싱크 디바이스 상의 기존의 코덱과 호환 가능하다고 결정할 수 있고, 비디오 콘텐츠를 오리지널 포맷으로 전송할 수 있고, 이로써 종래의 미라캐스트 시스템에 의해 수행되는 트랜스코딩 프로세스를 회피한다. 일부 구현들에서, 채널 상태(또는 다른 정보)는, 상이한 압축 포맷이 이롭게 사용될 수 있다는 것을 표시할 수 있다. 소스가 싱크 상의 코덱들을 알기 때문에, 소스는 상이한 싱크 코덱과 호환 가능한, 사용하기 위한 상이한 압축 포맷을 선택할 수 있다. 이것은 오리지널 비디오 콘텐츠를 트랜스코딩하는 것을 수반할 수 있지만, 채널 상태에 따라 싱크 디바이스 상의 비디오 품질을 개선할 수 있다.
[35] 비디오 콘텐츠의 직접적인 스트리밍 동안에, 찾기(seek) 기능들은 유연하게 지원될 수 있다. 찾기 기능은, 라이브 세션이 소스 디바이스 상의 디스플레이 프레임 버퍼의 콘텐츠를 사용하여 스트리밍되고 있다는 사실로 인해 미라캐스트에서 현재 존재하지 않는다. 미러링 동안에 시간에서 앞뒤로 이동하는 것이 실현 불가하다. 그러나, 직접적인 스트리밍 동안에, 소스로부터 싱크로 스트리밍되는 미디어 클립을 되감기(rewind) 및 빨리감기(forward) 위한 요구가 존재할 수 있다.
[36] 예를 들면, 소스가 소스에서의 사용자 입력에 기초하여 찾기 트리거를 개시할 때, 소스는 원하는 "프리젠테이션 시간" 값과 함께 정지 또는 재생 동작으로 설정된 RTSP 파라미터_설정 트리거 방법을 전송할 수 있다. 이후에, 싱크는 트리거 요청에 대한 응답을 다시 전송할 수 있고, 소스는, 자신이 새로운 시간으로부터 스트리밍할 준비가 될 때, 후속으로 새로운 재생 요청 메시지를 개시할 수 있다.
[37] 싱크 측 찾기 요청의 예가 도 3에 제공된다. 이러한 예에서, 싱크가 찾기를 개시할 때, 싱크는 126에서 정지를 위한 M9 요청을 전송할 수 있고, 소스는, 128에서, 스트리밍을 정지하고 스트림 정지 확인응답을 싱크로 전송할 수 있다. 130에서, 싱크는 원하는 "프리젠테이션 시간" 값과 함께 재생 요청을, 싱크의 사용자가 비디오 재생을 위한 새로운 시점으로서 선택한 비디오 클립 내의 시간에 대응하는 소스로 전송할 수 있다. 132에서, 소스는 새로운 싱크 선택된 프리젠테이션 시간으로부터 스트리밍하기 시작한다.
[38] 현재, 비디오와 함께 중첩 콘텐츠를 소스로부터 싱크로 전송하는 능력은, 단일 포맷만을 사용하여 비디오 콘텐츠를 스트리밍하는 현재 미라캐스트 규격에서 지원되지 않는다. 중첩 능력 없이, 비디오 재생의 풀-스크린 모드만이 가능하다. 소스의 프레임 버퍼의 풀 스크린은, 디스플레이의 상이한 부분들에서 콘텐츠의 성질과 상관없이, 동일한 비디오 인코더를 통해 인코딩된다. 일부 구현들에서, 확장된 시스템은 다수의 중첩들을 유연하게 가능하게 하고, 싱크 측 상에서 수행되는 유연한 중첩 동작들을 제공할 수 있다.
[39] 다시 도 2 및 도 3을 참조하면, 각각의 이미지 프레임의 상이한 중첩 컴포넌트들에 대해 도 2의 인코더들(72, 82 및 84)을 통한 별개의 인코딩 프로세스들을 사용하여 지능형 중첩 지원이 제공될 수 있다. 각각의 중첩에 대해 인코딩된 데이터는 모듈(74)에 의해 단일 MPEG2 수송 스트림으로 조립될 수 있다. 인코더들(72, 82 및 84)은 동일하거나 상이한 포맷일 수 있다. 상이한 중첩들에 대해 상이한 포맷들의 인코딩을 사용할 때, 그래픽들 및 UI에 대해 무손실 코덱 및 손실이 있는 압축 아티팩트들이 용이하게 보이지 않는 비디오 및 다른 콘텐츠에 대한 손실이 있는 코덱과 같이, 최적의 성능을 달성하는 것이 가능하다. 또한, 중첩들에 대한 지원은 그래픽들에 대해 프레임 버퍼 콘텐츠에서 증분 변화들만을 전송하는 것을 허용하여, 고해상도 콘텐츠 디스플레이에 대한 대역폭 요건을 감소시킨다. 미라캐스트에 대한 그러한 확장은 다수의 중첩들을 유연하게 지원할 수 있고, 여기서 중첩 콘텐츠는 싱크 디바이스로 스트리밍되고, 싱크 디스플레이에서 원하는 관심 영역 위에 디스플레이될 수 있다.
[40] 도 3에 예시된 싱크(32) 측 상에서, MPEG2 수송 스트림의 상이한 부분들 내의 데이터가 추출되어, 별개의 디코더들(98, 140 및/또는 142)로 라우팅될 수 있고, 디코더들은 소스(30) 상에서 수행되는 각각의 인코딩 방법들에 따라 개별적으로 데이터 스트림들을 디코딩할 수 있다. 이어서, 중첩 데이터는, 프레임 버퍼(104)를 파퓰레이팅하기 위해 그리고 싱크 디스플레이(106) 상의 프리젠테이션을 위해, MPEG2TS/RTP 스트림(아래에 추가로 설명됨)으로 전송될 수 있는 제어 정보에 따라 디스플레이 프로세서/블렌더(102)에 의해 싱크 측 상에서 블렌딩된다.
[41] 하나 이상의 중첩 콘텐츠(들)를 동시에 전송하기 위한 요구는, 정기적인 비디오 디스플레이와 함께 디스플레이의 원하는 위치들에서 특정 그래픽들 또는 UI 제어 정보를 디스플레이하기 위해 더 높은 시각적 품질이 필요할 때, Wi-Fi 디스플레이의 많은 게임 및 다른 용도에서 발생한다. 중첩 디스플레이 콘텐츠는 로우(raw) RGB 또는 다른 무손실 압축 방법들을 사용할 수 있다.
[42] 비디오 데이터와의 스트리밍 중첩(들)을 지원하기 위해 부가적인 메시징 및 프로토콜 확장이 미라캐스트 프로토콜에 부가될 수 있다. 직접적인 스트리밍 협상 동안에, 소스 및 싱크 디바이스들은, 싱크가 중첩들을 지원할 수 있는지, 및 중첩 콘텐츠와 결합된 프레임 합성을 블렌딩하는 어떠한 방법들이 지원될 수 있는지를 협상하기 위해 파라미터들을 교환할 수 있다. 압축된 또는 압축되지 않은 RGB 중첩 프레임들을 MPEG2TS로 다중화 및 역다중화하기 위한 방법들이 제공될 수 있고, 중첩(들)에 대해 지원되는 비디오 포맷, 예를 들면, RGB 또는 크로마 포맷들 또는 임의의 특정 코덱 포맷이 결정 및 협상될 수 있다.
[43] RTSP 메시징에 대해, 소스는 비디오 코덱들의 지원 및 중첩이 지원되는지 및 얼마나 많은 중첩들이 지원되는지에 대한 능력 정보에 대해 싱크와 협상할 수 있다. 소스는 배경 프레임에 대한 코덱 타입들 및 중첩들에 대한 코덱 타입을 선택하기 위해 파라미터를 설정할 수 있다. 일부 구현들에서, 최대 2 개의 코덱 타입들이 허용될 수 있다. 예를 들면, 배경은 JPEG로 인코딩될 수 있고, 비디오 중첩(들)이 H.264로 인코딩될 수 있다. 또는 배경 및 중첩들 둘 모두가 H.264로 인코딩될 수 있다. 소스는 또한 전송될 최대수의 중첩들에 대한 파라미터를 설정할 수 있다.
[44] 도 6은 MPEG2TS 시그널링을 사용하는 예를 예시한다. 이러한 예에서, PES(Packetized Elementary Stream) 헤더에 중첩을 설명하는 특성들(지정된 76a, 76b, 76c 및 76d)이 각각의 중첩에 선행할 수 있다. 대응하는 중첩 데이터 패킷(78a, 78b, 78c 및 78d)이 각각의 헤더에 후속한다. MPEG2 수송 스트림에서 PES 헤더 포맷은 매우 유연하여, 시스템 특정 정보 전송에 사용될 수 있는 헤더들 내의 사적인 데이터 필드들의 생성을 허용한다. PES 헤더에 포함된 중첩 특성들은 배경에 대해 중첩의 위치를 마킹하기 위해 상부 좌측 좌표(x,y)를 포함할 수 있다. 좌표들은 x에 대해 A = 2 바이트들 및 y에 대해 2 바이트들을 갖는 픽셀 위치들에 있을 수 있다. 중첩의 폭 및 높이에 대해, 폭에 대해 W = 2 바이트들이고, 높이에 대해 H = 2 바이트들이다. 중첩이 배경에 블렌딩되는 순서가 또한 제공될 수 있고, 여기서 더 낮은 수는 중첩이 Z = 1 바이트에서 먼저 블렌딩되어야 한다는 것을 표시한다. 0x00은 배경 계층을 표시하고, 알파에 대한 값이 제공될 수 있는데, 여기서 알파 = 1 바이트이다. 컬러 키에 대한 3 바이트 CK 값이 제공될 수 있다.
[45] 도 7은 특정 중첩 스트리밍 예를 예시한다. 이러한 예에서, 전경(foreground) 중첩(150)은 배경 비디오 스트림(152)과 결합된다. 중첩(150)은 비디오 플레이어(66), 소스(30) 상의 상이한 애플리케이션 프로그램(62 또는 64), 또는 소스(30)의 운영 시스템에 의해 생성될 수 있다. 도 7은, 비디오 데이터가 트랜스코딩 없이 자신의 사전-인코딩된 상태에서 스트리밍되는 예를 예시한다. 중첩은 상이한 무손실 압축 인코딩으로 인코딩된다. 싱크(32) 측 상에서, MPEG2TS/RTP 스트림이 패킹되지 않고, 2 개의 데이터 세트들이 MPEG2TS/RTP 스트림에 제공된 중첩 정보에 따라 모듈(102)에서 블렌딩을 위해 별개로 디코딩된다.
[46] 합성된 배경 계층과 전경(중첩) 사이의 블렌드 수학식이 싱크 측에서 적용될 수 있다. 예를 들면,
블렌딩된 픽셀 = 알파 * 픽셀FG + (1 - 알파)*픽셀BG
마지막 픽셀 = 컬러 키를 사용하는 투명 체크가 통과되면, 전경 픽셀
그밖에 마지막 픽셀 = 블렌딩된 픽셀
[47] 이러한 알고리즘은 도 8의 기능 블록도에 의해 구현된다. 이러한 도면에서, 중첩 계층0(160)의 픽셀들은 상이한 중첩 계층1(162)의 대응하는 픽셀들과 프로세싱된다. 선택 신호(blend_eq_sel)는 다중화기들(164 및 166)을 사용하여 어떠한 중첩이 전경인지, 및 어느 것이 배경인지를 결정한다. 다른 제어 신호(blend_transp_en)는 투명 컬러 체크가 블록(172)에서 수행되는지를 결정한다. 투명 컬러 체크가 통과하면, 배경 픽셀이 다중화기(174)로부터 출력되고, 그렇지 않다면 블록(176)으로부터의 블렌딩된 픽셀은 그 픽셀 위치에서의 디스플레이를 위해 다중화기(174)로부터 싱크(32)의 프레임 버퍼(104)로 출력된다. 블록(176)에서 구현된 블렌드 수학식에 대한 파라미터들 및 제어 신호들의 상태는 MPEG2 수송 스트림 상에서 소스(30)로부터 전송되는 정보에 의해 제어될 수 있다.
[48] 예를 들면, 싱크 디바이스는, 블렌드 동작을 시작하기 전에, Z = 0x00으로 마킹된 배경 계층 및 (개시에서 협상된) 총 중첩과 매칭하는 중첩 카운트를 수신하기를 대기할 수 있다. 배경 계층은 폭 및 높이에서 중첩들보다 더 크고, 협상된 싱크의 디스플레이 해상도와 매칭할 수 있다. Z=0x00을 수신한 후에 수신된 어떠한 연속적인 중첩들도 존재하지 않고, 프리젠테이션 타임아웃 시간이 초과되었다면, 중첩 프로세스는 종결될 수 있고, 프레임은 렌더링을 위해 디스플레이로 발송될 수 있다. 프리젠테이션 타임아웃 시간은 수신되는 프레임 레이트에 기초할 수 있다. 예를 들면, 수신되는 디스플레이 데이터의 프레임 레이트가 30 fps이면, 프리젠테이션 타임아웃은 약 33 msec일 수 있다.
[49] 미라캐스트 세션 동안에, 임의의 수의 중첩들은, 자신들이 개시에서 협상된 최대수의 중첩들을 초과하지 않는 한, 임의의 시간 인스턴스에서 시작할 수 있다. 각각의 중첩은 협상된 코덱, 즉, JPEG, H.264에 기초한 그 자신의 기본 스트림을 가질 수 있다. MPEG2 수송 스트림에 대한 PMT(Program Map Table)는, 기본 스트림이 중첩을 전달하는 프로그램으로부터 제거 또는 부가될 때마다 업데이트될 수 있다. 새로운 기본 스트림이 부가되면, 연속적인 MPEG2 전송 패킷들은 새로운 기본 스트림에 대한 PES 패킷들을 포함할 수 있다. 각각의 기본 스트림은 중첩의 특정 세부사항들을 전달할 수 있어서, 싱크 상의 블렌더는 렌더링될 마지막 프레임을 구성할 수 있다. 새로운 PES_확장_플래그는 PES에서 중첩 정보의 존재를 표시하는데 사용될 수 있다. 좌표들, 폭, 높이, Z 순서, 알파 값, 컬러 키 및 블렌딩 수학식을 포함하는 중첩 정보를 PES로 전달하기 위해 새로운 필드가 PES 패킷에 부가될 수 있다. 이러한 정보는 렌더링될 마지막 프레임을 생성하기 위해 싱크 상의 디스플레이 프로세서로 전달될 수 있다.
[50] 앞서 설명된 바와 같이, 일부 구현들에서, 미라캐스트 프로토콜의 확장은 지원되는 코덱 파라미터들 및/또는 직접적인 스트리밍 동안에 사용하기 위한 TCP 포트를 생성하는 싱크의 옵션을 포함하는 상호 능력들을 협상할 수 있다. 미라캐스트의 다른 확장은 레이턴시 대 강인성 요건들(예를 들면, TCP를 사용하는지 또는 UDP를 사용하는지)에 의존하여 RTSP 기반 및 MPEG2-TS 기반 접근법들을 사용하여 재생 동안에 비트스트림들의 스위칭을 지원할 수 있다. 미라캐스트의 확장은 직접적인 스트리밍 모드를 사용하면서 찾기 기능을 지원할 수 있다. 미라캐스트 프로토콜의 확장은 미라캐스트 세션에 걸쳐 전송되는 다수의 중첩들을 지원할 수 있고, 싱크는, RTSP를 통한 중첩 시그널링, 중첩 블렌딩 기술들 및 중첩 수송을 위한 PES 정보를 비롯하여 사전-협상된 비디오 포맷들 및 블렌딩 모드들을 사용하여 결합된 프레임 합성을 렌더링할 수 있다.
[51] 도 9는, 앞서 설명된 무선 통신 시스템 내에서 이용될 수 있는 무선 디바이스(180)에서 사용될 수 있는 다양한 컴포넌트들을 예시한다. 무선 디바이스(180)는, 본 명세서에서 설명되는 다양한 방법들을 구현하도록 구성될 수 있는 디바이스의 일례이다.
[52] 무선 디바이스(180)는, 무선 디바이스(180)의 동작을 제어하는 프로세서(184)를 포함할 수 있다. 프로세서(184)는 또한 중앙 프로세싱 유닛(CPU)으로 지칭될 수 있다. 판독 전용 메모리(ROM) 및 랜덤 액세스 메모리(RAM) 모두를 포함할 수 있는 메모리(186)는 프로세서(184)에 명령들 및 데이터를 제공한다. 메모리(186)의 일부는 또한 비휘발성 랜덤 액세스 메모리(NVRAM)를 포함할 수 있다. 프로세서(184)는 통상적으로, 메모리(186) 내에 저장된 프로그램 명령들에 기초하여 논리적 및 산술적 연산들을 수행한다. 메모리(186)의 명령들은 본 명세서에서 설명되는 방법들을 구현하도록 실행가능할 수 있다. 예를 들면, 디바이스가 소스(30)인지, 싱크(32)인지 또는 둘 모두인지에 의존하여, 도 1, 도 2 및 도 3의 블록들은 프로세서(184) 및 메모리(186)를 통해 구현될 수 있다. 프로세서(184)는, 하나 이상의 프로세서들로 구현되는 프로세싱 시스템의 컴포넌트이거나 이를 포함할 수 있다. 하나 이상의 프로세서들은, 범용 마이크로프로세서들, 마이크로제어기들, 디지털 신호 프로세서들(DSP들), 필드 프로그래머블 게이트 어레이(FPGA들), 프로그래머블 로직 디바이스들(PLD들), 제어기들, 상태 머신들, 게이트된 로직, 이산 하드웨어 컴포넌트들, 전용 하드웨어 유한 상태 머신들, 또는 정보의 계산들 또는 다른 조작들을 수행할 수 있는 임의의 다른 적절한 엔티티들의 임의의 조합으로 구현될 수 있다.
[53] 프로세싱 시스템은 또한, 소프트웨어를 저장하기 위한 머신 판독가능 매체들을 포함할 수 있다. 소프트웨어는, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 설명 언어로 지칭되든 또는 이와 달리 지칭되든, 임의의 타입의 명령들을 의미하도록 넓게 해석될 것이다. 명령들은 코드를 (예를 들어, 소스 코드 포맷, 2진 코드 포맷, 실행가능한 코드 포맷 또는 코드의 임의의 다른 적절한 포맷으로) 포함할 수 있다. 명령들은, 하나 이상의 프로세서들에 의해 실행되는 경우, 프로세싱 시스템으로 하여금, 본 명세서에서 설명되는 다양한 기능들을 수행하게 한다.
[54] 무선 디바이스(180)는 또한, 무선 디바이스(180)와 원격 위치 사이에서 데이터의 전송 및 수신을 허용하기 위한 전송기(190) 및/또는 수신기(192)를 포함할 수 있는 하우징(188)을 포함할 수 있다. 전송기(190) 및 수신기(192)는 트랜시버(194)로 결합될 수 있다. 안테나(196)가 제공되고 트랜시버(194)에 전기적으로 커플링될 수 있다. 무선 디바이스(180)는 또한 (도시되지 않은) 다수의 전송기들, 다수의 수신기들 및 다수의 트랜시버들 및/또는 다수의 안테나들을 포함할 수 있다.
[55] 무선 디바이스(180)는 또한, 트랜시버(194)에 의해 수신된 신호들의 레벨을 검출 및 정량화하기 위한 노력으로 이용될 수 있는 신호 검출기(200)를 포함할 수 있다. 신호 검출기(200)는 이러한 신호들을 총 에너지, 심볼 당 서브캐리어 당 에너지, 전력 스펙트럼 밀도 및 다른 신호들로서 검출할 수 있다. 무선 디바이스(180)는 또한 프로세싱 신호들에 이용하기 위한 디지털 신호 프로세서(DSP)(202)를 포함할 수 있다. DSP(202)는 전송을 위한 데이터 유닛을 생성하도록 구성될 수 있다. 무선 디바이스(180)는 디스플레이(204) 및 사용자 인터페이스(206)를 더 포함할 수 있다. 사용자 인터페이스(206)는 터치스크린, 키패드, 마이크로폰 및/또는 스피커를 포함할 수 있다. 사용자 인터페이스(206)는, 무선 디바이스(180)의 사용자에게 정보를 전달하고 그리고/또는 사용자로부터 입력을 수신하는 임의의 엘리먼트 또는 컴포넌트를 포함할 수 있다.
[56] 무선 디바이스(180)의 다양한 컴포넌트들은 하나 이상의 버스 시스템(208)에 의해 함께 커플링될 수 있다. 버스 시스템(208)은, 예를 들어, 데이터 버스뿐만 아니라, 데이터 버스에 부가하여 전력 버스, 제어 신호 버스 및 상태 신호 버스를 포함할 수 있다. 무선 디바이스(180)의 컴포넌트들이 몇몇 다른 메커니즘을 이용하여 함께 커플링되거나 또는 서로에 대한 입력들을 제공하거나 이를 수용할 수 있다는 것을 당업자들은 인지할 것이다.
[57] 다수의 별개의 컴포넌트들이 도 9에 도시되어 있지만, 컴포넌트들 중 하나 이상은 결합되거나 공통으로 구현될 수 있다. 예를 들어, 프로세서(184)는, 프로세서(185)에 대해 앞서 설명된 기능을 구현할 뿐만 아니라, 신호 검출기(200) 및/또는 DSP(202)에 대해 앞서 설명된 기능을 구현하기 위해 이용될 수 있다. 추가로, 도 9에 도시된 컴포넌트들 각각은 복수의 별개의 엘리먼트들을 이용하여 구현될 수 있다. 또한, 프로세서(184)는 아래에 설명되는 컴포넌트들, 모듈들, 회로들 등 중 임의의 것을 구현하는데 사용될 수 있거나, 이들 각각은 복수의 별개의 엘리먼트들을 사용하여 구현될 수 있다.
[58] 본 명세서에서 사용되는 용어 "결정"은 광범위한 동작들을 포함한다. 예를 들어, "결정"은 계산, 컴퓨팅, 프로세싱, 유도, 검사, 검색(예를 들어, 표, 데이터베이스 또는 다른 데이터 구조에서의 검색), 확인 등을 포함할 수 있다. 또한, "결정"은 수신(예를 들어, 정보 수신), 액세스(예를 들어, 메모리 내의 데이터에 액세스) 등을 포함할 수 있다. 또한, "결정"은 해결, 선택, 선정, 설정 등을 포함할 수 있다. 추가로, 본 명세서에서 사용되는 바와 같이, "채널 폭"은 특정한 양상들에서 대역폭으로 또한 지칭될 수 있거나 이를 포함할 수 있다.
[59] 본 명세서에서 사용되는 바와 같이, 항목들의 리스트 "중 적어도 하나"를 지칭하는 문구는 단일 멤버들을 비롯한 그 항목들의 임의의 조합을 지칭한다. 일례로, "a, b 또는 c 중 적어도 하나"는, a, b, c, a-b, a-c, b-c, 및 a-b-c를 커버하도록 의도된다.
[60] 전술한 방법들의 다양한 동작들은, 다양한 하드웨어 및/또는 소프트웨어 컴포넌트(들), 회로들 및/또는 모듈(들)과 같은, 동작들을 수행할 수 있는 임의의 적절한 수단에 의해 수행될 수 있다. 일반적으로, 도면들에 도시된 임의의 동작들은 그 동작들을 수행할 수 있는 대응하는 기능 수단에 의해 수행될 수 있다.
[61] 본 개시와 관련하여 설명되는 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 또는 다른 프로그래머블 로직 디바이스(PLD), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들 또는 본 명세서에 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로 프로세서일 수 있지만, 대안적으로, 프로세서는 임의의 상용 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수 있다. 또한 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어 DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수 있다.
[62] 하나 이상의 양상들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 상기 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나 이를 통해 전송될 수 있다. 컴퓨터 판독가능 매체는, 일 장소로부터 다른 장소로 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체 및 컴퓨터 저장 매체 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 요구되는 프로그램 코드를 저장 또는 반송하는데 사용될 수 있고, 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되는 것은 아니다. 또한, 임의의 연결 수단(connection)이 컴퓨터 판독가능 매체로 적절히 지칭된다. 예를 들어, 소프트웨어가 웹사이트, 서버, 또는 다른 원격 소스로부터 동축 케이블, 광섬유 케이블, 연선(twisted pair), 디지털 가입자 라인(DSL), 또는 적외선, 라디오, 및 마이크로웨이브와 같은 무선 기술들을 이용하여 전송되는 경우, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 라디오, 및 마이크로웨이브와 같은 무선 기술들이 이러한 매체의 정의에 포함된다. 여기서 사용되는 디스크(disk) 및 디스크(disc)는 컴팩트 디스크(disc(CD)), 레이저 디스크(disc), 광 디스크(disc), 디지털 다기능 디스크(disc)(DVD), 플로피 디스크(disk), 및 블루-레이 디스크(disc)를 포함하며, 여기서 디스크(disk)들은 데이터를 보통 자기적으로 재생하지만, 디스크(disc)들은 레이저들을 이용하여 광학적으로 데이터를 재생한다. 따라서, 몇몇 양상들에서, 컴퓨터 판독가능 매체는 비일시적(non-transitory) 컴퓨터 판독가능 매체(예를 들어, 유형의(tangible) 매체)를 포함할 수 있다. 또한, 다른 양상들에서, 컴퓨터 판독가능 매체는 일시적 컴퓨터 판독가능 매체(예를 들어, 신호)를 포함할 수 있다. 상기한 것들의 조합들 또한 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
[63] 본 명세서에 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 동작들을 포함한다. 방법 단계들 및/또는 동작들은 청구항들의 범위를 벗어나지 않고 서로 교환될 수 있다. 즉, 단계들 또는 동작들의 특정한 순서가 규정되지 않으면, 특정 단계들 및/또는 동작들의 순서 및/또는 이용은 청구항들의 범위를 벗어나지 않고 변형될 수 있다.
[64] 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되면, 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들로서 저장될 수 있다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용한 매체일 수 있다. 비제한적인 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 요구되는 프로그램 코드를 저장 또는 반송하는데 사용될 수 있고, 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 여기서 사용되는 디스크(disk) 및 디스크(disc)는 컴팩트 디스크(disc(CD)), 레이저 디스크(disc), 광 디스크(disc), 디지털 다기능 디스크(disc)(DVD), 플로피 디스크(disk), 및 블루-레이® 디스크(disc)를 포함하며, 여기서 디스크(disk)들은 데이터를 보통 자기적으로 재생하지만, 디스크(disc)들은 레이저를 이용하여 광학적으로 데이터를 재생한다.
[65] 따라서, 특정한 양상들은 본 명세서에 제시된 동작들을 수행하기 위한 컴퓨터 프로그램 물건을 포함할 수 있다. 예를 들어, 이러한 컴퓨터 프로그램 물건은 명령들이 저장(및/또는 인코딩)된 컴퓨터 판독가능 매체를 포함할 수 있고, 명령들은, 본 명세서에 설명된 동작들을 수행하도록 하나 이상의 프로세서들에 의해 실행될 수 있다. 특정한 양상들에 대해, 컴퓨터 프로그램 물건은 패키징 재료를 포함할 수 있다.
[66] 소프트웨어 또는 명령들이 또한 전송 매체를 통해 전송될 수 있다. 예를 들어, 소프트웨어가 웹사이트, 서버, 또는 다른 원격 소스로부터 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 라인(DSL), 또는 적외선, 라디오, 및 마이크로웨이브와 같은 무선 기술들을 이용하여 전송되는 경우, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 라디오, 및 마이크로웨이브와 같은 무선 기술들이 전송 매체의 정의에 포함된다.
[67] 추가로, 본 명세서에 설명된 방법들 및 기술들을 수행하기 위한 모듈들 및/또는 다른 적절한 수단들은 적용가능한 경우 사용자 단말 및/또는 기지국에 의해 획득 및/또는 그렇지 않으면 다운로딩될 수 있음을 인식해야 한다. 예를 들어, 이러한 디바이스는 본 명세서에 설명된 방법들을 수행하기 위한 수단의 전송을 용이하게 하기 위해 서버에 커플링될 수 있다. 대안적으로, 본 명세서에 설명된 다양한 방법들은 저장 수단들(예를 들어, RAM, ROM, 컴팩트 디스크(CD) 또는 플로피 디스크와 같은 물리적 저장 매체 등)을 통해 제공될 수 있어서, 사용자 단말 및/또는 기지국은 저장 수단들을 디바이스에 커플링 또는 제공할 때 다양한 방법들을 획득할 수 있다. 또한, 본 명세서에 설명된 방법들 및 기술들을 디바이스에 제공하기 위한 임의의 다른 적절한 기술이 활용될 수 있다.
[68] 청구항들은 전술한 것과 정확히 같은 구성 및 컴포넌트들에 한정되지 않음을 이해해야 한다. 청구항들의 범위를 벗어나지 않으면서 전술한 방법들 및 장치의 배열, 동작 및 세부사항들에서 다양한 변형들, 변경들 및 변화들이 행해질 수 있다.
[69] 상기 내용은 본 개시의 양상들에 관한 것이지만, 본 개시의 기본적 범위를 벗어나지 않으면서 본 개시의 다른 양상들 및 추가적 양상들이 고안될 수 있고, 이들의 범위는 후속하는 청구항들에 의해 결정된다.

Claims (38)

  1. 중재(intermediary) 디바이스를 통과하지 않고서 소스 디바이스로부터 무선으로 수신된 디스플레이 콘텐츠를 디스플레이하는 방법으로서,
    상기 소스 디바이스로부터 직접적으로 제 1 비디오 압축 포맷을 사용하여 인코딩된 이미지 프레임 중 제 1 중첩 부분에 대한 제 1 세트의 디스플레이 데이터 패킷들을 무선으로 수신하는 단계,
    상기 소스 디바이스로부터 직접적으로 제 2 비디오 압축 포맷을 사용하여 인코딩된 이미지 프레임 중 제 2 중첩 부분에 대한 적어도 제 2 세트의 디스플레이 데이터 패킷들을 무선으로 수신하는 단계,
    상기 소스 디바이스로부터 직접적으로 중첩 블렌딩(blending) 정보를 무선으로 수신하는 단계,
    상기 제 1 세트의 디스플레이 데이터 패킷들로부터 상기 이미지 프레임 중 적어도 제 1 중첩 부분 및 상기 제 2 세트의 디스플레이 데이터 패킷들로부터 상기 이미지 프레임 중 제 2 중첩 부분을 추출하는 단계, 및
    상기 소스 디바이스로부터 수신된 상기 중첩 블렌딩 정보에 적어도 부분적으로 기초하여, 디스플레이를 위해 적어도 상기 제 1 중첩 부분 및 상기 제 2 중첩 부분을 블렌딩하는 단계를 포함하는,
    중재 디바이스를 통과하지 않고서 소스 디바이스로부터 무선으로 수신된 디스플레이 콘텐츠를 디스플레이하는 방법.
  2. 제 1 항에 있어서,
    상기 추출하는 단계는 단일 데이터 수송 스트림으로부터 적어도 상기 제 1 세트의 데이터 패킷들 및 상기 제 2 세트의 데이터 패킷들을 구별하는 단계를 포함하는,
    중재 디바이스를 통과하지 않고서 소스 디바이스로부터 무선으로 수신된 디스플레이 콘텐츠를 디스플레이하는 방법.
  3. 제 2 항에 있어서,
    상기 중첩 블렌딩 정보는 상기 단일 데이터 수송 스트림으로 통합되는,
    중재 디바이스를 통과하지 않고서 소스 디바이스로부터 무선으로 수신된 디스플레이 콘텐츠를 디스플레이하는 방법.
  4. 제 2 항에 있어서,
    상기 단일 데이터 수송 스트림은 MPEG2 수송 스트림이고,
    상기 블렌딩 정보는 상기 MPEG2 수송 스트림의 하나 이상의 PES 헤더 필드들로 제공되는,
    중재 디바이스를 통과하지 않고서 소스 디바이스로부터 무선으로 수신된 디스플레이 콘텐츠를 디스플레이하는 방법.
  5. 제 1 항에 있어서,
    상기 추출하는 단계는 적어도 상기 제 1 세트의 디스플레이 데이터 패킷들 및 상기 제 2 세트의 디스플레이 데이터 패킷들을 디코딩하는 단계를 포함하는,
    중재 디바이스를 통과하지 않고서 소스 디바이스로부터 무선으로 수신된 디스플레이 콘텐츠를 디스플레이하는 방법.
  6. 제 5 항에 있어서,
    상기 제 1 세트의 데이터 패킷들을 디코딩하는데 사용되는 디코딩 알고리즘 및 상기 제 2 세트의 데이터 패킷들을 디코딩하는데 사용되는 디코딩 알고리즘 중 적어도 하나는 무손실(lossless) 디코딩 알고리즘인,
    중재 디바이스를 통과하지 않고서 소스 디바이스로부터 무선으로 수신된 디스플레이 콘텐츠를 디스플레이하는 방법.
  7. 제 1 항에 있어서,
    프리젠테이션 시작 시간을 포함하는 재생 요청 및 정지 요청을 상기 소스 디바이스로 전송하는 단계를 포함하는,
    중재 디바이스를 통과하지 않고서 소스 디바이스로부터 무선으로 수신된 디스플레이 콘텐츠를 디스플레이하는 방법.
  8. 제 1 항에 있어서,
    디코더 능력 정보를 상기 소스 디바이스로 무선으로 전송하는 단계를 포함하는,
    중재 디바이스를 통과하지 않고서 소스 디바이스로부터 무선으로 수신된 디스플레이 콘텐츠를 디스플레이하는 방법.
  9. 제 8 항에 있어서,
    상기 디코더 능력 정보가 사전-인코딩된 포맷을 디코딩하는 능력을 표시할 때, 상기 소스 디바이스의 미디어 플레이어 프로그램에 의해 생성된 사전-인코딩된 포맷으로 디스플레이 데이터를 무선으로 수신하도록 전환하는 단계를 포함하는,
    중재 디바이스를 통과하지 않고서 소스 디바이스로부터 무선으로 수신된 디스플레이 콘텐츠를 디스플레이하는 방법.
  10. 중재 디바이스를 통해 디스플레이 콘텐츠를 전달하지 않고서 상기 디스플레이 콘텐츠를 싱크 디바이스로 무선으로 전송하는 방법으로서,
    제 1 비디오 압축 포맷을 사용하여 이미지 프레임 중 제 1 중첩 부분에 대한 제 1 세트의 디스플레이 데이터 패킷들을 인코딩하는 단계,
    제 2 비디오 압축 포맷을 사용하여 이미지 프레임 중 제 2 중첩 부분에 대한 적어도 제 2 세트의 디스플레이 데이터 패킷들을 인코딩하는 단계,
    적어도 상기 제 1 중첩 부분 및 상기 제 2 중첩 부분과 연관된 중첩 블렌딩 정보를 생성하는 단계, 및
    적어도 상기 제 1 세트의 디스플레이 데이터 패킷들, 상기 제 2 세트의 디스플레이 데이터 패킷들 및 상기 중첩 블렌딩 정보를 직접적으로 상기 싱크 디바이스로 무선으로 전송하는 단계를 포함하는,
    중재 디바이스를 통해 디스플레이 콘텐츠를 전달하지 않고서 상기 디스플레이 콘텐츠를 싱크 디바이스로 무선으로 전송하는 방법.
  11. 제 10 항에 있어서,
    적어도 상기 제 1 세트의 디스플레이 데이터 패킷들, 상기 제 2 세트의 디스플레이 데이터 패킷들 및 상기 중첩 블렌딩 정보는 단일 데이터 수송 스트림을 사용하여 상기 싱크 디바이스로 전송되는,
    중재 디바이스를 통해 디스플레이 콘텐츠를 전달하지 않고서 상기 디스플레이 콘텐츠를 싱크 디바이스로 무선으로 전송하는 방법.
  12. 제 11 항에 있어서,
    상기 단일 데이터 수송 스트림은 MPEG2 수송 스트림이고,
    상기 블렌딩 정보는 상기 MPEG2 수송 스트림의 하나 이상의 PES 헤더 필드들로 전송되는,
    중재 디바이스를 통해 디스플레이 콘텐츠를 전달하지 않고서 상기 디스플레이 콘텐츠를 싱크 디바이스로 무선으로 전송하는 방법.
  13. 제 10 항에 있어서,
    상기 제 1 세트의 디스플레이 데이터 패킷들을 인코딩하는데 사용되는 인코딩 알고리즘 및 상기 제 2 세트의 디스플레이 데이터 패킷들을 인코딩하는데 사용되는 인코딩 알고리즘 중 적어도 하나는 무손실 인코딩 알고리즘인,
    중재 디바이스를 통해 디스플레이 콘텐츠를 전달하지 않고서 상기 디스플레이 콘텐츠를 싱크 디바이스로 무선으로 전송하는 방법.
  14. 제 10 항에 있어서,
    상기 제 1 중첩 부분 및 상기 제 2 중첩 부분은 상기 소스 디바이스 상에서 실행되는 상이한 프로그램들에 의해 생성되는,
    중재 디바이스를 통해 디스플레이 콘텐츠를 전달하지 않고서 상기 디스플레이 콘텐츠를 싱크 디바이스로 무선으로 전송하는 방법.
  15. 제 14 항에 있어서,
    상기 상이한 프로그램들은 애플리케이션 프로그램 및 운영 시스템 중 적어도 하나를 포함하는,
    중재 디바이스를 통해 디스플레이 콘텐츠를 전달하지 않고서 상기 디스플레이 콘텐츠를 싱크 디바이스로 무선으로 전송하는 방법.
  16. 제 14 항에 있어서,
    상기 상이한 프로그램들 중 적어도 하나는 미디어 플레이어인,
    중재 디바이스를 통해 디스플레이 콘텐츠를 전달하지 않고서 상기 디스플레이 콘텐츠를 싱크 디바이스로 무선으로 전송하는 방법.
  17. 제 10 항에 있어서,
    적어도 상기 제 1 세트의 디스플레이 데이터 패킷들, 상기 제 2 세트의 디스플레이 데이터 패킷들, 및 상기 중첩 블렌딩 정보를 상기 싱크 디바이스로 무선으로 전송하기 위한 TCP 포트 또는 UDP 포트의 표시를 수신하는 단계를 포함하는,
    중재 디바이스를 통해 디스플레이 콘텐츠를 전달하지 않고서 상기 디스플레이 콘텐츠를 싱크 디바이스로 무선으로 전송하는 방법.
  18. 제 10 항에 있어서,
    상기 싱크 디바이스로부터 프리젠테이션 시작 시간을 포함하는 재생 요청 및 정지 요청을 수신하는 단계, 및 후속으로, 요청된 프리젠테이션 시작 시간으로부터 상기 미디어 콘텐츠를 재생하는 단계를 포함하는,
    중재 디바이스를 통해 디스플레이 콘텐츠를 전달하지 않고서 상기 디스플레이 콘텐츠를 싱크 디바이스로 무선으로 전송하는 방법.
  19. 제 10 항에 있어서,
    질의를 상기 싱크 디바이스로 전송하는 단계, 및
    상기 싱크 디바이스의 적어도 제 1 디코더 및 제 2 디코더의 디코딩 능력에 관한 정보를 포함하는 응답을 수신하는 단계를 포함하는,
    중재 디바이스를 통해 디스플레이 콘텐츠를 전달하지 않고서 상기 디스플레이 콘텐츠를 싱크 디바이스로 무선으로 전송하는 방법.
  20. 제 19 항에 있어서,
    상기 정보가 사전-인코딩된 포맷을 디코딩하는, 적어도 상기 제 1 디코더 및 상기 제 2 디코더 중 적어도 하나의 능력을 표시할 때, 미디어 플레이어 프로그램으로부터 수신된 사전-인코딩된 포맷으로 디스플레이 데이터를 상기 싱크 디바이스로 무선으로 전송하도록 전환하는 단계를 포함하는,
    중재 디바이스를 통해 디스플레이 콘텐츠를 전달하지 않고서 상기 디스플레이 콘텐츠를 싱크 디바이스로 무선으로 전송하는 방법.
  21. 디스플레이 데이터 싱크 디바이스로서,
    디스플레이,
    복수의 비디오 디코더들,
    프로세싱 회로를 포함하고, 상기 프로세싱 회로는,
    소스 디바이스로부터 직접적으로 제 1 비디오 압축 포맷을 사용하여 인코딩된 이미지 프레임 중 제 1 중첩 부분에 대한 제 1 세트의 디스플레이 데이터 패킷들을 무선으로 수신하고,
    상기 소스 디바이스로부터 직접적으로 제 2 비디오 압축 포맷을 사용하여 인코딩된 이미지 프레임 중 제 2 중첩 부분에 대한 적어도 제 2 세트의 디스플레이 데이터 패킷들을 무선으로 수신하고,
    상기 소스 디바이스로부터 중첩 블렌딩 정보를 무선으로 수신하고,
    상기 제 1 세트의 디스플레이 데이터 패킷들로부터 상기 이미지 프레임 중 적어도 제 1 중첩 부분 및 상기 제 2 세트의 디스플레이 데이터 패킷들로부터 상기 이미지 프레임 중 제 2 중첩 부분을 추출하고,
    상기 소스 디바이스로부터 수신된 상기 중첩 블렌딩 정보에 적어도 부분적으로 기초하여, 디스플레이를 위해 적어도 상기 제 1 중첩 부분 및 상기 제 2 중첩 부분을 블렌딩하고, 그리고
    상기 이미지 프레임을 상기 디스플레이 상에 제공하도록 구성되는,
    디스플레이 데이터 싱크 디바이스.
  22. 제 21 항에 있어서,
    상기 프로세싱 회로는 단일 데이터 수송 스트림으로부터 적어도 상기 제 1 세트의 데이터 패킷들 및 상기 제 2 세트의 데이터 패킷들을 구별하도록 구성되는,
    디스플레이 데이터 싱크 디바이스.
  23. 제 21 항에 있어서,
    상기 프로세싱 회로는 상기 단일 데이터 수송 스트림으로부터 상기 중첩 블렌딩 정보를 추출하도록 구성되는,
    디스플레이 데이터 싱크 디바이스.
  24. 제 23 항에 있어서,
    상기 단일 데이터 수송 스트림은 MPEG2 수송 스트림이고,
    상기 프로세싱 회로는 상기 MPEG2 수송 스트림의 하나 이상의 PES 헤더 필드들로부터 상기 중첩 블렌딩 정보를 추출하도록 구성되는,
    디스플레이 데이터 싱크 디바이스.
  25. 제 21 항에 있어서,
    상기 프로세싱 회로는 상기 제 2 세트의 디스플레이 데이터 패킷들을 디코딩하는데 사용된 상기 복수의 비디오 디코더들 중 상이한 것을 사용하여 상기 제 1 세트의 디스플레이 데이터 패킷들을 디코딩하도록 구성되는,
    디스플레이 데이터 싱크 디바이스.
  26. 제 21 항에 있어서,
    상기 복수의 비디오 디코더들 중 적어도 하나는 무손실 디코딩 알고리즘을 사용하는,
    디스플레이 데이터 싱크 디바이스.
  27. 제 21 항에 있어서,
    상기 프로세싱 회로는 정지 명령 및 프리젠테이션 시간을 상기 소스 디바이스로 전송하도록 구성되는,
    디스플레이 데이터 싱크 디바이스.
  28. 제 21 항에 있어서,
    상기 프로세싱 회로는 상기 복수의 비디오 디코더들의 디코딩 능력에 관한 정보를 상기 소스 디바이스로 무선으로 전송하도록 구성되는,
    디스플레이 데이터 싱크 디바이스.
  29. 제 28 항에 있어서,
    상기 프로세싱 회로는, 상기 디코더 능력 정보가 사전-인코딩된 포맷을 디코딩하는, 상기 복수의 비디오 디코더들 중 적어도 하나의 능력을 표시할 때, 사전-인코딩된 포맷으로 디스플레이 데이터를 무선으로 수신하기 위해 전환하도록 구성되는,
    디스플레이 데이터 싱크 디바이스.
  30. 디스플레이 데이터 소스 디바이스로서,
    복수의 비디오 인코더들,
    프로세싱 회로를 포함하고, 상기 프로세싱 회로는,
    제 1 비디오 압축 포맷을 사용하여 이미지 프레임 중 제 1 중첩 부분에 대한 제 1 세트의 디스플레이 데이터 패킷들을 인코딩하고,
    제 2 비디오 압축 포맷을 사용하여 이미지 프레임 중 제 2 중첩 부분에 대한 적어도 제 2 세트의 디스플레이 데이터 패킷들을 인코딩하고,
    적어도 상기 제 1 중첩 부분 및 상기 제 2 중첩 부분과 연관된 중첩 블렌딩 정보를 생성하고, 그리고
    적어도 상기 제 1 세트의 디스플레이 데이터 패킷들, 상기 제 2 세트의 디스플레이 데이터 패킷들 및 상기 중첩 블렌딩 정보를 직접적으로 싱크 디바이스로 무선으로 전송하도록 구성되는,
    디스플레이 데이터 소스 디바이스.
  31. 제 30 항에 있어서,
    상기 프로세싱 회로는 적어도 상기 제 1 세트의 디스플레이 데이터 패킷들, 상기 제 2 세트의 디스플레이 데이터 패킷들 및 상기 중첩 블렌딩 정보를 단일 데이터 수송 스트림으로 무선으로 전송하도록 구성되는,
    디스플레이 데이터 소스 디바이스.
  32. 제 31 항에 있어서,
    상기 단일 데이터 수송 스트림은 MPEG2 수송 스트림이고,
    상기 프로세싱 회로는 상기 블렌딩 정보를 상기 MPEG2 수송 스트림의 하나 이상의 PES 헤더 필드들로 전송하도록 구성되는,
    디스플레이 데이터 소스 디바이스.
  33. 제 30 항에 있어서,
    상기 복수의 비디오 인코더들 중 적어도 하나는 무손실 인코딩 알고리즘을 사용하는,
    디스플레이 데이터 소스 디바이스.
  34. 제 30 항에 있어서,
    상기 프로세싱 회로는 적어도 상기 제 1 세트의 디스플레이 데이터 패킷들, 상기 제 2 세트의 디스플레이 데이터 패킷들, 및 상기 중첩 블렌딩 정보를 상기 싱크 디바이스로 무선으로 전송하기 위한 TCP 포트 또는 UDP 포트의 표시를 수신하도록 구성되는,
    디스플레이 데이터 소스 디바이스.
  35. 제 30 항에 있어서,
    상기 프로세싱 회로는 상기 싱크 디바이스로부터 정지 요청 및 프리젠테이션 시작 시간을 수신하도록 구성되는,
    디스플레이 데이터 소스 디바이스.
  36. 제 30 항에 있어서,
    상기 프로세싱 회로는 질의를 상기 싱크 디바이스로 전송하고, 상기 싱크 디바이스의 복수의 디코더들의 디코딩 능력에 관한 정보를 포함하는 응답을 수신하도록 구성되는,
    디스플레이 데이터 소스 디바이스.
  37. 제 36 항에 있어서,
    상기 프로세싱 회로는, 상기 정보가 사전-인코딩된 포맷을 디코딩하는, 상기 복수의 디코더들 중 적어도 하나의 능력을 표시할 때, 사전-인코딩된 포맷으로 디스플레이 데이터를 상기 싱크 디바이스로 무선으로 전송하기 위해 전환하도록 구성되는,
    디스플레이 데이터 소스 디바이스.
  38. 중재 디바이스를 통해 디스플레이 데이터를 전달하지 않고서 상기 디스플레이 데이터를 소스 디바이스로부터 싱크 디바이스로 무선으로 전송하기 위한 시스템으로서,
    디스플레이 및 무선 전송 및 수신 회로를 갖는 소스 디바이스,
    디스플레이 및 무선 전송 및 수신 회로를 갖는 싱크 디바이스를 포함하고,
    상기 소스 디바이스 및 상기 싱크 디바이스는,
    디스플레이 데이터가 상기 소스 디바이스의 디스플레이 프레임 버퍼로부터 리트리브(retrieve)되고, 무선 전송을 위해 인코딩되고, 상기 싱크 디바이스로 무선으로 전송되고, 상기 싱크 디바이스 상에서 디코딩되고, 상기 싱크 디바이스의 디스플레이 상에 제공되는 제 1 모드, 및
    상기 소스 디바이스에서 이미지 프레임 중 적어도 제 1 중첩 부분이 제 1 비디오 압축 포맷을 사용하여 인코딩되고, 상기 이미지 프레임 중 제 2 중첩 부분이 제 2 비디오 압축 포맷을 사용하여 인코딩되고, 그리고
    적어도 상기 제 1 중첩 부분 및 상기 제 2 중첩 부분이 상기 싱크 디바이스로 무선으로 전송되고, 상기 싱크 디바이스 상에서 별개로 디코딩되고, 상기 소스 디바이스로부터 수신된 중첩 블렌딩 정보에 적어도 부분적으로 기초하여 상기 싱크 디바이스 상에서 블렌딩되고, 상기 싱크 디바이스의 디스플레이 상에 제공되는 제 2 모드를 허용하기 위해 디스플레이 전송 및 수신 파라미터들을 협상하도록 구성되는,
    중재 디바이스를 통해 디스플레이 데이터를 전달하지 않고서 상기 디스플레이 데이터를 소스 디바이스로부터 싱크 디바이스로 무선으로 전송하기 위한 시스템.
KR1020157034408A 2013-05-08 2014-04-16 무선 통신 시스템의 비디오 스트리밍 KR101810496B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361821108P 2013-05-08 2013-05-08
US61/821,108 2013-05-08
US14/144,032 2013-12-30
US14/144,032 US9716737B2 (en) 2013-05-08 2013-12-30 Video streaming in a wireless communication system
PCT/US2014/034299 WO2014182411A1 (en) 2013-05-08 2014-04-16 Video streaming in a wireless communication system

Publications (2)

Publication Number Publication Date
KR20160006190A true KR20160006190A (ko) 2016-01-18
KR101810496B1 KR101810496B1 (ko) 2018-01-25

Family

ID=51864727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157034408A KR101810496B1 (ko) 2013-05-08 2014-04-16 무선 통신 시스템의 비디오 스트리밍

Country Status (7)

Country Link
US (1) US9716737B2 (ko)
EP (1) EP2995087A1 (ko)
JP (1) JP2016521518A (ko)
KR (1) KR101810496B1 (ko)
CN (1) CN105191326B (ko)
TW (1) TWI565310B (ko)
WO (1) WO2014182411A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017217563A1 (ko) * 2016-06-13 2017-12-21 엘지전자 주식회사 디스플레이 장치 및 그를 포함하는 디스플레이 시스템

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8819734B2 (en) 2003-09-16 2014-08-26 Tvworks, Llc Contextual navigational control for digital television
US7818667B2 (en) 2005-05-03 2010-10-19 Tv Works Llc Verification of semantic constraints in multimedia data and in its announcement, signaling and interchange
US11832024B2 (en) 2008-11-20 2023-11-28 Comcast Cable Communications, Llc Method and apparatus for delivering video and video-related content at sub-asset level
US9088757B2 (en) * 2009-03-25 2015-07-21 Eloy Technology, Llc Method and system for socially ranking programs
US9277230B2 (en) * 2011-11-23 2016-03-01 Qualcomm Incorporated Display mode-based video encoding in wireless display devices
US10880609B2 (en) 2013-03-14 2020-12-29 Comcast Cable Communications, Llc Content event messaging
US9253490B2 (en) * 2013-05-31 2016-02-02 Qualcomm Technologies International, Ltd. Optimizing video transfer
CN103338139B (zh) * 2013-06-18 2017-03-08 华为技术有限公司 多屏互动方法、装置及终端设备
JP2015019196A (ja) * 2013-07-10 2015-01-29 船井電機株式会社 サーバ装置、クライアント機器及びコンテンツ再生プログラム
JP6319970B2 (ja) * 2013-08-20 2018-05-09 キヤノン株式会社 画像通信装置およびその制御方法
US10110393B2 (en) * 2013-09-30 2018-10-23 Cavium, Inc. Protocol switching over multi-network interface
TWI511118B (zh) * 2013-12-04 2015-12-01 Wistron Corp 顯示器及其多畫面顯示方法
US9412332B2 (en) * 2013-12-20 2016-08-09 Blackberry Limited Method for wirelessly transmitting content from a source device to a sink device
AU2014379859B2 (en) * 2014-01-23 2017-10-12 Sony Corporation Decoding device, decoding method, encoding device, and encoding method
WO2015130149A1 (ko) 2014-02-28 2015-09-03 삼성전자주식회사 무선 통신 시스템에서 어플리케이션 데이터를 디스플레이하기 위한 방법 및 장치
US10560514B2 (en) * 2014-03-29 2020-02-11 Samsung Electronics Co., Ltd. Apparatus and method for transmitting and receiving information related to multimedia data in a hybrid network and structure thereof
KR102249147B1 (ko) * 2014-03-29 2021-05-07 삼성전자주식회사 복합 네트워크에서 멀티미디어 데이터 관련 정보를 송수신하기 위한 장치 및 방법과 그 구조
US11783382B2 (en) 2014-10-22 2023-10-10 Comcast Cable Communications, Llc Systems and methods for curating content metadata
US20160119673A1 (en) * 2014-10-28 2016-04-28 Aaron William Rees System and Method for Transmitting, Receiving, and Displaying High Resolution Images
US20160134929A1 (en) * 2014-11-07 2016-05-12 Qualcomm Incorporated Collaborative Distributed/Unstructured Service Management Framework for Wireless-Display Platform
US10034047B2 (en) 2014-12-11 2018-07-24 Lg Electronics Inc. Method and apparatus for outputting supplementary content from WFD
US20160188279A1 (en) * 2014-12-27 2016-06-30 Intel Corporation Mode-switch protocol and mechanism for hybrid wireless display system with screencasting and native graphics throwing
CN105991516B (zh) * 2015-01-28 2019-06-25 中国移动通信集团公司 无线同屏系统中的反向传输音频的方法及装置
EP3269125B1 (en) 2015-03-13 2022-06-22 Samsung Electronics Co., Ltd. Method for maintaining a persistent miracast session over wireless link
JP6457630B2 (ja) * 2015-04-13 2019-01-23 オリンパス株式会社 映像通信システム、映像送信端末、映像受信端末、通信方法、およびプログラム
US20170025089A1 (en) * 2015-07-22 2017-01-26 Qualcomm Incorporated Devices and methods for facilitating transmission of video streams in remote display applications
JP2017028587A (ja) * 2015-07-24 2017-02-02 ソニー株式会社 情報処理装置及び情報処理方法
CA3005476C (en) 2015-11-20 2024-03-05 Genetec Inc. Secure layered encryption of data streams
US10915647B2 (en) 2015-11-20 2021-02-09 Genetec Inc. Media streaming
US20180367836A1 (en) * 2015-12-09 2018-12-20 Smartron India Private Limited A system and method for controlling miracast content with hand gestures and audio commands
US10264208B2 (en) 2015-12-11 2019-04-16 Qualcomm Incorporated Layered display content for wireless display
US11134114B2 (en) * 2016-03-15 2021-09-28 Intel Corporation User input based adaptive streaming
ITUA20163095A1 (it) * 2016-05-03 2017-11-03 Inst Rundfunktechnik Gmbh Dispositivo trasmittente per la trasmissione wireless di un flusso dati compatibile con MPEG-TS (Transport Stream)
KR20180039341A (ko) * 2016-10-10 2018-04-18 삼성전자주식회사 외부 장치와 통신 방법 및 이를 지원하는 전자 장치
CN106385622A (zh) * 2016-10-10 2017-02-08 腾讯科技（北京）有限公司 媒体文件的播放方法及装置
US20180130443A1 (en) * 2016-11-04 2018-05-10 Nausheen Ansari Techniques for managing transmission and display of a display data stream
US10440086B2 (en) * 2016-11-28 2019-10-08 Microsoft Technology Licensing, Llc Reading multiplexed device streams
US10602557B2 (en) 2016-11-30 2020-03-24 Microsoft Technology Licensing, Llc Discovering and protecting data streams in multi-path communication environments
US10455632B2 (en) 2016-11-30 2019-10-22 Microsoft Technology Licensing, Llc Dynamic identification of network connection preferences
JP6873762B2 (ja) 2017-03-15 2021-05-19 キヤノン株式会社 通信装置、通信システム、通信方法、および、プログラム
US11509726B2 (en) * 2017-10-20 2022-11-22 Apple Inc. Encapsulating and synchronizing state interactions between devices
CN108200470A (zh) * 2017-12-20 2018-06-22 中国联合网络通信集团有限公司 一种视频码率调整方法及设备
US11423161B1 (en) 2018-05-26 2022-08-23 Genetec Inc. System and media recording device with secured encryption
CN109587712B (zh) * 2018-11-23 2021-12-14 南京极域信息科技有限公司 一种WiFi-Display性能优化系统
TWI699103B (zh) * 2019-04-22 2020-07-11 圓展科技股份有限公司 無線攝影機與影像串流方法
CN110267075A (zh) * 2019-05-14 2019-09-20 珠海海奇半导体有限公司 一种集成投屏功能的老人唱戏机
CN110392047A (zh) * 2019-07-02 2019-10-29 华为技术有限公司 数据传输方法、装置及设备
CN110740363B (zh) * 2019-10-25 2022-11-18 华为终端有限公司 投屏方法和系统、电子设备
KR20210073305A (ko) * 2019-12-10 2021-06-18 삼성전자주식회사 전자장치 및 그 제어방법
US20210329053A1 (en) * 2020-04-21 2021-10-21 Sling TV L.L.C. Multimodal transfer between audio and video streams
CN115426338A (zh) * 2021-05-31 2022-12-02 华为技术有限公司 一种媒体文件传输方法及装置
TWI825928B (zh) * 2022-08-18 2023-12-11 瑞昱半導體股份有限公司 訊號補償裝置以及用來動態地補償訊號的方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0884331A (ja) * 1994-09-13 1996-03-26 Canon Inc 画像通信装置およびその画像通信方法
AU701684B2 (en) 1994-12-14 1999-02-04 Koninklijke Philips Electronics N.V. Subtitling transmission system
JP2001211164A (ja) * 2000-01-27 2001-08-03 Victor Co Of Japan Ltd 画像符号化方式
US8854546B2 (en) * 2005-06-22 2014-10-07 Koninklijke Philips N.V. Method and apparatus for displaying data content
US8018472B2 (en) * 2006-06-08 2011-09-13 Qualcomm Incorporated Blending multiple display layers
WO2008088752A2 (en) 2007-01-12 2008-07-24 Ictv, Inc. System and method for encoding scrolling raster images
US20090019492A1 (en) 2007-07-11 2009-01-15 United Video Properties, Inc. Systems and methods for mirroring and transcoding media content
US20090086095A1 (en) * 2007-09-28 2009-04-02 Gateway Inc. Method and apparatus for overlaying encoded streams
JP2010252215A (ja) * 2009-04-20 2010-11-04 Sony Ericsson Mobile Communications Ab 携帯端末、映像表示装置、および映像処理システム
US20110096699A1 (en) 2009-10-27 2011-04-28 Sakhamuri Srinivasa Media pipeline for a conferencing session
US9582238B2 (en) * 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
KR20110072970A (ko) 2009-12-23 2011-06-29 엘지전자 주식회사 영상표시장치 및 그 동작 방법
US9325929B2 (en) * 2010-04-29 2016-04-26 Ati Technologies Ulc Power management in multi-stream audio/video devices
WO2012007876A1 (en) 2010-07-12 2012-01-19 Koninklijke Philips Electronics N.V. Auxiliary data in 3d video broadcast
KR20120015931A (ko) * 2010-08-13 2012-02-22 삼성전자주식회사 휴대용 전자 장치 및 그것의 디스플레이 미러링 방법
US20120178380A1 (en) 2011-01-07 2012-07-12 Microsoft Corporation Wireless Communication Techniques
WO2012100197A1 (en) * 2011-01-21 2012-07-26 Qualcomm Incorporated User input back channel for wireless displays
US9503771B2 (en) * 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US9578336B2 (en) * 2011-08-31 2017-02-21 Texas Instruments Incorporated Hybrid video and graphics system with automatic content detection process, and other circuits, processes, and systems
US20130148740A1 (en) 2011-12-09 2013-06-13 Qualcomm Incorporated Method and apparatus for processing partial video frame data
US20130148947A1 (en) * 2011-12-13 2013-06-13 Ati Technologies Ulc Video player with multiple grpahics processors
US10368108B2 (en) * 2011-12-21 2019-07-30 Ati Technologies Ulc Downstream video composition
KR101918040B1 (ko) * 2012-02-20 2019-01-29 삼성전자주식회사 스크린 미러링 방법 및 그 장치
JP2014027378A (ja) * 2012-07-25 2014-02-06 Hitachi Consumer Electronics Co Ltd 映像情報出力装置、映像情報出力方法、及び、システム
US8752113B1 (en) * 2013-03-15 2014-06-10 Wowza Media Systems, LLC Insertion of graphic overlays into a stream

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017217563A1 (ko) * 2016-06-13 2017-12-21 엘지전자 주식회사 디스플레이 장치 및 그를 포함하는 디스플레이 시스템

Also Published As

Publication number Publication date
TW201445984A (zh) 2014-12-01
US20140334381A1 (en) 2014-11-13
TWI565310B (zh) 2017-01-01
US9716737B2 (en) 2017-07-25
KR101810496B1 (ko) 2018-01-25
JP2016521518A (ja) 2016-07-21
EP2995087A1 (en) 2016-03-16
CN105191326B (zh) 2019-05-10
WO2014182411A1 (en) 2014-11-13
CN105191326A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
KR101810496B1 (ko) 무선 통신 시스템의 비디오 스트리밍
US10045065B2 (en) Synchronization and control of overlay contents for video streaming in a wireless communication system
US10250664B2 (en) Placeshifting live encoded video faster than real time
US9014277B2 (en) Adaptation of encoding and transmission parameters in pictures that follow scene changes
US20120185570A1 (en) Method and Apparatus for Indicating Switching Points in a Streaming Session
JP6337114B2 (ja) ワイヤレスディスプレイのためのソースデバイスにおけるリソース利用のための方法および装置
EP2732633A1 (en) Wireless 3d streaming server
US9674499B2 (en) Compatible three-dimensional video communications
MX2015003591A (es) Dispositivo y metodo para procesamiento de imagen.
US20180255342A1 (en) Method for decoding a video bitstream and decoder for decoding a video bitstream
US20130291011A1 (en) Transcoding server and method for overlaying image with additional information therein
JP6193569B2 (ja) 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム
EP2312859A2 (en) Method and system for communicating 3D video via a wireless communication link
US9118803B2 (en) Video conferencing system
CN115396621A (zh) 一种基于rk628d的网络推流控制方法、装置、设备及存储介质
KR101678388B1 (ko) 레이턴시를 고려한 영상 처리 방법, 이를 수행하는 장치 및 클라우드 스트리밍 서비스 시스템
WO2016107174A1 (zh) 多媒体文件数据的处理方法及系统、播放器和客户端
WO2019018407A1 (en) TRANSMITTING SUBTITLE DATA FOR WIRELESS DISPLAY
Loonstra Videostreaming with Gstreamer

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant