KR101640854B1 - 무선 디스플레이들을 위한 사용자 입력 백 채널 - Google Patents

무선 디스플레이들을 위한 사용자 입력 백 채널 Download PDF

Info

Publication number
KR101640854B1
KR101640854B1 KR1020137021931A KR20137021931A KR101640854B1 KR 101640854 B1 KR101640854 B1 KR 101640854B1 KR 1020137021931 A KR1020137021931 A KR 1020137021931A KR 20137021931 A KR20137021931 A KR 20137021931A KR 101640854 B1 KR101640854 B1 KR 101640854B1
Authority
KR
South Korea
Prior art keywords
data
user input
wireless
source device
sink device
Prior art date
Application number
KR1020137021931A
Other languages
English (en)
Other versions
KR20130126972A (ko
Inventor
시아오롱 후앙
비자야라크쉬미 알. 라빈드란
시아오동 왕
파와드 샤우카트
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130126972A publication Critical patent/KR20130126972A/ko
Application granted granted Critical
Publication of KR101640854B1 publication Critical patent/KR101640854B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Information Transfer Systems (AREA)
  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

통신 세션의 일부로서, 무선 소스 디바이스는 오디오 및 비디오 데이터를 무선 싱크 디바이스에 송신할 수 있고, 무선 싱크 디바이스는 무선 싱크 디바이스에서 수신된 사용자 입력 데이터를 무선 소스 디바이스에 다시 송신할 수 있다. 이 방식으로, 무선 싱크 디바이스의 사용자는 무선 소스 디바이스를 제어할 수 있고, 무선 소스 디바이스로부터 무선 싱크 디바이스로 송신되고 있는 컨텐츠를 제어할 수 있다.

Description

무선 디스플레이들을 위한 사용자 입력 백 채널{USER INPUT BACK CHANNEL FOR WIRELESS DISPLAYS}
본 출원은,
2011년 1월 21일자로 출원된 미국 가출원 제 61/435,194호;
2011년 2월 28일자로 출원된 미국 가출원 제 61/447,592호;
2011년 3월 2일자로 출원된 미국 가출원 제 61/448,312호;
2011년 3월 7일자로 출원된 미국 가출원 제 61/450,101호;
2011년 3월 25일자로 출원된 미국 가출원 제 61/467,535호;
2011년 3월 25일자로 출원된 미국 가출원 제 61/467,543호;
2011년 8월 3일자로 출원된 미국 가출원 제 61/514,863호;
2011년 10월 7일자로 출원된 미국 가출원 제 61/544,475호;
를 우선권으로 주장하며, 상기 가출원 전체 컨텐츠들 각각은 그 전체가 인용에 의해 본원에 포함된다.
본 개시는 무선 소스 디바이스와 무선 싱크 디바이스 사이에서 데이터를 송신하기 위한 기술들에 관한 것이다.
무선 디스플레이(WD) 또는 Wi-Fi 디스플레이(WFD) 시스템들은 무선 소스 디바이스 및 하나 또는 그 초과의 무선 싱크 디바이스들을 포함한다. 소스 디바이스 및 각각의 싱크 디바이스들은 모바일 디바이스들 또는 무선 통신 능력들을 갖는 유선 디바이스들일 수 있다. 소스 디바이스 및 싱크 디바이스들 중 하나 또는 그 초과는, 예를 들어, 소위 "스마트" 폰들 및 "스마트" 패드들 또는 태블릿들, e-리더들 또는 임의의 타입의 무선 디스플레이, 비디오 게이밍 디바이스들 또는 다른 타입들의 무선 통신 디바이스들을 포함하여, 모바일 전화들, 무선 통신 카드들을 갖는 휴대용 컴퓨터들, 개인 휴대 정보 단말들(PDA들), 휴대용 미디어 플레이어들 또는 무선 통신 능력들을 갖는 다른 이러한 디바이스들을 포함할 수 있다. 소스 디바이스 및 싱크 디바이스들 중 하나 또는 그 초과는 또한, 통신 능력들을 포함하는, 텔레비젼들, 데스크탑 컴퓨터들, 모니터들, 프로젝터들 등과 같은 유선 디바이스들을 포함할 수 있다.
소스 디바이스는, 특정한 미디어 공유 세션에 참가하는 싱크 디바이스들 중 하나 또는 그 초과에, 오디오 비디오(AV) 데이터와 같은 미디어 데이터를 전송한다. 미디어 데이터는 소스 디바이스의 로컬 디스플레이 및 싱크 디바이스들의 각각의 디스플레이들 모두에서 재생될 수 있다. 더 구체적으로, 참가하는 싱크 디바이스들 각각은 수신된 미디어 데이터를 자신의 스크린 및 오디오 장비 상에 렌더링한다.
본 개시는 일반적으로, 무선 싱크 디바이스가 무선 싱크 디바이스와 통신할 수 있는 시스템을 설명한다. 통신 세션의 일부로서, 무선 소스 디바이스는 오디오 및 비디오 데이터를 무선 싱크 디바이스에 송신할 수 있고, 무선 싱크 디바이스는 무선 싱크 디바이스에서 수신된 사용자 입력들을 무선 소스 디바이스에 다시 송신할 수 있다. 이러한 방식으로, 무선 싱크 디바이스의 사용자는 무선 소스 디바이스를 제어할 수 있고, 무선 소스 디바이스로부터 무선 싱크 디바이스에 송신되고 있는 컨텐츠를 제어할 수 있다.
일례에서, 무선 싱크 디바이스로부터 무선 소스에 사용자 입력 데이터를 송신하는 방법은, 무선 싱크 디바이스에서 사용자 입력 데이터를 획득하는 단계; 사용자 입력 데이터를 설명하는 페이로드 데이터를 생성하는 단계; 데이터 패킷 헤더 및 페이로드 데이터를 포함하는 데이터 패킷을 생성하는 단계; 및 데이터 패킷을 무선 소스 디바이스에 송신하는 단계를 포함한다.
다른 예에서, 무선 싱크 디바이스는 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성된다. 무선 싱크 디바이스는, 명령들을 저장하는 메모리; 명령들을 실행하도록 구성되는 하나 또는 그 초과의 프로세서들을 포함하고, 명령들의 실행시에 하나 또는 그 초과의 프로세서들은, 무선 싱크 디바이스에서 사용자 입력 데이터를 획득하는 것, 사용자 입력 데이터를 설명하는 페이로드 데이터를 생성하는 것, 및 데이터 패킷 헤더 및 페이로드 데이터를 포함하는 데이터 패킷을 생성하는 것을 초래한다. 무선 싱크 디바이스는 또한, 데이터 패킷을 무선 소스 디바이스에 송신하기 위한 전송 유닛을 포함한다.
다른 예에서, 컴퓨터 판독가능 저장 매체는, 하나 또는 그 초과의 프로세서들에 의한 실행시에, 하나 또는 그 초과의 프로세서들로 하여금, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법을 수행하게 하는 명령들을 저장한다. 방법은, 무선 싱크 디바이스에서 사용자 입력 데이터를 획득하는 단계; 사용자 입력 데이터를 설명하는 페이로드 데이터를 생성하는 단계; 데이터 패킷 헤더 및 페이로드 데이터를 포함하는 데이터 패킷을 생성하는 단계; 및 데이터 패킷을 무선 소스 디바이스에 송신하는 단계를 포함한다.
다른 예에서, 무선 싱크 디바이스는 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성된다. 무선 싱크 디바이스는, 무선 싱크 디바이스에서 사용자 입력 데이터를 획득하기 위한 수단; 사용자 입력 데이터를 설명하는 페이로드 데이터를 생성하기 위한 수단; 데이터 패킷 헤더 및 페이로드 데이터를 포함하는 데이터 패킷을 생성하기 위한 수단; 및 데이터 패킷을 무선 소스 디바이스에 송신하기 위한 수단을 포함한다.
다른 예에서, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법은, 무선 싱크 디바이스로부터 데이터 패킷을 수신하는 단계 ―데이터 패킷은 데이터 패킷 헤더 및 페이로드 데이터를 포함하고, 페이로드 데이터는 사용자 입력의 세부사항들을 설명하는 데이터를 포함함―; 페이로드 데이터의 입력 타입 필드 내의 입력 타입 값을 결정하기 위해 데이터 패킷을 파싱하는 단계; 및 입력 타입 값에 기초하여 사용자 입력의 세부사항들을 설명하는 데이터를 프로세싱하는 단계를 포함한다.
다른 예에서, 무선 소스 디바이스는 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성된다. 무선 소스 디바이스는, 무선 싱크 디바이스로부터 데이터 패킷을 수신하기 위한 전송 유닛 ―데이터 패킷은 데이터 패킷 헤더 및 페이로드 데이터를 포함하고, 페이로드 데이터는 사용자 입력의 세부사항들을 설명하는 데이터를 포함함―; 명령들을 저장하는 메모리; 명령들을 실행하도록 구성되는 하나 또는 그 초과의 프로세서들을 포함하고, 명령들의 실행시에, 하나 또는 그 초과의 프로세서들은, 페이로드 데이터의 입력 타입 필드 내의 입력 타입 값을 결정하기 위해 데이터 패킷을 파싱하는 것, 및 입력 타입 값에 기초하여 사용자 입력의 세부사항들을 설명하는 데이터를 프로세싱하는 것을 초래한다.
다른 예에서, 컴퓨터 판독가능 저장 매체는, 하나 또는 그 초과의 프로세서들에 의한 실행시에, 하나 또는 그 초과의 프로세서들로 하여금, 무선 싱크 디바이스로부터의 사용자 입력 데이터를 무선 소스 디바이스에서 수신하는 방법을 수행하게 하는 명령들을 저장한다. 방법은, 무선 싱크 디바이스로부터 데이터 패킷을 수신하는 단계 ―데이터 패킷은 데이터 패킷 헤더 및 페이로드 데이터를 포함하고, 페이로드 데이터는 사용자 입력의 세부사항들을 설명하는 데이터를 포함함―; 페이로드 데이터의 입력 타입 필드 내의 입력 타입 값을 결정하기 위해 데이터 패킷을 파싱하는 단계; 및 입력 타입 값에 기초하여 사용자 입력의 세부사항들을 설명하는 데이터를 프로세싱하는 단계를 포함한다.
다른 예에서, 무선 소스 디바이스는 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성된다. 무선 소스 디바이스는, 무선 싱크 디바이스로부터 데이터 패킷을 수신하기 위한 수단 ―데이터 패킷은 데이터 패킷 헤더 및 페이로드 데이터를 포함하고, 페이로드 데이터는 사용자 입력의 세부사항들을 설명하는 데이터를 포함함―; 페이로드 데이터의 입력 타입 필드 내의 입력 타입 값을 결정하기 위해 데이터 패킷을 파싱하기 위한 수단; 및 입력 타입 값에 기초하여 사용자 입력의 세부사항들을 설명하는 데이터를 프로세싱하기 위한 수단을 포함한다.
도 1a는 본 개시의 기술들을 구현할 수 있는 소스/싱크 시스템의 예를 도시하는 블록도이다.
도 1b는 2개의 싱크 디바이스들을 갖는 소스/싱크 시스템의 예를 도시하는 블록도이다.
도 2는 본 개시의 기술들을 구현할 수 있는 소스 디바이스의 예를 도시한다.
도 3은 본 개시의 기술들을 구현할 수 있는 싱크 디바이스의 예를 도시한다.
도 4는 본 개시의 기술들을 구현할 수 있는 송신기 시스템 및 수신기 시스템의 블록도를 도시한다.
도 5a 및 도 5b는 본 개시의 기술들에 따라 능력 협상들을 수행하기 위한 예시적인 메시지 전송 시퀀스들을 도시한다.
도 6은 싱크 디바이스에서 획득된 사용자 입력 데이터를 소스 디바이스에 전달하기 위해 이용될 수 있는 예시적인 데이터 패킷을 도시한다.
도 7a 및 도 7b는 소스 디바이스와 싱크 디바이스 사이의 능력 협상을 위해 이용될 수 있는, 본 개시의 기술들을 예시하는 흐름도들이다.
도 8a 및 도 8b는 사용자 입력 데이터를 갖는 데이터 패킷들을 송신 및 수신하기 위해 이용될 수 있는, 본 개시의 기술들을 예시하는 흐름도들이다.
도 9a 및 도 9b는 사용자 입력 데이터를 갖는 데이터 패킷들을 송신 및 수신하기 위해 이용될 수 있는, 본 개시의 기술들을 예시하는 흐름도들이다.
도 10a 및 도 10b는 타임스탬프 정보 및 사용자 입력 데이터를 갖는 데이터 패킷들을 송신 및 수신하기 위해 이용될 수 있는, 본 개시의 기술들을 예시하는 흐름도들이다.
도 11a 및 도 11b는 타임스탬프 정보 및 사용자 입력 데이터를 갖는 데이터 패킷들을 송신 및 수신하기 위해 이용될 수 있는, 본 개시의 기술들을 예시하는 흐름도들이다.
도 12a 및 도 12b는 음성 커맨드들을 포함하는 데이터 패킷들을 송신 및 수신하기 위해 이용될 수 있는, 본 개시의 기술들을 예시하는 흐름도들이다.
도 13a 및 도 13b는 멀티-터치 사용자 입력 커맨드들을 갖는 데이터 패킷들을 송신 및 수신하기 위해 이용될 수 있는, 본 개시의 기술들을 예시하는 흐름도들이다.
도 14a 및 도 14b는 제 3의(third party) 디바이스로부터 포워딩된 사용자 입력 데이터를 갖는 데이터 패킷들을 송신 및 수신하기 위해 이용될 수 있는, 본 개시의 기술들을 예시하는 흐름도들이다.
도 15a 및 도 15b는 데이터 패킷들을 송신 및 수신하기 위해 이용될 수 있는, 본 개시의 기술들을 예시하는 흐름도들이다.
본 개시는 일반적으로, 무선 싱크 디바이스가 무선 싱크 디바이스와 통신할 수 있는 시스템을 설명한다. 통신 세션의 일부로서, 무선 소스 디바이스는 오디오 및 비디오 데이터를 무선 싱크 디바이스에 송신할 수 있고, 무선 싱크 디바이스는 무선 싱크 디바이스에서 수신된 사용자 입력들을 무선 소스 디바이스에 다시 송신할 수 있다. 이러한 방식으로, 무선 싱크 디바이스의 사용자는 무선 소스 디바이스를 제어할 수 있고, 무선 소스 디바이스로부터 무선 싱크 디바이스에 송신되고 있는 컨텐츠를 제어할 수 있다.
도 1a는 본 개시의 기술들 중 하나 또는 그 초과를 구현할 수 있는 예시적인 소스/싱크 시스템(100)을 도시하는 블록도이다. 도 1a에 도시된 바와 같이, 시스템(100)은, 통신 채널(150)을 통해 싱크 디바이스(160)와 통신하는 소스 디바이스(120)를 포함한다. 소스 디바이스(120)는, 오디오/비디오(A/V) 데이터(121)를 저장하는 메모리, 디스플레이(122), 스피커(123), 오디오/비디오 인코더(124)(또한 인코더(124)로 지칭됨), 오디오/비디오 제어 모듈(125), 및 송신기/수신기(TX/RX) 유닛(126)을 포함할 수 있다. 싱크 디바이스(160)는 디스플레이(162), 스피커(163), 오디오/비디오 디코더(164)(또한 디코더(164)로 지칭됨), 송신기/수신기 유닛(166), 사용자 입력(UI) 디바이스(167) 및 사용자 입력 프로세싱 모듈(UIPM)(168)을 포함할 수 있다. 도시된 컴포넌트들은 소스/싱크 시스템(100)에 대한 단지 하나의 예시적인 구성을 구성한다. 다른 구성들은 도시된 컴포넌트들보다 더 적은 컴포넌트들을 포함할 수 있거나 또는 도시된 컴포넌트들 이외의 추가적인 컴포넌트들을 포함할 수 있다.
도 1a의 예에서, 소스 디바이스(120)는 오디오/비디오 데이터(121)의 비디오 부분을 디스플레이(122) 상에 디스플레이할 수 있고, 오디오/비디오 데이터(121)의 오디오 부분을 스피커(123) 상에 출력할 수 있다. 오디오/비디오 데이터(121)는 소스 디바이스(120) 상에 로컬로 저장될 수 있거나, 파일 서버, 하드 드라이브, 외부 메모리, 블루-레이 디스크, DVD, 또는 다른 물리적 저장 매체와 같은 외부 저장 매체로부터 액세스될 수 있거나, 또는 인터넷과 같은 네트워크 접속을 통해 소스 디바이스(120)에 스트리밍될 수 있다. 몇몇 예들에서, 오디오/비디오 데이터(121)는 소스 디바이스(120)의 카메라 및 마이크로폰을 통해 실시간으로 캡쳐될 수 있다. 오디오/비디오 데이터(121)는 영화들, 텔레비젼 쇼들, 또는 음악과 같은 멀티미디어 컨텐츠를 포함할 수 있지만, 또한 소스 디바이스(120)에 의해 생성되는 실시간 컨텐츠를 포함할 수 있다. 예를 들어, 이러한 실시간 컨텐츠는 예를 들어, 비디오 텔레포니 세션의 일부로서 캡쳐되는 비디오 데이터 또는 소스 디바이스(120) 상에서 실행되는 애플리케이션들에 의해 생성될 수 있다. 더 상세히 설명될 바와 같이, 몇몇 예들에서 이러한 실시간 컨텐츠는, 사용자가 선택하도록 이용가능한 사용자 입력 옵션들의 비디오 프레임을 포함할 수 있다. 몇몇 예들에서, 오디오/비디오 데이터(121)는, 비디오의 프레임 상에 오버레이된 사용자 입력 옵션들을 갖는 TV 프로그램 또는 영화의 비디오 프레임과 같은, 상이한 타입들의 컨텐츠의 조합인 비디오 프레임들을 포함할 수 있다.
오디오/비디오 데이터(121)를 디스플레이(122) 및 스피커(123)를 통해 로컬로 렌더링하는 것에 부가하여, 소스 디바이스(120)의 오디오/비디오 인코더(124)는 오디오/비디오 데이터(121)를 인코딩할 수 있고, 송신기/수신기 유닛(126)은 인코딩된 데이터를 통신 채널(150)을 통해 싱크 디바이스(160)에 송신할 수 있다. 싱크 디바이스(160)의 송신기/수신기 유닛(166)은 인코딩된 데이터를 수신하고, 오디오/비디오 디코더(164)는 인코딩된 데이터를 디코딩하고 디코딩된 데이터를 디스플레이(162) 및 스피커(163)를 통해 출력한다. 이러한 방식으로, 디스플레이(122) 및 스피커(123)에 의해 렌더링되고 있는 오디오 및 비디오 데이터는 디스플레이(162) 및 스피커(163)에 의해 동시에 렌더링될 수 있다. 오디오 데이터 및 비디오 데이터는 프레임들로 배열될 수 있고, 오디오 프레임들은 렌더링될 때 비디오 프레임들과 시간-동기화될 수 있다.
오디오/비디오 인코더(124) 및 오디오/비디오 디코더(164)는, ITU-T H.264 표준(대안적으로 MPEG-4, Part 10, 어드밴스드 비디오 코딩(AVC)으로 지칭됨) 또는 새로 등장한 고효율 비디오 코딩(HEVC) 표준(때때로 H.265 표준으로 지칭됨)과 같은 임의의 수의 오디오 및 비디오 압축 표준들을 구현할 수 있다. 많은 다른 타입들의 사유(proprietary) 또는 표준화된 압축 기술들이 또한 이용될 수 있다. 일반적으로 말해서, 오디오/비디오 디코더(164)는 오디오/비디오 인코더(124)의 역(reciprocal) 코딩 동작들을 수행하도록 구성된다. 도 1a에는 도시되지 않았지만, 몇몇 양상들에서, A/V 인코더(124) 및 A/V 디코더(164)는 각각 오디오 인코더 및 디코더와 통합될 수 있고, 적절한 MUX-DEMUX 유닛들 또는 다른 하드웨어 및 소프트웨어를 포함하여, 공통의 데이터 스트림 또는 별개의 데이터 스트림들에서 오디오 및 비디오 모두의 인코딩을 핸들링할 수 있다.
아래에서 더 상세히 설명될 바와 같이, A/V 인코더(124)는 또한 앞서 설명된 바와 같은 비디오 압축 표준을 구현하는 것에 부가하여, 다른 인코딩 기능들을 수행할 수 있다. 예를 들어, A/V 인코더(124)는, A/V 데이터(121)가 싱크 디바이스(160)에 송신되기 전에, 다양한 타입들의 메타데이터를 A/V 데이터(121)에 추가할 수 있다. 몇몇 예들에서, A/V 데이터(121)는 인코딩된 형태로 소스 디바이스(120)에서 저장 또는 수신될 수 있고, 따라서 A/V 인코더(124)에 의한 추가적인 압축을 요구하지 않을 수 있다.
도 1a는 오디오 페이로드 데이터 및 비디오 페이로드 데이터를 별도로 반송하는 통신 채널(150)을 도시하지만, 몇몇 예들에서, 비디오 페이로드 데이터 및 오디오 페이로드 데이터는 공통의 데이터 스트림의 일부일 수 있음을 이해해야 한다. 적용가능한 경우, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜(UDP)과 같은 다른 프로토콜들을 따를 수 있다. 오디오/비디오 인코더(124) 및 오디오/비디오 디코더(164) 각각은 하나 또는 그 초과의 마이크로프로세서들, 디지털 신호 프로세서들(DSP들), 주문형 집적 회로들(ASIC들), 필드 프로그래머블 게이트 어레이들(FPGA들), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들로서 구현될 수 있다. 오디오/비디오 인코더(124) 및 오디오/비디오 디코더(164) 각각은, 하나 또는 그 초과의 인코더들 또는 디코더들에 포함될 수 있고, 이들 중 하나는 결합된 인코더/디코더(CODEC)의 일부로서 통합될 수 있다. 따라서, 소스 디바이스(120) 및 싱크 디바이스(160) 각각은 본 개시의 기술들 중 하나 또는 그 초과를 실행하도록 구성되는 특수화된 머신들을 포함할 수 있다.
디스플레이(122) 및 디스플레이(162)는, 음극선관(CRT), 액정 디스플레이(LCD), 플라즈마 디스플레이, 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 비디오 출력 디바이스들 중 임의의 비디오 출력 디바이스를 포함할 수 있다. 이러한 예 또는 다른 예들에서, 디스플레이들(122 및 162)은 각각 발광형 디스플레이들 또는 투과형 디스플레이들일 수 있다. 디스플레이(122) 및 디스플레이(162)는 또한 터치 디스플레이들일 수 있어서, 이들은 동시에 입력 디바이스들 및 출력 디바이스들 모두이다. 이러한 터치 디스플레이들은, 사용자가 각각의 디바이스에 사용자 입력을 제공하도록 허용하는, 용량성, 저항성 또는 다른 타입의 터치 패널일 수 있다.
스피커(123)는, 헤드폰들, 단일 스피커 시스템, 멀티-스피커 시스템 또는 서라운드 음향 시스템과 같은 다양한 오디오 출력 디바이스들 중 임의의 오디오 출력 디바이스를 포함할 수 있다. 추가적으로, 디스플레이(122) 및 스피커(123)는 소스 디바이스(120)의 일부로서 도시되고, 디스플레이(162) 및 스피커(163)는 싱크 디바이스(160)의 일부로서 도시되지만, 소스 디바이스(120) 및 싱크 디바이스(160)는 실제로는 디바이스들의 일 시스템일 수 있다. 일례로서, 디스플레이(162)는 텔레비젼일 수 있고, 스피커(163)는 서라운드 음향 시스템일 수 있고, 디코더(164)는 디스플레이(162) 및 스피커(163)에 유선 또는 무선으로 접속되는 외부 박스의 일부일 수 있다. 다른 예들에서, 싱크 디바이스(160)는 태블릿 컴퓨터 또는 스마트폰과 같은 단일 디바이스일 수 있다. 또 다른 경우들에서, 소스 디바이스(120) 및 싱크 디바이스(160)는 유사한 디바이스들인데, 예를 들어, 둘 모두는 스마트폰들, 태블릿 컴퓨터들 등이다. 이 경우, 일 디바이스는 소스로서 동작할 수 있고, 나머지 디바이스는 싱크로서 동작할 수 있다. 이러한 역할들은 후속 통신 세션들에서는 심지어 반전될 수 있다. 또 다른 경우들에서, 소스 디바이스는 모바일 디바이스, 이를테면, 스마트폰, 랩탑 또는 태블릿 컴퓨터를 포함할 수 있고, 싱크 디바이스는 (예를 들어, AC 전력 코드를 갖는) 더 정적인 디바이스를 포함할 수 있고, 이 경우, 소스 디바이스는 싱크 디바이스를 통해 많은 청중에게 프리젠테이션을 위해 오디오 및 비디오 데이터를 전달할 수 있다.
송신기/수신기 유닛(126) 및 송신기/수신기 유닛(166) 각각은 데이터를 송신 및 수신하기 위해 설계된 하나 또는 그 초과의 안테나들 및 다른 컴포넌트들 뿐만 아니라, 신호 변조를 위해 설계된 다양한 믹서들, 필터들, 증폭기들 및 다른 컴포넌트들을 포함할 수 있다. 통신 채널(150)은 일반적으로, 비디오 데이터를 소스 디바이스(120)로부터 싱크 디바이스(160)에 송신하기 위한, 임의의 적절한 통신 매체, 또는 상이한 통신 매체들의 집합을 표현한다. 통신 채널(150)은 통상적으로 Wi-Fi, 블루투스 등과 같은 비교적 단거리 통신 채널이다. 그러나, 통신 채널(150)은 반드시 이러한 양상(respect)에 제한되지는 않고, 라디오 주파수(RF) 스펙트럼 또는 하나 또는 그 초과의 물리적 송신 라인들과 같은 임의의 무선 또는 유선 통신 매체 또는 무선 및 유선 매체들의 임의의 조합을 포함할 수 있다. 다른 예들에서, 통신 채널(150)은 심지어, 유선 또는 무선 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷-기반 네트워크의 일부를 형성할 수 있다. 추가적으로, 통신 채널(150)은 피어-투-피어 링크를 생성하기 위해 소스 디바이스(120) 및 싱크 디바이스(160)에 의해 이용될 수 있다. 소스 디바이스(120) 및 싱크 디바이스(160)는 IEEE 802.11 표준군으로부터의 표준과 같은 통신 프로토콜을 이용하여 통신 채널(150)을 통해 통신할 수 있다. 소스 디바이스(120) 및 싱크 디바이스(160)가 예를 들어, 무선 액세스 포인트들 또는 소위 핫스팟과 같은 매개체를 이용하지 않고 서로 직접 통신하도록, 소스 디바이스(120) 및 싱크 디바이스(160)는 예를 들어, Wi-Fi Direct 표준에 따라 통신할 수 있다. 소스 디바이스(120) 및 싱크 디바이스(160)는 또한 네트워크 혼잡을 회피 또는 감소시키기 위해 터널링된 직접 링크 셋업(TLDS)을 설정할 수 있다. 본 개시의 기술들은 때로는 Wi-Fi에 대해 설명될 수 있지만, 이러한 기술들의 양상들은 또한 다른 통신 프로토콜들과 호환가능할 수 있음이 고려된다. 제한이 아닌 예시로서, 소스 디바이스(120)와 싱크 디바이스 사이의 무선 통신은 직교 주파수 분할 멀티플렉싱(OFDM) 기술들을 활용할 수 있다. 시분할 다중 액세스(TDMA), 주파수 분할 다중 액세스(FDMA), 코드 분할 다중 액세스(CDMA), 또는 OFDM, FDMA, TDMA 및/또는 CDMA의 임의의 조합을 포함하는(그러나 이에 한정되는 것은 아님) 매우 다양한 다른 무선 통신 기술들이 또한 이용될 수 있다. WiFi Direct 및 TDLS는 비교적 단거리 통신 세션들을 셋업하도록 의도된다. 잡음이 있거나 방해되는 환경에서 디바이스들 사이의 거리는 35 미터 미만과 같이 더욱 짧아질 수 있지만, 이 문맥에서 비교적 단거리는 예를 들어, 70 미터 미만을 지칭할 수 있다.
소스 디바이스(120)로부터 수신된 데이터를 디코딩 및 렌더링하는 것에 부가하여, 싱크 디바이스(160)는 또한 사용자 입력 디바이스(167)로부터 사용자 입력들을 수신할 수 있다. 사용자 입력 디바이스(167)는 예를 들어, 키보드, 마우스, 트랙볼 또는 트랙 패드, 터치 스크린, 음성 커맨드 인식 모듈 또는 임의의 다른 이러한 사용자 입력 디바이스일 수 있다. UIPM(168)은 사용자 입력 디바이스(167)에 의해 수신된 사용자 입력 커맨드들을, 소스 디바이스(120)가 해석할 수 있는 데이터 패킷 구조로 포맷한다. 이러한 데이터 패킷들은 송신기/수신기(166)에 의해 통신 채널(150)을 통해 소스 디바이스(120)로 송신된다. 송신기/수신기 유닛(126)은 데이터 패킷들을 수신하고, A/V 제어 모듈(125)은 데이터 패킷들을 파싱하여, 사용자 입력 디바이스(167)에 의해 수신된 사용자 입력 커맨드를 해석한다. 데이터 패킷에서 수신된 커맨드에 기초하여, A/V 제어 모듈(125)은 인코딩 및 송신되고 있는 컨텐츠를 변경할 수 있다. 이러한 방식으로, 싱크 디바이스(160)의 사용자는 소스 디바이스(120)에 의해 송신되고 있는 오디오 페이로드 데이터 및 비디오 페이로드 데이터를 원격으로 그리고 소스 디바이스(120)와 직접 상호작용하지 않고 제어할 수 있다. 싱크 디바이스(160)의 사용자가 소스 디바이스(120)에 송신할 수 있는 커맨드들의 타입들의 예들은, 오디오 및 비디오 데이터의 되감기, 빨리감기, 일시정지 및 재생을 위한 커맨드들 뿐만 아니라 주밍(zooming), 회전, 스크롤링(scrolling) 등을 위한 커맨드들을 포함한다. 사용자들은 또한, 예를 들어 옵션들의 메뉴로부터 선택할 수 있고, 이 선택을 소스 디바이스(120)에 다시 송신할 수 있다.
추가적으로, 싱크 디바이스(160)의 사용자들은 소스 디바이스(120) 상에 애플리케이션들을 론칭하고 제어할 수 있다. 예를 들어, 싱크 디바이스(160)의 사용자는 소스 디바이스(120) 상에 저장된 사진 편집 애플리케이션을 론칭할 수 있고, 이 애플리케이션을 이용하여, 소스 디바이스(120) 상에 로컬로 저장된 사진을 편집할 수 있다. 싱크 디바이스(160)는, 사진이 실제로는 소스 디바이스(120) 상에서 편집되고 있지만, 사진이 싱크 디바이스(160) 상에서 로컬로 편집되고 있는 것처럼 보이고 느껴지는 사용자 경험을 사용자에게 제공할 수 있다. 이러한 구성을 이용하면, 디바이스 사용자는 몇몇 디바이스들에 이용하기 위한 하나의 디바이스의 능력들을 레버리지(leverage)할 수 있다. 예를 들어, 소스 디바이스(120)는 대량의 메모리 및 고급 프로세싱 능력들을 갖는 스마트폰일 수 있다. 소스 디바이스(120)의 사용자는, 스마트폰들이 통상적으로 이용되는 모든 세팅들 및 상황들에서 스마트폰을 이용할 수 있다. 그러나, 영화를 시청할 때, 사용자는 더 큰 디스플레이 스크린을 갖는 디바이스 상에서 영화를 시청하기를 원할 수 있고, 이 경우, 싱크 디바이스(160)는 태블릿 컴퓨터 또는 심지어 더 큰 디스플레이 디바이스 또는 텔레비젼일 수 있다. 이메일을 전송하거나 이메일에 답신하기를 원하는 경우, 사용자는 키보드를 갖는 디바이스를 이용하기를 원할 수 있고, 이 경우 싱크 디바이스(160)는 랩탑일 수 있다. 두 예들 모두에서, 사용자가 싱크 디바이스와 상호작용하고 있을지라도 프로세싱의 대부분은 여전히 소스 디바이스(120)(이 예에서는 스마트폰)에 의해 수행될 수 있다. 이러한 특정한 동작 상황에서, 프로세싱의 대부분이 소스 디바이스(120)에 의해 수행되고 있는 것에 기인하여, 싱크 디바이스(160)가 소스 디바이스(120)에 의해 수행되고 있는 프로세싱을 수행하도록 요청받는 경우보다, 싱크 디바이스(160)는 더 적은 자원들을 갖는 더 저렴한 디바이스일 수 있다. 몇몇 예들에서 소스 디바이스 및 싱크 디바이스 둘 모두가 사용자 입력(예를 들어, 터치 스크린 커맨드들)을 수신할 수 있고, 본 개시의 기술들은 임의의 주어진 세션에서 디바이스들의 능력들을 협상하고 그리고 또는 식별함으로써 양방향 상호작용을 용이하게 할 수 있다.
몇몇 구성에서, A/V 제어 모듈(125)은 소스 디바이스(125)의 운영 시스템에 의해 실행되고 있는 운영 시스템 프로세스일 수 있다. 그러나, 다른 구성들에서, A/V 제어 모듈(125)은 소스 디바이스(120) 상에서 실행되는 애플리케이션의 소프트웨어 프로세스일 수 있다. 이러한 구성에서는, 소스 디바이스(120) 상에서 실행되는 운영 시스템과는 반대로, 싱크 디바이스(160)의 사용자가 소스 디바이스(120) 상에서 실행되는 애플리케이션과 직접 상호작용하도록, 사용자 입력 커맨드는 소프트웨어 프로세스에 의해 해석될 수 있다. 운영 시스템과는 반대로 애플리케이션과 직접 상호작용함으로써, 싱크 디바이스(160)의 사용자는, 소스 디바이스(120)의 운영 시스템에 고유하지 않은(not native) 커맨드들의 라이브러리에 대한 액세스를 가질 수 있다. 추가적으로, 애플리케이션과 직접 상호작용하는 것은, 상이한 플랫폼들 상에서 실행되는 디바이스들에 의해 커맨드들이 더 쉽게 송신 및 프로세싱되게 할 수 있다.
소스 디바이스(120)는 무선 싱크 디바이스(160)에서 인가되는 사용자 입력들에 응답할 수 있다. 이러한 상호작용 애플리케이션 세팅에서, 무선 싱크 디바이스(160)에서 인가된 사용자 입력들은 통신 채널(150)을 통해 무선 디스플레이 소스에 다시 전송될 수 있다. 일례에서, 싱크 디바이스(160)가 싱크 디바이스(160)에 인가된 사용자 입력들을 소스 디바이스(120)에 송신할 수 있게 하기 위해, 사용자 인터페이스 백 채널(UIBC; user interface back channel)로도 또한 지칭되는 역방향 채널 아키텍쳐가 구현될 수 있다. 역방향 채널 아키텍쳐는 사용자 입력들을 전송하기 위한 상위 계층 메시지들, 및 싱크 디바이스(160) 및 소스 디바이스(120)에서 사용자 인터페이스 능력들을 협상하기 위한 하위 계층 프레임들을 포함할 수 있다. UIBC는 싱크 디바이스(160)와 소스 디바이스(120) 사이에서 인터넷 프로토콜(IP) 전송 계층 상에 상주할 수 있다. 이 방식으로, UIBC는 오픈 시스템 상호접속(OSI) 통신 모델에서 전송 계층 위에 있을 수 있다. 일례에서, OSI 통신은 7개의 계층들(1 - 물리, 2 - 데이터 링크, 3 - 네트워크, 4 - 전송, 5 - 세션, 6 - 프리젠테이션, 및 7 - 애플리케이션)을 포함한다. 이 예에서, 전송 계층 위에 있는 것을 계층들 5, 6 및 7로 지칭한다. 사용자 입력 데이터를 포함한 데이터 패킷들의 순서대로의 전송 및 신뢰할 수 있는 송신을 증진시키기 위해, UIBC는 송신 제어 프로토콜/인터넷 프로토콜(TCP/IP) 또는 사용자 데이터그램 프로토콜(UDP)과 같은 다른 패킷-기반 통신 프로토콜들의 최상부에서 실행되도록 구성될 수 있다. UDP 및 TCP는 OSI 계층 아키텍쳐에서 병렬로 동작할 수 있다. TCP/IP는 싱크 디바이스(160) 및 소스 디바이스(120)가 패킷 손실 이벤트에서 재송신 기술들을 구현하게 할 수 있다.
몇몇 경우들에서, 소스 디바이스(120) 및 싱크 디바이스(160)에 위치된 사용자 입력 인터페이스들 사이에 미스매칭이 존재할 수 있다. 이러한 미스매칭에 의해 생성된 잠재적 문제들을 해결하고 이러한 환경들 하에서 양호한 사용자 경험을 증진시키기 위해, 통신 세션을 설정하기 전에 또는 통신 세션 전반에 걸친 다양한 시간들에서 사용자 입력 인터페이스 능력 협상이 소스 디바이스(120)와 싱크 디바이스(160) 사이에서 발생할 수 있다. 이러한 협상 프로세스의 일부로서, 소스 디바이스(120) 및 싱크 디바이스(160)는 협상된 스크린 해상도에 동의할 수 있다. 싱크 디바이스(160)가 사용자 입력과 연관된 좌표 데이터를 송신하는 경우, 싱크 디바이스(160)는 협상된 스크린 해상도에 매칭시키기 위해 디스플레이(162)로부터 획득된 좌표 데이터를 스케일링할 수 있다. 일례에서, 싱크 디바이스(160)가 1280x720의 해상도를 갖고, 소스 디바이스(120)가 1600x900의 해상도를 가지면, 디바이스들은, 예를 들어, 이들의 협상된 해상도로서 1280x720을 이용할 수 있다. 협상된 해상도는 싱크 디바이스(160)의 해상도에 기초하여 선택될 수 있지만, 소스 디바이스(120)의 해상도 또는 몇몇 다른 해상도가 또한 이용될 수 있다. 1280x720의 싱크 디바이스가 이용되는 예에서, 싱크 디바이스(160)는 좌표들을 소스 디바이스(120)에 송신하기 전에, 획득된 x-좌표들을 1600/1280의 팩터로 스케일링할 수 있고, 유사하게, 싱크 디바이스(160)는 좌표들을 소스 디바이스(120)에 송신하기 전에, 획득된 y-좌표들을 900/720으로 스케일링할 수 있다. 다른 구성들에서, 소스 디바이스(120)는 획득된 좌표들을 협상된 해상도로 스케일링할 수 있다. 싱크 디바이스(160)가 소스 디바이스(120)보다 더 높은 해상도의 디스플레이를 이용하는지 또는 그 반대인지에 기초하여, 스케일링은 좌표 범위를 증가 또는 감소시킬 수 있다.
추가적으로, 몇몇 예들에서, 싱크 디바이스(160)에서의 해상도는 통신 세션 동안 변할 수 있어서, 잠재적으로 디스플레이(122)와 디스플레이(162) 사이에 미스매칭을 생성할 수 있다. 사용자 경험을 개선하고 적절한 기능을 보장하기 위해, 소스/싱크 시스템(100)은 스크린 정규화를 위한 기술들을 구현함으로써 사용자 상호작용 미스매칭을 감소 또는 방지하기 위한 기술들을 구현할 수 있다. 소스 디바이스(120)의 디스플레이(122) 및 싱크 디바이스(160)의 디스플레이(162)는 상이한 해상도들 및/또는 상이한 종횡비(aspects ratio)들을 가질 수 있다. 추가적으로, 몇몇 세팅들에서, 소스 디바이스(120)로부터 수신된 비디오 데이터가 싱크 디바이스(160)의 디스플레이(162) 전부 미만을 커버하는 윈도우에 렌더링되도록, 싱크 디바이스(160)의 사용자는 소스 디바이스(120)로부터 수신된 비디오 데이터에 대한 디스플레이 윈도우를 리사이징(resize)하는 능력을 가질 수 있다. 다른 예시적인 세팅에서, 싱크 디바이스(160)의 사용자는 가로 모드(landscape mode) 또는 세로 모드(portrait mode)에서 컨텐츠를 시청하는 옵션을 가질 수 있고, 이들 각각은 고유한 좌표들 및 상이한 종횡비들을 갖는다. 이러한 상황들에서, 마우스 클릭 또는 터치 이벤트가 발생하는 좌표와 같은, 싱크 디바이스(160)에서 수신된 사용자 입력과 연관된 좌표들은, 좌표들에 대한 변경없이는 소스 디바이스(120)에 의해 프로세싱되지 못할 수 있다. 따라서, 본 개시의 기술들은 싱크 디바이스(160)에서 수신된 사용자 입력의 좌표들을 소스 디바이스(120)와 연관된 좌표들에 맵핑하는 것을 포함할 수 있다. 이러한 맵핑은 또한 본 명세서에서는 정규화로 지칭되고, 아래에서 더 상세히 설명될 바와 같이, 이러한 맵핑은 싱크-기반 또는 소스-기반일 수 있다.
싱크 디바이스(160)에 의해 수신된 사용자 입력들은, 예를 들어, 드라이버 레벨에서 UI 모듈(167)에 의해 수신될 수 있고, 싱크 디바이스(160)의 운영 시스템에 전달될 수 있다. 싱크 디바이스(160) 상의 운영 시스템은, 디스플레이 표면 상에서 사용자 입력이 발생하는 위치와 연관된 좌표들 (xSINK, ySINK)을 수신할 수 있다. 이 예에서, (xSINK, ySINK)은, 마우스 클릭 또는 터치 이벤트가 발생하는 디스플레이(162)의 좌표들일 수 있다. 디스플레이(162) 상에서 렌더링되는 디스플레이 윈도우는, 디스플레이 윈도우의 사이즈를 나타내는 x-좌표 길이(LDW) 및 y-좌표 폭(WDW)을 가질 수 있다. 디스플레이 윈도우는 또한, 디스플레이 윈도우의 위치를 나타내는 좌측 상부 코너 좌표 (aDW, bDW)를 가질 수 있다. LDW, WDW 및 좌측 상부 좌표 (aDW, bDW)에 기초하여, 디스플레이 윈도우에 의해 커버되는 디스플레이(162)의 부분이 결정될 수 있다. 예를 들어, 디스플레이 윈도우의 우측 상부 코너는 좌표 (aDW + LDW, bDW)에 위치될 수 있고, 디스플레이 윈도우의 좌측 하부 코너는 좌표 (aDW, bDW + WDW)에 위치될 수 있고, 디스플레이 윈도우의 우측 하부 코너는 좌표 (aDW + LDW, bDW + WDW)에 위치될 수 있다. 싱크 디바이스(160)는, 디스플레이 윈도우 내의 좌표에서 입력이 수신되면, 입력을 UIBC 입력으로서 프로세싱할 수 있다. 즉, 연관된 좌표들 (xSINK, ySINK)을 갖는 입력은, 하기 조건들
aDW ≤ xSINK ≤ aDW +LDW (1)
bDW ≤ ySINK ≤ bDW +WDW (2)
이 충족되면, UIBC 입력으로서 프로세싱될 수 있다.
사용자 입력이 UIBC 입력인 것으로 결정한 후, 입력과 연관된 좌표들은 소스 디바이스(120)에 송신되기 전에 UIPM(168)에 의해 정규화될 수 있다. 디스플레이 윈도우 외부에 있는 것으로 결정된 입력들은 싱크 디바이스(160)에 의해 넌-UIBC 입력들로서 로컬로 프로세싱될 수 있다.
앞서 언급된 바와 같이, 입력 좌표들의 정규화는 소스-기반이거나 싱크-기반일 수 있다. 싱크-기반 정규화를 구현하는 경우, 소스 디바이스(120)는, 비디오 데이터와 함께 또는 비디오 데이터와는 독립적으로, 디스플레이(122)에 대해 지원되는 디스플레이 해상도 (LSRC, WSRC)를 싱크 디바이스(160)에 전송할 수 있다. 지원되는 디스플레이 해상도는, 예를 들어, 능력 협상 세션의 일부로서 송신될 수 있거나, 통신 세션 동안 다른 시간에 송신될 수 있다. 싱크 디바이스(160)는, 디스플레이(162)에 대한 디스플레이 해상도 (LSINK, WSINK), 소스 디바이스(120)로부터 수신된 컨텐츠를 디스플레이하는 윈도우에 대한 디스플레이 윈도우 해상도 (LDW, WDW) 및 디스플레이 윈도우에 대한 좌측 상부 코너 좌표 (aDW, bDW)를 결정할 수 있다. 앞서 설명된 바와 같이, 사용자 입력에 대응하는 좌표 (xSINK, ySINK)가 디스플레이 윈도우 내인 것으로 결정되는 경우, 싱크 디바이스(160)의 운영 시스템은 변환 함수들을 이용하여 좌표 (xSINK, ySINK)를 소스 좌표들 (xSRC, ySRC)에 맵핑할 수 있다. (xSINK, ySINK)를 (xSRC, ySRC)로 변환하기 위한 예시적인 변환 함수들은 다음과 같을 수 있다.
xSRC = (xSINK - aDW) * (LSRC/LDW) (3)
ySRC = (ySINK - bDW) * (WSRC/WDW) (4)
따라서, 수신된 사용자 입력에 대응하는 좌표를 송신하는 경우, 싱크 디바이스(160)는 (xSINK, ySINK)에서 수신된 사용자 입력에 대해 좌표 (xSRC, ySRC)를 송신할 수 있다. 아래에서 더 상세히 설명될 바와 같이, 좌표 (xSRC, ySRC)는, 예를 들어, 싱크 디바이스(160)에서 수신된 사용자 입력을 UIBC를 통해 소스 디바이스(120)에 송신하기 위해 이용되는 데이터 패킷의 일부로서 송신될 수 있다. 본 개시의 다른 부분들 전반에 걸쳐, 입력 좌표들이 데이터 패킷에 포함되는 것으로 설명되는 경우, 이 좌표들은, 소스/싱크 시스템(100)이 싱크-기반 정규화를 구현하는 예들에서 앞서 설명된 바와 같이 소스 좌표들로 변환될 수 있다.
소스/싱크 시스템(100)이 소스-기반 정규화를 구현할 때, 로컬 입력들과는 반대로 UIBC 입력들인 것으로 (즉, 디스플레이 윈도우 외부에 있는 것과는 반대로 디스플레이 윈도우 내에 있는 것으로) 결정되는 사용자 입력들의 경우, 앞선 계산들은 싱크 디바이스(160) 대신에 소스 디바이스(120)에서 수행될 수 있다. 이러한 계산들을 용이하게 하기 위해, 싱크 디바이스(160)는 (xSINK, ySINK)에 대한 좌표들 뿐만 아니라 LDW, WDW에 대한 값들 및 디스플레이 윈도우에 대한 위치 정보(예를 들어, aDW, bDW)를 소스 디바이스(120)에 송신할 수 있다. 이러한 송신된 값들을 이용하면, 소스 디바이스(120)는 상기 수식 3 및 4에 따라 (xSRC, ySRC)에 대한 값들을 결정할 수 있다.
싱크-기반 정규화의 다른 구현들에서, 싱크 디바이스(160)는, 디스플레이(162) 상에서 사용자 입력 이벤트가 발생하는 위치와는 반대로, 디스플레이 윈도우 내에서 사용자 입력 이벤트가 발생하는 위치를 나타내는 사용자 입력에 대한 좌표들 (xDW, yDW)을 송신할 수 있다. 이러한 구현에서, 좌표들 (xDW, yDW)은 (LDW, WDW)에 대한 값들과 함께 소스 디바이스(120)에 송신될 수 있다. 이러한 수신된 값들에 기초하여, 소스 디바이스(120)는 다음의 변환 함수들에 따라 (xSRC, ySRC)를 결정할 수 있다.
xSRC = xDW * (LSRC/LDW) (5)
ySRC = yDW * (WSRC/WDW) (6)
싱크 디바이스(160)는 다음의 함수들에 기초하여 xDW 및 yDW를 결정할 수 있다.
xDW = xSINK - aDW (7)
yDW = ySINK - bDW (8)
본 개시가 사용자 입력과 연관된 좌표들을, 예를 들어, 데이터 패킷에서 송신하는 것을 설명하는 경우, 이러한 좌표들의 송신은 앞서 설명된 바와 같이 싱크-기반 또는 소스-기반 정규화를 포함할 수 있고 그리고/또는 싱크-기반 또는 소스-기반 정규화를 수행하기 위해 필요한 임의의 추가적인 정보를 포함할 수 있다.
UIBC는 크로스-플랫폼 사용자 입력 데이터를 포함하는 다양한 타입들의 사용자 입력 데이터를 전송하도록 설계될 수 있다. 예를 들어, 소스 디바이스(120)는 iOS® 운영 시스템을 실행할 수 있는 한편, 싱크 디바이스(160)는 Android® 또는 Windows®와 같은 다른 운영 시스템을 실행한다. 플랫폼과는 무관하게, UIPM(168)은 수신된 사용자 입력을 A/V 제어 모듈(125)에 이해될 수 있는 형태로 캡슐화할 수 있다. 소스 및 싱크 디바이스들이 상이한 플랫폼들 상에서 동작하는지와 무관하게 많은 상이한 타입들의 소스 및 싱크 디바이스들이 프로토콜을 활용하도록 허용하기 위해, 다수의 상이한 타입들의 사용자 입력 포맷들은 UIBC에 의해 지원될 수 있다. 일반적(generic) 입력 포맷들이 정의될 수 있고, 플랫폼 특정 입력 포맷들이 모두 지원될 수 있어서, 사용자 입력이 UIBC에 의해 소스 디바이스(120)와 싱크 디바이스(160) 사이에서 통신될 수 있는 방식으로 유동성을 제공한다.
도 1a의 예에서, 소스 디바이스(120)는 스마트폰, 태블릿 컴퓨터, 랩탑 컴퓨터, 데스크탑 컴퓨터, Wi-Fi 가능 텔레비젼, 또는 오디오 및 비디오 데이터를 송신할 수 있는 임의의 다른 디바이스를 포함할 수 있다. 싱크 디바이스(160)는 유사하게, 스마트폰, 태블릿 컴퓨터, 랩탑 컴퓨터, 데스크탑 컴퓨터, Wi-Fi 가능 텔레비젼, 또는 오디오 및 비디오 데이터를 수신할 수 있고 사용자 입력 데이터를 수신할 수 있는 임의의 다른 디바이스를 포함할 수 있다. 몇몇 예들에서, 싱크 디바이스(160)는, 별개지만 모두가 상호협력적 디바이스들의 부분들인, 디스플레이(162), 스피커(163), UI 디바이스(167) 및 A/V 인코더(164)와 같은 디바이스들의 시스템을 포함할 수 있다. 유사하게, 소스 디바이스(120)는 단일 디바이스보다는 디바이스들의 시스템일 수 있다.
본 개시에서, 소스 디바이스라는 용어는 일반적으로, 오디오/비디오 데이터를 송신하고 있는 디바이스를 지칭하도록 사용되고, 싱크 디바이스라는 용어는 일반적으로, 소스 디바이스로부터 오디오/비디오 데이터를 수신하고 있는 디바이스를 지칭하도록 사용된다. 많은 경우들에서, 소스 디바이스(120) 및 싱크 디바이스(160)는 유사하거나 동일한 디바이스들일 수 있고, 하나의 디바이스는 소스로서 동작하고 나머지 디바이스는 싱크로서 동작한다. 아울러, 이러한 역할들은 다른 통신 세션들에서는 반전될 수 있다. 따라서, 하나의 통신 세션에서의 싱크 디바이스는 후속 통신 세션에서 소스 디바이스가 될 수 있고, 그 반대일 수 있다.
도 1b는, 본 개시의 기술들을 구현할 수 있는 예시적인 소스/싱크 시스템(101)을 도시하는 블록도이다. 소스/싱크 시스템(101)은 소스 디바이스(120) 및 싱크 디바이스(160)를 포함하고, 이들 각각은 도 1a에 대해 앞서 설명된 방식으로 기능하고 동작할 수 있다. 소스/싱크 시스템(101)은 싱크 디바이스(180)를 더 포함한다. 앞서 설명된 싱크 디바이스(160)와 유사한 방식으로, 싱크 디바이스(180)는 소스 디바이스(120)로부터 오디오 및 비디오 데이터를 수신할 수 있고, 설정된 UIBC를 통해 사용자 커맨드들을 소스 디바이스(120)에 송신할 수 있다. 몇몇 구성들에서, 싱크 디바이스(160) 및 싱크 디바이스(180)는 서로 독립적으로 동작할 수 있고, 소스 디바이스(120)에서 출력된 오디오 및 비디오 데이터는 싱크 디바이스(160) 및 싱크 디바이스(180)에 동시에 출력될 수 있다. 대안적인 구성에서, 싱크 디바이스(160)는 1차 싱크 디바이스일 수 있고, 싱크 디바이스(180)는 2차 싱크 디바이스일 수 있다. 이러한 예시적 구성에서, 싱크 디바이스(160) 및 싱크 디바이스(180)는 커플링될 수 있고, 싱크 디바이스(160)는 비디오 데이터를 디스플레이할 수 있는 반면, 싱크 디바이스(180)는 대응하는 오디오 데이터를 출력한다. 추가적으로, 몇몇 구성들에서, 싱크 디바이스(160)는, 싱크 디바이스(180)가 송신된 오디오 데이터만을 출력하는 동안에만 송신된 비디오 데이터를 출력할 수 있다.
도 2는 소스 디바이스(220)의 일례를 도시하는 블록도이다. 소스 디바이스(220)는 도 1a의 소스 디바이스(120)와 유사한 디바이스일 수 있고, 소스 디바이스(120)와 동일한 방식으로 동작할 수 있다. 소스 디바이스(220)는 로컬 디스플레이(222), 로컬 스피커(223), 프로세서들(231), 메모리(232), 전송 유닛(233) 및 무선 모뎀(234)을 포함한다. 도 2에 도시된 바와 같이, 소스 디바이스(220)는, 전송, 저장 및 디스플레이를 위해 A/V 데이터를 인코딩 및/또는 디코딩하는 하나 또는 그 초과의 프로세서들(즉, 프로세서(231))을 포함할 수 있다. A/V 데이터는 예를 들어, 메모리(232)에 저장될 수 있다. 메모리(232)는 전체 A/V 파일을 저장할 수 있거나, 또는, 예를 들어, 다른 디바이스 또는 소스로부터 스트리밍되는 A/V 파일의 일부를 단순히 저장하는 더 작은 버퍼를 포함할 수 있다. 전송 유닛(233)은 네트워크 전송을 위해 인코딩된 A/V 데이터를 프로세싱할 수 있다. 예를 들어, 인코딩된 A/V 데이터는 프로세서(231)에 의해 프로세싱될 수 있고, 네트워크를 통한 통신을 위해 전송 유닛(233)에 의해 네트워크 액세스 계층(NAL) 유닛들로 캡슐화될 수 있다. NAL 유닛들은 무선 모뎀(234)에 의해 네트워크 접속을 통해 무선 싱크 디바이스에 전송될 수 있다. 무선 모뎀(234)은 예를 들어, IEEE 802.11 표준군 중 하나를 구현하도록 구성된 Wi-Fi 모뎀일 수 있다.
소스 디바이스(220)는 또한 A/V 데이터를 로컬로 프로세싱 및 디스플레이할 수 있다. 구체적으로, 디스플레이 프로세서(235)는 로컬 디스플레이(222) 상에 디스플레이될 비디오 데이터를 프로세싱할 수 있고, 오디오 프로세서(236)는 스피커(223) 상에서의 출력을 위해 오디오 데이터를 프로세싱할 수 있다.
도 1a의 소스 디바이스(120)를 참조하여 앞서 설명된 바와 같이, 소스 디바이스(220)는 또한 싱크 디바이스로부터 사용자 입력 커맨드들을 수신할 수 있다. 이 방식으로, 소스 디바이스(220)의 무선 모뎀(234)은 NAL 유닛들과 같은 캡슐화된 데이터 패킷들을 수신하고, 캡슐화된 데이터 유닛들을 캡슐화 해제를 위해 전송 유닛(233)에 전송한다. 예를 들어, 전송 유닛(233)은 NAL 유닛들로부터 데이터 패킷들을 추출할 수 있고, 프로세서(231)는 데이터 패킷들을 파싱하여 사용자 입력 커맨드들을 추출할 수 있다. 사용자 입력 커맨드들에 기초하여, 프로세서(231)는, 소스 디바이스(220)에 의해 싱크 디바이스에 송신되고 있는 인코딩된 A/V 데이터를 조정할 수 있다. 이 방식으로, 도 1a의 A/V 제어 모듈(125)을 참조하여 앞서 설명된 기능은 프로세서(231)에 의해 완전히 또는 부분적으로 구현될 수 있다.
도 2의 프로세서(231)는 일반적으로, 하나 또는 그 초과의 디지털 신호 프로세서들(DSP들), 범용 마이크로프로세서들, 주문형 집적 회로들(ASIC들), 필드 프로그래머블 로직 어레이들(FPGA들), 다른 동등한 집적 또는 이산 로직 회로, 또는 이들의 몇몇 조합을 포함하는(그러나 이에 한정되는 것은 아님) 광범위한 프로세서들 중 임의의 프로세서를 표현한다. 도 2의 메모리(232)는, 동기식 동적 랜덤 액세스 메모리(SDRAM)와 같은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 비휘발성 랜덤 액세스 메모리(NVRAM), 전기적으로 소거가능한 프로그래머블 판독 전용 메모리(EEPROM), FLASH 메모리 등을 포함하는(그러나 이에 한정되는 것은 아님) 광범위한 휘발성 또는 비휘발성 메모리 중 임의의 메모리를 포함할 수 있다. 메모리(232)는 오디오/비디오 데이터 뿐만 아니라 다른 종류들의 데이터를 저장하기 위한 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 메모리(232)는, 본 개시에서 설명된 다양한 기술들을 수행하는 것의 일부로서 프로세서(231)에 의해 실행되는 명령들 및 프로그램 코드를 추가로 저장할 수 있다.
도 3은 싱크 디바이스(360)의 일례를 도시한다. 싱크 디바이스(360)는 도 1a의 싱크 디바이스(160)와 유사한 디바이스일 수 있고, 싱크 디바이스(160)와 동일한 방식으로 동작할 수 있다. 싱크 디바이스(360)는, 하나 또는 그 초과의 프로세서들(즉, 프로세서(331)), 메모리(332), 전송 유닛(333), 무선 모뎀(334), 디스플레이 프로세서(335), 로컬 디스플레이(362), 오디오 프로세서(336), 스피커(363) 및 사용자 입력 인터페이스(376)를 포함한다. 싱크 디바이스(360)는, 소스 디바이스로부터 전송된 캡슐화된 데이터 유닛들을 무선 모뎀(334)에서 수신한다. 무선 모뎀(334)은, 예를 들어, IEEE 802.11 표준군으로부터의 하나 또는 그 초과의 표준들을 구현하도록 구성된 Wi-Fi 모뎀일 수 있다. 전송 유닛(333)은 캡슐화된 데이터 유닛들을 캡슐화 해제할 수 있다. 예를 들어, 전송 유닛(333)은 캡슐화된 데이터 유닛들로부터 인코딩된 비디오 데이터를 추출할 수 있고, 인코딩된 A/V 데이터를, 출력을 위해 디코딩 및 렌더링되도록 프로세서(331)에 전송할 수 있다. 디스플레이 프로세서(335)는 로컬 디스플레이(362) 상에서 디스플레이될 디코딩된 비디오 데이터를 프로세싱할 수 있고, 오디오 프로세서(336)는 스피커(363) 상에서의 출력을 위해 디코딩된 오디오 데이터를 프로세싱할 수 있다.
오디오 및 비디오 데이터를 렌더링하는 것에 부가하여, 무선 싱크 디바이스(360)는 또한 사용자 입력 인터페이스(376)를 통해 사용자 입력 데이터를 수신할 수 있다. 사용자 입력 인터페이스(376)는, 터치 디스플레이 인터페이스, 키보드, 마우스, 음성 커맨드 모듈, (예를 들어, 카메라-기반 입력 캡쳐 능력들을 갖는) 제스쳐 캡쳐 디바이스 또는 임의의 다른 다수의 사용자 입력 디바이스들에 포함되는(그러나 이에 한정되는 것은 아님) 다수의 사용자 입력 디바이스들 중 임의의 디바이스를 표현할 수 있다. 사용자 입력 인터페이스(376)를 통해 수신된 사용자 입력은 프로세서(331)에 의해 프로세싱될 수 있다. 이 프로세싱은, 본 개시에서 설명된 기술들에 따라, 수신된 사용자 입력 커맨드를 포함하는 데이터 패킷들을 생성하는 것을 포함할 수 있다. 일단 생성되면, 전송 유닛(333)은 UIBC를 통한 무선 소스 디바이스로의 네트워크 전송을 위해 데이터 패킷들을 프로세싱할 수 있다.
도 3의 프로세서(331)는, 하나 또는 그 초과의 디지털 신호 프로세서들(DSP들), 범용 마이크로프로세서들, 주문형 집적 회로들(ASIC들), 필드 프로그래머블 로직 어레이들(FPGA들), 다른 동등한 집적 또는 이산 로직 회로, 또는 이들의 몇몇 조합과 같은 광범위한 프로세서들 중 하나 또는 그 초과를 포함할 수 있다. 도 3의 메모리(332)는, 동기식 동적 랜덤 액세스 메모리(SDRAM)와 같은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 비휘발성 랜덤 액세스 메모리(NVRAM), 전기적으로 소거가능한 프로그래머블 판독 전용 메모리(EEPROM), FLASH 메모리 등을 포함하는(그러나 이에 한정되는 것은 아님) 광범위한 휘발성 또는 비휘발성 메모리 중 임의의 메모리를 포함할 수 있다. 메모리(232)는 오디오/비디오 데이터 뿐만 아니라 다른 종류들의 데이터를 저장하기 위한 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 메모리(332)는, 본 개시에서 설명된 다양한 기술들을 수행하는 것의 일부로서 프로세서(331)에 의해 실행되는 명령들 및 프로그램 코드를 추가로 저장할 수 있다.
도 4는 예시적인 송신기 시스템(410) 및 수신기 시스템(450)의 블록도를 도시하고, 이들은 통신 채널(150)을 통한 통신을 위해 도 1a의 송신기/수신기(126) 및 송신기/수신기(166)에 의해 이용될 수 있다. 송신기 시스템(410)에서, 다수의 데이터 스트림들에 대한 트래픽 데이터는 데이터 소스(412)로부터 송신(TX) 데이터 프로세서(414)에 제공된다. 각각의 데이터 스트림은 각각의 송신 안테나를 통해 송신될 수 있다. TX 데이터 프로세서(414)는, 각각의 데이터 스트림에 대해 선택된 특정한 코딩 방식에 기초하여, 각각의 데이터 스트림에 대한 트래픽 데이터를 포맷, 코딩 및 인터리빙한다.
각각의 데이터 스트림에 대한 코딩된 데이터는 직교 주파수 분할 멀티플렉싱(OFDM) 기술들을 이용하여 파일럿 데이터와 멀티플렉싱될 수 있다. 시분할 다중 액세스(TDMA), 주파수 분할 다중 액세스(FDMA), 코드 분할 다중 액세스(CDMA) 또는 OFDM, FDMA, TDMA 및/또는 CDMA의 임의의 조합을 포함하는(그러나 이에 한정되는 것은 아님) 광범위한 다른 무선 통신 기술들이 또한 이용될 수 있다.
도 4와 일치하여, 파일럿 데이터는 통상적으로 기지의(known) 방식으로 프로세싱되는 기지의 데이터 패턴이고, 채널 응답을 추정하기 위해 수신기 시스템에서 이용될 수 있다. 그 다음, 변조 심볼들을 제공하도록 각각의 데이터 스트림에 대해 선택된 특정한 변조 방식(예를 들어, 이진 위상 시프트 키잉(BPSK), 직교 위상 시프트 키잉(QPSK), M-PSK, 또는 M-QAM(직교 진폭 변조), 여기서 M은 2의 거듭제곱일 수 있음)에 기초하여, 각각의 데이터 스트림에 대해 멀티플렉싱된 파일럿 및 코딩된 데이터가 변조(예를 들어, 심볼 맵핑)된다. 각각의 데이터 스트림에 대한 데이터 레이트, 코딩 및 변조는, 메모리(432)와 커플링될 수 있는 프로세서(430)에 의해 수행되는 명령들에 의해 결정될 수 있다.
그 다음, 데이터 스트림들에 대한 변조 심볼들이 TX MIMO 프로세서(420)에 제공되며, TX MIMO 프로세서(420)는 (예를 들어, OFDM을 위해) 변조 심볼들을 추가로 프로세싱할 수 있다. 그 다음, TX MIMO 프로세서(420)는 NT개의 변조 심볼 스트림들을 NT개의 송신기들(TMTR)(422a 내지 422t)에 제공할 수 있다. 특정 양상들에서, TX MIMO 프로세서(420)는 데이터 스트림들의 심볼들, 및 그 심볼들이 송신되고 있는 안테나에 빔형성 가중치들을 적용한다.
각각의 송신기(422)는 각각의 심볼 스트림을 수신 및 프로세싱하여 하나 또는 그 초과의 아날로그 신호들을 제공하고, 아날로그 신호들을 추가로 컨디셔닝(예를 들어, 증폭, 필터링, 및 상향변환)하여 MIMO 채널을 통한 송신에 적합한 변조된 신호를 제공할 수 있다. 그 다음, 송신기들(422a 내지 422t)로부터 NT개의 변조된 신호들은 NT개의 안테나들(424a 내지 424t)로부터 각각 송신된다.
수신기 시스템(450)에서, 송신된 변조 신호들은 NR개의 안테나들(452a 내지 452r)에 의해 수신되고, 각각의 안테나(452)로부터 수신된 신호는 각각의 수신기(RCVR)(454a 내지 454r)로 제공된다. 수신기(454)는 각각의 수신 신호를 컨디셔닝(예를 들어, 필터링, 증폭 및 하향변환)하고, 컨디셔닝된 신호를 디지털화하여 샘플들을 제공하고, 상기 샘플들을 추가로 프로세싱하여 대응하는 "수신된" 심볼 스트림을 제공한다.
그 다음, 수신(RX) 데이터 프로세서(460)는 특정 수신기 프로세싱 기술에 기초하여 NR개의 수신기들(454)로부터 NR개의 수신된 심볼 스트림들을 수신 및 프로세싱하여 NT개의 "검출된" 심볼 스트림들을 제공한다. 그 다음, RX 데이터 프로세서(460)는 각각의 검출된 심볼 스트림을 복조, 디인터리빙(deinterleaving) 및 디코딩하여 데이터 스트림에 대한 트래픽 데이터를 복원한다. RX 데이터 프로세서(460)에 의한 프로세싱은 송신기 시스템(410)에서 TX MIMO 프로세서(420) 및 TX 데이터 프로세서(414)에 의해 수행되는 프로세싱과 상보적이다.
메모리(472)와 커플링될 수 있는 프로세서(470)는 어떤 프리코딩 행렬을 이용할지를 주기적으로 결정한다. 역방향 링크 메시지는 통신 링크 및/또는 수신된 데이터 스트림에 대한 다양한 타입들의 정보를 포함할 수 있다. 그 다음, 역방향 링크 메시지는, 데이터 소스(436)로부터의 다수의 데이터 스트림들에 대한 트래픽 데이터를 또한 수신하는 TX 데이터 프로세서(438)에 의해 프로세싱되고, 변조기(480)에 의해 변조되고, 송신기들(454a 내지 454r)에 의해 컨디셔닝되어, 다시 송신기 시스템(410)으로 송신된다.
송신기 시스템(410)에서, 수신기 시스템(450)에 의해 송신된 역방향 링크 메시지를 추출하기 위해, 수신기 시스템(450)으로부터의 변조 신호들이 안테나들(424)에 의해 수신되고, 수신기들(422)에 의해 컨디셔닝되고, 복조기(440)에 의해 복조되고, 그리고 RX 데이터 프로세서(442)에 의해 프로세싱된다. 그 다음, 프로세서(430)는 빔 형성 가중치들을 결정하기 위하여 어떤 프리코딩 행렬을 이용할 지를 결정하고, 그 다음, 추출된 메시지를 프로세싱한다.
도 5a는 능력 협상 세션의 일부로서 소스 디바이스(520)와 싱크 디바이스(560) 사이의 예시적인 메시지 전송 시퀀스를 도시하는 블록도이다. 능력 협상은 소스 디바이스(520)와 싱크 디바이스(560) 사이의 더 큰 통신 세션 설정 프로세스의 일부로서 발생할 수 있다. 이 세션은, 예를 들어, 기본적인 접속 표준으로서 Wi-Fi Direct 또는 TDLS와 설정될 수 있다. Wi-Fi Direct 또는 TDLS 세션을 설정한 후, 싱크 디바이스(560)는 소스 디바이스(520)와 TCP 접속을 개시할 수 있다. TCP 접속을 설정하는 것의 일부로서, 실시간 스트리밍 프로토콜(RTSP)을 실행하는 제어 포트가 설정되어, 소스 디바이스(520)와 싱크 디바이스(560) 사이의 통신 세션을 관리할 수 있다.
소스 디바이스(520)는 일반적으로 도 1a의 소스 디바이스(120)에 대해 앞서 설명된 것과 동일한 방식으로 동작할 수 있고, 싱크 디바이스(560)는 일반적으로 도 1a의 싱크 디바이스(160)에 대해 앞서 설명된 것과 동일한 방식으로 동작할 수 있다. 소스 디바이스(520) 및 싱크 디바이스(560)가 접속을 설정한 후, 소스 디바이스(520) 및 싱크 디바이스(560)는 능력 협상 교환의 일부로서 이들의 후속 통신 세션에 대해 이용될 파라미터들의 세트를 결정할 수 있다.
소스 디바이스(520) 및 싱크 디바이스(560)는 메시지들의 시퀀스를 통해 능력들을 협상할 수 있다. 메시지들은, 예를 들어, 실시간 스트리밍 프로토콜(RTSP) 메시지들일 수 있다. 협상들의 임의의 스테이지에서, RTSP 요청 메시지의 수신자는, RTSP OK와는 상이한 RTSP 상태 코드를 포함하는 RTSP 응답으로 응답할 수 있고, 이 경우, 메시지 교환은 파라미터들의 상이한 세트로 재시도될 수 있거나, 능력 협상 세션은 종료될 수 있다.
소스 디바이스(520)는, 싱크 디바이스(560)가 지원하는 RTSP 방법들의 세트를 결정하기 위해, 제 1 메시지(RTSP OPTIONS 요청 메시지)를 싱크 디바이스(560)에 전송할 수 있다. 소스 디바이스(520)로부터 제 1 메시지의 수신 시에, 싱크 디바이스(560)는, 싱크(560)에 의해 지원되는 RTSP 방법들을 리스팅하는 제 2 메시지(RTSP OPTIONS 응답 메시지)로 응답할 수 있다. 제 2 메시지는 또한 RTSP OK 상태 코드를 포함할 수 있다.
제 2 메시지를 소스 디바이스(520)에 전송한 후, 싱크 디바이스(560)는, 소스 디바이스(520)가 지원하는 RTSP 방법들의 세트를 결정하기 위해, 제 3 메시지(RTSP OPTIONS 요청 메시지)를 전송할 수 있다. 싱크 디바이스(560)로부터 제 3 메시지의 수신 시에, 소스 디바이스(520)는, 소스 디바이스(520)에 의해 지원되는 RTSP 방법들을 리스팅하는 제 4 메시지(RTSP OPTIONS 응답 메시지)로 응답할 수 있다. 제 4 메시지는 또한 RTSP OK 상태 코드를 포함할 수 있다.
제 4 메시지를 전송한 후, 소스 디바이스(520)는 소스 디바이스(520)와 관련된 능력들의 리스트를 특정하기 위해, 제 5 메시지(RTSP GET_PARAMETER 요청 메시지)를 전송할 수 있다. 싱크 디바이스(560)는 제 6 메시지(RTSP GET_PARAMETER 응답 메시지)로 응답할 수 있다. 제 6 메시지는 RTSP 상태 코드를 포함할 수 있다. RTSP 상태 코드가 OK이면, 제 6 메시지는 또한, 싱크 디바이스(560)에 의해 지원되는 제 5 메시지에서 특정된 파라미터에 대한 응답 파라미터들을 포함할 수 있다. 싱크 디바이스(560)는, 싱크 디바이스(560)가 지원하지 않는 제 5 메시지의 파라미터들을 무시할 수 있다.
제 6 메시지에 기초하여, 소스(520)는 통신 세션에 대해 이용될 파라미터들의 최적의 세트를 결정할 수 있고, 제 7 메시지(RTSP SET_PARAMETER 요청 메시지)를 싱크 디바이스(560)에 전송할 수 있다. 제 7 메시지는 소스 디바이스(520)와 싱크 디바이스(560) 사이의 통신 세션 동안 이용될 파라미터 세트를 포함할 수 있다. 제 7 메시지는, 통신 세션을 셋업하기 위해 RTSP 셋업 요청에서 이용될 유니버셜 자원 식별자(URI)를 나타내는 wfd-presentation-url을 포함할 수 있다. wfd-presentation-url은, 세션 설정 교환 동안 나중의 메시지들에 대해 싱크 디바이스(560)가 이용할 수 있는 URI를 특정한다. 이 파라미터에서 특정된 wfd-url0 및 wfd-url1 값들은 제 7 메시지의 wfd-client-rtp-ports의 rtp-port0 및 rtp-port1의 값들에 대응할 수 있다. 이 예에서 RTP는 일반적으로, UDP의 최상위에서 실행될 수 있는 실시간 프로토콜을 지칭한다.
제 7 메시지의 수신 시에, 싱크 디바이스(560)는, 제 7 메시지에서 특정된 바와 같이 파라미터들을 설정하는 것이 성공적이었는지 여부를 나타내는 RTSP 상태 코드를 갖는 제 8 메시지로 응답할 수 있다. 앞서 언급된 바와 같이, 소스 디바이스와 싱크 디바이스의 역할들은 상이한 세션들에서 반전될 수 있거나 변할 수 있다. 몇몇 경우들에서, 통신 세션을 셋업하는 메시지들의 순서는, 소스로서 동작하는 디바이스를 정의하고 싱크로서 동작하는 디바이스를 정의할 수 있다.
도 5b는 능력 협상 세션의 일부로서 소스 디바이스(560)와 싱크 디바이스(520) 사이의 다른 예시적인 메시지 전송 시퀀스를 도시하는 블록도이다. 도 5b의 메시지 전송 시퀀스는 도 5a에 대해 앞서 설명된 전송 시퀀스에 대한 보다 상세한 뷰(view)를 제공하도록 의도된다. 도 5b에서, 메시지 "1b. GET_PARAMETER RESPONSE"는, 지원되는 입력 카테고리들(예를 들어, 일반적 및 HIDC)의 리스트 및 지원되는 입력 타입들의 복수의 리스트들을 식별하는 메시지의 일례를 나타낸다. 지원되는 입력 카테고리들의 리스트의 지원되는 입력 카테고리들 각각은 지원되는 타입들의 연관된 리스트(예를 들어, generic_cap_list 및 hidc_cap_list)를 갖는다. 도 5b에서, 메시지 "2a. SET_PARAMETER REQUEST"는, 지원되는 입력 카테고리들(예를 들어, 일반적 및 HIDC)의 제 2 리스트 및 지원되는 타입들의 복수의 제 2 리스트들을 식별하는 제 2 메시지의 일례이다. 지원되는 입력 카테고리들의 제 2 리스트의 지원되는 입력 카테고리들 각각은 지원되는 타입들의 연관된 제 2 리스트(예를 들어, generic_cap_list 및 hidc_cap_list)를 갖는다. 메시지 "1b. GET_PARAMETER RESPONSE"는 싱크 디바이스(560)에 의해 지원되는 입력 카테고리들 및 입력 타입들을 식별한다. 메시지 "2a. SET_PARAMETER REQUEST"는 소스 디바이스(520)에 의해 지원되는 입력 카테고리들 및 입력 타입들을 식별하지만, 소스 디바이스(520)에 의해 지원되는 모든 입력 카테고리들 및 입력 타입들의 포괄적인 리스트가 아닐 수 있다. 대신에, 메시지 "2a. SET_PARAMETER REQUEST"는, 싱크 디바이스(560)에 의해 지원되고 있는 것과 같은 메시지 "1b. GET_PARAMETER RESPONSE"에서 식별되는 이러한 입력 카테고리들 및 입력 타입들만을 식별할 수 있다. 이러한 방식으로, 메시지 "2a. SET_PARAMETER REQUEST"에서 식별되는 입력 카테고리들 및 입력 타입들은 메시지 "1b. GET_PARAMETER RESPONSE"에서 식별된 입력 카테고리들 및 입력 타입들의 서브세트를 구성할 수 있다.
도 6은, 싱크 디바이스에 의해 생성되어 소스 디바이스에 송신될 수 있는 데이터 패킷의 일례를 도시하는 개념도이다. 데이터 패킷(600)의 양상들은 도 1a를 참조하여 설명될 것이지만, 논의되는 기술들은 추가적인 타입들의 소스/싱크 시스템들에 적용가능할 수 있다. 데이터 패킷(600)은 데이터 패킷 헤더(610) 및 그에 후속하는 페이로드 데이터(650)를 포함할 수 있다. 페이로드 데이터(650)는 추가적으로 하나 또는 그 초과의 페이로드 헤더들(예를 들어, 페이로드 헤더(630))을 포함할 수 있다. 데이터 패킷(600)은, 예를 들어, 소스 디바이스(120)에 의해 송신되고 있는 오디오/비디오 데이터를 싱크 디바이스(160)의 사용자가 제어할 수 있도록, 도 1a의 싱크 디바이스(160)로부터 소스 디바이스(120)에 송신될 수 있다. 이러한 예에서, 페이로드 데이터(650)는 싱크 디바이스(160)에서 수신되는 사용자 입력 데이터를 포함할 수 있다. 페이로드 데이터(650)는, 예를 들어, 하나 또는 그 초과의 사용자 커맨드들을 식별할 수 있다. 싱크 디바이스(160)는 하나 또는 그 초과의 사용자 커맨드들을 수신할 수 있고, 수신된 커맨드들에 기초하여, 데이터 패킷 헤더(610) 및 페이로드 데이터(650)를 생성할 수 있다. 데이터 패킷(600)의 데이터 패킷 헤더(610)의 컨텐츠에 기초하여, 소스 디바이스(120)는 페이로드 데이터(650)를 파싱하여 싱크 디바이스(160)에서 수신되는 사용자 입력 데이터를 식별할 수 있다. 페이로드 데이터(650)에 포함된 사용자 입력 데이터에 기초하여, 소스 디바이스(120)는, 소스 디바이스(120)로부터 싱크 디바이스(160)에 송신되고 있는 오디오 및 비디오 데이터를 몇몇 방식으로 변경시킬 수 있다.
본 명세서에서 사용되는 바와 같이, 용어들 "파싱하다" 및 "파싱"은 일반적으로 비트스트림으로부터 데이터를 추출하기 위해 비트스트림을 분석하는 프로세스를 지칭한다. 일단 추출되면, 데이터는 예를 들어, 소스 디바이스(120)에 의해 프로세싱될 수 있다. 예를 들어, 데이터를 추출하는 것은, 비트스트림 내의 정보가 어떻게 포맷되어 있는지를 식별하는 것을 포함할 수 있다. 아래에서 더 상세히 설명될 바와 같이, 데이터 패킷 헤더(610)는, 소스 디바이스(120) 및 싱크 디바이스(160) 둘 모두에 알려진 표준화된 포맷을 정의할 수 있다. 그러나, 페이로드 데이터(650)는 많은 가능한 방식들 중 하나의 방식으로 포맷될 수 있다. 데이터 패킷 헤더(610)를 파싱함으로써, 소스 디바이스(120)는 페이로드 데이터(650)가 어떻게 포맷되어 있는지를 결정할 수 있고, 따라서, 소스 디바이스(120)는 페이로드 데이터(650)를 파싱하여, 페이로드 데이터(650)로부터 하나 또는 그 초과의 사용자 입력 커맨드들을 추출할 수 있다. 이것은, 소스-싱크 통신에서 지원될 수 있는 상이한 타입들의 페이로드 데이터의 관점에서 유연성을 제공할 수 있다. 아래에서 더 상세히 설명될 바와 같이, 페이로드 데이터(650)는 또한 페이로드 헤더(630)와 같은 하나 또는 그 초과의 페이로드 헤더들을 포함할 수 있다. 이러한 예들에서, 소스 디바이스(120)는 데이터 패킷 헤더(610)를 파싱하여 페이로드 헤더(630)에 대한 포맷을 결정할 수 있고, 그 다음, 페이로드 헤더(630)를 파싱하여 페이로드 데이터(650)의 나머지에 대한 포맷을 결정할 수 있다.
데이터그램(620)은 데이터 패킷 헤더(610)가 어떻게 포맷될 수 있는지에 대한 개념적 도시이다. 행(615)의 번호들 0-15는 데이터 패킷 헤더(610) 내의 비트 위치들을 식별하도록 의도되고, 데이터 패킷 헤더(610) 내에 포함된 정보를 실제로 표현하도록 의도되지는 않는다. 데이터 패킷 헤더(610)는, 버전 필드(621), 타임스탬프 플래그(622), 예비된 필드(623), 입력 카테고리 필드(624), 길이 필드(625) 및 선택적인 타임스탬프 필드(626)를 포함한다.
도 6의 예에서, 버전 필드(621)는, 싱크 디바이스(160)에 의해 구현되고 있는 특정한 통신 프로토콜의 버전을 나타낼 수 있는 3-비트 필드이다. 버전 필드(621)의 값은, 데이터 패킷 헤더(610)의 나머지를 어떻게 파싱할지 뿐만 아니라 페이로드 데이터(650)를 어떻게 파싱할지를 소스 디바이스(120)에 통지할 수 있다. 도 6의 예에서, 버전 필드(621)는, 8개의 상이한 버전들에 대한 고유한 식별자를 가능하게 할 3-비트 필드이다. 다른 예들에서, 버전 필드(621)에 대해 더 많거나 더 적은 비트들이 전용될 수 있다.
도 6의 예에서, 타임스탬프 플래그(T)(622)는, 타임스탬프 필드(626)가 데이터 패킷 헤더(610)에 존재하는지 아닌지를 나타내는 1-비트 필드이다. 타임스탬프 필드(626)는, 소스 디바이스(120)에 의해 생성되어 싱크 디바이스(160)에 송신된 멀티미디어 데이터에 기초한 타임스탬프를 포함하는 16-비트 필드이다. 타임스탬프는, 예를 들어, 프레임들이 싱크 디바이스(160)에 송신되기 전에 소스 디바이스(120)에 의해 비디오의 프레임들에 할당되는 순차적인 값일 수 있다. 타임스탬프 플래그(622)는, 예를 들어, 타임스탬프 필드(626)가 존재하는 것을 나타내기 위해 "1"을 포함할 수 있고, 타임스탬프 필드(626)가 존재하지 않는 것을 나타내기 위해 "0"을 포함할 수 있다. 데이터 패킷 헤더(610)의 파싱 및 타임스탬프 필드(626)가 존재한다는 결정 시에, 소스 디바이스(120)는 타임스탬프 필드(626)에 포함된 타임스탬프를 프로세싱할 수 있다. 데이터 패킷 헤더(610)의 파싱 및 타임스탬프 필드(626)가 존재하지 않는다는 결정 시에, 소스 디바이스(120)는, 어떠한 타임스탬프 필드도 데이터 패킷 헤더(610)에 존재하지 않기 때문에, 길이 필드(625)를 파싱한 후 페이로드 데이터(650)의 파싱을 시작할 수 있다.
존재하면, 타임스탬프 필드(626)는, 페이로드 데이터(650)의 사용자 입력 데이터가 획득되었을 때 무선 싱크 디바이스(160)에서 디스플레이되고 있는 비디오 데이터의 프레임을 식별하기 위해 타임스탬프를 포함할 수 있다. 타임스탬프는, 예를 들어, 소스 디바이스(120)가 비디오의 프레임을 싱크 디바이스(160)에 송신하기 전에, 소스 디바이스(120)에 의해 비디오의 프레임에 추가되었을 수 있다. 따라서, 소스 디바이스(120)는 비디오의 프레임을 생성할 수 있고, 예를 들어, 타임스탬프와 같은 메타데이터로서 프레임의 비디오 데이터에 임베딩할 수 있다. 소스 디바이스(120)는 타임스탬프를 갖는 비디오 프레임을 싱크 디바이스(160)에 송신할 수 있고, 싱크 디바이스(160)는 비디오의 프레임을 디스플레이할 수 있다. 비디오의 프레임이 싱크 디바이스(160)에 의해 디스플레이되고 있는 동안, 싱크 디바이스(160)는 사용자로부터 사용자 커맨드를 수신할 수 있다. 싱크 디바이스(160)가 소스 디바이스(120)에 사용자 커맨드를 전송하기 위해 데이터 패킷을 생성하는 경우, 싱크 디바이스(160)는, 사용자 커맨드가 수신되었을 때 싱크 디바이스(160)에 의해 디스플레이되고 있는 프레임의 타임스탬프를 타임스탬프 필드(626)에 포함시킬 수 있다.
헤더에 존재하는 타임스탬프 필드(626)를 갖는 데이터 패킷(600)의 수신 시에, 무선 소스 디바이스(120)는, 페이로드 데이터(650)의 사용자 입력 데이터가 획득되었던 시간에 싱크 디바이스(160)에서 디스플레이되고 있는 비디오의 프레임을 식별할 수 있고, 타임스탬프에 의해 식별된 프레임의 컨텐츠에 기초하여 사용자 입력 데이터를 프로세싱할 수 있다. 예를 들어, 사용자 입력 데이터가 터치 디스플레에 인가된 터치 커맨드 또는 마우스 포인터의 클릭이면, 소스 디바이스(120)는, 사용자가 터치 커맨드를 디스플레이에 인가하거나 마우스를 클릭한 시간에 디스플레이되고 있는 프레임의 컨텐츠를 결정할 수 있다. 몇몇 예들에서, 페이로드 데이터를 적절히 프로세싱하기 위해 프레임의 컨텐츠가 요구될 수 있다. 예를 들어, 사용자 터치 또는 마우스 클릭에 기초한 사용자 입력은, 터치 또는 클릭의 시간에 디스플레이 상에 나타나고 있는 것에 의존할 수 있다. 터치 또는 클릭은, 예를 들어, 아이콘 또는 메뉴 옵션에 대응할 수 있다. 디스플레이의 컨텐츠가 변하고 있는 예들에서, 타임스탬프 필드(626)에 존재하는 타임스탬프는, 터치 또는 클릭을 정확한 아이콘 또는 메뉴 옵션에 매칭하기 위해, 소스 디바이스(120)에 의해 이용될 수 있다.
소스 디바이스(120)는 추가적으로 또는 대안적으로, 타임스탬프 필드(626)의 타임스탬프를 비디오의 현재 렌더링되는 프레임에 적용되고 있는 타임스탬프와 비교할 수 있다. 타임스탬프 필드(626)의 타임스탬프를 현재 타임스탬프와 비교함으로써, 소스 디바이스(120)는 라운드 트립(round trip) 시간을 결정할 수 있다. 라운드 트립 시간은 일반적으로, 프레임이 소스 디바이스(120)에 의해 송신된 시점으로부터, 그 프레임에 기초한 사용자 입력이 싱크 디바이스(160)로부터 소스 디바이스(120)에서 다시 수신되는 시점까지 경과되는 시간량에 대응한다. 라운드 트립 시간은 시스템 레이턴시의 표시를 소스 디바이스(120)에 제공할 수 있고, 라운드 트립 시간이 임계값보다 더 크면, 소스 디바이스(120)는, 입력 커맨드가 오래된(outdated) 디스플레이 프레임에 인가되었다는 가정하에, 페이로드 데이터(650)에 포함된 사용자 입력 데이터를 무시할 수 있다. 라운드 트립 시간이 임계값 미만인 경우, 소스 디바이스(120)는 사용자 입력 데이터를 프로세싱할 수 있고, 사용자 입력 데이터에 응답하여 송신되고 있는 오디오/비디오 컨텐츠를 조정할 수 있다. 임계값들은 프로그램가능할 수 있고, 허용가능한 라운드 트립 시간들에 대한 상이한 임계값들을 정의하기 위해 상이한 타입들의 디바이스들(또는 상이한 소스-싱크 조합들)이 구성될 수 있다.
도 6의 예에서, 예비 필드(623)는, 데이터 패킷 헤더(610) 및 페이로드 데이터(650)의 파싱 시에 소스(120)에 의해 이용되는 정보를 포함하지 않는 8-비트 필드이다. 그러나, (버전 필드(621)에서 식별되는 바와 같은) 특정한 프로토콜의 장래의 버전들은 예비 필드(623)를 이용할 수 있고, 이 경우 소스 디바이스(120)는 데이터 패킷 헤더(610)를 파싱하기 위해 그리고/또는 페이로드 데이터(650)를 파싱하기 위해 예비 필드(623)의 정보를 이용할 수 있다. 버전 필드(621)와 함께 예비 필드(623)는 잠재적으로, 이미 이용중인 포맷 및 특징들을 근본적으로 변경함이 없이 데이터 패킷 포맷에 특징들을 추가 및 확장하기 위한 능력들을 제공한다.
도 6의 예에서, 입력 카테고리 필드(624)는 페이로드 데이터(650)에 포함된 사용자 입력 데이터에 대한 입력 카테고리를 식별하기 위한 4-비트 필드이다. 싱크 디바이스(160)는 입력 카테고리를 결정하기 위해 사용자 입력 데이터를 카테고리화할 수 있다. 사용자 입력 데이터를 카테고리화하는 것은, 예를 들어, 커맨드를 송신한 디바이스에 기초할 수 있거나 또는 커맨드 자체의 특성들에 기초할 수 있다. 입력 카테고리 필드(624)의 값은 가능하게는 데이터 패킷 헤더(610)의 다른 정보와 결합되어, 페이로드 데이터(650)가 어떻게 포맷되어 있는지를 소스 디바이스(120)에 식별시킬 수 있다. 이 포맷팅에 기초하여, 소스 디바이스(120)는, 싱크 디바이스(160)에서 수신된 사용자 입력을 결정하기 위해 페이로드 데이터(650)를 파싱할 수 있다.
도 6의 예에서 입력 카테고리(624)는 4 비트이기 때문에, 가능하게는 16개의 상이한 입력 카테고리들이 식별될 수 있다. 하나의 이러한 입력 카테고리는, 소스 디바이스(120) 및 싱크 디바이스(160) 둘 모두에 의해 실행되고 있는 프로토콜에서 정의된 일반적 정보 엘리먼트들을 이용하여 페이로드 데이터(650)의 사용자 입력 데이터가 포맷된 것을 나타내기 위한 일반적 입력 포맷일 수 있다. 아래에서 더 상세히 설명될 바와 같이, 일반적 입력 포맷은, 싱크 디바이스(160)의 사용자가 애플리케이션 레벨에서 소스 디바이스(120)와 상호작용하도록 허용하는 일반적 정보 엘리먼트들을 활용할 수 있다.
다른 이러한 입력 카테고리는, 입력 데이터를 수신하기 위해 이용되는 입력 디바이스의 타입의 기초하여 페이로드 데이터(650)의 사용자 입력 데이터가 포맷된 것을 나타내기 위한 휴먼 인터페이스 디바이스 커맨드(HIDC) 포맷일 수 있다. 디바이스들의 타입들의 예들은, 키보드, 마우스, 터치 입력 디바이스, 조이스틱, 카메라, (카메라-기반 입력 디바이스와 같은) 제스쳐 캡쳐 디바이스 및 리모트 콘트롤을 포함한다. 입력 카테고리 필드(624)에서 식별될 수 있는 다른 타입들의 입력 카테고리들은, 페이로드 데이터(650)의 사용자 데이터가 싱크 디바이스(160)에서 발신하지 않았음을 나타내는 포워딩 입력 포맷, 또는 운영 시스템 특정 포맷, 및 페이로드 데이터(650)가 음성 커맨드를 포함함을 나타내는 음성 커맨드 포맷을 포함한다.
길이 필드(625)는, 데이터 패킷(600)의 길이를 나타내는 16 비트 필드를 포함할 수 있다. 길이는, 예를 들어, 8 비트 단위들로 표시될 수 있다. 데이터 패킷(600)이 소스 디바이스(120)에 의해 16 비트 워드들로 파싱되기 때문에, 데이터 패킷(600)은 16 비트의 정수까지 패딩될 수 있다. 길이 필드(625)에 포함된 길이에 기초하여, 소스 디바이스(120)는 페이로드 데이터(650)의 종료(즉, 데이터 패킷(600)의 종료), 및 새로운 후속하는 데이터 패킷의 시작을 식별할 수 있다.
도 6의 예에서 제공되는 필드들의 다양한 사이즈들은 단지 예시적인 것으로 의도되고, 필드들은 도 6에 도시된 것과는 다른 수의 비트들을 이용하여 구현될 수 있는 것으로 의도된다. 추가적으로, 데이터 패킷 헤더(610)는 앞서 논의된 필드들 전부보다 적은 수의 필드를 포함할 수 있거나, 앞서 논의되지 않은 추가적인 필드들을 이용할 수 있는 것으로 또한 고려된다. 실제로, 본 개시의 기술들은, 패킷들의 다양한 데이터 필드들에 이용되는 실제 포맷의 관점에서 유동적일 수 있다.
페이로드 데이터(650)의 포맷팅을 결정하기 위해 데이터 패킷 헤더(610)를 파싱한 후, 소스 디바이스(120)는 페이로드 데이터(650)에 포함된 사용자 입력 커맨드를 결정하기 위해 페이로드 데이터(650)를 파싱할 수 있다. 페이로드 데이터(650)는, 페이로드 데이터(650)의 컨텐츠들을 나타내는 자기 자신의 페이로드 헤더(페이로드 헤더(630))를 가질 수 있다. 이러한 방식으로, 소스 디바이스(120)는 데이터 패킷 헤더(610)의 파싱에 기초하여 페이로드 헤더(630)를 파싱할 수 있고, 그 다음, 페이로드 헤더(630)의 파싱에 기초하여 나머지 페이로드 데이터(650)를 파싱할 수 있다.
예를 들어, 데이터 패킷 헤더(610)의 입력 카테고리 필드(624)가 페이로드 데이터(650)에 일반적 입력이 존재함을 나타내면, 페이로드 데이터(650)는 일반적 입력 포맷을 가질 수 있다. 따라서, 소스 디바이스(120)는 일반적 입력 포맷에 따라 페이로드 데이터(650)를 파싱할 수 있다. 일반적 입력 포맷의 일부로서, 페이로드 데이터(650)는 일련의 하나 또는 그 초과의 입력 이벤트들을 포함할 수 있고, 각각의 입력 이벤트는 자기 자신의 입력 이벤트 헤더를 갖는다. 아래의 표 1은 입력 헤더에 포함될 수 있는 필드들을 식별한다.
필드 사이즈(옥테트) 값
일반적 IE ID 1 표 2 참조
길이 2 옥테트들에서 다음 필드들의 길이
설명 가변적 사용자 입력들의 세부사항들. 표들 참조
일반적 입력 이벤트(IE) 식별(ID) 필드는, 입력 타입을 식별하기 위한 일반적 입력 이벤트 식별을 식별한다. 일반적 IE ID 필드는, 예를 들어 길이에서 1 옥테트일 수 있고, 아래의 표 2로부터 선택되는 식별을 포함할 수 있다. 이 예에서와 같이, 일반적 IE ID 필드가 8 비트이면, (0-255로 식별되는) 256개의 상이한 타입들의 입력들이 식별가능할 수 있지만, 256개의 식별들 전부가 연관된 입력 타입을 반드시 요구하는 것은 아니다. 256개 중 일부는, 싱크 디바이스(160) 및 소스 디바이스(120)에 의해 어떠한 프로토콜이 구현되고 있든지 간에 그 프로토콜의 장래의 버전들에 의한 장래의 이용을 위해 예비될 수 있다. 표 2에서, 예를 들어, 일반적인 IE ID들(9-255)은 연관된 입력 타입들을 갖지 않지만, 장래에 입력 타입들을 할당받을 수 있다.
입력 이벤트 헤더의 길이 필드는 설명 필드의 길이를 식별하는 한편, 설명 필드는 사용자 입력을 설명하는 정보 엘리먼트들을 포함한다. 설명 필드의 포맷팅은 일반적 IE ID 필드의 입력 식별들의 타입에 의존할 수 있다. 따라서, 소스 디바이스(120)는 일반적 IE ID 필드에서 식별된 입력 타입에 기초하여 설명 필드의 컨텐츠들을 파싱할 수 있다. 입력 이벤트 헤더의 길이 필드에 기초하여, 소스 디바이스(120)는 페이로드 데이터(650)의 하나의 입력 이벤트의 종료 및 새로운 입력 이벤트의 시작을 결정할 수 있다. 아래에서 더 상세히 설명될 바와 같이, 하나의 사용자 커맨드는 하나 또는 그 초과의 입력 이벤트들로서 페이로드 데이터(650)에서 설명될 수 있다.
표 2는, 입력 타입을 식별하기 위해 이용될 수 있는 대응하는 일반적인 IE ID를 각각 갖는 입력 타입들의 일례를 제공한다.
일반적 IE ID 입력 타입
0 좌측 마우스 다운/터치 다운
1 좌측 마우스 업/터치 업
2 마우스 이동/터치 이동
3 키 다운
4 키 업
5 줌
6 수직 스크롤
7 수평 스크롤
8 회전
9-255 예비됨
각각의 입력 타입과 연관된 설명 필드들은 상이한 포맷을 가질 수 있다. 좌측 마우스 다운/터치 다운 이벤트, 좌측 마우스 업/터치 업 이벤트 및 마우스 이동/터치 이동 이벤트의 설명 필드들은, 예를 들어, 아래의 표 3에서 식별되는 정보 엘리먼트들을 포함할 수 있지만, 다른 예들에서는 다른 포맷들이 또한 이용될 수 있다.
필드 사이즈(옥테트) 주
포인터들의 수(N) 1 멀티-터치 모션 이벤트의 포인터들의 수. 1로 설정되는 경우, 이것은 단일 터치 모션 이벤트를 나타냄
i=1의 경우: N {
포인터 ID 1 이 포인터의 식별 번호. 값은 [0,1...]에 있음
X-좌표 2 싱크 디바이스와 소스 디바이스 사이에서 비디오 스트림의 협상된 해상도에 대해 정규화된 이벤트에 대한 X-좌표
Y-좌표 2 싱크 디바이스와 소스 디바이스 사이에서 비디오 스트림의 협상된 해상도에 대해 정규화된 이벤트에 대한 Y-좌표
포인터들의 수는 입력 이벤트와 연관된 터치들 또는 마우스 클릭들의 수를 식별할 수 있다. 각각의 포인터는 고유의 포인터 ID를 가질 수 있다. 예를 들어, 멀티-터치 이벤트가 세 손가락 터치를 포함하면, 입력 이벤트는, 고유의 포인터 ID를 각각 갖는 3개의 포인터들을 가질 수 있다. 각각의 포인터(즉, 각각의 손가락 터치)는 그 터치가 발생한 위치에 대응하는 대응 x-좌표 및 y-좌표를 가질 수 있다.
단일한 사용자 커맨드는 일련의 입력 이벤트들로서 설명될 수 있다. 예를 들어, 세 손가락 스와이프(swipe)가 애플리케이션을 종료시키라는 커맨드이면, 세 손가락 스와이프는, 3개의 포인터들을 갖는 터치 다운 이벤트, 3개의 포인터들을 갖는 터치 이동 이벤트 및 3개의 포인터들을 갖는 터치 업 이벤트로서 페이로드 데이터(650)에 설명될 수 있다. 터치 다운 이벤트의 3개의 포인터들은 터치 이동 이벤트 및 터치 업 이벤트의 3개의 포인터들과 동일한 포인터 ID들을 가질 수 있다. 소스 디바이스(120)는 이들 3개의 입력 이벤트들의 조합을 세 손가락 스와이프로서 해석할 수 있다.
키 다운 이벤트 또는 키 업 이벤트의 설명 필드들은, 예를 들어, 아래의 표 4에서 식별되는 정보 엘리먼트들을 포함할 수 있다.
필드 사이즈(옥테트) 주
예비됨 1 예비됨
키 코드 1(ASCII) 2 제 1 키 다운 또는 업 이벤트의 키 코드. 기본/확장 ASCII 코드는 하위 1 바이트를 이용한다. 상위 1 바이트는 장래의 ASCII 호환가능 키 코드를 위해 예비된다.
키 코드 2(ASCII) 2 제 2 키 다운 또는 업 이벤트의 키 코드. 기본/확장 ASCII 코드는 하위 1 바이트를 이용한다. 상위 1 바이트는 장래의 ASCII 호환가능 키 코드를 위해 예비된다.
줌 이벤트의 설명 필드는, 예를 들어, 아래의 표 5에서 식별되는 정보 엘리먼트들을 포함할 수 있다.
필드 사이즈(옥테트) 주
X 2 싱크 디바이스와 소스 디바이스 사이에서 비디오 스트림의 협상된 해상도에 대해 정규화된 줌 동작에 대한 기준 X-좌표
Y 2 싱크 디바이스와 소스 디바이스 사이에서 비디오 스트림의 협상된 해상도에 대해 정규화된 줌 동작에 대한 기준 Y-좌표
주밍할 정수 횟수 1 주밍할 횟수의 미부호 정수 부분
주밍할 분수 횟수 1 주밍할 횟수의 분수 부분
수평 스크롤 이벤트 또는 수직 스크롤 이벤트의 설명 필드는, 예를 들어, 아래의 표 6에서 식별되는 정보 엘리먼트들을 포함할 수 있다.
필드 사이즈(옥테트) 주
스크롤할 양 2 싱크 디바이스와 소스 디바이스 사이에서 비디오 스트림의 협상된 해상도에 대해 정규화된 스크롤할 픽셀들의 수. 음수는 우측 스크롤을 나타낼 수 있고, 양수는 좌측 스크롤을 나타낼 수 있다.
상기 예들은, 페이로드 데이터가 일반적 입력 카테고리에 대해 포맷팅될 수 있는 몇몇 예시적인 방법들을 나타낸다. 데이터 패킷 헤더(610)의 입력 카테고리 필드(624)가 상이한 입력 카테고리, 이를테면 포워딩된 사용자 입력을 나타내면, 페이로드 데이터(650)는 상이한 입력 포맷을 가질 수 있다. 포워딩된 사용자 입력으로, 싱크 디바이스(160)는 제 3의 디바이스로부터 사용자 입력 데이터를 수신할 수 있고, 사용자 입력 데이터를 해석하지 않고 그 입력을 소스 디바이스(120)에 포워딩할 수 있다. 따라서, 소스 디바이스(120)는 포워딩된 사용자 입력 포맷에 따라 페이로드 데이터(650)를 파싱할 수 있다. 예를 들어, 페이로드 데이터(650)의 페이로드 헤더(630)는, 사용자 입력이 획득된 제 3의 디바이스를 식별하기 위한 필드를 포함할 수 있다. 이 필드는, 예를 들어, 제 3의 디바이스의 인터넷 프로토콜(IP) 어드레스, MAC 어드레스, 도메인 명칭 또는 몇몇 다른 이러한 식별자를 포함할 수 있다. 소스 디바이스(120)는 제 3의 디바이스의 식별자에 기초하여 페이로드 데이터의 나머지를 파싱할 수 있다.
싱크 디바이스(160)는 일련의 메시지들을 통해 제 3의 디바이스와 능력들을 협상할 수 있다. 그 다음, 싱크 디바이스(160)는, 능력 협상 프로세스의 일부로서 소스 디바이스(120)와 통신 세션을 설정하는 것의 일부로서 제 3의 디바이스의 고유의 식별자를 소스 디바이스(120)에 송신할 수 있다. 대안적으로, 싱크 디바이스(160)는 제 3의 디바이스를 설명하는 정보를 소스 디바이스(120)에 송신할 수 있고, 이 정보에 기초하여 소스 디바이스(120)는 제 3의 디바이스에 대한 고유의 식별자를 결정할 수 있다. 제 3의 디바이스를 설명하는 정보는, 예를 들어, 제 3의 디바이스를 식별하기 위한 정보 및/또는 제 3의 디바이스의 능력들을 식별하기 위한 정보를 포함할 수 있다. 고유의 식별자들이 소스 디바이스(120)에 의해 결정되든지 또는 싱크 디바이스(160)에 의해 결정되든지와 무관하게, 싱크 디바이스(160)가 제 3의 디바이스로부터 획득된 사용자 입력을 갖는 데이터 패킷들을 송신하는 경우, 싱크 디바이스(160)는 데이터 패킷의 고유의 식별자를, 예를 들어, 페이로드 헤더에 포함시킬 수 있어서, 소스 디바이스(120)는 사용자 입력의 기원(origin)을 식별할 수 있다.
데이터 패킷 헤더(610)의 입력 카테고리 필드(624)가 음성 커맨드와 같은 또 다른 입력 카테고리를 나타내면, 페이로드 데이터(650)는 또 다른 입력 포맷을 가질 수 있다. 음성 커맨드에 있어서, 페이로드 데이터(650)는 코딩된 오디오를 포함할 수 있다. 음성 커맨드의 오디오의 인코딩 및 디코딩을 위한 코덱은 일련의 메시지들을 통해 소스 디바이스(120)와 싱크 디바이스(160) 사이에서 협상될 수 있다. 음성 커맨드를 송신하기 위해, 타임스탬프 필드(626)는 스피치-샘플링 시간 값을 포함할 수 있다. 이러한 예에서, 타임스탬프 플래그(622)는 타임스탬프가 존재함을 나타내도록 설정될 수 있지만, 앞서 설명된 바와 같은 타임스탬프 대신에, 타임스탬프 필드(626)는 페이로드 데이터(650)의 인코딩된 오디오에 대한 스피치-샘플링 시간 값을 포함할 수 있다.
몇몇 예들에서, 음성 커맨드는 앞서 설명된 바와 같은 일반적 커맨드로서 송신될 수 있고, 이 경우, 입력 카테고리 필드(624)는 일반적 커맨드 포맷을 식별하도록 설정될 수 있고, 예비된 일반적 IE ID들 중 하나가 음성 커맨드들에 할당될 수 있다. 음성 커맨드가 일반적 커맨드로서 송신되면, 스피치 샘플링 레이트는 데이터 패킷 헤더(610)의 타임스탬프 필드(626)에 존재할 수 있거나, 페이로드 데이터(650)에 존재할 수 있다.
캡쳐된 음성 커맨드 데이터에 있어서, 음성 데이터는 다수의 방법들로 캡슐화될 수 있다. 예를 들어, 음성 커맨드 데이터는, 코덱 및 타임스탬프를 식별하기 위해 페이로드 타입을 제공할 수 있는 RTP를 이용하여 캡슐화될 수 있고, 타임스탬프는 샘플링 레이트를 식별하는데 이용된다. RTP 데이터는, 선택적인 타임스탬프를 이용하든 이용하지 않든, 앞서 설명된 일반적 사용자 입력 포맷을 이용하여 캡슐화될 수 있다. 싱크 디바이스(160)는, TPC/IP를 이용하여 소스 디바이스(120)에 음성 커맨드 데이터를 반송하는 일반적 입력 데이터를 송신할 수 있다.
이전에 논의된 바와 같이, 데이터 패킷(600)과 같은 데이터 패킷의 일부로서, 예를 들어, 페이로드 데이터(650)에 좌표들이 포함되는 경우, 좌표들은, 협상된 해상도에 기초하여 스케일링된 좌표들, 디스플레이 윈도우 좌표들, 정규화된 좌표들 또는 싱크 디스플레이와 연관된 좌표들에 대응할 수 있다. 몇몇 예들에서, 데이터 패킷에서 수신된 좌표들을 정규화하기 위해 소스 디바이스에 의한 이용을 위해, 추가적인 정보가 데이터 패킷에 포함될 수 있거나 별도로 송신될 수 있다.
특정한 데이터 패킷에 대한 입력 카테고리와 무관하게, 데이터 패킷 헤더는 애플리케이션 계층 패킷 헤더일 수 있고, 데이터 패킷은 TCP/IP를 통해 송신될 수 있다. TCP/IP는 싱크 디바이스(160) 및 소스 디바이스(120)가 패킷 손실의 이벤트에서 재송신 기술들을 수행하게 할 수 있다. 데이터 패킷은, 소스 디바이스(120)의 오디오 데이터 또는 비디오 데이터를 제어하기 위해 또는 소스 디바이스(120) 상에서 실행되는 애플리케이션을 제어하는 것과 같은 다른 목적들로, 싱크 디바이스(160)로부터 소스 디바이스(120)에 전송될 수 있다.
도 7a는 싱크 디바이스와 소스 디바이스 사이에서 능력들을 협상하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 싱크 디바이스(160(도 1a) 또는 360(도 3))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(332))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(331))로 하여금, 본 명세서에서 설명되는 흐름도들 중 하나 또는 그 초과에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 7a의 방법은 싱크 디바이스(160)가 소스 디바이스(120)로부터 제 1 메시지를 수신하는 단계를 포함한다(701). 메시지는, 예를 들어, 파라미터 획득(get parameter) 요청을 포함할 수 있다. 제 1 메시지에 응답하여, 싱크 디바이스(160)는 소스 디바이스(120)에 제 2 메시지를 전송할 수 있다(703). 제 2 메시지는, 예를 들어, 지원되는 입력 카테고리들의 제 1 리스트 및 지원되는 타입들의 복수의 제 1 리스트들을 식별하는 파라미터 획득 응답을 포함할 수 있고, 여기서, 지원되는 입력 카테고리들의 제 1 리스트의 지원되는 입력 카테고리들 각각은 지원되는 타입들의 연관된 제 1 리스트를 갖는다. 지원되는 입력 카테고리들은, 예를 들어, 도 6의 입력 카테고리 필드(624)에 이용되는 것과 동일한 카테고리들에 대응할 수 있다. 상기 표 2는 특정한 입력 카테고리(이 예에서는 일반적 입력들)에 대한 지원되는 타입들의 일례를 표현한다. 싱크 디바이스(160)는 소스 디바이스(120)로부터 제 3 메시지를 수신할 수 있다(705). 제 3 메시지는, 예를 들어, 세트 파라미터(set parameter) 요청을 포함할 수 있고, 세트 파라미터 요청은, 통신을 위한 포트, 지원되는 입력 카테고리들의 제 2 리스트, 및 지원되는 타입들의 복수의 제 2 리스트들을 식별하고, 지원되는 입력 카테고리들의 제 2 리스트의 지원되는 입력 카테고리들 각각은 지원되는 타입들의 연관된 제 2 리스트를 갖고, 제 2 리스트들의 지원되는 타입들 각각은 제 1 리스트들의 타입들의 서브세트를 포함한다. 싱크 디바이스(160)는 소스 디바이스(120)에 제 4 메시지를 송신할 수 있다(707). 제 4 메시지는, 예를 들어, 제 2 리스트들의 타입들이 인에이블되었음을 확인하는 세트 파라미터 응답을 포함할 수 있다. 싱크 디바이스(160)는 소스 디바이스(120)로부터 제 5 메시지를 수신할 수 있다(709). 제 5 메시지는, 예를 들어, 소스 디바이스(120)와 싱크 디바이스(160) 사이에서 통신 채널이 인에이블되었음을 나타내는 제 2 세트 파라미터 요청을 포함할 수 있다. 통신 채널은, 예를 들어, 사용자 입력 백 채널(UIBC)을 포함할 수 있다. 싱크 디바이스(160)는 소스 디바이스(120)에 제 6 메시지를 송신할 수 있다(711). 제 6 메시지는, 예를 들어, 싱크 디바이스(160)에 의한 제 2 세트 파라미터 요청의 수신을 확인하는 제 2 세트 파라미터 응답을 포함할 수 있다.
도 7b는 싱크 디바이스와 소스 디바이스 사이에서 능력들을 협상하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 소스 디바이스(120(도 1a) 또는 220(도 2))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(232))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(231))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 7b의 방법은 소스 디바이스(120)가 싱크 디바이스(160)에 제 1 메시지를 송신하는 단계를 포함한다(702). 제 1 메시지는, 예를 들어, 파라미터 획득 요청을 포함할 수 있다. 소스 디바이스(120)는 싱크 디바이스(160)로부터 제 2 메시지를 수신할 수 있다(704). 제 2 메시지는, 예를 들어, 지원되는 입력 카테고리들의 제 1 리스트 및 지원되는 타입들의 복수의 제 1 리스트들을 식별하는 파라미터 획득 응답을 포함할 수 있고, 여기서, 지원되는 입력 카테고리들의 제 1 리스트의 지원되는 입력 카테고리들 각각은 지원되는 타입들의 연관된 제 1 리스트를 갖는다. 소스 디바이스(120)는 싱크 디바이스(160)에 제 3 메시지를 송신할 수 있다(706). 제 3 메시지는, 예를 들어, 통신을 위한 포트, 지원되는 입력 카테고리들의 제 2 리스트, 및 지원되는 타입들의 복수의 제 2 리스트들을 식별하는 세트 파라미터 요청을 포함할 수 있고, 지원되는 입력 카테고리들의 제 2 리스트의 지원되는 입력 카테고리들 각각은 지원되는 타입들의 연관된 제 2 리스트를 갖고, 제 2 리스트들의 지원되는 타입들 각각은 제 1 리스트들의 타입들의 서브세트를 포함한다. 소스 디바이스(120)는 싱크 디바이스(160)로부터 제 4 메시지를 수신할 수 있다(708). 제 4 메시지는, 예를 들어, 제 2 리스트들의 타입들이 인에이블되었음을 확인하는 세트 파라미터 응답을 포함할 수 있다. 소스 디바이스(120)는 싱크 디바이스(160)에 제 5 메시지를 송신할 수 있다(710). 제 5 메시지는, 예를 들어, 소스 디바이스(120)와 싱크 디바이스(160) 사이에서 통신 채널이 인에이블되었음을 나타내는 제 2 세트 파라미터 요청을 포함할 수 있다. 통신 채널은, 예를 들어, 사용자 입력 백 채널(UIBC)을 포함할 수 있다. 소스 디바이스(120)는 싱크 디바이스(160)로부터 제 6 메시지를 수신할 수 있다(712). 제 6 메시지는, 예를 들어, 싱크 디바이스(160)에 의한 제 2 세트 파라미터 요청의 수신을 확인하는 제 2 세트 파라미터 응답을 포함할 수 있다.
도 8a는 본 개시에 따라 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 싱크 디바이스(160(도 1a) 또는 360(도 3))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(332))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(331))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 8a의 방법은 무선 싱크 디바이스(160)와 같은 무선 싱크 디바이스에서 사용자 입력 데이터를 획득하는 단계를 포함한다(801). 사용자 입력 데이터는, 예를 들어, 무선 싱크 디바이스(360)와 관련하여 도시된 사용자 입력 인터페이스(376)와 같은, 무선 싱크 디바이스(160)의 사용자 입력 컴포넌트를 통해 획득될 수 있다. 추가적으로, 싱크 디바이스(160)는 사용자 입력 데이터를, 예를 들어, 일반적인 것, 포워딩된 것 또는 운영 시스템 특정인 것으로 카테고리화할 수 있다. 그 다음, 싱크 디바이스(160)는 사용자 입력 데이터에 기초하여 데이터 패킷 헤더를 생성할 수 있다(803). 데이터 패킷 헤더는 애플리케이션 계층 패킷 헤더일 수 있다. 데이터 패킷 헤더는, 다른 필드들 중, 사용자 입력 데이터에 대응하는 입력 카테고리를 식별하기 위한 필드를 포함할 수 있다. 입력 카테고리는, 예를 들어, 일반적 입력 포맷 또는 휴먼 인터페이스 디바이스 커맨드를 포함할 수 있다. 싱크 디바이스(160)는 데이터 패킷을 추가로 생성할 수 있고(805), 여기서 데이터 패킷은 생성된 데이터 패킷 헤더 및 페이로드 데이터를 포함한다. 일례에서, 페이로드 데이터는 수신된 사용자 입력 데이터를 포함할 수 있고, 하나 또는 그 초과의 사용자 커맨드들을 식별할 수 있다. 그 다음, 싱크 디바이스(160)는 생성된 데이터 패킷을 무선 소스 디바이스(예를 들어, 소스 디바이스(도 1a의 120 또는 도 2의 220))에 송신할 수 있다(807). 싱크 디바이스(160)는, 예를 들어, 도 3에 도시된 바와 같은 전송 유닛(333) 및 무선 모뎀(334)을 포함하는, 데이터 패킷들의 전송을 허용하는 컴포넌트들을 포함할 수 있다. 싱크 디바이스(160)는 TCP/IP를 통해 데이터 패킷을 전송할 수 있다.
도 8b는 본 개시에 따라 무선 소스 디바이스에서 무선 싱크 디바이스로부터의 사용자 입력 데이터를 수신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 소스 디바이스(120(도 1a) 또는 220(도 2))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(232))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(231))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 8b의 방법은 데이터 패킷을 수신하는 단계를 포함하고(802), 여기서 데이터 패킷은, 다른 것들 중, 데이터 패킷 헤더 및 페이로드 데이터를 포함할 수 있다. 페이로드 데이터는, 예를 들어, 사용자 입력 데이터를 포함할 수 있다. 소스 디바이스(120)는, 예를 들어, 도 2를 참조하여 도시된 바와 같은 전송 유닛(233) 및 무선 모뎀(234)을 포함하는, 데이터 패킷들의 전송을 허용하는 통신 컴포넌트들을 포함할 수 있다. 그 다음, 소스 디바이스(120)는 페이로드 데이터에 포함된 사용자 입력 데이터와 연관된 입력 카테고리를 결정하기 위해, 데이터 패킷에 포함된 데이터 패킷 헤더를 파싱할수 있다(804). 소스 디바이스(120)는 결정된 입력 카테고리에 기초하여 페이로드 데이터를 프로세싱할 수 있다(806). 도 8a 및 도 8b를 참조하여 설명된 데이터 패킷들은 일반적으로 도 6을 참조하여 설명된 데이터 패킷들의 형태를 취할 수 있고, 소스 디바이스에서 오디오/비디오 데이터 및 애플리케이션들을 제어하는데 이용될 수 있다.
도 9a는 본 개시에 따라 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 싱크 디바이스(160(도 1a) 또는 360(도 3))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(332))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(331))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 9a의 방법은 무선 싱크 디바이스(160)와 같은 무선 싱크 디바이스에서 사용자 입력 데이터를 획득하는 단계를 포함한다(901). 사용자 입력 데이터는, 예를 들어, 도 3을 참조하여 도시된 사용자 입력 인터페이스(376)와 같은, 무선 싱크 디바이스(160)의 사용자 입력 컴포넌트를 통해 획득될 수 있다. 그 다음, 싱크 디바이스(160)는 페이로드 데이터를 생성할 수 있고(903), 여기서 페이로드 데이터는 사용자 입력 데이터를 설명할 수 있다. 일례에서, 페이로드 데이터는 수신된 사용자 입력 데이터를 포함할 수 있고, 하나 또는 그 초과의 사용자 커맨드들을 식별할 수 있다. 싱크 디바이스(160)는 데이터 패킷을 추가로 생성할 수 있고(905), 여기서 데이터 패킷은 데이터 패킷 헤더 및 생성된 페이로드 데이터를 포함한다. 그 다음, 싱크 디바이스(160)는 생성된 데이터 패킷을 무선 소스 디바이스(예를 들어, 소스 디바이스(도 1a의 120 또는 도 2의 220))에 송신할 수 있다(907). 싱크 디바이스(160)는, 예를 들어, 전송 유닛(333) 및 무선 모뎀(334)과 같은, 데이터 패킷들의 전송을 허용하는 컴포넌트들을 포함할 수 있다. 데이터 패킷은 TCP/IP를 통해 무선 소스 디바이스에 송신될 수 있다.
도 9b는 본 개시에 따라 무선 소스 디바이스에서 무선 싱크 디바이스로부터의 사용자 입력 데이터를 수신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 소스 디바이스(120(도 1a) 또는 220(도 2))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(232))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(231))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 9b의 방법은 싱크 디바이스(360)로부터 데이터 패킷을 수신하는 단계를 포함하고(902), 여기서 데이터 패킷은 다른 것들 중, 데이터 패킷 헤더 및 페이로드 데이터를 포함할 수 있다. 일례에서, 페이로드 데이터는, 예를 들어, 입력 타입 값과 같은 사용자 입력의 세부사항들을 설명하는 데이터를 포함할 수 있다. 소스 디바이스(120)는, 예를 들어, 도 2를 참조하여 도시된 바와 같은 전송 유닛(233) 및 무선 모뎀(234)을 포함하는, 데이터 패킷들의 전송을 허용하는 통신 컴포넌트들을 포함할 수 있다. 그 다음, 소스 디바이스(120)는 페이로드 데이터의 입력 타입 필드 내의 입력 타입 값을 결정하기 위해, 데이터 패킷을 파싱할 수 있다(904). 소스 디바이스(120)는 결정된 입력 타입 값에 기초하여 사용자 입력의 세부사항들을 설명하는 데이터를 프로세싱할 수 있다(906). 도 9a 및 도 9b를 참조하여 설명된 데이터 패킷들은 일반적으로 도 6을 참조하여 설명된 데이터 패킷들의 형태를 취할 수 있다.
도 10a는 본 개시에 따라 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 싱크 디바이스(160(도 1a) 또는 360(도 3))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(332))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(331))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 10a의 방법은 무선 싱크 디바이스(160)와 같은 무선 싱크 디바이스에서 사용자 입력 데이터를 획득하는 단계를 포함한다(1001). 사용자 입력 데이터는, 예를 들어, 도 3을 참조하여 도시된 사용자 입력 인터페이스(376)와 같은 무선 싱크 디바이스(160)의 사용자 입력 컴포넌트를 통해 획득될 수 있다. 그 다음, 싱크 디바이스(160)는 사용자 입력에 기초하여 데이터 패킷 헤더를 생성할 수 있다(1003). 데이터 패킷 헤더는, 다른 필드들 중, 데이터 패킷 헤더에 타임스탬프 필드가 존재하는지 여부를 나타내기 위한 타임스탬프 플래그(예를 들어, 1 비트 필드)를 포함할 수 있다. 타임스탬프 플래그는, 예를 들어, 타임스탬프 필드가 존재함을 나타내기 위해 "1"을 포함할 수 있고, 타임스탬프 필드가 존재하지 않음을 나타내기 위해 "0"을 포함할 수 있다. 타임스탬프 필드는, 예를 들어, 소스 디바이스(120)에 의해 생성되고 송신 전에 비디오 데이터에 추가되는 타임스탬프를 포함하는 16 비트 필드일 수 있다. 싱크 디바이스(160)는 데이터 패킷을 추가로 생성할 수 있고(1005), 여기서 데이터 패킷은 생성된 데이터 패킷 헤더 및 페이로드 데이터를 포함한다. 일례에서, 페이로드 데이터는 수신된 사용자 입력 데이터를 포함할 수 있고, 하나 또는 그 초과의 사용자 커맨드들을 식별할 수 있다. 그 다음, 싱크 디바이스(160)는 생성된 데이터 패킷을 무선 소스 디바이스(예를 들어, 소스 디바이스(도 1a의 120 또는 도 2의 220))에 송신할 수 있다(1007). 싱크 디바이스(160)는, 예를 들어, 도 3을 참조하여 도시된 바와 같은 전송 유닛(333) 및 무선 모뎀(334)을 포함하는, 데이터 패킷들의 전송을 허용하는 컴포넌트들을 포함할 수 있다. 데이터 패킷은 TCP/IP를 통해 무선 소스 디바이스에 송신될 수 있다.
도 10b는 본 개시에 따라 무선 소스 디바이스에서 무선 싱크 디바이스로부터의 사용자 입력 데이터를 수신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 소스 디바이스(120(도 1a) 또는 220(도 2))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(232))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(231))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 10b의 방법은 무선 싱크 디바이스(160)로부터 데이터 패킷을 수신하는 단계를 포함하고(1002), 여기서 데이터 패킷은, 다른 것들 중, 데이터 패킷 헤더 및 페이로드 데이터를 포함할 수 있다. 페이로드 데이터는, 예를 들어, 사용자 입력 데이터를 포함할 수 있다. 소스 디바이스(120)는, 예를 들어, 도 2를 참조하여 도시된 바와 같은 전송 유닛(233) 및 무선 모뎀(234)을 포함하는, 데이터 패킷들의 전송을 허용하는 통신 컴포넌트들을 포함할 수 있다. 그 다음, 소스 디바이스(120)는 데이터 패킷에 포함된 데이터 패킷 헤더를 파싱할 수 있다(1004). 소스 디바이스(120)는, 데이터 패킷 헤더에 타임스탬프 필드가 존재하는지 여부를 결정할 수 있다(1006). 일례에서, 소스 디바이스(120)는 데이터 패킷 헤더에 포함된 타임스탬프 플래그 값에 기초하여 결정을 행할 수 있다. 데이터 패킷 헤더가 타임스탬프 필드를 포함하면, 소스 디바이스(120)는 타임스탬프 필드에 있는 타임스탬프에 기초하여 페이로드 데이터를 프로세싱할 수 있다(1008). 도 10a 및 도 10b를 참조하여 설명된 데이터 패킷들은 일반적으로 도 6을 참조하여 설명된 데이터 패킷들의 형태를 취할 수 있고, 소스 디바이스에서 오디오/비디오 데이터를 제어하는데 이용될 수 있다.
도 11a는 본 개시에 따라 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 싱크 디바이스(160(도 1a) 또는 360(도 3))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(332))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(331))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 11a의 방법은 무선 싱크 디바이스(160)와 같은 무선 싱크 디바이스에서 사용자 입력 데이터를 획득하는 단계를 포함한다(1101). 사용자 입력 데이터는, 예를 들어, 도 3을 참조하여 도시된 사용자 입력 인터페이스(376)와 같은, 무선 싱크 디바이스(160)의 사용자 입력 컴포넌트를 통해 획득될 수 있다. 그 다음, 싱크 디바이스(160)는 사용자 입력에 기초하여 데이터 패킷 헤더를 생성할 수 있다(1103). 데이터 패킷 헤더는, 다른 필드들 중 타임스탬프 필드를 포함할 수 있다. 타임스탬프 필드는, 예를 들어, 무선 소스 디바이스(120)에 의해 생성되고 무선 싱크 디바이스(160)에 송신된 멀티미디어 데이터에 기초한 타임스탬프를 포함하는 16 비트 필드를 포함할 수 있다. 타임스탬프는 무선 싱크 디바이스에 송신되기 전에 무선 소스 디바이스(120)에 의해 비디오 데이터의 프레임에 추가될 수 있다. 타임스탬프 필드는, 예를 들어, 사용자 입력 데이터가 캡쳐된 시간에 무선 싱크 디바이스(160)에서 디스플레이되고 있는 비디오 데이터의 프레임과 연관된 타임스탬프를 식별할 수 있다. 싱크 디바이스(160)는 데이터 패킷을 추가로 생성할 수 있고(1105), 여기서 데이터 패킷은 생성된 데이터 패킷 헤더 및 페이로드 데이터를 포함한다. 일례에서, 페이로드 데이터는 수신된 사용자 입력 데이터를 포함할 수 있고, 하나 또는 그 초과의 사용자 커맨드들을 식별할 수 있다. 그 다음, 싱크 디바이스(160)는 생성된 데이터 패킷을 무선 소스 디바이스(예를 들어, 소스 디바이스(도 1a의 120 또는 도 2의 220))에 송신할 수 있다(1107). 싱크 디바이스(160)는, 예를 들어, 도 3을 참조하여 도시된 바와 같은 전송 유닛(333) 및 무선 모뎀(334)을 포함하는, 데이터 패킷들의 전송을 허용하는 컴포넌트들을 포함할 수 있다. 데이터 패킷은 TCP/IP를 통해 무선 소스 디바이스에 송신될 수 있다.
도 11b는 본 개시에 따라 무선 소스 디바이스에서 무선 싱크 디바이스로부터의 사용자 입력 데이터를 수신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 소스 디바이스(120(도 1a) 또는 220(도 2))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(232))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(231))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 11b의 방법은 무선 싱크 디바이스(160)와 같은 무선 싱크 디바이스로부터 데이터 패킷을 수신하는 단계를 포함하고(1102), 여기서 데이터 패킷은, 다른 것들 중, 데이터 패킷 헤더 및 페이로드 데이터를 포함할 수 있다. 페이로드 데이터는, 예를 들어, 사용자 입력 데이터를 포함할 수 있다. 소스 디바이스(120)는, 예를 들어, 도 2를 참조하여 도시된 바와 같은 전송 유닛(233) 및 무선 모뎀(234)을 포함하는, 데이터 패킷들의 전송을 허용하는 통신 컴포넌트들을 포함할 수 있다. 그 다음, 소스 디바이스(120)는 데이터 패킷 헤더의 타임스탬프 필드를 식별할 수 있다(1104). 소스 디바이스(120)는 타임스탬프 필드에 있는 타임스탬프에 기초하여 페이로드 데이터를 프로세싱할 수 있다(1106). 타임스탬프에 기초한 페이로드 데이터의 프로세싱의 일부로서, 소스 디바이스(120)는, 사용자 입력 데이터가 획득된 시간에 무선 싱크 디바이스에 디스플레이되고 있는 비디오 데이터의 프레임을 식별하고, 그 프레임의 컨텐츠에 기초하여 페이로드 데이터를 해석할 수 있다. 타임스탬프에 기초한 페이로드 데이터의 프로세싱의 일부로서, 소스 디바이스(120)는, 타임스탬프를, 소스 디바이스(120)에 의해 송신되고 있는 비디오의 현재의 프레임에 대한 현재의 타임스탬프와 비교할 수 있고, 타임스탬프와 현재의 타임스탬프 사이의 시간 차가 임계값 미만인 것에 응답하여, 페이로드 데이터에서 설명된 사용자 입력 커맨드를 수행할 수 있거나, 또는 타임스탬프와 현재의 타임스탬프 사이의 시간 차가 임계값보다 큰 것에 응답하여, 페이로드 데이터에서 설명된 사용자 입력 커맨드를 수행하지 않을 수 있다. 도 11a 및 도 11b를 참조하여 설명된 데이터 패킷들은 일반적으로 도 6을 참조하여 설명된 데이터 패킷들의 형태를 취할 수 있고, 소스 디바이스에서 오디오/비디오 데이터를 제어하는데 이용될 수 있다.
도 12a는 본 개시에 따라 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 싱크 디바이스(160(도 1a) 또는 360(도 3))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(332))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(331))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 12a의 방법은 무선 싱크 디바이스(160)와 같은 무선 싱크 디바이스에서 사용자 입력 데이터를 획득하는 단계를 포함한다(1201). 일례에서, 사용자 입력 데이터는 음성 커맨드 데이터일 수 있고, 음성 커맨드 데이터는, 예를 들어, 도 3의 사용자 입력 인터페이스(376)에 포함된 음성 커맨드 인식 모듈과 같은, 무선 싱크 디바이스(160)의 사용자 입력 컴포넌트를 통해 획득될 수 있다. 싱크 디바이스(160)는 사용자 입력에 기초하여 데이터 패킷 헤더를 생성할 수 있다(1203). 싱크 디바이스(160)는 또한 페이로드 데이터를 생성할 수 있고(1205), 여기서 페이로드 데이터는 음성 커맨드 데이터를 포함할 수 있다. 일례에서, 페이로드 데이터는 또한 수신된 사용자 입력 데이터를 포함할 수 있고, 하나 또는 그 초과의 사용자 커맨드들을 식별할 수 있다. 싱크 디바이스(160)는 데이터 패킷을 추가로 생성할 수 있고(1207), 여기서 데이터 패킷은 생성된 데이터 패킷 헤더 및 페이로드 데이터를 포함한다. 그 다음, 싱크 디바이스(160)는 생성된 데이터 패킷(1209)을 무선 소스 디바이스(예를 들어, 소스 디바이스(도 1a의 120 또는 도 2의 220))에 송신할 수 있다(1209). 싱크 디바이스(160)는, 예를 들어, 도 3을 참조하여 도시된 바와 같은 전송 유닛(333) 및 무선 모뎀(334)을 포함하는, 데이터 패킷들의 전송을 허용하는 컴포넌트들을 포함할 수 있다. 데이터 패킷은 TCP/IP를 통해 무선 소스 디바이스에 송신될 수 있다.
도 12b는 본 개시에 따라 무선 소스 디바이스에서 무선 싱크 디바이스로부터의 사용자 입력 데이터를 수신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 소스 디바이스(120(도 1a) 또는 220(도 2))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(232))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(231))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 12b의 방법은 데이터 패킷을 수신하는 단계를 포함하고(1202), 여기서 데이터 패킷은 다른 것들 중, 데이터 패킷 헤더 및 페이로드 데이터를 포함할 수 있다. 페이로드 데이터는, 예를 들어, 음성 커맨드 데이터와 같은 사용자 입력 데이터를 포함할 수 있다. 소스 디바이스(120)는, 예를 들어, 도 2를 참조하여 도시된 바와 같은 전송 유닛(233) 및 무선 모뎀(234)을 포함하는, 데이터 패킷들의 전송을 허용하는 통신 컴포넌트들을 포함할 수 있다. 그 다음, 소스 디바이스(120)는, 페이로드 데이터가 음성 커맨드 데이터를 포함하는지 여부를 결정하기 위해, 데이터 패킷에 포함된 페이로드 데이터를 파싱할 수 있다(1204). 도 12a 및 도 12b를 참조하여 설명된 데이터 패킷들은 일반적으로 도 6을 참조하여 설명된 데이터 패킷들의 형태를 취할 수 있고, 소스 디바이스에서 오디오/비디오 데이터를 제어하는데 이용될 수 있다.
도 13a는 본 개시에 따라 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 싱크 디바이스(160(도 1a) 또는 360(도 3))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(332))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(331))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 13a의 방법은 무선 싱크 디바이스(160)와 같은 무선 싱크 디바이스에서 사용자 입력 데이터를 획득하는 단계를 포함한다(1301). 일례에서, 사용자 입력 데이터는, 예를 들어, 도 3의 UI(167) 또는 사용자 입력 인터페이스(376)와 같은, 무선 싱크 디바이스(160)의 사용자 입력 컴포넌트를 통해 획득될 수 있는 멀티-터치 제스쳐일 수 있다. 일례에서, 멀티-터치 제스쳐는 제 1 터치 입력 및 제 2 터치 입력을 포함할 수 있다. 싱크 디바이스(160)는 사용자 입력에 기초하여 데이터 패킷 헤더를 생성할 수 있다(1303). 싱크 디바이스(160)는 또한 페이로드 데이터를 생성할 수 있고(1305), 여기서 페이로드 데이터는, 제 1 터치 입력 이벤트에 대한 사용자 입력 데이터를 제 1 포인터 식별과 연관시킬 수 있고, 제 2 터치 입력 이벤트에 대한 사용자 입력 데이터를 제 2 포인터 식별과 연관시킬 수 있다. 싱크 디바이스(160)는 데이터 패킷을 추가로 생성할 수 있고(1307), 여기서 데이터 패킷은 생성된 데이터 패킷 헤더 및 페이로드 데이터를 포함한다. 그 다음, 싱크 디바이스(160)는 생성된 데이터 패킷을 무선 소스 디바이스(예를 들어, 소스 디바이스(도 1a의 120 또는 도 2의 220))에 송신할 수 있다(1309). 싱크 디바이스(160)는, 예를 들어, 도 3을 참조하여 도시된 바와 같은 전송 유닛(333) 및 무선 모뎀(334)을 포함하는, 데이터 패킷들의 전송을 허용하는 컴포넌트들을 포함할 수 있다. 데이터 패킷은 TCP/IP를 통해 무선 소스 디바이스에 송신될 수 있다.
도 13b는 본 개시에 따라 무선 소스 디바이스에서 무선 싱크 디바이스로부터의 사용자 입력 데이터를 수신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 소스 디바이스(120(도 1a) 또는 220(도 2))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(232))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(231))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 13b의 방법은 데이터 패킷을 수신하는 단계를 포함하고(1302), 여기서 데이터 패킷은 다른 것들 중, 데이터 패킷 헤더 및 페이로드 데이터를 포함할 수 있다. 페이로드 데이터는, 예를 들어, 멀티-터치 제스쳐와 같은 사용자 입력 데이터를 포함할 수 있다. 소스 디바이스(120)는, 예를 들어, 도 2에 도시된 바와 같은 전송 유닛(233) 및 무선 모뎀(234)을 포함하는, 데이터 패킷들의 전송을 허용하는 통신 컴포넌트들을 포함할 수 있다. 그 다음, 소스 디바이스(120)는 페이로드 데이터에 포함된 사용자 입력 데이터를 식별하기 위해, 데이터 패킷에 포함된 페이로드 데이터를 파싱할 수 있다(1304). 일례에서, 식별된 데이터는, 제 1 포인터 식별을 갖는 제 1 터치 입력 이벤트에 대한 사용자 입력 데이터 및 제 2 포인터 식별을 갖는 제 2 터치 입력 이벤트에 대한 사용자 입력 데이터를 포함할 수 있다. 그 다음, 소스 디바이스(120)는 제 1 터치 입력 이벤트에 대한 사용자 입력 데이터 및 제 2 터치 입력 이벤트에 대한 사용자 입력 데이터를 멀티-터치 제스쳐로서 해석할 수 있다(1306). 도 13a 및 도 13b를 참조하여 설명된 데이터 패킷들은 일반적으로 도 6을 참조하여 설명된 데이터 패킷들의 형태를 취할 수 있고, 소스 디바이스에서 오디오/비디오 데이터를 제어하는데 이용될 수 있다.
도 14a는 본 개시에 따라 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 싱크 디바이스(160(도 1a) 또는 360(도 3))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(332))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(331))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 14a의 방법은 외부 디바이스로부터의 사용자 입력 데이터를 무선 싱크 디바이스(360)에서 획득하는 단계를 포함한다(1401). 일례에서, 외부 디바이스는 싱크 디바이스에 접속된 제 3의 디바이스일 수 있다. 싱크 디바이스(160)는 사용자 입력에 기초하여 데이터 패킷 헤더를 생성할 수 있다(1403). 일례에서, 데이터 패킷 헤더는 사용자 입력 데이터를 포워딩된 사용자 입력 데이터로서 식별할 수 있다. 싱크 디바이스(160)는 또한 페이로드 데이터를 생성할 수 있고(1405), 여기서 페이로드 데이터는 사용자 입력 데이터를 포함할 수 있다. 싱크 디바이스(160)는 데이터 패킷을 추가로 생성할 수 있고(1407), 여기서 데이터 패킷은 생성된 데이터 패킷 헤더 및 페이로드 데이터를 포함할 수 있다. 그 다음, 싱크 디바이스(160)는 생성된 데이터 패킷을 무선 소스 디바이스(예를 들어, 소스 디바이스(도 1a의 120 또는 도 2의 220))에 송신할 수 있다(1409). 싱크 디바이스(160)는, 예를 들어, 도 3을 참조하여 도시된 바와 같은 전송 유닛(333) 및 무선 모뎀(334)을 포함하는, 데이터 패킷들의 전송을 허용하는 컴포넌트들을 포함할 수 있다. 데이터 패킷은 TCP/IP를 통해 무선 소스 디바이스에 송신될 수 있다.
도 14b는 본 개시에 따라 무선 소스 디바이스에서 무선 싱크 디바이스로부터의 사용자 입력 데이터를 수신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 소스 디바이스(120(도 1a) 또는 220(도 2))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(232))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(231))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 14b의 방법은 데이터 패킷을 수신하는 단계를 포함하고(1402), 여기서 데이터 패킷은 다른 것들 중, 데이터 패킷 헤더 및 페이로드 데이터를 포함할 수 있다. 페이로드 데이터는, 예를 들어, 사용자 입력 데이터가 제 3의 디바이스로부터 포워딩된 것을 나타내는 포워딩된 사용자 입력 커맨드와 같은 사용자 입력 데이터를 포함할 수 있다. 소스 디바이스(120)는, 예를 들어, 도 2를 참조하여 도시된 바와 같은 전송 유닛(233) 및 무선 모뎀(234)을 포함하는, 데이터 패킷들의 전송을 허용하는 통신 컴포넌트들을 포함할 수 있다. 그 다음, 소스 디바이스(120)는 데이터 패킷 헤더를 파싱할 수 있고, 페이로드 데이터가 포워딩된 사용자 입력 커맨드를 포함한다고 결정할 수 있다(1404). 그 다음, 소스 디바이스(120)는, 포워딩된 사용자 입력 커맨드에 대응하는 제 3의 디바이스와 연관된 식별을 식별하기 위해, 데이터 패킷에 포함된 페이로드 데이터를 파싱할 수 있다(1406). 그 다음, 소스 디바이스(120)는 제 3의 디바이스의 식별된 식별에 기초하여 페이로드 데이터를 프로세싱할 수 있다(1408). 도 14a 및 도 14b를 참조하여 설명된 데이터 패킷들은 일반적으로 도 6을 참조하여 설명된 데이터 패킷들의 형태를 취할 수 있고, 소스 디바이스에서 오디오/비디오 데이터를 제어하는데 이용될 수 있다.
도 15a는 본 개시에 따라 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 싱크 디바이스(160(도 1a) 또는 360(도 3))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(332))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(331))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 15a의 방법은 무선 싱크 디바이스에서 사용자 입력 데이터를 획득하는 단계를 포함한다(1501). 사용자 입력 데이터는 연관된 좌표 데이터를 가질 수 있다. 연관된 좌표 데이터는, 예를 들어, 마우스 클릭 이벤트의 위치 또는 터치 이벤트의 위치에 대응할 수 있다. 그 다음, 싱크 디바이스(160)는 정규화된 좌표 데이터를 생성하기 위해 연관된 좌표 데이터를 정규화할 수 있다(1503). 그 다음, 싱크 디바이스(160)는 정규화된 좌표 데이터를 포함하는 데이터 패킷을 생성할 수 있다(1505). 좌표 데이터를 정규화하는 것은, 소스 디바이스(120)의 디스플레이(22)와 같은 소스의 디스플레이의 해상도 및 디스플레이 윈도우의 해상도의 비에 기초하여 연관된 좌표 데이터를 스케일링하는 것을 포함할 수 있다. 디스플레이 윈도우의 해상도는 싱크 디바이스(160)에 의해 결정될 수 있고, 소스 디바이스의 디스플레이의 해상도는 소스 디바이스(120)로부터 수신될 수 있다. 그 다음, 싱크 디바이스(160)는 정규화된 좌표들을 갖는 데이터 패킷을 무선 소스 디바이스(120)에 송신할 수 있다(1507). 도 15a의 방법의 일부로서, 싱크 디바이스(160)는 또한, 연관된 좌표 데이터가, 무선 소스 디바이스로부터 수신되고 있는 컨텐츠에 대한 디스플레이 윈도우 내에 있는지 여부를 결정할 수 있고, 예를 들어, 연관된 좌표 데이터가 디스플레이 윈도우 외부에 있으면 사용자 입력을 로컬로 프로세싱할 수 있거나, 또는 그렇지 않고 입력이 디스플레이 윈도우 내에 있으면, 설명된 바와 같이, 좌표들을 정규화할 수 있다.
도 15b는 본 개시에 따라 무선 소스 디바이스에서 무선 싱크 디바이스로부터의 사용자 입력 데이터를 수신하는 예시적인 방법의 흐름도이다. 도시된 예시적인 방법은 소스 디바이스(120(도 1a) 또는 220(도 2))에 의해 수행될 수 있다. 몇몇 예들에서, 컴퓨터 판독가능 저장 매체(예를 들어, 메모리(232))는, 실행되는 경우 하나 또는 그 초과의 프로세서들(예를 들어, 프로세서(231))로 하여금, 흐름도에서의 예시된 단계들 중 하나 또는 그 초과를 수행하게 하는 명령들, 모듈들 또는 알고리즘들을 저장할 수 있다.
도 15b의 방법은 무선 소스 디바이스에서 데이터 패킷을 수신하는 단계를 포함하고, 여기서 데이터 패킷은 연관된 좌표 데이터를 갖는 사용자 입력 데이터를 포함한다(1502). 연관된 좌표 데이터는, 예를 들어, 싱크 디바이스에서 마우스 클릭 이벤트의 위치 또는 터치 이벤트의 위치에 대응할 수 있다. 그 다음, 소스 디바이스(120)는 정규화된 좌표 데이터를 생성하기 위해 연관된 좌표 데이터를 정규화할 수 있다(1504). 소스 디바이스(120)는, 소스의 디스플레이의 해상도 및 디스플레이 윈도우의 해상도의 비에 기초하여 연관된 좌표 데이터를 스케일링함으로써 좌표 데이터를 정규화할 수 있다. 소스 디바이스(120)는 소스 디바이스의 디스플레이의 해상도를 결정할 수 있고, 무선 싱크 디바이스로부터 디스플레이 윈도우의 해상도를 수신할 수 있다. 그 다음, 소스 디바이스는 정규화된 좌표 데이터에 기초하여 데이터 패킷을 프로세싱할 수 있다(1506). 도 15a 및 도 15b를 참조하여 설명된 데이터 패킷들은 일반적으로 도 6을 참조하여 설명된 데이터 패킷들의 형태를 취할 수 있고, 소스 디바이스에서 오디오/비디오 데이터를 제어하는데 이용될 수 있다.
설명의 단순함을 위해, 본 개시의 양상들은 도 7 내지 도 15를 참조하여 개별적으로 설명되었다. 그러나, 이러한 다양한 양상들은 조합될 수 있고, 단지 개별적이 아니라 서로 결합되어 이용될 수 있음이 고려된다. 일반적으로, 본 명세서에서 설명된 기능 및/또는 모듈들은 무선 소스 디바이스 및 무선 싱크 디바이스 중 하나 또는 둘 모두에서 구현될 수 있다. 이러한 방식으로, 현재의 예에서 설명되는 사용자 인터페이스 능력들은 무선 소스 디바이스와 무선 싱크 디바이스 사이에서 상호교환가능하게 이용될 수 있다.
본 개시의 기술들은, 무선 핸드셋을 포함하는 광범위한 디바이스들 또는 장치들, 및 집적 회로(IC) 또는 IC들의 세트(즉, 칩 셋)에서 구현될 수 있다. 임의의 컴포넌트들, 모듈들 또는 유닛들은 기능적 양상들을 강조하기 위해 제공된 것으로 설명되었고, 반드시 상이한 하드웨어 유닛들에 의한 실현을 요구하는 것은 아니다.
따라서, 본 명세서에서 설명되는 기술들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 하드웨어로 구현되면, 모듈들, 유닛들 또는 컴포넌트들로 설명된 임의의 특징들은 집적 로직 디바이스에서 함께 구현되거나, 이산적이지만 상호협력가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 소프트웨어로 구현되면, 기술들은, 프로세서에서 실행되는 경우 앞서 설명된 방법들 중 하나 또는 그 초과를 수행하는 명령들을 포함하는 컴퓨터 판독가능 매체에 의해 적어도 부분적으로 실현될 수 있다. 컴퓨터 판독가능 매체는 유형의 비일시적 컴퓨터 판독가능 저장 매체를 포함할 수 있고, 패키징 재료들을 포함할 수 있는 컴퓨터 프로그램 물건의 일부를 형성할 수 있다. 컴퓨터 판독가능 저장 매체는 동기식 동적 랜덤 액세스 메모리(SDRAM)과 같은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 비휘발성 랜덤 액세스 메모리(NVRAM), 전기적으로 소거가능한 프로그래머블 판독 전용 메모리(EEPROM), FLASH 메모리, 자기 또는 광학 데이터 저장 매체 등을 포함할 수 있다. 기술들은 추가적으로 또는 대안적으로, 명령들 또는 데이터 구조들의 형태로 코드를 반송 또는 통신하고 컴퓨터에 의해 액세스, 판독 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수 있다.
코드는, 하나 또는 그 초과의 디지털 신호 프로세서들(DSP들), 범용 마이크로프로세서들, 주문형 집적 회로들(ASIC들), 필드 프로그래머블 로직 어레이들(FPGA들), 또는 다른 균등한 집적 또는 이산 로직 회로와 같은 하나 또는 그 초과의 프로세서들에 의해 실행될 수 있다. 따라서, 본 명세서에서 사용되는 바와 같은 용어 "프로세서"는, 전술한 구조 또는 본 명세서에서 설명되는 기술들의 구현에 적합한 임의의 다른 구조 중 임의의 구조를 지칭할 수 있다. 또한, 몇몇 양상들에서, 본 명세서에서 설명된 기능은, 전용 소프트웨어 모듈들, 또는 인코딩 및 디코딩을 위해 구성되거나 결합된 비디오 코덱으로 통합된 하드웨어 모듈들 내에서 제공될 수 있다. 또한, 기술들은 하나 또는 그 초과의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시의 다양한 양상들이 설명되었다. 이러한 양상들 및 다른 양상들은 하기 청구항들의 범위 내에 있다.

Claims (94)

  1. 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법으로서,
    상기 방법은,
    상기 무선 싱크 디바이스에서 사용자 입력 데이터를 획득하는 단계;
    상기 무선 싱크 디바이스에서, 상기 사용자 입력 데이터를 설명하는 페이로드 데이터를 생성하는 단계;
    상기 무선 싱크 디바이스에서, 데이터 패킷 헤더 및 상기 페이로드 데이터를 포함하는 데이터 패킷을 생성하는 단계 ― 상기 데이터 패킷은 상기 무선 소스 디바이스로부터 상기 무선 싱크 디바이스로 송신되는 컨텐츠를 제어하기 위한 것임 ― ;
    상기 데이터 패킷을 상기 무선 싱크 디바이스로부터 상기 무선 소스 디바이스에 송신하는 단계를 포함하는,
    무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  2. 제 1 항에 있어서,
    상기 페이로드 데이터는 입력 타입을 식별하기 위한 입력 타입 필드를 포함하는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  3. 제 2 항에 있어서,
    상기 입력 타입은, 마우스 버튼을 누르는 것, 마우스 버튼을 릴리스(release)하는 것, 디스플레이를 터치하는 것, 디스플레이를 릴리스하는 것, 마우스 커서를 이동시키는 것, 디스플레이 상에서 터치를 이동시키는 것, 키를 아래로 누르는 것, 키를 릴리스하는 것, 주밍(zooming)하는 것, 수직 스크롤링하는 것, 수평 스크롤링하는 것 및 회전시키는 것으로 이루어진 그룹으로부터 선택되는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  4. 제 1 항에 있어서,
    상기 페이로드 데이터는 입력 설명의 길이를 식별하는 길이 필드를 포함하는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  5. 제 4 항에 있어서,
    상기 입력 설명의 길이는 옥테트(octet)들의 단위들로 식별되는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  6. 제 1 항에 있어서,
    상기 페이로드 데이터는 상기 사용자 입력 데이터의 세부사항들을 설명하기 위한 설명 필드를 포함하는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  7. 제 1 항에 있어서,
    상기 페이로드 데이터는, 제 1 입력 타입 필드, 제 1 길이 필드, 제 1 설명 필드, 제 2 입력 타입 필드, 제 2 길이 필드 및 제 2 설명 필드를 포함하고, 상기 제 1 길이 필드에 포함된 길이 값은 상기 제 1 설명 필드의 종료 및 상기 제 2 입력 타입 필드의 시작을 식별하는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  8. 제 1 항에 있어서,
    상기 페이로드 데이터는 다수의 포인터 이벤트들을 식별하고, 각각의 포인터 이벤트에 대해, 상기 포인터 이벤트가 발생한 좌표들에 대응하는 x-좌표 및 y-좌표를 식별하는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  9. 제 8 항에 있어서,
    상기 x-좌표 및 y-좌표는 상기 무선 싱크 디바이스와 상기 무선 소스 디바이스 사이에서 비디오 스트림의 협상된 해상도에 기초하는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  10. 제 1 항에 있어서,
    상기 페이로드 데이터는 키 다운 이벤트에 대응하는 ASCII 코드를 포함하는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  11. 삭제
  12. 제 1 항에 있어서,
    상기 페이로드 데이터는 x-좌표 값, y-좌표 값 및 줌 팩터의 표시를 포함하는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  13. 제 1 항에 있어서,
    상기 페이로드 데이터는 수평으로 스크롤할 양의 표시를 포함하는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  14. 제 13 항에 있어서,
    상기 수평으로 스크롤할 양은 픽셀들의 단위들이고, 상기 무선 소스 디바이스의 디스플레이 해상도에 기초하는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  15. 제 1 항에 있어서,
    상기 페이로드 데이터는 수직으로 스크롤할 양의 표시를 포함하는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  16. 제 15 항에 있어서,
    상기 수직으로 스크롤할 양은 픽셀들의 단위들이고, 상기 무선 소스 디바이스의 디스플레이 해상도에 기초하는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  17. 제 1 항에 있어서,
    상기 페이로드 데이터는 상기 컨텐츠의 회전량의 표시를 포함하는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  18. 제 17 항에 있어서,
    상기 회전량은 라디안(radians) 단위들인, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  19. 제 1 항에 있어서,
    상기 사용자 입력 데이터를 획득하는 단계는, 상기 무선 싱크 디바이스의 입력 디바이스를 통해 상기 사용자 입력 데이터를 캡쳐하는 단계를 포함하는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  20. 제 1 항에 있어서,
    상기 사용자 입력 데이터를 획득하는 단계는, 다른 무선 싱크 디바이스로부터 포워딩된 사용자 입력 데이터를 수신하는 단계를 포함하는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  21. 제 1 항에 있어서,
    상기 데이터 패킷 헤더는 애플리케이션 계층 패킷 헤더인, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  22. 제 1 항에 있어서,
    상기 데이터 패킷은 상기 무선 소스 디바이스의 오디오 데이터 또는 비디오 데이터를 제어하기 위한 것인, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  23. 제 1 항에 있어서,
    상기 데이터 패킷은 TCP/IP를 통해 송신되는, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법.
  24. 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스로서,
    상기 무선 싱크 디바이스는,
    명령들을 저장하는 메모리;
    상기 명령들을 실행하도록 구성되는 하나 또는 그 초과의 프로세서들을 포함하고,
    상기 하나 또는 그 초과의 프로세서들은 상기 명령들의 실행 시에,
    상기 무선 싱크 디바이스에서 사용자 입력 데이터를 획득하는 것;
    상기 사용자 입력 데이터를 설명하는 페이로드 데이터를 생성하는 것;
    데이터 패킷 헤더 및 상기 페이로드 데이터를 포함하는 데이터 패킷을 생성하는 것 ― 상기 데이터 패킷은 상기 무선 소스 디바이스로부터 상기 무선 싱크 디바이스로 송신되는 컨텐츠를 제어하기 위한 것임 ―;
    을 초래하고,
    상기 무선 싱크 디바이스는, 상기 데이터 패킷을 상기 무선 소스 디바이스에 송신하기 위한 전송 유닛을 포함하는,
    무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  25. 제 24 항에 있어서,
    상기 페이로드 데이터는 입력 타입을 식별하기 위한 입력 타입 필드를 포함하는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  26. 제 25 항에 있어서,
    상기 입력 타입은, 마우스 버튼을 누르는 것, 마우스 버튼을 릴리스하는 것, 디스플레이를 터치하는 것, 디스플레이를 릴리스하는 것, 마우스 커서를 이동시키는 것, 디스플레이 상에서 터치를 이동시키는 것, 키를 아래로 누르는 것, 키를 릴리스하는 것, 주밍하는 것, 수직 스크롤링하는 것, 수평 스크롤링하는 것 및 회전시키는 것으로 이루어진 그룹으로부터 선택되는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  27. 제 24 항에 있어서,
    상기 페이로드 데이터는 입력 설명의 길이를 식별하는 길이 필드를 포함하는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  28. 제 27 항에 있어서,
    상기 입력 설명의 길이는 옥테트들의 단위들로 식별되는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  29. 제 24 항에 있어서,
    상기 페이로드 데이터는 상기 사용자 입력 데이터의 세부사항들을 설명하기 위한 설명 필드를 포함하는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  30. 제 24 항에 있어서,
    상기 페이로드 데이터는, 제 1 입력 타입 필드, 제 1 길이 필드, 제 1 설명 필드, 제 2 입력 타입 필드, 제 2 길이 필드 및 제 2 설명 필드를 포함하고, 상기 제 1 길이 필드에 포함된 길이 값은 상기 제 1 설명 필드의 종료 및 상기 제 2 입력 타입 필드의 시작을 식별하는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  31. 제 24 항에 있어서,
    상기 페이로드 데이터는 다수의 포인터 이벤트들을 식별하고, 각각의 포인터 이벤트에 대해, 상기 포인터 이벤트가 발생한 좌표들에 대응하는 x-좌표 및 y-좌표를 식별하는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  32. 제 31 항에 있어서,
    상기 x-좌표 및 y-좌표는 상기 무선 싱크 디바이스와 상기 무선 소스 디바이스 사이에서 비디오 스트림의 협상된 해상도에 기초하는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  33. 제 24 항에 있어서,
    상기 페이로드 데이터는 키 다운 이벤트에 대응하는 ASCII 코드를 포함하는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  34. 삭제
  35. 제 24 항에 있어서,
    상기 페이로드 데이터는 x-좌표 값, y-좌표 값 및 줌 팩터의 표시를 포함하는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  36. 제 24 항에 있어서,
    상기 페이로드 데이터는 수평으로 스크롤할 양의 표시를 포함하는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  37. 제 36 항에 있어서,
    상기 수평으로 스크롤할 양은 픽셀들의 단위들이고, 상기 무선 소스 디바이스의 디스플레이 해상도에 기초하는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  38. 제 24 항에 있어서,
    상기 페이로드 데이터는 수직으로 스크롤할 양의 표시를 포함하는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  39. 제 38 항에 있어서,
    상기 수직으로 스크롤할 양은 픽셀들의 단위들이고, 상기 무선 소스 디바이스의 디스플레이 해상도에 기초하는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  40. 제 24 항에 있어서,
    상기 페이로드 데이터는 상기 컨텐츠의 회전량의 표시를 포함하는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  41. 제 40 항에 있어서,
    상기 회전량은 라디안 단위들인, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  42. 제 24 항에 있어서,
    상기 사용자 입력 데이터를 획득하는 것은, 상기 무선 싱크 디바이스의 입력 디바이스를 통해 상기 사용자 입력 데이터를 캡쳐하는 것을 포함하는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  43. 제 24 항에 있어서,
    상기 사용자 입력 데이터를 획득하는 것은, 다른 무선 싱크 디바이스로부터 포워딩된 사용자 입력 데이터를 수신하는 것을 포함하는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  44. 제 24 항에 있어서,
    상기 데이터 패킷 헤더는 애플리케이션 계층 패킷 헤더인, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  45. 제 24 항에 있어서,
    상기 데이터 패킷은 상기 무선 소스 디바이스의 오디오 데이터 또는 비디오 데이터를 제어하기 위한 것인, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  46. 제 24 항에 있어서,
    상기 데이터 패킷은 TCP/IP를 통해 송신되는, 무선 소스 디바이스에 사용자 입력 데이터를 송신하도록 구성되는 무선 싱크 디바이스.
  47. 하나 또는 그 초과의 프로세서들에 의한 실행시에, 상기 하나 또는 그 초과의 프로세서들로 하여금, 무선 싱크 디바이스로부터 무선 소스 디바이스에 사용자 입력 데이터를 송신하는 방법을 수행하게 하는 명령들을 저장하는 컴퓨터 판독가능 저장 매체로서,
    상기 방법은,
    상기 무선 싱크 디바이스에서 사용자 입력 데이터를 획득하는 단계;
    상기 무선 싱크 디바이스에서, 상기 사용자 입력 데이터를 설명하는 페이로드 데이터를 생성하는 단계;
    상기 무선 싱크 디바이스에서, 데이터 패킷 헤더 및 상기 페이로드 데이터를 포함하는 데이터 패킷을 생성하는 단계 ― 상기 데이터 패킷은 상기 무선 소스 디바이스로부터 상기 무선 싱크 디바이스로 송신되는 컨텐츠를 제어하기 위한 것임 ― ;
    상기 데이터 패킷을 상기 무선 싱크 디바이스로부터 상기 무선 소스 디바이스에 송신하는 단계를 포함하는,
    컴퓨터 판독가능 저장 매체.
  48. 사용자 입력 데이터를 무선 소스 디바이스에 송신하도록 구성되는 무선 싱크 디바이스로서,
    상기 무선 싱크 디바이스는,
    상기 무선 싱크 디바이스에서 사용자 입력 데이터를 획득하기 위한 수단;
    상기 사용자 입력 데이터를 설명하는 페이로드 데이터를 생성하기 위한 수단;
    데이터 패킷 헤더 및 상기 페이로드 데이터를 포함하는 데이터 패킷을 생성하기 위한 수단 ― 상기 데이터 패킷은 상기 무선 소스 디바이스로부터 상기 무선 싱크 디바이스로 송신되는 컨텐츠를 제어하기 위한 것임 ― ;
    상기 데이터 패킷을 상기 무선 소스 디바이스에 송신하기 위한 수단을 포함하는,
    사용자 입력 데이터를 무선 소스 디바이스에 송신하도록 구성되는 무선 싱크 디바이스.
  49. 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법으로서,
    상기 방법은,
    상기 무선 소스 디바이스에서 상기 무선 싱크 디바이스로부터 데이터 패킷을 수신하는 단계 ― 상기 데이터 패킷은 데이터 패킷 헤더 및 페이로드 데이터를 포함하고, 상기 페이로드 데이터는 사용자 입력의 세부사항들을 설명하는 데이터를 포함하고, 상기 데이터 패킷은 상기 무선 소스 디바이스로부터 상기 무선 싱크 디바이스로 송신되는 컨텐츠를 제어하기 위한 것임 ― ;
    상기 무선 소스 디바이스에서 상기 페이로드 데이터의 입력 타입 필드 내의 입력 타입 값을 결정하기 위해 상기 데이터 패킷을 파싱하는 단계;
    상기 무선 소스 디바이스에서 상기 입력 타입 값에 기초하여 상기 사용자 입력의 세부사항들을 설명하는 데이터를 프로세싱하는 단계를 포함하는,
    무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  50. 제 49 항에 있어서,
    상기 입력 타입은, 마우스 버튼을 누르는 것, 마우스 버튼을 릴리스하는 것, 디스플레이를 터치하는 것, 디스플레이를 릴리스하는 것, 마우스 커서를 이동시키는 것, 디스플레이 상에서 터치를 이동시키는 것, 키를 아래로 누르는 것, 키를 릴리스하는 것, 주밍하는 것, 수직 스크롤링하는 것, 수평 스크롤링하는 것 및 회전시키는 것으로 이루어진 그룹으로부터 선택되는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  51. 제 49 항에 있어서,
    상기 페이로드 데이터는 입력 설명의 길이를 식별하는 길이 필드를 포함하는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  52. 제 51 항에 있어서,
    상기 입력 설명의 길이는 옥테트들의 단위들로 식별되는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  53. 제 49 항에 있어서,
    상기 페이로드 데이터는 상기 사용자 입력의 세부사항들을 설명하는 데이터를 포함하는 설명 필드를 포함하는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  54. 제 49 항에 있어서,
    상기 페이로드 데이터는, 제 1 입력 타입 필드, 제 1 길이 필드, 제 1 설명 필드, 제 2 입력 타입 필드, 제 2 길이 필드 및 제 2 설명 필드를 포함하고, 상기 제 1 길이 필드에 포함된 길이 값은 상기 제 1 설명 필드의 종료 및 상기 제 2 입력 타입 필드의 시작을 식별하는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  55. 제 49 항에 있어서,
    상기 페이로드 데이터는 다수의 포인터 이벤트들을 식별하고, 각각의 포인터 이벤트에 대해, 상기 포인터 이벤트가 발생한 좌표들에 대응하는 x-좌표 및 y-좌표를 식별하는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  56. 제 55 항에 있어서,
    상기 x-좌표 및 y-좌표는 상기 무선 싱크 디바이스와 상기 무선 소스 디바이스 사이에서 비디오 스트림의 협상된 해상도에 기초하는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  57. 제 49 항에 있어서,
    상기 페이로드 데이터는 키 다운 이벤트에 대응하는 ASCII 코드를 포함하는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  58. 삭제
  59. 제 49 항에 있어서,
    상기 페이로드 데이터는 x-좌표 값, y-좌표 값 및 줌 팩터의 표시를 포함하는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  60. 제 49 항에 있어서,
    상기 페이로드 데이터는 수평으로 스크롤할 양의 표시를 포함하는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  61. 제 60 항에 있어서,
    상기 수평으로 스크롤할 양은 픽셀들의 단위들이고, 상기 무선 싱크 디바이스와 상기 무선 소스 디바이스 사이에서 비디오 스트림의 협상된 해상도에 기초하는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  62. 제 49 항에 있어서,
    상기 페이로드 데이터는 수직으로 스크롤할 양의 표시를 포함하는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  63. 제 62 항에 있어서,
    상기 수직으로 스크롤할 양은 픽셀들의 단위들이고, 상기 무선 싱크 디바이스와 상기 무선 소스 디바이스 사이에서 비디오 스트림의 협상된 해상도에 기초하는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  64. 제 49 항에 있어서,
    상기 페이로드 데이터는 상기 컨텐츠의 회전량의 표시를 포함하는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  65. 제 64 항에 있어서,
    상기 회전량은 라디안 단위들인, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  66. 제 49 항에 있어서,
    사용자 입력 데이터를 획득하는 단계는, 상기 무선 싱크 디바이스의 입력 디바이스를 통해 상기 사용자 입력 데이터를 캡쳐하는 단계를 포함하는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  67. 제 49 항에 있어서,
    사용자 입력 데이터를 획득하는 단계는, 다른 무선 싱크 디바이스로부터 포워딩된 사용자 입력 데이터를 수신하는 단계를 포함하는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  68. 제 49 항에 있어서,
    상기 데이터 패킷 헤더는 애플리케이션 계층 패킷 헤더인, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  69. 제 49 항에 있어서,
    상기 데이터 패킷은 상기 무선 소스 디바이스의 오디오 데이터 또는 비디오 데이터를 제어하기 위한 것인, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  70. 제 49 항에 있어서,
    상기 데이터 패킷은 TCP/IP를 통해 송신되는, 무선 싱크 디바이스로부터의 입력 데이터를 무선 소스 디바이스에서 수신하는 방법.
  71. 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스로서,
    상기 무선 소스 디바이스는,
    상기 무선 싱크 디바이스로부터 데이터 패킷을 수신하기 위한 전송 유닛 ―상기 데이터 패킷은 데이터 패킷 헤더 및 페이로드 데이터를 포함하고, 상기 페이로드 데이터는 사용자 입력의 세부사항들을 설명하는 데이터를 포함하고, 상기 데이터 패킷은 상기 무선 소스 디바이스로부터 상기 무선 싱크 디바이스로 송신되는 컨텐츠를 제어하기 위한 것임 ― ;
    명령들을 저장하는 메모리;
    상기 명령들을 실행하도록 구성되는 하나 또는 그 초과의 프로세서들을 포함하고,
    상기 하나 또는 그 초과의 프로세서들은 상기 명령들의 실행 시에,
    상기 페이로드 데이터의 입력 타입 필드 내의 입력 타입 값을 결정하기 위해 상기 데이터 패킷을 파싱하는 것;
    상기 입력 타입 값에 기초하여 상기 사용자 입력의 세부사항들을 설명하는 데이터를 프로세싱하는 것
    을 초래하는,
    무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  72. 제 71 항에 있어서,
    상기 입력 타입은, 마우스 버튼을 누르는 것, 마우스 버튼을 릴리스하는 것, 디스플레이를 터치하는 것, 디스플레이를 릴리스하는 것, 마우스 커서를 이동시키는 것, 디스플레이 상에서 터치를 이동시키는 것, 키를 아래로 누르는 것, 키를 릴리스하는 것, 주밍하는 것, 수직 스크롤링하는 것, 수평 스크롤링하는 것 및 회전시키는 것으로 이루어진 그룹으로부터 선택되는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  73. 제 71 항에 있어서,
    상기 페이로드 데이터는 입력 설명의 길이를 식별하는 길이 필드를 포함하는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  74. 제 73 항에 있어서,
    상기 입력 설명의 길이는 옥테트들의 단위들로 식별되는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  75. 제 71 항에 있어서,
    상기 페이로드 데이터는 상기 사용자 입력의 세부사항들을 설명하는 데이터를 포함하는 설명 필드를 포함하는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  76. 제 71 항에 있어서,
    상기 페이로드 데이터는, 제 1 입력 타입 필드, 제 1 길이 필드, 제 1 설명 필드, 제 2 입력 타입 필드, 제 2 길이 필드 및 제 2 설명 필드를 포함하고, 상기 제 1 길이 필드에 포함된 길이 값은 상기 제 1 설명 필드의 종료 및 상기 제 2 입력 타입 필드의 시작을 식별하는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  77. 제 71 항에 있어서,
    상기 페이로드 데이터는 다수의 포인터 이벤트들을 식별하고, 각각의 포인터 이벤트에 대해, 상기 포인터 이벤트가 발생한 좌표들에 대응하는 x-좌표 및 y-좌표를 식별하는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  78. 제 77 항에 있어서,
    상기 x-좌표 및 y-좌표는 상기 무선 싱크 디바이스와 상기 무선 소스 디바이스 사이에서 비디오 스트림의 협상된 해상도에 기초하는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  79. 제 71 항에 있어서,
    상기 페이로드 데이터는 키 다운 이벤트에 대응하는 ASCII 코드를 포함하는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  80. 삭제
  81. 제 71 항에 있어서,
    상기 페이로드 데이터는 x-좌표 값, y-좌표 값 및 줌 팩터의 표시를 포함하는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  82. 제 71 항에 있어서,
    상기 페이로드 데이터는 수평으로 스크롤할 양의 표시를 포함하는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  83. 제 82 항에 있어서,
    상기 수평으로 스크롤할 양은 픽셀들의 단위들이고, 상기 무선 싱크 디바이스와 상기 무선 소스 디바이스 사이에서 비디오 스트림의 협상된 해상도에 기초하는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  84. 제 71 항에 있어서,
    상기 페이로드 데이터는 수직으로 스크롤할 양의 표시를 포함하는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  85. 제 84 항에 있어서,
    상기 수직으로 스크롤할 양은 픽셀들의 단위들이고, 상기 무선 싱크 디바이스와 상기 무선 소스 디바이스 사이에서 비디오 스트림의 협상된 해상도에 기초하는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  86. 제 71 항에 있어서,
    상기 페이로드 데이터는 상기 컨텐츠의 회전량의 표시를 포함하는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  87. 제 86 항에 있어서,
    상기 회전량은 라디안 단위들인, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  88. 제 71 항에 있어서,
    상기 사용자 입력 데이터를 획득하는 것은, 상기 무선 싱크 디바이스의 입력 디바이스를 통해 상기 사용자 입력 데이터를 캡쳐하는 것을 포함하는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  89. 제 71 항에 있어서,
    사용자 입력 데이터를 획득하는 것은, 다른 무선 싱크 디바이스로부터 포워딩된 사용자 입력 데이터를 수신하는 것을 포함하는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  90. 제 71 항에 있어서,
    상기 데이터 패킷 헤더는 애플리케이션 계층 패킷 헤더인, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  91. 제 71 항에 있어서,
    상기 데이터 패킷은 상기 무선 소스 디바이스의 오디오 데이터 또는 비디오 데이터를 제어하기 위한 것인, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  92. 제 71 항에 있어서,
    상기 데이터 패킷은 TCP/IP를 통해 송신되는, 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
  93. 하나 또는 그 초과의 프로세서들에 의한 실행시에, 상기 하나 또는 그 초과의 프로세서들로 하여금, 무선 싱크 디바이스로부터의 사용자 입력 데이터를 수신하는 방법을 수행하게 하는 명령들을 저장하는 컴퓨터 판독가능 저장 매체로서,
    상기 방법은,
    무선 소스 디바이스에서 상기 무선 싱크 디바이스로부터 데이터 패킷을 수신하는 단계 ― 상기 데이터 패킷은 데이터 패킷 헤더 및 페이로드 데이터를 포함하고, 상기 페이로드 데이터는 사용자 입력의 세부사항들을 설명하는 데이터를 포함하고, 상기 데이터 패킷은 상기 무선 소스 디바이스로부터 상기 무선 싱크 디바이스로 송신되는 컨텐츠를 제어하기 위한 것임 ― ;
    상기 무선 소스 디바이스에서, 상기 페이로드 데이터의 입력 타입 필드 내의 입력 타입 값을 결정하기 위해 상기 데이터 패킷을 파싱하는 단계;
    상기 무선 소스 디바이스에서, 상기 입력 타입 값에 기초하여 상기 사용자 입력의 세부사항들을 설명하는 데이터를 프로세싱하는 단계를 포함하는, 컴퓨터 판독가능 저장 매체.
  94. 무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스로서,
    상기 무선 소스 디바이스는,
    상기 무선 싱크 디바이스로부터 데이터 패킷을 수신하기 위한 수단 ― 상기 데이터 패킷은 데이터 패킷 헤더 및 페이로드 데이터를 포함하고, 상기 페이로드 데이터는 사용자 입력의 세부사항들을 설명하는 데이터를 포함하고, 상기 데이터 패킷은 상기 무선 소스 디바이스로부터 상기 무선 싱크 디바이스로 송신되는 컨텐츠를 제어하기 위한 것임 ― ;
    상기 페이로드 데이터의 입력 타입 필드 내의 입력 타입 값을 결정하기 위해 상기 데이터 패킷을 파싱하기 위한 수단; 및
    상기 입력 타입 값에 기초하여 상기 사용자 입력의 세부사항들을 설명하는 데이터를 프로세싱하기 위한 수단을 포함하는,
    무선 싱크 디바이스로부터 사용자 입력 데이터를 수신하도록 구성되는 무선 소스 디바이스.
KR1020137021931A 2011-01-21 2012-01-20 무선 디스플레이들을 위한 사용자 입력 백 채널 KR101640854B1 (ko)

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
US201161435194P 2011-01-21 2011-01-21
US61/435,194 2011-01-21
US201161447592P 2011-02-28 2011-02-28
US61/447,592 2011-02-28
US201161448312P 2011-03-02 2011-03-02
US61/448,312 2011-03-02
US201161450101P 2011-03-07 2011-03-07
US61/450,101 2011-03-07
US201161467543P 2011-03-25 2011-03-25
US201161467535P 2011-03-25 2011-03-25
US61/467,543 2011-03-25
US61/467,535 2011-03-25
US201161514863P 2011-08-03 2011-08-03
US61/514,863 2011-08-03
US201161544475P 2011-10-07 2011-10-07
US61/544,475 2011-10-07
US13/344,394 US9413803B2 (en) 2011-01-21 2012-01-05 User input back channel for wireless displays
US13/344,394 2012-01-05
PCT/US2012/022076 WO2012100193A1 (en) 2011-01-21 2012-01-20 User input back channel for wireless displays

Publications (2)

Publication Number Publication Date
KR20130126972A KR20130126972A (ko) 2013-11-21
KR101640854B1 true KR101640854B1 (ko) 2016-07-19

Family

ID=45561128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137021931A KR101640854B1 (ko) 2011-01-21 2012-01-20 무선 디스플레이들을 위한 사용자 입력 백 채널

Country Status (15)

Country Link
US (1) US9413803B2 (ko)
EP (1) EP2666073A1 (ko)
JP (2) JP2014510961A (ko)
KR (1) KR101640854B1 (ko)
CN (1) CN103392161B (ko)
AU (1) AU2012207129B2 (ko)
BR (1) BR112013018563A2 (ko)
CA (1) CA2824563C (ko)
HK (1) HK1188005A1 (ko)
IL (1) IL227159A (ko)
MY (1) MY166984A (ko)
RU (1) RU2571595C2 (ko)
SG (1) SG191377A1 (ko)
WO (1) WO2012100193A1 (ko)
ZA (1) ZA201305997B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023128206A1 (ko) * 2021-12-30 2023-07-06 삼성전자주식회사 소스 장치, 싱크 장치 및 그 동작 방법들

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9198084B2 (en) * 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
US20080045149A1 (en) * 2006-05-26 2008-02-21 Dinesh Dharmaraju Wireless architecture for a traditional wire-based protocol
US8667144B2 (en) * 2007-07-25 2014-03-04 Qualcomm Incorporated Wireless architecture for traditional wire based protocol
US8811294B2 (en) 2008-04-04 2014-08-19 Qualcomm Incorporated Apparatus and methods for establishing client-host associations within a wireless network
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
US20100205321A1 (en) * 2009-02-12 2010-08-12 Qualcomm Incorporated Negotiable and adaptable periodic link status monitoring
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US9582238B2 (en) * 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US10135900B2 (en) 2011-01-21 2018-11-20 Qualcomm Incorporated User input back channel for wireless displays
US9582239B2 (en) 2011-01-21 2017-02-28 Qualcomm Incorporated User input back channel for wireless displays
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US8674957B2 (en) 2011-02-04 2014-03-18 Qualcomm Incorporated User input device for wireless back channel
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
US9106651B2 (en) * 2011-09-19 2015-08-11 Qualcomm Incorporated Sending human input device commands over internet protocol
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
US8966131B2 (en) * 2012-01-06 2015-02-24 Qualcomm Incorporated System method for bi-directional tunneling via user input back channel (UIBC) for wireless displays
US8984091B1 (en) * 2012-08-03 2015-03-17 Google Inc. Providing content based on timestamp of last request for content
US9360997B2 (en) 2012-08-29 2016-06-07 Apple Inc. Content presentation and interaction across multiple displays
CN102866777A (zh) * 2012-09-12 2013-01-09 中兴通讯股份有限公司 一种数字媒体内容播放转移的方法及播放设备及系统
US9652192B2 (en) * 2013-01-25 2017-05-16 Qualcomm Incorporated Connectionless transport for user input control for wireless display devices
US20140341120A1 (en) * 2013-05-16 2014-11-20 Carlos Cordeiro Wireless station and method for managing a multi-band session in wi-fi direct services
US9197680B2 (en) * 2013-05-23 2015-11-24 Qualcomm Incorporated Establishing and controlling audio and voice back channels of a Wi-Fi display connection
JP6406249B2 (ja) * 2013-05-31 2018-10-17 ソニー株式会社 情報処理装置および情報処理方法
EP3011725B1 (en) * 2013-06-18 2019-12-04 Samsung Electronics Co., Ltd Method and apparatus for controlling content shared between devices in wireless communication system
US9986044B2 (en) * 2013-10-21 2018-05-29 Huawei Technologies Co., Ltd. Multi-screen interaction method, devices, and system
CN103702436B (zh) * 2013-12-11 2016-09-14 东软集团股份有限公司 Miracast反向控制方法及系统
KR102295686B1 (ko) 2015-04-15 2021-08-31 삼성전자주식회사 외부 전자 장치와 하이브리드 통신을 수행하는 전자 장치 및 방법
EP3223179A1 (en) * 2016-03-24 2017-09-27 Fujitsu Limited A healthcare risk extraction system and method
JP6981138B2 (ja) 2017-09-25 2021-12-15 セイコーエプソン株式会社 電子機器および電子機器の制御方法
JP6624767B1 (ja) * 2019-08-26 2019-12-25 株式会社ブラック 情報処理システム及び情報処理方法
KR102664915B1 (ko) * 2021-12-06 2024-05-17 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120441A (ja) * 2002-09-26 2004-04-15 Fujitsu Component Ltd 切替器、コンピュータシステム、画像の圧縮方式又は圧縮率の更新方法、マウス座標の変換方法、画像の圧縮方式又は圧縮率の更新プログラム、マウスの座標変換プログラム及び記録媒体
US20080129879A1 (en) 2006-12-04 2008-06-05 Samsung Electronics Co., Ltd. System and method for wireless communication of uncompressed video having connection control protocol
WO2010126727A2 (en) * 2009-05-01 2010-11-04 Apple Inc. Directional touch remote

Family Cites Families (451)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61233849A (ja) 1985-04-08 1986-10-18 Hitachi Ltd デ−タベ−ス排他制御方法
JPH06110424A (ja) 1992-09-30 1994-04-22 Ricoh Co Ltd 販売支援装置
JPH06318984A (ja) 1993-02-19 1994-11-15 Canon Inc マルチメディア情報送信装置、マルチメディア情報受信装置、マルチメディア通信装置、及びマルチメディア通信システム
JPH07104722A (ja) 1993-09-30 1995-04-21 Mitsubishi Electric Corp 画像表示システム
JPH07129364A (ja) 1993-10-28 1995-05-19 Mitsubishi Electric Corp 共通画面情報指示検索装置
JP3203939B2 (ja) 1994-02-28 2001-09-04 富士ゼロックス株式会社 描画通信装置
US5681220A (en) * 1994-03-18 1997-10-28 International Business Machines Corporation Keyboard touchpad combination in a bivalve enclosure
JPH08237628A (ja) 1995-02-24 1996-09-13 Ricoh Co Ltd 通信会議装置
JPH096534A (ja) * 1995-06-07 1997-01-10 Internatl Business Mach Corp <Ibm> コンピュータ・システムおよび入力装置
US5956020A (en) 1995-07-27 1999-09-21 Microtouch Systems, Inc. Touchscreen controller with pen and/or finger inputs
JPH0983896A (ja) 1995-09-14 1997-03-28 Mitsubishi Electric Corp 多チャンネル同時表示デジタル映像受信装置
US5835723A (en) 1995-12-28 1998-11-10 Intel Corporation Dynamic assignment of multicast addresses
US5715176A (en) 1996-01-23 1998-02-03 International Business Machines Corporation Method and system for locating a frame position in an MPEG data stream
JP3001410B2 (ja) 1996-03-28 2000-01-24 日本電気テレコムシステム株式会社 自動迂回ルーティング方式
JPH09325923A (ja) 1996-06-06 1997-12-16 Canon Inc 情報処理装置及びその方法及び情報処理システム及びその制御方法
US5828370A (en) 1996-07-01 1998-10-27 Thompson Consumer Electronics Inc. Video delivery system and method for displaying indexing slider bar on the subscriber video screen
US6014706A (en) 1997-01-30 2000-01-11 Microsoft Corporation Methods and apparatus for implementing control functions in a streamed video display system
TW496058B (en) 1997-07-08 2002-07-21 Ericsson Telefon Ab L M Technique for providing a secure link in a mobile communication system
US6311228B1 (en) * 1997-08-06 2001-10-30 Microsoft Corporation Method and architecture for simplified communications with HID devices
US6049549A (en) 1997-08-14 2000-04-11 University Of Massachusetts Adaptive media control
US6594699B1 (en) 1997-10-10 2003-07-15 Kasenna, Inc. System for capability based multimedia streaming over a network
US7185266B2 (en) 2003-02-12 2007-02-27 Alacritech, Inc. Network interface device for error detection using partial CRCS of variable length message portions
US6181713B1 (en) 1997-10-27 2001-01-30 Sun Microsystems, Inc. Selectable depacketizer architecture
ATE226467T1 (de) 1997-12-02 2002-11-15 Two Way Tv Ltd Verfahren und vorrichtung für die eingabe von daten
US6195680B1 (en) 1998-07-23 2001-02-27 International Business Machines Corporation Client-based dynamic switching of streaming servers for fault-tolerance and load balancing
US20020007494A1 (en) 1998-09-28 2002-01-17 Hodge Winston W. Interactive digital program material encoder and system
US6266690B1 (en) 1999-01-27 2001-07-24 Adc Telecommunications, Inc. Enhanced service platform with secure system and method for subscriber profile customization
JP2000278320A (ja) 1999-03-25 2000-10-06 Toshiba Corp 通信システム、通信端末装置、情報サーバ装置、中継装置及び通信方法
JP3917330B2 (ja) 1999-04-06 2007-05-23 三菱電機株式会社 共通鍵共有方法
US6892230B1 (en) 1999-06-11 2005-05-10 Microsoft Corporation Dynamic self-configuration for ad hoc peer networking using mark-up language formated description messages
US6400720B1 (en) * 1999-06-21 2002-06-04 General Instrument Corporation Method for transporting variable length and fixed length packets in a standard digital transmission frame
JP4167777B2 (ja) 1999-07-19 2008-10-22 三菱電機株式会社 映像表示装置、映像表示方法および映像を表示するためのプログラムを記録した記録媒体
DE60015983D1 (de) 1999-07-23 2004-12-23 Tepnel Medical Ltd Isolierung von biomolekülen
SE521463C2 (sv) 1999-09-20 2003-11-04 Ericsson Telefon Ab L M Klassificerare i ett IP nätverk med medel för att avgöra huruvida ett transmitterat flöde är ett realtidsflöde eller inte
US6954859B1 (en) 1999-10-08 2005-10-11 Axcess, Inc. Networked digital security system and methods
US6424626B1 (en) 1999-10-29 2002-07-23 Hubbell Incorporated Method and system for discarding and regenerating acknowledgment packets in ADSL communications
US6608841B1 (en) 1999-12-30 2003-08-19 Nokia Networks Oy System and method for achieving robust IP/UDP/RTP header compression in the presence of unreliable networks
US6996072B1 (en) 2000-01-19 2006-02-07 The Phonepages Of Sweden Ab Method and apparatus for exchange of information in a communication network
US20030031152A1 (en) 2000-02-23 2003-02-13 Wataru Gohda Asynchronous transmission method
JP2001282673A (ja) 2000-03-30 2001-10-12 Canon Inc 画像配信システム及びその制御方法並びに情報処理装置
US7072984B1 (en) 2000-04-26 2006-07-04 Novarra, Inc. System and method for accessing customized information over the internet using a browser for a plurality of electronic devices
US6681250B1 (en) 2000-05-03 2004-01-20 Avocent Corporation Network based KVM switching system
US6917976B1 (en) 2000-05-09 2005-07-12 Sun Microsystems, Inc. Message-based leasing of resources in a distributed computing environment
JP3931531B2 (ja) 2000-06-07 2007-06-20 Ｋｄｄｉ株式会社 階層符号化ビデオ配信システム
US6971063B1 (en) 2000-07-28 2005-11-29 Wireless Valley Communications Inc. System, method, and apparatus for portable design, deployment, test, and optimization of a communication network
US7221660B1 (en) 2000-08-08 2007-05-22 E.F. Johnson Company System and method for multicast communications using real time transport protocol (RTP)
JP3338825B2 (ja) 2000-08-22 2002-10-28 エヌイーシービューテクノロジー株式会社 電子プレゼンテーション方法並びにシステム
US7035281B1 (en) 2000-09-13 2006-04-25 Wp Media, Inc. Wireless provisioning device
EP1235392A1 (en) 2000-09-22 2002-08-28 Matsushita Electric Industrial Co., Ltd. Data transmitting/receiving method, transmitting device, receiving device, transmitting/receiving system, and program
US6748195B1 (en) 2000-09-29 2004-06-08 Motorola, Inc. Wireless device having context-based operational behavior
JP2002142210A (ja) 2000-10-31 2002-05-17 Dds:Kk 情報提供システム、情報提供方法及び情報提供サーバ
US6934756B2 (en) 2000-11-01 2005-08-23 International Business Machines Corporation Conversational networking via transport, coding and control conversational protocols
US7099629B1 (en) 2000-11-06 2006-08-29 Qualcomm, Incorporated Method and apparatus for adaptive transmission control in a high data rate communication system
EP1206080B1 (en) 2000-11-08 2008-03-12 Sony Deutschland GmbH Computer software product and method for a communication device and a resource device for an unmanaged communication network
JP4754683B2 (ja) 2000-11-22 2011-08-24 三菱電機株式会社 無線アクセスシステムおよび無線アクセス方法
US6785254B2 (en) 2000-12-01 2004-08-31 Motorola, Inc. Wireless communication system incorporating multicast addressing and method for use
JP2002330381A (ja) 2000-12-07 2002-11-15 Matsushita Electric Ind Co Ltd データ再生方法、データ受信端末及びデータ受信方法
KR100944843B1 (ko) 2000-12-15 2010-03-04 콸콤 인코포레이티드 높은 데이터 레이트의 신호 전송을 위한 통신 프로토콜 및 인터페이스의 형성과 구현
US6760772B2 (en) 2000-12-15 2004-07-06 Qualcomm, Inc. Generating and implementing a communication protocol and interface for high data rate signal transfer
US20040039934A1 (en) * 2000-12-19 2004-02-26 Land Michael Z. System and method for multimedia authoring and playback
EP1973294A1 (en) 2001-01-30 2008-09-24 Electronics and Telecommunications Research Institute Method and apparatus for delivery of metadata synchronized to multimedia contents
US6784855B2 (en) 2001-02-15 2004-08-31 Microsoft Corporation Methods and systems for a portable, interactive display device for use with a computer
US6963921B1 (en) * 2001-02-16 2005-11-08 3Com Corporation Method and apparatus for hardware assisted TCP packet re-assembly
JP2002262341A (ja) 2001-02-28 2002-09-13 Ntt Docomo Inc 無線データ通信システム、無線データ通信システムに用いる親局、無線データ通信方法、及び無線データ通信制御プログラム
EP1248431B1 (en) 2001-03-27 2007-10-31 Sony Deutschland GmbH Method for achieving end-to-end quality of service negotiation for distributed multimedia applications
EP1253750A1 (en) 2001-04-24 2002-10-30 Deutsche Thomson-Brandt Gmbh Method for the control of network devices connected via a bus system
US6876857B1 (en) 2001-07-20 2005-04-05 Cisco Technology, Inc. System and method for performing admission control functions in a data network
JP4806871B2 (ja) 2001-08-07 2011-11-02 ソニー株式会社 クライアント端末及びクライアント側情報処理方法、プログラム格納媒体、プログラム、並びに情報提供システム、
BR0212361A (pt) 2001-09-06 2006-11-07 Qualcomm Inc geração e implementação de um protocolo de comunicação e interface para transferência de sinais de taxa de dados elevada
JP3668170B2 (ja) 2001-09-20 2005-07-06 株式会社東芝 無線通信装置
ATE367026T1 (de) 2001-09-28 2007-08-15 Motorola Inc Verfahren und vorrichtung zur ip-mehrfachsendung über einen rundfunkkanal
US6947768B2 (en) 2001-09-28 2005-09-20 Kabushiki Kaisha Toshiba Base station apparatus and terminal apparatus
RU2207723C1 (ru) 2001-10-01 2003-06-27 Военный университет связи Способ распределения ресурсов в системе электросвязи с множественным доступом
JP3843797B2 (ja) 2001-10-12 2006-11-08 ソニー株式会社 マルチキャスト階層化システム、配信サーバ、アドレス割り当てサーバ及びマルチキャスト配信方法
JP2003143237A (ja) 2001-11-06 2003-05-16 Mitsubishi Electric Corp ネットワーク装置および移動端末情報システム
US7299304B2 (en) 2001-11-20 2007-11-20 Intel Corporation Method and architecture to support interaction between a host computer and remote devices
US20030109252A1 (en) 2001-12-10 2003-06-12 Koninklijke Philips Electronics N.V. System and method of codec employment in a cellular telephone
US20030110297A1 (en) 2001-12-12 2003-06-12 Tabatabai Ali J. Transforming multimedia data for delivery to multiple heterogeneous devices
US20030126188A1 (en) 2001-12-27 2003-07-03 Zarlink Semiconductor V.N. Inc. Generic header parser providing support for data transport protocol independent packet voice solutions
US7260538B2 (en) 2002-01-08 2007-08-21 Promptu Systems Corporation Method and apparatus for voice control of a television control device
US20030135863A1 (en) 2002-01-17 2003-07-17 Koninklijke Philips Electronics N.V. Targeted scalable multicast based on client bandwidth or capability
US7336602B2 (en) 2002-01-29 2008-02-26 Intel Corporation Apparatus and method for wireless/wired communications interface
EP1333373B1 (en) 2002-01-30 2011-03-09 Hewlett-Packard Company (a Delaware Corporation) Computer and base station
JP2003304523A (ja) 2002-02-08 2003-10-24 Ntt Docomo Inc 情報配信システム、情報配信方法、情報配信サーバ、コンテンツ配信サーバ及び端末
CN1177436C (zh) 2002-02-09 2004-11-24 华为技术有限公司 移动网络中多播用户的管理方法
KR100790432B1 (ko) 2002-02-19 2008-01-02 가부시끼가이샤 도시바 데이터 표시 시스템, 데이터 중계 장치, 데이터 중계 방법,데이터 시스템, 및 싱크 장치
JP3982288B2 (ja) 2002-03-12 2007-09-26 日本電気株式会社 三次元ウィンドウ表示装置、三次元ウィンドウ表示方法及び三次元ウィンドウ表示プログラム
US7080151B1 (en) 2002-04-01 2006-07-18 Utstarcom, Inc. Method and system for mobile IP home agent redundancy by using home agent control nodes for managing multiple home agents
KR100441589B1 (ko) 2002-04-01 2004-07-23 삼성전자주식회사 Ｒｔｐ패킷 생성/복원 장치 및 방법
CA2484901A1 (en) 2002-05-07 2003-12-18 Argo-Tech Corporation Tracking system and associated method
US7941149B2 (en) 2002-05-13 2011-05-10 Misonimo Chi Acquistion L.L.C. Multi-hop ultra wide band wireless network communication
JP3932974B2 (ja) 2002-05-16 2007-06-20 株式会社デンソー 情報システム、車載端末、情報端末、プログラム
JP4000905B2 (ja) 2002-05-22 2007-10-31 ソニー株式会社 情報処理システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラム
US8090869B2 (en) 2002-06-04 2012-01-03 Alcatel Lucent Priority-biased exit queue arbitration with fairness
CA2488470A1 (en) 2002-06-04 2003-12-11 Qualcomm Incorporated System for multimedia rendering in a portable device
US20040083015A1 (en) 2002-06-04 2004-04-29 Srinivas Patwari System for multimedia rendering in a portable device
TWI265697B (en) 2002-06-06 2006-11-01 Ibm Digital contents distribution system, digital contents distribution method, computer readable recording medium storing the program therein, and server and client therefor
EP1376521A1 (en) 2002-06-28 2004-01-02 Deutsche Thomson Brandt Processing video pictures for improving dynamic false contour effect compensation
US7085420B2 (en) 2002-06-28 2006-08-01 Microsoft Corporation Text detection in continuous tone image segments
JP4010199B2 (ja) 2002-07-23 2007-11-21 セイコーエプソン株式会社 表示システム
CN1268122C (zh) 2002-07-23 2006-08-02 精工爱普生株式会社 显示方法及投影机
US7324462B1 (en) 2002-07-25 2008-01-29 3Com Corporation Methods for discovering devices within a wireless network
JP2004086550A (ja) 2002-08-27 2004-03-18 Matsushita Electric Ind Co Ltd 表示画面更新システム
JP3900522B2 (ja) 2002-08-29 2007-04-04 ヤマハ株式会社 コマンド同期確立システムおよび方法
US7328021B1 (en) 2002-09-26 2008-02-05 Sprint Spectrum L.P. Method and system for using a measure of spectral interference to determine whether to output signals to a wireless link
AU2003264935A1 (en) 2002-09-26 2004-04-19 Koninklijke Philips Electronics N.V. Apparatus for receiving a digital information signal
NO319065B1 (no) 2002-10-11 2005-06-13 Telenor Asa Apen aksessnettverks-arkitektur
US20040047424A1 (en) 2002-10-15 2004-03-11 Kumar Ramaswamy System and method for transmitting digital video files with error recovery
US20040083284A1 (en) 2002-10-25 2004-04-29 Yuval Ofek System and method for providing data awareness across multiple domains
US7350077B2 (en) 2002-11-26 2008-03-25 Cisco Technology, Inc. 802.11 using a compressed reassociation exchange to facilitate fast handoff
US20040103438A1 (en) 2002-11-27 2004-05-27 Yong Yan Methods and systems for transferring events including multimedia data
TWI239179B (en) 2002-12-03 2005-09-01 Mediatek Inc Channel estimation in orthogonal frequency-division multiplexing (OFDM) systems
JP2004192140A (ja) 2002-12-09 2004-07-08 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP4071613B2 (ja) 2002-12-19 2008-04-02 シャープ株式会社 ネットワーク機器制御システム
AU2003303787A1 (en) * 2003-01-22 2004-08-13 Nokia Corporation Image control
JP2004235800A (ja) 2003-01-29 2004-08-19 Evolium Sas 移動無線機のハンドオーバー制御方法、基地局制御装置、及び移動無線機
US7558265B2 (en) 2003-01-31 2009-07-07 Intel Corporation Methods and apparatus to limit transmission of data to a localized area
EP1593249A1 (en) 2003-02-03 2005-11-09 Koninklijke KPN N.V. Message data transmission in mobile communication systems taking into account capabilities of sending and receiving devices
EP1593107A4 (en) 2003-02-13 2010-08-18 Nokia Corp METHOD OF SIGNALING CLIENT RATING CAPACITY IN MULTIMEDIA STREAMING
JP4304185B2 (ja) 2003-02-14 2009-07-29 シャープ株式会社 ストリーム出力装置及び情報提供装置
CN102035759B (zh) 2003-02-26 2013-09-25 西门子公司 线路交换网络和分组交换网络的数据接收点/数据源、数据传输装置、数据处理/数据传输设备和数据终端装置
JP2004265329A (ja) 2003-03-04 2004-09-24 Toshiba Corp 情報処理装置およびプログラム
JP2004274159A (ja) 2003-03-05 2004-09-30 Toshiba Corp 情報機器及び資源制御方法
GB2399712A (en) 2003-03-17 2004-09-22 Orange Personal Comm Serv Ltd Telecommunications apparatus and method for multiple data type packets
JP3912536B2 (ja) 2003-03-25 2007-05-09 ソニー株式会社 記録方法、記録装置、記録媒体、撮像装置および撮像方法
JP3764435B2 (ja) 2003-03-26 2006-04-05 株式会社東芝 情報処理装置およびプログラム
JP3922571B2 (ja) 2003-03-26 2007-05-30 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US7529823B2 (en) 2003-03-27 2009-05-05 Microsoft Corporation Notifications for shared resources
US20040202249A1 (en) 2003-04-08 2004-10-14 Newsoft Technology Corporation Real-time MPEG video encoding method of maintaining synchronization between video and audio
KR100490429B1 (ko) 2003-04-25 2005-05-17 삼성전자주식회사 피코넷에 대한 디바이스의 결합을 관리하는 시스템 및 방법
KR100559025B1 (ko) 2003-05-30 2006-03-10 엘지전자 주식회사 홈 네트워크 관리 시스템
JP2005045357A (ja) 2003-07-23 2005-02-17 Hitachi Ltd リモートディスプレイプロトコル、映像表示システム及び端末装置
US20050091311A1 (en) 2003-07-29 2005-04-28 Lund Christopher D. Method and apparatus for distributing multimedia to remote clients
JP4508570B2 (ja) 2003-07-30 2010-07-21 三洋電機株式会社 リモートコントロールシステム及び情報処理装置
US7373415B1 (en) 2003-07-31 2008-05-13 Yahoo! Inc. System and method for monitoring delivery of digital content, including streaming media
WO2005015943A1 (en) 2003-08-07 2005-02-17 Samsung Electronics Co., Ltd. A/v system available for integrated control and method of controlling the same
EP1661317B1 (en) 2003-08-26 2007-12-26 Nxp B.V. Data segregation and fragmentation in a wireless network for improving video performance
GB2405561B (en) 2003-08-28 2006-07-26 Motorola Inc Computer network security system and method for preventing unauthorised access of computer network resources
CN100387069C (zh) 2003-09-10 2008-05-07 华为技术有限公司 蜂窝通信系统在集群业务中分配无线反向信道的方法
EP1665798A1 (en) 2003-09-12 2006-06-07 Citrix Systems, Inc. Method and apparatus for generating graphical and media displays at a thin client
KR101015768B1 (ko) 2003-09-13 2011-02-22 삼성전자주식회사 이동통신 시스템에서 방송 컨텐츠 프레임의 동기화 방법
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US8090402B1 (en) 2003-09-26 2012-01-03 Iwao Fujisaki Communication device
US20060008256A1 (en) 2003-10-01 2006-01-12 Khedouri Robert K Audio visual player apparatus and system and method of content distribution using the same
US8437347B2 (en) 2003-10-14 2013-05-07 Qualcomm Incorporated Scalable encoding for multicast broadcast multimedia service
US20050085239A1 (en) 2003-10-21 2005-04-21 Openwave Systems Inc. System and method for mobile-based location information
KR100827573B1 (ko) 2003-10-29 2008-05-07 퀄컴 인코포레이티드 높은 데이터 레이트 인터페이스
EP1678705A4 (en) 2003-10-31 2007-07-04 Jaalaa Inc COMPUTER INTERFACE WITH CABLE-CONNECTED AND WIRELESS CONNECTION
JP4350487B2 (ja) 2003-11-06 2009-10-21 Ｋｄｄｉ株式会社 無線通信システム、基地局および無線通信端末
JP2005148450A (ja) 2003-11-17 2005-06-09 Casio Comput Co Ltd 表示制御装置およびプログラム
US7706403B2 (en) 2003-11-25 2010-04-27 Telefonaktiebolaget Lm Ericsson (Publ) Queuing delay based rate control
US20050198663A1 (en) 2003-12-18 2005-09-08 Samsung Electronics Co., Ltd. User interface method and system for navigation in networked devices
JP4547906B2 (ja) 2003-12-19 2010-09-22 ソニー株式会社 描画装置および描画方法、プログラム、並びに記録媒体
US7668939B2 (en) 2003-12-19 2010-02-23 Microsoft Corporation Routing of resource information in a network
US7562379B2 (en) 2003-12-22 2009-07-14 Sony Corporation Method and system for wireless digital multimedia presentation
KR101050545B1 (ko) 2003-12-31 2011-07-19 유니버시티 오브 매릴랜드 칼리지 팍 네이버 그래프를 이용한 이종 망간 이동성 관리 방법
KR101121778B1 (ko) 2004-01-06 2012-03-23 삼성전자주식회사 무선으로 영상기기 주변의 기기를 제어하는 방법 및 장치
US7500260B2 (en) 2004-01-07 2009-03-03 D1Athletes.Com, Inc. Motion video indexing mechanism for athlete recruiting architecture
US20050152330A1 (en) 2004-01-12 2005-07-14 Stephens Adrian P. Clock recovery methods and apparatus
JP4203997B2 (ja) 2004-01-15 2009-01-07 株式会社Ｋｄｄｉ研究所 センサネットワークにおけるアドレス割当方法
US7868890B2 (en) 2004-02-24 2011-01-11 Qualcomm Incorporated Display processor for a wireless device
CA2560067C (en) 2004-03-17 2011-08-23 Qualcomm Incorporated High data rate interface apparatus and method
KR100601670B1 (ko) 2004-05-03 2006-07-14 삼성전자주식회사 네트워크를 통한 컨텐츠의 제어 방법, 미디어 랜더러 장치및 미디어 소오스 장치
EP1745604B1 (en) 2004-05-05 2011-06-15 Telefonaktiebolaget LM Ericsson (publ) Hsdpa flow control, control frames rtt measurement
WO2005109815A1 (ja) 2004-05-10 2005-11-17 Fujitsu Limited 通信装置、通信方法およびプログラム
EP1596538A1 (en) 2004-05-10 2005-11-16 Sony Ericsson Mobile Communications AB Method and device for bluetooth pairing
CN102984133B (zh) 2004-05-13 2016-11-23 高通股份有限公司 用于分配信息到通信系统的信道的设备
US20050266798A1 (en) 2004-05-31 2005-12-01 Seamus Moloney Linking security association to entries in a contact directory of a wireless device
CA2569106C (en) 2004-06-04 2013-05-21 Qualcomm Incorporated High data rate interface apparatus and method
JP3797372B2 (ja) 2004-08-20 2006-07-19 セイコーエプソン株式会社 描画命令のフックを利用した画像の転送
US20050283535A1 (en) 2004-06-17 2005-12-22 Michele Covell Method and system for interactive control of media over a network
JP4266188B2 (ja) 2004-06-30 2009-05-20 株式会社東芝 通信システム及びこの通信システムで使用される通信端末装置、及び通信システムで使用される通信方法
US7830826B2 (en) 2004-07-01 2010-11-09 Nokia Corporation Multicast relay for mobile devices
US20060013182A1 (en) 2004-07-19 2006-01-19 Telefonaktiebolaget Lm Ericsson Selective multicarrier CDMA network
US20060028398A1 (en) 2004-07-23 2006-02-09 Willmore Charles E Wireless interactive multi-user display system and method
KR101270847B1 (ko) 2004-07-30 2013-06-05 애플 인크. 터치 감지 입력 장치용 제스처
WO2006020304A2 (en) 2004-07-30 2006-02-23 Apple Computer, Inc. Mode-based graphical user interfaces for touch sensitive input devices
JP2008511205A (ja) 2004-08-17 2008-04-10 カリフォルニア・インスティチュート・オブ・テクノロジー キュー制御と１方向遅延測定を用いた、ネットワークの輻輳を制御する方法および装置
JP2006060448A (ja) 2004-08-19 2006-03-02 Nippon Telegr & Teleph Corp <Ntt> スケーラブルマルチキャストコンテンツ配信システムと装置、およびそのレート制御方法と帯域配分方法、およびそのプログラムと記録媒体
JP4612817B2 (ja) 2004-08-20 2011-01-12 キヤノン株式会社 グループ管理装置及び情報処理方法、ならびにコンピュータプログラム及び記録媒体
US7590750B2 (en) 2004-09-10 2009-09-15 Microsoft Corporation Systems and methods for multimedia remoting over terminal server connections
KR100603569B1 (ko) 2004-09-13 2006-07-24 삼성전자주식회사 유무선으로 음성 및 데이터를 서비스하는 통신 단말시스템 및 그 신호 제어 방법
JP2006100885A (ja) 2004-09-28 2006-04-13 Vodafone Kk ストリーミングデータ受信再生端末
US20060068852A1 (en) 2004-09-30 2006-03-30 Doyle Matthew J System for reducing power consumption of a wireless terminal and increasing capacity of a wireless communication system
US8396973B2 (en) 2004-10-22 2013-03-12 Microsoft Corporation Distributed speech service
JP2006121562A (ja) 2004-10-25 2006-05-11 Matsushita Electric Ind Co Ltd 無線通信装置
KR100619949B1 (ko) 2004-10-29 2006-09-13 엘지전자 주식회사 고속 이동통신망에서의 티씨피 흐름 제어방법
US7463622B2 (en) 2004-11-10 2008-12-09 Wei Lu Integrated communication terminal for next generation mobile telecommunications
KR100595695B1 (ko) 2004-11-13 2006-07-03 엘지전자 주식회사 휴대단말기의 모듈러 장치 및 방법
JP2006172423A (ja) 2004-11-18 2006-06-29 Canon Inc 遠隔操作システム、遠隔操作装置、被操作装置、遠隔操作方法、コンピュータプログラム、記憶媒体
US7904184B2 (en) 2004-11-23 2011-03-08 Rockwell Automation Technologies, Inc. Motion control timing models
JP2006155327A (ja) 2004-11-30 2006-06-15 Hitachi Systems & Services Ltd コンピュータの遠隔操作システム
US7719972B2 (en) 2004-12-03 2010-05-18 Intel Corporation Methods and apparatus for providing an admission control system in a wireless mesh network
KR100601047B1 (ko) 2004-12-16 2006-07-18 한국전자통신연구원 임베디드 시스템에서 동영상 및 스킨 합성 장치 및 그 방법
US7664081B2 (en) 2004-12-22 2010-02-16 Nokia Corporation Wireless gateway for enabling wireless devices to discover and interact with various short-range services/devices
US7565357B2 (en) 2004-12-30 2009-07-21 Alcatel Lucent Multi-sensor communication system
JP2006197401A (ja) 2005-01-14 2006-07-27 Sony Corp 情報処理装置および方法、並びにプログラム
RU2392754C2 (ru) 2005-02-11 2010-06-20 Квэлкомм Инкорпорейтед Контекстно-ограниченный совместно используемый секрет
US7768988B2 (en) 2005-02-22 2010-08-03 Intel Corporation Method and apparatus to perform network medium reservation in a wireless network
US8102901B2 (en) 2005-03-01 2012-01-24 Intel Corporation Techniques to manage wireless connections
US7339460B2 (en) 2005-03-02 2008-03-04 Qualcomm Incorporated Method and apparatus for detecting cargo state in a delivery vehicle
KR100630166B1 (ko) 2005-03-02 2006-09-29 삼성전자주식회사 멀티미디어 서비스 시스템에서 멀티미디어 컨텐츠의 정보를제공하는 방법
US7424267B2 (en) 2005-03-07 2008-09-09 Broadcom Corporation Automatic resource availability using Bluetooth
US20060203805A1 (en) 2005-03-08 2006-09-14 Avaya Technology Corp. Quality-of-service assurance for IP telephony
US20060206339A1 (en) 2005-03-11 2006-09-14 Silvera Marja M System and method for voice-enabled media content selection on mobile devices
JP2006254328A (ja) 2005-03-14 2006-09-21 Nippon Telegr & Teleph Corp <Ntt> 音声映像通信システム
JP4621044B2 (ja) 2005-03-15 2011-01-26 富士通株式会社 負荷分散装置および負荷分散方法
US8769046B2 (en) 2005-03-23 2014-07-01 Qualcomm Incorporated Methods and apparatus for using multiple wireless links with a wireless terminal
JP4186940B2 (ja) 2005-03-23 2008-11-26 セイコーエプソン株式会社 データ転送制御装置及び電子機器
JP4405419B2 (ja) 2005-03-31 2010-01-27 株式会社東芝 画面送信装置
US7426395B2 (en) 2005-03-31 2008-09-16 Intel Corporation Techniques to select data rates for a wireless system
CN101120593A (zh) 2005-04-13 2008-02-06 诺基亚公司 可扩展性信息的编码、存储和信号发送
US20060236250A1 (en) 2005-04-14 2006-10-19 Ullas Gargi Data display methods, display systems, network systems, and articles of manufacture
US7590075B2 (en) 2005-04-15 2009-09-15 Dell Products L.P. Systems and methods for managing wireless communication
US20060270417A1 (en) 2005-05-27 2006-11-30 Topseed Technology Corp. Wireless communication system and method for the same
US7911977B2 (en) 2005-05-31 2011-03-22 Cisco Technology, Inc. Designated router assignment per multicast group address/range
HUE030587T2 (en) 2005-06-17 2017-05-29 ERICSSON TELEFON AB L M (publ) Management of communication resources
US20060288008A1 (en) 2005-06-21 2006-12-21 Sukadev Bhattiprolu Append/read lock compatibility in a distributed file system
US20080005348A1 (en) 2005-06-24 2008-01-03 David Kosiba System and method for enabling playlist navigation of digital multimedia content
EP2894831B1 (en) 2005-06-27 2020-06-03 Core Wireless Licensing S.a.r.l. Transport mechanisms for dynamic rich media scenes
IL169418A (en) 2005-06-27 2010-11-30 Alvarion Ltd Method and apparatus for dynamic management of wireless communication transmissions
US20070004387A1 (en) 2005-06-30 2007-01-04 Gadamsetty Uma M Sharing of services between a mobile computer and a wireless device
CN100471114C (zh) 2005-07-01 2009-03-18 萧学文 一种通过移动终端访问电脑资源的方法及系统
US7577125B2 (en) 2005-07-08 2009-08-18 Microsoft Corporation Direct wireless client to client communication
JP4555859B2 (ja) 2005-07-13 2010-10-06 日本電信電話株式会社 認証システム、認証方法、証明装置、検証装置、それらのプログラム及び記録媒体
US20070016654A1 (en) 2005-07-13 2007-01-18 Staccato Communications, Inc. Wireless content distribution
JP4886689B2 (ja) 2005-07-15 2012-02-29 パナソニック株式会社 パケット送信装置
CN102905166B (zh) 2005-07-18 2014-12-31 汤姆森许可贸易公司 使用元数据来处理多个视频流的方法和设备
US20070018844A1 (en) 2005-07-19 2007-01-25 Sehat Sutardja Two way remote control
JP4674502B2 (ja) 2005-07-22 2011-04-20 ソニー株式会社 情報通信システム、情報通信装置及び情報通信方法、並びにコンピュータ・プログラム
JP4408845B2 (ja) 2005-07-27 2010-02-03 シャープ株式会社 映像合成装置及びプログラム
US7957301B2 (en) 2005-08-15 2011-06-07 Mitsubishi Electric Research Laboratories, Inc. Method, apparatus and system for multicast communication in a wireless multi-hop network
US7844442B2 (en) 2005-08-16 2010-11-30 Exent Technologies, Ltd. System and method for providing a remote user interface for an application executing on a computing device
KR100693863B1 (ko) 2005-09-12 2007-03-12 삼성전자주식회사 디스플레이 구동 회로
US7733891B2 (en) 2005-09-12 2010-06-08 Zeugma Systems Inc. Methods and apparatus to support dynamic allocation of traffic management resources in a network element
WO2007033049A2 (en) 2005-09-12 2007-03-22 Skybitz, Inc. System and method for reporting a status of an asset
JP2007108615A (ja) 2005-09-13 2007-04-26 Seiko Epson Corp 電気光学装置、電気光学装置の駆動方法、および電子機器
JP2007082070A (ja) 2005-09-16 2007-03-29 Nippon Telegr & Teleph Corp <Ntt> 無線通信装置
JP4707514B2 (ja) 2005-09-20 2011-06-22 三菱電機株式会社 ビデオストリーム供給システム、ビデオストリーム供給装置、及びビデオストリーム受信装置
US7712670B2 (en) 2005-09-28 2010-05-11 Sauerwein Jr James T Data collection device and network having radio signal responsive mode switching
US8788802B2 (en) 2005-09-29 2014-07-22 Qualcomm Incorporated Constrained cryptographic keys
US8576846B2 (en) 2005-10-05 2013-11-05 Qualcomm Incorporated Peer-to-peer communication in ad hoc wireless network
US7720096B2 (en) 2005-10-13 2010-05-18 Microsoft Corporation RTP payload format for VC-1
JP2009512305A (ja) 2005-10-14 2009-03-19 ノキア コーポレイション サービス・ガイドによる端末プロビジョニング宣言
KR100656159B1 (ko) 2005-10-17 2006-12-13 삼성전자주식회사 광디스크 재생방법
JP2007158919A (ja) 2005-12-07 2007-06-21 Fujifilm Corp 画像表示装置及び画像表示方法
US8559350B2 (en) 2005-12-20 2013-10-15 Microsoft Corporation Mechanism to convey discovery information in a wireless network
US7613426B2 (en) 2005-12-20 2009-11-03 Microsoft Corporation Proximity service discovery in wireless networks
EP1802038B1 (en) 2005-12-23 2009-01-07 Sony Deutschland GmbH System and method for improving service and device discovery in a UPnP-based wireless communication network
US9294728B2 (en) 2006-01-10 2016-03-22 Imagine Communications Corp. System and method for routing content
US7333464B2 (en) 2006-02-01 2008-02-19 Microsoft Corporation Automated service discovery and wireless network set-up
JP2007206644A (ja) 2006-02-06 2007-08-16 Seiko Epson Corp 画像表示システム，画像表示方法，画像表示プログラム，記録媒体，データ処理装置，画像表示装置
US8428048B2 (en) 2006-02-21 2013-04-23 Qualcomm Incorporated Multi-program viewing in a wireless apparatus
TW200734913A (en) * 2006-03-10 2007-09-16 Inventec Appliances Corp Electronic device and method using displacement sensor to move position displayed on screen
US7519470B2 (en) 2006-03-15 2009-04-14 Microsoft Corporation Location-based caching for mobile devices
JP4585479B2 (ja) 2006-03-30 2010-11-24 株式会社東芝 サーバ装置および映像配信方法
JP2007271908A (ja) 2006-03-31 2007-10-18 Victor Co Of Japan Ltd マルチ画像生成装置
US8612619B2 (en) 2006-03-31 2013-12-17 Alcatel Lucent Method and apparatus for improved multicast streaming in wireless networks
US7675537B2 (en) 2006-03-31 2010-03-09 Polycom, Inc. System, method, and apparatus for extending wireless personal area networks using conferencing connection
WO2007127887A2 (en) 2006-04-26 2007-11-08 Qualcomm Incorporated Sub-packet pulse-based communication
US9063647B2 (en) 2006-05-12 2015-06-23 Microsoft Technology Licensing, Llc Multi-touch uses, gestures, and implementation
US20070264991A1 (en) 2006-05-15 2007-11-15 Microsoft Corporation Services near me: discovering and connecting to available wireless services utilizing proximity discovery
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
JP2007316405A (ja) 2006-05-26 2007-12-06 Canon Inc マルチ画面表示装置
US20080045149A1 (en) 2006-05-26 2008-02-21 Dinesh Dharmaraju Wireless architecture for a traditional wire-based protocol
JP2009539330A (ja) 2006-05-26 2009-11-12 クゥアルコム・インコーポレイテッド 従来方式の有線ベースのプロトコルのための無線アーキテクチャ
CN101083825B (zh) 2006-05-30 2011-09-28 株式会社Ntt都科摩 在共存的多种无线网络中进行动态频谱分配的方法及装置
US20070292135A1 (en) 2006-06-09 2007-12-20 Yong Guo Integrated remote control signaling
US7869529B2 (en) 2006-06-14 2011-01-11 Qualcomm Incorporated System, method and computer-readable medium for detection and avoidance (DAA) of victim services in ultra-wideband systems (UWB)
US7696980B1 (en) * 2006-06-16 2010-04-13 Logitech Europe S.A. Pointing device for use in air with improved cursor control and battery life
CN100454819C (zh) 2006-06-19 2009-01-21 华为技术有限公司 一种多播服务实现方法
US20070299778A1 (en) 2006-06-22 2007-12-27 Microsoft Corporation Local peer-to-peer digital content distribution
US7881315B2 (en) 2006-06-27 2011-02-01 Microsoft Corporation Local peer-to-peer digital content distribution
US8311172B2 (en) 2006-07-17 2012-11-13 Infineon Technologies Ag Synchronizing high data-rate radio transceivers
US20080018657A1 (en) 2006-07-18 2008-01-24 Bruce Montag System and Method for Managing an Information Handling System Display Presentation
US20080019391A1 (en) 2006-07-20 2008-01-24 Caterpillar Inc. Uniform message header framework across protocol layers
US7860038B2 (en) 2006-08-04 2010-12-28 Microsoft Corporation Wireless support for portable media player devices
US20080046944A1 (en) 2006-08-17 2008-02-21 Lee Hae-Ryong Ubiquitous home media service apparatus and method based on smmd, and home media service system and method using the same
US8773494B2 (en) 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
JP2008079139A (ja) 2006-09-22 2008-04-03 Ict Solutions:Kk インタラクティブ装置およびインタラクティブ装置の制御方法
KR100885444B1 (ko) 2006-10-20 2009-02-24 엘지전자 주식회사 네트워크에서 디바이스의 출력을 제어하는 방법
US8806562B2 (en) * 2006-10-27 2014-08-12 Hewlett-Packard Development Company, L.P. Audio/video component networking system and method
KR20080040930A (ko) 2006-11-06 2008-05-09 삼성전자주식회사 컴퓨터 시스템 및 그 제어방법
US9131486B2 (en) 2006-12-01 2015-09-08 Qualcomm Incorporated Control signal transmission for wireless communication systems
US10437459B2 (en) 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
US8514835B2 (en) 2007-01-12 2013-08-20 Samsung Electronics Co., Ltd. Hierarchical multicast protocol in a mobile ad-hoc network
JPWO2008087713A1 (ja) 2007-01-16 2010-05-06 三菱電機株式会社 クライアント端末、アプリケーション提供サーバ及びアプリケーション提供システム
JP2008191929A (ja) 2007-02-05 2008-08-21 Mitsubishi Electric Corp コンテンツ利用システム、コンテンツ表示装置、端末装置及び利用待ち状況表示方法並びにプログラム
JP4752786B2 (ja) 2007-02-15 2011-08-17 ソニー株式会社 マルチキャスト配信システムおよびマルチキャスト配信方法
JP4765952B2 (ja) 2007-02-15 2011-09-07 ソニー株式会社 マルチキャスト配信システム、クライアント機器、上位ルータ制御装置、コンテンツの表示方法およびプログラム
US7630370B2 (en) 2007-02-28 2009-12-08 Sharp Laboratories Of America, Inc. Overlay join latency reduction using preferred peer list
TWI478584B (zh) 2007-03-08 2015-03-21 Realtek Semiconductor Corp 一種視訊編解碼的方法及其裝置
US20080231595A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp Remote control apparatus and method of interacting with a multimedia timeline user interface
US20080270532A1 (en) 2007-03-22 2008-10-30 Melodeo Inc. Techniques for generating and applying playlists
JP4748086B2 (ja) 2007-03-22 2011-08-17 日本電気株式会社 通信中継装置、リソース解放方法および通信中継装置のプログラム
US7768536B2 (en) 2007-04-11 2010-08-03 Sony Ericsson Mobile Communications Ab Methods of displaying information at different zoom settings and related devices and computer program products
US8009587B2 (en) 2007-05-01 2011-08-30 Broadcom Corporation System and method of discovery of wireless control device
TW200908760A (en) 2007-05-22 2009-02-16 Nec Corp Signal handover control device, method and program
US8320410B2 (en) 2007-05-23 2012-11-27 Broadcom Corporation Synchronization of media data streams with separate sinks using a relay
JP2008293361A (ja) 2007-05-25 2008-12-04 Canon Inc 画面表示システム、その制御方法、プログラム及び記録媒体
JP4996348B2 (ja) 2007-05-31 2012-08-08 株式会社東芝 映像処理装置及び映像処理方法
US20080307349A1 (en) 2007-06-08 2008-12-11 Microsoft Corporation Sharing a computer display across a network
US20080310391A1 (en) 2007-06-17 2008-12-18 Texas Instruments Incorporated Apparatus for and method of power save traffic control in client/server networks
US7835406B2 (en) 2007-06-18 2010-11-16 Cisco Technology, Inc. Surrogate stream for monitoring realtime media
CN101663640A (zh) 2007-06-27 2010-03-03 国际商业机器公司 提供合成显示的系统和方法
EP2012461A1 (en) 2007-07-04 2009-01-07 Nokia Siemens Networks Oy Multicast network system
US8601156B2 (en) 2007-07-06 2013-12-03 Qualcomm Incorporated Methods and apparatus related to peer discovery and/or paging in peer to peer wireless communications
US20090010259A1 (en) 2007-07-08 2009-01-08 Alexander Sirotkin Device, system, and method of classification of communication traffic
JP2009021698A (ja) 2007-07-10 2009-01-29 Toshiba Corp 映像表示端末装置、表示切替方法およびプログラム
US8667144B2 (en) 2007-07-25 2014-03-04 Qualcomm Incorporated Wireless architecture for traditional wire based protocol
JP2009033348A (ja) 2007-07-25 2009-02-12 Toshiba Corp ビデオ会議アプリケーションサーバ、ビデオ会議方法およびプログラム
US8812712B2 (en) 2007-08-24 2014-08-19 Alcatel Lucent Proxy-driven content rate selection for streaming media servers
US20090054069A1 (en) * 2007-08-24 2009-02-26 Zeetoo, Inc. Platform Independent Communication Protocol
US8855192B2 (en) 2007-09-05 2014-10-07 Amimon, Ltd. Device, method and system for transmitting video data between a video source and a video sink
US9239666B2 (en) 2007-09-12 2016-01-19 Citrix Systems, Inc. Methods and systems for maintaining desktop environments providing integrated access to remote and local resources
JP2009071580A (ja) 2007-09-13 2009-04-02 Yamaha Corp 通信装置
EP2037683A1 (en) 2007-09-17 2009-03-18 Alcatel Lucent Process for delivering to a media terminal an adapted video stream by means of an access node
US8339967B2 (en) 2007-09-18 2012-12-25 Samsung Electronics Co., Ltd. Method and apparatus for generating data frame
WO2009040918A1 (ja) 2007-09-27 2009-04-02 Panasonic Corporation 動画像符号化装置、動画像符号化方法及びプログラム
US20090089453A1 (en) 2007-09-27 2009-04-02 International Business Machines Corporation Remote visualization of a graphics application
JP5186864B2 (ja) 2007-09-28 2013-04-24 大日本印刷株式会社 振出容器
US7729366B2 (en) 2007-10-03 2010-06-01 General Instrument Corporation Method, apparatus and system for network mobility of a mobile communication device
JP4479776B2 (ja) 2007-10-05 2010-06-09 ソニー株式会社 表示装置および送信装置
WO2009052529A1 (en) 2007-10-20 2009-04-23 Citrix Systems, Inc. Methods and systems for remoting three dimensional graphical data
US8407605B2 (en) 2009-04-03 2013-03-26 Social Communications Company Application sharing
US8059650B2 (en) 2007-10-31 2011-11-15 Aruba Networks, Inc. Hardware based parallel processing cores with multiple threads and multiple pipeline stages
US8713193B1 (en) 2007-11-12 2014-04-29 Sprint Communications Company L.P. Pausing multimedia data streams
JP5018515B2 (ja) 2007-11-20 2012-09-05 ソニー株式会社 情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラム
KR101445188B1 (ko) 2007-11-21 2014-10-01 삼성전자주식회사 무선 센서 네트워크에서 비정상적인 프레임 탐지 방법 및이를 위한 시스템
US20090141692A1 (en) 2007-11-30 2009-06-04 Mika Kasslin Optimized ad hoc networking
JP4618291B2 (ja) 2007-11-30 2011-01-26 ソニー株式会社 送信装置、受信装置および受信装置における操作情報送信方法
US8866971B2 (en) 2007-12-17 2014-10-21 Ati Technologies Ulc Method, apparatus and machine-readable medium for apportioning video processing between a video source device and a video sink device
EP2232848A4 (en) 2007-12-20 2012-10-24 Ati Technologies Ulc ADJUSTING VIDEO PROCESSING IN A SYSTEM COMPRISING A VIDEO SOURCE DEVICE AND A VIDEO ACCUMULATION DEVICE
TWI381291B (zh) * 2008-01-25 2013-01-01 Primax Electronics Ltd 可降低無線滑鼠耗電之方法
JP5359230B2 (ja) 2008-02-04 2013-12-04 ソニー株式会社 送信装置および伝送データフォーマット決定方法
JP5105171B2 (ja) 2008-02-08 2012-12-19 ソニー株式会社 表示装置、表示方法、供給装置、供給方法、およびプログラム、並びに制御システム
CN102067586B (zh) 2008-03-05 2014-01-01 惠普开发有限公司 使外部内容在数字显示系统中同步和窗口化
CN101547143B (zh) 2008-03-28 2012-10-03 华为技术有限公司 一种流媒体业务的切换方法和装置
US8811294B2 (en) 2008-04-04 2014-08-19 Qualcomm Incorporated Apparatus and methods for establishing client-host associations within a wireless network
WO2009132276A2 (en) 2008-04-25 2009-10-29 Interdigital Patent Holdings, Inc. Radio link control status reporting and polling
US20090284476A1 (en) 2008-05-13 2009-11-19 Apple Inc. Pushing a user interface to a remote device
JP2009284047A (ja) 2008-05-20 2009-12-03 Panasonic Corp ソース装置用アダプタ装置及びソース装置用アダプタ装置の制御方法
US8214857B2 (en) 2008-05-29 2012-07-03 International Business Machines Corporation Generating a combined video stream from multiple input video streams
US8116333B2 (en) * 2008-06-30 2012-02-14 Sibeam, Inc. Connection control in a wireless communication system
CN101626363B (zh) 2008-07-07 2013-03-27 华为技术有限公司 聚合业务装置、系统、聚合业务创建及使用方法
JP4924560B2 (ja) 2008-07-28 2012-04-25 セイコーエプソン株式会社 データ転送制御装置及び電子機器
US8126509B2 (en) 2008-08-01 2012-02-28 Mediatek Inc. Methods for handling packet-switched data transmissions by mobile station with subscriber identity cards and systems utilizing the same
KR20100016954A (ko) 2008-08-05 2010-02-16 주식회사 대우일렉트로닉스 유무선으로 접속가능한 분리형 디스플레이장치
US8517251B2 (en) 2008-08-29 2013-08-27 The Invention Science Fund I, Llc Application control based on flexible interface conformation sequence status
US8466870B2 (en) 2008-08-29 2013-06-18 The Invention Science Fund, I, LLC E-paper application control based on conformation sequence status
US20100073334A1 (en) 2008-09-25 2010-03-25 Cohen Alexander J E-paper application control based on conformation sequence status
CN101360157B (zh) 2008-09-27 2011-08-03 华为终端有限公司 一种无线通信终端、方法及系统
US8344870B2 (en) 2008-10-07 2013-01-01 Cisco Technology, Inc. Virtual dashboard
JP5077181B2 (ja) 2008-10-14 2012-11-21 ソニー株式会社 情報受信装置、情報送信装置および情報通信システム
US20100279822A1 (en) 2008-11-01 2010-11-04 Ford John Hajime Systems and methods for optimizing one or more audio tracks to a video stream
US20100118200A1 (en) 2008-11-10 2010-05-13 Geoffrey Michael Gelman Signage
WO2010059005A2 (en) 2008-11-24 2010-05-27 Lg Electronics, Inc. Apparatus for receiving a signal and method of receiving a signal
US8558803B2 (en) 2008-11-28 2013-10-15 Samsung Electronics Co., Ltd. Input device for portable terminal and method thereof
US7861004B2 (en) 2008-12-04 2010-12-28 At&T Intellectual Property I, Lp System and method for analyzing data traffic
US10311446B2 (en) 2008-12-05 2019-06-04 Nokia Technologies Oy Method and apparatus for obfuscating context information
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
US8358670B2 (en) 2008-12-30 2013-01-22 Samsung Electronics Co., Ltd. Method and apparatus for processing packet
US8743906B2 (en) 2009-01-23 2014-06-03 Akamai Technologies, Inc. Scalable seamless digital video stream splicing
JP5267165B2 (ja) 2009-01-30 2013-08-21 日本電気株式会社 ストリーミング配信システム、その動作制御方法及びプログラム
TW201031149A (en) 2009-02-03 2010-08-16 Acer Inc Instant data sharing system and machine readable medium thereof
US20100205321A1 (en) 2009-02-12 2010-08-12 Qualcomm Incorporated Negotiable and adaptable periodic link status monitoring
US8102849B2 (en) 2009-02-12 2012-01-24 Qualcomm, Incorporated Association procedure to enable multiple multicast streams
US20120036277A1 (en) 2009-03-16 2012-02-09 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno Modified Stream Synchronization
CN101847073A (zh) * 2009-03-25 2010-09-29 鸿富锦精密工业（深圳）有限公司 便携式电子装置
WO2010118019A1 (en) 2009-04-06 2010-10-14 Nokia Corporation Methods and systems for using multipart messaging with preset constraints
US9258402B2 (en) 2009-04-14 2016-02-09 Qualcomm Incorporated System and method for controlling mobile devices
US8406961B2 (en) 2009-04-16 2013-03-26 Panasonic Corporation Reconfigurable vehicle user interface system
US8156238B2 (en) 2009-05-13 2012-04-10 Stmicroelectronics, Inc. Wireless multimedia transport method and apparatus
WO2010131316A1 (ja) 2009-05-14 2010-11-18 パナソニック株式会社 映像データの伝送方法
WO2010131314A1 (ja) 2009-05-14 2010-11-18 パナソニック株式会社 ビデオデータの伝送方法
EP2449788A4 (en) 2009-06-30 2015-05-13 Lg Electronics Inc DATA PROCESSING METHOD FOR THREE DIMENSIONAL IMAGES AND AUDIO / VIDEO SYSTEM
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US8605584B2 (en) 2009-07-02 2013-12-10 Qualcomm Incorporated Transmission of control information across multiple packets
US8687648B2 (en) 2009-07-17 2014-04-01 Qualcomm Incorporated Wireless transmission of data using an available channel of a spectrum
US8378653B2 (en) 2009-08-17 2013-02-19 Texas Instruments Incorporated HDMI driver tail current transistors with current mirror controlled leads
US8355328B2 (en) 2009-08-27 2013-01-15 Broadcom Corporation Dynamic load balancing
KR101576969B1 (ko) 2009-09-08 2015-12-11 삼성전자 주식회사 영상처리장치 및 영상처리방법
US8280158B2 (en) 2009-10-05 2012-10-02 Fuji Xerox Co., Ltd. Systems and methods for indexing presentation videos
KR101732057B1 (ko) * 2009-11-02 2017-05-02 삼성전자주식회사 Ａｖ 시스템에서 사용자 입력 백 채널을 제공하는 방법 및 기기
KR20110053110A (ko) 2009-11-13 2011-05-19 삼성전자주식회사 디스플레이장치, 클라이언트, 이를 포함하는 영상표시시스템 및 영상표시방법
US8713625B2 (en) 2009-12-01 2014-04-29 Sony Corporation Delivery of captions, content advisory and other data through digital interface
US9582238B2 (en) 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
US8559340B2 (en) 2009-12-22 2013-10-15 Samsung Electronics Co., Ltd. Method and apparatus for service discovery in Wi-Fi direct network
US20110157470A1 (en) 2009-12-28 2011-06-30 Sadao Tsuruga Receiver, receiving method and output control method
US9508387B2 (en) 2009-12-31 2016-11-29 Flick Intelligence, LLC Flick intel annotation methods and systems
US8543745B2 (en) 2010-01-06 2013-09-24 Apple Inc. Accessory for a portable computing device
US20110167176A1 (en) 2010-01-06 2011-07-07 Apple Inc. Connecting multiple accessories to a portable computing device
US8698845B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface with interactive popup views
JP5493910B2 (ja) 2010-01-25 2014-05-14 ソニー株式会社 無線通信装置、無線通信方法、通信制御装置、およびプログラム
CN104294886B (zh) 2010-02-01 2016-05-18 科勒公司 用于可编程淋浴界面的系统和方法
KR101414659B1 (ko) * 2010-02-23 2014-07-03 엘지전자 주식회사 홈 네트워크 시스템에서 세션 라우팅 방법 및 장치
US8692937B2 (en) 2010-02-25 2014-04-08 Silicon Image, Inc. Video frame synchronization
US8300667B2 (en) 2010-03-02 2012-10-30 Cisco Technology, Inc. Buffer expansion and contraction over successive intervals for network devices
US20110216829A1 (en) 2010-03-02 2011-09-08 Qualcomm Incorporated Enabling delta compression and modification of motion estimation and metadata for rendering images to a remote display
US10009647B2 (en) 2010-03-02 2018-06-26 Qualcomm Incorporated Reducing end-to-end latency for communicating information from a user device to a receiving device via television white space
KR101660305B1 (ko) 2010-03-31 2016-09-27 삼성전자주식회사 이동통신 단말기 간의 원격 제어 방법 및 장치
CN102860034B (zh) 2010-04-28 2016-05-18 Lg电子株式会社 图像显示设备和操作图像显示设备的方法
KR101731844B1 (ko) 2010-05-14 2017-05-02 삼성전자 주식회사 와이파이 디바이스의 와이파이 서비스 제공 방법 및 시스템
US8738783B2 (en) 2010-06-22 2014-05-27 Microsoft Corporation System for interaction of paired devices
US8402498B2 (en) * 2010-08-04 2013-03-19 Verizon Patent And Licensing Inc. Method and apparatus for controlling a set-top box based on device events
US8429707B2 (en) 2010-08-04 2013-04-23 Verizon Patent And Licensing Inc. Method and apparatus for interacting with a set-top box based on sensor events from a user device
US20120038825A1 (en) 2010-08-16 2012-02-16 Uri Kanonich Circuits systems & method for computing over a wireless communication architecture
JP5816829B2 (ja) 2010-08-17 2015-11-18 パナソニックＩｐマネジメント株式会社 電力管理装置
WO2012030318A1 (en) 2010-09-03 2012-03-08 Packetvideo Corporation System and method for transferring media content
KR101657122B1 (ko) 2010-09-15 2016-09-30 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US8724696B2 (en) 2010-09-23 2014-05-13 Vmware, Inc. System and method for transmitting video and user interface elements
EP2625602B1 (en) 2010-10-05 2019-11-27 Citrix Systems Inc. Gesture support for shared sessions
US8462734B2 (en) * 2010-10-20 2013-06-11 Nokia Corporation Wireless docking with out-of-band initiation
WO2012060611A2 (ko) 2010-11-03 2012-05-10 엘지전자 주식회사 장치 탐색 방법 및 그를 이용한 통신 장치
US8605048B2 (en) 2010-11-05 2013-12-10 Bluespace Corporation Method and apparatus for controlling multimedia contents in realtime fashion
JP5897792B2 (ja) * 2010-12-10 2016-03-30 ソニー株式会社 画像処理装置、画像再生装置、および画像再生システム
US8792429B2 (en) 2010-12-14 2014-07-29 Microsoft Corporation Direct connection with side channel control
JP5811602B2 (ja) * 2010-12-16 2015-11-11 ソニー株式会社 画像生成装置、プログラム、画像表示システム、および画像表示装置
US8495686B2 (en) * 2010-12-27 2013-07-23 Verizon Patent And Licensing Inc. Method and apparatus for controlling a set top box over a wireless adhoc connection
JP5918270B2 (ja) 2011-01-14 2016-05-18 サムスン エレクトロニクス カンパニー リミテッド ワイファイダイレクト通信方式におけるシンクデバイスからソースデバイスにユーザの入力を送信するための方法及び装置
US9128524B2 (en) * 2011-01-18 2015-09-08 Lg Electronics Inc. Method for delivering user input, and device using same
US10135900B2 (en) 2011-01-21 2018-11-20 Qualcomm Incorporated User input back channel for wireless displays
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US8677029B2 (en) 2011-01-21 2014-03-18 Qualcomm Incorporated User input back channel for wireless displays
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US9582239B2 (en) 2011-01-21 2017-02-28 Qualcomm Incorporated User input back channel for wireless displays
US20130003624A1 (en) 2011-01-21 2013-01-03 Qualcomm Incorporated User input back channel for wireless displays
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US8674957B2 (en) 2011-02-04 2014-03-18 Qualcomm Incorporated User input device for wireless back channel
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
US11580155B2 (en) 2011-03-28 2023-02-14 Kodak Alaris Inc. Display device for displaying related digital images
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US9712573B2 (en) 2011-09-13 2017-07-18 Qualcomm Incorporated Synchronized wireless display devices
US8887222B2 (en) 2011-09-14 2014-11-11 Qualcomm Incorporated Multicasting in a wireless display system
US9106651B2 (en) * 2011-09-19 2015-08-11 Qualcomm Incorporated Sending human input device commands over internet protocol
US20130195119A1 (en) * 2011-10-14 2013-08-01 Qualcomm Incorporated Feedback channel for wireless display devices
US9277230B2 (en) 2011-11-23 2016-03-01 Qualcomm Incorporated Display mode-based video encoding in wireless display devices
WO2013089728A1 (en) 2011-12-15 2013-06-20 Intel Corporation Method, device, and system for securely sharing media content from a source device
US9594536B2 (en) 2011-12-29 2017-03-14 Ati Technologies Ulc Method and apparatus for electronic device communication
US8966131B2 (en) 2012-01-06 2015-02-24 Qualcomm Incorporated System method for bi-directional tunneling via user input back channel (UIBC) for wireless displays
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
KR101335247B1 (ko) 2012-02-21 2013-11-29 주식회사 팬택 원격의 싱크 장치를 표시하는 방법, 이를 위한 소스 장치 및 시스템
KR101892567B1 (ko) * 2012-02-24 2018-08-28 삼성전자 주식회사 단말기에서 콘텐츠 이동 방법 및 장치
EP2640100B1 (en) 2012-03-11 2019-01-02 Samsung Electronics Co., Ltd Method and apparatus for providing an enhanced wi-fi display session in a wi-fi display network
US9087163B2 (en) * 2012-07-11 2015-07-21 Silicon Image, Inc. Transmission of multiple protocol data elements via an interface utilizing a data tunnel
EP2688307B1 (en) 2012-07-19 2018-05-23 Samsung Electronics Co., Ltd Wireless communication system for offline participation in a display session
WO2014052856A2 (en) 2012-09-28 2014-04-03 Marvell World Trade Ltd. Enhanced user experience for miracast devices
US9144094B2 (en) * 2012-10-29 2015-09-22 Qualcomm Incorporated Establishing a wireless display session between a computing device and a vehicle head unit
US9652192B2 (en) * 2013-01-25 2017-05-16 Qualcomm Incorporated Connectionless transport for user input control for wireless display devices
EP3011725B1 (en) 2013-06-18 2019-12-04 Samsung Electronics Co., Ltd Method and apparatus for controlling content shared between devices in wireless communication system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120441A (ja) * 2002-09-26 2004-04-15 Fujitsu Component Ltd 切替器、コンピュータシステム、画像の圧縮方式又は圧縮率の更新方法、マウス座標の変換方法、画像の圧縮方式又は圧縮率の更新プログラム、マウスの座標変換プログラム及び記録媒体
US20080129879A1 (en) 2006-12-04 2008-06-05 Samsung Electronics Co., Ltd. System and method for wireless communication of uncompressed video having connection control protocol
WO2010126727A2 (en) * 2009-05-01 2010-11-04 Apple Inc. Directional touch remote

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023128206A1 (ko) * 2021-12-30 2023-07-06 삼성전자주식회사 소스 장치, 싱크 장치 및 그 동작 방법들

Also Published As

Publication number Publication date
CA2824563A1 (en) 2012-07-26
CA2824563C (en) 2017-07-04
MY166984A (en) 2018-07-27
BR112013018563A2 (pt) 2016-11-22
JP2016015150A (ja) 2016-01-28
JP2014510961A (ja) 2014-05-01
IL227159A (en) 2016-06-30
RU2571595C2 (ru) 2015-12-20
JP6144301B2 (ja) 2017-06-07
US20130009873A1 (en) 2013-01-10
AU2012207129A1 (en) 2013-08-01
SG191377A1 (en) 2013-08-30
AU2012207129B2 (en) 2015-08-27
HK1188005A1 (zh) 2014-04-17
WO2012100193A1 (en) 2012-07-26
EP2666073A1 (en) 2013-11-27
CN103392161B (zh) 2016-10-05
RU2013138718A (ru) 2015-02-27
US9413803B2 (en) 2016-08-09
CN103392161A (zh) 2013-11-13
ZA201305997B (en) 2014-04-30
KR20130126972A (ko) 2013-11-21

Similar Documents

Publication Publication Date Title
KR101640854B1 (ko) 무선 디스플레이들을 위한 사용자 입력 백 채널
KR101603155B1 (ko) 무선 디스플레이들을 위한 사용자 입력 백 채널
KR101626355B1 (ko) 무선 디스플레이들을 위한 사용자 입력 백 채널
KR101503386B1 (ko) 무선 싱크와 무선 소스 디바이스 사이에서 능력들의 협상
KR101623895B1 (ko) 무선 디스플레이들을 위한 사용자 입력 백 채널
KR101615998B1 (ko) 무선 디스플레이들을 위한 사용자 입력 백 채널
KR101572977B1 (ko) 무선 디스플레이들을 위한 사용자 입력 백 채널
US9582239B2 (en) User input back channel for wireless displays
KR101533753B1 (ko) 무선 디스플레이들을 위한 사용자 입력 백 채널
KR101616009B1 (ko) 무선 디스플레이들을 위한 사용자 입력 백 채널

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 4