KR20170046172A - 강화된 대화형 텔레비전 경험 - Google Patents

강화된 대화형 텔레비전 경험 Download PDF

Info

Publication number
KR20170046172A
KR20170046172A KR1020177008349A KR20177008349A KR20170046172A KR 20170046172 A KR20170046172 A KR 20170046172A KR 1020177008349 A KR1020177008349 A KR 1020177008349A KR 20177008349 A KR20177008349 A KR 20177008349A KR 20170046172 A KR20170046172 A KR 20170046172A
Authority
KR
South Korea
Prior art keywords
user
content
generating
companion application
application
Prior art date
Application number
KR1020177008349A
Other languages
English (en)
Other versions
KR102331290B1 (ko
Inventor
타일러 비엘만
헬렌 람
미셸 쯔 히앙 추아
새논 옌 윤 리
매튜 니겔 카터
매튜 데이비 왈쉬
데이빗 세이모어
프리에틴더팔 에스 만갓
윌리암 마이클 모젤
제시 윌리암 웨슨
마이클 제임스 마하르
레이몬드 알렉산더 치-위예 룸
마이클 제임스 퍼젤
카메론 데이빗 제임스 맥레
다린 아담 브라운
다샨 위예
레무스 라두
에릭 씨 브릿지워터
데이빗 티 퍼거슨
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170046172A publication Critical patent/KR20170046172A/ko
Application granted granted Critical
Publication of KR102331290B1 publication Critical patent/KR102331290B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

대화형 TV 플랫폼 상에서 실행되는 애플리케이션과 네트워크를 통해 상호작용할 수 있는 실시간 TV 서비스에 의해 다양한 강화된 대화형 TV 경험들이 지원된다. 실시간 텔레비전 서비스는 데이터, 비디오, 및 통신 사용자 인터페이스(user interface; UI) 엘리먼트들이 선형 TV 콘텐츠와 나란히 세 개의 개별적인 네비게이션 상태들에서 지원될 수 있게 하며, 이 네비게이션 상태들 각각은 사용자 의도에 정렬된 특수한 역할을 갖는다. 하나의 특정 UI 엘리먼트(집중형 컴패니언 패널)의 경우, 라이브 이벤트들에 대한 사용자의 이해와 인식을 강화시키는 개인화된 데이터의 라이브 스트림이 지원된다. 실시간 TV 서비스는 또한 사용자들로 하여금 특정 맞춤화가능 이벤트들을 옵트 인(opt in)하고, 자신들의 주의집중을 받는 통지들을 TV 스크린 상에서 서빙받을 수 있으며, 특정 조건들을 충족시키는 특정 콘텐츠 조각 상에 자신들을 랜딩시키는 애플리케이션 내로 상기 통지를 뒤따르게 할 수 있다.

Description

강화된 대화형 텔레비전 경험{ENHANCED INTERACTIVE TELEVISION EXPERIENCES}
본 발명은 강화된 대화형 텔레비전 경험에 관한 것이다.
선형 텔레비전(TV) 콘텐츠에 대한 컴패니언 경험(companion experience)은 일반적으로 모바일 및 태블릿 디바이스들에 의해 지원되는 것과 같은 제2 스크린으로 제한된다. 이것은 종종 사용자가 자신 앞에 있는 대형 스크린 TV와 손 안에 있는 더 작은 스크린 간에 주의집중(attention)을 분할시키게 한다. 이러한 디바이스들은 물론 스크린들의 물리적 위치 간의 동시성(synchronicity)은 종종 조화되지 않은 경험을 생성할 수 있다(즉, 사용자는 데이터를 원하지만, 항상 뭔가를 놓친다). 또한, 사용자로부터 부분적 주의집중만을 차지하도록 의도된 콘텐츠 분배 시스템 및 인터페이스가 제공될 때, 컴패니언 경험은, 정교하게 분열되며 의미있는 상태를 얻고 이를 유지하기 위해 감소된 사용자 입력을 활용할 수 있는 방식으로 현재 설계되어 있지 않다.
사용자는 또한 컴패니언 경험을 통해 다른 문제에 직면할 수 있다. 예를 들어, 실시간으로 발생하는 이벤트들의 임의의 통지를 위한 TV 지향 활동 공간은 일반적으로 사용자가 몰입해 있는 TV 스크린에 직접 서빙될 수 없다. 대부분의 경우, 라이브 이벤트(live event)들의 통지는 제2 스크린 디바이스들로 제한된다. 또한, 일반적으로 라이브 이벤트와 관련된 통지를 TV 상의 대화형 공간 내로 뒤따르게 하기 위한 능력에는 제한이 있다.
이 배경기술은 아래의 요약 및 상세한 설명에 대한 간략한 상황을 소개하기 위해 제공된 것이다. 이 배경기술은 청구된 발명내용의 범위를 결정하는데 도움을 주지도 않으며, 위에 제시된 단점들 또는 문제점들의 일부 또는 그 전부를 해결하는 구현예들로 청구된 발명내용을 한정시키는 것으로서 간주되어서도 안되게끔 의도된 것이다.
멀티미디어 콘솔, 개인용 컴퓨터(PC) 등과 같은 대화형 TV 플랫폼 상에서 실행되는 애플리케이션과 네트워크를 통해 상호작용할 수 있는 실시간 TV 서비스에 의해 다양한 강화된 대화형 TV 경험들이 지원된다. 실시간 텔레비전 서비스는 데이터, 비디오, 및 통신 사용자 인터페이스(user interface; UI) 엘리먼트들이 선형 TV 콘텐츠와 나란히 세 개의 개별적인 네비게이션 상태들에서 지원될 수 있게 하며, 이 네비게이션 상태들 각각은 사용자 의도에 맞춰진 특수한 역할을 갖는다. 하나의 특정 UI 엘리먼트(집중형 컴패니언 패널)의 경우, 라이브 이벤트들에 대한 사용자의 이해와 인식을 강화시키는 개인화된 데이터의 라이브 스트림(live stream)이 지원된다. 대화형 TV 플랫폼이 컴패니언 모드에서 동작할 때, UI는 사용자가 완전 주의집중(full attention) 상태로부터 부분적 주의집중(partial attention) 상태로 이동하는 것을 최적으로 처리하는 방식으로 편제(organize)된다. 실시간 TV 서비스는 어떤 콘텐츠를 디스플레이할지와 그 편제를 결정하고, 특정 콘텐츠를 자동으로 업데이트하며, 쉽고 직관적인 방식으로 콘텐츠 엘리먼트들 간의 이동을 지원할 수 있다. 실시간 TV 서비스는 또한 사용자들로 하여금 자신들이 관심있어 하는 특정 맞춤화가능 이벤트들을 옵트 인(opt in)하게 할 수 있고, 자신들의 주의집중을 받는 통지들을 TV 스크린 상에서 서빙받을 수 있으며, 그런 후, 예를 들어, 단일 버튼 누름을 통해, 자신들이 관심있어 하는 특정 조건들을 충족시키는 특정 콘텐츠 조각 상에 자신들을 랜딩(land)시키는 애플리케이션 내로 상기 통지를 뒤따르게 할 수 있다.
본 요약은 아래의 상세한 설명에서 보다 상세하게 설명되는 개념들의 선택을 단순한 형태로 소개하기 위해 제공된 것이다. 본 요약은 청구된 발명내용의 중요한 특징들 또는 필수적인 특징들을 식별시키려는 의도는 없으며, 또한 청구된 발명내용의 범위를 결정하는데 도움을 주려고 의도된 것도 아니다. 뿐만 아니라, 청구된 발명내용은 본 발명개시의 임의의 부분에서 언급된 단점들 모두 또는 그 일부를 해결하는 구현예들로 국한되지 않는다. 상술한 발명내용은 컴퓨터 제어 장치, 컴퓨터 프로세스, 컴퓨팅 시스템, 또는 하나 이상의 컴퓨터 판독가능 저장 매체와 같은 제조 물품으로서 구현될 수 있음을 이해할 것이다. 이러한 특징들 및 다양한 다른 특징들이 다음의 상세한 설명을 읽고 관련 도면을 검토함으로써 명백해질 것이다.
도 1은 본 강화된 대화형 TV 경험이 구현될 수 있는 예시적인 컴퓨팅 환경을 도시한다.
도 2 내지 도 4는 일반적인 가정 환경에서 사용자가 멀티미디어 콘솔과 상호작용하는 본 강화된 대화형 TV 경험들의 예시적인 일례의 도면들을 도시한다.
도 5는 실시간 TV 서비스를 지원하는데 사용될 수 있는 예시적인 엘리먼트들의 기능 블록도이다.
도 6은 실시간 TV 서비스와 상호작용하는 애플리케이션에 의해 노출될 수 있는 예시적인 UI 엘리먼트를 도시한다.
도 7은 애플리케이션 UI 엘리먼트에 의해 노출될 수 있는 기능들의 예시적인 분류체계를 도시한다.
도 8은 이벤트 피드(event feed)가 카드 형태의 콘텐츠를 사용하여 동적으로 큐레이트(curated)되는 애플리케이션으로의 실시간 TV 서비스로부터의 예시적인 이벤트 피드를 도시한다.
도 9는 스포츠 애플리케이션의 환경에서의 예시적인 카드 유형들의 세트를 도시한다.
도 10은 이벤트 피드가 라이브 사용(live use) 및 캐치 업 사용(catch-up use) 케이스들을 어떻게 포함할 수 있는지를 예시적으로 도시한다.
도 11은 애플리케이션 UI가 주 콘텐츠 영역과 보조 콘텐츠 영역으로 분할되는 예시적인 구성을 도시한다.
도 12는 예시적인 정적 및 순환 콘텐츠 영역들을 도시한다.
도 13은 사용자가 보조 콘텐츠 영역에서 노출된 콘텐츠의 다양한 세부화 레벨들 중에서 선택하는 방법을 도시한다.
도 14는 특수 효과 및/또는 시각 효과를 사용하여 카드가 처리되는 방법을 예시적으로 도시한다.
도 15 및 도 16은 예시적인 스포츠 애플리케이션에 의해 노출된 UI의 스크린 캡처를 도시한다.
도 17은 제3자로부터의 데이터 피드에 응답하여 애플리케이션에 통지들을 제공하도록 실시간 TV 서비스가 구성되는 예시적인 구성을 도시한다.
도 18은 통지들에 대한 예시적인 사용 케이스들을 도시한다.
도 19는 통지와 연관된 애플리케이션 UI의 스크린 캡처의 예시적인 시퀀스를 도시한다.
도 20은 본 강화된 대화형 TV 경험들을 구현하기 위해 부분적으로 사용될 수 있는 개인용 컴퓨터(PC) 또는 서버와 같은 예시적인 컴퓨터 시스템의 간략화된 블록도이다.
도 21은 본 강화된 대화형 TV 경험들을 구현하기 위해 부분적으로 사용될 수 있는 예시적인 컴퓨팅 플랫폼의 블록도를 도시한다.
도 22는 본 강화된 대화형 TV 경험들을 구현하기 위해 부분적으로 사용될 수 있는 예시적인 카메라 시스템의 기능 블록도를 도시한다.
도 23은 본 강화된 대화형 TV 경험들을 구현하기 위해 부분적으로 사용될 수 있는 예시적인 멀티미디어 콘솔의 기능 블록도를 도시한다.
도면에서 동일한 참조 부호는 동일한 엘리먼트를 나타낸다. 다른 언급이 없는 한 엘리먼트들은 축척에 따라 도시되지 않는다. 도면에서 표시된 특정 UI들은 특정 구현예의 필요에 따라 도시되는 것과는 다를 수 있음을 강조해둔다.
도 1은 본 강화된 대화형 TV 경험들이 구현될 수 있는 예시적인 컴퓨팅 환경(100)을 도시한다. 엔터테인먼트 서비스(102)는 일반적으로 애플리케이션("앱")(104), 게임(106), 텔레비전 쇼 및 영화와 같은 미디어 콘텐츠(108), 및 스트리밍 인터넷 프로토콜 텔레비전("IPTV(Internet Protocol Television)") 콘텐츠(110)를, 공중 교환 전화망(PSTN), 모바일 오퍼레이터 및 셀룰러 네트워크, Wi-Fi, 근거리 및/또는 광역 네트워크, 단거리 네트워크, 및 인터넷의 일부분들을 포함할 수 있는 분배 네트워크(116)를 통해 멀티미디어 콘솔(114)의 사용자(112)에게 노출시킬 수 있다. 통신 서비스, 금융 서비스, 여행 서비스, 뉴스 및 정보 서비스 등과 같은 다양한 다른 서비스들(150)을 제공할 수 있는 다른 서비스/데이터 제공자들(참조 번호 118로 대표적으로 표시됨)이 또한 환경(100) 내에 있을 수 있다. 다른 서비스/데이터 제공자들(118)은 또한, 몇몇 경우에서, 데이터(155) 및/또는 TV 콘텐츠를 제공할 수 있다.
앱, 게임, 및/또는 미디어 콘텐츠를 비롯한 로컬 콘텐츠(120)가 또한 환경(100)에서 특정 사용자 경험(122)을 제공하기 위해 활용되고/활용되거나 소비될 수 있다. 일부 경우들에서, 로컬 콘텐츠(120)는 DVD(Digital Versatile Disc) 및 CD(Compact Disc)를 비롯한 광 디스크와 같은 탈착식 소스들로부터 얻어지는 반면에, 다른 경우들에서는, 로컬 콘텐츠는 원격 소스로부터 다운로드되어 로컬로 저장된다. 사용자 경험(122)은 경우에 따라, 로컬 또는 네트워크화된 콘텐츠/앱/게임을 적절하게 사용하여, 멀티미디어 콘솔(114) 상에서 로컬로 실행될 수 있거나, 엔터테인먼트 서비스(102)에 의해 원격으로 호스팅될 수 있거나, 또는 로컬 및 원격 실행의 조합을 사용할 수 있다. 사용자 경험(122)은 또한 다른 컴퓨팅 디바이스들과 함께 복수의 다른 플레이어들(124)이 참여할 수 있는 것일 수 있다. 일부 구현예들에서, 사용자 경험은 또한 소셜 네트워크(126) 상에서 공유될 수 있다.
사용자(112)는 일반적으로 시각적 명령, 모션, 및 제스처를 감지하는데 사용될 수 있는 카메라 시스템(128), 및 헤드셋(130) 또는 다른 유형의 마이크로폰 또는 오디오 캡처 디바이스/시스템을 비롯한 다양한 상이한 인터페이스 디바이스들을 사용하여 멀티미디어 콘솔(114)과 상호작용할 수 있다. 일부 경우들에서, 마이크로폰과 카메라는 단일 디바이스로 결합될 수 있다. 사용자(112)는 또한 제어기(132)를 이용하여 멀티미디어 콘솔(114)과 상호작용할 수 있다. 제어기(132)는 조이스틱, 방향 패드("D 패드"), 및 버튼을 비롯한 다양한 물리적 제어부들을 포함할 수 있다. 하나 이상의 트리거들 및/또는 범퍼들(도시되지 않음)이 또한 제어기(132)에 통합될 수 있다. 사용자(112)는 일반적으로 텔레비전 또는 모니터와 같은 디스플레이 디바이스(136) 상에 표시된 사용자 인터페이스(134)와 상호작용할 것이다.
멀티미디어 콘솔(114) 상에서는 다양한 애플리케이션들(138)이 지원된다. 애플리케이션들(138)은 종종 로컬로 실행되는 코드를 사용하여 구현된다. 그러나, 일부 경우들에서, 애플리케이션들은 원격 서버 또는 다른 컴퓨팅 플랫폼에 의해 제공하는 서비스들 및/또는 원격 코드 실행에 의존할 수 있다. 아래에서 보다 상세하게 설명되는 바와 같이, 애플리케이션들(138) 중 특정 애플리케이션은 실시간 TV 서비스(170)와 상호동작하여 다양한 사용자 경험들을 지원하도록 구성될 수 있다.
카메라 시스템(128), 오디오 캡처 시스템, 및 제어기(132)에서 활용되는 제어부들의 수 및 이들에서 구현되는 사용자 제어부들에 의해 지원되는 특징들 및 기능들은 특정 구현예의 필요에 따라 도 1에서 도시된 것과 다를 수 있다는 것을 강조해둔다. 또한, 이하의 설명에서는, 다양한 제스처, 버튼 누름, 및 제어부 조작이 설명된다. 이들 액션들은 설명용으로 의도되었다는 것을 유념한다. 예를 들어, 사용자는 멀티미디어 콘솔(114) 상에서 동작하는 시스템이 특정 기능 또는 태스크를 수행하도록 촉구하기 위해 특정 버튼 또는 제어부를 작동시키거나 또는 특정 제스처를 수행할 수 있다. 기능들에 대한 제어부들의 특정 맵핑은 특정 구현예의 필요에 따라 이하에 기술된 것과 다를 수 있다는 것을 이해할 것이다. 여기에서 사용된 용어 "시스템"은 멀티미디어 콘솔에 의해 제공되는 다양한 사용자 경험들을 지원하기 위해 멀티미디어 콘솔 및 그 주변 장치들 상에서 인스턴스화되는 다양한 소프트웨어(소프트웨어 운영 체제("OS")를 포함), 하드웨어, 및 펌웨어 컴포넌트들을 망라한다. 본 강화된 대화형 TV 경험들은 본 명세서의 예시적인 예시들에서 멀티미디어 콘솔의 상황을 사용하여 기술되지만, PC, 랩톱, 태블릿, 및 모바일 디바이스와 같은 다른 컴퓨팅 플랫폼이 또한 다양한 대안적인 구현예들에 사용될 수 있다는 것을 강조해둔다.
도 2 내지 도 4는 일반적인 가정 환경(200)에서 사용자(112)가 멀티미디어 콘솔(114)과 상호작용하는 본 강화된 대화형 TV 경험들의 예시적인 일례의 도면들을 도시한다. 도 2에서, 사용자(112)는 텔레비전(136) 상의 스포츠 경기(예를 들어, 미국 풋볼 게임)의 비디오(202)를 시청하고 있다. 비디오(202)는 도 1에서 도시된 엔터테인먼트 서비스(102) 및 다른 서비스/데이터 제공자(118)와 같은 콘텐츠 제공자에 의해 제공된다. 비디오(202)는 어떤 경우들에서는 텔레비전 프로그래밍의 일부일 수 있거나, 또는 다른 경우들에서는 디지털 콘텐츠 스트림의 일부로서 제공될 수 있다.
TV 시청 외에도, 멀티미디어 콘솔(114)은 일반적으로 로컬 및/또는 네트워크화된 프로그래밍 및 콘텐츠를 사용하여 게임 및 비 게임(non-gaming) 애플리케이션들을 실행하고, DVD(Digital Versatile Disc) 및 CD(Compact Disc)를 비롯한 광 디스크와 같은 사전 기록된 멀티미디어를 재생하고, 네트워크로부터 멀티미디어(예컨대, 음악 및 비디오)를 스트리밍하고, 소셜 미디어에 참여하고, 텔레비전(136)과 같은 결합형 오디오/시각 디스플레이를 사용하여 인터넷 및 다른 네트워크화된 미디어 및 콘텐츠 등을 브라우징하도록 구성된다. 일부 구현예들에서, 멀티미디어 콘솔(114)은, 예를 들어, 고화질 멀티미디어 인터페이스(High Definition Multimedia Interface; HDMI) 연결을 사용하여 종래의 케이블 텔레비전("CATV") 소스들을 지원하도록 구성될 수 있다.
멀티미디어 콘솔(114)은 사용자(112)에 의해 점유되는, 도 3에서의 점선으로 일반적으로 표시되는 물리적 공간(305)을 시각적으로 모니터링하도록 구성된 하나 이상의 비디오 카메라들을 사용하여 구현될 수 있는 카메라 시스템(128)에 동작가능하게 결합된다. 아래에서 보다 상세하게 설명하는 바와 같이, 카메라 시스템(128)은 사용자(112)의 움직임 및/또는 제스처가 멀티미디어 콘솔(114) 상에서 실행되는, 예컨대, 앱 또는 운영 체제에 영향을 미치기 위해 이용될 수 있는 제어부로서 사용될 수 있도록 사용자(112)의 움직임 및/또는 제스처를 캡처하고, 추적하며, 분석하도록 구성된다. 손(310) 또는 사용자(112)의 다른 신체 부분의 다양한 모션들은 메인 사용자 인터페이스로부터 게임 또는 다른 애플리케이션을 선택하는 것과 같은 일반적인 시스템 와이드 태스크에 대응할 수 있다.
예를 들어, 도 3에서 도시된 바와 같이, 사용자(112)는 텔레비전(136) 상의 UI(134) 상에 표시되는 다양한 아이콘들(3201~N)을 포함하는 선택가능한 객체들(315) 사이를 네비게이팅하고, 계층 메뉴에서 아이템들을 브라우징하고, 파일을 열고, 파일을 닫고, 파일을 저장하는 것 등을 할 수 있다. 또한, 사용자(112)는 게임을 종료하거나, 일시정지하거나 또는 저장하기, 레벨을 선택하기, 높은 점수를 보기, 친구와 통신하기 등을 위해 움직임 및/또는 제스처를 사용할 수 있다. 사실상, 운영 체제 및/또는 애플리케이션의 임의의 제어가능한 양태는 사용자(112)의 움직임에 의해 제어될 수 있다. 사용자(112)의 전체 모션 범위는 멀티미디어 콘솔(114) 상에서 실행되는 애플리케이션 또는 운영 체제와 상호작용하기 위한 임의의 적절한 방식으로 유용가능하고, 이용되고, 분석될 수 있다. 도 3에서는 사용자(112)가 서 있는 것이 도시되어 있지만, 카메라 시스템(128)은 또한 사용자가 착석한 동안 수행되는 제스처를 인식할 수 있다. 카메라 시스템(128)은 또한 게임 애플리케이션이 멀티미디어 콘솔(114) 상에서 실행될 때 게임 플레이를 제어하기 위한 사용자(112)에 의한 움직임을 캡처하고, 추적하며, 분석하도록 이용될 수 있다.
사용자는 또한 제어기(132)를 이용하여 멀티미디어 콘솔(114)과 상호작용할 수 있다. 제어기(132)는 조이스틱, 방향 패드("D 패드"), 및 다양한 버튼을 비롯한 다양한 물리적 제어부들을 포함할 수 있다. 하나 이상의 트리거들 및/또는 범퍼들(도시되지 않음)이 또한 제어기(132)에 통합될 수 있다. 사용자(112)는 또한 일반적으로 텔레비전, 프로젝터, 또는 모니터와 같은 디스플레이 디바이스(136) 상에 도시된 사용자 인터페이스(134)와 상호작용할 수 있다. 도 4는 멀티미디어 콘솔(114) 상에서 재생 중에 있고 디스플레이 디바이스(136) 상에서 표시된 게임(422)과 상호작용하기 위해 제어기(132)를 사용하는 사용자(112)를 도시한다.
도 5는 실시간 TV 서비스(170)를 지원하는데 사용될 수 있는 예시적인 엘리먼트들의 기능 블록도이다. 도시된 바와 같이, 실시간 TV 서비스는 클라이언트 구성 서비스(505), 비디오 인증 서비스(510), 위치 서비스(515)(예를 들어, 디바이스의 인터넷 프로토콜(Internet Protocol; IP) 어드레스에 기초하여 지리적 위치를 결정할 수 있는 서비스), 투표 서비스(520), 사용자 선호도 서비스(525), 폴링 서비스(530), 서비스 애플리케이션 프로그래밍 인터페이스(application programming interface; API)(535), 및 다른 서비스들(540)을 비롯한 다양한 서비스(500)를 애플리케이션(138)에 노출시킨다. 서비스들(500) 중 일부는, 도시된 바와 같이, 하나 이상의 데이터 저장 서비스들(545)에 의해 지원된다. 서비스 API(535)는 콘텐츠 분배 네트워크 엘리먼트(550)와 인터페이스한다.
실시간 TV 서비스(170)에 대한 외부 입력들(555)은 애플리케이션(138)에 의해 지원되는 다양한 사용자 경험들을 지원하기 위해, 예컨대, 제3자 콘텐츠 소스들에 의해 제공될 수 있는 외부 데이터 피드들(565)뿐만 아니라 클라이언트 구성 서비스(505)에 대한 관리 입력(560)을 포함한다. 데이터 피드들(565)은 실시간 TV 서비스(170)에서 인스턴스화된 브로커(570)와 인터페이스된다. 실시간 TV 서비스(170)에서 지원되는 다른 서비스들은 프로비저닝(provisioning) 서비스(575) 및 동적 구성 서비스(580)를 포함한다.
본 강화된 대화형 TV 경험들에 따라, 실시간 TV 서비스(170)는 라이브 TV 이벤트의 사용자의 이해 및 인식을 강화시키는 개인화된 데이터의 라이브 스트림을 지원하도록 구성된 사용자 인터페이스(UI)(610)를 지원하기 위해 도 6에서 도시된 바와 같은 클라이언트측 로직 엘리먼트(605)와 함께 동작한다. UI(610)는 비디오 타일(615), 채널 가이드(620), 콘텐츠 바(625), 및 집중형 컴패니언 패널(630)을 포함하는 4개의 UI 엘리먼트들을 이용한다. 도 7에서의 분류체계(700)에서 도시된 바와 같이, 비디오 타일(615)은 (참조번호 705로 표시된 바와 같이) 애플리케이션 내의 모든 비디오 콘텐츠를 자동으로 재생하는 "무한" 재생목록으로 비디오를 재생할 수 있다. 이 특징은 일부 구현예들에서, 사용자에 대해 사실상의 24시간 콘텐츠 네트워크를 생성하고 OTT(over-the-top) 온라인 비디오 네트워크에서 사용될 수 있다.
채널 가이드(620)는 새로운 콘텐츠(715), 피처링된 콘텐츠(720), 및 라이브 콘텐츠(725)를 위한 태그를 포함하는 최상위 레벨 네비게이션 엘리먼트(710)이다. 각각의 채널은 특정 주제 영역에 포커싱될 수 있다. 예를 들어, 예시적인 스포츠 애플리케이션 예시에서, 이번 주의 게임과 관련된 경험을 제공하는 "게임 센터"라고 칭해지는 채널 및 사용자의 판타지 풋볼 팀과 관련된 경험을 제공하는 "판타지"라고 칭해지는 다른 채널이 있을 수 있다. 새로운 태그는 아직 보여지지 않은 콘텐츠로 사용자를 안내한다. 라이브 태그는 사용자가 이용하는 것이 인증된 상이한 서비스들에 대한 라이브 콘텐츠로 사용자를 안내한다. 피처링된 태그는 특정 시점에서의 애플리케이션의 가장 중요한 영역들을 홍보한다.
콘텐츠 바(625)는 비디오(735), 데이터(740), 또는 다른 통신 경험들(745)을 나타내는 개별 브라우징가능 타일들(730)을 제공한다. 이 타일들은 정적일 수 있거나, 또는 상황에 따라 라이브 데이터로 "밝게 표시"될 수 있다. 사용자는 자신이 포커싱하고자 하는 콘텐츠 조각을 결정하기 위해 콘텐츠 바를 시각적으로 스캐닝하거나 물리적으로 브라우징할 수 있다. 예를 들어, 스포츠 애플리케이션 시나리오에서, 정적 타일은 시즌 도중에 변경되지 않는 팀 일정일 수 있다. 더 많은 라이브 타일이 개별 게임일 수 있지만, 현재 게임 점수, 게임 시간, 볼 점유 등을 포함할 수 있다.
집중형 컴패니언 패널(630)은, 사용자가 그 순간 가장 관심있어 하는 콘텐츠 조각을 추종할 수 있게 하도록, 다른 모든 네비게이션 UI를 대체할 수 있다. 사용자는 컴패니언 패널이 패널의 상황 내에서 비디오(755), 데이터(760), 및/또는 다른 통신 경험(765)의 개인화된 피드(750)를 생성하게 할 수 있다. 사용자는 또한 재생할 비디오를 선택하고, 더 많은 정보를 얻고, 친구와 공유하는 등을 하기 위해 엘리먼트들에 대해 액션을 취할 수 있다. 예를 들어, 예시적인 스포츠 애플리케이션에서, "라이브 게임 경기 피드" 컴패니언 패널은, 사용자가 패널을 라이브 게임 비디오와 페어링할 수 없거나 또는 페어링하고 싶지 않은 경우 라이브 게임의 시청을 강화시키거나 또는 게임의 라이브 비디오 피드에 대한 프록시로서 역할을 하는, 도 8에서 도시된 바와 같은 일련의 카드(805)를 사용자에게 서빙할 수 있다. 풋볼과 관련된 예시적인 스포츠 애플리케이션의 상황에서의 다양한 카테고리들 내의 예시적인 카드들(900)이 도 9에서 도시되어 있다. 카드(900)는 예시용일 뿐 망라적인 것으로 의도된 것은 아니며, 다른 유형의 카드가 본 강화된 대화형 TV 경험의 특정 구현예의 요구사항을 충족시키는데 사용될 수 있다는 것을 강조해둔다. 카드는 데이터, 객체, 그래픽, 및 테마, 유형, 장르, 주제 등과 관련있는 기타 정보를 포함하도록 편제될 수 있다.
도 8로 돌아가서, 이벤트 피드(810)는 개별 엘리먼트들의 타임라인을 생성하는 비디오 및 데이터 엘리먼트들의 집성화된 피드를 사용자에게 제공하는 집중형 컴패니언 패널의 유형이다. 이들 엘리먼트들은, 제3자 데이터(820), 사용자 선호도(825), 사용자 생성 콘텐츠(user-generated content; UGC)(830), 친구/팔로어에 의해 공유된 콘텐츠(835), 라이브 운영 편제(840)에 의해 푸시된 콘텐츠(840)의 집성화를 비롯한 다양한 수단을 통해, 또는 다른 인자들(845)을 사용하여, 참조 번호 815로 나타낸 바와 같이 동적으로 큐레이팅(curate)된다.
클라우드 기반 데이터와 클라이언트측 로직의 조합이 가상 타임라인을 생성하는데 사용된다. 이 기술은 사용 케이스와 사용자 선호도에 기초하여 타임라인의 상이한 큐레이션을 전달할 수 있다. 도 10에서 도시된 바와 같이, 라이브 사용 케이스(1005) 및 캐치 업 사용 케이스(1010)를 비롯하여, 이벤트 피드(810)에 대해 일반적으로 2개의 주요 사용 케이스가 있다.
(스포츠 경기, 라이브 텔레비전 이벤트 등과 같은) 라이브 사용 케이스(1005)에 대해, 이벤트 피드는 사용자를 (예를 들어, 특정 재생을 중단시키는 인스턴트 리플레이 또는 텍스트 콘텐츠와 같은) 보충 비디오 및 데이터 콘텐츠에 연결시킴으로써 사용자의 이해력 및/또는 흥분을 증폭시킬 수 있다. 추가적으로, 사용자는 동일한 라이브 콘텐츠에 투자한 다른 사용자들에 연결될 수 있다. 예를 들어, 예시적인 스포츠 애플리케이션(138)에서, 사용자는 자신의 게임에서 특정 팀을 지원하는 것을 선택할 수 있고, 시스템은 비디오 및 데이터 카드(805)를 그 사용자의 피드로 편향시킬 것이다. 이 특징은 사용자들을 함께 연결시키고/연결시키거나 큐레이션은 라이브 이벤트 동안 사용자의 소속감과 동반자 정신을 강화시킨다. 사용자는 들어오는 데이터 및 비디오 카드를 수동적으로 시청할 수 있거나, 개별 엘리먼트들에 대해 능동적으로 네비게이팅하고 액선을 취할 수 있다.
캐치 업 사용 케이스(1010)의 경우, 이벤트 피드는 이전 라이브 이벤트 동안 표면화된 스토리를 재현하는 간단한 방법을 사용자에게 제공한다. 비디오 및 데이터는 시스템에 의해 큐레이팅되며 상이한 콘텐츠 세트가 표면화될 수 있다. 예를 들어, 게임 애플리케이션에서, 라이브 이벤트 동안보다 캐치 업 시나리오에서 더 깊은 게임 하이라이트 세트가 표면화될 수 있다. 그러나, 게임의 양태를 상세히 설명하는 일반적인 데이터 카드(예컨대, 풋볼 게임에서의 모든 플레이)는 게임의 스토리를 더 직접적으로 말해주는 더 큰 순간에 우호적으로 억제된다. 사용자는 개별 엘리먼트들에 대한 정보를 더 얻기 위해 비디오를 재생하고 데이터에 대해 액션을 취할 수 있다.
도 11에서의 UI(1100)에서 도시된 바와 같이, 예시적인 스포츠 애플리케이션(138) 및 실시간 TV 서비스(170)는 UI를 컴패니언 모드로 배치시키는, 참조 번호 1110로 표시된, 사용자 맞춤형 UI 콘텐츠 영역을 노출시키는 특징을 지원한다. 컴패니언 모드는 사용자가 완전 주의집중 상태로부터 부분적 주의집중 상태로 이동할 때 최적화되는 UI 편제이다. 실시간 TV 서비스(170)는 어떤 콘텐츠를 디스플레이할지와 그 편제를 결정하고, 특정 콘텐츠를 자동으로 업데이트하며, 쉽고 직관적인 방식으로 콘텐츠 엘리먼트들 간의 이동을 지원할 수 있다.
예를 들어, 사용자가 라이브 게임을 보여주는 멀티미디어 콘솔(114)(도 1) 상의 스포츠 애플리케이션에 완전히 몰입되어 있을 때, 사용자는 비디오 게임을 플레이하기를 결정할 수 있지만, 여전히 라이브 게임에 대한 핵심 정보를 한 눈에 볼 수 있는 능력을 원할 수 있다. 사용자는 참조 번호 1115로 표시된 바와 같이, 플랫폼의 스냅 애플리케이션 인터페이스를 통해 컴패니언 모드를 호출할 수 있다. 이에 응답하여, 애플리케이션은 이용가능한 콘텐츠를 특정 게임의 요약으로 감소시킨다. 게임 요약에는 사용자가 게임 업데이트를 한 눈에 알아볼 수 있게 하는 중요한 이벤트들(예컨대, 플레이)의 시각적 목적 계층이 포함될 수 있다. 또한, 사용자 인터페이스는 사용자가 다른 라이브 게임, 자신의 개인화된 판타지 데이터 또는 다른 고 부가가치 콘텐츠로 쉽게 시프트하도록 해주는 방식으로 변경된다.
컴패니언 모드는 사용자에 의해 개인화될 수 있는 미리결정된 콘텐츠 영역들로 분리될 수 있다. 예를 들어, 컴패니언 모드는 주 콘텐츠 영역(1125)에 인접해 있는, 보조 콘텐츠 영역(1120)으로서 사용자의 제어 하에 구현될 수 있다. 일반적으로, 실시간 TV 서비스(170)(도 5)는, 예를 들어, 디스플레이 상에서 콘텐츠 영역을 생성할 때 디바이스가 컴퓨팅 자원들의 활용 및 할당을 최적화하게 하는 중앙 처리 유닛(CPU) 및/또는 그래픽 처리 유닛(GPU)을 비롯한, 디바이스(예를 들어, 콘솔(114)) 상의 하드웨어에 대한 명령어들(1130)의 스트림을 생성하기 위해 애플리케이션(138)과 상호작용할 수 있다. 예를 들어, 이러한 최적화는 주 콘텐츠 영역이 글리치(glitch) 및 다른 원치않는 아티팩트(artifact)가 없도록 디스플레이 정확도를 유지하면서 주 콘텐츠 영역과 보조 콘텐츠 영역을 효율적으로 렌더링하기 위해 해상도, 프레임 레이트 등의 조정을 포함할 수 있다. 멀티미디어 콘솔 또는 PC의 경우, 콘텐츠 영역은 해당 플랫폼에서 작동하는 전체 운영 체제 내에서 "스내핑(snap)" 또는 축소된 것으로 간주된다.
도 12에서 도시된 바와 같이, 컴패니언 모드 UI(1205) 내에는 정적 및 순환의 두 가지 유형의 콘텐츠 영역들이 있을 수 있는데, 이것들은 참조 번호 1210 및 참조 번호 1215로 각각 표시된다. 정적 콘텐츠 영역은 시스템에 의해 또는 사용자에 의해 위치 잠금된다. 예를 들어, 예시적인 스포츠 애플리케이션(138)에서, 하나의 정적 콘텐츠 영역은 사용자의 선호 팀에 관한 현재 정보(즉, 낮은 천(churn), 높은 감성 투자 영역)를 디스플레이하는 선호 팀 윈도우이다. 순환 콘텐츠 영역은 데이터 또는 비디오를 회전시킨다. 예를 들어, 예시적인 스포츠 애플리케이션(138)에서, 순환 콘텐츠 영역은 현재 점수(즉, 높은 천, 높은 감성 투자 영역)를 제공하는 사용자의 상이한 판타지 팀들을 순환시키는 판타지 윈도우이다.
추가적으로, 도 13에서 도시된 바와 같이, 사용자는 콘텐츠 영역을 선택할 수 있고 세부 사항을 더 깊이 파고들 수 있다. 예를 들어, 예시적인 스포츠 애플리케이션(138)에서, 사용자는 게임 센터 콘텐츠 영역에서 특정 게임에 대해 액션을 취할 수 있으며, 그런 후, 해당 게임에 특유적인 데이터 및 비디오 피드로 진행한다. 사용자가 자신이 관심있어 하는 콘텐츠와 일치하는 상태에 도달하면, 애플리케이션은 참조 번호 1305로 표시된 바와 같이, 주기적으로 업데이트되는 수동 상태로 남겨질 수 있다. 업데이트는 발생하는 이벤트의 중요성에 기초하여 사용자의 주의집중에 다소간 끼어들도록 구성된다. 예를 들어, 예시적인 스포츠 애플리케이션(138)에서, 사용자의 선호 팀에 의해 점수화된 터치다운은 주어진 카드(1415)에서 도 14에서 도시된 바와 같은 VFX(시각 효과)(1405) 및 SFX(특수 효과)(1410)와 같은 애니메이션을 사용하여, 사용자의 선호 팀이 아닌 다른 팀이 점수화한 필드 골(즉, 포인트가 더 적은 이벤트)보다 더 많은 주의를 끄는 주변 순간을 생성할 수 있다.
도 15 및 도 16은 예시적인 스포츠 애플리케이션(138)에 의해 노출된 UI의 스크린 캡처들을 도시한다. 도 15에서, UI(1500)는 주 콘텐츠 영역 내에서 비디오 타일(1505)을 표시하고 보조 콘텐츠 영역 내에서 다양한 카드들을 노출시키는 채널 가이드(1510)를 표시한다. 일부 구현예들에서, 이름, 게이머태그, 통계치 등과 같은 사용자 관련 개인 정보가 채널 가이드 위 영역에 디스플레이될 수 있다. 도 16에서, UI(1600)는 비디오 타일(1605) 및 사용자에게 맞춤화된 동적으로 큐레이트된 이벤트 피드를 노출시키는 예시적인 집중형 컴패니언 패널(1610)을 도시한다. 또한, 예시적인 콘텐츠 바(1615)가 도시되어 있다.
도 17은 API(1715)를 노출시키는, 제3자로부터의 데이터 피드(1710)에 응답하여 애플리케이션(138)에 통지들을 제공하도록 실시간 TV 서비스(170)가 구성되는 예시적인 구성을 도시한다. 실시간 TV 서비스(170)는 API로부터 데이터를 폴링하고 이 데이터를 저장한다. 사용자가 능동적으로, 또한 수동적으로 애플리케이션(138)의 배경 프로세스로서 제출하는 특정 사용자 프로파일 데이터가 또한 저장된다. 추가적으로, 작은 로컬 서비스(1720)는 사용자가 애플리케이션(138) 내로 부팅할 때 다른 데이터를 저장하는 멀티미디어 콘솔 플랫폼 상에 위치한다.
실시간 TV 서비스(170)는, 제3자로부터의 특정 이벤트를 검출하면, 애플리케이션(138)이 활성인지 아닌지 여부를 실행할 수 있는 각각의 통지 시스템 및 핸들러(1725, 1730)를 사용하여 페이로드를 로컬 서비스에 푸시한다. 로컬 서비스는 사용자가 해당 커스텀 위치에서 앱을 론칭하는 액션을 취할 수 있는 시스템 통지를 론칭한다. 통지에는 애플리케이션(138)이 론칭 시에 액세스하는 딥 링크(1735)를 형성하는 매우 작은 코드 테이블이 포함된다. 애플리케이션(138)은 딥 링크 핸들러(1740)를 사용하여 통지 코드에 의해 표시된 특정 콘텐츠를 찾고자 애플리케이션 내에서 스크래핑(scrape)하고, 그런 다음 통지 유형에 기초하여 우선순위 순서로 결과들을 정렬하고 론칭 시 애플리케이션의 정확한 위치에서 사용자를 랜딩시킨다.
도 18에서 도시된 바와 같이, 사용 케이스(1800)는 라이브 이벤트 동안의 시작, 종료, 또는 중요 발생들(1805), 라이브 운영 팀에 의해 전파된 글로벌 경고(1810), 판타지 스포츠 경고(1815), 사용자 생성 또는 사용자 공유 콘텐츠(1820), 마이크로블로그 또는 기타 단문 메시지(1825), 및 사용자 상태 또는 존재(presence)에 관한 통지들을 포함할 수 있다.
도 19는 통지와 연관된 애플리케이션 UI의 스크린 캡처의 예시적인 시퀀스를 도시한다. 도면의 좌측 상단을 보면, UI(1905)는 UI의 하단에서 착신 통지(1910)(이 통지는 또한 도 19에서 확대된 형태로 도시됨)를 디스플레이한다. 통지와 연관된 애플리케이션은, 도면의 중앙에 있는 UI(1915)에서 도시된 바와 같이, 론칭되고, 도면의 우측 하단에서 UI(1920)에서 도시된 바와 같이 상황적으로 정확한 위치에 사용자를 랜딩시킨다.
도 20은 본 강화된 대화형 텔레비전 경험들이 구현될 수 있는 PC, 클라이언트 디바이스, 또는 서버와 같은 예시적인 컴퓨터 시스템(2000)의 단순화된 블록도이다. 컴퓨터 시스템(2000)은 처리 유닛(2005), 시스템 메모리(2011), 및 시스템 메모리(2011)를 비롯한 다양한 시스템 컴포넌트들을 처리 유닛(2005)에 결합시키는 시스템 버스(2014)를 포함한다. 시스템 버스(2014)는 임의의 다양한 버스 아키텍처들을 이용하는, 메모리 버스 또는 메모리 제어기, 주변 버스, 및 로컬 버스를 비롯한 임의의 여러가지 유형들의 버스 구조들일 수 있다. 시스템 메모리(2011)는 ROM(read only memory)(2017) 및 RAM(random access memory)(2021)을 포함한다. 시동시 동안과 같이, 컴퓨터 시스템(2000) 내의 엘리먼트들 간에 정보를 전송하는 것을 도와주는 기본 루틴들을 포함하는, BIOS(basic input/output system)(2025)가 ROM(2017) 내에 저장된다. 컴퓨터 시스템(1500)은 내부적으로 배치된 하드 디스크(미도시됨)에 기록하거나 또는 이로부터 판독하기 위한 하드 디스크 드라이브(2028), 탈착가능 자기 디스크(2033)(예컨대, 플로피 디스크)에 기록하거나 이로부터 판독하기 위한 자기 디스크 드라이브(2030), 및 CD(compact disc), DVD(digital versatile disc), 또는 다른 광학 매체와 같은 탈착가능 광 디스크(2043)에 기록하거나 또는 이로부터 판독하기 위한 광학 디스크 드라이브(2038)를 더 포함할 수 있다. 하드 디스크 드라이브(2028), 자기 디스크 드라이브(2030), 및 광학 디스크 드라이브(2038)는 각각, 하드 디스크 드라이브 인터페이스(2046), 자기 디스크 드라이브 인터페이스(2049), 및 광학 드라이브 인터페이스(2052)에 의해 시스템 버스(2014)에 연결된다. 드라이브들 및 이들 각자와 관련된 컴퓨터로 판독가능한 저장 매체는 컴퓨터로 판독가능한 명령어들, 데이터 구조들, 프로그램 모듈들, 및 컴퓨터 시스템(2000)을 위한 다른 데이터의 비휘발성 저장을 제공한다. 이러한 예시적인 예는 하드 디스크, 탈착가능 자기 디스크(2033) 및 탈착가능 광학 디스크(2043)를 도시하지만, 자기 카세트, 플래시 메모리 카드, 디지털 비디오 디스크, 데이터 카트리지, RAM(random access memory), ROM(read only memory) 등과 같은, 컴퓨터에 의해 액세스가능한 데이터를 저장할 수 있는 다른 유형들의 컴퓨터로 판독가능한 저장 매체가 또한 본 강화된 대화형 텔레비전 경험들의 몇가지 응용들에서 이용될 수 있다. 또한, 본 명세서에 사용된 바와 같이, 컴퓨터로 판독가능한 저장 매체라는 용어는 하나 이상의 매체 유형의 인스턴스들(예를 들어, 하나 이상의 자기 디스크, 하나 이상의 CD 등)를 포함한다. 본 명세서 및 청구항을 위해, "컴퓨터로 판독가능한 저장 매체"및 그 변형들은 전파, 신호, 및/또는 다른 일시적 및/또는 무형의 통신 매체를 포함하지 않는다.
운영 체제(2055), 하나 이상의 애플리케이션 프로그램(2057), 다른 프로그램 모듈(2060), 및 프로그램 데이터(2063)를 비롯하여, 복수의 프로그램 모듈들이 하드 디스크, 자기 디스크(2033), 광학 디스크(2043), ROM(2017), 또는 RAM(2021) 상에 저장될 수 있다. 사용자는 키보드(2066) 및 마우스와 같은 포인팅 디바이스(2068)와 같은 입력 디바이스들을 통해 커맨드와 정보를 컴퓨터 시스템(2000) 내에 입력할 수 있다. 다른 입력 디바이스들(도시되지 않음)은 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 스캐너, 트랙볼, 터치 패드, 터치 스크린, 터치 감지 모듈 또는 디바이스, 제스처 인식 모듈 또는 디바이스, 음성 인식 모듈 또는 디바이스, 음성 명령 모듈 또는 디바이스 등을 포함할 수 있다. 이러한 입력 디바이스들 및 다른 입력 디바이스들은 종종, 시스템 버스(2014)에 결합되는 직렬 포트 인터페이스(2071)를 통해 처리 유닛(2005)에 연결되지만, 병렬 포트, 게임 포트 또는 USB와 같은, 다른 인터페이스들에 의해 연결될 수 있다. 모니터(2073) 또는 다른 유형의 디스플레이 디바이스가 또한 비디오 아답터(2075)와 같은 인터페이스를 통해 시스템 버스(2014)에 연결된다. 디스플레이(2073)에 더하여, 개인 컴퓨터는 일반적으로 스피커 및 프린터와 같은, 다른 주변 출력 디바이스들(미도시됨)을 포함한다. 도 20에서 도시된 예시는 또한 호스트 아답터(2078), SCSI(Small Computer System Interface) 버스(2083), SCSI 버스(2083)에 연결된 외부 저장 디바이스(2076)를 포함한다.
컴퓨터 시스템(2000)은 원격 컴퓨터(2088)와 같은, 하나 이상의 원격 컴퓨터들에 대한 로직 연결부들을 이용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(2088)는 개인 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 디바이스 또는 다른 일반적인 네트워크 노드로서 선택될 수 있고, 이것은 일반적으로 컴퓨터 시스템(2000)에 대해 위에서 설명된 많은 엘리먼트들 또는 그 모두를 포함하지만, 도 20에서는 단일의 대표적인 원격 메모리/저장 디바이스(2090)만이 예시되었다. 도 20에서 도시된 로직 연결부는 근거리 통신망("LAN")(2093) 및 광역 통신망("WAN")(2095)을 포함한다. 이러한 네트워킹 환경들은 예컨대, 사무소, 전사적(enterprise-wide) 컴퓨터 네트워크, 인트라넷, 및 인터넷으로 종종 배치된다.
컴퓨터 시스템(2000)은, LAN 네트워킹 환경에서 이용될 때, 네트워크 인터페이스 또는 아답터(2096)를 통해 근거리 통신망(2093)에 연결된다. 컴퓨터 시스템(2000)은, WAN 네트워킹 환경에서 이용될 때, 일반적으로, 광대역 모뎀(2098), 네트워크 게이트웨이, 또는 인터넷과 같은 광역 네트워크(2095)를 통한 통신들을 구축하기 위한 다른 수단들을 포함한다. 내부에 있거나 또는 외부에 있을 수 있는 광대역 모뎀(2098)은 직렬 포트 인터페이스(2071)를 통해 시스템 버스(2014)에 연결된다. 네트워크화된 환경에서, 컴퓨터 시스템(2000)과 관련된 프로그램 모듈들, 또는 그 일부분들은 원격 메모리 저장 디바이스(2090) 내에 저장될 수 있다. 도 20에서 도시된 네트워크 연결부들은 예시적인 것이며, 컴퓨터들 간의 통신 링크를 구축하는 다른 수단이 본 강화된 대화형 텔레비전 경험들의 응용의 특정 요구 사항에 따라 사용될 수 있다는 것을 유의한다. 멀티미디어 콘솔(114) 이외의 다른 유형의 컴퓨팅 플랫폼이 일부 응용에서 본 강화된 대화형 텔레비전 경험들을 구현할 수 있게 하는 것이 바람직하고 및/또는 유리할 수 있다.
도 21은 본 강화된 대화형 텔레비전 경험들을 제공하기 위해 여기에 설명된 다양한 컴포넌트들을 실행할 수 있는 디바이스에 대한 예시적인 아키텍처(2100)를 도시한다. 따라서, 도 21에서 도시된 아키텍처(2100)는 서버 컴퓨터, 휴대 전화, PDA, 스마트폰, 데스크탑 컴퓨터, 넷북 컴퓨터, 태블릿 컴퓨터, GPS 디바이스, 게임 콘솔, 및/또는 랩톱 컴퓨터에 적응될 수 있는 아키텍처를 나타낸다. 아키텍처(2100)는 여기서 제시된 임의의 양태 컴포넌트들을 실행하는데 이용될 수 있다.
도 21에서 도시된 아키텍처(2100)는 CPU(Central Processing Unit)(2102), RAM(2106) 및 ROM(2108)을 포함하는 시스템 메모리(2104), 및 메모리(2104)를 CPU(2102)에 연결하는 시스템 버스(2110)를 포함한다. 시동시 동안과 같이, 아키텍처(2100) 내의 엘리먼트들 간에 정보를 전송하는 것을 도와주는 기본 루틴들을 포함하는 기본 입력/출력 시스템이 ROM(2108) 내에 저장된다. 아키텍처(2100)는 애플리케이션, 파일 시스템, 및 운영 체제를 구현하는데 이용되는 소프트웨어 코드 또는 다른 컴퓨터 실행 코드를 저장하는 대용량 저장 디바이스(2112)를 더 포함한다.
대용량 저장 디바이스(2112)는 버스(2110)에 연결된 대용량 저장 제어기(도시되지 않음)를 통해 CPU(2102)에 연결된다.대용량 저장 디바이스(2112) 및 그 연관된 컴퓨터로 판독가능한 저장 매체는 아키텍처(2100)를 위한 비 휘발성 저장을 제공한다.
본 명세서에 포함된 컴퓨터로 판독가능한 저장 매체의 설명은 하드 디스크 또는 CD-ROM 드라이브와 같은 대용량 저장 디바이스를 언급하지만, 컴퓨터로 판독가능한 저장 매체는 아키텍처(2100)에 의해 액세스될 수 있는 임의의 이용가능한 저장 매체일 수 있음이 당업자에 의해 인식될 수 있다.
비제한적인 예시로서, 컴퓨터로 판독가능한 저장 매체는 컴퓨터로 판독가능한 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터와 같은, 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성의, 탈착가능 및 탈착불가능 매체를 포함한다. 예를 들어, 컴퓨터로 판독가능한 매체는, 비제한적인 예시로서, RAM, ROM, EPROM(erasable programmable read only memory), EEPROM(electrically erasable programmable read only memory), 플래시 메모리 또는 다른 솔리드 상태 메모리 기술, CD-ROM, DVD, HD-DVD(High Definition DVD), 블루레이, 또는 다른 광학 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 다른 자기 저장장치, 또는 원하는 정보를 저장하는데 사용될 수 있고 아키텍처(2100)에 의해 액세스될 수 있는 임의의 다른 매체를 포함한다.
다양한 실시예들에 따르면, 아키텍처(2100)는 네트워크를 통해 원격 컴퓨터로의 로직 연결부를 사용하여 네트워크 환경에서 동작할 수 있다. 아키텍처(2100)는 버스(2110)에 연결된 네트워크 인터페이스 유닛(2116)을 통해 네트워크에 연결될 수 있다. 네트워크 인터페이스 유닛(2116)은 또한 다른 유형들의 네트워크 및 원격 컴퓨터 시스템에 연결하기 위해 이용될 수 있다는 것을 이해할 수 있다. 아키텍처(2100)는 또한 키보드, 마우스, 또는 전자 스타일러스(도 21에서는 미도시됨)를 포함하는 복수의 다른 디바이스로부터 입력을 수신하고 처리하기 위한 입력/출력 제어기(2118)를 포함할 수 있다. 마찬가지로, 입력/출력 제어기(2118)는 디스플레이 스크린, 프린터, 또는 다른 유형의 출력 디바이스(또한 도 21에서 도시되지 않은)에 출력을 제공할 수 있다.
여기에 기술된 소프트웨어 컴포넌트는 CPU(2102)에 로딩되고 실행될 때, CPU(2102) 및 전체 아키텍처(2100)를 범용 컴퓨팅 시스템으로부터 본 명세서에서 제시된 기능을 용이하게 하도록 맞춤화된 특수 목적 컴퓨팅 시스템으로 변환시킬 수 있다는 것을 알 수 있다. CPU(2102)는 임의의 수의 상태들을 개별적으로 또는 집합적으로 취할 수 있는, 임의의 수의 트랜지스터 또는 다른 개별 회로 엘리먼트들로부터 구축될 수 있다. 보다 구체적으로, CPU(2102)는 본 명세서에서 개시된 소프트웨어 모듈들 내에 포함된 실행가능 명령어들에 응답하여, 유한 상태 머신으로서 동작할 수 있다. 이들 컴퓨터로 실행가능한 명령어들은 CPU(2102)가 상태들 간을 어떻게 천이하는지를 규정함으로써 CPU(2102)를 변환시킬 수 있고, 이에 의해 CPU(2102)를 구성하는 트랜지스터 또는 다른 개별 하드웨어 엘리먼트를 변환시킬 수 있다.
본 명세서에서 제시된 소프트웨어 모듈들을 인코딩하는 것은 여기에 제시된 컴퓨터로 판독가능한 저장 매체의 물리적 구조를 변환시킬 수도 있다. 물리적 구조의 특정 변환은 이 설명의 상이한 구현예들에서 다양한 인자들에 의존할 수 있다. 이러한 인자들의 예시들로는, 비제한적인 예시로서, 컴퓨터로 판독가능한 저장 매체가 주 저장장치 또는 보조 저장장치로서 특징지어지는지 여부 등과 같은, 컴퓨터로 판독가능한 저장 매체를 구현하는데 사용되는 기술을 포함할 수 있다. 예를 들어, 컴퓨터로 판독가능한 저장 매체가 반도체 기반 메모리로서 구현되는 경우, 여기에 개시된 소프트웨어는 반도체 메모리의 물리적 상태를 변환함으로써 컴퓨터로 판독가능한 저장 매체 상에 인코딩될 수 있다. 예를 들어, 소프트웨어는 반도체 메모리를 구성하는 트랜지스터, 커패시터, 또는 다른 개별 회로 엘리먼트들의 상태를 변환할 수 있다. 소프트웨어는 또한 데이터를 저장하기 위해 이러한 컴포넌트들의 물리적 상태를 변환할 수 있다.
다른 예로서, 여기에 개시된 컴퓨터로 판독가능한 저장 매체는 자기 또는 광학 기술을 사용하여 구현될 수 있다. 그러한 구현예들에서, 본 명세서에 제시된 소프트웨어는 소프트웨어가 인코딩될 때, 자기 또는 광학 매체의 물리적 상태를 변환할 수 있다. 이러한 변환은 주어진 자기 매체 내의 특정 위치들의 자기 특성을 변경하는 것을 포함할 수 있다. 이러한 변환은 또한 주어진 광학 매체 내의 특정 위치들의 물리적 특징 또는 특성을 변경하여 이들 위치들의 광학 특성을 변경하는 것을 포함할 수 있다. 물리 매체의 다른 변환은 본 설명의 범위 및 사상을 벗어나지 않고서 가능하며, 전술한 예시들은 이 설명을 용이하게 하기 위해 제공된 것일 뿐이다.
상기 내용을 감안하여, 여기에 제시된 소프트웨어 컴포넌트를 저장하고 실행하기 위해 많은 유형의 물리적 변환이 아키텍처(2100)에서 발생한다는 것을 알 수 있다. 또한, 아키텍처(2100)는 핸드헬드 컴퓨터, 임베디드 컴퓨터 시스템, 스마트폰, PDA, 및 당업자에게 공지된 다른 유형의 컴퓨팅 디바이스를 포함하는, 다른 유형의 컴퓨팅 디바이스를 포함할 수 있다는 것을 알 수 있다. 아키텍처(2100)는 도 21에서 도시된 모든 컴포넌트들을 포함하지는 않을 수 있거나, 도 21에서 명시적으로 도시되지 않은 다른 컴포넌트들을 포함할 수 있거나, 또는 도 21에서 도시된 것과는 완전히 다른 아키텍처를 이용할 수 있다.
도 22는 피사체에 부착된 특수한 감지 디바이스들의 이용없이 카메라 시스템에 의해 모니터링되는 물리적 공간의 캡처 영역에서 인간 및 비 인간 타겟을 인식하고, 이것들을 고유하게 식별하며, 이것들을 3차원 공간에서 추적하기 위해 타겟 인식, 분석, 및 추적 시스템의 일부로서 사용될 수 있는 카메라 시스템(128) 및 멀티미디어 콘솔(114)의 예시적인 기능 컴포넌트들을 도시한다. 카메라 시스템(128)은 깊이 값들을 포함할 수 있는 깊이 이미지를 포함한 깊이 정보와 함께 비디오를, 예컨대 TOF(time-of-flight), 구조광(structured light), 스테레오 이미지 등을 비롯한 임의의 적절한 기술을 통해 캡처하도록 구성될 수 있다. 몇몇의 구현예들에서, 카메라 시스템(128)은 계산된 깊이 정보를, "Z 계층들", 또는 깊이 카메라로부터 깊이 카메라의 가시선(line of sight)을 따라 연장해 있는 Z축에 수직할 수 있는 계층들로 조직화할 수 있다.
도 22에서 도시된 바와 같이, 카메라 시스템(128)은 이미지 캡처 컴포넌트(2205)를 포함한다. 이미지 캡처 컴포넌트(2205)는 장면의 깊이 이미지를 캡처할 수 있는 깊이 카메라로서 동작하도록 구성될 수 있다. 깊이 이미지는 캡처된 장면의 2차원(2D) 픽셀 영역을 포함할 수 있으며, 2D 픽셀 영역 내에서의 각각의 픽셀은 카메라로부터 캡처된 장면 내의 객체의, 예컨대, 센티미터, 밀리미터 등의 단위의 거리와 같은 깊이 값을 나타낼 수 있다. 이 예에서, 이미지 캡처 컴포넌트(2205)는 도시된 바와 같은 어레이 또는 대안적인 기하구조로 구성될 수 있는 IR 광 컴포넌트(2210), IR 카메라(2215), 및 가시광 RGB 카메라(2220)를 포함한다.
깊이 비디오 프레임을 캡처하기 위해 다양한 기술들이 이용될 수 있다. 예를 들어, TOF 분석에서, 카메라 시스템(128)의 IR 광 컴포넌트(2210)는 적외선 광을 캡처 영역 상에 방출할 수 있고, 그런 후, 예를 들어 IR 카메라(2215) 및/또는 RGB 카메라(2220)를 사용하여 캡처 영역 내의 하나 이상의 타겟 및 객체의 표면으로부터 후방 산란된 광을 검출할 수 있다. 일부 실시예들에서, 출사광 펄스와 이에 대응하는 입사광 펄스 사이의 시간이 측정되어 카메라 시스템(128)으로부터 캡처 영역 내의 타겟 또는 객체 상의 특정 위치까지의 물리적 거리를 결정할 수 있도록 펄스형 적외선이 사용될 수 있다. 추가적으로, 위상 시프트를 결정하도록 출사광파의 위상은 입사광파의 위상과 비교될 수 있다. 그런 다음, 위상 시프트를 사용하여 카메라 시스템에서부터 타겟 또는 객체 상의 특정 위치까지의 물리적 거리를 결정할 수 있다. 예를 들어, 셔터링 광 펄스 이미징(shuttered light pulse imaging)을 포함하는 다양한 기술을 통해 시간에 따른 반사된 광선의 세기를 분석함으로써 카메라 시스템(128)으로부터 타겟 또는 객체 상의 특정 위치까지의 물리적 거리를 간접적으로 결정하는데 TOF 분석이 사용될 수 있다.
다른 구현예들에서, 카메라 시스템(128)은 구조화된 광을 사용하여 깊이 정보를 캡처할 수 있다. 이러한 분석에서, 패턴화된 광(즉, 그리드 패턴 또는 스트라이프 패턴과 같은 공지된 패턴으로서 디스플레이된 광)은, 예를 들어, IR 광 컴포넌트(2210)를 통해 캡처 영역 상에 투영될 수 있다. 캡처 영역에서 하나 이상의 타겟들 또는 객체들의 표면에 부딪칠 때, 이러한 패턴은 이에 응답하여 변형될 수 있다. 패턴의 이러한 변형은, 예를 들어, IR 카메라(2215) 및/또는 RGB 카메라(2220)에 의해 캡처될 수 있으며, 이어서 카메라 시스템으로부터 타겟 또는 객체 상의 특정 위치까지의 물리적 거리를 결정하기 위해 분석될 수 있다.
카메라 시스템(128)은 깊이 정보를 생성하도록 분해될 수 있는 시각적 스테레오 데이터를 얻기 위해 상이한 각도들로부터 캡처 영역을 볼 수 있는 2개 이상의 물리적으로 분리된 카메라들을 이용할 수 있다. 단일 또는 다중 카메라를 사용하는 다른 유형의 깊이 이미지 장치가 또한 깊이 이미지를 생성하는데 사용될 수 있다. 카메라 시스템(128)은 마이크로폰(2225)을 더 포함할 수 있다. 마이크로폰(2225)은 사운드를 수신하여 이를 전기 신호로 전환시킬 수 있는 트랜스듀서 또는 센서를 포함할 수 있다. 마이크로폰(2225)은 타겟 인식, 분석, 및 추적 시스템(2200)에서 카메라 시스템(128)과 멀티미디어 콘솔(114) 간의 피드백을 감소시키는데 사용될 수 있다. 추가적으로, 마이크로폰(2225)은 멀티미디어 콘솔(114)에 의해 실행될 수 있는 게임 애플리케이션, 비 게임 애플리케이션 등과 같은 애플리케이션들을 제어하기 위해 사용자(112)에 의해 또한 제공될 수 있는 오디오 신호를 수신하는데 사용될 수 있다.
카메라 시스템(128)은 버스(2240)를 통해 이미지 캡처 컴포넌트(2205)와 동작가능하게 통신할 수 있는 프로세서(2230)를 더 포함할 수 있다. 프로세서(2230)는 프로파일을 저장하고, 깊이 이미지를 수신하고, 깊이 이미지에 적절한 타겟이 포함될 수 있는지 여부를 결정하고, 적절한 타겟을 타겟의 골격 표현 또는 모델로 변환시키기 위한 명령어들, 또는 임의의 다른 적절한 명령어들을 포함할 수 있는 명령어들을 실행시킬 수 있는 표준형 프로세서, 특수목적용 프로세서, 마이크로프로세서 등을 포함할 수 있다. 카메라 시스템(128)은 프로세서(2230)에 의해 실행될 수 있는 명령어들, 카메라들에 의해 캡처된 이미지들 또는 이미지들의 프레임들, 사용자 프로파일들, 또는 임의의 다른 적절한 정보, 이미지들 등을 저장할 수 있는 메모리 컴포넌트(2245)를 더 포함할 수 있다. 하나의 예시에 따르면, 메모리 컴포넌트(2245)는 RAM, ROM, 캐시, 플래시 메모리, 하드 디스크, 또는 임의의 다른 적절한 저장 컴포넌트를 포함할 수 있다. 도 22에서 도시된 바와 같이, 메모리 컴포넌트(2245)는 이미지 카메라 컴포넌트(2205) 및 프로세서(2230)와 통신하는 개별적인 컴포넌트일 수 있다. 대안적으로, 메모리 컴포넌트(2245)는 이미지 캡처 컴포넌트(2205) 및/또는 프로세서(2230) 내에 통합될 수 있다. 일 실시예에서, 카메라 시스템(128)의 컴포넌트들 중 일부 또는 전부는 단일 하우징 내에 위치된다.
카메라 시스템(128)은 통신 링크(2250)를 통해 멀티미디어 콘솔(114)과 동작가능하게 통신한다. 통신 링크(2250)는 예컨대, USB(Universal Serial Bus) 커넥션, 파이어와이어(Firewire) 커넥션, 이더넷 케이블 커넥션 등을 비롯한 유선 커넥션, 및/또는 무선 IEEE 802.11 커넥션과 같은 무선 커넥션일 수 있다. 멀티미디어 콘솔(114)은 예컨대, 통신 링크(2250)를 통해 장면을 언제 캡처할지를 결정하는데에 이용될 수 있는 클록을 카메라 시스템(128)에 제공할 수 있다. 카메라 시스템(128)은 예를 들어, 카메라 시스템(128)에 의해 생성될 수 있는 골격 모델 및/또는 얼굴 추적 모델을 비롯하여, IR 카메라(2215) 및/또는 RGB 카메라(2220)에 의해 캡처된 깊이 정보 및 이미지들을 통신 링크(2250)를 통해 멀티미디어 콘솔(114)에 제공할 수 있다. 그 다음, 멀티미디어 콘솔(114)은 골격 및/또는 얼굴 추적 모델, 깊이 정보, 및 캡처된 이미지를 사용하여, 예를 들어, 가상 스크린을 생성하고, 사용자 인터페이스를 적응시키고, 앱/게임(2255)을 제어할 수 있다. 앱/게임(2255)은 사용자 경험(122)(도 1)을 포함할 수 있다.
모션 추적 엔진(2260)은 카메라 시스템(128)이 결합되어 있는 멀티미디어 콘솔(114) 상에서 실행되는 하나 이상의 앱/게임(2255)에 제어 출력을 제공하기 위해 골격 및/또는 얼굴 추적 모델 및 깊이 정보를 사용한다. 정보는 또한 제스처 인식 엔진(2265), 깊이 이미지 처리 엔진(2270), 및/또는 운영 체제(2275)에 의해 사용될 수 있다.
깊이 영상 처리 엔진(2270)은 깊이 이미지를 사용하여 사용자 및 다른 객체와 같은 객체들의 모션을 추적한다. 깊이 이미지 처리 엔진(2270)은 일반적으로 검출된 각각의 객체의 식별정보 및 각각의 프레임에 대한 객체의 위치를 운영 체제(2275)에 보고할 것이다. 운영 체제(2275)는 이러한 정보를 이용하여, 예를 들어, 디스플레이(136) 상에 표시된 아바타, 또는 다른 이미지들의 위치 또는 움직임을 업데이트하거나, 또는 사용자 인터페이스에 대한 액션을 수행할 수 있다.
제스처 인식 엔진(2265)은 예를 들어, (사용자가 움직일 때) 골격 모델에 의해 수행될 수 있는 제스처에 관한 정보를 각각 포함하는 제스처 필터들의 콜렉션을 포함할 수 있는 제스처 라이브러리(도시되지 않음)를 이용할 수 있다. 제스처 인식 엔진(2265)은 골격 모델의 형태로 카메라 시스템(114)에 의해 캡처된 프레임들 및 이와 관련된 움직임을 제스처 라이브러리 내의 제스처 필터들와 비교하여 (골격 모델로 표현된) 사용자가 하나 이상의 제스처를 수행한 시기를 식별할 수 있다. 이러한 제스처는 애플리케이션의 다양한 제어부와 연관지어질 수 있으며, 상술한 바와 같이 개인화된 홈 스크린을 열도록 시스템에 지시할 수 있다. 따라서, 멀티미디어 콘솔(114)은 제스처 라이브러리를 사용하여 골격 모델의 움직임을 해석하고 이러한 움직임에 기초하여 멀티미디어 콘솔 상에서 실행되는 운영 체제 또는 애플리케이션을 제어할 수 있다.
일부 구현예에서, 앱/게임(2255), 모션 추적 엔진(2260), 제스처 인식 엔진(2265), 깊이 이미지 처리 엔진(2270), 및/또는 운영 체제(2275)에 의해 제공되는 기능들의 다양한 양태들은 카메라 시스템(128) 자체 상에서 직접 구현될 수 있다.
도 23은 멀티미디어 콘솔(114)의 예시적인 기능 블럭도이다. 멀티미디어 콘솔(114)은 레벨 1 캐시(2302), 레벨 2 캐시(2304), 및 플래시 ROM(Read Only Memory)(2306)을 갖는 중앙 처리 유닛(CPU)(2301)을 갖는다. 레벨 1 캐시(2302)와 레벨 2 캐시(2304)는 데이터를 일시적으로 저장하며, 이에 따라 메모리 액세스 사이클들의 수를 감소시킴으로써, 처리 속도와 쓰루풋을 향상시킨다. CPU(2301)는 하나보다 많은 코어, 및 이에 따라 추가적인 레벨 1 및 레벨 2 캐시들(2302, 2304)을 갖도록 구성될 수 있다. 플래시 ROM(2306)은, 멀티미디어 콘솔(114)이 파워 ON될 때 부팅 프로세스의 초기 단계 동안에 로딩되는 실행가능한 코드를 저장할 수 있다.
그래픽 처리 유닛(GPU)(2308)과 비디오 인코더/비디오 코덱(코더/디코더)(2314)는 고속 및 고해상도 그래픽 처리를 위한 비디오 처리 파이프라인을 형성한다. 데이터는 GPU(2308)으로부터 버스를 거쳐 비디오 인코더/비디오 코덱(2314)으로 운송된다. 비디오 처리 파이프라인은 데이터를, 텔레비젼 또는 다른 디스플레이로의 전송을 위해 A/V(오디오/비디오) 포트(2340)에 출력한다. 비제한적인 예시로서, RAM과 같은 다양한 유형들의 메모리(2312)에 대한 프로세서 액세스를 촉진시키기 위해 메모리 제어기(2310)가 GPU(2308)에 연결된다.
멀티미디어 콘솔(114)은 I/O 제어기(2320), 시스템 관리 제어기(2322), 오디오 처리 유닛(2323), 네트워크 인터페이스 제어기(2324), 제1 USB(Universal Serial Bus) 호스트 제어기(2326), 제2 USB 호스트 제어기(2328), 및 바람직하게 모듈(2318) 상에 구현되는 전면 패널 I/O 서브어셈블리(2330)를 포함한다. USB 제어기들(2326, 2328)은 주변 제어기들(2342(1), 2342(2)), 무선 아답터(2348), 및 외부 메모리 디바이스(2346)(예컨대, 플래시 메모리, 외부 CD/DVD ROM 드라이브, 착탈가능 매체 등)를 위한 호스트들로서 역할을 한다. 네트워크 인터페이스 제어기(2324) 및/또는 무선 아답터(2348)는 네트워크(예컨대, 인터넷, 홈 네트워크 등)에 대한 액세스를 제공하며, 이것은 이더넷 카드, 모뎀, 블루투스 모듈, 케이블 모뎀 등을 비롯한 광범위한 다양한 유선 또는 무선 아답터 컴포넌트들 중 임의의 것일 수 있다.
시스템 메모리(2343)는 부팅 프로세스 동안에 로딩되는 애플리케이션 데이터를 저장하기 위해 제공된다. 미디어 드라이브(2344)가 제공되며, 이 미디어 드라이버(2344)는 DVD/CD 드라이브, 하드 드라이브, 또는 다른 착탈가능 미디어 드라이브 등을 포함할 수 있다. 미디어 드라이브(2344)는 멀티미디어 콘솔(114) 내부에 있거나 외부에 있을 수 있다. 애플리케이션 데이터는 멀티미디어 콘솔(114)에 의한 실행, 재생 등을 위해 미디어 드라이브(2344)를 거쳐 액세싱될 수 있다. 미디어 드라이브(2344)는 직렬 ATA 버스 또는 다른 고속 커넥션(예컨대, IEEE 1394)과 같은, 버스를 거쳐 I/O 제어기(2320)에 연결된다.
시스템 관리 제어기(2322)는 멀티미디어 콘솔(114)의 이용가능성을 보장하는 것과 관련한 다양한 서비스 기능들을 제공한다. 오디오 처리 유닛(2323)과 오디오 코덱(2332)은 높은 충실도 및 스테레오 처리를 갖는 대응하는 오디오 처리 파이프라인을 형성한다. 오디오 데이터는 통신 링크를 거쳐 오디오 처리 유닛(2323)과 오디오 코덱(2332) 간에 운송된다. 오디오 처리 파이프라인은 데이터를, 오디오 능력들을 갖춘 외부 오디오 플레이어 또는 디바이스에 의한 재생을 위해 A/V 포트(2340)에 출력한다.
전면 패널 I/O 서브어셈블리(2330)는 전원 버튼(2350), 방출 버튼(2352)뿐만이 아니라, 멀티미디어 콘솔(114)의 외면 상에 노출된 다른 표시기들의 기능들을 지원한다. 시스템 전력 공급 모듈(2336)은 멀티미디어 콘솔(114)의 컴포넌트들에 전력을 제공한다. 팬(2338)은 멀티미디어 콘솔(114) 내의 회로들을 냉각시킨다.
CPU(2301), GPU(2308), 메모리 제어기(2310), 및 멀티미디어 콘솔(114) 내의 다양한 다른 컴포넌트들은 임의의 다양한 버스 아키텍처들을 이용하여, 직렬 및 병렬 버스들, 메모리 버스, 주변 버스, 및 프로세서 또는 로컬 버스를 비롯한 하나 이상의 버스들을 거쳐 상호연결된다. 예를 들어, 이러한 아키텍처들은 주변 컴포넌트 상호연결(Peripheral Component Interconnect; PCI) 버스, PCI-익스프레스 버스 등을 포함할 수 있다.
멀티미디어 콘솔(114)이 파워 ON될 때, 애플리케이션 데이터는 시스템 메모리(2343)로부터 메모리(2312) 및/또는 캐시들(2302, 2304) 내로 로딩되고 CPU(2301) 상에서 실행될 수 있다. 애플리케이션은 멀티미디어 콘솔(114) 상에서 이용가능한 상이한 미디어 유형들로 네비게이팅할 때 일관된 사용자 경험을 제공하는 그래픽 사용자 인터페이스를 선사할 수 있다. 동작시, 멀티미디어 콘솔(114)에게 추가적인 기능들을 제공하기 위해 미디어 드라이브(2344) 내에 포함된 애플리케이션들 및/또는 다른 미디어가 미디어 드라이브(2344)로부터 론칭되거나 또는 재생될 수 있다.
멀티미디어 콘솔(114)은 본 시스템을 텔레비젼 또는 다른 디스플레이에 단순히 연결시킴으로써 독립형 시스템으로서 동작될 수 있다. 이러한 독립형 모드에서, 멀티미디어 콘솔(114)은 하나 이상의 사용자들이 시스템과 상호작용하고, 영화를 감상하거나, 또는 음악을 들을 수 있게 해준다. 하지만, 네트워크 인터페이스 제어기(2324) 또는 무선 아답터(2348)를 통해 이용가능해진 브로드밴드 연결의 통합을 통해, 멀티미디어 콘솔(114)은 또한 보다 큰 네트워크 커뮤니티에서의 참가자로서 동작될 수 있다.
멀티미디어 콘솔(114)이 파워 ON되면, 설정된 양의 하드웨어 자원들이 멀티미디어 콘솔 운영 체제에 의한 시스템 사용을 위해 예약된다. 이러한 자원들은 메모리(예컨대, 16MB), CPU 및 GPU 사이클(예컨대, 5%), 네트워킹 대역폭(예컨대, 8kbps) 등의 예약을 포함할 수 있다. 이러한 자원들은 시스템 부팅시 예약되므로, 예약된 자원들은 애플리케이션의 관점에서 존재하지 않는다.
특히, 메모리 예약은 론칭 커널, 동시적 시스템 애플리케이션, 및 드라이버를 포함하기에 충분히 큰 것이 바람직하다. 예약된 CPU 사용량이 시스템 애플리케이션에 의해 사용되지 않는 경우, 유휴 스레드가 임의의 사용되지 않는 사이클을 소비할 수 있도록 CPU 예약은 일정한 것이 바람직하다.
GPU 예약과 관련하여, 시스템 애플리케이션에 의해 생성된 경량 메시지(예를 들어, 팝업)는 GPU 인터럽트를 사용하여 코드를 스케쥴링하여 팝업을 오버레이 내로 렌더링함으로써 디스플레이된다. 오버레이를 위해 필요한 메모리의 양은 오버레이 영역 크기에 따라 달라지며, 오버레이는 스크린 해상도에 따라 스케일링된다. 완전 사용자 인터페이스가 동시적 시스템 애플리케이션에 의해 이용되는 경우, 애플리케이션 해상도에 독립적인 해상도를 이용하는 것이 바람직하다. 주파수를 변경하고 TV 재동기화를 야기시킬 필요성이 제거되도록 이러한 해상도를 설정하는데에 스케일러가 이용될 수 있다.
멀티미디어 콘솔(114)이 부팅되고 시스템 자원이 예약된 후, 동시적 시스템 애플리케이션들이 시스템 기능을 제공하도록 실행된다. 시스템 기능은 위에서 설명한 예약된 시스템 자원들 내에서 실행되는 시스템 애플리케이션들의 세트에 캡슐화된다. 운영 체제 커널은 시스템 애플리케이션 스레드 대 게임 애플리케이션 스레드인 스레드들을 식별한다. 시스템 애플리케이션은 바람직하게는 애플리케이션에게 일관된 시스템 자원 뷰를 제공하기 위해 미리결정된 시간 및 간격으로 CPU(2301) 상에서 실행되도록 스케줄링된다. 스케줄링은 콘솔 상에서 실행중인 게임 애플리케이션의 캐시 중단을 최소화하기 위한 것이다.
동시적 시스템 애플리케이션이 오디오를 필요로 할 때, 오디오 처리는 시간 감도로 인해 게임 애플리케이션에 대해 비동기적으로 스케줄링된다. 멀티미디어 콘솔 애플리케이션 관리자(아래에서 설명됨)는 시스템 애플리케이션이 활성화될 때 게임 애플리케이션 오디오 레벨(예를 들어, 소리제거, 감쇠)을 제어한다.
입력 디바이스들[예컨대, 제어기들(2342(1), 2342(2))]이 게이밍 애플리케이션들 및 시스템 애플리케이션들에 의해 공유된다. 입력 디바이스들은 예약된 자원들은 아니지만, 각각이 디바이스의 포커스를 갖도록 시스템 애플리케이션들과 게이밍 애플리케이션 사이에 스위칭될 것이다. 애플리케이션 관리자는 바람직하게는 게이밍 애플리케이션의 지식없이, 입력 스트림의 스위칭을 제어하며, 드라이버는 포커스 스위칭들과 관련한 상태 정보를 유지한다.
이제부터 본 강화된 대화형 텔레비젼 경험들의 다양한 예시적인 실시예들이 모든 실시예들의 망라적인 리스트로서가 아니라 예시로서 제공된다. 예시는 실시간 업데이트를 갖는 동적 프로그램 가이드를 제공하는 방법을 포함하며, 이 방법은, 사용자에 대한 새로운 콘텐츠를 식별하는 단계; 사용자가 사용자 인터페이스(UI)를 통해 새로운 콘텐츠를 소비할 수 있게 하도록 새로운 콘텐츠를 태깅하는 단계; 사용자 인증 레벨에 기초하여 라이브 콘텐츠를 식별하는 단계; 사용자가 UI를 통해 라이브 콘텐츠를 소비할 수 있게 하도록 라이브 콘텐츠를 태깅하는 단계; 콘텐츠 영역들을 UI 상에 디스플레이된 채널들로 분류하는 단계; 사용자가 포커싱된 상태를 선택하기 전에 미리보기 상태에서 콘텐츠를 브라우징할 수 있게 하도록 구성된 콘텐츠 바를 노출시키는 단계; 및 사용자에 의한 브라우징을 용이하게 하는 요약 상태로 라이브 타일 내에서 라이브 콘텐츠를 미리보기하는 단계를 포함한다.
다른 예에서, 본 방법은 사용자 인증에 기초하여 복수의 서비스 및 선호도에 대해 콘텐츠를 동적으로 편제하는 단계를 더 포함한다. 다른 예에서, 본 방법은 제3자 서비스에 대해 인증된 사용자들에게만 라이브 비디오 콘텐츠를 전달하고 다른 사용자들로부터는 인증을 은폐하는 단계를 더 포함한다. 다른 예에서, 본 방법은 상기 라이브 비디오 피드에 개념적으로 정렬된 이벤트들의 피드 내에서 라이브 비디오 플레이어들을 동적으로 생성하는 단계를 더 포함한다. 다른 예에서, 본 방법은 이벤트들의 피드 내에 데이터 및 비디오 카드들을 전달하여 선형 스토리에 대한 사용자의 보다 강한 이해를 용이하게 하는 타임라인을 생성하는 단계를 더 포함한다. 다른 예에서, 본 방법은 UI 프레임워크 내부에 상주하는 영웅 위치에서 비디오 피드의 지속적인 전달을 제공하여 상시 가동중인(always-on) 비디오 네트워크를 생성하는 단계를 더 포함한다.
추가적인 예시는 실시간 업데이트를 갖는 부분적 주의집중(partial attention)을 위한 TV 컴패니언 애플리케이션을 제공하는 시스템을 포함하며, 이 시스템은, 그래픽 처리 유닛(GPU)을 포함하는 하나 이상의 프로세서들; 및 하나 이상의 프로세서들에 의해 실행될 때, 단계들을 포함한 방법을 수행하는 컴퓨터로 판독가능한 명령어들을 저장하는 메모리 디바이스를 포함하고, 이 단계들은, 사용자가 부분적 주의집중 상태에 있을 때 어떤 콘텐츠가 사용자에게 있어서 가장 관련이 있고 긴급한지를 결정하는 단계, 사용자 인터페이스 치수를 사용자로부터 수신하는 단계, 사용자로부터 입력된 상기 치수에 기초하여 상이한 풋프린트들에 맞도록 사용자 인터페이스를 수정하는 단계 - 상기 수정은 컴패니언 모드에 있을 때 사용자 인터페이스를 주 콘텐츠 영역과 보조 콘텐츠 영역으로 분할하도록 GPU를 동작시키는 단계를 포함함 -, 개인화된 사용자 데이터를 서빙하는 컴패니언 모드의 최상위 레벨에서 요약 데이터를 제공하는 단계, 및 부분적 주의집중 상태를 서비스하기 위해 컴패니언 애플리케이션에서 표시된 요약 데이터의 타이밍 및 순환 운율(cadence of cycling)을 조정하는 단계를 포함한다.
다른 예에서, 본 시스템은 중요 데이터로 채우고 실시간으로 업데이트하는 상세한 콘텐츠 피드에 사용자가 놓여질 수 있게 하는 내비게이션 모델을 지원하는 단계를 더 포함한다. 다른 예에서, 본 시스템은 제3자로부터의 정보를, 피드를 입력하는 UI 엘리먼트 내로 사용자 선호도 및 경향에 대해 처리하는 프로그래밍적 시스템을 구현하는 단계를 더 포함한다. 다른 예에서, 본 시스템은 사용자가 부분적 주의집중 상태에 있는 동안 새로운 콘텐츠의 도입을 지원하는 애니메이션, 시각 효과 및 특수 효과를 적용하는 단계를 더 포함한다. 다른 예에서, 본 시스템은 카드의 형태로 콘텐츠를 보여주는 단계를 더 포함한다. 다른 예에서, 카드는 테마, 장르, 주제, 또는 유형에 의해 편제된 데이터, 객체, 그래픽, 또는 정보 중 적어도 하나를 포함한다.
추가적인 예시는 시스템 통지를 구현하기 위한 컴퓨터로 실행가능한 명령어들을 저장하는 하나 이상의 컴퓨터로 판독가능한 메모리들을 포함하며, 상기 명령어들은, TV 콘텐츠 제공자로부터 키 이벤트 트리거를 식별하고 상기 키 이벤트 트리거를 사용자 경험 내로 큐레이팅하고; 실시간으로 발생하는 이벤트를 카탈로그화하고 - 이러한 카탈로그화는 외부 데이터 소스로부터의 집성화 또는 인간 지향 서비스의 이용에 의한 것을 포함함 -; 통지가 필요한 사용자를 식별하고; 식별된 사용자의 관심 수준과 카탈로그화된 이벤트와 교차시키며; 사용자가 현재 몰입해 있는 활동에 관계없이 사용자 인터페이스(UI) 상에서 경고를 디스플레이하는 것을 포함한다.
다른 예에서, 하나 이상의 컴퓨터로 판독가능한 메모리들은 애플리케이션을 론칭하기 위해 경고에 대한 액션을 취하게 하는 것을 더 포함한다. 다른 예에서, 하나 이상의 컴퓨터로 판독가능한 메모리들은 경고와 관련된 특정 콘텐츠 조각 상에 사용자를 랜딩시키게 하는 것을 더 포함한다. 다른 예에서, 하나 이상의 컴퓨터로 판독가능한 메모리들은 사용자로 하여금 특정 경고 유형을 옵트 인(opt into) 및 옵트 아웃(opt out)할 수 있게 하는 것을 더 포함한다. 다른 예에서, 하나 이상의 컴퓨터로 판독가능한 메모리들은 이전의 사용자 결정에 기초하여 지능적으로 경고를 큐레이팅하는 것을 더 포함한다. 다른 예에서, 하나 이상의 컴퓨터로 판독가능한 메모리들은 통지 내에 하나 이상의 딥 링크들을 포함하는 것을 더 포함한다. 다른 예에서, 딥 링크들은 사용자 특유적 애플리케이션 콘텐츠에 대한 것이다. 다른 예에서, 하나 이상의 컴퓨터로 판독가능한 메모리들은 통지에 기초하여 콘텐츠의 위치를 찾고 통지 유형에 기초하여 우선순위 순서로 콘텐츠를 정렬하는 것을 더 포함한다.
본 발명내용은 구조적 특징들 및/또는 방법론적 동작들에 특유적인 용어로 기술되었지만, 첨부된 청구항들에서 정의된 발명내용은 위에서 설명된 이러한 특정한 특징들 또는 동작들로 반드시 제한될 필요는 없다는 것을 이해하여야 한다. 이보다는, 위에서 설명된 특정한 특징들 및 동작들은 청구항들을 구현하는 예시 형태들로서 개시된 것이다.

Claims (15)

  1. 실시간 업데이트를 갖는 부분적 주의집중(partial attention)을 위한 TV 컴패니언(companion) 애플리케이션을 제공하는 시스템에 있어서,
    그래픽 처리 유닛(graphics processing unit; GPU)을 포함하는 하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 의해 실행될 때, 단계들을 포함한 방법을 수행하는 컴퓨터로 판독가능한 명령어들을 저장하는 메모리 디바이스
    를 포함하고,
    상기 단계들은,
    사용자가 부분적 주의집중 상태에 있을 때 어떤 콘텐츠가 사용자에게 있어서 가장 관련이 있고 긴급한지를 결정하는 단계,
    사용자 인터페이스 치수를 사용자로부터 수신하는 단계,
    상기 사용자로부터 입력된 상기 치수에 기초하여 상이한 풋프린트(footprint)들에 맞도록 사용자 인터페이스를 수정하는 단계 - 상기 수정은 컴패니언 모드에 있을 때 상기 사용자 인터페이스를 주 콘텐츠 영역과 보조 콘텐츠 영역으로 분할하도록 상기 GPU를 동작시키는 것을 포함함 -,
    개인화된 사용자 데이터를 서빙하는 상기 컴패니언 모드의 최상위 레벨에서 요약 데이터를 제공하는 단계, 및
    상기 부분적 주의집중 상태를 서비스하기 위해 상기 컴패니언 애플리케이션에서 표시된 요약 데이터의 타이밍 및 순환 운율(cadence of cycling)을 조정하는 단계
    를 포함한 것인, TV 컴패니언 애플리케이션을 제공하는 시스템.
  2. 제1항에 있어서,
    중요 데이터로 채우고 실시간으로 업데이트하는 상세한 콘텐츠 피드(detailed content feed)에 상기 사용자가 놓여질 수 있게 하는 내비게이션 모델을 지원하는 단계
    를 더 포함하는 TV 컴패니언 애플리케이션을 제공하는 시스템.
  3. 제1항에 있어서,
    제3자로부터의 정보를, 피드를 입력하는 사용자 인터페이스(user interface; UI) 엘리먼트 내로 사용자 선호도 및 경향에 대해 처리하는 프로그래밍적 시스템을 구현하는 단계
    를 더 포함하는 TV 컴패니언 애플리케이션을 제공하는 시스템.
  4. 제1항에 있어서,
    상기 사용자가 부분적 주의집중 상태에 있는 동안 새로운 콘텐츠의 도입을 지원하는 애니메이션, 시각 효과 및 특수 효과를 적용하는 단계
    를 더 포함하는 TV 컴패니언 애플리케이션을 제공하는 시스템.
  5. 제1항에 있어서,
    카드의 형태로 콘텐츠를 보여주는 단계
    를 더 포함하는 TV 컴패니언 애플리케이션을 제공하는 시스템.
  6. 제5항에 있어서,
    상기 카드는 테마, 장르, 주제, 또는 유형에 의해 편제된 데이터, 객체, 그래픽, 또는 정보 중 적어도 하나를 포함한 것인, TV 컴패니언 애플리케이션을 제공하는 시스템.
  7. 제1항에 있어서,
    사용자가 현재 몰입해 있는 활동에 관계없이 사용자 인터페이스(UI) 상에서 경고를 디스플레이하는 단계
    를 더 포함하는 TV 컴패니언 애플리케이션을 제공하는 시스템.
  8. 제7항에 있어서,
    애플리케이션을 론칭하기 위해 상기 경고에 대한 액션을 취하게 하는 단계
    를 더 포함하는 TV 컴패니언 애플리케이션을 제공하는 시스템.
  9. 제8항에 있어서,
    상기 경고와 관련된 특정 콘텐츠 조각 상에 상기 사용자를 랜딩(land)시키게 하는 단계
    를 더 포함하는 TV 컴패니언 애플리케이션을 제공하는 시스템.
  10. 제1항에 있어서,
    사용자에 대한 새로운 콘텐츠를 식별하는 단계;
    상기 사용자가 사용자 인터페이스(UI)를 통해 상기 새로운 콘텐츠를 소비할 수 있게 하도록 상기 새로운 콘텐츠를 태깅하는 단계;
    사용자 인증 레벨에 기초하여 라이브 콘텐츠(live content)를 식별하는 단계;
    상기 사용자가 상기 UI를 통해 상기 라이브 콘텐츠를 소비할 수 있게 하도록 상기 라이브 콘텐츠를 태깅하는 단계;
    콘텐츠 영역들을 상기 UI 상에 디스플레이된 채널들로 분류하는 단계;
    상기 사용자가 포커싱된 상태를 선택하기 전에 미리보기 상태에서 콘텐츠를 브라우징할 수 있게 하도록 구성된 콘텐츠 바를 노출시키는 단계; 및
    상기 사용자에 의한 브라우징을 용이하게 하는 요약 상태로 라이브 타일 내에서 라이브 콘텐츠를 미리보기하는 단계
    를 더 포함하는 TV 컴패니언 애플리케이션을 제공하는 시스템.
  11. 제10항에 있어서,
    사용자 인증에 기초하여 복수의 서비스 및 선호도에 대해 콘텐츠를 동적으로 편제하는 단계
    를 더 포함하는 TV 컴패니언 애플리케이션을 제공하는 시스템.
  12. 제10항에 있어서,
    제3자 서비스에 대해 인증된 사용자들에게만 라이브 비디오 콘텐츠를 전달하고 다른 사용자들로부터는 상기 인증을 은폐하는 단계
    를 더 포함하는 TV 컴패니언 애플리케이션을 제공하는 시스템.
  13. 제10항에 있어서,
    상기 라이브 비디오 피드에 개념적으로 정렬된 이벤트들의 피드 내에서 라이브 비디오 플레이어들을 동적으로 생성하는 단계
    를 더 포함하는 TV 컴패니언 애플리케이션을 제공하는 시스템.
  14. 제10항에 있어서,
    이벤트들의 피드 내에 데이터 및 비디오 카드들을 전달하여 선형 스토리에 대한 사용자의 보다 강한 이해를 용이하게 하는 타임라인을 생성하는 단계
    를 더 포함하는 TV 컴패니언 애플리케이션을 제공하는 시스템.
  15. 제10항에 있어서,
    UI 프레임워크 내부에 상주하는 영웅 위치에서 비디오 피드의 지속적인 전달을 제공하여 상시 가동중인(always-on) 비디오 네트워크를 생성하는 단계
    를 더 포함하는 TV 컴패니언 애플리케이션을 제공하는 시스템.
KR1020177008349A 2014-08-28 2015-08-25 강화된 대화형 텔레비전 경험 KR102331290B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462043311P 2014-08-28 2014-08-28
US62/043,311 2014-08-28
US14/563,294 2014-12-08
US14/563,294 US10142697B2 (en) 2014-08-28 2014-12-08 Enhanced interactive television experiences
PCT/US2015/046619 WO2016032983A1 (en) 2014-08-28 2015-08-25 Enhanced interactive television experiences

Publications (2)

Publication Number Publication Date
KR20170046172A true KR20170046172A (ko) 2017-04-28
KR102331290B1 KR102331290B1 (ko) 2021-11-24

Family

ID=54140642

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177008349A KR102331290B1 (ko) 2014-08-28 2015-08-25 강화된 대화형 텔레비전 경험

Country Status (5)

Country Link
US (1) US10142697B2 (ko)
EP (1) EP3186970B1 (ko)
KR (1) KR102331290B1 (ko)
CN (1) CN107079186B (ko)
WO (1) WO2016032983A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD764524S1 (en) * 2014-08-28 2016-08-23 Microsoft Corporation Display screen with graphical user interface
WO2018004453A1 (en) 2016-06-29 2018-01-04 Razer (Asia-Pacific) Pte. Ltd. Communication methods, computer-readable media, communication devices, and servers
US10075740B2 (en) * 2016-11-22 2018-09-11 Facebook, Inc. Providing enhanced live video
US10762675B2 (en) * 2016-12-12 2020-09-01 Facebook, Inc. Systems and methods for interactive broadcasting
US10814230B2 (en) 2017-10-12 2020-10-27 Microsoft Technology Licensing, Llc Interactive event broadcasting
CN108737897B (zh) * 2018-05-22 2020-11-10 腾讯科技（深圳）有限公司 视频播放方法、装置、设备及存储介质
US11443008B2 (en) * 2018-06-11 2022-09-13 International Business Machines Corporation Advanced web page content management
US11489956B2 (en) * 2018-11-30 2022-11-01 Dish Network L.L.C. Systems and methods for notification forwarding
KR102569032B1 (ko) 2019-01-22 2023-08-23 삼성전자주식회사 전자 장치 및 그의 컨텐트 제공 방법
US11043114B2 (en) * 2019-02-14 2021-06-22 Sony Group Corporation Network configurable remote control button for direct application launch
US20220217442A1 (en) * 2021-01-06 2022-07-07 Lenovo (Singapore) Pte. Ltd. Method and device to generate suggested actions based on passive audio

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090089838A1 (en) * 2006-04-07 2009-04-02 Pino Jr Angelo J Template Based System, Device and Method for Providing Interactive Content
EP2501144A2 (en) * 2011-03-17 2012-09-19 Zeebox Limited Content provision
US20120324507A1 (en) * 2011-06-15 2012-12-20 Michael Ryan Weber Interactive Ticker

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020040482A1 (en) * 2000-04-08 2002-04-04 Sextro Gary L. Features for interactive television
US7266832B2 (en) 2001-06-14 2007-09-04 Digeo, Inc. Advertisement swapping using an aggregator for an interactive television system
US8365230B2 (en) 2001-09-19 2013-01-29 Tvworks, Llc Interactive user interface for television applications
US20050262533A1 (en) * 2004-05-19 2005-11-24 Microsoft Corporation User interface having a cycling display of content representations
US8705195B2 (en) 2006-04-12 2014-04-22 Winview, Inc. Synchronized gaming and programming
US20070162850A1 (en) * 2006-01-06 2007-07-12 Darin Adler Sports-related widgets
US7735101B2 (en) 2006-03-28 2010-06-08 Cisco Technology, Inc. System allowing users to embed comments at specific points in time into media presentation
US20080263472A1 (en) * 2007-04-19 2008-10-23 Microsoft Corporation Interactive ticker
US8392847B2 (en) * 2008-05-20 2013-03-05 Hewlett-Packard Development Company, L.P. System and method for providing content on an electronic device
US20100095326A1 (en) 2008-10-15 2010-04-15 Robertson Iii Edward L Program content tagging system
US20120225693A1 (en) * 2010-10-01 2012-09-06 Sanjiv Sirpal Windows position control for phone applications
US9607537B2 (en) * 2010-12-23 2017-03-28 Microsoft Technology Licensing, Llc Display region refresh
US8863185B2 (en) 2011-01-04 2014-10-14 Verizon Patent And Licensing Inc. Social television
US9782680B2 (en) * 2011-12-09 2017-10-10 Futurewei Technologies, Inc. Persistent customized social media environment
US9986273B2 (en) 2012-03-29 2018-05-29 Sony Interactive Entertainment, LLC Extracting media content from social networking services
BR122015005194A2 (pt) 2012-06-28 2019-08-20 Ericsson Ab Método e sistema para inserção de anúncio em entrega de mídia ao vivo over the top
EP2902912B1 (en) * 2012-09-28 2018-10-24 Saturn Licensing LLC Information processing device, portable terminal, information processing method, program, and information processing system
US20140325556A1 (en) 2013-04-26 2014-10-30 Microsoft Corporation Alerts and web content over linear tv broadcast
US20150310521A1 (en) * 2014-04-29 2015-10-29 Samsung Electronics Co., Ltd. Electronic system with content mechanism and method of operation thereof
US20150331856A1 (en) * 2014-04-30 2015-11-19 Cie Digital Labs, LLC Time-based content aggregator
US10089053B2 (en) * 2014-08-01 2018-10-02 Volkswagen Ag Mirroring deeplinks
US20160055256A1 (en) * 2014-08-19 2016-02-25 Adlast, Inc. Systems and methods for directing access to products and services
US9965559B2 (en) * 2014-08-21 2018-05-08 Google Llc Providing automatic actions for mobile onscreen content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090089838A1 (en) * 2006-04-07 2009-04-02 Pino Jr Angelo J Template Based System, Device and Method for Providing Interactive Content
EP2501144A2 (en) * 2011-03-17 2012-09-19 Zeebox Limited Content provision
US20120324507A1 (en) * 2011-06-15 2012-12-20 Michael Ryan Weber Interactive Ticker

Also Published As

Publication number Publication date
KR102331290B1 (ko) 2021-11-24
US10142697B2 (en) 2018-11-27
US20160066053A1 (en) 2016-03-03
CN107079186B (zh) 2020-07-07
CN107079186A (zh) 2017-08-18
EP3186970B1 (en) 2018-11-28
EP3186970A1 (en) 2017-07-05
WO2016032983A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
KR102331290B1 (ko) 강화된 대화형 텔레비전 경험
US9971773B2 (en) Automapping of music tracks to music videos
CN105430455B (zh) 信息呈现方法及系统
US20120159327A1 (en) Real-time interaction with entertainment content
US20150128042A1 (en) Multitasking experiences with interactive picture-in-picture
US20150194187A1 (en) Telestrator system
US11537264B2 (en) Methods and systems for providing shortcuts for fast load when moving between scenes in virtual reality
US20140325567A1 (en) Customizable channel guide
US20130324247A1 (en) Interactive sports applications
US9123316B2 (en) Interactive content creation
US20110295693A1 (en) Generating Tailored Content Based On Scene Image Detection
US20110306426A1 (en) Activity Participation Based On User Intent
US20130305158A1 (en) Network system with reaction mechanism and method of operation thereof
WO2014179595A1 (en) Integrated interactive television entertainment system
US9508385B2 (en) Audio-visual project generator
EP3169416A1 (en) User-generated dynamic virtual worlds
US20140325565A1 (en) Contextual companion panel
CN107005741A (zh) 沉浸式缩放交互式电视
US10264320B2 (en) Enabling user interactions with video segments

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant