KR20120021245A

KR20120021245A - 상황인식에 기반한 미디어 간의 상호작용

Info

Publication number: KR20120021245A
Application number: KR1020110086697A
Authority: KR
Inventors: 당 트란; 다니엘 피. 긱혼; 마이클 알. 러블레이스; 싱 정; 잉난 쥬
Original assignee: 삼성전자주식회사
Priority date: 2010-08-27
Filing date: 2011-08-29
Publication date: 2012-03-08
Also published as: US20120054178A1; EP2424266A2; EP2424266A3

Abstract

본 발명의 첫 번째 실시 예 에서는 제 1 디바이스에서 재생되는 전체-어플리케이션(full-app) 컨텐츠를 개선하는 방법이 제시되며, 하나 이상의 마이크로-어플리케이션들을 제 1 디바이스에서 재생되는 상기 전체-어플리케이션 컨텐츠와 동시에 실행하는 단계를 포함하며, 각각의 마이크로-어플리케이션들에 대해서는, 상기 미디어와 관련하여 전체-어플리케이션 컨텐츠 상황정보를 검색하는 단계; 상기 전체-어플리케이션 컨텐츠 상황정보를 이용하여 마이크로-어플리케이션 파트너에 쿼리하는 단계; 상기 마이크로-어플리케이션 파트너로부터 결과를 수신하는 단계; 및 상기 수신된 결과를 적어도 일부분으로써 디스플레이 하거나 재생하는 단계를 포함한다.

Description

상황인식에 기반한 미디어 간의 상호작용 {CONTEXT-AWARE MEDIA INTERACTION}

본 발명은 가전제품에 관한 것이며, 특히 미디어의 재생 중에 상황인식에 기반한 상호작용기술을 추가하는 것이다.

현재 미디어의 재생방식은 대부분 비상호작용적이며 수동적인 방식이다. 예를 들어, TV에서 프로그램을 상영할 때 TV 사용자는 단순히 시청만을 하는 방식이다. 휴대용 음향기기를 통해 음악을 들을 때에도 사용자는 단순히 듣기만 할 뿐이다. 새로운 TV들에서 제공되는 메커니즘이 사용자가 프로그램을 시청하면서 인터넷을 검색할 수 있게끔 하는 것처럼, 다른 데이터 소스들과 상호작용하기 위해 같은 디바이스들을 이용하는 메커니즘이 존재하는 반면에, 재생되는 미디어에 대한 상호작용은 특별히 설계되지(geared) 않는다. 재생되는 미디어에 관련되는 요소들과 ‘상호작용’ 하기를 바라는 정도(예를 들면, tv 프로그램의 상영 중 해당 프로그램의 DVD를 구매하는 것)에 대해서는, 사용자가 스스로 직접 해야만 한다.

미디어 플레이어와 인터넷 검색 기능을 모두 가지는 디바이스들에 대해서, 현재 수행되고 있는 기능에 기반하여 두 가지 사이에서 자동적으로 전환하는 기술은 이미 존재한다. 예를 들면, 버튼 세트(a set of buttons)가 있는 선택창(options panel)은 TV 재생 모드와 인터넷 검색 모드 모두에 사용될 수 있으며, 통일된 시청 방식(unified viewing experience)을 제공한다. 그러나, 상기 기술들은 디바이스에서 실행되고 있는 현재의 기능을 단순히 인지하기만 하는 시스템으로 제한될 뿐만 아니라, 상기 시스템은 재생중인 미디어 그 자체와 같은, 다른 요소들에 대해서는 고려하지 않는다.

더욱이, 미디어의 재생은 현재 단일 디바이스 방식이다. 하나의 디바이스로부터 미디어를 보거나 듣는 사용자들이 많을 수 있는 반면(가족들이 TV를 같이 시청하는 경우처럼), 상기 방식은 그 단일 디바이스만으로 제한된다. 그러나, 같은 일반적인 지역(same general area)에서 다중 접속이 가능한(그리고, 잠재적으로 인터넷 사용이 가능한) 디바이스들(multiple accessible devices)이 사용될 수 있기 때문에, 이러한 현상이 점점 더 일반적인(prevalent) 형태가 되어가고 있다. 예를 들면 많은 사람들이 개인적으로 휴대폰이나 다른 이동통신 디바이스들을 항상 지니고 다니고, 그 디바이스들은 대부분 인터넷 접속이 가능하다. 더욱이, 몇몇 휴대폰들은 전통적으로 전화기로 인식되었던 것과는 달리, 미니 컴퓨터(mini-computers) 로 볼 수 있을 정도로 충분히 “똑똑(smart)" 하다. 게다가, 디지털 액자(digital picture frame) 와 마찬가지로 타블렛 컴퓨터(tablet computer) 도 더욱 일반적이 되고, 인터넷 접속 또한 가능해지고 있다(적어도 가정망(home network) 접속은 가능할 만큼).

이러한 메커니즘들을 개선하기 위한 해결책이 필요하다.

본 발명의 첫 째 실시 예에 있어서는, 제 1 디바이스에서 재생되는 전체-어플리케이션(full-app) 컨텐츠를 개선하는 방법이 제시되며, 상기 방법은 하나 이상의 마이크로-어플리케이션들을(micro-apps) 상기 제 1 디바이스에서 재생중인 상기 전체-어플리케이션 컨텐츠와 동시에 실행하는 단계를 포함하고; 상기 각각의 마이크로-어플리케이션에 대해서는, 상기 미디어에 관한 전체-어플리케이션 컨텐츠 상황정보를 검색하는(retrieving) 단계; 상기 전체-어플리케이션 컨텐츠 상황정보를 이용하여 마이크로-어플리케이션 파트너(micro-app partner)에 대해 쿼리하는 단계; 상기 마이크로-어플리케이션 파트너로부터 결과를 받아오는 단계; 및 상기 결과의 적어도 일 부분을 디스플레이하거나 재생하는 단계를 포함하는 방법이 제시된다.

본 발명의 두 번째 실시 예에서는, 미디어를 재생하기 위한 공유 디바이스; 상기 공유 디바이스와 통신하는 복수 개의 상호작용 디바이스들; 및 하나 이상의 마이크로-어플리케이션들을 포함하는 시스템이 제시되는데, 상기 각각의 상호작용 디바이스는, 사용자 입력을 수신하기 위해 설계된 사용자 인터페이스(a user interface); 및 디스플레이 부(a display)를 포함하며, 상기 마이크로-어플리케이션들은 상기 공유 디바이스 혹은 상기 복수 개의 상호작용 디바이스들 각각에 위치하고, 상기 마이크로-어플리케이션들은, 상기 재생되는 전체-어플리케이션 컨텐츠에 대한 보조 컨텐츠를 위해 하나 이상의 마이크로-어플리케이션 파트너들에 쿼리하고; 상기 상호작용 디바이스들에 상기 보조 컨텐츠를 디스플레이 하고, 상기 보조 컨텐츠와 관련된 사용자들로부터 추가적인 입력을 수신하고, 상기 추가적인 입력을 기초로 하여 상기 하나 이상의 마이크로-어플리케이션 파트너들에 대해 재쿼리(re-query)하고, 상기 재쿼리 한 결과들을 상기 디스플레이 부에 디스플레이하기 위해서, 상기 복수 개의 상호작용 디바이스들 각각의 상기 사용자 인터페이스 및 디스플레이 부와 상호작용하도록 설계된 것을 특징으로 하는 시스템이 제시된다.

본 발명의 세 번째 실시 예에 있어서는 하나의 공유 디바이스와 복수 개의 상호작용 디바이스들을 가지는 시스템의 제 1상호작용 디바이스를 작동하는 방법이 제시되는데, 상기 방법은 전체-어플리케이션 컨텐츠가 상기 공유 디바이스에서 재생되는 동안 마이크로-어플리케이션을 실행하는 단계; 상기 전체-어플리케이션 컨텐츠에 대한 전체-어플리케이션 컨텐츠 상황정보를 검색하는 단계; 상기 마이크로-어플리케이션을 이용하여, 마이크로-어플리케이션 파트너를 상기 전체-어플리케이션 컨텐츠 상황정보를 이용하여 쿼리하는 단계; 상기 마이크로-어플리케이션 파트너로부터 결과들을 수신하는 단계; 및 상기 전체-어플리케이션 컨텐츠가 상기 공유 디바이스에서 재생되는 동안, 상기 마이크로-어플리케이션 파트너로부터의 상기 결과들을 상기 제 1 상호작용 디바이스의 디스플레이 부에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법이 제시된다.

본 발명의 네 번째 실시 예에 있어서는 공유 디바이스가 제시되는데, 전체-어플리케이션 컨텐츠를 재생하는 수단; 상기 전체-어플리케이션 컨텐츠의 재생과 동시에 하나 이상의 마이크로-어플리케이션을 실행하는 수단; 상기 미디어에 대한 전체-어플리케이션 컨텐츠 상황정보를 검색하는 수단; 상기 전체-어플리케이션 컨텐츠 상황정보를 이용하여 마이크로-어플리케이션 파트너를 쿼리하는 수단; 상기 마이크로-어플리케이션 파트너로부터 결과들을 수신하는 수단; 및 상기 전체-어플리케이션 컨텐츠가 상기 공유 디바이스에서 재생되는 동안 하나 이상의 상호작용 디바이스들의 디스플레이 부를 위해 상기 하나 이상의 상호작용하는 디바이스들로 상기 수신된 결과들을 전송하는 수단을 포함하는 것을 특징으로 하는 공유 디바이스가 제시된다.

본 발명은 다음의 도면과 자세한 설명의 결합으로 쉽게 이해될 수 있으며, 참조 숫자(reference numerals) 는 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 발명의 일 실시 예에 따른 시스템의 예시이다.
도 2는 본 발명의 일 실시 예에 따라, TV+ 모드의 공간을 확보하기 위해 미디어를 TV의 구석으로 축소시키는 예시를 표현한 것이다.
도 3은 발명의 한 실시 예에 따른 다이어그램으로, 특정한 마이크로-어플리케이션을 위한 TV와 스마트 폰의 컨텐츠를 표현한 것이다.
도 4는 본 발명의 일 실시 예에 따라, 도 2의 대시보드의 또 다른 표현 방법을 도시한 다이어그램이다.
도 5는 본 발명의 일 실시 예에 따라, TV+ 모드 인터페이스의 또 다른 표현 방법을 도시한 다이어그램이다.
도 6은 본 발명의 일 실시 예에 따라, TV+ 모드의 주요스크린으로 혹은 주요스크린으로부터의 다양한 인터페이스를 도시한 다이어그램이다.
도 7은 본 발명의 일 실시 예에 따라, 서로 다른 모듈들과 그 사이에서 정보들이 어떻게 흘러가는 지를 도시한 다이어그램이다.
도 8은 공유 디바이스와 하나 이상의 상호작용 디바이스들 내부에 존재하고 여기서 개시된 방법과 시스템의 실시 예를 실시 가능케 하는, 하드웨어 구성의 예를 도시한다.
도 9는 본 발명의 일 실시 예에 따라, 제 1디바이스에서 재생되는 전체-어플리케이션 컨텐츠를 개선하는 방법을 도시한 플로우차트(flow diagram)다.
도 10은 본 발명의 일 실시 예에 따라, 하나의 공유 디바이스와 복수 개의 상호작용 디바이스들을 가지는 시스템 내에서 상호작용 디바이스를 작동시키는 방법을 도시한 플로우차트다.
도 11은 본 발명의 일 실시 예에 따라, 하나의 공유 디바이스와 복수 개의 상호작용 디바이스들을 가지는 시스템 내에서 공유 디바이스를 작동시키는 방법을 도시한 플로우차트다.

이 출원은 2010년 8월 27일에 출원된 미국 가출원 (No.:61/377,761) 으로부터 35 U.S.C. 119(e) 규정에 따른 우선권을 주장하며 출원한 발명이다.

본 발명을 실시하는 데에 있어서 발명자들에 의해 고안된 최적의 형태를 포함하는 특정한 실시 예 들을 통해 레퍼런스가 자세히 만들어 지게 될 것이다. 이러한 특정한 실시 예 들은 첨부된 도면들에 표현되어 있다. 본 발명이 이러한 특정 실시 예 들과 결합되어 표현되어 있다 하더라도, 발명의 범위를 설명된 실시 예로 한정하기 위함은 아니다. 이와는 반대로, 첨부된 특허청구범위에 의해 정의된 것과 같이 본 발명의 목적과 범위 내에서 행해지는 대안, 수정, 등가물들(alternatives, modifications, equivalents)은 본 발명의 범위 내에 포함시키기 위함이다. 이어지는 설명에는, 본 발명에 대한 철저한 이해를 제공하기 위하여 구체적인 설명이 제시되어 있다. 본 발명은 이러한 설명들의 몇몇 또는 전부가 없더라도 실행될 수 있다. 또한, 잘 알려진 특징들에 대해서는 발명의 분명한 이해를 돕기 위하여 설명되지 않을 수도 있다.

본 발명에 따르는 구성요소, 프로세스 단계, 및/또는 데이터 구조들은 다양한 형태의 운영체제, 프로그래밍 언어, 컴퓨팅 플랫폼(computing platforms), 컴퓨터 프로그램, 및/또는 범용 기계(general purpose machines)들을 이용하여 실행될 수 있다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 하드웨어에 내장된 장치(hardwired devices), FPGA(field programmable gate arrays), ASICs(application specific integrated circuits) 등과 같은 덜 범용적인 목적의 디바이스들이 여기서 개시하는 독창적인 개념의 목적과 범위 안에서 사용될 수 있음을 알 수 있다. 본 발명은 메모리 소자와 같이, 컴퓨터 판독 가능 매체(computer readable medium)에 저장된 컴퓨터 명령어 셋(computer instructions set)처럼 유형(tangibly)의 형태로 구현될 수도 있다.

본 발명의 일 실시 예는 하나 이상의 사용자 디바이스들에 존재하는 “마이크로-어플리케이션"(micro-application)이라는 개념을 소개한다. 이 마이크로-어플리케이션들은 결과 정보(result information)를 위하여 하나 이상의 컨텐츠 제공자들을 쿼리하기 위해 상황정보(context information)를 활용하도록 설계된다. 상기 상황정보는, 미디어 그 자체나, 사용자, 디바이스 또는 일반환경(general environment)과 관련될 수 있다. 이러한 결과에 대한 정보들이 마이크로-어플리케이션 파트너로부터 수신되면, 사용자의 디바이스에 디스플레이 될 수 있다. 이러한 방법을 통해서 상기 마이크로-어플리케이션은 현재 실행되고 있는 미디어 와 관련된 정보를 자동적으로 검색할 수 있고, 그 정보들을 미디어 가 실행되는 동안 사용자에게 디스플레이 할 수 있게 된다.

본 발명의 또 다른 실시 예에 따르면, 몇몇 디바이스는 미디어를 재생하고 다른 디바이스들은 개개인의 사용자들과의 상호작용을 통해 재생되는 미디어의 보조 정보들을 획득 하는 방법으로 디바이스의 시스템이 이용될 수 있다. 이러한 시스템은 미디어 가 재생되는 공유 디바이스와 상호작용이 수행되기 위한 복수 개의 디바이스(보통은 공유되지 않는) 들로 구성될 수 있다. 이러한 방식으로, TV를 시청하는(공유 디바이스) 각 사용자들은 개인적으로 각자의 디바이스(휴대폰과 같은)를 통해 시청하는 프로그램과 관련된 컨텐츠 제공자와 상호작용 할 수 있다.

특히 주목해야 할 것은, 많은 상황에 있어서 상기 2가지 실시 예를 모두 활용하는 것이 더욱 선호된다는 점이다. 예를 들어서, 복수 개의 상호작용 디바이스와 하나의 공유 디바이스로 이루어진 시스템이 사용될 수 있으며, 이를 통해 상호작용 디바이스들 및/또는 공유 디바이스들은 두 디바이스들의 컨텐츠를 업데이트 하기 위해 상황정보를 포착하고 컨텐츠 제공자들과 상호작용하는 마이크로-어플리케이션을 포함할 수 있다. 다양한 실시 예들이 이 문서에서 후술 될 것이다.

하나 이상의 컨텐츠 제공자들에 쿼리하기 위해 사용되는 상황정보들은 많은 다른 소스로부터 검색될 수 있는데, 하나의 소스는 재생되고 있는 미디어 그 자체이다. 이러한 종류의 상황정보는 “미디어 컨텐츠 상황정보"라 부를 수 있으며, 미디어 그 자체에 관한 어떤 정보도 담을 수 있다. 이러한 정보에 대한 일반적인 소스는 미디어에 동반되는 메타데이터가 될 수 있다. TV방송에 있어서, 이러한 정보들은 디지털 방송 스트림(digital broadcast stream)에 포함되어 있을 수 있다. OTT(over the top) 주문형 비디오(VOD)식 영상이나 사진에 대해서, 이러한 정보들은 다운로드 된 미디어 파일들에 암호화되어 있을 수도 있고, 각각 별개로 전송될 수도 있다. DVD나 Blue-Ray 디스크에 대해서는, 이러한 정보는 디스크 자체에 암호화되어 있을 수 있고(전용의 메타데이터 파일 속 처럼), 혹은 외부의 GD3 인식 데이터베이스를 이용하는 것과 같이 외부적으로 이용 가능할 수도 있다. 하드디스크 드라이브에 저장되어 있는 일반적인 영상, 사진, 음악파일들은 그 파일들 자체로 메타데이터(metadata) 정보를 포함할 수 있으며, mp3 파일 안에 포함된 ID3 메타데이터(metadata)나, 디지털 카메라의 exif 파일을 예로 들 수 있다. DLNA(Digital Living Network Alliance) 스트림 역시 내장된 메타데이터를 포함할 수 있다. 미디어 컨텐츠 상황정보의 예로는, 제목, 장르, 배우, 감독, 상영시간, 장면 정보, 음악 트랙, 작곡가, 작가 등이 포함될 수 있다. 소셜 네트워크 웹사이트 또는 비디오 스트리밍 웹사이트에서의 추가적인 파일 스트림들이 본 발명의 실시 예들과 함께 활용 될 수 있다. 더욱이, 뉴스, 지도, 게임 등과 같이 미디어가 아닌 어플리케이션의 파일들 역시 활용 될 수 있다.

이 명세서에서 사용되는 “컨텐츠 제공자" 라는 용어는 사용자가 원하는 정보나 서비스를 제공하는 어떠한 단체(entity)라도 포함되도록 넓게 해석되어야 한다는 점을 유의해야 한다. 이는, 문자 정보(textual information), 그래픽 정보(graphical information), 쇼핑 가능여부(shopping capabilities), 맵핑 도구(mapping tools) 등을 모두 포함할 수 있다. 이 기술 분야의 몇몇은 “서비스 제공자(service provider)" 와 ”컨텐츠 제공자(content provider)“를 분명하게 구분하는 반면에, 나머지 몇몇은 많은 제공자들이 컨텐츠 제공과 서비스 제공을 분명하게 구분하지 않고 모든 제공자들을 단순히 “컨텐츠 제공자” 라는 하나로 모아서 분류하고 있음을 인식한다. 이 명세서에서 사용되는 “컨텐츠 제공자”는 후자의 의미이다.

이 명세서에서 사용되는 “미디어” 라는 용어 역시 통상적인 영상, 사진, 문서만을 포함하는 것이 아니라, 공유 디바이스나 상호작용을 위한 디바이스로 전송되어 사용자에게 보이거나 들리는 다른 모든 정보까지 포함하는 것으로 넓게 해석되어야 한다. 따라서, “미디어”는, 예를 들면 뉴스리더 어플리케이션(newsreader application)의 문자, 지도 어플리케이션(mapping application)에서의 지도, 게임 어플리케이션의 그래픽 등을 모두 포함할 수 있고, 이와 같이 “미디어 컨텐츠 상황정보" 라는 용어도 마찬가지로 상기 사항들과 관련된 상황정보를 포함할 수 있다. 이 명세서의 곳곳에서 "전체-어플리케이션 컨텐츠" 라는 용어가 미디어 컨텐츠 대신에 사용되는데, 이는 컨텐츠와 관련된 미디어가 아닐지라도 상황정보의 기반으로 사용되거나 전체-어플리케이션 컨텐츠와 관련된 결과를 검색할 수 있음을 명쾌하게 밝히기 위함이다. 더욱이, 이러한 ”전체-어플리케이션 컨텐츠"는　 TV, 미디어 플레이어(media players), 마이크로-어플리케이션 결과, DVD, HDMI(High Definition Multimedia Interface) 단자 등의 여러 가지 소스를 통해 얻어질 수 있다.

이 명세서에서 사용되는 “마이크로-어플리케이션" 이라는 용어 역시, 컨텐츠 제공자를 쿼리하는 디바이스에 설치될 수 있는 어떠한 어플리케이션이라도 포함되도록 넓게 해석되어야 한다. 그러나, 몇몇 실시 예에서는 상기 마이크로-어플리케이션이 다른 어플리케이션이나 서비스와 연결되어, 전체-어플리케이션이나 서비스 범위 내에서(full-app) 제한된 마이크로-기능(limited micro-functions)을 제공하기도 한다. 예를 들면, Amazon 어플리케이션은 Amazon.com 장터의 모든 사용자 인터페이스를 제공하지만, Amazon 마이크로-어플리케이션은 제한된 마이크로-기능만을 제공할 수도 있다(상황정보에 기반한 자동 검색이나 제한된 구매기능과 같이). 마이크로-기능은 '장바구니에 담기(add-to-cart)' 나 '즐겨찾기에 추가(add-to-favorites)'와 같은 단지 한 가지 동작만을 수행하는 기능이다.

단지 미디어나 전체-어플리케이션 컨텐츠 자체 외에도 상황정보에 대한 수많은 소스가 있다. 그 중 하나는 사용자인데, 사용자와 관련된 많은 정보들은 외부적으로 혹은 내재된 채로 검색될 수 있다. 예를 들면, 사용자의 프로필은 나이, 성별, 관심사, 직업등과 같은 정보를 포함하여 저장될 수 있다. 이러한 종류의 상황정보는 컨텐츠 제공자로부터 어떠한 종류의 정보를 검색해야 하는지 결정함에 있어서 유용하게 사용된다. 예를 들어 한 가족이 아프리카에 관련된 다큐멘터리 프로그램을 시청하고 있다면, 어른들에게는 디바이스에서 관찰되고 있는 지역의 역사를 문자정보로 전달하는 동안에, 그와 동시에 어린이들에게는 사자, 기린, 코뿔소 등과 관련된 그림정보를 전달하는 것이 바람직할 수 있다(어린이들의 디바이스들로 직접 전달될 수 있는). 미디어 컨텐츠의 상황정보만이 아니라, 사용자의 상황정보까지 포함함으로써, 상기 시스템이 개인의 상호작용 디바이스에 개인화된 정보(personalization)를 전달 할 수 있다.

사용자의 프로필은 외부적으로 특정된 사용자 상황정보인 반면에, 이러한 정보들은 내재된 소스로부터 알아낼 수도 있다. 예를 들어, 시스템은 사용자가 어린이라는 것을 디바이스의 어플리케이션 사용 기록을(또는, 로딩된 어플리케이션만을) 검사함으로써 추정할 수도 있다. 또한, 디바이스가 주로 어린이들이 즐겨하는 게임이 많이 설치되어 있다면, 그 디바이스의 사용자가 어린이라고 알아낼 수도 있는 것이다.

또 다른 상황정보의 소스는 상기 디바이스이다. 디바이스에 관한 다양한 정보는 외부적으로 혹은 내재된 채로 검색될 수 있다. 예를 들어, 제작자, 메모리, 프로세서(processor) 속도, 디스플레이 특징(display characteristics), 입력 디바이스 등의 디바이스와 관련된 정보들이 포함된 채로 디바이스의 프로필이 저장될 수도 있다. 이러한 종류의 상황정보는 마이크로-어플리케이션 파트너로부터 어떠한 정보를 검색할 것인지를 결정함에 있어서 유용하게 이용될 수 있다. 예를 들면, 가족들이 코미디 프로그램을 시청할 때 시스템은 예를 들면 주연 배우가 등장하는 최근 프로젝트들의 정보들을 포함하는 주연배우와 관련된 정보를 다양한 상호작용 디바이스에 전송하는 것이 이익이 된다고 결정할 것이다. 만일 하나의 디바이스가 다른 디바이스보다 월등히 빠른 처리 속도, 메모리 용량, 디스플레이 특징을 갖는다면, 배우가 출연했던 최근 작품에 관한 영화의 예고편을 제공할 수 있는 반면, 덜 강력한 상호작용 디바이스는, 배우의 새 영화와 관련된 문자로 된 정보만을 받을 것이다.

디바이스의 프로필은 외부적으로 드러나는 디바이스의 상황정보인 반면, 마찬가지로 이 정보들은 내재된 소스로부터 알아낼 수도 있다. 예를 들어, 상기 시스템은 상기 디바이스의 메모리에 고화질의 비디오 파일이 다수 저장되어 있다면, 그 디바이스는 고화질 영상을 재생할 수 있는 성능이 된다고 판단할 수 있다.

상황정보에 관한 또 다른 소스는 디바이스가 작동하고 있는 주변 환경이 될 수 있다. 이 대상은 다양한 종류가 될 수 있는데, 그 날의 시간, 온도, 장소 등과 같은 외부환경 정보와 운영체제, 동시에 실행되고 있는 다른 어플리케이션과 같은 내부환경 정보가 모두 포함된다. 이 종류의 상황정보는 마이크로-어플리케이션 파트너로부터 어떠한 종류의 정보를 검색할 것인 지를 결정하는 데에 있어서 유용하게 사용될 수 있다. 예를 들면, 공유 디바이스와 상호작용 디바이스의 위치가 ‘집’ 이라면, 마이크로-어플리케이션 파트너로부터 다운로드 된 추가적인 데이터는 ‘사무실’ 의 경우보다는 더욱 오락적(recreational)일 수 있다.

외부상황정보는 다양한 외부 센서나 디바이스들로부터 검색될 수 있다. 예를 들어, 시간에 대해서는 마더보드(motherboard)에 위치한 시계 디바이스에 접속될 수 있다. 위치는 위성위치확인 시스템(GPS)이나 비슷한 종류의 위치추적 장치가 활용될 수 있다. 온도의 경우에는 온도 센서가 이용될 것이다(이에 대한 대안으로, 지정된 위치에 대해 현재 온도 정보를 얻는 과정에서, 위치에 관한 정보가 외부 데이터베이스로 전송 될 수 있다.).

또 다른 종류의 상황정보는 소셜 네트워킹 데이터(social networking data)이다. 소셜 네트워크 웹사이트나 데이터 스트림(data streams)으로부터 얻어진 사용자의 상태 정보는 사용자의 현재 상태를 결정하도록 검사될 수 있고, 결과를 제공하는 데에 도움을 줄 수 있다. 예를 들면, 사용자가 페이스북(Facebook)의 상태에 ‘휴가 중’ 이라고 등록했다면, ‘일하는 중’ 일 때와는 다른 결과가 제공될 수 있을 것이다.

본 발명의 일 실시 예에 따르면, 결과를 디스플레이 하기에 앞서서 마이크로-어플리케이션 파트너로부터 얻어진 결과에 대해 다양한 필터링이 행해질 수 있다. 이러한 필터링은 공유 디바이스 혹은 상호작용 디바이스들(혹은 둘 다)에 행해질 수 있고, 이러한 결정은 최종 결과가 둘 중의 어떠한 디바이스(혹은 둘 다)에 출력 될 것인지에 기반할 수 있다. 이러한 필터링은 다수의 마이크로-어플리케이션 으로부터의(결국 다수의 마이크로-어플리케이션 파트너들로부터) 결과가 동시에 검색되는 경우에 특별히 유용할 수 있다. 필터링의 주요한 형태 중의 하나는 순위 매기는 것을 포함한다. 여기에서, 결과들은 그 적용 가능성(applicability)의 순서로 순위가 매겨진다. 이것은 알고리즘을 이용하여 결정될 수 있는데, 그러한 알고리즘은 많은 수의 방법을 통해 설계될 수 있다. 몇몇 실시 예에 의하면, 이 알고리즘은 사용자, 디바이스, 및/또는 환경 상황정보들을 활용하여 그 상황에 어떠한 컨텐츠가 특정 디바이스에 가장 적합한지 결정하는 데에 도움을 줄 수 있다. 필터링의 다른 예시로는 cross-reference checking 및 검색결과 개인화(personalization of the search results)가 포함될 수 있다.

본 발명의 구조는 마이크로-어플리케이션(혹은 다수의 마이크로-어플리케이션)을 이용하여, 사용자로 하여금 현재의 상황정보를 이용하고 관련 정보를 보여주는 것을 통하여 사용자의 경험을 증대시켜주는(augment) 여러 가지 서비스에 접속하게 한다. 한 실시 예에서, 이 구조는 마이크로-어플리케이션 파트너들 또한 그들만의 데이터(proprietary data)를 이용하여 미디어를 개선하게 하는 마이크로-어플리케이션을 빠르게 개발할 수 있게 한다. 이러한 구조는 제 3개발자들(third part developers)에게 기본적인 사용자 인터페이스와 어플리케이션 인터페이스(API) 능력(capability)을 제공함으로써, 그들이 시스템과 호환이 가능한 마이크로-어플리케이션을 효율적으로 제작하게 하는 것을 통해, 빠른 마이크로-어플리케이션 개발을 가능하게 할 수 있다.

더욱이, 각각의 마이크로-어플리케이션들로 하여금 일관되게 ‘상황인식(context-aware)‘ 하게 함으로써, 마이크로-어플리케이션들 간의 공유 데이터 구조의 스킴(scheme)이 제공될 수 있다. 이는, 미디어 제공자들로 하여금 메타데이터(metadata)를 인코딩(encode)하는 데에 있어서 필수적인 단계에 착수하는 것을 편하게 하며, 그렇지 않으면 많은 서로 다른 마이크로-어플리케이션들이 상황정보에 접근한다는 것을 알고서 미디어 제공자들이 그들의 미디어와 관련된 상황정보를 제공하게 한다(이러한 방식은 개인소유의 메타데이터 방식을 사용한다면 하나의 마이크로-어플리케이션만을 접근하게 하는 것과는 대조되는 방식이다). 이와 같이, 보이거나 들리는 컨텐츠에 관련된 보조 정보들을 제공함으로써, 마이크로-어플리케이션 파트너들을 공유 상황정보에 접속할 수 있게 하여 전체-어플리케이션 컨텐츠를 균일하게 개선하도록 하는 시스템과 리포지토리(repository)가 제공 될 수 있다.　

하나의 공유 디바이스와 다수의 상호작용 디바이스들을 가지는 실시 예에서, 각 사용자의 개인 상호작용 디바이스의 화면에서 선호하는 대상을 선택하게 한 뒤 그 결과를 공유 디바이스의 모든 사용자들과 공유하는 방법을 통해, 사용자들로 하여금 협력하여 그래픽 유저 인터페이스(GUI)에서 선호하는 대상을 선택하게 할 수 있다. 예를 들어, 사용자들은 다중 사용자 선호도에 기반하여, 여행 목적지, 항공편, 영화 등을 협력적으로 고를 수 있다.

선행 기술의 해결책들은 이미 존재하는 상황정보에 재생된 미디어의 보조정보가 맞추어져야 하는 경우, 그 구성(a set-up)을 고려하는 데에 있어서 실패한다. 또한, 상호작용성(interactivity)을 개선하기 위해 공유 디바이스에 상호작용 디바이스를 각각 접합(pairing)시키는 점에 있어서도 실패한다.

TV를 공유 디바이스로 하고, 다수의 소형 디바이스들(스마트 폰으로 표현되어 있는)을 상호작용 디바이스들로 하는 예시가 제시될 것이다. 상술한 바와 같이, 단지 예를 들기 위한 목적에 불과하며 발명의 범위를 한정하기 위함은 아니다.

도 1은 본 발명의 실시 예에 따른 시스템의 예를 도시한다. TV(100)가 공유 디바이스의 역할을 하며, 스마트 폰으로 표현된 102a, 102b, 102c 가 상호작용 디바이스의 역할을 한다. 상호작용 디바이스들인 102a, 102b, 102c 각각은 다른 사용자들(미도시 된)에 의해 사용될 수 있다. 시스템에는 리모콘(104)도 포함될 수 있다. 몇몇 상황에서는 리모콘(104)이 상호작용 디바이스로 고려될 수도 있으나, 대부분의 리모콘은 디스플레이 부가 없으며 있다하더라도 마이크로-어플리케이션 파트너로부터의 실제 결과를 모두 디스플레이할 만큼 성능이 좋지는 않고, 대부분은 단일 방향 통신(리모콘으로부터 TV로만의)만이 가능하다. 이에 따라, 마이크로-어플리케이션 파트너로부터 결과를 받아서 다음 동작을 수행하는 많은 경우에 있어서, 리모콘은 상호작용 디바이스로 사용되지 않을 것이다.

한 실시 예에서, 사용자들은 리모콘(104)의 버튼을 누르거나 상호작용 디바이스(102a, 102b, 102c) 중의 하나를 사용함으로써 TV의 확장모드(augmented mode, 이하 ‘TV+ 모드’ 라 한다)를 시작하는(initiate) 것이 가능하다. 이와는 다르게, 사용자들은 TV가 그들에게 특정 마이크로-어플리케이션을 통해서 이용 가능한 컨텐츠가 무엇인지 알려주도록 할 수도 있다. 그 이후로, 상기 TV+ 모드와의 모든 교류는(interaction) 상호작용 디바이스인 102a, 102b, 102c 중의 하나를 통해서 행해진다고 가정된다. TV+ 모드를 작동시키면, TV(100)에서 현재 재생중인 미디어가 TV+모드의 공간 확보를 위해 한쪽 구석으로 줄어들거나, TV+ 컨텐츠를 기존 화면 위에 겹쳐서 디스플레이 하는 방식이 적용될 것이다. 이를 통해, 사용자들은 공유된 주변환경 하에서 마이크로-어플리케이션들과 상호작용 할 수 있는 동안에도 현재 재생중인 미디어를 시청할 수 있게 된다. 한 실시 예에 따르면, TV(100)에서 재생되고 있는 미디어는 전혀 변하지 않는다. 이 경우에는 전체 TV+ 모드는 상호작용 디바이스인 102a, 102b, 102c를 통해서 가능하게 되고, 공유되는 미디어는 전혀 방해받지 않게 된다. 이를 통해, 상호작용 하는 특정한 프로그램에 전혀 관심이 없는 사용자들은 그 부분에 대해서는 완전히 무시할 수 있는 것이다. 예를 들면, 스마트 폰이 없는 할아버지, 할머니가 TV를 가족들과 함께 시청하고 있을 때, 추가적인 보조 정보들이 다른 가족들의 상호작용 디바이스를 통해 제공되는 것에 대해서는 인지할 필요가 없는 것이다.

도 2는, 그럼에도 불구하고 TV+ 방식이 적용된 경우에 화면 표시 공간을 확보하기 위해 TV 구석으로 줄어드는 미디어를 도시하고 있다. TV+ 방식을 실행할 때, 사용자들은 TV(100)에서 대시보드(200)를 통해 그들의 과거 활동기록이나(장바구니에 담긴 상품들이나, 즐겨찾기 등) 다른 마이크로-어플리케이션들을 (202a, 202b, 202c) 볼 수 있다.

TV의 대시보드(200)는 현재 시청되는 컨텐츠에 관한 문자 정보 바(bar) 또한 디스플레이 할 수 있다. 상기 상호작용 디바이스에, 사용자들은 현재 재생되는 미디어와 상호작용할 수 있는 마이크로-어플리케이션들의 목록을 받아볼 수 있다. 또한, 특정한 마이크로-어플리케이션을 실행하여 현재의 미디어 와 관련된 추가 정보들을 받아볼 수도 있다. 이를 통해서, TV 화면의 일부는 현재 디스플레이 되는 미디어에 할당하고 스마트 폰의 화면의 일부는 자체 컨텐츠를 디스플레이 하는 데에 할당함과 동시에, TV와 스마트 폰 모두가 선택된 마이크로-어플리케이션으로부터 검색된 컨텐츠로 전환할 수 있게 된다.

상기 TV에서, 사용자들은 현재의 컨텐츠와 함께 로그인 된 사용자의 목록이 디스플레이 될 수 있는 해당 마이크로-어플리케이션의 홈페이지로 이동할 수 있다. 상기 스마트 폰에서, 사용자들은 개인 화면을 이용하여 TV 보다 더욱 많은 정보를 얻을 수 있다. 여기에, 현재 재생중인 미디어와 관련된 문자 정보를 디스플레이 하는 정보 바(information bar)가 포함될 수 있다. 또한, 현재 재생중인 미디어와 관련된 사항들(제공된 마이크로-어플리케이션 컨텐츠로부터 검색된) 또한 디스플레이 될 수 있는데, 이러한 관련사항들은 간편한 상호작용을 위하여 논리적인 범주로 구분될 수 있다(영화, 음악, 장난감, 상품 등). 추천항목 바(a recommendation bar)도 포함될 수 있는데, 제공된 범주 내에서 어떠한 항목을 선택함에 따라 컨텐츠가 등장하게 된다. 일 실시 예에 있어서, 각 범주들은 탭의 형태로 표현되어 사용자들이 서로 다른 탭을 선택함으로써 범주들 사이에서 이동할 수 있도록 한다.

일 실시 예에 따르면, 탭 형태로 표현된 검색 결과는 상호작용 디바이스와 공유 디바이스에 동기화 된 방식으로 표현될 수 있고, 이를 통해 사용자들은 공유 디바이스에서 항목들을 공유하는 도중에 각각의 상호작용 디바이스에서 항목들을 보고 선택할 수 있게 된다.

사용자가 범주에서 항목을 선택(tap)하면, 상기 스마트 폰은 추천항목 표시부분에 사용자들에 의해 선택된 항목과 관련된 마이크로-어플리케이션 파트너로부터 제공받아 추천된 항목의 목록을 보여준다. TV의 일정부분이 사용자가 선택한 항목들에 대해 자세히 디스플레이 하기 위하여 각 사용자에게 할당될 수 있다. TV도 마찬가지로 스마트 폰의 추천항목 표시부분의 레플리카(replica)를 포함할 수 있다. 사용자들은 스마트 폰의 추천항목들에 대해 상세히 살펴볼(swipe through) 수 있는데, 이를 통해 스마트 폰과 TV 모두로 하여금 사용자에게 더 많은 추천항목들을 보여주게 한다. 하나의 실시에서는 스마트 폰에서 사용자들이 선택한 각각의 항목들에 대해서 탭핑(tapping)함으로써 더 많은 정보와 추천을 받아 볼 수 있다. 각각의 micro-app들에는, 사용자들이 어떠한 항목들과의 상호작용을 마무리하는 것을 허용하는 기본 동작이 이미 결정되어 있다. 한 예로, 항목에 대한 기본 동작은 항목을 장바구니에 담기, 계산하기, 즐겨찾기 목록에 추가하기 등 일 수 있다. 또 다른 실시에 의하면 가볍게 치는(flick) 동작이 기본 동작일 수 있다. 기본 동작이 항목에 수행되면(장바구니에 항목이 추가되는 등) TV는 최근의 동작을 반영하기 위해 사용자 활동을 업데이트 한다. 주요 대시보드 역시 가장 최근의 사용자 동작으로 업데이트 될 수 있으며, 이러한 업데이트들은 TV에 다음 TV+ 모드의 주 화면이 디스플레이 되는 때에 보여진다.

도 3은 본 발명의 일 실시 예에 따라, 특정한 마이크로-어플리케이션을 위한 TV 와 스마트 폰 컨텐츠의 예를 도시한다. 보는 바와 같이, 공유 디바이스(100)가 마이크로-어플리케이션들과 상호작용하는 동안 각각의 상호작용 디바이스들(102a, 102b)은 동시에 서로 다른 마이크로-어플리케이션들을 실행하게 된다. 이 예시에서는 상호작용 디바이스 102a가 지도 어플리케이션을 통해 바닷가재에 관련된 다큐멘터리 프로그램이 어디서 촬영 되었는지에 관한 지도를 디스플레이 하고 있다. 상호작용 디바이스 102b는 반면에 쇼핑 마이크로-어플리케이션을(이 예시에서는 “바닷가재 가게”를 디스플레이 하여 다양한 항목들을 가능하게끔 하는) 실행하여 사용자가 다큐멘터리 프로그램과 관련된 상품(또는, ‘바닷가재 관련’ 프로그램과 다소 연관성이 있는 일반적인 상품들)을 검색하고 구매할 수 있게 한다. 도시되어 있지는 않으나, 또 다른 상호작용 디바이스가 같은 쇼핑 마이크로-어플리케이션을 실행하여, 두 가지의 상호작용 디바이스의 사용자들의 결과가 모두 공유 어플리케이션에 디스플레이 될 수 있다. 이에 따라, 모든 상호작용 디바이스들로부터 선택된 모든 구매가 “가족 총 합계”(a family total) 로 디스플레이 될 수 있으며, 실제로 모든 항목을 구매하는 하나의 구매과정을 통해서, 오프라인 매장에서 계산대로 가기 전에 하나의 쇼핑카트에 가족들이 각자 살 물건들을 모두 담아서 한번에 결제하는 방식처럼 이용될 수 있다.

도 4는 본 발명의 일 실시 예에 따라, 도 2의 대시보드의 다른 표현방법을 도시한다. “가족 총 합계” 구매 금액을 디스플레이 하는 것 대신에, 사용자들의 구매 내역과 위치를 대시보드(200)에 디스플레이 한다. 실제로 상기 대시보드는 어떤 종류의 정보라도 디스플레이 할 수 있게 사용될 수 있으며, 미도시 된 상호작용 디바이스들을 통해 상기 공유 디바이스(100)와 상호작용 하는 다수의 사용자들과 관련된 정보를 디스플레이 하는 데에 있어서 가장 유용하다.

도 5는 본 발명의 일 실시 예에 따른, TV+ 방식 인터페이스(interface)의 또 다른 표현방식을 도시한다. TV+ 방식의 미디어 컨텐츠 관련 부분(500)에 TV에서 현재 디스플레이 중인 미디어 와 관련된 미디어 컨텐츠를 포함하는 마이크로-어플리케이션과의 연결부(link)가 포함되어 도시되어 있다. 사용자는 이러한 연결부를 통해 관련된 미디어 컨텐츠를 가지는 다양한 마이크로-어플리케이션으로 빠르게 찾아갈 수 있다. 추가 메뉴 부분(502)은 관련 정보, 쇼핑, 공유 등과 같은 마이크로-어플리케이션들의 다른 범주로 쉽게 연결시켜 준다.

도 6은 본 발명의 일 실시 예에 따라, TV+ 방식의 주요 화면으로부터 접속되거나 주요 화면으로 접속되는 다양한 인터페이스를 도시한다. 사용자는 생방송 TV와 같이 내장된 전체-어플리케이션(602), 혹은 다운로드 가능한 전체-어플리케이션(604)을 실행함으로써 TV+ 모드 방식의 주요 화면(600)으로 접속할 수 있다. 사용자는 그들이 즐기고 있는 TV시청이나 어플리케이션 화면(experience)을 TV+ 모드의 주요 화면(600) 으로 확대 시킬 수도 있을 뿐만 아니라, 주요 화면으로부터 그들의 전체-어플리케이션(602) 이나 어플리케이션 실행 화면(experience)으로 빠르게 돌아갈 수도 있다. TV+ 모드의 주요 화면(600)에서, TV+ 모드의 마이크로-어플리케이션 화면(606a, 606b)이 디스플레이 되게 하기 위하여, 사용자는 여러 가지의 서로 다른 마이크로-어플리케이션들 중에서 선택하여 실행할 수 있다. 이러한 TV+ 모드의 마이크로-어플리케이션 화면(606a, 606b)을 통해서 사용자는 그 근본이 되는(underlying) 마이크로-어플리케이션 파트너와 관련이 있는 마이크로-커맨드를 빠르고, 공통적으로 입력할 수 있게 된다. 이러한 입력들은 마이크로-어플리케이션 파트너로 전달되어 그 결과물을 608 화면에 디스플레이 하게 된다.

상술 한 바와 같이, 추천항목은 여러 가지 요소들에 기반하여 사용자들에게 제공될 수 있다. 이 요소들 중의 하나는 과거 구매 목록인데, 온라인 서점을 예로 들면 기록된 사용자의 과거 구매 목록을 통해 사용자가 관심을 가질 만 한 다른 책들을 현명하게 추천해 줄 수 있다. 반면에, 상술한 바와 같이 사용자, 디바이스, 환경, 소셜 상황정보 과 같은 다른 요소들도 이 추천 항목을 작성하는 데에 포함될 수 있다.

상기 시스템은 상호작용 디바이스에 특정 행동을 인식하고 특정 동작으로 할당하도록 설계될 수 있다. 예를 들면, 사용자가 문맥과 관련된 자세한 정보를 얻고자 한다면 왼쪽으로 문지를 수 있고, 메뉴의 상위 단계로 돌아가려면 오른쪽으로 문지르게 할 수 있다. 모든 상호작용하는 동작(interactive action)들이 그러한 행동(gesture)에 할당 될 수 있다.

상술 한 많은 단계들은 특정 상황에 있어서는 자동적으로(사용자의 개입 없이) 행해질 수 있다. 예를 들면, 상기 시스템은 상호작용 디바이스가 공유 디바이스에 근접하면 자동적으로 인식하고 상호작용 디바이스를 등록하도록 설정될 수 있다. 예를 들어, 부모가(스마트 폰을 소지한 채로) 집에 도착해서 거실에 들어오면, 공유 TV가 근처의 스마트 폰을 인식하고 그에 맞추어 동작할 것이다. 또한, 부모를 현재 사용자 목록에 추가하고 적절한 마이크로-어플리케이션을 활용하여 보조 정보를 제공할 수도 있을 것이다.

미디어 컨텐츠 상황정보에 따라, 다른 마이크로-어플리케이션은 다른 질과 양의 보조 정보들을 제공할 것이다. 예를 들면, 소매상(retail store) 마이크로-어플리케이션은 특정 영화에 대해서는 다른 영화보다 연관 항목을 많이 찾을 수 있을 것이고, 지도 어플리케이션은 위치에 관해 아무런 언급이 없는 코미디 프로그램 보다는 메타데이터(metadata)를 가지는 다큐멘터리 프로그램에 대해서 특정 도시에 관한 더 질 좋은 결과를 제공할 수 있다. TV+ 모드의 구조는 현재 재생되는 미디어 와 관련 있는 마이크로-어플리케이션을 인식하고, 개발된 “품질 지수(quality score)"에 따라 관련 마이크로-어플리케이션이나 그 결과들을 분류하고 순위별로 정리할 수 있는 랭킹/품질 평가 모듈(module)을 포함할 수 있다.

Search keyboard tab generation 이라는 다른 모듈이 구조에 포함될 수 있다. 상기 모듈은 입력 디바이스뿐만 아니라 메타데이터, 현재의 마이크로-어플리케이션, 시스템에 접속한 현재 사용자들과 같은 다양한 상황정보를 고려하여 결과 페이지의 각 탭에 대응되는 검색쿼리(search query)요청을 동적으로(dynamically) 만들어 낸다. 여기에도 역시 랭킹 알고리즘이 사용되어 각 탭에 최고 순위 항목들을 디스플레이 한다.

현재의 구조는 엔드-투-엔드(end-to-end) 방식의 컨텐츠 공유 및 정보의 흐름을 허용한다. 도 7은 본 발명의 실시 예에 따른 다른 방식의 모듈과 모듈 간 정보의 흐름을 도시하고 있다. 전체-어플리케이션(700)은(앱스토어(app store)로부터 다운받았거나 사용자의 디바이스에 미리 내장된) 몇 종류의 컨텐츠를 재생하거나 디스플레이 하는데, 이러한 전체-어플리케이션 컨텐츠는 전체-어플리케이션 컨텐츠 상황정보 추출 모듈(702)로 전송되어 전체-어플리케이션 데이터로부터 주요한 키워드나 메타데이터를 추출하게 된다. 이러한 전체-어플리케이션 컨텐츠는 인터넷을 통한 스트리밍, 디바이스의 로컬 하드 드라이브(local hard drive), TV 신호, Blue-Ray 플레이어 등 여러 가지 다른 소스에서 재생 가능한 미디어 가 될 수 있다.

어플리케이션 상황정보 필터(704)는 현재 사용되는 어플리케이션에 기반하여 정확한 정보를 찾아내고 결과의 형식을 갖추는 역할을 도울 수 있다. 그 결과는 다듬어진 상황정보로서, 쿼리 발생 모듈(706)로 전송될 수 있다. 다른 구성요소로부터의 상황정보들도 이용가능하게 될 수 있다. 여기에는, 예를 들면 마이크로-어플리케이션들을 입력으로 받아서 선택사항에 기반하여 목록을 줄이는 마이크로-어플리케이션 설정 선택사항 모듈(708)이 포함될 수 있다. 예를 들면, 쇼핑 어플리케이션의 경우에서, 사용자가 이미 쿼리들을 실행되지 않게 선택했고, 그러한 정보를 마이크로-어플리케이션 선택사항에 저장했을 수 있다. 사용자의 프로필을 읽을 수 있는 사용자 선택사항 모듈(user preferences module, 710)에서 생성된 사용자의 정보는 쿼리 생성 모듈(706)로 전송될 수 있으며, 이와 같이 디바이스의 정보 역시 디바이스의 종류에 대해 알아낼 수 있는 디바이스 선택사항 모듈(device preferences module, 712)을 통해서 쿼리 생성 모듈(706)로 전송 될 수 있다. 환경에 관한 정보도 마찬가지로, 환경 선택사항 모듈(environmental preferences module, 714)을 통해서 쿼리 생성 모듈(706)로 전송될 수 있다. 소셜 네트워킹 데이터 정보도 마찬가지로 소셜 선택사항 모듈(social preferences module, 716)을 통해 쿼리 생성 모듈(706)로 전송이 가능하다.

검색 쿼리가 미디어 컨텐츠 상황정보에 기반하여(내재된 다른 상황정보에도 기반할 뿐만 아니라)작성 될 수 있다. 결과로 나온 검색 쿼리는 마이크로-어플리케이션, 사용자와 디바이스의 선택사항 및 다른 요소들에 따라 다듬어질 수 있고, 동적으로 할당된 어플리케이션 탭에 따라 마이크로-어플리케이션(718)으로 전송될 수 있다. 마이크로-어플리케이션의 임무는 검색 쿼리 파라미터(search query parameters)를 수신하고, 각 범주의 관련 정보를 검색하기 위해 상기 마이크로-어플리케이션 파트너의 검색 API에 따라 커스터마이즈(customize) 하는 것이다. 또한, 상기 결과의 형식을 공유 디바이스와 상호작용 디바이스의 사용에 맞추어 표준화 한다. 상술한 방식으로 생성된 검색 결과는 상황정보 필터 모듈로 다시 전송되어 또 다른 마이크로-어플리케이션에 대해 같은 과정을 반복한다.

쿼리를 수행하는 방식은 여러 가지 형태가 될 수 있는데, 대체로 마이크로-어플리케이션과 마이크로-어플리케이션 파트너의 종류에 의해 결정된다. 예를 들면, 마이크로-어플리케이션 파트너가 지도에 관련된 프로그램(tool) 이라면, 쿼리는 위치정보에 관한 형태가 될 수 있다. 마이크로-어플리케이션 파트너가 온라인 소매점(retailer)이라면, 쿼리는 제목, 배우, 작가 등의 형태가 될 수 있다. 마이크로-어플리케이션 파트너가 모든 종류의 입력을 수신하고, 쿼리에 비추어 어떤 컨텐츠를 제공하는 것이 최선인지를 현명하게 판단하는 실시 예들이 예견된다. 예를 들어, 마이크로-어플리케이션 파트너가 여러 가지 서비스(금융 관련 정보, 스포츠 정보, 지도, 온라인 쇼핑 등)를 제공하는 포탈이라면 마이크로-어플리케이션 파트너는 쿼리를 받아서 이들 중에서 어떠한 서비스에 쿼리할지를 결정하고 적절한 서비스에만 쿼리를 전송할 수 있다.

공유 디바이스와 상호작용 디바이스의 추천항목 표시 부분의 컨텐츠를 동기화 하기 위해, TV+ 모드의 구조는 TV에서 스마트 폰으로 데이터가 전송되게 하는 데이터 전송 스킴(data transfer scheme)을 이용할 수 있다. 추천항목을 제시할 때, 스마트 폰은 새로운 추천이 가능할 때마다 TV 로부터 업데이트를 요청하게 된다. 스마트 폰에서 어떠한 항목을 선택함에 있어서, TV는 어댑터(adapter)를 통해 마이크로-어플리케이션 파트너에 추천항목들을 얻기 위한 쿼리를 전송한다. 그 결과가 XML 과 같은 문자 데이터 형식으로 스마트 폰에 전송되고, 스마트 폰은 추천항목 표시 부분에 전송된 결과를 디스플레이 한다. 업데이트 된 보조 컨텐츠는 3가지의 다른 방식을 통해 상호작용 디바이스에 제공될 수 있다. (a) 상호작용 디바이스의 마이크로-어플리케이션이 마이크로-어플리케이션 파트너로부터 이용가능한 업데이트에 대한 알림을 받고, 상호작용 디바이스가 공유 디바이스에 새로운 업데이트가 가능함을 알리는 방법; (b) 상기 공유 디바이스가 먼저 새로운 업데이트가 가능함에 대한 알림을 받아서, 상호작용 디바이스에 상기 새 업데이트를 다운로드를 위해 알리는 방법; (c) 마이크로-어플리케이션 파트너가 공유 디바이스와 상호작용 디바이스 모두에 직접 업데이트가 가능함을 알리는 방법. 또한, 실제로 다운로드는 여러 가지의 방법으로 수행될 수 있다. 일 실시 예에 의하면, 상호작용 디바이스는 마이크로-어플리케이션 파트너로부터 모든 업데이트를 직접 받고, 공유 디바이스가 상호작용 디바이스로부터 새로운 업데이트를 받아오는 방식이 있고, 다른 실시 예에 따르면, 공유 디바이스가 마이크로-어플리케이션 파트너로부터 모든 업데이트를 받아서 상호작용 디바이스가 공유 디바이스로부터 새로운 업데이트를 제공받는 방식이 있으며, 또 다른 실시 예에 의하면, 공유 디바이스와 상호작용 디바이스 모두가 개별적으로 마이크로-어플리케이션 파트너로부터 업데이트를 받아오는 방식이 있다.

본 발명은 하드웨어나 소프트웨어 제조에 있어서 새로운 종류의 수입을 제공한다. 예를 들어, TV+ 모드의 구조를 가지는 공유 TV 세트의 제조사는 마이크로-어플리케이션을 통해 판매되는 각 항목들이나, 공유 TV 세트와 상호작용하는 항목들에 대해서 수수료를 받을 수도 있다. 또한, 각각의 마이크로-어플리케이션 개발자들은 하나의 마이크로-어플리케이션이 다른 마이크로-어플리케이션으로 구매나 거래를 유발하도록 개발하는 것처럼 다른 개발자들과 함께 수입을 나눌 수도 있다.

일 실시 예에 따르면, 상황인식 시스템(context-aware system)은 시청되는 컨텐츠에 관한 관련 정보를 제공함으로써, 마이크로-어플리케이션 파트너로 하여금 공유된 상황정보에 접속하여 주요 TV 컨텐츠를 균일하게(seamlessly) 개선시킬 수 있는 레포지토리(repository)를 제공한다. 상황인식 시스템은 미리 결정된 상황정보의 스킴을 통해 전혀 다른 어플리케이션들 간에 커뮤니케이션과 정보공유(context-sharing)를 가능하게 한다. 또한, 마이크로-어플리케이션 개발자에게 API의 표준과 인터페이스를 제공함으로써 반복되는 마이크로-어플리케이션들의 배치를 빠르게 할수 있도록 한다.

어플리케이션 간의(inter-application) 컨텐츠 발행/구독 스킴을 이용하여, 현재의 마이크로-어플리케이션의 컨텐츠와 관련된 항목을 검색하기 위해 각각의 마이크로-어플리케이션이 선택될 수 있다. 스킴에 따른 공유 키워드 셋은 적절한 정보를 얻기 위해서, 각각의 마이크로-어플리케이션으로 하여금 특정한 컨텐츠를 다른 마이크로-어플리케이션에서 소비되도록 허용한다. API 셋은, 각 마이크로-어플리케이션 지식 베이스를 쿼리하여 무관한 정보를 걸러내고 현재의 정보와 관련된 것만을 표시하기 위하여 이용될 수 있다.

공유 디바이스와 상호작용 디바이스 사이에서, 및 마이크로-어플리케이션들과 공유 디바이스 사이에서 데이터 전송을 가능하게 하기 위해 XML이 사용될 수 있다. 상호작용 디바이스들은, 상호작용 디바이스에서의 특정한 액션과 각각 관련되는 공유 디바이스로부터 수신된 특정한 이벤트들과 커맨드들에 동의할 수 있다. 일 실시 예에 따르면, 유선이나 무선 네트워크 연결인 통신 연결이 상호작용 디바이스와 공유 디바이스를 연결 할 수 있다. 이 구조는, 마이크로-어플리케이션 파트너들로 하여금 다른 마이크로-어플리케이션 으로부터/에 대해 현재의 정보를 얻거나 설정하게 하기 위해 API 셋을 통해 기본적인 기능을 드러낸다.

본 발명의 일 실시 예에 따르면, 마이크로-어플리케이션 파트너는 미리 결정된 사용자 인터페이스 견본 중에서 선택함으로써, 다른 제공자들과 빠르고 일관된 통합을 수행할 수 있다.

도 8은 여기에서 개시된 방법과 시스템의 실시 예들을 실시하기 위한 공유 디바이스와 하나 이상의 상호작용 디바이스의 하드웨어 부품을 도시한다. 일 실시 예에 따르면, 공유 디바이스(800)는 TV로서, 프로세서(802), 메모리(804), 펌웨어(806), 집적회로(808), 프로그램 로직(810), 저장 소자(812), 공동 디스플레이 부(914), 사용자 인터페이스 모듈(816), 통신 모듈(818)을 포함한다. 통신 모듈(818)은 네트워크 인터페이스 소자나 무선 라디오 송/수신기가 될 수 있다. 일 실시 예에 따르면, 각각의 상호작용 디바이스(820)은 프로세서(822), 메모리(824), 펌웨어(826), 집적회로 (828), 프로그램 로직(830), 저장 소자(832), 개인 디스플레이 부(834), 사용자 인터페이스(836), 통신 모듈(838)을 포함한다. 마찬가지로, 상기 통신모듈(838)은 네트워크 인터페이스 소자나 무선 라디오 송수신기가 될 수 있다. 공유 디바이스는 유선 및/또는 무선 통신 연결을 통해 각각의 상호작용 디바이스와 통신할 수 있다. 일 실시 예에 의하면, 공유 디바이스 및/또는 상호작용 디바이스는 웹 서버, 데이터베이스, 네트워크, 스트리밍 소스(streaming source), 검색 엔진 등과 같은 외부 마이크로-어플리케이션 파트너와 인터넷을 통하여 통신할 수 있다.

기재된 바와 같이 이 시스템은 사용자들로 하여금 복수 개의 서비스와 어플리케이션으로부터 관련된 컨텐츠를 찾아내게 함으로써 사용자들 간의 관계를 증대시키는 반면, 반복되는 상황인식 마이크로-어플리케이션을 개발하는데 걸리는 시간은 줄어들게 한다. 또한, 다수의 사용자들이 공유 디바이스와 동시에 상호작용하게 하여, 모든 사용자들과 관련된 공유 데이터가 공유 디바이스에 디스플레이 되는 동안 각 사용자들에게 개인화면이 제공된다. 더욱이, 이 시스템은 각각의 서비스에 대해 검색식을 입력하는 불편함을 제거해 주어 몇몇의 마이크로-어플리케이션들 사이에 매끄럽고 자동적인 이동이 가능하게 할 뿐만 아니라, 사용자들이 더욱 직관적인 검색이 가능하게 한다.

본 발명의 다른 실시 예에 따르면, “미들웨어(middleware)" 구조는 마이크로-어플리케이션으로부터 마이크로-어플리케이션 파트너를 분리하는 것을 제공한다(다른 실시 예에 의하면 마이크로-어플리케이션 회사들로부터도 분리한다). 이러한 구조는 마이크로-어플리케이션 파트너 로 하여금 마이크로-어플리케이션 회사들에 대해서 인지하고 있을 필요가 없게 하며, 반대로도 마찬가지이다. 이러한 방식을 통해, 모든 응용 프로그램이나 소스(Blue-Ray, Netflix, DLNA 미디어, WiseLink, 미디어가 아닌 위젯)들은 서비스 전환이나 매쉬업(mash-up)된 결과에 대한 지식이 없이도 다른 서비스들과 공동작업이 가능하다. 더욱이, 이 구조는 자동적으로 다른 상황정보와 통합된 사용자 인터페이스를 다수의 상호작용 디바이스에 제공하게 되는데, 다양한 인공지능 엔진을 사용하여 이 구조는 자동적으로 마이크로 서비스의 검색 결과를 개선할 수 있다. 알고리즘은 다중 상황정보에 기반한 동적 색인 테이블(dynamic lookup tables)을 포함할 수 있다.

또 다른 실시 예에 의하면, 사용자들이 다양한 마이크로-어플리케이션들을 다운로드 받을 수 있는 마이크로-어플리케이션 “판매점(store)” 이 제공될 수 있다. 이러한 마이크로-어플리케이션들은 하나의 전체 어플리케이션이나 서비스 범위 내에서, 여러 개의 증대되거나 관련된(augmented/orthogonal) 마이크로 서비스들을 중심으로 제작될 수 있다. 예를 들면 영화 스트리밍 어플리케이션(Netflix와 같은)이 그 서비스에 관련되어 다운로드 가능한 다수의 마이크로-어플리케이션들(micro-Amazon, micro-Wikipedia, micro-Flickr, micro-Facebook 어플리케이션 등)에 연결 될 수 있다.

마이크로-어플리케이션 대시보드와 마이크로-어플리케이션 판매점 사이의 차이점을 유의해야 한다. 마이크로-어플리케이션 대시보드는 사용자가 다운로드 된 어플리케이션들을 보고 실행하는 부분인데, 일반적으로 마이크로-어플리케이션 대시보드는 다운로드 되고 사용자(혹은 승인을 받은 다른 사용자)가 “소지한” 어플리케이션만을 디스플레이 한다. 마이크로-어플리케이션 대시보드에서는 보통 마이크로-어플리케이션을 선택하여 그 마이크로-어플리케이션을 실행하고, 그 결과를 잠재적으로 대시보드에 디스플레이 한다. 반면에 마이크로-어플리케이션 판매점은 사용자가 구매하고 다운로드 할 수 있는 마이크로-어플리케이션들을 볼 수 있는 다른 화면이다. 이 화면에서는 표시된 마이크로-어플리케이션들이 사용자가 아직 구매하거나 다운로드 받지 않았을 수도 있다(다른 실시 예 들에 의하면, 과거 구매하거나 다운로드한 항목들이 디스플레이 될 수는 있다). 마이크로-어플리케이션 판매점의 목적은 사용자가 추가적인 마이크로-어플리케이션들을 다운로드 하거나 구매 할 수 있는 장소를 제공하는 것이다. 이렇게 마이크로-어플리케이션 판매점에서 마이크로-어플리케이션을 선택하여 다운로드 받을 수 있다(물론, 적절한 인증 절차와 구매 승인 후에).

다른 실시 예에 의하면, 각각의 마이크로-어플리케이션들은 각자에 대응하는 마이크로 기능들을 공개적으로나(tweet 기능을 모든 마이크로-어플리케이션에 공개하는 등) 비공개적으로 제작할 수 있다. 이러한 공개와 비공개에 대한 결정은 사용자에 의해 자동적으로 혹은 수동적으로 설정 될 수 있으며, 이 설정은 모든 시스템의 다양한 파일들에 저장될 수 있다.

다른 실시 예에 의하면, 나머지 상황정보들에 비추어 서로 다른 상황정보에 각자 다른 비중이 할당 될 수 있다. 예를 들어, 한 사용자의 디바이스가 다른 사용자에 의해 동작될 때에 비해서 다른 비중이 할당될 수 있다.

상술한 프로세스와 시스템을 통해 수입을 창출하는 다양한 메커니즘을 기대할 수 있다. 일 실시 예에 의하면, 마이크로-어플리케이션 파트너 들은 시스템 운영자나 제작자(마이크로-어플리케이션 판매점의 운영자와 같은) 와 그들의 미디어 데이터를 적절한 메타데이터와 함께(적절한 형식으로) 인코딩하는 미디어 회사 모두를 보상할 수 있다. 이러한 보상은, 예를 들어 마이크로-어플리케이션들을 통해 마이크로-어플리케이션 파트너에서 행해진 구매에 기반하여(Amazon 으로부터 관련된 장난감을 구입하는 등), 마이크로-어플리케이션 판매점과 미디어 회사가 절차를 통해 보상받는 식이 될 수 있다. 다른 실시 예에 의하면, 마이크로-어플리케이션 판매점의 마이크로-어플리케이션에서, 보여진 페이지 수(혹은 클릭 수)를 마이크로-어플리케이션 파트너로부터 제공받아 보상이 이루어지거나 미디어 회사에 의해 생산된 미디어에 기반하여 이루어 질 수 있다. 이러한 클릭 수에 따른 보상은, 지도와 관련된 마이크로-어플리케이션 파트너처럼 제품을 팔지 않고 광고를 통해 수익을 창출하는 마이크로-어플리케이션 파트너에게는 더욱 이익이 될 수 있다. 다른 실시 예에 의하면, 일괄지불하는 방식(lump sum payments)은 마이크로-어플리케이션 파트너와 마이크로-어플리케이션 판매점과 미디어 회사의 운영자들 사이에서 체결되는 조합 계약(partnership agreement)의 일부분으로서 주기적으로 제작된다.

본 발명의 또 다른 실시 예에 따르면 미디어 회사들에 지불되는 사용료로 인한 수입은(Netflix 구독료와 같은) 마이크로-어플리케이션 판매점이 미디어 회사들을 위한 새로운 수입의 기회를 창출하는 정도까지 마이크로-어플리케이션 판매점의 운영자와 공유될 수 있다.

본 발명의 또 다른 실시 예에 따르면 미디어 회사들, 마이크로-어플리케이션 판매점 운영자, 마이크로-어플리케이션 파트너 들 외의 다른 단체(other entities)들을 포함하도록 제휴 및 위탁하는 시스템이 제작된다. 이러한 시스템은 마이크로-어플리케이션 판매점으로 접속하도록 하는 추가적인 웹사이트(관련되는 웹사이트)들이나, 미디어 회사들이나 마이크로-어플리케이션 파트너들에게 수입을 제공하는 웹사이트들의 소유자에게 보상하는 방식을 포함한다. 이 시스템은 알맞은 신뢰도가 얻어진 것을 확실히 하기 위해 제휴 ID(affiliate ID)를 추적하는 과정을 상기 프로세스의 일부분으로 하도록 제작될 수 있다. 이러한 제휴 ID 는 네트워크 세션 동안에 저장된 쿠키의 일부분을 통해 추적될 수 있다.

본 발명의 다른 실시 예에 따르면 특정한 마이크로-어플리케이션들은 ‘프리미엄’ 마이크로-어플리케이션으로 분류되어, 사용자로 하여금 마이크로-어플리케이션을 그 판매점의 운영자로부터 신청하거나 구매하도록 요구한다. 이를 통한 수입의 일부는 미디어 회사들 및/또는 마이크로-어플리케이션 파트너들과 공유된다.

본 발명의 또 다른 실시 예에 의하면, 미디어 회사들 또는 마이크로-어플리케이션 파트너들로부터의 디지털 정보(미디어와 같은)를 구매하거나 대여하는 것으로 인한 수입은 미디어 회사들, 마이크로-어플리케이션 판매점 운영자, 및/또는 마이크로-어플리케이션 파트너들 사이에서 공유될 수 있다.

본 발명의 일 실시 예에 의하면 이 시스템은 클라우드(a cloud)로 확장될 수 있다. 예를 들면, 이 방식에서는 가공되지 않은 정보가 많은 서로 다른 위치의 서로 다른 디바이스들로부터 검색될 수 있다. 소비자들은 디지털 자산의 부피를 점점 축적하고 있고, 점점 더 많은 인터넷 서비스를 이용하고 있다. 소비자들은 일반적으로 하나 이상의 디바이스를 통해서 이러한 자산들과 서비스들에 접속한다. 일반적인 소비자는 데스크탑 컴퓨터, 노트북, 휴대폰을 소지하고(아마도 다른 디바이스들 또한), 이것들 모두는 정보와 미디어를 수집하기 위해 접속하는 데에 이용될 수 있다. 이러한 추세는 웹상에서 매일 막대한 양의 서비스와 컨텐츠가 사용가능하도록 제작되는 동안은 지속될 것이다. 이러한 자산과 서비스는 일반적으로 개인 디바이스들뿐만 아니라 클라우드(clouds)라 알려진 다양한 비공식적인 정보 그룹들의 형태로 흩어져 있다. 이러한 클라우드는 제어에 기반한 공식적이거나 비공식적인 정보 그룹이다. 본 발명은 증대된 상황정보 시스템들이 비슷한 방식을 통해 확장 되기를 기대한다.

도 9는 본 발명의 일 실시 예에 따라 제 1 디바이스에서 재생되는 전체-어플리케이션 컨텐츠를 향상시키는 방법이 도시되어 있다. 900 에서, 하나 이상의 마이크로-어플리케이션들이 제 1 디바이스에서 재생되는 전체-어플리케이션 컨텐츠와 동시에 실행된다. 이러한 마이크로-어플리케이션들은 그 실행에 기반하여 제 1 디바이스 또는 다른 디바이스들에서 실행될 수 있다는 점에 유의해야한다. 예를 들어 제 1 디바이스가 공유 디바이스 일 때, 마이크로-어플리케이션들은 공유 디바이스나 상호작용 디바이스, 또는 그것들의 모든 조합들에서 실행 될 수 있다. 각각의 마이크로-어플리케이션들에 대해서 몇 가지 단계가 실행될 수 있다. 첫째로, 902 에서는 전체-어플리케이션 컨텐츠와 관련된 전체-어플리케이션 컨텐츠 상황정보가 검색된다. 이 상황정보는 여러 가지의 서로 다른 방법으로 검색될 수 있다. 일 실시 예로는, 전체-어플리케이션 컨텐츠 상황정보가 메타데이터의 형태로 미디어 파일이나 미디어 스트림에 내장될 수 있고, 마이크로-어플리케이션이 이러한 내장된 상황정보를 중간에 가로채서 판독할 수 있을 것이다. 다른 실시 예에 의하면, 전체-어플리케이션 컨텐츠 상황정보는 마이크로-어플리케이션 단독으로 혹은 다른 어플리케이션들과의 결합에 의해서 추정될 수 있으며, 이러한 어플리케이션들은 서로 분리된 디바이스들에서 실행되는 것 일 수 있다(인터넷을 통해 마이크로-어플리케이션이 쿼리하는 서버처럼). 이 단계가 각각의 마이크로-어플리케이션들에 의해 수행되는 것처럼 표현되더라도 실제로 각각의 마이크로-어플리케이션들에서 분리되어 수행되는 것을 의미하지 않을 수도 있다는 점에 유의해야 한다. 구체적으로, 전체-어플리케이션 컨텐츠 상황정보가 추출된 후 다수의 마이크로-어플리케이션에 쿼리 생성을 위해 전송되거나, 중앙제어 어댑터가 다수의 마이크로-어플리케이션 파트너들을 쿼리하여 다수의 마이크로-어플리케이션에 전송하는 방식의 실시 예 들을 예측해볼 수 있다.

904 에서 마이크로-어플리케이션 파트너는 전체-어플리케이션 컨텐츠 상황정보를 이용하여 쿼리된다. 상기 마이크로-어플리케이션 파트너는 제 1 디바이스 혹은 다른 디바이스에 위치할 수 있다. 가장 일반적으로 마이크로-어플리케이션 파트너는 원격 디바이스에 위치하며, 인터넷 서버와 같은 경우처럼, 마이크로-어플리케이션 파트너 는 제3 제공자들이 되는 것이 일반적이다. 그러나, 이 명세서에 있는 어떤 것도 마이크로-어플리케이션 파트너를 이러한 실시로만 한정하는 것은 아니다.

또한, 도 9에는 도시되어 있지 않으나 마이크로-어플리케이션 파트너는 전체-어플리케이션 컨텐츠 상황정보 만에 의하지 않고, 다른 상황정보에 의해서도 쿼리 될 수 있다. 이러한 다른 상황정보는 전체-어플리케이션 컨텐츠 상황정보만이 사용될 때에 비해서 마이크로-어플리케이션 파트너가 더욱 관련 있는 결과를 도출하는 데에 있어서 도움을 줄 수 있다. 그러한 다른 정보들은, 예를 들어 사용자 상황정보, 디바이스 상황정보, 및/또는 환경 상황정보들이 될 수 있다.

906 에서 결과들이 마이크로-어플리케이션 파트너로부터 수신된다. 이러한 결과들은 여러 가지 형태가 될 수 있으며 마이크로-어플리케이션과 마이크로-어플리케이션 파트너의 종류에 크게 영향을 받는다. 지도와 관련된 프로그램이라면, 그래픽으로 된 상호작용하는 지도를 디스플레이 할 것이고 온라인 소매상 이라면 훑어볼 만한 상품들의 목록을 결과로 낼 것이다.

908 에서, 상기 결과들은 걸러지게 된다. 이러한 필터링은 여러 가지 형태가 될 수 있다. 일 실시 예에 의하면, 상기 필터링은 두 개 이상의 마이크로-어플리케이션들을 위하여 마이크로-어플리케이션 파트너로부터 얻어진 결과들의 순위를 정하여 그 결과 중에서 가장 높은 순위로 정해진 결과만을 유지하는 방식이 될 수 있다. 이러한 방법을 통해서, 각 쿼리 결과의 세트마다 “최고의 마이크로-어플리케이션(best micro-app wins)” 이 결과로 얻어질 수 있다. 다른 실시 예에 따르면, 필터링은 단지 전체 쿼리 결과를 처리할 수 있는 수준으로 줄이는 단계가 될 수도 있다.

910에서, 상기 결과들의 적어도 일부가 디스플레이 되거나 재생된다. 이것은 전체-어플리케이션 컨텐츠가 아직 재생되는 동안에 수행될 수 있으며 사용자에게 “개선된” 미디어를 경험하게 한다.

도 9에서, 전체-어플리케이션 컨텐츠 상황정보를 사용하여 사용자에게 향상된 전체-어플리케이션 컨텐츠를 보여줄 수 있는 결과를 얻기 위하여 마이크로-어플리케이션 파트너에 쿼리하는 실시 예가 도시되어 있다. 도 10은 또 다른 실시 예를 도시하는데, 상호작용 디바이스들이 서로 다른 향상된 전체-어플리케이션 컨텐츠를 보여주기 위해 활용된다. 상술한 바와 같이, 이 두 가지 실시 예가 결합된 또 다른 실시 예가 예측 될 수 있다.

도 10은 본 발명의 실시 예에 따라 공유 디바이스와 복수 개의 상호작용 디바이스를 가지는 시스템에서 상호작용 디바이스를 작동하는 방법을 도시한 흐름도(flow diagram)이다. 이 방법은 시스템 내의 여러 가지 상호작용 디바이스에서 실행 될 수 있으나, 필수적인 사항은 아니다. 이 실시 예 들은 상기 상호작용 디바이스들 중의 하나에서 상기 방법이 수행 될 때에만 가능하다. 1000 에서, 공유 디바이스에서 전체-어플리케이션 컨텐츠가 재생되거나 보이는 동안 마이크로-어플리케이션이 실행된다. 1002 에서는, 재생되는 미디어를 위한 보조 컨텐츠를 얻기 위해 하나 이상의 마이크로-어플리케이션 파트너가 쿼리된다. 1004 에서, 상기 보조 컨텐츠가 상호작용 디바이스에서 재생되거나 디스플레이 된다. 이것은 상호작용 디바이스의 사용자 인터페이스와 디스플레이 부를 통해서 수행될 수 있다. 1006 에서는 상호작용 디바이스의 사용자로부터 추가적인 입력이 얻어지며, 이 과정은 상호작용 디바이스의 사용자 인터페이스를 통해 이루어진다. 1008 에서는, 하나 이상의 마이크로-어플리케이션 파트너 가 추가적인 입력에 기반하여 재쿼리 되는 과정이다. 1010 에서는, 재쿼리된 결과가 디스플레이 부를 통해 다시 재생되거나 디스플레이 된다.

도 10에 도시된 실시 예는 상호작용 디바이스가 마이크로-어플리케이션 파트너를 쿼리하는 과정을 수행하는 것임을 유의해야 한다. 대안이 되는 실시 예에 의하면, 공유 디바이스가 마이크로-어플리케이션 파트너를 쿼리하는 과정을 수행하고, 그 결과를 상호작용 디바이스에 전송한다. 이 과정은 도 11에 도시되어 있다. 도 11은 본 발명의 실시 예에 의하여 공유 디바이스와 복수 개의 상호작용 디바이스를 포함하는 시스템 내에서 공유 디바이스를 작동시키는 방법을 도시한 흐름도(flow diagram)이다. 1100에서, 전체-어플리케이션 컨텐츠가 재생되거나 공유 디바이스에서 보여지는 동안 마이크로-어플리케이션이 실행되고 있다. 1102 에서는, 재생 중인 전체-어플리케이션 컨텐츠에 대한 보조 컨텐츠를 위하여 하나 이상의 마이크로-어플리케이션 파트너들을 쿼리한다. 1104 에서는 복수 개의 상호작용 디바이스들의 사용자 인터페이스와 디스플레이 부가, 보조 컨텐츠를 상호작용 디바이스에 디스플레이 하고, 사용자들로부터 추가적인 입력을 받아서 보조 컨텐츠에 제공하고, 하나 이상의 마이크로-어플리케이션 파트너 들을 그 추가적인 입력에 기반하여 재쿼리(re-query) 하며, 재쿼리한 결과를 디스플레이 부에 디스플레이 하기 위하여 서로 상호작용한다. 하나 이상의 상호작용 디바이스와 상호작용하는 과정이 도시된 이 단계에 있어서, 같은 보조 컨텐츠가 복수 개의 상호작용 디바이스 각각에 보내지거나 디스플레이 될 필요가 없다는 점에 유의할 필요가 있다. 상호작용 디바이스에 어떠한 보조 컨텐츠가 디스플레이 될 것인가와 관련하여 다양한 요소들이 영향을 미칠 수 있다. 예를 들어, 성인의 상호작용 디바이스는 어린이의 그것과는 다른 컨텐츠를 재생할 수 있을 것이다.

이 기술 분야에서 통상의 지식을 가지는 자가 인식 할 수 있는 것 처럼, 앞서 언급한 시스템 구성(architecture)의 예시는 다음과 같은 다양한 방법으로 시행될 수 있는데, 프로세서에 의한 실행을 위한 프로그램 지시사항, 소프트웨어 모듈, 마이크로 코드, 컴퓨터 판독 가능 매체에서의 컴퓨터 프로그램 상품, 논리 회로, 주문형 집적회로(ASIC - application specific integrated circuit), 펌웨어, 가전제품 디바이스 등이 그 방법이 될 수 있으며, 시스템 구성의 예시는 무선 디바이스, 무선 송/수신기, 및 무선 네트워크의 다른 부분을 활용 할 수 있다. 더욱이, 멀티미디어 컨텐츠를 다수의 전광판에 디스플레이 하는 개시된 방법과 시스템의 실시 예는, 전체적으로 하드웨어로 실시되거나, 전체적으로 소프트웨어로 실시되거나, 또는 소프트웨어와 하드웨어 구성을 모두 포함하는 실시의 형태가 될 수 있다.

'컴퓨터 판독 가능 매체' 라는 용어는 주 메모리, 보조 메모리, 제거가능 저장소자, 하드 디스크, 플래쉬 메모리, 디스크 드라이브 메모리, CD-ROM, 및 존재하는 메모리의 다른 형태들과 같은 매체를 언급하기 위해 일반적으로 사용된다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 포함하는 저장 디바이스를 설명하기 위해 사용될 수 있는 프로그램 저장 디바이스들은, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 프로그램 저장 디바이스들과 컴퓨터 판독 가능 매체들은 일반적으로 주 메모리, 보조 메모리, 제거가능 저장디스크, 하드디스크 드라이브, 및 다른 실재하는 저장 디바이스들이나 소자들과 같은 미디어를 언급하기 위하여 일반적으로 사용되는 용어이다.

앞서 설명된 본 발명의 다양한 태양, 특징, 실시 예, 실시 형태들은 그 자체로 혹은 다양한 조합들로 이용될 수 있을 것이다. 본 발명의 많은 특징과 장점들이 기재된 바로부터 분명하며, 이에 따라 본 발명의 그러한 모든 특징과 장점들을 커버하는 것이 첨부된 특허청구범위에 의도된다. 더욱이, 많은 수정과 변화가 당업자에 의해 손쉽게 이루어질 것인 바, 본 발명은 앞서 설명되고 도시된 정확한 구성과 작동만으로 한정되지는 않는다. 이러한 이유로, 모든 적절한 수정과 등가물들은 본 발명의 범위 내에 포함 될 수 있다.

Claims

제 1 디바이스에서 재생되는 전체-어플리케이션(full-app) 컨텐츠를 개선하는 방법에 있어서,
상기 제 1 디바이스에서 재생되는 상기 전체-어플리케이션 컨텐츠와 동시에 하나 이상의 마이크로-어플리케이션들을(micro-apps) 실행하는 단계를 포함하고;
상기 각각의 마이크로-어플리케이션에 대해서는,
상기 전체-어플리케이션에 관한 전체-어플리케이션 컨텐츠 상황정보를 검색하는(retrieving) 단계;
상기 전체-어플리케이션 컨텐츠 상황정보를 이용하여 마이크로-어플리케이션 파트너(micro-app partner)를 쿼리하는 단계;
상기 마이크로-어플리케이션 파트너로부터 결과를 수신하는 단계; 및
상기 수신된 결과의 적어도 일 부분을 디스플레이 하거나 재생하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
사용자 상황정보를 검색하는 단계를 더 포함하고;
상기 쿼리하는 단계는 상기 전체-어플리케이션 컨텐츠 상황정보와 상기 사용자 상황정보를 모두 이용하여 상기 마이크로-어플리케이션 파트너를 쿼리하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
디바이스 상황정보를 검색하는 단계를 더 포함하고;
상기 쿼리하는 단계는 상기 전체-어플리케이션 컨텐츠 상황정보와 상기 디바이스 상황정보를 모두 이용하여 상기 마이크로-어플리케이션 파트너를 쿼리하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
환경(environmental) 상황정보를 검색하는 단계를 더 포함하고;
상기 쿼리하는 단계는 상기 전체-어플리케이션 컨텐츠 상황정보와 상기 환경 상황정보를 모두 이용하여 상기 마이크로-어플리케이션 파트너를 쿼리하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 검색하는 단계는 상기 전체-어플리케이션 컨텐츠의 메타데이터(metadata)를 검사하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 검색하는 단계는 상기 전체-어플리케이션 컨텐츠에 대응되는 상기 전체-어플리케이션 컨텐츠 상황정보를 위해 외부 데이터베이스를 쿼리하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 재생되는 전체-어플리케이션 컨텐츠와 동시에 실행되는 마이크로-어플리케이션들이 적어도 2개 있을 때,
적어도 2개의 마이크로-어플리케이션들 각각에 대해서 상기 마이크로-어플리케이션 파트너로부터 수신된 결과들의 순위를 결정하는 단계; 및
가장 높게 평가된 결과들을 가지는 상기 마이크로-어플리케이션 만의 결과들을 재생하거나 디스플레이 하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 마이크로-어플리케이션들 각각은, 전체-어플리케이션 컨텐츠 상황정보가 마이크로-어플리케이션들 사이에서 공유되도록 허용하는 공통의 스킴(a common scheme)을 포함하는 것을 특징으로 하는 방법.
시스템에 있어서,
전체-어플리케이션 컨텐츠를 재생하기 위한 공유 디바이스;
상기 공유 디바이스와 통신하는 복수 개의 상호작용 디바이스들; 및
하나 이상의 마이크로-어플리케이션들을 포함하고,
각각의 상호작용 디바이스는,
사용자 입력을 수신하기 위해 설계된 사용자 인터페이스(a user interface); 및
디스플레이 부(a display)를 포함하며,
상기 마이크로-어플리케이션들은 상기 공유 디바이스 혹은 상기 복수 개의 상호작용 디바이스들 각각에 위치하고, 상기 마이크로-어플리케이션들은,
상기 재생되는 전체-어플리케이션 컨텐츠에 대한 보조 컨텐츠를 위해 하나 이상의 마이크로-어플리케이션 파트너들을 쿼리하고;
상기 상호작용 디바이스들에 상기 보조 컨텐츠를 디스플레이 하고, 상기 보조 컨텐츠와 관련된 사용자들로부터 추가적인 입력을 수신하고, 상기 추가적인 입력을 기초로 하여 상기 하나 이상의 마이크로-어플리케이션 파트너들에 대해 재쿼리(re-query)하고, 상기 재쿼리 한 결과들을 상기 디스플레이 부에 디스플레이 하기 위해서, 상기 복수 개의 상호작용 디바이스들 각각의 상기 사용자 인터페이스 및 디스플레이 부와 상호작용하도록 설계된 것을 특징으로 하는 시스템.
제 9항에 있어서,
상기 마이크로-어플리케이션들 각각은 상기 미디어에 관한 전체-어플리케이션 컨텐츠 상황정보를 검색하도록 더 설계 되고, 보조 컨텐츠를 위해 상기 하나 이상의 마이크로-어플리케이션 파트너들을 쿼리하는 과정은 상기 검색된 전체-어플리케이션 컨텐츠 상황정보에 적어도 부분적으로는 근거하는 것을 특징으로 하는 시스템.
제 10항에 있어서,
상기 복수 개의 상호작용 디바이스들 각각은 사용자의 프로필을 저장하는 메모리를 포함하고, 상기 마이크로-어플리케이션들 각각은 대응되는 메모리로부터 상기 사용자 프로필을 검색하도록 더 설계되며, 보조 컨텐츠를 위해 상기 하나 이상의 마이크로-어플리케이션 파트너들을 쿼리하는 과정은 상기 검색된 사용자 프로필에 적어도 부분적으로는 근거하는 것을 특징으로 하는 시스템.
제 10항에 있어서,
상기 복수 개의 상호작용 디바이스들 각각은 디바이스의 프로필을 저장하는 메모리를 포함하고, 상기 마이크로-어플리케이션들 각각은 대응되는 메모리로부터 상기 디바이스 프로필을 검색하도록 설계되며, 보조 컨텐츠를 위해 상기 하나 이상의 마이크로-어플리케이션 파트너들을 쿼리하는 과정은 상기 검색된 디바이스 프로필에 적어도 부분적으로는 근거하는 것을 특징으로 하는 시스템.
제 10항에 있어서,
상기 복수 개의 상호작용 디바이스들 각각은 주위환경 센서(environmental sensor)를 포함하며, 상기 마이크로-어플리케이션들 각각은 환경 상황정보를 위해 대응되는 환경 센서를 쿼리하도록 더 설계되고, 보조 컨텐츠를 위해 상기 하나 이상의 마이크로-어플리케이션 파트너들을 쿼리하는 과정은 상기 검색된 환경 상황정보에 적어도 부분적으로는 근거하는 것을 특징으로 하는 시스템.
제 9항에 있어서,
상기 공유 디바이스는 TV 인 것을 특징으로 하는 시스템.
제 9항에 있어서,
적어도 하나의 상기 상호작용 디바이스는 태블릿 컴퓨터(tablet computer) 인 것을 특징으로 하는 시스템.
제 9항에 있어서,
적어도 하나의 상기 상호작용 디바이스는 스마트 폰인 것을 특징으로 하는 시스템.
하나의 공유 디바이스와 복수 개의 상호작용 디바이스들을 가지는 시스템의 제 1상호작용 디바이스를 작동하는 방법에 있어서,
전체-어플리케이션 컨텐츠가 상기 공유 디바이스에서 재생되는 동안 마이크로-어플리케이션을 실행하는 단계;
상기 전체-어플리케이션 컨텐츠에 대한 전체-어플리케이션 컨텐츠 상황정보를 검색하는 단계;
상기 마이크로-어플리케이션을 이용하여, 마이크로-어플리케이션 파트너를 상기 전체-어플리케이션 컨텐츠 상황정보를 이용하여 쿼리하는 단계;
상기 마이크로-어플리케이션 파트너로부터 결과들을 수신하는 단계; 및
상기 전체-어플리케이션 컨텐츠가 상기 공유 디바이스에서 재생되는 동안, 상기 마이크로-어플리케이션 파트너로부터의 상기 결과들을 상기 제 1 상호작용 디바이스의 디스플레이 부에 디스플레이 하는 단계를 포함하는 것을 특징으로 하는 방법.
제 17항에 있어서,
상기 결과들은 상기 공유 디바이스에서 재생되는 상기 전체-어플리케이션 컨텐츠와 관련된 구매 가능 상품을 포함하는 것을 특징으로 하는 방법.
제 17항에 있어서,
상기 결과들은 상기 공유 디바이스에서 재생되는 상기 전체-어플리케이션 컨텐츠와 관련된 위치를 묘사하는 지도를 포함하는 것을 특징으로 하는 방법.
공유 디바이스에 있어서,
전체-어플리케이션 컨텐츠를 재생하는 수단;
상기 재생되는 전체-어플리케이션 컨텐츠와 동시에 하나 이상의 마이크로-어플리케이션을 실행하는 수단;
상기 미디어에 대한 전체-어플리케이션 컨텐츠 상황정보를 검색하는 수단;
상기 전체-어플리케이션 컨텐츠 상황정보를 이용하여 마이크로-어플리케이션 파트너를 쿼리하는 수단;
상기 마이크로-어플리케이션 파트너로부터 결과들을 수신하는 수단; 및
상기 전체-어플리케이션 컨텐츠가 상기 공유 디바이스에서 재생되는 동안 하나 이상의 상호작용 디바이스들의 디스플레이 부를 위해 상기 하나 이상의 상호작용하는 디바이스들로 상기 수신된 결과들을 전송하는 수단을 포함하는 것을 특징으로 하는 공유 디바이스.
제 20항에 있어서,
상기 수신된 결과들에 대해 필터링(filtering)을 수행하는 수단을 더 포함하는 것을 특징으로 하는 공유 디바이스.
제 20항에 있어서,
상기 수신된 결과들을 탭 별로 미리 결정된 분류 기준(predefined classification criteria)에 따라 동적으로(dynamically) 분류하는 수단을 더 포함하는 것을 특징으로 하는 공유 디바이스.
제 20항에 있어서,
상기 공유 디바이스는 TV 인 것을 특징으로 하는 공유 디바이스.