KR20200104894A

KR20200104894A - 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템 및 방법

Info

Publication number: KR20200104894A
Application number: KR1020207021849A
Authority: KR
Inventors: 애덤 베이츠; 제시 에프. 패터슨; 마크 케이. 베르너; 에릭 도르시; 조나단 에이. 로간; 데이비드 더블유. 챔버린; 폴 스티븐스; 허버트 에이. 워터맨
Original assignee: 로비 가이드스, 인크.
Priority date: 2017-12-28
Filing date: 2018-06-29
Publication date: 2020-09-04
Also published as: US20230005263A1; EP3732584A1; KR20220121911A; US11443511B2; US20210166031A1; JP2022161914A; US20200125847A1; US10943121B2; CA3087022A1; JP2021509206A; AR113723A1; US20190205645A1; CN111712808A; WO2019133051A1; KR102507664B1; US10360454B1; JP7114714B2

Abstract

이벤트의 참가자에 관련된 참조를 검출하기 위해 사용자의 증강 현실 디바이스의 시야 내의 객체가 식별되고 프로세싱되는, 증강 현실 환경에서 보충 콘텐츠를 제시하기 위한 시스템 및 방법이 제공된다. 참가자에 관한 사용자로부터의 메시지를 식별하기 위해 사용자 프로파일 또는 사용자 소셜 네트워크가 서치된다. 메시지가 증강 현실 시야에서 객체와 결합될 수 있다.

Description

증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템 및 방법

사용자는 사용자의 시야에 특징 또는 정보를 추가함으로써 사용자의 환경의 향상된 또는 수정된 버전을 제공하기 위해 증강 현실 디바이스를 사용할 수 있다. 기존의 증강 현실 애플리케이션은, 예를 들어, 사용자의 환경을 오버레이하는 게임, 또는 시야 내의 객체에 대한 정보를 획득할 수 있는 정보 서비스를 포함한다. 그러한 정보가 사용자와 관련성 있는 것으로 맞춤화될 수 있다면 도움이 될 것이다.

그에 따라, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템 및 방법이 설명된다. 증강 현실은 현실 세계의 뷰 위에 오버레이되는 향상된 정보를 포함할 수 있는 수정된 버전의 현실이다. 일반적으로, 증강 현실 환경은 스마트 안경 또는 헤드셋과 같은 전용 디바이스를 사용하여 액세스될 수 있다. 증강 현실 환경은 또한, 스마트폰 또는 태블릿과 같은, 다용도 휴대용 디바이스 상의 애플리케이션을 사용하여 액세스될 수 있다. 증강 현실 환경은 카메라를 사용하여 현실 세계 뷰의 픽처를 획득할 수 있고 컴퓨터 또는 프로세서를 사용하여 픽처를 분석하고, 시청자 또는 사용자와 어느 정도 관련성 있는 것으로 식별될 수 있는 픽처 내의 객체들을 검출하여 객체 또는 객체들에 관한 정보 또는 이들에 관련된 대화식 옵션을 제공할 수 있다.

일 예에서, 증강 현실 사용자는 스마트 안경, 헤드셋, 모바일 폰, 또는 스마트폰과 같은 증강 현실 디바이스를 사용하여 장면을 볼 수 있다. 증강 현실 디바이스(예를 들어, 스마트 안경 또는 스마트폰)는 장면의 픽처 또는 비디오 이미지를 캡처하고 이미지 내의 객체들에 대해 서치(search)할 수 있다. 일부 시나리오에서, 사용자는, 예를 들어, 증강 현실 디바이스를 객체의 방향으로 향하게 함으로써 장면 내의 특정의 객체에 특별히 초점을 맞출 수 있다. 미디어 안내 애플리케이션은 이미지 내의 하나 이상의 객체를 분석하여 객체들 중 임의의 객체가 사용자와 연관성(connection)을 갖는지 여부를 결정할 수 있다. 사용자와 연관성을 갖는 것으로 결정된 임의의 객체에 대해, 미디어 안내 애플리케이션은 사용자를 위해 객체에 관련된 보충 콘텐츠를 식별할 수 있다. 일부 시나리오에서, 사용자와 객체 사이의 연관성을 식별하기 위해, 미디어 안내 애플리케이션은 사용자 프로파일, 사용자 이력, 사용자의 소셜 미디어, 또는 사용자에 관한 정보의 다른 소스를 서치할 수 있다. 미디어 안내 애플리케이션에 의해 식별되는 보충 콘텐츠는, 예를 들어, 소셜 네트워크 또는 소셜 미디어로부터 획득될 수 있는 객체에 관련된 메시지, 비디오 클립, 텔레비전 프로그램, 영화, 이미지, 도서, 또는 다른 미디어 콘텐츠와 같은, 객체에 관련된 미디어 콘텐츠일 수 있다.

일 예에서, 사용자의 증강 현실 디바이스의 시야 내의 객체를 식별하는 것에 의해 증강 현실에서 부가 콘텐츠를 제시하기 위한 방법이 제공될 수 있다. 시야는 사용자가 사용하기를 원하는 임의의 환경일 수 있다. 예를 들어, 시야는 사용자가 존재하는 위치일 수 있다. 예를 들어, 시야는 사용자가 존재하는 방, 또는 사용자가 걷고 있는 거리 장면, 또는 사용자가 찾고 있지만 사용자가 존재하지 않을 수 있는 장소일 수 있다. 시야는 또한, 광고판, 픽처, 잡지 광고 등과 같은, 이미지일 수 있다. 증강 현실 디바이스는 그러한 시야의 이미지를 캡처할 수 있다. 이미지는 시야를 캡처하는 비디오 또는 스틸 픽처일 수 있다. 미디어 안내 애플리케이션은 이미지 내의 객체를 검출하기 위해 이미지를 프로세싱할 수 있다. 미디어 안내 애플리케이션은 이벤트의 참가자에 관련될 수 있는 참조를 객체 상에서 검출할 수 있다. 예를 들어, 미디어 안내 애플리케이션은 이미지에서, 예컨대, 광고판, 차량, 의류, 또는 이미지 내의 다른 위치 상에, 스포츠 팀의 멤버와 관련될 수 있는 스포츠 팀 로고가 있음을 검출할 수 있고 스포츠 팀은 경기 또는 스케줄링된 다른 다가오는 이벤트를 가질 수 있다.

미디어 안내 애플리케이션은 사용자와 참가자 사이의 연관성을 찾기 위해 사용자의 프로파일을 서치할 수 있다. 예를 들어, 미디어 안내 애플리케이션은 참가자에 관련된 사용자에 의한 메시지에 대해 소셜 네트워크를 서치할 수 있다. 예를 들어, 사용자는 스포츠 팀의 참가자에 관해 또는 팀에 관해 또는 스포츠에 관해 Twitter에 게시했을 수 있다. 미디어 안내 애플리케이션이 참가자 또는 팀에 관련된 사용자에 의한 소셜 미디어 메시지를 식별할 수 있는 경우, 미디어 안내 애플리케이션은, 증강 현실 디바이스를 사용하여, 참가자에 관한 메시지를 오버레이할 수 있다. 예를 들어, 미디어 안내 애플리케이션은 증강 현실 환경에서 보이는 바와 같이 스포츠 선수에 관한 사용자의 소셜 미디어 게시물을 이미지 내의 선수에 관련된 객체 위에 오버레이할 수 있다.

메시지가 객체 상에서 검출된 참조와 증강 현실 이미지에서 결합될 수 있도록, 증강 현실 환경에서의 메시지 오버레이는 참가자에 관련된 사용자에 의한 소셜 미디어 메시지의 콘텐츠일 수 있다. 일부 시나리오에서, 메시지는 소셜 미디어 게시물에 사용된 것과 동일할 수 있다. 다른 시나리오에서, 메시지는 단축되거나 축약되거나 소셜 미디어 게시물 메시지에 다른 방식으로 기초할 수 있다. 일부 예에서, 오버레이된 메시지의 위치는 증강 현실 디바이스의 시야에서 객체 위치 상에 또는 그 근처에 있을 수 있다.

다른 예에서, 사용자의 증강 현실 디바이스가 증강 현실 디바이스의 시야 내의 객체 위에 위치될 수 있는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법이 제공된다. 예를 들어, 사용자는 객체 위에 뷰를 위치시키기 위해 스마트 안경으로 특정의 시야를 바라볼 수 있다. 다른 예에서, 사용자는 증강 현실 기능성을 갖는 휴대용 디바이스를 시야 내의 객체 위에 배치할 수 있다. 예를 들어, 사용자는 스마트폰 카메라를 대체로 객체의 방향으로 향하게 할 수 있다. 사용자는 또한 스마트폰 카메라를 사용하여 객체를 줌인할 수 있다.

미디어 안내 애플리케이션은 사용자의 증강 현실 디바이스의 시야 내의 객체를 식별할 수 있다. 예를 들어, 미디어 안내 애플리케이션은 스마트폰의 카메라의 초점인 어떤 객체를 검출할 수 있다. 일부 예에서, 객체는 스크린의 가운데에 있을 수 있다. 다른 예에서, 객체는 사용자와 어떤 방식으로 연관되어 있는 것으로 사용자 프로파일에 저장되어 있는 객체일 수 있다.

미디어 안내 애플리케이션은 객체의 이미지를 캡처할 수 있다. 이미지는, 예를 들어, 사진 또는 스크린 샷을 찍음으로써 증강 현실 디바이스에서 캡처될 수 있다. 이미지는 또한 카메라 회로부를 사용하여 캡처될 수 있고 객체를 표현하는 픽셀들을 저장할 수 있다. 미디어 안내 애플리케이션은 이어서 객체의 이미지의 적어도 부분과 매칭되는 콘텐츠를 식별하기 위해 데이터베이스를 서치할 수 있다. 예를 들어, 미디어 안내 애플리케이션은 객체 이미지의 부분의 매치를 찾기 위해 이미지 서치 툴을 사용하여 하나 이상의 이미지 데이터베이스를 서치할 수 있다.

적합한 콘텐츠를 식별하기 위해 데이터베이스를 서치하는 것은 또한 이미지들을 콘텐츠와 연관시키는 엔트리들을 포함하는 데이터베이스를 서치하는 것을 포함할 수 있다. 그러한 데이터베이스는, 사용자에 관련되고 때때로 발생할 수 있는 흥미로운 보충 콘텐츠를 포함하는, 엔트리들을 포함하도록 미리 정의될 수 있다. 그러한 데이터베이스를 셋업하는 것은 서치 결과를 개선시키고 사용자에 적합한 보충 콘텐츠를 식별하는 시간을 감소시킬 수 있다. 더 많은 콘텐츠 아이템들을 가질 수 있지만 연관된 이미지들로 정의되지 않은 일반 미디어 데이터베이스를 서치하는 것에 부가하여, 그러한 데이터베이스가 서치될 수 있다. 데이터베이스는 이미지들을 콘텐츠와 연관시키는 복수의 엔트리들을 저장했을 수 있다. 이미지들은 객체의 캡처된 이미지 내의 별개의 아이템을 검출하기 위해 미디어 안내 애플리케이션의 제어 회로부에 의해 분석될 수 있다. 별개의 아이템은, 예를 들어, 로고, 얼굴, 브랜드 이름, 또는 다른 객체 및 아이템일 수 있다. 별개의 아이템은 연관된 콘텐츠와 매칭될 수 있고, 별개의 아이템과 콘텐츠를 연관시키는 엔트리는 데이터베이스에 저장될 수 있다. 아이템 또는 객체에 대해 엔트리가 서치할 수 있고, 별개의 아이템들 중 하나에 실질적으로 대응하는 매칭되는 엔트리가 식별될 수 있다. 미디어 안내 애플리케이션이 그러한 매칭을 행할 때, 객체의 캡처된 이미지의 일부이고 따라서 또한 객체 이미지에 관련되는 별개의 아이템과 연관된 엔트리 내의 콘텐츠가 미디어 안내 애플리케이션에 의해 리트리빙(retrieving)되어 사용자를 위해 증강 현실 환경에 공급될 수 있다.

객체 이미지 또는 이미지의 부분과 매칭되는 콘텐츠가 미디어 데이터베이스에서 발견되면, 미디어 안내 애플리케이션은 매칭되는 콘텐츠에 대한 메타데이터를 리트리빙할 수 있다. 메타데이터는 분석되고 이벤트의 참가자에 관련된 정보 또는 참조를 검출하는 데 사용될 수 있다. 예를 들어, 미디어 안내 애플리케이션은 매칭되는 스포츠 팀 로고 이미지를 찾을 수 있고 연관된 메타데이터는 스포츠 팀 선수 이름 또는 이름들을 포함할 수 있다. 미디어 안내 애플리케이션은 이어서 참가자와 매칭되는 콘텐츠를 포함하는 메시지를 식별하기 위해 사용자에 의해 이전에 소셜 네트워크에 전송된 메시지들의 리스트를 서치할 수 있다. 예를 들어, 미디어 안내 애플리케이션은 매칭되는 로고를 갖는 스포츠 팀의 선수에 관련된 메시지에 대해 사용자의 소셜 미디어 게시물을 서치할 수 있다.

미디어 안내 애플리케이션은 객체 및 참조의 배치 또는 위치를 찾기 위해 증강 현실 디바이스에서의 시야를 분석할 수 있다. 특히, 미디어 안내 애플리케이션은 참가자에 관련된 참조의 객체 상에서의 위치를 식별할 수 있다. 스포츠 팀 로고 예에서, 미디어 안내 애플리케이션은 로고를 갖는 시야 내의 객체의 영역을 식별할 수 있다. 미디어 안내 애플리케이션은 시야 내의 객체의 어느 영역이 매칭되는 콘텐츠와 매칭되는 이미지의 부분을 포함하는지를 결정할 수 있다. 다른 예에서, 미디어 안내 애플리케이션은 저지(jersey) 또는 광고판에서 선수의 이름을 식별하고, 이름을 포함하는 시야 내의 객체의 영역을 결정할 수 있다.

식별된 위치는 이어서 메시지를 증강 현실 디바이스에 위치시키기 위해 미디어 안내 애플리케이션에 의해 사용될 수 있다. 예를 들어, 미디어 안내 애플리케이션은 증강 현실 디바이스로 하여금 메시지를 사용자를 위해 시야에서 객체 위치에 오버레이하게 할 수 있다. 메시지의 콘텐츠는 객체 상에서 검출되었던 참조와 결합될 수 있다. 일 예에서, 사용자는 스포츠 팀의 선수에 관해 이전에 소셜 네트워크에 게시했을 수 있고, 그러한 소셜 미디어 메시지가 증강 현실 시야에서 참조 객체 위에 중첩될 수 있다.

예시적인 예에서, 시야 내의 이미지는 스포츠 관련 이미지일 수 있다. 뷰에서의 콘텐츠, 객체 또는 아이템의 일 예는 스포츠 로고일 수 있다. 관련 보충 콘텐츠에 대한 서치는, 예를 들어, 연관된 팀 이름 및 로고에 대한 엔트리에 대해 데이터베이스에서 서치하는 것을 통해, 또는 로고에 대한 메타데이터를 사용하는 것에 의해, 스포츠 로고를 검출하고 스포츠 로고와 연관된 스포츠 팀의 이름을 결정하는 것을 포함할 수 있다.

다른 예에서, 이벤트는 스포츠 이벤트일 수 있다. 미디어 안내 애플리케이션이 이벤트가 스포츠 이벤트라고 결정하면, 미디어 안내 애플리케이션은 스포츠 이벤트에 참가하는 경쟁자를 식별할 수 있다. 경쟁자는 이벤트에 관한 정보 또는 메타데이터에 대해 미디어 데이터베이스를 서치함으로써 식별될 수 있다. 미디어 안내 애플리케이션은 또한 동일한 방식으로 스포츠 이벤트에 등장하는 팀을 결정할 수 있다. 경쟁자 정보는 스포츠 이벤트에 참가하고 있는 제2 팀을 결정하는 데 사용될 수 있다. 예를 들어, 경쟁자 정보는 팀 정보를 포함하는 각각의 선수에 대한 메타데이터를 포함할 수 있다. 제2 팀이 식별되면, 미디어 안내 애플리케이션은 제1 팀, 경쟁자들 중 임의의 경쟁자, 또는 제2 팀에 관련된, 증강 현실 뷰에 포함시킬 메시지를 선택할 수 있다.

다른 예에서, 이벤트는 연관된 시간을 가질 수 있다. 예를 들어, 스포츠 이벤트는 특정의 시간에 또는 다른 이벤트에 이어서 특정의 순서로 스케줄링될 수 있다. 이벤트에 대한 시간은 미디어 안내 애플리케이션에 의해 식별될 수 있다. 증강 현실 뷰에 포함시키기 위해 미디어 안내 애플리케이션에 의해 선택되는 메시지는 이벤트 시간에 관련성 있거나 적합한 시간의 문턱치 내에서 사용자의 소셜 네트워크에 전송된 것일 수 있다. 예를 들어, 1 년 지난 스포츠 팀에 관한 메시지는 가까운 미래에 스케줄링된 경기에 관련성 없을 수 있다. 그 대신에, 스포츠 팀에 관한 더 최근의 메시지는 미디어 안내 애플리케이션에 의해 선택될 수 있다.

메시지가 증강 현실 디바이스에 대한 시야에서 객체 내의 참조와 결합된 후에, 사용자는 뷰의 이미지를 캡처하기를 원할 수 있다. 미디어 안내 애플리케이션은 사용자를 위해 객체 상에서 검출된 참조와 결합된 주어진 메시지의 증강 현실 디바이스를 통한 뷰를 표현하는 픽처를 저장할 수 있다. 픽처는, 사용자가 픽처를 소셜 네트워크에 전송하도록 하기 위한 옵션과 함께, 미디어 안내 애플리케이션에 의해 생성된 디스플레이에서 사용자에게 제시될 수 있다.

다른 예시적인 예에서, 사용자는 스포츠 팀과 연관성을 갖는 옷을 입고 있는 다른 사람을 증강 현실 디바이스로 볼 수 있다. 예를 들어, 제2 사람의 옷은 스포츠 팀의 그래픽 로고 또는 다른 표현을 포함할 수 있다. 그러한 이미지가 증강 현실 시야 내에 있고 따라서 미디어 안내 애플리케이션에 의해 캡처되면, 사용자를 위해 미디어 안내 애플리케이션에 의해 생성된 결과적인 메시지 및 객체 결합 뷰가 또한 제2 사람에게 전송될 수 있다. 예를 들어, 미디어 안내 애플리케이션은 이미지와 결합된 메시지가 제2 사용자의 컴퓨터 또는 스마트폰, 또는 증강 현실 디바이스에 송신되게 할 수 있다.

위에서 설명된 시스템, 방법, 장치, 및/또는 양태가 본 개시내용에서 설명되는 다른 시스템, 방법, 장치, 및/또는 양태에 적용될 수 있거나 또는 그에 따라 사용될 수 있음에 유의해야 한다.

본 개시내용의 상기 목적 및 장점 및 다른 목적 및 장점은 비슷한 참조 문자가 전반에 걸쳐 비슷한 부분을 지칭하는, 첨부 도면과 관련하여 취해진, 이하의 상세한 설명을 고려할 때 명백할 것이다.
도 1은 본 개시내용의 일부 실시예에 따른, 증강 현실 디바이스의 사용자의 예시적인 예를 도시한다;
도 2는 본 개시내용의 일부 실시예에 따른, 증강 현실 디스플레이의 예시적인 예를 도시한다;
도 3은 본 개시내용의 일부 실시예에 따른, 사용자의 소셜 미디어 이력의 예시적인 예를 도시한다;
도 4 내지 도 7은 본 개시내용의 일부 실시예에 따른, 증강 현실 디스플레이의 예시적인 예를 도시한다;
도 8 및 도 9는 본 개시내용의 일부 실시예에 따른, 미디어 안내 애플리케이션에 의해 생성되는 디스플레이 스크린의 다른 예시적인 예를 도시한다;
도 10은 본 개시내용의 일부 실시예에 따른, 예시적인 사용자 장비 디바이스의 블록 다이어그램이다;
도 11은 본 개시내용의 일부 실시예에 따른, 예시적인 미디어 시스템의 블록 다이어그램이다;
도 12는 본 개시내용의 일부 실시예에 따른, 증강 현실 뷰에서 객체에 메시지를 추가하기 위한 예시적인 프로세스의 플로차트이다;
도 13은 본 개시내용의 일부 실시예에 따른, 증강 현실 뷰에서 객체에 메시지를 추가하기 위한 다른 예시적인 프로세스의 플로차트이다;
도 14는 본 개시내용의 일부 실시예에 따른, 사용자를 위해 소셜 미디어 이미지를 생성하기 위한 예시적인 프로세스의 플로차트이다;
도 15는 본 개시내용의 일부 실시예에 따른, 증강 현실 뷰에서 객체에 추가할 메시지를 선택하기 위한 예시적인 프로세스의 플로차트이다.

그에 따라, 사용자의 증강 현실 경험을 향상시키기 위한 시스템 및 방법이 본 명세서에서 설명된다. 특히, 사용자의 소셜 네트워크로부터의 메시지와 같은, 메시지를 증강 현실 디바이스에서의 시야 내의 객체에 추가하기 위한 시스템 및 방법이 본 명세서에서 제시된다.

증강 현실 헤드셋 또는 스마트 안경과 같은, 증강 현실 디바이스, 또는 모바일 폰, 스마트폰 또는 태블릿과 같은, 증강 현실 애플리케이션을 갖는 휴대용 디바이스가 증강 현실 뷰를 제시하는 데 사용될 수 있다. 사용자가 뷰에 관한 부가 정보를 갖는 특정의 뷰를 볼 수 있도록, 뷰가 증강 현실 디바이스 또는 애플리케이션을 이용하여 제시될 수 있다. 예를 들어, 메이크업 카운터에서의 증강 현실 환경은 다양한 유형의 적용된 메이크업을 갖는 사용자를 보여줄 수 있다. 다른 예에서, 증강 현실은 가정에서 가구가 방에 어떻게 배치될 수 있는지를 보여주기 위해 사용될 수 있다. 다른 예에서, 증강 현실 디바이스는 식료품 쇼핑 동안 가격 및 영양 비교를 하기 위해 사용될 수 있다. 이들 용도가 사용자에게 매우 유용하지만, 사용자는 증강 현실에서 추가될 정보가 사용자에 맞춤화되는 것을 또한 원할 수 있다.

이것이 달성될 수 있는 한 가지 방법은 뷰에서 객체를 검출하기 위해 미디어 안내 애플리케이션을 사용하여 증강 현실 환경에서의 뷰를 분석하는 것이다. 연관된 참가자 또는 이벤트를 가질 수 있는 객체 내의 참조를 결정하기 위해 객체가 분석될 수 있다. 미디어 안내 애플리케이션은 객체, 참가자 또는 이벤트에 관련된 콘텐츠를 식별하기 위해 사용자의 소셜 네트워크를 서치할 수 있다. 예를 들어, 미디어 안내 애플리케이션은 객체, 참가자 또는 이벤트를 명명하거나 묘사하는 소셜 미디어 상의 사용자에 의한 게시물에 대해 서치할 수 있다. 그러한 메시지가 미디어 안내 애플리케이션에 의해 식별되면, 미디어 안내 애플리케이션은 그 메시지 또는 메시지의 어떤 버전을 객체의 증강 현실 뷰에 추가할 수 있다. 예를 들어, 미디어 안내 애플리케이션은 증강 현실 환경에서 이미지 위에 디스플레이될 메시지의 오버레이를, 특히 관련 객체 위에 또는 그 근처에, 생성할 수 있다. 이것은 사용자에게 도움이 될 수 있는데 그 이유는 메시지가 원래 다른 컨텍스트에서 사용자에 의해 제공되었고 이제 사용자의 증강 현실 뷰에 추가되고 있는 메시지이기 때문이다.

증강 현실 디바이스에 의해 공급되는 부가 정보와 함께 자신의 환경을 볼 수 있도록 증강 현실 헤드셋(120)을 착용하고 거리에 산책하러 나온 사용자(110)를 포함하는 거리 장면(100)을 묘사하는 도 1을 참조한다. 일 예에서, 사용자는 걷는 동안 길 안내(directions) 또는 지도 정보를 보기 위해 증강 현실 디바이스를 착용하고 걸어 다닐 수 있고; 증강 현실 디바이스(120)는 또한 사용자의 현재 환경으로부터의 이미지를 캡처할 수 있다. 예를 들어, 증강 현실 디바이스(120)는 New England Patriots 로고가 있는 티셔츠를 입고 있는 인도 위의 사람(150)을 캡처할 수 있다.

증강 현실 디바이스는 또한, New England Patriots 로고가 있는 티셔츠를 입고 있는 사람(210)을 포함하는, 뷰(200)에서 도 2에 도시된 것과 같은 거리 뷰를 캡처할 수 있는 스마트폰일 수 있다. 도 1 및 도 2에 도시된 증강 현실 환경들 중 어느 하나는 사용자가 본 명세서에 설명된 향상된 증강 현실 특징에 액세스하기에 적합할 수 있다. 증강 현실 환경에서 보이는 뷰는 증강 현실 디바이스 내의 카메라 회로부를 사용하여 미디어 안내 애플리케이션에 의해, 예를 들어, 이미지로서, 캡처될 수 있다. 사용자는 뷰의 특정의 양상에 초점을 맞출 수 있으며, 이는 뷰 내의 관심 아이템을 미디어 안내 애플리케이션에 알릴 수 있다. 대안적으로, 미디어 안내 애플리케이션은 객체 인식 기술을 사용하여 객체를 식별하기 위해 이미지를 파싱할 수 있다. 미디어 안내 애플리케이션은 또한 증강 현실 뷰에 포함시킬 유용한 정보를 제공하기 위해 외부 데이터베이스 및 정보는 물론 사용자 정보를 요청할 수 있다.

도 3을 참조하면, 미디어 안내 애플리케이션은, 예를 들어, 증강 현실 환경에서 보기에 흥미로울 수 있는 사용자에 관한 정보를 찾기 위해 사용자의 소셜 네트워크를 서치할 수 있다. 도 3에 도시된 바와 같이, 사용자는 날짜 정보 및 메시지, 예를 들어, 제각기, 302와 310, 및 305와 315를 포함하는 소셜 네트워크 상의 댓글 또는 게시물의 기록(300)을 가질 수 있다. 기록(300)에 의해 알 수 있는 바와 같이, 사용자는 풋볼에 얼마간 관심을 가질 수 있다. 미디어 안내 애플리케이션은 그러한 댓글들을 파싱하고 그 관심사를 결정할 수 있다. 그에 부가하여, 미디어 안내 애플리케이션은, 예를 들어, 메시지(305 및 315)에서 언급된 스포츠 이벤트를 특정할 수 있는 메타데이터에 대해 스포츠 스케줄 또는 스포츠 미디어 데이터베이스를 서치할 수 있다.

기록(300)으로부터의 사용자에 관한 소셜 네트워크 정보를 사용하여, 미디어 안내 애플리케이션은 증강 현실 디바이스에 의해 캡처된 뷰, 예를 들어, 뷰(200)(도 2)에서의 참조 또는 객체에 관련된 메시지를 찾을 수 있다. 예를 들어, 미디어 안내 애플리케이션은 사람(210)(도 2) 및 그의 티셔츠 로고를 식별하고 로고가 New England Patriots 및 풋볼에 관련되어 있음을 검출할 수 있다. 미디어 안내 애플리케이션은 사용자의 소셜 미디어 기록(300)을 파싱하고 축구에 관한 메시지들을 검출할 수 있다. 그러한 메시지들이 증강 현실 뷰에 포함될 수 있다. 예를 들어, 메시지(305)가 도 4에 도시된 바와 같이 증강 현실 뷰(200)(도 2)에 추가될 수 있다.

도 4는 사용자가 증강 현실 디바이스를 사용하여 볼 수 있는 증강 현실 뷰(400)를 묘사한다. 뷰(400)에서, 미디어 안내 애플리케이션은 뷰(400)에서의 객체: New England Patriots 로고가 있는 티셔츠를 입고 있는 보행자(405)를 캡처하였다. 미디어 안내 애플리케이션은 뷰에 포함시킬 적합한 메시지를 찾기 위해 사용자의 소셜 미디어 네트워크 정보를 서치할 수 있다. 도 4에 도시된 바와 같이, 사용자의 소셜 미디어 기록으로부터 취해진 메시지(410)(예를 들어, 메시지(305)(도 3))가 뷰(400)에 추가되었다. 증강 현실 뷰(400)에 포함되도록 선택된 메시지는 다양한 인자, 예를 들어, 시간, 관련성, 사용자 관심, 또는 다른 기준(basis)에 기초할 수 있다. 뷰(400)를 위해 선택된 메시지(410)는, 예를 들어, 적시성으로 인해 관련성 있는 것으로 간주될 수 있다. 메시지(410)가 사용자가 게시한 시간상 가장 최근의 메시지이기 때문에(예를 들어, 기록(300)(도 3) 참조), 미디어 안내 애플리케이션은 그것이 뷰(400)에 포함시키기에 적합하다고 결정할 수 있다.

다른 예에서, 소셜 네트워크 기록 및 부가 정보에 기초하여 미디어 안내 애플리케이션에 의해 증강 현실 뷰에 추가될 메시지가 선택될 수 있다. 도 5에 도시된 바와 같이, 증강 현실 뷰(500)는 New England Patriots 로고가 있는 티셔츠를 입고 있는 사람(505)을 포함할 수 있다. 사용자는 티셔츠에 초점을 맞출 수 있거나, 또는 미디어 안내 애플리케이션은 이미지에서의 흥미로운 객체로서 로고를 캡처할 수 있다. 미디어 안내 애플리케이션은 증강 현실 뷰(500)에 포함시키기에 적합한 콘텐츠에 대해 서치할 수 있다. 사용자의 소셜 네트워크 기록(예를 들어, 기록 300(도 3))의 서치에서, 미디어 안내 애플리케이션은 풋볼에 대한 관심을 검출할 수 있다. 게다가, 미디어 안내 애플리케이션은 가장 최근의 게시물, 예를 들어, 메시지(305)(도 3)를 선택하고, 메시지에 관련된 객체에 대한 임의의 연관된 이벤트가 있는지 여부를 결정할 수 있다. 예를 들어, 미디어 안내 애플리케이션은 게시물의 시간 근방에 있는 스포츠 또는 팀에 관련된 스포츠 이벤트를 식별하기 위해 미디어 데이터베이스 또는 스포츠 데이터베이스를 서치할 수 있다. 따라서, 메시지(305)(도 3)의 경우, 미디어 안내 애플리케이션은 메시지의 날짜 근방에 있는 풋볼 이벤트에 대해 서치할 수 있다. 그에 부가하여, 미디어 안내 애플리케이션은 증강 현실 뷰로부터의 로고 또는 참조 객체와 연관된 팀에 대한 풋볼 이벤트에 대해 서치할 수 있다. 스포츠 데이터베이스의 서치는 11월 21일 이후의 New England Patriots에 대한 경기, 예를 들어, 메시지(510)에 보여진 바와 같이 2017년 11월 26일의 Dolphins 대 Patriots 경기를 보여줄 수 있다.

다른 예에서, 미디어 안내 애플리케이션은 증강 현실 뷰에서 참조 객체에 관한 정보를 획득하고, 사용자의 이력, 예를 들어, 선호사항 프로파일 또는 소셜 네트워크에 또한 기초할 수 있는 참조 객체에 관련된 콘텐츠에 액세스하기 위한 링크를 제공하는 메시지를 선택할 수 있다. 도 6에 도시된 바와 같이, 증강 현실 뷰(600)는 New England Patriots 풋볼 팀에 대한 로고가 있는 티셔츠를 입고 있는 사람(605)을 포함할 수 있다. 미디어 안내 애플리케이션은 로고를 뷰(600)의 이미지에서의 참조 객체로서 검출하고, 객체와 관련성 있는, 뷰(600)에 오버레이하기에 적합한 메시지에 대해 서치할 수 있다. 미디어 안내 애플리케이션은, 이미지 분석 툴을 사용하여, 로고를 New England Patriots에 대한 것으로 식별할 수 있다. 미디어 안내 애플리케이션은 팀에 관한 메타데이터에 대해 스포츠 데이터베이스를 서치할 수 있다. 미디어 안내 애플리케이션은 또한 팀과 관련성 있을 수 있는 메시지 또는 스포츠 데이터베이스의 서치에서 식별된 일부 메타데이터에 대해 사용자의 이력, 예를 들어, 소셜 네트워크 기록(300)(도 3)을 서치할 수 있다. 미디어 안내 애플리케이션은 팀 - New England Patriots - 이 메시지(315)(도 3)에서 언급된 슈퍼 볼(Super Bowl)의 참가자였다고 결정할 수 있다. 따라서, 미디어 안내 애플리케이션은 뷰(600)에 오버레이되는 링크에서 제공하기 위해 슈퍼 볼에서 경기하는 팀에 관련된 클립을 선택할 수 있다.

다른 예에서, 미디어 안내 애플리케이션은 공유를 위해 증강 현실 뷰에서 식별된 참조 객체를 선택할 수 있다. 참조 객체는 사용자를 위해 소셜 미디어에서 공유될 수 있거나, 또는 다른 사람과 공유될 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 증강 현실 뷰(700)는 New England Patriots 티셔츠를 입고 있는 사람(705)을 포함할 수 있고 미디어 안내 애플리케이션은 티셔츠를 뷰에서의 참조 객체로서 검출할 수 있다. 티셔츠 및 그의 로고의 검출은 이미지 분석 및 인식에 기초할 수 있다. 로고는, 예를 들어, 사용자의 시청 이력 또는 소셜 네트워크 이력에 기초하여 사용자 선호사항 프로파일에 저장될 수 있다. 미디어 안내 애플리케이션은 참조 객체, 예를 들어, 티셔츠 및 로고를 캡처하고, 참조 객체 및 댓글을 포함하는 메시지(720)를 증강 현실 뷰(700)에서 제공할 수 있다. "터키 코마와 풋볼을 기다릴 수가 없어"라는 댓글은, 예를 들어, 사용자의 소셜 네트워크 이력을 사용하여 미디어 안내 애플리케이션에 의해 획득될 수 있다. 예를 들어, 댓글은 미디어 안내 애플리케이션에 의해 적시적인 것은 물론 로고와 연관된 스포츠에 관련된 것으로 간주되는 최근의 게시물(305)(도 3)에 기초할 수 있다. 메시지(720)는 또한 사용자가 이미지를 소셜 네트워크에 게시하거나 이를 수신자에게 송신하기 위한 선택가능한 옵션(730), 또는 이미지를 공유하는 다른 방식을 포함할 수 있다. 일부 예에서, 수신자는 사용자의 연락처 및 이미지 이력에 액세스할 수 있는 미디어 안내 애플리케이션에 의해 얼굴/이미지 인식 기술로 식별될 수 있는 사람(705)으로서 메시지(720) 및 옵션(730)에서 식별될 수 있다.

도 1 내지 도 7을 참조하여 설명된 예가 스포츠 이벤트만을 포함하지만, 다른 유형의 이미지 객체도 동일한 방식으로 사용될 수 있다. 예를 들어, 얼굴, 브랜드 이름, 플래그, 텔레비전 프로그램, 랜드마크, 또는 다른 객체가 이미지 인식 기술을 사용하여 식별될 수 있고, 그러한 아이템에 관련된 이벤트를 찾기 위해 이미지와 연관된 메타데이터에 대한 데이터베이스의 서치가 수행될 수 있다. 예를 들어, Lady Gaga를 보여주는 광고판 광고가 인식될 수 있고 그녀의 이름에 대한 데이터베이스 서치는 2017 슈퍼 볼 하프 타임 쇼에서의 그녀의 등장에 관한 정보를 포함할 수 있으며, 이는 또한 증강 현실 뷰에 추가될 수 있고 슈퍼 볼을 시청하는 것에 관한 사용자의 댓글(315)(도 3)에 관련될 수 있다. 다른 예에서, Lady Gaga를 보여주는 광고판은 그녀의 다가오는 콘서트에 관한 메시지를 결과할 수 있다.

임의의 주어진 콘텐츠 전달 시스템에서 사용자에 이용가능한 콘텐츠의 양은 상당할 수 있다. 결과적으로, 많은 사용자들은 사용자가 콘텐츠 셀렉션(content selection)을 효율적으로 내비게이팅할 수 있게 하고 사용자가 원할 수 있는 콘텐츠를 쉽게 식별할 수 있게 하는 인터페이스를 통한 미디어 안내의 형태를 요망한다. 그러한 안내를 제공하는 애플리케이션은 본 명세서에서 대화형 미디어 안내 애플리케이션 또는, 때때로, 미디어 안내 애플리케이션 또는 안내 애플리케이션이라고 지칭된다.

대화형 미디어 안내 애플리케이션은 그것이 안내를 제공하는 콘텐츠에 따라 다양한 형태를 취할 수 있다. 하나의 전형적인 유형의 미디어 안내 애플리케이션은 대화형 텔레비전 프로그램 가이드(interactive television program guide)이다. 대화형 텔레비전 프로그램 가이드(때때로 전자 프로그램 가이드라고 지칭됨)는, 그 중에서도, 사용자가 많은 유형의 콘텐츠 또는 미디어 자산을 내비게이팅하고 찾아낼 수 있게 하는 잘 알려진 안내 애플리케이션이다. 대화형 미디어 안내 애플리케이션은 사용자가 콘텐츠를 내비게이팅하고 찾아내며 선택할 수 있게 하는 그래픽 사용자 인터페이스 스크린을 생성할 수 있다. 본 명세서에서 언급되는 바와 같이, 용어 "미디어 자산" 및 "콘텐츠"는 텔레비전 프로그래밍은 물론, 페이-퍼-뷰(pay-per-view) 프로그램, (주문형 비디오(VOD) 시스템에서와 같은) 주문형 프로그램, 인터넷 콘텐츠(예를 들어, 스트리밍 콘텐츠, 다운로드가능한 콘텐츠, 웹 캐스트(Webcast) 등), 비디오 클립, 오디오, 콘텐츠 정보, 픽처, 회전 이미지, 문서, 플레이리스트, 웹 사이트, 기사, 책, 전자책, 블로그, 채팅 세션, 소셜 미디어, 애플리케이션, 게임, 및/또는 임의의 다른 미디어 또는 멀티미디어 및/또는 이들의 조합과 같은, 전자적으로 소비가능한 사용자 자산을 의미하는 것으로 이해되어야 한다. 안내 애플리케이션은 또한 사용자가 콘텐츠를 내비게이팅하고 찾아낼 수 있게 한다. 본 명세서에서 언급되는 바와 같이, 용어 "멀티미디어"는 위에서 설명된 적어도 2개의 상이한 콘텐츠 형태, 예를 들어, 텍스트, 오디오, 이미지, 비디오, 또는 상호작용성 콘텐츠 형태(interactivity content form)를 이용하는 콘텐츠를 의미하는 것으로 이해되어야 한다. 콘텐츠는 사용자 장비 디바이스에 의해 녹화, 재생, 디스플레이 또는 액세스될 수 있을 뿐만 아니라, 라이브 공연의 일부일 수도 있다.

본 명세서에서 논의된 실시예들 중 임의의 것을 수행하기 위한 미디어 안내 애플리케이션 및/또는 임의의 명령어들은 컴퓨터 판독가능 매체 상에 인코딩될 수 있다. 컴퓨터 판독가능 매체는 데이터를 저장할 수 있는 임의의 매체를 포함한다. 컴퓨터 판독가능 매체는, 전기 또는 전자기 신호를 전파하는 것을 포함하지만 이에 제한되지 않는, 일시적인 것일 수 있거나, 또는 하드 디스크, 플로피 디스크, USB 드라이브, DVD, CD, 미디어 카드, 레지스터 메모리, 프로세서 캐시, 랜덤 액세스 메모리("RAM") 등과 같은 휘발성 및 비휘발성 컴퓨터 메모리 또는 저장 디바이스를 포함하지만, 이에 제한되지 않는, 비일시적인 것일 수 있다.

인터넷, 모바일 컴퓨팅, 및 고속 무선 네트워크의 출현으로, 전통적으로 그렇지 않았던 사용자가 사용자 장비 디바이스 상에서 미디어에 액세스하고 있다. 본 명세서에서 언급되는 바와 같이, 문구 "사용자 장비 디바이스", "사용자 장비", "사용자 디바이스", "전자 디바이스", "전자 장비", "미디어 장비 디바이스", 또는 "미디어 디바이스"는, 텔레비전, 스마트 TV, 셋톱 박스, 위성 텔레비전을 핸들링하기 위한 통합 수신기 디코더(integrated receiver decoder; IRD), 디지털 저장 디바이스, 디지털 미디어 수신기(digital media receiver; DMR), 디지털 미디어 어댑터(digital media adapter; DMA), 스트리밍 미디어 디바이스, DVD 플레이어, DVD 레코더, 커넥티드 DVD(connected DVD), 로컬 미디어 서버, BLU-RAY 플레이어, BLU-RAY 레코더, 개인용 컴퓨터(PC), 랩톱 컴퓨터, 태블릿 컴퓨터, WebTV 박스, 개인용 컴퓨터 텔레비전(PC/TV), PC 미디어 서버, PC 미디어 센터, 핸드헬드 컴퓨터, 고정식 전화(stationary telephone), PDA(personal digital assistant), 모바일 전화, 휴대용 비디오 플레이어, 휴대용 음악 플레이어, 휴대용 게이밍 머신, 스마트폰, 또는 임의의 다른 텔레비전 장비, 컴퓨팅 장비, 또는 무선 디바이스, 및/또는 이들의 조합과 같은, 위에서 설명된 콘텐츠에 액세스하기 위한 임의의 디바이스를 의미하는 것으로 이해되어야 한다. 일부 실시예에서, 사용자 장비 디바이스는 전방 스크린(front facing screen) 및 후방 스크린(rear facing screen), 다수의 전면 스크린(front screen), 또는 다수의 각진 스크린(angled screen)을 가질 수 있다. 일부 실시예에서, 사용자 장비 디바이스는 전방 카메라(front facing camera) 및/또는 후방 카메라(rear facing camera)를 가질 수 있다. 이러한 사용자 장비 디바이스 상에서, 사용자는 텔레비전을 통해 이용가능한 동일한 콘텐츠를 내비게이팅하고 찾아낼 수 있다. 결과적으로, 미디어 안내는 이들 디바이스 상에서도 이용가능할 수 있다. 제공되는 안내는 텔레비전을 통해서만 이용가능한 콘텐츠에 대한 것, 다른 유형의 사용자 장비 디바이스들 중 하나 이상을 통해서만 이용가능한 콘텐츠에 대한 것, 또는 텔레비전을 통해서도 다른 유형의 사용자 장비 디바이스들 중 하나 이상을 통해서도 이용가능한 콘텐츠에 대한 것일 수 있다. 미디어 안내 애플리케이션은 온라인 애플리케이션(예를 들어, 웹 사이트 상에서 제공됨)으로서, 또는 사용자 장비 디바이스 상의 독립형 애플리케이션 또는 클라이언트로서 제공될 수 있다. 미디어 안내 애플리케이션을 구현할 수 있는 다양한 디바이스 및 플랫폼은 아래에서 더 상세히 설명된다.

미디어 안내 애플리케이션의 기능들 중 하나는 미디어 안내 데이터를 사용자에게 제공하는 것이다. 본 명세서에서 언급되는 바와 같이, 문구 "미디어 안내 데이터" 또는 "안내 데이터"는 콘텐츠에 관련된 임의의 데이터 또는 안내 애플리케이션을 동작시키는 데 사용되는 데이터를 의미하는 것으로 이해되어야 한다. 예를 들어, 안내 데이터는 프로그램 정보, 안내 애플리케이션 설정, 사용자 선호사항, 사용자 프로파일 정보, 미디어 목록, 미디어 관련 정보(예를 들어, 방송 시간, 방송 채널, 제목, 설명, 등급(ratings) 정보(예를 들어, 부모 통제 등급, 비평가의 등급 등), 장르 또는 카테고리 정보, 배우 정보, 방송사의 또는 제공자의 로고에 대한 로고 데이터 등), 미디어 포맷(예를 들어, 표준 화질(standard definition), 고화질(high definition), 3D 등), 주문형 정보, 블로그, 웹 사이트, 및 사용자가 원하는 콘텐츠 셀렉션을 내비게이팅하고 찾아내는 데 도움이 되는 임의의 다른 유형의 안내 데이터를 포함할 수 있다.

도 8 및 도 9는 미디어 안내 데이터를 제공하는 데 사용될 수 있는 예시적인 디스플레이 스크린을 도시한다. 도 8 및 도 9에 도시된 디스플레이 스크린은 임의의 적합한 사용자 장비 디바이스 또는 플랫폼 상에 구현될 수 있다. 도 8 및 도 4의 디스플레이가 전체 스크린 디스플레이(full screen display)로 예시되어 있지만, 그것은 또한 디스플레이되고 있는 콘텐츠 위에 전체적으로 또는 부분적으로 오버레이될 수 있다. 사용자는 디스플레이 스크린에서 제공되는 선택가능한 옵션(예를 들어, 메뉴 옵션, 목록 옵션, 아이콘, 하이퍼링크 등)을 선택하는 것 또는 리모컨 또는 다른 사용자 입력 인터페이스 또는 디바이스 상의 전용 버튼(예를 들어, GUIDE 버튼)을 누르는 것에 의해 콘텐츠 정보에 액세스하고자 하는 바람을 표시할 수 있다. 사용자의 표시에 응답하여, 미디어 안내 애플리케이션은, 그리드에서 시간 및 채널별로, 시간별로, 채널별로, 소스별로, 콘텐츠 유형별로, 카테고리(예를 들어, 영화, 스포츠, 뉴스, 어린이, 또는 다른 프로그래밍 카테고리)별로, 또는 다른 미리 정의된 참조, 사용자-정의(user-defined) 참조, 또는 다른 구성 참조와 같은, 몇몇 방식들 중 하나로 구성된 미디어 안내 데이터를 디스플레이 스크린에 제공할 수 있다.

도 8은 단일 디스플레이에서 상이한 유형의 콘텐츠에 대한 액세스를 또한 가능하게 해주는 시간 및 채널별로 배열된 프로그램 목록 디스플레이(800)의 예시적인 그리드를 도시하고 있다. 디스플레이(800)는: (1) 채널/콘텐츠 유형 식별자들의 열(column)(804) - (열 내의 셀인) 각각의 채널/콘텐츠 유형 식별자는 이용가능한 상이한 채널 또는 콘텐츠 유형을 식별함 -; 및 (2) 시간 식별자들(806)의 행(row) - (행 내의 셀인) 각각의 시간 식별자는 프로그래밍의 시간 블록을 식별함 - 을 갖는 그리드(802)를 포함할 수 있다. 그리드(802)는, 프로그램 목록(808)과 같은, 프로그램 목록의 셀을 또한 포함하며, 여기서 각각의 목록은 목록의 연관된 채널 및 시간에서 제공되는 프로그램의 제목을 제공한다. 사용자 입력 디바이스를 사용하여, 사용자는 하이라이트 영역(810)을 이동시키는 것에 의해 프로그램 목록을 선택할 수 있다. 하이라이트 영역(810)에 의해 선택되는 프로그램 목록에 관한 정보는 프로그램 정보 영역(812)에서 제공될 수 있다. 영역(812)은, 예를 들어, 프로그램 제목, 프로그램 설명, 프로그램이 제공되는 시간(해당되는 경우), 프로그램이 방송 중인 채널(해당되는 경우), 프로그램의 등급, 및 다른 원하는 정보를 포함할 수 있다.

선형 프로그래밍(linear programming)(예를 들어, 미리 결정된 시간에 복수의 사용자 장비 디바이스들에 전송되도록 스케줄링되고 스케줄에 따라 제공되는 콘텐츠)에 대한 액세스를 제공하는 것에 부가하여, 미디어 안내 애플리케이션은 비-선형 프로그래밍(non-linear programming)(예를 들어, 언제든지 사용자 장비 디바이스에 의해 액세스가능하고 스케줄에 따라 제공되지 않는 콘텐츠)에 대한 액세스를 또한 제공한다. 비-선형 프로그래밍은 주문형 콘텐츠(예를 들어, VOD), 인터넷 콘텐츠(예를 들어, 스트리밍 미디어, 다운로드가능한 미디어 등), 로컬로 저장된 콘텐츠(예를 들어, 위에서 설명된 임의의 사용자 장비 디바이스 또는 다른 저장 디바이스 상에 저장된 콘텐츠), 또는 다른 시간-독립적인 콘텐츠를 포함한, 상이한 콘텐츠 소스로부터의 콘텐츠를 포함할 수 있다. 주문형 콘텐츠는 특정의 콘텐츠 제공자(예를 들어, "The Sopranos" 및 "Curb Your Enthusiasm"을 제공하는 HBO On Demand)에 의해 제공되는 영화 또는 임의의 다른 콘텐츠를 포함할 수 있다. HBO ON DEMAND는 Time Warner Company L.P. 등이 소유한 서비스 마크이며, THE SOPRANOS 및 CURB YOUR ENTHUSIASM은 Home Box Office, Inc.가 소유한 상표이다. 인터넷 콘텐츠는, 채팅 세션 또는 웹 캐스트와 같은, 웹 이벤트, 또는 인터넷 웹 사이트 또는 다른 인터넷 액세스(예를 들어, FTP)를 통해 스트리밍 콘텐츠 또는 다운로드가능한 콘텐츠로서 주문형으로 이용가능한 콘텐츠를 포함할 수 있다.

그리드(802)는 주문형 목록(814), 녹화물 콘텐츠 목록(816), 및 인터넷 콘텐츠 목록(818)을 포함하는 비-선형 프로그래밍에 대한 미디어 안내 데이터를 제공할 수 있다. 상이한 유형의 콘텐츠 소스들로부터의 콘텐츠에 대한 미디어 안내 데이터를 결합시키는 디스플레이는 때때로 "혼합 미디어(mixed-media)" 디스플레이라고 지칭된다. 디스플레이(800)와 상이한, 디스플레이될 수 있는 미디어 안내 데이터의 유형들의 다양한 대체들(permutations)은 사용자 선택 또는 안내 애플리케이션 정의(예를 들어, 녹화물 및 방송 목록만, 주문형 및 방송 목록만 등의 디스플레이)에 기초할 수 있다. 예시된 바와 같이, 목록(814, 816, 및 818)은 이 목록의 선택이 주문형 목록, 녹화물 목록, 또는 인터넷 목록에, 제각기, 전용된 디스플레이에 대한 액세스를 제공할 수 있음을 나타내기 위해 그리드(802)에서 디스플레이된 시간 블록 전체에 걸쳐 있는 것으로 도시되어 있다. 일부 실시예에서, 이들 콘텐츠 유형에 대한 목록은 그리드(802)에 직접적으로 포함될 수 있다. 부가의 미디어 안내 데이터는 사용자가 내비게이션 아이콘들(820) 중 하나를 선택하는 데 응답하여 디스플레이될 수 있다. (사용자 입력 디바이스 상의 화살표 키를 누르는 것은 내비게이션 아이콘(820)을 선택하는 것과 유사한 방식으로 디스플레이에 영향을 줄 수 있다.)

디스플레이(800)는 비디오 영역(822), 및 옵션 영역(826)을 또한 포함할 수 있다. 비디오 영역(822)은 사용자에게 현재 이용가능한, 이용가능할, 또는 이용가능했던 프로그램을 사용자가 보는 것 및/또는 미리보기하는 것을 가능하게 할 수 있다. 비디오 영역(822)의 콘텐츠는 그리드(802)에서 디스플레이되는 목록들 중 하나의 목록에 대응할 수 있거나 또는 그 하나의 목록과 독립적일 수 있다. 비디오 영역을 포함하는 그리드 디스플레이는 때때로 픽처-인-가이드(picture-in-guide; PIG) 디스플레이라고 지칭된다. PIG 디스플레이 및 그의 기능성은 2003년 5월 13일자로 발행된 Satterfield 등의 미국 특허 제6,564,378호 및 2001년 5월 29일자로 발행된 Yuen 등의 미국 특허 제6,239,794호에 더 상세히 설명되는데, 이들 미국 특허는 이로써 그 전체가 참조에 의해 본 명세서에 포함된다. PIG 디스플레이는 본 명세서에 설명된 실시예의 다른 미디어 안내 애플리케이션 디스플레이 스크린에 포함될 수 있다.

옵션 영역(826)은 사용자가 상이한 유형의 콘텐츠, 미디어 안내 애플리케이션 디스플레이, 및/또는 미디어 안내 애플리케이션 기능에 액세스할 수 있게 할 수 있다. 옵션 영역(826)은 디스플레이(800)(및 본 명세서에서 설명된 다른 디스플레이 스크린)의 일부일 수 있거나, 또는 온-스크린(on-screen) 옵션을 선택하는 것 또는 사용자 입력 디바이스 상의 전용 또는 할당가능한 버튼을 누르는 것에 의해 사용자에 의해 호출될 수 있다. 옵션 영역(826) 내의 선택가능한 옵션은 그리드(802)에서의 프로그램 목록에 관련된 기능에 관한 것일 수 있거나, 메인 메뉴 디스플레이로부터 이용가능한 옵션을 포함할 수 있다. 프로그램 목록에 관련된 기능은 프로그램을 수신하는 다른 방송 시간 또는 방식을 서치하는 것, 프로그램을 녹화하는 것, 프로그램의 시리즈 녹화를 인에이블시키는 것, 프로그램 및/또는 채널을 즐겨찾기(favorite)로서 설정하는 것, 프로그램을 구매하는 것, 또는 다른 기능들을 포함할 수 있다. 메인 메뉴 디스플레이로부터 이용가능한 옵션은 서치 옵션, VOD 옵션, 부모 통제 옵션, 인터넷 옵션, 클라우드 기반 옵션, 디바이스 동기화 옵션, 제2 스크린 디바이스 옵션, 다양한 유형의 미디어 안내 데이터 디스플레이에 액세스하는 옵션, 프리미엄 서비스에 가입하는 옵션, 사용자의 프로파일을 편집하는 옵션, 브라우즈 오버레이(browse overlay)에 액세스하는 옵션, 또는 다른 옵션들을 포함할 수 있다.

미디어 안내 애플리케이션은 사용자의 선호사항에 기초하여 개인화될 수 있다. 개인화된 미디어 안내 애플리케이션은 미디어 안내 애플리케이션을 사용하여 개인화된 "경험"을 생성하기 위해 사용자가 디스플레이들 및 특징들을 커스터마이즈할 수 있게 한다. 이러한 개인화된 경험은 사용자가 이러한 커스터마이제이션(customization)을 입력할 수 있게 하는 것에 의해 그리고/또는 미디어 안내 애플리케이션이 사용자 활동을 모니터링하여 다양한 사용자 선호사항을 결정하는 것에 의해 생성될 수 있다. 사용자는 안내 애플리케이션에 로그인하는 것 또는 안내 애플리케이션에 다른 방식으로 신원을 밝히는 것에 의해 자신의 개인화된 안내 애플리케이션에 액세스할 수 있다. 미디어 안내 애플리케이션의 커스터마이제이션은 사용자 프로파일에 따라 이루어질 수 있다. 커스터마이제이션은 다양한 제시 스킴(예를 들어, 디스플레이의 컬러 스킴, 텍스트의 글꼴 크기 등), 디스플레이된 콘텐츠 목록의 양상(예를 들어, HDTV만 또는 3D 프로그래밍만, 즐겨찾기 채널 셀렉션(channel selection)에 기초한 사용자 지정 방송 채널, 채널의 디스플레이의 재정렬(re-ordering), 추천된 콘텐츠 등), 원하는 녹화 기능(예를 들어, 특정의 사용자에 대한 녹화 또는 시리즈 녹화, 녹화 품질 등), 부모 통제 설정, 인터넷 콘텐츠의 커스터마이즈된 제시(예를 들어, 소셜 미디어 콘텐츠, 이메일, 전자적으로 전달된 기사 등의 제시) 및 다른 원하는 커스터마이제이션을 포함할 수 있다.

미디어 안내 애플리케이션은 사용자가 사용자 프로파일 정보를 제공하게 할 수 있거나 또는 사용자 프로파일 정보를 자동으로 수집(compile)할 수 있다. 미디어 안내 애플리케이션은, 예를 들어, 사용자가 액세스하는 콘텐츠 및/또는 사용자가 안내 애플리케이션과 가질 수 있는 다른 상호작용을 모니터링할 수 있다. 부가적으로, 미디어 안내 애플리케이션은 (예를 들어, www.Tivo.com과 같은, 사용자가 액세스하는 인터넷 상의 다른 웹 사이트로부터, 사용자가 액세스하는 다른 미디어 안내 애플리케이션으로부터, 사용자가 액세스하는 다른 대화형 애플리케이션으로부터, 사용자의 다른 사용자 장비 디바이스로부터 등) 특정의 사용자에 관련되는 다른 사용자 프로파일의 전부 또는 일부를 획득할 수 있고, 그리고/또는 미디어 안내 애플리케이션이 액세스할 수 있는 다른 소스로부터 사용자에 관한 정보를 획득할 수 있다. 그 결과, 사용자는 사용자의 상이한 사용자 장비 디바이스들에 걸쳐 통일된 안내 애플리케이션 경험을 제공받을 수 있다. 이러한 유형의 사용자 경험은 도 11과 관련하여 아래에서 더 상세히 설명된다. 부가의 개인화된 미디어 안내 애플리케이션 기능은 2005년 7월 11일자로 출원된 Ellis 등의 미국 특허 출원 공개 제2005/0251827호, 2007년 1월 16일자로 발행된 Boyer 등의 미국 특허 제7,165,098호, 및 2002년 2월 21일자로 출원된 Ellis 등의 미국 특허 출원 공개 제2002/0174430호에 더 상세히 설명되어 있으며, 이들은 이로써 그 전체가 참조에 의해 본 명세서에 포함된다.

미디어 안내를 제공하기 위한 다른 디스플레이 배열이 도 9에 도시되어 있다. 비디오 모자이크 디스플레이(900)는 콘텐츠 유형, 장르, 및/또는 다른 구성 기준들에 기초하여 구성된 콘텐츠 정보에 대한 선택가능 옵션(902)을 포함한다. 디스플레이(900)에서, 텔레비전 목록 옵션(904)이 선택되고, 따라서 방송 프로그램 목록으로서 목록(906, 908, 910, 및 912)을 제공한다. 디스플레이(900)에서, 목록은 커버 아트, 콘텐츠로부터의 스틸 이미지, 비디오 클립 미리보기, 콘텐츠로부터의 라이브 비디오, 또는 목록에서의 미디어 안내 데이터에 의해 설명되는 콘텐츠를 사용자에게 나타내는 다른 유형의 콘텐츠를 포함하는 그래픽 이미지를 제공할 수 있다. 그래픽 목록들 각각은 또한 목록과 연관된 콘텐츠에 관한 추가 정보를 제공하기 위해 텍스트를 동반할 수 있다. 예를 들어, 목록(908)은 미디어 부분(914) 및 텍스트 부분(916)을 포함한, 하나 초과의 부분을 포함할 수 있다. 콘텐츠를 전체 스크린으로 보기 위해 또는 미디어 부분(914)에 디스플레이된 콘텐츠에 관련된 정보를 보기 위해(예를 들어, 비디오가 디스플레이되는 채널에 대한 목록을 보기 위해) 미디어 부분(914) 및/또는 텍스트 부분(916)이 선택가능할 수 있다.

디스플레이(900)에서의 목록들이 상이한 크기를 갖지만(예를 들어, 목록(906)은 목록(908, 910, 및 912)보다 큼), 원하는 경우, 모든 목록들이 동일한 크기일 수 있다. 관심의 정도를 사용자에게 표시하기 위해 또는 특정 콘텐츠를 강조하기 위해, 콘텐츠 제공자가 원하는 대로 또는 사용자 선호사항에 기초하여, 목록들이 상이한 크기를 가질 수 있거나 또는 그래픽적으로 강조될 수 있다. 콘텐츠 목록을 그래픽적으로 강조하기 위한 다양한 시스템 및 방법은, 예를 들어, 2009년 11월 12일자로 출원된 Yates의 미국 특허 출원 공개 제2010/0153885호에서 논의되며, 이 미국 출원은 이로써 그 전체가 참조에 의해 본 명세서에 포함된다.

사용자는 자신의 사용자 장비 디바이스들 중 하나 이상으로부터 콘텐츠 및 미디어 안내 애플리케이션(및 위에서 그리고 아래에서 설명된 그것의 디스플레이 스크린)에 액세스할 수 있다. 도 10은 예시적인 사용자 장비 디바이스(1000)의 일반화된 실시예를 도시한다. 사용자 장비 디바이스의 더 구체적인 구현예는 도 11과 관련하여 아래에서 논의된다. 사용자 장비 디바이스(1000)는 입력/출력(이하, "I/O") 경로(1002)를 통해 콘텐츠 및 데이터를 수신할 수 있다. I/O 경로(1002)는 콘텐츠(예를 들어, 방송 프로그래밍, 주문형 프로그래밍, 인터넷 콘텐츠, LAN(local area network) 또는 WAN(wide area network)을 통해 이용가능한 콘텐츠, 및/또는 다른 콘텐츠) 및 데이터를, 프로세싱 회로부(1006) 및 스토리지(1008)를 포함하는, 제어 회로부(1004)에 제공할 수 있다. 제어 회로부(1004)는 I/O 경로(1002)를 사용하여 명령, 요청, 및 다른 적합한 데이터를 송신 및 수신하는 데 사용될 수 있다. I/O 경로(1002)는 제어 회로부(1004)(및 구체적으로는 프로세싱 회로부(1006))를 하나 이상의 통신 경로(이하에서 설명됨)에 접속시킬 수 있다. I/O 기능은 이들 통신 경로 중 하나 이상에 의해 제공될 수 있지만, 도면을 과도하게 복잡하게 하는 것을 피하기 위해 도 10에서는 단일 경로로서 도시되어 있다.

제어 회로부(1004)는 프로세싱 회로부(1006)와 같은 임의의 적합한 프로세싱 회로부에 기초할 수 있다. 본 명세서에서 언급되는 바와 같이, 프로세싱 회로부는 하나 이상의 마이크로프로세서, 마이크로컨트롤러, 디지털 신호 프로세서, 프로그래밍가능 로직 디바이스, FPGA(field-programmable gate array), ASIC(application-specific integrated circuit) 등에 기초한 회로부를 의미하는 것으로 이해되어야 하며, 다중 코어 프로세서(예를 들어, 듀얼 코어, 쿼드 코어, 헥사 코어, 또는 임의의 적합한 개수의 코어들) 또는 수퍼컴퓨터를 포함할 수 있다. 일부 실시예에서, 프로세싱 회로부는 다수의 개별 프로세서들 또는 프로세싱 유닛들, 예를 들어, 다수의 동일한 유형의 프로세싱 유닛들(예를 들어, 2개의 Intel Core i7 프로세서) 또는 다수의 상이한 프로세서들(예를 들어, Intel Core i5 프로세서와 Intel Core i7 프로세서)에 걸쳐 분산될 수 있다. 일부 실시예에서, 제어 회로부(1004)는 메모리(즉, 스토리지(1008))에 저장되는 미디어 안내 애플리케이션에 대한 명령어들을 실행한다. 구체적으로는, 제어 회로부(1004)는 위에서 그리고 아래에서 논의된 기능들을 수행하도록 미디어 안내 애플리케이션에 의해 지시받을 수 있다. 예를 들어, 미디어 안내 애플리케이션은 미디어 안내 디스플레이를 생성하기 위한 명령어들을 제어 회로부(1004)에 제공할 수 있다. 일부 구현예에서, 제어 회로부(1004)에 의해 수행되는 임의의 액션은 미디어 안내 애플리케이션으로부터 수신되는 명령어들에 기초할 수 있다.

클라이언트-서버 기반 실시예에서, 제어 회로부(1004)는 안내 애플리케이션 서버 또는 다른 네트워크들 또는 서버들과 통신하기에 적합한 통신 회로부를 포함할 수 있다. 위에서 언급된 기능성을 수행하기 위한 명령어들은 안내 애플리케이션 서버 상에 저장될 수 있다. 통신 회로부는 케이블 모뎀, ISDN(integrated services digital network) 모뎀, DSL(digital subscriber line) 모뎀, 전화 모뎀, 이더넷 카드, 또는 다른 장비와의 통신을 위한 무선 모뎀, 또는 임의의 다른 적합한 통신 회로부를 포함할 수 있다. 그러한 통신은 (도 11과 관련하여 더 상세히 설명되는) 인터넷 또는 임의의 다른 적합한 통신 네트워크들 또는 경로들을 수반할 수 있다. 그에 부가하여, 통신 회로부는 사용자 장비 디바이스들의 피어-투-피어 통신, 또는 서로 떨어져 있는 위치들에 있는 사용자 장비 디바이스들의 통신을 가능하게 하는 회로부를 포함할 수 있다(아래에서 더 상세히 설명됨).

메모리는 제어 회로부(1004)의 일부인 스토리지(1008)로서 제공되는 전자 저장 디바이스일 수 있다. 본 명세서에서 언급되는 바와 같이, 문구 "전자 저장 디바이스" 또는 "저장 디바이스"는, 랜덤 액세스 메모리, 판독 전용 메모리, 하드 드라이브, 광학 드라이브, DVD(digital video disc) 레코더, CD(compact disc) 레코더, BD(BLU-RAY disc) 레코더, BLU-RAY 3D 디스크 레코더, 디지털 비디오 레코더(DVR, 때때로 개인용 비디오 레코더(personal video recorder) 또는 PVR이라고 불림), 솔리드 스테이트 디바이스, 양자 저장 디바이스(quantum storage device), 게이밍 콘솔, 게이밍 매체, 또는 임의의 다른 적합한 고정식 또는 이동식 저장 디바이스, 및/또는 이들의 임의의 조합과 같은, 전자 데이터, 컴퓨터 소프트웨어, 또는 펌웨어를 저장하기 위한 임의의 디바이스를 의미하는 것으로 이해되어야 한다. 스토리지(1008)는 본 명세서에 설명된 다양한 유형의 콘텐츠는 물론 위에서 설명된 미디어 안내 데이터를 저장하는 데 사용될 수 있다. 비휘발성 메모리가 (예를 들어, 부트-업 루틴(boot-up routine) 및 다른 명령어들을 론칭하기 위해) 또한 사용될 수 있다. 도 11과 관련하여 설명된, 클라우드 기반 스토리지는 스토리지(1008)를 보충하기 위해 또는 스토리지(1008) 대신에 사용될 수 있다.

제어 회로부(1004)는 비디오 생성 회로부 및, 하나 이상의 아날로그 튜너와 같은, 튜닝 회로부, 하나 이상의 MPEG-2 디코더 또는 다른 디지털 디코딩 회로부, 고화질 튜너, 또는 임의의 다른 적당한 튜닝 또는 비디오 회로들 또는 그러한 회로들의 조합들을 포함할 수 있다. (예를 들어, 오버-디-에어(over-the-air), 아날로그, 또는 디지털 신호를 저장을 위해 MPEG 신호로 변환하기 위한) 인코딩 회로부가 또한 제공될 수 있다. 제어 회로부(1004)는 콘텐츠를 사용자 장비(1000)의 선호된 출력 포맷으로 업컨버팅(upconverting) 및 다운컨버팅(downconverting)하기 위한 스케일러 회로부(scaler circuitry)를 또한 포함할 수 있다. 회로부(1004)는 디지털 신호와 아날로그 신호 사이에서 변환하기 위한 디지털-아날로그 변환기 회로부 및 아날로그-디지털 변환기 회로부를 또한 포함할 수 있다. 튜닝 및 인코딩 회로부는 콘텐츠를 수신하여 디스플레이하기 위해, 재생하기 위해, 또는 녹화하기 위해 사용자 장비 디바이스에 의해 사용될 수 있다. 튜닝 및 인코딩 회로부는 안내 데이터를 수신하는 데 또한 사용될 수 있다. 예를 들어, 튜닝, 비디오 생성, 인코딩, 디코딩, 암호화, 복호화, 스케일러, 및 아날로그/디지털 회로부를 포함한, 본 명세서에 설명된 회로부는 하나 이상의 범용 또는 특수 프로세서 상에서 실행되는 소프트웨어를 사용하여 구현될 수 있다. 동시 튜닝 기능(예를 들어, 시청 및 녹화 기능, PIP(picture-in-picture) 기능, 다중 튜너 녹화 등)을 핸들링하기 위해 다수의 튜너들이 제공될 수 있다. 스토리지(1008)가 사용자 장비(1000)와 별개의 디바이스로서 제공되는 경우, (다수의 튜너들을 포함하는) 튜닝 및 인코딩 회로부는 스토리지(1008)와 연관될 수 있다.

사용자는 사용자 입력 인터페이스(1010)를 사용하여 제어 회로부(1004)에 지시들을 송신할 수 있다. 사용자 입력 인터페이스(1010)는, 리모콘, 마우스, 트랙볼, 키패드, 키보드, 터치 스크린, 터치패드, 스타일러스 입력, 조이스틱, 음성 인식 인터페이스, 또는 다른 사용자 입력 인터페이스들과 같은, 임의의 적합한 사용자 인터페이스일 수 있다. 디스플레이(1012)는 독립형 디바이스로서 제공될 수 있거나 또는 사용자 장비 디바이스(1000)의 다른 요소와 통합될 수 있다. 예를 들어, 디스플레이(1012)는 터치스크린 또는 터치 감응 디스플레이일 수 있다. 그러한 상황에서, 사용자 입력 인터페이스(1010)는 디스플레이(1012)와 통합될 수 있거나 디스플레이(512)와 결합될 수 있다. 디스플레이(1012)는 모니터, 텔레비전, 모바일 디바이스용 LCD(liquid crystal display), 비정질 실리콘 디스플레이, 저온 폴리 실리콘 디스플레이, 전자 잉크 디스플레이, 전기 영동 디스플레이, 액티브 매트릭스 디스플레이, 전기 습윤 디스플레이(electro-wetting display), 전기 유체 디스플레이(electrofluidic display), 음극선관 디스플레이, 발광 다이오드 디스플레이, 전자 발광 디스플레이, 플라스마 디스플레이 패널, 고성능 어드레싱 디스플레이(high-performance addressing display), 박막 트랜지스터 디스플레이, 유기 발광 다이오드 디스플레이, 표면 전도 전자 방출 디스플레이(surface-conduction electron-emitter display)(SED), 레이저 텔레비전, 탄소 나노튜브, 양자점 디스플레이, 간섭계 변조기 디스플레이(interferometric modulator display), 또는 시각적 이미지를 디스플레이하기 위한 임의의 다른 적합한 장비 중 하나 이상일 수 있다. 일부 실시예에서, 디스플레이(1012)는 HDTV 가능(HDTV-capable)일 수 있다. 일부 실시예에서, 디스플레이(1012)는 3D 디스플레이일 수 있고, 대화형 미디어 안내 애플리케이션 및 임의의 적합한 콘텐츠가 3D로 디스플레이될 수 있다. 비디오 카드 또는 그래픽 카드는 디스플레이(1012)로의 출력을 생성할 수 있다. 비디오 카드는 3D 장면 및 2D 그래픽의 가속 렌더링, MPEG-2/MPEG-4 디코딩, TV 출력, 또는 다수의 모니터들을 접속시키는 능력과 같은 다양한 기능들을 제공할 수 있다. 비디오 카드는 제어 회로부(1004)와 관련하여 위에서 설명된 임의의 프로세싱 회로부일 수 있다. 비디오 카드는 제어 회로부(1004)와 통합될 수 있다. 스피커(1014)는 사용자 장비 디바이스(1000)의 다른 요소와 통합되는 것으로 제공될 수 있거나 또는 독립형 유닛일 수 있다. 디스플레이(1012) 상에 디스플레이되는 비디오 및 다른 콘텐츠의 오디오 컴포넌트는 스피커(1014)를 통해 재생될 수 있다. 일부 실시예에서, 오디오는, 오디오를 프로세싱하여 스피커(1014)를 통해 출력하는, 수신기(도시되지 않음)에 배포될 수 있다.

안내 애플리케이션은 임의의 적합한 아키텍처를 사용하여 구현될 수 있다. 예를 들어, 이는 사용자 장비 디바이스(1000) 상에 전체적으로 구현된 독립형 애플리케이션일 수 있다. 그러한 접근법에서, 애플리케이션의 명령어들은 로컬로(예를 들어, 스토리지(1008)에) 저장되고, 애플리케이션에 의해 사용하기 위한 데이터는 (예를 들어, 대역외 피드(out-of-band feed)로부터, 인터넷 자원으로부터, 또는 다른 적합한 접근법을 사용하여) 주기적으로 다운로드된다. 제어 회로부(1004)는 애플리케이션의 명령어들을 스토리지(1008)로부터 리트리빙하고 본 명세서에서 논의된 디스플레이들 중 임의의 것을 생성하기 위해 명령어들을 프로세싱할 수 있다. 프로세싱된 명령어들에 기초하여, 제어 회로부(1004)는 입력이 입력 인터페이스(1010)로부터 수신될 때 어떤 액션을 수행할지를 결정할 수 있다. 예를 들어, 입력 인터페이스(1010)가 위/아래(up/down) 버튼이 선택되었음을 표시할 때 디스플레이 상의 커서의 위/아래로의 이동이 프로세싱된 명령어들에 의해 표시될 수 있다.

일부 실시예에서, 미디어 안내 애플리케이션은 클라이언트-서버 기반 애플리케이션이다. 사용자 장비 디바이스(1000) 상에 구현된 씩(thick) 또는 씬(thin) 클라이언트에 의해 사용하기 위한 데이터는 사용자 장비 디바이스(1000)에 원격인 서버에 요청을 발행함으로써 요구 시에 리트리빙된다. 클라이언트-서버 기반 안내 애플리케이션의 일 예에서, 제어 회로부(1004)는 원격 서버에 의해 제공되는 웹 페이지를 해석하는 웹 브라우저를 실행한다. 예를 들어, 원격 서버는 애플리케이션에 대한 명령어들을 저장 디바이스에 저장할 수 있다. 원격 서버는 저장된 명령어들을 회로부(예컨대, 제어 회로부(1004))를 사용하여 프로세싱하고 위에서 그리고 아래에서 논의된 디스플레이를 생성할 수 있다. 클라이언트 디바이스는 원격 서버에 의해 생성된 디스플레이를 수신할 수 있으며, 디스플레이의 콘텐츠를 장비 디바이스(1000) 상에 로컬로 디스플레이할 수 있다. 이러한 방식으로, 명령어들의 프로세싱은 서버에 의해 원격적으로 수행되는 반면, 결과적인 디스플레이는 장비 디바이스(1000) 상에서 로컬로 제공된다. 장비 디바이스(1000)는 입력 인터페이스(1010)를 통해 사용자로부터 입력을 수신하고 대응하는 디스플레이를 프로세싱하고 생성하기 위해 그 입력을 원격 서버에게 전송할 수 있다. 예를 들어, 장비 디바이스(1000)는 입력 인터페이스(1010)를 통해 위/아래 버튼이 선택되었음을 나타내는 통신을 원격 서버에게 전송할 수 있다. 원격 서버는 그 입력에 따라 명령어들을 프로세싱하고 입력에 대응하는 애플리케이션의 디스플레이(예를 들어, 커서를 위/아래로 이동시키는 디스플레이)를 생성할 수 있다. 생성된 디스플레이는 이어서 사용자에게 제시하기 위해 장비 디바이스(1000)에 전송된다.

일부 실시예에서, 미디어 안내 애플리케이션은 (제어 회로부(1004)에 의해 실행되는) 인터프리터(interpreter) 또는 가상 머신에 의해 다운로드되고 인터프리트되거나 또는 다른 방식으로 실행된다. 일부 실시예에서, 안내 애플리케이션은 EBIF(ETV Binary Interchange Format)로 인코딩되고, 적합한 피드의 일부로서 제어 회로부(1004)에 의해 수신되며, 제어 회로부(1004) 상에서 실행되는 사용자 에이전트에 의해 해석될 수 있다. 예를 들어, 안내 애플리케이션은 EBIF 애플리케이션일 수 있다. 일부 실시예에서, 안내 애플리케이션은 제어 회로부(1004)에 의해 실행되는 로컬 가상 머신 또는 다른 적합한 미들웨어에 의해 수신되고 실행되는 일련의 자바 기반 파일들에 의해 정의될 수 있다. 그러한 실시예들 중 일부(예를 들어, MPEG-2 또는 다른 디지털 미디어 인코딩 스킴을 이용하는 것)에서, 안내 애플리케이션은, 예를 들어, 프로그램의 MPEG 오디오 및 비디오 패킷과 함께 MPEG-2 객체 캐로셀(MPEG-2 object carousel)에 인코딩되어 전송될 수 있다.

도 10의 사용자 장비 디바이스(1000)는 도 11의 시스템(1100)에서 사용자 텔레비전 장비(1102), 사용자 컴퓨터 장비(1104), 무선 사용자 통신 디바이스(1106), 또는 비-휴대용 게이밍 머신과 같은, 콘텐츠에 액세스하기에 적합한 임의의 다른 유형의 사용자 장비로서 구현될 수 있다. 간략함을 위해, 이들 디바이스는 본 명세서에서 집합적으로 사용자 장비 또는 사용자 장비 디바이스라고 지칭될 수 있으며, 위에서 설명된 사용자 장비 디바이스와 실질적으로 유사할 수 있다. 미디어 안내 애플리케이션이 구현될 수 있는 사용자 장비 디바이스는 독립형 디바이스로서 기능할 수 있거나 또는 디바이스들의 네트워크의 일부일 수 있다. 디바이스들의 다양한 네트워크 구성들이 구현될 수 있으며, 아래에서 더 상세히 논의된다.

도 10과 관련하여 위에서 설명된 시스템 특징들 중 적어도 일부를 이용하는 사용자 장비 디바이스는 사용자 텔레비전 장비(1102), 사용자 컴퓨터 장비(1104), 또는 무선 사용자 통신 디바이스(1106)로만 분류되지 않을 수 있다. 예를 들어, 사용자 텔레비전 장비(1102)는, 일부 사용자 컴퓨터 장비(1104)와 같이, 인터넷 콘텐츠에 대한 액세스를 가능하게 하는 인터넷 가능(Internet-enabled)일 수 있는 반면, 사용자 컴퓨터 장비(1104)는, 일부 텔레비전 장비(1102)와 같이, 텔레비전 프로그래밍에 대한 액세스를 가능하게 해주는 튜너를 포함할 수 있다. 미디어 안내 애플리케이션은 다양한 상이한 유형의 사용자 장비 상에서 동일한 레이아웃을 가질 수 있거나 또는 사용자 장비의 디스플레이 능력에 맞춤화될 수 있다. 예를 들어, 사용자 컴퓨터 장비(1104) 상에서, 안내 애플리케이션은 웹 브라우저에 의해 액세스되는 웹 사이트로서 제공될 수 있다. 다른 예에서, 안내 애플리케이션은 무선 사용자 통신 디바이스(1106)에 대해 스케일링 다운(scale down)될 수 있다.

시스템(1100)에, 전형적으로 하나 초과의 각각의 유형의 사용자 장비 디바이스가 있지만 도면을 과도하게 복잡하게 하는 것을 피하기 위해 각각의 유형이 단지 하나만 도 11에 도시되어 있다. 그에 부가하여, 각각의 사용자는 하나 초과의 유형의 사용자 장비 디바이스 그리고 또한 하나 초과의 각각의 유형의 사용자 장비 디바이스를 이용할 수 있다.

일부 실시예에서, 사용자 장비 디바이스(예컨대, 사용자 텔레비전 장비(1102), 사용자 컴퓨터 장비(1104), 무선 사용자 통신 디바이스(1106))는 "제2 스크린 디바이스"라고 지칭될 수 있다. 예를 들어, 제2 스크린 디바이스는 제1 사용자 장비 디바이스 상에서 제시되는 콘텐츠를 보충할 수 있다. 제2 스크린 디바이스 상에서 제시되는 콘텐츠는 제1 디바이스 상에서 제시되는 콘텐츠를 보충하는 임의의 적합한 콘텐츠일 수 있다. 일부 실시예에서, 제2 스크린 디바이스는 제1 디바이스의 설정 및 디스플레이 기본설정을 조정하기 위한 인터페이스를 제공한다. 일부 실시예에서, 제2 스크린 디바이스는 다른 제2 스크린 디바이스와 상호작용하도록 또는 소셜 네트워크와 상호작용하도록 구성된다. 제2 스크린 디바이스는 제1 디바이스와 동일한 방에, 제1 디바이스와 상이한 방에 그러나 동일한 주택 또는 건물에, 또는 제1 디바이스와 상이한 건물에 위치될 수 있다.

사용자는 또한 가정 내 디바이스 및 원격 디바이스에 걸쳐 일관된 미디어 안내 애플리케이션 설정을 유지하기 위해 다양한 설정을 설정할 수 있다. 설정은 본 명세서에 설명된 것은 물론, 채널 및 프로그램 즐겨찾기, 안내 애플리케이션이 프로그래밍 추천을 하기 위해 이용하는 프로그래밍 선호사항, 디스플레이 기본설정, 및 다른 바람직한 안내 설정을 포함한다. 예를 들어, 사용자가 자신의 사무실에 있는 자신의 개인용 컴퓨터 상에서, 예를 들어, 웹 사이트 www.Tivo.com 상에서 한 채널을 즐겨찾기로서 설정하는 경우, 동일한 채널이 사용자의 가정 내 디바이스(예를 들어, 사용자 텔레비전 장비 및 사용자 컴퓨터 장비)는 물론, 원하는 경우, 사용자의 모바일 디바이스 상에서 즐겨찾기로서 나타날 것이다. 따라서, 하나의 사용자 장비 디바이스 상에서 행해진 변경은 다른 사용자 장비 디바이스 상에서의 안내 경험을, 이들이 동일한 또는 상이한 유형의 사용자 장비 디바이스인지에 관계없이, 변경할 수 있다. 그에 부가하여, 행해진 변경은 사용자에 의해 입력되는 설정은 물론, 안내 애플리케이션에 의해 모니터링되는 사용자 활동에 기초할 수 있다.

사용자 장비 디바이스는 통신 네트워크(1114)에 커플링될 수 있다. 즉, 사용자 텔레비전 장비(1102), 사용자 컴퓨터 장비(1104), 및 무선 사용자 통신 디바이스(1106)는, 제각기, 통신 경로(1108, 1110, 및 1112)를 통해 통신 네트워크(1114)에 커플링된다. 통신 네트워크(1114)는 인터넷, 모바일 폰 네트워크, 모바일 음성 또는 데이터 네트워크(예를 들어, 4G 또는 LTE 네트워크), 케이블 네트워크, 공중 교환 전화 네트워크, 또는 다른 유형의 통신 네트워크 또는 통신 네트워크들의 조합을 포함하는 하나 이상의 네트워크일 수 있다. 경로(1108, 1110, 및 1112)는, 위성 경로, 광 섬유 경로, 케이블 경로, 인터넷 통신(예컨대, IPTV)을 지원하는 경로, (예컨대, 방송 또는 다른 무선 신호를 위한) 자유 공간 접속, 또는 임의의 다른 적합한 유선 또는 무선 통신 경로 또는 그러한 경로들의 조합과 같은, 하나 이상의 통신 경로를 개별적으로 또는 함께 포함할 수 있다. 경로(1112)는, 도 11에 도시된 예시적인 실시예에서, 그것이 무선 경로임을 나타내기 위해 점선으로 그려져 있고, 경로(1108 및 1110)는 이들이 유선 경로임을 나타내기 위해 실선으로 그려져 있다(그러나 이들 경로는, 원하는 경우, 무선 경로일 수 있음). 사용자 장비 디바이스와의 통신은 이들 통신 경로 중 하나 이상에 의해 제공될 수 있지만, 도면을 과도하게 복잡하게 하는 것을 피하기 위해 도 11에 단일 경로로서 도시되어 있다.

비록 사용자 장비 디바이스들 사이에 통신 경로가 그려져 있지 않지만, 이들 디바이스는, 경로(1108, 1110, 및 1112)와 관련하여 위에서 설명된 것과 같은, 통신 경로는 물론, USB 케이블, IEEE 1394 케이블, 무선 경로(예를 들어, 블루투스, 적외선, IEEE 802-11x 등), 또는 유선 또는 무선 경로를 통한 다른 단거리 통신과 같은, 다른 단거리 포인트-투-포인트 통신 경로를 통해 서로 직접적으로 통신할 수 있다. 블루투스는 Bluetooth SIG, INC.가 소유한 인증 마크(certification mark)이다. 사용자 장비 디바이스는 또한 통신 네트워크(1114)를 경유한 간접적인 경로를 통해 서로 직접적으로 통신할 수 있다.

시스템(1100)은, 제각기, 통신 경로(1120 및 1122)를 통해 통신 네트워크(1114)에 커플링된 콘텐츠 소스(1116) 및 미디어 안내 데이터 소스(1118)를 포함한다. 경로(1120 및 1122)는 경로(1108, 1110, 및 1112)와 관련하여 위에서 설명된 통신 경로들 중 임의의 것을 포함할 수 있다. 콘텐츠 소스(1116) 및 미디어 안내 데이터 소스(1118)와의 통신은 하나 이상의 통신 경로를 통해 교환될 수 있지만, 도면을 과도하게 복잡하게 하는 것을 피하기 위해 도 11에 단일 경로로서 도시되어 있다. 그에 부가하여, 콘텐츠 소스(1116) 및 미디어 안내 데이터 소스(1118) 각각이 하나 초과 있을 수 있지만, 도면을 과도하게 복잡하게 하는 것을 피하기 위해 각각이 단지 하나만 도 11에 도시되어 있다. (상이한 유형의 이들 소스 각각은 아래에서 논의된다.) 원하는 경우, 콘텐츠 소스(1116) 및 미디어 안내 데이터 소스(1118)는 하나의 소스 디바이스로서 통합될 수 있다. 비록 소스(1116 및 1118)와 사용자 장비 디바이스(1102, 1104, 및 1106) 사이의 통신이 통신 네트워크(1114)를 통하는 것으로서 도시되어 있지만, 일부 실시예에서, 소스(1116 및 1118)는 경로(1108, 1110, 및 1112)와 관련하여 위에서 설명된 것과 같은 통신 경로(도시되지 않음)를 통해 사용자 장비 디바이스(1102, 1104, 및 1106)와 직접적으로 통신할 수 있다.

콘텐츠 소스(1116)는 텔레비전 배포 설비, 케이블 시스템 헤드엔드, 위성 배포 설비, 프로그래밍 소스(예를 들어, NBC, ABC, HBO 등과 같은, 텔레비전 방송국), 중간 배포 설비 및/또는 서버, 인터넷 제공자, 주문형 미디어 서버, 및 다른 콘텐츠 제공자들을 포함한 하나 이상의 유형의 콘텐츠 배포 장비를 포함할 수 있다. NBC는 National Broadcasting Company, Inc.가 소유한 상표이고, ABC는 American Broadcasting Company, Inc.가 소유한 상표이며, HBO는 Home Box Office, Inc.가 소유한 상표이다. 콘텐츠 소스(1116)는 콘텐츠의 창작자(originator)일 수 있거나(예를 들어, 텔레비전 방송국, 웹 캐스트 제공자 등) 또는 콘텐츠의 창작자가 아닐 수 있다(예를 들어, 주문형 콘텐츠 제공자, 다운로드를 위한 방송 프로그램의 콘텐츠의 인터넷 제공자 등). 콘텐츠 소스(1116)는 케이블 소스, 위성 제공자, 주문형 제공자, 인터넷 제공자, 오버-더-톱(over-the-top) 콘텐츠 제공자, 또는 다른 콘텐츠 제공자들을 포함할 수 있다. 콘텐츠 소스(1116)는 상이한 유형의 콘텐츠(사용자에 의해 선택된 비디오 콘텐츠를 포함함)를, 사용자 장비 디바이스들 중 임의의 것으로부터 멀리 떨어진 위치에, 저장하는 데 사용되는 원격 미디어 서버를 또한 포함할 수 있다. 콘텐츠의 원격 저장, 및 원격적으로 저장된 콘텐츠를 사용자 장비에 제공하는 것을 위한 시스템 및 방법은 2010년 7월 20일자로 발행된 Ellis 등의 미국 특허 제7,761,892호와 관련하여 더 상세히 논의되며, 이 미국 특허는 이로써 그 전체가 참조에 의해 본 명세서에 포함된다.

미디어 안내 데이터 소스(1118)는, 위에서 설명된 미디어 안내 데이터와 같은, 미디어 안내 데이터를 제공할 수 있다. 미디어 안내 데이터는 임의의 적합한 접근법을 사용하여 사용자 장비 디바이스에 제공될 수 있다. 일부 실시예에서, 안내 애플리케이션은 데이터 피드(예를 들어, 연속적인 피드(continuous feed) 또는 트리클 피드(trickle feed))를 통해 프로그램 가이드 데이터를 수신하는 독립형 대화형 텔레비전 프로그램 가이드일 수 있다. 프로그램 스케줄 데이터 및 다른 안내 데이터는 텔레비전 채널 측파대(television channel sideband)에서, 대역내 디지털 신호를 사용하여, 대역외 디지털 신호를 사용하여, 또는 임의의 다른 적합한 데이터 전송 기술에 의해 사용자 장비에 제공될 수 있다. 프로그램 스케줄 데이터 및 다른 미디어 안내 데이터는 다수의 아날로그 또는 디지털 텔레비전 채널들 상에서 사용자 장비에 제공될 수 있다.

일부 실시예에서, 미디어 안내 데이터 소스(1118)로부터의 안내 데이터는 클라이언트-서버 접근법을 사용하여 사용자의 장비에 제공될 수 있다. 예를 들어, 사용자 장비 디바이스는 서버로부터 미디어 안내 데이터를 풀링(pull)할 수 있거나, 또는 서버가 미디어 안내 데이터를 사용자 장비 디바이스로 푸싱(push)할 수 있다. 일부 실시예에서, 사용자의 장비 상에 존재하는 안내 애플리케이션 클라이언트는, 필요할 때, 예를 들어, 안내 데이터가 오래되었을 때 또는 사용자 장비 디바이스가 데이터를 수신하라는 사용자로부터의 요청을 수신할 때, 안내 데이터를 획득하기 위해 소스(1118)와의 세션을 개시할 수 있다. 임의의 적합한 빈도로(예를 들어, 연속적으로, 매일, 사용자 지정 시간 기간마다, 시스템 지정 시간 기간마다, 사용자 장비로부터의 요청에 응답하여 등) 미디어 안내가 사용자 장비에 제공될 수 있다. 미디어 안내 데이터 소스(1118)는 사용자 장비 디바이스(1102, 1104 및 1106)에 미디어 안내 애플리케이션 자체 또는 미디어 안내 애플리케이션에 대한 소프트웨어 업데이트를 제공할 수 있다.

일부 실시예에서, 미디어 안내 데이터는 시청자 데이터(viewer data)를 포함할 수 있다. 예를 들어, 시청자 데이터는 현재의 및/또는 과거의 사용자 활동 정보(예를 들어, 사용자가 전형적으로 어떤 콘텐츠를 시청하는지, 하루 중 어떤 시간에서 사용자가 콘텐츠를 시청하는지, 사용자가 소셜 네트워크와 상호작용하는지 여부, 어떤 시간에서 사용자가 정보를 게시하기 위해 소셜 네트워크와 상호작용하는지, 사용자가 전형적으로 어떤 유형의 콘텐츠를 시청하는지(예를 들어, 유료 TV 또는 무료 TV), 기분, 뇌 활동 정보 등)를 포함할 수 있다. 미디어 안내 데이터는 가입 데이터를 또한 포함할 수 있다. 예를 들어, 가입 데이터는 주어진 사용자가 어느 소스 또는 서비스에 가입하는지 및/또는 주어진 사용자가 어느 소스 또는 서비스에 이전에 가입했으나 나중에 액세스를 종료했는지(예를 들어, 사용자가 프리미엄 채널에 가입하는지 여부, 사용자가 프리미엄 레벨의 서비스를 추가했는지 여부, 사용자가 인터넷 속도를 증가시켰는지 여부)를 식별해줄 수 있다. 일부 실시예에서, 시청자 데이터 및/또는 가입 데이터는 1년 초과의 기간 동안 주어진 사용자의 패턴을 식별해줄 수 있다. 미디어 안내 데이터는 주어진 사용자가 서비스/소스에 대한 액세스를 종료할 가능성을 나타내는 점수를 생성하는 데 사용되는 모델(예를 들어, 생존자 모델(survivor model))을 포함할 수 있다. 예를 들어, 미디어 안내 애플리케이션은 주어진 사용자가 특정의 서비스 또는 소스에 대한 액세스를 종료할지 여부의 가능성을 나타내는 값 또는 점수를 생성하기 위해 그 모델을 사용하여 시청자 데이터를 가입 데이터와 함께 프로세싱할 수 있다. 상세하게는, 더 높은 점수는 사용자가 특정의 서비스 또는 소스에 대한 액세스를 종료할 것이라는 더 높은 신뢰 수준(level of confidence)을 나타낼 수 있다. 점수에 기초하여, 미디어 안내 애플리케이션은 사용자가 액세스를 종료할 가능성이 있을 것으로서 점수에 의해 표시되는 특정의 서비스 또는 소스를 유지하도록 사용자를 유도하는 프로모션을 생성할 수 있다.

미디어 안내 애플리케이션은, 예를 들어, 사용자 장비 디바이스 상에 구현되는 독립형 애플리케이션일 수 있다. 예를 들어, 미디어 안내 애플리케이션은 스토리지(1008)에 저장되고 사용자 장비 디바이스(1000)의 제어 회로부(1004)에 의해 실행될 수 있는 소프트웨어 또는 실행가능 명령어들의 세트로서 구현될 수 있다. 일부 실시예에서, 미디어 안내 애플리케이션은 클라이언트 애플리케이션만이 사용자 장비 디바이스 상에 존재하고 서버 애플리케이션이 원격 서버 상에 존재하는 클라이언트-서버 애플리케이션일 수 있다. 예를 들어, 미디어 안내 애플리케이션들은 부분적으로 사용자 장비 디바이스(1000)의 제어 회로부(1004) 상의 클라이언트 애플리케이션으로서 그리고 부분적으로 원격 서버 상의 제어 회로부 상에서 실행되는 서버 애플리케이션(예를 들어, 미디어 안내 데이터 소스(1118))으로서 원격 서버 상에 구현될 수 있다. (미디어 안내 데이터 소스(1118)와 같은) 원격 서버의 제어 회로부에 의해 실행될 때, 미디어 안내 애플리케이션은 안내 애플리케이션 디스플레이들을 생성하고 생성된 디스플레이들을 사용자 장비 디바이스들에 전송하도록 제어 회로부에 지시할 수 있다. 서버 애플리케이션은 사용자 장비 상에 저장하기 위한 데이터를 전송하도록 미디어 안내 데이터 소스(1118)의 제어 회로부에 지시할 수 있다. 클라이언트 애플리케이션은 안내 애플리케이션 디스플레이를 생성하도록 수신 사용자 장비의 제어 회로부에 지시할 수 있다.

사용자 장비 디바이스(1102, 1104, 및 1106)에 전달되는 콘텐츠 및/또는 미디어 안내 데이터는 OTT(over-the-top) 콘텐츠일 수 있다. OTT 콘텐츠 전달은, 위에서 설명된 임의의 사용자 장비 디바이스를 포함한, 인터넷 가능 사용자 디바이스가 케이블 또는 위성 접속을 통해 수신되는 콘텐츠에 부가하여, 위에서 설명된 콘텐츠를 포함한, 인터넷을 통해 전송되는 콘텐츠를 수신할 수 있게 한다. OTT 콘텐츠는 인터넷 서비스 제공자(ISP)에 의해 제공되는 인터넷 접속을 통해 전달되지만, 서드파티가 콘텐츠를 배포한다. ISP는 콘텐츠의 시청 능력, 저작권, 또는 재배포에 대해 책임지지 않을 수 있으며, OTT 콘텐츠 제공자에 의해 제공되는 IP 패킷만을 전송할 수 있다. OTT 콘텐츠 제공자의 예는 IP 패킷을 통해 오디오 및 비디오를 제공하는, YOUTUBE, NETFLIX, 및 HULU를 포함한다. Youtube는 Google Inc.가 소유한 상표이고, Netflix는 Netflix Inc.가 소유한 상표이며, Hulu는 Hulu, LLC가 소유한 상표이다. OTT 콘텐츠 제공자는 부가적으로 또는 대안적으로 위에서 설명된 미디어 안내 데이터를 제공할 수 있다. 콘텐츠 및/또는 미디어 안내 데이터에 부가하여, OTT 콘텐츠의 제공자는 미디어 안내 애플리케이션(예를 들어, 웹 기반 애플리케이션 또는 클라우드 기반 애플리케이션)을 배포할 수 있거나, 또는 콘텐츠가 사용자 장비 디바이스 상에 저장된 미디어 안내 애플리케이션에 의해 디스플레이될 수 있다.

미디어 안내 시스템(1100)은 콘텐츠에 액세스하고 미디어 안내를 제공하는 목적을 위해 사용자 장비 디바이스와 콘텐츠 및 안내 데이터의 소스가 서로 통신할 수 있는 다수의 접근법들 또는 네트워크 구성들을 설명하도록 의도되어 있다. 본 명세서에 설명된 실시예는 이들 접근법 중 임의의 것 또는 그 서브세트에서, 또는 콘텐츠를 전달하고 미디어 안내를 제공하기 위해 다른 접근법을 이용하는 시스템에서 적용될 수 있다. 이하의 4가지 접근법은 도 11의 일반화된 예에 대한 특정 예시를 제공한다.

하나의 접근법에서, 사용자 장비 디바이스들은 홈 네트워크 내에서 서로 통신할 수 있다. 사용자 장비 디바이스들은 앞서 설명된 단거리 포인트-투-포인트 통신 스킴을 통해 직접적으로, 홈 네트워크 상에 제공된 허브 또는 다른 유사한 디바이스를 통한 간접적인 경로를 통해, 또는 통신 네트워크(1114)를 통해 서로 통신할 수 있다. 단일 가정 내의 다수의 개인들 각각은 홈 네트워크 상의 상이한 사용자 장비 디바이스를 동작시킬 수 있다. 그 결과, 다양한 미디어 안내 정보 또는 설정이 상이한 사용자 장비 디바이스들 사이에서 전달되는 것이 바람직할 수 있다. 예를 들어, 사용자가, 2005년 7월 11일자로 출원된 Ellis 등의 미국 특허 공개 제2005/0251827호에 더 상세히 설명된 바와 같이, 홈 네트워크 내의 상이한 사용자 장비 디바이스 상에 일관된 미디어 안내 애플리케이션 설정을 유지하는 것이 바람직할 수 있다. 홈 네트워크 내의 상이한 유형의 사용자 장비 디바이스들은 또한 콘텐츠를 전송하기 위해 서로 통신할 수 있다. 예를 들어, 사용자는 사용자 컴퓨터 장비로부터 휴대용 비디오 플레이어 또는 휴대용 음악 플레이어에 콘텐츠를 전송할 수 있다.

제2 접근법에서, 사용자는 사용자가 콘텐츠에 액세스하고 미디어 안내를 획득하는 다수의 유형의 사용자 장비를 가질 수 있다. 예를 들어, 일부 사용자들은 가정 내 디바이스 및 모바일 디바이스에 의해 액세스되는 홈 네트워크를 가질 수 있다. 사용자는 원격 디바이스 상에 구현되는 미디어 안내 애플리케이션을 통해 가정 내 디바이스를 제어할 수 있다. 예를 들어, 사용자는 자신의 사무실에 있는 개인용 컴퓨터, 또는 PDA 또는 웹 가능(web-enabled) 모바일 전화와 같은 모바일 디바이스를 통해 웹 사이트 상의 온라인 미디어 안내 애플리케이션에 액세스할 수 있다. 사용자는 사용자의 가정 내 장비를 제어하기 위해 온라인 안내 애플리케이션 상에 다양한 설정(예컨대, 녹화, 리마인더(reminder), 또는 다른 설정)을 설정할 수 있다. 온라인 가이드는 직접적으로, 또는 사용자의 가정 내 장비 상의 미디어 안내 애플리케이션과 통신하는 것에 의해 사용자의 장비를 제어할 수 있다. 사용자 장비 디바이스들이 서로 멀리 떨어진 위치에 있는 경우, 사용자 장비 디바이스들이 통신하기 위한 다양한 시스템 및 방법은, 예를 들어, 2011년 10월 25일자로 발행된 Ellis 등의 미국 특허 제8,046,801호에서 논의되며, 이 미국 특허는 이로써 그 전체가 참조에 의해 본 명세서에 포함된다.

제3 접근법에서, 가정 내부 및 가정 외부에 있는 사용자 장비 디바이스의 사용자는 콘텐츠에 액세스하기 위해 콘텐츠 소스(1116)와 직접적으로 통신하는 데 자신의 미디어 안내 애플리케이션을 사용할 수 있다. 구체적으로, 가정 내에서, 사용자 텔레비전 장비(1102) 및 사용자 컴퓨터 장비(1104)의 사용자는 바람직한 콘텐츠를 내비게이팅하고 찾아내기 위해 미디어 안내 애플리케이션에 액세스할 수 있다. 사용자는 또한 바람직한 콘텐츠를 내비게이팅하고 찾아내기 위해 무선 사용자 통신 디바이스(1106)를 사용하여 가정 외부의 미디어 안내 애플리케이션에 액세스할 수 있다.

제4 접근법에서, 사용자 장비 디바이스는 클라우드 서비스에 액세스하기 위해 클라우드 컴퓨팅 환경에서 동작할 수 있다. 클라우드 컴퓨팅 환경에서, 콘텐츠 공유, 저장 또는 배포를 위한 다양한 유형의 컴퓨팅 서비스(예를 들어, 비디오 공유 사이트 또는 소셜 네트워킹 사이트)가, "클라우드"라고 지칭되는, 네트워크 액세스가능 컴퓨팅 및 저장 자원들의 컬렉션에 의해 제공된다. 예를 들어, 클라우드는 통신 네트워크(1114)를 통해 인터넷과 같은 네트워크를 통해 접속된 다양한 유형의 사용자 및 디바이스에 클라우드 기반 서비스를 제공하는, 중앙집중식으로 또는 분산된 위치들에 위치될 수 있는, 서버 컴퓨팅 디바이스들의 컬렉션을 포함할 수 있다. 이들 클라우드 자원은 하나 이상의 콘텐츠 소스(1116) 및 하나 이상의 미디어 안내 데이터 소스(1118)를 포함할 수 있다. 부가적으로 또는 대안적으로, 원격 컴퓨팅 사이트는, 사용자 텔레비전 장비(1102), 사용자 컴퓨터 장비(1104), 및 무선 사용자 통신 디바이스(1106)와 같은, 다른 사용자 장비 디바이스를 포함할 수 있다. 예를 들어, 다른 사용자 장비 디바이스는 비디오의 저장된 사본 또는 스트리밍된 비디오에 대한 액세스를 제공할 수 있다. 그러한 실시예에서, 사용자 장비 디바이스는 중앙 서버와 통신하지 않고 피어-투-피어 방식으로 동작할 수 있다.

클라우드는 사용자 장비 디바이스를 위해, 예 중에서도, 콘텐츠 저장, 콘텐츠 공유, 또는 소셜 네트워킹 서비스와 같은, 서비스에 대한 액세스는 물론, 위에서 설명된 임의의 콘텐츠에 대한 액세스를 제공한다. 서비스는 클라우드 컴퓨팅 서비스 제공자를 통해 또는 온라인 서비스의 다른 제공자를 통해 클라우드에서 제공될 수 있다. 예를 들어, 클라우드 기반 서비스는 콘텐츠 저장 서비스, 콘텐츠 공유 사이트, 소셜 네트워킹 사이트, 또는 사용자에 의해 소싱된 콘텐츠(user-sourced content)가 접속된 디바이스 상에서의 다른 사람에 의한 시청을 위해 배포되는 다른 서비스를 포함할 수 있다. 이들 클라우드 기반 서비스는 사용자 장비 디바이스가, 콘텐츠를 로컬로 저장하고 로컬로 저장된 콘텐츠에 액세스하기보다는, 콘텐츠를 클라우드에 저장하고 클라우드로부터 콘텐츠를 수신할 수 있게 할 수 있다.

사용자는 콘텐츠를 녹화하기 위해, 캠코더, 비디오 모드를 갖는 디지털 카메라, 오디오 레코더, 모바일 폰, 및 핸드헬드 컴퓨팅 디바이스와 같은, 다양한 콘텐츠 캡처 디바이스를 사용할 수 있다. 사용자는 클라우드 상의 콘텐츠 저장 서비스에 콘텐츠를 직접적으로, 예를 들어, 콘텐츠 캡처 기능을 갖는 사용자 컴퓨터 장비(1104) 또는 무선 사용자 통신 디바이스(1106)로부터, 업로드할 수 있다. 대안적으로, 사용자는 먼저 콘텐츠를, 사용자 컴퓨터 장비(1104)와 같은, 사용자 장비 디바이스에게 전송할 수 있다. 콘텐츠를 저장하는 사용자 장비 디바이스는 통신 네트워크(1114) 상의 데이터 전송 서비스를 사용하여 콘텐츠를 클라우드에 업로드한다. 일부 실시예에서, 사용자 장비 디바이스 자체는 클라우드 자원이고, 다른 사용자 장비 디바이스는 사용자가 콘텐츠를 저장한 사용자 장비 디바이스로부터 직접적으로 콘텐츠에 액세스할 수 있다.

클라우드 자원은, 예를 들어, 웹 브라우저, 미디어 안내 애플리케이션, 데스크톱 애플리케이션, 모바일 애플리케이션, 및/또는 이들의 액세스 애플리케이션의 임의의 조합을 사용하여 사용자 장비 디바이스에 의해 액세스될 수 있다. 사용자 장비 디바이스는 애플리케이션 전달을 위해 클라우드 컴퓨팅에 의존하는 클라우드 클라이언트일 수 있거나, 또는 사용자 장비 디바이스는 클라우드 자원에 대한 액세스를 갖지 않는 일부 기능성을 가질 수 있다. 예를 들어, 사용자 장비 디바이스 상에서 실행되는 일부 애플리케이션은 클라우드 애플리케이션, 즉 인터넷을 통해 서비스로서 전달되는 애플리케이션일 수 있는 반면, 다른 애플리케이션은 사용자 장비 디바이스 상에 저장되어 실행될 수 있다. 일부 실시예에서, 사용자 디바이스는 다수의 클라우드 자원들로부터 동시에 콘텐츠를 수신할 수 있다. 예를 들어, 사용자 디바이스는 제2 클라우드 자원으로부터 콘텐츠를 다운로드하면서 하나의 클라우드 자원으로부터 오디오를 스트리밍할 수 있다. 또는 사용자 디바이스는 더 효율적인 다운로드를 위해 다수의 클라우드 자원들로부터 콘텐츠를 다운로드할 수 있다. 일부 실시예에서, 사용자 장비 디바이스는 도 10과 관련하여 설명된 프로세싱 회로부에 의해 수행되는 프로세싱 동작과 같은 프로세싱 동작을 위해 클라우드 자원을 사용할 수 있다.

본 명세서에서 언급되는 바와 같이, 용어 "~에 응답하여(in response to)"는 ~의 결과로서 개시됨을 말한다. 예를 들어, 제1 액션이 제2 액션에 응답하여 수행된다는 것은 제1 액션과 제2 액션 사이에 중간 단계(interstitial step)를 포함할 수 있다. 본 명세서에서 언급된 바와 같이, 용어 "~에 응답하여 직접적으로(directly in response to)"는 ~에 의해 야기됨을 말한다. 예를 들어, 제1 액션이 제2 액션에 응답하여 직접적으로 수행된다는 것은 제1 액션과 제2 액션 사이에 중간 단계를 포함하지 않을 수 있다.

도 12는 본 개시내용의 일부 실시예에 따른, 정보를 증강 현실 뷰에 추가하기 위한 프로세스(1200)의 예시적인 단계들의 플로차트이다. 프로세스(1200) 또는 그의 임의의 단계가 도 10 및 도 11에 도시된 디바이스들 중 임의의 것에서 수행되거나 그에 의해 제공될 수 있다는 점에 유의해야 한다. 예를 들어, 프로세스(1200)는 추가된 정보를 증강 현실 환경에서 제시하기 위해 사용자 디바이스(예를 들어, 사용자 장비 디바이스(1102, 1104, 및/또는 1106(도 11)) 상에 구현되는 미디어 안내 애플리케이션에 의해 지시된 대로 제어 회로부(1004)(도 10)에 의해 실행될 수 있다. 그에 부가하여, 프로세스(1200)의 하나 이상의 단계는 본 명세서에서 설명된 임의의 다른 프로세스 또는 실시예의 하나 이상의 단계에 통합되거나 이들과 조합될 수 있다.

도 12는 증강 현실 뷰에서 정보를 제공하기 위한 예시적인 프로세스(1200)를 묘사한다. 단계(1210)에서, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 증강 현실 디바이스의 시야 내의 객체를 식별할 수 있다. 예를 들어, 증강 현실 디바이스를 사용하는 사용자는 다양한 객체를 포함하는 특정 시야(예를 들어, 뷰(200, 400, 500, 600 또는 700))를 가질 수 있다. 미디어 안내 애플리케이션은 카메라 회로부를 사용하여 뷰 내의 이미지를 캡처할 수 있다. 미디어 안내 애플리케이션은 또한 사용자가 뷰에서 특정의 객체 또는 방향에 초점을 맞추고 있는지 여부를 결정할 수 있다.

단계(1220)에서, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 객체의 이미지를 프로세싱할 수 있다. 미디어 안내 애플리케이션은 제어 회로부(1004)로 이미지를 캡처 및 프로세싱하여 이벤트의 참가자에 관련된 참조를, 객체 상에서, 검출하기 위해 카메라 회로부를 사용할 수 있다. 미디어 안내 애플리케이션은 객체를 식별하기 위해 제어 회로부(1004)를 사용하여 이미지를 분석하기 위해 이미지 분석 툴을 사용할 수 있다. 미디어 안내 애플리케이션은 이어서 객체에 관한 부가 정보를 획득하여 객체와 연관된 참조, 참가자 및 이벤트를 결정하기 위해 미디어 또는 다른 데이터베이스를 서치할 수 있다.

단계(1230)에서, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 객체와 관련성 있을 수 있는 콘텐츠를 찾기 위해 사용자의 프로파일을 서치할 수 있다. 특히, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 사용자에 의해 이전에 소셜 네트워크에 전송된 참가자에 관한 메시지를 식별하기 위해 사용자 프로파일을 서치할 수 있다. 따라서, 미디어 안내 애플리케이션은 증강 현실 뷰 내의 객체와 관련성 있는 메시지를 사용자의 소셜 네트워크로부터 찾기 위해 객체와 연관된 참가자 또는 이벤트 정보를 사용할 수 있다. 예를 들어, 미디어 안내 애플리케이션은 객체의 참가자에 관련된 메시지를 식별하기 위해 사용자의 소셜 네트워크 기록(300)(도 3)을 서치할 수 있다. 앞서 제공된 예에 기반하여, 미디어 안내 애플리케이션은 증강 현실 디바이스 디스플레이에서 스포츠 팀 로고를 검출하고 참가자 - 예를 들어, 로고, 스포츠, 또는 로고에 대한 다른 이해관계자 메타데이터와 연관된 팀 또는 팀의 선수 - 를 결정할 수 있다. 미디어 안내 애플리케이션은 이어서 관련 콘텐츠, 예를 들어, 소셜 네트워크 댓글, 사용자 이력과 연관된 미디어 등을 찾기 위해 사용자의 이력을 서치할 수 있다.

단계(1240)에서, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 사용자의 이력에서 식별된 메시지를 증강 현실 디바이스 상의 디스플레이에 오버레이할 수 있다. 예를 들어, 미디어 안내 애플리케이션은 증강 현실 뷰에 오버레이하기 위해 객체 참조에 관련된 사용자의 소셜 네트워크 이력으로부터의 댓글을 사용할 수 있다. 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 사용자가 메시지와 객체 사이의 연관성을 알 수 있도록 오버레이가 객체의 대략적인 위치 또는 다른 적합한 위치에서 생성되게 할 수 있다. 메시지 오버레이는 사용자의 소셜 네트워크 이력으로부터의 메시지의 콘텐츠와 참조 객체의 조합일 수 있다. 따라서, 일 예에서, 풋볼에 관한 소셜 네트워크 메시지는 증강 현실 뷰에서의 스포츠 로고 참조 객체의 오버레이로서 증강 현실 뷰에 디스플레이될 수 있다.

도 12의 단계 또는 설명이 본 개시내용의 임의의 다른 실시예에 대해 사용될 수 있는 것이 고려된다. 그에 부가하여, 도 12과 관련하여 설명된 단계 및 설명은 본 개시내용의 목적을 달성하기 위해 대안의 순서로 또는 병렬로 행해질 수 있다. 예를 들어, 이들 단계 각각은 시스템 또는 방법의 지연을 감소시키거나 속도를 증가시키기 위해 임의의 순서로 또는 병렬로 또는 실질적으로 동시에 수행될 수 있다. 이들 단계 중 임의의 것이 또한 스킵될 수 있거나 프로세스로부터 생략될 수 있다. 게다가, 도 10 및 도 11과 관련하여 논의된 디바이스들 또는 장비 중 임의의 것이 도 12에서의 단계들 중 하나 이상을 수행하는 데 사용될 수 있음에 유의해야 한다.

도 13은 본 개시내용의 일부 실시예에 따른, 정보를 증강 현실 뷰에 추가하기 위한 프로세스(1300)의 예시적인 단계들의 플로차트이다. 프로세스(1300) 또는 그의 임의의 단계가 도 10 및 도 11에 도시된 디바이스들 중 임의의 것에서 수행되거나 그에 의해 제공될 수 있다는 점에 유의해야 한다. 예를 들어, 프로세스(1300)는 추가된 정보를 증강 현실 환경에서 제시하기 위해 사용자 디바이스(예를 들어, 사용자 장비 디바이스(1102, 1104, 및/또는 1106(도 11)) 상에 구현되는 미디어 안내 애플리케이션에 의해 지시된 대로 제어 회로부(1004)(도 10)에 의해 실행될 수 있다. 그에 부가하여, 프로세스(1300)의 하나 이상의 단계는 본 명세서에서 설명된 임의의 다른 프로세스 또는 실시예의 하나 이상의 단계에 통합되거나 이들과 조합될 수 있다.

도 13은 뷰에서의 참조 객체와 함께 메시지를 포함하는 증강 현실 뷰에서의 정보를 제공하기 위해 후속될 수 있는 프로세스(1300)를 묘사하는 예시적인 플로차트이다. 단계(1310)에서, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 증강 현실 디바이스의 시야 내의 객체 위에 제1 사용자의 증강 현실 디바이스를 위치시키는 데 사용될 수 있다. 미디어 안내 애플리케이션은 증강 현실 디바이스 내의 디스플레이의 뷰를 뷰 내의 객체 위에 초점을 맞출 수 있다. 예를 들어, 도 2에 도시된 뷰(200)에서, 미디어 안내 애플리케이션은 뷰(200) 내의 하나 이상의 객체에 초점을 맞출 수 있다. 예를 들어, 미디어 안내 애플리케이션은 광고판 내의 광고, 인근 상점, 또는, 사람(210)과 같은, 뷰(200) 내의 사람들 중 한 명에 초점을 맞출 수 있다. 뷰 내의 객체에 초점을 맞추는 것은, 예를 들어, 증강 현실 디바이스의 방향 또는 배향, 객체 관심의 사용자 이력, 시간적 초점을 결정하기 위한 사용자의 캘린더, 또는 다른 기준을 검출함으로써 달성될 수 있다. 다른 예에서, 객체 초점은 증강 현실 환경 내에서의 사용자의 액션에 기초할 수 있다.

단계(1315)에서, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 제1 사용자의 증강 현실 디바이스의 시야 내의 객체를 식별할 수 있다. 객체는 단계(1310)로부터 시야 초점을 좁히는 것에 의해 제어 회로부(1004)에 의해 식별될 수 있다. 객체는 객체 인식 툴 및 기술을 사용하여 식별될 수 있다.

객체가 식별되었을 때, 단계(1320)에서, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 객체의 이미지를 캡처할 수 있다. 이미지는 카메라 회로부를 사용하여 그리고, 픽셀 또는 다른 이미지 컴포넌트를 사용하여 이미지를 캡처하는 것을 포함할 수 있는, 사진 또는 비디오 이미지 캡처를 사용하여 미디어 안내 애플리케이션을 위한 제어 회로부(1004)에 의해 캡처될 수 있다.

단계(1325)에서, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 객체의 이미지의 적어도 부분과 매칭되는 콘텐츠를 식별하기 위해 데이터베이스를 서치할 수 있다. 객체 이미지에 대한 콘텐츠 및 컨텍스트를 결정하기 위해 이미지 서치 툴 또는 기술을 사용하여 미디어 안내 애플리케이션에 의해 데이터베이스 서치가 수행될 수 있다. 이미지 서치 툴은 객체 이미지에 관한 메타데이터를 제공할 수 있다. 객체 이미지와 매칭되는 콘텐츠를 찾기 위해 미디어 안내 애플리케이션에 의해 그러한 메타데이터가 데이터베이스에서 서치될 수 있다. 예를 들어, 사람(210)(도 2)의 이미지가 단계(1320)에서 캡처될 수 있고, 얼굴 또는 이미지 인식 툴 및 사용자의 연락처의 비교에 기초하여 사람(210)이 사용자가 알고 있는 사람인 것으로 인식될 수 있도록, 예를 들어, 이미지가 사람의 이미지임을 검출하기 위해 이미지가 이미지 서치 기술을 사용하여 분석될 것이고; 그에 부가하여, 이미지 서치는 사람(210)이 (사용자의 온라인 쇼핑 이력에 기초하여) 사용자에 의해 구매된 것인 신발을 신고 있다는 것, 사람(210)이 (사용자가 좋아하는 팀 또는 강적에 대한 것으로 미디어 안내 애플리케이션에 알려져 있을 수 있는) New England Patriots 로고를 갖는 티셔츠를 입고 있다는 것, 또는 이미지에 관한 다른 세부사항을 검출할 수 있다.

단계(1330)에서, 객체의 이미지의 적어도 그 부분과 매칭되는 콘텐츠를 식별하는 데 응답하여, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 이벤트의 참가자에 관련된 참조를, 객체 상에서, 검출하기 위해 콘텐츠와 연관된 메타데이터를 리트리빙할 것이다. 따라서, 단계(1330)에서, 미디어 안내 애플리케이션은 단계(1325)에서 획득된 이미지에 대한 매칭되는 콘텐츠를 식별하는 것에 관한 정보를 사용하여 매칭되는 콘텐츠에 관한 메타데이터를 리트리빙할 것이다. 예를 들어, 미디어 안내 애플리케이션이, 예를 들어, 얼굴 인식 툴을 사용하여, 사람(210)(도 2)이 사용자에게 알려져 있음을 검출하면, 미디어 안내 애플리케이션은 사람 또는 연락처에 관한 메타데이터를 리트리빙할 수 있다. 다른 예에서, 미디어 안내 애플리케이션이 객체 이미지가 New England Patriots 로고임을 식별하면, 미디어 안내 애플리케이션은 New England Patriots에 관한 메타데이터, 예를 들어, 이벤트 및 참가자 정보를 리트리빙할 것이다. 그러한 메타데이터 및 정보는 스포츠 데이터베이스 또는 다른 적합한 데이터베이스로부터 획득될 수 있다. 다른 예에서, 미디어 안내 애플리케이션은 객체 이미지가 사용자가 이전에 구매했거나 소셜 미디어에서 좋아했던 것과 유사한 의류를 포함한다는 것을 식별할 수 있다. 이 예에서, 미디어 안내 애플리케이션은 점포 세일, 운동 선수, 팝업 상점(pop-up shops), 리테일 드롭(retail drop), 또는 콘텐츠에 관련된 다른 이벤트 또는 참가자에 관한 메타데이터를 리트리빙할 수 있다.

단계(1335)에서, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 참가자와 매칭되는 콘텐츠를 포함하는 주어진 메시지를 식별하기 위해 제1 사용자에 의해 이전에 소셜 네트워크에 전송된 메시지들의 리스트를 서치할 수 있다. 단계(1335)를 수행하기 위해, 미디어 안내 애플리케이션은, 예를 들어, 기록(300)(도 3)에 보여진 바와 같이, 사용자에 의해 게시되는 또는 다른 연락처에 의해 게시되고 사용자와 연관되거나 사용자를 위해 태깅되는 댓글, 태그, 링크, 또는 다른 콘텐츠와 같은, 메시지를 서치하기 위해 사용자의 소셜 네트워크에 액세스할 수 있다. 단계(1330)에서 식별된 참가자에 관련된 콘텐츠를 찾기 위해 소셜 미디어 메시지가 서치될 수 있다. 예를 들어, 티셔츠 상의 New England Patriots 로고를 검출하는 데 응답하여, 미디어 안내 애플리케이션은 New England Patriots 팀에 대한 메타데이터를 리트리빙하고 팀에 관한 메시지에 대해 사용자의 소셜 네트워크를 서치할 수 있다. 이 예에서, 미디어 안내 애플리케이션은 메시지(310)(도 3)를, 2017년 2월에 슈퍼 볼에서 경기한, New England Patriots에 관련된 것으로 검출할 수 있다. 다른 예에서, 미디어 안내 애플리케이션은 다른 메시지(302)(도 3)를 New England Patriots에 관련된 것으로 검출할 수 있는데 그 이유는 그 팀이 메시지 게시 날짜 직후에 경기를 할 것이기 때문이다.

단계(1340)에서, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 시야 내의 객체의 어느 영역이 식별된 콘텐츠와 매칭되는 이미지의 부분을 포함하는지를 결정함으로써 참가자에 관련된 참조의 객체 상에서의 위치를 식별할 수 있다. 단계(1340)를 수행하기 위해, 미디어 안내 애플리케이션은 증강 현실 뷰의 컨텍스트를 객체 이미지 정보와 비교하여 뷰 내의 객체의 위치를 결정할 수 있다.

미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 이어서, 단계(1350)에서, 증강 현실 디바이스를 사용하여, 식별된 위치와 관련된 위치에서, 주어진 메시지의 콘텐츠를 객체 상에서 검출된 참조와 결합시킬 수 있다. 따라서, 단계(1340)에서 식별된 소셜 미디어 메시지는 단계(1350)에서 객체 근처의 위치에서 증강 현실 디바이스에서의 뷰에 추가되어 도 4 내지 도 6에 도시된 것과 같은 뷰를 제공할 수 있다.

도 13의 단계 또는 설명이 본 개시내용의 임의의 다른 실시예에 대해 사용될 수 있는 것이 고려된다. 그에 부가하여, 도 13과 관련하여 설명된 단계 및 설명은 본 개시내용의 목적을 달성하기 위해 대안의 순서로 또는 병렬로 행해질 수 있다. 예를 들어, 이들 단계 각각은 시스템 또는 방법의 지연을 감소시키거나 속도를 증가시키기 위해 임의의 순서로 또는 병렬로 또는 실질적으로 동시에 수행될 수 있다. 이들 단계 중 임의의 것이 또한 스킵될 수 있거나 프로세스로부터 생략될 수 있다. 게다가, 도 10 및 도 11과 관련하여 논의된 디바이스들 또는 장비 중 임의의 것이 도 13에서의 단계들 중 하나 이상을 수행하는 데 사용될 수 있음에 유의해야 한다.

도 14는 본 개시내용의 일부 실시예에 따른, 사용자가 증강 현실 뷰에 묘사된 양상을 사용하기 위한 옵션을 생성하기 위한 프로세스(1400)의 예시적인 단계들의 플로차트이다. 프로세스(1400) 또는 그의 임의의 단계가 도 10 및 도 11에 도시된 디바이스들 중 임의의 것에서 수행되거나 그에 의해 제공될 수 있다는 점에 유의해야 한다. 예를 들어, 프로세스(1400)는 추가된 정보를 증강 현실 환경에서 공유하기 위한 옵션을 제시하기 위해 사용자 디바이스(예를 들어, 사용자 장비 디바이스(1102, 1104, 및/또는 1106(도 11)) 상에 구현되는 미디어 안내 애플리케이션에 의해 지시된 대로 제어 회로부(1004)(도 10)에 의해 실행될 수 있다. 그에 부가하여, 프로세스(1400)의 하나 이상의 단계는 본 명세서에서 설명된 임의의 다른 프로세스 또는 실시예의 하나 이상의 단계에 통합되거나 이들과 조합될 수 있다.

도 14는 증강 현실 뷰를 공유하기 위해 사용될 수 있는 프로세스(1400)를 묘사한다. 특히, 이는 미디어 안내 애플리케이션에 의해 뷰에 추가된 정보를 포함하는 증강 현실 뷰의 부분을 공유하는 데 사용될 수 있다. 프로세스(1400)는 프로세스(1300)를 뒤따를 수 있다. 예를 들어, 프로세스(1400)는 메시지와 객체가 증강 현실 환경에서 결합되어 제시되는 프로세스(1300)의 단계(1350)를 뒤따를 수 있다. 다른 예에서, 프로세스(1400)는 다른 기술에 의해 획득되는 픽처를 사용하여 독립형 프로세스로서 사용될 수 있다.

프로세스(1400)는 미디어 안내 애플리케이션을 위한 제어 회로부(1004)가 객체 상에서 검출된 참조와 결합된 주어진 메시지의 콘텐츠의 증강 현실 디바이스를 통한 뷰를 표현하는 픽처를 저장할 수 있는 단계(1410)에서 시작된다. 픽처는 카메라 회로부를 사용하여 메시지는 물론 참조 객체를 포함하는 증강 현실 디바이스에서의 뷰로부터 미디어 안내 애플리케이션에 의해 캡처될 수 있다. 픽처는 사용자의 소셜 네트워크로부터 획득되는 콘텐츠에 기초한 메시지와 함께 증강 현실 뷰를 포함하는, 도 4 내지 도 6에 도시된 것과 같은, 뷰일 수 있다. 일부 예에서, 픽처는 메시지와 객체를 포함하는 뷰의 부분일 수 있다. 다른 예에서, 픽처는 뷰로부터의 참조 객체의 부분과 결합된 메시지일 수 있다. 픽처의 다른 버전은 메시지와 객체의 다양한 조합을 포함할 수 있다. 픽처는 미디어 안내 애플리케이션에 의해 캐시 또는 데이터베이스에 저장될 수 있다.

단계(1420)에서, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 사용자가 픽처를 소셜 네트워크에 전송하도록 하기 위한 옵션을 디스플레이를 위해 생성할 수 있다. 단계(1420)를 수행하기 위해, 미디어 안내 애플리케이션은 증강 현실 환경에서 향상된 뷰에 기초한 픽처를 공유하기 위한 옵션을 포함하는 증강 현실 환경에서의 디스플레이를 생성하기 위해 이전에 저장된 픽처를 사용할 수 있다. 그러한 옵션의 일 예, 예를 들어, 사람(705)으로부터의 로고를 갖는 티셔츠를 보여주고 이미지와 메시지를 게시 또는 송신하기 위한 옵션(730)을 포함하는 창(720)이 도 7에 묘사되어 있다. 픽처와의 다른 유형의 상호작용이 또한 사용자의 사용을 위한 옵션에서 제공될 수 있다.

도 14의 단계 또는 설명이 본 개시내용의 임의의 다른 실시예에 대해 사용될 수 있는 것이 고려된다. 그에 부가하여, 도 14와 관련하여 설명된 단계 및 설명은 본 개시내용의 목적을 달성하기 위해 대안의 순서로 또는 병렬로 행해질 수 있다. 예를 들어, 이들 단계 각각은 시스템 또는 방법의 지연을 감소시키거나 속도를 증가시키기 위해 임의의 순서로 또는 병렬로 또는 실질적으로 동시에 수행될 수 있다. 이들 단계 중 임의의 것이 또한 스킵될 수 있거나 프로세스로부터 생략될 수 있다. 게다가, 도 10 및 도 11과 관련하여 논의된 디바이스들 또는 장비 중 임의의 것이 도 14에서의 단계들 중 하나 이상을 수행하는 데 사용될 수 있음에 유의해야 한다.

도 15는 본 개시내용의 일부 실시예에 따른, 증강 현실 뷰에서 객체와 결합시킬 메시지를 선택하기 위한 프로세스(1500)의 예시적인 단계들의 플로차트이다. 프로세스(1500) 또는 그의 임의의 단계가 도 10 및 도 11에 도시된 디바이스들 중 임의의 것에서 수행되거나 그에 의해 제공될 수 있다는 점에 유의해야 한다. 예를 들어, 프로세스(1500)는 증강 현실 환경에 추가할 메시지를 선택하기 위해 사용자 디바이스(예를 들어, 사용자 장비 디바이스(1102, 1104, 및/또는 1106(도 11)) 상에 구현되는 미디어 안내 애플리케이션에 의해 지시된 대로 제어 회로부(1004)(도 10)에 의해 실행될 수 있다. 그에 부가하여, 프로세스(1500)의 하나 이상의 단계는 본 명세서에서 설명된 임의의 다른 프로세스 또는 실시예의 하나 이상의 단계에 통합되거나 이들과 조합될 수 있다.

도 15는 증강 현실 환경에서 이미지와 결합시킬 메시지를 선택하기 위한 프로세스(1500)를 묘사한다. 프로세스(1500)는 증강 현실 뷰에 추가할 메시지, 예를 들어, 단계(1335)(도 13)에서의 메시지를 선택하기 위해, 또는 사용자의 소셜 네트워크에서의 메시지와 어떤 관련을 갖는 객체를 가지는 증강 현실 뷰의 부분에 추가할 메시지를 선택하기 위해 사용될 수 있다. 예를 들어, 미디어 안내 애플리케이션은 사용자가 남긴 메시지 또는 댓글을 식별하고 이를 증강 현실 뷰에서의 객체와 매칭시키기 위해 사용자의 소셜 네트워크 이력, 사용자 프로파일, 인터넷 캐시 이력, 또는 다른 이력을 서치할 수 있다. 증강 현실 뷰에서의 매칭되는 객체에 소셜 네트워크 메시지를 추가하는 것은 사용자에게 흥미롭거나 관련성 있을 수 있는데, 그 이유는 그것이 사용자가 과거에 가지고 있던 의견 또는 생각이고 사용자가 사용자의 소셜 네트워크와 공유하기에 충분히 매력적이라고 느꼈던 것이기 때문이다. 증강 현실 환경에서 메시지와 이미지를 신속하게 매칭시키기 위해, 일부 예에서, 미디어 안내 애플리케이션은 메타데이터와 연관될 수 있는 이미지 및 이미지 객체와 증강 현실 환경에 추가할 보충 콘텐츠에 대해 서치하는 것을 용이하게 하는 데 도움을 줄 수 있는 링크는 물론 이미지 및 이미지 객체에 관련될 수 있는 사용자의 소셜 네트워크로부터의 메시지의, 특정의 사용자 또는 사용자 세트에 대한, 데이터베이스를 구축할 수 있다.

단계(1510)에서, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 증강 현실 디바이스의 뷰 내에서 캡처된 객체의 이미지를 수신할 수 있다. 이미지는 카메라 회로부를 사용하여 증강 현실 디바이스로부터 수신될 수 있다. 일 예에서, 이미지는 도 1 및 도 2 또는 도 4 내지 도 7로부터의 증강 현실 뷰와 같은 뷰일 수 있다.

단계(1520)에서, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 수신된 이미지를 취하고 이미지들을 콘텐츠와 연관시키는 복수의 엔트리들과 함께 이미지를 데이터베이스에 저장할 수 있다. 예를 들어, 이미지는 이미지에 대한 링크 및 메타데이터를 포함하는 관계형 데이터베이스에 저장될 수 있다. 이미지는 분석되어 컴포넌트들 또는 요소들로 분해(deconstruct)될 수 있고, 이미지의 컴포넌트들 또는 요소들 각각에 대한 링크 및 메타데이터가 또한 데이터베이스에 저장될 수 있다. 예를 들어, 미디어 안내 애플리케이션은 증강 현실 디바이스로부터 취해진 이미지를 저장하고 이미지에서의 요소들을 검출하고 이어서 정의하기 위해 이미지 인식 또는 이미지 프로세싱 툴을 사용하여 식별될 수 있는 객체에 대해 이미지를 파싱할 수 있다.

단계(1530)에서, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 객체의 이미지에서 복수의 별개의 아이템들을 검출할 수 있다. 이미지에서의 요소들을 좁히고 이들을 이미지 데이터베이스에서의 이미지와 매칭시킬 수 있는 이미지 프로세싱 툴을 사용하여 별개의 아이템들이 검출될 수 있다. 일부 예에서, 이미지 프로세싱은 이미지 데이터베이스에서의 객체들과 매칭될 수 있는 객체들에 대한 경계들을 식별하기 위해 이미지 내의 픽셀들을 비교하는 것을 포함할 수 있다.

단계(1540)에서, 미디어 안내 애플리케이션은 별개의 아이템들 중 주어진 아이템에 실질적으로 대응하는 주어진 이미지를 포함하는 복수의 엔트리들 중 하나의 엔트리를 식별할 수 있다. 단계(1540)를 수행하기 위해, 미디어 안내 애플리케이션은 수신된 이미지의 어떤 요소 또는 컴포넌트와 실질적으로 동일한 이미지에 대한 엔트리를 찾기 위해 미디어 데이터베이스, 이미지 데이터베이스 또는 다른 데이터베이스를 서치할 수 있다. 이미지 요소들이 데이터베이스에서의 이미지들과 비교될 수 있도록 이미지 프로세싱 및 인식 툴을 사용하여 서치가 수행될 수 있다. 데이터베이스는 데이터베이스에서의 이미지 아이템들에 대한 메타데이터 및 링크들을 가질 수 있다. 예를 들어, 이미지 데이터베이스는 콘텐츠를 리트리빙하는 것을 용이하게 하기 위해 이미지와 연관된 관련 소스 정보, 설명 데이터, 제목, 키워드 또는 다른 메타데이터를 가질 수 있다.

단계(1550)에서, 미디어 안내 애플리케이션은 단계(1540)에서 데이터베이스로부터 매칭되는 주어진 이미지와 연관된 콘텐츠를 리트리빙할 수 있다. 콘텐츠는, 예를 들어, 이미지에 대한 메타데이터에 액세스하는 것 및 링크 정보를 사용하여 콘텐츠를 리트리빙함으로써 획득될 수 있다.

단계(1560)에서 콘텐츠가 엔티티와 연관되어 있는지 여부를 결정하기 위해 미디어 안내 애플리케이션을 위한 제어 회로부(1004)에 의해 콘텐츠에 대한 메타데이터가 분석될 수 있다. 예를 들어, 미디어 안내 애플리케이션은 콘텐츠가 그룹, 조직, 팀 또는 다른 엔티티와 관련되어 있는지 여부를 결정할 수 있다. 엔티티 정보는 엔티티와 관련성 있는 콘텐츠와 함께 포함시킬 메시지를 획득하는 데 유용할 수 있다. 예를 들어, 미디어 안내 애플리케이션이 New England Patriots 로고를 포함하는 이미지를 리트리빙한 경우, 매칭되는 이미지는 풋볼 경기에 대한 콘텐츠, 선수 뉴스, 팀 기사, 팀 상품, NFL 통계, 또는 다른 콘텐츠와 연관될 수 있다. 미디어 안내 애플리케이션은 콘텐츠가 엔티티 - 예를 들어, New England Patriots -, 풋볼, NFL, 또는 다른 엔티티와 연관되어 있음을 검출할 수 있다. 미디어 안내 애플리케이션이 단계(1560)에서 콘텐츠가 엔티티와 연관되어 있다고 결정하면, 미디어 안내 애플리케이션은 단계(1565)에서 엔티티와 연관된 사용자의 소셜 네트워크에서의 메시지에 대해 서치할 수 있다.

단계(1565)에서, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는 엔티티에 기초하여 메시지를 선택할 수 있다. 메시지는, 기록(300)(도 3)과 같은, 사용자의 소셜 네트워크 이력, 또는 다른 사용자 이력 또는 사용자 프로파일로부터 미디어 안내 애플리케이션에 의해 선택될 수 있다.

그렇지만, 미디어 안내 애플리케이션이 콘텐츠와 연관된 엔티티를 검출하지 않으면, 미디어 안내 애플리케이션은 콘텐츠가 시간과 연관되어 있는지 여부를 결정하기 위한 단계(1570)에서 프로세스(1500)를 계속할 수 있다. 예를 들어, 미디어 안내 애플리케이션은 매칭되는 이미지에 대해 이벤트 스케줄을 찾을 수 있다. 예를 들어, 이미지는 콘서트 스케줄을 가질 수 있는 유명인에 대한 것일 수 있거나, 또는 극장에서의 특정의 개봉 스케줄 및 상영 시간을 가지는 영화의 일부일 수 있거나, 또는 특정 경기 스케줄을 갖는 팀에 대한 NFL 로고 등일 수 있다. 이벤트 정보 및 관련 시간은 증강 현실 환경에 포함시키기 위해 적합한 메시지를 사용자의 소셜 네트워크로부터 찾기 위한 기준으로서 사용될 수 있다. 일부 시나리오에서, 단계(1565)에서 미디어 안내 애플리케이션이 엔티티에 기초하여 적합한 메시지를 찾을 수 없는 경우에도 단계(1570)가 수행될 수 있다.

단계(1570)에서 시간 기반 요소가 결정되면, 미디어 안내 애플리케이션은 시간에 관련된 메시지를 찾기 위해 사용자의 소셜 네트워크 기록, 예를 들어, 기록(300)(도 3)으로부터 메시지를 선택할 수 있다.

단계(1570)에서 미디어 안내 애플리케이션에 의해 시간 기반 요소가 찾아지지 않으면, 미디어 안내 애플리케이션을 위한 제어 회로부(1004)는, 단계(1580)에서, 시간 요소를 사용하여 메시지를 선택하지 않을 수 있다. 그러한 시나리오에서, 미디어 안내 애플리케이션은, 매칭되는 이미지에 대한 메타데이터에 기초한 키워드 매칭 또는 본 명세서에 설명된 기술들의 어떤 조합과 같은, 다른 기준을 사용하여 소셜 네트워크로부터 메시지를 선택할 수 있다.

도 15의 단계 또는 설명이 본 개시내용의 임의의 다른 실시예에 대해 사용될 수 있는 것이 고려된다. 그에 부가하여, 도 15와 관련하여 설명된 단계 및 설명은 본 개시내용의 목적을 달성하기 위해 대안의 순서로 또는 병렬로 행해질 수 있다. 예를 들어, 이들 단계 각각은 시스템 또는 방법의 지연을 감소시키거나 속도를 증가시키기 위해 임의의 순서로 또는 병렬로 또는 실질적으로 동시에 수행될 수 있다. 이들 단계 중 임의의 것이 또한 스킵될 수 있거나 프로세스로부터 생략될 수 있다. 게다가, 도 10 및 도 11과 관련하여 논의된 디바이스들 또는 장비 중 임의의 것이 도 15에서의 단계들 중 하나 이상을 수행하는 데 사용될 수 있음에 유의해야 한다.

위에서 논의된 프로세스는 제한적인 것이 아니라 예시적인 것으로 의도된다. 본 기술분야의 통상의 기술자는 본 명세서에서 논의된 프로세스의 단계가 생략, 수정, 조합, 및/또는 재배열될 수 있으며, 본 발명의 범위를 벗어나지 않으면서 임의의 부가의 단계가 수행될 수 있음을 이해할 것이다. 보다 일반적으로, 위의 개시내용은 제한적인 것이 아니라 예시적인 것으로 의도된다. 이하의 청구범위만이 본 발명이 무엇을 포함하는지에 관한 한계를 정하는 것으로 되어 있다. 게다가, 임의의 일 실시예에서 설명된 특징 및 제한이 본 명세서에서의 임의의 다른 실시예에 적용될 수 있으며, 일 실시예에 관련된 플로차트 또는 예가 적합한 방식으로 임의의 다른 실시예와 조합될 수 있거나, 상이한 순서로 행해질 수 있거나, 또는 병렬로 행해질 수 있다는 점에 유의해야 한다. 그에 부가하여, 본 명세서에 설명된 시스템 및 방법은 실시간으로 수행될 수 있다. 위에서 설명된 시스템 및/또는 방법이 다른 시스템 및/또는 방법에 적용될 수 있거나 그에 따라 사용될 수 있음에 또한 유의해야 한다.

Claims

증강 현실에서 보충 콘텐츠를 제시하기 위한 방법으로서,
사용자의 증강 현실 디바이스의 시야 내에서 객체를 식별하는 단계;
상기 객체 상에서, 이벤트의 참가자에 관련된 참조를 검출하기 위해 상기 객체의 이미지를 프로세싱하는 단계;
상기 사용자에 의해 이전에 소셜 네트워크에 전송된 상기 참가자에 관한 메시지를 식별하기 위해 상기 사용자의 프로파일을 서치(search)하는 단계; 및
상기 증강 현실 디바이스를 사용해, 상기 객체의 위치에, 상기 사용자에 의해 상기 소셜 네트워크에 전송된 상기 메시지의 콘텐츠를 오버레이하여, 상기 객체 상에서 검출된 상기 참조와 상기 메시지를 결합시키는 단계
를 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
증강 현실에서 보충 콘텐츠를 제시하기 위한 방법으로서,
제1 사용자의 증강 현실 디바이스를 상기 증강 현실 디바이스의 시야 내의 객체 위에 위치시키는 단계;
상기 제1 사용자의 증강 현실 디바이스의 시야 내에서 상기 객체를 식별하는 단계;
상기 객체의 이미지를 캡처하는 단계;
상기 객체의 이미지의 적어도 부분과 매칭되는 콘텐츠를 식별하기 위해 데이터베이스를 서치하는 단계;
상기 객체의 이미지의 적어도 상기 부분과 매칭되는 콘텐츠를 식별하는 데 응답하여, 상기 객체 상에서, 이벤트의 참가자에 관련된 참조를 검출하기 위해, 상기 콘텐츠와 연관된 메타데이터를 리트리빙(retrieving)하는 단계;
상기 참가자와 매칭되는 콘텐츠를 포함하는 주어진 메시지를 식별하기 위해, 상기 제1 사용자에 의해 이전에 소셜 네트워크에 전송된 메시지들의 리스트를 서치하는 단계;
상기 시야 내의 상기 객체의 어느 영역이 상기 식별된 콘텐츠와 매칭되는 상기 이미지의 상기 부분을 포함하는지를 결정함으로써, 상기 참가자에 관련된 상기 참조의 상기 객체 상에서의 위치를 식별하는 단계; 및
상기 증강 현실 디바이스를 사용해, 상기 식별된 위치와 관련된 위치에서, 상기 객체 상에서 검출된 상기 참조와 상기 주어진 메시지를 결합시키는 단계
를 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제2항에 있어서, 상기 이미지를 캡처하는 단계는, 상기 객체를 표현하는 픽셀들을 저장하기 위해 카메라 회로부를 사용하는 단계를 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제2항에 있어서, 상기 데이터베이스를 서치하는 단계는,
이미지를 콘텐츠와 연관시키는 복수의 엔트리를 상기 데이터베이스에 저장하는 단계;
상기 객체의 상기 캡처된 이미지에서 복수의 별개의 아이템을 검출하는 단계;
상기 별개의 아이템 중 주어진 아이템에 실질적으로 대응하는 주어진 이미지를 포함하는, 상기 복수의 엔트리 중 주어진 엔트리를 식별하는 단계;
상기 주어진 이미지와 연관된 콘텐츠를 리트리빙하는 단계
를 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제4항에 있어서, 상기 콘텐츠는 제1 팀의 로고를 포함하고, 상기 방법은, 상기 로고의 데이터베이스 서치에 기초하여 그리고 상기 메타데이터에 기초하여 상기 제1 팀의 이름을 결정하는 단계를 더 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제5항에 있어서, 상기 이벤트는 스포츠 이벤트이고, 상기 방법은,
상기 스포츠 이벤트에서 복수의 경쟁자를 식별하는 단계;
상기 제1 팀이 상기 스포츠 이벤트에 등장한다고 결정하는 단계;
상기 스포츠 이벤트에 등장하는 제2 팀을 식별하기 위해 상기 복수의 경쟁자를 서치하는 단계; 및
상기 제2 팀을 포함하는, 상기 메시지들 중 하나를, 상기 주어진 메시지로서 선택하는 단계
를 더 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제2항에 있어서,
상기 이벤트와 연관된 시간을 식별하는 단계; 및
상기 시간의 문턱치 내에서 상기 소셜 네트워크에 전송된, 상기 메시지들의 리스트의 서브세트를 선택하는 단계
를 더 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제2항에 있어서,
상기 객체 상에서 검출된 상기 참조와 결합된 상기 주어진 메시지의 상기 증강 현실 디바이스를 통한 뷰를 표현하는 픽처를 저장하는 단계; 및
상기 사용자가 상기 픽처를 상기 소셜 네트워크에 전송하도록 하기 위한 옵션을 디스플레이를 위해 생성하는 단계
를 더 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제2항에 있어서, 상기 객체는, 제2 사용자에 의해 착용된 의류 물품을 포함하고, 상기 이미지의 상기 부분은, 상기 제2 사용자에 의해 착용된 상기 의류 물품 상의 그래픽을 포함하고, 상기 콘텐츠는, 상기 그래픽에 의해 표현된 팀을 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제2항에 있어서, 상기 객체 상에서 검출된 상기 참조와 상기 주어진 메시지의 상기 결합된 콘텐츠를 포함하는 메시지를 상기 객체와 연관된 제2 사용자에게 전송하는 단계를 더 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제2항에 있어서, 상기 증강 현실 디바이스는, 사용자에 의해 착용되는 헤드셋 또는 모바일 폰을 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템으로서,
사용자 입력을 수신하도록 구성된 입력/출력(I/O) 인터페이스 회로부; 및
제어 회로부를 포함하고, 상기 제어 회로부는,
제1 사용자의 증강 현실 디바이스를 상기 증강 현실 디바이스의 시야 내의 객체 위에 위치시키고;
상기 제1 사용자의 증강 현실 디바이스의 시야 내에서 상기 객체를 식별하고;
상기 객체의 이미지를 캡처하고;
상기 객체의 이미지의 적어도 부분과 매칭되는 콘텐츠를 식별하기 위해 데이터베이스를 서치하고;
상기 객체의 이미지의 적어도 상기 부분과 매칭되는 콘텐츠를 식별하는 데 응답하여, 상기 객체 상에서, 이벤트의 참가자에 관련된 참조를 검출하기 위해, 상기 콘텐츠와 연관된 메타데이터를 리트리빙하고;
상기 참가자와 매칭되는 콘텐츠를 포함하는 주어진 메시지를 식별하기 위해, 상기 제1 사용자에 의해 이전에 소셜 네트워크에 전송된 메시지들의 리스트를 서치하고;
상기 시야 내의 상기 객체의 어느 영역이 상기 식별된 콘텐츠와 매칭되는 상기 이미지의 상기 부분을 포함하는지를 결정함으로써, 상기 참가자에 관련된 상기 참조의 상기 객체 상에서의 위치를 식별하고;
상기 증강 현실 디바이스를 사용해, 상기 식별된 위치와 관련된 위치에서, 상기 객체 상에서 검출된 상기 참조와 상기 주어진 메시지를 결합시키도록
구성되는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제12항에 있어서, 상기 이미지를 캡처하도록 구성된 상기 제어 회로부는, 상기 객체를 표현하는 픽셀들을 저장하기 위해 카메라 회로부를 사용하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제12항에 있어서, 상기 데이터베이스를 서치하도록 구성된 상기 제어 회로부는 또한,
이미지를 콘텐츠와 연관시키는 복수의 엔트리를 상기 데이터베이스에 저장하고;
상기 객체의 상기 캡처된 이미지에서 복수의 별개의 아이템을 검출하고;
상기 별개의 아이템 중 주어진 아이템에 실질적으로 대응하는 주어진 이미지를 포함하는, 상기 복수의 엔트리 중 주어진 엔트리를 식별하고;
상기 주어진 이미지와 연관된 콘텐츠를 리트리빙하도록
구성되는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제14항에 있어서, 상기 콘텐츠는 제1 팀의 로고를 포함하고, 상기 제어 회로부는 또한, 상기 로고의 데이터베이스 서치에 기초하여 그리고 상기 메타데이터에 기초하여 상기 제1 팀의 이름을 결정하도록 구성되는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제15항에 있어서, 상기 이벤트는 스포츠 이벤트이고, 상기 제어 회로부는 또한,
상기 스포츠 이벤트에서 복수의 경쟁자를 식별하고;
상기 제1 팀이 상기 스포츠 이벤트에 등장한다고 결정하고;
상기 스포츠 이벤트에 등장하는 제2 팀을 식별하기 위해 상기 복수의 경쟁자를 서치하고;
상기 제2 팀을 포함하는, 상기 메시지들 중 하나를, 상기 주어진 메시지로서 선택하도록
구성되는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제12항에 있어서, 상기 제어 회로부는 또한,
상기 이벤트와 연관된 시간을 식별하고;
상기 시간의 문턱치 내에서 상기 소셜 네트워크에 전송된, 상기 메시지들의 리스트의 서브세트를 선택하도록
구성되는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제12항에 있어서, 상기 제어 회로부는 또한,
상기 객체 상에서 검출된 상기 참조와 결합된 상기 주어진 메시지의 상기 증강 현실 디바이스를 통한 뷰를 표현하는 픽처를 저장하고;
상기 사용자가 상기 픽처를 상기 소셜 네트워크에 전송하도록 하기 위한 옵션을 디스플레이를 위해 생성하도록
구성되는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제12항에 있어서, 상기 객체는, 제2 사용자에 의해 착용된 의류 물품을 포함하고, 상기 이미지의 상기 부분은, 상기 제2 사용자에 의해 착용된 상기 의류 물품 상의 그래픽을 포함하고, 상기 콘텐츠는, 상기 그래픽에 의해 표현된 팀을 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제12항에 있어서, 상기 제어 회로부는 또한, 상기 객체 상에서 검출된 상기 참조와 상기 주어진 메시지의 상기 결합된 콘텐츠를 포함하는 메시지를 상기 객체와 연관된 제2 사용자에게 전송하도록 구성되는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제12항에 있어서, 상기 증강 현실 디바이스는, 사용자에 의해 착용되는 헤드셋 또는 모바일 폰을 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템
증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템으로서,
제1 사용자의 증강 현실 디바이스를 상기 증강 현실 디바이스의 시야 내의 객체 위에 위치시키기 위한 수단;
상기 제1 사용자의 증강 현실 디바이스의 시야 내에서 상기 객체를 식별하기 위한 수단;
상기 객체의 이미지를 캡처하기 위한 수단;
상기 객체의 이미지의 적어도 부분과 매칭되는 콘텐츠를 식별하기 위해 데이터베이스를 서치하기 위한 수단;
상기 객체의 이미지의 적어도 상기 부분과 매칭되는 콘텐츠를 식별하는 데 응답하여, 상기 객체 상에서, 이벤트의 참가자에 관련된 참조를 검출하기 위해, 상기 콘텐츠와 연관된 메타데이터를 리트리빙하기 위한 수단;
상기 참가자와 매칭되는 콘텐츠를 포함하는 주어진 메시지를 식별하기 위해, 상기 제1 사용자에 의해 이전에 소셜 네트워크에 전송된 메시지들의 리스트를 서치하기 위한 수단;
상기 시야 내의 상기 객체의 어느 영역이 상기 식별된 콘텐츠와 매칭되는 상기 이미지의 상기 부분을 포함하는지를 결정함으로써, 상기 참가자에 관련된 상기 참조의 상기 객체 상에서의 위치를 식별하기 위한 수단; 및
상기 증강 현실 디바이스를 사용해, 상기 식별된 위치와 관련된 위치에서, 상기 객체 상에서 검출된 상기 참조와 상기 주어진 메시지를 결합시키기 위한 수단
을 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제22항에 있어서, 상기 이미지를 캡처하기 위한 수단은, 상기 객체를 표현하는 픽셀들을 저장하기 위해 카메라 회로부를 사용하기 위한 수단을 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제22항에 있어서, 상기 데이터베이스를 서치하기 위한 수단은,
이미지를 콘텐츠와 연관시키는 복수의 엔트리를 상기 데이터베이스에 저장하기 위한 수단;
상기 객체의 상기 캡처된 이미지에서 복수의 별개의 아이템을 검출하기 위한 수단;
상기 별개의 아이템 중 주어진 아이템에 실질적으로 대응하는 주어진 이미지를 포함하는, 상기 복수의 엔트리 중 주어진 엔트리를 식별하기 위한 수단; 및
상기 주어진 이미지와 연관된 콘텐츠를 리트리빙하기 위한 수단
을 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제24항에 있어서, 상기 콘텐츠는 제1 팀의 로고를 포함하고, 상기 시스템은, 상기 로고의 데이터베이스 서치에 기초하여 그리고 상기 메타데이터에 기초하여 상기 제1 팀의 이름을 결정하기 위한 수단을 더 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제25항에 있어서, 상기 이벤트는 스포츠 이벤트이고, 상기 시스템은,
상기 스포츠 이벤트에서 복수의 경쟁자를 식별하기 위한 수단;
상기 제1 팀이 상기 스포츠 이벤트에 등장한다고 결정하기 위한 수단;
상기 스포츠 이벤트에 등장하는 제2 팀을 식별하기 위해 상기 복수의 경쟁자를 서치하기 위한 수단; 및
상기 제2 팀을 포함하는, 상기 메시지들 중 하나를, 상기 주어진 메시지로서 선택하기 위한 수단
을 더 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제22항에 있어서,
상기 이벤트와 연관된 시간을 식별하기 위한 수단; 및
상기 시간의 문턱치 내에서 상기 소셜 네트워크에 전송된, 상기 메시지들의 리스트의 서브세트를 선택하기 위한 수단
을 더 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제22항에 있어서,
상기 객체 상에서 검출된 상기 참조와 결합된 상기 주어진 메시지의 상기 증강 현실 디바이스를 통한 뷰를 표현하는 픽처를 저장하기 위한 수단; 및
상기 사용자가 상기 픽처를 상기 소셜 네트워크에 전송하도록 하기 위한 옵션을 디스플레이를 위해 생성하기 위한 수단
을 더 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제22항에 있어서, 상기 객체는, 제2 사용자에 의해 착용된 의류 물품을 포함하고, 상기 이미지의 상기 부분은, 상기 제2 사용자에 의해 착용된 상기 의류 물품 상의 그래픽을 포함하고, 상기 콘텐츠는, 상기 그래픽에 의해 표현된 팀을 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제22항에 있어서, 상기 객체 상에서 검출된 상기 참조와 상기 주어진 메시지의 상기 결합된 콘텐츠를 포함하는 메시지를 상기 객체와 연관된 제2 사용자에게 전송하기 위한 수단을 더 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
제22항에 있어서, 상기 증강 현실 디바이스는, 사용자에 의해 착용되는 헤드셋 또는 모바일 폰을 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 시스템.
증강 현실에서 보충 콘텐츠를 제시하기 위한 비일시적 컴퓨터 판독가능 명령어가 인코딩되어 있는 비일시적 컴퓨터 판독가능 매체로서,
제1 사용자의 증강 현실 디바이스를 상기 증강 현실 디바이스의 시야 내의 객체 위에 위치시키기 위한 명령어;
상기 제1 사용자의 증강 현실 디바이스의 시야 내에서 상기 객체를 식별하기 위한 명령어;
상기 객체의 이미지를 캡처하기 위한 명령어;
상기 객체의 이미지의 적어도 부분과 매칭되는 콘텐츠를 식별하기 위해 데이터베이스를 서치하기 위한 명령어;
상기 객체의 이미지의 적어도 상기 부분과 매칭되는 콘텐츠를 식별하는 데 응답하여, 상기 객체 상에서, 이벤트의 참가자에 관련된 참조를 검출하기 위해, 상기 콘텐츠와 연관된 메타데이터를 리트리빙하기 위한 명령어;
상기 참가자와 매칭되는 콘텐츠를 포함하는 주어진 메시지를 식별하기 위해, 상기 제1 사용자에 의해 이전에 소셜 네트워크에 전송된 메시지들의 리스트를 서치하기 위한 명령어;
상기 시야 내의 상기 객체의 어느 영역이 상기 식별된 콘텐츠와 매칭되는 상기 이미지의 상기 부분을 포함하는지를 결정함으로써, 상기 참가자에 관련된 상기 참조의 상기 객체 상에서의 위치를 식별하기 위한 명령어; 및
상기 증강 현실 디바이스를 사용해, 상기 식별된 위치와 관련된 위치에서, 상기 객체 상에서 검출된 상기 참조와 상기 주어진 메시지를 결합시키기 위한 명령어
를 포함하는, 비일시적 컴퓨터 판독가능 매체.
제32항에 있어서, 상기 이미지를 캡처하기 위한 명령어는, 상기 객체를 표현하는 픽셀들을 저장하기 위해 카메라 회로부를 사용하는, 비일시적 컴퓨터 판독가능 매체.
제32항에 있어서, 상기 데이터베이스를 서치하기 위한 명령어는,
이미지를 콘텐츠와 연관시키는 복수의 엔트리를 상기 데이터베이스에 저장하기 위한 명령어;
상기 객체의 상기 캡처된 이미지에서 복수의 별개의 아이템을 검출하기 위한 명령어;
상기 별개의 아이템 중 주어진 아이템에 실질적으로 대응하는 주어진 이미지를 포함하는, 상기 복수의 엔트리 중 주어진 엔트리를 식별하기 위한 명령어; 및
상기 주어진 이미지와 연관된 콘텐츠를 리트리빙하기 위한 명령어
를 포함하는, 비일시적 컴퓨터 판독가능 매체.
제34항에 있어서, 상기 콘텐츠는 제1 팀의 로고를 포함하고, 상기 비일시적 컴퓨터 판독가능 매체는, 상기 로고의 데이터베이스 서치에 기초하여 그리고 상기 메타데이터에 기초하여 상기 제1 팀의 이름을 결정하기 위한 명령어를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
제35항에 있어서, 상기 이벤트는 스포츠 이벤트이고, 상기 비일시적 컴퓨터 판독가능 매체는,
상기 스포츠 이벤트에서 복수의 경쟁자를 식별하기 위한 명령어;
상기 제1 팀이 상기 스포츠 이벤트에 등장한다고 결정하기 위한 명령어;
상기 스포츠 이벤트에 등장하는 제2 팀을 식별하기 위해 상기 복수의 경쟁자를 서치하기 위한 명령어; 및
상기 제2 팀을 포함하는, 상기 메시지들 중 하나를, 상기 주어진 메시지로서 선택하기 위한 명령어
를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
제32항에 있어서,
상기 이벤트와 연관된 시간을 식별하기 위한 명령어; 및
상기 시간의 문턱치 내에서 상기 소셜 네트워크에 전송된, 상기 메시지들의 리스트의 서브세트를 선택하기 위한 명령어
를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
제32항에 있어서,
상기 객체 상에서 검출된 상기 참조와 결합된 상기 주어진 메시지의 상기 증강 현실 디바이스를 통한 뷰를 표현하는 픽처를 저장하기 위한 명령어; 및
상기 사용자가 상기 픽처를 상기 소셜 네트워크에 전송하도록 하기 위한 옵션을 디스플레이를 위해 생성하기 위한 명령어
를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
제32항에 있어서, 상기 객체는, 제2 사용자에 의해 착용된 의류 물품을 포함하고, 상기 이미지의 상기 부분은, 상기 제2 사용자에 의해 착용된 상기 의류 물품 상의 그래픽을 포함하고, 상기 콘텐츠는, 상기 그래픽에 의해 표현된 팀을 포함하는, 비일시적 컴퓨터 판독가능 매체.
제32항에 있어서, 상기 객체 상에서 검출된 상기 참조와 상기 주어진 메시지의 상기 결합된 콘텐츠를 포함하는 메시지를 상기 객체와 연관된 제2 사용자에게 전송하기 위한 명령어를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
제32항에 있어서, 상기 증강 현실 디바이스는, 사용자에 의해 착용되는 헤드셋 또는 모바일 폰을 포함하는, 비일시적 컴퓨터 판독가능 매체.
증강 현실에서 보충 콘텐츠를 제시하기 위한 방법으로서,
제1 사용자의 증강 현실 디바이스를 상기 증강 현실 디바이스의 시야 내의 객체 위에 위치시키는 단계;
상기 제1 사용자의 증강 현실 디바이스의 시야 내에서 상기 객체를 식별하는 단계;
상기 객체의 이미지를 캡처하는 단계;
상기 객체의 이미지의 적어도 부분과 매칭되는 콘텐츠를 식별하기 위해 데이터베이스를 서치하는 단계;
상기 객체의 이미지의 적어도 상기 부분과 매칭되는 콘텐츠를 식별하는 데 응답하여, 상기 객체 상에서, 이벤트의 참가자에 관련된 참조를 검출하기 위해, 상기 콘텐츠와 연관된 메타데이터를 리트리빙하는 단계;
상기 참가자와 매칭되는 콘텐츠를 포함하는 주어진 메시지를 식별하기 위해, 상기 제1 사용자에 의해 이전에 소셜 네트워크에 전송된 메시지들의 리스트를 서치하는 단계;
상기 시야 내의 상기 객체의 어느 영역이 상기 식별된 콘텐츠와 매칭되는 상기 이미지의 상기 부분을 포함하는지를 결정함으로써, 상기 참가자에 관련된 상기 참조의 상기 객체 상에서의 위치를 식별하는 단계; 및
상기 증강 현실 디바이스를 사용해, 상기 식별된 위치와 관련된 위치에서, 상기 객체 상에서 검출된 상기 참조와 상기 주어진 메시지를 결합시키는 단계
를 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제42항에 있어서, 상기 이미지를 캡처하는 단계는, 상기 객체를 표현하는 픽셀들을 저장하기 위해 카메라 회로부를 사용하는 단계를 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제42항 또는 제43항에 있어서, 상기 데이터베이스를 서치하는 단계는,
이미지를 콘텐츠와 연관시키는 복수의 엔트리를 상기 데이터베이스에 저장하는 단계;
상기 객체의 상기 캡처된 이미지에서 복수의 별개의 아이템을 검출하는 단계;
상기 별개의 아이템 중 주어진 아이템에 실질적으로 대응하는 주어진 이미지를 포함하는, 상기 복수의 엔트리 중 주어진 엔트리를 식별하는 단계;
상기 주어진 이미지와 연관된 콘텐츠를 리트리빙하는 단계
를 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제42항 내지 제44항 중 어느 한 항에 있어서, 상기 콘텐츠는 제1 팀의 로고를 포함하고, 상기 방법은, 상기 로고의 데이터베이스 서치에 기초하여 그리고 상기 메타데이터에 기초하여 상기 제1 팀의 이름을 결정하는 단계를 더 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제42항 내지 제45항 중 어느 한 항에 있어서, 상기 이벤트는 스포츠 이벤트이고, 상기 방법은,
상기 스포츠 이벤트에서 복수의 경쟁자를 식별하는 단계;
상기 제1 팀이 상기 스포츠 이벤트에 등장한다고 결정하는 단계;
상기 스포츠 이벤트에 등장하는 제2 팀을 식별하기 위해 상기 복수의 경쟁자를 서치하는 단계; 및
상기 제2 팀을 포함하는, 상기 메시지들 중 하나를, 상기 주어진 메시지로서 선택하는 단계
를 더 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제42항 내지 제46항 중 어느 한 항에 있어서,
상기 이벤트와 연관된 시간을 식별하는 단계; 및
상기 시간의 문턱치 내에서 상기 소셜 네트워크에 전송된, 상기 메시지들의 리스트의 서브세트를 선택하는 단계
를 더 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제42항 내지 제47항 중 어느 한 항에 있어서,
상기 객체 상에서 검출된 상기 참조와 결합된 상기 주어진 메시지의 상기 증강 현실 디바이스를 통한 뷰를 표현하는 픽처를 저장하는 단계; 및
상기 사용자가 상기 픽처를 상기 소셜 네트워크에 전송하도록 하기 위한 옵션을 디스플레이를 위해 생성하는 단계
를 더 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제42항 내지 제48항 중 어느 한 항에 있어서, 상기 객체는, 제2 사용자에 의해 착용된 의류 물품을 포함하고, 상기 이미지의 상기 부분은, 상기 제2 사용자에 의해 착용된 상기 의류 물품 상의 그래픽을 포함하고, 상기 콘텐츠는, 상기 그래픽에 의해 표현된 팀을 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제42항 내지 제49항 중 어느 한 항에 있어서, 상기 객체 상에서 검출된 상기 참조와 상기 주어진 메시지의 상기 결합된 콘텐츠를 포함하는 메시지를 상기 객체와 연관된 제2 사용자에게 전송하는 단계를 더 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.
제42항 내지 제50항 중 어느 한 항에 있어서, 상기 증강 현실 디바이스는, 사용자에 의해 착용되는 헤드셋 또는 모바일 폰을 포함하는, 증강 현실에서 보충 콘텐츠를 제시하기 위한 방법.