KR20150095554A - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20150095554A
KR20150095554A KR1020147021731A KR20147021731A KR20150095554A KR 20150095554 A KR20150095554 A KR 20150095554A KR 1020147021731 A KR1020147021731 A KR 1020147021731A KR 20147021731 A KR20147021731 A KR 20147021731A KR 20150095554 A KR20150095554 A KR 20150095554A
Authority
KR
South Korea
Prior art keywords
window
content
acr
frame time
command
Prior art date
Application number
KR1020147021731A
Other languages
English (en)
Other versions
KR102190278B1 (ko
Inventor
야스아키 야마기시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20150095554A publication Critical patent/KR20150095554A/ko
Application granted granted Critical
Publication of KR102190278B1 publication Critical patent/KR102190278B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Abstract

본 개시는, 동시에 표시될 수 있는 복수의 콘텐츠와, 별도 표시되는 정보의 대응 관계를, 유저가 빠르게 파악할 수 있도록 하는 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다. 본 개시의 제1 측면인 정보 처리 장치는, 단말 장치와 함께 홈 네트워크 시스템을 구성하는 정보 처리 장치로서, 화면 상에 설치된 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 프레임 시각 속성을 설정하는 프레임 시각 속성 설정부와, 상기 윈도우에 대하여 설정되어 있는 상기 프레임 시각 속성의 통지를 상기 단말 장치로부터 요구하기 위한 커맨드를 상기 단말 장치에 공개하는 공개부와, 상기 단말 장치로부터의 상기 커맨드의 호출에 응답하여, 상기 윈도우의 상기 프레임 시각 속성을 상기 단말 장치에 통지하는 통지부를 구비한다. 본 개시는, ACR 서비스를 이용하는 홈 네트워크 시스템에 적용할 수 있다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램{INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM}
본 개시는, 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이며, 특히, 홈 네트워크를 구성하는 어떤 스크린 디바이스에서 표시되고 있는 콘텐츠를 ACR(Automatic Content Recognition) 서비스에 의해 식별하고, 다른 스크린 디바이스에 의해 상기 콘텐츠에 대응하는 메타데이터를 표시하거나, 상기 콘텐츠의 진행에 맞추어 어플리케이션을 실행하거나 하는 경우에 사용하기에 적합한 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
예를 들면, TV(텔레비전) 프로그램의 시청자에 대하여, 방송 중인 TV 프로그램(이하, 간단히 프로그램이라 칭함)에 관련되는 정보(출연자, 줄거리, 다음 회의 예고 등)나, 프로그램에는 직접 관계되지 않지만 시청자에게 유익한 정보(뉴스, 일기 예보, 교통 정보 등) 등을 화면 상에 표시하는 것을 생각한다.
이것을 실현하기 위해서는, 전용의 어플리케이션 프로그램(이하, 어플리케이션이라 약기함)을 취득, 기동시키기 위한 커맨드를 프로그램의 진행에 연동하여 TV 수상기 등에 대하여 송신하면 된다. 실제로, 이미 일본이나 유럽 등에 있어서는, TV 방송 신호에 있어서의 데이터 방송용 대역을 이용하여 당해 커맨드나 어플리케이션을 송신함으로써, 이것이 실현되고 있다(예를 들면, 특허문헌 1 참조).
한편, 미국에서는, TV 방송 신호에 데이터 방송용 대역이 설정되어 있지 않고, 그것을 대체할 방법이 확립되어 있지 있으므로, 프로그램의 진행에 연동하여 어플리케이션을 실행시키는 것이 실현되고 있지 않다.
또한, 미국에서는, TV 수상기에 의해 TV 방송파를 직접 수신하여 프로그램을 시청하는 세대보다도, CATV나 IPTV 등을 통하여 프로그램을 시청하는 세대쪽이 많다. CATV나 IPTV에서는 TV 방송 신호로부터 프로그램의 영상 및 음성의 신호만을 추출하여 배신(配信)하는 경우가 있으므로, 설령 미국에 있어서의 TV 방송 신호에 데이터 방송용 대역이 설정되었다고 해도, 어플리케이션이나 그것에 관한 데이터를 포함한 데이터 방송 신호가 수신 장치까지 전송된다는 보증은 없다.
또한 최근, 방송 중인 프로그램뿐만 아니라, 녹화한 프로그램, DVD, BD 등의 패키지 미디어로부터 재생한 영상, 인터넷 상에서 다운로드한 동화상, 악곡 등(이하, 이들을 콘텐츠라 칭함)을 시청하고 있는 경우에 있어서도, 그 진행에 연동하여 어플리케이션을 실행시키고 싶다는 요구가 있다.
이 요구를 실현하기 위해서는, 시청되고 있는 콘텐츠를 식별할 필요가 있고, 그 하나의 방법으로서, ACR(Automatic Content Recognition) 서비스라 칭하는 기술이 존재한다(예를 들면, 특허문헌 2 참조).
ACR 서비스는, ACR 클라이언트와 ACR 서버에 의해 실현된다. TV 수상기 등의 콘텐츠 재생 장치에 탑재되는 ACR 클라이언트는, 시청되고 있는 콘텐츠로부터 그 특징을 나타내는 시그니처 데이터를 추출하여 ACR 서버에 통지하여 콘텐츠의 식별을 의뢰한다. ACR 서버는, 통지된 시그니처 데이터와 미리 데이터베이스에 등록되어 있는 콘텐츠의 시그니처 데이터를 비교함으로써, 콘텐츠 재생 장치에서 시청되고 있는 콘텐츠를 식별한다. 또한, 식별한 콘텐츠에 관한 메타데이터나 그것에 연동하여 실행해야 할 어플리케이션(이하, 연동 어플리케이션이라 약칭함)을 나타내는 정보를 포함하는 ACR 리스펀스를 ACR 클라이언트에 응답한다.
이 응답을 수신한 ACR 클라이언트가 실장된 콘텐츠 재생 장치에서는, 소정의 서버로부터 연동 어플리케이션을 취득하여 실행하게 된다.
일본 특허 공개 제2006-50237호 공보 일본 특허 공개 제2012-168801호 공보
그런데, 상술한 바와 같이 미국에 있어서는 CATV나 IPTV 등의 보급에 의해, TV 수상기가 CATV나 IPTV 등의 셋톱 박스 등의 외부 장치의 표시 출력 디바이스로서 자리매김되어 있다.
이 때문에, 유저는 TV 수상기의 리모트 컨트롤러(이하, 리모콘이라 약칭함)를 조작할 기회가 거의 없고, 상기 외부 장치의 리모콘을 조작하는 경우가 많다. 따라서, TV 수상기의 리모콘에 의해 조작하게 되는, 콘텐츠 재생 장치로서의 TV 수상기에 있어서 기동된 연동 어플리케이션에 대한 조작은, 유저에게 있어서 사용하기 편리한 것으로는 되지 않을 가능성이 있다.
따라서, 유저의 편리성을 고려하여, ACR 클라이언트가 탑재된 콘텐츠 재생 장치(TV 수상기 등)와는 상이한 세컨드 스크린 디바이스에 의해, 콘텐츠 재생 장치에서 시청 중인 콘텐츠에 관한 메타데이터를 표시하거나, 연동 어플리케이션을 실행시키고 싶다는 요구가 발생하고 있다.
여기서, 세컨드 스크린 디바이스로서는, 예를 들면 태블릿형 단말기, 슬레이트 PC, 스마트폰 등을 들 수 있다.
또한, 최근에는, 세컨드 스크린 디바이스에서 기동한 소정의 어플리케이션 프로그램에 의해 상기 외부 장치를 조작할 수 있는 것, 즉, 세컨드 스크린 디바이스를 상기 외부 장치의 리모콘으로서 이용할 수 있는 것이 존재한다. 따라서, 콘텐츠 재생 장치나 그 외부 장치에 대한 조작 입력 디바이스를 세컨드 스크린 디바이스에 집약한다는 관점에 있어서도 상기 요구의 실현이 요망된다.
또한, 주로 미국에서는, 콘텐츠 재생 장치로서의 TV 수상기 등의 화면이 50 내지 60인치보다도 대형화되는 경향이 있고, 상기 대형화된 화면에 동시에 상이한 복수의 콘텐츠를 표시시켜 시청하는 이용 형태가 서서히 일반화되기 시작하고 있다. 따라서, 그와 같은 대형 화면을 갖는 TV 수상기 등에 ACR 클라이언트를 내장시키고, 세컨드 스크린 디바이스와 제휴시키는 이용 형태에 대해서도 고려할 필요가 있다. 이하, 대형 화면을 갖고, 동시에 상이한 복수의 콘텐츠를 표시할 수 있는 TV 수상기 등을, 멀티윈도우 스크린 디바이스라 칭한다.
도 1은 ACR 클라이언트를 내장시킨 멀티윈도우 스크린 디바이스와 세컨드(2nd) 스크린 디바이스를 제휴시켜 ACR 서비스를 이용하는 것을　상정하고, 그것들을 유저 집 등에 배치한 경우의 공간 개략도이다.
도 1에 있어서는, 유저의 정면에 멀티윈도우 스크린 디바이스(1-1)가 설치되고, 좌측 벽에 멀티스크린 디바이스(1-2)가 설치되어 있다. 유저의 옆에는 세컨드 스크린 디바이스(3)가 배치되어 있다.
멀티윈도우 스크린 디바이스(1-1)에는, 화면 상에 복수(도 1의 경우, 3)의 윈도우를 설치할 수 있고, 각 윈도우에는 동시에 각각 상이한 콘텐츠(동일한 것도 가능)를 표시시킬 수 있다. 이하, 예를 들면 윈도우 A에 표시되고 있는 콘텐츠를 콘텐츠 A라 칭한다. 다른 윈도우에 표시되고 있는 콘텐츠에 대해서도 마찬가지로 한다.
또한, 멀티윈도우 스크린 디바이스(1-1)는, ACR 서비스를 이용함으로써, 각 윈도우에 표시되어 있는 콘텐츠의 식별 결과 등을 포함하는 ACR 리스펀스를 세컨드 스크린 디바이스(3)에 전송할 수 있다.
멀티윈도우 스크린 디바이스(1-2)에 대해서도, 멀티윈도우 스크린 디바이스(1-1)와 마찬가지이다. 단, 도 1에 있어서 멀티윈도우 스크린 디바이스(1-2)는, 그 화면 상에 윈도우 X만을 설치하여 콘텐츠 X를 표시하고 있는 상태이다.
세컨드 스크린 디바이스(3)에서는, 멀티윈도우 스크린 디바이스(1-1)나 멀티윈도우 스크린 디바이스(1-2)의 각 윈도우에 표시되어 있는 콘텐츠에 대응하는 메타데이터나, 상기 콘텐츠의 진행에 맞춘 연동 어플리케이션을 기동하여 동시에 표시할 수 있다.
도 1의 경우, 세컨드 스크린 디바이스(3)는, 윈도우 A의 콘텐츠 A에 대한 연동 어플리케이션 A와, 윈도우 C의 콘텐츠 C에 대한 연동 어플리케이션 C와, 윈도우 X의 콘텐츠 X에 대한 메타데이터 X가 동시에 표시되어 있는 상태이다.
도 1에 도시된 이용 형태를 상정한 경우, 유저는 세컨드 스크린 디바이스(3)의 화면에 표시되어 있는 각 정보(연동 어플리케이션의 영상이나 메타데이터)가, 멀티윈도우 스크린 디바이스(1-1, 1-2) 중 어느 쪽의 윈도우에 표시되어 있는 콘텐츠에 대응하는 것인지를 빠르게 파악할 수 없을 가능성이 있다.
따라서, 멀티윈도우 스크린 디바이스(1-1, 1-2)의 각 윈도우에 동시에 표시될 수 있는 복수의 콘텐츠와, 세컨드 스크린 디바이스(3)에 표시될 수 있는 복수의 정보(연동 어플리케이션의 영상이나 메타데이터)의 대응 관계를, 유저가 빠르게 파악할 수 있는 구조가 필요하다.
본 개시는 이와 같은 상황을 감안하여 이루어진 것이며, 동시에 표시될 수 있는 복수의 콘텐츠와, 별도 표시되는 정보의 대응 관계를, 유저가 빠르게 파악할 수 있도록 하는 것이다.
본 개시의 제1 측면인 정보 처리 장치는, 단말 장치와 함께 홈 네트워크 시스템을 구성하는 정보 처리 장치에 있어서, 화면 상에 설치된 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 프레임 시각 속성을 설정하는 프레임 시각 속성 설정부와, 상기 윈도우에 대하여 설정되어 있는 상기 프레임 시각 속성의 통지를 상기 단말 장치로부터 요구하기 위한 커맨드를 상기 단말 장치에 공개하는 공개부와, 상기 단말 장치로부터의 상기 커맨드의 호출에 응답하여, 상기 윈도우의 상기 프레임 시각 속성을 상기 단말 장치에 통지하는 통지부를 구비한다.
상기 표시 제어부는, 화면 상에 설치한 복수의 상기 윈도우로서, 상이한 복수의 상기 콘텐츠를 각각 표시시키기 위한 상기 복수의 윈도우에 대하여, 각각 상이한 상기 프레임 시각 속성을 설정하고, 상기 공개부는, 복수의 상기 윈도우 각각의 프레임 시각 속성의 통지를 상기 단말 장치로부터 요구하기 위한 커맨드를 상기 단말 장치에 공개할 수 있다.
상기 프레임 시각 속성 설정부는, 상기 단말 장치로부터의 상기 커맨드를 이용한 리퀘스트에 응답하여, 상기 윈도우의 상기 프레임 시각 속성을 변경할 수 있다.
상기 공개부는, UPnP의 규정을 확장한 상기 디바이스 디스크립션에, 상기 커맨드의 URL을 직접 기술하여 상기 단말 장치에 공개할 수 있다.
상기 커맨드는 WebAPI로 할 수 있다.
상기 공개부는, 상기 홈 네트워크 상에 Notify 메시지를 멀티캐스트 배신하고, 상기 Notify 메시지에 기초하는 상기 단말 장치로부터의 액세스에 응답하여 상기 디바이스 디스크립션을 상기 단말 장치에 공개할 수 있다.
상기 공개부는, 상기 단말 장치로부터의 M-Search에 응답하여 상기 디바이스 디스크립션을 상기 단말 장치에 공개할 수 있다.
본 개시의 제1 측면인 정보 처리 장치는, 재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하고, 추출한 상기 시그니처 데이터를 적어도 포함하는 쿼리를 생성하여 식별 서버에 송신하고, 상기 쿼리에 응답하여 상기 식별 서버로부터 회신된, 상기 재생된 콘텐츠의 식별 결과를 나타내는 리스펀스를 수신하는 식별 의뢰 처리부를 더 구비할 수 있고, 상기 공개부는, 상기 단말 장치로부터 상기 식별 의뢰 처리부를 동작시키기 위한 커맨드도 상기 단말 장치에 공개할 수 있다.
본 개시의 제1 측면인 정보 처리 방법은, 단말 장치와 함께 홈 네트워크 시스템을 구성하는 정보 처리 장치의 정보 처리 방법에 있어서, 상기 정보 처리 장치에 의한, 화면 상에 설치된 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 프레임 시각 속성을 설정하는 프레임 시각 속성 설정 스텝과, 상기 윈도우에 대하여 설정되어 있는 상기 프레임 시각 속성의 통지를 상기 단말 장치로부터 요구하기 위한 커맨드를 상기 단말 장치에 공개하는 공개 스텝과, 상기 단말 장치로부터의 상기 커맨드의 호출에 응답하여, 상기 윈도우의 상기 프레임 시각 속성을 상기 단말 장치에 통지하는 통지 스텝을 포함한다.
본 개시의 제1 측면인 프로그램은, 단말 장치와 함께 홈 네트워크 시스템을 구성하는 컴퓨터를, 화면 상에 설치된 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 프레임 시각 속성을 설정하는 프레임 시각 속성 설정부와, 상기 윈도우에 대하여 설정되어 있는 상기 프레임 시각 속성의 통지를 상기 단말 장치로부터 요구하기 위한 커맨드를 상기 단말 장치에 공개하는 공개부와, 상기 단말 장치로부터의 상기 커맨드의 호출에 응답하여, 상기 윈도우의 상기 프레임 시각 속성을 상기 단말 장치에 통지하는 통지부로서 기능시킨다.
본 개시의 제1 측면에 있어서는, 화면 상에 설치된 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 프레임 시각 속성이 설정되고, 상기 윈도우에 대하여 설정되어 있는 상기 프레임 시각 속성의 통지를 단말 장치로부터 요구하기 위한 커맨드가 상기 단말 장치에 공개되고, 상기 단말 장치로부터의 상기 커맨드의 호출에 응답하여, 상기 윈도우의 상기 프레임 시각 속성이 상기 단말 장치에 통지된다.
본 개시의 제2 측면인 정보 처리 장치는, 화면 상에 설치된 윈도우에 콘텐츠를 표시시키는 콘텐츠 표시 장치와 함께 홈 네트워크 시스템을 구성하는 정보 처리 장치에 있어서, 상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 설정되어 있는 프레임 시각 속성의 통지를 요구하기 위한 커맨드를 상기 콘텐츠 표시 장치로부터 취득하고, 상기 커맨드를 호출함으로써 상기 프레임 시각 속성의 통지를 수신하는 커맨드 취득부와, 상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우에 표시되어 있는 상기 콘텐츠의 진행에 맞추어 실행해야 할 연동 어플리케이션을 취득하여 실행하는 연동 어플리케이션 실행부와, 상기 연동 어플리케이션에 의한 화상을 표시시키는 프레임에 대하여, 통지된 상기 프레임 시각 속성과 동일한 설정을 행하는 프레임 표시 제어부를 구비한다.
상기 커맨드 취득부는, 상기 콘텐츠 표시 장치가 공개한, UPnP의 규정을 확장한 디바이스 디스크립션에 직접 기술되어 있는 상기 커맨드의 URL을 취득할 수 있다.
상기 커맨드는 WebAPI로 할 수 있다.
상기 커맨드 취득부는, 상기 콘텐츠 표시 장치가 상기 홈 네트워크 상에 멀티캐스트 배신한 Notify 메시지에 기초하여, 상기 콘텐츠 표시 장치로부터 상기 디바이스 디스크립션을 취득할 수 있다.
상기 커맨드 취득부는, M-Search에 의해 검색한 상기 콘텐츠 표시 장치로부터 공급되는 상기 디바이스 디스크립션을 취득할 수 있다.
상기 콘텐츠 표시 장치는, 재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하고, 추출한 상기 시그니처 데이터를 적어도 포함하는 쿼리를 생성하여 식별 서버에 송신하고, 상기 쿼리에 응답하여 상기 식별 서버로부터 회신된, 상기 재생된 콘텐츠의 식별 결과를 나타내는 리스펀스를 수신하는 식별 의뢰 처리부를 구비하고, 상기 커맨드 취득부는, 상기 콘텐츠 표시 장치의 상기 식별 의뢰 처리부를 동작시키기 위한 커맨드도 상기 콘텐츠 표시 장치로부터 취득하고, 상기 커맨드를 호출함으로써 상기 콘텐츠 표시 장치로부터 전송되는 상기 리스펀스를 수신하고, 상기 연동 어플리케이션 실행부는, 수신된 상기 리스펀스에 포함되는, 식별된 상기 콘텐츠에 대응하는 관련 메타데이터에 기초하여, 상기 연동 어플리케이션을 취득하여 실행할 수 있다.
본 개시의 제2 측면인 정보 처리 방법은, 화면 상에 설치된 윈도우에 콘텐츠를 표시시키는 콘텐츠 표시 장치와 함께 홈 네트워크 시스템을 구성하는 정보 처리 장치의 정보 처리 방법에 있어서, 상기 정보 처리 장치에 의한, 상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 설정되어 있는 프레임 시각 속성의 통지를 요구하기 위한 커맨드를 상기 콘텐츠 표시 장치로부터 취득하는 취득 스텝과, 상기 커맨드를 호출함으로써 상기 프레임 시각 속성의 통지를 수신하는 수신 스텝과, 상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우에 표시되어 있는 상기 콘텐츠의 진행에 맞추어 실행해야 할 연동 어플리케이션을 취득하여 실행하는 연동 어플리케이션 실행 스텝과, 상기 연동 어플리케이션에 의한 화상을 표시시키는 프레임에 대하여, 통지된 상기 프레임 시각 속성과 동일한 설정을 행하는 프레임 표시 제어 스텝을 포함한다.
본 개시의 제2 측면인 프로그램은, 화면 상에 설치된 윈도우에 콘텐츠를 표시시키는 콘텐츠 표시 장치와 함께 홈 네트워크 시스템을 구성하는 컴퓨터를, 상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 설정되어 있는 프레임 시각 속성의 통지를 요구하기 위한 커맨드를 상기 콘텐츠 표시 장치로부터 취득하고, 상기 커맨드를 호출함으로써 상기 프레임 시각 속성의 통지를 수신하는 커맨드 취득부와, 상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우에 표시되어 있는 상기 콘텐츠의 진행에 맞추어 실행해야 할 연동 어플리케이션을 취득하여 실행하는 연동 어플리케이션 실행부와, 상기 연동 어플리케이션에 의한 화상을 표시시키는 프레임에 대하여, 통지된 상기 프레임 시각 속성과 동일한 설정을 행하는 프레임 표시 제어부로서 기능시킨다.
본 개시의 제2 측면에 있어서는, 콘텐츠 표시 장치의 화면 상에 설치된 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 설정되어 있는 프레임 시각 속성의 통지를 요구하기 위한 커맨드가 상기 콘텐츠 표시 장치로부터 취득되고, 상기 커맨드를 호출함으로써 상기 프레임 시각 속성의 통지를 수신하고, 상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우에 표시되어 있는 상기 콘텐츠의 진행에 맞추어 실행해야 할 연동 어플리케이션이 취득되어 실행된다. 그때, 상기 연동 어플리케이션에 의한 화상을 표시시키는 프레임에 대하여, 통지된 상기 프레임 시각 속성과 동일한 설정이 행해진다.
본 개시의 제3 측면인 정보 처리 방법은, 콘텐츠 표시 장치와 단말 장치를 갖는 홈 네트워크 시스템의 정보 처리 방법에 있어서, 상기 콘텐츠 표시 장치에 의한, 화면 상에 설치된 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 프레임 시각 속성을 설정하는 프레임 시각 속성 설정 스텝과, 상기 콘텐츠 표시 장치에 의한, 상기 윈도우에 대하여 설정되어 있는 상기 프레임 시각 속성의 통지를 상기 단말 장치로부터 요구하기 위한 커맨드를 상기 단말 장치에 공개하는 공개 스텝과, 상기 단말 장치에 의한, 공개된 상기 커맨드를 취득하는 취득 스텝과, 상기 콘텐츠 표시 장치에 의한, 상기 단말 장치에 의한 상기 커맨드의 호출에 응답하여, 상기 윈도우의 상기 프레임 시각 속성을 상기 단말 장치에 통지하는 통지 스텝과, 상기 단말 장치에 의한, 상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우에 표시되어 있는 상기 콘텐츠의 진행에 맞추어 실행해야 할 연동 어플리케이션을 취득하여 실행하는 연동 어플리케이션 실행 스텝과, 상기 단말 장치에 의한, 상기 연동 어플리케이션에 의한 화상을 표시시키는 프레임에 대하여, 통지된 상기 프레임 시각 속성과 동일한 설정을 행하는 프레임 표시 제어 스텝을 포함한다.
본 개시의 제3 측면에 있어서는, 콘텐츠 표시 장치에 의해, 화면 상에 설치된 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 프레임 시각 속성이 설정되고, 윈도우에 대하여 설정되어 있는 상기 프레임 시각 속성의 통지를 상기 단말 장치로부터 요구하기 위한 커맨드가 상기 단말 장치에 공개된다. 한편, 상기 단말 장치에 의해, 공개된 상기 커맨드가 취득된다. 또한, 상기 콘텐츠 표시 장치에 의해, 상기 단말 장치에 의한 상기 커맨드의 호출에 응답하여, 상기 윈도우의 상기 프레임 시각 속성이 상기 단말 장치에 통지되고, 상기 단말 장치에 의해, 상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우에 표시되어 있는 상기 콘텐츠의 진행에 맞추어 실행해야 할 연동 어플리케이션이 취득되어 실행되고, 그때, 상기 연동 어플리케이션에 의한 화상을 표시시키는 프레임에 대하여, 통지된 상기 프레임 시각 속성과 동일한 설정이 행해진다.
본 개시의 제1 측면에 의하면, 콘텐츠를 표시시키는 윈도우에 대하여 설정한 프레임 시각 속성을 단말 장치에 통지할 수 있다.
본 개시의 제2 측면에 의하면, 콘텐츠의 진행에 맞추어 실행해야 할 연동 어플리케이션에 의한 화상을 표시시키는 프레임에 대하여, 콘텐츠 표시 장치에서 콘텐츠를 표시시키는 윈도우에 대하여 설정된 프레임 시각 속성과 동일한 설정을 행할 수 있다.
본 개시의 제3 측면에 의하면, 콘텐츠 표시 장치에 있어서 콘텐츠를 표시시키는 윈도우와, 단말 장치에 있어서 상기 콘텐츠의 진행에 맞추어 실행해야 할 연동 어플리케이션에 의한 화상을 표시시키는 프레임에 대하여, 공통의 프레임 시각 속성을 설정할 수 있다.
도 1은 멀티윈도우 스크린 디바이스와 세컨드 스크린 디바이스를 제휴시켜 ACR 서비스를 이용하는 경우의 공간 개략도이다.
도 2는 본 개시의 개요를 설명하기 위한 공간 개략도이다.
도 3은 본 개시의 실시 형태인 ACR 서비스 활용 시스템의 구성예를 도시하는 블록도이다.
도 4는 ACR 서버의 구성예를 도시하는 블록도이다.
도 5는 ACR 클라이언트의 구성예를 도시하는 블록도이다.
도 6은 ACR 레퍼런스 데이터의 데이터 구조를 도시하는 도면이다.
도 7은 ACR 쿼리의 데이터 구조를 도시하는 도면이다.
도 8은 ACR 리스펀스의 데이터 구조를 도시하는 도면이다.
도 9는 홈 네트워크 시스템에 있어서의 사전 처리를 설명하는 흐름도이다.
도 10은 홈 네트워크 시스템에 있어서의 사전 처리를 설명하는 흐름도이다.
도 11은 ACR 서비스 활용 시스템의 동작을 설명하는 흐름도이다.
도 12는 컴퓨터의 구성예를 도시하는 블록도이다.
이하, 본 개시를 실시하기 위한 구체적인 내용(이하, 실시 형태라 칭함)에 대하여, 도면을 참조하면서 상세하게 설명한다.
[ACR 서비스 활용 시스템의 개요]
도 2는 본 개시의 실시 형태인 ACR 서비스 활용 시스템의 개요를 도시하고 있다. 상기 ACR 서비스 활용 시스템은, ACR 클라이언트를 내장시킨 멀티윈도우 스크린 디바이스(40-1, 40-2)와 세컨드 스크린 디바이스(50)를 갖고, 이들을 제휴시켜 ACR 서비스를 이용하는 것이다.
도 2에 있어서는, 유저의 정면에 멀티윈도우 스크린 디바이스(40-1)가 설치되고, 좌측 벽에 멀티스크린 디바이스(40-2)가 설치되어 있다. 유저의 옆에는, 세컨드 스크린 디바이스(50)가 배치되어 있다.
멀티윈도우 스크린 디바이스(40-1)에는, 화면 상에 복수(도 2의 경우, 3)의 윈도우를 설치할 수 있고, 각 윈도우에는 동시에 각각 상이한 콘텐츠(동일한 것도 가능)를 표시시킬 수 있다. 이하, 예를 들면 윈도우 A에 표시되고 있는 콘텐츠를 콘텐츠 A라 칭한다. 다른 윈도우에 표시되고 있는 콘텐츠에 대해서도 마찬가지로 한다.
또한, 멀티윈도우 스크린 디바이스(40-1)는, ACR 서비스를 이용함으로써, 각 윈도우에 표시되어 있는 콘텐츠의 식별 결과 등을 포함하는 ACR 리스펀스를 세컨드 스크린 디바이스(50)에 전송할 수 있다.
또한, 멀티윈도우 스크린 디바이스(40-1)는, 각 윈도우의 프레임에, 다른 윈도우(멀티윈도우 스크린 디바이스(40-2)의 윈도우도 포함함)의 프레임과 시각적으로 구별 가능한 속성(이하, 프레임 시각 속성이라 칭함)을 갖게 할 수 있다.
프레임 시각 속성으로서는, CSS(Cascading Style Sheets)에 의해 설정, 변경이 가능한 프레임 선의 색, 굵기, 선종, 3D 표시의 심도 등을 들 수 있다. 도 2의 경우에서는, 각 윈도우의 프레임의 선종을 다른 윈도우의 프레임과 상이한 것으로 설정하고 있으며, 윈도우 A의 프레임은 일점쇄선, 윈도우 B의 프레임은 실선, 윈도우 C의 프레임은 점선으로 설정되어 있다.
멀티윈도우 스크린 디바이스(40-2)에 대해서도, 멀티윈도우 스크린 디바이스(40-1)와 마찬가지이다. 단, 도 2에 있어서 멀티윈도우 스크린 디바이스(40-2)는, 그 화면 상에 윈도우 X만을 설치하고, 그 프레임은 이점쇄선으로 되어 콘텐츠 X를 표시하고 있는 상태이다.
세컨드 스크린 디바이스(50)에서는, 멀티윈도우 스크린 디바이스(40-1, 40-2)의 각 윈도우에 표시되어 있는 콘텐츠에 대응하는 메타데이터나, 상기 콘텐츠의 진행에 맞춘 연동 어플리케이션을 기동하여 표시할 수 있다.
또한, 세컨드 스크린 디바이스(50)에서는, 표시하는 각 정보(콘텐츠에 대응하는 메타데이터, 연동 어플리케이션의 화면)에 프레임을 설치하고, 상기 프레임에 대하여, 대응하는 콘텐츠를 표시하고 있는 윈도우의 프레임과 마찬가지의 프레임 시각 속성을 설정할 수 있다.
즉, 도 2의 경우, 세컨드 스크린 디바이스(50)는, 윈도우 A의 콘텐츠 A에 대한 연동 어플리케이션 A를 일점쇄선의 프레임 내에, 윈도우 C의 콘텐츠 C에 대한 연동 어플리케이션 C를 점선의 프레임 내에, 윈도우 X의 콘텐츠 X에 대한 메타데이터 X를 이점쇄선의 프레임 내에 동시에 표시하고 있는 상태이다. 또한, 이들 정보를 동시에 표시하는 것이 아니라, 전환하여 표시하는 경우에 있어서도, 그 프레임에 대하여, 대응하는 콘텐츠를 표시하고 있는 윈도우의 프레임과 마찬가지의 프레임 시각 속성을 설정할 수 있다.
[ACR 서비스 활용 시스템의 구성예]
도 3은 본 개시의 실시 형태인 ACR 서비스 활용 시스템의 구성예를 도시하고 있다.
이 ACR 서비스 활용 시스템(10)은 대형 화면을 갖는 TV 수상기 등의 멀티윈도우 스크린 디바이스(40-1, 40-2)의 화면에 동시에 표시되어 있는 하나 이상의 콘텐츠를 각각 식별하고, 각 콘텐츠에 관한 메타데이터를 세컨드(2nd) 스크린 디바이스(50)에 의해 유저에게 제시하거나, 상기 콘텐츠의 진행에 맞추어 연동 어플리케이션을 실행하거나 하는 것이다. 이하, 멀티윈도우 스크린 디바이스(40-1, 40-2)를 개개로 구별할 필요가 없는 경우, 간단히 멀티윈도우 스크린 디바이스(40)라 칭한다.
여기서, 콘텐츠란, 방송 중인 프로그램에 한정되지 않는다. 예를 들면, 멀티윈도우 스크린 디바이스(40)에 접속된 비디오 레코더 등의 외부 장치에 의해 녹화, 재생된 프로그램, 패키지 미디어로부터 재생된 영화 등의 영상, 인터넷 등을 통하여 다운로드한 동화상, 악곡 등의 모든 AV 콘텐츠가 포함된다. 또한, 프로그램간이나 프로그램의 도중 등에 삽입되는 커머셜 메시지(이하, CM이라 칭함)도 콘텐츠에 포함된다.
콘텐츠의 식별에는, 시청하고 있는 콘텐츠로부터 주기적으로 추출하는, 상기 콘텐츠의 특징을 나타내는 시그니처 데이터(예를 들면, 워터 마크, 핑거 프린트 등)와, 미리 데이터베이스에 등록되어 있는 콘텐츠의 시그니처 데이터를 비교함으로써, 콘텐츠를 식별하는 ACR 서비스가 이용된다.
ACR 서비스 활용 시스템(10)은, 콘텐츠나 그것에 대응하는 연동 어플리케이션 등을 공급하는 측의 프로바이더 시스템(20)과, 콘텐츠를 시청하거나 연동 어플리케이션을 이용하거나 하는 유저측의 홈 네트워크 시스템(30)에 의해 구성된다.
프로바이더 시스템(20)과 홈 네트워크 시스템(30)은, 방송망(11) 및 쌍방향 통신망(12)을 통하여 접속된다. 여기서, 방송망(11)에는 TV 방송망, CATV망, IPTV망 등이 포함된다. 쌍방향 통신망(12)은 인터넷으로 대표되는 IP 통신망을 가리킨다.
또한, 도 3에 있어서, 홈 네트워크 시스템(30)에 속하는 멀티윈도우 스크린 디바이스(40-2)와 프로바이더 시스템(20)의 방송망(11) 및 쌍방향 통신망(12)을 통한 라인은 생략되어 있다.
[프로바이더 시스템(20)의 설명]
프로바이더 시스템(20)은 콘텐츠 서버(21), 메타데이터 서버(22), 어플리케이션 서버(23) 및 ACR 서버(24)로 구성된다.
콘텐츠 서버(21)는 프로그램이나 CM 등의 콘텐츠를, 방송망(11)을 통하여 방송한다. 또한, 콘텐츠 서버(21)는, 방송하는 콘텐츠를 ACR 서버(24)에 공급한다. 또한, 콘텐츠를 공급하는 대신에, 콘텐츠 식별자와, 상기 콘텐츠로부터 미리 추출한 시그니처 데이터를 ACR 서버(24)에 공급하도록 해도 된다.
메타데이터 서버(22)는, 콘텐츠 서버(21)로부터 방송되는 콘텐츠에 대응하는 메타데이터를 ACR 서버(24)에 공급한다. 메타데이터에는, 상기 콘텐츠에 관한 각종 정보나 상기 콘텐츠의 진행에 맞추어 실행시키는 연동 어플리케이션을 나타내는 식별자, 상기 연동 어플리케이션에서 사용하는 데이터 등이 포함된다.
어플리케이션 서버(23)는, 홈 네트워크 시스템(30)의 세컨드 스크린 디바이스(50)로부터의 요구에 응답하여, 쌍방향 통신망(12)을 통하여 어플리케이션이나 상기 어플리케이션에서 이용하는 데이터를 공급한다.
ACR 서버(24)는, 홈 네트워크 시스템(30)의 멀티윈도우 스크린 디바이스(40)에서 시청될 수 있는 다양한 콘텐츠의 각각으로부터 소정의 샘플링 주기로 추출된 시그니처 데이터에, 콘텐츠 식별자, 어플리케이션 식별자 등을 대응지은 ACR 레퍼런스 데이터를 미리 생성하고, 데이터베이스화하여 유지하고 있다. ACR 서버(24)는, ACR 레퍼런스 데이터의 데이터베이스에 기초하여, 멀티윈도우 스크린 디바이스(40)의 ACR 클라이언트(42A 내지 42C)로부터 송신되는 ACR 쿼리에 응답하여 ACR 리스펀스를 생성, 회신한다.
또한, 프로바이더 시스템(20)을 구성하는 콘텐츠 서버(21), 메타데이터 서버(22), 어플리케이션 서버(23) 및 ACR 서버(24)는, 1곳에 집중하여 배치해도 되고, 분산하여 배치해도 된다. 또한, 이들 중 몇 개를 적절히 조합하여 구성하도록 해도 된다. 또한, 이들은 각각 복수 존재해도 된다.
[홈 네트워크 시스템(30)의 설명]
홈 네트워크 시스템(30)은 대형 화면을 갖는 TV 수상기 등의 멀티윈도우 스크린 디바이스(40)와, 태블릿형 단말기, 슬레이트 PC, 스마트폰 등의 세컨드 스크린 디바이스(50)를 포함한다. 멀티윈도우 스크린 디바이스(40)와 세컨드 스크린 디바이스(50)는, 예를 들면 무선 LAN 등에 의해 접속되어 있는 것으로 한다.
또한, 멀티윈도우 스크린 디바이스(40) 및 세컨드 스크린 디바이스(50)는 홈 네트워크 시스템(30) 내에 각각 복수 존재해도 된다.
멀티윈도우 스크린 디바이스(40)는, 그 화면에 복수의 윈도우를 설치하고, 각 윈도우에 동시에 상이한 콘텐츠를 표시하여, 유저에게 시청시키기 위한 것이며, 콘텐츠 렌더러(41), ACR 클라이언트(42), UPnP(Universal Plug and Play) 서버(43), 로컬 Web 서버(44) 및 윈도우 매니저(45)를 갖는다. 콘텐츠 렌더러(41) 및 ACR 클라이언트(42)의 각각은, 상기 멀티윈도우 스크린 디바이스(40)가 설정 가능한 윈도우의 수와 동일 수만큼 탑재되어 있다.
본 실시 형태에 있어서, 멀티윈도우 스크린 디바이스(40)는, 그 화면에 3개의 윈도우 A, B, C를 설치할 수 있는 것으로 한다. 이 경우, 그것에 대응하여 3개의 콘텐츠 렌더러(41A, 41B, 41C)와, 3개의 ACR 클라이언트(42A, 42B, 42C)가 탑재되어 있는 것으로 한다. 설정 가능한 윈도우 등의 수는 3에 한정되는 것은 아니다. 이하, 콘텐츠 렌더러(41A, 41B, 41C)를 개개로 구별할 필요가 없는 경우, 간단히 콘텐츠 렌더러(41)라 칭한다. ACR 클라이언트(42A, 42B, 42C)에 대해서도 마찬가지로 한다.
콘텐츠 렌더러(41A)는, 멀티윈도우 스크린 디바이스(40)의 화면 상의 윈도우 A에 표시되는 모든 콘텐츠를 취득, 분기하여 ACR 클라이언트(42A)에 공급한다. 즉, 콘텐츠 렌더러(41A)는, 콘텐츠 서버(21)로부터 방송되는 콘텐츠뿐만 아니라, 멀티윈도우 스크린 디바이스(40)의 각종 입력 단자(HDMI(등록 상표) 단자 등)를 통하여 입력되는 콘텐츠도 취득, 분기하여 ACR 클라이언트(42A)에 공급한다. 콘텐츠 렌더러(41B, 41C)에 대해서도 마찬가지이다.
ACR 클라이언트(42A)는, 콘텐츠 렌더러(41A)로부터 입력되는 콘텐츠로부터, 당해 콘텐츠의 특징을 나타내는 시그니처 데이터를 소정의 샘플링 주기로 추출한다. 여기서, 시그니처 데이터의 추출 방식은, 프로바이더 시스템(20)의 ACR 서버(24)와 동일한 추출 방식(후술)을 사용하는 것으로 한다.
또한, ACR 클라이언트(42A)는, 추출한 시그니처 데이터를 포함하는 ACR 쿼리를 생성하고, 쌍방향 통신망(12)을 통하여 프로바이더 시스템(20)의 ACR 서버(24)에 송신한다. 또한, ACR 클라이언트(42A)는, 송신한 ACR 쿼리에 응답하여 ACR 서버(24)로부터 회신되는 ACR 리스펀스를 수신하여 유지한다. ACR 클라이언트(42B, 42C)에 대해서도 마찬가지이다.
UPnP 서버(43)는, 멀티윈도우 스크린 디바이스(40)와 함께 홈 네트워크 시스템(30)을 구성하고 있는 다른 디바이스(현재의 경우, 세컨드 스크린 디바이스(50))에 대하여, 자신이 실장되어 있는 멀티윈도우 스크린 디바이스(40)의 기능(현재의 경우, ACR 클라이언트(42)에 의해 ACR 서비스를 이용하는 것)을 호출하기 위한 WebAPI(Application Program Interface)의 상세를 주지시키는 것이다. 구체적으로는, 일반적인 UPnP 서버가 제공하는 기본 프로토콜 상에 새롭게 프로토콜을 정의하고, 이것을 사용하여 주지시킨다(상세 후술).
로컬 Web 서버(44)는 멀티윈도우 스크린 디바이스(40)와 함께 홈 네트워크 시스템(30)을 구성하고 있는 다른 디바이스(현재의 경우, 세컨드 스크린 디바이스(50))에 대하여, 자신이 실장되어 있는 멀티윈도우 스크린 디바이스(40)의 기능(현재의 경우, ACR 클라이언트(42)에 의해 ACR 서비스를 이용하는 것)을 이용시킨다. 구체적으로는, UPnP 서버(43)가 통지한 WebAPI가 호출된 것에 따라서 ACR 클라이언트(42)를 제어하여, ACR 서비스를 이용시키고, ACR 서버(24)로부터 회신되는 ACR 리스펀스를 세컨드 스크린 디바이스(50)에 전송한다.
윈도우 매니저(45)는 멀티윈도우 스크린 디바이스(40)의 화면 상에 설치된 윈도우의 프레임의 표시를 제어한다.
세컨드 스크린 디바이스(50)는, 본 실시 형태에 있어서는 주로 멀티윈도우 스크린 디바이스(40)에서 시청되고 있는 콘텐츠의 메타데이터를 유저에게 제시하거나, 상기 콘텐츠의 진행에 맞추어 연동 어플리케이션을 실행하거나 하는 것이며, 복수의 ACR 어플리케이션(51), 그것과 동일 수의 연동 어플리케이션 매니저(52) 및 윈도우 매니저(53)를 갖는다.
본 실시 형태에 있어서는, 세컨드 스크린 디바이스(50)는, 3개의 ACR 어플리케이션(51a, 51b, 51c)과 3개의 연동 어플리케이션 매니저(52a, 52b, 52c)를 갖는 것으로 한다. 단, 이들 수는 3에 한정되는 것은 아니다. 이하, ACR 어플리케이션(51a, 51b, 51c)을 개개로 구별할 필요가 없는 경우, 간단히 ACR 어플리케이션(51)이라 칭한다. 연동 어플리케이션 매니저(52a, 52b, 52c)에 대해서도 마찬가지로 한다.
ACR 어플리케이션(51)은, 세컨드 스크린 디바이스(50)에 미리 인스톨되어 있고, 멀티윈도우 스크린 디바이스(40)와 제휴하여 ACR 서비스를 이용할 때 기동된다. ACR 어플리케이션(51)은, ACR 서비스를 이용하는 기능을 판독하기 위한 WebAPI를 UPnP 서버(43)로부터 취득하고, 상기 WebAPI를 호출함으로써, ACR 클라이언트(42)가 수신한 ACR 서버(24)로부터의 ACR 리스펀스를, 로컬 Web 서버(44)를 통하여 취득한다. 또한, ACR 어플리케이션(51)은, 취득한 ACR 리스펀스를 해석하고, 해석 결과를 연동 어플리케이션 매니저(52)에 통지한다.
연동 어플리케이션 매니저(52)는, ACR 어플리케이션(51)으로부터의 통지에 따라서, ACR 리스펀스에 포함된 메타데이터를 유저에게 제시하거나, 멀티윈도우 스크린 디바이스(40)에서 시청 중인 콘텐츠에 대응하는 연동 어플리케이션을, 쌍방향 통신망(12)을 통하여 어플리케이션 서버(23)로부터 취득하여 실행하거나 한다. 또한, 연동 어플리케이션 매니저(52)에는 Web 브라우저를 사용할 수 있다.
윈도우 매니저(53)는, 각 연동 어플리케이션 매니저(52)에 의해 표시되는 정보(메타데이터나 연동 어플리케이션의 화면)를 표시하는 프레임에 대하여, 대응하는 콘텐츠를 표시하고 있는 멀티윈도우 스크린 디바이스(40)의 윈도우의 프레임 시각 속성과 동일한 설정을 행한다.
[ACR 서버(24)의 상세한 구성예]
도 4는 프로바이더 시스템(20)에 포함되는 ACR 서버(24)의 상세한 구성예를 도시하고 있다.
ACR 서버(24)는 콘텐츠 취득부(61), 시그니처 추출부(62), ACR 데이터베이스(DB)(63), ACR 리스펀스 생성부(64) 및 통신부(65)로 구성된다.
콘텐츠 취득부(61)는, 콘텐츠 서버(21)가 방송망(11)을 통하여 방송할 예정의 콘텐츠나 멀티윈도우 스크린 디바이스(40)에서 시청될 수 있는 다양한 콘텐츠를, 콘텐츠 서버(21) 등으로부터 취득하고, 취득한 콘텐츠를 시그니처 추출부(62)에 공급한다. 시그니처 추출부(62)는, 콘텐츠 취득부(61)로부터 공급되는 콘텐츠로부터, 그 특징을 나타내는 시그니처 데이터를 소정의 추출 방식을 사용하여, 소정의 샘플링 주기로 추출하여 ACR 데이터베이스(63)에 출력한다.
시그니처 추출부(62)에 있어서의 시그니처 데이터의 추출 방식은, 기존의 임의의 방법을 적용할 수 있다. 예를 들면, 콘텐츠에 미리 매립되어 있는 워터 마크를 추출하여 시그니처 데이터로 하거나, 핑거 프린트를 산출하고, 그것을 시그니처 데이터로 하거나 하도록 해도 된다.
시그니처 데이터로서 핑거 프린트를 사용함으로써, 콘텐츠의 해상도, 애스펙트비, 비트 레이트, 부호화 포맷 등이 변환되었다고 해도, 변환 전과 변환 후에 동일한 시그니처 데이터를 얻을 수 있다. 따라서, 이 시그니처 데이터에 기초하여 콘텐츠의 식별을 행한 경우의 식별 정밀도를 올릴 수 있다.
또한, ACR 서버(24)가 복수 존재하는 경우, 각각의 시그니처 추출부(62)에 있어서의 시그니처 데이터의 추출 방식은 반드시 일치할 필요는 없고, ACR 서버(24)마다 임의의 추출 방식을 채용할 수 있다.
ACR 데이터베이스(63)는, 시그니처 추출부(62)로부터 입력되는 각 시그니처 데이터에 대하여 그 추출원의 콘텐츠를 나타내는 콘텐츠 식별자 등을 대응지은 ACR 레퍼런스 데이터를 생성하여 기억한다. 이에 의해, 콘텐츠로부터 추출된 시그니처 데이터가 데이터베이스화된다. ACR 레퍼런스 데이터의 데이터 구조에 대해서는 도 4를 참조하여 후술한다.
ACR 리스펀스 생성부(64)는, ACR 데이터베이스(63)를 참조함으로써, ACR 클라이언트(42)로부터 송신되는 ACR 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 식별한다. 또한, ACR 리스펀스 생성부(64)는, 식별 결과로서의 콘텐츠 식별자, 관련 메타데이터 등을 포함하는 ACR 리스펀스를 생성한다. ACR 리스펀스의 데이터 구조에 대해서는 도 8을 참조하여 후술한다. 통신부(65)는, ACR 클라이언트(42)로부터 송신된 ACR 쿼리를 수신하여 ACR 리스펀스 생성부(64)에 출력하고, ACR 리스펀스 생성부(64)에 의해 생성된 ACR 리스펀스를 ACR 클라이언트(42)에 송신한다.
[ACR 클라이언트(42)의 상세한 구성예]
도 5는 멀티윈도우 스크린 디바이스(40)에 탑재된 ACR 클라이언트(42)의 상세한 구성예를 도시하고 있다.
ACR 클라이언트(42)는, 시그니처 추출부(71), ACR 쿼리 생성부(72), 통신부(73) 및 ACR 리스펀스 유지부(74)로 구성된다.
시그니처 추출부(71)는, 콘텐츠 렌더러(41)로부터 분기, 공급되는 콘텐츠로부터, 그 특징을 나타내는 시그니처 데이터를 소정의 샘플링 주기로 추출하여 ACR 쿼리 생성부(72)에 출력한다. 또한, 시그니처 추출부(71)에 있어서의 시그니처 데이터의 추출 방식은, 이용하는 ACR 서버(24)의 시그니처 추출부(62)에 있어서의 그것과 공통이다.
ACR 쿼리 생성부(72)는, 시그니처 추출부(71)에 의해 추출된 시그니처 데이터를 포함하는 ACR 쿼리이며, ACR 서버(24)에 대하여 콘텐츠의 식별을 의뢰하기 위한 ACR 쿼리를 생성한다. ACR 쿼리의 데이터 구조에 대해서는 도 7을 참조하여 후술한다.
통신부(73)는, ACR 쿼리 생성부(72)에 의해 생성된 ACR 쿼리를 ACR 서버(24)에 송신하고, ACR 서버(24)로부터 회신되는 ACR 리스펀스를 수신하여 ACR 리스펀스 유지부(74)에 출력한다. ACR 리스펀스 유지부(74)는, 통신부(73)에 의해 수신된 ACR 리스펀스를 유지한다. 또한, 유지된 ACR 리스펀스는 로컬 Web 서버(44)에 의해 세컨드 스크린 디바이스(50)에 전송된다.
[ACR 레퍼런스 데이터의 데이터 구조]
도 6은 ACR 서버(24)의 ACR 데이터베이스(63)에 데이터베이스화되어 있는 ACR 레퍼런스 데이터의 데이터 구조를 도시하고 있다.
ACR 레퍼런스 데이터(100)에 있어서는, 콘텐츠로부터 소정의 주기로 추출된 각 시그니처 데이터(101)에 대하여, 콘텐츠 식별자(102), 재생 시각(103) 및 관련 메타데이터(104)가 대응지어져 있다.
시그니처 데이터(101)는 시그니처 추출부(62)에 의해 콘텐츠로부터 추출된 것이다. 콘텐츠 식별자(102)는, 시그니처 데이터(101)의 추출원의 콘텐츠를 나타내는 정보이다. 재생 시각(103)은, 콘텐츠 식별자(102)가 나타내는 콘텐츠로부터 상기 시그니처 데이터(101)가 추출되었을 때의 콘텐츠의 진행 타이밍을 나타내는 것이며, 예를 들면 상기 콘텐츠의 선두로부터의 경과 시간에 의해 나타내어진다.
관련 메타데이터(104)에는, 콘텐츠 식별자(102)가 나타내는 콘텐츠의 메타데이터나, 연동 어플리케이션 식별자(상기 콘텐츠의, 재생 시각(103)이 나타내는 콘텐츠의 진행 타이밍에 맞추어 실행해야 할 연동 어플리케이션을 일의(一意)로 나타내는 정보), 실행된 상기 연동 어플리케이션에 의해 이용되는 각종 데이터가 포함된다.
또한, 관련 메타데이터(104)는 재생 시각(103)이 나타내는 콘텐츠의 진행 타이밍에 따라서 상이한 내용으로 해도 된다.
[ACR 쿼리의 데이터 구조]
도 7은 ACR 클라이언트(42)의 ACR 쿼리 생성부(72)에 의해 생성되는 ACR 쿼리의 데이터 구조를 도시하고 있다.
ACR 쿼리(110)에는, ACR 쿼리 식별자(111), 시그니처 방식 식별자(112), 서비스 식별자(113), 시그니처 데이터(114), 로컬 타임 스탬프(115), 발신원 어드레스(116) 및 서명(117)이 포함된다.
ACR 쿼리 식별자(111)는, 상기 ACR 쿼리(110)를 일의로 특정하기 위한 정보이다. 시그니처 방식 식별자(112)는, 시그니처 데이터(114)를 추출할 때 사용된 추출 방식을 특정하기 위한 정보이다. 서비스 식별자(113)는, ACR 서버(24)가 복수 존재하는 경우에 있어서, 상기 ACR 쿼리(110)를 송신하여 ACR 리스펀스를 얻는 ACR 서버(24)를 선택하기 위한 정보이다.
시그니처 데이터(114)는, ACR 클라이언트(42)의 시그니처 추출부(71)에 의해 콘텐츠로부터 추출된 것이다. 로컬 타임 스탬프(115)는 콘텐츠로부터 시그니처 데이터(114)가 추출된 타이밍을 나타내는 것이며, 멀티윈도우 스크린 디바이스(40)의 로컬 시스템 클럭이 나타내는 시각에 의해 나타내어진다.
발신원 어드레스(116)는, 상기 ACR 쿼리(110)를 발신하는 ACR 클라이언트(42)의 쌍방향 통신망(12)에 있어서의 어드레스이며, 상기 ACR 쿼리(110)에 응답하여 ACR 서버(24)에 의해 생성되는 ACR 리스펀스의 회신처를 나타내는 정보로서 이용된다. 서명(117)은, 상기 ACR 쿼리(110)의 개찬(falsification)을 억제하기 위한 것이다. 또한, ACR 쿼리(110)의 전체를 암호화하여 송신하도록 해도 된다.
[ACR 리스펀스의 데이터 구조]
도 8은 ACR 서버(24)의 ACR 리스펀스 생성부(64)에 의해 생성되는 ACR 리스펀스의 데이터 구조를 도시하고 있다.
ACR 리스펀스(120)는, 도 8의 A 또는 도 8의 B에 도시한 데이터 구조를 갖는다. 도 8의 A는 ACR 쿼리(110)에 포함되는 시그니처 데이터(114)의 추출원의 콘텐츠를 식별한 경우, 즉, 멀티윈도우 스크린 디바이스(40)의 유저가 시청 중인 콘텐츠를 식별한 경우의 ACR 리스펀스(120)의 데이터 구조이다. 도 8의 B는 콘텐츠를 식별하지 못한 경우의 ACR 리스펀스(120)의 데이터 구조이다.
멀티윈도우 스크린 디바이스(40)의 유저가 시청 중인 콘텐츠를 식별한 경우의 ACR 리스펀스(120)(도 8의 A)에는, ACR 쿼리 식별자(121), 시그니처 방식 식별자(122), 서비스 식별자(123), 콘텐츠 식별자(124), 재생 시각(125), 로컬 타임 스탬프(126), 관련 메타데이터(127), 발신원 어드레스(128) 및 서명(129)이 포함된다.
한편, 멀티윈도우 스크린 디바이스(40)의 유저가 시청 중인 콘텐츠를 식별하지 못한 경우의 ACR 리스펀스(120)(도 8의 B)에는, ACR 쿼리 식별자(121), 서비스 식별자(122), 발신원 어드레스(128), 서명(129) 및 식별 실패 플래그(130)가 포함된다.
ACR 쿼리 식별자(121), 시그니처 방식 식별자(122), 서비스 식별자(123), 로컬 타임 스탬프(126)는, 상기 ACR 리스펀스(120)의 회신을 요구한 ACR 쿼리(110)를 특정하기 위한 것이고, 상기 ACR 쿼리(110)의 ACR 쿼리 식별자(111), 시그니처 방식 식별자(112), 서비스 식별자(113) 및 로컬 타임 스탬프(115)가 인용되어 기술된다.
콘텐츠 식별자(124), 재생 시각(125) 및 관련 메타데이터(127)는, 콘텐츠의 식별 결과를 나타내는 것이며, 대응하는 ACR 레퍼런스 데이터(100)의 콘텐츠 식별자(102), 재생 시각(103) 및 관련 메타데이터(104)가 인용되어 기술된다.
발신원 어드레스(128)는, 상기 ACR 리스펀스(120)를 송신하는 ACR 서버(24)의 쌍방향 통신망(12)에 있어서의 어드레스이다. 서명(129)은, 상기 ACR 리스펀스(120)의 개찬을 억제하기 위한 것이다. 또한, ACR 리스펀스(120) 전체를 암호화하여 송신함으로써, 그 개찬을 방지하도록 해도 된다.
식별 실패 플래그(130)는, ACR 서버(24)에 의해, ACR 클라이언트(42)로부터의 ACR 쿼리(110)에 포함되는 시그니처 데이터(114)의 추출원의 콘텐츠, 즉, 멀티윈도우 스크린 디바이스(40)의 유저가 시청 중인 콘텐츠를 식별하지 못한 것을 나타내는 플래그이다.
[ACR 서비스 활용 시스템(10)의 홈 네트워크 시스템(30)의 처리]
다음에, 홈 네트워크 시스템(30)에 있어서, 세컨드 스크린 디바이스(50)가, 멀티윈도우 스크린 디바이스(40)를 이용할 수 있는 기능에 관한 정보인 디바이스 디스크립션을 취득할 때의 2가지의 처리에 대하여 설명한다.
또한, 본 실시 형태에 있어서의 멀티윈도우 스크린 디바이스(40)를 이용할 수 있는 기능이란, ACR 클라이언트(42)에 의한 ACR 서비스의 이용과, 윈도우 매니저(45)에 의한 화면 상의 각 윈도우에 대한 프레임 시각 속성의 부여를 가리킨다.
도 9는 이미 세컨드 스크린 디바이스(50)에서 ACR 어플리케이션(51)이 기동되고 있는 상태에 있어서, 멀티윈도우 스크린 디바이스(40)가 네트워크 시스템(30)에 접속된 경우(멀티윈도우 스크린 디바이스(40)의 기동 시도 포함함)의 처리를 설명하는 흐름도이다.
스텝 S1에 있어서, 멀티윈도우 스크린 디바이스(40)의 UPnP 서버(43)는, 홈 네트워크 시스템(30)에 대하여, 이하에 나타내어지는 UPnP에 의해 규정된 Notify 메시지를 멀티캐스트 배신한다. 상기 Notify 메시지는, UDP/IP에 의해 홈 네트워크 시스템(30)에 전송되고, 현재의 경우, 세컨드 스크린 디바이스(50)의 ACR 어플리케이션(51)에 수신된다.
NOTIFY * HTTP/1.1
…
LOCATION "http://192.168.0.4:55500"
…
Notify 메시지의 LOCATION 헤더에는 멀티윈도우 스크린 디바이스(40)의 디바이스 디스크립션의 취득처 어드레스가 기재되어 있다. 따라서, 스텝 S11에 있어서, 세컨드 스크린 디바이스(50)에서 ACR 어플리케이션(51)은, HTTP GET에 의해, 상기 취득처 어드레스로부터 디바이스 디스크립션을 취득한다.
이상의 처리에 의해, 세컨드 스크린 디바이스(50)의 ACR 어플리케이션(51)은, 멀티윈도우 스크린 디바이스(40)의 디바이스 디스크립션을 취득할 수 있다.
다음에, 도 10은 먼저 멀티윈도우 스크린 디바이스(40)가 네트워크 시스템(30)에 접속되어 기동되어 있는 상태에 있어서, 나중에 세컨드 스크린 디바이스(50)에서 ACR 어플리케이션(51)이 기동된 경우의 처리를 설명하는 흐름도이다.
이 경우, 멀티윈도우 스크린 디바이스(40)의 UPnP 서버(43)에 의한 Notify 메시지의 멀티캐스트 배신이 이미 행해져 버렸으므로, 세컨드 스크린 디바이스(50)의 ACR 어플리케이션(51)은 Notify 메시지를 수신할 수 없다. 따라서, 스텝 S21에 있어서, ACR 어플리케이션(51)은, UPnP에 의해 규정되어 있는 M-Search에 의해 이용 가능한 ACR 클라이언트를 검색한다.
상기 M-Search에 따른 멀티윈도우 스크린 디바이스(40)의 UPnP 서버(43)는, 스텝 S31에 있어서, 디바이스 디스크립션을 응답한다. ACR 어플리케이션(51)은, 스텝 S22에 있어서, 상기 디바이스 디스크립션을 수신한다.
이상의 처리에 의해, 세컨드 스크린 디바이스(50)의 ACR 어플리케이션(51)은 멀티윈도우 스크린 디바이스(40)의 디바이스 디스크립션을 취득할 수 있다.
[디바이스 디스크립션의 예]
여기서, 디바이스 디스크립션의 예에 대하여 설명한다. 디바이스 디스크립션의 기술에는 예를 들면 XML 파일이 사용된다.
이하에 디바이스 디스크립션의 제1 예를 나타낸다.
디바이스 디스크립션의 제1 예
<root xmlns="urn:schemas-upnp-org:device-1-0">
…
<serviceList>
<service>
<serviceType>"urn:abc:service:ACRClient.v1"</serviceType>(ACR 클라이언트 서비스를 의미함)
<serviceId>"urn:UPnP:serviceId:1234"</serviceId>(ACR 클라이언트 서비스의 서비스 ID를 의미함)
<SCPDURL></SCPDURL>
<controlURL>"http://192.168.0.4:55500/getACRResponse"</controlURL>
<WindowStyle>"http://192.168.0.4:55500/windowStyle"</WindowStyle>
…
</service>
</serviceList>
…
</root>
또한, 기존의 일반적인 UPnP에 규정된 디바이스 디스크립션의 <SCPDURL> 요소에는, ACR 클라이언트(42)를 이용할 수 있는 ACR 서비스에 관하여 기술되어 있는 서비스 디스크립션의 취득처 어드레스가 기술되어 있고, ACR 어플리케이션(51)이 HTTP GET에 의해 상기 취득처 어드레스로부터 서비스 디스크립션을 취득하게 된다. 또한, ACR 어플리케이션(51)이, UPnP에서 규정되어 있는 SOAP에 의해, <controlURL> 요소에 기술되어 있는 URL에 대하여 액션의 메시지를 송부함으로써 액션(현재의 경우, ACR 쿼리의 송신과, ACR 리스펀스의 전송)을 호출하게 된다.
그러나, 본 실시 형태에 있어서는, 보다 적은 수순으로 액션을 호출할 수 있도록, 상술한 바와 같은 UPnP에 규정된 디바이스 디스크립션을 확장하고, 상기 액션을 호출하기 위한 WebAPI를 디바이스 디스크립션에 직접 기술하도록 한다.
구체적으로는, 상술한 제1 예와 같이, 예를 들면 <SCPDURL> 요소에 아무것도 기술하지 않고 비우거나, 또는 소정의 더미의 문자열을 기술하도록 하고, <controlURL> 요소에, ACR 클라이언트를 기동시킴과 함께, ACR 리스펀스(120)의 전송을 요구하기 위한 WebAPI의 서버 사이드 스크립트 URL(제1 예의 경우, http://192.168.0.4:55500/getACRResponse)을 직접 기술하도록 한다.
또한, UPnP에는 규정되어 있지 않은 <WindowStyle> 요소를 새롭게 설치하고, 거기에 윈도우 매니저(45)에 프레임 시각 속성을 통지시키거나, 변경시키거나 하기 위한 WebAPI의 서버 사이드 스크립트 URL(제1 예의 경우, http://192.168.0.4:55500/windowStyle)을 직접 기술하도록 한다.
또한, <service> 요소는, 탑재되어 있는 ACR 클라이언트(42)마다 기술된다. 따라서, 본 실시 형태의 경우, <serviceList>에 3개의 <service> 요소가 기술된다.
또는, 이하에 나타내는 제2 예와 같이, UPnP에는 규정되어 있지 않은 <WebAPIURL> 요소를 새롭게 설치하고, 상기 <WebAPIURL> 요소에 WebAPI의 서버 사이드 스크립트 URL을 직접 기술하도록 해도 된다.
디바이스 디스크립션의 제2 예
<root xmlns="urn:schemas-upnp-org:device-1-0">
…
<serviceList>
<service>
<serviceType>"urn:abc:service:ACRClient.v1"</serviceType>(ACR 클라이언트 서비스를 의미함)
<serviceId>"urn:UPnP:serviceId:1234"</serviceId>(ACR 클라이언트 서비스의 서비스 ID를 의미함)
<SCPDURL></SCPDURL>
<controlURL></controlURL>
<WebAPIURL>"http://192.168.0.4:55500/getACRResponse"</WebAPIURL>
<WindowStyle>"http://192.168.0.4:55500/windowStyle"</WindowStyle>
…
</service>
</serviceList>
제1 또는 제2 예의 디바이스 디스크립션을 취득한 세컨드 스크린 디바이스(50)의 ACR 어플리케이션(51)에서는, 디바이스 디스크립션의 <controlURL> 요소 또는 <WebAPIURL> 요소에 기술되어 있는 WebAPI의 서버 사이드 스크립트 url인 getACRResponse를 HTTP GET에 의해 호출함으로써, 액션을 실행시킬 수 있다.
구체적으로는, 멀티윈도우 스크린 디바이스(40)의 ACR 클라이언트(42)에 대하여 기동하고 있지 않으면 기동시킨 후에, ACR 쿼리(110)를 송신시키고, 그것에 따라서 회신된 ACR 리스펀스(120)를 전송시킬 수 있다. 또한, ACR 리스펀스(120)의 전송은, WebAPI에 따라서 돌려 보내어지는 HTTP 리스펀스의 바디에, 예를 들면 이하와 같이 JSON에 의해 기술된 상태로 행해진다.
HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
…
"JSON에 의해 인코딩된 ACR 리스펀스의 내용"
상기 WebAPI를 사용한 트랜잭션은 콘텐츠가 시청되고 있는 동안, 반복 폴링에 의해 행해진다. 그리고, 콘텐츠의 진행에 따라서 그때그때 변환되는 ACR 리스펀스(120) 중의 관련 메타데이터(127) 등이 세컨드 스크린 디바이스(50)에 의해 유저에게 제시된다.
상술한 바와 같이, 디바이스 디스크립션을 확장하고, 이것을 표준화하면, 상이한 벤더에 의해 제조, 판매되는 멀티윈도우 스크린 디바이스(40)와 세컨드 스크린 디바이스(50)가 빠르게 제휴 동작하는 것이 가능해진다.
또한, WebAPI를 사용하는 대신에, IETF(Internet Engineering Task Force) 등이 표준화를 책정하고 있는 WebSocket을 사용하도록 해도 된다. WebSocket을 사용하는 경우, 로컬 Web 서버(44)(또는 ACR 클라이언트(42) 혹은 세컨드 스크린 디바이스(50)) 내에 WebSocket 서버를 설치하고, 상기 WebSocket 서버를 통하여, ACR 어플리케이션(51)과 ACR 클라이언트(42)의 양쪽으로부터 세션(TCP 커넥션) 확립 리퀘스트를 발행하여 세션을 확립하고, 상기 세션 상에서 상기 JSON 등에 의해 ACR 리스펀스(120)를 전송하도록 한다.
이 경우, ACR 클라이언트(42)가 새로운 ACR 리스펀스(120)를 ACR 서버(24)로부터 수신하면 바로, 확립된 상기 세션을 통하여 ACR 어플리케이션(51)에 전송된다. 따라서, WebAPI를 사용하였을 때는 필요한 폴링이 불필요해져, 폴링의 주기에 의존하지 않는 ACR 리스펀스(120)의 즉시 전송이 가능해진다.
또한, ACR 어플리케이션(51)에서는, 디바이스 디스크립션의 <WindowStyle> 요소에 기술되어 있는 WebAPI의 서버 사이드 스크립트 url인 windowStyle을 HTTP GET에 의해 호출함으로써, 로컬 Web 서버(44)를 통하여 윈도우 매니저(45)로부터 멀티윈도우 스크린 디바이스(40)의 화면에 설치한 윈도우의 프레임 시각 속성을 취득할 수 있다.
구체적으로는, 상기 WebAPI에 따라서 돌려 보내어지는 HTTP 리스펀스의 바디에 프레임 시각 속성이 기술된다. 예를 들면, 프레임 시각 속성으로서 색이 설정되어 있는 경우에는,
border-color:#ffa000->오렌지의 보더색을 지정하는 예
가 HTTP 리스펀스의 바디에 기술된다.
또한, 만약 멀티윈도우 스크린 디바이스(40-1)로부터 돌려 보내어진 프레임 시각 속성과, 멀티윈도우 스크린 디바이스(40-2)로부터 돌려 보내어진 프레임 시각 속성이 중복되어 있는 경우, 멀티윈도우 스크린 디바이스(40-1) 또는 멀티윈도우 스크린 디바이스(40-2) 중 한쪽에 프레임 시각 속성의 변경을 요구할 수 있다.
구체적으로는, <WindowStyle> 요소의 WebAPI의 URL에 대하여, HTTP POST 리퀘스트에 의해, 리퀘스트의 바디에 변경시키는 프레임 시각 속성을 기술하면 된다. 이하의 예는 중복된 프레임 시각 속성을 (border-color:#ffa001)로 변경시키는 경우를 나타내고 있다.
POST /windowStyle HTTP/1.0
host: 192.168.0.4:55500
Content-Length: 20
border-color:#ffa001
[ACR 서비스 활용 시스템(10)에 의한 동작]
다음에, ACR 서비스 활용 시스템(10)의 동작에 대하여 설명한다.
또한, 이하에 설명하는 동작의 전제로서, 홈 네트워크 시스템(30)에 있어서는, 세컨드 스크린 디바이스(50)의 ACR 어플리케이션(51)이, 이미 멀티윈도우 스크린 디바이스(40)의 UPnP 서버(43)로부터 디바이스 디스크립션을 취득하고 있는 것으로 한다.
또한, 프로바이더 시스템(20)의 ACR 서버(24)에 있어서는, 멀티윈도우 스크린 디바이스(40)에서 시청될 수 있는 다양한 콘텐츠에 대응하는 ACR 레퍼런스 데이터(100)가 생성되어 ACR 데이터베이스(63)에 등록되어 있는 것으로 한다.
도 11은 ACR 서비스 활용 시스템(10)의 동작을 설명하는 흐름도이다.
스텝 S41에 있어서, 프로바이더 시스템(20)의 콘텐츠 서버(21)는 방송망(11)을 통한 콘텐츠의 송신을 개시한다.
한편, 홈 네트워크 시스템(30)에 있어서는, 스텝 S51로서, 멀티윈도우 스크린 디바이스(40)가 콘텐츠의 수신, 재생을 개시한다. 여기서, 스텝 S61로서, 세컨드 스크린 디바이스(50)의 ACR 어플리케이션(51)이, ACR 클라이언트(42)의 기동과 ACR 리스펀스의 전송을 요구하는 WebAPI를 호출하면, 이것에 따른 로컬 Web 서버(44)로부터의 제어에 의해, ACR 클라이언트(42) 등이 동작을 개시한다.
즉, 스텝 S52에 있어서, 멀티윈도우 스크린 디바이스(40)의 ACR 클라이언트(42)는, 콘텐츠 렌더러(41)로부터 시청 중인 콘텐츠의 공급을 받으면, 시그니처 추출부(71)가 상기 콘텐츠로부터 시그니처 데이터(114)를 추출하여 ACR 쿼리 생성부(72)에 출력한다. 스텝 S53에 있어서, ACR 쿼리 생성부(72)는, 상기 시그니처 데이터(114)를 포함하는 ACR 쿼리(110)를 생성하고, 생성된 ACR 쿼리(110)를 통신부(73)가 ACR 서버(24)에 송신한다.
ACR 클라이언트(42)로부터의 ACR 쿼리(110)를 수신한 ACR 서버(24)에서는, 스텝 S42에 있어서, ACR 리스펀스 생성부(64)가, ACR 데이터베이스(63)를 참조하여, 수신한 ACR 쿼리(110)에 포함되는 시그니처 데이터(114)에 대응하는 콘텐츠를 식별한다. 또한, ACR 리스펀스 생성부(64)는, 스텝 S43에 있어서, 콘텐츠의 식별 결과에 따른 ACR 리스펀스(120)를 생성하고, 통신부(65)는, 생성된 ACR 리스펀스(120)를 ACR 클라이언트(42)에 회신한다.
ACR 서버(24)로부터의 ACR 리스펀스(120)를 수신한 ACR 클라이언트(42)는, 스텝 S54에 있어서, 수신한 ACR 리스펀스(120)를 로컬 Web 서버(44)에 공급한다. 로컬 Web 서버(44)는, 상기 ACR 리스펀스(120)를 세컨드 스크린 디바이스(50)의 ACR 어플리케이션(51)에 전송한다.
전송된 ACR 리스펀스(120)를 수신한 ACR 어플리케이션(51)은, 스텝 S62로서, 세컨드 스크린 디바이스(50)의 ACR 어플리케이션(51)이, 프레임 시각 속성의 통지를 요구하는 WebAPI를 호출하면, 이것에 따른 로컬 Web 서버(44)는, 스텝 S55에 있어서, 윈도우 매니저(45)에 의해 관리되고 있는 프레임 시각 속성을 ACR 어플리케이션(51)에 통지한다.
프레임 시각 속성이 통지된 ACR 어플리케이션(51)은, 상기 프레임 시각 속성을 윈도우 매니저(53)에 통지한다. 윈도우 매니저(53)는, 다른 멀티윈도우 스크린 디바이스(40)로부터 이미 통지되어 있는 프레임 시각 속성과 중복되고 있지 않은지 여부를 확인한다. 중복된 경우, ACR 어플리케이션(51)은, HTTP POST 리퀘스트에 의해, 프레임 시각 속성의 변경을 요구한다. 상기 요구는 스텝 S56에 있어서, 로컬 Web 서버(44)로부터 윈도우 매니저(45)에 통지되고, 윈도우 매니저(45)가 상기 요구에 응답하여 변경하면, 변경 후의 프레임 시각 속성이 로컬 Web 서버(44)로부터 ACR 어플리케이션(51)에 통지된다. 변경 후의 프레임 시각 속성이 통지된 ACR 어플리케이션(51)은, 스텝 S64에 있어서, 변경 후의 프레임 시각 속성을 윈도우 매니저(53)에 통지한다. 윈도우 매니저(53)는, 변경 후의 프레임 시각 속성에 기초하여, 앞으로 표시하는 연동 어플리케이션의 화면 등의 프레임 시각 속성을 설정한다.
또한, 스텝 S62에 있어서, 중복되지 않은 것이 확인된 경우, 프레임 시각 속성의 변경은 요구되지 않고, 스텝 S64의 처리가 실행된다.
또한, 스텝 S62 내지 S64의 처리를, 스텝 S54의 처리(ACR 리스펀스의 전송)를 대기하지 않고, 스텝 S61의 직후에 실행하도록 해도 된다.
스텝 S65에 있어서, ACR 어플리케이션(51)은, 전송된 ACR 리스펀스(120)에 포함되는 관련 메타데이터(127)를 해석하고, 시청 중인 콘텐츠의 진행에 맞추어 실행해야 할 연동 어플리케이션을 연동 어플리케이션 매니저(52)에 취득시킨다.
스텝 S66에 있어서, 연동 어플리케이션 매니저(52)는, 어플리케이션 서버(23)가 스텝 S44의 처리로서 공급하는 상기 연동 어플리케이션을 취득하여 실행한다. 또한, 상기 연동 어플리케이션이 이미 취득된 경우에는 그 취득을 생략할 수 있다. 또한, 상기 연동 어플리케이션이 이미 기동된 경우에는 그 기동을 생략할 수 있다. 또한, 상기 연동 어플리케이션의 실행을 수반하지 않고, 관련 메타데이터(127)에 포함되는 정보를 유저에게 제시하는 경우도 있다.
이때, 유저에게 제시되는 연동 어플리케이션의 화면은, 그 프레임이 윈도우 매니저(53)에 의해 프레임 시각 속성이, 멀티윈도우 스크린 디바이스(40)에서 대응하는 콘텐츠가 표시되어 있는 윈도우의 프레임의 프레임 시각 속성과 일치한 것으로 된다.
이상에 설명한 스텝 S41 내지 S44의 처리, 스텝 S51 내지 S56의 처리 및 스텝 S61 내지 S66의 처리는, 콘텐츠가 시청되고 있는 동안, 반복하여 실행된다. 단, 스텝 S61 내지 S66의 처리와 스텝 S55 및 S56의 처리는 그 반복을 생략하거나, 실행 빈도를 감소시키거나 할 수 있다.
이에 의해, 멀티윈도우 스크린 디바이스(40)에서 유저가 시청 중인 콘텐츠의 진행에 맞추어, 세컨드 스크린 디바이스(50)에서 연동 어플리케이션을 동작시킬 수 있다.
또한, 세컨드 스크린 디바이스(50)에 의해 유저에게 제시되어 있는 화면이, 멀티윈도우 스크린 디바이스(40)에 표시되어 있는 어느 콘텐츠에 대응하는 것인지를, 유저에게 빠르게 파악시킬 수 있다.
그런데, 상술한 일련의 처리를 실행하는 프로바이더 시스템(20)의 콘텐츠 서버(21) 내지 ACR 서버(24), 및 홈 네트워크 시스템(30)의 멀티윈도우 스크린 디바이스(40) 및 세컨드 스크린 디바이스(50)는, 각각을 하드웨어에 의해 구성하는 것 외에, 컴퓨터가 소프트웨어를 실행함으로써 실현할 수도 있다. 이 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등이 포함된다.
도 12는 상술한 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
이 컴퓨터(200)에 있어서, CPU(Central Processing Unit)(201), ROM(Read Only Memory)(202), RAM(Random Access Memory)(203)은 버스(204)에 의해 서로 접속되어 있다.
버스(204)에는, 또한, 입출력 인터페이스(205)가 접속되어 있다. 입출력 인터페이스(205)에는, 입력부(206), 출력부(207), 기억부(208), 통신부(209) 및 드라이브(220)가 접속되어 있다.
입력부(206)는 키보드, 마우스, 마이크로폰 등을 포함한다. 출력부(207)는 디스플레이, 스피커 등을 포함한다. 기억부(208)는 하드디스크나 불휘발성 메모리 등을 포함한다. 통신부(209)는 네트워크 인터페이스 등을 포함한다. 드라이브(220)는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(211)를 구동한다.
이상과 같이 구성되는 컴퓨터(200)에서는, CPU(201)가, 예를 들면 기억부(208)에 기억되어 있는 프로그램을, 입출력 인터페이스(205) 및 버스(204)를 통하여, RAM(203)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(200)(CPU(201))가 실행하는 프로그램은, 예를 들면 패키지 미디어 등으로서의 리무버블 미디어(211)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에리어 네트워크, 인터넷, 디지털 위성 방송 등의 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터(200)에서는, 프로그램은, 리무버블 미디어(211)를 드라이브(220)에 장착함으로써, 입출력 인터페이스(205)를 통하여, 기억부(208)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(209)에 의해 수신하고, 기억부(208)에 인스톨할 수 있다. 그 밖에, 프로그램은 ROM(202)이나 기억부(208)에 미리 인스톨해 둘 수 있다.
또한, 컴퓨터(200)가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에서 처리가 행해지는 프로그램이어도 된다.
또한, 본 개시의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 개시의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
10 : ACR 서비스 활용 시스템
11 : 방송망
12 : 쌍방향 통신망
20 : 프로바이더 시스템
21 : 콘텐츠 서버
22 : 메타데이터 서버
23 : 어플리케이션 서버
24 : ACR 서버
30 : 홈 네트워크 시스템
40 : 멀티윈도우 스크린 디바이스
41 : 콘텐츠 렌더러
42 : ACR 클라이언트
43 : UPnP 서버
44 : 로컬 Web 서버
50 : 세컨드 스크린 디바이스
51 : ACR 어플리케이션
52 : 연동 어플리케이션 매니저
61 : 콘텐츠 취득부
62 : 시그니처 추출부
63 : ACR 데이터베이스
64 : ACR 리스펀스 생성부
65 : 통신부
71 : 시그니처 추출부
72 : ACR 쿼리 생성부
73 : 통신부
74 : ACR 리스펀스 유지부
100 : ACR 레퍼런스 데이터
110 : ACR 쿼리
120 : ACR 리스펀스
200 : 컴퓨터
201 : CPU

Claims (19)

  1. 단말 장치와 함께 홈 네트워크 시스템을 구성하는 정보 처리 장치로서,
    화면 상에 설치된 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 프레임 시각 속성을 설정하는 프레임 시각 속성 설정부와,
    상기 윈도우에 대하여 설정되어 있는 상기 프레임 시각 속성의 통지를 상기 단말 장치로부터 요구하기 위한 커맨드를 상기 단말 장치에 공개하는 공개부와,
    상기 단말 장치로부터의 상기 커맨드의 호출에 응답하여, 상기 윈도우의 상기 프레임 시각 속성을 상기 단말 장치에 통지하는 통지부를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 표시 제어부는, 화면 상에 설치한 복수의 상기 윈도우로서, 상이한 복수의 상기 콘텐츠를 각각 표시시키기 위한 상기 복수의 윈도우에 대하여, 각각 상이한 상기 프레임 시각 속성을 설정하고,
    상기 공개부는, 복수의 상기 윈도우 각각의 프레임 시각 속성의 통지를 상기 단말 장치로부터 요구하기 위한 커맨드를 상기 단말 장치에 공개하는, 정보 처리 장치.
  3. 제2항에 있어서,
    상기 프레임 시각 속성 설정부는, 상기 단말 장치로부터의 상기 커맨드를 이용한 리퀘스트에 응답하여, 상기 윈도우의 상기 프레임 시각 속성을 변경하는, 정보 처리 장치.
  4. 제2항에 있어서,
    상기 공개부는, UPnP의 규정을 확장한 상기 디바이스 디스크립션에, 상기 커맨드의 URL을 직접 기술하여 상기 단말 장치에 공개하는, 정보 처리 장치.
  5. 제2항에 있어서,
    상기 커맨드는 WebAPI인, 정보 처리 장치.
  6. 제2항에 있어서,
    상기 공개부는, 상기 홈 네트워크 상에 Notify 메시지를 멀티캐스트 배신(配信)하고, 상기 Notify 메시지에 기초하는 상기 단말 장치로부터의 액세스에 응답하여 상기 디바이스 디스크립션을 상기 단말 장치에 공개하는, 정보 처리 장치.
  7. 제2항에 있어서,
    상기 공개부는, 상기 단말 장치로부터의 M-Search에 응답하여 상기 디바이스 디스크립션을 상기 단말 장치에 공개하는, 정보 처리 장치.
  8. 제2항에 있어서,
    재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하고, 추출한 상기 시그니처 데이터를 적어도 포함하는 쿼리를 생성하여 식별 서버에 송신하고, 상기 쿼리에 응답하여 상기 식별 서버로부터 회신된, 상기 재생된 콘텐츠의 식별 결과를 나타내는 리스펀스를 수신하는 식별 의뢰 처리부를 더 구비하고,
    상기 공개부는, 상기 단말 장치로부터 상기 식별 의뢰 처리부를 동작시키기 위한 커맨드도 상기 단말 장치에 공개하는, 정보 처리 장치.
  9. 단말 장치와 함께 홈 네트워크 시스템을 구성하는 정보 처리 장치의 정보 처리 방법으로서,
    상기 정보 처리 장치에 의한,
    화면 상에 설치된 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 프레임 시각 속성을 설정하는 프레임 시각 속성 설정 스텝과,
    상기 윈도우에 대하여 설정되어 있는 상기 프레임 시각 속성의 통지를 상기 단말 장치로부터 요구하기 위한 커맨드를 상기 단말 장치에 공개하는 공개 스텝과,
    상기 단말 장치로부터의 상기 커맨드의 호출에 응답하여, 상기 윈도우의 상기 프레임 시각 속성을 상기 단말 장치에 통지하는 통지 스텝을 포함하는, 정보 처리 방법.
  10. 단말 장치와 함께 홈 네트워크 시스템을 구성하는 컴퓨터를,
    화면 상에 설치된 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 프레임 시각 속성을 설정하는 프레임 시각 속성 설정부와,
    상기 윈도우에 대하여 설정되어 있는 상기 프레임 시각 속성의 통지를 상기 단말 장치로부터 요구하기 위한 커맨드를 상기 단말 장치에 공개하는 공개부와,
    상기 단말 장치로부터의 상기 커맨드의 호출에 응답하여, 상기 윈도우의 상기 프레임 시각 속성을 상기 단말 장치에 통지하는 통지부로서 기능시키는, 프로그램.
  11. 화면 상에 설치된 윈도우에 콘텐츠를 표시시키는 콘텐츠 표시 장치와 함께 홈 네트워크 시스템을 구성하는 정보 처리 장치로서,
    상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 설정되어 있는 프레임 시각 속성의 통지를 요구하기 위한 커맨드를 상기 콘텐츠 표시 장치로부터 취득하고, 상기 커맨드를 호출함으로써 상기 프레임 시각 속성의 통지를 수신하는 커맨드 취득부와,
    상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우에 표시되어 있는 상기 콘텐츠의 진행에 맞추어 실행해야 할 연동 어플리케이션을 취득하여 실행하는 연동 어플리케이션 실행부와,
    상기 연동 어플리케이션에 의한 화상을 표시시키는 프레임에 대하여, 통지된 상기 프레임 시각 속성과 동일한 설정을 행하는 프레임 표시 제어부를 구비하는, 정보 처리 장치.
  12. 제11항에 있어서,
    상기 커맨드 취득부는, 상기 콘텐츠 표시 장치가 공개한, UPnP의 규정을 확장한 디바이스 디스크립션에 직접 기술되어 있는 상기 커맨드의 URL을 취득하는, 정보 처리 장치.
  13. 제11항에 있어서,
    상기 커맨드는 WebAPI인, 정보 처리 장치.
  14. 제11항에 있어서,
    상기 커맨드 취득부는, 상기 콘텐츠 표시 장치가 상기 홈 네트워크 상에 멀티캐스트 배신한 Notify 메시지에 기초하여, 상기 콘텐츠 표시 장치로부터 상기 디바이스 디스크립션을 취득하는, 정보 처리 장치.
  15. 제11항에 있어서,
    상기 커맨드 취득부는, M-Search에 의해 검색한 상기 콘텐츠 표시 장치로부터 공급되는 상기 디바이스 디스크립션을 취득하는, 정보 처리 장치.
  16. 제11항에 있어서,
    상기 콘텐츠 표시 장치는, 재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하고, 추출한 상기 시그니처 데이터를 적어도 포함하는 쿼리를 생성하여 식별 서버에 송신하고, 상기 쿼리에 응답하여 상기 식별 서버로부터 회신된, 상기 재생된 콘텐츠의 식별 결과를 나타내는 리스펀스를 수신하는 식별 의뢰 처리부를 구비하고,
    상기 커맨드 취득부는, 상기 콘텐츠 표시 장치의 상기 식별 의뢰 처리부를 동작시키기 위한 커맨드도 상기 콘텐츠 표시 장치로부터 취득하고, 상기 커맨드를 호출함으로써 상기 콘텐츠 표시 장치로부터 전송되는 상기 리스펀스를 수신하고,
    상기 연동 어플리케이션 실행부는, 수신된 상기 리스펀스에 포함되는, 식별된 상기 콘텐츠에 대응하는 관련 메타데이터에 기초하여, 상기 연동 어플리케이션을 취득하여 실행하는, 정보 처리 장치.
  17. 화면 상에 설치된 윈도우에 콘텐츠를 표시시키는 콘텐츠 표시 장치와 함께 홈 네트워크 시스템을 구성하는 정보 처리 장치의 정보 처리 방법으로서,
    상기 정보 처리 장치에 의한,
    상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 설정되어 있는 프레임 시각 속성의 통지를 요구하기 위한 커맨드를 상기 콘텐츠 표시 장치로부터 취득하는 취득 스텝과,
    상기 커맨드를 호출함으로써 상기 프레임 시각 속성의 통지를 수신하는 수신 스텝과,
    상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우에 표시되어 있는 상기 콘텐츠의 진행에 맞추어 실행해야 할 연동 어플리케이션을 취득하여 실행하는 연동 어플리케이션 실행 스텝과,
    상기 연동 어플리케이션에 의한 화상을 표시시키는 프레임에 대하여, 통지된 상기 프레임 시각 속성과 동일한 설정을 행하는 프레임 표시 제어 스텝을 포함하는, 정보 처리 방법.
  18. 화면 상에 설치된 윈도우에 콘텐츠를 표시시키는 콘텐츠 표시 장치와 함께 홈 네트워크 시스템을 구성하는 컴퓨터를,
    상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 설정되어 있는 프레임 시각 속성의 통지를 요구하기 위한 커맨드를 상기 콘텐츠 표시 장치로부터 취득하고, 상기 커맨드를 호출함으로써 상기 프레임 시각 속성의 통지를 수신하는 커맨드 취득부와,
    상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우에 표시되어 있는 상기 콘텐츠의 진행에 맞추어 실행해야 할 연동 어플리케이션을 취득하여 실행하는 연동 어플리케이션 실행부와,
    상기 연동 어플리케이션에 의한 화상을 표시시키는 프레임에 대하여, 통지된 상기 프레임 시각 속성과 동일한 설정을 행하는 프레임 표시 제어부로서 기능시키는, 프로그램.
  19. 콘텐츠 표시 장치와 단말 장치를 갖는 홈 네트워크 시스템의 정보 처리 방법으로서,
    상기 콘텐츠 표시 장치에 의한, 화면 상에 설치된 윈도우로서, 재생된 콘텐츠를 표시시키기 위한 상기 윈도우에 대하여 프레임 시각 속성을 설정하는 프레임 시각 속성 설정 스텝과,
    상기 콘텐츠 표시 장치에 의한, 상기 윈도우에 대하여 설정되어 있는 상기 프레임 시각 속성의 통지를 상기 단말 장치로부터 요구하기 위한 커맨드를 상기 단말 장치에 공개하는 공개 스텝과,
    상기 단말 장치에 의한, 공개된 상기 커맨드를 취득하는 취득 스텝과,
    상기 콘텐츠 표시 장치에 의한, 상기 단말 장치에 의한 상기 커맨드의 호출에 응답하여, 상기 윈도우의 상기 프레임 시각 속성을 상기 단말 장치에 통지하는 통지 스텝과,
    상기 단말 장치에 의한, 상기 콘텐츠 표시 장치의 화면 상에 설치된 상기 윈도우에 표시되어 있는 상기 콘텐츠의 진행에 맞추어 실행해야 할 연동 어플리케이션을 취득하여 실행하는 연동 어플리케이션 실행 스텝과,
    상기 단말 장치에 의한, 상기 연동 어플리케이션에 의한 화상을 표시시키는 프레임에 대하여, 통지된 상기 프레임 시각 속성과 동일한 설정을 행하는 프레임 표시 제어 스텝을 포함하는, 정보 처리 방법.
KR1020147021731A 2012-12-14 2013-11-29 정보 처리 장치, 정보 처리 방법 및 프로그램 KR102190278B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261737469P 2012-12-14 2012-12-14
US61/737,469 2012-12-14
US13/934,473 US8914832B2 (en) 2012-12-14 2013-07-03 Information processing apparatus, information processing method, and program
US13/934,473 2013-07-03
PCT/JP2013/082131 WO2014091942A1 (ja) 2012-12-14 2013-11-29 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
KR20150095554A true KR20150095554A (ko) 2015-08-21
KR102190278B1 KR102190278B1 (ko) 2020-12-11

Family

ID=50932594

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147021731A KR102190278B1 (ko) 2012-12-14 2013-11-29 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (11)

Country Link
US (4) US8914832B2 (ko)
EP (1) EP2934020A4 (ko)
JP (1) JP6383658B2 (ko)
KR (1) KR102190278B1 (ko)
CN (1) CN104094610B (ko)
AU (2) AU2013358297A1 (ko)
BR (1) BR112014019595B1 (ko)
CA (1) CA2862837A1 (ko)
MX (1) MX2014009525A (ko)
WO (1) WO2014091942A1 (ko)
ZA (1) ZA201405449B (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8760498B2 (en) 2011-03-14 2014-06-24 Sony Corporation Disparity data transport in standard caption service
US8941779B2 (en) 2012-03-21 2015-01-27 Sony Corporation Non-closed caption data transport in standard caption service
US8839338B2 (en) 2012-03-28 2014-09-16 Sony Corporation Service usage reporting data transport
US8863171B2 (en) 2010-06-14 2014-10-14 Sony Corporation Announcement of program synchronized triggered declarative objects
US8898723B2 (en) 2010-08-20 2014-11-25 Sony Corporation Virtual channel declarative script binding
US8893210B2 (en) 2010-08-20 2014-11-18 Sony Corporation Server load balancing for interactive television
US8875169B2 (en) 2010-08-27 2014-10-28 Sony Corporation Transmission and reception apparatus, methods, and systems for filtering content
US8909694B2 (en) 2010-08-27 2014-12-09 Sony Corporation Transmission apparatus and method, reception apparatus and method, and transmission and reception system
US8918801B2 (en) 2010-08-30 2014-12-23 Sony Corporation Transmission apparatus, transmission method, reception apparatus, reception method, program, and broadcasting system
US9179188B2 (en) 2010-08-30 2015-11-03 Sony Corporation Transmission apparatus and method, reception apparatus and method, and transmission and reception system
US8595783B2 (en) 2010-08-30 2013-11-26 Sony Corporation Receiving device, receiving method, program, and broadcasting system
US8908103B2 (en) 2010-10-01 2014-12-09 Sony Corporation Content supplying apparatus, content supplying method, content reproduction apparatus, content reproduction method, program and content viewing system
US9078031B2 (en) 2010-10-01 2015-07-07 Sony Corporation Reception apparatus, reception method, and program
US9179198B2 (en) 2010-10-01 2015-11-03 Sony Corporation Receiving apparatus, receiving method, and program
WO2012043355A1 (ja) 2010-10-01 2012-04-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US8872888B2 (en) 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
TWI545955B (zh) 2011-04-28 2016-08-11 Sony Corp Signal receiving apparatus and method, a signal transmission apparatus and method, and program
US9554175B2 (en) 2011-07-20 2017-01-24 Sony Corporation Method, computer program, reception apparatus, and information providing apparatus for trigger compaction
US8917358B2 (en) 2011-07-27 2014-12-23 Sony Corporation Reception apparatus, terminal apparatus, control method, program, and communication system
WO2013021824A1 (ja) 2011-08-05 2013-02-14 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム
TWI528749B (zh) 2011-09-06 2016-04-01 Sony Corp A signal receiving device, a signal receiving method, an information processing program and an information processing system
US9015785B2 (en) 2011-11-29 2015-04-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and linking application supply system
US8930988B2 (en) 2011-12-21 2015-01-06 Sony Corporation Reception apparatus, reception method, program, and information processing system
US8997133B2 (en) 2012-02-07 2015-03-31 Turner Broadcasting System, Inc. Method and system for utilizing automatic content recognition for content tracking
US10104447B2 (en) 2012-06-19 2018-10-16 Saturn Licensing Llc Extensions to trigger parameters table for interactive television
CA2869533A1 (en) 2012-07-12 2014-01-16 Sony Corporation Parameterized services descriptor for advanced television services
US9154840B2 (en) 2012-07-31 2015-10-06 Sony Corporation Reception apparatus, reception method, transmission apparatus, and transmission method
US9253518B2 (en) 2012-11-09 2016-02-02 Sony Corporation On-demand access to scheduled content
US9769503B2 (en) 2012-11-14 2017-09-19 Saturn Licensing Llc Information processor, information processing method and program
US9148676B2 (en) 2012-12-04 2015-09-29 Sony Corporation Broadcast transition channel
US9282346B2 (en) * 2012-12-28 2016-03-08 Turner Broadcasting System, Inc. Method and system for automatic content recognition (ACR) integration for smartTVs and mobile communication devices
US9137566B2 (en) 2013-06-28 2015-09-15 Sony Corporation Distribution system, reception apparatus, and methods for transitioning to new services
US9038095B2 (en) 2013-07-03 2015-05-19 Sony Corporation Methods, information providing system, and reception apparatus for distribution of at least one content version
US8884800B1 (en) 2013-07-31 2014-11-11 Sony Corporation Method and apparatus for performing analog-to-digital conversion on multiple input signals
KR102121472B1 (ko) 2013-09-23 2020-06-17 삼성전자주식회사 기기 별 응용 프로그램간 통신을 위한 장치 및 방법
US10325591B1 (en) * 2014-09-05 2019-06-18 Amazon Technologies, Inc. Identifying and suppressing interfering audio content
US9326295B1 (en) 2014-12-10 2016-04-26 Sony Corporation Method and apparatus for transmitting a-priori information in a communication system
KR20160085076A (ko) * 2015-01-07 2016-07-15 삼성전자주식회사 콘텐츠를 제공하는 방송 서버를 판단하는 방법 및 이를 제공하는 전자 장치
US20160204804A1 (en) 2015-01-13 2016-07-14 Sony Corporation Data processing apparatus and method
US9762354B2 (en) 2015-01-27 2017-09-12 Sony Corporation Signaling methods and apparatus
US9912986B2 (en) 2015-03-19 2018-03-06 Sony Corporation System for distributing metadata embedded in video
CN104796743B (zh) * 2015-04-03 2020-04-24 腾讯科技（北京）有限公司 内容项显示系统、方法及设备
US9756401B2 (en) 2015-04-07 2017-09-05 Sony Corporation Processing and providing an image in which a plurality of symbols are encoded
US9590782B2 (en) 2015-06-22 2017-03-07 Sony Corporation Signaling methods and apparatus
US10205991B2 (en) 2015-07-27 2019-02-12 Sony Corporation Hidden replaceable media slots
US10551988B2 (en) * 2016-02-29 2020-02-04 Dell Products L.P. Multi-input display
JP6745198B2 (ja) * 2016-11-07 2020-08-26 日本放送協会 端末装置、受信装置及びプログラム
CN106959858B (zh) * 2017-03-29 2021-06-15 联想(北京)有限公司 信息处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050237A (ja) 2004-08-04 2006-02-16 Sony Corp 端末装置およびデータ処理方法、プログラム並びに記録媒体
JP2009118018A (ja) * 2007-11-02 2009-05-28 Sony Corp 情報表示装置、情報表示方法、撮像装置および撮像装置における画像データ送信方法
JP2012168801A (ja) 2011-02-15 2012-09-06 Sony Corp 情報処理装置

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7028327B1 (en) * 2000-02-02 2006-04-11 Wink Communication Using the electronic program guide to synchronize interactivity with broadcast programs
US20020162120A1 (en) * 2001-04-25 2002-10-31 Slade Mitchell Apparatus and method to provide supplemental content from an interactive television system to a remote device
JP2003299051A (ja) 2002-03-29 2003-10-17 Matsushita Electric Ind Co Ltd 情報出力装置および情報出力方法
WO2003096669A2 (en) * 2002-05-10 2003-11-20 Reisman Richard R Method and apparatus for browsing using multiple coordinated device
JP2006270634A (ja) * 2005-03-24 2006-10-05 Victor Co Of Japan Ltd デジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システム
JP2008191929A (ja) 2007-02-05 2008-08-21 Mitsubishi Electric Corp コンテンツ利用システム、コンテンツ表示装置、端末装置及び利用待ち状況表示方法並びにプログラム
KR101386882B1 (ko) * 2007-06-08 2014-04-18 삼성전자주식회사 디지털 방송 채널 정보 표시 방법 및 장치
EP3534606A1 (en) * 2007-11-30 2019-09-04 Samsung Electronics Co., Ltd. Method and apparatus for searching for iptv service relay devices and method and apparatus for interacting with devices
KR101601040B1 (ko) * 2009-05-19 2016-03-09 삼성전자주식회사 휴대 단말기의 화면 표시 방법 및 이를 지원하는 휴대 단말기
US8705933B2 (en) 2009-09-25 2014-04-22 Sony Corporation Video bookmarking
US9277183B2 (en) 2009-10-13 2016-03-01 Sony Corporation System and method for distributing auxiliary data embedded in video data
US9706158B2 (en) 2010-04-01 2017-07-11 Saturn Licensing Llc Receiver and method for reporting the usage of advanced television services
US20110247028A1 (en) 2010-04-01 2011-10-06 Mark Eyer Receiver and System Using an Electronic Questionnaire for Advanced Broadcast Services
US9723360B2 (en) 2010-04-01 2017-08-01 Saturn Licensing Llc Interests and demographics profile for advanced broadcast services
US10419811B2 (en) 2010-06-07 2019-09-17 Saturn Licensing Llc PVR hyperlinks functionality in triggered declarative objects for PVR functions
US8863171B2 (en) 2010-06-14 2014-10-14 Sony Corporation Announcement of program synchronized triggered declarative objects
US8898723B2 (en) 2010-08-20 2014-11-25 Sony Corporation Virtual channel declarative script binding
US8893210B2 (en) 2010-08-20 2014-11-18 Sony Corporation Server load balancing for interactive television
US8909694B2 (en) 2010-08-27 2014-12-09 Sony Corporation Transmission apparatus and method, reception apparatus and method, and transmission and reception system
JP5765558B2 (ja) 2010-08-27 2015-08-19 ソニー株式会社 受信装置、受信方法、送信装置、送信方法、プログラム、および放送システム
US8875169B2 (en) 2010-08-27 2014-10-28 Sony Corporation Transmission and reception apparatus, methods, and systems for filtering content
US8892636B2 (en) 2010-08-30 2014-11-18 Sony Corporation Transmission apparatus and method, reception apparatus and method, and transmission and reception system
US20120050619A1 (en) 2010-08-30 2012-03-01 Sony Corporation Reception apparatus, reception method, transmission apparatus, transmission method, program, and broadcasting system
RU2598591C2 (ru) 2010-08-30 2016-09-27 Сони Корпорейшн Приемное устройство, способ приема и программа
US8918801B2 (en) 2010-08-30 2014-12-23 Sony Corporation Transmission apparatus, transmission method, reception apparatus, reception method, program, and broadcasting system
US8595783B2 (en) 2010-08-30 2013-11-26 Sony Corporation Receiving device, receiving method, program, and broadcasting system
US9179188B2 (en) 2010-08-30 2015-11-03 Sony Corporation Transmission apparatus and method, reception apparatus and method, and transmission and reception system
US10511887B2 (en) 2010-08-30 2019-12-17 Saturn Licensing Llc Reception apparatus, reception method, transmission apparatus, transmission method, program, and broadcasting system
JP5757075B2 (ja) 2010-09-15 2015-07-29 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、プログラム、および放送システム
US9986270B2 (en) 2010-09-21 2018-05-29 Saturn Licensing Llc Reception and transmission of trigger information for application program control
JP5703664B2 (ja) 2010-09-30 2015-04-22 ソニー株式会社 受信装置、受信方法、送信装置、送信方法、プログラム、および放送システム
US8908103B2 (en) * 2010-10-01 2014-12-09 Sony Corporation Content supplying apparatus, content supplying method, content reproduction apparatus, content reproduction method, program and content viewing system
US9078031B2 (en) 2010-10-01 2015-07-07 Sony Corporation Reception apparatus, reception method, and program
US9179198B2 (en) 2010-10-01 2015-11-03 Sony Corporation Receiving apparatus, receiving method, and program
US8842974B2 (en) 2010-10-01 2014-09-23 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program, and content delivery system
US8872888B2 (en) 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
WO2012043355A1 (ja) 2010-10-01 2012-04-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20120185888A1 (en) 2011-01-19 2012-07-19 Sony Corporation Schema for interests and demographics profile for advanced broadcast services
US20120233646A1 (en) * 2011-03-11 2012-09-13 Coniglio Straker J Synchronous multi-platform content consumption
TWI574565B (zh) 2011-03-31 2017-03-11 Sony Corp A transmitting apparatus, a transmitting method, a receiving apparatus, a receiving method, a computer-readable medium, and a broadcasting system
US8886009B2 (en) 2011-04-26 2014-11-11 Sony Corporation Creation of video bookmarks via scripted interactivity in advanced digital television
TWI545955B (zh) 2011-04-28 2016-08-11 Sony Corp Signal receiving apparatus and method, a signal transmission apparatus and method, and program
US9554175B2 (en) 2011-07-20 2017-01-24 Sony Corporation Method, computer program, reception apparatus, and information providing apparatus for trigger compaction
US8917358B2 (en) 2011-07-27 2014-12-23 Sony Corporation Reception apparatus, terminal apparatus, control method, program, and communication system
US10491966B2 (en) 2011-08-04 2019-11-26 Saturn Licensing Llc Reception apparatus, method, computer program, and information providing apparatus for providing an alert service
KR101893151B1 (ko) * 2011-08-21 2018-08-30 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법
US20130055313A1 (en) 2011-08-31 2013-02-28 Sony Corporation Method, computer program, reception apparatus, and information providing apparatus for accessing content from a plurality of content sources
US9374620B2 (en) 2011-10-21 2016-06-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and interlocked application feed system
US9015785B2 (en) 2011-11-29 2015-04-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and linking application supply system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050237A (ja) 2004-08-04 2006-02-16 Sony Corp 端末装置およびデータ処理方法、プログラム並びに記録媒体
JP2009118018A (ja) * 2007-11-02 2009-05-28 Sony Corp 情報表示装置、情報表示方法、撮像装置および撮像装置における画像データ送信方法
JP2012168801A (ja) 2011-02-15 2012-09-06 Sony Corp 情報処理装置

Also Published As

Publication number Publication date
US20140173661A1 (en) 2014-06-19
BR112014019595A2 (ko) 2017-06-20
MX2014009525A (es) 2014-09-12
BR112014019595A8 (pt) 2017-07-11
AU2018201580A1 (en) 2018-03-29
AU2013358297A1 (en) 2014-07-31
EP2934020A4 (en) 2016-09-07
ZA201405449B (en) 2015-05-27
CA2862837A1 (en) 2014-06-19
EP2934020A1 (en) 2015-10-21
BR112014019595B1 (pt) 2023-04-18
KR102190278B1 (ko) 2020-12-11
US8914832B2 (en) 2014-12-16
CN104094610A (zh) 2014-10-08
JPWO2014091942A1 (ja) 2017-01-05
WO2014091942A1 (ja) 2014-06-19
US20150067713A1 (en) 2015-03-05
US20160366469A1 (en) 2016-12-15
JP6383658B2 (ja) 2018-08-29
US20170374410A1 (en) 2017-12-28
CN104094610B (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
KR102190278B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US10462496B2 (en) Information processor, information processing method and program
JP6219269B2 (ja) 端末装置、情報処理方法、プログラム、および連動アプリケーション供給システム
JP6219275B2 (ja) 端末装置、情報処理方法、プログラム、および連動アプリケーション供給システム
EP2874399A1 (en) Transmission device, information processing method, program, reception device, and application linking system
JP5896222B2 (ja) 端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム
WO2014010469A1 (ja) 受信装置、情報処理方法、プログラム、送信装置、およびアプリケーション連動システム
JP6023518B2 (ja) 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant