KR20160032937A - 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법 및 시스템 - Google Patents

영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법 및 시스템 Download PDF

Info

Publication number
KR20160032937A
KR20160032937A KR1020140123712A KR20140123712A KR20160032937A KR 20160032937 A KR20160032937 A KR 20160032937A KR 1020140123712 A KR1020140123712 A KR 1020140123712A KR 20140123712 A KR20140123712 A KR 20140123712A KR 20160032937 A KR20160032937 A KR 20160032937A
Authority
KR
South Korea
Prior art keywords
image
information
portable device
server
user
Prior art date
Application number
KR1020140123712A
Other languages
English (en)
Other versions
KR102077237B1 (ko
Inventor
강성민
안경호
한흥우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140123712A priority Critical patent/KR102077237B1/ko
Priority to US14/801,452 priority patent/US9652659B2/en
Priority to EP15177125.0A priority patent/EP2999228B1/en
Publication of KR20160032937A publication Critical patent/KR20160032937A/ko
Application granted granted Critical
Publication of KR102077237B1 publication Critical patent/KR102077237B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

서버가 영상 재생 장치로부터 수신된 캡쳐 이미지 내의 객체에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법을 제공한다. 영상 재생 장치에 의해 캡쳐된 이미지를 영상 재생 장치로부터 수신하는 단계; 휴대용 디바이스 사용자의 애플리케이션 실행 이력에 관한 정보를 휴대용 디바이스로부터 수신하는 단계; 사용자의 애플리케이션 실행 이력에 기초하여, 캡쳐된 이미지 내의 객체에 관련된 연관 정보를 검색하는 단계; 및 검색된 연관 정보를 휴대용 디바이스에게 전송하는 단계;를 포함하는 방법을 제공한다.

Description

영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법 및 시스템{METHOD AND SYSTEM FOR PROVIDING SEARCHING INFORMATIOM OF A CAPTURED IMAGE ON A DISPLAY DEVICE TO A MOBILE DEVICE}
영상 재생 장치에서 캡쳐된 이미지에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법 및 시스템을 제공한다.
최근 방송을 수신하는 종래의 TV 등과 같은 장치에 네트워크 접속 기능 등을 포함시켜서 인터넷 서비스를 제공받을 수 있도록 하는 소위 스마트 TV(smart TV)와 같은 장치가 제안되고 있다. 이러한 스마트 TV와 같은 장치는 방송을 수신하는 것에 그치는 것이 아니라 인터넷 서비스를 제공할 수 있고, 애플리케이션을 다운로드 받고 실행시킬 수 있도록 함으로써 실제로는 TV와 컴퓨터가 결합된 형태의 장치로 볼 수 있다. 이와 같이 방송과 네트워크 서비스를 동시에 수행할 수 있는 장치를 이용하여 인터랙티브한 방식으로 방송되는 콘텐트 및 콘텐트의 영상으로부터 캡쳐된 이미지와 관련된 연관 정보를 제공할 수 있다. 그러나, 제공되는 연관 정보는 사용자가 원하지 않는 정보를 포함할 수 있으며, TV 를 통하여 연관 정보를 제공하는 방법은 사용자의 시청 환경을 방해할 수 있다.
따라서, 사용자의 휴대용 디바이스를 통하여, TV에서 재생 중인 콘텐트 및 콘텐트의 영상으로부터 캡쳐된 이미지와 관련되며, 사용자에게 유용한 연관 정보를 제공하는 방법이 요구되고 있다.
본 개시의 일 실시예는, 서버가 영상 재생 장치로부터 수신된 캡쳐 이미지 내의 객체에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법 및 시스템을 제공한다.
또한, 본 개시의 일 실시예는, 휴대용 디바이스가 영상 재생 장치에 의해 캡쳐된 이미지 내의 객체에 관련된 연관 정보를 출력하는 방법 및 시스템을 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은, 서버가 영상 재생 장치로부터 수신된 캡쳐 이미지 내의 객체에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법에 있어서, 영상 재생 장치에 의해 캡쳐된 이미지를 영상 재생 장치로부터 수신하는 단계; 휴대용 디바이스 사용자의 애플리케이션 실행 이력에 관한 정보를 휴대용 디바이스로부터 수신하는 단계; 사용자의 애플리케이션 실행 이력에 기초하여, 캡쳐된 이미지 내의 객체에 관련된 연관 정보를 검색하는 단계; 및 검색된 연관 정보를 휴대용 디바이스에게 전송하는 단계;를 포함하는 방법을 제공할 수 있다.
또한, 사용자의 애플리케이션 실행 이력에 관한 정보는, 휴대용 디바이스에서 실행된 애플리케이션의 명칭, 실행된 애플리케이션을 통해 실행된 동작, 실행된 애플리케이션의 실행 시각 및 실행 위치 중 적어도 하나에 관한 이력 정보를 포함할 수 있다.
또한, 연관 정보를 검색하는 단계는, 캡쳐된 이미지 내의 객체를 나타내는 키워드를 획득하는 단계; 키워드와 관련된 연관 키워드를 획득하는 단계; 및 획득된 연관 키워드를 이용하여 연관 정보를 검색하는 단계;를 포함할 수 있다.
또한, 연관 키워드를 획득하는 단계는, 연관 키워드를 검색 서버로부터 수신할 수 있다.
또한, 연관 키워드를 이용하여 연관 정보를 검색하는 단계는, 사용자의 애플리케이션 실행 이력에 대한 정보에 기초하여, 관심 카테고리를 결정하는 단계; 및 획득된 연관 키워드 중 관심 카테고리에 포함되는 관심 키워드를 선택하는 단계;를 포함할 수 있다.
또한, 연관 키워드를 이용하여 연관 정보를 검색하는 단계는, 관심 키워드 및 관심 카테고리의 식별값을 이용하여, 연관 정보를 검색하는 단계;를 더 포함할 수 있다.
또한, 영상 재생 장치에 의해 캡쳐된 이미지는, 영상 재생 장치에서 재생 중인 콘텐트의 영상으로부터 캡쳐된 이미지고, 제 1 측면에 따른 방법은, 콘텐트의 식별자를 영상 재생 장치로부터 수신하는 단계; 콘텐트의 식별자에 기초하여, 콘텐트에 관한 방송 정보를 콘텐트를 제공하는 방송 서버로부터 획득하는 단계; 및 획득된 방송 정보를, 영상 재생 장치 또는 휴대용 디바이스에게 전송하는 단계;를 더 포함할 수 있다.
또한, 제 1 측면에 따른 방법은, 검색된 연관 정보에 대한 갱신 요청을 휴대용 디바이스로부터 수신하는 단계; 갱신된 사용자의 애플리케이션 실행 이력에 관한 정보를 휴대용 디바이스로부터 수신하는 단계; 및 갱신된 사용자의 애플리케이션 실행 이력에 기초하여, 캡쳐된 이미지 내의 객체에 관련된 연관 정보를 갱신하는 단계; 를 더 포함할 수 있다.
또한, 본 개시의 제 2 측면은, 휴대용 디바이스가 영상 재생 장치에 의해 캡쳐된 이미지 내의 객체에 관련된 연관 정보를 출력하는 방법에 있어서, 사용자 입력을 수신하는 단계; 사용자 입력에 응답하여, 영상 재생 장치에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐하기 위한, 영상 캡쳐 요청을 영상 재생 장치에게 전송하는 단계; 사용자의 애플리케이션 실행 이력에 관한 정보를 서버에게 전송하는 단계; 및 영상 캡쳐 요청에 따라 영상 재생 장치에 의해 캡쳐된 이미지 내의 객체에 관련된 연관 정보를, 서버로부터 수신하는 단계;를 포함하는 방법을 제공할 수 있다.
또한, 사용자의 애플리케이션 실행 이력에 관한 정보는, 휴대용 디바이스에서 실행된 애플리케이션의 명칭, 실행된 애플리케이션을 통해 실행된 동작, 실행된 애플리케이션의 실행 시각 및 실행 위치 중 적어도 하나에 관한 이력 정보를 포함할 수 있다.
또한, 제 2 측면에 따른 방법은, 수신된 연관 정보에 대한 갱신을 요청하는, 연관 정보 갱신 요청을, 서버에게 전송하는 단계; 갱신된 사용자의 애플리케이션 실행 이력에 관한 정보를 서버에게 전송하는 단계; 및 갱신된 사용자의 애플리케이션 실행 이력에 기초하여 갱신된 연관 정보를 서버로부터 수신하는 단계;를 더 포함할 수 있다.
또한, 본 개시의 제 3 측면은, 영상 재생 장치에 의해 캡쳐된 이미지를 영상 재생 장치로부터 수신하고, 사용자의 애플리케이션 실행 이력에 관한 정보를 휴대용 디바이스로부터 수신하는, 통신부; 및 사용자의 애플리케이션 실행 이력에 기초하여, 캡쳐된 이미지 내의 객체에 관련된 연관 정보를 검색하며, 검색된 연관 정보를 통신부를 통하여 휴대용 디바이스에게 전송하도록 제어하는, 제어부;를 포함하는 서버를 제공할 수 있다.
또한, 사용자의 애플리케이션 실행 이력에 관한 정보는, 휴대용 디바이스에서 실행된 애플리케이션의 명칭, 실행된 애플리케이션을 통해 실행된 동작, 실행된 애플리케이션의 실행 시각 및 실행 위치 중 적어도 하나에 관한 이력 정보를 포함하는 것인, 서버를 제공할 수 있다.
또한, 제어부는, 캡쳐된 이미지 내의 객체를 나타내는 키워드를 획득하고, 키워드와 관련된 연관 키워드를 획득하며, 획득된 연관 키워드를 이용하여 연관 정보를 검색할 수 있다.
또한, 제어부는, 연관 키워드를 검색 서버로부터 수신할 수 있다.
또한, 제어부는, 사용자의 애플리케이션 실행 이력에 대한 정보에 기초하여, 관심 카테고리를 결정하고, 획득된 연관 키워드 중 관심 카테고리에 포함되는 관심 키워드를 선택할 수 있다.
또한, 제어부는, 관심 키워드 및 관심 카테고리의 식별 값을 이용하여, 연관 정보를 검색할 수 있다.
또한, 영상 재생 장치에 의해 캡쳐된 이미지는, 영상 재생 장치에서 재생 중인 콘텐트의 영상으로부터 캡쳐된 이미지고, 통신부는, 콘텐트의 식별자를 영상 재생 장치로부터 수신하며, 제어부는, 콘텐트의 식별자에 기초하여, 콘텐트에 관한 방송 정보를 콘텐트를 제공하는 방송 서버로부터 획득하고, 획득된 방송 정보를 통신부를 통하여 영상 재생 장치 또는 휴대용 디바이스에게 전송하도록 제어할 수 있다.
또한, 통신부는, 연관 정보에 대한 갱신 요청을 휴대용 디바이스로부터 수신하고, 갱신된 사용자의 애플리케이션 실행 이력에 관한 정보를 휴대용 디바이스로부터 수신하며, 제어부는, 갱신된 사용자의 애플리케이션 실행 이력에 기초하여, 캡쳐된 이미지 내의 객체에 관련된 연관 정보를 갱신할 수 있다.
또한, 본 개시의 제 4 측면은, 사용자 입력을 수신하는 사용자 입력부; 외부 장치와 통신하는 통신부; 사용자 입력에 응답하여, 영상 재생 장치에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐하기 위한 영상 캡쳐 요청을, 통신부를 통하여, 영상 재생 장치에게 전송하도록 제어하고, 사용자의 애플리케이션 실행 이력에 관한 정보를, 통신부를 통하여 서버에게 전송하도록 제어하는, 제어부;를 포함하고, 통신부는, 영상 캡쳐 요청에 따라 영상 재생 장치에 의해 캡쳐된 이미지 내의 객체에 관련된 연관 정보를 서버로부터 수신하는, 휴대용 디바이스를 제공할 수 있다.
또한, 본 개시의 제 5 측면은, 제 1 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 연관 정보 제공 시스템의 개요도이다.
도 2는 본 개시의 일 실시예에 따른 서버에서 연관 정보를 검색하는 방법을 설명하는 순서도이다.
도 3은 본 개시의 일 실시예에 따른 연관 정보 제공 시스템에서 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 검색하는 방법을 자세히 설명하는 흐름도이다.
도 4는 휴대용 디바이스에서 연관 정보를 출력하는 일례를 설명하는 도면이다.
도 5는 본 개시의 일 실시예에 따른 서버에서 영상 재생 장치에 의해 캡쳐된 이미지에 대응되는 콘텐트에 관한 방송 정보를 획득하는 방법을 설명하는 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 연관 정보 제공 시스템에서 연관 정보를 갱신하는 방법을 설명하는 흐름도이다.
도 7은, 연관 정보 제공 시스템에서 연관 정보가 갱신되는 일례이다.
도 8는 본 개시의 일 실시예에 따른 휴대용 디바이스에서 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 출력하는 방법을 설명하는 도면이다.
도 9는 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를, 휴대용 디바이스에서 검색하는 방법을 설명하는 흐름도이다.
도 10은 본 개시의 일 실시예에 따른 서버의 블록도이다.
도 11는 본 개시의 일 실시예에 따른 휴대용 디바이스의 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성요소로 명명될 수 있다.
명세서 전체에서 "애플리케이션"은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 명세서에 기술되는 애플리케이션은 다양할 수 있다. 예를 들어, 애플리케이션은, 게임 애플리케이션, 동영상 재생 애플리케이션, 지도 애플리케이션, 메모 애플리케이션, 운동 지원 애플리케이션, 결제 애플리케이션, 사진 폴더 애플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
명세서 전체에서 "연관 정보"는 검색하고자 하는 객체와 상호 연상되고 연계되는 또 다른 객체나 사건에 대한 정보를 의미할 수 있다.
명세서 전체에서 "사용자의 애플리케이션 실행 이력"은 사용자에 의해 휴대용 디바이스에서 실행된 애플리케이션에 대한 이력 정보를 의미할 수 있다. 예를 들어, 사용자의 애플리케이션 실행 이력은 휴대용 디바이스에서 실행된 애플리케이션의 명칭, 실행된 애플리케이션을 통해 실행된 동작, 실행된 애플리케이션의 실행 시각 및 실행 위치에 관한 이력 정보를 포함할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 연관 정보 제공 시스템의 개요도이다.
도 1에 도시된 바와 같이, 본 개시의 일 실시예에 따른 연관 정보 제공 시스템은, 영상 재생 장치(10), 서버(20), 및 휴대용 디바이스(30)를 포함한다.
일부 실시예에 의하면, 영상 재생 장치(10)는 방송 사업자(미도시)로부터 방송 콘텐트을 수신할 수 있다. 방송 사업자는 일반적인 방송국과 같은 방송 사업자, 케이블 TV 송출 서비스 사업자, 인터넷 TV서비스 사업자 등과 같은 방송을 제공하는 사업자를 의미할 수 있다.
또한, 영상 재생 장치(10)는 방송 사업자로부터 수신된 방송 콘텐트를 재생할 수 있으며, 네트워크를 통하여 다운로드된 콘텐트 또는 스트리밍되는 콘텐트를 출력할 수 있다.
또한, 영상 재생 장치(10)는 재생 중인 방송 콘텐트의 영상으로부터 이미지를 캡쳐하기 위한 영상 캡쳐 요청을 수신할 수 있다. 영상 캡쳐 요청은 휴대용 디바이스(30), 리모콘, 영상 재생 장치(10)에 구비된 사용자 입력 장치 등을 통하여 수신될 수 있다.
영상 재생 장치(10)는 TV, HBBTV(Hybrid Broadcast Broadband TV), 스마트 TV, IPTV(Internet Protocol TV) 등을 포함할 수 있으며, 이에 제한되지 않고 재생 가능한 콘텐트를 출력하고, 네트워크를 통하여 데이터를 송수신할 수 있는 다양한 장치를 포함할 수 있다.
일부 실시예에 의하면, 서버(20)는 영상 재생 장치(10)에 의해 캡쳐된 이미지를 수신하고, 캡쳐된 이미지와 관련된 연관 정보를 검색할 수 있다. 연관 정보는, 검색하고자 하는 객체와 상호 연상되고 연계되는 또 다른 객체나 사건에 대한 정보를 의미할 수 있다. 따라서, 연관 정보는 캡쳐된 이미지에 포함된 소정 객체와 직접적 및 간접적으로 연관된 정보를 의미할 수 있다. 예를 들어, 객체가 소정 책인 경우, 연관 정보는 소정 책의 내용 및 소정 책의 구매 정보 등과 같은 정보뿐 아니라, 소정 책과 관련된 뉴스 및 동일한 주제를 다루는 다른 책들의 구매 정보 등과 같은 정보도 포함할 수 있다.
또한, 서버(20)는 사용자에게 유용한 연관 정보를 제공하기 위하여 휴대용 디바이스(30)로부터 사용자의 애플리케이션 실행 이력에 관한 실행 이력 정보를 수신할 수 있다. 사용자의 애플리케이션 실행 이력은, 사용자에 의해 휴대용 디바이스에서 실행된 애플리케이션에 대한 이력 정보를 의미할 수 있다. 서버(20)는, 수신된 실행 이력 정보에 기초하여, 캡쳐된 이미지에 포함된 객체에 관련된 연관 정보를 사용자에게 제공할 수 있다.
일부 실시예에 의하면, 휴대용 디바이스(30)는 서버(20)에서 검색된 연관 정보를 사용자에게 출력할 수 있다. 휴대용 디바이스(30)는, 예를 들어, 스마트폰, 태블릿 폰, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 및 GPS(global positioning system) 장치일 수 있으나, 이에 제한되지 않는다.
또한, 휴대용 디바이스(30)는 영상 재생 장치(10)에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐하기 위한 사용자 입력을 수신할 수 있다. 휴대용 디바이스(30)는 사용자 입력에 응답하여, 영상 재생 장치(10)에게 영상 캡쳐 요청을 전송할 수 있다.
또한, 휴대용 디바이스(30)는 영상 재생 장치(10)에 의해 캡쳐된 이미지에 관련된 연관 정보의 갱신을 요청하는 사용자 입력을 수신할 수 있다. 서버(20)는 휴대용 디바이스(30)로부터 연관 정보 갱신 요청을 수신하고, 캡쳐된 이미지에 대하여 갱신된 연관 정보를 제공할 수 있다.
이와 같이, 본 개시에 따른 연관 정보 제공 시스템에서, 영상 재생 장치는 영상 재생 장치에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐할 수 있다. 또한, 휴대용 디바이스는, 사용자의 휴대용 디바이스에서 실행된 애플리케이션 실행 이력에 기초하여, 캡쳐된 이미지에 관련된 연관 정보를 제공받을 수 있다. 따라서, 본 개시에 따른 연관 정보 제공 시스템은, 복수의 사용자가 동일한 이미지를 캡쳐한 경우라도, 각각의 사용자의 애플리케이션 실행 이력이 상이함에 따라, 각각의 사용자에게 상이한 연관 정보를 제공할 수 있다.
한편, 본 개시에 따른 연관 정보 제공 시스템에서, 영상 재생 장치(10), 서버(20), 및 휴대용 디바이스(30)는 네트워크를 통하여 연결될 수 있다. 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 근접 통신망(Near Field Communication network) 또는 위성 통신망 등과 같은 무선 네트워크로 구현될 수 있다. 또한, 네트워크는 연관 정보 제공 시스템에 포함된 주체들이 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함한다.
도 2는 본 개시의 일 실시예에 따른 서버에서 연관 정보를 검색하는 방법을 설명하는 순서도이다.
단계 S200 에서, 서버(20)는 영상 재생 장치(10)에 의해 캡쳐된 이미지를 영상 재생 장치(10)로부터 수신할 수 있다. 여기서, 캡쳐된 이미지는, 영상 재생 장치(10)에서 재생 중인 콘텐트의 영상으로부터 캡쳐된 이미지일 수 있다.
또한, 서버(20)는 캡쳐된 이미지에 대한 메타 데이터를 수신할 수 있다. 메타 데이터는, 예를 들어, 영상 재생 장치(10)에 의해 이미지가 캡쳐된 시간 정보, 캡쳐된 이미지에 대응되는 콘텐트의 방송 채널 정보, 캡쳐된 이미지에 대응되는 콘텐트의 식별자 정보 등을 포함할 수 있으며, 캡쳐된 이미지 내의 객체를 나타내는 키워드 정보를 포함할 수도 있다. 그러나, 이에 제한되지 않는다. 또한, 서버(20)는 메타 데이터 중 콘텐트 식별자만을 수신할 수도 있다.
한편, 상기에서는, 서버(20)가 영상 재생 장치(10)에 의해 캡쳐된 이미지 및 캡쳐된 이미지에 대한 메타 데이터를 함께 수신하는 것으로 설명되었으나, 이에 제한되지 않는다. 서버(20)는 캡쳐된 이미지에 대한 메타 데이터만을 수신할 수도 있다.
단계 S210 에서, 서버(20)는 휴대용 디바이스(30)로부터 사용자의 애플리케이션 실행 이력에 관한 실행 이력 정보를 수신할 수 있다. 사용자의 애플리케이션 실행 이력은, 예를 들어, 휴대용 디바이스(30)에서 실행된 애플리케이션의 명칭, 실행된 애플리케이션을 통해 실행된 동작, 실행된 애플리케이션의 실행 시각 및 실행 위치에 관한 이력 정보를 포함할 수 있다. 구체적인 예를 들어, 서버(20)는 최근 일주일 동안 휴대용 디바이스(30)에서 실행된 애플리케이션의 명칭 및 실행 시각 정보를 포함하는 애플리케이션 실행 이력에 관한 정보를 수신할 수 있다.
한편, 실행 이력 정보는, 휴대용 디바이스(30)에 저장되어 있을 수 있으며, 서버(20) 또는 외부 데이터베이스에 저장되어 있을 수도 있다. 휴대용 디바이스(30)는, 휴대용 디바이스(30)에서 사용자에 의해 애플리케이션이 실행될 때마다 또는 사용자에 의해 실행된 애플리케이션에서 소정 동작이 실행될 때마다, 실행된 애플리케이션의 명칭 또는 동작에 대한 정보 등을 서버(20) 또는 외부 데이터베이스에게 전송할 수 있다.
따라서, 서버(20)는 사용자의 애플리케이션 실행 이력에 관한 정보를 휴대용 디바이스(30)로부터 수신할 수 있으며, 외부 데이터베이스로부터 수신할 수도 있다. 한편, 실행 이력 정보가 서버(20)에 저장되어 있는 경우, 서버(20)가 사용자의 애플리케이션 실행 이력을 직접 획득할 수도 있다.
단계 220 에서, 서버(20)는 사용자의 애플리케이션 실행 이력에 기초하여, 영상 재생 장치(10)에 의해 캡쳐된 이미지 내의 객체에 관련된 연관 정보를 검색할 수 있다.
일부 실시예에 의하면, 서버(20)는 영상 재생 장치(10)에 의해 캡쳐된 이미지 내의 객체에 관련된 연관 키워드를 획득할 수 있다. 여기서, 연관 키워드는 검색하고자 하는 키워드와 상호 연상되고 연계되는 또 다른 키워드를 의미할 수 있다. 예를 들어, 연관 키워드는 객체를 나타내는 키워드와 다른 단어가 결합된 형태일 수 있으며, 객체를 나타내는 키워드로부터 연상되는 사건을 나타내는 단어일 수 있다. 구체적인 예를 들어, 객체를 나타내는 키워드가 '매직아이'인 경우, 연관 키워드는 '매직아이'와 다른 단어인 '원리'가 결합한 '매직아이 원리' 일 수 있으며, '매직아이'가 맨눈으로 입체그림 또는 입체사진을 보는 행위라는 정보로부터 연상되는 '입체그림'일 수도 있다.
또한, 서버(20)는 수신된 사용자의 애플리케이션 실행 이력에 관한 정보에 기초하여, 연관 키워드 중 관심 키워드를 선택할 수 있다. 관심 키워드는, 연관 키워드 중에서, 사용자의 애플리케이션 실행 이력에 기초하여 결정된 사용자의 관심 카테고리에 포함되는 키워드일 수 있다. 여기서, 관심 카테고리는, 예를 들어, 영화, 쇼핑, 여행, 도서, 음악, 소셜 네트워크(Social Network) 등으로 식별될 수 있으며, 각각의 카테고리에 대응되는 식별값을 가질 수 있다. 구체적인 예를 들어, 서버(20)는, 휴대용 디바이스(30)에서 이북(e-book) 애플리케이션이 가장 많이 실행된 경우, ?돔?를 관심 카테고리로 결정할 수 있다. 이 경우, 서버(20)는 연관 키워드 중 ?돔?에 포함되는 관심 키워드를 선택할 수 있다.
또한, 서버(20)는 휴대용 디바이스(30)로부터 관심 키워드를 수신할 수도 있다. 일부 실시예에 의하면, 서버(20)는 관심 키워드 및 관심 카테고리의 식별값을 이용하여 연관 정보를 검색할 수 있다. 서버(20)가 캡쳐된 이미지에 관련된 연관 정보를 검색하는 방법은 도 3에서 자세히 설명하기로 한다.
단계 S230에서, 서버(20)는 검색된 연관 정보를 휴대용 디바이스(30)에게 전송할 수 있다. 휴대용 디바이스(30)는 서버(20)로부터 수신된 연관 정보의 전부 또는 일부를 사용자에게 출력할 수 있다.
도 3은 본 개시의 일 실시예에 따른 연관 정보 제공 시스템에서 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 검색하는 방법을 자세히 설명하는 흐름도이다.
단계 S300에서, 영상 재생 장치(10)는 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐할 수 있다. 여기서, 영상 재생 장치(10)에서 재생 중인 콘텐트는, 방송 사업자로부터 수신된 드라마, 쇼, 영화, 광고 등의 콘텐트를 포함할 수 있으며, 이에 제한되지 않는다.
일부 실시예에 의하면, 영상 재생 장치(10)는 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐하기 위한 영상 캡쳐 요청을 휴대용 디바이스(30)로부터 수신할 수 있다. 영상 재생 장치(10)는 영상 재생 장치(10)에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐하기 위한 사용자 인터페이스를 제공할 수 있다. 휴대용 디바이스(30)는 사용자 인터페이스를 통하여 수신된 사용자 입력에 따라, 영상 캡쳐 요청을 영상 재생 장치(10)에게 전송할 수 있다.
또한, 영상 재생 장치(10)는 영상 재생 장치(10)에 구비된 사용자 입력 장치를 통하여 영상 캡쳐 요청을 수신할 수도 있다. 사용자 입력 장치는, 예를 들어, 터치 스크린, 물리적 버튼, 리모콘 등을 포함할 수 있다. 예를 들어, 영상 재생 장치(10)는 리모콘을 통하여 수신된 사용자 입력에 응답하여, 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐할 수도 있다.
일부 실시예에 의하면, 영상 재생 장치(10)는 수신된 영상 캡쳐 요청에 응답하여, 영상 재생 장치(10)에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐할 수 있다. 예를 들어, 영상 재생 장치(10)는 수신된 영상 캡쳐 요청에 응답하여, 영상 재생 장치(10)의 화면 전체 또는 일부에서 출력되는 이미지를 캡쳐할 수 있다. 예를 들어, 영상 재생 장치(10)가 드라마 재생 중에 영상 캡쳐 요청을 수신하는 경우, 영상 재생 장치(10)는 영상 재생 장치(10)의 화면 전체에서 출력되는 드라마의 소정 장면을 캡쳐할 수 있다. 또한, 예를 들어, 영상 재생 장치(10)는 영상 재생 장치(10)에서 재생 중인 콘텐트의 현재 프레임으로부터 캡쳐 이미지를 획득할 수 있다. 그러나, 이에 제한되지 않는다.
또한, 캡쳐된 이미지는 로우 데이터(Raw Data)로 저장될 수 있으며, 소정 포맷으로 변환되어 저장될 수도 있다. 예를 들어, 캡쳐된 이미지는 비트맵(Bitmap), JPEG(Joint Photographic Expert Ground), GIF(Graphics Interchange Format), PNG (Portable Network Graphics) 등의 이미지 포맷으로 변환될 수 있다.
일부 실시예에 의하면, 영상 재생 장치(10)는, 영상 재생 장치(10)에서 재생 중인 콘텐트의 영상으로부터 이미지가 캡쳐되었음을 사용자에게 알릴 수 있다. 예를 들어, 영상 재생 장치(10)는 화면의 일부를 이용하여 알림 메시지를 표시할 수 있다. 또한, 영상 재생 장치(10)는 화면의 일부에 캡쳐된 이미지를 표시할 수도 있다.
단계 S305에서, 영상 재생 장치(10)는 캡쳐된 이미지를 서버(20)에게 전송할 수 있다. 캡쳐된 이미지는, 로우 데이터(raw data) 또는 소정의 이미지 포맷으로 서버(20)에게 전송될 수 있다.
일부 실시예에 의하면, 영상 재생 장치(10)는 캡쳐된 이미지에 대한 메타 데이터를 서버(20)에게 전송할 수 있다. 메타 데이터는, 도 2에서 전술한 바와 같이, 캡쳐된 이미지에 대한 콘텐트 식별자를 포함할 수 있다. 서버(20)는 콘텐트 식별자를 이용하여 캡쳐된 이미지에 대응되는 콘텐트를 식별할 수 있다. 또한, 서버(20)는 식별된 콘텐트에 관한 방송 정보를 방송 사업자로부터 획득할 수 있다. 여기서, 콘텐트에 관한 방송 정보는, 예를 들어, 콘텐트의 제목, 콘텐트의 유형, 방송 시간 정보, 콘텐트에 출연하는 인물 정보, 콘텐트의 캐릭터 정보 등을 포함할 수 있으며, 콘텐트의 전체 줄거리 및 콘텐트에 포함되는 각각의 장면에 대한 줄거리도 포함할 수 있다.
또한, 영상 재생 장치(10)는 캡쳐된 이미지에 대응되는 재생 중인 콘텐트의 음성을 녹음하고, 녹음된 음성을 서버(20)에게 전송할 수도 있다. 서버(20)는 수신된 음성에 기초하여, 방송 콘텐트를 식별할 수 있다. 또한, 서버(20)는 식별된 콘텐트에 관한 방송 정보를 방송 사업자로부터 획득할 수 있다.
단계 S310에서, 서버(20)는 영상 재생 장치(10)에 의해 캡쳐된 이미지를 저장할 수 있다. 또한, 서버(20)는 수신된 캡쳐된 이미지에 대한 메타 데이터를 저장할 수도 있다. 또한, 서버(20)는 캡쳐된 이미지에 대응되는 이미지 식별값을 저장할 수도 있으며, 이에 제한되지 않는다.
또한, 저장된 캡쳐 이미지 및 저장된 메타 데이터는 저장된 캡쳐 이미지에 관련된 연관 정보를 갱신하기 위하여 이용될 수 있다. 저장된 캡쳐 이미지에 관련된 연관 정보를 갱신하는 방법에 대해서는, 도 6에서 후술하기로 한다.
또한, 일부 실시예에 의하면, 서버(20)는 수신된 캡쳐 이미지 및 수신된 캡쳐 이미지에 대한 메타 데이터 중 적어도 하나를 외부 데이터베이스에 저장할 수도 있다.
단계 S315에서, 휴대용 디바이스(30)는 사용자의 애플리케이션 실행 이력에 관한 실행 이력 정보를 서버(20)에게 전송할 수 있다.
일부 실시예에 의하면, 휴대용 디바이스(30)는 사용자가 소정 애플리케이션을 실행할 때마다 또는 주기적으로, 애플리케이션 실행 정보를 저장할 수 있다. 애플리케이션 실행 정보는, 예를 들어, 실행된 애플리케이션의 명칭, 실행된 애플리케이션을 통해 실행된 동작, 실행된 시각 및 실행된 위치에 관한 정보를 포함할 수 있다. 사용자의 애플리케이션 실행 이력은, 소정 기간 동안 누적된 애플리케이션 실행 정보를 의미할 수 있다. 또한, 휴대용 디바이스(30)는 사용자의 애플리케이션 실행 정보를 외부 데이터베이스에 저장할 수도 있다.
일부 실시예에 의하면, 휴대용 디바이스(30)는 영상 재생 장치(10)에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐하기 위한 사용자의 입력에 응답하여, 실행 이력 정보를 서버(20)에게 전송할 수 있다.
또한, 휴대용 디바이스(30)는 사용자의 애플리케이션 실행 이력을 서버(20)가 요청하는 경우, 실행 이력 정보를 서버(20)에게 전송할 수도 있다.
또한, 휴대용 디바이스(30)는 사용자의 애플리케이션 실행 이력을 분석하고, 분석된 결과를 서버(20)에게 전송할 수도 있다. 예를 들어, 휴대용 디바이스(30)는 소정 기간 동안 가장 많이 실행된 애플리케이션의 순서로 나열된, 애플리케이션 명칭 리스트를 서버(20)에게 전송할 수 있다.
한편, 상기에서는, 휴대용 디바이스(30)가 사용자의 애플리케이션 실행 이력에 관한 실행 이력 정보를 서버(20)에게 전송하는 것으로 설명하였지만, 이에 제한되지 않는다. 외부 데이터베이스가 서버(20)에게 전송할 수도 있다.
단계 S320에서, 서버(20)는 영상 재생 장치(10)에 의해 캡쳐된 이미지 내의 객체를 나타내는 키워드를 획득할 수 있다.
일부 실시예에 의하면, 서버(20)는 캡쳐된 이미지 내의 객체를 추출할 수 있다. 여기서, 객체는, 영상 재생 장치(10)에서 재생 중인 콘텐트로부터 캡쳐된 이미지 내에 포함된 사람, 사물(예컨대, 책, 의자 등), 건물(예컨대, 놀이기구 등) 등을 포함할 수 있다.
서버(20)는 객체 인식 알고리즘을 이용하여, 캡쳐된 이미지에 포함된 객체를 추출할 수 있다. 객체 인식 알고리즘은, 예를 들어, OpenCV(Open Computer Vision), 안면 인식 시스템(facial recognition system), 화자 인식(speaker recognition), FERET(Facial Recognition Technology), AAM(Active Appearance Model) 등을 이용하여 구현될 수 있으며, 이에 제한되지 않는다. 또한, 서버(20)는 캡쳐된 이미지에 대한 메타 데이터를 이용하여 이미지 내의 객체를 추출할 수도 있다.
또한, 서버(20)는 사용자의 애플리케이션 실행 이력에 기초하여, 추출된 객체 중에서 일부 객체를 선택할 수도 있다. 예를 들어, 서버(20)는 휴대용 디바이스(30)에서 실행되는 애플리케이션에서, 사용자에 의해 입력된 검색식 이력 정보에 기초하여, 추출된 객체 중에서 일부 객체를 선택할 수 있다.
일부 실시예에 의하면, 서버(20)는 추출된 객체를 나타내는 키워드를 획득할 수 있다. 서버(20)는 캡쳐된 이미지에 대응되는 콘텐트를 식별하고, 식별된 콘텐트에 관한 방송 정보를 방송 사업자 또는 영상 재생 장치(10)로부터 수신할 수 있다. 서버(20)는 콘텐트에 관한 방송 정보에 기초하여, 추출된 객체를 나타내는 키워드를 획득할 수 있다. 예를 들어, 서버(20)는 캡쳐된 이미지로부터 추출된 등장 인물 A 를 나타내는 키워드를 획득하기 위하여, 콘텐트에 관한 방송 정보 중에서 캐릭터 정보(예컨대, 인물 A를 나타내는 키워드 '나정') 및 출연자 정보(예컨대, 인물 A를 나타내는 키워드 '아라')를 이용할 수 있다.
단계 S325에서, 서버(20)는 캡쳐된 이미지 내의 객체를 나타내는 키워드에 관련된 연관 키워드를 획득할 수 있다.
일부 실시예에 의하면, 서버(20)는 캡쳐된 이미지에 대응되는 콘텐트에 관한 방송 정보를 이용하여, 연관 키워드를 획득할 수 있다. 예를 들어, 서버(20)는 캡쳐된 이미지에 대응되는 콘텐트의 줄거리에 기초하여, 연관 키워드를 획득할 수 있다. 구체적인 예를 들어, 서버(20)는 '럭키가 나정에게 매직아이를 통하여 사랑 고백을 한다'라는 콘텐트의 줄거리에 이용하여, 연관 키워드 '매직아이' 및 '사랑고백'을 획득할 수 있다.
또한, 서버(20)는 지식 그래프(knowledge graph), 의미적 유사도, 온톨로지(ontology) 등을 이용하여, 키워드에 관련된 연관 키워드를 획득할 수 있다. 여기서, 온톨로지는, 특정 영역의 어휘들 간의 관계를 명시적이고 형식적으로 명세화한 것을 의미할 수 있다.
또한, 서버(20)는 검색 서버를 이용하여 연관 키워드를 획득할 수도 있으며, 이에 제한되지 않는다.
단계 S330에서, 서버(20)는 사용자의 애플리케이션 실행 이력에 기초하여, 사용자의 관심 카테고리를 결정할 수 있다.
일부 실시예에 의하면, 서버(20)는 휴대용 디바이스(30)로부터 수신된 사용자의 애플리케이션 실행 이력을 분석하여, 소정 기간 동안 가장 많이 실행된 애플리케이션, 캡쳐된 이미지에 대응되는 콘텐트의 방송 시간에 가장 많이 실행된 애플리케이션, 영상 재생 장치(10)가 위치한 장소에서 가장 많이 실행된 애플리케이션 등에 대한 정보를 알 수 있다. 서버(20)는 분석된 결과를 이용하여, 관심 카테고리를 결정할 수 있다.
한편, 상기에서는, 서버(20)가 사용자의 애플리케이션 실행 이력을 분석하여, 관심 카테고리를 결정하는 것으로 설명하였지만, 이에 제한되지 않는다. 서버(20)는 휴대용 디바이스(30)로부터 관심 카테고리를 수신할 수도 있다.
단계 S335에서, 서버(20)는 획득된 연관 키워드 중에서 관심 카테고리에 포함되는 관심 키워드를 선택할 수 있다.
일부 실시예에 의하면, 서버(20)는 기 식별된 카테고리에 따라 분류된, 기본 키워드 집합을 이용하여, 관심 키워드를 선택할 수 있다. 예를 들어, 서버(20)는 관심 카테고리의 식별값에 대응되는 기본 키워드 집합과 획득된 연관 키워드들 간의 이미적 유사도에 기초하여, 관심 키워드를 선택할 수 있다.
또한, 서버(20)는 획득된 연관 키워드에 기 식별된 카테고리를 매칭하는 매칭 알고리즘을 이용하여, 결정된 카테고리에 매칭되는 관심 키워드를 선택할 수도 있으며, 이에 제한되지 않는다.
일부 실시예에 의하면, 서버(20)는 선택된 관심 키워드에 관련된 연관 키워드를 획득할 수 있다. 또한, 서버(20)는 획득된 연관 키워드 중에서 관심 카테고리에 포함되는 관심 키워드를 선택하고, 선택된 관심 키워드에 관련된 연관 키워드를 획득할 수도 있다. 따라서, 서버(20)는 반복적으로 연관 키워드를 획득함으로써, 캡쳐된 이미지에 관련된 연관 키워드를 확장할 수 있다.
단계 S340에서, 서버(20)는 관심 키워드 및 관심 카테고리의 식별값을 이용하여 연관 정보를 검색할 수 있다. 여기서, 연관 정보는 객체에 관련된 정보를 의미할 수 있다. 예를 들어, 연관 정보는, 객체가 사물인 경우, 객체를 주제로 하는 콘텐트(예를 들어, 책, 영화, 드라마 등)에 관한 정보, 객체의 구매에 관련된 정보 등을 포함할 수 있다. 또한, 연관 정보는, 객체가 사람인 경우, 객체가 등장하는 콘텐트 정보, 객체가 집필한 책 정보 등을 포함할 수 있다.
일부 실시예에 의하면, 서버(20)는 관심 키워드를 이용하여 검색된 연관 정보 중에서 관심 카테고리에 포함되는 연관 정보를 사용자에게 제공할 수 있다. 예를 들어, 관심 키워드인 매직아이를 이용하여 검색되는 연관 정보는, 매직아이를 제목(또는 소제목)으로 하는 도서에 관련된 정보, 매직아이를 소재로 하는 영화에 관련된 정보, 및 매직아이의 유래, 매직아이의 원리 등을 나타내는 정보 등을 포함할 수 있다. 서버(20)는 검색된 연관 정보 중에서 관심 카테고리의 식별값인 도서에 포함되는 '매직아이 도서 정보(예컨대, 매직아이를 제목으로 하는 책의 요약 정보 및 구매 정보 등)'에 관한 연관 정보를 사용자에게 제공할 수 있다.
또한, 서버(20)는 관심 키워드 및 관심 카테고리의 식별값을 결합한 검색식을 이용하여 검색된 연관 정보를 사용자에게 제공할 수도 있다. 예를 들어, 서버(20)는 관심 키워드(예컨대, 매직아이) 및 관심 카테고리의 식별값(예컨대, 도서)을 결합한 검색식(예컨대, 매직아이 도서)를 이용하여 연관 정보를 검색할 수도 있다.
일부 실시예에 의하면, 서버(20)는 검색 엔진을 이용하여 연관 정보를 검색할 수 있다. 검색 엔진은, 서버(20)의 내부 또는 외부 검색 서버에 위치할 수 있다. 예를 들어, 서버(20)는 색인 데이터베이스를 구비하는 키워드 검색 엔진, 복수의 검색 엔진을 이용하는 메타 검색 엔진 등을 이용할 수 있다.
단계 S345에서, 서버(20)는 검색된 연관 정보를 휴대용 디바이스(30)에게 전송할 수 있다. 또한, 서버(20)는 획득된 연관 키워드를 휴대용 디바이스(30)에게 전송할 수 있다.
단계 S350에서, 휴대용 디바이스(30)는 수신된 연관 정보를 출력할 수 있다. 휴대용 디바이스(30)가 연관 정보를 출력하는 방법은 휴대용 디바이스(30)에서의 사용자 설정 또는 휴대용 디바이스(30)에서 실행되는 연관 정보 출력 애플리케이션의 구현 방법에 따라 달라질 수 있다. 예를 들어, 휴대용 디바이스(30)는 수신된 연관 정보를 모두 출력할 수도 있으며, 수신된 연관 정보 중 소정 정보를 우선적으로 출력할 수도 있다. 휴대용 디바이스(30)에서 출력되는 연관 정보의 예는, 도 4에서 후술하기로 한다.
전술한 바와 같이, 본 개시에 따른 연관 정보 제공 시스템은, 영상 재생 장치에 의해 캡쳐된 이미지에 포함된 객체에 관련된 연관 정보를, 사용자 입력을 과도하게 요구하지 않고도 효과적으로 사용자에게 제공할 수 있다. 또한, 본 개시에 따른 연관 정보 제공 시스템은, 사용자가 용이하게 이용할 수 있는 휴대용 디바이스를 통하여 사용자에게 적합한 연관 정보를 제공함으로써, 향상된 사용자 편의성을 제공할 수 있다.
도 4는 휴대용 디바이스에서 연관 정보를 출력하는 일례를 설명하는 도면이다.
도 4를 참조하면, 휴대용 디바이스(30)는 영상 재생 장치(10)에 의해 캡쳐된 이미지에 대한 요약 정보(410), 제1 연관 키워드(420), 제1 연관 정보(430), 제2 연관 키워드(440), 및 제 2 연관 정보(450)를 출력할 수 있다.
일부 실시예에 의하면, 휴대용 디바이스(30)는 영상 재생 장치에 의해 캡쳐된 이미지에 대응되는 콘텐트에 관한 방송 정보를 서버(20)로부터 수신할 수 있다.
휴대용 디바이스(30)는 수신된 콘텐트에 관한 방송 정보를 이용하여, 캡쳐된 이미지에 대응되는 요약 정보(411)를 출력할 수 있다. 캡쳐된 이미지에 대한 요약 정보(411)는, 영상 재생 장치(10)에 의해 캡쳐된 이미지(412), 캡쳐된 이미지에 대응되는 콘텐트의 제목 및 영상 재생 장치에 의해 이미지가 캡쳐된 시간 정보(414), 캡쳐된 이미지에 대응되는 콘텐트의 줄거리(416) 등을 포함할 수 있다.
또한, 휴대용 디바이스(30)는 제1 연관 키워드(420), 제1 연관 정보(430), 제2 연관 키워드(440), 및 제 2 연관 정보(450)를 서버(20)로부터 수신할 수 있다.
서버(20)는 영상 재생 장치에 의해 캡쳐된 이미지에 내의 객체를 추출하고, 추출된 객체를 나타내는 키워드에 관련된 제1 연관 키워드(420, 예컨대, 나정, 매직아이 등)를 획득할 수 있다. 또한, 서버(20)는 휴대용 디바이스(30)로부터 수신된 사용자의 애플리케이션 실행 이력에 기초하여, 관심 카테고리(예컨대, 도서)를 결정할 수 있다. 서버(20)는 획득된 제1 연관 키워드(420, 예컨대, 나정, 매직아이 등) 중에서 관심 카테고리에 속하는 제1 관심 키워드(예컨대, 매직아이)를 선택할 수 있다.
또한, 서버(20)는 선택된 제1 관심 키워드에 관련된 제2 연관 키워드(440, 예컨대, 매직아이 모음 등)을 획득할 수 있다. 서버(20)는 획득된 제2 연관 키워드(440, 예컨대, 매직아이 모음, 입체그림) 중에서 관심 카테고리(예컨대, 도서)에 포함되는 제2 관심 키워드(예컨대, 매직아이 모음)를 선택할 수 있다.
또한, 서버(20)는 제2 관심 키워드에 관련된 제3 연관 키워드 및 제3 관심 키워드를 획득할 수도 있다.
또한, 서버(20)는 제1 관심 키워드(예컨대, 매직아이) 및 관심 카테고리의 식별값(예컨대, 도서)을 이용하여 제1 연관 정보(430)를 검색할 수 있다. 예를 들어, 제1 연관 정보(430)는, 제목이 '매직아이'인 도서의 내용 및 도서의 구매 정보를 포함할 수 있다. 또한, 서버(20)는 제2 관심 키워드(예컨대, 매직아이 모음) 및 관심 카테고리의 식별값(예컨대, 도서)을 이용하여 제2 연관 정보(450)를 검색할 수 있다. 예를 들어, 제2 연관 정보는, '매직아이 모음'을 일 목차로 하는 도서의 내용 및 도서의 구매 정보를 포함할 수 있다.
일부 실시예에 의하면, 휴대용 디바이스(30)는 수신된 제1 연관 키워드(420), 제1 연관 정보(430), 제2 연관 키워드(440), 및 제2 연관 정보(450)를 순차적으로 출력할 수 있다.
한편, 휴대용 디바이스(30)는 제1 연관 키워드(420) 및 제2 연관 키워드(440) 중에서 소정 키워드를 선택하는 사용자 입력을 수신할 수도 있다. 예를 들어, 사용자는 휴대용 디바이스(30)에서 소정 키워드가 출력된 영역(예컨대, '[사랑 고백]'이 출력된 영역)을 터치함으로써, 소정 키워드(예컨대, 사랑 고백)를 선택할 수 있다. 휴대용 디바이스(30)는 사용자에 의해 선택된 소정 키워드를 관심 키워드로 이용하여, 캡쳐된 이미지에 관련된 연관 정보를 갱신하도록 서버(20)에게 요청할 수 있다. 휴대용 디바이스(30)는 서버(20)로부터 갱신된 연관 정보를 수신하고, 제1 연관 정보(430), 제2 연관 키워드(440), 및 제2 연관 정보(450) 중 적어도 하나를 갱신할 수 있다.
도 5는 본 개시의 일 실시예에 따른 서버에서 영상 재생 장치에 의해 캡쳐된 이미지에 대응되는 콘텐트에 관한 방송 정보를 획득하는 방법을 설명하는 흐름도이다.
단계 S500에서, 영상 재생 장치(10)는 영상 재생 장치(10)에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐할 수 있다. 단계 S500은 도 3의 단계 S300에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S505에서, 영상 재생 장치(10)는 영상 재생 장치(10)에 의해 캡쳐된 이미지와 함께 캡쳐된 이미지에 대응되는 콘텐트 식별자를 서버(20)에게 전송할 수 있다. 여기서, 콘텐트 식별자은, 콘텐트를 제공하는 방송 사업자 또는 외부 데이터베이스에서, 콘텐트를 식별하기 위한 정보일 수 있다. 영상 재생 장치(10)는 콘텐트 식별자를 포함하는 캡쳐된 이미지에 대한 메타 데이터를 서버(20)에게 전송할 수 있다.
단계 S510에서, 서버(20)는 수신된 캡쳐 이미지를 저장할 수 있다. 단계 S510은 도 3의 단계 S310에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S515에서, 서버(20)는 캡쳐된 이미지에 대응되는 콘텐트에 관한 방송 정보를 방송 서버로부터 획득할 수 있다. 여기서, 방송 서버는, 영상 재생 장치에게 콘텐트를 제공하는 방송 사업자가 운영하는 서버 또는 콘텐트에 대한 방송 정보를 관리하는 외부 서버를 의미할 수 있다. 서버(20)는 수신된 콘텐트 식별자를 이용하여, 캡쳐된 이미지에 대응되는 콘텐트에 관한 방송 정보를 방송 서버로부터 획득할 수 있다. 또한, 서버(20)는 검색 엔진을 이용하여 콘텐트에 관한 방송 정보를 획득할 수도 있다.
또한, 콘텐트에 관한 방송 정보는, 콘텐트의 제목, 콘텐트의 유형, 방송 시간 정보, 출연하는 인물 정보, 방송 콘텐트의 캐릭터 정보 등을 포함할 수 있으며, 콘텐트의 줄거리 및 콘텐트에 포함되는 각각의 장면에 대한 줄거리도 포함할 수 있다.
한편, 상기에서는, 서버(20)가 캡쳐된 이미지에 대응되는 콘텐트에 관한 방송 정보를 방송 서버로부터 획득하는 것으로 설명하였으나, 이에 제한되지 않는다. 영상 재생 장치(10)가 캡쳐된 이미지에 대응되는 콘텐트에 관한 방송 정보를 방송 서버로부터 획득할 수도 있다. 이 경우, 영상 재생 장치(10)가 획득된 방송 정보를 서버(20)에게 전송할 수 있다.
단계 S520 및 단계 S525에서, 서버(20)는 검색된 콘텐트에 관한 방송 정보를 영상 재생 장치(10) 및 휴대용 디바이스(30)에게 전송할 수 있다.
단계 S530에서, 영상 재생 장치(10)는 수신된 콘텐트에 관한 방송 정보를 영상 재생 장치(10)에서 재생 중인 콘텐트의 화면 전부 또는 일부에 출력할 수 있다.
도 6은 본 개시의 일 실시예에 따른 연관 정보 제공 시스템에서 연관 정보를 갱신하는 방법을 설명하는 흐름도이다.
단계 S600에서, 휴대용 디바이스(30)는 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보의 갱신을 요청하는 사용자 입력을 수신할 수 있다.
일부 실시예에 의하면, 휴대용 디바이스(30)는 적어도 하나의 영상 재생 장치에 의해 캡쳐된 복수의 캡쳐 이미지를 포함하는, 캡쳐 이미지 리스트를 사용자에게 제공할 수 있다. 휴대용 디바이스(30)는 캡쳐 이미지 리스트가 출력된 화면에서, 소정의 캡쳐 이미지에 관련된 연관 정보의 갱신을 요청하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자는 복수의 캡쳐 이미지를 포함하는 캡쳐 이미지 리스트가 출력된 화면에서, 하나의 캡쳐 이미지에 대응되는 화면을 터치할 수 있다.
또한, 휴대용 디바이스(30)는 캡쳐된 이미지에 관련된 연관 키워드 및 연관 정보가 출력된 화면에서, 소정 키워드에 관련된 연관 정보의 갱신을 요청하는 사용자 입력을 수신할 수도 있다. 예를 들어, 사용자는 캡쳐된 이미지에 관련된 연관 키워드 및 연관 정보가 출력된 화면에서, 화면에 출력된 연관 키워드 중 하나의 연관 키워드에 대응되는 화면을 터치할 수 있다. 예를 들어, 도 4를 참조하면, 휴대용 디바이스(30)는 화면에 출력된 제1 연관 키워드(420) 중에서 '[사랑 고백]'이 출력된 영역을 터치하는 사용자 입력을 수신할 수 있다.
단계 S605에서, 휴대용 디바이스(30)는 사용자 입력에 응답하여, 소정의 캡쳐 이미지 또는 소정의 키워드에 관련된 연관 정보를 갱신하기 위한 갱신 요청을 서버(20)에게 전송할 수 있다. 또한, 휴대용 디바이스(30)는 소정의 캡쳐 이미지에 대한 식별값을 전송할 수 있다.
단계 S610에서, 휴대용 디바이스(30)는 사용자의 애플리케이션 실행 이력에 관한 정보를 서버(20)에게 전송할 수 있다. 사용자의 애플리케이션 실행 이력에 관한 정보는, 휴대용 디바이스(30)에서 실행된 애플리케이션의 명칭, 실행된 애플리케이션을 통해 실행된 동작, 실행된 애플리케이션의 실행 시각 및 실행 위치에 관한 정보를 포함할 수 있다. 단계 S610은 도 3의 단계 S315에 대응하므로, 구체적인 설명은 생략하기로 한다.
한편, 일부 실시예에 의하면, 휴대용 디바이스(30)는 사용자의 애플리케이션 실행 이력을 분석하여, 분석된 결과를 저장할 수 있다. 휴대용 디바이스(30)는 소정의 캡쳐 이미지 또는 소정의 키워드에 관련된 연관 정보의 갱신 요청에 따라, 사용자의 애플리케이션 실행 이력을 분석하고, 분석된 결과를 저장된 분석 결과와 비교할 수 있다. 이 경우, 양 결과가 동일하다면, 휴대용 디바이스(30)는 분석된 결과를 서버(20)에게 전송하지 않을 수도 있다.
단계 S615에서, 서버(20)는 휴대용 디바이스(30)로부터 수신된 캡쳐 이미지에 대한 식별값을 이용하여, 저장된 캡쳐 이미지를 추출할 수 있다.
단계 S620에서, 서버(20)는 캡쳐 이미지에 포함된 객체에 관련된 연관 키워드를 획득함으로써, 연관 키워드를 갱신할 수 있다. 서버(20)가 캡쳐 이미지에 포함된 객체에 관련된 연관 키워드를 획득하는 방법은 도 3의 단계 S320 및 S325에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S625에서, 서버(20)는 휴대용 디바이스(30)로부터 갱신된 사용자의 애플리케이션 실행 이력에 관한 실행 이력 정보를 수신하여, 사용자의 관심 카테고리를 갱신할 수 있다. 서버(20)는 갱신된 실행 이력 정보를 분석하여, 소정 기간 동안 가장 많이 실행된 애플리케이션, 캡쳐된 이미지에 대응되는 콘텐트의 방송 시간에 가장 많이 실행된 애플리케이션, 영상 재생 장치(10)가 위치한 장소에서 가장 많이 실행된 애플리케이션 등에 대한 정보를 알 수 있다. 서버(20)는 분석된 결과를 이용하여, 관심 카테고리를 갱신할 수 있다.
단계 S630에서, 서버(20)는 획득된 연관 키워드 중에서 관심 카테고리에 포함되는 관심 키워드를 선택할 수 있다. 서버(20)가 관심 키워드를 선택하는 방법은, 도 3의 S335에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S630에서, 서버(20)는 관심 키워드 및 관심 카테고리의 식별값을 이용하여 연관 정보를 갱신할 수 있다. 서버(20)는 검색 엔진을 이용하여 연관 정보를 검색할 수 있다. 갱신된 연관 정보는, 단계 S635에서, 휴대용 디바이스(30)로 전송될 수 있다.
단계 S350에서, 휴대용 디바이스(30)는 갱신된 연관 정보를 출력할 수 있다.
본 개시의 일부 실시예에 따른 연관 정보 제공 시스템에서, 휴대용 디바이스에서 사용자의 애플리케이션 실행 이력이 갱신됨에 따라, 사용자의 입력에 따라 갱신된 연관 정보는 이전에 검색된 연관 정보와 상이할 수 있다. 또한, 갱신된 연관 정보는, 이전 연관 정보를 검색한 시점 이후, 시간이 경과함에 따라 누적되는 정보를 반영할 수 있다. 따라서, 갱신된 연관 정보는 이전에 검색된 연관 정보보다 많은 양의 정보를 포함할 수도 있다.
도 7은, 연관 정보 제공 시스템에서 연관 정보가 갱신되는 일례이다. 700-1은, 도 4에서 영상 재생 장치에 의해 캡쳐된 이미지(712)와 관련된 연관 정보의 갱신을 요청하는 사용자 입력의 예시이며, 700-2는, 사용자 입력에 따라 갱신된 연관 정보가 휴대용 디바이스(30)에서 출력되는 예시이다.
700-1을 참조하면, 휴대용 디바이스(30)는 적어도 하나의 영상 재생 장치에 의해 캡쳐된 복수의 캡쳐 이미지를 포함하는 캡쳐 이미지 리스트(710)를 제공할 수 있다. 캡쳐 이미지 리스트(710)는 복수의 캡쳐 이미지 및 캡쳐 이미지에 대응되는 콘텐트의 제목 등을 포함할 수 있다. 또한, 캡쳐 이미지 리스트(710)는 각각의 캡쳐 이미지에 대응되는 연관 키워드를 표시할 수도 있으며, 이에 제한되지 않는다.
또한, 휴대용 디바이스(30)는 복수의 캡쳐 이미지를 포함하는 캡쳐 이미지 리스트(710)에서 소정의 캡쳐 이미지에 관련된 연관 정보의 갱신을 요청하는 사용자 입력을 수신할 수 있다. 사용자 입력은, 복수의 캡쳐 이미지 중에서 하나의 캡쳐 이미지에 대응되는 화면을 터치하는 입력일 수 있다. 예를 들어, 사용자는 도 4에서 영상 재생 장치에 의해 캡쳐된 이미지(712)에 대응되는 화면 영역을 터치할 수 있다.
또한, 휴대용 디바이스(30)는, 사용자의 터치 입력에 응답하여, 도 4에서 영상 재생 장치에 의해 캡쳐된 이미지(712)에 관련된 연관 정보의 갱신을 서버(20)에게 요청할 수 있다. 또한, 휴대용 디바이스(30)는 도 4에서 영상 재생 장치에 의해 캡쳐된 이미지(712)에 대한 식별값을 서버(20)에게 전송할 수도 있다.
한편, 서버(20) 는 휴대용 디바이스(30)로부터 수신된 도 4에서 영상 재생 장치에 의해 캡쳐된 이미지(712)에 대한 식별값을 이용하여, 서버(20) 또는 외부 데이터베이스에 저장된 캡쳐된 이미지(712), 저장된 캡쳐된 이미지(712)에 대한 메타 데이터 등을 서버(20) 또는 외부 데이터베이스로부터 추출할 수 있다.
또한, 서버(20)는 추출된 이미지 내의 객체에 관련된 제1 연관 키워드(722)를 갱신할 수 있다. 갱신된 제1 연관 키워드(722)는, 도 4의 연관 키워드와 상이할 수 있으나, 설명의 편의상 동일한 것으로 가정한다.
또한, 서버(20)는 갱신된 사용자의 애플리케이션 실행 이력에 관한 실행 이력 정보를 휴대용 디바이스(30)로부터 수신할 수 있다. 서버(20)는 갱신된 실행 이력 정보에 기초하여, 관심 카테고리를 갱신할 수 있다. 예를 들어, 사용자는 연관 정보의 갱신을 요청하는 시점에 '이북(e-book) 애플리케이션'보다 '음악 재생 애플리케이션'을 더 많이 실행했을 수 있다. 이 경우, 갱신된 관심 카테고리는 '음악'일 수 있다.
또한, 서버(20)는 제1 연관 키워드(722) 중에서 갱신된 관심 카테고리에 포함되는 제1 관심 키워드(예컨대, 사랑고백)를 선택할 수 있다. 서버(20)는 선택된 제1 관심 키워드(예컨대, 사랑고백) 및 갱신된 관심 카테고리(예컨대, 음악)의 식별값을 이용하여, 제1 연관 정보(724)를 검색할 수 있다. 또한, 서버(20)는 제1 관심 키워드(예컨대, 사랑고백)에 관련된 제2 연관 키워드(726)를 갱신할 수 있다.
휴대용 디바이스(30)는 제1 연관 키워드(722), 제1 연관 정보(724), 제2 연관 키워드(726) 등을 포함하는 갱신된 연관 정보를 서버(20)로부터 수신하고, 출력할 수 있다 (700-2).
도 8는 본 개시의 일 실시예에 따른 휴대용 디바이스에서 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 출력하는 방법을 설명하는 도면이다.
단계 S800에서, 휴대용 디바이스(30)는 영상 재생 장치(10)에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐하기 위한 사용자 입력을 수신할 수 있다.
일부 실시예에 의하면, 휴대용 디바이스(30)는 적어도 하나의 영상 재생 장치에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐할 수 있는 사용자 인터페이스를 제공할 수 있다. 예를 들어, 휴대용 디바이스(30)는, 도 7의 캡쳐 이미지 리스트(710)가 출력된 화면의 하단 영역에서 사용자 입력을 수신할 수 있다. 또한, 휴대용 디바이스(30)는 휴대용 디바이스(30)의 잠금 화면에서 사용자 인터페이스를 제공할 수도 있으며, 이에 제한되지 않는다.
한편, 휴대용 디바이스(30)는 영상 재생 장치(10)와 근접 네트워크 등을 통하여 통신할 수 있다. 휴대용 디바이스(30)는 영상 재생 장치(10)와 통신하기 위하여 자동 또는 수동으로 페어링될 수 있다.
단계 S810에서, 휴대용 디바이스(30)는 사용자의 애플리케이션 실행 이력에 관한 실행 이력 정보를 서버(20)에게 전송할 수 있다. 사용자의 애플리케이션 실행 이력에 관한 정보는, 휴대용 디바이스(30)에서 실행된 애플리케이션의 명칭, 실행된 애플리케이션을 통해 실행된 동작, 실행된 애플리케이션의 실행 시각 및 실행 위치에 관한 정보를 포함할 수 있다.
또한, 휴대용 디바이스(30)는 사용자의 애플리케이션 실행 이력을 분석하고, 분석된 결과를 서버(20)에게 전송할 수도 있다. 예를 들어, 휴대용 디바이스(30)는 소정 기간 동안 가장 많이 실행된 애플리케이션의 순서로 나열된, 애플리케이션 명칭 리스트를 서버(20)에게 전송할 수 있다.
일부 실시예에 의하면, 휴대용 디바이스(30)는 영상 재생 장치(10)에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐하기 위한 사용자의 입력에 응답하여, 실행 이력 정보를 서버(20)에게 전송할 수 있다.
또한, 휴대용 디바이스(30)는, 서버(20)가 휴대용 디바이스(30)에게 실행 이력 정보를 요청하는 경우, 실행 이력 정보를 서버(20)에게 전송할 수도 있다.
단계 S820에서, 휴대용 디바이스(30)는 영상 재생 장치(10)에 의해 캡쳐된 이미지에 관련된 연관 정보를 서버(20)로부터 수신할 수 있다. 또한, 휴대용 디바이스(30)는 영상 재생 장치(10)에 의해 캡쳐된 이미지에 관련된 연관 키워드를 서버(20)로부터 수신할 수도 있다.
단계 S830에서, 휴대용 디바이스(30)는 수신된 연관 정보를 출력할 수 있다. 휴대용 디바이스(30)가 수신된 연관 정보를 출력하는 방법은, 휴대용 디바이스(30) 사용자에 의한 설정 또는 휴대용 디바이스(30)에서 실행되는 연관 정보 제공 애플리케이션의 구현 방법에 따라, 달라질 수 있다. 예를 들어, 휴대용 디바이스(30)는 수신된 연관 정보를 모두 출력할 수 있으며, 수신된 연관 정보 중 일부만을 출력할 수도 있다.
도 9는 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를, 휴대용 디바이스에서 검색하는 방법을 설명하는 흐름도이다.
단계 S900 및 S905에서, 영상 재생 장치(10)는 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐하고, 캡쳐된 이미지를 서버(20)에게 전송한다. 단계 S910에서, 서버(20)는 영상 재생 장치(10)로부터 수신된 이미지를 저장한다. 단계 S900, S905, 및 S910은 도 3의 단계 S300, S305, 및 S310에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S915에서는 서버(20)가 영상 재생 장치(10)에 의해 캡쳐된 이미지를 휴대용 디바이스(30)에게 전송하는 것으로 설명하였지만, 이에 제한되지 않는다. 영상 재생 장치(10)가 캡쳐된 이미지를 휴대용 디바이스(30)에게 전송할 수도 있다.
단계 S925 내지 단계 S930에서, 휴대용 디바이스(30)는 영상 재생 장치(10)에 의해 캡쳐된 이미지 내의 객체를 추출하고, 추출된 객체를 나타내는 키워드 및 키워드에 관련된 연관 키워드를 획득할 수 있다.
일부 실시예에 의하면, 휴대용 디바이스(30)는, 객체 인식 알고리즘을 이용하여, 캡쳐된 이미지에 포함된 객체를 추출할 수 있다. 또한, 휴대용 디바이스(30)는, 캡쳐된 이미지에 대한 메타 데이터를 이용하여 캡쳐된 이미지 내의 객체를 추출할 수도 있다.
또한, 일부 실시예에 의하면, 휴대용 디바이스(30)는, 캡쳐된 이미지에 대응되는 콘텐트에 관한 방송 정보를 이용하여, 캡쳐된 이미지 내의 객체를 나타내는 키워드를 획득할 수 있다.
또한, 일부 실시예에 의하면, 휴대용 디바이스(30)는, 캡쳐된 이미지에 대응되는 콘텐트에 관한 방송 정보를 이용하여, 획득된 키워드에 관련된 연관 키워드를 획득할 수 있다. 또한, 휴대용 디바이스(30)는, 지식 그래프, 의미적 유사도, 온톨로지 등을 이용하여, 획득된 키워드에 관련된 연관 키워드를 획득할 수도 있다. 또한, 휴대용 디바이스(30)는 검색 서버를 이용하여 연관 키워드를 획득할 수도 있으며, 이에 제한되지 않는다.
한편, 단계 S925 내지 단계 S930에서는, 휴대용 디바이스(30)가 캡쳐된 이미지에 포함된 객체에 관련된 연관 키워드를 획득하는 것으로 설명하였지만, 이에 제한되지 않는다. 서버(20)가 캡쳐된 이미지 내의 객체에 관련된 연관 키워드를 획득하고, 획득된 연관 키워드를 휴대용 디바이스(30)에게 전송할 수도 있다.
단계 S935에서, 휴대용 디바이스(30)는 사용자의 애플리케이션 실행 이력에 기초하여, 사용자의 관심 카테고리를 결정할 수 있다.
일부 실시예에 의하면, 휴대용 디바이스(30)는, 휴대용 디바이스(30)에서 실행된 애플리케이션의 실행 이력을 분석하여, 소정 기간 동안 가장 많이 실행된 애플리케이션, 캡쳐된 이미지에 대응되는 콘텐트의 방송 시간에 가장 많이 실행된 애플리케이션, 영상 재생 장치(10)가 위치한 장소에서 가장 많이 실행된 애플리케이션 등에 대한 정보를 알 수 있다. 휴대용 디바이스(30)는 분석된 결과를 이용하여, 관심 카테고리를 결정할 수 있다.
단계 S940에서, 휴대용 디바이스(30)는 획득된 연관 키워드 중에서 관심 카테고리에 포함되는 관심 키워드를 선택할 수 있다.
일부 실시예에 의하면, 휴대용 디바이스(30)는, 기 식별된 카테고리에 따라 분류된 기본 키워드 집합을 이용하여, 관심 키워드를 선택할 수 있다. 또한, 휴대용 디바이스(30)는 획득된 연관 키워드에 기 식별된 카테고리를 매칭하는 매칭 알고리즘을 이용하여, 결정된 카테고리에 매칭되는 관심 키워드를 선택할 수도 있으며, 이에 제한되지 않는다.
단계 S945에서, 휴대용 디바이스(30)는 관심 키워드 및 관심 카테고리의 식별값을 서버(20)에게 전송할 수 있다. 또한, 휴대용 디바이스(30)는 연관 키워드를 서버(20)에게 전송할 수도 있다.
단계 S950에서, 서버(20)는 수신된 관심 키워드 및 관심 카테고리의 식별값을 이용하여, 연관 정보를 검색할 수 있다. 검색된 연관 정보는, 단계 S955에서 휴대용 디바이스(30)에게 전송될 수 있다.
단계 S945 및 S950에서는, 휴대용 디바이스(30)가 관심 키워드 및 관심 카테고리의 식별 값을 서버(20)에게 전송하고, 서버(20)가 연관 정보를 검색하는 것으로 설명하였으나, 이에 제한되지 않는다. 휴대용 디바이스(30)가 관심 키워드 및 관심 카테고리의 식별값을 외부 검색 서버에게 전송하고, 검색된 연관 정보를 외부 검색 서버로부터 수신할 수도 있다.
단계 S960에서, 휴대용 디바이스(30)는 수신된 연관 정보를 출력할 수 있다. 휴대용 디바이스(30)가 수신된 연관 정보를 출력하는 방법은, 도 3의 S350에 대응하므로, 구체적인 설명은 생략하기로 한다.
도 10은 본 개시의 일 실시예에 따른 서버의 블록도이다.
도 10에 도시된 바와 같이, 본 개시의 일 실시예에 따른 서버(20)는, 제어부(1010), 통신부(1020), 데이터베이스(1030)를 포함할 수 있다. 그러나, 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 서버(20)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 서버(20)는 구현될 수 있다.
제어부(1010)는 서버(20)의 전반적인 동작을 제어하기 위한 구성으로, 예를 들어 CPU를 포함할 수 있다.
또한, 제어부(1010)는 영상 재생 장치에 의해 캡쳐된 이미지를 영상 재생 장치로부터 수신하고, 수신된 이미지를 저장할 수 있다. 또한, 제어부(1010)는 캡쳐된 이미지에 대응되는 콘텐트의 식별자를 영상 재생 장치로부터 수신할 수 있다.
또한, 제어부(1010)는 영상 재생 장치로부터 수신된 콘텐트 식별자를 이용하여, 캡쳐된 이미지에 대응되는 콘텐트에 관한 방송 정보를 방송 사업자 또는 영상 재생 장치로부터 획득할 수 있다.
또한, 제어부(1010)는 영상 재생 장치에 의해 캡쳐된 이미지 내의 객체를 추출하고, 추출된 객체를 나타내는 키워드를 획득할 수 있다. 또한, 제어부(1010)는 획득된 키워드에 관련된 연관 키워드를 획득할 수 있다. 예를 들어, 제어부(1010)는 캡쳐된 이미지에 대응되는 콘텐트에 관한 방송 정보를 이용하여 연관 키워드를 획득할 수 있다. 또한, 제어부(1110)는 지식 그래프(knowledge graph), 의미적 유사도, 온톨로지(ontology) 등을 이용하여, 획득된 키워드에 관련된 연관 키워드를 획득할 수 있다. 또한, 제어부(1010)는 획득된 키워드에 관련된 연관 키워드를 검색 서버로부터 획득할 수도 있다.
또한, 제어부(1010)는 휴대용 디바이스로부터 수신된 사용자의 애플리케이션 실행 이력에 기초하여, 관심 카테고리를 결정할 수 있다.
또한, 제어부(1010)는 획득된 연관 키워드 중에서, 관심 카테고리에 포함되는 관심 키워드를 선택할 수 있으며, 관심 키워드에 관련된 연관 키워드를 반복하여 획득할 수도 있다.
또한, 제어부(1010)는 관심 키워드 및 관심 카테고리의 식별 값을 이용하여, 연관 정보를 검색할 수 있다. 제어부(1010)는 서버(20)에 구비된 검색 엔진을 이용하여 연관 정보를 검색할 수 있으며, 외부 검색 서버를 이용할 수도 있다.
통신부(1020)는 유선 또는 무선 네트워크를 통하여, 서버(20)가 영상 재생 장치, 휴대용 디바이스 및 방송 사업자 등과 데이터를 송수신하기 위한 구성이다.
또한, 통신부(1020)는 영상 재생 장치에 의해 캡쳐된 이미지, 캡쳐된 이미지에 대한 메타 데이터, 및 캡쳐된 이미지에 대응되는 콘텐트의 식별자 중 적어도 하나를 수신할 수 있다.
또한, 통신부(1020)는 캡쳐된 이미지에 대응되는 콘텐트에 관한 방송 정보를 방송 사업자로부터 수신할 수 있다.
또한, 통신부(1020)는 휴대용 디바이스 사용자의 애플리케이션 실행 이력에 관한 정보를 휴대용 디바이스로부터 수신할 수 있다.
또한, 통신부(1020)는 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 휴대용 디바이스에게 전송할 수 있다.
데이터베이스(1030)는 영상 재생 장치에 의해 캡쳐된 이미지를 저장할 수 있다. 또한, 데이터베이스(1030)는 캡쳐된 이미지 대한 메타 데이터, 캡쳐된 이미지에 대응되는 콘텐트에 관한 방송 정보 중 적어도 하나를 저장할 수 있으며, 캡쳐된 이미지에 관련된 연관 키워드, 관심 키워드, 및 관심 카테고리 등을 저장할 수도 있다.
한편, 데이터베이스(1030)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 11는 본 개시의 일 실시예에 따른 휴대용 디바이스의 블록도이다.
도 11에 도시된 바와 같이, 본 개시의 일 실시예에 따른 휴대용 디바이스(30)는, 제어부(1110), 통신부(1120), 사용자 입력부(1130), 출력부(1140), 메모리(1150)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 휴대용 디바이스(30)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 휴대용 디바이스(30)는 구현될 수 있다.
제어부(1110)는 통상적으로 휴대용 디바이스(30)의 전반적인 동작을 제어한다. 예를 들어, 제어부(1110)는 메모리(1150)에 저장된 프로그램들을 실행 함으로써, 통신부(1120), 사용자 입력부(1130), 및 출력부(1140) 등을 전반적으로 제어할 수 있다.
또한, 제어부(1110)는 영상 재생 장치에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐하기 위한 사용자 인터페이스를 제공할 수 있다.
또한, 제어부(1110)는 사용자의 애플리케이션 실행 이력에 관한 정보를 획득할 수 있다. 또한, 제어부(1110)는 사용자의 애플리케이션 실행 이력에 관한 정보를 분석할 수도 있다.
또한, 제어부(1110)는 영상 재생 장치에 의해 캡쳐된 이미지 내의 객체를 추출하고, 추출된 객체를 나타내는 키워드 및 키워드에 관련된 연관 키워드를 획득할 수 있다.
또한, 제어부(1110)는 사용자의 애플리케이션 실행 이력에 기초하여, 사용자의 관심 카테고리를 결정할 수 있다. 또한, 제어부(1110)는 획득된 연관 키워드 중에서 관심 카테고리에 포함되는 관심 키워드를 선택할 수 있다.
또한, 제어부(1110)는 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 화면에 출력하기 위하여 출력부(1140)를 제어할 수 있다.
통신부(1120)는 유선 또는 무선 네트워크를 통하여, 휴대용 디바이스(30)가 영상 재생 장치(10), 서버(20), 및 외부 검색 서버, 방송 사업자 등과 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1120)는 근거리 통신부, 이동 통신부, 방송 수신부를 포함할 수 있다.
또한, 통신부(1120)는 영상 재생 장치에 의해 캡쳐된 이미지를, 서버(20) 또는 영상 재생 장치로부터 수신할 수 있다. 또한, 통신부(1120)는 캡쳐된 이미지에 대한 메타 데이터를 수신할 수도 있다.
또한, 통신부(1120)는 영상 재생 장치에 의해 캡쳐된 이미지에 대응되는 콘텐트에 관한 방송 정보를, 서버(20)로부터 수신할 수 있다.
또한, 통신부(1120)는 사용자의 애플리케이션 실행 이력에 관한 정보를, 서버(20)에게 전송할 수 있다.
또한, 통신부(1120)는 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 수신할 수 있다. 또한, 통신부(1120)는 캡쳐된 이미지에 관련된 연관 키워드를 수신할 수도 있다.
사용자 입력부(1130)는 외부 기기나 사람과의 인터페이스를 제공한다.
또한, 사용자 입력부(1130)는 영상 재생 장치에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐하기 위한 사용자 입력을 수신할 수 있다.
또한, 사용자 입력부(1130)는 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보의 갱신을 요청하는 사용자 입력을 수신할 수 있다.
출력부(1140)는 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 디스플레이부, 음향 출력부, 및 진동 모터 등을 포함할 수 있다.
또한, 출력부(1140)는 영상 재생 장치에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐하기 위한 사용자 인터페이스를 출력할 수 있다.
또한, 출력부(1140)는 적어도 하나의 영상 재생 장치에 의해 캡쳐된, 복수의 캡쳐 이미지를 포함하는 캡쳐 이미지 리스트를 출력할 수 있다.
또한, 출력부(1140)는 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 출력할 수 있다.
메모리(1150)는 휴대용 디바이스(30)에서 실행된 애플리케이션 실행 이력을 저장할 수 있다.
한편, 메모리(1150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (19)

  1. 서버가 영상 재생 장치로부터 수신된 캡쳐 이미지 내의 객체에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법에 있어서,
    상기 영상 재생 장치에 의해 캡쳐된 이미지를 상기 영상 재생 장치로부터 수신하는 단계;
    상기 휴대용 디바이스의 사용자의 애플리케이션 실행 이력에 관한 정보를 상기 휴대용 디바이스로부터 수신하는 단계;
    상기 사용자의 애플리케이션 실행 이력에 기초하여, 상기 캡쳐된 이미지 내의 객체에 관련된 상기 연관 정보를 검색하는 단계; 및
    상기 검색된 연관 정보를 상기 휴대용 디바이스에게 전송하는 단계;를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 사용자의 애플리케이션 실행 이력에 관한 정보는, 상기 휴대용 디바이스에서 실행된 애플리케이션의 명칭, 상기 실행된 애플리케이션을 통해 실행된 동작, 상기 실행된 애플리케이션의 실행 시각 및 실행 위치 중 적어도 하나에 관한 이력 정보를 포함하는 것인, 방법.
  3. 제 1 항에 있어서,
    상기 연관 정보를 검색하는 단계는,
    상기 캡쳐된 이미지 내의 객체를 나타내는 키워드를 획득하는 단계;
    상기 키워드와 관련된 연관 키워드를 획득하는 단계; 및
    상기 획득된 연관 키워드를 이용하여 상기 연관 정보를 검색하는 단계;를 포함하는 방법.
  4. 제 3 항에 있어서,
    상기 연관 키워드를 이용하여 상기 연관 정보를 검색하는 단계는,
    상기 사용자의 애플리케이션 실행 이력에 대한 정보에 기초하여, 관심 카테고리를 결정하는 단계; 및
    상기 획득된 연관 키워드 중 상기 관심 카테고리에 포함되는 관심 키워드를 선택하는 단계;를 포함하는, 방법.
  5. 제 5 항에 있어서,
    상기 연관 키워드를 이용하여 상기 연관 정보를 검색하는 단계는,
    상기 관심 키워드 및 상기 관심 카테고리의 식별값을 이용하여, 상기 연관 정보를 검색하는 단계;를 더 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 영상 재생 장치에 의해 캡쳐된 이미지는, 상기 영상 재생 장치에서 재생 중인 콘텐트의 영상으로부터 캡쳐된 이미지고,
    상기 방법은,
    상기 콘텐트의 식별자를 상기 영상 재생 장치로부터 수신하는 단계;
    상기 콘텐트의 식별자에 기초하여, 상기 콘텐트에 관한 방송 정보를 상기 콘텐트를 제공하는 방송 서버로부터 획득하는 단계; 및
    상기 획득된 방송 정보를, 상기 영상 재생 장치 또는 상기 휴대용 디바이스에게 전송하는 단계;를 더 포함하는 방법.
  7. 제 1 항에 있어서,
    상기 방법은,
    상기 검색된 연관 정보에 대한 갱신 요청을 상기 휴대용 디바이스로부터 수신하는 단계;
    갱신된 사용자의 애플리케이션 실행 이력에 관한 정보를 상기 휴대용 디바이스로부터 수신하는 단계; 및
    상기 갱신된 사용자의 애플리케이션 실행 이력에 기초하여, 상기 캡쳐된 이미지 내의 객체에 관련된 상기 연관 정보를 갱신하는 단계; 를 더 포함하는 방법.
  8. 휴대용 디바이스가 영상 재생 장치에 의해 캡쳐된 이미지 내의 객체에 관련된 연관 정보를 출력하는 방법에 있어서,
    사용자 입력을 수신하는 단계;
    상기 사용자 입력에 응답하여, 상기 영상 재생 장치에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐하기 위한, 영상 캡쳐 요청을 상기 영상 재생 장치에게 전송하는 단계;
    사용자의 애플리케이션 실행 이력에 관한 정보를 서버에게 전송하는 단계;
    상기 영상 캡쳐 요청에 따라 상기 영상 재생 장치에 의해 캡쳐된 이미지 내의 객체에 관련된 상기 연관 정보를, 상기 서버로부터 수신하는 단계; 및
    상기 수신된 연관 정보를 출력하는 단계;를 포함하는 방법.
  9. 제 8 항에 있어서,
    상기 사용자의 애플리케이션 실행 이력에 관한 정보는, 상기 휴대용 디바이스에서 실행된 애플리케이션의 명칭, 상기 실행된 애플리케이션을 통해 실행된 동작, 상기 실행된 애플리케이션의 실행 시각 및 실행 위치 중 적어도 하나에 관한 이력 정보를 포함하는 것인, 방법.
  10. 제 8 항에 있어서,
    상기 방법은,
    상기 수신된 연관 정보에 대한 갱신을 요청하는, 연관 정보 갱신 요청을, 상기 서버에게 전송하는 단계;
    갱신된 사용자의 애플리케이션 실행 이력에 관한 정보를 상기 서버에게 전송하는 단계; 및
    상기 갱신된 사용자의 애플리케이션 실행 이력에 기초하여 갱신된 연관 정보를 상기 서버로부터 수신하는 단계;를 더 포함하는 방법.
  11. 영상 재생 장치에 의해 캡쳐된 이미지를 상기 영상 재생 장치로부터 수신하고, 휴대용 디바이스의 사용자의 애플리케이션 실행 이력에 관한 정보를 상기 휴대용 디바이스로부터 수신하는, 통신부; 및
    상기 사용자의 애플리케이션 실행 이력에 기초하여, 상기 캡쳐된 이미지 내의 객체에 관련된 연관 정보를 검색하며, 상기 검색된 연관 정보를 상기 통신부를 통하여 상기 휴대용 디바이스에게 전송하도록 제어하는, 제어부;
    를 포함하는 서버.
  12. 제 11 항에 있어서,
    상기 사용자의 애플리케이션 실행 이력에 관한 정보는, 상기 휴대용 디바이스에서 실행된 애플리케이션의 명칭, 상기 실행된 애플리케이션을 통해 실행된 동작, 상기 실행된 애플리케이션의 실행 시각 및 실행 위치 중 적어도 하나에 관한 이력 정보를 포함하는, 서버.
  13. 제 11 항에 있어서,
    상기 제어부는, 상기 캡쳐된 이미지 내의 객체를 나타내는 키워드를 획득하고, 상기 키워드와 관련된 연관 키워드를 획득하며, 상기 획득된 연관 키워드를 이용하여 상기 연관 정보를 검색하는, 서버.
  14. 제 13 항에 있어서,
    상기 제어부는, 상기 사용자의 애플리케이션 실행 이력에 대한 정보에 기초하여, 관심 카테고리를 결정하고, 상기 획득된 연관 키워드 중 상기 관심 카테고리에 포함되는 관심 키워드를 선택하는, 서버.
  15. 제 14 항에 있어서,
    상기 제어부는, 상기 관심 키워드 및 상기 관심 카테고리의 식별 값을 이용하여, 상기 연관 정보를 검색하는, 서버.
  16. 제 11 항에 있어서,
    상기 영상 재생 장치에 의해 캡쳐된 이미지는, 상기 영상 재생 장치에서 재생 중인 콘텐트의 영상으로부터 캡쳐된 이미지고,
    상기 통신부는, 상기 콘텐트의 식별자를 상기 영상 재생 장치로부터 수신하며,
    상기 제어부는, 상기 콘텐트의 식별자에 기초하여, 상기 콘텐트에 관한 방송 정보를 상기 콘텐트를 제공하는 방송 서버로부터 획득하고, 상기 획득된 방송 정보를 상기 통신부를 통하여 상기 영상 재생 장치 또는 상기 휴대용 디바이스에게 전송하도록 제어하는, 서버.
  17. 제 11 항에 있어서,
    상기 통신부는, 상기 연관 정보에 대한 갱신 요청을 상기 휴대용 디바이스로부터 수신하고, 갱신된 사용자의 애플리케이션 실행 이력에 관한 정보를 상기 휴대용 디바이스로부터 수신하며,
    상기 제어부는, 상기 갱신된 사용자의 애플리케이션 실행 이력에 기초하여, 상기 캡쳐된 이미지 내의 객체에 관련된 상기 연관 정보를 갱신하는, 서버.
  18. 사용자 입력을 수신하는 사용자 입력부;
    외부 장치와 통신하는 통신부;
    상기 사용자 입력에 응답하여, 영상 재생 장치에서 재생 중인 콘텐트의 영상으로부터 이미지를 캡쳐하기 위한 영상 캡쳐 요청을, 상기 통신부를 통하여, 상기 영상 재생 장치에게 전송하도록 제어하고, 사용자의 애플리케이션 실행 이력에 관한 정보를, 상기 통신부를 통하여 서버에게 전송하도록 제어하는, 제어부;를 포함하고,
    상기 통신부는, 상기 영상 캡쳐 요청에 따라 상기 영상 재생 장치에 의해 캡쳐된 이미지 내의 객체에 관련된 연관 정보를 상기 서버로부터 수신하는, 휴대용 디바이스.
  19. 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020140123712A 2014-09-17 2014-09-17 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법 및 시스템 KR102077237B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140123712A KR102077237B1 (ko) 2014-09-17 2014-09-17 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법 및 시스템
US14/801,452 US9652659B2 (en) 2014-09-17 2015-07-16 Mobile device, image reproducing device and server for providing relevant information about image captured by image reproducing device, and method thereof
EP15177125.0A EP2999228B1 (en) 2014-09-17 2015-07-16 Mobile device, image reproducing device and server for providing relevant information about image captured by image reproducing device, and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140123712A KR102077237B1 (ko) 2014-09-17 2014-09-17 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20160032937A true KR20160032937A (ko) 2016-03-25
KR102077237B1 KR102077237B1 (ko) 2020-02-13

Family

ID=53785440

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140123712A KR102077237B1 (ko) 2014-09-17 2014-09-17 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법 및 시스템

Country Status (3)

Country Link
US (1) US9652659B2 (ko)
EP (1) EP2999228B1 (ko)
KR (1) KR102077237B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135433A1 (ko) * 2018-01-08 2019-07-11 엘지전자 주식회사 디스플레이 장치 및 디스플레이 장치를 포함하는 시스템
WO2020032384A1 (ko) * 2018-08-08 2020-02-13 삼성전자 주식회사 이미지에 포함된 상품 정보와 관련된 키워드를 제공하기 위한 전자 장치
KR102515263B1 (ko) * 2022-12-20 2023-03-29 주식회사 아티젠스페이스 휴대 단말 및 시스템
US12124753B2 (en) 2020-08-11 2024-10-22 Samsung Electronics Co., Ltd. Electronic device for providing text associated with content, and operating method therefor

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10372434B1 (en) * 2016-07-22 2019-08-06 Amdocs Development Limited Apparatus, computer program, and method for communicating an update to a subset of devices
CN106254892B (zh) * 2016-08-09 2019-04-26 北海爱飞数码科技有限公司 基于电视机和互联网的交互系统
US10382806B2 (en) * 2016-11-14 2019-08-13 DISH Technologies L.L.C. Apparatus, systems and methods for controlling presentation of content using a multi-media table
US11403328B2 (en) 2019-03-08 2022-08-02 International Business Machines Corporation Linking and processing different knowledge graphs
US11636270B2 (en) * 2020-01-29 2023-04-25 Adobe Inc. Methods and systems for generating a semantic computation graph for understanding and grounding referring expressions
CN111539197B (zh) * 2020-04-15 2023-08-15 北京百度网讯科技有限公司 文本匹配方法和装置以及计算机系统和可读存储介质
CN111652678B (zh) * 2020-05-27 2023-11-14 腾讯科技（深圳）有限公司 物品信息显示方法、装置、终端、服务器及可读存储介质
US11240328B1 (en) * 2020-12-01 2022-02-01 Sap Se Privacy enhanced application usage monitoring
WO2022256468A1 (en) * 2021-06-03 2022-12-08 Loop Now Technologies, Inc. Frame and child frame for video and webpage rendering

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080226119A1 (en) * 2007-03-16 2008-09-18 Brant Candelore Content image search
JP2012234543A (ja) * 2011-04-30 2012-11-29 Samsung Electronics Co Ltd 多重ユーザ検索機能
KR20130044770A (ko) * 2011-10-24 2013-05-03 엘지전자 주식회사 검색 방법 및 상기 방법을 채용한 휴대 전자 기기
KR20130060299A (ko) * 2010-09-16 2013-06-07 알까뗄 루슨트 콘텐츠를 자동으로 태깅하기 위한 콘텐츠 캡처 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359894B1 (en) * 2004-06-30 2008-04-15 Google Inc. Methods and systems for requesting and providing information in a social network
US8407744B2 (en) 2007-06-19 2013-03-26 Verizon Patent And Licensing Inc. Snapshot recognition for TV
KR101708691B1 (ko) 2010-05-26 2017-02-21 엘지전자 주식회사 영상표시기기, 그 시스템 및 그 영상표시기기에 표시된 오브젝트 검색방법
KR101482094B1 (ko) 2011-06-27 2015-01-13 주식회사 케이티 영상 관련 정보 제공 방법 및 시스템
US20130036442A1 (en) * 2011-08-05 2013-02-07 Qualcomm Incorporated System and method for visual selection of elements in video content
KR101995425B1 (ko) * 2011-08-21 2019-07-02 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법
US9165243B2 (en) 2012-02-15 2015-10-20 Microsoft Technology Licensing, Llc Tensor deep stacked neural network
KR101911803B1 (ko) 2012-08-10 2018-10-26 삼성전자주식회사 휴대용 단말 장치 및 그 동작 방법
US20140223319A1 (en) * 2013-02-04 2014-08-07 Yuki Uchida System, apparatus and method for providing content based on visual search
US20150205595A1 (en) * 2014-01-20 2015-07-23 Vonage Network Llc Method and system for intelligent configuration of a native application

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080226119A1 (en) * 2007-03-16 2008-09-18 Brant Candelore Content image search
KR20130060299A (ko) * 2010-09-16 2013-06-07 알까뗄 루슨트 콘텐츠를 자동으로 태깅하기 위한 콘텐츠 캡처 장치 및 방법
JP2012234543A (ja) * 2011-04-30 2012-11-29 Samsung Electronics Co Ltd 多重ユーザ検索機能
KR20130044770A (ko) * 2011-10-24 2013-05-03 엘지전자 주식회사 검색 방법 및 상기 방법을 채용한 휴대 전자 기기

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135433A1 (ko) * 2018-01-08 2019-07-11 엘지전자 주식회사 디스플레이 장치 및 디스플레이 장치를 포함하는 시스템
US10901690B2 (en) 2018-01-08 2021-01-26 Lg Electronics Inc. Display device and system comprising same
US11704089B2 (en) 2018-01-08 2023-07-18 Lg Electronics Inc. Display device and system comprising same
WO2020032384A1 (ko) * 2018-08-08 2020-02-13 삼성전자 주식회사 이미지에 포함된 상품 정보와 관련된 키워드를 제공하기 위한 전자 장치
US11636529B2 (en) 2018-08-08 2023-04-25 Samsung Electronics Co., Ltd. Method and device for providing keywords related to product information included in image
US12124753B2 (en) 2020-08-11 2024-10-22 Samsung Electronics Co., Ltd. Electronic device for providing text associated with content, and operating method therefor
KR102515263B1 (ko) * 2022-12-20 2023-03-29 주식회사 아티젠스페이스 휴대 단말 및 시스템

Also Published As

Publication number Publication date
EP2999228A1 (en) 2016-03-23
US20160078059A1 (en) 2016-03-17
KR102077237B1 (ko) 2020-02-13
EP2999228B1 (en) 2019-11-13
US9652659B2 (en) 2017-05-16

Similar Documents

Publication Publication Date Title
KR102077237B1 (ko) 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법 및 시스템
US11797625B2 (en) Displaying information related to spoken dialogue in content playing on a device
JP5651231B2 (ja) コンテンツを決定し検索するためのメディアフィンガープリント
KR101664754B1 (ko) 정보 취득 방법, 장치, 프로그램 및 기록매체
US8799300B2 (en) Bookmarking segments of content
US20160034539A1 (en) System and method of managing metadata
US20080028294A1 (en) Method and system for managing and maintaining multimedia content
US20140082079A1 (en) System and method for the collaborative recording, uploading and sharing of multimedia content over a computer network
JP6337183B1 (ja) テキスト抽出装置、コメント投稿装置、コメント投稿支援装置、再生端末および文脈ベクトル計算装置
JP2011097417A (ja) 情報提示装置及び携帯端末
US9088662B2 (en) System and method for managing file catalogs on a wireless handheld device
JP6090053B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2011180729A (ja) 情報処理装置、キーワード登録方法及びプログラム
US9946769B2 (en) Displaying information related to spoken dialogue in content playing on a device
US20120147022A1 (en) Methods and Systems for Providing Access to Content During a Presentation of a Media Content Instance
JP5449113B2 (ja) 番組推薦装置
CN108268644B (zh) 视频搜索方法、服务器及视频搜索系统
JP2013257815A (ja) 情報処理装置、情報処理方法およびプログラム
JP5335500B2 (ja) コンテンツ検索装置及びコンピュータプログラム
JP2019008779A (ja) テキスト抽出装置、コメント投稿装置、コメント投稿支援装置、再生端末および文脈ベクトル計算装置
JP2021005390A (ja) コンテンツ管理機器、および、制御方法
US20140136733A1 (en) System and method for the collaborative recording, uploading and sharing of multimedia content over a computer network
KR102051323B1 (ko) 사용자 상황에 따른 컨텐츠 추천 시스템 및 방법
KR20130126203A (ko) 클라이언트 단말기를 이용한 동영상 콘텐츠 공유 서비스 제공 시스템 및 방법
KR20140083569A (ko) 컨텐츠의 위치 데이터를 기초하여 동일한 위치 데이터를 가지는 하나 이상의 사진을 선택하는 서버 및 방법, 그리고 단말

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)