KR20140067792A - 컨텐츠 인식 서버, 단말 장치를 포함하는 컨텐츠 연관 정보 제공 시스템 및 그 제어 방법 - Google Patents

컨텐츠 인식 서버, 단말 장치를 포함하는 컨텐츠 연관 정보 제공 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR20140067792A
KR20140067792A KR1020120135491A KR20120135491A KR20140067792A KR 20140067792 A KR20140067792 A KR 20140067792A KR 1020120135491 A KR1020120135491 A KR 1020120135491A KR 20120135491 A KR20120135491 A KR 20120135491A KR 20140067792 A KR20140067792 A KR 20140067792A
Authority
KR
South Korea
Prior art keywords
information
recognition server
fingerprint
content
frame
Prior art date
Application number
KR1020120135491A
Other languages
English (en)
Other versions
KR102024168B1 (ko
Inventor
최윤희
윤태현
최현철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120135491A priority Critical patent/KR102024168B1/ko
Publication of KR20140067792A publication Critical patent/KR20140067792A/ko
Application granted granted Critical
Publication of KR102024168B1 publication Critical patent/KR102024168B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/237—Communication with additional data server
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

컨텐츠 인식 서버 및 단말 장치를 포함하는 컨텐츠 연관 정보 제공 시스템이 개시된다. 적어도 하나의 정보 인식 서버 및 컨텐츠를 구성하는 프레임 내 객체의 특징 데이터를 각 객체의 종류에 대응되는 정보 인식 서버로 전송하는 컨텐츠 인식 서버를 포함하며, 객체의 특징 데이터를 수신한 정보 인식 서버는 객체의 특징 데이터에 대응되는 객체 정보를 검색하여 컨텐츠 인식 서버로 전송하고, 컨텐츠 인식 서버는 프레임으로 추출된 핑거프린트와 수신된 객체 정보를 매핑하여 저장하며, 외부 기기로부터 핑거프린트가 수신되면, 수신된 핑거프린트에 매칭되는 객체 정보를 외부 기기로 전송한다. 이에 따라, 서버 및 단말 장치의 부하 감소, 트래픽 감소를 통한 네트워크 비용 감소가 가능하다.

Description

컨텐츠 인식 서버, 단말 장치를 포함하는 컨텐츠 연관 정보 제공 시스템 및 그 제어 방법{CONTENTS INFORMATION SERVICE SYSTEM INCLUDING CONTENTS RECOGNITION SERVER, TERMINAL DEVICE AND THE CONTROL METHOD THEREOF}
본 발명은 컨텐츠 인식 서버, 단말 장치를 포함하는 컨텐츠 연관 정보 제공 시스템 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 현재 화면의 컨텐츠에 포함된 관련 정보를 제공하는 컨텐츠 인식 서버, 단말 장치를 포함하는 컨텐츠 연관 정보 제공 시스템 및 그 제어 방법에 관한 것이다.
TV와 같은 단말 장치는 컨텐츠를 재생한다. 단말 장치는 재생되는 컨텐츠 정보 또는 컨텐츠에 포함된 객체에 대한 정보를 얻기 위해서 객체에 대한 특징을 추출하여 서버에 전송한다. 서버는 수신된 객체에 대한 특징을 이용하여 컨텐츠와 관련된 다양한 정보를 제공한다. 이를 위해, 서버는 미리 수집된 데이터를 기반으로 컨텐츠와 관련된 특징을 추출하여 데이터베이스로 저장해둔다. 예를 들어, 컨텐츠와 관련된 정보는 인물 정보, 음악 정보, 광고 정보, 프로그램 정보 등이 될 수 있다.
하나의 서버는 하나의 특징과 관련된 정보만을 저장하고 있다. 예를 들어, 인물 정보 인식 서버는 컨텐츠에 포함된 인물과 관련된 정보만을 데이터베이스로 저장하고 있다. 광고 정보 인식 서버는 광고 컨텐츠와 관련된 정보만을 데이터베이스로 저장하고 있다. 따라서, 단말 장치가 컨텐츠 관련 정보를 얻기 위해서 개별 대상의 특징을 모두 추출해야 하므로 연산의 부담이 크다는 단점이 있다. 또한, 네트워크 관점에서 볼 때, 개별 단말 장치가 개별 대상 특징을 서버로 전송해야 하므로 트래픽 비용이 증가하게 된다. 일반적으로 TV와 같은 단말 장치는 수백만 내지 수천만대가 존재한다. 따라서, 대량의 단말 장치가 개별 인식 서버로 요청을 보내면 이를 처리하기 위한 서버의 비용은 상당히 증가하게 된다. 따라서, 컨텐츠 관련 정보의 전송에 있어서, 단말 장치의 부하 감소, 서버의 부하 감소 및 네트워크 비용을 감소시킬 수 있는 기술에 대한 필요성이 대두되고 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 컨텐츠 관련 정보 전송시 단말 장치 및 서버의 부하를 감소시킬 수 있는 컨텐츠 인식 서버, 단말 장치를 포함하는 컨텐츠 연관 정보 제공 시스템 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 상술한 목적을 달성하기 위한 일 실시예에 따르면 컨텐츠 인식 서버는 컨텐츠를 수신하는 수신부, 상기 컨텐츠를 구성하는 프레임 내 객체의 특징 데이터를 각 객체의 종류에 대응되는 정보 인식 서버로 전송하고, 각 정보 인식 서버로부터 상기 각 객체의 특징 데이터에 대응되는 객체 정보를 수신하는 통신부, 상기 프레임으로부터 추출된 핑거프린트와 상기 수신된 객체 정보를 매핑하여 저장하는 저장부 및 외부 기기로부터 핑거프린트가 수신되면, 상기 수신된 핑거프린트에 매칭되는 객체 정보를 상기 외부 기기로 전송하도록 상기 통신부를 제어하는 제어부를 포함한다.
한편, 상기 정보 인식 서버는 광고 인식 서버이고, 상기 객체 정보는 광고 정보이며, 상기 제어부는 방송 컨텐츠를 구성하는 프레임의 핑거프린트를 상기 객체의 특징 데이터로 활용하여 상기 광고 인식 서버로 전송하고 상기 핑거프린트에 대응되는 광고 정보를 수신할 수 있다.
한편, 상기 정보 인식 서버는 인물 인식 서버, 오디오 인식 서버, 광고 인식 서버, 방송 프로그램 인식 서버 및 물건 인식 서버 중 적어도 하나를 포함할 수 있다.
그리고, 상기 객체 정보는 인물 정보, 오디오 정보, 광고 정보, 방송 프로그램 정보 및 물건 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 핑거프린트는 상기 프레임 내의 이미지 및 오디오 중 적어도 하나로부터 추출되어 상기 프레임을 타 프레임과 구별할 수 있는 식별자일 수 있다.
본 발명의 상술한 목적을 달성하기 위한 일 실시예에 따르면 단말 장치는 컨텐츠를 구성하는 프레임을 캡쳐하여 핑거프린트를 추출하는 제어부, 상기 핑거프린트를 컨텐츠 인식 서버로 전송하고 상기 핑거프린트에 매칭되는 객체 정보를 수신하는 통신부 및 상기 수신된 객체 정보를 표시하는 디스플레이부를 포함하고, 상기 객체 정보는 인물 정보, 오디오 정보, 광고 정보, 방송 프로그램 정보 및 물건 정보 중 적어도 하나를 포함하며, 상기 핑거프린트는 상기 프레임 내의 이미지 및 오디오 중 적어도 하나로부터 추출되어 상기 프레임을 타 프레임과 구별할 수 있는 식별자일 수 있다.
본 발명의 상술한 목적을 달성하기 위한 일 실시예에 따르면 컨텐츠 연관 정보 제공 시스템은 적어도 하나의 정보 인식 서버 및 컨텐츠를 구성하는 프레임 내 객체의 특징 데이터를 각 객체의 종류에 대응되는 정보 인식 서버로 전송하는 컨텐츠 인식 서버를 포함하며, 상기 객체의 특징 데이터를 수신한 정보 인식 서버는 상기 객체의 특징 데이터에 대응되는 객체 정보를 검색하여 상기 컨텐츠 인식 서버로 전송하고, 상기 컨텐츠 인식 서버는 상기 프레임으로부터 추출된 핑거프린트와 상기 수신된 객체 정보를 매핑하여 저장하며, 외부 기기로부터 핑거프린트가 수신되면, 상기 수신된 핑거프린트에 매칭되는 객체 정보를 상기 외부 기기로 전송할 수 있다.
본 발명의 상술한 목적을 달성하기 위한 일 실시예에 따르면 컨텐츠 인식 서버의 제어 방법은 컨텐츠를 수신하는 단계, 상기 컨텐츠를 구성하는 프레임 내 객체의 특징 데이터를 각 객체의 종류에 대응되는 정보 인식 서버로 전송하고, 각 정보 인식 서버로부터 상기 각 객체의 특징 데이터에 대응되는 객체 정보를 수신하는 단계, 상기 프레임으로부터 추출된 핑거프린트와 상기 수신된 객체 정보를 매핑하여 저장하는 단계 및 외부 기기로부터 핑거프린트가 수신되면, 상기 수신된 핑거프린트에 매칭되는 객체 정보를 상기 외부 기기로 전송하는 단계를 포함할 수 있다.
한편, 상기 정보 인식 서버는 광고 인식 서버이고, 상기 객체 정보는 광고 정보이며, 상기 객체 정보를 수신하는 단계는 방송 컨텐츠를 구성하는 프레임의 핑거프린트를 상기 객체의 특징 데이터로 활용하여 상기 광고 인식 서버로 전송하고 상기 핑거프린트에 대응되는 광고 정보를 수신할 수 있다.
한편, 상기 정보 인식 서버는 인물 인식 서버, 오디오 인식 서버, 광고 인식 서버, 방송 프로그램 인식 서버 및 물건 인식 서버 중 적어도 하나를 포함할 수 있다.
그리고, 상기 객체 정보는 인물 정보, 오디오 정보, 광고 정보, 방송 프로그램 정보 및 물건 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 핑거프린트는 상기 프레임 내의 이미지 및 오디오 중 적어도 하나로부터 추출되어 상기 프레임을 타 프레임과 구별할 수 있는 식별자일 수 있다.
본 발명의 상술한 목적을 달성하기 위한 일 실시예에 따르면 단말 장치의 제어 방법은 컨텐츠를 구성하는 프레임을 캡쳐하여 핑거프린트를 추출하는 단계, 상기 핑거프린트를 컨텐츠 인식 서버로 전송하고 상기 핑거프린트에 매칭되는 객체 정보를 수신하는 단계 및 상기 수신된 객체 정보를 표시하는 단계를 포함하고, 상기 객체 정보는 인물 정보, 오디오 정보, 광고 정보, 방송 프로그램 정보 및 물건 정보 중 적어도 하나를 포함하며, 상기 핑거프린트는 상기 프레임 내의 이미지 및 오디오 중 적어도 하나로부터 추출되어 상기 프레임을 타 프레임과 구별할 수 있는 식별자일 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 단말 장치 및 서버의 부하를 최소화하여 컨텐츠 관련 정보의 전송이 가능하다.
도 1은 본 발명의 일 실시 예에 따른 컨텐츠 연관 정보 제공 시스템을 나타내는 도면.
도 2는 본 발명의 일 실시 예에 따른 컨텐츠 인식 서버의 블록도.
도 3은 본 발명의 일 실시 예에 따른 단말 장치의 블록도.
도 4는 본 발명의 일 실시 예에 따른 컨텐츠 인식 서버의 저장부를 설명하는 도면.
도 5는 본 발명의 일 실시 예에 따른 컨텐츠 연관 정보를 인식하는 방법을 설명하는 도면.
도 6은 본 발명의 일 실시 예에 따른 광고 정보를 인식하는 방법을 설명하는 도면.
도 7은 본 발명의 일 실시 예에 따른 광고 정보 인식 결과를 설명하는 도면.
도 8은 본 발명의 일 실시 예에 따른 컨텐츠 인식 서버에서의 제어 방법 흐름도.
도 9는 본 발명의 일 실시 예에 따른 단말 장치에서의 제어 방법 흐름도.
도 10은 본 발명의 일 실시 예에 따른 컨텐츠 연관 정보 제공 방법을 설명하기 위한 타이밍도.
이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 컨텐츠 연관 정보 제공 시스템을 나타내는 도면이다. 도 1에 따르면, 컨텐츠 연관 정보 제공 시스템은 컨텐츠 인식 서버(100), 단말 장치(200), 복수의 정보 인식 서버(300a, 300b, 300c, 300d)를 포함한다.
컨텐츠 인식 서버(100)는 컨텐츠를 수신한다. 예를 들어, 컨텐츠는 방송 프로그램, 광고 컨텐츠, 동영상 컨텐츠 등이 될 수 있다. 컨텐츠 인식 서버(100)는 컨텐츠를 구성하는 프레임에 포함된 객체의 특징 데이터를 각 객체의 종류에 대응되는 정보 인식 서버(300a, 300b, 300c, 300d)로 전송한다. 복수의 정보 인식 서버(300a, 300b, 300c, 300d)는, 예를 들어, 인물 인식 서버, 오디오 인식 서버, 광고 인식 서버, 방송 프로그램 인식 서버, 물건 인식 서버 중 적어도 하나를 포함할 수 있다. 복수의 정보 인식 서버(300a, 300b, 300c, 300d)는 전송된 객체의 특징 데이터를 이용하여 객체 정보를 검색하고 컨텐츠 인식 서버(100)로 검색 결과를 전송한다. 예를 들어, 객체 정보는 인물 정보, 오디오 정보, 광고 정보, 방송 프로그램 정보, 물건 정보 중 적어도 하나를 포함할 수 있다.
방송 프로그램 및 동영상 컨텐츠는 복수 개의 프레임을 포함한다. 하나의 프레임에는 사람, 동물, 배경, 물건 또는 BGM(BackGround Music)와 같은 오디오 데이터 등을 포함한다. 예를 들어, 프레임에 포함된 사람에 대한 정보를 얻으려면, 컨텐츠 인식 서버(100)는 프레임에 포함된 사람 얼굴 이미지를 추출한다. 추출된 사람 얼굴 이미지는 인물 인식을 위한 객체의 특징 데이터가 될 수 있다. 추출된 사람 얼굴 이미지는 인물 인식 서버로 전송되고, 인물 인식 서버는 전송된 객체의 특징 데이터를 이용하여 인물을 검색한 후 검색 결과를 컨텐츠 인식 서버(100)로 전송한다. 컨텐츠 인식 서버(100)는 수신된 컨텐츠의 해당 프레임으로부터 핑거프린트를 추출하여 수신된 인물 정보와 매핑하여 저장해둔다. 핑거프린트에 관해서는 후술하기로 한다.
예를 들어, 오디오 인식을 위해서는 한두 소절 정도의 오디오 데이터가 객체의 특징 데이터로 사용될 수 있다. 물건, 동물, 장소의 인식을 위해서는 각각의 이미지가 객체의 특징 데이터로 사용될 수 있고, 방송 프로그램 및 광고를 인식하기 위해서는 프레임에서 추출된 핑거프린트가 객체의 특징 데이터로 사용될 수 있다.
하나의 프레임에 복수의 대상이 포함된 경우에도 유사한 방법으로 객체 정보를 저장한다. 예를 들어, 사람, 물건, 음악이 포함된 경우, 컨텐츠 인식 서버(100)는 하나의 프레임으로부터 사람에 대한 객체의 특징 데이터, 물건에 대한 객체의 특징 데이터, 음악에 대한 객체의 특징 데이터를 추출한다. 또한, 해당 프레임의 핑거프린트를 추출한다. 추출된 객체의 특징 데이터는 각각 인물 인식 서버, 물건 인식 서버, 오디오 인식 서버, 방송 프로그램 인식 서버로 전송된다. 각 정보 인식 서버(300a, 300b, 300c, 300d)는 수신된 객체의 특징 데이터를 이용하여 객체 정보를 검색하고 컨텐츠 인식 서버(100)로 검색 결과를 전송한다. 컨텐츠 인식 서버(100)는 프레임으로부터 추출된 핑거프린트와 전송된 인물 정보, 물건 정보, 음악 정보, 방송 프로그램 정보를 하나로 매핑하여 저장해둔다.
단말 장치(200)의 예로서는 TV, 스마트폰, PC, 노트북, 태블릿, 전자책, 디지털액자, PDA, 키오스크 등이 될 수 있다. 단말 장치(200)는 컨텐츠의 프레임을 캡쳐하고 핑거프린트를 추출한다. 추출된 핑거프린트를 컨텐츠 인식 서버(100)로 전송한다. 컨텐츠 인식 서버(100)는 단말 장치(200)로부터 수신된 핑거프린트와 저장된 핑거프린트를 매칭시킨다. 매칭된 핑거프린트에 매핑되어 있는 객체 정보를 단말 장치(200)로 전송한다. 단말 장치(200)는 수신된 객체 정보를 표시한다. 예를 들어, 하나의 프레임에 사람, 물건, 음악이 포함된 경우, 단말 장치(200)가 수신하는 객체 정보는 인물 정보, 물건 정보, 음악 정보, 방송 프로그램 정보 중 적어도 하나의 정보를 수신할 수 있다. 또는, 일괄적으로 핑거프린트에 매핑된 모든 객체 정보를 수신할 수도 있다. 즉, 단말 장치(200)가 프레임의 핑거프린트와 인물 정보 요청 신호를 전송하면, 컨텐츠 인식 서버(100)는 핑거프린트에 매핑된 인물 정보만을 단말 장치(200)로 전송할 수 있다. 또는, 단말 장치(200)가 프레임의 핑거프린트만 전송하거나, 핑거프린트와 모든 정보 요청 신호를 전송하면, 컨텐츠 인식 서버(100)는 매핑된 모든 객체 정보를 단말 장치(200)로 전송할 수 있다.
컨텐츠 인식 서버(100)는 개별적인 객체의 특징 데이터를 개별 정보 인식 서버(300a, 300b, 300c, 300d)로 전송하고 개별 정보 인식 서버(300a, 300b, 300c, 300d)로부터 객체 정보를 수신한다. 컨텐츠 인식 서버(100)와 개별 정보 인식 서버(300a, 300b, 300c, 300d)는 하나의 장치로 구현될 수도 있고, 별개의 장치로 구현될 수도 있다. 하나의 장치로 구현되는 경우, 객체의 특징 데이터 및 객체 정보의 전송은 내부적으로 이루어지게 되므로 외부망을 통해 데이터 전송이 이루어지는 경우보다 속도가 빠르다. 또한, 별개의 장치로 구현되는 경우에도 외부망을 통하지 않고 내부망 또는 근거리 통신으로 정보 전송이 가능하므로 비용 절감 및 빠른 처리가 가능하다.
아래에서는 컨텐츠 연관 정보 제공 시스템에 포함된 컨텐츠 인식 서버(100) 및 단말 장치(200)의 구성에 대해서 설명한다.
도 2는 본 발명의 일 실시 예에 따른 컨텐츠 인식 서버의 블록도이다.
도 2를 참조하면, 컨텐츠 인식 서버(100)는 수신부(110), 통신부(120), 저장부(130), 제어부(140)를 포함한다.
수신부(110)는 컨텐츠를 수신한다. 예를 들어, 방송 프로그램을 수신할 수 있다. 방송 프로그램은 광고를 포함한다. 경우에 따라, 방송 프로그램과 관련된 EPG 정보를 수신할 수도 있다. EPG 정보는 방송 프로그램의 공급자로부터 수신될 수도 있고, 별도의 EPG 공급자로부터 공급될 수도 있다. 통신부(120)는 컨텐츠를 구성하는 프레임에 포함된 객체의 특징 데이터를 각 객체의 종류에 대응되는 정보 인식 서버로 전송하고, 각 객체의 특징 데이터에 대응되는 객체 정보를 수신한다.
예를 들어, 정보 인식 서버는 인물 인식 서버, 오디오 인식 서버, 광고 인식 서버, 방송 프로그램 인식 서버, 물건 인식 서버 중 하나일 수 있다. 객체 정보는 인물 정보, 오디오 정보, 광고 정보, 방송 프로그램 정보, 물건 정보 중 하나일 수 있다. 경우에 따라, 방송 프로그램 정보는 별도의 서버없이 컨텐츠 인식 서버(100)에서 자체적으로 인식될 수도 있다. 컨텐츠 인식 서버(100)는 방송 프로그램 및 EPG 정보를 수신할 수 있으므로, 수신된 방송 프로그램 및 EPG 정보를 이용하여 방송 프로그램 정보를 인식할 수 있다. 저장부(130)는 프레임의 핑거프린트와 수신된 객체 정보를 매핑하여 저장한다.
제어부(140)는 수신된 컨텐츠를 구성하는 프레임으로부터 객체의 특징 데이터를 추출할 수 있다. 예를 들어, 방송 컨텐츠의 경우, 수신되는 채널에 대응되는 개수의 컨텐츠가 존재할 수 있다. 또한, 컨텐츠를 구성하는 모든 프레임에 대해 객체의 특징 데이터를 추출할 수 있으며, 하나의 프레임에서 추출되는 객체의 특징 데이터는 복수 개가 존재할 수 있다. 즉, 제어부(140)는 실시간 방송 채널로부터 객체의 특징 데이터를 추출할 수 있다.
제어부(140)는 모든 프레임에 대해 객체의 특징 데이터와 함께 핑거프린트를 추출한다. 핑거프린트는 하나의 프레임을 다른 프레임과 구별할 수 있는 고유 데이터를 의미한다. 다른 말로는 비쥬얼 시그내쳐(visual signature)라고도 한다. 핑거프린트는 프레임에 포함된 이미지 또는 오디오로부터 추출될 수 있다. 하나의 예로서, 이미지 내의 특정 좌표 및 일정한 기준에 의한 그 좌표의 방향 값의 크기들을 포함하는 특징점이 추출된다. 방향값이 큰 순서대로 몇 개의 특징점이 선택된다. 선택된 특징점들간의 일정한 관계를 설정하면 하나의 프레임에 대한 핑거프린트가 추출된다. 동일한 알고리즘을 사용하는 경우, 동일한 핑거프린트가 추출될 수 있다. 핑거프린트는 상술한 예 이외에도 다양한 알고리즘에 의해 추출될 수 있다.
제어부(140)는 단말 장치(200)로부터 컨텐츠를 구성하는 프레임의 핑거프린트가 수신되면, 수신된 핑거프린트에 매칭되는 객체 정보를 단말 장치(200)로 전송하도록 통신부(120)를 제어한다. 제어부(140)는 단말 장치(200)로부터 수신된 핑거프린트를 이용하여 저장되어 있는 핑거프린트 중에서 매칭되는 핑거프린트를 검색한다. 저장된 핑거프린트는 정보 인식 서버로부터 수신한 객체 정보가 매핑되어 있다. 따라서, 제어부(140)는 매칭되는 핑거프린트가 검색되면, 핑거프린트에 매핑된 객체 정보를 단말 장치(200)로 전송하도록 통신부(120)를 제어할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 단말 장치의 블록도이다.
도 3을 참조하면, 단말 장치(200)는 제어부(210), 통신부(220), 디스플레이부(230)를 포함한다.
제어부(210)는 컨텐츠를 구성하는 프레임을 캡쳐하여 핑거프린트를 추출한다. 단말 장치(200)에서 추출되는 핑거프린트와 컨텐츠 인식 서버(100)에서 추출되는 핑거프린트는 동일한 알고리즘을 이용하여 추출될 수 있다.
통신부(220)는 핑거프린트를 컨텐츠 인식 서버(100)로 전송하고, 핑거프린트에 매칭되는 객체 정보를 수신한다. 단말 장치(200)는 핑거프린트와 함께 특정 객체 정보만을 요청할 수 있고, 핑거프린트와 매핑된 모든 객체 정보를 요청할 수 있다.
디스플레이부(230)는 컨텐츠 인식 서버(100)로부터 입력된 객체 정보를 표시한다. 디스플레이부(230)는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다. 경우에 따라, 디스플레이부(230)는 터치입력 기능이 없는 일반적인 디스플레이 패널로 구현될 수 있고, 근접 센서나 터치 센서를 이용한 사용자 조작을 인식할 수 있는 터치 디스플레이 패널로 구현될 수 있다. 터치 디스플레이 패널로 구현되는 경우 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 감지 가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치 제스처를 입력받을 수 있다.
단말 장치(200)는 하나의 프레임에 대한 복수의 객체 정보를 수신하기 위해서 컨텐츠 인식 서버(100)로 핑거프린트만 전송한다. 핑거프린트는 수십 바이트의 적은 용량을 가지며, 하나의 핑거프린트만 전송하면 해당 프레임에 포함된 복수의 객체 정보를 수신할 수 있으므로 단말 장치(200)의 부하 및 전송 트래픽이 줄어들 수 있다.
상술한 바와 같이 단말 장치(200)는 컨텐츠 인식 서버(100)로부터 객체 정보를 수신한다. 객체 정보는 컨텐츠 인식 서버(100)의 저장부(130)에 저장되어 있다.
도 4는 본 발명의 일 실시 예에 따른 컨텐츠 인식 서버의 저장부를 설명하는 도면이다.
도 4를 참조하면 컨텐츠 인식 서버(100)의 저장부(130) 중 하나의 데이터베이스(131)가 도시되어 있다. 데이터베이스(131)는 컨텐츠를 구성하는 핑거프린트(10)와 핑거프린트(10)와 매핑된 객체 정보(20)를 저장한다. 컨텐츠 인식 서버(100)는 컨텐츠를 수신하여 컨텐츠를 구성하는 프레임으로부터 핑거프린트(10)를 추출한다. 또한, 프레임으로부터 인물 이미지, 오디오 데이터, 물건 이미지를 추출하여 각각 인물 인식 서버, 오디오 인식 서버, 물건 인식 서버로 전송한다. 컨텐츠 인식 서버(100)는 추출된 핑거프린트를 방송 프로그램 인식 서버로 전송한다. 각각의 정보 인식 서버로부터 인물 정보, 오디오 정보, 물건 정보, 방송 프로그램 정보를 수신한다. 경우에 따라, 방송 프로그램 정보는 컨텐츠 인식 서버(100)에서 수신된 방송 프로그램 및 EPG 정보를 이용하여 검색될 수 있다. 컨텐츠 인식 서버(100)는 핑거프린트와 수신된 객체 정보(20)를 매핑하여 데이터베이스(131)에 저장한다.
컨텐츠 인식 서버(100)는 단말 장치(200)로부터 핑거프린트를 수신하면, 매칭되는 핑거프린트(10)에 매핑되어 있는 객체 정보(20)를 단말 장치(200)로 전송한다. 아래에서는 컨텐츠 인식 서버(100)에서 핑거프린트를 매칭시켜 컨텐츠 연관 정보를 인식하는 방법에 대해서 설명한다.
도 5는 본 발명의 일 실시 예에 따른 컨텐츠 연관 정보를 인식하는 방법을 설명하는 도면이다. 컨텐츠 인식 서버(100)는 각 프레임에 대한 핑거프린트와 객체 정보를 저장해둔다. 단말 장치(200)는 컨텐츠의 프레임을 캡쳐하여 핑거프린트(15)를 추출한다. 추출된 핑거프린트(15)는 컨텐츠 인식 서버(100)로 전송된다.
도 5에 따르면, 단말 장치(200)는 하나의 프레임(65)에 대한 핑거프린트(15)를 추출하여 컨텐츠 인식 서버(100)로 전송한다. 컨텐츠 인식 서버(100)는 수신된 핑거프린트(15)를 저장된 핑거프린트와 비교하고, 매칭되는 핑거프린트(11)를 찾는다. 핑거프린트(11, 15)는 다른 프레임과 구별되는 특정 프레임의 고유 식별자이므로 핑거프린트(11, 15)가 일치하면 동일한 프레임(61, 65)이라는 것을 의미한다. 따라서, 수신된 핑거프린트(15)와 일치하는 핑거프린트(11)를 검색하면 동일한 프레임(61, 65)를 찾을 수 있다.
도 4에서 설명한 바와 같이 컨텐츠 인식 서버(100)의 핑거프린트(11)는 해당 프레임 내의 객체 정보와 매핑되어 있다. 따라서, 컨텐츠 인식 서버(100)는 매핑된 객체 정보를 단말 장치(200)로 전송할 수 있다.
상술한 과정은 단말 장치(200)가 방송 프로그램 정보 또는 광고 정보를 수신하는 경우에도 동일하게 적용될 수 있다. 아래에서는 광고 정보를 인식하는 방법에 대해서 설명한다.
도 6은 본 발명의 일 실시 예에 따른 광고 정보를 인식하는 방법을 설명하는 도면이다.
도 6을 참조하면, 광고 정보 제공 시스템은 컨텐츠 인식 서버(100), 단말 장치(200), 광고 인식 서버(300a) 및 수신부(190)을 포함한다. 수신부(190)는 광고를 포함한 방송 프로그램을 수신한다. 수신부(190)는 EPG 정보를 추가로 수신할 수 있다. EPG 정보는 방송 프로그램 제공자 또는 별도의 제공자로부터 제공받을 수 있다. 또한, 컨텐츠 인식 서버(100)는 방송 프로그램 수신 전에 EPG 정보를 수신할 수도 있다. 수신부(190)는 컨텐츠 인식 서버(100) 내에 포함될 수도 있고, 별도의 수신 장치로 있을 수도 있다. 방송 프로그램은 실시간으로 수신되며, 컨텐츠 인식 서버(100)는 방송 프로그램을 실시간으로 수신하고 처리할 수 있다.
컨텐츠 인식 서버(100)는 핑거프린트를 추출하고 광고 인식 서버(300a)로 전송한다. 즉, 방송 프로그램 정보 또는 광고 정보를 인식하기 위해 프레임의 핑거프린트를 객체의 특징 데이터로 이용한다. 여러가지 객체의 특징 데이터 중에서 핑거프린트의 용량이 가장 작고, 방송 프로그램 정보 또는 광고 정보는 특정 프레임만으로도 인식할 수 있기 때문이다. 광고 인식 서버(300a)는 다수의 단말 장치(200)의 요청을 처리하는 대신 컨텐츠 인식 서버(100)의 정보 요청만을 처리하면 된다. 따라서, 서버의 부하가 줄어든다.
컨텐츠 인식 서버(100)는 광고 인식 서버(300a)로부터 전송된 광고 정보를 핑거프린트와 함께 저장한다. 또한, 방송 프로그램 인식 서버로부터 수신된 방송 프로그램 정보 또는 컨텐츠 인식 서버(100)에서 수신된 EPG 정보를 이용하여 추출한 방송 프로그램 정보를 함께 저장할 수 있다.
단말 장치(200)는 프레임을 캡쳐하고, 프레임에 포함된 이미지 또는 오디오로부터 핑거프린트를 추출하여 컨텐츠 인식 서버(100)로 광고 정보를 요청한다. 컨텐츠 인식 서버(100)는 수신된 핑거프린트에 매칭된 광고 정보를 단말 장치(200)로 전송한다. 컨텐츠 인식 서버(100)는 EPG 정보를 이용하여 광고 정보 전후의 방송 프로그램 정보를 함께 전송할 수도 있다. 단말 장치(200)는 수신한 광고 정보를 디스플레이부(230)에 표시할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 광고 정보 인식 결과를 설명하는 도면이다.
도 7을 참조하면, 단말 장치(200)의 디스플레이부(230)는 광고 컨텐츠를 디스플레이하고 있다. 도 7의 광고 컨텐츠는 태블릿에 관한 것으로 디스플레이부(230)는 사람이 태블릿을 들고 설명하는 장면을 표시하고 있다. 광고 컨텐츠가 표시될 때 단말 장치(200)는 프레임을 캡쳐하여 캡쳐한 프레임으로부터 핑거프린트를 추출한다. 추출된 핑거프린트는 컨텐츠 인식 서버(100)로 전송된다.
컨텐츠 인식 서버(100)는 수신된 핑거프린트를 이용하여 매칭되는 광고 정보를 단말 장치(200)로 전송한다. 경우에 따라, 컨텐츠 인식 서버(100)는 인물 정보, 광고 컨텐츠 전후의 방송 프로그램 정보 등을 함께 전송할 수도 있다.
단말 장치(200)는 광고 정보(69)를 수신하여 디스플레이부(230)에 표시한다. 광고 정보(69)의 표시는 단말 장치(200)의 일부분에 별도의 창을 열고 표시해 줄 수 있다. 또는, 디스플레이부(230)를 좌우 또는 상하로 분할하고 어느 하나의 영역에 표시해 줄 수도 있다. 표시되는 광고 정보(69)는 제품명, 제조사, 가격, 출시일, 온라인 쇼핑몰 등을 포함할 수 있다. 경우에 따라, 사용자 평가, 관련 뉴스 등의 정보를 추가로 표시해 줄 수도 있다.
지금까지 컨텐츠 연관 정보 제공 시스템에서 컨텐츠 인식 서버(100) 및 단말 장치(200)의 구성, 동작 과정에 대해서 설명하였다. 아래에서는 상술한 과정을 수행하는 컨텐츠 인식 서버(100)와 단말 장치(200)를 제어하는 방법에 대해 설명한다.
도 8은 본 발명의 일 실시 예에 따른 컨텐츠 인식 서버에서의 제어 방법을 설명하는 도면이다.
도 8을 참조하면, 컨텐츠 인식 서버는 컨텐츠를 수신한다(S810). 컨텐츠는 광고 컨텐츠를 포함한 방송 프로그램, VOD 등이 될 수 있다. 컨텐츠 인식 서버가 방송 프로그램을 수신하는 경우, EPG 정보를 함께 수신할 수도 있다. 따라서, 컨텐츠 인식 서버에서 수신하여 처리하는 컨텐츠는 실시간 컨텐츠일 수도 있다.
컨텐츠 인식 서버는 컨텐츠의 프레임에 포함된 객체의 특징 데이터를 정보 인식 서버로 전송하고, 정보 인식 서버로부터 객체의 특징 데이터에 대응되는 객체 정보를 수신한다(S820). 또한, 컨텐츠 인식 서버는 프레임으로부터 핑거프린트를 추출한다.
프레임의 핑거프린트와 수신된 객체 정보를 매핑하여 저장한다(S830). 수신된 객체 정보는 인물 정보, 오디오 정보, 광고 정보, 방송 프로그램 정보, 물건 정보 등을 포함한다. 컨텐츠 인식 서버는 각 정보 인식 서버로부터 수신한 각 객체 정보를 추출한 핑거프린트와 매핑하여 저장한다.
단말 장치와 같은 외부 기기로부터 수신된 핑거프린트에 매칭되는 객체 정보를 외부 기기로 전송한다(S840). 외부 기기로부터 핑거프린트를 수신하면 수신한 핑거프린트와 저장된 핑거프린트를 매칭시킨다. 매칭되는 핑거프린트는 객체 정보와 매핑되어 있다. 결과적으로, 수신된 핑거프린트와 매칭되는 객체 정보를 외부 기기로 전송한다.
도 9는 본 발명의 일 실시 예에 따른 단말 장치에서의 제어 방법을 설명하는 도면이다.
도 9를 참조하면, 단말 장치는 컨텐츠를 구성하는 프레임을 캡쳐하여 핑거프린트를 추출한다(S910). 단말 장치는 핑거프린트를 컨텐츠 인식 서버로 전송하고, 핑거프린트와 매칭되는 객체 정보를 수신한다(S920). 핑거프린트는 수십 바이트 정도의 크기를 가지기 때문에 상대적으로 객체의 다른 특징 데이터에 비해 적은 용량을 가진다. 또한, 단말 장치는 프레임에 포함된 핑거프린트만 추출하면 복수의 객체 정보를 컨텐츠 인식 서버로부터 얻을 수 있기 때문에 단말 장치의 부하를 줄일 수 있고, 컨텐츠 인식 서버로의 전송 트래픽을 절감할 수 있다.
단말 장치는 수신된 객체 정보를 표시한다(S930). 단말 장치의 디스플레이부는 일부 영역에 새로운 창을 열어 수신된 객체 정보를 표시할 수 있다. 또는, 디스플레이부는 상하 또는 좌우 영역으로 분할하여 하나의 영역에 수신된 객체 정보를 표시할 수도 있다. 구체적인 과정에 대해서는 상술하였으므로 생략하기로 한다.
지금까지, 컨텐츠 인식 서버 및 단말 장치의 제어 방법에 대해서 개별적으로 설명하였다. 아래에서는, 전반적인 컨텐츠 연관 정보 제공 방법에 대해서 설명하기로 한다.
도 10은 본 발명의 일 실시 예에 따른 컨텐츠 연관 정보 제공 방법을 설명하기 위한 타이밍도이다.
컨텐츠 인식 서버(100)는 컨텐츠를 수신한다(S1010). 컨텐츠는 광고 컨텐츠를 포함하는 방송 프로그램과 같이 실시간 컨텐츠일 수 있다. 컨텐츠 인식 서버(100)는 객체의 특징 데이터를 정보 인식 서버로 전송한다(S1020). 객체의 특징 데이터는 프레임에 포함된 각각의 객체에 대한 정보이다. 예를 들어, 프레임에 포함된 객체가 사람이라면 사람 얼굴 이미지가 객체의 특징 데이터가 된다. 물건에 대해서는 물건 이미지, 음악에 대해서는 한두 소절의 음악 데이터, 배경 장소에 대해서는 장소 이미지, 광고 및 방송 프로그램에 대해서는 프레임의 핑거프린트가 객체의 특징 데이터가 될 수 있다.
컨텐츠 인식 서버(100)는 정보 인식 서버로부터 객체 정보를 수신한다(S1030). 정보 인식 서버는 인물 인식 서버, 오디오 인식 서버, 광고 인식 서버, 물건 인식 서버, 방송 프로그램 인식 서버 등을 포함할 수 있다. 각 정보 인식 서버는 해당하는 객체의 특징 데이터만을 컨텐츠 인식 서버(100)로부터 수신하고, 수신된 객체의 특징 데이터와 매칭되는 객체 정보를 컨텐츠 인식 서버(100)로 전송한다. 컨텐츠 인식 서버(100)는 프레임의 핑거프린트와 수신된 객체 정보를 매핑하여 저장한다(S1040).
단말 장치(200)는 컨텐츠를 구성하는 프레임을 캡쳐하여 핑거프린트를 추출한다(S1050). 단말 장치(200)는 컨텐츠 인식 서버(100)로 핑거프린트를 전송한다(S1060). 단말 장치(200)는 컨텐츠 인식 서버(100)에 특정 객체 정보만을 요청할 수도 있다. 또는, 핑거프린트와 매핑된 모든 객체 정보를 요청할 수도 있다.
컨텐츠 인식 서버(100)는 수신된 핑거프린트와 저장된 핑거프린트를 매칭시킨다(S1070). 컨텐츠 인식 서버(100)는 매칭된 핑거프린트에 매핑되어 있는 객체 정보를 단말 장치(200)로 전송한다(S1080). 단말 장치(200)는 수신된 객체 정보를 표시한다(S1090).
상술한 과정을 통해 컨텐츠 인식 서버(100) 및 단말 장치(200)의 부하를 줄이고, 트래픽을 절감하면서 컨텐츠 연관 정보를 단말 장치로 제공하는 것이 가능하다.
상술한 다양한 실시 예에 따른 디스플레이 장치의 제어 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다.
일 예로, 컨텐츠를 수신하는 단계, 컨텐츠를 구성하는 프레임 내 객체의 특징 데이터를 각 객체의 종류에 대응되는 정보 인식 서버로 전송하고, 각 정보 인식 서버로부터 각 객체의 특징 데이터에 대응되는 객체 정보를 수신하는 단계, 프레임으로부터 추출된 핑거프린트와 수신된 객체 정보를 매핑하여 저장하는 단계 및 외부 기기로부터 핑거프린트가 수신되면, 수신된 핑거프린트에 매칭되는 객체 정보를 외부 기기로 전송하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
또는, 컨텐츠를 구성하는 프레임을 캡쳐하여 핑거프린트를 추출하는 단계, 핑거프린트를 컨텐츠 인식 서버로 전송하고 핑거프린트와 매칭되는 객체 정보를 수신하는 단계 및 수신된 객체 정보를 표시하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 컨텐츠 인식 서버
110 : 수신부 120 : 통신부
130 : 저장부 140 : 제어부
200 : 단말 장치 210 : 제어부
220 : 통신부 230 : 디스플레이부
300a, 300b, 300c, 300d : 정보 인식 서버

Claims (13)

  1. 컨텐츠를 수신하는 수신부;
    상기 컨텐츠를 구성하는 프레임 내 객체의 특징 데이터를 각 객체의 종류에 대응되는 정보 인식 서버로 전송하고, 각 정보 인식 서버로부터 상기 각 객체의 특징 데이터에 대응되는 객체 정보를 수신하는 통신부;
    상기 프레임으로부터 추출된 핑거프린트와 상기 수신된 객체 정보를 매핑하여 저장하는 저장부; 및
    외부 기기로부터 핑거프린트가 수신되면, 상기 수신된 핑거프린트에 매칭되는 객체 정보를 상기 외부 기기로 전송하도록 상기 통신부를 제어하는 제어부;를 포함하는 컨텐츠 인식 서버.
  2. 제1항에 있어서,
    상기 정보 인식 서버는 광고 인식 서버이고, 상기 객체 정보는 광고 정보이며,
    상기 제어부는,
    방송 컨텐츠를 구성하는 프레임의 핑거프린트를 상기 객체의 특징 데이터로 활용하여 상기 광고 인식 서버로 전송하고 상기 핑거프린트에 대응되는 광고 정보를 수신하는 것을 특징으로 하는 컨텐츠 인식 서버.
  3. 제1항에 있어서,
    상기 정보 인식 서버는 인물 인식 서버, 오디오 인식 서버, 광고 인식 서버, 방송 프로그램 인식 서버 및 물건 인식 서버 중 적어도 하나를 포함하는 것을 특징으로 하는 컨텐츠 인식 서버.
  4. 제1항에 있어서,
    상기 객체 정보는 인물 정보, 오디오 정보, 광고 정보, 방송 프로그램 정보 및 물건 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 컨텐츠 인식 서버.
  5. 제1항 또는 제2항에 있어서,
    상기 핑거프린트는 상기 프레임 내의 이미지 및 오디오 중 적어도 하나로부터 추출되어 상기 프레임을 타 프레임과 구별할 수 있는 식별자인 것을 특징으로 하는 컨텐츠 인식 서버.
  6. 컨텐츠를 구성하는 프레임을 캡쳐하여 핑거프린트를 추출하는 제어부;
    상기 핑거프린트를 컨텐츠 인식 서버로 전송하고 상기 핑거프린트에 매칭되는 객체 정보를 수신하는 통신부; 및
    상기 수신된 객체 정보를 표시하는 디스플레이부;를 포함하고,
    상기 객체 정보는 인물 정보, 오디오 정보, 광고 정보, 방송 프로그램 정보 및 물건 정보 중 적어도 하나를 포함하며,
    상기 핑거프린트는 상기 프레임 내의 이미지 및 오디오 중 적어도 하나로부터 추출되어 상기 프레임을 타 프레임과 구별할 수 있는 식별자인 것을 특징으로 하는 단말 장치.
  7. 적어도 하나의 정보 인식 서버; 및
    컨텐츠를 구성하는 프레임 내 객체의 특징 데이터를 각 객체의 종류에 대응되는 정보 인식 서버로 전송하는 컨텐츠 인식 서버;를 포함하며,
    상기 객체의 특징 데이터를 수신한 정보 인식 서버는,
    상기 객체의 특징 데이터에 대응되는 객체 정보를 검색하여 상기 컨텐츠 인식 서버로 전송하고,
    상기 컨텐츠 인식 서버는,
    상기 프레임으로부터 추출된 핑거프린트와 상기 수신된 객체 정보를 매핑하여 저장하며,
    외부 기기로부터 핑거프린트가 수신되면, 상기 수신된 핑거프린트에 매칭되는 객체 정보를 상기 외부 기기로 전송하는 것을 특징으로 하는 컨텐츠 연관 정보 제공 시스템.
  8. 컨텐츠를 수신하는 단계;
    상기 컨텐츠를 구성하는 프레임 내 객체의 특징 데이터를 각 객체의 종류에 대응되는 정보 인식 서버로 전송하고, 각 정보 인식 서버로부터 상기 각 객체의 특징 데이터에 대응되는 객체 정보를 수신하는 단계;
    상기 프레임으로부터 추출된 핑거프린트와 상기 수신된 객체 정보를 매핑하여 저장하는 단계; 및
    외부 기기로부터 핑거프린트가 수신되면, 상기 수신된 핑거프린트에 매칭되는 객체 정보를 상기 외부 기기로 전송하는 단계;를 포함하는 컨텐츠 인식 서버의 제어 방법.
  9. 제8항에 있어서,
    상기 정보 인식 서버는 광고 인식 서버이고, 상기 객체 정보는 광고 정보이며,
    상기 객체 정보를 수신하는 단계는,
    방송 컨텐츠를 구성하는 프레임의 핑거프린트를 상기 객체의 특징 데이터로 활용하여 상기 광고 인식 서버로 전송하고 상기 핑거프린트에 대응되는 광고 정보를 수신하는 것을 특징으로 하는 컨텐츠 인식 서버의 제어 방법.
  10. 제8항에 있어서,
    상기 정보 인식 서버는 인물 인식 서버, 오디오 인식 서버, 광고 인식 서버, 방송 프로그램 인식 서버 및 물건 인식 서버 중 적어도 하나를 포함하는 것을 특징으로 하는 컨텐츠 인식 서버의 제어 방법.
  11. 제8항에 있어서,
    상기 객체 정보는 인물 정보, 오디오 정보, 광고 정보, 방송 프로그램 정보 및 물건 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 컨텐츠 인식 서버의 제어 방법.
  12. 제8항 또는 제9항에 있어서,
    상기 핑거프린트는 상기 프레임 내의 이미지 및 오디오 중 적어도 하나로부터 추출되어 상기 프레임을 타 프레임과 구별할 수 있는 식별자인 것을 특징으로 하는 컨텐츠 인식 서버의 제어 방법.
  13. 컨텐츠를 구성하는 프레임을 캡쳐하여 핑거프린트를 추출하는 단계;
    상기 핑거프린트를 컨텐츠 인식 서버로 전송하고 상기 핑거프린트에 매칭되는 객체 정보를 수신하는 단계; 및
    상기 수신된 객체 정보를 표시하는 단계;를 포함하고,
    상기 객체 정보는 인물 정보, 오디오 정보, 광고 정보, 방송 프로그램 정보 및 물건 정보 중 적어도 하나를 포함하며,
    상기 핑거프린트는 상기 프레임 내의 이미지 및 오디오 중 적어도 하나로부터 추출되어 상기 프레임을 타 프레임과 구별할 수 있는 식별자인 것을 특징으로 하는 단말 장치의 제어 방법.
KR1020120135491A 2012-11-27 2012-11-27 컨텐츠 인식 서버, 단말 장치를 포함하는 컨텐츠 연관 정보 제공 시스템 및 그 제어 방법 KR102024168B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120135491A KR102024168B1 (ko) 2012-11-27 2012-11-27 컨텐츠 인식 서버, 단말 장치를 포함하는 컨텐츠 연관 정보 제공 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120135491A KR102024168B1 (ko) 2012-11-27 2012-11-27 컨텐츠 인식 서버, 단말 장치를 포함하는 컨텐츠 연관 정보 제공 시스템 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20140067792A true KR20140067792A (ko) 2014-06-05
KR102024168B1 KR102024168B1 (ko) 2019-09-23

Family

ID=51123950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120135491A KR102024168B1 (ko) 2012-11-27 2012-11-27 컨텐츠 인식 서버, 단말 장치를 포함하는 컨텐츠 연관 정보 제공 시스템 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102024168B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017065394A1 (ko) * 2015-10-14 2017-04-20 삼성전자 주식회사 디스플레이 장치 및 이의 제어 방법
WO2017099444A1 (en) * 2015-12-10 2017-06-15 Samsung Electronics Co., Ltd. Content processing apparatus, content processing method thereof, server, information providing method of server and information providing system
WO2019203488A1 (en) * 2018-04-20 2019-10-24 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device thereof
KR20200032472A (ko) * 2018-09-18 2020-03-26 삼성전자주식회사 전자 장치, 그 제어 방법 및 전자 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120120641A (ko) * 2011-04-25 2012-11-02 (주)엔써즈 클라이언트 단말기측으로 네트워크를 통해 방송에 포함된 광고와 연관된 정보를 제공하는 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120120641A (ko) * 2011-04-25 2012-11-02 (주)엔써즈 클라이언트 단말기측으로 네트워크를 통해 방송에 포함된 광고와 연관된 정보를 제공하는 시스템 및 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017065394A1 (ko) * 2015-10-14 2017-04-20 삼성전자 주식회사 디스플레이 장치 및 이의 제어 방법
US10616595B2 (en) 2015-10-14 2020-04-07 Samsung Electronics Co., Ltd Display apparatus and control method therefor
WO2017099444A1 (en) * 2015-12-10 2017-06-15 Samsung Electronics Co., Ltd. Content processing apparatus, content processing method thereof, server, information providing method of server and information providing system
US10142679B2 (en) 2015-12-10 2018-11-27 Samsung Electronics Co., Ltd. Content processing apparatus, content processing method thereof, server information providing method of server and information providing system
WO2019203488A1 (en) * 2018-04-20 2019-10-24 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device thereof
KR20190122377A (ko) * 2018-04-20 2019-10-30 삼성전자주식회사 오브젝트에 대한 정보를 검색하기 위한 전자 장치 및 이의 제어 방법
US11954150B2 (en) 2018-04-20 2024-04-09 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device thereof
KR20200032472A (ko) * 2018-09-18 2020-03-26 삼성전자주식회사 전자 장치, 그 제어 방법 및 전자 시스템
WO2020060031A1 (en) * 2018-09-18 2020-03-26 Samsung Electronics Co., Ltd. Electronic apparatus, control method thereof and electronic system
US11302101B2 (en) 2018-09-18 2022-04-12 Samsung Electronics Co., Ltd. Electronic apparatus for constructing a fingerprint database, control method thereof and electronic system

Also Published As

Publication number Publication date
KR102024168B1 (ko) 2019-09-23

Similar Documents

Publication Publication Date Title
US10506168B2 (en) Augmented reality recommendations
US11314828B2 (en) Dynamic and personalized product placement in electronic files
CN110850593B (zh) 移动设备和通过移动设备配对电子设备的方法
CN102467661B (zh) 多媒体设备及其控制方法
KR101785601B1 (ko) 미디어 데이터에 있는 아이템을 인식하고 이와 관련된 정보를 전달하기 위한 시스템 및 방법
US9460204B2 (en) Apparatus and method for scene change detection-based trigger for audio fingerprinting analysis
US20130179436A1 (en) Display apparatus, remote control apparatus, and searching methods thereof
CN107111740A (zh) 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案
TWI544336B (zh) 眼鏡、電子裝置與其配對的方法以及順暢內容播放的方法
US10448107B2 (en) Display device
US11528512B2 (en) Adjacent content classification and targeting
KR102024168B1 (ko) 컨텐츠 인식 서버, 단말 장치를 포함하는 컨텐츠 연관 정보 제공 시스템 및 그 제어 방법
US20170034586A1 (en) System for content matching and triggering for reality-virtuality continuum-based environment and methods thereof
JP6318289B1 (ja) 関連情報表示システム
US20210142569A1 (en) Modulated display ar tracking systems and methods
CN110213307B (zh) 多媒体数据推送方法、装置、存储介质及设备
US11409784B2 (en) Methods and apparatus to detect unconfined view media
JP7332473B2 (ja) サーバー及びその制御方法
KR101566231B1 (ko) 스마트 디스플레이
KR102467041B1 (ko) 전자 장치 및 전자 장치에서 방송 콘텐트와 관련된 서비스 정보 제공 방법
US11843829B1 (en) Systems and methods for recommending content items based on an identified posture
CN112154671B (zh) 电子设备及其内容识别信息获取
KR101515174B1 (ko) 스마트 디스플레이
KR20150044988A (ko) 스마트 디스플레이를 이용한 광고 방법
KR101566222B1 (ko) 스마트 디스플레이를 이용한 광고 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant