KR102546026B1 - 전자 장치 및 그의 컨텐츠 인식 정보 획득 - Google Patents

전자 장치 및 그의 컨텐츠 인식 정보 획득 Download PDF

Info

Publication number
KR102546026B1
KR102546026B1 KR1020180157354A KR20180157354A KR102546026B1 KR 102546026 B1 KR102546026 B1 KR 102546026B1 KR 1020180157354 A KR1020180157354 A KR 1020180157354A KR 20180157354 A KR20180157354 A KR 20180157354A KR 102546026 B1 KR102546026 B1 KR 102546026B1
Authority
KR
South Korea
Prior art keywords
server
fingerprint
content
electronic device
recognition information
Prior art date
Application number
KR1020180157354A
Other languages
English (en)
Other versions
KR20190132909A (ko
Inventor
최현수
김민수
김성진
김영욱
김일구
김현한
최지웅
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP19806480.0A priority Critical patent/EP3748982B1/en
Priority to CN201980034329.0A priority patent/CN112154671B/zh
Priority to US17/053,289 priority patent/US11575962B2/en
Priority to PCT/KR2019/003304 priority patent/WO2019225851A1/ko
Publication of KR20190132909A publication Critical patent/KR20190132909A/ko
Application granted granted Critical
Publication of KR102546026B1 publication Critical patent/KR102546026B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video

Abstract

전자 장치의 영상 인식 방법 및 이를 위한 전자 장치의 구성이 개시된다. 본 개시의 전자 장치의 영상 인식 방법은 컨텐츠의 영상을 캡처하는 동작, 상기 캡처된 영상에서 문자 영역이 식별되는 경우, 상기 문자 영역으로부터 문자를 인식하여 상기 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버로부터 획득하고, 상기 캡처된 영상에서 문자 영역이 식별되지 않는 경우, 상기 캡처된 영상으로부터 핑거프린트를 추출하여 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 획득하는 동작, 및 상기 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하는 동작을 포함한다.

Description

전자 장치 및 그의 컨텐츠 인식 정보 획득{ELECTRONIC APPARATUS AND METHOD OF OBTAINING CONTENTS RECOGNITION INFORMATION THEREOF}
본 개시는 전자 장치 및 그의 컨텐츠 인식 정보를 획득하는 방법에 대한 것이다.
사용자의 니즈가 점차 다양해지면서, 방송 컨텐츠 또는 멀티미디어 컨텐츠의 출처가 공중파 위주의 단일 소스에서, 케이블, IPTV(Internet Protocol TV), VOD(Video On Demand) 등의 다양한 소스들로 변화되고 있다. 또는 맞춤형 광고나 프로그램 추천 등의 정보를 제공하는 소스들도 생겨나고 있다.
이와 같은 맞춤형 광고나 프로그램 추천 등의 정보는, 현재 출력되는 장면에 맞게 적절하게 제공될 필요가 있다. 가령, 특정 제품에 대한 광고 메시지는 해당 제품이 노출되는 장면이 표시될 때, 함께 표시되는 것이 가장 효과적이다. 따라서, 현재 사용자가 시청하고 있는 컨텐츠가 무엇인지 인식하는 기술이 필요하다. 맞춤형 광고뿐만 아니라, 시청률 조사, 시청 패턴 조사 등을 위해서도 컨텐츠 인식 기술이 필요하다.
이를 위해, 전자 장치가 현재 재생 중인 컨텐츠에 대한 인식 요청을 서버로 전송하면, 그에 대한 응답을 서버로부터 받는 방식으로 컨텐츠를 인식하는 기술이 등장하였다. 예로, 핑거프린트를 이용한 ACR(Automatic Contents Recognition) 기술이 있을 수 있다.
재생 중인 컨텐츠를 인식하기 위하여 컨텐츠의 영상으로부터 추출된 핑거프린트를 이용하는 경우, 컨텐츠를 인식하기 위하여 매번 서버로 핑거프린트를 전송할 필요가 있다.
또한, 전자 장치에 재생 중인 컨텐츠로부터 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 획득하기 위하여, 기 생성된 핑거프린트에 매칭되는 영상 관련 정보를 저장하는 다수의 서버들이 필요하다. 예로, 컨텐츠를 재생하는 수많은 장치로부터 수신되는 핑거프린트를 처리하기 위하여 다수의 서버들이 필요할 수 있다. 이에, 다수의 서버를 이용 또는 관리하기 위한 비용이 요구될 수 있다. 또한, 사전에 컨텐츠의 프레임마다 핑거프린트를 추출하고 영상 관련 정보를 매칭하는 경우, 이를 지원하기 위한 비용 또한 필요하다.
또한, 컨텐츠에 대한 영상 인식 범위를 향상시키기 위하여, 컨텐츠로부터 더 많은 양의 핑거프린트를 추출해야 하는데, 이 경우, 많은 양의 핑거프린트에 매칭되는 영상 관련 정보를 저장하기 위한 많은 수의 서버들이 필요하다.
본 개시는 상술한 문제에 따라 고안된 것으로, 본 개시의 목적은 서버와 통신하는 전자 장치 및 그의 컨텐츠 인식 정보를 제공하는 방법에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시예에 따른 전자 장치의 컨텐츠 인식 정보 획득 방법은, 컨텐츠의 영상을 캡처하는 동작, 상기 캡처된 영상에서 문자 영역이 식별되는 경우, 상기 문자 영역으로부터 문자를 인식하여 상기 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버로부터 획득하고, 상기 캡처된 영상에서 문자 영역이 식별되지 않는 경우, 상기 캡처된 영상으로부터 핑거프린트를 추출하여 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 획득하는 동작, 및 상기 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하는 동작을 포함한다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시예에 따른 전자 장치의 컨텐츠 인식 정보 획득 방법은, 컨텐츠의 영상을 캡처하는 동작, 상기 캡처된 영상으로부터 핑거프린트를 추출하는 동작, 상기 추출된 핑거프린트를 서버에게 전송하는 동작, 상기 핑거프린트의 인식에 성공하는 경우, 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 획득하고, 상기 핑거프린트의 인식에 실패하는 경우, 상기 캡처된 영상에 포함된 문자에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 획득하는 동작, 및 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 및 상기 문자에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하는 동작을 포함한다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시예에 따른 전자 장치는, 서버와 통신 가능한 통신부, 명령어들(instructions)를 저장하는 메모리 및 상기 통신부 및 상기 메모리와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 메모리는, 상기 전자 장치가 실행 시, 상기 적어도 하나의 프로세서가, 컨텐츠의 영상을 캡처하고, 상기 캡처된 영상에서 문자 영역이 식별되는 경우, 상기 문자 영역으로부터 문자를 인식하여 상기 인식된 문자에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 상기 통신부를 통하여 획득하고, 상기 캡처된 영상에서 문자 영역이 식별되지 않는 경우, 상기 캡처된 영상으로부터 핑거프린트를 추출하여 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 상기 통신부를 통하여 획득하고, 상기 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하도록 설정된 명령어들을 저장한다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시예에 따른 전자 장치는, 서버와 통신 가능한 통신부, 명령어들(instructions)를 저장하는 메모리, 및, 상기 통신부 및 상기 메모리와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 메모리는, 상기 전자 장치가 실행 시, 상기 적어도 하나의 프로세서가, 상기 캡처된 영상으로부터 핑거프린트를 추출하고, 상기 추출된 핑거프린트를 서버에게 상기 통신부를 통하여 전송하고, 상기 핑거프린트의 인식에 성공하는 경우, 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 상기 통신부를 통하여 획득하고, 상기 핑거프린트의 인식에 실패하는 경우, 상기 캡처된 영상에 포함된 문자에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 상기 통신부를 통하여 획득하고, 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 및 상기 문자에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하도록 설정된 명령어들을 저장한다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시예에 따른 서버는, 전자 장치와 통신 가능한 통신부, 복수 개의 핑거프린트들 각각에 대응되는 복수 개의 제1 영상 관련 정보들을 포함하는 제1 데이터베이스, 및 복수 개의 문자들 각각에 대응되는 복수 개의 제2 영상 관련 정보들을 포함하는 제2 데이터베이스를 포함하는 적어도 하나의 메모리, 및 상기 적어도 하나의 통신부 및 상기 적어도 하나의 메모리와 연결된 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는 사용자가 시청 중인 컨텐츠와 관련된 쿼리를 상기 전자 장치로부터 수신하도록 상기 통신부를 제어하고, 상기 수신된 쿼리에 핑거프린트가 포함된 경우, 상기 핑거프린트에 매칭되는 제1 영상 관련 정보를 상기 제1 데이터베이스에서 검색하고, 상기 수신된 쿼리에 문자가 포함된 경우, 상기 문자에 매칭되는 제2 영상 관련 정보를 상기 제2 데이터베이스에서 검색하고, 상기 컨텐츠와 관련된 컨텐츠 인식 정보로서, 상기 검색된 제1 영상 관련 정보 또는 상기 제2 영상 관련 정보를 상기 전자 장치에게 전송하도록 상기 통신부를 제어한다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시예에 따른 서버는, 전자 장치와 통신 가능한 통신부, 복수 개의 핑거프린트들 각각에 대응되는 복수 개의 제1 영상 관련 정보들을 포함하는 제1 데이터베이스, 및 복수 개의 문자들 각각에 대응되는 복수 개의 제2 영상 관련 정보들을 포함하는 제2 데이터베이스를 포함하는 적어도 하나의 메모리, 및 상기 적어도 하나의 통신부 및 상기 적어도 하나의 메모리와 연결된 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 메모리는, 상기 서버가 실행 시, 상기 적어도 하나의 프로세서가, 사용자가 시청 중인 컨텐츠와 관련된 쿼리를 상기 전자 장치로부터 수신하도록 상기 통신부를 제어하고, 상기 수신된 쿼리에 핑거프린트가 포함된 경우, 상기 핑거프린트에 매칭되는 제1 영상 관련 정보를 상기 제1 데이터베이스에서 검색하고, 상기 수신된 쿼리에 문자가 포함된 경우, 상기 문자에 매칭되는 제2 영상 관련 정보를 상기 제2 데이터베이스에서 검색하고, 상기 컨텐츠와 관련된 컨텐츠 인식 정보로서, 상기 검색된 제1 영상 관련 정보 또는 상기 제2 영상 관련 정보를 상기 전자 장치에게 전송하도록 상기 통신부를 제어하도록 설정된 명령어들을 저장한다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시예에 따른 컴퓨터 프로그램 제품은, 컨텐츠의 영상을 캡처하도록 제어하는 동작, 상기 캡처된 영상에서 문자 영역이 식별되는 경우, 상기 문자 영역으로부터 문자를 인식하여 상기 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버로부터 획득하도록 제어하고, 상기 캡처된 영상에서 문자 영역이 식별되지 않는 경우, 상기 캡처된 영상으로부터 핑거프린트를 추출하여 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 획득하도록 제어하는 동작, 및 상기 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하도록 제어하는 동작을, 컴퓨터의 프로세서가 수행하도록 설정된 명령어들을 포함한다.
본 개시에 따르면, 핑거프린트의 추가적인 획득 또는 유지에 따른 리소스의 소모가 줄어들 수 있다. 특히, 대용량의 컨텐츠를 대상으로 하는 경우, 많은 양의 핑거프린트에 매칭되는 영상 관련 정보를 저장 또는 관리하는 서버의 유지 비용이 절감될 수 있다.
또한, 본 개시에 따르면 핑거프린트를 이용한 컨텐츠 인식 정보의 획득뿐만 아니라, 캡처된 영상에 포함된 문자를 이용하여 컨텐츠 인식 정보를 획득할 수 있기 때문에 영상 인식 범위(또는, 영상 인식 확률)가 크게 향상될 수 있다.
그 밖에, 본 개시에서 얻을 수 있는 효과는 언급한 효과들로 제한되지 않으며, 언급하지 않은 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.
도 1은 본 개시의 일 실시예에 따른 컨텐츠 인식 시스템을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 블록도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 세부 블록도이다.
도 4는, 본 개시의 일 실시예에 따른 문자 영역을 설명하기 위한 도면들이다.
도 5 내지 도 7은, 본 개시의 일 실시예에 따른 전자 장치가 서버로부터 컨텐츠 인식 정보를 획득하는 과정을 나타내는 흐름도들이다
도 8 내지 도 10은, 본 개시의 일 실시예에 따른 전자 장치가 컨텐츠 인식 정보를 획득하는 과정을 나타내는 흐름도들이다.
도 11은 본 개시의 일 실시예에 따른 전자 장치의 블록도이다.
도 12는 본 개시의 일 실시예에 따른 분기부를 포함하는 서버의 블록도이다.
도 13은 본 개시의 일 실시예에 따른 분기부를 포함하는 전자 장치의 블록도이다.
도 14는 본 개시의 일 실시예에 따른 서버의 블록도이다.
도 15는 본 개시의 일 실시예에 따른 서버의 흐름도이다.
이하, 본 개시의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
본 개시에서 사용된 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시예들을 배제하도록 해석될 수 없다.
본 개시에서 "컨텐츠"는 영상, 이미지, 오디오 또는 이들의 조합을 포함할 수 있다. 또한, "컨텐츠"는 방송 컨텐츠(또는, 방송 프로그램), 라이브 방송 컨텐츠, 녹화 방송 컨텐츠, 광고 컨텐츠, DVR(digital video recorder) 컨텐츠, VOD(Video On Demand) 컨텐츠, VoD/OTT Non-linear 컨텐츠, UGC 컨텐츠, 또는 이들의 조합을 포함할 수 있다.
도 1은, 본 개시의 일 실시예에 따른 컨텐츠 인식 시스템을 설명하기 위한 도면이다.
도 1에서, 컨텐츠 인식 시스템은, 전자 장치(100) 및 하나 이상의 서버로 구성된 서버(또는, 클라우드)(200)를 포함할 수 있다.
도 1에서, 전자 장치(100)는 컨텐츠 신호를 수신하고 컨텐츠 신호에 기초하여 영상 및/또는 오디오를 자체적으로 제공하거나, 또는 전자 장치(100)와 연결된 다른 전자 장치를 통해 제공할 수 있는 장치일 수 있다. 예컨대, 텔레비전, 셋톱 박스(set-top box), TV 박스(예: 삼성 HomeSync™, 삼성 One Connect Box™, 애플TV™ 또는 구글 TV™)등일 수 있다.
일 실시예로, 전자 장치(100)는 디스플레이 장치(100a)일 수 있다. 디스플레이 장치(100a)는 텔레비젼일 수 있으나, 이는 일 실시예에 불과할 뿐, 디스플레이부가 존재하는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 전자책 리더기(e-book reader), 데스크톱 PC(desktop personal computer), 랩톱 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), 의료 기기, 차량용 헤드 유닛, 상점의 POS, 사물 인터넷 장치, 캠코더, 전자액자 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
다른 예로, 전자 장치(100)는 컨텐츠를 디스플레이 장치(100a)에게 제공하는 컨텐츠 제공 장치(100b)일 수 있다. 컨텐츠 제공 장치(100b)는 셋탑 박스와 같은 방송 컨텐츠 수신 장치일 수 있으나, 이는 일 실시예에 불과할 뿐, 컨텐츠를 제공 가능한 스마트폰, 태블릿 PC, 전자책 리더기, 데스크톱 PC, 랩톱 PC, 넷북 컴퓨터, PMP), 의료 기기, 차량용 헤드 유닛, 상점의 POS, 사물 인터넷 장치, 캠코더, 전자액자, 웨어러블 장치 또는 서버 중 적어도 하나를 포함할 수 있다.
본 개시에서, 전자 장치(100)는 재생 중인 컨텐츠의 영상을 캡처하고, 캡처된 컨텐츠의 영상을 이용하여 영상의 핑거프린트를 추출할 수 있다. 핑거프린트는, 영상의 특징을 나타내는 특징 데이터로서, 예로, 지문 데이터, DNA 데이터 또는 유전자 데이터라고 칭할 수도 있다. 영상으로부터 추출된 핑거프린트는, 예로, 영상의 모션 벡터, 색상 정보, 픽쳐 벡터 등을 포함할 수 있다. 특징 데이터는 컨텐츠의 신호 자체의 특성을 반영하는 점에서 보통의 메타데이터와는 차이가 있을 수 있다.
서버(200)는 영상 관련 정보들(또는, 영상과 관련된 정보들)을 포함하는 데이터베이스를 포함할 수 있다. 서버(200)는 하나 이상의 서버로 구성될 수 있다. 예로, 서버(200)는 핑거프린트 매칭 서버(210), 캡처 서버(220), 영상 관련 정보 서버(예: EPG 서버, 메타데이터 전용 서버)(230) 중 적어도 하나를 포함할 수 있다.
먼저, 핑거프린트 매칭 서버(210)는 핑거프린트 및 핑거프린트에 매칭되는 영상 관련 정보를 준비할 수 있다. 이를 위하여, 캡처 서버(220)는 컨텐츠 소스로부터 제공 받은 방송 예정 컨텐츠의 각 영상(또는, 프레임)으로부터 핑거프린트를 추출할 수 있다. 캡처 서버(220)는 추출된 핑거프린트와 관련된 방송 채널명 및/또는 방송 시간을 영상 관련 정보 서버(230)에게 전송할 수 있다. 예로, 캡처 서버(220)는 추출된 핑거프린트와 관련된 방송 채널명 및 방송 시간을 영상 관련 정보 서버(230)에게 전송할 수 있다. 전송에 대한 응답으로, 캡처 서버(220)는 방송 채널명 및 방송 시간에 기반한 영상 관련 정보를 영상 관련 정보 서버(230)로부터 획득할 수 있다. 영상 관련 정보는, 예로, 방송 프로그램명, 방송 프로그램의 장르 등과 같은 방송 프로그램 관련 정보를 포함할 수 있다. 캡처 서버(220)는 앞서 추출된 핑거프린트와, 획득된 영상 관련 정보를 서로 매칭할 수 있다. 캡처 서버(220)는 핑거프린트 및 핑거프린트에 매칭되는 영상 관련 정보를 핑거프린트 매칭 서버(210)에게 제공할 수 있다.
핑거프린트 매칭 서버(210)는, 컨텐츠로부터 캡처된 영상에서 추출된 핑거프린트를, 전자 장치(100)로부터 수신할 수 있다. 또한, 핑거프린트 매칭 서버(210)는 핑거프린트와 함께, 전자 장치(100) 또는 전자 장치(100)의 사용자를 식별하는 PSID(Personalized Service ID) 및 시간 정보를 수신할 수 있다. 핑거프린트 매칭 서버(210)는 수신된 핑거프린트를 인식하여 핑거프린트에 매칭되는 영상 정보를 획득할 수 있다. 핑거프린트 매칭 서버(210)는 컨텐츠로부터 캡처된 영상의 수신에 대응한 응답으로서, 획득된 영상 관련 정보를 컨텐츠 인식 정보로서 전자 장치(100)에게 전송할 수 있다. 즉, 전자 장치(100)가 디지털 TV인 경우, 컨텐츠 인식 정보는, 사용자가 시청 중인 컨텐츠를 인식한 결과로서, 디지털 TV가 서버로부터 획득하는 영상 관련 정보일 수 있다.
영상 관련 정보 서버(230)는 컨텐츠 자체 또는 컨텐츠의 각 영상과 관련된 영상 관련 정보를 저장할 수 있다. 영상 관련 정보는, 예로, 메타데이터, 메타데이터의 식별자, 메타데이터가 위치한 주소 정보 중 적어도 하나를 포함할 수 있다. 메타데이터는, 예로, 컨텐츠 식별자(또는, 프로그램 식별자), 컨텐츠 명칭(또는, 프로그램 명칭), EPG(Electronic Program Guide) 메타 데이터 중 적어도 하나를 포함할 수 있다. 또한, 메타데이터는 컨텐츠 또는 영상의 출연자 정보, 컨텐츠 또는 영상의 물건에 대한 정보, 컨텐츠를 재생하는 채널 정보, 컨텐츠를 재생하는 방송국 정보 중 적어도 하나를 포함할 수 있다.
도 1의 시스템은 분석 서버(미도시)를 더 포함할 수 있다. 분석 서버는 전자 장치(100)로부터 사용자의 시청 로그 정보를 획득하고, 이를 분석할 수 있다. 사용자의 시청 로그 정보는, PSID 및 캡처된 영상을 이용하여 획득한 컨텐츠 인식 정보 등을 포함할 수 있다. 분석 서버는 사용자의 시청 로그 정보에 기반하여, 사용자가 시청한 영상과 관련된 부가 서비스 정보를 결정할 수 있다. 분석 서버는 결정된 부가 서비스 정보가 전자 장치(100)에게 제공되도록 분석 서버 자체 또는 다른 연동 서버를 제어할 수 있다. 부가 서비스 정보는, 예로, 영상의 출연자와 관련된 실시간 뉴스 기사, 출연자가 주연으로 등장하는 영화를 추천하는 정보, 영상에 포함된 물건에 대한 광고 정보가 될 수 있다. 또한, 부가 서비스 정보, 예컨대, 부가 서비스 영상, 부가 서비스를 제공하는 서버의 주소, 부가 서비스의 획득 경로, 부가 서비스를 위한 주소, 부가 서비스의 시작 시간, 부가 서비스의 종료 시간, 부가 서비스의 수명 주기(lifetime), 부가 서비스의 설명 중 적어도 하나를 포함할 수 있다.
도 1의 시스템에서, 전자 장치(100), 서버(200) 및 분석 서버(미도시) 중 적어도 하나는 근거리 네트워크 또는 원거리 네트워크를 통하여 서로 통신 연결될 수 있다. 여기서, 서로 통신 연결된다는 것은, 근거리 통신 기술로 직접 연결되거나 또는 제3 중계기를 통하여 통신 연결되는 것을 포함할 수 있다. 제3 중계기는, 예로, 기지국, 허브, 엑세스 포인트, 게이트웨이, 스위치, 릴레이 서버, 중계 서버, 및 프론트엔드 서버(Front-end server) 중 적어도 하나를 포함할 수 있다.
도 2는, 본 개시의 일 실시예에 따른 전자 장치(100)의 블록도이다.
도 2를 참고하면, 전자 장치(100)는 통신부(120), 메모리(130) 및 프로세서(110)를 포함할 수 있다. 실시 형태에 따라 도시되지 않았더라도 당업자에게 자명한 수준의 적절한 하드웨어/소프트웨어 구성들이 전자 장치(100)에 추가로 포함될 수 있다.
전자 장치(100)의 통신부(120)는 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 외부 장치(예로, 서버(200))와 통신할 수 있다. 예를 들면, 통신부(120)는 적외선 통신(IrDA, infrared Data Association), RFID(Radio Frequency Identification), NFC(Near Field Communication), WiFi(Wireless Fidelity), UWB(ultra wideband), WiDi(WirelessDisplay), WiHD(WirelessHD), WHDI(Wireless Home Digital Interface), 미라캐스트(Miracast), Wigig(Wireless Gigabit Alliance), 와이파이 다이렉트(Wi-Fi Direct), 블루투스(ex. 블루투스 클래식(Bluetooth Classic), 블루투스 저 에너지(Bluetooth Low Energy)), AirPlay, Z-wave, 4LoWPAN, LTE D2D, GPRS, Weightless, Edge 지그비(Zigbee), DLNA(Digital Living Network Alliance), ANT+, DECT(Digital Enhanced Cordless Telecommunications), WLAN(wireless local area network), GSM(Global System for Mobile communications), UMTS(Universal Mobile Telecommunication System), LTE(Long-Term Evolution), WiBRO(Wireless Broadband) 등의 통신 방식으로 외부 장치와 통신을 수행할 수 있다.
전자 장치(100)의 메모리(130)는, 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치(100)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
메모리(130)는 프로세서(110)에 의해 액세스되며, 프로세서(110)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
본 개시에서 메모리라는 용어는 프로세서(110)와 별도로 마련된 메모리, 프로세서(110) 내 롬(미도시) 및 램(미도시) 중 적어도 하나를 포함할 수 있다.
프로세서(110)는 전자 장치(100)의 전반적인 동작을 제어하기 위한 구성이다. 예를 들면, 프로세서(110)는 운영 체제 또는 응용 프로그램을 구동하여 프로세서(110)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(110)는 CPU(central processing unit) 또는 GPU(graphics-processing unit)이거나 둘 다일 수 있다. 프로세서(110)는 적어도 하나의 범용 프로세서(general processor), 디지털 신호 프로세서(digital signal processor), ASIC(Application specific integrated circuit), SoC(system on chip), MICOM(Microcomputer) 등으로 구현될 수 있다. 프로세서(110)는 메모리(130)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 본 개시의 다양한 실시예에 따른 전자 장치(100)의 동작을 수행할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 전자 장치(100)가 실행 시, 프로세서(110)가, 컨텐츠의 영상을 캡처하고, 캡처된 영상에 포함된 문자 영역의 식별 결과에 따라, 문자 영역으로부터 문자를 인식하여 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하거나, 또는 캡처된 영상으로부터 핑거프린트를 추출하여 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하고, 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 프로세서(110)가, 캡처된 영상에서 문자 영역이 식별되면, 문자 영역으로부터 문자를 인식하여 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 프로세서(110)가, 캡처된 영상에서 문자 영역이 식별되지 않으면, 캡처된 영상으로부터 핑거프린트를 추출하여 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 프로세서(110)가, 캡처된 영상이 핑거프린트의 인식 대상인지 확인 결과에 따라, 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 프로세서(110)가, 인식된 문자를 서버(200)에게 통신부(120)를 통하여 전송하고, 전송된 문자에 기반하여 캡처된 영상이 핑거프린트의 인식 대상이 아닌 것으로 식별되면, 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 프로세서(110)가, 저장된 컨텐츠 인식 정보를 사용자의 시청 로그를 분석하는 외부 분석 서버로 전송하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 문자에 매칭되는 컨텐츠 인식 정보를 제공하는 서버(200)는, 서버(200)에 포함된 문자 매칭 서버(예로, 도 1의 영상 관련 정보 서버(230))일 수 있다. 또한, 핑거프린트에 매칭되는 컨텐츠 인식 정보를 제공하는 서버(200)는, 서버(200)에 포함된 핑거프린트 매칭 서버(예로, 도 1의 핑거프린트 매칭 서버(210))일 수 있다.
본 개시의 실시예에 따르면, 컨텐츠 인식 정보는, 캡처된 영상과 관련된 메타데이터, 상기 메타데이터의 저장 주소 또는 상기 메타데이터의 식별자를 포함할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 전자 장치(100)가 실행 시, 프로세서(110)가, 컨텐츠의 영상을 캡처하고, 캡처된 영상으로부터 핑거프린트를 추출하고, 추출된 핑거프린트를 서버(200)에게 통신부(120)를 통하여 전송하고, 핑거프린트의 인식 결과에 따라, 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하거나, 또는 캡처된 영상에 포함된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하고, 핑거프린트에 매칭되는 컨텐츠 인식 정보 및 문자에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 프로세서(110)가, 캡처된 영상에서 문자 영역이 식별되는 경우, 문자 영역으로부터 인식된 문자를 문자 매칭 서버에게 전송하고, 캡처된 영상에서 문자 영역이 식별되지 않는 경우, 추출된 핑거프린트를 핑거프린트 매칭 서버에게 전송하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 프로세서(110)가, 컨텐츠의 종류를 식별하고, 식별된 컨텐츠의 종류에 기반하여, 문자 영역의 식별 여부와 무관하게, 캡처된 영상으로부터 핑거프린트를 추출하여 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하도록 설정된 명령어들을 저장할 수 있다.
도 3은, 본 개시의 다른 일 실시예에 따른 전자 장치(100)의 세부 블록도이다.
도 3에서, 전자 장치(100)의 프로세서(110)는 영상 캡처부(310), ACR 엔진(320), OCR 엔진(330)을 포함할 수 있다.
영상 캡처부(310)는 컨텐츠의 영상을 캡처할 수 있다. 예로, 영상 캡처부(310)는 디스플레이부 장치(100a)에서 재생 중인 영상을 캡처할 수 있다. 또는, 영상 캡처부(310)는 재생 중인 영상에서 하나 이상의 프레임을 캡처할 수 있다. 예로, 수신된 영상이 비월 주사 방식인 경우, 영상 캡처부(310)는 영상에서 홀수 번째 줄의 필드 픽쳐 및 짝수 번째 줄의 필드 픽쳐 중 적어도 하나를 캡처할 수 있다. 영상 캡처부(310)는 화면에 표시 중인 영상을 캡처하거나, 컨텐츠를 구성하는 비디오 신호를 캡처할 수 있다. 일 실시예로, 영상 캡처부(310)는 기 설정된 주기(예로, 0.3 초 내지 1초 사이의 일 값)마다 영상을 캡처할 수 있다.
영상 캡처부(310)는 캡처된 영상을 ACR 엔진(320)에게 전달할 수 있다. 다양한 실시예로, ACR 엔진(320)이 영상 캡처부(310)를 포함하도록 구성될 수도 있다.
ACR 엔진(320)은 핑거프린트 추출부(321) 및 제1 컨텐츠 인식 정보 획득부(323)를 포함할 수 있다.
핑거프린트 추출부(321)는 캡처된 영상으로부터 핑거프린트를 추출할 수 있다. 다양한 실시예로, 핑거프린트 추출부(321)는 영상에서 소정 영역은 제외하고, 핑거프린트를 추출할 수도 있다. 소정 영역은, 예로, 자막, 로고, 광고 정보 또는 방송 채널 정보 등이 위치하게 될 영역일 수 있다. 다양한 실시예로, 핑거프린트 추출부(321)는 캡처된 영상을 외부 서버(미도시)에게 전송하여, 외부 서버(미도시)에서 캡처된 영상을 인식한 결과로서 캡처된 영상의 핑거프린트를 획득할 수도 있다.
제1 컨텐츠 인식 정보 획득부(323)는 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 획득할 수 있다. 예로, 제1 컨텐츠 인식 정보 획득부(323)는 핑거프린트를 통신부(120)를 통하여 서버(200)에게 전송할 수 있다. 서버(200)는, 예로, 도 1의 핑거프린트 매칭 서버(210)를 포함할 수 있다. 핑거프린트를 수신한 서버(200)는 핑거프린트의 인식을 수행할 수 있다. 여기서, 서버(200)가 수신된 핑거프린트의 인식을 수행한다는 것은, 서버(200)가 수신된 핑거프린트와 유사 또는 동일한 기 저장된 핑거프린트를 검색하고, 상기 검색된 핑거프린트에 매칭되는 영상 관련 정보의 획득을 시도한다는 것을 의미할 수 잇다.
구체적으로, 서버(200)는 수신된 핑거프린트 및 서버(200)에 기 저장 중인 핑거프린트들 간의 유사도를 검사하여, 두 핑거프린트의 유사도가 임계치 이하이면(또는, 임계치를 초과하면) 두 핑거 프린트들이 동일한 것으로 판단하고, 두 핑거 프린트의 유사도가 임계치를 초과하면(또는, 임계치 이하이면) 두 핑거 프린트가 서로 다른 것으로 판단할 수 있다. 예로, 서버(200)는 해밍 거리를 이용한 매칭 기법을 이용하여 두 영상을 비교할 수 있다.
서버(200)가 획득된 핑거프린트와 기 저장된 핑거프린트 간의 유사도를 검사한 결과, 두 핑거프린트들이 서로 동일 또는 유사한 것으로 판단되면, 서버(200)는 수신된 핑거프린트와 동일 또는 유사한 기 저장된 핑거프린트에 매칭된 영상 관련 정보를, 수신된 핑거프린트에 매칭되는 컨텐츠 인식 정보로서 결정할 수 있다. 영상 관련 정보는, 예로, 도 1의 핑거프린트 매칭 서버(210)의 데이터베이스 또는 영상 관련 정보 서버(230)의 데이터베이스로부터 획득할 수 있다. 서버(200)는, 예로, 이진 검색 기법(예로, 비 트리(B-tree) 또는 해싱(Hashing))을 이용하여 데이터베이스를 검색할 수 있다. 한편, 서버(200)가 두 핑거프린트를 비교하거나 데이터베이스를 검색하는 기법은 전술한 기법에 한정되지 않고, 당업자의 통상의 지식으로 구현할 수 있는 범위 내에서 다른 알고리즘으로 치환될 수 있다.
서버(200)가 수신된 핑거프린트의 인식을 수행한 결과, 핑거프린트의 인식에 성공한 경우, 서버(200)는 수신된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 전자 장치(100)에게 전송할 수 있다. 전자 장치(100)가 컨텐츠 인식 정보를 통신부(120)를 통하여 수신하면, 제1 컨텐츠 인식 정보 획득부(323)는 수신된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 메모리(130)에 저장할 수 있다.
반면에, 서버(200)가 핑거프린트의 인식에 실패한 경우, 서버(200)는 핑거프린트의 인식의 실패를 알리는 실패 메시지(또는, unknown 메시지)를 전자 장치(100)에게 전송할 수 있다. 서버(200)가 핑거프린트의 인식의 실패하는 것은, 예로, 서버(200)가 수신된 핑거프린트와 동일 또는 유사한 기 저장된 핑거프린트의 검색에 실패하는 것을 포함할 수 잇다. 또는, 서버(200)가 수신된 핑거프린트와 동일 또는 유사한 기 저장된 핑거프린트의 검색에 성공하더라도, 검색된 핑거프린트에 매칭되는 영상 관련 정보에 검색에 실패하는 것을 포함할 수 있다.
OCR(optical character recognition) 엔진(330)은 문자 영역 식별부(또는, 문자 영역 검출부)(331), 문자 인식부(333) 및 제2 컨텐츠 인식 정보 획득부(335)를 포함할 수 있다.
문자 영역 식별부(331)는 캡처된 영상에 포함된 문자 영역을 식별할 수 있다. 문자 영역은, 예로, OSD 영역 또는 미리 정의된 형태의 UI 영역 등을 포함할 수 있다. 구체적으로, 문자 영역은, 예로, 자막 영역, 로고 영역, 광고 정보 영역, 방송 채널 정보 영역 또는 컨텐츠에 문자가 포함된 영역 등을 포함할 수 있다. 도 4는, 본 개시의 일 실시예에 따른 문자 영역의 예를 설명하기 위한 도면들이다. 도 4의 (a) 및 (b)는 본 개시의 일 실시예 따른 캡처된 영상들을 나타낸다. 캡처된 영상들에서, 401 및 408은, 방송 채널 정보 영역(예로, EPG 영역)을 나타내고, 402,403,404는 광고 정보 영역을 나타내고, 406은 로고 영역을 나타내고, 405 및 407은 컨텐츠에 문자가 포함된 영역을 나타낸다.
문자 영역 식별부(331)는 문자 영역을 식별하기 위하여, 예로, 인공지능 알고리즘(예로, 신경망 알고리즘, 딥러닝 알고리즘 등) 또는 특정 UI 템플릿을 이용하여 검출할 수 있다. 특정 UI 템플릿은, 예로, OSD, 배너, 컨텐츠 소스 업체 또는 광고 업체에서 제공하는 문자가 삽입되는 템플릿 등이 될 수 있다.
문자 인식부(333)는 문자 영역에 포함된 문자를 인식할 수 있다. 인식된 문자는, 예로, 채널 번호, 컨텐츠 제목(또는, 방송 프로그램명), 컨텐츠 내용, 컨텐츠 소스 주소, 컨텐츠 시작/재생/종료 시간, 케이블 방송 업체, 셋탑 박스 제공 업체 또는 광고 내용 등이 될 수 있다. 문자 인식부(333)는 하나 이상의 언어를 인식할 수 있다. 또는, 문자 인식부(333)는 다국어가 혼용된 문장을 인식할 수도 있다. 다양한 실시예로, 문자 인식부(333)는 문자 영역을 외부의 문자 인식 서버(미도시)에게 전송하고, 문자 인식 서버(미도시)부터 문자 영역에 포함된 문자를 획득할 수도 있다.
제2 컨텐츠 인식 정보 획득부(335)는 인식된 문자에 매칭되는 컨텐츠 인식 정보를 획득할 수 있다. 예로, 제2 컨텐츠 인식 정보 획득부(335)는 인식된 문자를 통신부(120)를 통하여 서버(200)에게 전송할 수 있다. 서버(200)는, 예로, 문자 매칭 서버로서, 도 1의 영상 관련 정보 서버(230)를 포함할 수 있다. 문자를 수신한 서버(200)는 문자에 매칭되는 영상 관련 정보를 검색할 수 있다. 예로, 서버(200)는 인식된 문자의 적어도 일부를 포함하는 영상 관련 정보를 검색할 수 있다. 또는, 서버(200)는 인식된 문자와 유사도 또는 관련성이 높은 영상 관련 정보를 검색할 수 있다. 구체적으로, 인식된 문자가 컨텐츠 제목을 포함하는 경우, 서버(200)는 컨텐츠 제목을 포함하거나 컨텐츠 제목과 관련성이 높은 영상 관련 정보를 검색할 수 있다. 서버(200)는 검색된 영상 관련 정보를 컨텐츠 인식 정보로서 전자 장치(100)에게 전송할 수 있다. 전자 장치(100)가 컨텐츠 인식 정보를 통신부(120)를 통하여 수신하면, 제2 컨텐츠 인식 정보 획득부(335)는 수신된 문자에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 메모리(130)에 저장할 수 있다. 다양한 실시예로, 컨텐츠 인식 정보는 메타데이터 식별자 또는 메타데이터 저장 주소가 될 수도 있다. 이 경우, 제2 컨텐츠 인식 정보 획득부(335)는 메타데이터 식별자 또는 메타데이터 저장 주소를 먼저 수신하고, 추후에 기 획득된 메타데이터 식별자 또는 메타데이터 저장 주소를 이용하여 실제 메타데이터를 획득할 수 있다.
반면에, 서버(200)가 컨텐츠 인식 정보에 검색에 실패한 경우, 서버(200)는 컨텐츠 인식 정보의 실패를 알리는 실패 메시지(또는, unknown 메시지)를 전자 장치(100)에게 전송할 수 있다.
다양한 실시예로, 문자에 매칭되는 컨텐츠 인식 정보를 획득하는 과정이 전자 장치(100)에서 수행될 수도 있다. 예로, 전자 장치(100)의 메모리(130)에는 문자들 각각에 대응되는 영상 관련 정보들(예: EPG 정보 등)이 포함될 수 있다. 영상 관련 정보는, 기 정해진 시간, 주기적 또는 이벤트 발생 시에, 서버(200)로부터 수신되어 메모리(130)에 저장될 수 있다. 예로, 전자 장치(100)에서 컨텐츠가 시작되거나, 채널이 전환되거나 또는 사용자 요청 명령이 수신되면, 전자 장치(100)는 영상 관련 정보들을 서버(200)로부터 수신하여 메모리(130)에 저장할 수 있다. 이 경우, 제2 컨텐츠 인식 정보 획득부(335)는 문자 인식부(333)에서 인식된 문자에 매칭되는 영상 관련 정보를 전자 장치(100)의 메모리를 대상으로 검색할 수 있다. 영상 관련 정보가 검색되면, 제2 컨텐츠 인식 정보 획득부(335)는 검색된 영상 관련 정보를 인식된 문자에 매칭되는 컨텐츠 인식 정보로서 이용할 수 있다.
다양한 실시예로, ACR 엔진(320)이 캡처된 영상으로부터 핑거프린트의 추출에 실패하거나, 핑거프린트의 인식에 실패하는 경우, OCR 엔진(330)이 캡처된 영상에 포함된 문자에 매칭되는 컨텐츠 인식 정보를 획득할 수 있다. 예로, 전자 장치(100)가 서버(200)로부터 핑거프린트의 인식의 실패를 알리는 실패 메시지를 수신하는 경우, OCR 엔진(330)이 캡처된 영상에 포함된 문자에 매칭되는 컨텐츠 인식 정보를 획득할 수 있다.
다양한 실시예로, OCR 엔진(330)은 문자 영역 식별 과정을 생략하고, 캡처된 영상에 포함된 문자를 곧바로 획득할 수도 있다. 그리고, OCR 엔진(330)은 획득된 문자에 매칭되는 컨텐츠 인식 정보를 획득할 수 있다.
다양한 실시예로, ACR 엔진(320)이 서버(200)를 이용하여 핑거프린트를 인식하는 동안에, OCR 엔진(330)이 캡처된 영상에 포함된 문자 영역을 식별하는 과정, 문자 영역에 포함된 문자를 인식하는 과정, 문자에 매칭되는 컨텐츠 인식 정보를 획득하는 과정 중 적어도 하나를 함께 수행할 수 있다.
다양한 실시예로, OCR 엔진(330)이 문자 영역을 먼저 식별할 수 있다. 이 경우, OCR 엔진(330)이 문자 영역의 식별에 실패하면, ACR 엔진(320)이 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득할 수 있다. 한편, OCR 엔진(330)이 문자 영역의 식별에 성공하면, OCR 엔진(330)은 문자 영역으로부터 문자를 인식하여 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득할 수 있다. 이 경우, ACR 엔진(320)이 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득하는 과정이 생략될 수도 있다.
ACR 엔진(320) 및 OCR 엔진(330)에서 획득된 컨텐츠 인식 정보가 사용자의 시청 로그 정보로서 메모리(130)에 저장되면, 영상 캡처부(310)는 컨텐츠의 다음 영상을 캡처할 수 있다. 시청 로그 정보가 메모리(130)에 저장되는 것은 외부 장치에게 전송을 위하여 임시적으로 저장되는 것을 포함할 수 있다. 전자 장치(100)의 프로세서(110)는 임시 저장된 시청 로그 정보가 분석 서버(미도시)에게 전송되도록 통신부(120)를 제어할 수 있다.
도 5 내지 도 7은, 본 개시의 다른 실시예에 따른 컨텐츠 인식 정보를 획득하는 과정을 나타내는 도면이다.
도 5 내지 도 7에서, 각 시스템은 전자 장치(100) 및 서버(200)를 포함할 수 있다.
먼저, 도 5에서, 전자 장치(100)의 프로세서(110)는 컨텐츠의 영상을 캡처할 수 있다(501).
전자 장치(100)의 프로세서(110)는 캡처된 영상으로부터 핑거프린트를 추출할 수 있다(502).
전자 장치(100)의 프로세서(110)는 추출된 핑거프린트를 서버(200)에게 전송하도록 통신부(120)를 제어할 수 있다(503).
서버(200)는 수신된 핑거프린트의 인식을 수행할 수 있다(505). 구체적으로, 서버(200)는 수신된 핑거프린트와 동일 또는 유사한 기 저장된 핑거프린트를 검색하고, 검색된 핑거프린트에 매칭되는 영상 관련 정보를 획득할 수 있다. 서버(200)는 수신된 핑거프린트에 매칭되는 영상 관련 정보를 다양한 데이터베이스에서 검색할 수 있다. 예로, 서버(200)는 Live 컨텐츠 데이터베이스(DB), VOD 컨텐츠 데이터베이스(DB), DVR(digital video recorder) 컨텐츠(예로, 녹화된 컨텐츠) 데이터베이스(DB), 커스텀 컨텐츠(custom)(예로, 광고 컨텐츠) 데이터베이스(DB)의 순서로 핑거프린트에 매칭되는 영상 관련 정보를 검색할 수 있으나, 전술한 데이터베이스 또는 순서에 제한되지는 않는다.
서버(200)는 수신된 핑거프린트의 인식을 수행하여, 인식 결과를 획득할 수 있다(507). 서버(200)는 획득된 핑거프린트의 인식 결과를 전자 장치(100)에게 전송할 수 있다(509). 예로, 서버(200)가 핑거프린트의 인식에 성공하면, 서버(200)는 인식 결과로서 핑거프린트에 매칭되는 컨텐츠 인식 정보를 전자 장치(100)에게 전송할 수 있다. 반면에, 서버(200)가 핑거프린트의 인식에 실패하면, 서버(200)는 핑거프린트의 인식의 실패를 알리는 실패 메시지를 전자 장치(100)에게 전송할 수 있다.
전자 장치(100)의 프로세서(110)는 수신된 인식 결과에 기반하여, 캡처된 영상의 인식이 실패했는지 또는 성공했는지를 판단할 수 있다(511). 이 경우, 캡처된 영상의 인식 성공 확률은, 예로, 약 50% 내지 70% 사이이고, 캡처된 영상의 인식 실패 확률은, 예로, 약 30% 내지 50% 사이가 될 수 있다. 인식 성공 확률 또는 인식 실패 확률은, 예로, 특정 기간(예로, 한 주, 한 달 등) 또는 특정 인원 내에서 캡처된 영상의 인식이 성공한 확률 또는 실패한 확률을 의미할 수 있다.
핑거프린트의 인식이 성공한 경우(511-Y), 전자 장치(100)의 프로세서(110)는 획득된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장하도록 메모리(130)를 제어할 수 있다(513).
반면에, 핑거프린트의 인식에 실패한 경우(511-N), 전자 장치(100)의 프로세서(110)는 캡처된 영상에 문자 영역(예로, OSD 영역 또는 미리 정의된 형태의 UI 영역 등)이 포함되는지 판단할 수 있다(515).
문자 영역의 판단 결과(또는, 식별 결과)에 따라, 전자 장치(100)의 프로세서(110)는 캡처된 영상의 인식을 수행할 수 있다.
문자 영역의 식별에 성공하는 경우(515-Y), 전자 장치(100)의 프로세서(110)는 식별된 문자 영역에 포함된 문자를 인식할 수 있다(517).
반면에, 문자 영역의 식별에 실패하는 경우(515-N), 전자 장치(100)의 프로세서(110)는 캡처된 영상이 인식할 수 없는 상태(또는, 미인식(unknown) 상태)인 것으로 기록할 수 있다(513).
문자 영역의 식별에 성공하는 경우(515-Y), 전자 장치(100)의 프로세서(110)는 인식된 문자가 서버(200)에게 전송되도록 통신부(120)를 제어할 수 있다(519).
서버(200)는 문자에 매칭되는 영상 관련 정보의 검색을 수행할 수 있다(521). 예로, 서버(200)는 EPG 데이터베이스를 대상으로 문자에 매칭되는 영상 정보를 검색할 수 있다. 서버(200)는 문자의 매칭 결과를 전자 장치(100)에게 전송할 수 있다(523). 예로, 서버(200)가 영상 정보의 검색에 성공하면, 서버(200)는 매칭 결과로서 컨텐츠 인식 정보를 전자 장치(100)에게 전송할 수 있다. 반면에, 서버(200)가 영상 정보의 검색에 실패하면, 서버(200)는 매칭 결과로서 검색의 실패를 알리는 실패 메시지를 전자 장치(100)에게 전송할 수 있다.
전자 장치(100)의 프로세서(110)는 수신된 매칭 결과에 따라, 문자에 매칭되는 컨텐츠 인식 정보의 획득이 실패했는지 또는 성공했는지를 판단할 수 있다(525).
컨텐츠 인식 정보의 획득에 성공한 경우(525-Y), 전자 장치(100)의 프로세서(110)는 획득된 문자에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장하도록 메모리(130)를 제어할 수 있다(527). 이 경우, 캡처된 영상의 인식 확률은 향상될 수 있다. 예로, 핑거프린트를 이용한 캡처된 영상의 인식 성공 확률이, 약 50% 내지 70% 사이인 경우, 인식 성공 확률은 약 60% 이상까지 향상될 수 있다.
반면에, 컨텐츠 인식 정보의 획득에 실패한 경우(525-N), 전자 장치(100)의 프로세서(110)는 캡처된 영상이 인식할 수 없는 상태(또는, 미인식(unknown) 상태)인 것으로 기록할 수 있다(529).
도 6은, 다른 실시예에 따른 컨텐츠 인식 정보를 획득하는 과정을 나타내는 도면이다.
먼저, 도 6에서, 전자 장치(100)의 프로세서(110)는 컨텐츠의 영상을 캡처할 수 있다(601).
전자 장치(100)의 프로세서(110)는 캡처된 영상에 문자 영역이 포함되는지를 판단할 수 있다(603).
문자 영역의 판단 결과(또는, 식별 결과)에 따라, 전자 장치(100)의 프로세서(110)는 캡처된 영상의 인식을 수행할 수 있다.
문자 영역의 식별에 실패한 경우(603-N), 전자 장치(100)의 프로세서(110)는 캡처된 영상으로부터 핑거프린트를 추출할 수 있다(605).
전자 장치(100)의 프로세서(110)는 추출된 핑거프린트를 서버(200)에게 전송하도록 통신부(120)를 제어할 수 있다(607). 서버(200)는 수신된 핑거프린트의 인식을 수행하여 인식 결과를 획득하고, 획득된 인식 결과를 전자 장치(100)에게 전송할 수 있다(609~613). 전자 장치(100)의 프로세서(110)는 수신된 인식 결과에 기반하여, 핑거프린트에 매칭되는 컨텐츠 인식 정보를 시청 로그 정보로서 메모리(130)에 저장할 수 있다(615~617). 여기서, 동작 607 내지 동작 617의 과정은, 전술한 도 5의 동작 503 내지 동작 513의 과정에 대응되어 중복되는 설명은 생략한다. 이 경우, 동작 615에서, 핑거프린트의 인식에 실패한 경우(615-N), 전자 장치(100)의 프로세서(110)는 캡처된 영상이 인식할 수 없는 상태(또는, 미인식(unknown) 상태)인 것으로 기록할 수 있다(619).
한편, 동작 603에서, 프로세서(110)가 캡처된 영상에 문자 영역이 포함되는지를 판단한 결과, 문자 영역의 식별에 성공한 경우(603-Y), 전자 장치(100)의 프로세서(110)는 식별된 문자 영역에 포함된 문자를 인식할 수 있다(621).
전자 장치(100)의 프로세서(110)는 인식된 문자가 서버(200)에게 전송되도록 통신부(120)를 제어할 수 있다(623).
이 때, 서버(200)는 이미 핑거프린트가 추출된 대상 영상 또는 컨텐츠를 기 알고 있는 상태일 수 있다. 서버(200)는 수신된 문자에 기반하여 캡처된 영상이 핑거프린트 인식 대상 영상으로 스케쥴 되어있는지를 확인할 수 있다(625). 서버(200)는 확인 결과를 전자 장치(100)에게 전송할 수 있다(627).
전자 장치(100)의 프로세서(110)는 수신된 확인 결과에 기반하여, 캡처된 영상이 핑거프린트 인식 대상인지 여부를 판단할 수 있다(629).
캡처된 영상이 핑거프린트 인식 대상인 것으로 식별되는 경우(629-Y), 프로세서(110)는 핑거프린트를 이용하여 캡처된 영상을 인식하기 위한 과정을 수행할 수 있다. 예로, 프로세서(110)는 전술한 동작 605 내지 동작 617과 같이, 캡처된 영상으로부터 핑거프린트를 추출하고, 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득하여 시청 로그 정보로서 메모리(130)에 저장할 수 있다.
반면에, 캡처된 영상이 핑거프린트 인식 대상이 아닌 것으로 식별되는 경우(629-N), 전자 장치(100)의 프로세서(110)는 인식된 문자가 서버(200)에게 전송되도록 통신부(120)를 제어할 수 있다(631). 이 때, 동작 623에서 서버(200)로 전송된 문자가 계속하여 저장된 상태인 경우, 전술한 동작 631의 과정은 생략될 수 있다. 서버(200)는 문자에 매칭되는 영상 관련 정보의 검색을 수행하고(633), 문자의 매칭 결과를 전자 장치(100)에게 전송할 수 있다(635). 전자 장치(100)의 프로세서(110)는 수신된 매칭 결과에 따라, 문자에 매칭되는 컨텐츠 인식 정보의 획득이 실패했는지 또는 성공했는지를 판단할 수 있다(637).
컨텐츠 인식 정보의 획득에 성공한 경우(637-Y), 전자 장치(100)의 프로세서(110)는 획득된 문자에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장하도록 메모리(130)를 제어할 수 있다(639). 반면에, 컨텐츠 인식 정보의 획득에 실패한 경우(637-N), 전자 장치(100)의 프로세서(110)는 캡처된 영상이 인식할 수 없는 상태(또는, 미인식(unknown) 상태)인 것으로 메모리(130)에 기록할 수 있다(641).
다양한 실시예로, 동작 625에서, 문자에 기반하여 캡처된 영상이 핑거프린트 인식 대상 영상으로 판단되면, 서버(200)는 핑거프린트 인식 대상 확인 결과와 함께, 문자의 매칭 결과를 전자 장치(100)에게 전송할 수 있다.
본 개시에 따르면, 전자 장치(100)가 선제적으로 핑거프린트의 인식 대상이 아니라고 판단된 영상은 핑거프린트를 인식하는 ACR 기능을 생략하기 때문에, ACR의 수행 대상이 되는 서버(200)의 이용 및 유지를 위하여 비용이 크게 절약될 수 있다.
도 7은, 다른 실시예에 따른 컨텐츠 인식 정보를 획득하는 과정을 나타내는 도면이다.
도 7에서, 컨텐츠 인식 정보를 획득하는 과정은, 헤드엔드 선별 과정인 선제 단계 및 영상 인식 과정인 후속 단계로 구분할 수 있다. 헤드엔드는 컨텐츠를 제공하는 방송국, 컨텐츠 소스 회사, 통신 회사, 셋탑 제조/운영 회사 등을 포함할 수 있다.
먼저, 도 7에서, 전자 장치(100)의 프로세서(110)는 컨텐츠의 영상을 캡처할 수 있다(701).
전자 장치(100)의 프로세서(110)는 캡처된 영상에서 문자 영역을 식별할 수 있다(702).
전자 장치(100)의 프로세서(110)는 식별된 문자 영역에 포함된 문자를 인식할 수 있다(703).
전자 장치(100)의 프로세서(110)는 인식된 문자가 서버(200)에게 전송되도록 통신부(120)를 제어할 수 있다(705).
서버(200)는 수신된 문자에 매칭되는 영상 관련 정보의 검색을 수행할 수 있다(706). 서버(200)는 영상 관련 정보의 검색에 기반하여 전자 장치(100)의 헤드엔드를 추정할 수 있다(707). 예로, 서버(200)는 EPG 데이터베이스를 대상으로 문자를 제공하는 헤드엔드를 검색하고, 검색된 헤드엔드를 캡처된 영상을 포함하는 컨텐츠를 제공하는 헤드엔드로서 추정할 수 있다. 서버(200)는 복수 개의 문자에 기반하여 헤드엔드를 추정할 수도 있다. 서버(200), 예로, 룰 기반 방식 또는 인공 지능 방식(예로, 딥러닝 등)에 기반하여 헤드엔드를 추정할 수 있다. 또한, 서버(200)는 복수 개의 헤드엔드를 추정할 수도 있다. 서버(200)는 하나 이상의 헤드엔드 정보를 포함하는 헤드앤드 리스트를 전자 장치(100)에게 전송할 수 있다(709).
전자 장치(100)는 핑거프린트를 이용하여 캡처된 영상을 인식하는 경우, 수신된 헤드앤드 리스트에 포함된 캡처된 영상을 제공하는 것으로 추정된 헤드엔드를 대상으로 핑거프린트에 매칭되는 영상 정보를 검색할 수 있다. 전자 장치(100)는 캡처된 영상으로부터 핑거프린트를 추출하고(711), 추출된 핑거프린트를 서버(200)에게 전송할 수 있다(713). 서버(200)는 수신된 핑거프린트의 인식을 수행하고(715), 핑거프린트의 인식 결과를 획득할 수 있다(717). 이 때, 서버(200)는 캡처된 영상을 제공하는 것으로 추정된 헤드엔드로 제한하여 핑거프린트의 인식을 수행할 수 있다. 그리고, 서버(200)는 핑거프린트의 인식 결과를 전자 장치(100)에게 전송할 수 있다(719). 다른 실시예로, 전자 장치(100)가 추출된 핑거 프린트를, 추정된 헤드엔드와 관련된 서버로 제한하여 전송할 수 있다.
서버(200)로부터 핑거프린트의 인식 결과가 수신되면, 전자 장치(100)는 인식 결과에 따라 핑거프린트에 매칭되는 컨텐츠 인식 정보를 저장할 수 있다. 이에 대응하는, 동작 721 및 동작 725은, 전술한 도 6의 동작 615 내지 동작 619에 대응되어 중복되는 설명은 생략한다.
다양한 실시예로, 핑거프린트의 인식 결과로서 실패 메시지가 수신되면, 전자 장치(100)는 캡처된 영상으로부터 인식된 문자(예로, 동작 703에서 인식된 문자)를 서버(200)에게 전송하여 캡처된 영상을 인식할 수 있다. 이에 대응되는 과정은, 전술한 도 5의 동작 519 내지 동작 529에 대응될 수 있다.
본 개시에 따르면, 전자 장치(100)는 문자 인식을 통하여 컨텐츠 소스를 제공하는 헤드엔드의 선제적 선별이 가능하기 때문에, 캡처된 영상을 인식에 필요한 데이터베이스를 최소한으로 이용할 수 있다. 즉, 헤드엔드마다 방송을 스케쥴하는 방식이 다를 수 있기 때문에, 전술한 방식에 따라, 전자 장치(100)는 캡처된 영상을 포함하는 컨텐츠 소스가 어떤 지역에서 전송된 것인지, 어떤 방송사에서 제공한 것인 등을 미리 알 수 있다. 이에, 핑거프린트에 매칭되는 컨텐츠 인식 정보의 검색 대상이 특정 지역 또는 특정 컨텐츠 소스 제공 업체에 제한되기 때문에 서버의 이용 또는 관리 비용이 크게 절감될 수 있다.
도 8은, 본 개시의 일 실시예에 따른 컨텐츠 인식 정보를 획득하는 과정을 나타내는 도면이다.
도 8에서, 전자 장치(100)는 컨텐츠의 영상을 캡처할 수 있다(801).
전자 장치(100)는 캡처된 영상에 문자 영역이 포함되는지를 판단할 수 있다(803).
문자 영역의 판단 결과(또는, 식별 결과)에 따라, 전자 장치(100)의 프로세서(110)는 캡처된 영상의 인식을 수행할 수 있다.
전자 장치(100)가 캡처된 영상에 포함된 문자 영역의 식별에 성공하는 경우(803-Y), 전자 장치(100)는 문자 영역으로부터 문자를 인식할 수 있다(805). 전자 장치(100)는 인식된 문자에 매칭되는 컨텐츠 인식 정보를 메모리(130) 또는 서버(200)로부터 획득할 수 있다(807). 전자 장치(100)는 획득된 문자에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장할 수 있다(809).
다양한 실시예로, 전자 장치(100)는 캡처된 영상이 핑거프린트의 인식 대상인지 확인 결과에 따라, 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득할 수 있다. 예로, 캡처된 영상이 핑거프린트의 인식 대상이 아닌 것으로 식별되는 경우, 전자 장치(100)는 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득할 수 있다. 반면에, 캡처된 영상이 핑거프린트의 인식 대상인 것으로 식별되는 경우, 전자 장치(100)는 캡처된 영상으로부터 핑거프린트를 추출하여 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버로부터 획득할 수 있다.
한편, 동작 803에서 판단 결과, 전자 장치(100)가 캡처된 영상에 포함된 문자 영역의 식별에 실패하는 경우(803-N), 전자 장치(100)는 캡처된 영상으로부터 핑거프린트를 추출할 수 있다(811). 전자 장치(100)는 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 메모리(130) 또는 서버(200)로부터 획득할 수 있다(813). 전자 장치(100)는 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장할 수 있다(815).
다양한 실시예로, 전자 장치(100)는 저장된 컨텐츠 인식 정보를 사용자의 시청 로그를 분석하는 외부 분석 서버(예로, 도 1의 분석 서버)로 전송할 수 있다.
도 9는, 다른 실시예에 따른 컨텐츠 인식 정보를 획득하는 과정을 나타내는 도면이다.
도 9에서, 전자 장치(100)는 컨텐츠의 영상을 캡처할 수 있다(901).
전자 장치(100)는 캡처된 영상에 문자가 존재하는지를 판단할 수 있다(903).
전자 장치(100)가 캡처된 영상에 포함된 문자의 식별에 성공하는 경우(903-Y), 전자 장치(100)는 문자에 매칭되는 컨텐츠 인식 정보를 메모리(130) 또는 서버(200)로부터 획득할 수 있다(905). 전자 장치(100)는 획득된 문자에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장할 수 있다(907).
반면에, 전자 장치(100)가 캡처된 영상에 포함된 문자의 식별에 실패하는 경우, 전자 장치(100)는 캡처된 영상으로부터 핑거프린트를 추출할 수 있다(911). 전자 장치(100)는 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 메모리(130) 또는 서버로부터 획득할 수 있다(913). 전자 장치(100)는 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장할 수 있다(915).
도 10은, 다른 실시예에 따른 컨텐츠 인식 정보를 획득하는 과정을 나타내는 도면이다.
도 10에서, 전자 장치(100)는 컨텐츠의 영상을 캡처할 수 있다(1001).
전자 장치(100)는 캡처된 영상으로부터 핑거프린트를 추출할 수 있다(1003).
전자 장치(100)는 추출된 핑거프린트를 서버에게 전송할 수 있다(1005).
전자 장치(100)는 핑거프린트의 인식 결과를 서버로부터 획득할 수 있다(1007).
전자 장치(100)는 핑거프린트의 인식 결과로부터 핑거프린트의 인식의 성공 여부를 판단할 수 있다(1009).
판단 결과, 서버(200)에서 핑거프린트의 인식이 성공한 것으로 식별되는 경우(1009-Y), 전자 장치(100)는 핑거프린트에 매칭되는 컨텐츠 인식 정보를 메모리(130) 또는 서버(200)로부터 획득할 수 있다(1011). 여기서, 전자 장치(100)가 핑거프린트에 매칭되는 컨텐츠 인식 정보를 획득한다는 것은, 서버(200)로부터 획득된 인식 결과로부터 핑거프린트에 매칭되는 컨텐츠 인식 정보를 추출하는 것을 포함할 수 있다. 전자 장치(100)는 핑거프린트에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장할 수 있다(1013).
판단 결과, 서버(200)에서 핑거프린트의 인식이 실패한 것으로 식별되는 경우(1009-N), 전자 장치(100)는 캡처된 영상에 포함된 문자에 매칭되는 컨텐츠 인식 정보를 메모리(130) 또는 서버(200)로부터 획득할 수 있다(1015). 이 때, 서버(200)에서 핑거프린트의 인식이 실패한 것으로 식별되는 경우는, 서버(200)에서 핑거프린트와 동일 또는 유사한 핑거프린트가 검색되지 않거나, 또는 검색된 핑거프린트에 매칭되는 영상 관련 정보가 검색되지 않음에 따라, 전자 장치(100)가 핑거프린트의 인식의 실패를 알리는 실패 메시지를 수신하는 경우를 포함할 수 있다. 다음으로, 전자 장치(100)는 핑거프린트에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장할 수 있다(1017).
다양한 실시예로, 전자 장치(100)는 저장된 컨텐츠 인식 정보를 사용자의 시청 로그를 분석하는 외부 분석 서버(예로, 도 1의 분석 서버(미도시))로 전송할 수 있다.
다양한 실시예로, 문자에 매칭되는 컨텐츠 인식 정보를 제공하는 서버(200)는, 서버(200)에 포함된 문자 매칭 서버(예로, 도 1의 영상 관련 정보 서버(230))일 수 있다. 또한, 핑거프린트에 매칭되는 컨텐츠 인식 정보를 제공하는 서버(200)는, 서버(200)에 포함된 핑거프린트 매칭 서버(예로, 도 1의 핑거프린트 매칭 서버(210))일 수 있다.
다양한 실시예로, 컨텐츠 인식 정보는, 캡처된 영상과 관련된 메타데이터, 상기 메타데이터의 저장 주소 또는 상기 메타데이터의 식별자를 포함할 수 있다.
도 11은 본 개시의 다른 실시예에 따른 전자 장치(100)의 블록도를 나타낸다.
도 11을 참고하면, 전자 장치(100)는 통신부(2010), 메모리(2120), 프로세서(2030), 튜너(2040), 디스플레이(2050), 입/출력부(2060) 및 오디오 출력부(2070)를 포함할 수 있다. 실시 형태에 따라 구성들 중 일부는 생략될 수 있고, 도시되지 않았더라도 당업자에게 자명한 수준의 적절한 하드웨어/소프트웨어 구성들이 전자 장치(100)에 추가로 포함될 수 있다.
통신부(2010)는 외부 장치와 통신을 수행하기 위한 구성이다. 도 11에 도시된 통신부(2010)에 대한 설명은 도 2를 참고하여 설명한 통신부(120)에 대한 설명이 참조될 수 있다.
메모리(2020)는 전자 장치(100)를 구동하고 제어하기 위한 각종 데이터 및 운영 체제(Operating System: OS)를 저장할 수 있다. 도 11에 도시된 메모리(2020)에 대한 설명은 도 2를 참고하여 설명한 메모리(130)에 대한 설명이 참조될 수 있다.
튜너(2040)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance) 등을 통하여 많은 전파 성분 중에서 전자 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다.
튜너(2040)는 사용자가 선택한 채널에 대응되는 주파수 대역에서 비디오, 오디오 및 부가 데이터를 포함하는 방송 신호를 수신할 수 있다.
튜너(2040)는 지상파 방송, 케이블 방송, 또는, 위성 방송 등과 같이 다양한 소스에서부터 방송 신호를 수신할 수 있다. 튜너(2040)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다.
튜너(2040)를 통해 수신되는 방송 신호는 비디오 데이터, 오디오 데이터 및 프로그램 관련 정보인 메타 데이터를 포함할 수 있다. 메타 데이터는 방송 프로그램에 대한 부가 정보, 예컨대 프로그램 명칭, 줄거리, 방송 시작 시간, 방송 종료 시간 등에 대한 정보를 포함할 수 있다. 방송 프로그램에 관련 정보인 메타 데이터는 튜너(2040)뿐만 아니라 인터넷 서버로부터 통신부(2010)를 통해 수신될 수도 있다.
튜너(2040)는 전자 장치(100)와 일체형(all-in-one)으로 구현되거나 또는 전자 장치(100)와 전기적으로 연결되는 별개의 장치(예를 들어, 입/출력부(2060) 또는 통신부(2010)에 연결되는 튜너)로 구현될 수 있다.
디스플레이(2050)는 영상을 표시하기 위한 구성으로서, 예컨대 튜너(2040)를 통해 수신된 방송 신호에 포함된 비디오 데이터, 통신부(2010) 또는 입/출력부(2060)를 통해 입력된 영상, 또는 메모리(2020)에 저장된 영상 파일에 포함된 영상을 출력할 수 있다.
디스플레이(2050)는 예컨대, LCD(Liquid Crystal Display)로 구현될 수 있으며, 경우에 따라 CRT(cathode-ray tube), PDP(plasma display panel), OLED(organic light emitting diodes), TOLED(transparent OLED) 등으로 구현될 수 있다. 또한, 디스플레이(2050)는 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수도 있다.
오디오 출력부(2070)는 오디오를 출력하기 위한 구성으로서, 예컨대, 튜너(2040)를 통해 수신된 방송 신호에 포함된 오디오, 통신부(2010) 또는 입/출력부(2060)를 통해 입력되는 오디오, 또는 메모리(2020)에 저장된 오디오 파일에 포함된 오디오를 출력할 수 있다. 오디오 출력부(2070)는 스피커 및/또는 헤드폰 출력 단자를 포함할 수 있다.
입/출력부(2060)는 외부 장치와 연결되기 위한 구성으로서, 예컨대, HDMI 입력 포트(High-Definition Multimedia Interface port), 컴포넌트 입력 잭, USB 포트 등을 포함할 수 있고, 이 밖에도 RGB, DVI, DP, 썬더볼트 등의 포트 중 적어도 하나를 포함할 수 있다.
프로세서(2030)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 도 11에 도시된 프로세서(2030)에 대한 설명은 도 2를 참고하여 설명한 프로세서(110)에 대한 설명이 참조될 수 있다.
프로세서(2030)는 RAM(2032), ROM(2033), GPU(2034), CPU(2031), 제1 내지 n 인터페이스(2035-1 ~ 2035-n), 버스(2036)를 포함할 수 있다. 이때, RAM(2032), ROM(2033), GPU(2034), CPU(2031), 제1 내지 n 인터페이스(2035-1 ~ 2035-n) 등은 버스(2036)를 통해 서로 연결될 수 있다.
ROM(2033)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 전자 장치(100)에 대한 턴-온 명령이 입력되어 전원이 공급되면, CPU(2031)는 ROM(2033)에 저장된 명령어에 따라 메모리(2010)에 저장된 O/S의 적어도 일부를 RAM(2032)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(2031)는 메모리(2020)에 저장된 각종 프로그램을 RAM(2032)에 복사하고, RAM(2032)에 복사된 프로그램을 실행시켜 각종 동작을 수행할 수 있다. CPU(2031)는 메모리(2020)에 저장된 각종 프로그램 모듈, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
GPU(2034)는 전자 장치(100)의 부팅이 완료되면, 영상을 디스플레이할 수 있다. GPU(2034)는 연산부 및 렌더링부를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이(2050)로 제공되어, 디스플레이 영역 내에 표시된다.
제1 내지 n 인터페이스(2035-1 내지 2035-n)는 상술한 각종 구성요소들(2010, 2020, 2040 내지 2070)과 연결될 수 있다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
본 개시의 실시예에 따르면, 프로세서(2030)는 컨텐츠의 영상을 캡처할 수 있다. 프로세서(2030)는 캡처된 영상에 포함된 문자 영역의 식별 결과에 따라, 문자 영역으로부터 문자를 인식하여 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(2010)을 통하여 획득할 수 있다. 또는, 프로세서(2030)는 캡처된 영상에 포함된 문자 영역의 식별 결과에 따라, 캡처된 영상으로부터 핑거프린트를 추출하여 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득할 수 있다. 프로세서(2030)는 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 메모리(2020)에 저장할 수 있다.
도 12는 본 개시의 일 실시예에 따른 분기부를 포함하는 서버의 블록도이다.
도 12를 참조하면, 서버(200)는 분기부(1210), 핑거프린트 매칭 서버(1220) 및 문자 매칭 서버(1230)를 포함할 수 있다. 핑거프린트 매칭 서버(1220)는 핑거프린트의 인식 결과를 제공하는 서버로서 전술한 도 2의 핑거프린트 매칭 서버(210)를 포함할 수 있다. 문자 매칭 서버(1230)는 문자의 매칭 결과를 제공하는 서버로서 전술한 도 2의 영상 관련 정보 서버(예: EPG 서버, 메타데이터 전용 서버)(230)를 포함할 수 있다.
분기부(1210)는 서버(200)의 프로세서의 적어도 일부로서, 전자 장치(100)로부터 수신되는 컨텐츠와 관련된 쿼리를 용도에 적합한 서버로 전달할 수 있다. 분기부(1210)는 전자 장치(100)로부터 수신된 쿼리에 핑거프린트가 포함된 경우, 상기 핑거프린트를 핑거프린트 매칭 서버(1220)로 전송할 수 있다. 반면에, 전자 장치(100)로부터 수신된 쿼리에 문자가 포함된 경우, 분기부(1210)는 상기 문자를 문자 매칭 서버(1230)로 전송할 수 있다.
또는, 전자 장치(100)로부터 수신되는 쿼리에 목적지와 관련된 필드가 포함되는 경우, 상기 필드 값에 따라 분기부(1210)는 수신된 쿼리의 적어도 일부를 핑거프린트 매칭 서버(1220) 또는 문자 매칭 서버(123)로 전송할 수 있다.
핑거프린트 매칭 서버(1220)가 분기부(1210)로부터 핑거프린트를 수신한 경우, 핑거프린트 매칭 서버(1220)는 제1 데이터베이스(DB)(1221)에서 핑거프린트에 매칭되는 제1 영상 관련 정보를 검색할 수 있다. 제1 데이터베이스(DB)(1221)는, 예로, 도 5에서 전술한 Live 컨텐츠 데이터베이스(DB), VOD 컨텐츠 데이터베이스(DB), DVR 컨텐츠 데이터베이스(DB) 또는 커스텀 컨텐츠 데이터베이스(DB) 중 적어도 하나를 포함할 수 있다. 제1 데이터베이스(1221)에는 복수 개의 핑거프린트들 각각에 대응되는 복수 개의 제1 영상 관련 정보들이 포함될 수 있다. 제1 영상 관련 정보는, 예로, 방송 프로그램명, 방송 프로그램의 장르 등과 같은 방송 프로그램 관련 정보를 포함할 수 있다. 핑거프린트 매칭 서버(1220)에서 핑거프린트에 매칭되는 제1 영상 관련 정보가 검색되면, 서버(200)는 검색된 제1 영상 관련 정보를 컨텐츠와 관련된 컨텐츠 인식 정보로서 전자 장치(100)에게 전송할 수 있다.
한편, 문자 매칭 서버(1230)가 분기부(1210)로부터 문자를 수신한 경우, 문자 매칭 서버(1230)는 제2 데이터베이스(DB)(1231)에서 문자에 매칭되는 제2 영상 관련 정보를 검색할 수 있다. 제2 데이터베이스(DB)(1231)는, 예로, EPG 데이터베이스를 포함할 수 있다. 제2 데이터베이스(1231)에는 복수 개의 문자들 각각에 대응되는 복수 개의 제2 영상 관련 정보들이 포함될 수 있다. 제2 영상 관련 정보는, 예로, EPG 정보를 포함할 수 있다. 문자 매칭 서버(1230)는 문자에 매칭되는 제2 영상 관련 정보가 검색되면, 서버(200)는 검색된 제2 영상 관련 정보를 컨텐츠와 관련된 컨텐츠 인식 정보로서 전자 장치(100)에게 전송할 수 있다.
도 13은 본 개시의 일 실시예에 따른 분기부를 포함하는 전자 장치의 블록도이다.
도 13에서, 전자 장치(100)는 영상 캡처부(310), ACR 엔진(320), OCR 엔진(330), 분기부(340)를 포함한다. 이 중에서, 영상 캡처부(310), ACR 엔진(320), OCR 엔진(330)는 전술한 도 3의 영상 캡처부(310), ACR 엔진(320), OCR 엔진(330)에 각각 대응되어 중복되는 설명은 생략한다.
분기부(340)는 ACR 엔진(320)으로부터 캡처된 영상으로부터 추출된 핑거프린트를 획득하거나, OCR 엔진(330)으로부터 문자 영역으로부터 인식된 문자를 획득할 수 있다. 분기부(340)는 획득된 핑거프린트 또는 문자가 전송될 서버를 결정할 수 있다. 분기부(340)는 핑거프린트가 획득된 경우, 획득된 핑거프린트를 포함하는 쿼리가 핑거프린트 매칭 서버(1220)로 전송되도록 통신부(120)를 제어할 수 있다. 반면에, 문자가 획득된 경우, 분기부(340)는 획득된 문자를 포함하는 쿼리가 문자 매칭 서버(1230)로 전송되도록 통신부(120)를 제어할 수 있다.
분기부(340)의 제어 결과에 따라, 전자 장치(100)는 핑거프린트 또는 문자에 매칭되는 컨텐츠 인식 정보를 통신부(120)를 통하여 수신할 수 있다.
도 14는 본 개시의 일 실시예에 따른 서버의 블록도이다.
도 14를 참조하면, 서버(200)는 적어도 하나의 프로세서(201), 적어도 하나의 메모리(202) 및 적어도 하나의 통신부(203)를 포함할 수 있다.
적어도 하나의 프로세서(201)는 제1 프로세서(201a) 및 제2 프로세서(201b)로 구성될 수 있다. 예로, 서버(200)가 복수 개의 서브 서버들(예: 핑거프린트 매칭 서버 및 문자 매칭 서버)로 구성된 경우, 제1 프로세서(201a)는 핑거프린트 매칭 서버의 프로세서이고, 제2 프로세서(201b)는 문자 매칭 서버의 프로세서일 수 있다. 제1 프로세서(201a) 및 제2 프로세서(201b)는 단일의 칩으로 생성될 수도 있고, 서로 이격된 위치에 존재하는 복수의 칩들로서 유선 또는 무선 네트워크를 통하여 서로 통신할 수도 있다.
적어도 하나의 프로세서(201)는 서버(200)의 전반적인 동작을 제어할 수 있다. 예로, 적어도 하나의 프로세서(201)는 운영 체제 또는 응용 프로그램을 구동하여 적어도 하나의 프로세서(201)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다.
다양한 실시예로, 적어도 하나의 프로세서(201)는 사용자가 시청 중인 컨텐츠와 관련된 쿼리를 전자 장치(100)로부터 수신하도록 적어도 하나의 통신부(203)를 제어할 수 있다. 수신된 쿼리에 핑거프린트가 포함된 경우, 적어도하나의 프로세서(201)는 핑거프린트에 매칭되는 제1 영상 관련 정보를 적어도 하나의 메모리(202)에 포함된 제1 데이터베이스(1221)에서 검색할 수 있다. 반면에, 수신된 쿼리에 문자가 포함된 경우, 적어도 하나의 프로세서(201)는 문자에 매칭되는 제2 영상 관련 정보를 제2 데이터베이스(1231)에서 검색할 수 있다.
적어도 하나의 메모리(202)는 적어도 하나의 프로세서(201)에 의해 액세스되며, 적어도 하나의 프로세서(201)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 적어도 하나의 메모리(202)는 복수 개의 서브 메모리들로 구성될 수 있다. 예로, 서버(200)가 복수 개의 서브 서버들(예: 핑거프린트 매칭 서버 및 문자 매칭 서버)로 구성된 경우, 메모리(202)는 핑거프린트 매칭 서버의 메모리 및 문자 매칭 서버의 프로세서의 메모리를 모두 포함할 수 있다. 이 때, 서브 메모리들은 단일의 메모리로 생성될 수도 있고, 서로 이격된 위치에 존재하는 복수의 메모리들로 구성될 수도 있다.
적어도 하나의 메모리(202)는 제1 데이터베이스(1221) 및 제2 데이터베이스(1231)를 포함할 수 있다. 일 예로, 제1 데이터베이스(1221)는 핑거프린트 매칭 서버의 메모리에 포함될 수 있고, 제2 데이터베이스(1231)는 문자 매칭 서버의 프로세서의 메모리에 포함될 수 있다.
다양한 실시예로, 적어도 하나의 메모리(202)는 적어도 하나의 프로세서(201)가 사용자가 시청 중인 컨텐츠와 관련된 쿼리를 전자 장치(100)로부터 수신하도록 적어도 하나의 통신부(203)를 제어하고, 수신된 쿼리에 핑거프린트가 포함된 경우, 핑거프린트에 매칭되는 제1 영상 관련 정보를 메모리(202)에 포함된 제1 데이터베이스에서 검색하고, 수신된 쿼리에 문자가 포함된 경우, 문자에 매칭되는 제2 영상 관련 정보를 제2 데이터베이스에서 검색하도록 설정된 명령어들(instructions)을 저장할 수 있다.
적어도 하나의 통신부(203)는 제1 통신부(203a) 및 제2 통신부(203b)로 구성될 수 있다. 예로, 서버(200)가 복수 개의 서브 서버들(예: 핑거프린트 매칭 서버 및 문자 매칭 서버)로 구성된 경우, 제1 통신부(203a)는 핑거프린트 매칭 서버의 통신부이고, 제2 통신부(203b)는 문자 매칭 서버의 통신부일 수 있다. 적어도 하나의 통신부(203)는 무선 통신을 통해서 네트워크에 연결되어 외부 장치(예로, 전자 장치(100))와 통신할 수 있다. 예를 들면, 적어도 하나의 통신부(203)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈)을 이용하여, 근거리 통신 네트워크(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 등) 또는 원거리 통신 네트워크(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN) 등)를 통하여 외부 장치와 통신할 수 있다.
도 15는 본 개시의 일 실시예에 따른 서버의 흐름도이다.
도 15에서, 서버(200)는 사용자가 시청 중인 컨텐츠와 관련된 쿼리를 전자 장치(100)로부터 수신할 수 있다(1501)
쿼리가 수신되면, 서버(200)는 쿼리에 포함된 정보를 식별할 수 있다(1502). 예로, 서버(200)는 쿼리에 핑거프린트가 포함되었는지, 또는 문자가 포함되었는지 식별할 수 있다.
수신된 쿼리에 핑거프린트가 포함된 경우(1502-A), 서버(200)는 핑거프린트에 매칭되는 제1 영상 관련 정보를 제1 데이터베이스에서 검색할 수 있다(1503). 제1 데이터베이스는, 예로, 핑거프린트 매칭 서버의 메모리에 포함된 데이터베이스일 수 있다.
반면에, 수신된 쿼리에 문자가 포함된 경우(1502-B), 서버(200)는 문자에 매칭되는 제2 영상 관련 정보를 상기 제2 데이터베이스에서 검색할 수 있다(1504).
제1 영상 관련 정보 또는 제2 영상 관련 정보가 검색되면, 서버(200)는 검색된 제1 영상 관련 정보 또는 제2 영상 관련 정보를 컨텐츠와 관련된 컨텐츠 인식 정보로서 전자 장치(100)에게 전송할 수 있다(1505).
상술한 다양한 실시예들에 따르면 컨텐츠 인식을 위해 특징 정보를 포함한 요청을 전송하는 빈도를 감소시킬 수 있으므로 쿼리 비용을 줄일 수 있는 장점이 있다.
이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합으로 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
본 개시의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장될 수 있는 명령어를 포함하는 소프트웨어로 구현될 수 있다. 상기 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 전자 장치(100)를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시예에 따르면, 본 개시에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 서버로부터 전자 장치에게 온라인을 통하여 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 개시의 실시예에 따르면, 컴퓨터 프로그램 제품은 컨텐츠의 영상을 캡처하도록 제어하고, 캡처된 영상에 포함된 문자 영역의 식별 결과에 따라, 문자 영역으로부터 문자를 인식하여 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득하도록 제어하거나, 또는 캡처된 영상으로부터 핑거프린트를 추출하여 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득하도록 제어하고, 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하도록 제어하는 동작을, 컴퓨터의 프로세서가 수행하도록 설정된 명령어들을 포함할 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치
200: 서버

Claims (19)

  1. 전자 장치에 있어서,
    서버와 통신 가능한 통신부;
    명령어들(instructions)을 저장하는 메모리; 및
    상기 통신부 및 상기 메모리와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고,
    상기 메모리는, 상기 전자 장치가 실행 시, 상기 적어도 하나의 프로세서가,
    컨텐츠의 영상을 캡처하고,
    상기 캡처된 영상에 문자 영역이 포함되는지 여부를 식별하며,
    상기 캡처된 영상에 상기 문자 영역이 포함되는 것으로 식별되는 경우, 상기 문자 영역에 포함된 문자를 식별하고, 상기 식별된 문자에 관한 정보를 제1 서버로 전송하도록 상기 통신부를 제어하며, 상기 식별된 문자에 매칭되는 컨텐츠 인식 정보를 상기 제1 서버로부터 상기 통신부를 통하여 수신하고,
    상기 캡처된 영상에 상기 문자 영역이 포함되지 않는 것으로 식별되는 경우, 상기 캡처된 영상으로부터 핑거프린트를 추출하고, 상기 추출된 핑거프린트에 대한 정보를 제2 서버로 전송하도록 상기 통신부를 제어하며, 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 제2 서버로부터 상기 통신부를 통하여 수신하고,
    상기 수신된 문자에 매칭되는 컨텐츠 인식 정보 및 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 상기 메모리에 저장하는,
    전자 장치.
  2. 제1항에 있어서,
    상기 메모리는, 상기 전자 장치가 실행 시, 상기 프로세서가,
    상기 캡처된 영상이 핑거프린트의 인식 대상이 아닌 경우, 상기 식별된 문자에 매칭되는 컨텐츠 인식 정보를 상기 제1 서버로부터 상기 통신부를 통하여 수신하도록 설정된 명령어들을 저장하는,
    전자 장치.
  3. 제2항에 있어서,
    상기 메모리는, 상기 전자 장치가 실행 시, 상기 프로세서가,
    상기 식별된 문자를 상기 제1 서버로 전송하고,
    상기 전송된 문자에 기반하여 상기 캡처된 영상이 상기 핑거프린트의 인식 대상이 아닌 것으로 식별되는 경우, 상기 문자에 매칭되는 컨텐츠 인식 정보를 상기 제1 서버로부터 상기 통신부를 통하여 수신하도록 설정된 명령어들을 저장하는,
    전자 장치.
  4. 제1항에 있어서,
    상기 메모리는, 상기 전자 장치가 실행 시, 상기 프로세서가,
    상기 저장된 컨텐츠 인식 정보를 사용자의 시청 로그를 분석하는 외부 분석 서버에게 상기 통신부를 통하여 전송하도록 설정된 명령어들을 저장하는,
    전자 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 수신된 문자에 매칭되는 상기 컨텐츠 인식 정보 및 상기 핑거프린트에 매칭되는 상기 컨텐츠 인식 정보 각각은,
    상기 캡처된 영상과 관련된 메타데이터, 상기 메타데이터의 저장 주소 또는 상기 메타데이터의 식별자를 포함하는,
    전자 장치.
  7. 삭제
  8. 제1항에 있어서,
    상기 메모리는, 상기 전자 장치가 실행 시, 상기 프로세서가,
    상기 컨텐츠의 종류를 식별하고,
    상기 컨텐츠의 상기 식별된 종류에 기반하여, 상기 문자 영역의 식별 여부와 무관하게, 상기 캡처된 영상으로부터 핑거프린트를 추출하여 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 제2 서버로부터 상기 통신부를 통하여 수신하도록 설정된 명령어들을 저장하는,
    전자 장치.
  9. 컨텐츠의 영상을 캡처하는 단계;
    상기 캡처된 영상에 문자 영역이 포함되는지 여부를 식별하는 단계;
    상기 캡처된 영상에 상기 문자 영역이 포함되는 것으로 식별되는 경우, 상기 문자 영역에 포함된 문자를 식별하고, 상기 식별된 문자에 관한 정보를 제1 서버로 전송하며, 상기 식별된 문자에 매칭되는 컨텐츠 인식 정보를 제1 서버로부터 수신하는 단계,
    상기 캡처된 영상에 상기 문자 영역이 포함되지 않는 것으로 식별되는 경우, 상기 캡처된 영상으로부터 핑거프린트를 추출하고, 상기 추출된 핑거프린트에 대한 정보를 제2 서버로 전송하며, 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 제2 서버로부터 수신하는 단계; 및
    상기 수신된 문자에 매칭되는 컨텐츠 인식 정보 및 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하는 단계를 포함하는,
    전자 장치의 제어 방법.
  10. 제9항에 있어서,
    상기 식별된 문자에 매칭되는 컨텐츠 인식 정보를 상기 제1 서버로부터 획득하는 단계는,
    상기 캡처된 영상이 핑거프린트의 인식 대상이 아닌 경우, 상기 식별된 문자에 매칭되는 컨텐츠 인식 정보를 상기 제1 서버로부터 수신하는 단계를 포함하는,
    전자 장치의 제어 방법.
  11. 제10항에 있어서,
    상기 캡처된 영상이 핑거프린트의 인식 대상이 아닌 경우, 상기 식별된 문자에 매칭되는 컨텐츠 인식 정보를 상기 제1 서버로부터 획득하는 단계는,
    상기 식별된 문자를 상기 서버에게 전송하는 단계; 및
    상기 전송된 문자에 기반하여 상기 캡처된 영상이 상기 핑거프린트의 인식 대상이 아닌 것으로 식별되는 경우, 상기 문자에 매칭되는 컨텐츠 인식 정보를 상기 제1 서버로부터 수신하는 단계를 포함하는,
    전자 장치의 제어 방법.
  12. 제9항에 있어서,
    상기 방법은,
    상기 저장된 컨텐츠 인식 정보를 사용자의 시청 로그를 분석하는 외부 분석 서버로 전송하는 단계를 더 포함하는,
    전자 장치의 제어 방법.
  13. 삭제
  14. 제9항에 있어서,
    상기 수신된 문자에 매칭되는 상기 컨텐츠 인식 정보 및 상기 핑거프린트에 매칭되는 상기 컨텐츠 인식 정보 각각은,
    상기 캡처된 영상과 관련된 메타데이터, 상기 메타데이터의 저장 주소 또는 상기 메타데이터의 식별자를 포함하는,
    전자 장치의 제어 방법.
  15. 삭제
  16. 제9항에 있어서,
    상기 컨텐츠의 종류를 식별하는 단계; 및
    상기 컨텐츠의 상기 식별된 종류에 기반하여, 상기 문자 영역의 식별 여부와 무관하게, 상기 캡처된 영상으로부터 핑거프린트를 추출하여 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 제2 서버로부터 수신하는 단계를 더 포함하는,
    전자 장치의 제어 방법.


  17. 삭제
  18. 삭제
  19. 삭제
KR1020180157354A 2018-05-21 2018-12-07 전자 장치 및 그의 컨텐츠 인식 정보 획득 KR102546026B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19806480.0A EP3748982B1 (en) 2018-05-21 2019-03-21 Electronic device and content recognition information acquisition therefor
CN201980034329.0A CN112154671B (zh) 2018-05-21 2019-03-21 电子设备及其内容识别信息获取
US17/053,289 US11575962B2 (en) 2018-05-21 2019-03-21 Electronic device and content recognition information acquisition therefor
PCT/KR2019/003304 WO2019225851A1 (ko) 2018-05-21 2019-03-21 전자 장치 및 그의 컨텐츠 인식 정보 획득

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180057586 2018-05-21
KR1020180057586 2018-05-21

Publications (2)

Publication Number Publication Date
KR20190132909A KR20190132909A (ko) 2019-11-29
KR102546026B1 true KR102546026B1 (ko) 2023-06-22

Family

ID=68728930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180157354A KR102546026B1 (ko) 2018-05-21 2018-12-07 전자 장치 및 그의 컨텐츠 인식 정보 획득

Country Status (4)

Country Link
US (1) US11575962B2 (ko)
EP (1) EP3748982B1 (ko)
KR (1) KR102546026B1 (ko)
CN (1) CN112154671B (ko)

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR9806443B1 (pt) 1997-06-11 2010-05-18 processo e aparelho para automaticamente compensar o volume de som.
US7266287B2 (en) 2001-12-14 2007-09-04 Hewlett-Packard Development Company, L.P. Using background audio change detection for segmenting video
US8843990B1 (en) 2002-04-25 2014-09-23 Visible World, Inc. System and method for optimized channel switching in digital television broadcasting
JP3720347B2 (ja) 2003-04-17 2005-11-24 シャープ株式会社 表示装置、センタ装置、映像表示システム、表示装置の制御方法、センタ装置の制御方法、表示装置制御プログラム、センタ装置制御プログラム、および該プログラムを記録した記録媒体
AU2003263033A1 (en) 2003-08-29 2005-04-14 Nielsen Media Research, Inc. Audio based methods and apparatus for detecting a channel change event
US7738664B2 (en) 2003-10-07 2010-06-15 Kddi Corporation Apparatus for fault detection for parallelly transmitted audio signals and apparatus for delay difference detection and adjustment for parallelly transmitted audio signals
US7574451B2 (en) 2004-11-02 2009-08-11 Microsoft Corporation System and method for speeding up database lookups for multiple synchronized data streams
JP4613867B2 (ja) 2005-05-26 2011-01-19 ソニー株式会社 コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム
US20130218735A1 (en) 2006-01-17 2013-08-22 Taxnet Inc. User interface for tax-return preparation
JP4637042B2 (ja) 2006-02-28 2011-02-23 三洋電機株式会社 映像再生装置
JP4698453B2 (ja) 2006-02-28 2011-06-08 三洋電機株式会社 コマーシャル検出装置、映像再生装置
US8019162B2 (en) 2006-06-20 2011-09-13 The Nielsen Company (Us), Llc Methods and apparatus for detecting on-screen media sources
JP4728197B2 (ja) 2006-09-28 2011-07-20 株式会社ビデオリサーチ 視聴チャンネル判定方法及びシステム、端末装置ならびにセンタ装置
JP4336364B2 (ja) 2006-11-17 2009-09-30 三菱電機株式会社 テレビジョン受像機
JP5277582B2 (ja) 2007-07-31 2013-08-28 富士通モバイルコミュニケーションズ株式会社 放送受信装置
JP4967998B2 (ja) 2007-11-05 2012-07-04 ソニー株式会社 記録装置および方法、プログラム、並びに記録媒体
US9510044B1 (en) 2008-06-18 2016-11-29 Gracenote, Inc. TV content segmentation, categorization and identification and time-aligned applications
KR101563626B1 (ko) 2008-11-18 2015-10-27 삼성전자 주식회사 디스플레이장치 및 그 제어방법
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US7975285B2 (en) 2008-12-26 2011-07-05 Kabushiki Kaisha Toshiba Broadcast receiver and output control method thereof
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US20110276882A1 (en) 2010-05-04 2011-11-10 Kai Buehler Automatic grouping for users experiencing a specific broadcast media
US8863165B2 (en) 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
WO2013040533A1 (en) * 2011-09-16 2013-03-21 Umami Co. Second screen interactive platform
JP5948773B2 (ja) 2011-09-22 2016-07-06 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム
KR101310943B1 (ko) * 2011-09-26 2013-09-23 (주)엔써즈 방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법
KR101873364B1 (ko) 2011-09-27 2018-08-03 삼성전자 주식회사 방송수신장치, 방송신호 관련 연관정보 제공방법
US8538239B2 (en) 2011-12-22 2013-09-17 Broadcom Corporation System and method for fingerprinting video
US8776105B2 (en) 2012-02-07 2014-07-08 Tuner Broadcasting System, Inc. Method and system for automatic content recognition protocols
CN104160713B (zh) 2012-03-05 2018-06-05 Lg电子株式会社 视频显示设备及其操作方法
KR101396413B1 (ko) 2012-05-07 2014-05-19 주식회사 마크애니 디지털 핑거프린팅을 이용한 정보 제공 시스템 및 방법
US20130331971A1 (en) 2012-06-10 2013-12-12 Eran Bida Watermarking and using same for audience measurement
JP6193993B2 (ja) 2012-07-16 2017-09-06 エルジー エレクトロニクス インコーポレイティド デジタルサービス信号処理方法及び装置
US10735792B2 (en) 2012-09-19 2020-08-04 Google Llc Using OCR to detect currently playing television programs
US9866899B2 (en) 2012-09-19 2018-01-09 Google Llc Two way control of a set top box
US20140101683A1 (en) 2012-10-10 2014-04-10 Samsung Electronics Co., Ltd. Methods and apparatus for detecting a television channel change event
CN103002328A (zh) 2012-11-30 2013-03-27 北京十分科技有限公司 一种识别频道的方法及装置
KR101747776B1 (ko) 2012-12-10 2017-06-15 한국전자통신연구원 핑거 프린트를 이용한 실시간 방송 컨텐츠 검색 지원 시스템 및 방법
US9146990B2 (en) 2013-01-07 2015-09-29 Gracenote, Inc. Search and identification of video content
US9495451B2 (en) 2013-01-07 2016-11-15 Gracenote, Inc. Identifying video content via fingerprint matching
US8955005B2 (en) * 2013-03-14 2015-02-10 Samsung Electronics Co., Ltd. Viewer behavior tracking using pattern matching and character recognition
US20150026718A1 (en) 2013-07-19 2015-01-22 United Video Properties, Inc. Systems and methods for displaying a selectable advertisement when video has a background advertisement
US9955103B2 (en) 2013-07-26 2018-04-24 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
KR101377849B1 (ko) 2013-10-11 2014-03-25 주식회사 케이티스카이라이프 실시간 방송채널별 부가정보제공시스템 및 제어방법
JP6363360B2 (ja) 2014-02-28 2018-07-25 Ｄｘアンテナ株式会社 スキャン装置およびスキャン方法
KR102166423B1 (ko) 2014-03-05 2020-10-15 삼성전자주식회사 디스플레이 장치, 서버 장치 및 디스플레이 장치의 이벤트 정보 제공 방법
US9565456B2 (en) 2014-09-29 2017-02-07 Spotify Ab System and method for commercial detection in digital media environments
KR20150030185A (ko) * 2014-09-30 2015-03-19 투브플러스 주식회사 컨텐트 데이터에 기초하여 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20160044902A (ko) 2014-10-16 2016-04-26 삼성전자주식회사 방송 콘텐트와 관련한 부가 정보 제공 방법 및 이를 구현하는 전자 장치
KR102217191B1 (ko) 2014-11-05 2021-02-18 삼성전자주식회사 단말 장치 및 그 정보 제공 방법
CN104504155B (zh) 2015-01-15 2018-06-08 刘畅 一种基于图像搜索的数据获取方法及系统
KR20160115264A (ko) 2015-03-26 2016-10-06 삼성전자주식회사 디스플레이 장치, 서버 및 그 동작 방법
US10750236B2 (en) 2015-04-23 2020-08-18 The Nielsen Company (Us), Llc Automatic content recognition with local matching
US20160316261A1 (en) 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
KR101644956B1 (ko) 2015-05-12 2016-08-03 (주)티랩컨버젼스연구소 시청 의지 판단에 대응하는 시청 패턴 분석 기반의 프로그램 시청 제안 방법
KR101757878B1 (ko) * 2015-12-10 2017-07-14 삼성전자주식회사 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템
US11019385B2 (en) 2016-01-20 2021-05-25 Samsung Electronics Co., Ltd. Content selection for networked media devices
KR101811719B1 (ko) 2016-02-11 2017-12-22 삼성전자주식회사 컨텐트를 제공하는 디바이스를 제어하는 방법, 그 디바이스 및 서버
WO2017146454A1 (ko) 2016-02-26 2017-08-31 삼성전자 주식회사 컨텐트를 인식하는 방법 및 장치
KR102561711B1 (ko) 2016-02-26 2023-08-01 삼성전자주식회사 컨텐트를 인식하는 방법 및 장치
US9924222B2 (en) 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
WO2017164856A1 (en) 2016-03-23 2017-09-28 Entit Software Llc Comparable user interface object identifications
WO2018026162A1 (en) 2016-08-01 2018-02-08 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
KR102410473B1 (ko) * 2016-08-01 2022-06-17 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
US20180063572A1 (en) 2016-08-24 2018-03-01 Google Inc. Methods, systems, and media for synchronizing media content using audio timecodes
KR20180037826A (ko) 2016-10-05 2018-04-13 삼성전자주식회사 디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템
KR102604297B1 (ko) 2016-10-07 2023-11-21 삼성전자주식회사 프로세서, 디스플레이 장치 및 방법
KR102614697B1 (ko) 2016-12-08 2023-12-18 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 채널 정보 획득 방법
WO2018117619A1 (en) 2016-12-21 2018-06-28 Samsung Electronics Co., Ltd. Display apparatus, content recognizing method thereof, and non-transitory computer readable recording medium
US20190138911A1 (en) 2017-11-07 2019-05-09 International Business Machines Corporation Channel Based Corpus Management
US11068517B2 (en) 2018-07-19 2021-07-20 Steady Platform Llc Relevancy detection within unstructured web posting
US10761818B2 (en) 2018-10-31 2020-09-01 Salesforce.Com, Inc. Automatic identification of types of user interface components

Also Published As

Publication number Publication date
EP3748982A1 (en) 2020-12-09
KR20190132909A (ko) 2019-11-29
US20210195283A1 (en) 2021-06-24
EP3748982B1 (en) 2023-11-29
EP3748982A4 (en) 2020-12-09
US11575962B2 (en) 2023-02-07
CN112154671A (zh) 2020-12-29
CN112154671B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
US10219011B2 (en) Terminal device and information providing method thereof
US11032601B2 (en) Electronic apparatus and controlling method thereof
US20220103428A1 (en) Automatic determination of display device functionality
WO2017092358A1 (zh) 视频推荐方法、系统、终端以及服务器
US20200166996A1 (en) Display apparatus and controlling method thereof
CN112075085B (zh) 电子装置及其控制方法
US20180205977A1 (en) Method and apparatus for identifying a broadcasting server
US10009569B2 (en) Closed caption-support content receiving apparatus and display apparatus, system having the same, and closed caption-providing method thereof
US20180189841A1 (en) Electronic apparatus and controlling method thereof
CN110691281B (zh) 视频播放处理方法、终端设备、服务器及存储介质
US20140324623A1 (en) Display apparatus for providing recommendation information and method thereof
KR102019493B1 (ko) 디스플레이 장치 및 그 정보 제공 방법
US20170238065A1 (en) Method of controlling device providing content, the device providing content, and server
US11218764B2 (en) Display device, control method therefor, and information providing system
KR102546026B1 (ko) 전자 장치 및 그의 컨텐츠 인식 정보 획득
US10503776B2 (en) Image display apparatus and information providing method thereof
US20190132645A1 (en) Electronic apparatus and controlling method thereof
JP7332473B2 (ja) サーバー及びその制御方法
KR20190065601A (ko) 전자 장치 및 그의 제어방법
WO2019225851A1 (ko) 전자 장치 및 그의 컨텐츠 인식 정보 획득
US20130227602A1 (en) Electronic apparatus, control system for electronic apparatus, and server

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right