KR20140113286A - 패턴 매칭 및 문자 인식을 이용한 사용자 시청 행동을 추적하는 장치 및 방법, 그리고 시스템 - Google Patents

패턴 매칭 및 문자 인식을 이용한 사용자 시청 행동을 추적하는 장치 및 방법, 그리고 시스템 Download PDF

Info

Publication number
KR20140113286A
KR20140113286A KR1020130140035A KR20130140035A KR20140113286A KR 20140113286 A KR20140113286 A KR 20140113286A KR 1020130140035 A KR1020130140035 A KR 1020130140035A KR 20130140035 A KR20130140035 A KR 20130140035A KR 20140113286 A KR20140113286 A KR 20140113286A
Authority
KR
South Korea
Prior art keywords
frame
information
display frame
electronic device
template
Prior art date
Application number
KR1020130140035A
Other languages
English (en)
Other versions
KR102164481B1 (ko
Inventor
파비오 가바
잉난 쥬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20140113286A publication Critical patent/KR20140113286A/ko
Application granted granted Critical
Publication of KR102164481B1 publication Critical patent/KR102164481B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자 시청 행동 추적 방법은 소스에서 전자 장치로 멀티 디스플레이 프레임을 제공하는 단계, 이벤트가 발생되면 전자 장치에 연결된 디스플레이 장치에 디스플레이되는 멀티 디스플레이 프레임 중 하나의 디스플레이 프레임을 자동으로 캡쳐하는 단계, 복수의 프레임 템플릿에서 상기 캡쳐된 디스플레이 프레임에 매칭될 프레임 템플릿을 검색하고, 캡쳐된 디스플레이 프레임의 패턴과 검색된 프레임 템플릿을 매칭하는 단계, 매칭된 프레임 템플릿을 이용하여 캡쳐된 디스플레이 프레임에서 정보를 추출하는 단계 및 사용자 시청 행동 추적을 위해 추출된 정보를 저장하는 단계를 포함한다.

Description

패턴 매칭 및 문자 인식을 이용한 사용자 시청 행동을 추적하는 장치 및 방법, 그리고 시스템 {APPRATUS AND METHOD FOR TRACKING USER VIEWING BEHAVIOR USING PATTERN MATCHING AND CHARACTER RECOGNITION, SYSTEM}
본 발명은 사용자 시청 행동 추적을 위한 장치 및 방법 그리고, 시스템에 관한 것으로, 보다 상세하게는, 패턴 매칭 및 문자 인식을 이용하여 사용자 시청 행동을 추적하는 하나 이상의 실시예들에 관한 것이다.
수동적이고, 일방적인 프로그램 시청 경험에서 타임 쉬프트형(time-shited) 시청 경험 또는 온-디맨드형(on-demanded) 시청 경험으로 변화하는 행동으로 인해, 시청자, 예를 들어, 모니터 또는 TV 세트/시스템 등의 시청자들을 추적하는 것은 점점 복잡해지고 있다. 사용자들은 비디오 게임들과 같은 게임들을 하거나, 스마트 TV 또는 TV에 연결된 장치에서 다양한 타입의 어플리케이션("앱")을 실행하는데 TV를 이용한다. TV에 연결된 장치들로는 셋탑박스(STB, Set-top Box), 블루레이 플레이어(BDP, Blu-lay players), 게임 콘솔 및 스트리밍 장치가 있을 수 있다.
일반적으로, TV는 컨텐츠로의 게이트웨이가 아니라, 대부분의 경우, TV는 연결된 장치에 의해 생성된 오디오/비디오를 출력하는 모니터로써의 역할을 할 뿐이다. 많은 가정에서, 주로 케이블, 위성 또는 인터넷 프로토콜 TV(IPTV) 제공자와 같은 멀티채널 비디오 프로그래밍 분배기(MVPD, multichannel video programming distributor)로부터 셋탑박스에 연결된 TV 세트를 갖는다. 이 구성에서는, 오디오 및 비디오 신호만 TV에 연결된 장치로 전송되고, 메타데이터는 전송되지 않으며, TV 소프트웨어는 보여지는 대상을 결정할 수 없다.
일 실시예에 따르면 사용자 시청 행동을 추적하는 방법이 제공된다. 이 방법은 소스에서 전자 장치로 멀티 디스플레이 프레임을 제공하는 방법을 포함한다. 일 실시예에 따르면, 전자 장치에 연결된 디스플레이 장치에서 보여지는 멀티 디스플레이 프레임 중 하나는 이벤트에 기반하여 자동으로 캡쳐된다. 일 실시예에 따르면, 복수의 프레임 템플릿을 검색하여, 상기 캡쳐된 디스플레이 프레임의 패턴을 프레임 템플릿과 매칭시킨다. 일 실시예에 따르면 매칭된 프레임 템플릿을 이용하여 상기 캡쳐된 프레임으로부터 정보를 추출한다. 일 실시예에 따르면 추출된 정보는 사용자 시청 행동을 추적하기 위해 저장된다.
일 실시예에 따르면 사용자 시청 행동을 추적하기 위한 시스템이 제공된다. 일 실시예에서, 상기 시스템은 소스로부터 멀티 디스플레이 프레임을 수신하는 디스플레이 장치를 포함한다. 일 실시예에 따르면 전자 장치는 디스플레이 장치에 연결된다. 일 실시예에 따르면, 상기 전자 장치는 이벤트에 따라 멀티 디스플레이 프레임 중 하나의 디스플레이 프레임을 자동으로 캡쳐하고, 제1 메모리에 저장된 복수의 프레임 템플릿에서 프레임 템플릿을 검색하여 상기 캡쳐된 디스플레이 프레임의 패턴과 상기 검색된 프레임 템플릿을 매칭하며, 상기 매칭된 프레임 템플릿을 이용하여 상기 캡쳐된 디스플레이 프레임에서 정보를 추출하고, 상기 추출한 정보를 제 2 메모리에 저장하여 사용자 시청 행동을 추적하는 프레임 인식 모듈이 포함된다.
다른 실시예에 따르면, 컴퓨터에서 실행되는 경우, 사용자 시청 행동을 추적하는 방법을 수행하기 위한 명령들을 갖는 비일시적 컴퓨터 판독 가능 매체가 제공되며, 상기 방법은 소스에서 전자 장치로 멀티 디스플레이 프레임을 제공하는 단계를 포함한다. 일 실시예에 따르면, 전자 장치에 연결된 디스플레이 장치에 디스플레이되는 멀티 디스플레이 프레임 중 하나의 디스플레이 프레임은 이벤트에 따라 자동으로 캡쳐된다. 일 실시예에 따르면, 상기 캡쳐된 프레임의 패턴은 복수의 프레임 템플릿에서 검색된 프레임 템플릿과 매칭된다. 일 실시예에 따르면, 상기 매칭된 프레임 템플릿을 이용하여 상기 캡쳐된 디스플레이 프레임으로부터 정보를 추출한다. 일 실시예에 따르면 추출된 정보를 저장하여 사용자 시청 행동을 추적한다.
본 발명의 다양한 실시 형태와 효과는 발명을 실시하기 위한 아래의 구체적인 설명에서 도면과 함께 설명한다.
본 발명의 효과와 목적에 대한 상세한 이해를 돕기 위하여, 첨부된 도면을 참조하여 본 발명의 다양한 실시예를 설명한다.
도 1은 본 발명의 일 실시예에 따른 통신 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른, 전자 장치에서 패턴 매칭 및 문자 인식을 이용하여 사용자 시청 행동을 추적하는 아키텍쳐 시스템을 나타내는 블록도이다.
도 3은 본 발명의 다른 실시예에 따른, 전자 장치에서 패턴 매칭 및 문자 인식을 이용하여 사용자 시청 행동을 추적하는 아키텍쳐 시스템을 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른, 전자 장치에서 패턴 매칭 및 문자 인식을 이용한 사용자 시청 행동 추적을 나타내는 템플릿이다.
도 5는 본 발명의 다른 실시예에 따른, 전자 장치 상에서 패턴 매칭 및 문자 인식을 이용하여 사용자 시청 행동 추적을 나타내는 템플릿이다.
도 6은 본 발명의 다른 실시예에 따른, 전자 장치에서 패턴 매칭 및 문자 인식을 이용한 사용자 시청 행동 추적을 나타내는 템플릿이다.
도 7은 본 발명의 다른 실시예에 따른, 전자 장치에서 패턴 매칭 및 문자 인식을 이용한 사용자 시청 행동 추적을 나타내는 템플릿이다.
도 8은 본 발명의 일 실시예에 따른, 프레임 템플릿에 대한 검색 범위를 감소시키는 프로세스를 나타내는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른, 전자 장치에서 패턴 매칭 및 문자 인식을 이용하여 사용자 시청 행동을 추적하기 위한 데이터를 추출하는 프로세스를 나타내는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른, 전자 장치에서 패턴 매칭 및 문자 인식을 이용하여 사용자 시청 행동을 추적하기 위하여 템플릿 매칭하는 프로세스를 나타내는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른, 전자 장치에서 패턴 매칭 및 문자 인식을 이용하여 사용자 시청 행동을 추적하는 채널 변경 배너의 이용을 나타내는 프레임이다.
아래의 설명은 본 발명의 바람직한 실시예에 관하여 도시 및 설명한 것으로, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능하고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
본 발명의 실시예들은 이벤트 발생에 따라 전자 장치(예를 들어, TV, 모니터 등)에 디스플레이되는 디스플레이 프레임의 패턴을 자동으로, 그리고 주기적으로 매칭하는 것에 관한 것이다. NETFLIX®, HULU®, 및 VUDU®같은 오버더탑(OTT, Over-the-top) 컨텐츠 제공자(content provider)는 컨텐츠를 앱(apps)을 통해 TV로 직접 전송하거나, 게임 콘솔이나, 블루레이(Blu ray) 플레이어 및 스트리밍 장치와 같이 TV에 연결된 소비자 전자 장치(TV-connected Consumer Electronic device)로 전송한다. 컨텐츠의 종류나 TV로 전송하는 방법에 상관없이, 시각적 피드백은 판독 가능한 텍스트의 형태로 TV 화면 상에 최종적으로 디스플레이되어 사용자에게 제공된다. 본 발명의 일 실시예에 따르면, 전자 장치에 디스플레이되는 텍스트는 광학적 문자 인식(OCR, Opticl character Recognition)과 같은 문자 인식을 이용하여 "판독(read)"된다. 본 발명의 일 실시예에 따르면, 인식된 텍스트는 사용자가 무엇을 보고, 무엇을 읽고, 어떤 게임을 하고, 심지어는 무엇을 듣고 있는지까지 추적하기 위하여 기록된다. 본 발명의 일 실시예에 따르면, 사용자가 무엇을 보고 또는 듣는지를 검출하는 것은, 행동(behavior) 및 선호도(preferences)를 추적하여 사용자 경험 맞춤형(user experience customization), 컨텐츠 추천(contents recommendation), 표적 광고(targeted advertisement) 등을 향상시키는데 이용될 수 있다.
본 발명의 일 실시예에 따르면, 비디오 디스플레이 전자 장치(예를 들어, TV, 모니터 등)는 디스플레이 프레임(비디오 프레임)을 자동으로 검사하거나, 이벤트(예를 들어, 인식된 채널 변경, 리모콘 작동 등)에 따라 검사하고, 패턴 매칭 기술 및 문자 인식(예를 들어, OCR)을 적용하여 소비되는 컨텐츠를 검출하고, 컨텐츠와 사용자 간의 상호 작용을 지속적으로 추적한다. 본 발명의 일 실시예에 따르면, 멀티-채널 비디오 프로그래밍 장치(MVPD, Multi-channel programming devices), 게임 콘솔, 앱, 게임 등의 공지된 인터페이스 레이아웃의 데이터베이스가 생성 및 유지된다. 본 발명의 일 실시예에서, (예를 들어, 원격 제어를 통해) 적외선 블라스터(infrared blaster)를 포함하는 TV 장치가, 연결된 전자 장치들(예를 들어, 셋탑박스(STB))을 제어하기 위하여 커맨드를 전송하고 특정 시간 후에 전자 장치에서 캡쳐된 디스플레이 프레임으로부터 생성된 템플릿이 데이터 베이스에 자동적으로 채워질 수 있다. 이 실시예에서, 커맨드가 전송된 후 특정 시간이 되면, 시스템은 상기 연결된 전자 장치가 특정 동작(예를 들어, 채널 변경)에 대한 시각적인 피드백을 전달할 것을 알고 있다.
본 발명의 일 실시예에 따르면, 이벤트가 발생되기 전과 후의 프레임들을 비교함으로써, 사용자 인터페이스(UI) 레이아웃의 특정 패턴들이 상기 연결된 전자 장치에서 인식된다. 본 발명의 일 실시예에 따르면, 인식 가능한 모든 컨텐츠의 오디오/비디오 지문 데이터베이스가 요구되지는 않는다. 본 발명의 일 실시예에 따르면, 일단 연결된 전자 장치가 인식되면, 요청된 템플릿만이 패턴 매칭을 위해 전자 디스플레이 장치에 다운로드될 수 있으며, 이를 통해 서버 인프라를 최소화하고, 대역폭을 절약할 수 있다. TV와 같은 전자 디스플레이 장치에서 소비되는 음악, 도서, 웹사이트 등과 같은 어떠한 종류의 컨텐츠에도 적용 가능하다.
[0024] 본 발명의 일 실시예에 따르면, 전자 장치는 무선 통신 링크와 같은 통신 링크를 통해 데이터 통신이 가능한 전자 장치를 포함한다. 전자 장치로는 고정식 전자 장치(stationary electronic devices), 이동식 전화 장치(mobile phone device), 이동식 태블릿 장치(mobile tablet device) 등을 들 수 있다. 예를 들어, 고정식 전자 장치로는 텔레비전, 프로젝터 시스템 등이 있을 수 있다. 본 발명의 일 실시예에 따르면, 전자 장치를 이용한 사용자 시청 행동 추적 방법이 제공된다. 일 실시예에 따르면, 소스에서 전자 장치로 멀티 디스플레이 프레임을 제공하는 방법이 포함되어 있다. 일 실시예에 따르면, 전자 장치에 연결된 디스플레이 장치에서 보여지는 멀티 디스플레이 프레임 중 하나의 디스플레이 프레임이 이벤트에 따라 자동으로 캡쳐된다. 본 발명의 일 실시예에 따르면, 캡쳐된 디스플레이 프레임의 패턴은 복수의 프레임 템플릿에서 검색된 프레임 템플릿에 매칭된다. 본 발명의 일 실시예에 따르면, 매칭된 프레임 템플릿을 이용하여 캡쳐된 디스플레이 프레임으로부터 정보를 추출한다. 본 발명의 일 실시예에 따르면, 추출된 정보를 저장하여 사용자 시청 행동을 추적한다.
도 1은 본 발명의 일 실시예에 따른 통신 시스템을 나타낸 도면이다. 통신 시스템(10)은 외부 통신 동작(송신 장치(12))을 개시하는 통신 장치와, 송신 장치(12)가 통신 네트워크(110) 내에서 다른 통신 장치와 통신 작업을 개시하여 수행하는데 이용하는 통신 네트워크(110)를 포함할 수 있다. 예를 들어, 통신 시스템(10)은 송신 장치(12)(또는, 수신 장치 (11))로부터 통신 동작을 수신하는 통신 기기를 포함할 수 있다. 통신 시스템(10)은 복수의 송신 장치(12)와 복수의 수신 장치(11)를 포함할 수 있으나, 도면의 간략화를 위하여 이들 중 하나만을 도시하였다.
통신 네트워크 형성 작업이 가능하다면, 어떠한 적절한 회로, 장치, 시스템 또는 이들의 결합(예를 들어, 통신탑과 원격통신서버를 포함하는 무선 통신 인프라)이라도 통신 네트워크(110)을 생성하기 위해 사용될 수 있다. 통신 네트워크(110)는 적절한 통신 프로토콜을 사용하여 통신을 제공할 수 있다. 일부 실시예에 따르면, 통신 네트워크(110)는 기존의 전화선, 케이블 텔레비전, Wi-Fi(예를 들어, 802.11 프로토콜), 블루투스, 고주파 시스템(예를 들어, 900 MHz, 2.4 GHz, 5.6 GHz의 통신 시스템), 적외선, 비교적 지역화된 다른 무선 통신 프로토콜 또는 이들의 결합을 지원할 수 있다. 일부 실시예에 따르면, 통신 네트워크(110)는 무선 전화와 휴대 전화 및 개인 이메일 장치(예를 들어, 블랙베리)에 사용되는 프로토콜을 지원할 수 있다. 이러한 프로토콜은 예를 들어 GSM, GSM plus EDGE, CDMA, quadband 및 다른 셀룰러 프로토콜을 들 수 있다. 다른 예로는, 장거리 통신 프로토콜로는 Wi-Fi와 VOIP 또는 LAN을 이용하여 전화를 걸고 수신하는 프로토콜을 들 수 있다. 송신 장지(12)와 수신 장치(11)가 통신 네트워크(110) 내에 위치될 경우, 경로(13)과 같은 양방향 통신 경로로 통신할 수 있다. 송신 장치(12)와 수신 장치(11)는 통신 동작을 개시하고, 개시된 통신 동작을 수신할 수 있다.
송신 장치(12)와 수신 장치(11)는 통신 동작을 전송 및 수신하는데 적합한 어떠한 장치를 포함할 수 있다. 예를 들어, 송신 장치(12)와 수신 장치(11)는 텔레비전 시스템, 오디오/비디오 기능을 포함하는 장치, 테블릿 및 무선이 가능한 부속 시스템의 지원이 있거나 없이 무선 통신이 가능하거나 또는 유선 경로를 통해 통신이 가능한 장치가 포함될 수 있다. 예를 들어, 통신 동작은 전화 통화와 같은 음성 통신, 이메일, 문자 메시지, 미디어 메시지와 같은 데이터 통신 또는 이들을 결합(예를 들어, 화상 회의 등)을 포함하는 통신의 적절한 형태가 포함될 수 있다.
도 2는 본 발명의 일 실시예에 따른 전자 장치(120)에서 사용자 시청 행동을 추적하는데 사용될 수 있는 아키텍쳐 시스템(100)의 기능적 블록도이다. 송신 장치(12)와 수신 장치(11)는 전자 장치(120)의 기능 중 일부 또는 전부를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(120)는 디스플레이부(121), 마이크(122), 오디오 출력부(123), 입력부(124), 통신 회로(125), 제어 회로(126), 프레임 인식 모듈(135) 및 다른 적절한 부품이 포함될 수 있다. 일 실시예에 따르면, 프레임 인식 모듈(135)은 전자 장치(120)에 연결된 개별 부품을 포함할 수 있다. 일 실시예에 따르면, 어플리케이션 1-N(127)는 제공자(제3자 제공자, 개발자 등)에 의해 제공될 수 있으며, 여기에서 N은 1 이상의 양의 정수이고, 어플리케이션은 클라우드/서버(130), 통신 네트워크(110) 등으로부터 얻을 수 있다. 일 실시예에 따르면, 셋탑박스(131)는 전자 장치(120)에 프로그래밍을 제공한다. 일 실시예에 따르면 셋탁박스(131)는 어플리케이션 1-N(127)을 전자 장치(120)에 제공한다.
일 실시예에 따르면, 제어 회로(126)는 오디오 출력부(123), 디스플레이부(121), 입력 메커니즘(124), 통신 회로(125), 마이크(122)에 의해 사용되는 모든 어플리케이션을 상호간 연결하여 관리할 수 있다. 일 실시예에 따르면, 오디오 출력부(123)는 전자 장치(120)의 사용자에게 음성을 제공하는데 적합한 오디오 컴포넌트를 포함할 수 있다. 예를 들어, 오디오 출력부(123)는 전자 장치(120)에 내장된 하나 이상의 스피커(모노 또는 스테레오 스피커 등)를 포함할 수 있다. 일 실시예에 따르면, 오디오 출력부(123)는 전자 장치(120)에 원격으로 연결된 오디오 컴포넌트가 포함될 수 있다. 예를 들어, 오디오 출력부(123)는 와이어를 통해 통신 장치에 연결(예를 들어, 전자 장치(120)에 jack으로 연결)되거나 또는 무선(예를 들어, 블루투스® 헤드폰 또는 블루투스® 헤드셋)으로 연결된 헤드셋, 헤드폰 또는 이어버드(earbuds)가 포함될 수 있다.
본 발명의 일 실시예에 따르면, 디스플레이부(121)는 사용자에게 시각적인 디스플레이를 제공하는데 적합한 스크린 또는 프로젝션 시스템을 포함할 수 있다. 예를 들어, 디스플레이부(121)는 전자 장치(120)에 포함된 스크린(예를 들어, LCD 스크린 등)이 될 수 있다. 또 다른 예로, 디스플레이부(121)는 제어 회로(126)의 제어에 의해 전자 장치(120)(예를 들어, 비디오 프로젝터)에서 멀리 떨어진 표면에 컨텐츠의 디스플레이를 제공하는 이동식 디스플레이 또는 프로젝션 시스템을 포함할 수 있다. 디스플레이부(121)는 제어 회로(126)의 지시에 따라 컨텐츠(예를 들어, 통신 동작 관련 정보 또는 사용 가능한 미디어 선택 관련 정보)를 디스플레이하는 동작을 할 수 있다.
본 발명의 일 실시예에 따르면, 입력 메커니즘(124)은 전자 장치(120)에 사용자 입력이나 지시를 제공하는데 적절한 어떠한 메커니즘이나 사용자 인터페이스가 될 수 있다. 입력 메커니즘(124)은 버튼, 키패드, 다이얼, 클릭 휠, 또는 터치 스크린 등 다양한 형태를 가질 수 있다. 입력 메커니즘(124)은 멀티 터치 스크린, 리모콘, 음성 인식 시스템(예를 들어, 자동 음성 인식 (ASR) 등)을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 통신 회로(125)는 통신 네트워크(예를 들어, 도 1의 통신 네트워크)에 연결되어, 전자 장치(120)에서 통신 네트워크 내의 다른 장치로 통신 동작 및 미디어를 전송하는데 적절한 통신 회로가 될 수 있다. 통신 회로(125)는 Wi-Fi(예를 들어, 802. 11 프로토콜), 블루투스, 고주파 시스템(예를 들어, 900 MHz, 2.4 GHz, 5.6 GHz의 통신 시스템), 적외선, GSM, GSM plus EDGE, CDMA, quadband 및 다른 셀룰러 프로토콜, VOIP, 또는 다른 적절한 프로토콜과 같은 적절한 통신 프로토콜을 이용하는 통신 네트워크에 접속하는 동작을 할 수 있다.
본 발명의 일부 실시예에 따르면, 통신 회로(125)는 적절한 통신 프로토콜을 이용하는 통신 네트워크를 생성할 수 있다. 예를 들어, 통신 회로(125)는 다른 통신 장치에 접속하기 위하여 단거리 통신 프로토콜을 이용하는 단거리 통신 네트워크를 생성할 수 있다. 예를 들어, 통신 회로(125)는 전자 장치(120)와 블루투스® 헤드셋을 연결하기 위해 블루투스® 프로토콜을 이용하는 로컬 통신 네트워크를 생성할 수 있다.
본 발명의 일 실시예에 따르면, 제어 회로(126)는 전자 장치(120)의 동작과 성능을 제어하는 동작을 할 수 있다. 예를 들어, 제어 회로(126)는 프로세서, 전자 장치(120)의 다른 구성 소자에 지시를 전달하기 위한 버스(bus), 메모리, 저장장치 또는 전자 장치(120)의 동작을 제어하는데 적절한 다른 구성을 포함할 수 있다. 일부 실시예에 따르면, 프로세서는 디스플레이부를 구동시키고, 유저 인터페이스로부터 수신된 입력들을 처리할 수 있다. 예를 들어, 메모리 및 스토리지(storage)는 캐쉬(cache), 플래쉬 메모리(flash memory), ROM 및/또는 RAM이 포함될 수 있다. 일부 실시예에 따르면, 특히, 메모리는 예를 들어, 운영 시스템과 같은 장치 어플리케이션, 유저 인터페이스 기능 및 프로세서 기능을 위한 펌웨어를 저장하는데 사용될 수 있다. 본 발명의 일부 실시예에 따르면, 메모리는 전자 장치(120)가 통신 동작(예를 들어, 통신 동작과 관련된 접속 정보를 저장하거나, 사용자에 의해 선택된 서로 다른 미디어 타입 및 미디어 아이템과 관련된 정보를 저장)을 수행하는 다른 장치와 관련된 정보를 저장하는 동작을 할 수 있다.
본 발명의 일 실시예에 따르면, 제어 회로(126)는 전자 장치(120) 상에서 실행된 하나 이상의 어플리케이션을 실행하는 동작을 할 수 있다. 적절한 수 또는 타입의 어플리케이션이 실행될 수 있다. 다음의 논의에 따라 다양한 어플리케이션이 열거되지만, 어플리케이션의 일부 또는 전부가 결합하여 하나 이상의 어플리케이션이 될 수 있다. 예를 들어, 전자 장치(120)는 자동 음성 인식 (ASR, automatic speech recognition) 어플리케이션, 대화(dialog) 어플리케이션, 맵(map) 어플리케이션, 퀵 타임(Quick time), 모바일 뮤직 앱(MobileMusic.app) 또는 모바일 비디오 앱(MobileVideo.app) 등과 같은 미디어 어플리케이션, 인터넷 소셜 미디어 앱, 온디맨드 무비(on-demand) 앱 등을 포함할 수 있다. 일부 실시예에 따르면, 전자 장치(120)는 통신 동작을 실행할 수 있는 하나 또는 여러 개의 어플리케이션을 포함할 수 있다. 예를 들어, 전자 장치(120)은 메시지 어플리케이션, 메일 어플리케이션, 보이스 메일 어플리케이션, 채팅과 같은 메신저 어플리케이션, 화상 회의 어플리케이션, 팩스 어플리케이션 또는 적절한 통신 동작을 수행하는 적절한 다른 어플리케이션을 포함할 수 있다.
본 발명의 일부 실시예에 따르면, 전자 장치(120)는 마이크(122)를 포함할 수 있다. 예를 들어, 전자 장치(120)가 통신 동작을 실행하는 동안 또는 통신 동작을 설정하는 수단이나 물리적 유저 인터페이스를 이용하는 것의 대안으로써, 어플리케이션 1-N(127)의 음성 제어 및 네비게이션(navigation)을 위한 오디오(예를 들어, 보이스 오디오)를 사용자가 전송할 수 있도록 마이크(122)를 포함할 수 있다. 마이크(122)는 전자 장치(120) 내에 포함될 수 있으며, 또는 전자 장치(120)에 원격으로 연결될 수 있다. 예를 들어, 마이크(122)는 유선 헤드폰, 무선 헤드셋에 포함되거나, 원격 제어 장치 등에 포함될 수도 있다.
본 발명의 일 실시예에 따르면, 전자 장치(120)는 통신 동작을 실행하는데 적절한 다른 구성요소를 포함할 수 있다. 예를 들어, 전자 장치(120)는 전원 장치, 포트 또는 호스트 장치와의 연결을 위한 인터페이스, ON/OFF 스위치와 같은 2차 입력 장치 또는 적절한 다른 구성 요소를 포함할 수 있다.
도 3은 일 실시예에 따른, 전자 장치(120)에서 패턴 매칭 및 문자 인식을 이용하여 사용자 시청 행동을 추적하는 아키텍처 시스템(200)의 블록도이다. 본 발명의 일 실시예에 따르면, 프레임 인식 모듈(135)은 비디오 프레임 버퍼에 액세스할 수 있는 디스플레이부(121)(또는 렌더링 장치) 내에서 실행할 수 있다. 일 실시예에 따르면, 프레임 인식 모듈(135)은 디스플레이부(121) 상에 디스플레이되는 디스플레이 프레임(예를 들어, 비디오 프레임)에 대해 부분적인 정보를 가지고 있거나, 어떠한 정보도 가지고 있지 않는다. 일 실시예에 따르면, 시스템(200)은 네트워크 타임 프로토콜(NTP) 타임 제공자 및 IP2Location 제공자(201), 온스크린 디스플레이(OSD, on-screen display) 참조 데이터 제공자(202), 전자 프로그래밍 가이드(EPG, electronic programming guide) 데이터 제공자(203), TV(케이블/위성) 제공자(115), 셋탑박스(STB)(131), 클라우드/서버(130) 및 전자 장치(120)를 포함한다.
본 발명의 일 실시예에 따르면, 디스플레이부(121)는 셋탑박스(131), 인터넷(예를 들어, 내장된 브라우저를 통해), 또는 클라우드/서버(130), BDP, 게임 콘솔, 디지털 스트리밍 장치, PC, 태블릿 컴퓨터, 휴대 전화, 카메라 등과 같은 다양한 소스로부터 영상 신호를 수신한다. 일 실시예에 따르면, 소스는 HDMI, DVI, RGB composite, 구성요소, 무선 접속 장치 또는 네트워크 상의 다른 배선 연결 등을 포함하는 오디오/비디오 연결 중 어떠한 타입을 이용하여 디스플레이부(121)에 연결된다.
본 발명의 일 실시예에 따르면, 디스플레이부(121)에 제공된 디스플레이 프레임과 매칭될 프레임 패턴을 나타내는 엔트리를 포함하는 프레임 템플릿의 데이터 베이스와, 인식 대상인 특정 스크린 레이아웃을 위한 OCR 마스크는 메모리(예를 들어, 메모리 모듈, 메모리 장치 등) 내의 전자 장치(120)에 저장되거나, 클라우드 컴퓨팅 환경(예를 들어, 클라우드/서버(130) 내)에 저장될 수 있다. 일 실시예에 따르면, 프레임 템플릿은 그 프레임 탬플릿에 해당되는 장치/앱/이벤트(예를 들어, 셋탑박스 로딩 화면, 앱의 스프래시 화면(splash screen), 셋탑박스 채널 변경 배너 등), 특정 스크린 레이아웃을 인식하기 위한 패턴 매칭에 사용될 크롭 영역(crop area), OCR 마스크(예를 들어, 텍스트가 디스플레이되거나, 다른 그래픽 특성이 발견되는 좌표나 위치를 나타냄)와 같은 정보가 포함될 수 있다. 일 실시예에 따르면, OCR 마스크는 다양한 정보를 추출하기 위한 프레임 내의 사각형 영역들, 정보를 추출하기 위한 패턴 매칭에 사용될 크롭 영역(예를 들어, 별(stars)로 등급 표시), OCR 에 사용될 훈련 데이터(training data), 이미지 전 처리를 위해 사용될 정보(예를 들어, 매칭 메트릭 값(matching metric value), 매칭 임계값 등)를 나타낸다.
본 발명의 일 실시예에 따르면, 디스플레이 프레임 자체에서 모든 정보를 추출할 필요는 없으며, 영화 제목, TV 쇼, 음악 설명 또는 노래 제목, 연락처 이름 등과 같이 컨텐츠나 엔트리의 특정 식별자만 추출하면 된다. 일 실시예에 따르면, 컨텐츠나 엔트리에 대한 추가 정보는 지원 데이터베이스에서 찾아볼 수 있다(예를 들어, 클라우드/서버(130)에 저장되어 있거나, 인터넷을 통해 획득됨). 일 실시예에 따르면, 셋탑박스에 의해 디스플레이되는 채널 변경 배너는 정보(예를 들어, 셋탑박스 오버레이 배너(232))를 디스플레이하는데 사용될 수 있다. 본 발명의 일 실시예에 따르면, 프레임 인식 모듈(135)은 디스플레이 프레임의 채널 번호를 추출하고, TV(케이블/위성) 제공자(115) 및 IP2Location 제공자(201)에 의해 제공되는 위치 또는 사용자에 의해 Geo-위치 입력(243)으로 제공되는 위치에 따라, EPG(electronic programming guide) 데이터 제공자(203)에 의해 EPG 입력(244)으로 제공되는 EPG 데이터베이스에서 채널명과 현재의 프로그램을 찾아볼 수 있다.
본 발명의 일 실시예에 따르면, 프레임 인식 모듈(135)은 소스 식별 모듈(245), 참조 채널 변경 및 배너 인식 모듈(240), OCR 모듈(250), UI 디스플레이 설명 모듈(241), 로컬 타임 입력(242), Geo 위치 입력(243), EPG 입력(244), 디스플레이 프레임 OCR 결과 모듈(260), 컨텐츠 탐색 모듈(270) 및 컨텐츠 메타데이터 모듈(280)을 포함한다.
본 발명의 일 실시예에 따르면, 프레임 인식 모듈(135)은 디스플레이 스크린 상의 정보를 사람이 읽고 인식하는데 요구되는 것과 유사하게, 규칙적인 간격, 예를 들어, 몇 초(2, 3, 5초)마다 디스플레이부(121)의 비디오 버퍼로부터 디스플레이 프레임을 자동으로 추출한다. 일 실시예에 따르면, 현재 선택된 비디오 입력 소스가 템플릿 매칭을 위해 소스 식별 모듈(245)로부터 아직 식별되지 않았다면, 프레임 인식 모듈(135)은 검색 영역의 범위를 좁히기 위하여 휴리스틱(heuristics)을 이용한다. 일 실시예에 따르면, 전자 장치(120) 내의 GPS 수신기와 IP-to-location 서비스(예를 들어, IP2Location(201) 정보)로부터의 Geo 위치 입력(243)은 특정 지역에서 사용 가능한 케이블/위성 제공자(115)의 수를 줄이는 데 사용될 수 있고, 이로써 복수의 프레임 템플릿에서 패턴 매칭을 위해 검색될 필요가 있는 프레임 템플릿의 수를 감소시킬 수 있다.
본 발명의 일 실시예에 따르면, HDMI 포트에 연결된 CEC(Consumer Electronics Control)에 부합하는 장치에 있어서, 소스 식별 모듈(245)은 패턴 매칭을 위해 검색될 프레임 템플릿의 범위를, 이러한 타입의 장치에서 관찰되는 스크린 레이아웃과 관련된 프레임 템플릿만으로 좁혀간다. 일 실시예에 따르면, 소스 식별 모듈(245)은 전자 장치(120)에 연결된 셋탑박스(131)의 탐색된 특정 장치 브랜드/모델을 이용하는 MVPD(multichannel video programming distributor) 제공자의 프레임 템플릿만을 검색하는 것에 기반하여, 패턴 매칭을 위한 프레임 템플릿의 검색 범위(search domain)를 감소시킨다.
본 발명의 일 실시예에 따르면, 프레임 템플릿이 매칭되고 입력 소스에 연결된 장치(예를 들어, 전자 장치(120)의 HDMI-2 입력에 연결된 Xbox®를 유일하게 식별하였다면, HDMI-2 입력 소스가 전자 장치(120)를 위해 선택된 경우, 소스 식별 모듈(245)은 이 구성을 이용하여 Xbox®의스크린 프레임 템플릿만으로 프레임 템플릿의 검색 범위를 좁힌다. 일 실시예에 따르면, COX®의 셋탑박스와 같이 입력 소스가 이미 식별되었다면, 소스 식별 모듈(245)은 참조 채널 변경 및 배너 인식 모듈(240)을 이용하여 단지 관련 프레임 템플릿, 즉, 이 경우 채널 변경 배너, DVR(Digital Video Recorder) 재생 배너, 트릭 플레이(trickplay) 동작(예를 들어, 멈춤, 되감기, 빨리 감기 등), VOD(Video-on-Demand) 타이틀 목록 등을 매칭한다.
일 실시예에 따르면, 일단 특정 프레임 템플릿이 매칭되면, 프레임 인식 모듈(135)은 서로 다른 데이터 포인트들에 대하여, 매칭된 프레임 템플릿을 이용하여 디스플레이 프레임으로부터 데이터를 추출하고, 데이터 포인트를 기록하며, 템플릿 매칭 우선순위를 업데이트한다. 일 실시예에 따르면, 이전에 매칭된 프레임 템플릿에 따른 가능성에 기반하여 관련 프레임 템플릿을 분류함으로써, 템플릿 매칭 우선순위는 어떠한 때에도 적용이 가능하다. 일 실시예에 따르면, 일단 VOD 타이틀 목록이 식별되면, 프레임 인식 모듈(135)은 가장 높은 우선순위를 타이틀 디테일 페이지에 할당하고, 사용자가 특정 타이틀 보기를 선택할 경우, 일반적으로 이 페이지가 디스플레이된다.
본 발명의 일 실시예에 따르면, 템플릿 매칭 프로세스에서, UI 디스플레이 설명 모듈(241)에 의해 결정된 배너 영역의 좌표와 같은 프레임 템플릿 내의 정보에 기반하여 원 이미지로부터 요구되는 영역을 먼저 잘라낸다(crop). 일 실시예에 따르면, UI 내에 투명성(transparency)이 존재하는 경우, 투명성을 제거한다. 일 실시예에 따르면, 프레임 인식 모듈(135)은 프레임 템플릿 마스크(예를 들어, 프레임 배너 영역에 나타나는 공통 화소(common pixel))를 이용하여 픽셀 레벨 매칭(pixel level matching)을 수행한다. 일 실시예에 따르면, 가능한 매칭 메트릭으로는 MAE(Mean Absolute Error), PSNR(Peak Signal to Noise Ratio) 및 다른 이미지 품질 평가 메트릭이 있을 수 있다. 일 실시예에 따르면, 일단 매칭 결과가 임계 요구 조건(임계값)을 만족시키면, 그 결과에서 매칭 프레임 템플릿을 찾는다. 일 실시예에 따르면, 프레임 템플릿은 메모리(예를 들어, 전자 장치(120), 클라우드/서버(130) 등)에 저장되고, 프레임 템플릿과 TV 입력 소소 간의 맵핑(mapping)이 생성된다. 일 실시예에 따르면, 매칭 전과 후에, 주파수 도메인 매칭이 이용될 수 있으며, 크롭된 이미지에 대해 정방향 변형 및 역방향 변형(forward and reverse transformation)이 수행된다.
본 발명의 일 실시예에 따르면, 프레임 템플릿을 매칭한 후, OCR 모듈(250)은 OCR을 통해 문자 인식을 실행한다. 주목해야 할 점은 일반적으로 이용할 수 있는 OCR 솔루션은 용량이 큰 텍스트 문서에서 텍스트 인식에 중점을 둔다는 것이다. 이는 일반적인 OCR 모듈의 이상적인 입력은 대용량 문서에서 흑백 텍스트 파일임을 의미한다. 그러나, 대부분의 프로그래밍 배너와 어플리케이션에서의 텍스트는 보통 큰 아트(art) 폰트이기 때문에 일반적인 OCR 로는 정확한 결과를 얻을 수가 없다. 일 실시예에 따르면, 이러한 문제를 해결하기 위하여, 크롭된 텍스트 영역에서 OCR 모듈(250)에 의해 OCR을 적용할 때, 전처리 및 후처리 단계가 이용된다. 본 발명의 일 실시예에 따르면, OCR 모듈(250)은 전처리를 이용하여, 동일한 배경색을 지닌 텍스트 영역을 확장하고, 동일한 폰트에서 추가로 알려진 텍스트를 텍스트 영역에 추가한다. 이 후, OCR 모듈(250)은 새로운 텍스트 영역에서 결과를 얻을 수 있다. 본 발명의 일 실시예에 따르면, 후처리에서, OCR 모듈(250)은 추가된 텍스트를 제거하고 원 이미지에 원하는 텍스트를 복구한다. 본 발명의 일 실시예에 따르면, OCR 모듈(250)은 처리를 완료한 후, 그 결과를 디스플레이 프레임 OCR 결과 모듈(260)로 전달한다.
본 발명의 일 실시예에 따르면, 반 자동 또는 자동으로 클라우드 기반 프레임 템플릿 데이터베이스를 포함한다. 일부 TV 장치는 연결 장치, 특히 셋탑박스를 제어하는 적외선 블라스터(IR Blaster)를 포함한다. 일 실시예에 따르면, 지원되는 MVPD(MVPD, multichannel video programming distributor), 위치(Zip code) 및 셋탑박스 장치 모델의 목록 중에서 선택하도록 사용자에게 요청한다. 이러한 정보로, 전자 장치(120)는 셋탑박스 장치에 올바른 IR 커맨드를 전달할 수 있고, 특정된 지리적 위치에서 시청자의 서비스 제공자(예를 들어, 케이블/위성 제공자(115))에 대한 EPG 정보를 조회할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 구성에서, 프레임 인식 모듈(135)은 IR 커맨드가 전달된 후에 디스플레이부(121)의 비디오 버퍼로부터 디스플레이 프레임을 캡쳐할 수 있으며, 디스플레이 프레임을 비교하여 특정 장치 인터페이스 레이아웃과 공통되는 UI의 구별되는 특징을 식별할 수 있다. 일 실시예에 따르면, OCR 모듈(250)은 예측된 텍스트에 기반하여 OCR 영역의 위치를 찾아낸다. 본 발명의 일 실시예에 따르면, 프레임 인식 모듈(135)은 채널 변경 배너가 사용하는 공통의 패턴을 알 수 있으며, 프로그램명과 지속시간뿐만 아니라, 채널 번호 및 채널명이 어디에 디스플레이 될 것인지를 결정하기 위하여 셋탑박스(STB(131))가 어떤 채널을 선국할 것인지도 알 수 있다.
일단 OCR 모듈로부터 정보를 얻게 되면, 로컬 타임 입력(242), Geo-위치 입력(243) 및 EPG 입력(244)이 컨텐츠 탐색 모듈(270)에 추가된다. 그리고 난 후, 프레임 인식 모듈(135)의 모듈들로부터 획득된 정보의 결과가 컨텐츠 메타데이터 모듈(280)에 의해 컨텐츠 메타데이터로서 메모리에 저장된다. 본 발명의 일 실시예에 따르면, 컨텐츠 메타데이터에는 시청물, 시청한 시간, 시청 지속 시간, 시청 변화 등이 포함된 사용자의 시청 습관에 대한 정보가 포함된다. 이러한 정보는 마케팅, 선호도 결정, 전달 대상인 시청자 컨텐츠 결정 등과 같은 목적으로 사용될 수 있다.
도 4는 일 실시예에 따른 전자 장치(120)에서 패턴 매칭과 문자 인식을 이용하여 사용자 시청 행동을 추적하는데 사용되는 디스플레이 프레임(400)을 예시한 것이다. 디스플레이 프레임(400)의 실시예에 따르면, 디스플레이 프레임(400)에는 채널명(401), 프로그램명(402), 채널 로고(403), 채널 번호(404), 프로그램 방송 시간(405)이 포함되어 있다. 일 실시예에 따르면, 디스플레이 프레임(400)에 있어서, 패턴 매칭 크롭 영역(406)은 프레임 템플릿 매칭에 사용될 영역을 보여준다. 이 같이 예시된 디스플레이 프레임(400)에 있어서, 표시된 정보(예를 들어, 채널명(401), 프로그램명(402), 채널 로고(403), 채널 번호(404), 프로그램 방송 시간(405))가 프레임 인식 모듈(135)을 통해 획득될 수 있도록 COX® 셋탑박스에 대한 프레임 템플릿이 이용될 수 있다.
도 5는 일 실시예에 따른 전자 장치(120)에서 패턴 매칭 및 문자 인식을 이용하여 사용자 시청 행동을 추적하는데 사용되는 디스플레이 프레임(500)을 예시한 것이다. 예시된 디스플레이 프레임(500)에는 프로그램명(501), 채널명(502), 프로그램 방송 시간(503), 프로그램 설명(일부)(504) 및 채널 번호(505)가 포함되어 있다. 이 같이 예시된 디스플레이 프레임(500)에서, 표시된 정보(예를 들어, 프로그램명(501), 채널명(502), 프로그램 방송 시간(503), 프로그램 설명(일부)(504) 및 채널 번호(505))가 프레임 인식 모듈(135)을 통해 획득될 수 있도록 하기 위해 TIME WARNER® 셋탑박스에 대한 프레임 템플릿이 이용될 수 있다.
도 6은 일 실시예에 따른, 전자 장치(120)에서 패턴 매칭 및 문자 인식을 이용하여 사용자 시청 행동을 추적하는데 사용되는 디스플레이 프레임(600)을 예시한 것이다. 예시된 디스플레이 프레임(600)에는 패턴 매칭 크롭 영역(601), 평균 시청률(602), 개봉 년도(603), MPAA(Motion Picture Association of America) 등급, 영화 제목(605), 상영 시간(606), 시놉시스(607), 캐스팅(608), 장르(609), 감독(610)이 포함된다. 일 실시예에 따르면, 디스플레이 프레임(600)에 있어서, 패턴 매칭 크롭 영역(601)은 프레임 템플릿 매칭에 사용되는 영역을 나타낸다. 예시된 디스플레이 프레임(600)에 있어서, 표시된 정보(예를 들어, 평균 시청률(602), 개봉 년도(603), MPAA 등급, 영화 제목(605), 상영 시간(606), 시놉시스(607), 캐스팅(608), 영화 장르(609), 감독(610))가 프레임 인식 모듈(135)을 통해 획득될 수 있도록 NETFLIX® App에 대한 프레임 템플릿이 이용될 수 있다. 주목해야 할 점은 디스플레이 프레임(600)에 포함된 이용 가능한 다른 정보(예를 들어, 텍스트 정보)를 실시예에 따라 추출할 수 있다는 것이다.
도 7은 일 실시예에 따른 전자 장치(120)에서 패턴 매칭 및 문자 인식을 이용하여 사용자 시청 행동을 추적하는데 사용되는 디스플레이 프레임(700)을 예시한 것이다. 예시된 디스플레이 프레임(700)에는 패턴 매칭 크롭 영역(701), 연락처 이름(702), 트위트(TWEETS®(703)가 포함되어 있다. 본 발명의 일 실시예에 따르면, 디스플레이 프레임(700)에서, 패턴 매칭 크롭 영역(701)은 프레임 템플릿 매칭에 사용되는 영역을 나타낸다. 이 같이 예시된 디스플레이 프레임(700)에 있어서, 표시된 정보(예를 들어, 연락처 이름(702) 및 트위트(703)가 프레임 인식 모듈(135)을 통해 획득될 수 있도록 TWITTER® App에 대한 프레임 템플릿이 이용될 수 있다.
도 8은 일 실시예에 따른 프레임 템플릿에 대한 검색 공간을 감소시키는 프로세스를 나타내는 흐름도(800)이다. 본 발명의 일 실시예에 따르면, 블록(410)에서, IP-to-location 서비스(예를 들어, IP2Location(201)) 또는 GPS 수신기를 이용하여 위치를 판단한다. 본 발명의 일 실시예에 따르면, 블록 420에서, 상기 수신된 위치 정보에 기반하여 해당 영역에서 이용할 수 없는(즉, 주변 위치에 서비스를 제공하지 않는 영역) 것으로 판단된 MSO를 이용하여 매칭 프레임 템플릿에 대한 검색 공간/범위를 감소시키기 위하여 이용할 수 없는 MSO에 해당하는 검색 범위에서 프레임 템플릿을 제거한다. 본 발명의 일 실시예에 따르면, 블록 430에서, 선택된 입력 소스를 탐색한다(예를 들어, HDMI, DVI, RGB, 구성(component), 합성(composite) 등). 일 실시예에 따르면, 또한, 입력 컨텐츠 타입은 템플릿(오디오, 비디오, 오디오-비쥬얼, LPCM(linear pulse code modulation), Dolby® Digital, DTS(digital theatre systems) 등)의 축소를 위해 사용할 수 있다. 본 발명의 일 실시예에 따르면, 블록 440에서, 탐색된 입력이 HDMI 입력인지를 판단한다. 일 실시예에 따르면, 탐색된 소스가 HDMI 입력인 경우, 흐름도(800)는 블록 450으로 진행되고, 그렇지 않은 경우, 흐름도(800)는 블록 480으로 진행된다.
본 발명의 일 실시예에 따르면, 블록 450에서, 소스 장치가 HDMI-CEC 장치(예를 들어, 플레이 스테이션 3와 같은 비디오 게임 플랫폼)인지를 판단하기 위해 확인된다. 일 실시예에 따르면, 소스 장치가 HDMI-CEC를 지원하고 실행하게 한다면, CEC 핸드셰이크(handshake) 동안 소스 장치는 식별 정보 및 성능 정보를 전송한다. 일 실시예에 따르면, 이러한 정보는 TV 장치가 장치 타입 및/또는 모델을 판단할 수 있도록 해주며, 이를 통해 템플릿 검색 공간을 줄일 수 있도록 도움을 준다. 만약, CEC 정보가 수신되지 않는 경우(예를 들어, HDMI-CEC 특징이 활성화되지 않은 경우), 검색 공간에서는 어떠한 템플릿도 제거되지 않는다.
소스 장치가 HDMI-CEC 장치이거나 또는 그렇지 않은 경우, 흐름도(800)는 이러한 정보를 이용하여 블록 460으로 진행되며 장치의 타입 및/또는 모델을 판단하여 탐색할 수 있도록 도움을 준다. 블록 460에서, 장치 타입이나 모델이 탐색된 경우, 흐름도(800)는 블록 470으로 진행되고, 그렇지 않은 경우 흐름도(800)는 블록 480으로 진행된다.
본 발명의 일 실시예에 따르면, 블록 470에서, 탐색된 장치 타입 또는 모델과 관련이 없는 프레임 템플릿은 매칭 프레임 템플릿을 위한 검색 공간/범위를 축소하기 위하여 프레임 템플릿의 검색에서 제거된다. 일 실시예에 따르면, 블록 480에서, 입력 소스 장치의 해상도가 결정된다. 일 실시예에 따르면, 블록 490에서, 결정된 해상도에 따라 매칭 프레임 템플릿을 위한 검색 공간/도메인을 축소하기 위하여 상기 결정된 입력 해상도와 관련이 없는 프레임 템플릿은 프레임 템플릿을 위한 검색에서 제거된다.
도 9는 일 실시예에 따른, 전자 장치(예를 들어, 전자 장치(120))에서 패턴 매칭 및 문자 인식(예를 들어, OCR)을 이용한 사용자 시청 행동을 추적하기 위한 데이터 추출 프로세스를 나타내는 흐름도(900)이다. 일 실시예에 따르면, 블록 910에서, 디스플레이 프레임(예를 들어, 비디오 프레임)은 디스플레이 장치(예를 들어, 도 2 및 도 3의 디스플레이부(121))를 통해 시청할 수 있는 멀티 디스플레이 프레임 중에서 캡쳐된다. 일 실시예에 따르면, 블록 920에서, 캡쳐된 디스플레이 프레임이 알려진 소스에서 비롯된 것인지 여부가 판단된다. 본 발명의 일 실시예에 따르면, 캡쳐된 디스플레이 프레임이 알려진 소스에서 비롯된 것으로(예를 들어, 흐름도(800)를 이용하여) 판단되면, 흐름도(900)는 블록 940으로 진행되고, 그렇지 않은 경우, 흐름도(900)은 블록 930으로 진행된다.
본 발명의 일 실시예에 따르면, 블록 940에서, 저장된 멀티 디스플레이 프레임 템플릿(예를 들어, 전자 장치의 메모리 내의 데이터 베이스에, 또는 클라우드/서버 상의 데이터베이스에 저장된) 중에서, 판단된 소스를 사용하여 매칭 프레임 템플릿을 검색한다. 블록 930에서, (제거할 수 없는 템플릿이 있다면) 모든 프레임 템플릿에 대해 검색을 수행한다. 실시예에 따르면, 블록 950에서, 캡쳐된 디스플레이 프레임에 대해 매칭되는 프레임 템플릿이 발견된 경우, 흐름도(900)는 블록 960으로 진행되고, 그렇지 않은 경우, 흐름도(900)는 블록 910으로 진행된다.
본 발명의 일 실시예에 따르면, 블록 960에서, 정보(채널명, 프로그램명, 방송 시간, TWEET® 시청률 등)는 상기 매칭된 템플릿을 이용하여 캡쳐된 디스플레이 프레임으로부터 추출되어 그 정보가 기록/저장되며, 프레임 템플릿에 대한 매칭 우선순위가 업데이트된다. 일 실시예에 따르면, 블록 970은 추출된 정보에 기반하여 현재 소스가 식별되었는지를 판단한다. 소스가 식별된 경우, 흐름도(900)는 블록 980에서와 같이, 이러한 정보를 메모리에 저장함으로써 디스플레이 프레임의 소스를 기억한다. 일 실시예에 따르면, 흐름도(900)는 기 설정된 시간 간격(예를 들어, 2, 3, 4, 5, 10초 등) 몇 초마다 주기적으로, 또는 이벤트(리모콘 작동, 채널 변경 등)에 따라 자동으로 디스플레이 프레임을 추가로 캡쳐하기 위해 블록 910으로 되돌아간다.
도 10은 일 실시예에 따른, 전자 장치(예를 들어, 도 2 및 도 3에 도시된 전자 장치(120))에서 패턴 매칭 및 문자 인식(예를 들어, OCR)을 이용하여 사용자 시청 행동을 추적하기 위하여 템플릿을 매칭하는 프로세스를 나타내는 흐름도(1000)이다. 본 발명의 일 실시예에 따르면, 블록 1010에서, (예를 들어, 흐름도(800)이나 흐름도(900)을 이용하여) 프레임 템플릿을 선택한다. 일 실시예에 따르면, 블록 1020에서, 선택된 프레임 템플릿의 크롭 좌표에 기반하여, 캡쳐된 디스플레이 프레임을 자른다. 블록 1030에서, 캡쳐된 디스플레이 프레임에서 투명성이 발견된 경우, 투명성을 제거한다. 블록 1040에서, 매칭 메트릭은 UI 마스크(예를 들어, MAE, PSNR 등)에 따라 산출된다. 본 발명의 일 실시예에 따르면, 블록 1050에서는 매칭 메트릭의 산출 결과를 이용하여 매칭을 위한, 선택된 비교 임계값이 만족스러운지 여부를 판단한다. 그 결과가 비교 임계값을 만족시키는 경우, 흐름도(1000)는 블록 1060으로 진행되어, 캡쳐된 디스플레이 이미지에 매칭되는 프레임 템플릿을 발견하고, 이 프레임 템플릿을 메모리(전자 장치(120)나 클라우드/서버(130) 등)에 저장한다. 메트릭 결과에 대한 비교 임계값이 만족스럽지 않은 경우(즉, 결과가 원하는 임계값 이하인 경우), 흐름도(1000)는 블록 1010으로 진행된다.
도 11은 일 실시예에 따른, 전자 장치(예를 들어, 전자 장치(120))에서 패턴 매칭 및 문자 인식(예를 들어, OCR)을 이용하여 사용자 시청 행동을 추적하기 위한 채널 변경 배너의 이용을 나타내는 디스플레이 프레임(1100)을 나타낸 것이다. 본 발명의 일 실시예에 따르면, 디스플레이 프레임(1100)은 원격 제어 동작(예를 들어, 채널 변경 IR 커맨드)이 생성된 후에 캡쳐된다. 공통 패턴(1110)과 OCR 마스크(1120)에 있어서, OCR 마스크(1120)는 디스플레이 프레임(1100)에서 어디에 위치해 있는지에 대한 지식에 기반하여 선택된다. 디스플레이 프레임(1100)에 있어서, 채널 변경 동작은 COX® 통신사의 셋탑박스로 이루어질 수 있다. 본 발명의 일 실시예에 따르면, 채널 변경 배너에 의해 사용되는 공통 패턴(1110)과 셋탑박스가 어떤 채널에 선국될지에 대한 지식이 프레임 인식 모듈(135)(도 2, 도 3에 도시)에 의해 사용되어 채널 번호와 채널명, 프로그램명, 지속 시간 등이 어디에 디스플레이 될지를 결정하게 된다.
본 발명이 속하는 분야에서 통상의 지식을 가진 자라면, 상기 예시한 아키텍쳐를 상술한 바에 따라 다양한 방식으로 실행할 수 있다. 예를 들어 프로세서의 실행을 위한 프로그램 지시, 소프트웨어 모듈, 마이크로코드, 컴퓨터 판독가능 매체상의 프로그램 제품, 아날로그/로직 회로, 어플리케이션 특화 통합 회로, 펌웨어, 소비자 전자 장치, AV 장치, 유/무선 송신기, 유/무선 수신기, 네트워크, 멀티 미디어 장치 등을 들 수 있다. 또한, 상기한 아키텍쳐들은 다양한 실시예로 구성될 수 있다. 전체적으로 하드웨어나 소프트웨어 형태, 또는 하드웨어와 소프트웨어 요소를 포함하고 있는 형태로 구성될 수 있다.
본 발명의 실시예는 방법, 장치(시스템) 및 컴퓨터 프로그램 제품을 예시한 흐름도 및/또는 블록도에 도시하고 설명하였다. 각 도시한 도면 및 블록도는 컴퓨터 프로그램 지시에 의해 실행될 수 있다. 컴퓨터 프로그램 지시가 프로세서에 제공되면 기계 제품을 생산하게 되며 프로세서를 통해 실행되는 이러한 지시를 통해 흐름도 및/또는 블록도에서 구체적으로 나타난 기능/작동을 실행하는 수단이 만들어지게 된다. 흐름도/블록도의 각 블록은 실시형태를 실행하는 하드웨어 및/또는 소프트웨어의 모듈 또는 로직을 나타낸다. 대안 실행에서 블록에서 지시된 기능은 도면에서 지시된 명령에 의해 동시에 실행될 수 있다.
“컴퓨터 프로그램 매체”, “컴퓨터 사용 가능 매체”, “컴퓨터 판독 가능 매체”, “컴퓨터 프로그램 제품”과 같은 용어들은 일반적으로 메인 메모리, 보조 메모리, 이동가능 저장매체, 하드 디스크 드라이브에 설치된 하드 디스크와 같은 매체를 의미한다. 이러한 컴퓨터 프로그램 제품은 소프트웨어를 컴퓨터 시스템에 제공하기 위한 수단이다. 컴퓨터 판독가능 매체를 통해 컴퓨터 시스템은 데이터, 지시, 메시지 또는 메시지 패킷을 읽을 수 있고 또는 컴퓨터 판독가능 매체로부터 다른 컴퓨터 해독가능 정보를 읽을 수 있다. 예를 들어, 컴퓨터 판독가능 매체는 플로피 디스크, ROM, 플래쉬 메모리, 디스크 드라이브 메모리, CD-ROM 및 다른 영구저장 매체와 같은 비활성 메모리를 포함할 수 있다. 예를 들어, 컴퓨터 시스템 사이에 데이터나 컴퓨터 지시와 같은 정보를 전달하는 것은 유용하다. 컴퓨터 프로그램 지시는 컴퓨터와 다른 프로그램 가능 데이터 프로세싱 장치, 또는 다른 특정 기능 장치에 명령을 전달하는 컴퓨터 판독가능 매체에 저장되어, 컴퓨터 판독가능 매체에 저장된 지시를 통해 플로우 차트 및/또는 블록도, 블록(들)에 특정된 기능과 작동을 수행하는 지시가 포함된 제조품이 생산된다.
여기서 블록도 및/또는 흐름도를 나타내는 컴퓨터 프로그램 지시는 컴퓨터, 프로그램 가능 데이터 프로세싱 장치, 또는 프로세싱 장치에 탑재되어 일련의 동작이 수행되도록 하여 컴퓨터 실행 프로세스를 제작할 수 있다. 컴퓨터 프로그램(즉, 컴퓨터 제어 로직)은 메인 메모리 및/또는 부 메모리에 저장된다. 컴퓨터 프로그램은 또한 통신 인터페이스를 통해 수신될 수 있다. 이러한 컴퓨터 프로그램은 실행될 때 컴퓨터 시스템이 상기한 실시예의 특징의 수행을 가능하게 한다. 특히, 컴퓨터 프로그램은 실행되면 프로세서 및/또는 멀티 코어 프로세서가 컴퓨터 시스템의 특징을 수행할 수 있도록 한다. 이러한 컴퓨터 프로그램은 컴퓨터 시스템의 제어장치를 나타낸다. 컴퓨터 프로그램 제품은 컴퓨터 시스템에 의해 판독가능하고 컴퓨터 시스템에 의해 상기 실시예의 방법 실행을 위한 지시를 저장하고 있는 유형 저장 매체를 포함한다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능하며, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
120: 전자 장치 121: 디스플레이부
122: 마이크 123: 오디오 출력부
124: 입력 메커니즘 125: 통신 회로
126: 제어 회로 127: 어플리케이션 1-N
135: 프레임 인식 모듈

Claims (30)

  1. 사용자 시청 행동 추적 방법에 있어서,
    소스에서 전자 장치로 멀티 디스플레이 프레임을 제공하는 단계;
    이벤트가 발생되면, 상기 전자 장치에 연결된 디스플레이 장치에서 디스플레이되는 상기 멀티 디스플레이 프레임 중 하나의 디스플레이 프레임을 자동으로 캡쳐하는 단계;
    복수의 프레임 템플릿에서 상기 캡쳐된 디스플레이 프레임에 매칭될 프레임 템플릿을 검색하고, 상기 캡쳐된 디스플레이 프레임의 패턴과 상기 검색된 프레임 템플릿을 매칭하는 단계;
    상기 매칭된 프레임 템플릿을 이용하여 상기 캡쳐된 디스플레이 프레임으로부터 정보를 추출하는 단계; 및
    상기 사용자 시청 행동을 추적하기 위하여 상기 추출된 정보를 저장하는 단계;를 포함하는 사용자 시청 행동 추적 방법.
  2. 제1항에 있어서,
    상기 소스는,
    셋탑박스(STB), 디스크 플레이어, 게임 콘솔, 디지털 스트리밍 장치, 브라우저, 브로드캐스트 제공자, 프로그래밍 제공자 및 컴퓨팅 장치 중 하나 이상을 포함하는 것을 특징으로 하는 사용자 시청 행동 추적 방법.
  3. 제2항에 있어서,
    상기 이벤트는,
    주기적인 간격의 시간 주기, 검출된 채널 변경 및 검출된 원격 제어 신호 중 하나 이상을 포함하는 것을 특징으로 하는 사용자 시청 행동 추적 방법.
  4. 제3항에 있어서,
    상기 복수의 프레임 템플릿은,
    상기 전자 장치에 저장되거나 클라우드 컴퓨팅 환경에 저장된 것 중 하나인 것을 특징으로 하는 사용자 시청 행동 추적 방법.
  5. 제4항에 있어서,
    상기 복수의 프레임 템플릿에 포함된 각 프레임 템플릿은,
    특정 스크린 레이아웃에 대한 정보를 포함하는 것을 특징으로 하는 사용자 시청 행동 추적 방법.
  6. 제5항에 있어서,
    상기 특정 스크린 레이아웃에 대한 정보는,
    관련 장치, 관련 어플리케이션 또는 관련 이벤트, 패턴 매칭에 이용되는 제1 크롭(crop) 영역, 프레임에서 마스크 영역에 근거하여 정보를 추출하는 OCR(optical character recognition) 마스크, 패턴 매칭 및 정보 추출에 이용되는 제2 크롭 영역, OCR에 이용되는 훈련 데이터(training data) 및 프레임 전처리를 위한 전처리 정보 중 하나 이상을 포함하는 것을 특징으로 하는 사용자 시청 행동 추적 방법.
  7. 제6항에 있어서,
    상기 추출된 정보는,
    상기 캡쳐된 디스플레이 프레임에 포함된, 이용 가능한 텍스트 정보인 것을 특징으로 하는 사용자 시청 행동 추적 방법.
  8. 제1항에 있어서,
    상기 캡쳐된 디스플레이 프레임의 패턴과 매칭될 프레임 템플릿을 검색하기 위한 상기 복수의 프레임 템플릿에 대한 검색 범위를 감소시키는 단계;를 더 포함하는 것을 특징으로 하는 사용자 시청 행동 추적 방법
  9. 제8항에 있어서,
    상기 검색 범위를 감소시키는 단계는,
    멀티-시스템 작동기에 대한 위치, 입력 신호 타입, 컨텐츠 타입, 장치 타입 및 입력 소스 해상도 중 적어도 하나에 기반하여 상기 캡쳐된 디스플레이 프레임에 대한 입력 소스를 결정하는 단계를 포함하는 것을 특징으로 하는 사용자 시청 행동 추적 방법.
  10. 제 9항에 있어서,
    상기 캡쳐된 디스플레이 프레임의 패턴과 상기 검색된 프레임 템플릿을 매칭하는 단계는,
    픽셀 레벨 매칭(pixel level matching)을 수행한 결과를 판단하고, 상기 판단된 결과를 임계값과 비교하는 단계;를 포함하는 것을 특징으로 하는 사용자 시청 행동 추적 방법.
  11. 제9항에 있어서,
    상기 캡쳐된 디스플레이 프레임의 패턴과 상기 검색된 프레임 템플릿을 매칭하는 단계는,
    크롭 이미지에 대한 정방향 변형 및 역방향 변형에 기반하여 주파수 영역의 매칭 결과를 판단하는 단계;를 포함하는 것을 특징으로 하는 사용자 시청 행동 추적 방법.
  12. 제 4항에 있어서,
    상기 복수의 프레임 템플릿은,
    복수의 사용자로부터 수집되어 상기 클라우드 컴퓨팅 환경 내의 데이터베이스에 저장되고,
    상기 복수의 프레임 템플릿은,
    원격 제어 명령이 활성화된 후에, 상기 캡쳐된 디스플레이 프레임으로부터 정보를 추출하여 각 사용자로부터 수집되고,
    상기 캡쳐된 디스플레이 프레임 상의 프로그래밍 배너는,
    상기 정보를 추출하는데 이용되는 것을 특징으로 하는 사용자 시청 행동 추적 방법.
  13. 사용자 시청 행동을 추적하는 시스템에 있어서,
    소스로부터 멀티 디스플레이 프레임을 수신하는 디스플레이 장치; 및
    상기 디스플레이 장치에 연결된 전자 장치를 포함하고,
    상기 전자 장치는,
    이벤트가 발생되면, 상기 멀티 디스플레이 프레임 중 하나의 디스플레이 프레임을 자동으로 캡쳐하고, 제 1 메모리에 저장된 복수의 프레임 템플릿에서 상기 캡쳐된 디스플레이 프레임에 매칭될 프레임 템플릿을 검색하고, 상기 캡쳐된 디스플레이 프레임의 패턴과 상기 검색된 프레임을 매칭하며, 상기 매칭된 프레임 템플릿을 이용하여 상기 캡쳐된 디스플레이 프레임으로부터 정보를 추출하고, 상기 사용자 시청 행동을 추적하기 위하여 상기 추출된 정보를 제2 메모리에 저장하는 프레임 인식 모듈;을 포함하는 사용자 시청 행동 추적 시스템.
  14. 제 13항에 있어서,
    상기 소스는,
    셋톱박스(STB), 디스크 플레이어, 게임 콘솔, 디지털 스트리밍 장치, 브라우저, 브로드캐스트 제공자, 프로그래밍 제공자 및 컴퓨팅 장치 중 하나 이상을 포함하는 것을 특징으로 하는 사용자 시청 행동을 추적하는 시스템.
  15. 제14항에 있어서,
    상기 이벤트는,
    주기적인 간격의 시간 주기, 검출된 채널 변경 및 검출된 원격 제어 신호 중 하나 이상을 포함하는 것을 특징으로 하는 사용자 시청 행동을 추적하는 시스템.
  16. 제 15항에 있어서,
    상기 제 1 메모리 및 제 2 메모리는,
    상기 전자 장치에 연결되거나 클라우드 컴퓨팅 환경에 저장된 것 중 하나인 것을 특징으로 하는 사용자 시청 행동을 추적하는 시스템.
  17. 제 16항에 있어서,
    상기 복수의 프레임 템플릿에 포함된 각 프레임 템플릿은,
    관련 장치, 관련 어플리케이션 또는 관련 이벤트, 패턴 매칭에 사용되는 제1 크롭 영역, 프레임의 마스크 영역에 기반하여 정보를 추출하는 광학 문자 인식(OCR) 마스크, 패턴 매칭 및 정보 추출에 사용되는 제2 크롭 영역, OCR에 사용되는 훈련 데이터(Training data), 및 프레임 전처리를 위한 전처리 정보 중 하나 이상을 포함하는 특정 스크린 레이아웃을 위한 정보를 포함하는 것을 특징으로 하는 사용자 시청 행동을 추적하는 시스템.
  18. 제 17항에 있어서,
    상기 추출된 정보는,
    상기 캡쳐된 디스플레이 프레임에 포함된, 이용 가능한 텍스트 정보를 포함하는 것을 특징으로 하는 사용자 시청 행동을 추적하는 시스템.
  19. 제 18항에 있어서,
    상기 프레임 인식 모듈은,
    멀티 시스템 작동 장치에 대한 위치, 입력 신호 타입, 컨텐츠 타입, 상기 캡쳐된 프레임을 제공하는데 사용되는 장치 타입 및 입력 소스 해상도 중 하나 이상에 기반하여 상기 캡쳐된 디스플레이 프레임에 대한 입력 소스를 탐색하여 상기 복수의 프레임 템플릿을 필터링하는 것을 특징으로 하는 사용자 시청 행동을 추적하는 시스템.
  20. 제 19항에 있어서,
    상기 복수의 프레임 템플릿을 데이터 베이스 내에 저장하는 클라우드 컴퓨팅 환경;을 더 포함하고,
    상기 복수의 프레임 템플릿은,
    원격 제어 명령이 활성화된 후에, 상기 캡쳐된 디스플레이 프레임으로부터 정보를 추출하는 것에 기반하여 각 전자 장치에 의한 각 사용자로부터 수집되고,
    상기 캡쳐된 디스플레이 프레임 상의 프로그래밍 배너는,
    상기 추출된 정보를 제공하는 것을 특징으로 하는 사용자 시청 행동을 추적하는 시스템.
  21. 제13항에 있어서,
    상기 전자 장치는,
    텔레비전 장치인 것을 특징으로 하는 사용자 시청 행동을 추적하는 시스템.
  22. 사용자 시청 행동 추적 방법을 수행하기 위한 컴퓨터 실행 가능한 명령어들을 갖는 비일시적 컴퓨터 판독가능 매체에 있어서,
    상기 사용자 시청 행동 추적 방법은,
    소스에서 전자 장치로 멀티 디스플레이 프레임을 제공하는 단계;
    이벤트가 발생되면, 상기 전자 장치에 연결된 디스플레이 장치에 디스플레이되는 상기 멀티 디스플레이 프레임 중 하나의 디스플레이 프레임을 자동으로 캡쳐하는 단계;
    복수의 프레임 템플릿에서 상기 캡쳐된 디스플레이 프레임에 매칭될 프레임 템플릿을 검색하고, 상기 캡쳐된 디스플레이 프레임의 패턴과 상기 검색된 프레임 템플릿을 매칭하는 단계;
    상기 매칭된 프레임 템플릿을 이용하여 상기 캡쳐된 디스플레이 프레임으로부터 정보를 추출하는 단계; 및
    사용자 시청 행동을 추적하기 위하여 상기 추출된 정보를 저장하는 단계;를 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체.
  23. 제 22항에 있어서,
    상기 소스는,
    셋톱박스(STB), 디스크 플레이어, 게임 콘솔, 디지털 스트리밍 장치, 브라우저, 브로드캐스트 제공자, 프로그래밍 제공자 및 컴퓨팅 장치 중 하나 이상을 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체.
  24. 제 23항에 있어서,
    상기 이벤트는,
    주기적인 간격의 시간 주기, 검출된 채널 변경 및 검출된 원격 제어 신호 중 하나 이상을 포함하고,
    상기 복수의 프레임 템플릿은,
    상기 전자 장치에 저장되거나 클라우드 컴퓨팅 환경에 저장된 것 중 하나인 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체.
  25. 제24항에 있어서,
    상기 복수의 프레임 템플릿에 포함된 각 프레임 템플릿은,
    관련 장치, 관련 어플리케이션 또는 관련 이벤트, 패턴 매칭에 사용되는 제1 크롭 영역, 프레임의 마스크 영역에 기반하여 정보를 추출하는 광학 문자 인식(OCR) 마스크, 패턴 매칭 및 정보 추출에 사용되는 제 2 크롭 영역, OCR에 사용되는 훈련 데이터(training data) 및 프레임 전처리를 위한 전처리 정보 중 하나 이상을 포함하는 특정 스크린 레이아웃에 대한 정보를 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체.
  26. 제 25항에 있어서,
    상기 추출된 정보는,
    상기 캡쳐된 디스플레이 프레임에 포함된, 이용 가능한 텍스트 정보를 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체.
  27. 제 26항에 있어서,
    상기 사용자 시청 행동 추적 방법은,
    멀티 시스템 작동 장치의 위치, 입력 신호 타입, 컨텐츠 타입, 장치 타입 및 입력 소스 해상도 중 하나 이상에 기반하여 상기 캡쳐된 디스플레이 프레임에 대한 입력 소스를 결정하고, 상기 캡쳐된 디스플레이 프레임의 패턴과 매칭될 프레임 템플릿을 검색하기 위한 상기 복수의 프레임 템플릿에 대한 검색 범위를 감소시키는 단계;를 더 포함하는 비일시적 컴퓨터 판독가능 매체.
  28. 제 27항에 있어서,
    상기 캡쳐된 디스플레이 프레임의 패턴과 상기 검색된 프레임 템플릿을 매칭하는 단계는,
    픽셀 레벨 매칭(pixel level matching)을 수행한 결과를 판단하고, 상기 판단된 결과를 임계값과 비교하는 단계;를 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체.
  29. 제 27항에 있어서,
    상기 캡쳐된 디스플레이 프레임의 패턴과 상기 검색된 프레임 템플릿을 매칭하는 단계는,
    크롭 이미지에 대한 정방향 변형 및 역방향 변형에 기반하여 주파수 영역의 매칭 결과를 판단하는 단계;를 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체.
  30. 제 24항에 있어서,
    상기 복수의 프레임 템플릿은,
    복수의 사용자로부터 수집되어 상기 클라우드 컴퓨팅 환경의 데이터 베이스에 저장되고,
    상기 복수의 프레임 템플릿은,
    원격 제어 명령이 활성화된 후, 상기 캡쳐된 디스플레이 프레임으로부터 정보를 추출하는 것에 기반하여 각 사용자로부터 수집되고,
    상기 캡쳐된 디스플레임 프레임 상의 프로그래밍 배너는,
    상기 정보를 추출하데 이용되는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체.
KR1020130140035A 2013-03-14 2013-11-18 패턴 매칭 및 문자 인식을 이용한 사용자 시청 행동을 추적하는 장치 및 방법, 그리고 시스템 KR102164481B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/830,739 US8955005B2 (en) 2013-03-14 2013-03-14 Viewer behavior tracking using pattern matching and character recognition
US13/830,739 2013-03-14

Publications (2)

Publication Number Publication Date
KR20140113286A true KR20140113286A (ko) 2014-09-24
KR102164481B1 KR102164481B1 (ko) 2020-10-13

Family

ID=51534842

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130140035A KR102164481B1 (ko) 2013-03-14 2013-11-18 패턴 매칭 및 문자 인식을 이용한 사용자 시청 행동을 추적하는 장치 및 방법, 그리고 시스템

Country Status (2)

Country Link
US (1) US8955005B2 (ko)
KR (1) KR102164481B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170101076A (ko) * 2016-02-26 2017-09-05 삼성전자주식회사 컨텐트를 인식하는 방법 및 장치
WO2017160062A1 (ko) * 2016-03-16 2017-09-21 삼성전자 주식회사 컨텐트를 인식하는 방법 및 장치
US10034039B2 (en) 2015-08-24 2018-07-24 Samsung Electronics Co., Ltd. Display device, method for controlling the same, and computer-readable recording medium
WO2019203370A1 (ko) * 2018-04-16 2019-10-24 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어방법
KR102316072B1 (ko) 2020-07-16 2021-10-21 정규용 인터넷방송서비스장치 및 그 장치의 구동방법
WO2023286881A1 (ko) * 2021-07-12 2023-01-19 엘지전자 주식회사 영상표시장치 및 이를 포함하는 시스템

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9277255B1 (en) * 2013-03-15 2016-03-01 Google Inc. Metering of internet protocol video streams
US9338819B2 (en) * 2013-05-29 2016-05-10 Medtronic Minimed, Inc. Variable data usage personal medical system and method
KR101678389B1 (ko) * 2014-02-28 2016-11-22 엔트릭스 주식회사 클라우드 스트리밍 기반의 영상데이터 제공 방법, 이를 위한 장치 및 시스템
US10506053B2 (en) * 2014-03-07 2019-12-10 Comcast Cable Communications, Llc Location aware security system
US20160094868A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Method and system for automatic selection of channel line up, set top box (stb) ir codes, and pay tv operator for televisions controlling an stb
KR20160085076A (ko) * 2015-01-07 2016-07-15 삼성전자주식회사 콘텐츠를 제공하는 방송 서버를 판단하는 방법 및 이를 제공하는 전자 장치
US9699504B2 (en) * 2015-09-28 2017-07-04 Rovi Guides, Inc. Systems and methods for identifying a source of media content based on a log of content identifiers
US9854304B2 (en) 2015-09-28 2017-12-26 Rovi Guides, Inc. Systems and methods for identifying a source of media content based on a log of fingerprints
US20170094373A1 (en) * 2015-09-29 2017-03-30 Verance Corporation Audio/video state detector
GB2545309B (en) * 2015-10-21 2020-04-29 Rovi Guides Inc Systems and methods for identifying a source of a user interface from a fingerprint of the user interface
US9819996B2 (en) 2015-10-21 2017-11-14 Rovi Guides, Inc. Systems and methods for fingerprinting to track device usage
US9848237B2 (en) 2015-10-21 2017-12-19 Rovi Guides, Inc. Systems and methods for identifying a source of a user interface from a fingerprint of the user interface
KR20170069599A (ko) * 2015-12-11 2017-06-21 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
EP4106335A3 (en) 2015-12-16 2023-04-19 Roku, Inc. Dynamic video overlays
KR101811719B1 (ko) * 2016-02-11 2017-12-22 삼성전자주식회사 컨텐트를 제공하는 디바이스를 제어하는 방법, 그 디바이스 및 서버
WO2017146454A1 (ko) * 2016-02-26 2017-08-31 삼성전자 주식회사 컨텐트를 인식하는 방법 및 장치
CN107743108B (zh) * 2016-09-21 2020-06-23 腾讯科技（深圳）有限公司 一种介质访问控制地址识别方法及装置
US10448107B2 (en) * 2016-11-11 2019-10-15 Lg Electronics Inc. Display device
EP3545683A1 (en) 2016-11-22 2019-10-02 Caavo, Inc. Automatic screen navigation for media device configuration and control
KR20190083552A (ko) * 2018-01-04 2019-07-12 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR102546026B1 (ko) * 2018-05-21 2023-06-22 삼성전자주식회사 전자 장치 및 그의 컨텐츠 인식 정보 획득
KR102599951B1 (ko) 2018-06-25 2023-11-09 삼성전자주식회사 전자 장치 및 그의 제어방법
KR102585244B1 (ko) * 2018-09-21 2023-10-06 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20200080387A (ko) * 2018-12-18 2020-07-07 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20210006595A (ko) 2019-07-09 2021-01-19 삼성전자주식회사 전자장치와 그의 제어방법, 서버, 및 기록매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050000435A (ko) * 2002-06-05 2005-01-03 소니 일렉트로닉스 인코포레이티드 크기변경, 회전 및 변환에 견뎌내는 워터마크를 검출하는방법 및 장치
KR20070051879A (ko) * 2004-08-09 2007-05-18 닐슨 미디어 리서치 인코퍼레이티드 다양한 출처들로부터의 시청 콘텐츠를 감시하는 방법들 및장치들
US20080127253A1 (en) * 2006-06-20 2008-05-29 Min Zhang Methods and apparatus for detecting on-screen media sources

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7814524B2 (en) 2007-02-14 2010-10-12 Sony Corporation Capture of configuration and service provider data via OCR

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050000435A (ko) * 2002-06-05 2005-01-03 소니 일렉트로닉스 인코포레이티드 크기변경, 회전 및 변환에 견뎌내는 워터마크를 검출하는방법 및 장치
KR20070051879A (ko) * 2004-08-09 2007-05-18 닐슨 미디어 리서치 인코퍼레이티드 다양한 출처들로부터의 시청 콘텐츠를 감시하는 방법들 및장치들
US20080127253A1 (en) * 2006-06-20 2008-05-29 Min Zhang Methods and apparatus for detecting on-screen media sources

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10034039B2 (en) 2015-08-24 2018-07-24 Samsung Electronics Co., Ltd. Display device, method for controlling the same, and computer-readable recording medium
KR20170101076A (ko) * 2016-02-26 2017-09-05 삼성전자주식회사 컨텐트를 인식하는 방법 및 장치
WO2017160062A1 (ko) * 2016-03-16 2017-09-21 삼성전자 주식회사 컨텐트를 인식하는 방법 및 장치
KR20170107848A (ko) * 2016-03-16 2017-09-26 삼성전자주식회사 컨텐트를 인식하는 방법 및 장치
US11012739B2 (en) 2016-03-16 2021-05-18 Samsung Electronics Co., Ltd. Method and device for recognizing content
WO2019203370A1 (ko) * 2018-04-16 2019-10-24 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어방법
KR102316072B1 (ko) 2020-07-16 2021-10-21 정규용 인터넷방송서비스장치 및 그 장치의 구동방법
WO2023286881A1 (ko) * 2021-07-12 2023-01-19 엘지전자 주식회사 영상표시장치 및 이를 포함하는 시스템

Also Published As

Publication number Publication date
US20140282668A1 (en) 2014-09-18
KR102164481B1 (ko) 2020-10-13
US8955005B2 (en) 2015-02-10

Similar Documents

Publication Publication Date Title
KR102164481B1 (ko) 패턴 매칭 및 문자 인식을 이용한 사용자 시청 행동을 추적하는 장치 및 방법, 그리고 시스템
JP7159400B2 (ja) 自動発話認識を使用して生成された入力を発話に基づいて訂正する方法およびシステム
US11877026B2 (en) Selective interactivity
US20230403429A1 (en) Systems and methods for dynamically adjusting media output based on presence detection of individuals
US8725125B2 (en) Systems and methods for controlling audio playback on portable devices with vehicle equipment
US10142585B2 (en) Methods and systems for synching supplemental audio content to video content
US9432706B2 (en) Apparatus and method for transmitting media content
US9015745B2 (en) Method and system for detection of user-initiated events utilizing automatic content recognition
KR20200015582A (ko) 다수의 음성-동작 사용자 디바이스들에 대한 볼륨-기반 응답을 생성하기 위한 시스템들 및 방법들
US8839288B2 (en) System for presenting collateral information to mobile devices
US20130173765A1 (en) Systems and methods for assigning roles between user devices
US20150135238A1 (en) Methods and systems for accessing media on multiple devices
US11386134B2 (en) Systems and methods for correcting a voice query based on a subsequent voice query with a lower pronunciation rate
KR20160003336A (ko) 멀티미디어 클립들을 캡처하기 위한 제스처 사용
US20180288122A1 (en) Recognition-Based Content Skipping
US9769530B2 (en) Video-on-demand content based channel surfing methods and systems
US9762955B2 (en) Substituting alternative media for presentation during variable speed operation
KR20230029438A (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US11902625B2 (en) Systems and methods for providing focused content
KR20160144225A (ko) 영상표시장치 및 그 동작 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant