KR102424839B1 - 디스플레이 장치 및 이의 제어 방법 - Google Patents

디스플레이 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR102424839B1
KR102424839B1 KR1020150143655A KR20150143655A KR102424839B1 KR 102424839 B1 KR102424839 B1 KR 102424839B1 KR 1020150143655 A KR1020150143655 A KR 1020150143655A KR 20150143655 A KR20150143655 A KR 20150143655A KR 102424839 B1 KR102424839 B1 KR 102424839B1
Authority
KR
South Korea
Prior art keywords
fingerprint
content
server
type
stored
Prior art date
Application number
KR1020150143655A
Other languages
English (en)
Other versions
KR20170043944A (ko
Inventor
최윤희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150143655A priority Critical patent/KR102424839B1/ko
Priority to PCT/KR2016/007955 priority patent/WO2017065394A1/ko
Priority to US15/760,517 priority patent/US10616595B2/en
Publication of KR20170043944A publication Critical patent/KR20170043944A/ko
Application granted granted Critical
Publication of KR102424839B1 publication Critical patent/KR102424839B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates

Abstract

디스플레이 장치 및 이의 제어 방법이 제공된다. 컨텐츠를 디스플레이하고, 디스플레이되는 컨텐츠로부터 핑거프린트를 추출하며, 추출된 핑거프린트에 매칭되는 기 저장된 핑거프린트가 존재하는지 여부를 판단하고, 추출된 핑거프린트에 매칭되는 기 저장된 핑거프린트가 존재하는 경우, 서버로부터 상기 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신한다.

Description

디스플레이 장치 및 이의 제어 방법{DISPLAY APPARATUS AND METHOD OF CONTROLLING THEREOF}
본 개시는 디스플레이 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 디스플레이되는 컨텐츠에서 핑거프린트를 추출하여 기 저장된 컨텐츠의 일부 구간에 대응되는 핑거프린트와 매칭 여부를 판단함으로써 컨텐츠를 인식하는 디스플레이 장치 및 이의 제어 방법에 관한 것이다.
디스플레이 장치에서 광고가 재생되는 동안 사용자와 인터렉션이 가능한 오버레이(overlay) 광고를 하거나 광고 효과를 분석하기 위하여 현재 재생되는 광고에 대한 정보를 인식할 필요성이 증가하고 있다. 즉, 디스플레이되는 컨텐츠를 효율적으로 인식할 필요성이 증가하고 있다.
종래 외부 서버에 저장된 핑거프린트와 매칭을 시도하여 컨텐츠를 인식하는 방법은 서버가 대용량의 컨텐츠를 저장할 수 있다는 장점이 있는 반면, 추출된 핑거프린트의 매칭 주기가 길다는 단점이 존재한다. 그리고, 디스플레이 장치 내의 저장부에 저장된 핑거프린트와 매칭을 시도하여 컨텐츠를 인식하는 방법은 매칭 주기가 짧다는 장점이 있는 반면, 상대적으로 적은 용량의 컨텐츠만을 저장할 수 있는 단점이 존재한다.
따라서, 많은 개수의 컨텐츠를 저장하면서 짧은 주기로 매칭할 수 있는 필요성이 대두되고 있다.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로, 본 개시의 목적은 중요도가 높은 컨텐츠의 일부 구간에 대응되는 핑거프린트를 디스플레이 장치 내의 저장부에 저장함으로써 효율적인 컨텐츠 인식이 가능한 디스플레이 장치 및 이의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른, 디스플레이 장치의 제어 방법은, 컨텐츠를 디스플레이하는 단계; 상기 디스플레이되는 컨텐츠로부터 핑거프린트를 추출하는 단계; 상기 추출된 핑거프린트에 매칭되는 기 저장된 핑거프린트가 존재하는지 여부를 판단하는 단계; 및 상기 추출된 핑거프린트에 매칭되는 기 저장된 핑거프린트가 존재하는 경우, 서버로부터 상기 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신하는 단계;를 포함한다.
그리고, 상기 추출된 핑거프린트에 매칭되는 기 저장된 핑거프린트가 존재하지 않는 경우, 상기 추출된 핑거프린트를 상기 외부 서버로 전송하는 단계; 및 상기 서버로부터 상기 추출된 핑거프린트에 매칭되는 컨텐츠의 전체 구간의 핑거프린트를 수신하는 단계;를 더 포함할 수 있다.
또한, 상기 추출된 핑거프린트가 상기 매칭되는 컨텐츠의 중간에 삽입된 핑거프린트이면, 상기 수신하는 단계는, 상기 매칭되는 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신할 수 있다.
그리고, 상기 수신하는 단계는, 상기 컨텐츠의 나머지 구간에 대응되는 핑거프린트가 디스플레이 장치 내의 저장부에 저장되어 있는지 여부를 판단하는 단계; 및 상기 나머지 구간에 대응되는 핑거프린트가 저장되어 있지 않은 경우, 상기 나머지 구간에 대응되는 핑거프린트를 수신하는 단계;를 더 포함할 수 있다.
또한, 상기 수신된 핑거프린트를 저장하여 기 저장된 핑거프린트를 업데이트하는 단계;를 더 포함할 수 있다.
그리고, 상기 서버로부터 복수의 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신하여 저장하는 단계;를 더 포함할 수 있다.
또한, 상기 서버는, 저장된 컨텐츠의 중요도에 따라 제1 유형의 컨텐츠 및 제2 유형의 컨텐츠를 판단하고, 상기 수신하여 저장하는 단계는, 상기 서버로부터 상기 제2 유형의 컨텐츠보다 중요도가 높은 상기 제1 유형의 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신하여 저장할 수 있다.
그리고, 상기 서버는, 저장된 컨텐츠의 재생 시간에 따라 제3 유형의 컨텐츠 및 제4 유형의 컨텐츠를 판단하고, 상기 수신하여 저장하는 단계는, 상기 서버로부터 상기 제4 유형의 컨텐츠보다 재생 시간이 짧은 상기 제3 유형의 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신하여 저장할 수 있다.
또한, 상기 컨텐츠의 재생이 종료되면, 상기 수신된 나머지 구간에 대응되는 핑거프린트를 삭제하는 단계;를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른, 디스플레이 장치는, 저장부; 디스플레이부; 통신부; 및 컨텐츠를 디스플레이하도록 상기 디스플레이부를 제어하고, 상기 디스플레이되는 컨텐츠로부터 핑거프린트를 추출하고, 상기 추출된 핑거프린트에 매칭되는 기 저장된 핑거프린트가 존재하는지 여부를 판단하고, 상기 추출된 핑거프린트에 매칭되는 기 저장된 핑거프린트가 존재하는 경우, 서버로부터 상기 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신하도록 상기 통신부를 제어하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 추출된 핑거프린트에 매칭되는 기 저장된 핑거프린트가 존재하지 않는 경우, 상기 추출된 핑거프린트를 상기 서버로 전송하고, 상기 서버로부터 상기 추출된 핑거프린트에 매칭되는 컨텐츠의 전체 구간의 핑거프린트를 수신하도록 상기 통신부를 제어할 수 있다.
또한, 상기 추출된 핑거프린트가 상기 매칭되는 컨텐츠의 중간에 대응되는 핑거프린트이면, 상기 제어부는, 상기 매칭되는 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신하도록 상기 통신부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 컨텐츠의 나머지 구간에 대응되는 핑거프린트가 저장되어 있는지 여부를 판단하고, 상기 나머지 구간에 대응되는 핑거프린트가 저장되어 있지 않은 경우, 상기 나머지 구간에 대응되는 핑거프린트를 수신하도록 상기 통신부를 제어할 수 있다.
또한, 상기 제어부는, 상기 수신된 핑거프린트를 저장하여 기 저장된 핑거프린트를 업데이트할 수 있다.
그리고, 상기 제어부는, 상기 서버로부터 복수의 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신하도록 상기 통신부를 제어하고, 상기 수신된 핑거프린트를 저장하도록 상기 저장부를 제어할 수 있다.
또한, 상기 서버는, 저장된 컨텐츠의 중요도에 따라 제1 유형의 컨텐츠 및 제2 유형의 컨텐츠를 판단하고, 상기 제어부는, 상기 서버로부터 상기 제2 유형의 컨텐츠보다 중요도가 높은 상기 제1 유형의 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신하도록 상기 통신부를 제어하고, 상기 수신된 핑거프린트를 저장하도록 상기 저장부를 제어할 수 있다.
그리고, 상기 서버는, 저장된 컨텐츠의 재생 시간에 따라 제3 유형의 컨텐츠 및 제4 유형의 컨텐츠를 판단하고, 상기 제어부는, 상기 서버로부터 상기 제4 유형의 컨텐츠보다 재생 시간이 짧은 상기 제3 유형의 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신하도록 상기 통신부를 제어하고, 상기 수신된 핑거프린트를 저장하도록 상기 저장부를 제어할 수 있다.
또한, 상기 제어부는, 상기 컨텐츠의 재생이 종료되면, 상기 수신된 나머지 구간에 대응되는 핑거프린트를 삭제할 수 있다.
한편, 상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른, 서버의 제어 방법은, 저장된 컨텐츠의 중요도에 따라 제1 유형의 컨텐츠 및 제2 유형의 컨텐츠를 판단하는 단계; 상기 제2 유형의 컨텐츠보다 중요도가 높은 상기 제1 컨텐츠의 일부 구간에 대응되는 핑거프린트를 디스플레이 장치로 전송하는 단계; 상기 디스플레이 장치로부터 제1 핑거프린트가 수신되면, 상기 제1 핑거프린트와 매칭되는 핑거프린트를 추출하는 단계; 및 상기 추출된 핑거프린트의 컨텐츠의 전체 구간에 대응되는 핑거프린트를 상기 디스플레이 장치로 전송하는 단계;를 포함한다.
상술한 바와 같이, 본 개시의 다양한 실시 예에 따라, 디스플레이 장치는 효율적으로 디스플레이되는 컨텐츠를 인식할 수 있게 된다.
도 1은 본 개시의 일 실시 예에 따른, 컨텐츠 인식 시스템을 도시한 시스템도,
도 2는 본 개시의 일 실시 예에 따른, 디스플레이 장치의 구성을 간략히 도시한 블럭도,
도 3은 본 개시의 일 실시 예에 따른, 디스플레이 장치의 구성을 상세히 도시한 블럭도,
도 4 내지 도 12는 본 개시의 다양한 실시 예에 따른, 핑거프린트를 이용하여 컨텐츠를 인식하는 다양한 실시 예들을 설명하기 위한 도면들, 그리고,
도 13은 본 개시의 일 실시 예에 따른, 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 개시의 실시 예에서 사용되는 용어에 대해 간략히 설명하고, 본 실시 예들에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당하는 실시 예들의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 실시 예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시 예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 개시의 실시 예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
또한, 본 개시의 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 개시의 실시 예에서, ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
또한, 본 개시의 실시 예에서, 사용자 입력은, 터치 입력, 벤딩 입력, 음성 입력, 버튼 입력 및 다중(multimodal) 입력 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는 도면을 참조하여 본 개시에 대해 설명하기로 한다. 도 1은 본 개시의 일 실시 예에 따른, 컨텐츠 인식 시스템을 나타내는 도면이다. 도 1에 도시된 바와 같이, 컨텐츠 인식 시스템은 디스플레이 장치(100), 서버(200), 컨텐츠 데이터베이스(300)를 포함한다.
컨텐츠 데이터베이스(300)는 복수의 컨텐츠를 저장하고 있다. 그리고, 컨텐츠 데이터베이스(300)는 저장된 복수의 컨텐츠 각각의 핑거프린트를 추출한다. 이때, 복수의 컨텐츠는 복수 개의 프레임을 포함하는 광고 동영상 또는 방송 프로그램 등일 수 있다. 하나의 프레임에는 사람, 동물, 배경, 물건 또는 BGM(backgroumd music)과 같은 오디오 데이터 등을 포함할 수 있다. 한편, 핑거프린트는 디스플레이되는 컨텐츠를 캡쳐하여 컨텐츠의 프레임 이미지 또는 오디오의 고유 특징을 나나태는 식별자이며, 컨텐츠가 변형되었더라도 컨텐츠를 동일하게 식별하는 것을 가능하게 한다.
그리고, 서버(200)는 컨텐츠 데이터베이스(300)로부터 각각의 컨텐츠의 핑거프린트를 수신하여 저장한다. 이때, 서버(200)는 ACR(automatic content recognition) 서버일 수 있고, 대량의 컨텐츠에 대응되는 핑거프린트를 저장할 수 있다.
그리고, 서버(200)는 중요도가 높은 컨텐츠와 중요도가 높지 않은 컨텐츠를 판단할 수 있다. 예를 들어, 재생 시간이 기 설정된 시간 이하인 컨텐츠를 중요도가 높은 컨텐츠로 판단할 수 있다. 그리고, 서버(200)는 중요도가 높다고 판단된 컨텐츠의 일부 구간에 대응되는 핑거프린트를 디스플레이 장치(100)로 전송할 수 있다.
그리고, 디스플레이 장치(100)는 서버(200)로부터 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신하여 저장할 수 있다. 그리고, 디스플레이 장치(100)는 컨텐츠를 디스플레이하고, 디스플레이되는 컨텐츠를 캡쳐하여 핑거프린트를 추출할 수 있다. 그리고, 디스플레이 장치(100)는 저장된 핑거프린트 중 추출된 핑거프린트에 매칭되는 핑거프린트가 존재하는지 여부를 판단할 수 있다. 추출된 핑거프린트에 매칭되는 기 저장된 핑거프린트가 존재하는 경우, 디스플레이 장치(100)는 서버(200)로부터 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신할 수 있다. 나머지 구간에 대응되는 핑거프린트를 수신하여 저장하면, 디스플레이 장치(100)는 디스플레이되는 컨텐츠의 전체 구간에 대응되는 핑거프린트를 포함하므로써, 컨텐츠의 전체 구간에서 짧은 주기로 매칭하는 것이 가능해지고, 효율적으로 컨텐츠를 인식할 수 있게 된다.
도 2는 본 개시의 일 실시 예에 따른, 디스플레이 장치(100)의 구성을 나타내는 도면이다. 도 2에 도시된 바와 같이, 디스플레이 장치(100)는 디스플레이부(110), 통신부(120), 저장부(130), 제어부(140)를 포함한다. 한편, 본 개시의 일 실시 예에 따른, 디스플레이 장치(100)는 스마트 TV, 태블릿 PC, 노트북 PC, 데스크탑 PC, 스마트 폰 등과 같은 다양한 디스플레이 장치로 구현될 수 있다.
디스플레이부(110)는 영상 데이터를 출력한다. 특히, 디스플레이부(110)는 광고, 방송 프로그램 등을 디스플레이할 수 있고, 광고, 방송 프로그램 등과 관련되는 관련 정보를 함께 디스플레이할 수 있다.
통신부(120)는 외부 서버와 통신을 수행한다. 특히, 통신부(120)는 서버(200)로부터 복수의 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신할 수 있다.
저장부(130)는 디스플레이 장치(100)를 구동하기 위한 다양한 모듈을 저장한다. 특히, 저장부(130)는 통신부(120)를 통해 수신된 핑거프린트를 저장할 수 있다.
제어부(140)는 디스플레이 장치(100)의 전반적인 동작을 제어한다. 특히, 제어부(140)는 서버(200)로부터 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신하도록 통신부(120)를 제어하고, 수신된 핑거프린트를 저장하도록 저장부(130)를 제어할 수 있다. 그리고, 디스플레이 장치(100)는 디스플레이되는 컨텐츠의 핑거프린트를 추출하고, 저장된 핑거프린트 중 추출된 핑거프린트와 매칭되는 핑거프린트가 있는지 여부를 판단할 수 있다. 매칭되는 핑거프린트가 존재하는 경우, 디스플레이 장치(100)는 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 서버(200)로부터 수신하도록 통신부(120)를 제어할 수 할 수 있다.
구체적으로, 제어부(140)는 서버(200)로부터 복수의 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신하도록 통신부(120)를 제어하고, 수신된 핑거프린트를 저장하도록 저장부(130)를 제어할 수 있다. 구체적으로, 제어부(140)는 기 설정된 주기(예를 들어, 30분, 1시간 등)마다 서버(200)에 컨텐츠의 변화(예를 들어, 추가 또는 삭제)가 있는지를 체크하고 삭제가 필요한 컨텐츠가 있는 경우, 디스플레이 장치 내에서 삭제 해야할 컨텐츠와 관련된 핑거프린트 정보를 삭제한다. 또한 디스플레이 장치 내에 핑거프린트를 저장할 필요가 있는 컨텐츠가 추가 된 경우, 서버(200)로부터 추가되는 복수의 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신하도록 통신부(120)를 제어하고, 수신된 핑거프린트를 저장하도록 저장부(130)를 제어할 수 있다. 이때, 복수의 컨텐츠는 서버(200)에 의해 분류된 제2 유형의 컨텐츠보다 중요도가 높은 제1 유형의 컨텐츠일 수 있고, 일부 구간은 재생 시작부터 기 설정된 시간동안 재생되는 구간일 수 있다.
그리고, 제어부(140)는 컨텐츠를 디스플레이하도록 디스플레이부(110)를 제어하고, 디스플레이되는 컨텐츠의 핑거프린트를 추출할 수 있다. 구체적으로, 제어부(140)는 디스플레이되는 컨텐츠의 이미지 또는 오디오를 캡쳐하고, 캡쳐된 이미지 또는 오디오를 이용하여 핑거프린트를 캡쳐할 수 있다.
그리고, 제어부(140)는 저장된 핑거프린트 중 추출된 핑거프린트와 매칭되는 핑거프린트가 존재하는지 여부를 판단할 수 있다.
그리고, 저장된 핑거프린트 중 추출된 핑거프린트와 매칭되는 핑거프린트가 존재하는 경우, 제어부(140)는 서버(200)로부터 디스플레이되는 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신하도록 통신부(120)를 제어할 수 있다. 구체적으로, 제어부(140)는 컨텐츠의 나머지 구간에 대응되는 핑거프린트가 저장부(130)에 저장되어 있는지 여부를 판단할 수 있다. 나머지 구간에 대응되는 핑거프린트가 저장되어 있지 않은 경우, 제어부(140)는 서버(200)로부터 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신하도록 통신부(120)를 제어할 수 있다. 그리고, 수신된 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 저장하도록 저장부(130)를 제어할 수 있다.
그리고, 추출된 핑거프린트에 매칭되는 기 저장된 핑거프린트가 존재하지 않는 경우, 제어부(140)는 추출된 핑거프린트를 서버(200)로 전송하도록 통신부(120)를 제어할 수 있다. 그리고, 제어부(140)는 서버(200)로부터 추출된 핑거프린트에 매칭되는 컨텐츠의 전체 구간의 핑거프린트를 수신하도록 통신부(120)를 제어할 수 있다. 한편, 제어부(140)는 추출된 핑거프린트가 매칭되는 컨텐츠의 중간에 삽입된 핑거프린트이면, 매칭되는 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신하도록 통신부(120)를 제어할 수 있다.
이하에서는, 도 3 내지 도 12를 참조하여 본 개시의 다양한 실시 예에 대해 설명하기로 한다. 도 3은 본 개시의 일 실시 예에 따른, 디스플레이 장치(100)의 구성을 상세히 도시한 블럭도이다. 도 3에 도시된 바와 같이, 디스플레이 장치(100)는 디스플레이부(210), 오디오 출력부(220), 통신부(230), 저장부(240), 감지부(250), 입력부(260) 및 제어부(270)를 포함한다.
한편, 도 3은 디스플레이 장치(100)가 디스플레이 기능, 데이터 송수신 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 3에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.
디스플레이부(210)는 영상 수신부(미도시)로부터 수신한 영상 데이터를 영상 처리부(미도시)에서 처리한 비디오 프레임 및 그래픽 처리부(273)에서 생성된 다양한 화면 중 적어도 하나를 디스플레이한다. 특히, 디스플레이부(210)는 광고 또는 방송 프로그램 등과 같은 다양한 컨텐츠를 디스플레이할 수 있다. 또한, 디스플레이부(210)는 컨텐츠를 디스플레이하는 동안 디스플레이되는 컨텐츠에 대응되는 관련 정보를 함께 디스플레이할 수 있다. 예를 들어, 디스플레이부(210)는 광고를 디스플레이하는 동안 사용자와 인터렉션이 가능한 오버레이(overlay) 광고를 함께 디스플레이할 수 있다.
오디오 출력부(220)는 오디오 처리부(미도시)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 특히, 오디오 출력부(220)는 스피커로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 오디오 데이터를 출력할 수 있는 출력 단자로 구현될 수 있다.
통신부(230)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(230)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. 특히, 통신부(230)는 서버(200)로부터 핑거프린트를 수신할 수 있다.
저장부(240)는 전자 장치(200)를 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(240)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 전자 장치(200)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.
상술한 바와 같이, 저장부(240)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 전자 장치(200)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, 상술한 전자 장치(200)가 태블릿 PC로 구현된 경우, 베이스 모듈에는 GPS 기반의 위치를 판단하기 위한 위치 판단 모듈을 더 포함하며, 센싱 모듈에는 사용자의 동작을 감지하는 센싱 모듈을 더 포함할 수 있다.
특히, 저장부(240)는 핑거프린트를 저장할 수 있다. 구체적으로, 저장부(240)는 중요도가 높은 컨텐츠의 일부 구간에 대응되는 핑거프린트를 저장할 수 있다. 또한, 저장부(240)는 기 설정된 주기에 따라 업데이트된 핑거프린트를 저장할 수도 있다.
한편, 본 개시의 일 실시 예에서, 저장부(240)는 제어부(270) 내 롬(272), 램(271) 또는 전자 장치(200)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하여 정의될 수 있다.
감지부(250)는 전자 장치(200)의 주변 환경을 감지한다. 특히, 감지부(250)는 위치 정보를 감지할 수 있는 GPS 센서, 전자 장치(200)의 움직임을 감지할 수 있는 움직임 감지 센서(예를 들어, 자이로 센서, 가속도 센서 등), 압력 센서, 노이즈 센서 등과 같은 다양한 센서를 포함할 수 있다.
입력부(260)는 전자 장치(200)를 제어하기 위한 사용자 명령을 입력받는다. 특히, 입력부(260)는 사용자 명령을 입력받기 위해 터치 입력부, 버튼, 음성 입력부, 모션 입력부, 키보드, 마우스 등과 같은 다양한 입력 장치를 포함할 수 있다.
제어부(270)는 저장부(240)에 저장된 각종 프로그램을 이용하여 디스플레이 장치(100)의 전반적인 동작을 제어한다.
제어부(270)는 도 3에 도시된 바와 같이, RAM(271), ROM(272), 그래픽 처리부(273), 메인 CPU(274), 제1 내지 n 인터페이스(275-1 ~ 275-n), 버스(276)를 포함한다. 이때, RAM(271), ROM(272), 그래픽 처리부(273), 메인 CPU(274), 제1 내지 n 인터페이스(275-1 ~ 275-n) 등은 버스(276)를 통해 서로 연결될 수 있다.
ROM(272)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(274)는 ROM(272)에 저장된 명령어에 따라 저장부(240)에 저장된 O/S를 RAM(271)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(274)는 저장부(240)에 저장된 각종 어플리케이션 프로그램을 RAM(271)에 복사하고, RAM(271)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(273)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 포인터, 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 입력부로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(210)의 디스플레이 영역 내에 표시된다.
메인 CPU(274)는 저장부(240)에 액세스하여, 저장부(240)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(274)는 저장부(240)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(275-1 내지 275-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 제어부(270)는 통신부(230)를 통해 서버(200)로부터 수신된 핑거프린트를 저장하도록 저장부(240)를 제어하고, 컨텐츠를 디스플레이하도록 디스플레이부(210)를 제어한다. 그리고, 제어부(270)는 디스플레이되는 컨텐츠의 핑거프린트를 추출하고, 저장된 핑거프린트 중 추출된 핑거프린트와 매칭되는 핑거프린트가 존재하는지 여부를 판단한다. 추출된 핑거프린트에 매칭되는 저장된 핑거프린트가 존재하는 경우, 제어부(270)는 서버(200)로부터 디스플레이되는 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신하도록 통신부(230)를 제어한다.
구체적으로, 도 4에 도시된 바와 같이 컨텐츠 데이터베이스(300)는 복수의 컨텐츠(420-1,420-2,...,420-n)를 포함할 수 있다. 이때, 복수의 컨텐츠는 광고 컨텐츠일 수 있고, 컨텐츠 데이터베이스(300)는 광고 데이터베이스일 수 있다. 또한, 복수의 컨텐츠는 방송 프로그램, 영화 등의 일부 구간일 수 있다. 예를 들면, 이 일부 구간은 방송 프로그램, 영화 등의 구간에서 PPL (Product Placement) 광고가 포함된 구간일 수 있다. 그리고, 서버(200)는 컨텐츠 데이터베이스(300)로부터 수신된 컨텐츠의 핑거프린트를 추출하고, 저장할 수 있다.
그리고, 서버(200)는 도 5에 도시된 바와 같이, 컨텐츠의 중요도에 따라 제1 유형의 핑거프린트(510-1,510-2,...,510-n)와 제2 유형의 핑거프린트(520-1,520-2,...,520-n)를 판단할 수 있다. 구체적으로, 재생 시간이 짧은 컨텐츠는 짧은 주기로 매칭 여부를 판단되는 것이 중요하므로, 서버(200)는 재생시간이 기 설정된 시간보다 짧거나 같은 컨텐츠를 중요도가 높은 제1 유형의 컨텐츠로 판단하고, 재생시간이 기 설정된 시간보다 긴 컨텐츠를 중요도가 낮은 제2 유형의 컨텐츠로 판단할 수 있다. 또한, 서버(200)는 분석 주기가 기 설정된 시간보다 짧거나 같은 컨텐츠를 중요도가 높은 제1 유형의 컨텐츠로 판단하고, 분석 주기가 기 설정된 시간보다 긴 컨텐츠를 중요도가 낮은 제2 유형의 컨텐츠로 판단할 수 있다. 그리고, 서버(200)는 제1 유형의 컨텐츠의 핑거프린트(510-1,510-2,...,510-n) 중 일부 구간에 대응되는 핑거프린트를 디스플레이 장치(100)로 전송할 수 있다.
그리고, 도 6에 도시된 바와 같이, 제어부(270)는 제1 유형의 컨텐츠의 일부 구간에 대응되는 핑거프린트(610-1,620-2,...,620-n)를 수신하도록 통신부(230)를 제어할 수 있다. 구체적으로, 제어부(270)는 제1 유형의 컨텐츠의 재생 시작부터 기 설정된 시간 동안의 재생 구간에 대응되는 핑거프린트를 수신하도록 통신부(230)를 제어할 수 있다.
그리고, 도 7에 도시된 바와 같이, 제어부(270)는 컨텐츠(710)를 디스플레이하도록 디스플레이부(210)를 제어할 수 있고, 디스플레이되는 컨텐츠(710)의 핑거프린트(720)를 추출할 수 있다. 구체적으로, 제어부(270)는 디스플레이되는 컨텐츠의 이미지 또는 오디오를 캡쳐하고, 캡처된 이미지 또는 오디오를 이용하여 핑거프린트를 추출할 수 있다. 이때, 핑거프린트는 비디오 프레임을 고유하게 인식할 수 있는 식별자이다.
그리고, 도 8에 도시된 바와 같이, 제어부(270)는 저장된 핑거프린트(840-1,840-2,...,840-n) 중 추출된 핑거프린트(820)와 매칭되는 핑거프린트가 존재하는지 여부를 판단할 수 있다. 저장된 핑거프린트(840-1,840-2,...,840-n) 중 추출된 핑거프린트(820)와 매칭되는 핑거프린트가 존재하는 경우, 제어부(270)는 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신하도록 통신부(230)를 제어할 수 있다. 구체적으로, 제어부(270)는 매칭된 핑거프린트가 컨텐츠의 종류 구간에 대응된다면, 컨텐츠의 나머지 구간에 대응되는 핑거프린트가 남아있지 않으므로, 매칭된 핑거프린트가 컨텐츠의 종료 구간에 대응되는 핑거프린트인지 여부를 판단할 수 있다. 판단 결과 매칭된 핑거프린트가 컨텐츠의 종료 구간에 대응되지 않는 경우, 제어부(270)는 컨텐츠의 나머지 구간에 대응되는 핑거프린트가 저장부(230)에 저장되어 있는지 여부를 판단함으로써, 비효율적인 핑거프린트의 수신을 방지할 수 있다. 그리고, 컨텐츠의 나머지 구간에 대응되는 핑거프린트가 저장부(230)에 저장되어 있지 않은 경우, 제어부(270)는 도 9에 도시된 바와 같이 컨텐츠의 나머지 구간에 대응되는 핑거프린트(950-n)를 수신하도록 통신부(230)를 제어할 수 있다.
그리고, 제어부(270)는 도 10에 도시된 바와 같이, 컨텐츠의 나머지 구간에 대응되는 핑거프린트(1040-n)를 저장하도록 저장부(240)를 제어할 수 있다. 그 결과로 컨텐츠의 전체 구간에 대응되는 핑거프린트(1040-n)가 저장부(240)에 저장되어 있으므로, 제어부(270)는 기 설정된 주기마다 디스플레이되는 컨텐츠를 캡쳐하여 핑거프린트를 추출하고, 추출된 핑거프린트와 저장된 컨텐츠의 핑거프린트의 매칭여부를 판단하는 것이 가능하게 될 수 있다. 예를 들어, 제어부(270)는 33ms의 주기마다 디스플레이되는 컨텐츠를 캡쳐하여 핑거프린트를 추출하고, 추출된 핑거프린트와 저장된 컨텐츠의 핑거프린트의 매칭여부를 판단할 수 있다.
그리고, 제어부(270)는 도 11에 도시된 바와 같이, 추출된 핑거프린트(1120)가 컨텐츠의 종료 구간에 대응되는 핑거프린트(1130)와 매칭되면, 제어부(270)는 컨텐츠의 일부구간에 대응되는 핑거프린트를 제외하고 컨텐츠의 나머지 구간에 대응되는 핑거프린트(1140-n)를 삭제하도록 저장부(240)를 제어할 수 있다. 따라서, 재생이 종료된 컨텐츠에 대응되는 핑거프린트의 전체 구간을 저장하지 않음으로써, 저장부(240)의 용량이 부족하여 많은 수의 컨텐츠를 저장하지 못하는 경우를 방지할 수 있다.
그리고, 도 12에 도시된 바와 같이, 기 저장된 핑거프린트(1240-1,1240-2,...,1240-n) 중 디스플레이되는 컨텐츠(1210)에서 추출된 핑거프린트(1220)와 매칭되는 핑거프린트가 존재하지 않는 경우, 제어부(270)는 추출된 핑거프린트(1220)를 서버(200)로 전송하도록 통신부(230)를 제어할 수 있다. 그리고, 제어부(270)는 서버(200)로 전송된 핑거프린트(1220)와 매칭되는 핑거프린트(1230)가 포함된 컨텐츠에 대응되는 핑거프린트(1260-1)를 수신하도록 통신부(230)를 제어할 수 있다. 한편, 전송된 핑거프린트(1220)와 매칭되는 핑거프린트(1230)가 포함된 컨텐츠는 제2 유형의 핑거프린트일 수 있다. 그리고, 제어부(270)는 매칭되는 핑거프린트가 포함된 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신하도록 통신부(230)를 제어할 수 있다. 그리고, 제어부(270)는 수신된 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 저장하도록 저장부(240)를 제어할 수 있다.
그 결과로 컨텐츠의 나머지 구간에 대응되는 핑거프린트(1260-1)가 저장부(240)에 저장되어 있으므로, 제어부(270)는 기 설정된 주기마다 디스플레이되는 컨텐츠를 캡쳐하여 핑거프린트를 추출하고, 추출된 핑거프린트와 저장된 컨텐츠의 핑거프린트의 매칭여부를 판단하는 것이 가능하게 될 수 있다. 예를 들어, 제어부(270)는 33ms의 주기마다 디스플레이되는 컨텐츠를 캡쳐하여 핑거프린트를 추출하고, 추출된 핑거프린트와 저장된 컨텐츠의 핑거프린트의 매칭여부를 판단할 수 있다. 그리고, 제어부(270)는 추출된 핑거프린트(1220)가 컨텐츠의 종료 구간에 대응되는 핑거프린트(1230)와 매칭되면, 컨텐츠의 일부구간에 대응되는 핑거프린트를 제외하고 컨텐츠의 나머지 구간에 대응되는 핑거프린트(1240-n)를 삭제하도록 저장부(240)를 제어할 수 있다. 따라서, 재생이 종료된 컨텐츠에 대응되는 핑거프린트의 전체 구간을 저장하지 않음으로써, 저장부(240)의 용량에 따라 많은 수의 컨텐츠를 저장하지 못하는 경우를 방지할 수 있다.
이하에서는 도 13을 참조하여 본 개시의 일 실시 예에 따른, 디스플레이 장치(100)의 제어 방법을 설명하기로 한다.
우선, 디스플레이 장치(100)는 컨텐츠를 디스플레이한다(1310). 구체적으로, 디스플레이 장치(100)는 광고 컨텐츠 또는 방송 프로그램 등을 디스플레이할 수 있다.
그리고, 디스플레이 장치(100)는 디스플레이되는 컨텐츠를 캡쳐하여 핑거프린트를 추출한다(S1320). 구체적으로, 디스플레이 장치(100)는 이미지 또는 오디오를 캡쳐하고, 캡쳐된 이미지 또는 오디오를 이용하여 디스플레이되는 컨텐츠의 핑거프린트를 추출할 수 있다.
그리고, 디스플레이 장치(100)는 기 저장된 핑거프린트 중에서 추출된 핑거프린트에 매칭되는 핑거프린트가 존재하는지 여부를 판단한다(S1330). 이때, 기 저장된 핑거프린트는 서버(100)로부터 수신된 제1 유형의 컨텐츠의 일부 구간에 대응되는 핑거프린트일 수 있고, 일부 구간은 재생 시작부터 기 설정된 시간 동안 재생되는 구간일 수 있다. 한편, 일부 구간이 반드시 연속적일 필요는 없다.
그리고, 추출된 핑거프린트에 매칭되는 기 저장된 핑거프린트가 존재하는 경우, 디스플레이 장치(100)는 서버(200)로부터 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신한다(S1340). 그리고, 추출된 핑거프린트에 매칭되는 기 저장된 핑거프린트가 존재하지 않는 경우, 디스플레이 장치(100)는 추출된 핑거프린트를 서버(200)로 전송하고, 추출된 핑거프린트와 매칭되는 핑거프린트가 포함된 컨텐츠의 핑거프린트를 수신할 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 개시의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 개시에 포함된 것으로 해석되어야 할 것이다.
100: 디스플레이 장치
110: 디스플레이부
120: 통신부
130: 저장부
140: 제어부
200: 서버
300: 컨텐츠 데이터베이스

Claims (19)

  1. 디스플레이 장치의 제어 방법에 있어서,
    서버로부터 복수의 컨텐츠 일부 구간에 대응되는 핑거프린트를 수신하여 저장하는 단계;
    컨텐츠를 디스플레이하는 단계;
    상기 디스플레이되는 컨텐츠로부터 핑거프린트를 추출하는 단계;
    상기 서버로부터 수신하여 저장한 핑거프린트 중 상기 추출된 핑거프린트에 매칭되는 핑거프린트가 존재하는지 여부를 판단하는 단계; 및
    상기 추출된 핑거프린트에 매칭되는 핑거프린트가 상기 서버로부터 수신하여 저장한 핑거프린트에 존재하는 경우, 상기 서버로부터 상기 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
  2. 제1항에 있어서,
    상기 추출된 핑거프린트에 매칭되는 기 저장된 핑거프린트가 존재하지 않는 경우, 상기 추출된 핑거프린트를 상기 서버로 전송하는 단계; 및
    상기 서버로부터 상기 추출된 핑거프린트에 매칭되는 컨텐츠의 전체 구간의 핑거프린트를 수신하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  3. 제2항에 있어서,
    상기 추출된 핑거프린트가 상기 매칭되는 컨텐츠의 중간에 삽입된 핑거프린트이면,
    상기 수신하는 단계는, 상기 매칭되는 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  4. 제1항에 있어서,
    상기 수신하는 단계는,
    상기 컨텐츠의 나머지 구간에 대응되는 핑거프린트가 저장되어 있는지 여부를 판단하는 단계; 및
    상기 나머지 구간에 대응되는 핑거프린트가 저장되어 있지 않은 경우, 상기 나머지 구간에 대응되는 핑거프린트를 수신하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 수신된 핑거프린트를 저장하여 기 저장된 핑거프린트를 업데이트하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 서버는,
    저장된 컨텐츠의 중요도에 따라 제1 유형의 컨텐츠 및 제2 유형의 컨텐츠를 판단하고,
    상기 수신하여 저장하는 단계는,
    상기 서버로부터 상기 제2 유형의 컨텐츠보다 중요도가 높은 상기 제1 유형의 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신하여 저장하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  8. 제1항에 있어서,
    상기 서버는,
    저장된 컨텐츠의 재생 시간에 따라 제3 유형의 컨텐츠 및 제4 유형의 컨텐츠를 판단하고,
    상기 수신하여 저장하는 단계는,
    상기 서버로부터 상기 제4 유형의 컨텐츠보다 재생 시간이 짧은 상기 제3 유형의 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신하여 저장하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  9. 제1항에 있어서,
    상기 컨텐츠의 재생이 종료되면, 상기 수신된 나머지 구간에 대응되는 핑거프린트를 삭제하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  10. 디스플레이 장치에 있어서,
    저장부;
    디스플레이부;
    통신부; 및
    서버로부터 복수의 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신하도록 상기 통신부를 제어하고, 상기 수신된 핑거프린트를 저장하도록 상기 저장부를 제어하고, 컨텐츠를 디스플레이하도록 상기 디스플레이부를 제어하고, 상기 디스플레이되는 컨텐츠로부터 핑거프린트를 추출하고, 상기 서버로부터 수신하여 저장한 핑거프린트 중 상기 추출된 핑거프린트에 매칭되는 핑거프린트가 존재하는지 여부를 판단하고, 상기 추출된 핑거프린트에 매칭되는 핑거프린트가 상기 서버로부터 수신하여 저장한 핑거프린트에 존재하는 경우, 상기 서버로부터 상기 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신하도록 상기 통신부를 제어하는 제어부;를 포함하는 디스플레이 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 추출된 핑거프린트에 매칭되는 기 저장된 핑거프린트가 존재하지 않는 경우, 상기 추출된 핑거프린트를 상기 서버로 전송하고, 상기 서버로부터 상기 추출된 핑거프린트에 매칭되는 컨텐츠의 전체 구간의 핑거프린트를 수신하도록 상기 통신부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  12. 제11항에 있어서,
    상기 추출된 핑거프린트가 상기 매칭되는 컨텐츠의 중간에 대응되는 핑거프린트이면,
    상기 제어부는,
    상기 매칭되는 컨텐츠의 나머지 구간에 대응되는 핑거프린트를 수신하도록 상기 통신부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  13. 제10항에 있어서,
    상기 제어부는,
    상기 컨텐츠의 나머지 구간에 대응되는 핑거프린트가 저장되어 있는지 여부를 판단하고, 상기 나머지 구간에 대응되는 핑거프린트가 저장되어 있지 않은 경우, 상기 나머지 구간에 대응되는 핑거프린트를 수신하도록 상기 통신부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  14. 제10항 내지 제13항 중 어느 한 항에 있어서,
    상기 제어부는,
    상기 수신된 핑거프린트를 저장하여 기 저장된 핑거프린트를 업데이트하는 것을 특징으로 하는 디스플레이 장치.
  15. 삭제
  16. 제10항에 있어서,
    상기 서버는,
    저장된 컨텐츠의 중요도에 따라 제1 유형의 컨텐츠 및 제2 유형의 컨텐츠를 판단하고,
    상기 제어부는,
    상기 서버로부터 상기 제2 유형의 컨텐츠보다 중요도가 높은 상기 제1 유형의 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신하도록 상기 통신부를 제어하고, 상기 수신된 핑거프린트를 저장하도록 상기 저장부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  17. 제10항에 있어서,
    상기 서버는,
    저장된 컨텐츠의 재생 시간에 따라 제3 유형의 컨텐츠 및 제4 유형의 컨텐츠를 판단하고,
    상기 제어부는,
    상기 서버로부터 상기 제4 유형의 컨텐츠보다 재생 시간이 짧은 상기 제3 유형의 컨텐츠의 일부 구간에 대응되는 핑거프린트를 수신하도록 상기 통신부를 제어하고, 상기 수신된 핑거프린트를 저장하도록 상기 저장부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  18. 제10항에 있어서,
    상기 제어부는,
    상기 컨텐츠의 재생이 종료되면, 상기 수신된 나머지 구간에 대응되는 핑거프린트를 삭제하는 것을 특징으로 하는 디스플레이 장치.
  19. 서버의 제어 방법에 있어서,
    저장된 컨텐츠의 중요도에 따라 제1 유형의 컨텐츠 및 제2 유형의 컨텐츠를 판단하는 단계;
    상기 제2 유형의 컨텐츠보다 중요도가 높은 상기 제1 유형의 컨텐츠의 일부 구간에 대응되는 핑거프린트를 디스플레이 장치로 전송하는 단계;
    상기 디스플레이 장치로부터 상기 제1 유형의 컨텐츠의 나머지 구간에 대응되는 핑거프린트에 대한 전송 요청이 수신되면, 상기 제1 유형의 컨텐츠의 상기 나머지 구간에 대응되는 핑거프린트를 상기 디스플레이 장치로 전송하는 단계;
    상기 디스플레이 장치로부터 핑거프린트가 수신되면, 상기 수신된 핑거프린트와 매칭되는 핑거프린트가 포함된 상기 제2 유형의 컨텐츠를 추출하는 단계; 및
    상기 추출된 상기 제2 유형의 컨텐츠의 전체 구간에 대응되는 핑거프린트를 상기 디스플레이 장치로 전송하는 단계;를 포함하는 서버의 제어 방법.
KR1020150143655A 2015-10-14 2015-10-14 디스플레이 장치 및 이의 제어 방법 KR102424839B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150143655A KR102424839B1 (ko) 2015-10-14 2015-10-14 디스플레이 장치 및 이의 제어 방법
PCT/KR2016/007955 WO2017065394A1 (ko) 2015-10-14 2016-07-21 디스플레이 장치 및 이의 제어 방법
US15/760,517 US10616595B2 (en) 2015-10-14 2016-07-21 Display apparatus and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150143655A KR102424839B1 (ko) 2015-10-14 2015-10-14 디스플레이 장치 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20170043944A KR20170043944A (ko) 2017-04-24
KR102424839B1 true KR102424839B1 (ko) 2022-07-25

Family

ID=58517275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150143655A KR102424839B1 (ko) 2015-10-14 2015-10-14 디스플레이 장치 및 이의 제어 방법

Country Status (3)

Country Link
US (1) US10616595B2 (ko)
KR (1) KR102424839B1 (ko)
WO (1) WO2017065394A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019221511A1 (ko) * 2018-05-15 2019-11-21 Ko Hyun Sung 컨텐츠를 중심으로 하는 정보 제공 방법
US11055346B2 (en) * 2018-08-03 2021-07-06 Gracenote, Inc. Tagging an image with audio-related metadata
KR102585244B1 (ko) * 2018-09-21 2023-10-06 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187358A1 (en) * 2003-03-07 2006-08-24 Lienhart Rainer W Video entity recognition in compressed digital video streams
KR101155465B1 (ko) * 2011-12-09 2012-06-15 주식회사 코난테크놀로지 방송의 광고를 모니터링하는 방송 광고 모니터링 시스템 및 방송 광고 모니터링 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834308B1 (en) 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
US20070162761A1 (en) 2005-12-23 2007-07-12 Davis Bruce L Methods and Systems to Help Detect Identity Fraud
KR101300220B1 (ko) * 2010-09-30 2013-08-26 (주)엔써즈 콘텐츠 데이터의 메타 정보 생성 방법 및 장치
KR20130136369A (ko) 2010-11-24 2013-12-12 엘지전자 주식회사 영상 표시 장치 및 그 제어 방법
DE112011103903B4 (de) 2010-11-24 2016-06-23 Lg Electronics Inc. Methode zum Empfang eines bestimmten Services und Videowiedergabegerät dazu
US20140115618A1 (en) 2011-06-23 2014-04-24 Nec Corporation Video processing system, advertisement acquisition method, video processing device, and method for controlling same
KR101310943B1 (ko) 2011-09-26 2013-09-23 (주)엔써즈 방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법
US9319740B2 (en) 2012-02-07 2016-04-19 Turner Broadcasting System, Inc. Method and system for TV everywhere authentication based on automatic content recognition
US20140013352A1 (en) 2012-07-09 2014-01-09 Tvtak Ltd. Methods and systems for providing broadcast ad identification
US20140089815A1 (en) 2012-09-21 2014-03-27 Google Inc. Sharing Content-Synchronized Ratings
KR102024168B1 (ko) * 2012-11-27 2019-09-23 삼성전자주식회사 컨텐츠 인식 서버, 단말 장치를 포함하는 컨텐츠 연관 정보 제공 시스템 및 그 제어 방법
US9495451B2 (en) 2013-01-07 2016-11-15 Gracenote, Inc. Identifying video content via fingerprint matching
WO2014126422A1 (en) 2013-02-14 2014-08-21 Lg Electronics Inc. Video display apparatus and operating method thereof
KR20150104358A (ko) * 2014-03-05 2015-09-15 삼성전자주식회사 서버 장치 및 그의 핑거프린트 전송 방법, 그리고 방송수신장치
KR102166423B1 (ko) * 2014-03-05 2020-10-15 삼성전자주식회사 디스플레이 장치, 서버 장치 및 디스플레이 장치의 이벤트 정보 제공 방법
KR20160044954A (ko) 2014-10-16 2016-04-26 삼성전자주식회사 정보 제공 방법 및 이를 구현하는 전자 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187358A1 (en) * 2003-03-07 2006-08-24 Lienhart Rainer W Video entity recognition in compressed digital video streams
KR101155465B1 (ko) * 2011-12-09 2012-06-15 주식회사 코난테크놀로지 방송의 광고를 모니터링하는 방송 광고 모니터링 시스템 및 방송 광고 모니터링 방법

Also Published As

Publication number Publication date
US10616595B2 (en) 2020-04-07
KR20170043944A (ko) 2017-04-24
US20180255313A1 (en) 2018-09-06
WO2017065394A1 (ko) 2017-04-20

Similar Documents

Publication Publication Date Title
US10200634B2 (en) Video generation method, apparatus and terminal
US9247199B2 (en) Method of providing information-of-users' interest when video call is made, and electronic apparatus thereof
US10452777B2 (en) Display apparatus and character correcting method thereof
KR102189648B1 (ko) 디스플레이 장치, 이의 제어 방법 및 디스플레이 시스템
KR102147389B1 (ko) 디스플레이 장치 및 이의 제어 방법
KR20150136312A (ko) 디스플레이 장치 및 이의 정보 제공 방법
US20150019976A1 (en) Portable terminal and method for providing information using the same
CN108924452A (zh) 局部录屏方法、装置及计算机可读存储介质
KR20150018127A (ko) 디스플레이 장치 및 그 방법
US20140195975A1 (en) Display apparatus and method of controlling a display apparatus
KR102424839B1 (ko) 디스플레이 장치 및 이의 제어 방법
US20170102909A1 (en) Display apparatus and controlling method thereof
KR20150142347A (ko) 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
US10223525B2 (en) Display apparatus and method for controlling display apparatus thereof
CN105657510B (zh) 图像显示装置及其信息提供方法
KR20150034956A (ko) 컨텐츠 인식 방법 및 이를 적용한 디스플레이 장치, 그리고 컨텐츠 인식 시스템
KR20160066914A (ko) 전자 장치 및 이의 제어 방법
KR102160736B1 (ko) 디스플레이 장치 및 디스플레이 장치의 표시 방법
KR102428269B1 (ko) 전자 장치 및 이의 제어 방법
US20140136991A1 (en) Display apparatus and method for delivering message thereof
KR102425445B1 (ko) 디스플레이 장치 및 이의 제어 방법
US9633400B2 (en) Display apparatus and method of providing a user interface
US20150026571A1 (en) Display apparatus and method for providing a user interface
CN115086759A (zh) 视频处理方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant