KR20170069599A - 디스플레이 장치 및 디스플레이 장치의 제어 방법 - Google Patents

디스플레이 장치 및 디스플레이 장치의 제어 방법 Download PDF

Info

Publication number
KR20170069599A
KR20170069599A KR1020150177011A KR20150177011A KR20170069599A KR 20170069599 A KR20170069599 A KR 20170069599A KR 1020150177011 A KR1020150177011 A KR 1020150177011A KR 20150177011 A KR20150177011 A KR 20150177011A KR 20170069599 A KR20170069599 A KR 20170069599A
Authority
KR
South Korea
Prior art keywords
screen
information
image
vod
image frame
Prior art date
Application number
KR1020150177011A
Other languages
English (en)
Inventor
소재민
세르게이 수다코브
이지효
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150177011A priority Critical patent/KR20170069599A/ko
Priority to US15/367,948 priority patent/US20170171629A1/en
Priority to EP16202756.9A priority patent/EP3179735A1/en
Publication of KR20170069599A publication Critical patent/KR20170069599A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디스플레이 장치가 개시된다. 본 디스플레이 장치는 외부 기기로부터 영상 프레임을 입력받는 외부 입력부, 영상 프레임을 디스플레이하는 디스플레이, 메모리 및 영상 프레임의 유형을 판단하고, 판단된 영상 프레임의 유형에 따라 영상 프레임을 분석하여 영상 프레임에 포함된 영상 컨텐츠에 대한 정보를 추출하며, 추출된 영상 컨텐츠에 대한 정보를 시청 이력 정보로 메모리에 저장하는 프로세서를 포함한다.

Description

디스플레이 장치 및 디스플레이 장치의 제어 방법{DISPLAY APPARATUS AND CONTROLLING METHOD THEREOF}
본 개시는 디스플레이 장치 및 디스플레이 장치의 제어 방법에 관한 것으로, 보다 상세하게는, 영상 또는 음성을 분석하여 사용자의 시청 이력 정보를 획득할 수 있는 디스플레이 장치 및 디스플레이 장치의 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 종류의 디스플레이 장치가 개발되어 보급되고 사용자의 요구에 따라 점차 다양한 기능을 구비하게 되었다. 이에 따라, 사용자는 TV를 포함한 각종 디스플레이 장치를 통해 다양한 종류의 컨텐츠를 시청할 수 있게 되었다.
이때, 디스플레이 장치를 이용한 사용자의 컨텐츠 시청 이력을 파악하여 사용자에게 컨텐츠를 추천하거나 광고를 제공하는 서비스 등이 제공되고 있다. 이러한 사용자의 시청 이력을 이용한 서비스가 제공되기 위해서는 먼저, 사용자의 디스플레이 장치 시청 이력 정보를 획득하는 것이 필수적이다.
이를 위해, 종래에는 리모컨이나 디스플레이 장치에 구비된 입력부를 통한 사용자의 입력을 기초로 사용자의 시청 이력을 파악하는 방법이 이용되었으나, 이 경우 획득할 수 있는 시청 이력 정보가 제한적이었다.
이에 따라, 최근에는 디스플레이 장치를 기준으로, 재생되는 컨텐츠의 영상을 직접 분석하여 사용자의 시청 이력 정보를 획득하는 기술이 제안되고 있다. 그러나, 종래의 기술은 화면 구성에 대한 템플릿을 미리 확보하고, 이를 디스플레이되는 영상 프레임과 비교하여 정보를 추출하는 방식으로 시청 이력 정보를 획득하였으므로, 새로 생성되거나 변경되는 화면 구성으로부터는 시청 이력 정보를 획득하기 어려운 문제점이 있다.
따라서, 템플릿 정보 없이, 컨텐츠의 영상과 음성을 직접 분석하여 디스플레이 장치 사용자의 시청 이력 정보를 획득할 수 있는 기술에 대한 필요성이 대두된다.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로, 본 개시의 목적은 영상 프레임의 유형에 따라 사용자의 시청 이력 정보를 획득하는 디스플레이 장치 및 디스플레이 장치의 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 디스플레이 장치는 외부 기기로부터 영상 프레임을 입력받는 외부 입력부, 상기 영상 프레임을 디스플레이하는 디스플레이, 메모리 및 상기 외부 입력부를 통해 입력되는 상기 영상 프레임의 유형을 판단하고, 상기 판단된 영상 프레임의 유형에 따라 상기 영상 프레임을 분석하여 상기 영상 프레임에 포함된 영상 컨텐츠에 대한 정보를 추출하며, 상기 추출된 영상 컨텐츠에 대한 정보를 시청 이력 정보로 상기 메모리에 저장하는 프로세서를 포함한다.
이때, 상기 영상 프레임의 유형은, VOD(Video On Demand) UI 화면, 리니어 방송의 OSD 화면 및 영상 컨텐츠 화면을 포함할 수 있다.
또한, 상기 프로세서는, 상기 영상 프레임에 포함된 사각형에 관한 정보 및 글자에 관한 정보 중 적어도 하나를 특징(feature)으로 적용한 머신 러닝 기법을 이용하여 상기 입력되는 영상 프레임이 VOD UI 화면인지 여부를 판단할 수 있다.
또한, 상기 외부 입력부는, 상기 외부 기기로부터 오디오 신호를 입력받고, 상기 프로세서는, 상기 머신 러닝 기법에 상기 오디오 신호의 영 교차율(zero-crossing rate) 및 상기 오디오 신호의 세기를 추가적인 특징으로 적용하여 상기 입력되는 영상 프레임이 상기 VOD UI 화면인지 여부를 판단할 수 있다.
또한, 상기 프로세서는, 기설정된 시간 동안 입력되는 복수의 영상 프레임을 분석하여 상기 복수의 영상 프레임에 포함된 글자의 분포 패턴을 검출하고, 상기 검출된 패턴에 기초하여 상기 영상 프레임이 상기 리니어 방송의 ODS 화면인지 여부를 판단할 수 있다.
또한, 상기 프로세서는, OCR(Optical Character Recognition)을 통해 상기 VOD UI 화면 또는 상기 리니어방송의 OSD 화면으로부터 상기 영상 컨텐츠에 대한 정보를 추출할 수 있다.
또한, 상기 프로세서는, 상기 영상 프레임이 상기 VOD UI 화면 및 상기 리니어 방송의 OSD 화면이 아닌 경우, 상기 입력되는 영상 프레임을 상기 영상 컨텐츠 화면으로 판단하고, 현재 시점을 기준으로 최근에 추출된 상기 영상 컨텐츠에 대한 정보를 상기 영상 프레임에 포함된 영상 컨텐츠에 대한 정보로 결정하며, 상기 결정된 영상 컨텐츠에 대한 정보를 상기 시청 이력 정보로 상기 메모리에 저장할 수 있다.
또한, VOD 컨텐츠 제공 서버로부터 영상 프레임을 수신하는 통신부를 포함하고, 상기 프로세서는, 상기 VOD 컨텐츠 제공 서버로부터 상기 영상 프레임이 수신되면, 상기 수신되는 영상 프레임에 포함된 사각형의 개수 및 글자의 개수를 특징(feature)으로 적용한 머신 러닝 기법을 이용하여 상기 수신되는 영상 프레임이 상기 VOD UI 화면인지 여부를 판단하고, 상기 VOD UI 화면으로 판단되면, 상기 영상 프레임을 분석하여 상기 영상 프레임에 포함된 영상 컨텐츠에 대한 정보를 추출할 수 있다.
또한, 상기 프로세서는, 상기 VOD UI 화면이 아닌 것으로 판단되면, 상기 영상 프레임을 상기 영상 컨텐츠 화면으로 판단하고, 현재 시점을 기준으로 최근에 추출된 상기 영상 컨텐츠에 대한 정보를 상기 영상 컨텐츠 화면에 포함된 영상 컨텐츠에 대한 정보로 결정하며, 상기 결정된 영상 컨텐츠에 대한 정보를 상기 시청 이력 정보로 상기 메모리에 저장할 수 있다.
한편, 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법은, 외부 기기로부터 영상 프레임을 입력받는 단계, 상기 입력된 영상 프레임의 유형을 판단하는 단계, 상기 판단된 영상 프레임의 유형에 따라 상기 영상 프레임을 분석하여 상기 영상 프레임에 포함된 영상 컨텐츠에 대한 정보를 추출하는 단계 및 상기 추출된 영상 컨텐츠에 대한 정보를 시청 이력 정보로 저장하는 단계를 포함할 수 있다.
이때, 상기 영상 프레임의 유형은, VOD(Video On Demand) UI 화면, 리니어 방송의 OSD 화면 및 영상 컨텐츠 화면을 포함할 수 있다.
또한, 상기 영상 프레임의 유형을 판단하는 단계는, 상기 영상 프레임에 포함된 사각형에 관한 정보 및 글자에 관한 정보 중 적어도 하나를 특징(feature)으로 적용한 머신 러닝 기법을 이용하여 상기 입력되는 영상 프레임이 VOD UI 화면인지 여부를 판단할 수 있다.
또한, 상기 외부 기기로부터 오디오 신호를 입력받는 단계를 더 포함하고, 상기 영상 프레임의 유형을 판단하는 단계는, 상기 머신 러닝 기법에 상기 오디오 신호의 영 교차율(zero-crossing rate) 및 상기 오디오 신호의 세기를 추가적인 특징으로 적용하여 상기 입력되는 영상 프레임이 상기 VOD UI 화면인지 여부를 판단할 수 있다.
또한, 상기 영상 프레임의 유형을 판단하는 단계는, 기설정된 시간동안 입력되는 복수의 영상 프레임을 분석하여 상기 복수의 영상 프레임에 포함된 글자의 분포 패턴을 검출하는 단계 및 상기 검출된 패턴에 기초하여 상기 영상 프레임이 상기 리니어 방송의 OSD 화면인지 여부를 판단하는 단계를 포함할 수 있다.
또한, 상기 영상 컨텐츠에 대한 정보를 추출하는 단계는, OCR(Optical Character Recognition)을 통해 상기 VOD UI 화면 또는 상기 리니어 방송의 OSD 화면으로부터 상기 영상 컨텐츠에 대한 정보를 추출할 수 있다.
또한, 상기 영상 프레임의 유형을 판단하는 단계는, 상기 영상 프레임이 상기 VOD UI 화면 및 상기 리니어 방송의 OSD 화면이 아닌 경우, 상기 입력되는 영상 프레임을 상기 영상 컨텐츠 화면으로 판단하고, 현재 시점을 기준으로 최근에 추출된 상기 영상 컨텐츠에 대한 정보를 상기 영상 컨텐츠 화면에 포함된 영상 컨텐츠에 대한 정보로 결정하는 단계를 더 포함하며, 상기 저장하는 단계는, 상기 결정된 영상 컨텐츠에 대한 정보를 상기 시청 이력 정보로 저장할 수 있다.
또한, 상기 디스플레이 장치에 설치된 VOD 애플리케이션의 실행에 따라 VOD 컨텐츠 제공 서버로부터 영상 프레임을 수신하는 단계를 더 포함하고, 상기 영상 프레임의 유형을 판단하는 단계는, 상기 VOD 컨텐츠 제공 서버로부터 상기 영상 프레임이 수신되면, 상기 수신되는 영상 프레임에 포함된 사각형의 개수 및 글자의 개수를 특징(feature)으로 적용한 머신 러닝 기법을 이용하여 상기 수신되는 영상 프레임이 상기 VOD UI 화면인지 여부를 판단하고, 상기 영상 컨텐츠에 대한 정보를 추출하는 단계는, 상기 VOD UI 화면으로 판단되면, 상기 영상 프레임을 분석하여 상기 영상 프레임에 포함된 영상 컨텐츠에 대한 정보를 추출할 수 있다.
또한, 상기 영상 프레임의 유형을 판단하는 단계는, 상기 VOD UI 화면이 아닌 것으로 판단되면, 상기 영상 프레임을 상기 영상 컨텐츠 화면으로 판단하고, 상기 제어 방법은, 현재 시점을 기준으로 최근에 추출된 상기 영상 컨텐츠에 대한 정보를 상기 영상 컨텐츠 화면에 포함된 영상 컨텐츠에 대한 정보로 결정하는 단계를 더 포함하며, 상기 저장하는 단계는, 상기 결정된 영상 컨텐츠에 대한 정보를 상기 시청 이력 정보로 저장할 수 있다.
한편, 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록 매체에 있어서, 상기 제어 방법은, 외부 기기로부터 영상 프레임을 입력받는 단계, 상기 입력된 영상 프레임의 유형을 판단하는 단계, 상기 판단된 영상 프레임의 유형에 따라 상기 영상 프레임을 분석하여 상기 영상 프레임에 포함된 영상 컨텐츠에 대한 정보를 추출하는 단계 및 상기 추출된 영상 컨텐츠에 대한 정보를 시청 이력 정보로 저장하는 단계를 포함할 수 있다.
이상과 같은 본 개시의 다양한 실시 예들에 따르면, 템플릿 정보 없이 컨텐츠의 영상과 음성을 직접 분석하여 디스플레이 장치 사용자의 시청 이력 정보를 획득할 수 있다.
도 1 은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도,
도 2는 본 개시의 다른 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 상세 블럭도,
도 3은 본 개시의 일 실시 예에 따른 VOD UI 화면 및 VOD 컨텐츠 화면의 예시도,
도 4는 본 개시의 일 실시 예에 따른 리니어 방송의 OSD 화면 및 리니어 방송 컨텐츠 화면의 예시도, 및
도 5는 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 나타내는 흐름도이다.
본 개시를 설명함에 있어, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하에서 첨부된 도면을 참조하여 본 개시의 다양한 실시 예를 상세히 설명한다. 도 1 은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다. 도 1에 따르면, 디스플레이 장치(100)는 외부 입력부(110), 디스플레이(120), 메모리(130) 및 프로세서(140)를 포함한다. 이때, 디스플레이 장치(100)는 TV, 모니터, 휴대폰, 전자 액자, 전자 칠판, 전자 테이블, LFD(Large Format Display), 태블릿, 노트북 등 다양한 전자 장치로 구현될 수 있다.
외부 입력부(110)는 외부 기기로부터 영상 및 음성 신호를 입력받을 수 있다. 이때, 외부 기기는 케이블 방송 셋탑박스, IPTV 셋탑박스, 위성 방송 셋탑박스, OTT(Over The Top) 전용기기, 비디오 게임 콘솔, CD 또는 DVD 플레이어 등과 같은 저장 매체 재생기 중 적어도 하나일 수 있다.
구체적으로, 외부 입력부(100)는 외부 기기를 통해 제공되는 컨텐츠의 영상 프레임을 입력받을 수 있으며, 컨텐츠의 오디오 신호를 입력받을 수 있다.
이를 위해, 외부 입력부(110)는 컴포지트(Composite), S 영상(Separate Video), Component, D-Sub, HDMI, DVI(Digital Visual Interface), S/PDIF(Sony Philips Digital Interface) 등과 같은 각종 규격을 만족하는 적어도 하나의 인터페이스를 포함할 수 있다.
디스플레이(120)는 프로세서(140)의 제어를 받아 다양한 영상을 디스플레이 한다. 특히, 디스플레이(120)는 외부 입력부(100)를 통해 외부 기기(110)로부터 입력되는 영상 프레임을 디스플레이할 수 있다. 이를 위해, 디스플레이(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있으나, 이에 한정되는 것은 아니다.
메모리(130)는 디스플레이 장치(100)의 동작을 위한 다양한 프로그램 및 데이터를 저장한다. 특히, 메모리(130)에는 후술할 바와 같이 프로세서(140)에 의해 추출된 영상 컨텐츠에 대한 정보가 시청 이력 정보로 저장될 수 있다. 여기서, 시청 이력 정보는 사용자가 디스플레이 장치(100)를 통해 컨텐츠를 시청한 이력에 관한 정보로서, 컨텐츠 검색 이력 정보, 컨텐츠 재핑 이력 정보, 컨텐츠 시청 이력 정보 중 적어도 하나를 포함할 수 있다.
이를 위해, 메모리(130)는 각종 램(RAM) 및 롬(ROM), 플래시 메모리를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니며, HDD(Hard Disk Drive), SSD(Solid State Drive), CD 등과 같은 저장 매체 역시 메모리(130)의 범주에 포함될 수 있다.
프로세서(140)는 디스플레이 장치(100)의 전반적인 동작을 제어한다. 특히, 프로세서(140)는 외부 입력부(110)를 통해 입력되는 영상 신호를 처리하여 영상 신호에 포함된 영상 프레임을 디스플레이하도록 디스플레이(120)를 제어할 수 있다.
또한, 프로세서(140)는 외부 입력부(110)를 통해 입력되는 영상 프레임의 유형을 판단할 수 있다. 이때, 영상 프레임의 유형은 VOD(Video On Demand) UI 화면, 리니어 방송의 OSD 화면 및 영상 컨텐츠 화면 중 적어도 하나를 포함할 수 있다.
즉, 프로세서(140)는 입력되는 영상 프레임이, 쌍방향 컨텐츠인 VOD 컨텐츠를 검색 및 선택하여 시청하기 위한 VOD UI 화면인지, 또는 방송사업자가 일방적으로 전송한 컨텐츠를 수동적으로 시청하는 형태의 리니어 방송의 OSD 화면인지, 또는 VOD 컨텐츠나 리니어 방송 컨텐츠 자체를 나타내는 영상 컨텐츠 화면인지 여부를 판단할 수 있다. 여기서, 리니어 방송의 OSD 화면은, 리니어 방송 화면 중 화면의 특정 영역에 채널 번호, 채널명, 방송국명, 컨텐츠 제목 등과 같은 OSD 정보를 포함하는 화면을 의미한다.
예를 들어, 프로세서(140)는 외부 기기로부터 영상 프레임이 입력되면, 입력되는 영상 프레임이 VOD UI 화면인지 여부를 판단할 수 있다. 구체적으로, 프로세서(140)는 영상 프레임에 포함된 사각형에 관한 정보 및 글자에 관한 정보 중 적어도 하나를 주요 특징(feature)로 적용한 러닝 머신 기법을 이용하여 입력되는 영상 프레임이 VOD UI 화면인지 여부를 판단할 수 있다.
여기서, 사각형에 관한 정보는 영상 프레임에 포함된 사각형의 개수 및 사각형의 분포 중 적어도 하나를 포함할 수 있다. 또한, 글자에 관한 정보는 영상 프레임에 포함된 글자의 개수 및 글자의 분포 중 적어도 하나를 포함할 수 있다.
이때, 본 개시의 일 실시 예에 따르면, 프로세서(140)는 외부 입력부(110)를 통해 입력되는 오디오 신호의 영 교차율 (zero-crossing rate) 및 상기 오디오 신호의 세기를 머신 러닝 기법에 추가적인 특징으로 적용하여 입력되는 영상 프레임이 VOD UI 화면인지 여부를 판단할 수도 있다.
또한, 프로세서(140)는 외부 기기로부터 영상 프레임이 입력되면, 입력되는 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 판단할 수 있다. 구체적으로, 프로세서(140)는 기설정된 시간동안 입력되는 복수의 영상 프레임을 분석하여 복수의 영상 프레임에 포함된 글자의 분포 패턴을 검출하고, 검출된 분포 패턴에 기초하여 각 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 판단할 수 있다. 이때, 프로세서(140)는 기설정된 시간동안 입력되는 복수의 영상 프레임 각각에 OCR(Opticadl Character Recognition)을 적용하여 글자 분포 패턴을 검출할 수 있으나, 이에 한정되는 것은 아니다.
또한, 프로세서(140)는 기설정된 시간동안 입력되는 복수의 영상 프레임을 분석하여 복수의 영상 프레임 동안 픽셀값의 변화가 일정 범위 내인 영역을 검출하고, 검출된 영역에 관한 정보에 기초하여 각 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 판단할 수도 있다.
그러나, 이에 한정되는 것은 아니며, 프로세서(140)는 복수의 영상 프레임에서 검출한 글자의 분포 패턴에 관한 정보 및 픽셀값의 변화가 일정 범위 내인 영역에 관한 정보를 함께 이용하여 각 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 판단할 수도 있음은 물론이다.
예를 들어, 프로세서(140)는 입력되는 영상 프레임이 VOD UI 화면이 아닌 것으로 판단되면, 기설정된 시간동안 입력되는 복수의 영상 프레임 각각을 분석하여 각 영상 프레임에 포함된 글자 분포가 복수의 영상 프레임 동안 일정한 패턴을 갖는지 여부를 판단할 수 있다. 이에 따라, 일정한 글자 분포 패턴을 가지는 경우, 프로세서(140)는 해당 복수의 영상 프레임을 리니어 방송의 OSD 화면으로 판단할 수 있다.
또한, 프로세서(140)는 입력되는 영상 프레임이 VOD UI 화면이 아닌 것으로 판단되면, 기설정된 시간동안 입력되는 복수의 영상 프레임 각각을 분석하여 복수의 영상 프레임 동안 픽셀값의 변화가 없는 영역이 존재하는지 여부를 판단할 수 있다. 이에 따라, 복수의 영상 프레임 동안 픽셀값의 변화가 없는 영역이 존재하는 경우, 프로세서(140)는 해당 복수의 영상 프레임을 리니어 방송의 OSD 화면으로 판단할 수도 있다.
이때, 기설정된 시간은 채널 전환이 발생된 시점으로부터 일정 시간일 수 있다. 가령, 기설정된 시간은 채널 변경시 리니어 방송에서 OSD 정보가 디스플레이되는 소정의 시간 이하의 시간일 수 있으나, 이에 한정되는 것은 아니다.
한편, 상술한 예에서는 기설정된 시간 동안 입력되는 복수의 영상 프레임을 분석하는 것을 예로 들었으나, 이에 한정되는 것은 아니며, 프로세서(140)는 채널 전환이 발생된 시점으로부터 기설정된 개수의 영상 프레임을 분석하여 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 판단할 수도 있을 것이다.
또한, 상술한 예에서는 한번의 채널 전환으로, 입력되는 복수의 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 판단하는 것을 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(140)는 기설정된 횟수 예를 들어, 5회 내지 15회 정도의 채널 전환을 통해 OSD 영역을 학습하고, 학습 결과에 기초하여 이후 입력되는 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 판단할 수도 있다.
가령, 프로세서(140)는 기설정된 횟수의 학습을 통해 OSD 영역에 관한 정보를 저장하고, 이후, 영상 프레임이 입력되면, 해당 영상 프레임에 OSD 영역이 존재하는지 여부를 판단하여, 해당 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 판단할 수도 있다.
또한, 프로세서(140)는 외부 기기로부터 영상 프레임이 입력되면, 입력되는 영상 프레임이 VOD 컨텐츠 화면이나 리니어 방송 컨텐츠 화면과 같은 영상 컨텐츠 화면인지 여부를 판단할 수 있다. 구체적으로, 프로세서(140)는 상술한 바와 같이 영상 프레임의 유형을 판단한 결과, 영상 프레임이 VOD UI 화면 및 리니어 방송의 OSD 화면이 아닌 경우, 해당 영상 프레임을 영상 컨텐츠 화면으로 판단할 수 있다.
이와 같이, 영상 프레임의 유형이 판단되면, 프로세서(140)는 판단된 영상 프레임의 유형에 따라 영상 프레임을 분석하여 영상 프레임에 포함된 영상 컨텐츠에 대한 정보를 추출할 수 있다.
구체적으로, 영상 프레임이 VOD UI 화면으로 판단되면, 프로세서(140)는 해당 영상 프레임에 각종 영상 분석 방법이나 OCR을 적용하여, 영상 프레임에 포함된 적어도 하나의 VOD 컨텐츠에 대한 정보를 추출할 수 있다. 이때, VOD UI 화면으로부터 추출되는 VOD 컨텐츠에 대한 정보는 VOD 컨텐츠의 타이틀 정보, 장르 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한, 영상 프레임이 리니어 방송의 OSD 화면으로 판단되면, 프로세서(140)는 일정한 글자 분포 패턴이 나타나는 영상 프레임의 화면 영역에서 리니어 방송 컨텐츠에 대한 정보를 추출할 수 있다. 이때, 리니어 방송의 OSD 화면으로부터 추출되는 리니어 방송 컨텐츠에 대한 정보는 리니어 방송 컨텐츠의 타이틀 정보, 채널 번호 정보, 채널명 정보, 방송국명 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
영상 프레임이 리니어 방송의 OSD 화면으로 판단된 경우에는 리니어 OSD 화면인지 여부를 판단할 때 이미 OCR 을 적용하여 복수의 영상 프레임으로부터 글자 정보를 추출하였으므로, 실시 예에 따라 프로세서(140)는 리니어 방송의 OSD 화면 여부 판단시 추출한 글자 정보를 영상 컨텐츠에 대한 정보로 이용할 수도 있을 것이다.
한편, 영상 프레임이 영상 컨텐츠 화면으로 판단되면, 프로세서(140)는 마지막으로 추출된 영상 컨텐츠에 대한 정보를 영상 프레임에 포함된 영상 컨텐츠에 대한 정보로 결정할 수 있다. 즉, 영상 프레임이 영상 컨텐츠 화면으로 판단되면, 프로세서(140)는 해당 영상 프레임으로부터 영상 컨텐츠에 대한 정보를 추출하지 않고, 현재 시점을 기준으로 가장 최근에 추출된 영상 컨텐츠에 대한 정보를 현재 영상 프레임 즉, 현재 영상 컨텐츠 화면에 포함된 영상 컨텐츠에 대한 정보로 결정할 수 있다.
이와 같이, 판단된 영상 프레임의 유형에 따라 영상 컨텐츠에 대한 정보가 추출 또는 결정되면, 프로세서(140)는 추출 또는 결정된 영상 컨텐츠에 대한 정보를 시청 이력 정보로 메모리(130)에 저장할 수 있다.
구체적으로, 외부 기기로부터 입력된 영상 프레임은 디스플레이(120)에서 디스플레이되므로, 디스플레이 장치(100) 입장에서 프로세서(140)는 VOD UI 화면을 분석하여 추출한 VOD 컨텐츠에 대한 정보를 VOD 컨텐츠 검색 이력 정보 또는 VOD 컨텐츠 시청 이력 정보로 메모리(130)에 저장할 수 있다. 또한, 프로세서(140)는 리니어 방송의 OSD 화면을 분석하여 추출한 리니어 방송 컨텐츠에 대한 정보를 리니어 방송 컨텐츠 재핑 이력 정보 또는 리니어 방송 컨텐츠 시청 이력 정보로 메모리(130)에 저장할 수 있다.
이때, 본 개시의 일 실시 예에 따르면, 프로세서(140)는 추출 또는 결정된 영상 컨텐츠에 대한 정보의 개수를 판단하여 기설정된 개수 이상의 영상 컨텐츠에 대한 정보를 컨텐츠 시청 이력 정보로 저장할 수 있다.
프로세서(140)가 추출 또는 결정된 영상 컨텐츠에 대한 정보를 시청 이력 정보로 메모리(130)에 저장하는 내용에 관하여는 도 3 및 도 4를 통해 자세히 후술하기로 한다.
이에 따라, 프로세서(140)는 메모리(130)에 저장된 시청 이력 정보를 이용하여 컨텐츠 추천 서비스나 광고 서비스 등과 같은 다양한 서비스 화면을 사용자에게 제공할 수 있다.
이와 같이, 본 개시의 다양한 실시 예에 따르면, 외부 기기가 변경되는 등으로 화면 구성이 변경되거나 새로운 화면 구성을 가지는 영상 프레임이 입력되더라도 템플릿 정보 없이 컨텐츠의 영상과 음성을 직접 분석하여 디스플레이 장치 사용자의 시청 이력 정보를 획득할 수 있게 된다.
도 2는 본 개시의 다른 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 상세 블럭도이다. 도 2에 따르면, 디스플레이 장치(200)는 외부 입력부(210), 디스플레이(220), 오디오 출력부(미도시), 메모리(230), 프로세서(240), 방송 수신부(250), 통신부(260), 비디오 처리부(270), 오디오 처리부(280) 및 사용자 입력부(290)를 포함한다. 도 2를 설명함에 있어, 도 1의 구성과 동일한 구성의 중복되는 내용은 설명을 생략한다.
방송 수신부(250)는 방송국으로부터 사용자가 선택한 채널에 대응되는 방송신호를 수신한다. 특히, 방송 수신부(250)는 사용자 입력부(290)를 통한 사용자의 채널 변경 명령에 따라 채널을 변경하여 변경된 채널의 방송 신호를 수신할 수 있다. 이때, 수신되는 방송 신호에는 영상 신호, 음성 신호 및 부가 신호가 포함될 수 있다. 특히, 영상 신호에는 리니어 방송 OSD 화면 및 리니어 방송 컨텐츠 화면을 포함하는 영상 프레임이 포함될 수 있으며, 부가 신호에는 EPG(Electronic Program Guide) 정보 등이 포함될 수 있다. 이를 위해, 방송 수신부(250)는 튜너를 포함할 수 있다.
통신부(260)는 다양한 유형의 통신방식에 따라 외부 장치와 통신을 수행한다. 특히, 통신부(260)는 인터넷과 같은 네트워크를 통해 외부의 서버와 연결되어 각종 정보를 송, 수신할 수 있다. 예를 들어, 통신부(260)는 외부의 VOD 컨텐츠 제공 서버와 연결되어 VOD 컨텐츠 제공 서버로부터 VOD UI 화면 및 VOD 컨텐츠 화면을 포함하는 영상 프레임을 수신할 수 있다. 또한, 통신부(260)는 EPG 정보 등과 같은 방송 컨텐츠 관련 메타데이터를 제공하는 서버로부터 방송 컨텐츠에 대한 EPG 정보를 수신할 수도 있다.
이를 위해, 통신부(260)는 근거리 무선 통신 모듈(미도시) 및 무선랜 통신 모듈(미도시) 중 적어도 하나의 통신 모듈을 포함할 수 있다. 여기서, 근거리 무선 통신 모듈(미도시)은 근거리에 위치한 외부 장치와 무선으로 데이터 통신을 수행하는 통신 모듈로써, 예를 들어, 블루투스(Bluetooth) 모듈, 지그비(ZigBee) 모듈, NFC(Near Field Communication) 모듈 등이 될 수 있다. 또한, 무선랜 통신 모듈(미도시)은 와이파이(WiFi), IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 통신부(260)는 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다. 또한, 통신부(260)는 USB(Universal Serial Bus), IEEE(Institute of Electrical and Eletronics Engineers) 1394, RS-232 등의 유선 통신 모듈(미도시) 중 적어도 하나를 포함할 수도 있다.
비디오 처리부(270)는 외부 입력부(210), 방송 수신부(250) 또는 통신부(260)를 통해 수신되는 영상 프레임을 포함하는 영상 신호를 처리하는 구성요소이다. 비디오 처리부(270)에서는 영상 신호에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리가 수행될 수 있다. 이와 같이 처리된 영상 프레임은 디스플레이(220)에 디스플레이 될 수 있다.
오디오 처리부(280)는 외부 입력부(210), 방송 수신부(250) 또는 통신부(260)를 통해 수신되는 오디오 신호를 처리하는 구성요소이다. 오디오 처리부(280)에서는 오디오 신호에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 오디오 처리부(280)에서 처리된 오디오 신호는 오디오 출력부(미도시)를 통해 출력될 수 있다.
오디오 출력부(미도시)는 오디오 처리부(280)에서 처리된 각종 오디오 신호, 각종 알림음이나 음성 메시지를 출력하는 구성요소로서, 스피커 등으로 구현될 수 있다.
사용자 입력부(290)는 디스플레이 장치(200)의 동작을 제어하기 위한 각종 사용자 명령을 입력받을 수 있다. 특히, 사용자 명령 입력부(290)는 영상 컨텐츠를 제공하는 소스를 선택하기 위한 사용자 명령, 선택한 소스를 통해 제공되는 복수의 영상 컨텐츠 중 시청을 원하는 영상 컨텐츠를 선택하기 위한 사용자 명령, 선택된 영상 컨텐츠를 디스플레이하기 위한 사용자 명령 등 다양한 사용자 명령을 입력받을 수 있다.
예를 들어, 사용자는 사용자 입력부(290)를 통해, 외부 입력부(210)를 선택하여 외부 기기가 제공하는 VOD 컨텐츠 또는 리니어 방송 컨텐츠를 시청할 수도 있고, 디스플레이 장치(200)에 설치된 VOD 애플리케이션을 실행시켜 통신부(260)를 통해 VOD 컨텐츠 제공 서버가 제공하는 VOD 컨텐츠를 수신할 수도 있으며, 방송 수신부(250)를 선택하여 외부 기기를 통하지 않고 직접 리니어 방송 컨텐츠를 수신하여 시청할 수도 있다.
이를 위해, 사용자 입력부(290)는 버튼, 터치 패널 또는 리모컨 등 디스플레이 장치(200)를 제어할 수 있는 다양한 입력 장치로 구현될 수 있다.
메모리(230)는 디스플레이 장치(200)의 동작을 위한 다양한 프로그램 및 데이터를 저장한다. 예를 들어, 메모리(230)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈 등과 같은 디스플레이 장치(200)의 동작을 위한 각종 프로그램이 모듈 형태로 저장될 수 있다. 이때, 베이스 모듈은 디스플레이 장치(200)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 애플리케이션을 포함하는 모듈이다. 특히, 서비스 모듈은 VOD 컨텐츠를 제공하기 위한 VOD 애플리케이션이나 메모리(230)에 저장된 시청 이력 정보에 기초하여 사용자에게 각종 컨텐츠를 추천하기 위한 추천 애플리케이션을 포함할 수 있다.
특히, 메모리(230)에는 외부 기기나 방송국 또는 VOD 컨텐츠 제공 서버로부터 제공되는 각종 영상 프레임의 유형을 판단하는 영상 프레임 유형 판단 모듈 및 판단된 영상 프레임의 유형에 따라 영상 프레임을 분석하여 영상 컨텐츠에 대한 정보를 추출하는 영상 컨텐츠 정보 추출 모듈이 저장될 수 있다.
한편, 각종 프로그램 모듈들은 디스플레이 장치(200)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, 상술한 디스플레이 장치(200)가 태블릿 PC로 구현된 경우, 베이스 모듈에는 GPS 기반의 위치를 판단하기 위한 위치 판단 모듈을 더 포함하며, 센싱 모듈에는 사용자의 동작을 감지하는 센싱 모듈을 더 포함할 수 있다.
메모리(230)에는 도 1의 메모리(130)에 저장되는 정보와 같은 정보가 저장될 수 있음은 물론이다. 한편, 도 2의 메모리(230)는 프로세서(240)의 내부에 포함되는 램(RAM) 및 롬(ROM)이 아닌 프로세서(240) 외부의 플래시 메모리나 HDD(Hard Disk Drive), SSD(Solid State Drive), CD 등과 같은 저장 매체일 수 있다.
프로세서(240)는 메모리(230)에 저장된 각종 프로그램 및 데이터를 이용하여 디스플레이 장치(200)의 전반적인 동작을 제어한다.
프로세서(240)는 도 2에 도시된 바와 같이, RAM(241), ROM(242), 그래픽 처리부(243), 메인 CPU(244), 제1 내지 n 인터페이스(245-1 ~ 245-n), 버스(246)를 포함한다. 이때, RAM(241), ROM(242), 그래픽 처리부(243), 메인 CPU(244), 제1 내지 n 인터페이스(245-1 ~ 245-n) 등은 버스(246)를 통해 서로 연결될 수 있다.
ROM(242)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(244)는 ROM(242)에 저장된 명령어에 따라 메모리(230)에 저장된 O/S를 RAM(241)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(244)는 메모리(230)에 저장된 각종 애플리케이션 프로그램을 RAM(241)에 복사하고, RAM(241)에 복사된 애플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(243)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 사용자 명령 입력부(290)로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이(220)의 디스플레이 영역 내에 표시된다.
메인 CPU(244)는 메모리(230)에 액세스하여, 메모리(230)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(244)는 메모리(240)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(245-1 내지 245-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 프로세서(240)는 외부 입력부(210)를 통해 입력되는 영상 프레임의 유형을 판단할 수 있다. 이때, 영상 프레임의 유형은 VOD(Video On Demand) UI 화면, 리니어 방송의 OSD 화면 및 영상 컨텐츠 화면 중 적어도 하나일 수 있다.
프로세서(240)는 영상 프레임에 러닝 머신 기법을 적용하여 영상 프레임이 VOD UI 화면인지 여부를 판단할 수 있다. 구체적으로, 프로세서(240)는 HMM(Hidden Markov Model) 및 SVM(Support Vector Machine)을 조합하여 영상 프레임이 VOD UI 화면인지 여부를 판단할 수 있다.
이때, VOD UI 화면이 다른 리니어 방송의 OSD 화면이나 영상 컨텐츠 화면과 구분되는 차이점으로는 화면 내에 수직 및 수평의 사각형이 다수 존재하고, 글자의 수가 많다는 점이므로, 프로세서(240)는 화면 내 사각형의 개수나 분포 및 글자의 개수나 분포를 주요 특징(feature)으로 머신 러닝 기법에 적용하여 해당 영상 프레임이 VOD UI 화면인지 여부를 판단할 수 있다.
또한, VOD UI 화면이 표시될 때에는 오디오가 묵음 처리되는 것이 대부분이므로, 프로세서(240)는 영상 프레임과 함께 입력되는 오디오 신호의 영 교차율(zero-crossing rate)이나 오디오 신호의 세기를 추가적인 특징으로 머신 러닝 기법에 적용하여 해당 영상 프레임이 VOD UI 화면인지 여부를 판단할 수 있다.
판단 결과, VOD UI 화면으로 판단되면, 프로세서(240)는 해당 영상 프레임을 분석하여 영상 프레임에 포함된 다양한 영상 컨텐츠에 대한 정보를 추출할 수 있다. 예를 들어, 프로세서(240)는 해당 영상 프레임을 OCR 인식하여 VOD UI 화면에 포함된 적어도 하나의 VOD 컨텐츠의 타이틀 정보 또는 장르 정보를 추출할 수 있으나, 이에 한정되는 것은 아니다.
한편, 상기 판단 결과, VOD UI 화면이 아닌 것으로 판단되면, 프로세서(240)는 해당 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 판단할 수 있다. 구체적으로, 프로세서(240)는 현재 VOD UI 화면이 아닌 것으로 판단된 영상 프레임을 포함하여 기설정된 시간 동안 입력된 복수의 영상 프레임을 분석하여 각 영상 프레임에 포함된 글자의 분포 패턴을 검출하고, 검출된 글자 분포 패턴에 기초하여 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 판단할 수 있다.
예를 들어, 프로세서(240)는 기설정된 시간 동안 입력되는 복수의 영상 프레임 각각을 OCR 인식하여 각 영상 프레임에 글자가 일정한 분포 패턴을 가지는지 여부를 판단하고, 일정한 패턴이 있는 경우, 해당 복수의 영상 프레임을 리니어 방송의 OSD 화면으로 판단할 수 있다. 그러나, 복수의 영상 프레임에 포함된 글자가 일정한 분포 패턴이 없는 경우, 프로세서(240)는 해당 복수의 영상 프레임을 영상 컨텐츠 화면으로 판단할 수 있다.
이와 같이, 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 판단할 때에는 VOD UI 화면인지 여부를 판단할 때와 달리 기설정된 시간 동안 입력되는 복수의 영상 프레임을 분석하게 되는데, 이는 하나의 영상 프레임만을 통해 판단할 경우, 예를 들어, 영상 컨텐츠 화면이 텍스트를 많이 포함하는 광고 화면인 경우, 리니어 방송의 OSD 화면과 영상 컨텐츠 화면을 구분하기 어렵기 때문이다.
그러나, 이에 한정되는 것은 아니며, 전술한 바와 같이, 미리 수회의 채널 전환을 통해 OSD 영역에 관한 정보가 획득된 경우에는 입력되는 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 판단하기 위해 반드시 복수의 영상 프레임을 이용할 필요는 없다. 이 경우, 프로세서(240)는 VOD UI 화면이 아닌 것으로 판단된 영상 프레임이 OSD 영역을 포함하는지 여부를 판단함으로써 리니어 방송의 OSD 화면인지 여부를 판단할 수 있을 것이다.
판단 결과, 영상 프레임이 리니어 방송의 OSD 화면인 것으로 판단되면, 프로세서(240)는 기설정된 시간 동안 입력된 복수의 영상 프레임의 일정한 글자 분포 패턴 영역에 포함된 글자를 리니어 방송 컨텐츠에 대한 정보로 추출할 수 있다. 이때, 리니어 방송 컨텐츠에 대한 정보는 리니어 방송 컨텐츠의 타이틀 정보, 채널 번호 정보, 채널명 정보, 방송국명 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
한편, 판단 결과, 영상 컨텐츠 화면으로 판단되면, 프로세서(240)는 영상 프레임을 영상 컨텐츠 화면으로 판단한 현재 시점을 기준으로, 가장 최근에 추출된 영상 컨텐츠에 대한 정보를 현재 영상 컨텐츠 화면에 포함된 영상 컨텐츠에 대한 정보로 결정할 수 있다.
이와 같이, 영상 컨텐츠에 대한 정보가 추출 또는 결정되면, 프로세서(240)는 추출 또는 결정된 영상 컨텐츠에 대한 정보를 시청 이력 정보로 메모리(230)에 저장할 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 외부 입력부(210)가 아닌 통신부(260)를 통해 외부의 VOD 컨텐츠 서버로부터 영상 프레임이 수신될 수 있다. 예를 들어, 사용자는 외부 기기가 아닌 디스플레이 장치(200)의 메모리(230)에 저장된 VOD 애플리케이션을 실행시켜 VOD 컨텐츠를 시청할 수 있다.
이 경우, VOD 컨텐츠 서버로부터 영상 프레임이 수신되면, 프로세서(240)는 상술한 외부 기기를 통해 영상 프레임이 입력된 경우와 같이, 해당 영상 프레임이 VOD UI 화면인지 여부를 판단할 수 있다. 이에 따라, VOD UI 화면으로 판단되면, 프로세서(240)는 VOD UI 화면으로 판단된 영상 프레임을 분석하여 영상 프레임에 포함된 적어도 하나의 VOD 컨텐츠에 대한 정보를 추출하고, 추출된 VOD 컨텐츠에 대한 정보를 할 수 있다.
VOD 컨텐츠 서버로부터 수신된 영상 프레임은 VOD UI 및 VOD 컨텐츠 화면 중 하나이므로, 프로세서(240)는 수신된 영상 프레임이 VOD UI 화면이 아닌 것으로 판단되면, 해당 영상 프레임을 VOD 컨텐츠 화면으로 판단할 수 있다. 이에 따라, 프로세서(240)는 현재 시점을 기준으로 가장 최근에 추출된 VOD 컨텐츠에 대한 정보를 현재 VOD 컨텐츠 화면으로 판단된 영상 프레임에 포함된 VOD 컨텐츠에 대한 정보로 결정하고, 결정된 VOD 컨텐츠에 대한 정보를 시청 이력 정보로 메모리(230)에 저장할 수 있다.
한편, 본 개시의 다른 일 실시 예에 따르면, 영상 프레임이 방송 수신부(250)를 통해 수신될 수 있다. 예를 들어, 사용자는 방송 수신부(250)로 수신되는 방송 신호의 채널을 사용자 입력부(290)를 통해 선택하여 해당 채널의 방송 컨텐츠를 시청할 수 있다.
이 경우, 방송 수신부(250)를 통해 영상 프레임이 수신되면, 프로세서(240)는 사용자 입력부(290)를 통해 사용자가 채널을 선택한 선국 정보 및 EPG 정보를 이용하여 현재 디스플레이(220)에 디스플레이되는 방송 컨텐츠에 대한 정보를 획득하고, 획득된 방송 컨텐츠에 대한 정보를 시청 이력 정보로 메모리(230)에 저장할 수 있다. 이때, 획득되는 방송 컨텐츠에 대한 정보는 해당 방송 컨텐츠의 타이틀 정보, 채널 번호 정보, 방송국명 정보, 방송 시간 정보 등과 같이 EPG 정보를 통해 획득될 수 있는 모든 정보가 될 수 있다.
한편, EPG 정보는 방송 신호에 포함되어 방송 컨텐츠와 함께 방송 수신부(250)를 통해 획득될 수도 있고, EPG 정보를 제공하는 외부의 서버로부터 통신부(260)를 통해 별도로 획득될 수도 있다.
한편, 도 2는 디스플레이 장치(200)가 통신 기능, 방송 수신 기능, 동영상 재생 기능, 디스플레이 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 2에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있음은 물론이다.
이와 같이, 사용자는 디스플레이 장치(200)의 튜너를 통해 입력되는 일반 방송 컨텐츠, 디스플레이 장치(200)의 자체 플랫폼에서 동작하는 VOD 애플리케이션을 통해 입력되는 VOD 컨텐츠 및 외부 기기를 통해 입력되는 VOD 컨텐츠나 리니어 방송 컨텐츠를 사용자 입력부(290)를 통해 선택하여 시청할 수 있고, 이때, 프로세서(240)는 각각의 경우에 입력되는 영상 프레임의 유형을 판단하고, 판단된 유형에 따라 영상 프레임을 분석하여 사용자의 시청 이력 정보를 획득할 수 있다.
이하에서, 도 3 및 도 4를 참조하여 프로세서(240)의 동작을 보다 자세히 설명한다. 도 3은 본 개시의 일 실시 예에 따른 VOD UI 화면 및 VOD 컨텐츠 화면의 예시도이다. 구체적으로, 도 3의 (a) 및 (b)는 VOD UI 화면의 예를 나타내고, 도 3의 (c)는 VOD 컨텐츠 화면의 예를 나타낸다.
이때, VOD UI 화면 및 VOD 컨텐츠 화면은 외부 입력부(210)를 통해 외부 기기로부터 입력된 것일 수도 있고, 디스플레이 장치(200)에 설치된 VOD 애플리케이션의 실행에 따라 통신부(260)를 통해 VOD 컨텐츠 제공 서버로부터 수신된 것일 수도 있다.
이하에서는 설명의 편의를 위해, 디스플레이 장치(200)에 설치된 VOD 애플리케이션의 실행에 따라 통신부(260)를 통해 VOD 컨텐츠 제공 서버로부터 영상 프레임이 수신되는 경우를 예로 들어 먼저 설명한다.
예를 들어, 사용자가 VOD 컨텐츠 제공 서버로부터 통신부(260)를 통해 제공되는 VOD 컨텐츠를 시청하는 경우, 디스플레이(220)에는 VOD UI 화면이 디스플레이될 수 있으며, VOD UI 화면상에서 사용자에 의해 선택된 VOD 컨텐츠가 디스플레이될 수 있다.
즉, 도 3의 (a)와 같이 복수의 VOD 컨텐츠 중 어느 하나를 선택할 수 있는 영상 프레임(310)이 외부 입력부(210)를 통해 입력되면, 프로세서(240)는 머신 러닝 기법을 통해 입력된 영상 프레임을 분석하여 해당 영상 프레임이 VOD UI 화면인지 여부를 판단할 수 있다.
도 3의 (a)에 도시된 바와 같이, VOD UI 화면은 영상 프레임 내에 사각형이나 글자의 개수가 많은 것을 볼 수 있다. 본 개시의 일 실시 예에 따르면, 프로세서(240)는 사각형의 개수나 분포 및 글자의 개수나 분포를 HMM이나 SVM과 같은 머신 러닝 기법의 주요 특징으로 적용하므로, 도 3의 (a)와 같은 영상 프레임(310)을 VOD UI 화면으로 판단할 수 있다.
이와 같이, VOD UI 화면으로 판단되면, 프로세서(240)는 해당 영상 프레임 즉, 해당 VOD UI 화면을 분석하여 영상 컨텐츠에 대한 정보를 추출할 수 있다. 예를 들어, 프로세서(240)는 VOD UI 화면을 OCR 인식하여 영상 컨텐츠에 대한 정보를 추출할 수 있으나, 이에 한정되는 것은 아니다. 즉, 프로세서(240)는 도 3의 (a)와 같은 영상 프레임(310)을 분석하여 6개의 VOD 컨텐츠(311 내지 316)에 대한 타이틀 정보 aaa 내지 fff를 추출할 수 있다.
이때, 프로세서(240)는 VOD UI 화면에서 사각형 및 글자의 위치, 크기, 굵기 등과 같은 정보를 분석하여 VOD 컨텐츠에 대한 정보를 추출할 수 있으나, 이에 한정되는 것은 아니며, VOD UI 화면에 포함된 VOD 컨텐츠에 대한 정보를 추출하는 다양한 방법들이 이용될 수 있다.
한편, 사용자가 도 3의 (a)와 같은 VOD UI 화면에서 타이틀이 aaa인 VOD 컨텐츠(311)를 선택하면, 도 3의 (b)와 같이 선택된 컨텐츠에 대한 상세 정보 및 구매 여부를 결정할 수 있는 UI(321)를 포함하는 영상 프레임(320)이 디스플레이될 수 있다. 이 경우, 프로세서(240)는 새로운 영상 프레임(320)이 VOD UI 화면인지 여부를 다시 판단한다. 도 3의 (b) 역시 사각형의 개수나 글자의 개수가 많으므로, 프로세서(240)는 입력된 영상 프레임을 VOD UI 화면으로 판단할 수 있다. 이에 따라, 프로세서(240)는 도 3의 (b)와 같은 영상 프레임(320)을 분석하여 VOD 컨텐츠에 대한 정보 즉, 타이틀 정보 aaa를 추출할 수 있다.
사용자가 디스플레이된 VOD UI 화면상에서 VOD 컨텐츠 aaa의 구매를 결정하면, 도 3의 (c)에 도시된 바와 같이, 컨텐츠 aaa의 화면이 디스플레이되게 된다. 이 경우, 프로세서(240)는 입력되는 영상 프레임(330)이 VOD UI 화면인지 여부를 판단한다. 도 3의 (c)에 도시된 바와 같이, VOD 컨텐츠 화면은 VOD UI 화면과 같은 특징을 갖지 못하므로, 프로세서(240)는 해당 영상 프레임을 VOD UI 화면이 아닌 것으로 판단할 수 있다.
영상 프레임이 VOD UI 화면이 아닌 것으로 판단되는 경우, 프로세서(240)는 해당 영상 프레임을 VOD 컨텐츠 화면으로 판단할 수 있다. 이는 VOD 컨텐츠를 VOD 컨텐츠 제공 서버로부터 제공받는 경우에는 통신부(260)를 통해 수신되는 영상 프레임이 VOD UI 화면과 VOD 컨텐츠 화면 두 가지 유형밖에 없기 때문이다.
이와 같이, 영상 프레임이 VOD UI 화면이 아닌 것으로 판단되면, 프로세서(240)는 해당 영상 프레임을 영상 컨텐츠 화면으로 판단하고, 현재 시점을 기준으로 가장 최근에 추출된 영상 컨텐츠에 대한 정보를 영상 컨텐츠 화면에 포함된 영상 컨텐츠에 대한 정보로 결정할 수 있다.
즉, 도 3의 (c)와 같은 영상 프레임(330)이 입력되어 해당 영상 프레임이 VOD 컨텐츠 화면인 것으로 판단되면, 프로세서(240)는 현재 시점을 기준으로 가장 최근에 추출된 VOD 컨텐츠에 대한 정보인 타이틀 정보 aaa를 현재 VOD 컨텐츠 화면에 포함된 VOD 컨텐츠에 대한 정보로 결정할 수 있다.
한편, 본 개시의 다른 일 실시 예에 따르면, VOD 컨텐츠는 VOD 컨텐츠 제공 서버로부터 통신부(260)를 통해 직접 제공되는 것이 아니라, 외부 입력부(210)를 통해 외부 기기로부터 제공될 수 있다. 이때, 외부 기기는 VOD 컨텐츠뿐만 아니라 리니어 방송 컨텐츠도 제공할 수 있으므로, 프로세서(240)는 도 3의 (c)와 같은 영상 프레임이 입력되어 VOD UI 화면이 아닌 것으로 판단되더라도, 바로 해당 영상 프레임을 VOD 컨텐츠 화면으로 판단하는 것이 아니라, 기설정된 시간동안 입력되는 복수의 영상 프레임을 분석하여 해당 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 더 판단하고, 리니어 방송의 OSD 화면도 아니라고 판단되는 경우, 해당 복수의 영상 프레임을 영상 컨텐츠 화면으로 판단할 수 있다.
이에 따라, 영상 컨텐츠 화면으로 판단되면, 프로세서(240)는 현재 시점을 기준으로 가장 최근에 추출된 영상 컨텐츠에 대한 정보를 현재 영상 프레임에 포함된 영상 컨텐츠에 대한 정보로 결정할 수 있다.
즉, 만일, 도 3의 예와 같은 순서로 영상 프레임이 입력되는 경우라면, 프로세서(240)는 도 3의 (c)의 영상 프레임(330)을 영상 컨텐츠 화면으로 판단하고, 가장 최근에 추출된 영상 컨텐츠에 대한 정보인 타이틀 정보 aaa를 해당 영상 프레임(330)에 포함된 영상 컨텐츠에 대한 정보로 결정할 수 있다.
또한, 실시 예에 따라, 프로세서(240)는 가장 최근에 추출된 타이틀 정보 aaa를 리니어 OSD 화면인지 여부를 판단하기 위해 분석한 복수의 영상 프레임들에 포함된 영상 컨텐츠에 대한 정보로 결정할 수도 있다.
한편, 프로세서(240)는 위와 같이 추출되거나 결정된 영상 컨텐츠에 대한 정보를 시청 이력 정보로 메모리(230)에 저장할 수 있다. 이때, 본 개시의 일 실시 예에 따르면, 프로세서(240)는 상술한 바와 같이 추출 또는 결정된 영상 컨텐츠에 대한 정보를 분석하여 해당 정보를 컨텐츠 검색 이력 정보 또는 컨텐츠 시청 이력 정보로 메모리(230)에 저장할 수 있다.
구체적으로, 프로세서(240)는 상술한 바와 같이 추출 또는 결정된 영상 컨텐츠에 대한 정보들 중 동일한 정보가 기설정된 개수 이상인 경우, 해당 정보를 컨텐츠 시청 이력 정보로 저장하고, 기설정된 개수 미만인 경우, 해당 정보를 컨텐츠 검색 이력 정보로 메모리(230)에 저장할 수 있다.
도 3의 예에서 사용자는 VOD 컨텐츠 aaa를 구매하여 시청하기로 하였으므로, 사용자가 다른 컨텐츠 시청을 위해 VOD UI 화면에서 다른 VOD 컨텐츠를 검색하거나 리니어 방송 컨텐츠의 채널을 재핑하는 등으로 컨텐츠 aaa의 시청을 그만두기 전까지는 도 3의 (c) 이후로 입력되는 영상 프레임은 모두 영상 컨텐츠 화면이 된다. 또한, 영상 컨텐츠 화면으로 판단되는 경우, 가장 최근에 추출된 영상 컨텐츠에 대한 정보인 타이틀 aaa가 해당 영상 프레임에 포함된 영상 컨텐츠에 대한 정보로 결정되므로, 영상 컨텐츠에 대한 정보들 중 동일한 타이틀 aaa의 개수가 가장 많게 된다. 따라서, 이러한 상황에서 프로세서(240)는 타이틀 aaa를 컨텐츠 시청 이력 정보로 저장할 수 있다.
한편, 도 3의 (a)와 같은 VOD UI 화면의 영상 프레임의 개수는 영상 컨텐츠 시청으로 인한 영상 컨텐츠 화면의 개수보다는 적기 마련이므로, 프로세서(240)는 VOD UI 화면으로부터 추출된 영상 컨텐츠에 대한 정보를 컨텐츠 검색 이력 정보로 메모리(230)에 저장할 수 있다. 또한, 설사, 영상 프레임이 영상 컨텐츠 화면인 경우에도, 사용자가 일정 시간 이상 이를 시청하지 않는 경우에는, 동일한 영상 컨텐츠에 대한 정보가 기설정된 개수 미만일 것이므로, 이는 컨텐츠 검색 이력 정보로 저장되게 될 것이다.
이때, 기설정된 개수는 컨텐츠 시청 이력 정보와 컨텐츠 검색 또는 재핑 이력 정보를 구별할 수 있도록 실험적으로 적절하게 설정될 수 있을 것이다.
한편, 경우에 따라, 도 3의 (a)와 같은 VOD UI 화면에서 VOD 컨텐츠가 선택되면, 도 3의 (b)와 같은 VOD UI 화면을 거치지 않고, 도 3의 (c)와 같은 VOD 컨텐츠 화면이 바로 디스플레이되는 경우가 있을 수 있다. 이러한 경우, 도 3의 (c)와 같은 영상 프레임이 입력되어 VOD 컨텐츠 화면으로 판단되면, 프로세서(240)는 가장 최근에 추출된 영상 컨텐츠에 대한 정보들 중 하이라이트(305)가 마지막으로 위치한 영상 컨텐츠에 대한 정보 즉, 타이틀 aaa를 현재 영상 프레임에 포함된 VOD 컨텐츠에 대한 정보로 결정할 수 있을 것이다.
이하에서는 도 4를 통해 사용자가 리니어 방송 컨텐츠를 시청하는 경우 프로세서(240)의 동작을 설명한다. 도 4는 본 개시의 일 실시 예에 따른 리니어 방송의 OSD 화면 및 리니어 방송 컨텐츠 화면의 예시도이다.
여기서, 리니어 방송이란 쌍방향 서비스인 VOD 서비스와 달리 방송사업자가 일방적으로 전송한 방송 컨텐츠를 시청자가 수동적으로 시청하는 형태의 방송 서비스를 말한다. 또한, 리니어 방송의 OSD 화면은 리니어 방송 신호에 포함된 영상 프레임 중 특정 영역에 채널 번호, 채널명, 방송국명, 컨텐츠 제목, 방송 시간 등과 같은 OSD 정보를 포함하는 화면을 의미한다.
이와 같은 리니어 방송의 OSD 화면은 보통, 채널이 변경될 때 디스플레이(220)의 특정 영역에 일정시간 동안 디스플레이되게 된다. 즉, 예를 들어, 사용자가 리니어 방송의 채널을 변경하여 채널이 변경되면, 그로부터 일정시간 동안 외부 기기로부터 입력되는 영상 프레임들은 특정 영역에 OSD 정보가 부가되어 디스플레이 장치(200)로 입력된다. 이때, 일정시간이나 특정 영역은 외부 기기별로 다를 수 있다.
도 4의 (a)는 상술한 바와 같이 채널이 변경되는 경우 등에 외부 입력부(210)로 입력될 수 있는 리니어 방송의 OSD 화면의 일 예를 나타낸다. 즉, 도 4의 (a)의 영상 프레임(410)의 우측 상단(411) 및 하단(412)을 보면 "11", "ABC"와 같은 채널 번호 및 채널명, "한국프로야구 AA vs BB"와 같은 방송 컨텐츠의 제목, "Mon 1/5 4:00~6:30pm"과 같은 방송 시간, "4:16pm"과 같은 현재시간 등을 포함하는 각종 영상 컨텐츠에 대한 정보가 OSD 형식으로 디스플레이되는 것을 볼 수 있다.
이와 같이, 외부 입력부(210)를 통해, 도 4의 (a)와 같은 영상 프레임(410)이 입력되면, 프로세서(240)는 먼저, 입력되는 영상 프레임(410)이 VOD UI 화면인지 여부를 판단한다. 영상 프레임(410)에는 사각형이나 글자의 개수가 적으므로, 프로세서(240)는 전술한 바와 같이 영상 프레임(410)을 VOD UI 화면이 아닌 것으로 판단할 수 있다.
이와 같이, 영상 프레임(410)이 VOD UI 화면이 아닌 것으로 판단되면, 프로세서(240)는 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 판단한다. 구체적으로, 프로세서(240)는 기설정된 시간동안 입력되는 복수의 영상 프레임을 분석하여 각 영상 프레임에 포함된 글자의 분포 패턴이나 복수의 영상 프레임 동안 픽셀값의 변화가 일정 범위 이하인 영역(412)을 검출하고, 검출된 글자 분포가 일정한 패턴을 가지거나 픽셀값의 변화가 없는 영역이 검출된 경우, 해당 영상 프레임(410) 또는 복수의 영상 프레임을 리니어 방송의 OSD 화면으로 판단할 수 있다.
상술한 바와 같이, 채널 변경 후 일정시간 동안 입력되는 영상 프레임들에는 OSD 정보가 특정 영역에 부가되어 있으므로, 프로세서(240)는 예를 들어, 각 영상 프레임을 OCR 인식을 하는 등으로, 각 영상 프레임을 분석하여 우측 상단의 특정영역에 일정한 글자 분포 패턴이 나타나는 것을 알 수 있고, 실시 예에 따라, 해당 영상 프레임(410) 및 기설정된 시간동안 입력된 복수의 영상 프레임 중 적어도 하나를 리니어 방송의 OSD 화면이라고 판단할 수 있다.
이에 따라, 프로세서(240)는 일정한 패턴으로 글자가 분포되는 영역에서 인식된 글자 즉, "11", "ABC", "한국프로야구 AA vs BB" 등을 영상 컨텐츠에 대한 정보로 추출하고, 이를 시청 이력 정보로 저장할 수 있다.
한편, 채널 변경 후 일정 시간이 경과하면, 리니어 방송의 화면에는 더이상 OSD 정보가 나타나지 않고, 도 4의 (b)와 같은 리니어 방송 컨텐츠 화면이 입력되게 된다. 도 4의 (b)와 같은 영상 프레임(420)이 입력되면, 프로세서(240)는 영상 프레임(420)이 VOD UI 화면인지 판단한다. 영상 프레임(420)에는 사각형이나 글자의 개수가 적으므로, 프로세서(240)는 영상 프레임(420)이 VOD UI 화면이 아닌 것으로 판단한다.
이에 따라, 프로세서(240)는 기설정된 시간 동안 입력되는 영상 프레임을 분석하여 영상 프레임(420)이 리니어 방송의 OSD 화면인지 여부를 판단할 수 있다. 영상 프레임(420) 및 기설정된 시간동안 입력되는 리니어 방송 컨텐츠 화면들에는 일정한 글자 분포 패턴이 없으므로, 프로세서(240)는 영상 프레임(420) 및 기설정된 시간동안 입력된 복수의 영상 프레임을 리니어 방송의 컨텐츠 화면으로 판단할 수 있다.
이와 같이, 영상 프레임(420) 및 기설정된 시간동안 입력된 복수의 영상 프레임이 리니어 방송 컨텐츠로 판단되면, 프로세서(240)는 현재 시점을 기준으로, 가장 최근이 추출된 영상 컨텐츠에 대한 정보인 "11", "ABC", "프로야구 AA vs BB" 등을 영상 프레임(420) 또는 기설정된 시간동안 입력된 복수의 영상 프레임에 포함된 영상 컨텐츠에 대한 정보로 결정하고, 결정된 영상 컨텐츠 즉, 리니어 방송 컨텐츠에 대한 정보를 시청 이력 정보로 메모리(230)에 저장할 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 프로세서(240)는 위와 같이, 리니어 방송 컨텐츠에 대한 정보를 시청 이력 정보로 저장할 때, 상술한 바와 같이 추출 또는 결정된 영상 컨텐츠에 대한 정보들 중 동일한 정보가 기설정된 개수 이상인 경우, 해당 정보를 컨텐츠 시청 이력 정보로 저장하고, 기설정된 개수 미만인 경우, 해당 정보를 컨텐츠 재핑 이력 정보로 메모리(230)에 저장할 수 있다.
사용자가 채널을 재핑 후 특정 채널을 선택하여 시청할 때, 상술한 본 개시의 실시 예들에 따라 영상 컨텐츠에 대한 정보를 획득하는 경우, 재핑 채널의 OSD 화면 및 컨텐츠 화면으로부터 추출 및 결정되는 영상 컨텐츠에 대한 정보의 개수 보다 시청 채널의 OSD 화면 및 컨텐츠 화면으로부터 추출 및 결정되는 영상 컨텐츠에 대한 정보의 개수가 훨씬 많게 되므로, 사용자의 시청 이력 정보 및 재핑 이력 정보를 구분할 수 있다.
이상에서는, 프로세서(240)가 입력되는 영상 프레임이 VOD UI 화면인지 여부를 먼저 판단하고, VOD UI 화면이 아닌 경우, 해당 영상 프레임을 VOD 컨텐츠 화면으로 판단하거나, 실시 예에 따라, 해당 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 더 판단하여, 리니어 방송의 OSD 화면도 아닌 경우, 해당 영상 프레임을 VOD 컨텐츠 화면 또는 리니어 방송의 컨텐츠 화면으로 판단하는 것을 예로 들어 설명하였으나, 이에 한정되는 것은 아니며, 실시 예에 따라 영상 프레임의 유형을 판단하는 순서가 달라질 수도 있을 것이다.
도 5는 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 나타내는 흐름도이다. 도 5에 따르면, 디스플레이 장치(100, 200)는 외부 기기로부터 영상 프레임이 입력되면(S510), 영상 프레임의 유형을 판단한다(S520). 이때, 영상 프레임의 유형은 VOD(Video On Demand) UI 화면, 리니어 방송의 OSD 화면 및 영상 컨텐츠 화면을 포함할 수 있다.
구체적으로, 디스플레이 장치(100, 200)는 영상 프레임에 포함된 사각형의 개수 및 글자의 개수를 특징(feature)으로 적용한 머신 러닝 기법을 이용하여 입력되는 영상 프레임이 VOD UI 화면인지 여부를 판단할 수 있다. 이때, 머신 러닝 기법은 HMM(Hiden Markov Model) 및 SVM(Support Vector Machine)의 조합이 이용될 수 있으나, 이에 한정되는 것은 아니다.
또한, 디스플레이 장치(100, 200)는 외부 기기로부터 오디오 신호를 더 입력받아 머신 러닝 기법에 오디오 신호의 영 교차율(zero-crossing rate) 및 오디오 신호의 세기를 추가적인 특징으로 적용하여 영상 프레임이 VOD UI 화면인지 여부를 판단할 수도 있다.
또한, 디스플레이 장치(100, 200)는 기설정된 시간동안 입력되는 복수의 영상 프레임을 분석하여 복수의 영상 프레임에 포함된 글자의 분포 패턴을 검출하고, 검출된 패턴에 기초하여 영상 프레임이 리니어 방송의 OSD 화면인지 여부를 판단할 수 있다.
또한, 디스플레이 장치(100, 200)는 영상 프레임이 VOD UI 화면 및 리니어 방송의 OSD 화면이 아닌 경우, 영상 프레임을 영상 컨텐츠 화면으로 판단할 수 있다.
한편, 본 개시의 다른 일 실시 예에 따라, 디스플레이 장치(100, 200)에 설치된 VOD 애플리케이션의 실행에 따라 VOD 컨텐츠 제공 서버로부터 영상 프레임을 수신하는 경우, 디스플레이 장치(100, 200)는 수신되는 영상 프레임에 포함된 사각형의 개수 및 글자의 개수를 특징(feature)으로 적용한 머신 러닝 기법을 이용하여 수신되는 영상 프레임이 상기 VOD UI 화면인지 여부를 판단할 수 있다. 이 경우, 영상 프레임이 VOD UI 화면이 아닌 것으로 판단되면, 디스플레이 장치(100, 200)는 영상 프레임을 영상 컨텐츠 화면으로 판단할 수 있다.
이와 같이, 영상 프레임의 유형이 판단되면, 디스플레이 장치(100, 200)는 판단된 영상 프레임의 유형에 따라 영상 프레임을 분석하여 영상 프레임에 포함된 영상 컨텐츠에 대한 정보를 추출 또는 결정할 수 있다(S530).
구체적으로, 디스플레이 장치(100, 200)는 영상 프레임이 VOD UI 화면 또는 리니어 방송의 OSD 화면으로 판단된 경우, OCR(Optical Character Recognition)을 통해 VOD UI 화면 또는 리니어 방송의 OSD 화면으로부터 영상 컨텐츠에 대한 정보를 추출할 수 있다. 그러나, 이에 한정되는 것은 아니며, 다양한 영상 분석 기법들을 적용하여 VOD UI 화면 또는 리니어 방송의 OSD 화면으로부터 영상 컨텐츠에 대한 정보를 추출할 수도 있다.
또한, 디스플레이 장치(100, 200)는 영상 프레임이 영상 컨텐츠 화면이 아닌 것으로, 즉, VOD 컨텐츠 화면 또는 리니어 방송 컨텐츠 화면이 아닌 것으로 판단되면, 현재 시점을 기준으로 가장 최근에 추출된 영상 컨텐츠에 대한 정보를 영상 컨텐츠 화면에 포함된 영상 컨텐츠에 대한 정보로 결정할 수 있다.
이에 따라, 디스플레이 장치(100, 200)는 상술한 바와 같이, 추출 또는 결정된 영상 컨텐츠에 대한 정보를 시청 이력 정보로 저장할 수 있다(S540). 이때, 디스플레이 장치(100, 200)은 추출 또는 결정된 영상 컨텐츠에 대한 정보를 컨텐츠 검색 이력 정보, 컨텐츠 재핑 이력 정보 또는 컨텐츠 시청 이력 정보로 구분하여 저장할 수도 있다.
이상과 같은 다양한 실시 예들에 따르면, 미리 템플릿 정보를 획득하지 않더라도, 다양한 소스로부터 입력되는 영상 컨텐츠의 영상 및 음성을 직접 분석하여 디스플레이 장치 사용자의 시청 이력 정보를 획득할 수 있다.
한편, 상술한 다양한 실시 예들에 따른 디스플레이 장치(100, 200)의 제어부(140, 240)의 동작이나 디스플레이 장치의 제어 방법들은 소프트웨어로 생성되어 디스플레이 장치(100, 200) 탑재될 수 있다.
예를 들어, 외부 기기로부터 영상 프레임을 입력받는 단계, 영상 프레임의 유형을 판단하는 단계, 판단된 영상 프레임의 유형에 따라 영상 프레임을 분석하여 영상 프레임에 포함된 영상 컨텐츠에 대한 정보를 추출하는 단계 및 추출된 영상 컨텐츠에 대한 정보를 시청 이력 정보로 저장하는 단계를 포함하는 디스플레이 장치의 제어 방법을 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 설치될 수 있다.
여기서, 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 미들웨어 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110 : 외부 입력부 120 : 디스플레이
130 : 메모리 140: 프로세서

Claims (19)

  1. 디스플레이 장치에 있어서,
    외부 기기로부터 영상 프레임을 입력받는 외부 입력부;
    상기 영상 프레임을 디스플레이하는 디스플레이;
    메모리; 및
    상기 영상 프레임의 유형을 판단하고, 상기 판단된 영상 프레임의 유형에 따라 상기 영상 프레임을 분석하여 상기 영상 프레임에 포함된 영상 컨텐츠에 대한 정보를 추출하며, 상기 추출된 영상 컨텐츠에 대한 정보를 시청 이력 정보로 상기 메모리에 저장하는 프로세서;를 포함하는 디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 영상 프레임의 유형은,
    VOD(Video On Demand) UI 화면, 리니어 방송의 OSD 화면 및 영상 컨텐츠 화면을 포함하는 것을 특징으로 하는 디스플레이 장치.
  3. 제 2 항에 있어서,
    상기 프로세서는,
    상기 영상 프레임에 포함된 사각형에 관한 정보 및 글자에 관한 정보 중 적어도 하나를 특징(feature)으로 적용한 머신 러닝 기법을 이용하여 상기 입력되는 영상 프레임이 VOD UI 화면인지 여부를 판단하는 것을 특징으로 하는 디스플레이 장치.
  4. 제 3 항에 있어서,
    상기 외부 입력부는,
    상기 외부 기기로부터 오디오 신호를 입력받고,
    상기 프로세서는,
    상기 머신 러닝 기법에 상기 오디오 신호의 영 교차율(zero-crossing rate) 및 상기 오디오 신호의 세기를 추가적인 특징으로 적용하여 상기 입력되는 영상 프레임이 상기 VOD UI 화면인지 여부를 판단하는 것을 특징으로 하는 디스플레이 장치.
  5. 제 2 항에 있어서,
    상기 프로세서는,
    기설정된 시간 동안 입력되는 복수의 영상 프레임을 분석하여 상기 복수의 영상 프레임에 포함된 글자의 분포 패턴을 검출하고, 상기 검출된 패턴에 기초하여 상기 영상 프레임이 상기 리니어 방송의 ODS 화면인지 여부를 판단하는 것을 특징으로 하는 디스플레이 장치.
  6. 제 2 항에 있어서,
    상기 프로세서는,
    OCR(Optical Character Recognition)을 통해 상기 VOD UI 화면 또는 상기 리니어 방송의 OSD 화면으로부터 상기 영상 컨텐츠에 대한 정보를 추출하는 것을 특징으로 하는 디스플레이 장치.
  7. 제 2 항에 있어서,
    상기 프로세서는,
    상기 영상 프레임이 상기 VOD UI 화면 및 상기 리니어 방송의 OSD 화면이 아닌 경우, 상기 입력되는 영상 프레임을 상기 영상 컨텐츠 화면으로 판단하고, 현재 시점을 기준으로 최근에 추출된 상기 영상 컨텐츠에 대한 정보를 상기 영상 프레임에 포함된 영상 컨텐츠에 대한 정보로 결정하며, 상기 결정된 영상 컨텐츠에 대한 정보를 상기 시청 이력 정보로 상기 메모리에 저장하는 것을 특징으로 하는 디스플레이 장치.
  8. 제 2 항에 있어서,
    VOD 컨텐츠 제공 서버로부터 영상 프레임을 수신하는 통신부;를 포함하고,
    상기 프로세서는,
    상기 VOD 컨텐츠 제공 서버로부터 상기 영상 프레임이 수신되면, 상기 수신되는 영상 프레임에 포함된 사각형의 개수 및 글자의 개수를 특징(feature)으로 적용한 머신 러닝 기법을 이용하여 상기 수신되는 영상 프레임이 상기 VOD UI 화면인지 여부를 판단하고, 상기 VOD UI 화면으로 판단되면, 상기 영상 프레임을 분석하여 상기 영상 프레임에 포함된 영상 컨텐츠에 대한 정보를 추출하는 것을 특징으로 하는 디스플레이 장치.
  9. 제 8 항에 있어서,
    상기 프로세서는,
    상기 VOD UI 화면이 아닌 것으로 판단되면, 상기 영상 프레임을 상기 영상 컨텐츠 화면으로 판단하고, 현재 시점을 기준으로 최근에 추출된 상기 영상 컨텐츠에 대한 정보를 상기 영상 컨텐츠 화면에 포함된 영상 컨텐츠에 대한 정보로 결정하며, 상기 결정된 영상 컨텐츠에 대한 정보를 상기 시청 이력 정보로 상기 메모리에 저장하는 것을 특징으로 하는 디스플레이 장치.
  10. 디스플레이 장치의 제어 방법에 있어서,
    외부 기기로부터 영상 프레임을 입력받는 단계;
    상기 영상 프레임의 유형을 판단하는 단계;
    상기 판단된 영상 프레임의 유형에 따라 상기 영상 프레임을 분석하여 상기 영상 프레임에 포함된 영상 컨텐츠에 대한 정보를 추출하는 단계; 및
    상기 추출된 영상 컨텐츠에 대한 정보를 시청 이력 정보로 저장하는 단계;를 포함하는 제어 방법.
  11. 제 10 항에 있어서,
    상기 영상 프레임의 유형은,
    VOD(Video On Demand) UI 화면, 리니어 방송의 OSD 화면 및 영상 컨텐츠 화면을 포함하는 것을 특징으로 하는 제어 방법.
  12. 제 11 항에 있어서,
    상기 영상 프레임의 유형을 판단하는 단계는,
    상기 영상 프레임에 포함된 사각형에 관한 정보 및 글자에 관한 정보 중 적어도 하나를 특징(feature)으로 적용한 머신 러닝 기법을 이용하여 상기 입력되는 영상 프레임이 VOD UI 화면인지 여부를 판단하는 것을 특징으로 하는 제어 방법.
  13. 제 12 항에 있어서,
    상기 외부 기기로부터 오디오 신호를 입력받는 단계;를 더 포함하고,
    상기 영상 프레임의 유형을 판단하는 단계는,
    상기 머신 러닝 기법에 상기 오디오 신호의 영 교차율(zero-crossing rate) 및 상기 오디오 신호의 세기를 추가적인 특징으로 적용하여 상기 입력되는 영상 프레임이 상기 VOD UI 화면인지 여부를 판단하는 것을 특징으로 하는 제어 방법.
  14. 제 11 항에 있어서,
    상기 영상 프레임의 유형을 판단하는 단계는,
    기설정된 시간동안 입력되는 복수의 영상 프레임을 분석하여 상기 복수의 영상 프레임에 포함된 글자의 분포 패턴을 검출하는 단계; 및
    상기 검출된 패턴에 기초하여 상기 영상 프레임이 상기 리니어 방송의 OSD 화면인지 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  15. 제 11 항에 있어서,
    상기 영상 컨텐츠에 대한 정보를 추출하는 단계는,
    OCR(Optical Character Recognition)을 통해 상기 VOD UI 화면 또는 상기 리니어 방송의 OSD 화면으로부터 상기 영상 컨텐츠에 대한 정보를 추출하는 것을 특징으로 하는 제어 방법.
  16. 제 11 항에 있어서,
    상기 영상 프레임의 유형을 판단하는 단계는,
    상기 영상 프레임이 상기 VOD UI 화면 및 상기 리니어 방송의 OSD 화면이 아닌 경우, 상기 입력되는 영상 프레임을 상기 영상 컨텐츠 화면으로 판단하고,
    현재 시점을 기준으로 최근에 추출된 상기 영상 컨텐츠에 대한 정보를 상기 영상 컨텐츠 화면에 포함된 영상 컨텐츠에 대한 정보로 결정하는 단계;를 더 포함하며,
    상기 저장하는 단계는,
    상기 결정된 영상 컨텐츠에 대한 정보를 상기 시청 이력 정보로 저장하는 것을 특징으로 하는 제어 방법.
  17. 제 11 항에 있어서,
    상기 디스플레이 장치에 설치된 VOD 애플리케이션의 실행에 따라 VOD 컨텐츠 제공 서버로부터 영상 프레임을 수신하는 단계;를 더 포함하고,
    상기 영상 프레임의 유형을 판단하는 단계는,
    상기 VOD 컨텐츠 제공 서버로부터 상기 영상 프레임이 수신되면, 상기 수신되는 영상 프레임에 포함된 사각형의 개수 및 글자의 개수를 특징(feature)으로 적용한 머신 러닝 기법을 이용하여 상기 수신되는 영상 프레임이 상기 VOD UI 화면인지 여부를 판단하고,
    상기 영상 컨텐츠에 대한 정보를 추출하는 단계는,
    상기 VOD UI 화면으로 판단되면, 상기 영상 프레임을 분석하여 상기 영상 프레임에 포함된 영상 컨텐츠에 대한 정보를 추출하는 것을 특징으로 하는 제어 방법.
  18. 제 17 항에 있어서,
    상기 영상 프레임의 유형을 판단하는 단계는,
    상기 VOD UI 화면이 아닌 것으로 판단되면, 상기 영상 프레임을 상기 영상 컨텐츠 화면으로 판단하고,
    상기 제어 방법은,
    현재 시점을 기준으로 최근에 추출된 상기 영상 컨텐츠에 대한 정보를 상기 영상 컨텐츠 화면에 포함된 영상 컨텐츠에 대한 정보로 결정하는 단계;를 더 포함하며,
    상기 저장하는 단계는,
    상기 결정된 영상 컨텐츠에 대한 정보를 상기 시청 이력 정보로 저장하는 것을 특징으로 하는 제어 방법.
  19. 디스플레이 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록 매체에 있어서,
    상기 제어 방법은,
    외부 기기로부터 영상 프레임을 입력받는 단계;
    상기 입력된 영상 프레임의 유형을 판단하는 단계;
    상기 판단된 영상 프레임의 유형에 따라 상기 영상 프레임을 분석하여 상기 영상 프레임에 포함된 영상 컨텐츠에 대한 정보를 추출하는 단계; 및
    상기 추출된 영상 컨텐츠에 대한 정보를 시청 이력 정보로 저장하는 단계;를 포함하는 컴퓨터 판독가능 기록 매체.
KR1020150177011A 2015-12-11 2015-12-11 디스플레이 장치 및 디스플레이 장치의 제어 방법 KR20170069599A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150177011A KR20170069599A (ko) 2015-12-11 2015-12-11 디스플레이 장치 및 디스플레이 장치의 제어 방법
US15/367,948 US20170171629A1 (en) 2015-12-11 2016-12-02 Display device and method for controlling the same
EP16202756.9A EP3179735A1 (en) 2015-12-11 2016-12-07 Display device and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150177011A KR20170069599A (ko) 2015-12-11 2015-12-11 디스플레이 장치 및 디스플레이 장치의 제어 방법

Publications (1)

Publication Number Publication Date
KR20170069599A true KR20170069599A (ko) 2017-06-21

Family

ID=57539065

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150177011A KR20170069599A (ko) 2015-12-11 2015-12-11 디스플레이 장치 및 디스플레이 장치의 제어 방법

Country Status (3)

Country Link
US (1) US20170171629A1 (ko)
EP (1) EP3179735A1 (ko)
KR (1) KR20170069599A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020060071A1 (en) * 2018-09-21 2020-03-26 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
KR20210033289A (ko) * 2019-09-18 2021-03-26 주식회사 엘지유플러스 IoT 연동 서비스를 위한 IoT 서버의 동작 방법 및 이를 위한 IoT 서버

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10484144B2 (en) * 2016-11-11 2019-11-19 Qualcomm Incorporated Hybrid automatic repeat request management for low latency communications
CN108259988B (zh) * 2017-12-26 2021-05-18 努比亚技术有限公司 一种视频播放控制方法、终端及计算机可读存储介质
KR20190084767A (ko) * 2018-01-09 2019-07-17 삼성전자주식회사 전자 장치, ui 제공 방법 및 컴퓨터 판독 가능 매체
US10904223B1 (en) * 2018-02-27 2021-01-26 Amazon Technologies, Inc. Stream sniping prevention
US10694252B1 (en) 2018-02-27 2020-06-23 Amazon Technologies, Inc. Service-based prevention of stream sniping
CN109640169B (zh) * 2018-11-27 2020-09-22 Oppo广东移动通信有限公司 视频增强控制方法、装置以及电子设备
CN112616055B (zh) * 2020-12-10 2023-04-18 上海商米科技集团股份有限公司 一种基于设备端osd的人脸加框方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060064716A1 (en) * 2000-07-24 2006-03-23 Vivcom, Inc. Techniques for navigating multiple video streams
US7336890B2 (en) * 2003-02-19 2008-02-26 Microsoft Corporation Automatic detection and segmentation of music videos in an audio/video stream
US8019162B2 (en) * 2006-06-20 2011-09-13 The Nielsen Company (Us), Llc Methods and apparatus for detecting on-screen media sources
US8472448B2 (en) * 2006-07-21 2013-06-25 Intel Corporation Wireless adaptive packet control message apparatus, systems, and methods
US8763038B2 (en) * 2009-01-26 2014-06-24 Sony Corporation Capture of stylized TV table data via OCR
US8955005B2 (en) * 2013-03-14 2015-02-10 Samsung Electronics Co., Ltd. Viewer behavior tracking using pattern matching and character recognition

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020060071A1 (en) * 2018-09-21 2020-03-26 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
KR20200036092A (ko) * 2018-09-21 2020-04-07 삼성전자주식회사 전자 장치 및 그 제어 방법
US11386659B2 (en) 2018-09-21 2022-07-12 Samsung Electronics Co., Ltd. Electronic apparatus for identifying content based on an object included in the content and control method thereof
KR20210033289A (ko) * 2019-09-18 2021-03-26 주식회사 엘지유플러스 IoT 연동 서비스를 위한 IoT 서버의 동작 방법 및 이를 위한 IoT 서버

Also Published As

Publication number Publication date
US20170171629A1 (en) 2017-06-15
EP3179735A1 (en) 2017-06-14

Similar Documents

Publication Publication Date Title
US12010373B2 (en) Display apparatus, server apparatus, display system including them, and method for providing content thereof
KR20170069599A (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
CN107770627B (zh) 图像显示装置和操作图像显示装置的方法
CN102420950B (zh) 图像显示装置和操作该图像显示装置的方法
US20190007643A1 (en) Method of acquiring information about contents, image display apparatus using the method, and server system for providing information about contents
US10203927B2 (en) Display apparatus and display method
CN113259741B (zh) 一种剧集经典看点的展示方法及显示设备
CN107636749B (zh) 图像显示设备及其操作方法
US20150312508A1 (en) User terminal device, method for controlling user terminal device and multimedia system thereof
KR102105101B1 (ko) 디스플레이 장치 및 이의 문자 수정 방법
EP2743814A2 (en) Display apparatus and method of providing user interface thereof
US20120301030A1 (en) Image processing apparatus, image processing method and recording medium
KR20180057473A (ko) 디스플레이 장치 및 컨텐츠를 디스플레이하는 방법
EP3038374A1 (en) Display device and display method
KR20150111095A (ko) 디스플레이 장치 및 이의 제어 방법
KR102088443B1 (ko) 검색을 수행하는 디스플레이 장치 및 이의 제어 방법
KR20150142347A (ko) 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
CN111083538A (zh) 一种背景图像的显示方法及设备
KR20140083229A (ko) 디스플레이 장치 및 이의 메뉴 제공 방법
CN107615769B (zh) 广播接收设备及其信息提供方法
KR101714661B1 (ko) 영상표시기기의 데이터 입력 방법 및 그에 따른 영상표시기기
KR20140072737A (ko) 디스플레이 장치 및 이의 사용자 메뉴 제공 방법
EP2916314A1 (en) Display apparatus and method for controlling display apparatus thereof
KR101992193B1 (ko) 적어도 하나 이상의 네트워크 인터페이스로 연결된 멀티미디어 디바이스 및 그 제어 방법
KR102425445B1 (ko) 디스플레이 장치 및 이의 제어 방법