KR102245403B1 - 화면 자동 인식을 위한 셋톱박스의 동작 방법 및 그 셋톱박스 - Google Patents

화면 자동 인식을 위한 셋톱박스의 동작 방법 및 그 셋톱박스 Download PDF

Info

Publication number
KR102245403B1
KR102245403B1 KR1020190110251A KR20190110251A KR102245403B1 KR 102245403 B1 KR102245403 B1 KR 102245403B1 KR 1020190110251 A KR1020190110251 A KR 1020190110251A KR 20190110251 A KR20190110251 A KR 20190110251A KR 102245403 B1 KR102245403 B1 KR 102245403B1
Authority
KR
South Korea
Prior art keywords
screen
top box
banner
category
analyzing
Prior art date
Application number
KR1020190110251A
Other languages
English (en)
Other versions
KR20210029010A (ko
Inventor
박세호
한정안
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020190110251A priority Critical patent/KR102245403B1/ko
Publication of KR20210029010A publication Critical patent/KR20210029010A/ko
Application granted granted Critical
Publication of KR102245403B1 publication Critical patent/KR102245403B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

이하의 실시예는 화면 자동 인식을 위한 셋톱박스의 동작 방법 및 그 셋톱박스에 관한 것이다. 실시예에 따른 셋톱박스의 동작 방법은 TV에 실시간으로 디스플레이되는 화면을 분석하는 단계; 화면의 구성에 대응하는 카테고리를 인식하는 단계; 및 카테고리를 기반으로 맞춤형 서비스를 검색하여 맞춤형 서비스를 위한 배너를 제공하는 단계를 포함할 수 있다.

Description

화면 자동 인식을 위한 셋톱박스의 동작 방법 및 그 셋톱박스{Settop-box Operating Method For Scene Automatic Recognition And Settop-Box of Thereof}
이하의 실시예는 화면 자동 인식을 위한 셋톱박스의 동작 방법 및 이를 수행하는 셋톱박스에 관한 것이다.
IPTV는 실시간 방송, VOD 등의 방식으로 컨텐츠를 제공한다. IPTV는 인터넷 망을 이용한 컨텐츠 서비스 제공 방법의 일례로, 초고속 인터넷 망을 이용하여 각종 정보 서비스, 동영상 컨텐츠 및 방송 등을 송수신하여 사용자의 TV로 컨텐츠를 제공한다.
사용자가 방송 또는 컨텐츠를 시청하는 데에 있어서 일반적으로 리모컨을 이용하거나 음성 명령 등을 통해 채널을 조작하거나, 원하는 컨텐츠를 검색하여 시청할 수 있다.
IPTV에서 제공되는 트리거 서비스는 방송 시청 중인 사용자에게 특정 시간대에 배너를 노출하여 쇼핑 정보, 컨텐츠 정보 등이 제공되고 있다.
이와 관련된 선행 문헌으로 공개특허 제2015-0044453호에서는 광고 호출 모듈을 갖는 스마트 디스플레이에 대해서 개시되어 있다.
본 발명은 실시예에서, 셋톱박스에서 제공하는 방송 화면을 인식하고 분석하여 방송 화면과 관련된 맞춤형 서비스를 검색하고, 해당 서비스에 대한 트리거 기능을 제공하고자 한다.
셋톱박스의 동작 방법에 있어서, TV에 실시간으로 디스플레이되는 화면을 분석하는 단계; 상기 화면의 구성에 대응하는 카테고리를 인식하는 단계; 및 상기 카테고리를 기반으로 맞춤형 서비스를 검색하여 상기 맞춤형 서비스를 위한 배너를 제공하는 단계를 포함하는, 셋톱박스의 동작 방법이 제공될 수 있다.
상기 TV에 실시간으로 디스플레이되는 화면을 분석하는 단계는, 상기 화면을 분석하여 상기 화면 내에 포함되는 적어도 하나의 속성 메타를 추출하는 단계; 및 딥러닝 기반의 화면 인식 방법에 기초하여 상기 적어도 하나의 속성 메타에 대한 정보를 인식하는 단계를 포함할 수 있다.
상기 화면의 구성에 대응하는 카테고리를 인식하는 단계는, 상기 인식된 적어도 하나의 속성 메타를 다수의 프레임으로 나누고 상기 다수의 프레임에 각각에 대해 카테고리에 대한 매칭 정도에 대한 스코어를 계산하는 단계; 및 상기 계산된 스코어를 누적하는 단계를 포함할 수 있다.
상기 화면의 구성에 대응하는 카테고리를 인식하는 단계는, 상기 누적된 스코어가 미리 정해진 임계값을 초과하는 경우, 상기 임계값을 초과한 카테고리를 획득하는 단계를 더 포함할 수 있다.
상기 TV에 실시간으로 디스플레이되는 화면을 분석하는 단계는, 상기 TV의 채널 변경에 대응하여 디스플레이되는 변경된 화면을 분석하는 단계를 포함할 수 있다.
상기 TV에 실시간으로 디스플레이되는 화면을 분석하는 단계는, 미리 정해진 주기로 상기 화면을 분석하는 단계를 포함할 수 있다.
상기 카테고리를 기반으로 맞춤형 서비스를 검색하여 상기 맞춤형 서비스를 위한 배너를 제공하는 단계는, 상기 배너의 실행을 위한 안내를 포함하여 상기 배너가 상기 TV의 일측에 디스플레이되도록 제공하는 단계를 포함할 수 있다.
리모컨의 조작, 음성 명령 중 적어도 하나에 대응하여 상기 배너를 실행하거나 상기 배너를 삭제하는 단계를 더 포함할 수 있다.
본 발명의 실시예를 통해 셋톱박스에서 제공하는 방송 화면을 인식하고 분석하여 방송 화면과 관련된 맞춤형 서비스를 검색하고, 해당 서비스에 대한 트리거 기능을 제공할 수 있다.
도 1은 일실시예에 있어서, 화면 자동 인식을 위한 셋톱박스의 동작 방법의 흐름도이다.
도 2는 일실시예에 있어서, 딥러닝 기반의 화면을 인식하는 방법을 설명하기 위한 도면이다.
도 3은 일실시예에 있어서, 프레임의 스코어를 계산하는 방법을 설명하기 위한 도면이다.
도 4는 일실시예에 있어서, 화면 자동 인식에 의한 동작 실시예를 설명하기 위한 도면이다.
도 5는 일실시예에 있어서, 화면 자동 인식을 위한 셋톱박스의 구성을 설명하기 위한 블록도이다.
이하, 본 발명의 실시예에 대해서 첨부된 도면을 참조하여 자세히 설명하도록 한다.
본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~간의에"와 "바로~간의에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 있어서, 화면 자동 인식을 위한 셋톱박스의 동작 방법의 흐름도이다. 실시예에 따른 방법은 셋톱박스에 의해 수행되며, CPU(Central Processing Unit)에 의해 전달되는 화면 인식 명령에 대응하여 GPU(Graphic Processing Unit) 또는 NPU(Neural Processing Unit)에서 화면 인식을 수행하고, 화면 인식에 대한 결과가 CPU로 전달되어 CPU에 의해 해당 결과가 TV의 화면의 일측에 출력될 수 있다.
단계(110)에서 셋톱박스는, TV에 실시간으로 디스플레이되는 화면을 분석한다.
실시예에서, 셋톱박스는 실시간 방송 또는 VOD 컨텐츠 등을 사용자의 명령에 대응하여 출력할 수 있고, 실시간으로 디스플레이되는 화면에 대한 분석 명령에 의해 화면을 분석할 수 있다. 예를 들어, 미리 정해진 시간 주기로 화면을 분석하도록 미리 설정될 수 있고, 채널이 변경되는 상황을 감지하여 채널이 변경될 때마다 화면을 분석하도록 미리 설정될 수 있다.
실시예에서, 셋톱박스는 화면 분석 명령에 대응하여 실시간 화면을 분석하되, 실시간의 장면을 인식하고, 해당 장면에 대해 딥러닝 기반의 화면 인식 방법을 이용하여 해당 장면을 분석할 수 있다.
실시예에서, 화면을 분석하여 속성 메타를 기준으로 화면을 다수 개로 분할할 수 있다. 분할된 속성 메타들에 대해서 딥러닝 기반의 화면 인식 방법에 기초하여 각 속성 메타에 대한 정보를 인식할 수 있다. 예를 들어, 해당 속성 메타가 인물을 나타내는지, 특정 배경을 나타내는지, 물건 또는 글자 등 어떤 정보를 포함하고 있는지를 인식할 수 있다.
실시예를 위해 셋톱박스에서 실시간으로 구성되는 화면을 분석하는 방법에 대해서 도 2를 참조하여 설명하도록 한다.
도 2는 일실시예에 있어서, 딥러닝 기반의 화면을 인식하는 방법을 설명하기 위한 도면이다.
실시예에서, 실시간 출력되는 화면(300)을 분석하여 하나 이상의 속성 메타들을 추출할 수 있다. 실시예에 따른 화면(300)은 4개의 속성 메타들이 추출되어 있다.
각 속성 메타들은 대해서 미리 학습된 CNN(Convolutional Neural Network)(310)로 입력되어 각 메타 속성들이 나타내는 정보가 출력될 수 있다.
CNN(310)은 메타 속성을 입력으로, 해당 메타 속성에 대한 정보를 출력으로 하여 기계 학습된 딥러닝 기반의 학습 모델로 제공될 수 있다.
예를 들어, 도 2의 메타 속성(301)을 CNN(310)에 입력하는 경우, 메타 속성(301)을 다수의 영역으로 분할하여 각 영역을 미리 학습된 방법대로 학습하면, 메타 속성(301)에 대한 결과를 획득할 수 있다. 도시된 바에 의하면, 비행기인가(aeroplane), TV 모니터인가(tvmonitor)에 대해서는 NO의 결과를 획득하고, 사람인가(person)에 대한 응답으로 YES를 획득할 수 있다. 도시된 질의 이외의 다양한 질의에 대한 응답으로 메타 속성에 대한 정보를 획득할 수 있다.
상기와 같은 방식으로, 메타 속성이 배경인지, 동물인지, 물건에 해당하는지 등 메타 속성에 대한 정보를 생성할 수 있다.
나아가, CNN(310)의 학습 방법에 따라서 해당 메타 속성이 어떤 인물을 나타내는지, 어떤 동물을 나타내는지 등에 대한 정보를 획득할 수도 있다.
단계(120)에서 셋톱박스는, 화면의 구성에 대응하는 카테고리를 인식한다.
실시예에서, 셋톱박스는 분석된 화면에 따라 제공 가능한 서비스에 대한 카테고리를 인식할 수 있다. 예를 들어, 야구, 골프, 축구 등의 스포츠에 대한 서비스, 또는 뮤지컬, 콘서트 등의 공연 등의 다양한 분야의 서비스를 위한 카테고리를 인식할 수 있다.
카테고리를 인식하기 위해서, 딥러닝 기반의 화면 인식 방법을 통해 획득한 각 속성 메타에 대한 정보에 기초하여, 각 속성 메타가 나타내는 영역을 다수의 프레임으로 나누고 다수의 프레임에 각각에 대해 카테고리에 대한 매칭 정도에 대한 스코어를 계산하여 계산된 스코어를 누적하여 매칭되는 카테고리를 획득할 수 있다.
누적된 스코어가 미리 정해진 임계값을 초과하는 경우, 해당 임계값을 초과하는 카테고리가 해당 속성 메타가 나타내는 카테고리로 인식하도록 할 수 있다.
실시예에서, 카테고리를 인식하기 위한 방법을 도 3을 통해 설명하도록 한다.
도 3은 일실시예에 있어서, 프레임의 스코어를 계산하는 방법을 설명하기 위한 도면이다.
실시예에서, 도 2를 통해 설명된 바와 같이 화면에 포함되는 메타 속성에 대한 정보를 획득한 후, 화면을 구성하는 메타 속성들에 대해 스코어를 계산할 수 있다.
도시된 바와 같이, 메타 속성에 대해서 다수의 프레임으로 구성하고, 각 프레임에 대해서 스코어를 계산할 수 있다. 각 프레임에 대해서 카테고리 별로 스코어를 계산할 수 있다. 예를 들어, 얼굴인식, 운동, 음악 등의 카테고리 각각에 대해서 각 프레임의 스코어를 계산하고, 계산된 스코어를 메타 속성을 기반으로 히스토그램화하여 누적할 수 있다.
실시예에서, 사람 얼굴을 포함하는 메타 속성 영역은 얼굴인식 카테고리에서 스코어가 높게 나타날 수 있고, 운동 기구를 포함하는 메타 속성은 운동 카테고리에서 높은 스코어를 나타낼 수 있으며, 악기를 포함하는 메타 속성은 음악 카테고리에서 높은 스코어를 기록할 수 있다.
일 예로, 히스토그램은 자전거의 몸체 부분, 사람의 귀 부분, 악기의 몸체 부분, 사람의 눈 부분 등 미리 정해진 메타 속성들을 포함할 수 있다. 각 프레임에서 추출되는 메타 속성의 스코어를 히스토그램에 누적함으로써, 복수의 프레임들에 대응하는 특징 벡터가 생성될 수 있다. 생성된 특징 벡터는 얼굴인식 카테고리, 운동 카테고리, 음악 카테고리 등 어느 하나의 카테고리에 매칭될 수 있다. 복수의 프레임들에 대응하는 특징 벡터와 특정 카테고리 사이의 매칭 정도는 스코어 혹은 매칭 스코어의 형태로 표현될 수 있다.
메타 속성에 대해 누적되는 스코어가 미리 정해진 임계값을 초과하는 경우, 임계값을 초과한 스코어에 해당하는 카테고리를 해당 메타 속성에 대한 카테고리로 인식할 수 있다. 만약, 모든 프레임에 대해 계산된 스코어의 누적이 임계값을 넘어간 카테고리가 없는 경우, 현저하게 가장 높은 스코어가 기록된 카테고리를 해당 메타 속성에 대한 카테고리로 획득할 수 있다.
나아가, 메타 속성이 카테고리 중 서비스를 제공하고자 하는 영역에 대해서도 스코어를 계산할 수 있다.
예를 들어, 운동 카테고리 중 골프, 야구, 축구 등 어떤 스포츠에 대응하는 서비스가 제공 가능한지에 대해서 스코어가 계산될 수 있다.
화면 인식 명령에 대응하여 화면에 매칭되는 서비스를 획득한 이후, 셋톱박스는 계산된 스코어를 초기화하고, 이후 입력되는 명령에 대응하여 다시 스코어를 계산할 수 있다.
단계(130)에서 셋톱박스는, 카테고리를 기반으로 맞춤형 서비스를 검색하여 맞춤형 서비스를 위한 배너를 TV의 일측에 디스플레이되도록 제공한다.
실시예에서, 인식된 카테고리를 기반으로, 앱 형태로 제공되는 맞춤형 서비스를 제공하기 위한 배너를 제공할 수 있다. 맞춤형 서비스는 셋톱박스의 CPU 환경에서 실행 가능한 앱 기반으로 제공될 수 있다.
셋톱박스는, 실시간으로 출력되는 화면의 일측에 맞춤형 서비스를 위한 배너를 출력하되, 맞춤형 서비스의 앱을 실행하기 위한 버튼의 안내를 포함하는 형태로 제공할 수 있다.
사용자는 리모컨 명령 또는 음성 인식 명령 등을 통해 해당 배너를 실행하거나 배너의 출력을 제거할 수 있다. 예를 들어, '확인' 버튼, '종료' 버튼, '이전' 버튼이나 컬러 버튼 등을 통해 배너의 실행 여부가 결정될 수 있고, "배너 실행" 또는 "배너 삭제" 등의 음성 명령을 통해 배너의 실행 여부가 결정될 수 있다.
이하에서는 실제 출력 가능한 화면을 통해 제공되는 화면 자동 인식의 실시예에 대해서 설명하도록 한다.
도 4는 일실시예에 있어서, 화면 자동 인식에 의한 동작 실시예를 설명하기 위한 도면이다.
도 4(a)는 골프 채널을 통해 출력되는 실시간 화면이며, 도 4(b)는 도 4(a)의 화면에 대해 화면 자동 인식을 수행하여 획득한 맞춤형 서비스의 배너가 출력된 화면이고, 도 4(c)는 도 4(b)의 배너를 실행하여 출력되는 화면이다.
도 4(a)의 화면을 딥러닝 기반의 화면 인식을 위한 모델로 입력하는 경우를 생각해 볼 수 있다. 도 4(a)의 화면에 대해서 장면 분석을 통해 실시예에서, 사람, 잔디, 하늘, 골프채, 펜스 등의 요소들 중 적어도 하나에 대해서 메타 속성으로 인식할 수 있으며, 각 메타 속성에 대해서 카테고리 별로 스코어를 계산하여 운동 카테고리에 매칭된 맞춤형 서비스, 예를 들어 골프 관련 서비스를 획득하여 사용자에게 제공할 수 있다.
셋톱박스는 제공하고자 하는 맞춤형 서비스에 대한 배너를 도 4(b)와 같은 형태로 제공할 수 있다. 예를 들어, 사용자의 시청에 가장 방해가 되지 않을 영역을 속성 메타를 기준으로 결정하고, 해당 영역으로 맞춤형 서비스의 배너를 출력할 수 있다. 또는 미리 지정된 위치로 해당 배너가 출력될 수 있다.
실시예에서, 배너는 해당 배너의 실행을 위한 확인 버튼을 포함할 수 있다. 사용자는 리모컨 명령 또는 음성 인식 명령 등을 통해 해당 배너를 실행하거나 배너의 출력을 제거할 수 있다. 예를 들어, '확인' 버튼, '종료' 버튼, '이전' 버튼이나 컬러 버튼 등을 통해 배너의 실행 여부가 결정될 수 있고, "배너 실행" 또는 "배너 삭제" 등의 음성 명령을 통해 배너의 실행 여부가 결정될 수 있다.
도 4(c)는 실시예에서 제공되는 배너가 실행되었을 시 배너에 타겟팅된 앱의 URL 이벤트를 발생시켜, 배너의 타겟 앱이 실행된 화면의 일례이다. 실시예에서, 골프를 치는 화면에 대응하여 골프 서비스 앱이 제공될 수 있다.
도 5는 일실시예에 있어서, 화면 자동 인식을 위한 셋톱박스의 구성을 설명하기 위한 블록도이다.
실시예에서, 셋톱박스(500)는 메모리(510) 및 프로세서(520)를 포함하여 구성될 수 있고, 화면 자동 인식을 위한 프로그램은 메모리(510)에 저장되어 프로세서(520)에 의해 실행될 수 있다.
셋톱박스(500)는, TV에 실시간으로 디스플레이되는 화면을 분석한다.
실시예에서, 셋톱박스(500)는 실시간 방송 또는 VOD 컨텐츠 등을 사용자의 명령에 대응하여 출력할 수 있고, 실시간으로 디스플레이되는 화면에 대한 분석 명령에 의해 화면을 분석할 수 있다. 예를 들어, 미리 정해진 시간 주기로 화면을 분석하도록 미리 설정될 수 있고, 채널이 변경되는 상황을 감지하여 채널이 변경될 때마다 화면을 분석하도록 미리 설정될 수 있다.
실시예에서, 셋톱박스(500)는 화면 분석 명령에 대응하여 실시간 화면을 분석하되, 실시간의 장면을 인식하고, 해당 장면에 대해 딥러닝 기반의 화면 인식 방법을 이용하여 해당 장면을 분석할 수 있다.
실시예에서, 화면을 분석하여 속성 메타를 기준으로 화면을 다수 개로 분할할 수 있다. 분할된 속성 메타들에 대해서 딥러닝 기반의 화면 인식 방법에 기초하여 각 속성 메타에 대한 정보를 인식할 수 있다. 예를 들어, 해당 속성 메타가 인물을 나타내는지, 특정 배경을 나타내는지, 물건 또는 글자 등 어떤 정보를 포함하고 있는지를 인식할 수 있다.
셋톱박스(500)는, 화면의 구성에 대응하는 카테고리를 인식한다.
실시예에서, 셋톱박스는 분석된 화면에 따라 제공 가능한 서비스에 대한 카테고리를 인식할 수 있다. 예를 들어, 야구, 골프, 축구 등의 스포츠에 대한 서비스, 또는 뮤지컬, 콘서트 등의 공연 등의 다양한 분야의 서비스를 위한 카테고리를 인식할 수 있다.
카테고리를 인식하기 위해서, 딥러닝 기반의 화면 인식 방법을 통해 획득한 각 속성 메타에 대한 정보에 기초하여, 각 속성 메타가 나타내는 영역을 다수의 프레임으로 나누고 다수의 프레임에 각각에 대해 카테고리에 대한 매칭 정도에 대한 스코어를 계산하여 계산된 스코어를 누적하여 매칭되는 카테고리를 획득할 수 있다.
누적된 스코어가 미리 정해진 임계값을 초과하는 경우, 해당 임계값을 초과하는 카테고리가 해당 속성 메타가 나타내는 카테고리로 인식하도록 설정될 수 있다.
셋톱박스(500)는, 카테고리를 기반으로 맞춤형 서비스를 검색하여 맞춤형 서비스를 위한 배너를 TV의 일측에 디스플레이되도록 제공한다.
실시예에서, 인식된 카테고리를 기반으로, 앱 형태로 제공되는 맞춤형 서비스를 제공하기 위한 배너를 제공할 수 있다. 맞춤형 서비스는 셋톱박스의 CPU 환경에서 실행 가능한 앱 기반으로 제공될 수 있다.
셋톱박스(500)는, 실시간으로 출력되는 화면의 일측에 맞춤형 서비스를 위한 배너를 출력하되, 맞춤형 서비스의 앱을 실행하기 위한 버튼의 안내를 포함하는 형태로 제공할 수 있다.
사용자는 리모컨 명령 또는 음성 인식 명령 등을 통해 해당 배너를 실행하거나 배너의 출력을 제거할 수 있다. 예를 들어, '확인' 버튼, '종료' 버튼, '이전' 버튼이나 컬러 버튼 등을 통해 배너의 실행 여부가 결정될 수 있고, "배너 실행" 또는 "배너 삭제" 등의 음성 명령을 통해 배너의 실행 여부가 결정될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (17)

  1. 셋톱박스의 동작 방법에 있어서,
    TV에 실시간으로 디스플레이되는 화면을 분석하는 단계;
    상기 화면의 구성에 대응하는 카테고리를 인식하는 단계; 및
    상기 카테고리를 기반으로 맞춤형 서비스를 검색하여 상기 맞춤형 서비스를 위한 배너를 제공하는 단계
    를 포함하고,
    상기 TV에 실시간으로 디스플레이되는 화면을 분석하는 단계는,
    상기 화면을 분석하여 상기 화면 내에 포함되는 적어도 하나의 속성 메타를 추출하는 단계; 및
    딥러닝 기반의 화면 인식 방법에 기초하여 상기 적어도 하나의 속성 메타에 대한 정보를 인식하는 단계
    를 포함하고,
    상기 화면의 구성에 대응하는 카테고리를 인식하는 단계는,
    상기 인식된 적어도 하나의 속성 메타를 다수의 프레임으로 나누고 상기 다수의 프레임에 각각에 대해 카테고리에 대한 매칭 정도에 대한 스코어를 계산하는 단계; 및
    상기 계산된 스코어를 누적하는 단계
    를 포함하는,
    셋톱박스의 동작 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 화면의 구성에 대응하는 카테고리를 인식하는 단계는,
    상기 누적된 스코어가 미리 정해진 임계값을 초과하는 경우, 상기 임계값을 초과한 카테고리를 획득하는 단계
    를 더 포함하는,
    셋톱박스의 동작 방법.
  5. 제1항에 있어서,
    상기 TV에 실시간으로 디스플레이되는 화면을 분석하는 단계는,
    상기 TV의 채널 변경에 대응하여 디스플레이되는 변경된 화면을 분석하는 단계
    를 포함하는,
    셋톱박스의 동작 방법.
  6. 제1항에 있어서,
    상기 TV에 실시간으로 디스플레이되는 화면을 분석하는 단계는,
    미리 정해진 주기로 상기 화면을 분석하는 단계
    를 포함하는,
    셋톱박스의 동작 방법.
  7. 제1항에 있어서,
    상기 카테고리를 기반으로 맞춤형 서비스를 검색하여 상기 맞춤형 서비스를 위한 배너를 제공하는 단계는,
    상기 배너의 실행을 위한 안내를 포함하여 상기 배너가 상기 TV의 일측에 디스플레이되도록 제공하는 단계
    를 포함하는,
    셋톱박스의 동작 방법.
  8. 제1항에 있어서,
    리모컨의 조작, 음성 명령 중 적어도 하나에 대응하여 상기 배너를 실행하거나 상기 배너를 삭제하는 단계
    를 더 포함하는,
    셋톱박스의 동작 방법.
  9. 하드웨어와 결합되어 제1항 및 제4항 내지 제8항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  10. 화면 자동 인식을 위한 셋톱박스에 있어서,
    하나 이상의 프로세서;
    메모리; 및
    상기 메모리에 저장되어 있으며 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하고,
    상기 프로그램은,
    TV에 실시간으로 디스플레이되는 화면을 분석하는 단계;
    상기 화면의 구성에 대응하는 카테고리를 인식하는 단계; 및
    상기 카테고리를 기반으로 맞춤형 서비스를 검색하여 상기 맞춤형 서비스를 위한 배너를 제공하는 단계
    를 실행하고,
    상기 TV에 실시간으로 디스플레이되는 화면을 분석하는 단계에서,
    상기 화면을 분석하여 상기 화면 내에 포함되는 적어도 하나의 속성 메타를 추출하는 단계; 및
    딥러닝 기반의 화면 인식 방법에 기초하여 상기 적어도 하나의 속성 메타에 대한 정보를 인식하는 단계
    를 실행하고,
    상기 화면의 구성에 대응하는 카테고리를 인식하는 단계에서,
    상기 인식된 적어도 하나의 속성 메타를 다수의 프레임으로 나누고 상기 다수의 프레임에 각각에 대해 카테고리에 대한 매칭 정도에 대한 스코어를 계산하는 단계; 및
    상기 계산된 스코어를 누적하는 단계
    를 실행하는,
    셋톱박스.
  11. 삭제
  12. 삭제
  13. 제10항에 있어서,
    상기 화면의 구성에 대응하는 카테고리를 인식하는 단계에서,
    상기 누적된 스코어가 미리 정해진 임계값을 초과하는 경우, 상기 임계값을 초과한 카테고리를 획득하는 단계
    를 더 실행하는,
    셋톱박스.
  14. 제10항에 있어서,
    상기 TV에 실시간으로 디스플레이되는 화면을 분석하는 단계에서,
    상기 TV의 채널 변경에 대응하여 디스플레이되는 변경된 화면을 분석하는 단계
    를 실행하는,
    셋톱박스.
  15. 제10항에 있어서,
    상기 TV에 실시간으로 디스플레이되는 화면을 분석하는 단계에서,
    미리 정해진 주기로 상기 화면을 분석하는 단계
    를 실행하는,
    셋톱박스.
  16. 제10항에 있어서,
    상기 카테고리를 기반으로 맞춤형 서비스를 검색하여 상기 맞춤형 서비스를 위한 배너를 제공하는 단계에서,
    상기 배너의 실행을 위한 안내를 포함하여 상기 배너가 상기 TV의 일측에 디스플레이되도록 제공하는 단계
    를 실행하는,
    셋톱박스.
  17. 제10항에 있어서,
    리모컨의 조작, 음성 명령 중 적어도 하나에 대응하여 상기 배너를 실행하거나 상기 배너를 삭제하는 단계
    를 더 실행하는,
    셋톱박스.
KR1020190110251A 2019-09-05 2019-09-05 화면 자동 인식을 위한 셋톱박스의 동작 방법 및 그 셋톱박스 KR102245403B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190110251A KR102245403B1 (ko) 2019-09-05 2019-09-05 화면 자동 인식을 위한 셋톱박스의 동작 방법 및 그 셋톱박스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190110251A KR102245403B1 (ko) 2019-09-05 2019-09-05 화면 자동 인식을 위한 셋톱박스의 동작 방법 및 그 셋톱박스

Publications (2)

Publication Number Publication Date
KR20210029010A KR20210029010A (ko) 2021-03-15
KR102245403B1 true KR102245403B1 (ko) 2021-04-27

Family

ID=75134549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190110251A KR102245403B1 (ko) 2019-09-05 2019-09-05 화면 자동 인식을 위한 셋톱박스의 동작 방법 및 그 셋톱박스

Country Status (1)

Country Link
KR (1) KR102245403B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230059029A (ko) * 2021-10-25 2023-05-03 삼성전자주식회사 전자 장치 및 그 동작 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101840869B1 (ko) * 2015-07-01 2018-03-21 남기원 방송화면 연동 커머스 장치 및 시스템과 그 방법
KR102110375B1 (ko) * 2018-02-23 2020-05-14 주식회사 삼알글로벌 학습 전이 기반의 비디오 감시 방법

Also Published As

Publication number Publication date
KR20210029010A (ko) 2021-03-15

Similar Documents

Publication Publication Date Title
US20200218902A1 (en) Methods and systems of spatiotemporal pattern recognition for video content development
KR102433393B1 (ko) 동영상 콘텐츠 내의 인물을 인식하는 장치 및 방법
AU2015222869B2 (en) System and method for performing spatio-temporal analysis of sporting events
JP7325668B2 (ja) シーンアウェア映像対話
JP2021524686A (ja) 埋め込まれた情報カードコンテンツを認識および解釈するための機械学習
US9098533B2 (en) Voice directed context sensitive visual search
US8804999B2 (en) Video recommendation system and method thereof
US9384408B2 (en) Image analysis system and method using image recognition and text search
TWI712316B (zh) 視訊摘要的生成方法及裝置
US20110106531A1 (en) Program endpoint time detection apparatus and method, and program information retrieval system
CN109640112B (zh) 视频处理方法、装置、设备及存储介质
CN106921891A (zh) 一种视频特征信息的展示方法和装置
CN104769957A (zh) 与当前播放的电视节目相关联的因特网可访问内容的识别和呈现
US20180352280A1 (en) Apparatus and method for programming advertisement
US11256945B2 (en) Automatic extraction of attributes of an object within a set of digital images
KR102245403B1 (ko) 화면 자동 인식을 위한 셋톱박스의 동작 방법 및 그 셋톱박스
Wang et al. Fast and accurate action detection in videos with motion-centric attention model
KR102144978B1 (ko) 영상의 쇼트 분류를 이용한 사용자 맞춤형 영상 추천 시스템
CN112312142A (zh) 视频播放控制方法、装置和计算机可读存储介质
US20200005150A1 (en) Projectile Extrapolation and Sequence Synthesis from Video Using Convolution
Wang et al. Low-latency human action recognition with weighted multi-region convolutional neural network
US10372742B2 (en) Apparatus and method for tagging topic to content
Godi et al. Indirect match highlights detection with deep convolutional neural networks
CN116896654B (zh) 一种视频处理方法和相关装置
KR102302368B1 (ko) 연계 서비스 제공을 위한 서버, 사용자 장치의 동작 방법 및 그 사용자 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant