KR102357360B1 - 심층 학습에 기반한 실시간 프로그램 추천 방법 및 장치 - Google Patents
심층 학습에 기반한 실시간 프로그램 추천 방법 및 장치 Download PDFInfo
- Publication number
- KR102357360B1 KR102357360B1 KR1020200042085A KR20200042085A KR102357360B1 KR 102357360 B1 KR102357360 B1 KR 102357360B1 KR 1020200042085 A KR1020200042085 A KR 1020200042085A KR 20200042085 A KR20200042085 A KR 20200042085A KR 102357360 B1 KR102357360 B1 KR 102357360B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- program
- customer
- programs
- viewing
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25883—Management of end-user data being end-user demographical data, e.g. age, family status or address
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25891—Management of end-user data being end-user preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
심층 학습(Deep Learning)에 기반한 실시간 프로그램 추천 방법이 제공된다. 본 방법은, 특정 고객의 고객 정보 및 복수의 프로그램에 관한 정보를 입력받는 단계 - 상기 특정 고객의 고객 정보는 실시간 프로그램 시청 시퀀스 정보를 포함하고, 상기 복수의 프로그램은 상기 특정 고객이 현재 시청하고 있는 채널 이외의 채널들에서 현재 방영되고 있는 프로그램들임 -, 상기 특정 고객의 고객 정보 및 상기 복수의 프로그램에 관한 정보를 기초로 상기 복수의 프로그램의 각각에 대한 시청 확률값을 제공하는 단계 - 상기 시청 확률값은 상기 특정 고객이 상기 해당 프로그램을 시청할 확률을 나타냄 -, 및 상기 시청 확률값들에 기초하여 상기 특정 고객에게 상기 복수의 프로그램 중 적어도 하나의 프로그램을 추천하는 것으로 결정하는 단계를 포함할 수 있다.
Description
본 발명은 심층 학습에 기반하여 실시간으로 프로그램을 추천하는 기술에 관한 것이다.
근래에 들어 인터넷(Internet)의 활용이 일상화됨에 따라 홈 네트워크 시대가 도래하였다. 이러한 홈 네트워크를 실현한 구체적인 한 예로서 IPTV(Internet Protocol Television) 서비스를 들 수 있다. IPTV 서비스는 인터넷을 이용하여 제공되는 양방향 TV 서비스로서, 인터넷에 연결된 셋탑박스(set-top box)를 이용하여 실시간 방송을 시청하거나 컨텐츠 제공 서비스 사업자가 운용하는 컨텐츠 제공 서버와 연결하여 VOD(video on demand) 컨텐츠를 시청할 수 있도록 한 서비스이다. 최근에는 IPTV 서비스가 본격적인 궤도에 오르면서 그 동안 컴퓨터와 인터넷을 통해 이용해 왔던 뉴스, 주가 등의 실시간 방송, 메신저, 문자 전송, 메일, 채팅 등의 주문형 커뮤니케이션, 온라인 게임, 홈쇼핑, 홈뱅킹, 정보 검색, VoIP 등의 다양한 서비스가 TV의 영역으로 이동하고 있는 추세이다. 이 때문에 IPTV는 스마트 TV(Smart TV), 인핸스드 TV(Enhanced TV), 인텔리전트 TV(Intelligent TV) 등과 같이 지능적이고 고도하다는 개념을 담은 다양한 이름으로 불리운다.
본 발명의 과제는 고객 개개인의 실시간 시청 이력에 관한 정보를 바탕으로 고객 개개인 별로 선호할 만한 채널/프로그램을 실시간으로 예측하여 추천함으로써 고객 서비스 만족도를 제고할 수 있도록 한 자동화된 실시간 프로그램 추천 기술을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
일 측면에서, 심층 학습(Deep Learning)에 기반한 실시간 프로그램 추천 방법이 제공된다. 본 방법은, 특정 고객의 고객 정보 및 복수의 프로그램에 관한 정보를 입력받는 단계 - 상기 특정 고객의 고객 정보는 실시간 프로그램 시청 시퀀스 정보를 포함하고, 상기 복수의 프로그램은 상기 특정 고객이 현재 시청하고 있는 채널 이외의 채널들에서 현재 방영되고 있는 프로그램들임 -, 상기 특정 고객의 고객 정보 및 상기 복수의 프로그램에 관한 정보를 기초로 상기 복수의 프로그램의 각각에 대한 시청 확률값을 제공하는 단계 - 상기 시청 확률값은 상기 특정 고객이 상기 해당 프로그램을 시청할 확률을 나타냄 -, 및 상기 시청 확률값들에 기초하여 상기 특정 고객에게 상기 복수의 프로그램 중 적어도 하나의 프로그램을 추천하는 것으로 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 실시간 프로그램 시청 시퀀스 정보는 상기 특정 고객이 시청한 적어도 하나의 프로그램 및 그 시청 순서에 관한 정보이다.
일 실시예에서, 상기 특정 고객의 고객 정보는 상기 특정 고객의 고객 ID(Identification) 및 상기 특정 고객의 프로필 정보를 더 포함한다.
일 실시예에서, 상기 특정 고객의 프로필 정보는 상기 특정 고객의 가입 정보, 상기 특정 고객의 나이에 관한 정보 및 상기 특정 고객의 성별에 관한 정보를 포함한다.
일 실시예에서, 상기 복수의 프로그램에 관한 정보는 상기 복수의 프로그램의 프로그램 ID들을 포함한다.
일 실시예에서, 상기 복수의 프로그램에 관한 정보는 상기 복수의 프로그램의 프로그램 메타 정보(program meta information)를 더 포함한다.
일 실시예에서, 상기 특정 고객의 고객 정보 및 상기 복수의 프로그램에 관한 정보를 기초로 상기 복수의 프로그램의 각각에 대한 시청 확률값을 제공하는 단계 - 상기 시청 확률값은 상기 특정 고객이 상기 해당 프로그램을 시청할 확률을 나타냄 - 는, 상기 특정 고객의 고객 정보 및 상기 해당 프로그램에 관한 정보를 심층 학습 모듈로 입력함으로써 상기 해당 프로그램에 대한 시청 확률값을 제공하는 단계를 포함한다.
일 실시예에서, 상기 특정 고객의 고객 정보 및 상기 복수의 프로그램에 관한 정보를 기초로 상기 복수의 프로그램의 각각에 대한 시청 확률값을 제공하는 단계 - 상기 시청 확률값은 상기 특정 고객이 상기 해당 프로그램을 시청할 확률을 나타냄 - 는, 상기 특정 고객의 고객 정보 및 상기 해당 프로그램에 관한 정보를 입력 계층으로 입력하여 임베딩(embedding) 처리를 수행함으로써 입력 벡터들을 출력하는 단계, 상기 입력 벡터들을 심층 신경망(Deep Neural Network: DNN) 계층으로 입력하여 복수의 출력 값을 제공하는 단계, 및 상기 복수의 출력 값을 시그모이드 함수 계층(Sigmoid Function Layer)으로 입력하여 상기 해당 프로그램에 대한 시청 확률값을 제공하는 단계를 포함한다.
일 실시예에서, 상기 특정 고객의 고객 정보 및 상기 해당 프로그램에 관한 정보를 입력 계층으로 입력하여 임베딩(embedding) 처리를 수행함으로써 입력 벡터들을 출력하는 단계는, 상기 실시간 프로그램 시청 시퀀스 정보에 임베딩 함수(embedding function)를 적용하여 실시간 채널 시청 패턴 특징 벡터를 출력하는 단계를 포함한다.
일 실시예에서, 상기 특정 고객의 고객 정보 및 상기 해당 프로그램에 관한 정보를 입력 계층으로 입력하여 임베딩(embedding) 처리를 수행함으로써 입력 벡터들을 출력하는 단계는, 상기 특정 고객의 고객 ID, 상기 특정 고객의 프로필 정보, 상기 해당 프로그램의 ID 및 상기 해당 프로그램의 프로그램 메타 정보에 임베딩 함수들을 각각 적용하는 단계를 포함한다.
일 실시예에서, 상기 방법은, 상기 특정 고객의 고객 정보 및 복수의 프로그램에 관한 정보를 입력받는 단계 - 상기 특정 고객의 고객 정보는 실시간 프로그램 시청 시퀀스 정보를 포함하고, 상기 복수의 프로그램은 상기 특정 고객이 현재 시청하고 있는 채널 이외의 채널들에서 현재 방영되고 있는 프로그램들임 - 이전에, 상기 입력 계층, 상기 심층 신경망 계층 및 상기 시그모이드 함수 계층을 학습 데이터로 학습시키는 단계를 더 포함한다.
일 실시예에서, 상기 학습 데이터는 고객에 대한 실시간 프로그램 시청 시퀀스 정보를 포함하고, 상기 입력 계층, 상기 심층 신경망 계층 및 상기 시그모이드 함수 계층은 복수의 입력 노드 및 복수의 출력 노드를 포함하고, 상기 입력 노드들과 상기 출력 노드들 간에는 가중치들이 설정되어 있으며, 상기 입력 계층, 상기 심층 신경망 계층 및 상기 시그모이드 함수 계층을 학습 데이터로 학습시키는 단계는, 상기 실시간 프로그램 시퀀스 정보 및 상기 실시간 프로그램 시퀀스 정보에 포함된 프로그램들 중 어느 하나의 프로그램 ID를 상기 입력 계층으로 입력시켰을 때 상기 시그모이드 함수 계층으로부터 출력되는 시청 확률값이 선정된 임계값 이상이 되도록 상기 가중치들을 변경하는 단계를 포함한다.
일 실시예에서, 상기 복수의 출력 값을 시그모이드 함수 계층(Sigmoid Function Layer)으로 입력하여 상기 해당 프로그램에 대한 시청 확률값을 제공하는 단계는, 상기 복수의 출력값에 시그모이드 함수(Sigmoid Function)를 적용해서 상기 시청 확률값을 제공하는 단계를 포함한다.
일 실시예에서, 상기 시청 확률값들에 기초하여 상기 특정 고객에게 상기 복수의 프로그램 중 적어도 하나의 프로그램을 추천하는 것으로 결정하는 단계는, 상기 시청 확률값들 중 가장 큰 시청 확률값을 식별하는 단계, 상기 식별된 가장 큰 시청 확률값을 제공하기 위해 상기 심층 학습 모듈로 입력된 프로그램에 관한 정보에 해당하는 프로그램을 식별하는 단계, 및 상기 특정 고객에게 상기 식별된 프로그램을 추천하는 것으로 결정하는 단계를 포함한다.
일 실시예에서, 상기 시청 확률값들에 기초하여 상기 특정 고객에게 상기 복수의 프로그램 중 적어도 하나의 프로그램을 추천하는 것으로 결정하는 단계는, 상기 시청 확률값들 중 선정된 개수의 가장 큰 시청 확률값들을 식별하는 단계, 상기 식별된 선정된 개수의 가장 큰 시청 확률값들을 제공하기 위해 상기 심층 학습 모듈로 각각 입력된 프로그램에 관한 정보에 해당하는 프로그램들을 식별하는 단계, 및 상기 특정 고객에게 상기 식별된 프로그램들을 추천하는 것으로 결정하는 단계를 포함한다.
일 실시예에서, 상기 시청 확률값들에 기초하여 상기 특정 고객에게 상기 복수의 프로그램 중 적어도 하나의 프로그램을 추천하는 것으로 결정하는 단계는, 상기 시청 확률값들 중 선정된 임계값 이상인 적어도 하나의 시청 확률값을 식별하는 단계, 상기 식별된 적어도 하나의 시청 확률값을 제공하기 위해 상기 심층 학습 모듈로 입력된 프로그램에 관한 정보에 해당하는 적어도 하나의 프로그램을 식별하는 단계, 및 상기 특정 고객에게 상기 식별된 적어도 하나의 프로그램을 추천하는 것으로 결정하는 단계를 포함한다.
다른 측면에서, 심층 학습에 기반한 실시간 프로그램 추천을 위한 장치가 제공된다. 본 장치는, 특정 고객의 고객 정보 및 복수의 프로그램에 관한 정보를 저장하는 데이터베이스부 - 상기 특정 고객의 고객 정보는 실시간 프로그램 시청 시퀀스 정보를 포함하고, 상기 복수의 프로그램은 상기 특정 고객이 현재 시청하고 있는 채널 이외의 채널들에서 현재 방영되고 있는 프로그램들임 -, 및 상기 특정 고객의 고객 정보 및 상기 복수의 프로그램에 관한 정보를 기초로 상기 복수의 프로그램의 각각에 대한 시청 확률값을 제공하고 - 상기 시청 확률값은 상기 특정 고객이 상기 해당 프로그램을 시청할 확률을 나타냄 -, 상기 시청 확률값들에 기초하여 상기 특정 고객에게 상기 복수의 프로그램 중 적어도 하나의 프로그램을 추천하는 것으로 결정하도록 구성된 프로세싱 엔진을 포함할 수 있다.
일 실시예에서, 상기 실시간 프로그램 시청 시퀀스 정보는 상기 특정 고객이 시청한 적어도 하나의 프로그램 및 그 시청 순서에 관한 정보이다.
일 실시예에서, 상기 특정 고객의 고객 정보는 상기 특정 고객의 고객 ID 및 상기 특정 고객의 프로필 정보를 더 포함한다.
일 실시예에서, 상기 특정 고객의 프로필 정보는 상기 특정 고객의 가입 정보, 상기 특정 고객의 나이에 관한 정보 및 상기 특정 고객의 성별에 관한 정보를 포함한다.
일 실시예에서, 상기 복수의 프로그램에 관한 정보는 상기 복수의 프로그램의 프로그램 ID들을 포함한다.
일 실시예에서, 상기 복수의 프로그램에 관한 정보는 상기 복수의 프로그램의 프로그램 메타 정보를 더 포함한다.
일 실시예에서, 상기 프로세싱 엔진은 심층 학습 모듈을 구현하며, 상기 프로세싱 엔진은 상기 특정 고객의 고객 정보 및 상기 복수의 프로그램의 각각에 관한 정보를 심층 학습 모듈로 입력함으로써 상기 해당 프로그램에 대한 시청 확률값을 제공하도록 더 구성된다.
일 실시예에서, 상기 프로세싱 엔진은 입력 계층, 심층 신경망 계층 및 시그모이드 함수 계층을 포함하는 심층 학습 모듈을 구현하며, 상기 프로세싱 엔진은, 상기 특정 고객의 고객 정보 및 상기 복수의 프로그램의 각각에 관한 정보를 입력 계층으로 입력하여 임베딩 처리를 수행함으로써 입력 벡터들을 출력하고, 상기 입력 벡터들을 심층 신경망 계층으로 입력하여 복수의 출력 값을 제공하고, 상기 복수의 출력 값을 시그모이드 함수 계층으로 입력하여 상기 해당 프로그램에 대한 시청 확률값을 제공하도록 더 구성된다.
일 실시예에서, 상기 입력 계층은, 상기 실시간 프로그램 시청 시퀀스 정보에 임베딩 함수를 적용하여 실시간 채널 시청 패턴 특징 벡터를 출력하도록 구성된다.
일 실시예에서, 상기 입력 계층은, 상기 특정 고객의 고객 ID, 상기 특정 고객의 프로필 정보, 상기 복수의 프로그램의 각각의 프로그램의 ID 및 상기 해당 프로그램의 프로그램 메타 정보에 임베딩 함수들을 각각 적용하도록 더 구성된다.
일 실시예에서, 상기 프로세싱 엔진은 상기 입력 계층, 상기 심층 신경망 계층 및 상기 시그모이드 함수 계층을 학습 데이터로 학습시키도록 더 구성된다.
일 실시예에서, 상기 학습 데이터는 고객에 대한 실시간 프로그램 시청 시퀀스 정보를 포함하고, 상기 입력 계층, 상기 심층 신경망 계층 및 상기 시그모이드 함수 계층은 복수의 입력 노드 및 복수의 출력 노드를 포함하고, 상기 입력 노드들과 상기 출력 노드들 간에는 가중치들이 설정되어 있으며, 상기 프로세싱 엔진은, 상기 실시간 프로그램 시퀀스 정보 및 상기 실시간 프로그램 시퀀스 정보에 포함된 프로그램들 중 어느 하나의 프로그램 ID를 상기 입력 계층으로 입력시켰을 때 상기 시그모이드 함수 계층으로부터 출력되는 시청 확률값이 선정된 임계값 이상이 되도록 상기 가중치들을 변경하도록 더 구성된다.
일 실시예에서, 상기 시그모이드 함수 계층은, 상기 복수의 출력값에 시그모이드 함수를 적용해서 상기 시청 확률값을 제공하도록 더 구성된다.
일 실시예에서, 상기 프로세싱 엔진은, 상기 시청 확률값들 중 가장 큰 시청 확률값을 식별하고, 상기 식별된 가장 큰 시청 확률값을 제공하기 위해 상기 심층 학습 모듈로 입력된 프로그램에 관한 정보에 해당하는 프로그램을 식별하고, 상기 특정 고객에게 상기 식별된 프로그램을 추천하는 것으로 결정하도록 더 구성된다.
일 실시예에서, 상기 프로세싱 엔진은, 상기 시청 확률값들 중 선정된 개수의 가장 큰 시청 확률값들을 식별하고, 상기 식별된 선정된 개수의 가장 큰 시청 확률값들을 제공하기 위해 상기 심층 학습 모듈로 각각 입력된 프로그램에 관한 정보에 해당하는 프로그램들을 식별하고, 상기 특정 고객에게 상기 식별된 프로그램들을 추천하는 것으로 결정하도록 더 구성된다.
일 실시예에서, 상기 프로세싱 엔진은, 상기 시청 확률값들 중 선정된 임계값 이상인 적어도 하나의 시청 확률값을 식별하고, 상기 식별된 적어도 하나의 시청 확률값을 제공하기 위해 상기 심층 학습 모듈로 입력된 프로그램에 관한 정보에 해당하는 적어도 하나의 프로그램을 식별하고, 상기 특정 고객에게 상기 식별된 적어도 하나의 프로그램을 추천하는 것으로 결정하도록 더 구성된다.
또 다른 측면에서, 프로그램을 기록한 컴퓨터 판독가능 기록매체가 제공된다. 여기서 상기 프로그램은 명령어들을 포함하고, 상기 명령어들은 컴퓨터에 의해 실행될 때 상기 방법을 수행한다.
본 발명의 실시예들에 따르면, 고객 개개인의 실시간 시청 이력에 관한 정보를 바탕으로 고객 개개인 별로 선호할 만한 채널/프로그램을 실시간으로 예측하여 추천함으로써 고객 서비스 만족도를 제고할 수 있는 기술적 효과가 있다.
도 1은 심층 학습(Deep Learning)에 기반한 실시간 프로그램 추천을 위한 장치의 블록도의 일 실시예를 도시한 도면이다.
도 2는 실시간 프로그램 시청 시퀀스 정보에 임베딩 함수를 적용하는 동작을 설명하기 위한 도면이다.
도 3은 심층 학습에 기반한 실시간 프로그램 추천 방법을 설명하기 위한 흐름도의 일 실시예를 도시한 도면이다.
도 2는 실시간 프로그램 시청 시퀀스 정보에 임베딩 함수를 적용하는 동작을 설명하기 위한 도면이다.
도 3은 심층 학습에 기반한 실시간 프로그램 추천 방법을 설명하기 위한 흐름도의 일 실시예를 도시한 도면이다.
본 발명의 이점들과 특징들 그리고 이들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해 질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 실시예들은 단지 본 발명의 개시가 완전하도록 하며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려 주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로 본 발명을 한정하려는 의도에서 사용된 것이 아니다. 예를 들어, 단수로 표현된 구성 요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성 요소를 포함하는 개념으로 이해되어야 한다. 또한, 본 발명의 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성이 배제되는 것은 아니다. 또한, 본 명세서에 기재된 실시예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미할 수 있다.
덧붙여, 다르게 정의되지 않는 한 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 발명의 명세서에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세히 설명한다. 다만, 이하의 설명에서는 본 발명의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.
도 1은 심층 학습(Deep Learning)에 기반한 실시간 프로그램 추천을 위한 장치의 블록도의 일 실시예를 도시한 도면이다.
도 1의 실시간 프로그램 추천을 위한 장치(100)는 IPTV 서비스 사업자가 운용하는, 하나 이상의 위치에 설치되는 하나 이상의 서버 컴퓨터에서 실행되는 컴퓨터 프로그램들로서 구현되는 시스템의 일 예일 수 있다. 도 1에 도시된 바와 같이, 장치(100)는 데이터베이스부(110)를 포함할 수 있다. 데이터베이스부(110)는 고객 정보를 저장할 수 있다. 고객 정보는 복수의 고객의 ID들(Identifications), 복수의 고객의 각각의 프로필 정보 및 복수의 고객의 각각에 대한 실시간 프로그램 시청 시퀀스 정보를 포함할 수 있다. 복수의 고객의 각각의 프로필 정보는 해당 고객의 가입 정보, 해당 고객의 나이에 관한 정보 및 해당 고객의 성별에 관한 정보를 포함할 수 있다. 고객의 가입 정보는 보급형 채널 상품, CJ 채널 상품, 아이들나라 상품, 실시간 채널 S 요금제 상품 등과 같은 해당 고객이 가입한 가입 상품에 관한 정보일 수 있다. 복수의 고객의 각각에 대한 실시간 프로그램 시청 시퀀스 정보는 해당 고객이 시청한 적어도 하나의 프로그램 및 그 시청 순서에 관한 정보일 수 있다. 예컨대 고객 A가 2020년 3월 3일에 채널 5에서 프로그램 a를 보고, 채널 17에서 프로그램 c를 보고, 채널 30에서 프로그램 k를 보고, 채널 54에서 프로그램 f를 본 경우, 고객 A에 대한 실시간 프로그램 시청 시퀀스 정보는 채널 5의 프로그램 a, 채널 17의 프로그램 c, 채널 30의 프로그램 k 및 채널 54의 프로그램 f를 순서대로 지정하는 정보일 수 있다. 여기서 채널 5의 프로그램 a, 채널 17의 프로그램 c, 채널 30의 프로그램 k 및 채널 54의 프로그램 f와 같은 각각의 채널의 프로그램들은 그 고유의 IDs(Identifications)에 의해 각각 식별될 수 있다. 각각의 고객에 대한 실시간 프로그램 시청 시퀀스 정보는 일 단위로, 주 단위로 또는 임의의 주기마다 업데이트되어 데이터베이스부(110)에 저장될 수 있으나, 실시간 프로그램 시청 시퀀스 정보가 업데이트되어 저장되는 방식이 이에 제한되는 것이 아님을 인식하여야 한다. 이상으로 설명한 고객 정보는 고객측에 설치된 셋탑박스(Set-top Box)와 인터넷(Internet)과 같은 통신망을 통해 통신하면서 고객의 요청을 수신하고 이에 응답하여 IPTV 서비스를 제공하는 서비스 제공 서버로부터 다양한 방식으로 획득하는 것이 가능하나, 고객 정보를 획득하는 방식이 이에 제한되는 것이 아님을 인식하여야 한다. 데이터베이스부(110)는, 유성방송 서비스 제공 사업자들에 의해 제공되는 방송 프로그램들 관한 정보를 더 저장할 수 있다. 데이터베이스부(110)는, 예컨대 채널 1의 프로그램 1 내지 프로그램 22, 채널 2의 프로그램 1 내지 프로그램 17, 채널 3의 프로그램 1 내지 프로그램 19 등과 같이, 유선방송 서비스 제공 사업자들에 의해 운용되는 채널들에서 제공되는 모든 프로그램들에 할당된 ID들을 저장할 수 있다. 데이터베이스부(110)는 이들 프로그램의 프로그램 메타 정보(program meta information)를 해당 프로그램들의 ID들과 각각 연관시켜 저장할 수 있다. 프로그램 메타 정보는 해당 프로그램의 키워드, 분위기, 장르, 소재, 줄거리, 배우, 감독 등에 관한 정보를 포함할 수 있다. 장치(100)는 현재 IPTV를 시청 중인 고객들의 각각이 현재 시청하고 있는 채널/프로그램에 관한 정보를, 예컨대 IPTV 서비스 사업자의 서비스 제공 서버로부터 실시간으로 제공받을 수 있는데, 이러한 정보 또한 데이터베이스부(110)에 저장될 수 있다. 일 실시예에서, 데이터베이스부(110)는 유선방송 서비스 제공 사업자들에 의해 운용되는 채널들에서 제공되는 프로그램들의 각각의 시작 시간과 종료 시간에 관한 정보를 더 저장할 수 있다.
데이터베이스부(110)는, 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드(MultiMedia Card: MMC), 카드 타입의 메모리(예를 들어, SD(Secure Digital) 카드 또는 XD(eXtream Digital) 카드 등), RAM(Random Access Memory), SRAM(Static Random Access Memory), ROM(Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크 및 광 디스크 중 어느 하나의 저장 매체로 구현될 수 있으나, 당업자라면 데이터베이스부(110)의 구현 형태가 이에 한정되는 것이 아님을 알 수 있을 것이다.
장치(100)는 데이터베이스부(110)에 통신가능한 방식으로 결합된 프로세싱 엔진(processing engine, 120)을 더 포함할 수 있다. 프로세싱 엔진(120)은 입력 계층(Input Layer, 133), 심층 신경망(Deep Neural Network: DNN) 계층(135) 및 시그모이드 함수 계층(Sigmoid Function Layer, 137)을 포함하는 심층 학습 모듈(Deep Learning Module, 130)을 구현하도록 설계될 수 있다. 심층 학습 모듈(130)은 감독 학습(supervised learning), 준감독 학습(semi-supervised learning) 및 무감독 학습(unsupervised learning) 중 어느 하나의 방식으로 기계 학습의 일종인 심층 학습을 수행하도록 구현될 수 있다. 프로세싱 엔진(120)은 데이터베이스부(110)로부터 특정 고객의 고객 정보를 검색하여 심층 학습 모듈(130)로 입력되게 하도록 작동될 수 있다. 프로세싱 엔진(120)은 데이터베이스부(110)로부터 복수의 프로그램에 관한 정보를 검색하여 특정 고객의 고객 정보와 함께 심층 학습 모듈(130)로 차례로 입력되게 하도록 더 작동될 수 있다. 특정 고객의 고객 정보는 해당 고객의 ID 및 해당 고객에 대한 실시간 프로그램 시청 시퀀스 정보를 포함할 수 있다. 일 실시예에서, 특정 고객의 고객 정보는 해당 고객의 가입 정보, 나이에 관한 정보 및/또는 성별에 관한 정보를 포함하는 해당 고객의 프로필 정보를 더 포함할 수 있다. 검색된 복수의 프로그램은 특정 고객이 현재 시청하고 있는 채널 이외의 채널들에서 현재 방영되고 있는 프로그램들일 수 있다. 일 실시예에서, 프로세싱 엔진(120)은 특정 고객이 현재 시청하고 있는 채널/프로그램에 관한 정보를 데이터베이스부(110)로부터 검색하여 식별하고, 현재 시간과 데이터베이스부(110)에 저장된 프로그램들 각각의 시작 시간과 종료 시간에 관한 정보를 바탕으로 식별된 채널/프로그램 이외의 채널들에서 현재 방영되고 있는 프로그램들에 관한 정보를 다시 데이터베이스부(110)로부터 검색하여 복수의 프로그램에 관한 정보로서 제공하도록 구성될 수 있다. 일 실시예에서, 프로세싱 엔진(120)은 복수의 프로그램 중 하나씩의 프로그램에 관한 정보를 차례대로 데이터베이스부(110)로부터 검색하여 제공하도록 구성될 수 있다. 복수의 프로그램의 각각은 특정 고객이 IPTV의 채널을 돌려 시청할 가능성이 있는지를 예측해 보고자 하는 대상이 되는 프로그램으로서, 해당 프로그램에 대한 정보는 그 ID 및/또는 프로그램 메타 정보를 포함할 수 있다.
프로세싱 엔진(120)은 전술한 복수의 프로그램의 하나씩에 관한 정보가 특정 고객의 고객 정보와 함께 심층 학습 모듈(130)로 입력되도록 함으로써 해당 프로그램에 대한 시청 확률값이 제공되도록 작동될 수 있다. 예컨대 복수의 프로그램의 개수가 2,000개인 경우, 프로세싱 엔진(120)은 고객 정보와 프로그램에 관한 정보가 심층 학습 모듈(130)로 2,000번 입력되도록 함으로써 2,000개의 시청 확률값이 출력되도록 할 수 있다. 여기서 시청 확률값은 특정 고객이 IPTV의 채널을 돌려 해당 프로그램을 시청할 확률을 나타낸다. 예컨대, 프로그램 21에 관한 정보가 심층 학습 모듈(130)로 입력되는 경우, 심층 학습 모듈(130)로부터 출력되는 시청 확률값은 프로그램 21에 대한 시청 확률값, 즉 특정 고객이 IPTV의 채널을 돌려 프로그램 21을 시청할 확률을 나타낸다.
심층 학습 모듈(130)의 입력 계층(133)은 특정 고객의 고객 정보 및 프로그램에 관한 정보를 포함하는 입력 정보를 임베딩(embedding) 처리하여 입력 벡터들을 출력하도록 구성될 수 있다. 일 실시예에서, 입력 계층(130)은 입력 정보에 임베딩 함수들(embedding functions)을 적용하도록 구성될 수 있다. 일 실시예에서, 입력 정보에 임베딩 함수들을 적용하는 동작은, 예컨대 룩업데이블(lookup table)을 이용하여 입력 정보를 인코딩하는 동작을 수반할 수 있다. 일 실시예에서, 입력 정보에 임베딩 함수들을 적용하는 동작은 입력 정보에 가중치(weight)를 적용하는 동작을 더 수반할 수 있다. 입력 정보에 임베딩 함수를 적용하는 예로서 실시간 프로그램 시청 시퀀스 정보에 임베딩 함수를 적용하는 동작을 도 2를 참조하여 설명하면 다음과 같다. 이하의 설명에서 실시간 프로그램 시청 시퀀스 정보에는 t개의 프로그램에 관한 정보가 포함된다고 가정한다. 도 2를 참조하면 h0로부터 ht까지의 (t+1)개의 노드가 도시되어 있다. 노드 h0는 시작 노드로서 초기 값(i)을 출력한다. 노드 ht에는 그 전의 노드인 ht-1이 접속되고 그 접속 경로에는 벡터인 가중치(wh(t-1))가 적용된다. 예컨대 노드 h2에는 노드 h1이 접속되고 그 접속 경로에는 가중치 wh1이 적용된다. 노드 ht에는 또한 프로그램 t에 관한 정보를 인코딩한 벡터 E[프로그램 t]에 벡터인 가중치(wet)가 적용되어 입력된다. 일 실시예에서, 프로그램 t에 관한 정보를 인코딩한 벡터 E[프로그램 t]는 프로그램 t의 ID의 2진 표현값이다. 노드 h1 및 노드 h2에서의 출력 O(h1) 및 O(h2)을 수식으로 나타내 보면 각각 아래 수학식 1 및 수학식 2와 같다.
여기서, 연산자(·) 및 연산자(+)는 벡터곱(vector product) 및 벡터합(vector sum)을 나타낸다.
마찬가지로 노드 ht에서의 출력 O(ht)를 수식으로 일반화해서 나타내면 아래의 수학식 3과 같다.
수학식 3에 의해 표현되는 최종 출력인 O(ht)는 입력 계층(133)에서 출력하는 하나의 입력 벡터로서, 본 명세서에서는 '실시간 채널 시청 패턴 특징 벡터'로 칭하기로 한다. 실시간 채널 시청 패턴 특징 벡터는 고객의 채널 시청 패턴을 특징화하여 생성한 벡터로서, 고객이 채널을 돌려가면서 시청한 프로그램들 및 그 순서에 관한 정보를 함축적으로 내포한 것이라 할 수 있다. 이상에서는 실시간 프로그램 시청 시퀀스 정보에 임베딩 함수를 적용하는 동작을 예로 들어 설명하였으나, 고객 ID, 고객의 프로필 정보, 프로그램의 ID 및 프로그램 메타 정보에도 유사한 방식으로 임베딩 함수들을 적용하는 것이 가능하다.
심층 학습 모듈(130)의 심층 신경망 계층(135)은 복수의 은닉층(hidden layers)을 포함할 수 있다. 복수의 은닉층의 각각은 복수의 노드(nodes)를 포함할 수 있다. 최하위 은닉층에서의 노드들은 입력 계층(133)으로부터 출력되는 입력 벡터들을 수신하도록 구현될 수 있다. 상대적으로 하위에 있는 은닉층의 노드들에서의 값들은 상대적으로 상위에 있는 은닉층의 노드들로 가중치들이 적용되어 전달될 수 있다. 심층 신경망 계층(135)은 입력 벡터들을 입력으로 하여 복수의 은닉층에서의 비선형적 연산 처리에 의해 입력 정보의 대안적 표현값들(alternative representations)인 복수의 출력 값을 제공하도록 구성될 수 있다.
심층 학습 모듈(130)의 시그모이드 함수 계층(137)은 심층 신경망 계층(135)으로부터 출력되는 복수의 출력 값에 기초하여 대상 프로그램에 대한 시청 확률값을 제공하도록 구성될 수 있다. 일 실시예에서, 시그모이드 함수 계층(137)은 복수의 출력 값에 시그모이드 함수(Sigmoid Function)를 적용해서 시청 확률값을 제공하도록 구성될 수 있다. 시그모이드 함수 계층(137)은 심층 신경망 계층(135)의 복수의 출력 노드에 가중치들이 각각 적용되어 연결된 노드를 포함할 수 있다. 이 노드에서는 시청 확률값이 제공되고, 시청 확률값은 0 이상이고 1 이하인 값일 수 있다.
이상의 설명에서는 프로세싱 엔진(120)이 데이터베이스부(110)로부터 특정 고객의 고객 정보 및 시청 확률값 산출 대상의 프로그램에 관한 정보를 검색하여 심층 학습 모듈(130)로 입력되게 함으로써 대상 프로그램에 대한 시청 확률값을 계산하는 것으로 설명하였으나, 심층 학습 모듈(130)이 유의미한 결과를 출력하도록 하기 위해서는 심층 학습 모듈(130)이 학습되어야 할 필요가 있다. 프로세싱 엔진(120)은 학습 데이터를 이용하여 심층 학습 모듈(130)을 학습시키도록 더 구성될 수 있다. 학습 데이터는 고객에 대한 실시간 프로그램 시청 시퀀스 정보를 포함할 수 있다. 학습 데이터는 고객의 ID, 고객에 대한 실시간 프로그램 시퀀스 정보에 포함된 프로그램들의 ID들 및 해당 프로그램들의 메타 정보를 더 포함할 수 있다. 학습 데이터는 고객의 프로필 정보를 더 포함할 수 있다. 프로세싱 엔진(120)은 실시간 프로그램 시퀀스 정보 및 실시간 프로그램 시퀀스 정보에 포함된 프로그램들 중 어느 하나의 프로그램 ID를 입력 계층(133)으로 입력시켰을 때 시그모이드 함수 계층(137)으로부터 출력되는 시청 확률값이 선정된 임계값 이상이 되도록 입력 계층(133), 심층 신경망 계층(135) 및 시그모이드 함수 계층(137)에서의 가중치들을 변경하는 방식으로 심층 학습 모듈(130)을 학습시키도록 구성될 수 있다. 프로세싱 엔진(120)은 심층 학습 모듈(130)이 보다 정확한 결과를 출력할 수 있도록 복수의 고객에 대한 고객 정보를 이용하여 심층 학습 모듈(130)을 복수 회 학습시키도록 더 구성될 수 있다.
프로세싱 엔진(120)은 심층 학습 모듈(130)에 통신가능한 방식으로 결합된 추천 대상 프로그램 결정 모듈(140)을 구현하도록 더 설계될 수 있다. 추천 대상 프로그램 결정 모듈(140)은 복수의 프로그램에 대한 시청 확률값들에 기초하여 특정 고객에게 복수의 프로그램 중 적어도 하나의 프로그램을 추천하는 것으로 결정하도록 구성될 수 있다. 일 실시예에서, 추천 대상 프로그램 결정 모듈(140)은 시청 확률값들 중 가장 큰 시청 확률값을 식별하고, 식별된 가장 큰 시청 확률값을 제공하기 위해 심층 학습 모듈(130)로 입력된 프로그램에 관한 정보에 해당하는 프로그램을 식별하고, 특정 고객에게 식별된 프로그램을 추천하는 것으로 결정하도록 구성된다. 가장 큰 시청 확률값에 대응하는 프로그램을 고객에게 추천하는 것으로 결정하는 이유는 시청 확률값이 클수록 특정 고객이 채널을 변경하면서까지 해당 프로그램을 시청할 가능성이 그 만큼 커지기 때문이다. 일 실시예에서, 추천 대상 프로그램 결정 모듈(140)은 시청 확률값들 중 선정된 개수의 가장 큰 시청 확률값들을 식별하고, 식별된 선정된 개수의 가장 큰 시청 확률값들을 제공하기 위해 심층 학습 모듈(130)로 각각 입력된 프로그램에 관한 정보에 해당하는 프로그램들을 식별하고, 특정 고객에게 식별된 프로그램들을 추천하는 것으로 결정하도록 구성된다. 일 실시예에서, 추천 대상 프로그램 결정 모듈(140)은 시청 확률값들 중 선정된 임계값 이상인 적어도 하나의 시청 확률값을 식별하고, 식별된 적어도 하나의 시청 확률값을 제공하기 위해 심층 학습 모듈(130)로 입력된 프로그램에 관한 정보에 해당하는 적어도 하나의 프로그램을 식별하고, 특정 고객에게 식별된 적어도 하나의 프로그램을 추천하는 것으로 결정하도록 구성된다.
프로세싱 엔진(120)은, 응용 주문형 집적 회로(Application Specific Integrated Circuits: ASICs), 디지털 신호 처리기(Digital Signal Processors: DSPs), 디지털 신호 처리 소자(Digital Signal Processing Devices: DSPDs), 프로그램 가능 논리 소자(Programmable Logic Devices: PLDs), 현장 프로그램 가능 게이트 어레이(Field-Programmable Gate Arrays: FPGAs), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers) 및 마이크로 프로세서(microprocessors) 중 적어도 하나에 기반한 하드웨어 플랫폼(hardware platform)으로서 구현될 수 있다. 프로세싱 엔진(120)은 또한 전술한 하드웨어 플랫폼 상에서 실행 가능한 펌웨어(firmware)/소프트웨어 모듈로 구현될 수 있다. 이 경우, 소프트웨어 모듈은 적절한 프로그램(program) 언어로 쓰여진 소프트웨어 애플리케이션(application)에 의해 구현될 수 있다.
도 3은 심층 학습에 기반한 실시간 프로그램 추천 방법을 설명하기 위한 흐름도의 일 실시예를 도시한 도면이다.
도 3에 도시된 바와 같이, 본 실시간 프로그램 추천 방법은 특정 고객의 고객 정보 및 복수의 프로그램에 관한 정보를 입력받는 단계(S305)로부터 시작된다. 특정 고객의 고객 정보는 특정 고객에 대한 실시간 프로그램 시청 시퀀스 정보를 포함할 수 있다. 특정 고객의 고객 정보는 특정 고객의 고객 ID 및/또는 특정 고객의 프로필 정보를 더 포함할 수 있다. 특정 고객의 프로필 정보는 특정 고객의 가입 정보, 특정 고객의 나이에 관한 정보 및/또는 특정 고객의 성별에 관한 정보를 포함할 수 있다. 복수의 프로그램은 특정 고객이 현재 시청하고 있는 채널 이외의 채널들에서 현재 방영되고 있는 프로그램들일 수 있다. 복수의 프로그램에 관한 정보는 복수의 프로그램의 ID들 및/또는 프로그램 메타 정보를 포함할 수 있다. 단계(S310)에서는 변수 N을 복수의 프로그램의 개수로 설정한다. 단계(S315)에서는 변수 i를 1로 설정한다. 단계(S320)에서는 특정 고객의 고객 정보 및 복수의 프로그램 중 i 번째 프로그램에 관한 정보를 심층 학습 모듈(130)로 입력하여 i 번째 프로그램에 대한 시청 확률값을 제공한다. 본 단계에서는 특정 고객의 고객 정보 및 i 번째 프로그램에 관한 정보를 입력 계층으로 입력하여 임베딩 처리를 수행함으로써 입력 벡터들을 출력하고, 입력 벡터들을 심층 신경망 계층으로 입력하여 복수의 출력 값을 제공하고, 복수의 출력 값을 시그모이드 함수 계층으로 입력하여 i 번째 프로그램에 대한 시청 확률값을 제공하는 동작을 실행할 수 있다. 단계(S325)에서는 변수 i를 1만큼 증가시킨다. 단계(S330)에서는 변수 i가 N 보다 큰지를 검사한다. 단계(S330)에서의 검사 결과 i가 N 보다 크지 않은 것으로 판단되는 경우 프로세스는 단계(S320)로 복귀하여 다음 프로그램에 대한 시청 확률값을 제공한다. 이런 식으로 루프를 돌면서 복수의 프로그램에 대한 시청 확률값들을 제공한다. 한편 단계(S330)에서의 검사 결과 i가 N 보다 큰 것으로 판단되는 경우 프로세스는 단계(S335)로 진행하여 복수의 프로그램에 대한 시청 확률값들에 기초하여 특정 고객에게 복수의 프로그램 중 적어도 하나의 프로그램을 추천하는 것으로 결정한다. 일 실시예에서, 본 단계에서는 시청 확률값들 중 가장 큰 시청 확률값을 식별하고, 식별된 가장 큰 시청 확률값을 제공하기 위해 심층 학습 모듈(130)로 입력된 프로그램에 관한 정보에 해당하는 프로그램을 식별하고, 특정 고객에게 식별된 프로그램을 추천하는 것으로 결정하는 동작을 실행할 수 있다. 일 실시예에서, 본 단계에서는 시청 확률값들 중 선정된 개수의 가장 큰 시청 확률값들을 식별하고, 식별된 선정된 개수의 가장 큰 시청 확률값들을 제공하기 위해 심층 학습 모듈(130)로 각각 입력된 프로그램에 관한 정보에 해당하는 프로그램들을 식별하고, 특정 고객에게 식별된 프로그램들을 추천하는 것으로 결정하는 동작을 실행할 수 있다. 일 실시예에서, 본 단계에서는 시청 확률값들 중 선정된 임계값 이상인 적어도 하나의 시청 확률값을 식별하고, 식별된 적어도 하나의 시청 확률값을 제공하기 위해 심층 학습 모듈(130)로 입력된 프로그램에 관한 정보에 해당하는 적어도 하나의 프로그램을 식별하고, 특정 고객에게 식별된 적어도 하나의 프로그램을 추천하는 것으로 결정하는 동작을 실행할 수 있다.
이상으로 설명한 방식에 따라 적어도 하나의 프로그램을 고객에게 추천하는 것으로 결정되면, 해당 프로그램의 ID가 IPTV 서비스 사업자의 서비스 제공 서버로 전달될 수 있다. 서비스 제공 서버는 추천되는 프로그램의 ID를 전달받으면 해당 프로그램을 추천하는 안내 메시지가 고객이 현재 시청 중인 프로그램의 장면들 상에 오버레이되는 방식으로 디스플레이될 수 있도록 고객이 시청 중인 프로그램의 데이터에 안내 메시지 데이터를 함께 실어 고객의 셋탑박스(set-top box)로 전송할 수 있다.
이상의 설명에 있어서 어떤 구성 요소가 다른 구성 요소에 접속되거나 결합된다는 기재의 의미는 당해 구성 요소가 그 다른 구성 요소에 직접적으로 접속되거나 결합된다는 의미뿐만 아니라 이들이 그 사이에 개재된 하나 또는 그 이상의 타 구성 요소를 통해 접속되거나 결합될 수 있다는 의미를 포함하는 것으로 이해되어야 한다. 이외에도 구성 요소들 간의 관계를 기술하기 위한 용어들(예컨대, '간에', '사이에' 등)도 유사한 의미로 해석되어야 한다.
본원에 개시된 실시예들에 있어서, 도시된 구성 요소들의 배치는 발명이 구현되는 환경 또는 요구 사항에 따라 달라질 수 있다. 예컨대, 일부 구성 요소가 생략되거나 몇몇 구성 요소들이 통합되어 하나로 실시될 수 있다. 또한 일부 구성 요소들의 배치 순서 및 연결이 변경될 수 있다.
이상에서는 본 발명의 다양한 실시예들에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예들에 한정되지 아니하며, 상술한 실시예들은 첨부하는 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양하게 변형 실시될 수 있음은 물론이고, 이러한 변형 실시예들이 본 발명의 기술적 사상이나 범위와 별개로 이해되어져서는 아니 될 것이다. 따라서, 본 발명의 기술적 범위는 오직 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.
100: 실시간 프로그램 추천을 위한 장치
110: 데이터베이스부
120: 프로세싱 엔진
130: 심층 학습 모듈
133: 입력 계층
135: 심층 신경망 계층
137: 시그모이드 함수 계층
140: 추천 대상 프로그램 결정 모듈
110: 데이터베이스부
120: 프로세싱 엔진
130: 심층 학습 모듈
133: 입력 계층
135: 심층 신경망 계층
137: 시그모이드 함수 계층
140: 추천 대상 프로그램 결정 모듈
Claims (33)
- 심층 학습(Deep Learning)에 기반한 실시간 프로그램 추천 방법으로서,
특정 고객의 고객 정보 및 복수의 프로그램에 관한 정보를 입력받는 단계 - 상기 특정 고객의 고객 정보는 실시간 프로그램 시청 시퀀스 정보를 포함하고, 상기 복수의 프로그램은 상기 특정 고객이 현재 시청하고 있는 채널 이외의 채널들에서 현재 방영되고 있는 프로그램들임 -,
상기 특정 고객의 고객 정보 및 상기 복수의 프로그램에 관한 정보를 기초로 상기 복수의 프로그램의 각각에 대한 시청 확률값을 제공하는 단계 - 상기 시청 확률값은 상기 특정 고객이 해당 프로그램을 시청할 확률을 나타냄 -, 및
상기 시청 확률값들에 기초하여 상기 특정 고객에게 상기 복수의 프로그램 중 적어도 하나의 프로그램을 추천하는 것으로 결정하는 단계를 포함하고,
상기 특정 고객의 고객 정보 및 상기 복수의 프로그램에 관한 정보를 기초로 상기 복수의 프로그램의 각각에 대한 시청 확률값을 제공하는 단계 - 상기 시청 확률값은 상기 특정 고객이 해당 프로그램을 시청할 확률을 나타냄 - 는,
상기 특정 고객의 고객 정보 및 상기 해당 프로그램에 관한 정보를 입력 계층으로 입력하여 임베딩(embedding) 처리를 수행함으로써 입력 벡터들을 출력하는 단계,
상기 입력 벡터들을 심층 신경망(Deep Neural Network: DNN) 계층으로 입력하여 복수의 출력 값을 제공하는 단계, 및
상기 복수의 출력 값을 시그모이드 함수 계층(Sigmoid Function Layer)으로 입력하여 상기 해당 프로그램에 대한 시청 확률값을 제공하는 단계를 포함하는, 실시간 프로그램 추천 방법.
- 제1항에 있어서,
상기 실시간 프로그램 시청 시퀀스 정보는 상기 특정 고객이 시청한 적어도 하나의 프로그램 및 그 시청 순서에 관한 정보인, 실시간 프로그램 추천 방법.
- 제1항에 있어서,
상기 특정 고객의 고객 정보는 상기 특정 고객의 고객 ID(Identification) 및 상기 특정 고객의 프로필 정보를 더 포함하는, 실시간 프로그램 추천 방법.
- 제3항에 있어서,
상기 특정 고객의 프로필 정보는 상기 특정 고객의 가입 정보, 상기 특정 고객의 나이에 관한 정보 및 상기 특정 고객의 성별에 관한 정보를 포함하는, 실시간 프로그램 추천 방법.
- 제1항에 있어서,
상기 복수의 프로그램에 관한 정보는 상기 복수의 프로그램의 프로그램 ID들을 포함하는, 실시간 프로그램 추천 방법.
- 제5항에 있어서,
상기 복수의 프로그램에 관한 정보는 상기 복수의 프로그램의 프로그램 메타 정보(program meta information)를 더 포함하는, 실시간 프로그램 추천 방법.
- 제1항에 있어서,
상기 특정 고객의 고객 정보 및 상기 복수의 프로그램에 관한 정보를 기초로 상기 복수의 프로그램의 각각에 대한 시청 확률값을 제공하는 단계 - 상기 시청 확률값은 상기 특정 고객이 해당 프로그램을 시청할 확률을 나타냄 - 는, 상기 특정 고객의 고객 정보 및 상기 해당 프로그램에 관한 정보를 심층 학습 모듈로 입력함으로써 상기 해당 프로그램에 대한 시청 확률값을 제공하는 단계를 포함하는, 실시간 프로그램 추천 방법.
- 삭제
- 제1항에 있어서,
상기 특정 고객의 고객 정보 및 상기 해당 프로그램에 관한 정보를 입력 계층으로 입력하여 임베딩(embedding) 처리를 수행함으로써 입력 벡터들을 출력하는 단계는, 상기 실시간 프로그램 시청 시퀀스 정보에 임베딩 함수(embedding function)를 적용하여 실시간 채널 시청 패턴 특징 벡터를 출력하는 단계를 포함하는, 실시간 프로그램 추천 방법.
- 제9항에 있어서,
상기 특정 고객의 고객 정보 및 상기 해당 프로그램에 관한 정보를 입력 계층으로 입력하여 임베딩(embedding) 처리를 수행함으로써 입력 벡터들을 출력하는 단계는, 상기 특정 고객의 고객 ID, 상기 특정 고객의 프로필 정보, 상기 해당 프로그램의 ID 및 상기 해당 프로그램의 프로그램 메타 정보에 임베딩 함수들을 각각 적용하는 단계를 포함하는, 실시간 프로그램 추천 방법.
- 제1항에 있어서,
상기 특정 고객의 고객 정보 및 복수의 프로그램에 관한 정보를 입력받는 단계 - 상기 특정 고객의 고객 정보는 실시간 프로그램 시청 시퀀스 정보를 포함하고, 상기 복수의 프로그램은 상기 특정 고객이 현재 시청하고 있는 채널 이외의 채널들에서 현재 방영되고 있는 프로그램들임 - 이전에, 상기 입력 계층, 상기 심층 신경망 계층 및 상기 시그모이드 함수 계층을 학습 데이터로 학습시키는 단계를 더 포함하는, 실시간 프로그램 추천 방법.
- 제11항에 있어서,
상기 학습 데이터는 고객에 대한 실시간 프로그램 시청 시퀀스 정보를 포함하고,
상기 입력 계층, 상기 심층 신경망 계층 및 상기 시그모이드 함수 계층은 복수의 입력 노드 및 복수의 출력 노드를 포함하고,
상기 입력 노드들과 상기 출력 노드들 간에는 가중치들이 설정되어 있으며,
상기 입력 계층, 상기 심층 신경망 계층 및 상기 시그모이드 함수 계층을 학습 데이터로 학습시키는 단계는, 상기 실시간 프로그램 시퀀스 정보 및 상기 실시간 프로그램 시퀀스 정보에 포함된 프로그램들 중 어느 하나의 프로그램 ID를 상기 입력 계층으로 입력시켰을 때 상기 시그모이드 함수 계층으로부터 출력되는 시청 확률값이 선정된 임계값 이상이 되도록 상기 가중치들을 변경하는 단계를 포함하는, 실시간 프로그램 추천 방법.
- 제1항에 있어서,
상기 복수의 출력 값을 시그모이드 함수 계층(Sigmoid Function Layer)으로 입력하여 상기 해당 프로그램에 대한 시청 확률값을 제공하는 단계는, 상기 복수의 출력값에 시그모이드 함수(Sigmoid Function)를 적용해서 상기 시청 확률값을 제공하는 단계를 포함하는, 실시간 프로그램 추천 방법.
- 제7항에 있어서,
상기 시청 확률값들에 기초하여 상기 특정 고객에게 상기 복수의 프로그램 중 적어도 하나의 프로그램을 추천하는 것으로 결정하는 단계는,
상기 시청 확률값들 중 가장 큰 시청 확률값을 식별하는 단계,
상기 식별된 가장 큰 시청 확률값을 제공하기 위해 상기 심층 학습 모듈로 입력된 프로그램에 관한 정보에 해당하는 프로그램을 식별하는 단계, 및
상기 특정 고객에게 상기 식별된 프로그램을 추천하는 것으로 결정하는 단계를 포함하는, 실시간 프로그램 추천 방법.
- 제7항에 있어서,
상기 시청 확률값들에 기초하여 상기 특정 고객에게 상기 복수의 프로그램 중 적어도 하나의 프로그램을 추천하는 것으로 결정하는 단계는,
상기 시청 확률값들 중 선정된 개수의 가장 큰 시청 확률값들을 식별하는 단계,
상기 식별된 선정된 개수의 가장 큰 시청 확률값들을 제공하기 위해 상기 심층 학습 모듈로 각각 입력된 프로그램에 관한 정보에 해당하는 프로그램들을 식별하는 단계, 및
상기 특정 고객에게 상기 식별된 프로그램들을 추천하는 것으로 결정하는 단계를 포함하는, 실시간 프로그램 추천 방법.
- 제7항에 있어서,
상기 시청 확률값들에 기초하여 상기 특정 고객에게 상기 복수의 프로그램 중 적어도 하나의 프로그램을 추천하는 것으로 결정하는 단계는,
상기 시청 확률값들 중 선정된 임계값 이상인 적어도 하나의 시청 확률값을 식별하는 단계,
상기 식별된 적어도 하나의 시청 확률값을 제공하기 위해 상기 심층 학습 모듈로 입력된 프로그램에 관한 정보에 해당하는 적어도 하나의 프로그램을 식별하는 단계, 및
상기 특정 고객에게 상기 식별된 적어도 하나의 프로그램을 추천하는 것으로 결정하는 단계를 포함하는, 실시간 프로그램 추천 방법.
- 심층 학습에 기반한 실시간 프로그램 추천을 위한 장치로서,
특정 고객의 고객 정보 및 복수의 프로그램에 관한 정보를 저장하는 데이터베이스부 - 상기 특정 고객의 고객 정보는 실시간 프로그램 시청 시퀀스 정보를 포함하고, 상기 복수의 프로그램은 상기 특정 고객이 현재 시청하고 있는 채널 이외의 채널들에서 현재 방영되고 있는 프로그램들임 -, 및
상기 특정 고객의 고객 정보 및 상기 복수의 프로그램에 관한 정보를 기초로 상기 복수의 프로그램의 각각에 대한 시청 확률값을 제공하고 - 상기 시청 확률값은 상기 특정 고객이 해당 프로그램을 시청할 확률을 나타냄 -, 상기 시청 확률값들에 기초하여 상기 특정 고객에게 상기 복수의 프로그램 중 적어도 하나의 프로그램을 추천하는 것으로 결정하도록 구성된 프로세싱 엔진을 포함하고,
상기 프로세싱 엔진은 입력 계층, 심층 신경망 계층 및 시그모이드 함수 계층을 포함하는 심층 학습 모듈을 구현하며,
상기 프로세싱 엔진은, 상기 특정 고객의 고객 정보 및 상기 복수의 프로그램의 각각에 관한 정보를 입력 계층으로 입력하여 임베딩 처리를 수행함으로써 입력 벡터들을 출력하고, 상기 입력 벡터들을 심층 신경망 계층으로 입력하여 복수의 출력 값을 제공하고, 상기 복수의 출력 값을 시그모이드 함수 계층으로 입력하여 상기 해당 프로그램에 대한 시청 확률값을 제공하도록 더 구성되는, 실시간 프로그램 추천 장치.
- 제17항에 있어서,
상기 실시간 프로그램 시청 시퀀스 정보는 상기 특정 고객이 시청한 적어도 하나의 프로그램 및 그 시청 순서에 관한 정보인, 실시간 프로그램 추천 장치.
- 제17항에 있어서,
상기 특정 고객의 고객 정보는 상기 특정 고객의 고객 ID 및 상기 특정 고객의 프로필 정보를 더 포함하는, 실시간 프로그램 추천 장치.
- 제19항에 있어서,
상기 특정 고객의 프로필 정보는 상기 특정 고객의 가입 정보, 상기 특정 고객의 나이에 관한 정보 및 상기 특정 고객의 성별에 관한 정보를 포함하는, 실시간 프로그램 추천 장치.
- 제17항에 있어서,
상기 복수의 프로그램에 관한 정보는 상기 복수의 프로그램의 프로그램 ID들을 포함하는, 실시간 프로그램 추천 장치.
- 제21항에 있어서,
상기 복수의 프로그램에 관한 정보는 상기 복수의 프로그램의 프로그램 메타 정보를 더 포함하는, 실시간 프로그램 추천 장치.
- 제17항에 있어서,
상기 프로세싱 엔진은 심층 학습 모듈을 구현하며, 상기 프로세싱 엔진은 상기 특정 고객의 고객 정보 및 상기 복수의 프로그램의 각각에 관한 정보를 심층 학습 모듈로 입력함으로써 상기 해당 프로그램에 대한 시청 확률값을 제공하도록 더 구성되는, 실시간 프로그램 추천 장치.
- 삭제
- 제17항에 있어서,
상기 입력 계층은, 상기 실시간 프로그램 시청 시퀀스 정보에 임베딩 함수를 적용하여 실시간 채널 시청 패턴 특징 벡터를 출력하도록 구성되는, 실시간 프로그램 추천 장치.
- 제25항에 있어서,
상기 입력 계층은, 상기 특정 고객의 고객 ID, 상기 특정 고객의 프로필 정보, 상기 복수의 프로그램의 각각의 프로그램의 ID 및 상기 해당 프로그램의 프로그램 메타 정보에 임베딩 함수들을 각각 적용하도록 더 구성되는, 실시간 프로그램 추천 장치.
- 제17항에 있어서,
상기 프로세싱 엔진은 상기 입력 계층, 상기 심층 신경망 계층 및 상기 시그모이드 함수 계층을 학습 데이터로 학습시키도록 더 구성되는, 실시간 프로그램 추천 장치.
- 제27항에 있어서,
상기 학습 데이터는 고객에 대한 실시간 프로그램 시청 시퀀스 정보를 포함하고,
상기 입력 계층, 상기 심층 신경망 계층 및 상기 시그모이드 함수 계층은 복수의 입력 노드 및 복수의 출력 노드를 포함하고,
상기 입력 노드들과 상기 출력 노드들 간에는 가중치들이 설정되어 있으며,
상기 프로세싱 엔진은, 상기 실시간 프로그램 시퀀스 정보 및 상기 실시간 프로그램 시퀀스 정보에 포함된 프로그램들 중 어느 하나의 프로그램 ID를 상기 입력 계층으로 입력시켰을 때 상기 시그모이드 함수 계층으로부터 출력되는 시청 확률값이 선정된 임계값 이상이 되도록 상기 가중치들을 변경하도록 더 구성되는, 실시간 프로그램 추천 장치.
- 제17항에 있어서,
상기 시그모이드 함수 계층은, 상기 복수의 출력값에 시그모이드 함수를 적용해서 상기 시청 확률값을 제공하도록 더 구성되는, 실시간 프로그램 추천 장치.
- 제23항에 있어서,
상기 프로세싱 엔진은, 상기 시청 확률값들 중 가장 큰 시청 확률값을 식별하고, 상기 식별된 가장 큰 시청 확률값을 제공하기 위해 상기 심층 학습 모듈로 입력된 프로그램에 관한 정보에 해당하는 프로그램을 식별하고, 상기 특정 고객에게 상기 식별된 프로그램을 추천하는 것으로 결정하도록 더 구성되는, 실시간 프로그램 추천 장치.
- 제23항에 있어서,
상기 프로세싱 엔진은, 상기 시청 확률값들 중 선정된 개수의 가장 큰 시청 확률값들을 식별하고, 상기 식별된 선정된 개수의 가장 큰 시청 확률값들을 제공하기 위해 상기 심층 학습 모듈로 각각 입력된 프로그램에 관한 정보에 해당하는 프로그램들을 식별하고, 상기 특정 고객에게 상기 식별된 프로그램들을 추천하는 것으로 결정하도록 더 구성되는, 실시간 프로그램 추천 장치.
- 제23항에 있어서,
상기 프로세싱 엔진은, 상기 시청 확률값들 중 선정된 임계값 이상인 적어도 하나의 시청 확률값을 식별하고, 상기 식별된 적어도 하나의 시청 확률값을 제공하기 위해 상기 심층 학습 모듈로 입력된 프로그램에 관한 정보에 해당하는 적어도 하나의 프로그램을 식별하고, 상기 특정 고객에게 상기 식별된 적어도 하나의 프로그램을 추천하는 것으로 결정하도록 더 구성되는, 실시간 프로그램 추천 장치.
- 프로그램을 기록한 컴퓨터 판독가능 기록매체로서, 상기 프로그램은 명령어들을 포함하고, 상기 명령어들은 컴퓨터에 의해 실행될 때 제1항 내지 제7항 및 제9항 내지 제16항 중 어느 하나의 항에 따른 방법을 수행하는, 컴퓨터 판독가능 기록매체.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200042085A KR102357360B1 (ko) | 2020-04-07 | 2020-04-07 | 심층 학습에 기반한 실시간 프로그램 추천 방법 및 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200042085A KR102357360B1 (ko) | 2020-04-07 | 2020-04-07 | 심층 학습에 기반한 실시간 프로그램 추천 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210124709A KR20210124709A (ko) | 2021-10-15 |
KR102357360B1 true KR102357360B1 (ko) | 2022-01-27 |
Family
ID=78150986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200042085A KR102357360B1 (ko) | 2020-04-07 | 2020-04-07 | 심층 학습에 기반한 실시간 프로그램 추천 방법 및 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102357360B1 (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102689093B1 (ko) * | 2021-11-19 | 2024-07-25 | 김혜진 | 영유아용 놀이 프로그램 제공 장치 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101624246B1 (ko) * | 2012-02-21 | 2016-05-25 | 우얄라, 인크. | 콘텐츠 자동 추천 |
KR102086604B1 (ko) | 2018-09-10 | 2020-03-09 | 서울대학교산학협력단 | 문맥 정보를 활용한 딥 러닝 기반의 대화체 문장 띄어쓰기 방법 및 시스템 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110070375A (ko) * | 2009-12-18 | 2011-06-24 | 주식회사 케이티 | 방송 프로그램 추천 방법 및 장치 |
KR20180121466A (ko) * | 2017-04-06 | 2018-11-07 | 네이버 주식회사 | 딥러닝을 활용한 개인화 상품 추천 |
-
2020
- 2020-04-07 KR KR1020200042085A patent/KR102357360B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101624246B1 (ko) * | 2012-02-21 | 2016-05-25 | 우얄라, 인크. | 콘텐츠 자동 추천 |
KR102086604B1 (ko) | 2018-09-10 | 2020-03-09 | 서울대학교산학협력단 | 문맥 정보를 활용한 딥 러닝 기반의 대화체 문장 띄어쓰기 방법 및 시스템 |
Also Published As
Publication number | Publication date |
---|---|
KR20210124709A (ko) | 2021-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9654825B2 (en) | Systems and methods for detecting inconsistent user actions and providing feedback | |
US11636335B2 (en) | System and method for content discovery | |
US20070288965A1 (en) | Recommended program information providing method and apparatus | |
CN109829064B (zh) | 媒体资源分享及播放方法和装置、存储介质及电子装置 | |
US8875186B2 (en) | Apparatus and method of providing a recommended broadcast program | |
US11153655B1 (en) | Content appeal prediction using machine learning | |
EP1488640A1 (en) | Recommendation system using a plurality of recommendation scores | |
US9866913B1 (en) | Binary TV | |
CN106471819B (zh) | 用于提高媒体资产推荐模型中的精确性的系统和方法 | |
CN109800328B (zh) | 视频推荐方法、其装置、信息处理设备及存储介质 | |
US12061634B2 (en) | Methods and systems for performing context maintenance on search queries in a conversational search environment | |
CN115066906A (zh) | 用于基于用户提供的标准进行推荐的方法和系统 | |
US10003836B2 (en) | Systems and methods for improving accuracy in media asset recommendation models based on users' levels of enjoyment with respect to media assets | |
CN112464100A (zh) | 信息推荐模型训练方法、信息推荐方法、装置及设备 | |
KR102357360B1 (ko) | 심층 학습에 기반한 실시간 프로그램 추천 방법 및 장치 | |
US20220295131A1 (en) | Systems, methods, and apparatuses for trick mode implementation | |
KR102342492B1 (ko) | 심층 학습에 기반한 컨텐츠 추천 방법 및 장치 | |
US20220417597A1 (en) | Systems and methods for increasing first user subscription | |
KR102330059B1 (ko) | 포스터 추천 방법 및 장치 | |
CN116361508A (zh) | 一种视频推荐方法及相关设备 | |
KR102361593B1 (ko) | 심층 학습에 기반한 추천 컨텐츠의 자동 재생 여부 판단 방법 및 장치 | |
KR102342485B1 (ko) | 심층 학습에 기반한 컨텐츠 추천 방법 및 장치 | |
KR102536499B1 (ko) | 심층 학습에 기반한 컨텐츠 추천 방법 및 장치 | |
KR102391644B1 (ko) | Vod 컨텐츠 추천 방법 및 장치 | |
KR102391640B1 (ko) | Vod 컨텐츠 추천 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |