KR20230034645A - 동영상 추천 장치의 제어방법, 이를 수행하기 위한 기록매체 및 장치 - Google Patents

동영상 추천 장치의 제어방법, 이를 수행하기 위한 기록매체 및 장치 Download PDF

Info

Publication number
KR20230034645A
KR20230034645A KR1020210117654A KR20210117654A KR20230034645A KR 20230034645 A KR20230034645 A KR 20230034645A KR 1020210117654 A KR1020210117654 A KR 1020210117654A KR 20210117654 A KR20210117654 A KR 20210117654A KR 20230034645 A KR20230034645 A KR 20230034645A
Authority
KR
South Korea
Prior art keywords
video
information
speaker
keyword
filtering box
Prior art date
Application number
KR1020210117654A
Other languages
English (en)
Other versions
KR102615379B1 (ko
Inventor
김명호
김영국
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020210117654A priority Critical patent/KR102615379B1/ko
Publication of KR20230034645A publication Critical patent/KR20230034645A/ko
Application granted granted Critical
Publication of KR102615379B1 publication Critical patent/KR102615379B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4826End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 출력하는 키워드 검색 모듈; 및 유사도를 측정하고, 인기도를 측정하며, 유사도와 인기도의 합이 높은 순서대로 동영상 목록을 나열하는 재정렬 모듈;을 포함하는 동영상 추천 장치를 제공한다.

Description

동영상 추천 장치의 제어방법, 이를 수행하기 위한 기록매체 및 장치{METHOD OF CONTROLLING VIDEO RECOMMENDATION APPARATUS, COMPUTER READABLE MEDIUM AND APPARATUS FOR PERFORMING THE METHOD}
본 발명은 동영상 추천 장치의 제어방법, 이를 수행하기 위한 기록매체 및 장치에 관한 것으로, 보다 상세하게는 사용자의 관심 키워드를 기초로 동영상을 추천하는 동영상 추천 장치의 제어방법, 이를 수행하기 위한 기록매체 및 장치에 관한 것이다.
초고속 이동통신과 스마트폰 보편화로 모바일 동영상 소비가 급격히 늘어나고 있다. 이를 통해 지상파 방송과 케이블방송, 위성방송, IPTV 등 기존 TV 기반의 방송 플랫폼 외에 웹, 모바일 상의 온라인 스트리밍 플랫폼인 OTT(Over-The-Top) 서비스의 확장으로 유통 창구가 다양해지면서 동영상 콘텐츠 및 이용에 대한 시청자 선택의 폭이 넓어졌다. 또한, 이들 OTT 사업자들은 자체 투자를 통해 오리지널 콘텐츠라 불리는 독점 콘텐츠들을 직접 제작, 서비스하면서 미디어 산업 생태계를 재정의하고 있다. 5세대(5G) 이동통신이 확산하면서 OTT 서비스의 수요는 더욱더 늘어날 것이 분명하다.
한편, 상술한 것과 같이 OTT 서비스가 확장되면서 소비자들이 지식을 습득하기 위하여 정보 검색을 할 때, OTT 서비스를 이용하는 경우가 증가하고 있다. 즉, OTT 시장의 규모가 커지면서 기존의 포털 검색 사이트 대신 OTT 서비스를 이용하여 지식을 검색하고 습득하는 소비자들이 증가하고 있는 추세이다.
현재, OTT 서비스는 화자 정보, 줄거리 등의 정보를 가진 동영상을 찾는 사용자가 검색어를 입력하고, 출력된 검색목록을 직접 분류하기 때문에 많은 시간과 비용이 발생할 수 있다. 또한, 동영상을 업로드하는 사람이 동영상에 출현하는 화자 정보, 동영상의 줄거리 정보 등을 일일이 태그 하여야만 검색목록에서 출력된다는 단점이 있다.
그 결과로 사용자가 습득하고자 하는 지식에 관한 관심 키워드를 입력하면, 입력된 관심 키워드와 관련된 동영상 및 정보가 태그 되지 않은 동영상을 추천하는 동영상 추천 장치가 요구되는 실정이다.
본 발명이 해결하고자 하는 기술적 과제는 사용자로부터 관심 키워드를 입력받고, 출력된 동영상 목록을 이용해 유사도와 인기도를 측정하여 출력된 동영상 목록을 재정렬하며, 사용자로부터 필터링 정보를 선택받아 이를 반영한 동영상을 추천하는 동영상 추천 장치의 제어방법, 이를 수행하기 위한 기록매체 및 장치를 제공하는 것이다.
본 발명의 일측면은, 사용자 관심 키워드를 기초로 동영상을 추천하는 동영상 추천 장치로서, 상기 사용자로부터 적어도 하나 이상의 관심 키워드가 입력되고, 상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 나열하는 키워드 검색 모듈; 및 상기 사용자로부터 입력된 관심 키워드와 상기 키워드 검색 모듈에 의해 나열된 동영상 목록을 이용하여 유사도를 측정하고, 상기 키워드 검색 모듈에 의해 나열된 동영상 목록을 이용하여 인기도를 측정하며, 상기 유사도와 상기 인기도의 합이 높은 순서대로 상기 동영상 목록을 재정렬하는 재정렬 모듈;을 포함할 수 있다.
또한, 적어도 하나 이상의 필터링 박스를 제공하되, 상기 사용자로부터 상기 적어도 하나 이상의 필터링 박스가 선택되면 상기 키워드 검색 모듈에 의해 나열된 상기 동영상 목록 중 상기 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록만을 나열하는 필터링 모듈;을 더 포함할 수 잇다.
또한, 사용자의 동영상 과거 시청 목록과 상기 동영상 목록을 이용하여 유사도를 측정하고, 상기 유사도가 높은 순서대로 상기 동영상 목록을 재나열하는 시청기록 반영 모듈;을 더 포함할 수 있다.
또한, 상기 재정렬 모듈은, 상기 관심 키워드와 상기 키워드 검색 모듈에 의해 출력된 동영상 목록의 동영상 제목 간의 코사인 유사도를 이용하여 유사도를 측정하는 것을 포함할 수 있다.
또한, 상기 재정렬 모듈은, 상기 동영상의 조회수, 좋아요 수, 싫어요 수 및 댓글 수를 이용하여 인기도를 측정하는 것을 포함할 수 있다.
또한, 상기 필터링 모듈은, 화자의 성별 정보, 화자의 나이 정보 및 화자의 방언 정보를 포함하고 있는 음성 데이터로 마련된 학습 데이터 셋으로부터 MFCC 특징벡터를 추출하는 특징벡터 추출부; 상기 추출된 MFCC 특징벡터를 기초로 상기 화자의 성별 정보, 화자의 나이 정보 및 화자의 방언 정보를 학습하는 학습부; 상기 사용자로부터 필터링 박스가 선택되도록 적어도 하나 이상의 필터링 박스를 제공하되, 화자의 성별 정보를 가진 필터링 박스, 화자의 나이 정보를 가진 필터링 박스 및 화자의 방언 정보를 가진 필터링 박스 중 적어도 하나 이상이 상기 사용자로부터 선택되는 필터링 박스 선택부; 및 상기 사용자로부터 상기 필터링 박스가 선택되면 상기 학습부에 의해 학습한 결과로서 상기 재정렬 모듈에 의해 재정렬된 상기 동영상 목록 중 상기 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록만을 나열하는 필터링부;를 포함할 수 있다.
본 발명의 다른 일측면은, 사용자 관심 키워드를 기초로 동영상을 추천하는 동영상 추천 장치의 제어방법으로서, 상기 사용자로부터 적어도 하나 이상의 관심 키워드가 입력되고, 상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 나열하며, 상기 사용자로부터 입력된 관심 키워드와 상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 이용하여 유사도를 측정하고, 상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 이용하여 인기도를 측정하며, 상기 유사도와 상기 인기도의 합이 높은 순서대로 상기 동영상 목록을 재정렬하는 것을 포함할 수 있다.
또한, 적어도 하나 이상의 필터링 박스를 제공하되, 상기 사용자로부터 상기 적어도 하나 이상의 필터링 박스가 선택되면 상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록 중 상기 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록만을 나열하는 것을 더 포함할 수 있다.
또한, 사용자의 동영상 과거 시청 목록과 상기 동영상 목록을 이용하여 유사도를 측정하고, 상기 유사도가 높은 순서대로 상기 동영상 목록을 재나열하는 것을 더 포함할 수 있다.
또한, 상기 사용자로부터 입력된 관심 키워드와 상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 이용하여 유사도를 측정하는 것은, 상기 관심 키워드와 상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록의 동영상 제목 간의 코사인 유사도를 이용하여 유사도를 측정하는 것을 포함할 수 있다.
또한, 상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록 중 상기 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록만을 나열하는 것은, 화자의 성별 정보, 화자의 나이 정보 및 화자의 방언 정보를 포함하고 있는 음성 데이터로 마련된 학습 데이터 셋으로부터 MFCC 특징벡터를 추출하고, 상기 추출된 MFCC 특징벡터를 기초로 상기 화자의 성별 정보, 상기 화자의 나이 정보 및 상기 화자의 방언 정보를 학습하며, 상기 사용자로부터 필터링 박스가 선택되도록 적어도 하나 이상의 필터링 박스를 제공하되, 화자의 성별 정보를 가진 필터링 박스, 화자의 나이 정보를 가진 필터링 박스 및 화자의 방언 정보를 가진 필터링 박스 중 적어도 하나 이상이 상기 사용자로부터 선택되고, 상기 사용자로부터 상기 필터링 박스가 선택되면 학습한 결과로서 상기 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록만을 나열하는 것을 포함할 수 있다.
본 발명의 또 다른 일측면은, 컴퓨터로 판독 가능한 저장 매체에는 동영상 추천 장치의 제어방법을 수행하기 위한 컴퓨터 프로그램이 기록될 수 있다.
상술한 본 발명의 일측면에 따르면, 키워드 검색 모듈을 제공함으로써, 사용자가 관심있는 키워드를 검색할 수 있는 효과가 있다.
상술한 본 발명의 일측면에 따르면, 재정렬 모듈을 제공함으로써, 키워드 검색 모듈에 의해 출력된 동영상 목록을 이용해 유사도와 인기도를 측정해 유사도와 인기도가 반영된 동영상을 재정렬하여 추천받을 수 있는 효과가 있다.
상술한 본 발명의 일측면에 따르면, 필터링 모듈을 제공함으로써, 사용자가 추천받고자 하는 동영상과 미추천 받고자 하는 동영상을 구분할 수 있는 효과가 있다.
도1은 본 발명의 일 실시예에 따른 동영상 추천 장치를 나타내는 개념도이다.
도2는 본 발명의 다른 실시예에 따른 동영상 추천 장치를 나타내는 개념도이다.
도3은 필터링 모듈을 나타내는 개념도이다.
도4a는 재정렬 모듈이 유사도를 측정한 결과를 나타낸 도면이고, 도4b는 재정렬 모듈이 인기도를 측정하기 위해 필요한 동영상 정보를 나타내는 도면이다.
도5a는 필터링 모듈의 필터링 박스를 나타내는 도면이고, 도5b는 필터링 모듈이 학습하는 과정을 나타내는 도면이다.
도6은 시청기록 반영 모듈이 유사도를 측정하기 위해 필요한 과거 시청 목록을 나타내는 도면이다.
도7은 본 발명의 일 실시예에 따른 동영상 추천 장치의 제어방법을 나타낸 순서도이다.
도8은 본 발명의 다른 실시예에 따른 동영상 추천 장치의 제어방법을 나타낸 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도1은 본 발명의 일 실시예에 따른 동영상 추천 장치를 나타내는 개념도이다.
동영상 추천 장치(1)는 키워드 검색 모듈(10), 재정렬 모듈(11), 필터링 모듈(12) 및 출력 모듈(14)을 포함할 수 있다.
동영상 추천 장치(1)는 사용자로부터 입력받는 사용자의 관심 키워드를 기초로 동영상을 추천하는 추천 장치일 수 있다.
키워드 검색 모듈(10)은 사용자로부터 적어도 하나 이상의 관심 키워드가 입력되고, 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 출력할 수 있다.
예를 들면, 관심 키워드는 '파이썬', '코딩', '파이썬 무료 기초 강의'등으로 구성되는 키워드 단어일 수 있다. 또한, '파이썬 무료 기초 강의 추천해주세요', '코딩 무료 기초 강의 추천해주세요'등과 같은 문장일 수 있다.
재정렬 모듈(11)은 사용자로부터 입력된 관심 키워드와 키워드 검색 모듈(10)에 의해 출력된 동영상 목록을 이용하여 유사도를 측정할 수 있고, 재정렬 모듈(11)은 키워드 검색 모듈(10)에 의해 출력된 동영상 목록을 이용하여 인기도를 측정할 수 있다. 재정렬 모듈(11)은 측정된 유사도와 인기도의 합이 높은 순서대로 동영상 목록을 재정렬해 출력할 수 있다. 이 때, 유사도 측정방법과 인기도 측정방법에 대한 설명은 도4a 내지 도4b에서 상세히 후술하도록 한다.
필터링 모듈(12)은 적어도 하나 이상의 필터링 박스를 제공할 수 있다. 사용자로부터 필터링 박스가 선택되면 재정렬 모듈(11)에 의해 출력된 동영상 목록 중 선택된 필터링 박스에 포함된 정보를 가진 동영상 목록만을 출력할 수 있다. 이 때, 필터링 박스는 성별 정보, 나이 정보, 방언 정보, 음성 속도 정보, 음성 높낮이 정보, 동영상의 폭력성 정보 및 동영상의 선정성 정보를 가진 필터링 박스일 수 있다. 필터링 박스에 관한 구체적인 설명은 도5a에서 상세히 후술하도록 한다.
출력모듈(14)은 사용자가 필터링 박스를 선택하면, 필터링 모듈(12)에 의해 나열된 동영상 목록을 추천 동영상 목록으로 출력할 수 있다. 사용자가 필터링 박스를 미선택하는 경우에는 재정렬 모듈(11)에 의해 재정렬된 동영상 목록이 출력될 것이다.
도2는 본 발명의 다른 실시예에 따른 동영상 추천 장치를 나타내는 개념도이다.
동영상 추천 장치(1)는 도1의 구성 외에도 시청기록 반영 모듈(13)을 더 포함할 수 있다.
시청기록 반영 모듈(13)은 사용자가 필터링 모듈(12)이 제시한 필터링 박스를 선택하였다면, 사용자의 동영상 과거 시청 목록과 필터링 모듈(12)에 의해 나열된 동영상 목록을 이용하여 유사도를 측정하고, 유사도가 높은 순서대로 필터링 모듈(12)에 의해 나열된 동영상 목록을 재나열할 수 있다. 이 때, 사용자의 동영상 과거 시청 목록과 필터링 모듈(12)에 의해 나열된 동영상 목록을 이용하여 유사도를 측정하는 과정은 도6에서 상세히 후술하도록 한다.
시청기록 반영 모듈(13)은 사용자가 필터링 모듈(12)이 제시한 필터링 박스를 미선택하였다면, 사용자의 동영상 과거 시청 목록과 재정렬 모듈(11)에 의해 재정렬된 동영상 목록을 이용하여 유사도를 측정하고, 유사도가 높은 순서대로 재정렬 모듈(11)에 의해 재정렬된 동영상 목록을 재나열할 수 있다. 이 때, 사용자의 동영상 과거 시청 목록과 재정렬 모듈(11)에 의해 재정렬된 동영상 목록을 이용하여 유사도를 측정하는 과정은 도6에서 상세히 후술하도록 한다.
출력모듈(14)은 시청기록 반영 모듈(13)에 의해 나열된 동영상 목록을 추천 동영상 목록으로 출력할 수 있다.
도3은 필터링 모듈을 나타내는 개념도이다.
필터링 모듈(12)은 특징벡터 추출부(30), 학습부(40), 필터링 박스 선택부(50) 및 필터링부(60)를 포함할 수 있다.
특징벡터 추출부(30)는 화자의 성별 정보, 화자의 나이 정보 및 화자의 방언 정보를 포함하고 있는 음성 데이터로 마련된 학습 데이터 셋으로부터 MFCC 특징벡터를 추출할 수 있다.
학습부(40)는 추출된 MFCC 특징벡터를 기초로 화자의 성별 정보, 화자의 나이 정보 및 화자의 방언 정보를 학습할 수 있다. 학습부(40)가 해당 정보를 학습하는 과정은 도5b에서 상세히 후술하도록 한다.
필터링 박스 선택부(50)는 사용자로부터 필터링 박스가 선택되도록 적어도 하나 이상의 필터링 박스를 제공할 수 있다. 이 때, 필터링 박스 선택부(50)는 화자의 성별 정보를 가진 필터링 박스, 화자의 나이 정보를 가진 필터링 박스 및 화자의 방언 정보를 가진 필터링 박스 중 적어도 하나 이상이 사용자로부터 선택될 수 있다.
필터링부(60)는 사용자로부터 필터링 박스가 선택되면 학습부(40)에 의해 학습한 결과로서 재정렬 모듈(11)에 의해 재정렬된 동영상 목록 중 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록만을 나열할 수 있다.
도4a는 재정렬 모듈이 유사도를 측정한 결과를 나타낸 도면이고, 도4b는 재정렬 모듈이 인기도를 측정하기 위해 필요한 동영상 정보를 나타내는 도면이다.
재정렬 모듈(11)이 사용자로부터 입력된 관심 키워드와 키워드 검색 모듈(10)에 의해 출력된 동영상 목록을 이용하여 유사도를 측정하는 것은, 사용자로부터 입력된 관심 키워드와 키워드 검색 모듈(10)에 의해 출력된 동영상 목록의 동영상 제목 간의 코사인 유사도를 이용하여 유사도를 측정하는 것을 의미할 수 있다. 사용자로부터 입력된 관심 키워드와 키워드 검색 모듈(10)에 의해 출력된 동영상 목록의 동영상 제목 간의 코사인 유사도는 하기 수학식 1과 같이 산출될 수 있다.
[수학식 1]
Figure pat00001
이 때, 사전 학습된 양방향 언어 분석 모델인 BERT(Bidirectional Encoder Representations from Transformers)를 통해 다차원 벡터로 단어 임베딩이 수행될 수 있고, 벡터에 기초하여 코사인 유사도를 측정할 수 있다. 이 때, BERT란 양방향 딥러닝 모델로서, 주어진 문장에서 특정 단어를 마스킹하고, 이를 맞추도록 자연어 데이터 셋에서 미리 학습된 딥러닝 모델을 의미한다.
수학식 1의 A는 BERT 모델에 사용자로부터 입력된 관심 키워드를 임베딩하여 생성된 벡터를 의미하고, B는 BERT 모델에 키워드 검색 모듈(10)에 의해 출력된 동영상 목록의 동영상 제목을 임베딩하여 생성된 벡터를 의미할 수 있다. Similarity는 코사인 유사도를 의미할 수 있다. 이 때, 관심 키워드는 단어일 수 있고, 또는 문장을 의미할 수도 있다.
도4a를 참조하면, 검색창에 관심 키워드로서 사용자로부터“무협소설 추천 좀 해주세요”라고 입력된 모습을 “입력문장” 카테고리에 나타내었다. 키워드 검색 모듈(10)에 의해 출력된 동영상 목록은 “유사 문장” 카테고리에 나타내었다. 입력문장과 유사문장을 BERT 모델에 임베딩하여 수학식 1의 A, B 각각에 대입한 결과값을 Cos similarity 카테고리에 나타내었다.
가장 높은 코사인 유사도를 나타낸 것은 0.80263값을 나타낸 “판타지소설 추천좀 해주세요”의 동영상 제목이고, 가장 낮은 코사인 유사도를 나타낸 것은 0.573995값을 나타낸 “패션잡지 추천 좀 해주세요”의 동영상 제목임을 알 수 있다.
재정렬 모듈(11)이 키워드 검색 모듈(10)에 의해 출력된 동영상 목록을 이용하여 인기도를 측정하는 것은, 동영상의 조회수, 좋아요 수, 싫어요 수 및 댓글수를 이용하여 인기도를 측정하는 것을 의미할 수 있다. 재정렬 모듈(11)이 키워드 검색 모듈(10)에 의해 출력된 동영상 목록을 이용하여 인기도를 측정하는 것은, 하기 수학식 2와 같이 산출될 수 있다.
[수학식 2]
Figure pat00002
동영상의 인기도를 측정하는 것은 조회수 대비 동영상을 본 사람들의 반응 정도를 측정하는 것을 의미하는바, 좋아요 수, 싫어요 수, 댓글수를 모두 더한 값을 조회수로 나눈 값을 인기도로 정의할 수 있다.
도4b를 참조하면, 엄지손가락이 상측으로 향해 있는 아이콘은 '좋아요'를 의미하는 아이콘으로서,'좋아요'수는 8400이라는 것을 알 수 있다. 또한, 엄지손가락이 하측으로 향해 있는 아이콘은 '싫어요'를 의미하는 아이콘으로서, '싫어요' 수는 117이라는 것을 알 수 있다. 또한, 댓글 수는 8000이라는 것을 알 수 있고, 조회수는 560374라는 것을 알 수 있다. 이를 수학식 2에 대입하면 인기도는 0.029475라는 것을 알 수 있다.
재정렬 모듈(11)은 코사인 유사도 측정값과 인기도 측정값을 더한 값이 높은 순서대로 동영상 목록을 우선하여 출력할 수 있다.
따라서, 도4a와 도4b를 종합하면, '판타지소설 추천 좀 해주세요'문장을 가진 동영상의 코사인 유사도 측정값과 인기도 측정값을 더한 값은, 0.832105라는 것을 알 수 있다.
또한, 사용자는 수학식 2 외에도, 좋아요 수, 싫어요 수, 댓글수 각각에 가중치를 부여할 수도 있다. 가중치를 부여해 인기도를 측정하는 것은, 하기 수학식 3과 같이 산출될 수 있다.
[수학식 3]
Figure pat00003
이 때, a,b,c는 각각의 가중치이며 a,b,c의 총 합은 1로 설정될 수 있다. 예를 들면, 사용자가 좋아요가 많이 눌러진 동영상을 인기도가 높은 것으로 설정하고 싶다면, 상대적으로 a에 더 큰 값을 부여할 수 있을 것이다. 사용자가 댓글수가 많은 동영상을 인기도가 높은 것으로 설정하고 싶다면, 상대적으로 c에 더 큰 값을 부여할 수 있을 것이다.
또한, 사용자는 좋아요 수, 싫어요 수, 댓글수 및 조회수 외에도 구독자수를 반영하여 인기도를 정의할 수도 있을 것이다. 이는 하기 수학식 4와 같이 산출될 수 있다.
[수학식 4]
Figure pat00004
이 때, a,b,c,d는 각각의 가중치이며 a,b,c,d의 총 합은 1로 설정될 수 있다. 예를 들면, 사용자가 좋아요 수, 싫어요 수, 댓글 수 및 구독자 수 중 가중치를 부여하고 싶은 것에 상대적으로 더 큰 가중치 값을 부여할 수 있다.
또한, 사용자는 좋아요 수, 싫어요 수, 댓글수 및 조회수, 구독자수 외에도 동영상을 공유한 수를 반영하여 인기도를 정의할 수도 있을 것이다. 이는 하기 수학식 5와 같이 산출될 수 있으며, a,b,c,d,e는 각각의 가중치이며 a,b,c,d,e의 총 합은 1로 설정될 수 있다.
[수학식 5]
Figure pat00005
도5a는 필터링 모듈의 필터링 박스를 나타내는 도면이고, 도5b는 필터링 모듈이 학습하는 과정을 나타내는 도면이다.
도5a을 참조하면, 필터링 박스는 성별 정보, 나이 정보, 방언 정보, 음성 속도 정보, 음성 높낮이 정보 및 폭력성 정보를 가진 적어도 하나 이상의 필터링 박스를 포함할 수 있으며, 필터링 박스에 대한 예시를 들었을 뿐 이에 한정되는 것은 아니다.
도5b를 참조하면, 필터링 모듈(12)은 화자의 성별 정보, 화자의 나이 정보, 화자의 방언 정보, 화자의 음성 속도 정보, 화자의 음성 높낮이 정보 및 화자의 언어 폭력성 정보를 포함하고 있는 음성 데이터로 마련된 학습 데이터 셋으로부터 MFCC 특징벡터를 추출할 수 있다.
필터링 모듈(12)은 추출된 MFCC(Mel-Frequency Cepstral Coefficients) 특징벡터를 기초로 화자의 성별 정보, 화자의 나이 정보, 화자의 방언 정보화자의 음성 속도 정보, 화자의 음성 높낮이 정보 및 화자의 언어 폭력성 정보를 학습할 수 있다. 학습방식은 LSTM(Long Short Term Memory) Layer에 Attention 기법을 적용된 딥러닝 모델을 이용하여 학습시킨 것일 수 있다. 딥러닝 모델의 입력값으로, 추출된 MFCC(Mel-Frequency Cepstral Coefficients) 특징벡터가 입력될 수 있다. 학습한 결과로 화자의 성별 정보, 화자의 나이 정보, 화자의 방언 정보화자의 음성 속도 정보, 화자의 음성 높낮이 정보 및 화자의 언어 폭력성 정보를 분류(Classficator)할 수 있는 것이다.
이 때, MFCC(Mel-Frequency Cepstral Coefficients)는 임의의 시간에 존재하는 오디오 신호의 음향적 특성을 나타내는 특징벡터이다. MFCC는 오디오 신호에 푸리에 변환을 취하여 스펙트럼을 구한 후, 구한 스펙트럼에 대해 멜 스케일에 맞춘 삼각 필터 뱅크를 대응시켜 각 밴드에서의 크기의 합을 구하고, 필터 뱅크 출력값에 로그를 취한 후, 이산 코사인 변환을 하여 구해질 수 있다.
학습한 결과를 기초로 필터링 모듈(12)은 사용자가 필터링 박스를 선택하면, 해당 선택된 필터링 박스에 포함된 정보를 가진 동영상 목록만을 출력할 수 있는 것이다.
또한, 필터링 모듈(12)은 영상 폭력성 정보, 영상 선정성 정보를 가진 데이터로 마련된 학습 데이터 셋으로부터 학습할 수 있다. 이 경우에는, 영상 폭력성 정보, 영상 선정성 정보를 가진 데이터로 마련된 학습 데이터 셋으로부터 적어도 하나 이상의 프레임을 추출하고, 프레임의 공간적 주의집중 맵(Spatial Attention Map)을 추출하며, 공간적 주의집중 맵(Spatial Attention Map)이 LSTM(Long Short Term Memory)모델의 입력값으로 입력되어 학습시키는 것일 수 있다.
사용자는 복수개의 필터링 박스를 선택할 수 있으며, 필터링 모듈(12)은 선택된 정보를 가진 동영상 목록만을 출력할 수 있다. 사용자가 필터링 박스를 미선택하는 경우에는 필터링 되지 않은 동영상 목록이 출력될 것이다.
예를 들면, 사용자가 성별 정보 중 ‘여성’을 선택하면, 재정렬 모듈(11)에 의해 출력된 동영상 목록 중 화자가‘여성’인 동영상 목록만을 출력할 수 있다. 다만, 동영상 목록 중 화자가 ‘여성’과 ‘남성’이 동시에 출현하는 동영상이 존재할 수 있다. 이 경우에는, 화자가 ‘여성’만이 출현하는 동영상을 우선하여 출력하고, ‘여성’과 ‘남성’이 동시에 출현하는 동영상은 필터링되는 동영상 목록에 포함하지 않고, ‘여성’만이 출현하는 동영상보다 후순위로 출력할 수 있다.
또한, ‘나이 정보’는 ‘유아, 10대, 20대, 30대, 40대, 50대, 60대, 70대, 80대, 90대 이상'으로 마련될 수 있다. 예를 들면, 사용자가 나이 정보 중 ‘10대’를 선택하면, 재정렬 모듈(11)에 의해 출력된 동영상 목록 중 화자가‘10대’인 동영상 목록만을 출력할 수 있다. 다만, 동영상 목록 중 화자가 ‘10대’인 경우와 ‘20대’인 경우처럼 다수의 화자가 출현하는 동영상이 존재할 수 있다. 다만, 동영상 목록 중 ‘10대’및 ‘20대’인 화자가 동시에 출현하는 동영상이 존재할 수 있다. 이 경우에는, 화자가 ‘10대’인 경우의 동영상을 우선하여 출력하고, ‘10대’의 화자와 ‘20대’의 화자가 동시에 출현하는 동영상은 필터링되는 동영상 목록에 포함하지 않고, 10대’의 화자만이 출현하는 동영상보다 후순위로 출력할 수 있다.
또한, ‘방언 정보’는 ‘없음, 충청도 방언, 경상도 방언, 전라도 방언, 강원도 방언, 제주도 방언’으로 마련될 수 있다. 예를 들면, 사용자가 ‘없음’으로 선택하면, 재정렬 모듈(11)에 의해 출력된 동영상 목록 중 화자가‘방언을 사용하지 않는’ 동영상 목록만을 출력할 수 있다. 예를 들면, 사용자가 ‘충청도 방언'으로 선택하면, 재정렬 모듈(11)에 의해 출력된 동영상 목록 중 화자가‘충청도 방언을 사용하는’ 동영상 목록을 출력할 수 있다. 이 경우에도, 복수의 화자가 동영상에 출현하는 경우, 일부 화자는 ‘충청도 방언’을 사용하고, 일부 화자는 ‘경상도 방언’을 사용하는 경우에는 동영상에 출현하는 화자 모두가‘충청도 방언’만을 사용하는 경우의 동영상을 우선하여 출력하고, ‘충청도 방언’을 사용하는 화자와 ‘경상도 방언’을 사용하는 화자가 동시에 출현하는 동영상은 필터링되는 동영상 목록에 포함하지 않고, ‘충청도 방언’만을 사용하는 화자만이 출현하는 동영상보다 후순위로 출력할 수 있다.
또한, ‘음성 속도 정보’는 ‘빠름, 중간, 느림, 기타 입력’으로 마련될 수 있다. ‘빠름, 중간, 느림’은 미리 설정된 음성 속도일 수 있다. 음성 속도가 상대적으로 빠르다는 것은, 음절수 값이 상대적으로 높은 것을 의미할 수 있다. ‘기타 입력’은 사용자가 1초당 음성으로 출력되는 음절 수를 입력할 수 있고, 사용자는 ‘기타 입력’에 입력한 값보다 많은 음절수를 출력하도록 설정하거나, ‘기타 입력’에 입력한 값보다 적은 음절수를 출력하도록 설정할 수 있다. 이 때, 1초당 음성으로 출력되는 음절 수는, 동영상에 출현하는 화자의 한 문장의 발화 음절수의 합/한 문장의 발화 소요시간(초)를 총 재생시간 동안 구하여, 평균을 낸 값을 음성 속도 정보로 정의할 수 있다.
또한, 음성 높낮이 정보는 ‘높음, 중간, 낮음, 기타 입력’으로 마련될 수 있다. ‘높음, 중간, 낮음’은 미리 설정된 음성 속도일 수 있다. ‘기타 입력’은 Hz(헤르츠)로서 입력될 수 있다. 사용자는 ‘기타 입력’에 입력한 값보다 높은 음성을 출력하도록 설정하거나, ‘기타 입력’에 입력한 값보다 낮은 음성을 출력하도록 설정할 수 있다.
또한, 언어 폭력성 정보는 ‘0부터 10’까지의 숫자를 선택하도록 바 형태로 마련될 수 있다. 이 때, 필터링 모듈(12)은 동영상으로부터 추출된 음성을 텍스트로 변환하며, 변환된 텍스트를 기초로 욕설이 포함되어 있는 정도에 따라 폭력성 정보가 설정될 수 있다. 예를 들면, 10회 이상 욕설이 출력되면 언어 폭력성 정보를 5로 설정하고, 20회 이상 욕설이 출력되면 언어 폭력성 정보를 10으로 설정할 수 있다.
또한, 영상 폭력성/선정성 정보는 ‘0부터 10’까지의 숫자를 선택하도록 바 형태로 마련될 수 있다. 사용자가 0으로 설정하는 경우, 영상 폭력성/선정성 정보를 가지지 않은 영상만을 출력하도록 설정하는 것을 의미할 수 있고, 10에 가까울수록 폭력성 정보/선정성 정보가 담긴 영상을 출력하도록 설정하는 것을 의미할 수 있다. 예를 들면, 필터링 모듈(12)은 프레임에 포함된 사람의 피부색 노출 정도에 따라 영상 선정성 정보를 설정할 수 있다. 예를 들면, 동영상으로부터 추출된 프레임에 존재하는 사람의 피부색이 50% 노출되는 경우에는 선정성 정보를 5로 설정하고, 피부색이 70% 노출되는 경우에는 선정성 정보를 7로 설정하며, 피부색이 100% 노출되는 경우에는 선정성 정보를 10으로 설정할 수 있다.
또한, 프레임에 포함된 혈흔 정도에 따라 영상 폭력성 정보를 설정할 수 있다. 예를 들면, 동영상으로부터 추출된 프레임에 존재하는 혈흔이 프레임 전체의 50%를 차지하는 경우에는 영상 폭력성 정보를 5로 설정하고, 프레임 전체의 70%를 차지하는 경우에는 영상 폭력성 정보를 7로 설정할 수 있다.
도6은 시청기록 반영 모듈이 유사도를 측정하기 위해 필요한 과거 시청 목록을 나타내는 도면이다.
시청기록 반영 모듈(13)은 사용자가 필터링 모듈(12)이 제공하는 필터링 박스를 선택하면, 사용자의 동영상 과거 시청 목록과 필터링 모듈(12)에 의해 나열된 동영상 목록을 이용하여 유사도를 측정하고, 유사도가 높은 순서대로 상기 필터링 모듈(12)에 의해 나열된 동영상 목록을 재나열할 수 있다. 이 때, 유사도를 측정하는 것은, 코사인 유사도를 의미한다.
도6을 참조하면, 과거 시청 목록을 검색한 모습을 나타내고 있다. 과거 시청 목록의 동영상 제목은 '[파이썬 초급] Part.8 반복문(while)','혼자 공부하는 파이썬 21강-리스트와 for 반복문'이다.
시청기록 반영 모듈(13)이 사용자의 동영상 과거 시청 목록과 필터링 모듈(12)에 의해 나열된 동영상 목록을 이용하여 유사도를 측정하는 것은 하기 수학식 6과 같이 산출될 수 있다.
[수학식 6]
Figure pat00006
Q는 필터링 모듈(12)에 의해 필터링 박스를 구성하는 정보를 가진 동영상 목록 전체를 의미하며, q는 Q의 원소로서 Q를 구성하는 동영상 각각을 의미할 수 있다. V는 사용자가 과거에 시청한 동영상 목록 전체를 의미하며, V-Q는 사용자가 과거에 시청한 동영상 목록 전체에서 필터링 모듈(12)에 의해 필터링 박스를 구성하는 정보를 가진 동영상 목록 전체를 제외한 동영상 목록 전체를 의미할 수 있다. v는 V-Q의 원소로서 V-Q를 구성하는 동영상 각각을 의미할 수 있다. Similarity는 코사인 유사도를 의미할 수 있다. Max는 코사인 유사도가 가장 큰 값을 우선하여 출력하는 것을 의미하는 것일 수 있다. 수학식 6은 복수개의 q와 v간에 코사인 유사도가 높은 순서대로 동영상을 재정렬하여 출력하는 것을 의미할 수 있다.
코사인 유사도는 하기 수학식 7과 같이 산출될 수 있다.
[수학식 7]
Figure pat00007
수학식 7의 A는 BERT 모델에 사용자로부터 q의 제목을 임베딩하여 생성된 벡터를 의미하고, B는 BERT 모델에 v의 제목을 임베딩하여 생성된 벡터를 의미할 수 있다.
또한, 시청기록 반영 모듈(13)은 사용자가 필터링 모듈(12)이 제공하는 필터링 박스를 미선택하면, 사용자의 동영상 과거 시청 목록과 재정렬 모듈(11)에 의해 재정렬된 동영상 목록을 이용하여 유사도를 측정하고, 유사도가 높은 순서대로 재정렬 모듈(11)에 의해 재정렬된 동영상 목록을 재나열할 수 있다. 이 때, 유사도를 측정하는 것은 상기 수학식 7을 이용하는 것일 수 있다.
수학식 7의 A는 BERT 모델에 재정렬 모듈(11)에 의해 재정렬된 동영상 목록의 제목을 임베딩하여 생성된 벡터를 의미하고, B는 BERT 모델에 사용자의 과거 동영상 시청 목록에 포함된 동영상 제목을 임베딩하여 생성된 벡터를 의미할 수 있다.
도7은 본 발명의 일 실시예에 따른 동영상 추천 장치의 제어방법을 나타낸 순서도이다.
도7을 참조하면, 사용자 관심 키워드를 기초로 동영상을 추천하는 동영상 추천 장치의 제어방법으로서, 사용자로부터 적어도 하나 이상의 관심 키워드가 입력되고, 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 나열하는 단계(100), 사용자로부터 입력된 관심 키워드와 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 이용하여 유사도를 측정하는 단계(110), 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 이용하여 인기도를 측정하는 단계(120) 및 유사도와 인기도의 합이 높은 순서대로 동영상 목록을 재정렬하는 단계(130)를 포함할 수 있다.
또한, 적어도 하나 이상의 필터링 박스를 제공하되, 사용자로부터 필터링 박스가 선택되는 단계(140), 사용자가 필터링 박스를 선택하면, 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록만을 나열하는 단계(150)를 포함할 수 있다. 이 때, 사용자가 필터링 박스를 미선택시, 유사도와 인기도의 합이 높은 순서대로 동영상 목록을 재정렬하는 단계(130)를 거친 동영상 목록이 추천 동영상으로 출력될 수 있다.
이 때, 사용자로부터 입력된 관심 키워드와 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 이용하여 유사도를 측정하는 단계는(110), 관심 키워드와 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록의 동영상 제목 간의 코사인 유사도를 이용하여 유사도를 측정하는 것을 포함할 수 있다.
또한, 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록 중 상기 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록만을 나열하는 단계(150)는, 화자의 성별 정보, 화자의 나이 정보 및 화자의 방언 정보를 포함하고 있는 음성 데이터로 마련된 학습 데이터 셋으로부터 MFCC 특징벡터를 추출하고, 추출된 MFCC 특징벡터를 기초로 화자의 성별 정보, 화자의 나이 정보 및 화자의 방언 정보를 학습하며, 학습한 결과로 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록만을 나열하는 것을 포함할 수 있다.
도8은 본 발명의 다른 실시예에 따른 동영상 추천 장치의 제어방법을 나타낸 순서도이다.
또한, 도8을 참조하면, 사용자로부터 적어도 하나 이상의 관심 키워드가 입력되고, 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 나열하는 단계(100), 사용자로부터 입력된 관심 키워드와 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 이용하여 유사도를 측정하는 단계(110), 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 이용하여 인기도를 측정하는 단계(120) 및 유사도와 인기도의 합이 높은 순서대로 동영상 목록을 재정렬하는 단계(130)를 포함할 수 있다.
또한, 적어도 하나 이상의 필터링 박스를 제공하되, 사용자로부터 필터링 박스가 선택되는 단계(140), 사용자가 필터링 박스를 선택하면, 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록만을 나열하는 단계(150)를 포함할 수 있다.
또한, 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록과 사용자의 과거 동영상 시청 목록을 이용하여 유사도를 측정하는 단계(160) 및 유사도가 높은 순서대로 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록을 재나열하는 단계(170)를 포함할 수 있다.
사용자가 필터링 박스를 미선택시에는, 사용자의 동영상 과거 시청 목록과 재정렬 모듈(11)에 의해 재정렬된 동영상 목록을 이용하여 유사도를 측정하는 단계(180) 및 유사도가 높은 순서대로 동영상 목록을 재나열하는 단계(190)를 포함할 수 있다.
이와 같은, 동영상 추천 장치의 제어방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자 기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스 크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬 가지이다.
이상에서 본 발명의 실시예들에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.
1: 동영상 추천 장치
10: 키워드 검색 모듈
11: 재정렬 모듈
12: 필터링 모듈
13: 시청기록 반영 모듈
14: 출력 모듈
30: 특징벡터 추출부
40: 학습부
50: 필터링 박스 선택부
60: 필터링부

Claims (12)

  1. 사용자 관심 키워드를 기초로 동영상을 추천하는 동영상 추천 장치로서,
    상기 사용자로부터 적어도 하나 이상의 관심 키워드가 입력되고, 상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 나열하는 키워드 검색 모듈; 및
    상기 사용자로부터 입력된 관심 키워드와 상기 키워드 검색 모듈에 의해 나열된 동영상 목록을 이용하여 유사도를 측정하고, 상기 키워드 검색 모듈에 의해 나열된 동영상 목록을 이용하여 인기도를 측정하며, 상기 유사도와 상기 인기도의 합이 높은 순서대로 상기 동영상 목록을 재정렬하는 재정렬 모듈;을 포함하는 동영상 추천 장치.
  2. 제 1항에 있어서,
    적어도 하나 이상의 필터링 박스를 제공하되, 상기 사용자로부터 상기 적어도 하나 이상의 필터링 박스가 선택되면 상기 키워드 검색 모듈에 의해 나열된 상기 동영상 목록 중 상기 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록만을 나열하는 필터링 모듈;을 더 포함하는 동영상 추천 장치.
  3. 제 1항 또는 2항에 있어서,
    사용자의 동영상 과거 시청 목록과 상기 동영상 목록을 이용하여 유사도를 측정하고, 상기 유사도가 높은 순서대로 상기 동영상 목록을 재나열하는 시청기록 반영 모듈;을 더 포함하는 동영상 추천 장치.
  4. 제 1항에 있어서,
    상기 재정렬 모듈은,
    상기 관심 키워드와 상기 키워드 검색 모듈에 의해 출력된 동영상 목록의 동영상 제목 간의 코사인 유사도를 이용하여 유사도를 측정하는 것을 포함하는 동영상 추천 장치.
  5. 제 1항에 있어서,
    상기 재정렬 모듈은,
    상기 동영상의 조회수, 좋아요 수, 싫어요 수 및 댓글 수를 이용하여 인기도를 측정하는 것을 포함하는 동영상 추천 장치.
  6. 제 2항에 있어서,
    상기 필터링 모듈은,
    화자의 성별 정보, 화자의 나이 정보 및 화자의 방언 정보를 포함하고 있는 음성 데이터로 마련된 학습 데이터 셋으로부터 MFCC 특징벡터를 추출하는 특징벡터 추출부;
    상기 추출된 MFCC 특징벡터를 기초로 상기 화자의 성별 정보, 화자의 나이 정보 및 화자의 방언 정보를 학습하는 학습부;
    상기 사용자로부터 필터링 박스가 선택되도록 적어도 하나 이상의 필터링 박스를 제공하되, 화자의 성별 정보를 가진 필터링 박스, 화자의 나이 정보를 가진 필터링 박스 및 화자의 방언 정보를 가진 필터링 박스 중 적어도 하나 이상이 상기 사용자로부터 선택되는 필터링 박스 선택부; 및
    상기 사용자로부터 상기 필터링 박스가 선택되면 상기 학습부에 의해 학습한 결과로서 상기 재정렬 모듈에 의해 재정렬된 상기 동영상 목록 중 상기 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록만을 나열하는 필터링부;를 포함하는 동영상 추천 장치.
  7. 사용자 관심 키워드를 기초로 동영상을 추천하는 동영상 추천 장치의 제어방법으로서,
    상기 사용자로부터 적어도 하나 이상의 관심 키워드가 입력되고, 상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 나열하며,
    상기 사용자로부터 입력된 관심 키워드와 상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 이용하여 유사도를 측정하고, 상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 이용하여 인기도를 측정하며, 상기 유사도와 상기 인기도의 합이 높은 순서대로 상기 동영상 목록을 재정렬하는 것을 포함하는 동영상 추천 장치의 제어방법.
  8. 제 7항에 있어서,
    적어도 하나 이상의 필터링 박스를 제공하되, 상기 사용자로부터 상기 적어도 하나 이상의 필터링 박스가 선택되면 상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록 중 상기 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록만을 나열하는 것을 더 포함하는 동영상 추천 장치의 제어방법.
  9. 제 7항 또는 8항에 있어서,
    사용자의 동영상 과거 시청 목록과 상기 동영상 목록을 이용하여 유사도를 측정하고, 상기 유사도가 높은 순서대로 상기 동영상 목록을 재나열하는 것을 더 포함하는 동영상 추천 장치의 제어방법.
  10. 제 7항에 있어서,
    상기 사용자로부터 입력된 관심 키워드와 상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록을 이용하여 유사도를 측정하는 것은,
    상기 관심 키워드와 상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록의 동영상 제목 간의 코사인 유사도를 이용하여 유사도를 측정하는 것을 포함하는 동영상 추천 장치의 제어방법.
  11. 제 8항에 있어서,
    상기 관심 키워드가 포함된 적어도 하나 이상의 동영상 목록 중 상기 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록만을 나열하는 것은,
    화자의 성별 정보, 화자의 나이 정보 및 화자의 방언 정보를 포함하고 있는 음성 데이터로 마련된 학습 데이터 셋으로부터 MFCC 특징벡터를 추출하고, 상기 추출된 MFCC 특징벡터를 기초로 상기 화자의 성별 정보, 상기 화자의 나이 정보 및 상기 화자의 방언 정보를 학습하며,
    상기 사용자로부터 필터링 박스가 선택되도록 적어도 하나 이상의 필터링 박스를 제공하되, 화자의 성별 정보를 가진 필터링 박스, 화자의 나이 정보를 가진 필터링 박스 및 화자의 방언 정보를 가진 필터링 박스 중 적어도 하나 이상이 상기 사용자로부터 선택되고,
    상기 사용자로부터 상기 필터링 박스가 선택되면 학습한 결과로서 상기 선택된 필터링 박스를 구성하는 정보를 가진 동영상 목록만을 나열하는 것을 포함하는 동영상 추천 장치의 제어방법.
  12. 제 7항 내지 제 11항 중 어느 하나의 항에 따른 상기 동영상 추천 장치의 제어방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 저장 매체.
KR1020210117654A 2021-09-03 2021-09-03 동영상 추천 장치의 제어방법, 이를 수행하기 위한 기록매체 및 장치 KR102615379B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210117654A KR102615379B1 (ko) 2021-09-03 2021-09-03 동영상 추천 장치의 제어방법, 이를 수행하기 위한 기록매체 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210117654A KR102615379B1 (ko) 2021-09-03 2021-09-03 동영상 추천 장치의 제어방법, 이를 수행하기 위한 기록매체 및 장치

Publications (2)

Publication Number Publication Date
KR20230034645A true KR20230034645A (ko) 2023-03-10
KR102615379B1 KR102615379B1 (ko) 2023-12-19

Family

ID=85511871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210117654A KR102615379B1 (ko) 2021-09-03 2021-09-03 동영상 추천 장치의 제어방법, 이를 수행하기 위한 기록매체 및 장치

Country Status (1)

Country Link
KR (1) KR102615379B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120087058A (ko) * 2011-01-27 2012-08-06 한국과학기술연구원 연관 콘텐츠 제공 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR20130090612A (ko) * 2012-02-06 2013-08-14 주식회사 와이즈커넥트 소셜 네트워크 서비스의 키워드 분석을 통한 위치기반 콘텐츠 제공 방법 및 시스템
KR20180053898A (ko) * 2016-11-14 2018-05-24 주식회사 애드업 연예 정보 제공 장치 및 그 동작 방법
KR20200109515A (ko) * 2019-03-13 2020-09-23 주식회사 키즈브라운파트너스 빅데이터를 이용한 교육 콘텐츠 생성 방법
KR20210074636A (ko) * 2019-12-12 2021-06-22 엘지전자 주식회사 음향모델 생성방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120087058A (ko) * 2011-01-27 2012-08-06 한국과학기술연구원 연관 콘텐츠 제공 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR20130090612A (ko) * 2012-02-06 2013-08-14 주식회사 와이즈커넥트 소셜 네트워크 서비스의 키워드 분석을 통한 위치기반 콘텐츠 제공 방법 및 시스템
KR20180053898A (ko) * 2016-11-14 2018-05-24 주식회사 애드업 연예 정보 제공 장치 및 그 동작 방법
KR20200109515A (ko) * 2019-03-13 2020-09-23 주식회사 키즈브라운파트너스 빅데이터를 이용한 교육 콘텐츠 생성 방법
KR20210074636A (ko) * 2019-12-12 2021-06-22 엘지전자 주식회사 음향모델 생성방법

Also Published As

Publication number Publication date
KR102615379B1 (ko) 2023-12-19

Similar Documents

Publication Publication Date Title
US11006179B2 (en) Method and apparatus for outputting information
US10949880B2 (en) Method for optimizing media and marketing content using cross-platform video intelligence
US11853370B2 (en) Scene aware searching
US8938393B2 (en) Extended videolens media engine for audio recognition
US20150365725A1 (en) Extract partition segments of personalized video channel
US8750681B2 (en) Electronic apparatus, content recommendation method, and program therefor
JP6967059B2 (ja) 映像を生成するための方法、装置、サーバ、コンピュータ可読記憶媒体およびコンピュータプログラム
CN101395607B (zh) 用于自动生成多个图像的概要的方法和设备
US20180068690A1 (en) Data processing apparatus, data processing method
KR20180136265A (ko) 구간 영상 검색 및 제공 장치, 방법 및 컴퓨터-판독가능 매체
US7769761B2 (en) Information processing apparatus, method, and program product
JP2012038239A (ja) 情報処理装置、情報処理方法、及び、プログラム
CN108292314A (zh) 信息处理装置、信息处理方法和程序
CN107247919A (zh) 一种视频情感内容的获取方法及系统
CN114143479B (zh) 视频摘要的生成方法、装置、设备以及存储介质
CN104700831B (zh) 分析音频文件的语音特征的方法和装置
CN116049557A (zh) 一种基于多模态预训练模型的教育资源推荐方法
CN111681678A (zh) 自动生成音效并匹配视频的方法、系统、装置及存储介质
Yariv et al. Audiotoken: Adaptation of text-conditioned diffusion models for audio-to-image generation
CN116567351B (zh) 一种视频处理方法、装置、设备及介质
KR102615379B1 (ko) 동영상 추천 장치의 제어방법, 이를 수행하기 위한 기록매체 및 장치
JPWO2019043871A1 (ja) 表示タイミング決定装置、表示タイミング決定方法、及びプログラム
Yasuda et al. Crossmodal Sound Retrieval Based on Specific Target Co-Occurrence Denoted with Weak Labels.
Parsodkar et al. Movie Captioning For Differently Abled People
EP4345814A1 (en) Video-generation system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant