KR20220135150A - 사용자 맞춤형 문화 예술 컨텐츠 큐레이션을 제공하고, 사용자와 함께 관람할 메이트를 추천하기 위한 방법 및 장치 - Google Patents

사용자 맞춤형 문화 예술 컨텐츠 큐레이션을 제공하고, 사용자와 함께 관람할 메이트를 추천하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20220135150A
KR20220135150A KR1020210176017A KR20210176017A KR20220135150A KR 20220135150 A KR20220135150 A KR 20220135150A KR 1020210176017 A KR1020210176017 A KR 1020210176017A KR 20210176017 A KR20210176017 A KR 20210176017A KR 20220135150 A KR20220135150 A KR 20220135150A
Authority
KR
South Korea
Prior art keywords
user
content
cultural
contents
emotion
Prior art date
Application number
KR1020210176017A
Other languages
English (en)
Inventor
김지혜
Original Assignee
김지혜
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김지혜 filed Critical 김지혜
Priority to KR1020210176017A priority Critical patent/KR20220135150A/ko
Publication of KR20220135150A publication Critical patent/KR20220135150A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Psychiatry (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

사용자 맞춤형 문화 예술 컨텐츠 큐레이션을 제공하고, 사용자와 함께 관람할 메이트를 추천하기 위한 방법 및 장치가 개시된다. 사용자 맞춤형 문화 예술 컨텐츠 큐레이션을 제공하고, 사용자와 함께 관람할 메이트를 추천하기 위한 컨텐츠 제공 서버는, 다수의 사용자 단말들의 사용자들 각각에 대응하는 사용자 정보를 수신하고, 상기 사용자 정보 및 상기 사용자들이 문화예술 컨텐츠를 이용한 이용기록 정보를 포함하는 사용자 프로필 정보를 생성하여 관리하는 사용자 프로필 관리부; 등록된 다수의 문화예술 컨텐츠들 각각에 대응하는 컨텐츠 정보를 생성하여 관리하는 문화예술 컨텐츠 관리부; 상기 컨텐츠 정보에 포함된 상기 문화예술 컨텐츠들 각각에 대응하는 평가 정보를 기반으로 상기 문화예술 컨텐츠들에 대한 제1 사용자의 예측 선호도를 결정하고, 상기 예측 선호도를 기반으로 사용자 맞춤형 컨텐츠 후보군을 선정하고, 상기 사용자 맞춤형 컨텐츠 후보군에서 상기 제1 사용자를 위한 사용자 맞춤형 추천 컨텐츠를 선정하는 컨텐츠 추천부; 및 상기 사용자들 중에서 상기 사용자 맞춤형 추천 컨텐츠와 함께 즐길 메이트를 선정하는 메이트 선정부를 포함한다.

Description

사용자 맞춤형 문화 예술 컨텐츠 큐레이션을 제공하고, 사용자와 함께 관람할 메이트를 추천하기 위한 방법 및 장치{METHOD AND DEVICE FOR PROVIDING CUSTOMIZED CULTURAL AND ART CONTENTS CURATION AND FOR RECOMMENDING MATE PLAYING THE CONTENTS WITH USER}
본 발명은 문화 예술 컨텐츠 제공 방법 및 장치에 관한 것으로, 더욱 상세하게는 사용자 맞춤형 문화 예술 컨텐츠 큐레이션을 제공하고, 사용자와 함께 관람할 메이트를 추천하기 위한 방법 및 장치에 관한 것이다.
영화, 드라마, 연극, 뮤지컬, 미술 전시 등을 비롯한 각종 문화 예술 컨텐츠는 문화예술 산업이 발전함에 따라 매우 다양화되는 추세에 있어 사용자가 다양한 문화 예술 컨텐츠들 중에서 자신이 보고싶고 감상하고 싶은 컨텐츠를 선택하는 것이 중요한 이슈로 작용하고 있다.
또한, 이러한 문화 예술 컨텐츠들은 스마트폰을 비롯한 각종 통신 단말이 보급화됨에 따라 온라인을 통해 다운받아 감상하거나 온라인을 통해 예약이 가능하기 때문에 사용자가 문화 예술 컨텐츠들 각각이 갖는 각종 정보들을 얻는데 용이한 장점이 있다.
다만, 문화 예술 컨텐츠들 각각이 갖는 각종 정보들을 사용자가 일일이 확인하고 검색하려면 사용자가 알고있는 사전지식 범위 내에서 검색어를 설정할 수 밖에 없기 때문에 사용자가 접하거나 알고있지 않은 정보를 기반으로 문화 예술 컨텐츠를 선택하여 제공받기 어렵다.
이러한 문제를 해결하기 위하여 종래의 컨텐츠 제공자들은 사용자가 직접 검색어를 입력하지 않았더라도, 실시간 조회수가 높아 인기가 많은 문화 예술 컨텐츠를 선정하여 사용자에게 제공하거나, 사용자가 자주 이용한 문화 예술 컨텐츠와 유사한 컨텐츠를 선정하여 사용자에게 제공한다.
그러나, 이러한 종래의 방식은 특정 사용자의 사용 이력을 단순 참조하여 유사 컨텐츠를 제공하거나, 컨텐츠들 자체의 이용 빈도 등을 고려하여 특정 컨텐츠를 제공하는 데 그치고 있기 때문에, 컨텐츠를 제공받는 시점에서의 사용자의 감정은 전혀 고려되지 않는다.
또한, 문화 예술 컨텐츠의 경우 여러 사람이 함께 이용하고자 하는 경향성이 있기 때문에 문화 예술 컨텐츠를 함께 즐길 수 있는 다른 사용자를 함께 제공함으로써 더욱 풍부한 문화 예술 컨텐츠를 즐길 수 있는 방안이 필요하다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 사용자 맞춤형 문화 예술 컨텐츠 큐레이션을 제공하고, 사용자와 함께 관람할 메이트를 추천하기 위한 방법 및 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면은, 사용자 맞춤형 문화 예술 컨텐츠 큐레이션을 제공하고, 사용자와 함께 관람할 메이트를 추천하기 위한 컨텐츠 제공 서버를 제공한다.
상기 컨텐츠 제공 서버는, 다수의 사용자 단말들의 사용자들 각각에 대응하는 사용자 정보를 수신하고, 상기 사용자 정보 및 상기 사용자들이 문화예술 컨텐츠를 이용한 이용기록 정보를 포함하는 사용자 프로필 정보를 생성하여 관리하는 사용자 프로필 관리부; 등록된 다수의 문화예술 컨텐츠들 각각에 대응하는 컨텐츠 정보를 생성하여 관리하는 문화예술 컨텐츠 관리부; 상기 컨텐츠 정보에 포함된 상기 문화예술 컨텐츠들 각각에 대응하는 평가 정보를 기반으로 상기 문화예술 컨텐츠들에 대한 제1 사용자의 예측 선호도를 결정하고, 상기 예측 선호도를 기반으로 사용자 맞춤형 컨텐츠 후보군을 선정하고, 상기 사용자 맞춤형 컨텐츠 후보군에서 상기 제1 사용자를 위한 사용자 맞춤형 추천 컨텐츠를 선정하는 컨텐츠 추천부; 및 상기 사용자들 중에서 상기 사용자 맞춤형 추천 컨텐츠와 함께 즐길 메이트를 선정하는 메이트 선정부를 포함한다.
상기 컨텐츠 정보는, 상기 문화예술 컨텐츠들 각각에 대한 분위기, 장르, 소재, 및 수상 이력 중 적어도 하나와, 상기 문화예술 컨텐츠들 각각에 대하여 관람한 사용자의 감정 상태를 지시하는 추천 감정으로 구성된 감상 태그를 포함한다.
상기 컨텐츠 추천부는, 상기 제1 사용자의 현재 감정 상태를 지시하는 사용자 감정과 대응하는 상기 추천 감정을 검색하고, 검색된 추천 감정과 대응하는 문화예술 컨텐츠를 상기 사용자 맞춤형 추천 컨텐츠로서 상기 사용자 맞춤형 컨텐츠 후보군에서 선정한다.
상기 컨텐츠 제공 서버는, 상기 제1 사용자의 사용자 단말로부터 가장 최근에 미리 설정된 시간 간격동안 녹음된 음성 신호를 수신하고, 상기 음성 신호에 기초하여 상기 제1 사용자의 상기 사용자 감정을 결정하는 사용자 감정 트래킹부를 더 포함한다.
상기 사용자 감정 트래킹부는, 상기 음성 신호로부터 스펙트로그램(spectrogram)을 획득하고, 상기 스펙트로그램을 합성곱 신경망(Convolutional Neural network, CNN)을 이용하여 분석함으로써 제1 감정을 결정한다.
상기 사용자 감정 트래킹부는, 상기 음성 신호를 STT(Speech to Text) 변환하여 상기 음성 신호와 대응하는 음성 텍스트를 획득하고, 상기 음성 텍스트를 구성하는 단어들을 순환신경망(Recurrent Neural Network, RNN)을 이용하여 분석함으로써 제2 감정을 결정한다.
상기 사용자 감정 트래킹부는, 상기 제1 감정과 상기 제2 감정에 기초하여 상기 사용자 감정을 결정한다.
상기 평가 정보는, 상기 문화예술 컨텐츠들 각각에 대한 다수의 평가 항목들에 따른 개별 평점들 및 상기 개별 평점들에 대한 종합 평점을 포함한다.
상기 컨텐츠 추천부는, 상기 사용자들이 상기 문화예술 컨텐츠들 각각에 대하여 남긴 상기 종합 평점을 기반으로, 상기 문화예술 컨텐츠들 상호간 근접도(proximity)를 산출하고, 산출된 상기 근접도에 기초하여 상기 예측 선호도를 결정한다.
상기와 같은 본 발명에 따른 사용자 맞춤형 문화 예술 컨텐츠 큐레이션을 제공하고, 사용자와 함께 관람할 메이트를 추천하기 위한 방법 및 장치를 이용할 경우에는 사용자들 각각이 문화예술 컨텐츠들에 대하여 남긴 평가 정보를 기반으로 특정 사용자가 문화예술 컨텐츠에 대하여 가질 선호도를 예측할 수 있어 가장 적합한 문화예술 컨텐츠를 선정할 수 있다.
또한, 문화예술 컨텐츠를 관람하거나 체험한 사용자의 추천 감정을 문화예술 컨텐츠들 각각에 대하여 수집하여 관리하기 때문에 문화예술 컨텐츠를 체험할 사용자의 감정을 고려하여 문화예술 컨텐츠를 선정할 수 있다.
또한, 사용자의 음성 신호를 기반으로 사용자의 현재 감정 상태를 추적하고, 추적된 현재 감정 상태와 적합한 문화예술 컨텐츠를 사용자 맞춤형 문화예술 컨텐츠로서 제공하는 장점이 있다.
도 1은 일 실시예에 따른 사용자 맞춤형 문화 예술 컨텐츠 제공 방법이 수행되는 환경을 나타낸 개요도이다.
도 2는 도 1에 따른 컨텐츠 제공 서버의 기능적 구성을 나타낸 블록도이다.
도 3은 도 2에 따른 사용자 프로필 관리부에서 관리하는 정보를 나타낸 도면이다.
도 4는 도 2에 따른 문화예술 컨텐츠 관리부에서 관리하는 정보를 나타낸 도면이다.
도 5는 도 2에 따른 컨텐츠 추천부의 동작을 설명하기 위한 예시도이다.
도 6은 도 2에 따른 문화예술 컨텐츠 관리부에 의해 관리되는 문화예술 컨탠츠의 태그를 나타낸 도면이다.
도 7은 도 2에 따른 사용자 감정 트래킹부의 동작을 설명하기 위한 도면이다.
도 8은 도 7에 따른 합성곱 신경망의 구조를 예시적으로 나타낸 도면이다.
도 9는 도 2에 따른 메이트 선정부의 동작을 설명하기 위한 도면이다.
도 10은 도 1에 따른 컨텐츠 제공 서버의 하드웨어 구성을 예시적으로 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 사용자 맞춤형 문화 예술 컨텐츠 제공 방법이 수행되는 환경을 나타낸 개요도이다.
도 1을 참조하면, 사용자 맞춤형 문화예술 컨텐츠 제공 방법은 컨텐츠 제공 서버(100)에 의해 수행될 수 있다.
컨텐츠 제공 서버(100)는, 다수의 문화예술 컨텐츠들을 등록하고, 등록된 문화예술 컨텐츠들 중에서 사용자 맞춤형 문화예술 컨텐츠를 선정하여 사용자 단말(200)에 제공할 수 있다.
여기서, 문화예술 컨텐츠는, 영화, 드라마, 공연, 전시, 수업, 체험활동 등을 포함할 수 있다. 구체적으로, 문화예술 컨텐츠는, 영화, 드라마, 공연, 전시 등에 대하여 온라인 또는 오프라인으로 관람할 수 있는 티케팅 서비스, 도예 공방이나 가죽 공방 등과 같은 각종 수업에 대하여 온라인 또는 오프라인으로 수강할 수 있는 수강 예약 서비스, 및 특정 지역에 대한 여행 투어나 체험활동을 할 수 있는 체험활동 예약 서비스 등을 의미할 수 있다.
컨텐츠 제공 서버(100)는, 사용자 단말(200)로부터 사용자 정보를 수집하고, 수집된 사용자 정보를 기반으로 사용자 프로필을 관리할 수 있다. 또한, 컨텐츠 제공 서버(100)는, 등록된 문화예술 컨텐츠들 각각에 대한 컨텐츠 정보를 저장할 수 있다. 여기서, 컨텐츠 정보는, 문화예술 컨텐츠들 각각에 대하여 관람하거나 체험한 사용자에 의해 부여되거나, 관리자로부터 입력받아 부여된 태그(tag) 정보를 포함할 수 있다.
컨텐츠 제공 서버(100)는, 문화예술 컨텐츠마다 개별적으로 부여된 태그 정보를 기반으로 사용자 맞춤형 컨텐츠를 선정하고, 선정된 사용자 맞춤형 컨텐츠를 사용자 단말(200)에 제공할 수 있다. 여기서 사용자 맞춤형 컨텐츠는 복수개의 리스트 형태로 사용자 단말(200)에 제공될 수 있다.
구체적으로, 컨텐츠 제공 서버(100)는, 문화예술 컨텐츠들 각각에 대한 사용자들의 평가 정보를 기반으로 특정 사용자 단말(200)의 사용자의 컨텐츠 선호도를 예측하고, 예측된 컨텐츠 선호도에 따라 다수의 사용자 맞춤형 컨텐츠 후보군을 선정할 수 있다.
이때, 컨텐츠 제공 서버(100)는, 특정 사용자 단말(200)의 사용자에 대한 감정 상태를 지속적으로 트래킹(tracking)함으로써, 현재 시점에서 사용자의 감정 상태를 나타내는 사용자 감정을 결정할 수 있다.
컨텐츠 제공 서버(100)는, 결정된 사용자 감정을 기반으로 사용자 맞춤형 컨텐츠 후보군에 포함된 문화예술 컨텐츠들 중에서 적어도 하나의 사용자 맞춤형 컨텐츠를 선정할 수 있다.
즉, 본 발명의 일 실시예에 따른 컨텐츠 제공 서버(100)는, 사용자들의 평가 정보를 기반으로 특정 사용자의 문화예술 컨텐츠에 대한 예측 선호도를 예측하여 사용자 맞춤형 컨텐츠 후보군을 선정한 후, 사용자 맞춤형 컨텐츠 후보군에 포함된 문화예술 컨텐츠들 중에서, 사용자 감정을 기반으로 적어도 하나의 사용자 맞춤형 컨텐츠를 선정한다.
따라서, 컨텐츠 제공 서버(100)는, 사용자의 컨텐츠 선호도 뿐만 아니라 현재의 감정 상태에서 관람 또는 즐기기에 적합한 문화예술 컨텐츠를 사용자 맞춤형 컨텐츠로서 사용자 단말(200)에 제공하므로 사용자의 감정 상태와 선호도를 동시에 고려한 맞춤형 컨텐츠를 추천하는 것이 가능한 장점이 있다.
또한, 컨텐츠 제공 서버(100)는, 문화예술 컨텐츠들 각각에 대한 평가 정보를 기반으로 사용자들을 서로 비교하고, 비교 결과에 따라 동일한 문화예술 컨텐츠를 함께 즐기기에 적합한 메이트를 선정하여 서로에게 추천할 수 있다. 예를 들어, 컨텐츠 제공 서버(100)는, 문화예술 컨텐츠들 각각에 대한 제1 사용자의 평가 정보를 기반으로 제1 사용자와 나머지 다른 사용자들을 서로 비교하고, 비교 결과에 따라 나머지 다른 사용자들 중에서 제1 사용자와 특정 문화예술 컨텐츠를 함께 관람하거나 즐길 수 있는 메이트를 선정하여 제1 사용자에게 추천할 수 있다.
사용자 단말(200)은, 컨텐츠 제공 서버(100)에 접속하여 사용자 정보를 컨텐츠 제공 서버(100)에 제공하고, 컨텐츠 제공 서버(100)에 등록된 다수의 문화예술 컨텐츠들에 대한 예약 또는 구매를 진행하거나 감상 후기를 남길 수 있다.
이때, 사용자 단말(200)은, 컨텐츠 제공 서버(100)로부터 적어도 하나의 사용자 맞춤형 문화예술 컨텐츠를 추천받을 수 있다. 또한, 사용자 단말(200)은 컨텐츠 제공 서버(100)로부터 적어도 하나의 메이트를 추천받을 수 있다.
사용자 단말(200)의 사용자들 대다수는 문화예술 컨텐츠를 소비하고 제공받는 소비자에 해당할 수 있으나, 사용자 단말(200)의 사용자들 중 일부는 문화예술 컨텐츠를 직접 기획하거나 진행하는 예술인을 포함할 수 있다.
도 2는 도 1에 따른 컨텐츠 제공 서버의 기능적 구성을 나타낸 블록도이다. 도 3은 도 2에 따른 사용자 프로필 관리부에서 관리하는 정보를 나타낸 도면이다. 도 4는 도 2에 따른 문화예술 컨텐츠 관리부에서 관리하는 정보를 나타낸 도면이다.
도 2 및 도 3을 참조하면, 사용자 프로필 관리부(101)는, 사용자 단말(200)의 사용자들 각각에 대응하는 사용자 정보를 수신하고, 수신된 사용자 정보 및 문화예술 컨텐츠를 이용한 이용기록 정보를 포함하는 사용자 프로필 정보를 생성하여 관리할 수 있다.
구체적으로, 사용자 정보는, 사용자 단말(200)의 사용자들 각각에 대한 성별, 연령, 닉네임, 포인트, 잔액 등을 포함할 수 있다. 또한, 이용기록 정보는, 사용자 단말(200)의 사용자가 이용한 공연의 명칭, 이용한 공연의 티겟 종류, 이용한 공연의 날짜, 함께 문화예술 컨텐츠를 관람한 메이트의 수와 닉네임 등을 포함할 수 있다.
한편, 사용자 프로필 관리부(101)에 의해 관리되는 사용자에는 문화예술 컨텐츠에 참가자로 참여하는 사용자 뿐만 아니라 문화예술 컨텐츠를 실제로 구성하고 만들어가는 예술인을 포함할 수 있다. 예를 들어, 예술인은 영화, 연극, 공연 등에 대한 출연자, 수업이나 체험활동을 기획하고 진행하는 교사 등을 포함할 수 있다.
따라서, 사용자 프로필 관리부(101)는, 예술인 정보를 추가로 생성하여 저장할 수 있다. 예술인 정보는, 예술인에 대한 이름, 필명, 국적, 전화번호, 이메일, 주소, 홈페이지 주소, 성별 등으로서, 사용자 프로필 정보의 사용자 정보에 대응하는 정보를 포함할 수 있다.
도 2 및 도 4를 참조하면, 문화예술 컨텐츠 관리부(102)는, 등록된 다수의 문화예술 컨텐츠들 각각에 대한 컨텐츠 정보를 생성하고 관리할 수 있다. 예를 들어, 컨텐츠 정보는 문화예술 컨텐츠에 대한 명칭, 공연지역, 유형, 장르, 공연기간, 공연장소, 관람등급, 주최자 명칭, 출연자 명칭, 대표자 명칭 등을 포함할 수 있다.
또한, 문화예술 컨텐츠 관리부(102)는, 컨텐츠 정보에 부수적으로 문화예술 컨텐츠들 각각에 대한 예술공간 정보를 더 생성하여 관리할 수 있다. 예술공간 정보는, 문화예술 컨텐츠가 진행되거나 열리는 장소에 대한 정보로서, 장소의 명칭, 장소의 분류, 주소, 장소에 대한 연락처, 장소에 대한 메일이나 웹페이지 등을 포함할 수 있다.
따라서, 문화예술 컨텐츠 관리부(102)는, 예술공간 정보를 이용하여 사용자 단말(200)에게 지리적으로 유리한 문화예술 컨텐츠를 추천할 수 있다.
예를 들어, 문화예술 컨텐츠 관리부(102)는, 사용자 단말(200)의 현재 위치 정보를 기준으로, 현재 위치 정보와 지리적으로 가까운 예술공간 정보와 대응하는 문화예술 컨텐츠를 적어도 하나 선정하여 사용자 단말(200)에 제공할 수 있다.
또한, 문화예술 컨텐츠 관리부(102)는, 모든 문화예술 컨텐츠에 대한 예술공간 정보를 지리적 맵(map)을 이용하여 사용자 단말(200)에 제공하고, 사용자 단말(200)이 지리적 맵(map)을 탐색하는 전체 시간, 및 지리적 맵(map)의 특정 범위 영역을 표시하는 시간(즉, 사용자의 시선이 유지되는 시간)을 측정하고, 지리적 맵을 탐색하는 시간 대비 특정 범위 영역을 표시하는 시간이 미리 설정된 비율 이상인 경우, 해당 특정 범위 영역을 사용자 단말(200)의 사용자가 관심있는 관심 지역으로 결정할 수 있다.
따라서, 문화예술 컨텐츠 관리부(102)는, 사용자 맞춤형 문화예술 컨텐츠를 추천할 때, 관심 지역 내에 있는 문화예술 컨텐츠를 사용자 맞춤형 문화예술 컨텐츠로서 사용자 단말(200)에 제공할 수 있다.
도 5는 도 2에 따른 컨텐츠 추천부의 동작을 설명하기 위한 예시도이다.
문화예술 컨텐츠 관리부(102)이 관리하는 컨텐츠 정보에는 문화예술 컨텐츠들 각각에 대응하는 평가 정보를 더 포함할 수 있다. 여기서 평가 정보는, 문화예술 컨텐츠를 직접 관람하거나 체험한 사용자 단말(200)이 해당 문화예술 컨텐츠에 대하여 남긴 평점, 후기 등을 포함할 수 있다. 여기서 평점은 다수의 평가 항목들(예를 들어, 흥미, 개연성, 등을 포함할 수 있음) 각각에 대한 개별 평점들 및 개별 평점들에 대한 평균 또는 중간값 등으로 나타낸 종합 평점을 포함할 수 있다.
본 발명의 일 실시예에 따른 컨텐츠 추천부(104)는, 다수의 사용자 단말(200)들의 사용자들이 문화예술 컨텐츠들 각각에 대하여 남긴 종합 평점을 기반으로 문화예술 컨텐츠들 상호간 근접도(proximity)를 산출하고, 산출된 근접도를 이용하여 특정 사용자 단말(200)의 사용자가 특정 문화예술 컨텐츠에 대하여 갖게될 선호도를 결정할 수 있다.
구체적으로, 컨텐츠 추천부(104)는, 다음의 수학식 1에 기초하여 문화 예술 컨텐츠들 상호간 근접도(Proximity)를 산출할 수 있다.
Figure pat00001
상기 수학식 1을 참조하면, wi,j 는, 문화예술 컨텐츠 i와 문화예술 컨텐츠 j 사이의 근접도이고, U는 문화예술 컨텐츠 i와 문화예술 컨텐츠 j에 모두 종합 평점을 남긴 사용자 단말(200)의 사용자들 전체의 집합이고, ru,i는 집합 U에 포함된 사용자 u가 문화예술 컨텐츠 i에 대하여 남긴 종합 평점이고, ru,j는 집합 U에 포함된 사용자 u가 문화예술 컨텐츠 i에 대하여 남긴 종합 평점이며,
Figure pat00002
는 모든 사용자들이 문화예술 컨텐츠 i에 남긴 종합 평점들의 평균값이고,
Figure pat00003
는 모든 사용자들이 문화예술 컨텐츠 j에 대하여 남긴 종합 평점들의 평균값이다.
따라서, 수학식 1을 이용하면 2개의 문화예술 컨텐츠들 상호간에 근접도를 산출할 수 있다. 수학식 1에 따른 근접도는 -1과 +1 사이의 값일 수 있다.
컨텐츠 추천부(104)는, 산출된 근접도를 이용하여 특정 사용자 단말(200)의 사용자가 문화예술 컨텐츠들 각각을 선호하는 정도를 예측한 예측 선호도를 산출할 수 있다.
예를 들어, 컨텐츠 추천부(104)는, 다음의 수학식 2에 따라 문화예술 컨텐츠들 각각에 대한 예측 선호도를 산출할 수 있다.
Figure pat00004
수학식 2에서, Pa,i는 특정 사용자 단말(200)의 사용자 a가 문화예술 컨텐츠 i를 선호하는 정도를 예측한 예측 선호도이고, N은 문화예술 컨텐츠 i를 제외한 나머지 문화예술 컨텐츠들의 집합이고, wi,n은 문화예술 컨텐츠 i와 집합 N에 포함된 문화예술 컨텐츠 n 사이의 근접도이고, ra,n은 사용자 a가 문화예술 컨텐츠 n에 대하여 남긴 종합 평점일 수 있다.
컨텐츠 추천부(104)는, 산출된 예측 선호도가 높은 순서대로 미리 설정된 개수 이내로 문화예술 컨텐츠들을 선정하고, 선정된 문화예술 컨텐츠들로 사용자 맞춤형 컨텐츠 후보군을 구성할 수 있다.
예를 들어 도 5를 참조하면, 컨텐츠 추천부(104)는, 사용자 맞춤형 컨텐츠를 추천받을 대상이 되는 제3 사용자(203)가 제1 문화예술 컨텐츠(C1)에 높은 종합 평점을 남겼고, 제1 문화예술 컨텐츠(C1)와 제2 문화예술 컨텐츠(C2) 사이의 근접도가 높은 경우, 제2 문화예술 컨텐츠(C2)에 대한 제3 사용자(203)의 예측 선호도가 높을 수 있다. 따라서, 이 경우 컨텐츠 추천부(104)는, 제2 문화예술 컨텐츠(C2)를 사용자 맞춤형 컨텐츠 후보군에 포함시킬 수 있다.
따라서, 제3 사용자(203)는, 사용자 맞춤형 컨텐츠 후보군에 포함되어 있는 제2 문화예술 컨텐츠(C2)를 사용자 맞춤형 컨텐츠로서 제공받을 수 있다.
한편, 컨텐츠 추천부(104)는, 사용자 맞춤형 컨텐츠 후보군에 포함되어 있는 문화예술 컨텐츠들 중에서 사용자의 현재 감정 상태를 지시하는 사용자 감정에 따라 사용자 맞춤형 컨텐츠를 선정하고, 선정된 사용자 맞춤형 컨텐츠를 사용자 단말(200)에 제공함으로써 사용자의 현재 감정 상태를 최대한 고려한 컨텐츠를 제공할 수도 있다.
도 6은 도 2에 따른 문화예술 컨텐츠 관리부에 의해 관리되는 문화예술 컨탠츠의 태그를 나타낸 도면이다.
문화예술 컨텐츠 관리부(102)는, 컨텐츠 정보로서, 문화예술 컨텐츠들 각각에 대응하는 감상 태그를 수집할 수 있다. 여기서, 감상 태그는 사용자들이 문화예술 컨텐츠들 각각에 대하여 감상한 소감이나 정보를 기록한 각종 텍스트(text)일 수 있다. 구체적으로 예를 들어, 감상 태그는, 문화예술 컨텐츠에 대응하는 분위기, 장르, 평가, 소재, 수상 이력 등을 포함할 수 있다.
감상 태그는, 문화예술 컨텐츠를 직접 체험하거나 관람한 사용자의 사용자 단말(200)로부터 수집할 수 있으며, 감상 태그의 적어도 일부는 컨텐츠 제공 서버(100)의 관리자에 의해 입력됨으로써 수집될 수도 있다.
문화예술 컨텐츠 관리부(102)는, 사용자 단말(200)로부터 검색어를 수신하고, 수신된 검색어와 대응하는 감상 태그를 검색하고, 검색된 감상 태그와 대응하는 문화예술 컨텐츠를 사용자 단말(200)에 제공할 수 있다. 즉, 감상 태그는 문화예술 컨텐츠에 대한 색인어(index)로 사용될 수 있다.
한편, 컨텐츠 추천부(104)가 사용자의 현재 감정 상태에 따른 사용자 맞춤형 문화예술 컨텐츠를 선정하기 위하여, 감상 태그에는 문화예술 컨텐츠들 각각에 대응하는 추천 감정이 포함될 수 있다. 여기서, 추천 감정은, 문화예술 컨텐츠를 직접 체험하거나 관람한 사용자의 감정 상태를 지시하는 텍스트(text)일 수 있다.
예를 들어, 추천 감정은, 사용자의 감정이 사랑하고 싶을 때 즐기면 적합한 문화예술 컨텐츠에 대해서 '사랑하고 싶을 때'로 표현될 수 있고, 사용자의 감정이 웃고 싶을 때 즐기면 적합한 문화예술 컨텐츠에 대해서 '웃고 싶을 때'로 표현될 수 있다.
추천 감정은, 문화예술 컨텐츠를 직접 체험하거나 관람한 사용자의 사용자 단말(200)로 한정하여 수집되는 것이 가장 바람직하나, 감상 태그와 마찬가지로 추천 감정의 적어도 일부는 컨텐츠 제공 서버(100)의 관리자에 의해 입력됨으로써 수집될 수도 있다.
본 발명의 일 실시예에 따른 컨텐츠 추천부(104)는 추천 감정을 적극적으로 이용하여 사용자의 현재 감정 상태를 지시하는 사용자 감정과 대응하는 추천 감정을 검색하고, 검색된 추천 감정과 대응하는 문화예술 컨텐츠를 사용자 맞춤형 문화예술 컨텐츠로서 사용자 맞춤형 컨텐츠 후보군에서 선정하여 사용자 단말(200)에 제공할 수 있다. 이때, 컨텐츠 추천부(104)는, 사용자 감정 트래킹부(103)에 의해 결정된 사용자 감정을 사용자 감정 트래킹부(103)로부터 제공받을 수 있다.
도 7은 도 2에 따른 사용자 감정 트래킹부의 동작을 설명하기 위한 도면이다.
사용자의 현재 감정 상태를 지시하는 사용자 감정은, 분노, 사랑, 행복, 힘듦, 스릴, 웃김 등을 포함할 수 있다. 이처럼 다양한 사용자의 현재 감정 상태를 결정하기 위하여, 사용자 감정 트래킹부(103)는, 사용자 단말(200)에서 가장 최근에 미리 설정된 시간 간격동안 녹음된 음성 신호를 사용자 단말(200)로부터 수신할 수 있다. 음성 신호를 녹음하기 위하여 사용자 단말(200)에는 미리 소정의 애플리케이션이 설치될 수도 있다.
사람은 다양한 형태로 자신의 현재 감정 상태를 드러내지만, 음성에서 특히 그 감정 상태가 드러나는 경우가 많다. 따라서 본 발명의 일 실시예에 따른 사용자 감정 트래킹부(103)는, 이러한 음성 신호를 기초로 사용자 감정을 결정한다.
구체적으로, 사용자 감정 트래킹부(103)는, 사용자 단말(200)로부터 수신된 음성 신호를 이용하여 스펙트로그램(spectrogram)을 획득할 수 있다. 스펙트로그램은, 음성 신호를 주파수, 진폭, 시간으로 시각화할 수 있는 도구로서 시간축을 가로(x) 축으로 하고, 음성 신호의 주파수를 세로(y) 축으로 하고, 음성 신호의 진폭 크기를 미리 설정된 범위의 색상 값으로서 가로축과 세로축에 대응하는 지점에 표시한다.
예를 들어, 사용자 감정 트래킹부(103)는, 음성 신호의 샘플링 율(sampling rate)을 이용하여 다음의 수학식 3에 따라 고속 푸리에 변환(FFT)의 윈도우 원소 개수를 결정할 수 있다.
Figure pat00005
수학식 3에서 sr은 샘플링 율이고, W는 고속 푸리에 변환(FFT)의 윈도우 크기로서 미리 설정되는 값일 수 있다.
사용자 감정 트래킹부(103)는, 윈도우 원소 개수에 해닝 윈도우(Hanning Window)를 적용한 후, 정규화(Normalization)하여 정규화된 해닝 윈도우를 얻을 수 있다.
사용자 감정 트래킹부(103)는, 정규화된 해닝 윈도우, 샘플링 율, 및 상기 음성 신호에 대하여 미리 설정된 홉 길이로 절단(truncated)된 음성 신호를 고속 푸리에 변환(FFT)한 결과값을 이용하여 아래 수학식 4에 따른 스펙트로그램(SPT)을 획득할 수 있다.
Figure pat00006
수학식 4에서, VC는 음성 신호이고, trunc(VC)는, 미리 설정된 홉 길이로 절단된 음성 신호이고, FFT는 고속 푸리에 변환을 나타내는 함수이고, Wnh는 정규화된 해닝 윈도우이고, sr은 샘플링 율이고, T는 절단된 음성 신호의 시간 간격일 수 있다.
한편, 스펙트로그램(SPT)으로부터 인공신경망을 통해 음성 신호 분석을 수행할 경우, 수학식 4에 따른 스펙트로그램의 결과 값으로부터 특징벡터에 해당하는 MFCC(Mel-Frequency Cepstral Coefficient)를 추출하고, 추출된 MFCC 등을 인공신경망에 입력하는 학습시키는 방식을 사용할 수 있다.
그러나, 이 경우 스펙트로그램에 따른 MFCC 이외에도 ZCR(zero crossing rete) 등의 특징 벡터를 추출하여 인공신경망에 학습시키게 되는데, 이러한 다양한 특징 벡터들에 따라 인공신경망에서의 특징 학습 모델이 달라진다.
한편, 합성곱 신경망(CNN, convolutional neural network)은 전술한 특징 벡터를 입력값으로 학습하는 방식과는 달리 입력 이미지를 클래스들(classes) 중 하나로 분류하는 데 많은 연구가 이루어져 있어 입력 이미지를 분류하는 데 높은 성능을 갖는다.
본 발명은 이러한 합성곱 신경망의 분류 성능상 이점과 특징 벡터를 음성 신호에 따라 설정하는 문제점을 해결하기 위한 수단으로 스펙트로그램을 시각화하여 합성곱 신경망(CNN)을 통해 학습 및 분석하는 방법을 제안한다.
구체적으로, 스펙트로그램(SPT)은, 음성 신호의 시간을 x 축으로 하고, 음성 신호의 주파수를 y 축으로 하고, 음성 신호의 진폭 크기를 미리 설정된 범위의 색상 값으로서 x축과 y축에 대응하는 지점에 표시하면 도 6과 같이 시각화가 가능하다.
사용자 감정 트래킹부(103)는, 이렇게 시각화된 스펙트로그램에서 x축과 y축에 의해 정의되는 영역을 미리 설정된 크기의 블록(block)들로 블록화하고, 블록화된 블록들 각각에 표시되어 있는 다수의 색상 값들을 미리 정의된 화소 범위(예를 들어 8bit의 화소값으로 대응시키면 0과 255 사이의 값들) 내의 화소값으로 변환(또는 양자화)시키고, 변환된 다수의 화소 값들의 평균값 또는 중간값으로 블록들 각각에 대응하는 화소값을 결정함으로써 스펙트로그램에 대응하는 입력 이미지를 생성할 수 있다.
이렇게 생성되는 입력 이미지는 시각화된 스펙트로그램을 블록화하고 양자화하여 일부 정보를 간소화하기 때문에 음성 신호의 세부 특징이 다소 소실될 수 있으나, 특징 벡터를 이용하는 것보다 더욱 많은 정보를 담고 있기 때문에 음성 신호의 현재 감정 상태를 매우 잘 표현할 수 있다.
사용자 감정 트래킹부(103)는, 스펙트로그램에 대응하는 입력 이미지를 미리 지도학습된(supervised learning) 합성곱 신경망(CNN)에 입력하고, 합성곱 신경망의 출력으로 사용자의 현재 감정 상태를 나타내는 제1 감정을 획득할 수 있다. 이를 위해 합성곱 신경망(CNN)은 다수의 사용자 감정들 각각에 대응하는 스펙트로그램을 이미지로 변환한 입력 이미지들을 훈련 데이터로 사용하여 미리 학습될 수 있다.
한편, 본 발명의 일 실시예에 따른 사용자 감정 트래킹부(103)는, 사용자의 음성 신호에 내재된 사용자의 감정 상태를 나타내는 제1 감정 뿐만 아니라 사용자가 발화한 텍스트를 구성하는 단어들 자체로부터 드러나는 사용자의 감정 상태를 나타내는 제2 감정을 추가로 획득할 수 있다.
구체적으로, 사용자 감정 트래킹부(103)는, 음성 신호를 STT(Speech to Text) 변환함으로써 음성 신호에 대응하는 음성 텍스트를 획득할 수 있다.
다음으로 사용자 감정 트래킹부(103)는, 획득된 음성 텍스트를 다양한 벡터 변환 알고리즘들(word2Vec)를 이용하여 음성 텍스트를 구성하는 단어들 각각에 대응하는 단어 벡터들을 획득하고, 획득된 단어 벡터들을 순환 신경망(Recurrent Neural Network, RNN)에 입력하고, 순환 신경망의 출력으로 제2 감정을 획득할 수 있다.
순환 신경망(RNN)은 시간의 흐름에 따라 변화하는 데이터를 학습하기 위한 인공신경망(Artificial Neural Network, ANN)의 하나로서 음성 텍스트가 음성 신호의 시간적 흐름에 따라 순차적으로 발화되기 때문에 이러한 시간적 흐름에 따른 음성 텍스트를 분석하기에 적합하다. 순환 신경망(RNN)은 각 단어들을 시간적 순서에 따라 분석하여 사용자의 감정(제2 감정)을 결정도록 미리 학습될 수 있다. 예를 들어, 순환 신경망(RNN)은 장단기 메모리(LSTM, Long-Short term Memory) 방식의 순환 신경망으로 구현되거나 그 밖에 다른 공지된 다양한 구조의 순환 신경망으로 구성될 수 있다.
사용자 감정 트래킹부(103)는, 제1 감정과 제2 감정을 이용하여 사용자 감정을 결정할 수 있다.
구체적으로, 사용자 감정 트래킹부(103)는, 다수의 사용자 감정들 각각에 대하여 제1 감정과 제2 감정 중 하나를 선택하기 위한 선택정보를 미리 설정하여 저장할 수 있다.
예를 들어, 분노, 사랑 등의 사용자 감정들 중 일부는 음성 신호의 스펙트로그램을 통해 파악하는 것이 더 정확할 수도 있고, 사용자 감정들 중 나머지는 음성 텍스트를 통해 더욱 잘 드러날 수도 있다. 구체적으로, '사랑'은 제2 감정으로 RNN을 통해 출력되었을 때보다 제1 감정으로 CNN을 통해 출력되었을때 선택되도록 선택 정보로서 구성될 수 있고, '분노'는 제2 감정으로 RNN을 통해 출력되었을 때 선택되도록 선택 정보로서 구성될 수 있다.
따라서, 이러한 점들을 고려하여 선택 정보가 미리 관리자에 의해 입력되어 저장되며, 사용자 감정 트래킹부(103)는, 이러한 선택 정보를 기초로 제1 감정과 제2 감정 중 하나를 선택하여 사용자 감정으로 결정할 수 있다.
도 8은 도 7에 따른 합성곱 신경망의 구조를 예시적으로 나타낸 도면이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 합성곱 신경망(10)은, 미리 설정된 크기의 스펙트로그램과 대응하는 입력 이미지를 입력받아, 특징 맵을 추출하는 컨볼루셔널 계층(11), 추출된 특징에 대해 활성화 함수를 이용해 출력을 활성화할지 여부를 결정하는 활성화 계층(12), 활성화 계층(12)에 따른 출력에 대해 샘플링을 수행하는 풀링 계층(13), 클래스에 따른 분류를 수행하는 완전 연결 계층(14), 완전 연결 계층(14)에 따른 출력을 최종적으로 출력하는 출력 계층(15)을 포함할 수 있다.
컨볼루셔널 계층(11)은 입력 이미지와 필터를 서로 합성곱함으로써 입력 데이터의 특징을 추출하는 계층일 수 있다. 여기서 필터는 입력 이미지의 특징적 부분을 검출하는 함수로서, 일반적으로 행렬로 표현되며 학습 데이터에 의해 지속적으로 학습됨에 따라 결정되는 함수일 수 있다. 컨볼루셔널 계층(11)에 의해 추출된 특징은 특징 맵(feature map)으로 지칭될 수도 있다. 또한, 합성곱을 수행하는 간격 값을 스트라이드(stride)라고 지칭할 수 있는데, 스트라이드 값에 따라 다른 크기의 특징 맵이 추출될 수 있다. 이때, 특징 맵은 필터의 크기가 입력 영상보다 작으면, 기존의 입력 영상보다 더 작은 크기를 갖게 되는데, 여러 단계를 거쳐 특징이 소실되는 것을 방지하기 위하여 패딩 과정이 추가로 수행될 수 있다. 이때, 패딩 과정은 생성된 특징 맵의 외곽에 미리 설정된 값(예를 들면 0이나 1)을 추가함으로써 입력 영상의 크기와 특징 맵의 크기를 동일하게 유지하는 과정일 수 있다.
여기서 본 발명의 일 실시예에 따른 컨볼루셔널 계층(11)은, 1×1 컨볼루셔널 계층과 3×3 컨볼루셔널 계층을 순차로 반복 연결한 구조를 사용할 수 있다.
활성화 계층(12)는 어떠한 값(또는 행렬)으로 추출된 특징을 활성화 함수에 따라 비선형 값으로 바꾸어 활성화 여부를 결정하는 계층으로, 활성화 함수로는 시그모이드(sigmoid) 함수, ReLU 함수, 소프트맥스(softmax) 함수 등이 사용될 수 있다. 예를 들어, 소프트맥스 함수는 입력된 값을 0~1사이의 값으로 모두 정규화하며 출력 값들의 총합은 항상 1이 되는 특성을 가진 함수일 수 있다.
풀링 계층(130)은 활성화 계층(12)의 출력에 대하여 서브 샘플링(subsampling) 또는 풀링(pooling)을 수행하여 특징맵을 대표하는 특징을 선정하는 계층으로서, 특징맵의 일정 영역에 대하여 가장 큰 값을 추출하는 맥스 풀링(max pooling), 평균값을 추출하는 애버리지 풀링(average pooling) 등이 수행될 수 있다. 이때, 풀링 계층은 활성화 함수 이후에 반드시 수행되는 것이 아니라 선택적으로 수행될 수 있다.
또한, 여기서 합성곱 신경망(10)은, 컨볼루셔널 계층(11), 활성화 계층(12), 풀링 계층(13)의 연결 구조가 복수개 포함될 수도 있다.
도 9는 도 2에 따른 메이트 선정부의 동작을 설명하기 위한 도면이다.
도 9를 참조하면, 메이트 선정부(105)는, 사용자 맞춤형 추천 컨텐츠를 함께 즐길 메이트를 선정하여 사용자에게 제공할 수 있다.
구체적으로, 메이트 선정부(105)는, 사용자 A와 사용자 B가 공통적으로 평가 정보를 남긴 n개의 문화예술 컨텐츠들을 선정할 수 있다. 여기서 n개의 문화예술 컨텐츠들의 개수는 문화예술 컨텐츠 하나에 대응하는 개별 평점의 평가 항목들의 개수와 동일할 수 있다.
다음으로, 메이트 선정부(105)는, 사용자 A가 n개의 문화예술 컨텐츠들 각각에 남긴 평가 정보들과 대응하는 평가 항목 벡터들(a1~an)을 결정하고, 결정된 평가 항목 벡터들(a1~an)을 열(column)로 갖는 제1 사용자 행렬(MatA)을 생성할 수 있다.
같은 방식으로 메이트 선정부(105)는, 사용자 B가 n개의 문화예술 컨텐츠들 각각에 남긴 평가 정보들과 대응하는 평가 항목 벡터들(b1~bn)을 결정하고, 결정된 평가 항목 벡터들(b1~bn)을 열(column)로 갖는 제2 사용자 행렬(MatB)을 생성할 수 있다.
여기서, 평가 항목 벡터들 각각은, 문화예술 컨텐츠에 대응하는 개별 평점들 각각을 요소(element)로 포함할 수 있다. 즉, 제1 사용자 행렬(MatA)과 제2 사용자 행렬(MatB)은 n×n의 크기를 갖는 정사각행렬일 수 있다.
다음으로, 메이트 선정부(105)는, 제1 사용자 행렬(MatA)에서 산출된 제1 고유 벡터(Aev)와 제2 사용자 행렬(MatB)에서 산출된 제2 고유 벡터(Bev)를 이용하여 사용자 A와 사용자 B 사이의 메이트 거리를 결정할 수 있다. 이때, 고유 벡터(eigen vector)가 존재하지 않는 경우, 사용자 행렬들(MatA, MatB) 각각을 구성하는 열을 서로 교환하여 고유 벡터를 도출할 수 있다.
구체적으로, 메이트 선정부(105)는, 제1 고유 벡터(Aev)와 제2 고유 벡터(Bev)를 이용하여 메이트 거리(d(Aev, Bev))를 다음의 수학식 5에 따라 결정할 수 있다.
Figure pat00007
Figure pat00008
수학식 5에 따른 메이트 거리는 0에 가까울수록 사용자 A와 사용자 B가 서로 유사한 컨텐츠 평가 취향을 갖는 것으로 볼 수 있고, 0보다 클수록 서로 다른 평가 취향을 갖고 있는 것으로 볼 수 있다.
메이트 선정부(105)는, 상술한 방식으로 사용자 맞춤형 추천 컨텐츠를 제공받을 특정 사용자와 메이트 거리가 가장 가까운 사용자를 메이트(mate)로 선정하고, 선정된 메이트를 사용자 맞춤형 추천 컨텐츠를 함께 즐길 사용자로서 사용자 단말(200)에 제공할 수 있다.
도 10은 도 1에 따른 컨텐츠 제공 서버의 하드웨어 구성을 예시적으로 나타낸 도면이다.
도 10을 참조하면, 컨텐츠 제공 서버(100)는 적어도 하나의 프로세서(110); 및 적어도 하나의 프로세서(110)가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.
여기서 적어도 하나의 동작은 도 1 내지 도 9를 참조하여 설명한 컨텐츠 제공 서버(100)의 동작이나 기능 중 적어도 일부를 포함할 수 있다.
여기서 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중 하나일 수 있고, 저장 장치(160)는, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 또는 각종 메모리 카드(예를 들어, micro SD 카드) 등일 수 있다.
또한, 컨텐츠 제공 서버(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(130)를 포함할 수 있다. 또한, 컨텐츠 제공 서버(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 컨텐츠 제공 서버(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다.
컨텐츠 제공 서버(100)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (1)

  1. 사용자 맞춤형 문화 예술 컨텐츠 큐레이션을 제공하고, 사용자와 함께 관람할 메이트를 추천하기 위한 컨텐츠 제공 서버로서,
    다수의 사용자 단말들의 사용자들 각각에 대응하는 사용자 정보를 수신하고, 상기 사용자 정보 및 상기 사용자들이 문화예술 컨텐츠를 이용한 이용기록 정보를 포함하는 사용자 프로필 정보를 생성하여 관리하는 사용자 프로필 관리부;
    등록된 다수의 문화예술 컨텐츠들 각각에 대응하는 컨텐츠 정보를 생성하여 관리하는 문화예술 컨텐츠 관리부;
    상기 컨텐츠 정보에 포함된 상기 문화예술 컨텐츠들 각각에 대응하는 평가 정보를 기반으로 상기 문화예술 컨텐츠들에 대한 제1 사용자의 예측 선호도를 결정하고, 상기 예측 선호도를 기반으로 사용자 맞춤형 컨텐츠 후보군을 선정하고, 상기 사용자 맞춤형 컨텐츠 후보군에서 상기 제1 사용자를 위한 사용자 맞춤형 추천 컨텐츠를 선정하는 컨텐츠 추천부;
    상기 사용자들 중에서 상기 사용자 맞춤형 추천 컨텐츠와 함께 즐길 메이트를 선정하는 메이트 선정부; 및
    상기 제1 사용자의 사용자 단말로부터 가장 최근에 미리 설정된 시간 간격동안 녹음된 음성 신호를 수신하고, 상기 음성 신호에 기초하여 상기 제1 사용자의 사용자 감정을 결정하는 사용자 감정 트래킹부를 포함하고,
    상기 컨텐츠 정보는,
    상기 문화예술 컨텐츠들 각각에 대한 분위기, 장르, 소재, 및 수상 이력 중 적어도 하나와, 상기 문화예술 컨텐츠들 각각에 대하여 관람한 사용자의 감정 상태를 지시하는 추천 감정으로 구성된 감상 태그를 포함하고,
    상기 사용자 감정 트래킹부는,
    상기 음성 신호의 시간을 x축으로 하고, 상기 음성 신호의 주파수를 y축으로 하고, 상기 음성 신호의 진폭 크기를 미리 설정된 범위의 색상으로 표시하여 시각화함으로써, 스펙트로그램(spectrogram)을 획득하고, 상기 스펙트로그램을 미리 설정된 크기의 블록들로 블록화하고, 블록화된 상기 블록들 각각에 대응하는 화소값으로 변환하여 입력 이미지를 생성하고, 생성된 상기 입력 이미지를 미리 지도학습된 합성곱 신경망(Convolutional Neural network, CNN)에 입력하고, 상기 합성곱 신경망의 출력에 기초하여 제1 감정을 결정하고,
    상기 음성 신호를 STT(Speech to Text) 변환하여 상기 음성 신호와 대응하는 음성 텍스트를 획득하고, 상기 음성 텍스트를 구성하는 단어들을 순환신경망(Recurrent Neural Network, RNN)을 이용하여 분석함으로써 제2 감정을 결정하고,
    미리 다수의 사용자 감정들 각각에 대하여 미리 정의된 선택 정보를 참조하여 상기 제1 감정과 상기 제2 감정 중 하나의 감정을 선택하고, 선택된 감정을 상기 사용자 감정으로 결정하고,
    상기 메이트 선정부는,
    상기 제1 사용자와 대응하는 제1 사용자 행렬을 생성하고,
    상기 제1 사용자와 구별되는 제2 사용자들과 대응하는 제2 사용자 행렬들을 생성하고,
    상기 제1 사용자 행렬과 상기 제2 사용자 행렬들 사이에 미리 정의된 메이트 거리를 산출하고,
    산출된 상기 메이트 거리에 기초하여 상기 제2 사용자들 중에서 상기 제1 사용자와 함께 컨텐츠를 즐길 메이트를 선정하는, 컨텐츠 제공 서버.
KR1020210176017A 2021-03-29 2021-12-09 사용자 맞춤형 문화 예술 컨텐츠 큐레이션을 제공하고, 사용자와 함께 관람할 메이트를 추천하기 위한 방법 및 장치 KR20220135150A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210176017A KR20220135150A (ko) 2021-03-29 2021-12-09 사용자 맞춤형 문화 예술 컨텐츠 큐레이션을 제공하고, 사용자와 함께 관람할 메이트를 추천하기 위한 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210040477A KR102339377B1 (ko) 2021-03-29 2021-03-29 사용자 맞춤형 문화 예술 컨텐츠 제공 방법 및 장치
KR1020210176017A KR20220135150A (ko) 2021-03-29 2021-12-09 사용자 맞춤형 문화 예술 컨텐츠 큐레이션을 제공하고, 사용자와 함께 관람할 메이트를 추천하기 위한 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210040477A Division KR102339377B1 (ko) 2021-03-29 2021-03-29 사용자 맞춤형 문화 예술 컨텐츠 제공 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220135150A true KR20220135150A (ko) 2022-10-06

Family

ID=78831786

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210040477A KR102339377B1 (ko) 2021-03-29 2021-03-29 사용자 맞춤형 문화 예술 컨텐츠 제공 방법 및 장치
KR1020210176017A KR20220135150A (ko) 2021-03-29 2021-12-09 사용자 맞춤형 문화 예술 컨텐츠 큐레이션을 제공하고, 사용자와 함께 관람할 메이트를 추천하기 위한 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020210040477A KR102339377B1 (ko) 2021-03-29 2021-03-29 사용자 맞춤형 문화 예술 컨텐츠 제공 방법 및 장치

Country Status (1)

Country Link
KR (2) KR102339377B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102649926B1 (ko) * 2023-01-18 2024-03-22 쿠팡 주식회사 사용자의 정보를 관리하는 방법 및 그 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102617004B1 (ko) * 2022-12-27 2023-12-27 쿠팡 주식회사 추천 컨텐츠를 제공하는 전자 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101533083B1 (ko) * 2008-12-10 2015-07-02 삼성전자 주식회사 위치기반 컨텐츠 추천방법, 위치기반 컨텐츠 추천장치 및 전자장치
KR20120104648A (ko) * 2010-10-26 2012-09-24 주식회사 케이티 개인 맞춤형 컨텐츠 추천 장치 및 그 방법과 그를 이용한 시스템 및 그 방법
KR20190097500A (ko) * 2018-02-12 2019-08-21 주식회사파크엘아이씨티 컨텐츠 제공 방법 및 장치
KR20200091328A (ko) * 2019-01-22 2020-07-30 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102649926B1 (ko) * 2023-01-18 2024-03-22 쿠팡 주식회사 사용자의 정보를 관리하는 방법 및 그 장치

Also Published As

Publication number Publication date
KR102339377B1 (ko) 2021-12-13

Similar Documents

Publication Publication Date Title
US11868732B2 (en) System for minimizing repetition in intelligent virtual assistant conversations
CN111310019B (zh) 信息推荐方法、信息处理方法、系统及设备
US11188831B2 (en) Artificial intelligence system for real-time visual feedback-based refinement of query results
US11334804B2 (en) Cognitive music selection system and method
CN111046286B (zh) 一种对象推荐方法、装置、以及计算机存储介质
CN108491540B (zh) 文本信息推送方法、装置及智能终端
KR102040400B1 (ko) 머신러닝을 이용한 사용자 맞춤형 문제 제공 시스템 및 방법
CN109992650A (zh) 用于在运行中提供个性化洞察的认知对话代理
US11544135B2 (en) Systems and methods for the analysis of user experience testing with AI acceleration
CN111708941A (zh) 内容推荐方法、装置、计算机设备和存储介质
KR102339377B1 (ko) 사용자 맞춤형 문화 예술 컨텐츠 제공 방법 및 장치
JP2017527881A (ja) エモティコンを識別および提案するためのシステムおよび方法
CN112364234B (zh) 一种在线讨论的自动分组系统
US20170046748A1 (en) Method and system for personifying a brand
CN113748439A (zh) 电影的成功商数的预测
Song et al. Personalized menu optimization with preference updater: a Boston case study
US20200184965A1 (en) Cognitive triggering of human interaction strategies to facilitate collaboration, productivity, and learning
US20210097372A1 (en) Co-Informatic Generative Adversarial Networks for Efficient Data Co-Clustering
JP6958552B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN113641835B (zh) 多媒体资源推荐方法、装置、电子设备及介质
CN112699311A (zh) 信息推送方法、存储介质及电子设备
KR20210091970A (ko) 심박 정보를 이용한 영상 취향 분석 시스템 및 방법
KR102358495B1 (ko) 큐레이션을 통한 동영상 및 카드 뉴스를 제공하는 서버 및 이의 동작 방법
CN115422918A (zh) 一种叙事对象的叙事能力评估方法及装置
CN114202402A (zh) 行为特征预测方法及装置