KR20220154056A - 빅데이터 기반 예술 융복합 ai 서비스 사용자 추천 시스템 및 그 방법 - Google Patents

빅데이터 기반 예술 융복합 ai 서비스 사용자 추천 시스템 및 그 방법 Download PDF

Info

Publication number
KR20220154056A
KR20220154056A KR1020220058627A KR20220058627A KR20220154056A KR 20220154056 A KR20220154056 A KR 20220154056A KR 1020220058627 A KR1020220058627 A KR 1020220058627A KR 20220058627 A KR20220058627 A KR 20220058627A KR 20220154056 A KR20220154056 A KR 20220154056A
Authority
KR
South Korea
Prior art keywords
data
art
music
user
emotional
Prior art date
Application number
KR1020220058627A
Other languages
English (en)
Inventor
고혜영
이기한
이수연
Original Assignee
서울여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울여자대학교 산학협력단 filed Critical 서울여자대학교 산학협력단
Publication of KR20220154056A publication Critical patent/KR20220154056A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Abstract

본 발명은 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템 및 그 방법에 관한 것으로, 미술 작품과 음악 작품에서 느껴지는 감성을 분류하여 분석하여 사용자에게 작품을 추천하는 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템 및 그 방법에 관한 것이다. 본 발명에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템은 사용자 취향 또는 상황에 따른 감성을 분류하여 데이터로 수집하는 수집부, 음악, 미술의 감성 데이터를 이용해 음악과 미술의 감성 유사도를 계산하여 매칭하는 매칭부 및 상기 사용자 취향에 따른 데이터와 사용자 상황 데이터를 활용하여 사용자에게 플레이리스트를 추천하는 추천부를 포함하여 신진작가들이 작품을 홍보할 수 있는 기회의 장을 만들고, 콜라보 전시 및 행사를 진행할 수 있도록 하는 효과가 있다.

Description

빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템 및 그 방법{Big data-based art convergence AI service user recommendation system and method}
본 발명은 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 미술 작품과 음악 작품에서 느껴지는 감성을 분류하여 분석하여 사용자에게 작품을 추천하는 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템 및 그 방법에 관한 것이다.
전통적인 미술 전시와 음악 공연은 시간과 장소에 제약적이었으며, 관람가에게 독자적인 경험을 제공했다. 최근 COVID19로 인해 비대면 활동이 증가함에 따라 미술전시와 음악 공연은 취소되거나 축소되었다. 이러한 상황에 따라 기존의 관람객은 뉴미디어를 이용한 문화생활을 대체하여 전통적인 예술 관람 방식이 뉴미디어를 접목한 다양한 형태로 많이 출현되고 있는 실정이다.
미디어 영역의 '경계를 초월한 융합'과 '서로 간의 영향을 주고받는' 현상 즉 미디어간 융합이 보편화되어, 글로벌 미디어 기업들의 콘텐츠 기반 OTT가 확장하는 추세이며, 해당 영역은 사용자에게 새로운 시청각적 경험의 기회와 다양한 콘텐츠와 더불어 사용자 맞춤 콘텐츠 추천에 인공지능을 접목하는 서비스를 제공할 필요가 있다.
그리고 예술가들의 활동의 장을 마련할 수 있는 서비스와 관람객에게는 시공간에 제약을 받지 않은 예술 융복합 콘텐츠 제공, 관람객의 상황과 감성, 취향을 고려하는 추천 시스템을 개발할 필요가 있다.
공개특허 10-2021-0110239(2021.09.07.)
본 발명은 상술한 문제를 해결하고자 고안한 것으로, 미술 작품과 음악 작품에서 느껴지는 감성을 분류하여 분석하여 사용자에게 작품을 추천하는 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템 및 그 방법을 제공함에 있다.
본 발명에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템은 사용자 취향 또는 상황에 따른 감성을 분류하여 데이터로 수집하는 수집부(100), 음악, 미술의 감성 데이터를 이용해 음악과 미술의 감성 유사도를 계산하여 매칭하는 매칭부(200) 및 상기 사용자 취향에 따른 데이터와 사용자 상황 데이터를 활용하여 사용자에게 플레이리스트를 추천하는 추천부(300)를 포함한다.
바람직하게 상기 수집부는 사용자 취향 또는 상황에 따른 감성을 분류하여 데이터로 수집하되, 사용자의 취향에 가까운 음악 작품과 미술 작품의 특징(feature)을 리스트로 저장하여 해당 사용자의 취향 분석 데이터로 저장하고, 상기 리스트에 입력되는 관심도에 따라 플레이리스트의 미술데이터와 음악데이터의 특징(feature)을 리스트로 저장하여 사용자 취향 데이터를 업데이트한다.
매칭부는 음악, 미술의 감성 데이터를 이용해 음악과 미술의 감성 유사도를 계산하여 매칭하되, 음악, 미술의 매칭을 위해 음악과 미술의 감성 형용사 개수를 공통 감성 형용사 개수로 설정하고, 음악과 미술의 매칭은 각 데이터의 감성값의 유클리디안거리 수식을 이용하여 가장 유사한 데이터끼리 매칭하도록 한다.
추천부는 사용자의 상황데이터를 고려하여 가중치를 부여한 후, 해당 상황 데이터의 감성값과 미술, 음악 데이터의 감성값이 가장 유사한 데이터를 추천하는 상황 추천모듈(310), 사용자 취향 데이터에 따른 미술, 음악 데이터의 특징(feature)이 같은 경우 가중치를 부여하여 사용자 취향을 고려한 플레이리스트를 추천하는 취향 추천모듈(320)을 포함한다.
한편, 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템을 이용한 방법에 있어서, (a) 상기 시스템이 사용자 취향 또는 상황에 따른 감성을 분류하여 데이터로 수집하는 단계, (b) 상기 시스템이 음악, 미술의 감성 데이터를 이용해 음악과 미술의 감성 유사도를 계산하여 매칭하는 단계 및 (c) 상기 시스템이 상기 사용자 취향에 따른 데이터와 사용자 상황 데이터를 활용하여 사용자에게 플레이리스트를 추천하는 단계를 포함한다.
상기 (a)단계는 사용자 취향 또는 상황에 따른 감성을 분류하여 데이터로 수집하되, 사용자의 취향에 가까운 음악 작품과 미술 작품의 특징(feature)을 리스트로 저장하여 해당 사용자의 취향 분석 데이터로 저장하고, 상기 리스트에 입력되는 관심도에 따라 플레이리스트의 미술데이터와 음악데이터의 특징(feature)을 리스트로 저장하여 사용자 취향 데이터를 업데이트한다.
(b)단계는 음악, 미술의 감성 데이터를 이용해 음악과 미술의 감성 유사도를 계산하여 매칭하되, 음악, 미술의 매칭을 위해 음악과 미술의 감성 형용사 개수를 공통 감성 형용사 개수로 설정하고, 음악과 미술의 매칭은 각 데이터의 감성값의 유클리디안거리 수식을 이용하여 가장 유사한 데이터끼리 매칭하도록 한다.
(c)단계는 사용자의 상황데이터를 고려하여 가중치를 부여한 후, 해당 상황 데이터의 감성값과 미술, 음악 데이터의 감성값이 가장 유사한 데이터를 추천하고, 사용자 취향 데이터에 따른 미술, 음악 데이터의 특징(feature)이 같은 경우 가중치를 부여하여 사용자 취향을 고려한 플레이리스트를 추천한다.
본 발명의 일 실시예에 따르면, 콘텐츠 가치 측면에서 클래식 음악, 미술 작품, 큐레이션 데이터가 사용자 맞춤형 콘텐츠로 제작된다. 서비스 가치 측면에서 보면, 시공간 제약없는 예술작품 감상, 예술가들의 활동 확대. 사용자에게 다양한 경험을 제공한다. 핵심 기능은 빅데이터를 활용한 사용자 맞춤 추천과 콘텐츠를 생성할 수 있고, 분석과 정형화가 어려운 문화 예술 분야 콘텐츠와 사용자 경험을 분석, 가공하는 모델에 대한 좋은 사례가 된다. 그리고 젊은 예술가들의 초기 활동 지원에 도움이되며, 융복합 예술 산업 시장 확산에 도움이 된다. 이로써, 본 발명의 시스템 플랫폼을 통해 신진작가들이 작품을 홍보할 수 있는 기회의 장을 만들고, 콜라보 전시 및 행사를 진행할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템의 구성을 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템을 이용한 방법을 나타낸 흐름도이다.
도 3은 본 발명의 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템의 플레이리스트를 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템의 상황 데이터의 정의를 설명하기 위한 것이다.
도 5는 본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템의 플레이리스트 추천과정을 구체적 설명하기 위한 것이다.
도 6은 도 5의 음악과 미술 매칭의 세부과정을 나타낸 흐름도이다.
도 7은 본 실시예에 따른 플레이리스트를 나타낸 도면이다.
도 8은 플레이리스트와 미니플레이리스트를 나타낸 도면이다.
도 9는 다른 실시예에 따른 미니플레이리스트와 플레이리스트를 정의한 것이다.
도 10은 본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템의 수집부에서 음악데이터에서 음악 감성 분류결과를 나타내는 과정을 나타낸 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템의 미술 작품 분류과정을 설명하기 위한 개략적인 흐름도이다.
도 12는 미술 작품 분류과정의 세부 과정을 나타낸 흐름도이다.
본 발명의 실시예에서 제시되는 특정한 구조 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있다. 또한, 본 명세서에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 되며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경물, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
한편, 본 발명에서 제1 및/또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소들과 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않는 범위 내에서, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다. 본 발명의 실시예를 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 설명을 생략하였다.
본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템은 미술 작품과 음악 작품에서 느껴지는 감성을 분류한 데이터와 사용자의 상황데이터와 취향 데이터, 감성 데이터 즉 추상화 데이터를 분석하는 모델에 관한 것이다. 미술과 음악 작품을 감성 데이터의 유사도를 계산하여 가장 유사한 음악 작품과 미술 작품을 매칭하여 사용자에게 추천하는 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템이다.
도 1은 본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템의 구성을 나타낸 것이다. 도 1에 도시된 바와 같이, 본 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템은 수집부(100), 매칭부(200), 추천부(300)를 포함한다.
수집부(100)는 사용자 취향 또는 상황에 따른 감성을 분류하여 데이터로 수집하는 구성이다. 이러한 수집부는 사용자의 취향에 가까운 음악 작품과 미술 작품의 특징(feature)을 리스트로 저장하여 해당 사용자의 취향 분석 데이터로 저장하고, 리스트에 입력되는 관심도에 따라 플레이리스트의 미술데이터와 음악데이터의 특징(feature)을 리스트로 저장하여 사용자 취향 데이터를 지속적으로 업데이트한다. 이에 따라 해당 데이터는 사용자 취향을 분석하기 위해 필요하다.
매칭부(200)는 음악, 미술의 감성 데이터를 이용해 음악과 미술의 감성 유사도를 계산하여 매칭하는 구성이다. 이러한 매칭부는 음악, 미술의 매칭을 위해 음악과 미술의 감성 형용사 개수를 공통 감성 형용사 개수로 설정하고, 음악과 미술의 매칭은 각 데이터의 감성값의 유클리디안거리 수식을 이용하여 가장 유사한 데이터끼리 매칭하도록 한다. 부연하면, 본 실시예에서 음악, 미술의 매칭을 위해 음악과 미술의 감성 형용사 개수를 공통 감성 형용사 개수인 16개로 통일한다는 룰을 정한다.
추천부(300)는 사용자 취향에 따른 데이터와 사용자 상황 데이터를 활용하여 사용자에게 플레이리스트를 추천하기 위한 구성이다. 이러한 기능을 수행하기 위한 추천부(300)는 상황 추천모듈(310), 취향 추천모듈(320), 판단모듈(330)을 포함한다.
상황 추천모듈(310)은 사용자의 상황데이터를 고려하여 가중치를 부여한 후, 해당 상황 데이터의 감성값과 미술, 음악 데이터의 감성값이 가장 유사한 데이터를 추천한다.
취향 추천모듈(320)은 사용자 취향 데이터에 따른 미술, 음악 데이터의 특징(feature)이 같은 경우 가중치를 부여하여 사용자 취향을 고려한 플레이리스트를 추천한다.
판단모듈(330)은 사용자에게 플레이리스트를 추천시, 추천시의 시간, 사용자의 음성을 인지, 음성의 높낮이, 날씨, 계절에 따른 사용자의 상황데이터를 고려할 상황인지 또는 사용자 취향 데이터를 고려할 상황인지를 판단하기 위한 구성이다.
본 실시예에 따르면, 상황데이터를 고려해야할 상황이라면, 가중치를 부여한 후 해당 상황이터의 감성값과 미술, 음악 데이터의 감성값이 가장 유사한 데이터를 추천한다. 또한 사용자 취향 데이터가 있다면, 미술, 음악 데이터의 feature와 같은 경우 가중치를 부여하여 사용자 취향을 고려한 플레이리스트를 추천한다.
도 2는 본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템을 이용한 방법을 나타낸 흐름도이다. 도 2에 도시된 바와 같이, 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템(이하, 시스템)이 사용자 취향 또는 상황에 따른 감성을 분류하여 데이터로 수집하는 단계(a), 음악, 미술의 감성 데이터를 이용해 음악과 미술의 감성 유사도를 계산하여 매칭하는 단계(b), 사용자 취향에 따른 데이터와 사용자 상황 데이터를 활용하여 사용자에게 플레이리스트를 추천하는 단계(c)를 포함한다.
(a)단계는 사용자 취향 또는 상황에 따른 감성을 분류하여 데이터로 수집하되, 사용자의 취향에 가까운 음악 작품과 미술 작품의 특징(feature)을 리스트로 저장하여 해당 사용자의 취향 분석 데이터로 저장하고, 상기 리스트에 입력되는 관심도에 따라 플레이리스트의 미술데이터와 음악데이터의 특징(feature)을 리스트로 저장하여 사용자 취향 데이터를 지속적으로 업데이트한다.
(b)단계는 음악, 미술의 감성 데이터를 이용해 음악과 미술의 감성 유사도를 계산하여 매칭하되, 음악, 미술의 매칭을 위해 음악과 미술의 감성 형용사 개수를 공통 감성 형용사 개수로 설정하고, 음악과 미술의 매칭은 각 데이터의 감성값의 유클리디안거리 수식을 이용하여 가장 유사한 데이터끼리 매칭하도록 한다.
(c)단계는 사용자의 상황데이터를 고려하여 가중치를 부여한 후, 해당 상황 데이터의 감성값과 미술, 음악 데이터의 감성값이 가장 유사한 데이터를 추천하고, 사용자 취향 데이터에 따른 미술, 음악 데이터의 특징(feature)이 같은 경우 가중치를 부여하여 사용자 취향을 고려한 플레이리스트를 추천한다.
이러한 (c)단계는 사용자에게 플레이리스트를 추천시, 추천시의 시간, 사용자의 음성을 인지, 음성의 높낮이, 날씨, 계절에 따른 사용자의 상황데이터를 고려할 상황인지 또는 사용자 취향 데이터를 고려할 상황인지를 판단하기 위한 단계를 더 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템의 플레이리스트를 나타낸 것이다. 도 3에 도시된 바와 같이, 본 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템에서 플레이리스트를 정의하면 다음과 같다. 음악 감성 분류 모델에서 음악의 구조가 변함에 따라 구조를 추출하여 음악의 timestamp로 정의한다. 추천서비스에서는 음악의 timestamp 1개를 미니플레이리스트로 정의했다. 미니플레이리스트는 음악의 구간의 길이/10만큼 미술을 매칭한다. 플레이리스트는 미니플레이리스트의 전체 음악 구간으로 정의한다.
도 4는 본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템의 상황 데이터의 정의를 설명하기 위한 것이다. 도 4에 도시된 바와 같이, 사용자 데이터는 수집한 미술, 음악 데이터를 기반으로 기념일, 계절, 날씨, 시간대로 범주화하여 정의한다. 상황 데이터의 감성데이터 수집 방법은 상황데이터 위치의 경우, 예술가에게 수집한 미술,음악 데이터와 어울리는 위치를 라벨링 받는다. 위치 이외의 나머지 상황데이터는 세부 항목을 키워드로 네이버 뉴스 검색 결과를 크롤링한 후, 기사를 자연어 처리 기법을 이용해 감성 데이터를 수집한다.
도 5는 본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템의 플레이리스트 추천과정을 구체적 설명하기 위한 것이다. 도 5에 도시된 바와 같이, 시스템이 감성형용사, 사용자 취향데이터, 음악 구간감성 데이터, 미술 감성 데이터를 수집한다(s1). 다음으로 감성 형용사 높은 음악을 선택한다(s2). 다음으로 특정 지역의 작가인가를 판단한다(s3). 특정 지역 작가 가중치를 적용하여 Music score를 계산한다(s4). 다음으로 사용자 취향, 사용자 상황 데이터 유무를 확인한다(s5). 사용자 취향, 사용자 상황 가중치를 적용하여 Music score를 계산한다(s6). 다음으로 Music score를 정렬한다(s7). 다음으로 음악과 미술을 매칭한다(s8). 다음으로 미니플레이리스트 같은 음악을 추출한다(s9). 이후, 플레이리스트를 생성한다(s10).
도 6은 도 5의 음악과 미술 매칭의 세부과정을 나타낸 흐름도이다. 도 6에 도시된 바와 같이, 음악과 미술 매칭의 세부과정에 있어서, 시스템이 음악 구간을 탐색한다(s81). 다음으로 음악의 마지막 구간인지를 판단한다(s82). 다음으로 특정 음악 구간과 미술을 매칭한다(s83). 다음으로 미니플레이리스트를 생성한다(s84).
본 실시예에서, s83 단계는 음악구간에서 매칭할 미술 개수를 저장하고, 음악구간의 감성값과 미술 전체 구간의 감성값 유사도를 계산한다. 다음으로 특정 지역의 작가인지에 따라 가중치를 적용하고, 사용자 취향, 사용자 상황 데이터 유무를 확인하여 가중치를 적용한 결과를 정렬하여 미술 매치 개수를 선택한다.
본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템에 의해 얻어지는 효과는 콘텐츠 가치 측면에서 클래식 음악, 미술 작품, 큐레이션 데이터가 사용자 맞춤형 콘텐츠로 제작된다. 서비스 가치 측면에서 보면, 시공간 제약없는 예술작품 감상, 예술가들의 활동 확대. 사용자에게 다양한 경험을 제공한다. 핵심 기능은 빅데이터를 활용한 사용자 맞춤 추천과 콘텐츠를 생성할 수 있고, 분석과 정형화가 어려운 문화 예술 분야 콘텐츠와 사용자 경험을 분석, 가공하는 모델에 대한 좋은 사례가 된다. 그리고 젊은 예술가들의 초기 활동 지원에 도움이되며, 융복합 예술 산업 시장 확산에 도움이 된다. 이로써, 본 발명의 시스템 플랫폼을 통해 신진작가들이 작품을 홍보할 수 있는 기회의 장을 만들고, 콜라보 전시 및 행사를 진행할 수 있도록 하는 효과가 있다.
본 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템의 플레이리스트는 예술 융복합 사용자 맞춤형 추천시스템으로서, 음악 데이터의 감성과 유사한 미술 데이터를 매칭하여 사용자에게 추천한다. 본 실시예에 따른 시스템은 서비스가 진행될수록 사용자의 취향, 상황데이터를 고려하여 사용자에게 추천한다.
플레이리스트 데이터는 미술 데이터, 음악 데이터, 사용자 데이터로 분류할 수 있다. 미술 데이터는 미술 메타데이터, 미술 작품 감성 분류모델 이용하여 감성 라벨링한 데이터이다. 음악 데이터는 음악 메타데이터, 음악 구간 감성 분류 모델 이용하여 감성 라벨링한 데이터이다. 사용자 데이터는 서비스 등록한 사용자 취향 데이터, 상황데이터를 포함한다.
사용자 데이터는 개인화 서비스에 필요한 데이터, 즉 사용자 맞춤 콘텐츠를 제공하기 위해 필요한 데이터에는 크게 '콘텐츠 데이터'와 '사용자 데이터'가 있다. 본 서비스에서는 서비스 초기의 coldstart 상황까지 고려하여 서비스가 시작되면서 생성되는 콘텐츠 데이터를 제외하고 '사용자 데이터'를 사용한다. 사용자 데이터에는 기념일, 계절, 날씨, 위치, 시간대로 범주화한다.
본 실시예에 따른 시스템에 적용되는 감성 형용사는 미술의 감성 데이터로서, 활기찬, 생기넘치는 / 강렬한, 열정적인 / 즐거운 / 놀라운 / 공포스러운 / 불쾌한 / 불안한, 초조한 / 나른한, 지루한 / 우울한 / 정적인 / 잔잔한 / 편안한 / 행복한 / 친근한,다정한 / 신비로운 / 우아한을 포함하는 16개이다.
또한 음악의 감성 데이터로서, 활기찬, 생기넘치는 / 강렬한, 열정적인 / 즐거운 / 놀라운 / 공포스러운 / 불쾌한 / 불안한, 초조한 / 나른한, 지루한 / 우울한 / 정적인 / 잔잔한 / 편안한 / 행복한 / 친근한, 다정한 / 신비로운 / 우아한 / 감미로운 / 웅장한 / 경건한을 포함하는 19개이다.
본 실시예에 따른 상황 데이터의 정의를 하면 다음과 같다. 수집한 미술 데이터, 음악 데이터를 기반으로 상황데이터를 기념일, 계절, 날씨, 위치, 시간대로 카테고리화하고 세부 항목을 정리함. 상황데이터는 front 영역에서 기념일, 시간대는 현재 시간으로, 날씨는 기상청 api, 위치 api 를 이용하여 세부 카테고리 값으로 전달 받는다.
상황데이터의 감성값 수집방법은 상황데이터의 기념일, 계절, 날씨, 시간대에 따라 상황데이터의 세부 항목을 키워드로하여 네이버 뉴스 검색시 나오는 기사를 모두 크롤링한다. 자연어 처리 기법을 이용해 기사의 내용을 형태소 분석을 진행한다. 미술/음악의 감성 형용사를 사전으로하여 해당하는 감성 형용사의 빈도수 중 가장 높은 것 3 개를 (수식*)을 이용하여 감성값으로 사용한다.
(수식*) 해당하는 감성 형용사의 빈도수/전체 감성 형용사의 빈도수
또한 상황 데이터의 위치에 따라 상황 데이터 위치의 세부 항목을 산, 바다 공원으로 정의한다. 음악 전문가의 자문으로 특정 위치에 감상하기 좋은 예술작품이 있다는점을 알게 된다.(라메르: 바다라는 뜻으로 바다에서 듣기 좋은 노래가 됨) 따라서 예술가에게 감성값을 라벨링 받을때 위치도 같이 라벨링 받기로 한다.
사용자 취향 데이터는 서비스 초반에 서비스 초반 사용자의 데이터 부재로 인한 서비스 불가 상황(Cold start)를 막기 위해 사용자가 회원가입시 자신의 취향에 가까운 음악작품과 미술작품을 최소 3 개이상 선택한다. 사용자가 선택한 미술 작품과 음악작품의 feature 를 리스트로 저장하여 해당 사용자의 취향을 분석 데이터로 저장한다. 서비스 진행 이후, 사용자가 관심 표시한 플레이리스트의 사용자가 감상한 음악, 미술 데이터를 사용자 데이터에서 업데이트함과 동시에 해당 데이터의 feature를 리스트로 저장하여 해당 사용자의 취향을 업데이트하여 분석 데이터로 활용한다.
도 7은 본 실시예에 따른 플레이리스트를 나타낸 도면이다. 도 7의 미니플레이리스트와 플레이리스트를 정의하면 다음과 같다. 미니플레이리스트는 음악의 timestamp 1 개, 플레이리스트는 음악 1 곡 전체이다. 음악의 timestamp는 30 초로 정의하고, 매칭되는 미술 데이터는 10 초에 1 작품으로 정의한다. 즉, 미니플레이리스트 1 개에 미술 데이터 3 개씩 사용자에게 추천한다. 음악 데이터와 미술 데이터의 매칭은 감성값의 유사도를 계산하여 가장 유사한 감성의 음악과 미술 매치칭한다.
도 8은 플레이리스트와 미니플레이리스트를 나타낸 도면이다. 도 8의 미니플레이리스트는 30초, 미술 데이터는 10초에 1 작품으로 매칭한다.
도 9는 다른 실시예에 따른 미니플레이리스트와 플레이리스트를 정의한 것이다. 도 9에 도시된 미니플레이리스트는 음악의 timestamp 1 개, 플레이리스트는 음악 1 곡 전체 동일하다. 변경사항으로는 음악 모델 변화 : 음악의 구조가 변함에따라 구간 추출, 기존의 30 초로 timestamp를 자르는 것이 아니라, 음악 구조가 바뀌는 부분을 자른다. timestamp는 음악의 구간마다 길이가 다르므로 미니플레이리스트에 시작 초와 끝 초, 미니플레이리스트 길이(끝 초-시작 초)를 저장한다. 미니 플레이리스트 길이/10의 정수 값만큼 미술 데이터 매칭한다.
본 실시예에 따른 감성 룰을 설명하면 다음과 같다. 미술, 음악 감성 형용사 갯수 동일화한다. 목적은 미술과 음악의 감성값을 이용한 매칭을위해 음악과 미술의 감성 형용사 갯수를 16 개로 맞추기 위함이다. 방법은 다음의 룰로 정의한다.
- 룰 : 감미로운-우아한 , 웅장한-강렬한, 즐거운-정적인
도 10은 본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템의 수집부에서 음악데이터에서 음악 감성 분류결과를 나타내는 과정을 나타낸 흐름도이다. 도 10에 도시된 바와 같이, 음악 데이터를 입력하여(S101), 음악 구조 분할 모델(S102)을 통해 음악 구간 데이터를 출력(S103)하고, 음악 구간의 감성형용사 라벨링(S104)을 통해 감성 형용사 라벨링된 음악 구간 데이터(S105)에서 구간별 음악의 특징을 추출한다(S106). 다음으로 음악 구간별 감성 형용사 분류 모델에 따라 각 감성의 이진분류 결과를 출력(S107)하고 음악 감성 분류 결과를 출력한다(S108).
이러한 수집부를 통해 음악의 구조적 특징을 분석하여 음악의 구간을 나눈 후, 구간에 해당하는 음악 감성 형용사로 분류하는 모델에 관한 것이다. 음악에서 사용하기 위한 감성 형용사는 19개로 정의했으며, 음악 전문가가 19개의 감성 형용사로 구간에서 느껴지는 감성을 라벨링 한 후 구간의 음악적 특징을 추출하여 머신러닝 모델에 학습할 데이터를 만들었다. 학습한 모델은 음악 구간에 대한 감성을 분류한다. 음성 특징 벡터인 MFCC을 이용해 음악의 구조를 분석한 후 음악의 구간을 나누고, 구간의 음악적 특징을 고려해 보다 정확한 감성을 분류한다.
이러한 수집부의 음악 감성분류 동작을 살펴보면 다음과 같다. 음악을 분류할 감성 형용사를 결정하는 단계, 음악의 특징을 통해 음악의 구간을 나누는 단계, 머신러닝 지도학습을 통해 음악의 구간을 19개 감성 형용사로 분류하는 단계를 포함한다.
음악을 분류할 감성 형용사를 결정하는 단계;에서는 온라인 음악 데이터베이스인 AllMusic에서 사용되고 있는 289개의 Mood tag를 유의어사전(Oxford, 동아출판, YBM, 교학사, Supreme)를 기준으로 유의어로 묶어 68개의 감성 형용사로 축소 후 클래식에 맞지 않은 힙합, 마약, 비속어 등과 관련한 단어를 제외 후 다시 유의어끼리 그룹화하여 68개에서 19개의 감성 형용사로 축소하였다. 이렇게 축소된 19개의 감성 형용사로 음악 구간의 감성을 분류하고자 한다.
음악의 특징을 통해 음악의 구간을 나누는 단계;에서는 a. 음성 특징 벡터인 MFCC을 이용해 음악 구조가 변화하는 시점을 도출한다. b. 음악의 timestamp에 맞춰 그림을 관람하려면 5초 이상이 적합하다는 전문가의 자문으로 5초 이하의 구간은 이전구간과 같은 구간으로 클러스터링하는 룰을 추가한다. c. 단, 시작 구간은 예외적으로 다음 구간과 그룹화한다. d. 위의 a, b, c단계는 음악 전문가에게 검수 완료했고, 이 단계를 통해 만들어진 음악 구조 변화시점을 음악 Timestamp라고 정의한다.
머신러닝 지도학습을 통해 음악의 구간을 19개 감성 형용사로 분류하는 단계;에서는 a. Model1을 통해 만들어진 음악 Timestamp에 따라 나뉜 구간을 음악 전문가에게 19개의 음악 감성 형용사로 라벨링 받는다. b. 음악 및 오디오 분석을 위한 python 패키지인 Librosa를 통해 음악 Timestamp에 따라 나뉜 구간의 음악 특징 추출한다. c. 음악 특징을 바탕으로 수치화된 데이터로 19가지 감성 각각의 머신러닝 모델로 이진 분류를 진행한다. 머신러닝 모델을 통해 음악 구간의 음악 감성 형용사 19개 각각의 positive class일 확률을 예측한 결과를 도출한다. 이를 통해 음악의 구조 변화 시점을 기준으로 나눈 구간을 나눈 후, 구간의 음악적 특징을 고려하여 감성 분석 결과를 도출하여 음악의 구간별 감성을 보다 정확하게 도출할 수 있는 효과가 있다. 또한 많은 양의 음악 구간에 대한 감성 라벨링을 본 발명을 통해 해결 할 수 있다.
본 실시예에 따른 음악 데이터 수집 기준은 가사없는 음악, 장르는 클래식, 가사없는 음악 위주로 수집하였다. 45개의 음악 데이터셋 조사[1]를 진행했고, 그 중 수집 기준에 부합하는 데이터셋은 5개로 FMA, URMP, MusicNet, 까칠한 클래식으로 좁혀진다. 5개의 데이터셋에서 이용할 수 있는 클래식 음악은 총 12,305개이며 아래의 표 1에 요약 정리하였다.
Figure pat00001
superset 제작은 수집한 데이터셋의 metadata의 feature들을 정리 후 비슷한 값들을 하나로 통합하는 과정 진행하여 다음의 표 2 Musopen 기준으로 feature 선택한다.
Figure pat00002
데이터 정제과정에서 모델학습을 위해 superset 기준으로 데이터 정제 작업 진행하여 음악 학습을 위해 Null값을 채우는 작업을 진행한다.
음악 감성 형용사는 과거 러셀 모델을 기준으로 Valence / Energy를 x,y 축으로하여 4사분면으로 분류해서 각 음악의 감성을 분류하고자 했으나 Valence / Energy를 추출하는데 한계가 있다. AllMusic에서 사용하고 있는 Mood Tag를 기준으로 음악 감성 형용사를 축소하였다. AllMusic 289개 감성형용사를 유의어 사전(Oxford, 동아출판, YBM, 교학사, Supreme)을 기준으로 유의어로 묶어 68개의 감성형용사로 축소한다. 클래식에 맞지 않는 힙합, 마약, 비속어 등과 관련한 단어를 제외 후 비슷한 단어로 다시 묶어 68개에서 16개의 감성 형용사로 다시 축소한다. 음악에서만 나올 수 있는 감성 3개 추가하여 총 19개의 감성 형용사를 결정한다.
모델 구현을 설명하면 다음과 같다. 음악은 시간의 흐름에 따라 빠르기, 세기, 높낮이 등이 변화한다. 음악에서 느껴지는 감성은 음악의 시간의 흐름에 따라 변화할 수 있으며, 음악의 특징을 통해 음악의 구간을 나누고 구간에 따른 감성을 19개의 음악 감성 class일 확률을 예측하는 모델을 만들고자 한다.
Model1 : 음악 구조 변화 구간 추출 모델
Model2 : 음악 감성 형용사 분류 모델
Model3 = Model1 + Model2
01. [Model1] 음악 구조 변화 구간 추출 모델 개발
a. MFCC특징을 이용해 음악 구조가 변화하는 시점을 도출한다.
b. 그림이 보여지기에는 5초 이상이 적합하기 때문에 5초 이하의 구간은 이전구간과 같은 구간으로 묶어준다.
c. 단, 시작 구간은 예외적으로 다음 구간과 그룹화한다.
d. 위의 a, b, c단계는 음악 전문가에게 검수 완료했고, 이 단계를 통해 만들어진 음악 구조 변화 시점을 음악 Timestamp라고 하겠다.
02. [Model2] 음악 감성 형용사 분류 모델 개발
a. Model1을 통해 만들어진 음악 Timestamp에 따라 나뉜 구간을 음악 전문가에게 19개의 음악 감성 형용사로 라벨링받는다.
b. 음악 및 오디오 분석을 위한 python 패키지인 Librosa를 통해 음악 Timestamp에 따라 나뉜 구간의 음악 특징 추출한다.
c. 음악 특징을 바탕으로 수치화된 데이터로 19가지 감성 각각의 머신러닝 모델로 이진분류 진행한다. 머신러닝 모델을 통해 음악 구간의 음악 감성 형용사 19개 각각의 positive class일 확률을 예측한다.
03. [Model3] Model1 + Model2 병합
도 11은 본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템의 미술 작품 분류과정을 설명하기 위한 개략적인 흐름도이다. 도 12는 미술 작품 분류과정의 세부 과정을 나타낸 흐름도이다.
다음은 본 발명의 일 실시예에 따른 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템의 수집부에서 미술 작품을 감성 형용사로 분류하는 모델을 설명하기로 한다. 미술에서 사용하기 위한 감성 형용사는 16개로 정의했으며, 미술 전문가가 각 회화 작품에 라벨링한 감성 형용사 데이터를 이용하여 딥러닝 모델에 학습할 가중치를 생성했다. 이를 통해 생성된 모델은 회화 작품의 감성을 분류한다.
감성 형용사를 8개의 기준에 배치하는 방식을 이용한다. 감성 단어를 분석하여 positive, negative 요소로 나눠 상관행렬 재구성해 246개의 감성형용사 클러스터링한 후, 유의어사전(Oxford, 동아출판, YBM, 교학사, Supreme)를 기준으로 유의어로 묶어 감성 형용사로 축소 후 예술작품 감상에 적합하지 않은 단어를 제외하여 16개의 감성 형용사로 축소하였다. 이렇게 축소한 16개 감성 형용사로 미술 작품의 감성을 분류하고자 한다.
미술 감성형용사는 앞서 언급한 바와 같이 16개로서 이미지를 분류하여 다음의 감성 척도를 8개 기준으로 대분류했으며, 소분류는 미술 감성형용사를 a0-a15로 정의했다.
Figure pat00003
본 실시예에 따른 수집부는 ImageGenerator를 사용하여 이미지의 RGB를 불러온 뒤 효과적인 학습을 위해 1/255 로 rescale 진행하여 데이터 전처리를 수행한다.
모델 연결은 ->Model 1을 통해 대분류 감성을 분류-> Model2를 통하여 데이터를 Model 3 (소분류 모델)으로 전달->Model 3에서 소분류 감성을 분류 -> Model 4에서 최종 감정 도출한다.
모델 구현을 설명하면 다음과 같다.
① [Model1] 대분류 모델
- 학습 데이터 : 전문가에게 라벨링 받은 이미지
- 학습 과정
a. 이미지들을 대분류를 기준으로 폴더 분류
b. ImageGenerator를 통해 폴더 load
c. Xception을 통해 대분류 감성 학습을 진행 후 모델 저장
- 예측 과정 :
a. 테스트 이미지들을 모델에 부여
b. 모델을 통해 예측된 대분류를 기준으로 테스트 이미지 셋 폴더 분류
c. 폴더 분류된 이미지들의 Art_ID, 예측된 감성 값의 확률이 담긴 리스트(이하 LargeCls)를 Model2에 전달
② [Model2] 대분류 ->소분류 연결 모델
- 데이터 연결 과정 :
a. Model1 에서 전달받은 LargeCls의 최대값에 해당하는 라벨 확인
b. 라벨이 [High positive, High negative, lownegative, pleasentness, ect] 이면 상황 A 아니라면 상황 B로 이동
상황 A 대분류에 속한 소분류의 감성 개수가 2개 이상인 상황
-> 소분류 예측 모델[Model3]으로 [Art_ID, LargeCls](이하 Large DataFrame)를 전달한다.
상황 B 대분류에 속한 소분류의감성 개수가 1개인 상황
->1. LargeCls의 length를 16(이하 소분류 감성 개수)으로 맞춘다.
대분류 감성값의 인덱스를 소분류 감성값의 인덱스로 조정(i.o 대분류 모델에서 disengagement가 인덱스 0이었다면, 소분류 모델에서는 인덱스 9가 되어야하기 때문에 이를 조정해 준다) LargeData Frame을 생성 후 return한다.
③ [Model3] 소분류 예측 모델
- 학습 데이터 : 소분류가 1개 이상인 대분류에 들어 있는 이미지 셋
- 소분류 예측 모델 개수 : 총 5개 (소분류의 개수가 1개인 대분류는 제외)
- 아래의 모델 학습과정과 예측과정은 모델별로 1번씩 진행한다.
- 모델의 학습 과정 :
a. 해당되는 대분류의 이미지들을 소분류 기준으로 폴더 분류한다.
b. ImageGenerator를 통해 폴더를 load한다.
c. Xception을 이용한 소분류 감성 예측 진행하고 모델을 저장한다.
- 모델의 예측 과정 :
a. 새로운 이미지들을 모델에 부여한다.
b. 소분류 감성이 예측된 이미지들의 Art_ID, LargeCls를 return
④ [Model4] 최종 결과 모델
- Model 2에서 받은 LargeCls의 length가16이면 상황 A, 아니라면 상황 B로 가정한다.
상황 A
1. 원본 저장
상황 B
2. 해당하는 대분류에 대응되는 소분류 예측 모델 시행
3. 소분류 예측 모델을 통해 얻은Art_ID, LargeCls를 저장하고, LargeCls의 Length를 16으로 조정한다.
상황 A, B에서 저장한 데이터들을 합친 후 return한다.
본 실시예에 따른 수집부를 통해 이미지 분류 시 누락된 감성 값이 발생하던 현상을 제거하고, 같은 분위기를 가진 그림들을 좀 더 세분화하여 분류 가능하며, 이와 같은 이점은 감성 분류 정확도를 높이고 인간이 느끼는 감정의 차이를 기계에 학습시킬 수 있는 효과가 있다.
superset 제작에는 CONA(예술 및 건축 분야의 주요 개념 계층적 구조를 나타내는 AAT의 후속 연구로, 미술 작품을 위주로 최소 수준 기술 요소 분류) 기준으로 제작하였다. ID 로 연결(형식: 데이터제공기관_번호), dataset 공통항목 병합 ?? 병합한 컬럼명에 대해 따로 정리하고, metadata 에 스크립트(그림설명) 추가하였다.
Figure pat00004
감성 분류에 대해 설명하면 다음과 같다.
기존 감성 단어를 분석하여 positive, negative 요소로 나눠 상관행렬 재구성하여 감성 척도를 8개의 기준으로 나눈 후, 감성 형용사를 8개의 기준에 배치한다. 246개의 감성 형용사에 대한 클러스터링 기준 제시하여 감성 단어를 클러스터링 후 유의어사전(Oxford, 동아출판, YBM, 교학사, Supreme)를 기준으로 유의어로 묶어 감성 형용사로 축소 후 예술작품 감상에 적합하지 않은 단어를 제외하여 16개의 감성 형용사로 축소하였다. 이렇게 축소한 16개 감성 형용사로 미술 작품의 감성을 분류한다.
도 12에 따른 모델구현을 설명하면 다음과 같다.
미술 데이터 전처리는 ImageGenerator 를 사용하여 이미지의 RGB를 불러온 뒤 효과적인 학습을 위해 1./255 로 rescale 진행한다.
모델 구현은,
01. [Model1] 대분류 모델
- 학습 데이터 : 전문가에게 라벨링 받은 이미지
- 학습 과정 :
a. 대분류를 기준으로폴더 분류
b. ImageGenerator를 통해 폴더 자체를 load
c. Xception을 통해 대분류 감성 학습을 진행 후 모델 저장
- 예측 과정 :
d. 새로운 이미지들을 모델에 부여
e. 모델을 통해 예측된 대분류를 기준으로 이미지 셋 폴더 분류
f. 폴더 분류된 이미지들의 Art_ID, 예측된 감성값의 확률이 담긴 리스트(이하 LargeCls)를 Model2에 전달
02. [Model2] 대분류->소분류 연결 모델- 데이터 연결 과정 :
a. Model1 에서 전달 받은 LargeCls의 최대값에 해당하는 라벨 확인
b. 라벨이 [High positive, High negative, lownegative, pleasentness, ect]
이면 상황 A로 이동 아니라면 상황 B로 이동
상황 A
- 대분류에 속한 소분류의 감성 개수가 2개 이상인 상황
- 진행 방향 :
소분류 예측 모델[Model3]으로 [Art_ID, LargeCls](이하 Large DataFrame)를 전달
상황 B
- 대분류에 속한 소분류의 감성 개수가 1개인 상황
- 진행 방향 :
1. LargeCls의 length를 16(이하 소분류 감성 개수)으로 맞춤
2. 1을 진행 할 때 대분류 감성값의 인덱스를 소분류 감성값의 인덱스로
조정(i.o 대분류 모델에서 disengagement가 인덱스 0이었다면, 소분류 모델에서는 인덱스 9가 되어야하기 때문에 이를 조정해 준다)
3. LargeData Frame을 생성 후 return 한다.
03. [Model3] 소분류 예측 모델
- 학습 데이터 : 소분류가 1개 이상인 대분류에 들어 있는 이미지 셋
- 소분류 예측 모델 개수 : 총 5개 (소분류가 1개만 있는 대분류는 제외)
- 아래의 모델 학습과정과 예측과정은 모델별로 1번씩 진행
- 모델의 학습 과정 :
a. 해당되는 대분류의 이미지들을 소분류 기준으로 폴더 분류
b. ImageGenerator를 통해 폴더를 load
c. Xception을 이용한 소분류 감성 예측 진행하고 모델을 저장
- 모델의 예측 과정 :
d. 새로운 이미지들을 모델에 부여
e. 소분류 감성이 예측된 이미지들의 Art_ID, LargeCls를 return
04. [Model4] 최종 결과 모델
a. Model 2에서 받은 LargeCls의 length가 16이면 상황 A, 아니라면 상황 B로 가정한다.
상황 A
1.원본 저장
상황 B
1. 해당하는 대분류에 대응되는 소분류 예측 모델 시행
2. 소분류 예측 모델을 통해 얻은 Art_ID, LargeCls를 저장하고, LargeCls의
Length를 16으로 조정
b. 상황 A, B에서 저장한 데이터들을 concat 후 return
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 당업자에게 명백할 것이다.

Claims (8)

  1. 사용자 취향 또는 상황에 따른 감성을 분류하여 데이터로 수집하는 수집부(100),
    음악, 미술의 감성 데이터를 이용해 음악과 미술의 감성 유사도를 계산하여 매칭하는 매칭부(200) 및
    상기 사용자 취향에 따른 데이터와 사용자 상황 데이터를 활용하여 사용자에게 플레이리스트를 추천하는 추천부(300)를 포함하는 것을 특징으로 하는 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템.
  2. 제1항에 있어서,
    상기 수집부는 사용자 취향 또는 상황에 따른 감성을 분류하여 데이터로 수집하되,
    사용자의 취향에 가까운 음악 작품과 미술 작품의 특징(feature)을 리스트로 저장하여 해당 사용자의 취향 분석 데이터로 저장하고,
    상기 리스트에 입력되는 관심도에 따라 플레이리스트의 미술데이터와 음악데이터의 특징(feature)을 리스트로 저장하여 사용자 취향 데이터를 업데이트하는 것을 특징으로 하는 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템.
  3. 제1항에 있어서,
    상기 매칭부는 음악, 미술의 감성 데이터를 이용해 음악과 미술의 감성 유사도를 계산하여 매칭하되,
    음악, 미술의 매칭을 위해 음악과 미술의 감성 형용사 개수를 공통 감성 형용사 개수로 설정하고, 음악과 미술의 매칭은 각 데이터의 감성값의 유클리디안거리 수식을 이용하여 가장 유사한 데이터끼리 매칭하도록 하는 것을 특징으로 하는 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템.
  4. 제1항에 있어서,
    상기 추천부는
    사용자의 상황데이터를 고려하여 가중치를 부여한 후, 해당 상황 데이터의 감성값과 미술, 음악 데이터의 감성값이 가장 유사한 데이터를 추천하는 상황 추천모듈(310),
    사용자 취향 데이터에 따른 미술, 음악 데이터의 특징(feature)이 같은 경우 가중치를 부여하여 사용자 취향을 고려한 플레이리스트를 추천하는 취향 추천모듈(320)을 포함하는 것을 특징으로 하는 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템.
  5. 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템을 이용한 방법에 있어서,
    (a) 상기 시스템이 사용자 취향 또는 상황에 따른 감성을 분류하여 데이터로 수집하는 단계,
    (b) 상기 시스템이 음악, 미술의 감성 데이터를 이용해 음악과 미술의 감성 유사도를 계산하여 매칭하는 단계 및
    (c) 상기 시스템이 상기 사용자 취향에 따른 데이터와 사용자 상황 데이터를 활용하여 사용자에게 플레이리스트를 추천하는 단계를 포함하는 것을 특징으로 하는 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템을 이용한 방법.
  6. 제5항에 있어서,
    상기 (a)단계는 사용자 취향 또는 상황에 따른 감성을 분류하여 데이터로 수집하되,
    사용자의 취향에 가까운 음악 작품과 미술 작품의 특징(feature)을 리스트로 저장하여 해당 사용자의 취향 분석 데이터로 저장하고,
    상기 리스트에 입력되는 관심도에 따라 플레이리스트의 미술데이터와 음악데이터의 특징(feature)을 리스트로 저장하여 사용자 취향 데이터를 업데이트하는 것을 특징으로 하는 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템을 이용한 방법.
  7. 제5항에 있어서,
    상기 (b)단계는 음악, 미술의 감성 데이터를 이용해 음악과 미술의 감성 유사도를 계산하여 매칭하되,
    음악, 미술의 매칭을 위해 음악과 미술의 감성 형용사 개수를 공통 감성 형용사 개수로 설정하고, 음악과 미술의 매칭은 각 데이터의 감성값의 유클리디안거리 수식을 이용하여 가장 유사한 데이터끼리 매칭하도록 하는 것을 특징으로 하는 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템을 이용한 방법.
  8. 제5항에 있어서,
    상기 (c)단계는 사용자의 상황데이터를 고려하여 가중치를 부여한 후, 해당 상황 데이터의 감성값과 미술, 음악 데이터의 감성값이 가장 유사한 데이터를 추천하고, 사용자 취향 데이터에 따른 미술, 음악 데이터의 특징(feature)이 같은 경우 가중치를 부여하여 사용자 취향을 고려한 플레이리스트를 추천하는 것을 특징으로 하는 빅데이터 기반 예술 융복합 AI 서비스 사용자 추천 시스템을 이용한 방법.
KR1020220058627A 2021-05-12 2022-05-12 빅데이터 기반 예술 융복합 ai 서비스 사용자 추천 시스템 및 그 방법 KR20220154056A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20210061571 2021-05-12
KR1020210061571 2021-05-12
KR1020210061572 2021-05-12
KR20210061572 2021-05-12
KR1020210061570 2021-05-12
KR20210061570 2021-05-12

Publications (1)

Publication Number Publication Date
KR20220154056A true KR20220154056A (ko) 2022-11-21

Family

ID=84233762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220058627A KR20220154056A (ko) 2021-05-12 2022-05-12 빅데이터 기반 예술 융복합 ai 서비스 사용자 추천 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20220154056A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210110239A (ko) 2020-02-28 2021-09-07 이관태 소셜 뮤지엄 서비스를 위한 디지털 전시 플랫폼 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210110239A (ko) 2020-02-28 2021-09-07 이관태 소셜 뮤지엄 서비스를 위한 디지털 전시 플랫폼 시스템

Similar Documents

Publication Publication Date Title
Singh et al. Neural network model for recommending music based on music genres
US11048882B2 (en) Automatic semantic rating and abstraction of literature
CN111680173B (zh) 统一检索跨媒体信息的cmr模型
KR102075833B1 (ko) 미술 작품 추천 큐레이션 방법 및 시스템
Kaminskas et al. Location-aware music recommendation using auto-tagging and hybrid matching
Kaminskas et al. Contextual music information retrieval and recommendation: State of the art and challenges
Celma Music recommendation
US8478781B2 (en) Information processing apparatus, information processing method and program
US20130325864A1 (en) Systems and methods for building a universal multimedia learner
JP2009514075A (ja) 選択されたコンテンツアイテムをユーザーに提供する方法
US11501358B2 (en) Systems and computer program product for determining an object property
KR20120101233A (ko) 감성 정보 생성 방법, 그를 이용한 감성 정보 기반의 콘텐츠 추천 방법 및 시스템
KR102340963B1 (ko) Ai 기반의 영상 제작 방법 및 장치
Hyung et al. Utilizing context-relevant keywords extracted from a large collection of user-generated documents for music discovery
JP5367872B2 (ja) 選択されたコンテンツアイテムをユーザーに提供する方法
Qu et al. A novel approach based on multi-view content analysis and semi-supervised enrichment for movie recommendation
Wang et al. Predicting high-level music semantics using social tags via on-tology-based reasoning
Herzog et al. Predicting musical meaning in audio branding scenarios
WO2017135889A1 (en) Ontology determination methods and ontology determination devices
KR20220154056A (ko) 빅데이터 기반 예술 융복합 ai 서비스 사용자 추천 시스템 및 그 방법
JP2007183927A (ja) 情報処理装置および方法、並びにプログラム
Yang Lyric-based music genre classifcation
Ogawa et al. Text-based causality modeling with a conceptual label in a hierarchical topic structure using bayesian rose trees
JP7438272B2 (ja) 検索インテント単位のブロックを生成する方法、コンピュータ装置、およびコンピュータプログラム
KR102451020B1 (ko) 웹 크롤링 기능을 이용한 기업용 지능형 콘텐츠 큐레이션 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal