KR102640350B1

KR102640350B1 - 색채분석모듈을 이용한 사용자의 정서 분석 방법

Info

Publication number: KR102640350B1
Application number: KR1020230129126A
Authority: KR
Inventors: 강재구; 안문주
Original assignee: 주식회사 아이스크림아트
Priority date: 2023-09-26
Filing date: 2023-09-26
Publication date: 2024-02-28
Also published as: KR102673688B1; KR102673687B1; KR102673686B1

Abstract

본 발명의 일 실시예에 따른 색채분석모듈을 이용한 사용자의 정서 분석 방법은, a) 색채분석모듈이 사용자가 제작한 그림 이미지의 색상을 전처리하는 단계; b) 상기 색채분석모듈이 상기 전처리 그림 이미지의 색상을 양자화시킨 후, 상기 색상이 양자화된 전처리 그림 이미지의 색상별 픽셀 개수를 계산하고, 상기 색상별 픽셀 개수를 기반으로 상기 전처리 그림 이미지의 전체 색상 사용량과 배경 사용량을 계산하는 단계; c) 상기 색채분석모듈이 상기 색상이 양자화된 전처리 그림 이미지의 전체 윤곽선 픽셀 개수를 계산하고, 상기 전체 윤곽선 픽셀 개수를 기반으로 전체 윤곽선 사용량과 무채색 윤곽선 사용량을 계산하는 단계; d) 상기 색채분석모듈이 상기 양자화된 전처리 그림 이미지의 색상별 픽셀 개수와 상기 무채색 윤곽선 사용량을 통해 계산되는 색상별 사용량을 가지는 단색 구조의 색상을 제1 이미지 스케일에 맵핑하고, 상기 그림 이미지의 색상에 대한 스펙트럼을 기반으로 하는 배색 구조의 색상을 제2 이미지 스케일에 맵핑하는 단계; 및 e) 상기 색채분석모듈이 상기 제1, 2 이미지 스케일에 각각 맵핑된 단색 및 배색 구조의 색상과 연관되는 단색 및 배색 형용사, 색상 요소, 정서 요소를 각각 추출하고, 상기 단색 및 배색 형용사, 색상 요소, 정서 요소를 기반으로 상기 사용자의 정서를 분석하는 단계;를 포함할 수 있다.

Description

색채분석모듈을 이용한 사용자의 정서 분석 방법{User sentiment analysis method using color analysis module}

본 발명은 색채분석모듈을 이용한 사용자의 정서 분석 방법에 관한 것으로, 더욱 상세하게는 사용자가 제작한 그림 이미지의 색채를 기반으로 사용자의 정서를 분석할 수 있는 색채분석모듈을 이용한 사용자의 정서 분석 방법에 관한 것이다.

종래에는 사용자의 비정형 데이터를 분석하는 비정형데이터 분석기술 시스템이 있다. 비정형데이터 분석 기술 시스템은 테마 주제에 대한 그림 도구로 입력된 그림을 분석함으로써, 사용자의 정서심리를 분석할 수 있다.

그러나 종래의 비정형데이터 분석기술 시스템은 실제 사용된 색체 정보가 아닌 사용자가 선호하는 색체 정보를 입력으로 받기 때문에 색채 분석이 실제 그림 내용과 상관없는 개별 선호도만을 반영하기 쉬운 문제점이 있다.

또한, 종래의 비정형데이터 분석기술 시스템을 이용한 최종 진단결과가 단순한 일회성 결과 제공으로 끝나게 되는 경우가 대부분이기 때문에, 지속적 및 연속적인 사전점검과 솔루션을 원하는 소비자들의 니즈를 충족시키는 데에도 한계가 있었다.

한편, 비정형데이터 분석기술 시스템과 같이 색채 분석이 자동화된 시스템이 아닌 전문가가 사용자의 정서심리를 분석하는 방법이 있다.

그러나 전문가가 수행하는 분석 방법은 전문가의 주관적인 판단에 근거하여 사용자의 정서심리 분석이 수행되고, 데이터 기반의 체계화된 방법론이 적용되지 않아 정서심리의 분석 및 해석 결과의 일관성과 신뢰성에 부정적인 결과를 초래하는 문제점이 있다.

대한민국 등록특허공보 제10-1654551호 대한민국 등록특허공보 제10-1258978호

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 사용자가 제작한 그림 이미지의 스케치 요소, 단색 및 배색 형용사, 색상 요소, 정서 요소를 각각 추출하고, 이를 기반으로 사용자의 정서를 분석하는 것이 가능한 색채분석모듈을 개발하기 위한 방법을 제공함에 있다.

다만, 본 발명에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 기술적 방법으로서 본 발명의 일 실시예에 따른 색채분석모듈을 이용한 사용자의 정서 분석 방법은, a) 색채분석모듈이 사용자가 제작한 그림 이미지의 색상을 전처리하는 단계; b) 상기 색채분석모듈이 상기 전처리 그림 이미지의 색상을 양자화시킨 후, 상기 색상이 양자화된 전처리 그림 이미지의 색상별 픽셀 개수를 계산하고, 상기 색상별 픽셀 개수를 기반으로 상기 전처리 그림 이미지의 전체 색상 사용량과 배경 사용량을 계산하는 단계; c) 상기 색채분석모듈이 상기 색상이 양자화된 전처리 그림 이미지의 전체 윤곽선 픽셀 개수를 계산하고, 상기 전체 윤곽선 픽셀 개수를 기반으로 전체 윤곽선 사용량과 무채색 윤곽선 사용량을 계산하는 단계; d) 상기 색채분석모듈이 상기 양자화된 전처리 그림 이미지의 색상별 픽셀 개수와 상기 무채색 윤곽선 사용량을 통해 계산되는 색상별 사용량을 가지는 단색 구조의 색상을 제1 이미지 스케일에 맵핑하고, 상기 그림 이미지의 색상에 대한 스펙트럼을 기반으로 하는 배색 구조의 색상을 제2 이미지 스케일에 맵핑하는 단계; 및 e) 상기 색채분석모듈이 상기 제1, 2 이미지 스케일에 각각 맵핑된 단색 및 배색 구조의 색상과 연관되는 단색 및 배색 형용사, 색상 요소, 정서 요소를 각각 추출하고, 상기 단색 및 배색 형용사, 색상 요소, 정서 요소를 기반으로 상기 사용자의 정서를 분석하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에 의하면, 하나 이상의 색상으로 채색된 사용자가 제작한 그림 이미지로부터 사용자의 정서를 분석할 수 있으므로, 사용자가 어떠한 정서의 그림을 주로 그리는지를 용이하게 판단할 수 있다.

본 발명의 일 실시예에 의하면, 사용자가 제작한 복수의 그림 이미지를 이용하여 사용자의 정서를 보다 정확히 분석할 수 있는 가능한 장점이 있다.

다만, 본 발명에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 색채분석모듈에 기저장된 알고리즘을 도시한 도면이다.
도 2a 및 도 2b는 제1 데이터셋 및 제2 데이터셋을 구성하는 데이터의 일예를 도시한 도면이다.
도 3은 도 1에 도시된 색채분석모듈을 이용한 사용자의 정서 분석 방법의 과정을 도시한 도면이다.
도 4는 도 3에 도시된 전처리 단계의 세부 과정을 도시한 도면이다.
도 5는 본 발명의 그림 이미지 및 전처리 그림 이미지의 일예를 도시한 도면이다.
도 6은 도 3에 도시된 전체 색상 사용량 및 배경 사용량 계산 단계의 세부 과정을 도시한 도면이다.
도 7은 본 발명의 2차 변환된 전처리 그림 이미지의 일예를 도시한 도면이다.
도 8은 도 3에 도시된 전체 윤곽선 사용량 및 무채색 윤곽선 사용량 계산 단계의 세부 과정을 도시한 도면이다.
도 9는 본 발명의 색채분석모듈이 추출하는 스케치 요소의 일예를 도시한 도면이다.
도 10은 도 3에 도시된 맵핑 단계의 세부 과정을 도시한 도면이다.
도 11a 및 도 11b는 본 발명의 색채분석모듈이 생성한 제1, 2 이미지 스케일의 일예를 도시한 도면이다.
도 12는 본 발명의 색채분석모듈이 사용자의 정서를 분석하기 위해 이용하는 PA 정서 모델을 도시한 도면이다.
도 13a 내지 도 13d는 본 발명의 색채분석모듈이 추출하는 단색 및 배색 형용사, 색상 요소, 정서 요소의 일예를 도시한 도면이다.

이하에서는, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

색채분석모듈

본 발명의 일 실시예에 다른 색채분석모듈(100)은 사용자가 제작한 그림 이미지를 기반으로 사용자의 정서를 분석하기 위한 장치이며, 사용자의 정서 분석에 필요한 다양한 알고리즘이 도 1에 도시된 바와 같이 기저장될 수 있다.

도 1은 본 발명의 일 실시예에 따른 색채분석모듈에 기저장된 알고리즘을 도시한 도면이다.

도 1을 참조하면, 색채분석모듈(100)은 사용자의 정서 분석에 필요한 K-means 알고리즘(110), LAB 색차 계산 알고리즘(120), 캐니 윤곽선 검출 알고리즘(130) 및 전체 배색 비교 알고리즘(140)이 기저장된다.

K-means 알고리즘(110)은 데이터를 k개의 군집(Cluster)으로 묶는(Clusting) 머신러닝의 비지도학습에 속하는 알고리즘을 의미하며, 일 실시예에서는 색채분석모듈(100)에 기저장되어 상기 색채분석모듈(100)이 그림 이미지(1)를 전처리할 때 생성되는 전처리 그림 이미지(2)의 색상을 k개로 군집화시킬 수 있도록 한다.

LAB 색차 계산 알고리즘(120)은 3차원 공간 모델인 LAB상에서 색차를 계산하는 알고리즘을 의미하며, 일 실시예에서는 색채분석모듈(100)에 기저장되어 상기 색채분석모듈(100)이 K-means 알고리즘(110)에 의한 색상 군집화를 통해 1차 변환된 전처리 그림 이미지(2)의 색상과 고바야시 컬러 이미지 스케일 데이터(미도시)에 맵핑된 복수개의 색상 간 색차값을 계산할 수 있도록 한다.

이때, 고바야시 컬러 이미지 스케일 데이터는 130개의 색이 이미지 스케일에 맵핑되는 색채 감성 척도를 제공하는 통상적인 데이터이므로, 이에 대한 자세한 설명은 편의상 생략하도록 하겠다.

캐니 윤곽선 검출 알고리즘(130)은 미국의 존 캐니 교수가 개발한 윤곽선 검출 기법 기반의 알고리즘을 의미하며, 일 실시예에서는 색채분석모듈(100)에 기저장되어 상기 색채분석모듈(100)이 LAB 색차 계산 알고리즘(120)에 기반하여 색상이 2차 변환된 전처리 그림 이미지(3)의 전체 윤곽선을 검출할 수 있도록 한다.

전체 배색 비교 알고리즘(140)은 후술될 제1 이미지 스케일(20)에 맵핑된 단색 구조의 색상(21)에 대한 스펙트럼과 유사한 배색 구조의 색상을 하나 이상 검색하기 위해 색채분석모듈(100)에 기저장되는 알고리즘이다.

일 실시예에서, 전체 배색 비교 알고리즘(140)이 단색 구조의 색상(21)에 대한 스펙트럼과 유사한 배색 구조의 색상을 찾기 위해 기초가 되는 수식은 이하의 [수학식 1]과 같다.

상기 [수학식 1]에서, C는 배색 구조의 색상 정보, S는 그림의 색상 스펙트럼, R은 색상 스펙트럼을 구성하는 색상의 비율, D는 색상 거리 함수를 의미한다.

여기서, 배색 구조의 색상 정보(C)는 3가지 색상(Ci=0…Ci=2)로 구성된 색상 조합을 의미한다.

또한, 색상 스펙트럼을 구성하는 색상의 비율(R)은 그림의 색상 스펙트럼(S)을 구성하는 k개의 색상(sj=0…sj=k)의 비율을 의미한다.

그리고 색상 거리 함수(D)는 LAB 색 공간에서 L2 거리(유클리디안 거리)를 사용하는 것에 기반하여 계산될 수 있다. 이에 따라, 색상 조합과 유사한 색상이 그림에서 높은 비율로 사용될 경우 상기 [수학식 1]에서는 높은 값이 도출되며, 색상 거리 항에 가중치 함수를 사용함으로써, 색상 조합과 유사하지 않지만 높은 비율을 가지는 색상이 유사성에 영향을 미치는 것을 방지할 수 있다.

본 발명에서, 가중치 함수의 파라미터는 0.2로 설정될 수 있다.(Kang, D., Shim, H., & Yoon, K. (2017) A method for extracting emotion using colors comprise the painting image. 4.2 Searching for best matching color combination)

이때, 배색 구조의 색상을 이루는 색상의 개수는 한정하지 아니하나, 일 실시예에서는 서로 다른 3종류의 색상이 배열된 구조로 이루어질 수 있다.

일 실시예에서, 색채분석모듈(100)은 단색 및 배색 구조의 색상과 연관된 형용사(감성언어)를 자동 추출하도록 데이터셋을 통해 학습될 수 있으며, 이와 같이 본 발명의 색채분석모듈(100)을 학습시키기 위해 구성된 데이터셋의 일예는 도 2에 도시된 바와 같다.

도 2a 및 도 2b는 제1 데이터셋 및 제2 데이터셋을 구성하는 데이터의 일예를 도시한 도면이다.

도 2a 및 도 2b를 참조하면, 색채분석모듈(100)의 학습을 위한 데이터셋은 제1 데이터셋(101) 및 제2 데이터셋(102)으로 구성될 수 있다.

일 실시예에서, 제1 데이터셋(101)은 색채분석모듈(100)이 단색 구조의 색상과 연관된 단색 형용사(40)를 자동 추출할 수 있도록 색채분석모듈(100)의 학습에 필요한 데이터의 집합을 의미한다.

도 2a를 참조하면, 제1 데이터셋(101)은 제1 메인 형용사 데이터(101a), 제1 세부 형용사 데이터(101b) 및 색상 데이터(101c)의 집합으로 구성될 수 있다.

제1 메인 형용사 데이터(101a)는 색채분석모듈(100)이 제1 이미지 스케일(20)에 맵핑된 단색 구조의 색상(21)으로부터 추출 가능한 대표(메인) 형용사를 하나 이상 포함한다.

제1 세부 형용사 데이터(101b)는 색채분석모듈(100)이 제1 이미지 스케일(20)에 맵핑된 단색 구조의 색상(21)으로부터 추출 가능한 세부 형용사를 하나 이상 포함하며, 세부 형용사는 메인 형용사에 속하는 형용사를 의미한다.

색상 데이터(101c)는 제1 메인 형용사 데이터(101a)의 메인 형용사 및 제1 세부 형용사 데이터(101b)의 세부 형용사와 매칭되는 색상을 하나 이상 포함한다.

색채분석모듈(100)은 상기 제1 데이터셋(101)을 통해 학습되어, 제1 이미지 스케일(20)에 맵핑된 단색 구조의 색상(21)과 매칭되는 단색 형용사(40)인 대표 형용사(41) 및 세부 형용사(42)를 자동 추출할 수 있다.

일 실시예에서, 색채분석모듈(100)은 후술될 2차 변환된 전처리 그림 이미지(3)의 색별 사용량과 비례하는 가중치를 대표 형용사(41) 및 세부 형용사(42)에 반영된다.

일 실시예에서, 제2 데이터셋(102)은 색채분석모듈(100)이 배색 구조의 색상과 연관된 배색 형용사(50)를 자동 추출할 수 있도록 색채분석모듈(100)의 학습에 필요한 데이터의 집합을 의미한다.

도 2b를 참조하면, 제2 데이터셋(102)은 제2 메인 형용사 데이터(102a) 및 제2 세부 색상 데이터(102b)의 집합으로 구성될 수 있다.

제2 메인 형용사 데이터(102a)는 색채분석모듈(100)이 제2 이미지 스케일(30)에 맵핑된 배색 구조의 색상(31)으로부터 추출 가능한 대표 형용사인 배색 형용사(50)를 하나 이상 포함한다.

제2 세부 색상 데이터(102b)는 제2 메인 형용사 데이터(102a)의 메인 형용사와 매칭되는 배색 구조의 색상을 하나 이상 포함한다.

색채분석모듈(100)은 상기 제2 데이터셋(102)을 통해 학습되어, 제2 이미지 스케일(30)에 맵핑된 배색 구조의 색상(31)과 매칭되는 배색 형용사(50)를 자동 추출할 수 있다.

일 실시예에서, 색채분석모듈(100)은 도면에 미도시되었으나 사용자가 그림 이미지(1)를 제작하기 위한 제작 툴(tool)이 제공되는 앱(app)이 설치되는 단말로 구현될 수 있다.

즉, 사용자는 색채분석모듈(100)의 제작 툴을 이용하여 하나 이상의 색상으로 채색한 그림 이미지(1)를 제작할 수 있으며, 그림 이미지(1)에는 사용자의 정서 분석에 필요한 객체(예: 사람 등)이 포함될 수 있다.

그리고 색채분석모듈(100)은 사용자가 제작 툴을 이용하여 제작된 그림 이미지(1)가 저장되면 사용자의 정서를 자동적으로 분석할 수 있다.

사용자의 정서 분석 방법

이하에서는, 상기 색채분석모듈(100)을 이용한 사용자의 정서 분석 방법(S100)의 과정에 대해 자세히 설명하도록 하겠다.

도 3은 도 1에 도시된 색채분석모듈을 이용한 사용자의 정서 분석 방법의 과정을 도시한 도면이다.

도 3을 참조하면, 사용자 정서 분석 방법(S100)은 전처리 단계(S110), 전체 색상 사용량 및 배경 사용량 계산 단계(S120), 전체 윤곽선 사용량 및 무채색 윤곽선 사용량 계산 단계(S130), 맵핑 단계(S140), 추출 단계(S150) 및 정서 분석 단계(S160)순으로 진행될 수 있다.

전처리 단계(S110)는 색채분석모듈(100)이 사용자가 제작한 그림 이미지(1)의 색상을 전처리하는 단계로서 세부 과정은 도 4에 도시된 바와 같으며, 이러한 세부 과정에서 도 5의 (a)에 도시된 그림 이미지(1)는 도 5의 (b)에 도시된 전처리 그림 이미지(2)로 변환될 수 있다.

도 4는 도 3에 도시된 전처리 단계의 세부 과정을 도시한 도면이고, 도 5는 본 발명의 그림 이미지 및 전처리 그림 이미지의 일예를 도시한 도면이다.

도 4를 참조하면, 전처리 단계(S110)는 배경 영역 제거 단계(S111), RGB 값 보정 단계(S112) 및 블러 처리 단계(S113)순으로 진행될 수 있다.

배경 영역 제거 단계(S111)에서, 색채분석모듈(100)은 사용자가 제작한 그림 이미지(1)로부터 사용자의 정서 분석에 필요한 객체를 제외한 배경 영역을 제거할 수 있다.

RGB 값 보정 단계(S112)에서, 색채분석모듈(100)은 그림 이미지(1)의 배경 영역과 매칭되는 배경 픽셀의 RGB 값을 보정할 수 있다.

상기 RGB 값 보정 단계(S112)에서, 색채분석모듈(100)은 배경 픽셀의 RGB 값을 RGB(255, 255, 255)으로 보정할 수 있으며, 이러한 RGB 값 보정에 따라 그림 이미지(1)의 배경 픽셀은 흰색으로 색상이 보정될 수 있다.

블러 처리 단계(S113)에서, 색채분석모듈(100)은 배경 영역이 제거된 그림 이미지(1)를 블러(blur) 처리시킴으로써, 상기 그림 이미지(1)와 비교하여 선명도가 보정된 전처리 그림 이미지(2)를 생성할 수 있다.

상기 블러 처리 단계(S113)에서, 색채분석모듈(100)은 Averaging, Gaussian blur, median Blurring, Bilateral filter 중 적어도 하나의 블러 방식을 기반으로 그림 이미지(1)를 블러 처리킬 수 있다.

도 3을 참조하면, 전체 색상 사용량 및 배경 사용량 계산 단계(S120)는 색채분석모듈(100)이 그림 이미지(1)의 전체 색상 사용량(11) 및 배경 사용량(14)을 계산하는 단계로서 세부 과정은 도 6에 도시된 바와 같으며, 이러한 세부 과정에서 전처리 그림 이미지(2)는 도 7의 2차 변환된 전처리 그림 이미지(3)로 변환될 수 있다.

도 6은 도 3에 도시된 전체 색상 사용량 및 배경 사용량 계산 단계의 세부 과정을 도시한 도면이고, 도 7은 본 발명의 2차 변환된 전처리 그림 이미지의 일예를 도시한 도면이다.

도 6을 참조하면, 전체 색상 사용량 및 배경 사용량 계산 단계(S120)는 색상 1차 변환 단계(S121), 색상 2차 변환 단계(S122), 색상별 픽셀 개수 계산 단계(S123) 및 사용량 계산 단계(S124)순으로 진행될 수 있다.

색상 1차 변환 단계(S121)에서, 색채분석모듈(100)은 기저장된 K-means 알고리즘(110)에 기반하여 전처리 그림 이미지(2)의 색상을 군집화되는 k개의 색상으로 1차 변환시킬 수 있다.

전처리 그림 이미지(2)는 색상 1차 변환 단계(S121)의 양자화 과정을 거치면서 색상 수가 감소되는 동시에 색상이 1차적으로 보정될 수 있다.

색상 2차 변환 단계(S122)에서, 색채분석모듈(100)은 기저장된 LAB 색차 계산 알고리즘(120)에 기반하여 1차 변환된 전처리 그림 이미지(2)의 색상과 기저장된 고바야시 컬러 이미지 스케일 데이터에 맵핑된 복수개의 색상 간 색차값을 계산한 후, 상기 1차 변환된 전처리 그림 이미지(2)의 색상을 상기 고바야시 컬러 이미지 스케일 데이터에 맵핑된 복수개의 색상 중 색차값이 가장 작은 색상으로 2차 변환시킬 수 있다.

1차 변환된 전처리 그림 이미지(2)는 색상 2차 변환 단계(S122)에서 색차값 비교 계산을 통해 색상이 2차적으로 보정될 수 있으며, 이를 통해 도 7에 도시된 2차 변환된 전처리 그림 이미지(3)로 변환될 수 있다.

색상별 픽셀 개수 계산 단계(S123)에서, 색채분석모듈(100)은 2차 변환된 전처리 그림 이미지(3)의 색상별 픽셀 개수를 계산할 수 있다.

이때, 2차 변환된 전처리 그림 이미지(3)의 색상별 픽셀은 사용자의 정서 분석에 필요한 객체를 구성하는 객체 픽셀과, 색채분석모듈(100)에 의해 흰색(R= 255, G= 255, B= 255)으로 RGB 값이 보정된 배경 픽셀로 구성될 수 있다.

즉, 색채분석모듈(100)은 색상별 픽셀 개수 계산 단계(S123)에서 객체 픽셀의 개수와 배경 픽셀의 개수를 계산할 수 있다.

사용량 계산 단계(S124)에서, 색채분석모듈(100)은 계산된 객체 픽셀 및 배경 픽셀의 개수를 기반으로 2차 변환된 전처리 그림 이미지(3)의 전체 색상 사용량(11) 및 배경 사용량(14)을 계산할 수 있다.

색채분석모듈(100)은 사용량 계산 단계(S124)에서 객체 픽셀의 개수를 그림 이미지(1)의 전체 픽셀 개수로 나눈 값에 100을 곱하여 %단위인 2차 변환된 전처리 그림 이미지(3)의 전체 색상 사용량(11)을 계산할 수 있다.

또한, 색채분석모듈(100)은 사용량 계산 단계(S124)에서 배경 픽셀의 개수를 그림 이미지(1)의 전체 픽셀 개수로 나눈 값에 100을 곱하여 %단위인 2차 변환된 전처리 그림 이미지(3)의 배경 사용량(14)을 계산할 수 있다.

그리고 색채분석모듈(100)은 2차 변환된 전처리 그림 이미지(3)의 배경 사용량(14)을 계산할 때 2차 변환된 전처리 그림 이미지(3)의 객체 픽셀을 제외한 배경 픽셀을 이용함에 따라, 100%에서 2차 변환된 전처리 그림 이미지(3)의 전체 색상 사용량을 뺀 값으로도 배경 사용량(14)을 계산할 수도 있다.

도 3을 참조하면, 전체 윤곽선 사용량 및 무채색 윤곽선 사용량 계산 단계(S130)는 색채분석모듈(100)이 전체 윤곽선 사용량(12) 및 무채색 윤곽선 사용량(13)을 계산하는 단계로서 세부 과정은 도 8에 도시된 바와 같다.

도 8은 도 3에 도시된 전체 윤곽선 사용량 및 무채색 윤곽선 사용량 계산 단계의 세부 과정을 도시한 도면이다.

도 8을 참조하면, 전체 윤곽선 사용량 및 무채색 윤곽선 사용량 계산 단계(S130)는 전체 윤곽선 검출 단계(S131), 색상 변환 단계(S132), 윤곽선 픽셀 개수 계산 단계(S133) 및 사용량 계산 단계(S134)순으로 진행될 수 있다.

전체 윤곽선 검출 단계(S131)에서, 색채분석모듈(100)은 기저장된 캐니 윤곽선 검출 알고리즘(130)에 기반하여 상기 전체 색상 사용량 및 배경 사용량 계산 단계(S120)에서 2차 변환된 전처리 그림 이미지(3)의 전체 윤곽선을 검출할 수 있다.

색상 변환 단계(S132)에서, 색채분석모듈(100)은 기저장된 LAB 색차 계산 알고리즘(120)에 기반하여 검출한 전체 윤곽선의 색상과 기저장된 고바야시 컬러 이미지 스케일 데이터에 맵핑된 복수개의 색상 간 색차값을 계산한 후, 상기 전체 윤곽선의 색상을 상기 고바야시 컬러 이미지 스케일 데이터에 맵핑된 복수개의 색상 중 색차값이 가장 작은 색상으로 변환시킬 수 있다.

윤곽선 픽셀 개수 계산 단계(S133)에서, 색채분석모듈(100)은 색상이 변환된 전체 윤곽선의 픽셀 개수와, 상기 전체 윤곽선의 픽셀 개수 중 무채색 윤곽선의 픽셀 개수를 계산할 수 있다.

이때, 2차 변환된 전처리 그림 이미지(3)의 전체 윤곽선 픽셀은 2차 변환된 전처리 그림 이미지(3)의 객체 픽셀과 배경 픽셀의 경계를 의미하며, 무채색의 윤곽선 픽셀과 이를 제외한 나머지 윤곽선 픽셀을 포함한다.

한편, 무채색 윤곽선 픽셀은 전체 윤곽선 픽셀 중 검정, 흰색 및 회색의 RGB 값을 가지는 픽셀을 의미하며, 일 실시예에서는 2차 변환된 전처리 그림 이미지(3)의 색상별 사용량을 계산하는데 페널티(penalty)로 적용되어 상기 2차 변환된 전처리 그림 이미지(3)의 색상별 사용량을 감소시키는 역할을 수행하게 된다.

사용량 계산 단계(S134)에서, 색채분석모듈(100)은 전체 윤곽선의 픽셀 개수 및 무채색 윤곽선의 픽셀 개수, 상기 전체 색상 사용량 및 배경 사용량 계산 단계(S120)에서 계산한 2차 변환된 전처리 그림 이미지(3)의 색상별 픽셀 개수를 기반으로 2차 변환된 전처리 그림 이미지(3)의 전체 윤곽선 사용량(12)과 무채색 윤곽선 사용량(13)을 계산할 수 있다.

색채분석모듈(100)은 사용량 계산 단계(S134)에서 전체 윤곽선의 픽셀 개수를 2차 변환된 전처리 그림 이미지(3)의 색상별 픽셀 개수로 나눈 값에 100을 곱하여 %단위인 2차 변환된 전처리 그림 이미지(3)의 전체 윤곽선 사용량(12)을 계산할 수 있다.

또한, 색채분석모듈(100)은 그림 이미지(1)를 분류하기 위해 전체 윤곽선 사용량(12)을 계산할 수 있으며, 그림 이미지(1)는 색채분석모듈(100)에 의해 계산된 전체 윤곽선 사용량(12)에 따라 선 위주의 그림 또는 색 위주의 그림으로 분류될 수 있다.

구체적인 일예로, 그림 이미지(1)는 전체 윤곽선 사용량(12)이 50% 이상인 경우에 색채분석모듈(100)에 의해 선 위주의 그림으로 분류될 수 있으며, 이와 달리 50% 미만인 경우 색채분석모듈(100)에 의해 색 위주의 그림으로 분류될 수 있다.

그리고 색채분석모듈(100)은 사용량 계산 단계(S134)에서 무채색 윤곽선의 픽셀 개수를 2차 변환된 전처리 그림 이미지(3)의 색상별 픽셀 개수로 나눈 값에 100을 곱하여 %단위인 2차 변환된 전처리 그림 이미지(3)의 무채색 윤곽선 사용량(13)을 계산할 수 있다.

본 발명의 색채분석모듈(100)은 상기 전체 색상 사용량 및 배경 사용량 계산 단계(S120) 및 상기 전체 윤곽선 사용량 및 무채색 윤곽선 사용량 계산 단계(S130)의 과정이 종료되는 동시에 스케치 요소(10)를 자동 추출할 수 있다.

도 9는 본 발명의 색채분석모듈이 추출하는 스케치 요소의 일예를 도시한 도면이다.

도 9를 참조하면, 스케치 요소(10)는 2차 변환된 전처리 그림 이미지(3)의 전체 색상 사용량(11), 전체 윤곽선 사용량(12), 무채색 윤곽선 사용량(13) 및 배경 사용량(14)으로 이루어진다.

이러한 스케치 요소(10)는 사용자, 상기 사용자에게 그림 이미지를 제작하도록 지시한 관리자(예: 선생님, 의사 등) 및 보호자(예: 학부모)가 상기 사용자의 그림 이미지(1) 스케치 방식을 판단할 수 있도록 상기 사용자, 관리자 및 보호자에게 제공될 수 있다.

이를 위해, 색채분석모듈(100)은 사용자, 관리자 및 보호자가 구비한 단말(예: 스마트폰, 태블릿 PC, 컴퓨터 등)로 스케치 요소(10)에 대한 데이터를 전송할 수 있다.

색채분석모듈(100)은 추출한 스케치 요소(10)를 사용자의 정서를 분석하는데 이용할 수 있으며, 이에 따라 사용자의 정서는 스케치 요소(10)를 이루는 데이터(11~14)에 의해 달라질 수 있다.

도 3을 참조하면, 맵핑 단계(S140)는 색채분석모듈(100)이 단색 구조의 색상(21)을 제1 이미지 스케일(20)에 맵핑 및 배색 구조의 색상(31)을 제2 이미지 스케일(30)에 맵핑하는 단계로서 세부 과정은 도 10에 도시된 바와 같으며, 제1 이미지 스케일(20)과 제2 이미지 스케일(30)의 일예는 도 11a 및 도 11b에 도시된 바와 같다.

도 10은 도 3에 도시된 맵핑 단계의 세부 과정을 도시한 도면이다.

도 10을 참조하면, 맵핑 단계(S140)는 색상별 사용량 계산 단계(S141), 제1 이미지 스케일 맵핑 단계(S142), 스펙트럼 생성 단계(S143), 유사 배색 구조의 색상 검색 단계(S144) 및 제2 이미지 스케일 맵핑 단계(S145)순으로 진행될 수 있다.

색상별 사용량 계산 단계(S141)에서, 색채분석모듈(100)은 상기 전체 색상 사용량 및 배경 사용량 계산 단계(S120)에서 계산한 2차 변환된 전처리 그림 이미지(3)의 색상별 픽셀 개수에 상기 전체 윤곽선 사용량 및 무채색 윤곽선 사용량 계산 단계(S130)에서 계산한 무채색 윤곽선 사용량(13)을 곱함으로써, %단위인 2차 변환된 전처리 그림 이미지(3)의 색상별 사용량을 계산할 수 있다.

이때, 2차 변환된 전처리 그림 이미지(3)의 색상별 사용량은 무채색 윤곽선 사용량(13)에 의해 값이 감소하게 된다.

또한, 상기 색상별 사용량 계산 단계(S141)에서, 무채색 윤곽선 사용량(13)을 곱하는 것은 2차 변환된 전처리 그림 이미지(3)의 색상별 사용량과 비례하는 가중치의 평균(23)에 윤곽선을 무채색으로 사용한 경우 제1 이미지 스케일(20)의 3사분면에 치우치는 게 되는 것을 방지하기 위함이다.

제1 이미지 스케일 맵핑 단계(S142)에서, 색채분석모듈(100)은 2차 변환된 전처리 그림 이미지(3)의 색상별 사용량의 값을 가지는 단색 구조의 색상(21)을 제1 이미지 스케일(20)에 맵핑할 수 있다.

이때, 색채분석모듈(100)은 단색 구조의 색상(21)의 RGB 값을 HLS로 변환시킨 후 제1 이미지 스케일(20)에 맵핑시키는 것이 바람직하며, 이는 제1 이미지 스케일(20)의 x축이 채도, y축이 명도로 구성되기 때문이다.

제1 이미지 스케일(20)은 단색 형용사(40)와 매칭되는 단색 구조의 색상(21)을 특정 도형(예: 원형 또는 삼각형 등의 다각형)의 형태로 시각화하는 공간을 의미하며, 도 11a에 도시된 바와 같이 채도를 x축 및 명도를 y축으로 스케일 축이 구성된다.

또한, 각 단색 구조의 색상(21)은 2차 변환된 전처리 그림 이미지(3)의 색상별 사용량의 값에 따라 제1 이미지 스케일(20)상에서 크기가 달라질 수 있으며, 채도 및 명도에 따라 제1 이미지 스케일(20)상에서 위치가 달라질 수 있다.

색채분석모듈(100)은 2차 변환된 전처리 그림 이미지(3)의 색상별 사용량의 값을 가지는 모든 단색 구조의 색상(21)을 제1 이미지 스케일(20)에 맵핑할 수도 있으나, 단색 형용사(40)를 추출하는데 있어 노이즈를 최소화하기 위해 기설정된 값 이상인 색상별 사용량의 값을 가지는 단색 구조의 색상(21)만을 제1 이미지 스케일(20)에 맵핑시킬 수 있다.

구체적인 일예로, 색채분석모듈(100)은 2차 변환된 전처리 그림 이미지(3)의 색상별 사용량의 값이 1% 이상인 단색 구조의 색상(21)을 제1 이미지 스케일(20)에 맵핑하되, 2차 변환된 전처리 그림 이미지(3)의 색상별 사용량의 값이 1% 미만인 단색 구조의 색상(21)은 맵핑을 생략할 수 있다.

색채분석모듈(100)은 제1 이미지 스케일(20)에 맵핑된 2차 변환된 전처리 그림 이미지(3)의 색상별 사용량과 비례하는 가중치를 대표 및 세부 형용사(41, 42)에 반영함으로써, 대표 및 세부 형용사(41, 42)에서 사용자의 정서와 매칭되는 형용사가 높은 값(%)을 가지도록 한다.

또한, 색채분석모듈(100)은 2차 변환된 전처리 그림 이미지(3)의 색상별 사용량과 비례하는 가중치의 평균(23)을 제1 이미지 스케일(20)에 맵핑할 수 있다.

스펙트럼 생성 단계(S143)에서, 색채분석모듈(100)은 도면에 미도시되었으나, 그림 이미지(1)의 각 픽셀이 가지는 색상에 대한 스펙트럼을 생성할 수 있다.

색채분석모듈(100)은 스펙트럼 생성 단계(S143)에서 그림 이미지(1)의 배경 픽셀을 제외한 객체 픽셀이 가지는 색상에 대한 스펙트럼을 생성하는 것이 바람직하다.

유사 배색 구조의 색상 검색 단계(S144)에서, 색채분석모듈(100)은 기저장된 전체 배색 비교 알고리즘(140)으로부터 그림 이미지(1)의 각 픽셀이 가지는 색상에 대한 스펙트럼과 유사한 배색 구조의 색상(31)을 검색할 수 있다.

제2 이미지 스케일 맵핑 단계(S145)에서, 색채분석모듈(100)은 상기 유사 배색 구조의 색상 검색 단계(S144)에서 검색한 배색 구조의 색상(31)을 제2 이미지 스케일(50)에 맵핑할 수 있다.

여기서, 제2 이미지 스케일(30)은 배색 형용사와 매칭되는 배색 구조의 색상(31)을 특정 도형(예: 원형 또는 삼각형 등의 다각형)의 형태로 시각화하는 공간을 의미하며, 도 11b에 도시된 바와 같이 채도를 x축 및 명도를 y축으로 스케일 축이 구성된다.

또한, 각 배색 구조의 색상(31)은 배색 구조를 이루는 복수의 색상의 채도 및 명도에 따라 제2 이미지 스케일(30)상에서 위치가 달라질 수 있다.

색채분석모듈(100)은 배색 구조의 색상(31) 뿐만 아니라, 상기 배색 구조의 색상(31)에 대한 채도 및 명도 평균값(31a)을 제2 이미지 스케일(30)에 맵핑할 수 있으며, 보다 구체적으로는 채도 및 명도 평균값(31a)은 각 배색 구조의 색상(31) 상측에 시각화되도록 제2 이미지 스케일(30)상에 맵핑될 수 있다.

도 12는 본 발명의 색채분석모듈이 사용자의 정서를 분석하기 위해 이용하는 PA 정서 모델을 도시한 도면이다.

도 12를 참조하면, PA 정서 모델(200)은 PAD 정서 모델 중 핵심 정서(Core affect)로 축약된 모델이며, 상기 PA 정서 모델(200)의 구조상 핵심 정서는 PA(비각성-각성 및 부정-긍정)를 의미한다.

한편, 본 발명의 PA 정서 모델(200)을 구축하기 위해 사용된 PAD 정서 모델(PAD emotional state model)은 즐거움(pleasure), 각성(arousal), 지배력(dominance)의 수치 차원을 이용하여 감정 상태를 설명 및 측정하기 위해 Albert Mehrabia과 James A.Russell이 1974년 이후에 개발한 심리 모델이다.

일 실시예에서, PA 정서 모델(200)은 PAD 정서 모델의 축약 모델로서 이미지 스케일의 x축이 부정(PA: A-) 및 긍정(PA: A+), y축은 비각성(PA: P-) 및 각성(PA: P+)으로 구성될 수 있다.

또한, PA 정서 모델(200)은 채도(Color: grayish-clear)가 x축 및 명도(Color: dark-light)가 y축으로 구성됨에 따라, 복수의 색상이 각각 채도 및 명도에 따라 이미지 스케일에 맵핑될 수 있다.

그리고 PA 정서 모델(200)은 1사분면의 좌표평면(도 12에서 우측 상단)에 배치된 복수의 색상에 즐거운'(joyful)과 관련된 형용사(예: satisfied, enthusiasm 등)가 할당되도록 한다.

또한, PA 정서 모델(200)은 2사분면의 좌표평면(도 12에서 좌측 상단)에 배치된 복수의 색상에 '편안한'(relaxed)과 관련된 형용사(예: happy, contented, happiness 등)가 할당되도록 한다.

그리고 PA 정서 모델(200)은 3사분면의 좌표평면(도 12에서 좌측 하단)에 배치된 복수의 색상에 '슬픈'(sad)과 관련된 형용사(예: miserable, sad, sadness 등)가 할당되도록 한다.

또한, PA 정서 모델(200)은 4사분면의 좌표평면(도 12에서 우측 하단)에 배치된 복수의 색상에 '분노'(angry)와 관련된 형용사(예: disappointed, contempt, disgust, suprise 등)가 할당되도록 한다.

본 발명의 색채분석모듈(100)은 도 12에 도시된 PA 정서 모델(200)을 기반으로 단색 및 배색 구조의 색상(21, 31)에 따른 단색 및 배색 형용사(40, 50)를 추출하기 위해 제1 이미지 스케일(20)과 제2 이미지 스케일(30)을 채도의 x축과 명도의 y축으로 구성할 수 있다.

도 3을 참조하면, 추출 단계(S150)는 색채분석모듈(100)이 단색 및 배색 형용사(40, 50), 색상 요소(60) 및 정서 요소(70)를 각각 추출하는 단계이며, 이러한 단계에서 추출되는 단색 및 배색 형용사(40, 50), 색상 요소(60) 및 정서 요소(70)의 일예는 도 13a 내지 도 13d에 도시된 바와 같다.

도 13a 내지 도 13d는 본 발명의 색채분석모듈이 추출하는 단색 및 배색 형용사, 색상 요소, 정서 요소의 일예를 도시한 도면이다.

도 13a를 참조하면, 단색 형용사(40)는 대표 형용사(41)와 세부 형용사(42)로 이루어진다.

이때, 대표 형용사(41)는 2차 변환된 전처리 그림 이미지(3)의 색별 사용량과 비례하는 가중치가 반영된 상태를 기준으로 값(%)이 높은 상위 5개의 형용사를 포함할 수 있다.

또한, 세부 형용사(42)는 2차 변환된 전처리 그림 이미지(3)의 색별 사용량과 비례하는 가중치가 반영된 상태를 기준으로 값(%)이 높은 상위 10개의 형용사를 포함할 수 있다.

색채분석모듈(100)은 사용자의 정서를 분석하는데 있어, 대표 형용사(41)의 상위 5개 형용사와 세부 형용사(42)의 상위 10개 형용사를 이용할 수 있다.

도 13b를 참조하면, 배색 형용사(50)는 제2 이미지 스케일(50)에 맵핑된 배색 구조의 색상(31)과 매칭되는 형용사를 포함하며, 각 배색 구조의 색상(31)과 중복될수록 값(%)이 높아지게 된다.

색채분석모듈(100)은 사용자의 정서를 분석하는데 있어, 배색 형용사(50)에 포함된 형용사를 이용할 수 있다.

도 13c를 참조하면, 색상 요소(60)는 사용 색상 개수(61), 사용 색상 비율(62), 주색 사용 개수(63), 주색 사용 비율(64), 색상 사용 비율(65), 톤 사용 비율(66) 및 사용량 표준편차(67)를 포함한다.

사용 색상 개수(61)는 그림 이미지(1)을 제작하는데 사용되는 색상의 개수를 의미한다.

사용 색상 비율(62)은 사용 색상 개수(61)로 계산된 색상의 개수를 고바야시 컬러 이미지 스케일 데이터의 이미지 스케일에 맵핑된 색의 개수인 130개로 나눈 색상 비율을 의미한다.

주색 사용 개수(63)는 제1 이미지 스케일(20)에 맵핑되는 단색 구조의 색상(21)의 개수를 의미한다.

주색 사용 비율(64)는 주색 사용 개수(63)로 계산된 색상의 개수를 고바야시 컬러 이미지 스케일 데이터의 이미지 스케일에 맵핑된 색의 개수인 130개로 나눈 색상 비율을 의미한다.

색상 사용 비율(65)은 제1 이미지 스케일(20)에 맵핑된 단색 구조의 색상(21)이 고바야시 컬러 이미지 스케일 데이터를 구성하는 색상(hue) 중 몇 종류의 색상으로 이루어졌는가의 비율을 의미하며, 고바야시 컬러 이미지 스케일 데이터에서 색상 개수는 11개일 수 있다.

톤 사용 비율(66)은 제1 이미지 스케일(20)에 맵핑된 단색 구조의 색상(21)이 고바야시 컬러 이미지 스케일 데이터를 구성하는 톤(tone) 중 몇 종류의 톤으로 이루어졌는가의 비율을 의미하며, 고바야시 컬러 이미지 스케일 데이터에서 톤 개수는 12개일 수 있다.

사용량 표준편차(67)는 그림 이미지(1)가 단색 구조의 색상(21) 위주로 제작되었는지 여부를 판단하기 위한 값을 의미한다.

이러한 사용량 표준편차(67)는 값이 클수록 주색인 단색 구조의 색상(21)을 위주로 그림 이미지(1)가 제작되었음을 의미하며, 값이 작을수록 그림 이미지(1)를 제작하는데 있어 주색 뿐만 아니라, 색상별 사용량의 값이 1% 미만의 보조색인 단색 구조의 색상(21)도 고르게 사용되었음을 의미한다.

도 13d를 참조하면, 정서 요소(70)는 색 분산 데이터(71), 가중치 평균 위치(72), 제1 PA 사용 비율(73), 제2 PA 사용 비율(74), 제3 PA 사용 비율(75), 제4 PA 사용 비율(76) 및 PA 정서 표준편차(77)를 포함한다.

색 분산 데이터(71)는 x축이 채도 및 y축이 명도로 스케일축이 구성된 제1 이미지 스케일(20)에 맵핑된 단색 구조의 색상(21)의 좌표값 분산을 의미한다.

가중치 평균 위치(72)는 가중치의 평균(23)이 제1 이미지 스케일(20)에 맵핑된 좌표값을 의미한다.

제1 PA 사용 비율(73)은 제1 이미지 스케일(20)의 1사분면에 맵핑된 단색 구조의 색상(21) 비율을 제1 이미지 스케일(20)의 1~4분면에 맵핑된 단색 구조의 색상(21) 비율로 나눈 값을 의미한다.

제2 PA 사용 비율(74)은 제1 이미지 스케일(20)의 2사분면에 맵핑된 단색 구조의 색상(21) 비율을 제1 이미지 스케일(20)의 1~4분면에 맵핑된 단색 구조의 색상(21) 비율로 나눈 값을 의미한다.

제3 PA 사용 비율(75)은 제1 이미지 스케일(20)의 3사분면에 맵핑된 단색 구조의 색상(21) 비율을 제1 이미지 스케일(20)의 1~4분면에 맵핑된 단색 구조의 색상(21) 비율로 나눈 값을 의미한다.

제4 PA 사용 비율(76)은 제1 이미지 스케일(20)의 4사분면에 맵핑된 단색 구조의 색상(21) 비율을 제1 이미지 스케일(20)의 1~4분면에 맵핑된 단색 구조의 색상(21) 비율로 나눈 값을 의미한다.

PA 정서 표준편차(77)는 단색 구조의 색상(21)이 제1 이미지 스케일(20)의 1~4분면에 골고루 맵핑되었는지 여부를 판단하기 위한 값임과 동시에 이는 PA 정서가 고르게 퍼져있는지 여부를 판단하기 위한 값이기도 하다.

이러한 PA 정서 표준편차(77)는 값이 클수록 PA 정서가 고르게 퍼져있는 것을 의미하며, 이와 반대로 값이 작을수록 PA 정서가 특정 좌표평면에 몰려 있는 것을 의미한다.

상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.

본 발명은 본 발명의 기술적 사상 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

1: 그림 이미지, 2: 전처리 그림 이미지,
3: 2차 변환된 전처리 그림 이미지, 5: PA 모델,
10: 스케치요소, 11: 전체 색상 사용량,
12: 전체 윤곽선 사용량, 13: 무채색 윤곽선 사용량,
14: 배경 사용량, 20: 제1 이미지 스케일,
21: 단색 구조의 색상, 23: 가중치의 평균,
30: 제2 이미지 스케일, 31: 배색 구조의 색상,
31a: 채도 및 명도 평균값, 40: 단색 형용사,
41: 대표 형용사, 42: 세부 형용사,
50: 배색 형용사, 60: 색상 요소,
61: 사용 색상 개수, 62: 사용 색상 비율,
63: 주색 사용 개수, 64: 주색 사용 비율,
65: 색상 사용 비율, 66: 톤 사용 비율,
67: 사용량 표준편차, 70: 정서 요소,
71: 색 분산 데이터, 72: 가중치 평균 위치,
73: 제1 PA 사용 비율, 74: 제2 PA 사용 비율,
75: 제3 PA 사용 비율, 76: 제4 PA 사용 비율,
77: PA 정서 표준편차, 100: 색채분석모듈,
101: 제1 데이터셋, 101a: 제1 메인 형용사 데이터,
101b: 제1 세부 형용사 데이터, 101c: 색상 데이터,
102: 제2 데이터셋, 102a: 제2 메인 형용사 데이터,
102b: 제2 세부 색상 데이터, 111: k-means 알고리즘,
112: LAB 색차 계산 알고리즘, 113: 캐니 윤곽선 검출 알고리즘,
114: 전체 배색 비교 알고리즘, 200: PA 정서 모델.

Claims

a) 색채분석모듈이 사용자가 제작한 그림 이미지의 색상을 전처리하는 단계;
b) 상기 색채분석모듈이 상기 전처리 그림 이미지의 색상을 양자화시킨 후, 상기 색상이 양자화된 전처리 그림 이미지의 색상별 픽셀 개수를 계산하고, 상기 색상별 픽셀 개수를 기반으로 상기 전처리 그림 이미지의 전체 색상 사용량과 배경 사용량을 계산하는 단계;
c) 상기 색채분석모듈이 상기 색상이 양자화된 전처리 그림 이미지의 전체 윤곽선 픽셀 개수를 계산하고, 상기 전체 윤곽선 픽셀 개수를 기반으로 전체 윤곽선 사용량과 무채색 윤곽선 사용량을 계산하는 단계;
d) 상기 색채분석모듈이 상기 양자화된 전처리 그림 이미지의 색상별 픽셀 개수와 상기 무채색 윤곽선 사용량을 통해 계산되는 색상별 사용량을 가지는 단색 구조의 색상을 제1 이미지 스케일에 맵핑하고, 상기 그림 이미지의 색상에 대한 스펙트럼을 기반으로 하는 배색 구조의 색상을 제2 이미지 스케일에 맵핑하는 단계; 및
e) 상기 색채분석모듈이 상기 제1, 2 이미지 스케일에 각각 맵핑된 단색 및 배색 구조의 색상과 연관되는 단색 및 배색 형용사, 색상 요소, 정서 요소를 각각 추출하고, 상기 단색 및 배색 형용사, 색상 요소, 정서 요소를 기반으로 상기 사용자의 정서를 분석하는 단계;를 포함하는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.
제 1 항에 있어서,
상기 a) 단계는,
a-1) 상기 색채분석모듈이 상기 사용자가 제작한 그림 이미지로부터 상기 사용자의 정서 분석에 필요한 객체를 제외한 배경 영역을 제거하며, 상기 배경 영역과 매칭되는 배경 픽셀의 RGB 값을 보정하는 단계; 및
a-2) 상기 색채분석모듈이 상기 배경 영역이 제거된 그림 이미지의 선명도를 보정하기 위해, 상기 배경 영역이 제거된 그림 이미지를 블러 처리시켜 상기 전처리 그림 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.
◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈

제 2 항에 있어서,
상기 a-1) 단계는,
상기 색채분석모듈이 상기 배경 픽셀의 RGB 값을 RGB(255, 255, 255)으로 보정하는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.
제 2 항에 있어서,
상기 b) 단계는,
b-1) 상기 색채분석모듈이 기저장된 K-means 알고리즘에 기반하여 상기 전처리 그림 이미지의 색상을 군집화되는 k개의 색상으로 1차 변환시키는 단계;
b-2) 상기 색채분석모듈이 기저장된 LAB 색차 계산 알고리즘에 기반하여 상기 1차 변환된 전처리 그림 이미지의 색상과 기저장된 고바야시 컬러 이미지 스케일 데이터에 맵핑된 복수개의 색상 간 색차값을 계산한 후, 상기 1차 변환된 전처리 그림 이미지의 색상을 상기 고바야시 컬러 이미지 스케일 데이터에 맵핑된 복수개의 색상 중 색차값이 가장 작은 색상으로 2차 변환시키는 단계; 및
b-3) 상기 색채분석모듈이 상기 2차 변환된 전처리 그림 이미지의 픽셀 중 상기 사용자의 정서 분석에 필요한 색상이 존재하는 객체 픽셀의 개수와 상기 객체 픽셀을 제외한 배경 픽셀의 개수를 기반으로 상기 2차 변환된 전처리 그림 이미지의 전체 색상 사용량 및 배경 사용량을 계산하는 단계;를 포함하는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.
제 4 항에 있어서,
상기 색채분석모듈은,
상기 객체 픽셀의 개수를 상기 그림 이미지의 전체 픽셀 개수로 나눈 값에 100을 곱하여 %단위인 상기 2차 변환된 전처리 그림 이미지의 전체 색상 사용량을 계산하는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.
제 4 항에 있어서,
상기 색채분석모듈은,
상기 배경 픽셀의 개수를 상기 그림 이미지의 전체 픽셀 개수로 나눈 값에 100을 곱하여 %단위인 상기 2차 변환된 전처리 그림 이미지의 배경 사용량을 계산하는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.
제 4 항에 있어서,
상기 c) 단계는,
c-1) 상기 색채분석모듈이 기저장된 캐니 윤곽선 검출 알고리즘에 기반하여 상기 2차 변환된 전처리 그림 이미지의 전체 윤곽선을 검출하는 단계;
c-2) 상기 색채분석모듈이 기저장된 LAB 색차 계산 알고리즘에 기반하여 검출한 전체 윤곽선의 색상과 기저장된 고바야시 컬러 이미지 스케일 데이터에 맵핑된 복수개의 색상 간 색차값을 계산한 후, 상기 전체 윤곽선의 색상을 상기 고바야시 컬러 이미지 스케일 데이터에 맵핑된 복수개의 색상 중 색차값이 가장 작은 색상으로 변환시키는 단계;
c-3) 상기 색채분석모듈이 상기 색상이 변환된 전체 윤곽선의 픽셀 개수와 상기 전체 윤곽선의 픽셀 개수 중 무채색 윤곽선의 픽셀 개수를 계산하는 단계; 및
c-4) 상기 색채분석모듈이 상기 전체 윤곽선의 픽셀 개수, 무채색 윤곽선의 픽셀 개수, 상기 2차 변환된 전처리 그림 이미지의 색상별 픽셀 개수를 기반으로 상기 2차 변환된 전처리 그림 이미지의 전체 윤곽선 사용량과 무채색 윤곽선 사용량을 계산하는 단계;를 포함하는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.
제 7 항에 있어서,
상기 색채분석모듈은,
상기 전체 윤곽선의 픽셀 개수를 상기 2차 변환된 전처리 그림 이미지의 색상별 픽셀 개수로 나눈 값에 100을 곱하여 %단위인 상기 2차 변환된 전처리 그림 이미지의 전체 윤곽선 사용량을 계산하는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.
제 7 항에 있어서,
상기 색채분석모듈은,
상기 무채색 윤곽선의 픽셀 개수를 상기 2차 변환된 전처리 그림 이미지의 색상별 픽셀 개수로 나눈 값에 100을 곱하여 %단위인 상기 2차 변환된 전처리 그림 이미지의 무채색 윤곽선 사용량을 계산하는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.
제 9 항에 있어서,
상기 d) 단계는,
d-1) 상기 색채분석모듈이 상기 2차 변환된 전처리 그림 이미지의 색상별 픽셀 개수에 상기 무채색 윤곽선 사용량을 곱하여 %단위인 상기 2차 변환된 전처리 그림 이미지의 색상별 사용량을 계산하는 단계; 및
d-2) 상기 색채분석모듈이 상기 2차 변환된 전처리 그림 이미지의 색상별 사용량의 값을 가지는 단색 구조의 색상을 상기 제1 이미지 스케일에 맵핑하는 단계;를 포함하는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.
제 10 항에 있어서,
상기 색채분석모듈은,
상기 2차 변환된 전처리 그림 이미지의 색상별 사용량의 값이 기설정된 값 이상인 단색 구조의 색상을 상기 제1 이미지 스케일에 맵핑하되, 상기 기설정된 값 미만의 색상별 사용량의 값을 가지는 단색 구조의 색상은 맵핑을 생략하는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.
제 11 항에 있어서,
상기 색채분석모듈은,
상기 제1 이미지 스케일에 맵핑된 상기 2차 변환된 전처리 그림 이미지의 색상별 사용량과 비례하는 가중치의 평균을 상기 제1 이미지 스케일에 맵핑하는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.
제 10 항에 있어서,
상기 d) 단계는,
d-3) 상기 색채분석모듈이 상기 그림 이미지의 각 픽셀이 가지는 색상에 대한 스펙트럼을 생성하는 단계; 및
d-4) 상기 색채분석모듈이 기저장된 전체 배색 비교 알고리즘으로부터 검색되는 상기 스펙트럼과 유사한 배색 구조의 색상을 상기 제2 이미지 스케일에 맵핑하는 단계;를 포함하는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.
제 13 항에 있어서,
상기 색채분석모듈은,
상기 배색 구조의 색상에 대한 채도 및 명도 평균값을 상기 제2 이미지 스케일에 맵핑하는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.
◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈

제 1 항에 있어서,
상기 제1, 2 이미지 스케일은,
채도를 x축 및 명도를 y축으로 스케일 축이 구성되는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.
◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈

제 1 항에 있어서,
상기 색채분석모듈은,
상기 전체 색상 사용량, 배경 사용량, 전체 윤곽선 사용량 및 무채색 윤곽선 사용량으로 이루어진 스케치 요소를 추출하고, 상기 사용자의 정서 분석에 상기 스케치 요소를 반영하는 것을 특징으로 하는 색채분석모듈을 이용한 사용자의 정서 분석 방법.