KR102403702B1

KR102403702B1 - 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치 및 이에 의해서 수행되는 미술 심리분석 방법

Info

Publication number: KR102403702B1
Application number: KR1020210154398A
Authority: KR
Inventors: 김지훈
Original assignee: 주식회사 파블로아트컴퍼니
Priority date: 2021-11-11
Filing date: 2021-11-11
Publication date: 2022-05-31
Anticipated expiration: 2041-11-11
Also published as: KR102415102B1; KR102415101B1; KR102415103B1; KR102415104B1

Abstract

본 발명은 미술 심리검사 당시의 피검사자 음성으로부터 추출한 음성 데이터 및 텍스트 데이터와 그림 데이터를 이용하여 피검사자의 감정을 분석하고, 심리 파악에 유의미한 그림 주제를 이용하여 피검사자의 성격을 분석할 수 있는 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치 및 이에 의해서 수행되는 미술 심리분석 방법에 관한 것으로, 본 발명의 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치는, 피검사자인 사용자에게 상호작용 환경을 제공하기 위한 사용자 인터페이스; 미술 심리검사동안 상기 사용자 인터페이스를 통해 입력된 상기 사용자의 음성으로부터 음성 데이터를 추출하며, 상기 음성 데이터로부터 텍스트 데이터를 추출하는 데이터추출부; 상기 데이터추출부에서 추출된 음성 데이터 및 텍스트 데이터를 이용하여 상기 사용자 인터페이스를 통해 상기 사용자가 입력한 그림 데이터로부터 상기 사용자의 감정을 분석하는 감정분석부; 상기 사용자 인터페이스를 통해 상기 그림 데이터와 함께 상기 사용자가 입력한 상기 그림 데이터의 그림 주제에 따른 상기 사용자의 성격을 분석하는 성격분석부; 상기 감정분석부가 분석한 상기 사용자의 감정과 상기 성격분석부가 분석한 상기 사용자의 성격을 통해 상기 사용자의 심리상태를 분석하는 심리상태분석부; 및 상기 심리상태분석부가 분석한 상기 사용자의 심리상태에 대한 정보를 저장하는 데이터베이스;를 포함할 수 있다.

Description

음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치 및 이에 의해서 수행되는 미술 심리분석 방법{Art psychology analyzer using voice, text, and picture data and art psychology analysis method performed by it}

본 발명은 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치 및 이에 의해서 수행되는 미술 심리분석 방법에 관한 것으로, 보다 상세하게는 미술 심리검사 당시의 피검사자 음성으로부터 추출한 음성 데이터 및 텍스트 데이터와 그림 데이터를 이용하여 피검사자의 감정을 분석하고, 심리 파악에 유의미한 그림 주제를 이용하여 피검사자의 성격을 분석할 수 있는 기술에 관한 것이다.

텍스트나 음성을 이용하여 피검사자의 심리상태나 성격을 분석하는 기술이 많이 개발되고 있다. 그러나 텍스트, 음성 및 그림 데이터를 종합하여 피검사자의 심리를 검사하는 방법은 보편적으로 사용되지 않고 있으며, 특히 그림 데이터만을 이용한 심리검사는 객체가 그려진 순서 등의 추가 정보 없이는 신뢰도가 높지 않은 편이다.

즉, 그림 데이터만을 이용하여 피검사자의 심리상태나 성격을 파악하는 것은 매우 어려운 일이며, 입증된 심리검사 방법 또한 많지 않다. 그나마도 검사자의 주관이나 질의응답이 있어야만 피검사자의 심리상태나 성격을 제대로 파악할 수 있는데, 다양한 그림 데이터가 존재한다 하더라도 심리상태라는 것은 항상 일관된 것이 아니라 상황에 따라 변화될 수 있다.

이에 따라, 미술 심리검사용 인공지능 모델을 구축한다고 할 때, 심리검사 당시 피검사자의 감정과 심리상태를 정확히 파악할 필요가 있다.

한편, 그림 데이터를 이용하여 피검사자의 심리상태를 분석하는 미술 심리검사의 대표적인 예로는 HTP 검사가 있는데, HTP 검사는 집(House), 나무(Tree) 및 사람(Person)을 그리는 것을 과제로 제시한 후 그림의 형태, 색상, 위치 등의 미술 정보로부터 그림을 그린 피검사자의 심리상태를 분석하는 것으로, 모든 연령층의 피검사자가 쉽게 과제를 수행할 수 있어 그 유용성을 널리 인정받고 있다.

그러나 HTP 검사와 같은 미술 심리검사에 사용되는 그림 데이터의 주제(객체)가 다양하지 못한 것은 새로운 그림에 대해 그 평가 방법의 타당성을 입증하기가 쉽지 않기 때문이며, 표준화되고 일반적인 심리분석 결과를 도출하기 위해서는 특정 성격을 가진 피검사자들이 유사한 패턴의 그림을 그려내야 하는데, 그 패턴 역시 주제에서 의도한 부분에서만 발생한다고 보기 어렵고, 그렇기 때문에 심리학에 기초하여 그림 주제를 정하더라도 예상한 심리분석 결과가 도출되지 않을 수 있다. 또한, 주관적 요소가 많기 때문에 몇몇의 피검사자에게 공통의 평가로 예상한 결과가 나오더라도 새로운 피검사자에 대해서도 동일한 평가가 가능할지 판단하는 것은 매우 어려운 문제점이 있다.

대한민국 등록특허 제10-1926836호(2018.12.03 등록)

본 발명은 미술 심리검사 당시의 피검사자 음성으로부터 추출한 음성 데이터 및 텍스트 데이터와 그림 데이터를 통해 피검사자의 감정을 분석하면서 심리 파악에 유의미한 그림 주제로 피검사자의 성격을 분석할 수 있는 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치 및 이에 의해서 수행되는 미술 심리분석 방법을 제공하는데 목적이 있다.

특히, 본 발명은 음성 데이터와 텍스트 데이터를 이용하여 생성된 인공지능모델이 자가 증류(Self-distillation) 또는 자가지도 학습(Self-supervised learning) 기법으로 학습되어 피검사자에 의해 그려진 그림 데이터로부터 피검사자의 감정을 분석할 수 있는 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치 및 이에 의해서 수행되는 미술 심리분석 방법을 제공하는데 목적이 있다.

또한, 본 발명은 이미지 클러스터링을 통해 그림 주제별로 나누어진 클러스터의 분포현황이 인공지능모델이 예상한 분포와 유사하는지 여부로 그림 데이터가 그림 주제에 적합한지 판단하며, 이를 통해 인공지능모델의 타당성을 검증할 수 있는 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치 및 이에 의해서 수행되는 미술 심리분석 방법을 제공하는데 목적이 있다.

다만, 본 발명에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명의 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치는, 피검사자인 사용자에게 상호작용 환경을 제공하기 위한 사용자 인터페이스; 미술 심리검사동안 상기 사용자 인터페이스를 통해 입력된 상기 사용자의 음성으로부터 음성 데이터를 추출하며, 상기 음성 데이터로부터 텍스트 데이터를 추출하는 데이터추출부; 상기 데이터추출부에서 추출된 음성 데이터 및 텍스트 데이터를 이용하여 상기 사용자 인터페이스를 통해 상기 사용자가 입력한 그림 데이터로부터 상기 사용자의 감정을 분석하는 감정분석부; 상기 사용자 인터페이스를 통해 상기 그림 데이터와 함께 상기 사용자가 입력한 상기 그림 데이터의 그림 주제에 따른 상기 사용자의 성격을 분석하는 성격분석부; 상기 감정분석부가 분석한 상기 사용자의 감정과 상기 성격분석부가 분석한 상기 사용자의 성격을 통해 상기 사용자의 심리상태를 분석하는 심리상태분석부; 및 상기 심리상태분석부가 분석한 상기 사용자의 심리상태에 대한 정보를 저장하는 데이터베이스;를 포함할 수 있다.

또한, 상기 감정분석부는, 상기 사용자의 감정을 분석하기 위하여, 상기 사용자 인터페이스를 통해 그림 데이터와 함께 입력된 음성으로부터 추출된 음성 데이터 및 텍스트 데이터에 따른 감정분석 결과를 라벨링하여 학습 데이터를 구축한 감정분석 모델을 이용하여 학습이 이루어지는 인공지능모델부;를 포함할 수 있다.

그리고 상기 인공지능모델부는, 자가 증류(Self-distillation) 기법에 기반하여 스스로 증류하며, 상기 감정분석 모델의 감정분석 결과를 소프트 라벨(Soft label)로 스무딩한 후 실제 값(Ground Truth)으로 설정하여 그림 데이터로부터 상기 사용자의 감정을 0~1.0의 값으로 분석하는 제1 인공지능모델;을 포함할 수 있다.

또한, 상기 인공지능모델부는, 자가지도 학습(Self-supervised learning) 기법에 기반하여 검사자인 제2 사용자가 설정한 태스크(Pretext task)를 통해 사전 훈련되며, 상기 감정분석 모델의 감정분석 결과를 의사 라벨(Pseudo label)로서 실제 값으로 설정하여 그림 데이터로부터 상기 사용자의 감정을 0~1.0의 값으로 분석하는 제2 인공지능모델;을 포함할 수 있다.

그리고 상기 감정분석부는, 상기 제1 인공지능모델로 학습하여 상기 사용자 인터페이스를 통해 입력되는 그림 데이터로 상기 사용자의 감정을 분석하는 제1 감정분석부; 및 상기 제2 인공지능모델로 학습하여 상기 사용자 인터페이스를 통해 입력되는 그림 데이터로 상기 사용자의 감정을 분석하며, 상기 제1 감정분석부가 동작하는동안 동작 대기상태를 유지하되, 상기 제1 감정분석부가 동작 대기상태인 경우 동작하는 제2 감정분석부;를 포함할 수 있다.

또한, 상기 제1 감정분석부는, 상기 사용자 인터페이스를 통해 상기 사용자가 상기 그림 데이터의 그림 주제 입력을 생략하는 경우, 동작 대기상태로 변환될 수 있다.

그리고 상기 성격분석부는, 그림 주제별로 유사한 그림 데이터를 클러스터로 나눈 이미지 클러스터링(Image clustering)을 통해 상기 클러스터의 분포현황이 예상한 클러스터의 분포현황과 유사한지 여부로 상기 그림 데이터의 그림 주제가 타당한지 판단하고, 상기 클러스터를 성격별로 분류하여 그림 주제로 성격을 분석하도록 학습되는 제3 인공지능모델;을 포함할 수 있다.

또한, 본 발명의 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치는, 상기 제2 사용자의 단말과 통신하기 위한 통신부;를 더 포함할 수 있다.

그리고 상기 제2 사용자의 단말은, 상기 데이터베이스에 저장되는 상기 심리상태분석부가 분석한 상기 사용자의 심리상태에 대한 정보를 상기 제2 사용자에게 제공하며, 상기 제2 사용자가 상기 사용자의 심리상태에 대한 정보로부터 분석한 상기 사용자의 감정 및 성격에 대한 심리분석 의견의 입력이 가능토록 제2 사용자 인터페이스;를 포함할 수 있다.

또한, 상기 데이터베이스는, 상기 제2 사용자 인터페이스와 통신부를 통해 제공받는 상기 제2 사용자가 분석한 상기 사용자의 감정 및 성격에 대한 미술 심리분석 의견을 저장할 수 있다.

그리고 상기 사용자 인터페이스는, 상기 데이터베이스에 상기 사용자의 심리상태에 대한 정보가 저장되는 경우, 상기 사용자의 심리상태에 대한 정보가 출력되도록 하고, 상기 데이터베이스에 상기 사용자의 감정 및 성격에 대한 미술 심리분석 의견이 저장되는 경우, 상기 사용자의 심리상태에 대한 정보와 상기 사용자의 감정 및 성격에 대한 미술 심리분석 의견이 함께 출력되도록 할 수 있다.

본 발명의 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치에 의해서 수행되는 미술 심리분석 방법은, 감정분석부에 구비된 제1 인공지능모델이 자가 증류 기법, 제2 인공지능모델이 자가지도 학습 기법을 통해 학습되며, 성격분석부에 구비된 제3 인공지능모델이 이미지 클러스터링을 통해 학습되고, 심리상태분석부에 구비된 인공신경망 기반의 인공지능모델이 학습되는 단계; 사용자가 미술 심리검사동안 그림 데이터, 음성 및 상기 그림 데이터의 그림 주제를 사용자 인터페이스에 입력하는 단계; 상기 데이터추출부가 상기 사용자의 음성으로부터 음성 데이터를 추출하고, 상기 음성 데이터로부터 텍스트 데이터를 추출하는 단계; 상기 감정분석부가 상기 사용자의 음성 데이터 및 텍스트 데이터를 이용하여 상기 그림 데이터로부터 상기 사용자의 감정을 분석하는 단계; 상기 성격분석부가 상기 그림 데이터의 그림 주제에 따른 상기 사용자의 성격을 분석하는 단계; 상기 심리상태분석부가 상기 감정분석부가 분석한 상기 사용자의 감정과 상기 성격분석부가 분석한 상기 사용자의 성격을 통해 상기 사용자의 심리상태를 분석하는 단계; 및 상기 심리상태분석부가 분석한 상기 사용자의 심리상태에 대한 정보를 데이터베이스에 저장하는 단계;를 포함할 수 있다.

또한, 본 발명의 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치에 의해서 수행되는 미술 심리분석 방법은, 상기 사용자 인터페이스를 통해 상기 사용자의 심리상태에 대한 정보가 출력되는 단계; 검사자인 제2 사용자의 단말에 구비된 제2 사용자 인터페이스와 통신부를 통해 상기 제2 사용자가 상기 사용자의 심리상태에 대한 정보를 제공받은 후, 상기 제2 사용자 인터페이스를 통해 상기 사용자의 심리상태에 대한 정보로부터 분석한 상기 사용자의 감정 및 성격에 대한 미술 심리분석 의견을 입력하여 상기 데이터베이스에 저장되도록 하는 단계; 및 상기 사용자 인터페이스를 통해 상기 사용자의 심리상태에 대한 정보와 상기 사용자의 감정 및 성격에 대한 미술 심리분석 의견이 함께 출력되는 단계;를 포함할 수 있다.

본 발명의 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치에 의해서 수행되는 미술 심리분석 방법을 실행하기 위한, 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.

본 발명은 음성 데이터, 텍스트 데이터 및 그림 데이터로 피검사자의 감정을 분석할 수 있는 고성능의 인공지능모델을 생성하며, 하나의 그림 데이터로부터 피검사자의 다양한 감정을 분석할 수 있는 효과가 있다.

또한, 본 발명은 종래의 HTP 검사와 같은 보편화된 미술 심리검사와 비교하여 그림 주제를 다양하게 선택할 수 있어, 미술 심리분석 검사의 타당성 및 범용성이 향상되는 효과가 있다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치를 개략적으로 나타낸 블록도이다.
도 2는 도 1의 인공지능모델부가 변형된 본 발명의 일 실시예에 따른 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치를 개략적으로 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 성격분석부의 타당성 증명 과정을 설명하기 위한 그림 주제별 클러스터링 분포도이다.
도 4는 본 발명의 다른 실시예에 따른 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치를 개략적으로 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치에 의해서 수행되는 미술 심리분석 방법을 나타낸 순서도이다.
도 6은 본 발명의 다른 실시예에 따른 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치에 의해서 수행되는 미술 심리분석 방법을 나타낸 순서도이다.

이하에서는, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

본 발명의 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치(1)(이하에서는 '미술 심리분석 장치(1)이라 한다.)는 미술 심리검사 당시의 피검사자 음성으로부터 추출한 음성 데이터 및 텍스트 데이터와 그림 데이터를 이용하여 피검사자의 감정을 분석하고, 심리 파악에 유의미한 그림 주제를 이용하여 피검사자의 성격을 분석할 수 있는 시스템으로서, 이를 구현하기 위한 시스템의 구성요소는 다음과 같다.

도 1은 본 발명의 일 실시예에 따른 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치를 개략적으로 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 미술 심리분석 장치(1)는 사용자 인터페이스(10), 데이터추출부(20), 감정분석부(30), 성격분석부(40), 심리상태분석부(50) 및 데이터베이스(60)가 구비된다.

사용자 인터페이스(10)는 미술 심리분석 서비스를 제공받고자 하는 피검사자인 사용자(2)가 미술 심리분석 장치(1)와 상호작용할 수 있는 환경을 제공하며, 상기 사용자(2)로부터 명령을 입력받아 전자적인 데이터로 변환하기 위한 하드웨어 장치 및 소프트웨어 프로그램을 포괄하는 개념이다. 예를 들어, 키보드, 마우스, 터치펜 등의 입력 장치와 디스플레이 등의 출력 장치, 상기 입력 장치를 통해 입력된 윤곽선, 색상 등의 데이터를 처리하여 실시간으로 출력 장치에 표시하기 위한 드로잉 애플리케이션이 포함될 수 있다.

또한, 사용자 인터페이스(10)는 미술 심리검사가 이루어지는동안 사용자(2)에 의해 그려지는 그림 데이터가 입력되는데, 본 발명의 그림데이터는 미술 심리분석의 평가요소가 될 객체 및 상기 객체를 이루는 항목이 포함되는 그림일 수 있다.

본 발명에서, 미술 심리검사는 일 예로 객체인 집, 나무 및 사람 중 적어도 하나를 그리는 것을 과제로 제시한 후 그림의 형태, 색상, 위치 등의 정보로부터 사용자의 심리상태를 분석하는 HTP 검사일 수 있으나, 다양한 그림 데이터의 그림 주제로 사용자(2)의 성격이 분석되도록 방식을 한정하지 아니하며, 객체를 이루는 항목은 객체가 집이라면 집틀(지붕, 벽, 굴뚝 등), 창문 및 문이 포함될 수 있고, 객체가 나무라면 줄기, 뿌리, 나뭇잎, 열매 등이 포함될 수 있다.

그리고 사용자 인터페이스(10)는 그림 데이터가 입력될 때 상기 그림 데이터의 설명이 포함된 사용자(2)의 음성이 입력되도록 상기 사용자(2)에게 그림 데이터에 대한 설명을 요청하며, 상기 사용자(2)는 사용자 인터페이스(10)를 통해 음성의 녹음을 요청한 후 그림 데이터에 대한 설명을 음성으로 입력하거나, 미술 심리분석 장치(1)의 디스플레이에 질문 메시지가 출력된 후 그림 데이터에 대한 설명을 음성으로 입력한다.

또한, 사용자 인터페이스(10)는 사용자(2)의 음성과 그림 데이터 뿐만 아니라, 상기 그림 데이터가 입력되기 전이나 상기 그림 데이터의 입력 후에 상기 그림 데이터의 그림 주제가 입력되도록 사용자(2)에게 그림 주제의 입력을 요청하며, 상기 사용자(2)는 사용자 인터페이스(10)를 통해 분류된 상태의 그림 주제를 선택하거나 텍스트 형태로 그림 주제를 입력한다.

그리고 사용자 인터페이스(10)를 통해 입력 가능한 그림 주제는 HTP 검사와 같이 집, 나무, 사람으로 한정되지 아니하며, 동물, 곤충, 건물, 이동수단 등과 같이 다양하게 설정될 수 있다.

데이터추출부(20)는 미술 심리검사동안 사용자 인터페이스(10)를 통해 입력된 사용자(2)의 음성으로부터 음성 데이터를 추출하며, 상기 음성 데이터로부터 텍스트 데이터를 추출한다.

본 발명에서, 데이터추출부(20)는 사용자(2)의 음성이 입력되는동안 상기 사용자(2)의 음성과 이를 제외한 잡음(노이즈)이 혼합된 음원의 파형을 음성 파형과 잡음 파형으로 분리하여 음성 데이터를 추출하며, 음성 텍스트 변환 프로그램을 이용하여 음성 데이터로부터 텍스트 데이터를 추출할 수 있다.

감정분석부(30)는 데이터추출부(20)에서 추출된 음성 데이터 및 텍스트 데이터를 이용하여 사용자 인터페이스(10)를 통해 사용자(2)가 입력한 그림 데이터로부터 사용자(2)의 감정을 분석한다.

이때, 감정이라 함은 통상적으로 사용자(2)가 어떤 현상이나 일에 대하여 느낄 수 있는 기분으로서 '기쁨', '분노', '슬픔', '즐거움', '사랑', '증오', '욕망', '감동', '자신감', '질투', '행복', '희망', '절망', '두려움', '설렘', '실망', '그리움', '걱정', '기대' 등이 포함될 수 있다.

본 발명에서, 감정분석부(30)는 사용자(2)의 감정을 분석하기 위해 인공지능모델부(31)가 구비되는데, 상기 인공지능모델부(31)는 상기 사용자 인터페이스(10)를 통해 그림 데이터와 함께 입력된 음성으로부터 추출된 음성 데이터 및 텍스트 데이터에 따른 감정분석 결과를 라벨링하여 학습 데이터를 구축한 감정분석 모델을 이용하여 학습이 이루어진다.

또한, 인공지능모델부(31)는 사용자(2)의 감정을 분석하기 위한 제1 인공지능모델(31a)이 포함되는데, 상기 제1 인공지능모델(31a)은 자가 증류(Self-distillation) 기법에 기반하여 스스로 증류하며, 감정분석 모델의 감정분석 결과를 소프트 라벨(Soft label)로 스무딩한 후 실제 값(Ground Truth)으로 설정하여 그림 데이터로 감정을 분석할 수 있다.

이때, 자가 증류는 지식 증류(Knowldge Distillation)의 한 방법인데, 지식 증류라 함은 미리 학습시킨 큰 모델(Teacher Network)로부터 실제로 사용하고자 하는 작은 모델(Student network)를 학습시키는 방식이다. 그러나 모델의 성능과 비례하여 크기가 매우 커지는 문제점이 있다. 이러한 지식 증류 모델의 문제점을 해소하기 위한 방법이 자가 증류는 별도의 모델에 의존하지 않고 모델 내부의 요소(component)를 활용하여 스스로 증류를 학습하는 것이며, 경량화 측면에서 장점이 있다. 즉, 감정분석 모델은 제1 인공지능모델(31)의 내부 요소일 수 있다.

또한, 제1 인공지능모델(31a)이 하드 라벨(Hard label)인 감정분석 결과를 소프트 라벨로 스무딩하는 것은 감정분석부(30)가 하나의 그림 데이터당 하나의 감정만 분석하는 것을 방지하기 위함이다. 이는, 어떤 현상이나 일에 대해 어느 한 쪽에 치우치게 감정이 느껴지는 것이 아니라 다양한 감정이 느껴지기 마련인데, 감정분석부(30)가 하드 라벨을 실제 값으로 설정하여 그림 데이터의 감정을 분석하는 경우, 각 그림 데이터당 하나의 감정 밖에 분석할 수 없다. 이와 달리, 감정분석 결과가 제1 인공지능모델(31a)에 의해 소프트 라벨로 스무딩되는 경우, 감정분석부(30)는 그림 데이터로부터 사용자(2)의 감정을 0~1.0의 값으로 구성함으로써, 다양한 감정을 분석하게 되며, 구체적인 일 예로 그림 데이터로부터 사용자(2)의 감정을 불안 0.3, 공포 0.7인 것으로 분석할 수 있다.

한편, 인공지능모델부(31)는 제1 인공지능모델(31a)이 포함되는 것으로 한정하지 아니하며, 다른 학습 기법에 기반하여 학습되는 제2 인공지능모델(31a)이 상기 제1 인공지능모델(31a)을 대신하여 포함될 수 있다.

도 2는 도 1의 인공지능모델부가 변형된 본 발명의 일 실시예에 따른 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치를 개략적으로 나타낸 블록도이다.

도 2를 참조하면, 인공지능모델부(31)는 사용자(2)의 감정을 분석하는 제1 인공지능모델(31a)를 대신하여 제2 인공지능모델(31b)이 포함될 수 있고, 상기 제2 인공지능모델(31b)은 자가지도 학습(Self-supervised learning) 기법에 기반하여 우선적으로 검사자인 제2 사용자(3)가 설정한 태스크(Pretext task)를 통해 사전 훈련되며, 감정분석 모델의 감정분석 결과를 의사 라벨(Pseudo label)로서 실제 값으로 설정하여 그림 데이터로 감정을 분석한다.

이때, 의사 라벨이라 함은 가장 높은 확률로 예측된 확률을 실제 값으로 설정하는 것을 의미한다.

또한, 제2 사용자(3)가 설정한 태스크는 음성 데이터, 텍스트 데이터 및 그림 데이터를 이용하여 피검사자의 감정을 소프트 라벨로 분석하는 문제를 의미하며, 이에 제2 인공지능모델(31b)은 제1 인공지능모델(31a)과 0~1.0의 값으로 감정을 분석하게 된다.

그리고 제2 인공지능모델(31b)이 감정분석 모델의 감정분석 결과를 의사 라벨로 이용하는 것은 음성 데이터 및 텍스트 데이터에 따름 감정분석 결과의 라벨링 과정을 생략함으로써, 모델을 구축하는데까지 걸리는 시간 및 비용을 절감하기 위함이다.

성격분석부(40)는 제3 인공지능모델(41)이 구비되어 사용자 인터페이스(10)를 통해 그림 데이터와 함께 사용자(2)가 입력한 그림 데이터의 그림 주제에 따른 사용자(2)의 성격을 분석하는데, 성격이라 함은 '내향적', '외향적' 등 성격유형검사(예: MBTI)를 통해 도출 가능한 성격유형을 포함할 수 있다.

제3 인공지능모델(41)은 그림 데이터의 그림 주제로 성격이 분석되도록 학습되는 방식을 한정하지 아니하나, 본 발명에서는 이미지 클러스터링(Image clustering)을 통해 각 그림 데이터의 그림 주제별로 유사도를 측정한 후, 그림 주제별로 유사한 그림 데이터를 클러스터로 나누며, 이하의 [표 1]과 같이 상기 클러스터를 성격별로 분류하여 그림 주제로 성격을 분석하도록 학습된다.

	성격 1	성격 2	성격 3	성격 4	성격 5
그림 주제 1	O	-	-	-	O
그림 주제 2	-	O	O	-	-
그림 주제 3	-	-	-	O	-

이때, 그림 주제별 유사도는 K-means 기법을 통해 픽셀(Pixel) 값 단위 혹은 특정한 임의의 지점 내에서의 유클리드 거리를 기반으로 측정되거나, 이미지 변형을 통해 두 이미지가 얼마나 일치하는지를 기반으로 유사도의 측정이 가능한 샴 네트워크(Siamese-Network)와 같은 딥러닝 기술을 통해 측정될 수 있다.

한편, 제3 인공지능모델(41)은 그림 데이터의 그림 주제로부터 성격이 정확히 분석되도록, 학습 과정에서 그림 주제별로 나누어진 클러스터가 성격별로 적합하게 분류되는지 판단될 필요가 있으며, 이러한 판단은 클러스터링 분포도를 통해 이루어질 수 있다.

도 3은 본 발명의 일 실시예에 따른 성격분석부의 타당성 증명 과정을 설명하기 위한 그림 주제별 클러스터링 분포도이다.

도 3의 (a)를 참조하면, 그림 주제별로 나누어진 복수의 클러스터 중 일부 클러스터가 혼합된 형태로 분포될 수 있으며, 이는 그림 주제별로 나누어진 클러스터가 성격별로 적합하게 분류되지 않음을 의미한다.

이때, 제3 인공지능모델(41)이 예상한 클러스터의 분포현황과 도 3의 (a)에 도시된 클러스터 분포현황이 유사하지 않다면, 그림 데이터가 그림 주제에 맞게 그려지지 않으므로 실제로 유의미한 미술 심리검사가 이루어지고 있지 않다고 판단할 수 있다.

도 3의 (b)를 참조하면, 그림 주제별로 나누어진 복수의 클러스터가 구분되게 분포될 수 있으며, 이는 그림 주제별로 나누어진 클러스터가 성격별로 적합하게 분류됨을 의미한다.

이때, 제3 인공지능모델(41)이 예상한 클러스터의 분포현황과 도 3의 (b)에 도시된 클러스터 분포현황이 유사하다면, 그림 데이터가 그림 주제에 맞게 그려지고 있으므로, 실제로 유의미한 미술 심리검사가 이루어지고 있다고 판단할 수 있으며, 상기 제3 인공지능모델(41)은 이미지 클러스터링을 통해 타당성이 증명될 수 있다.

더 나아가, 제3 인공지능모델(41)은 그림 주제별로 나누어진 복수의 클러스터가 성격별로 적합하게 분류할 때까지 학습되는 것이 바람직하며, 이를 통해 성격분석부(40)가 그림 주제로 성격을 정확히 분석하도록 유도할 수 있다.

다시 도 1을 참조하면, 심리상태분석부(50)는 인공지능모델로 학습되어 감정분석부(30)가 분석한 사용자(2)의 감정과 성격분석부(40)가 분석한 사용자(2)의 성격을 통해 사용자(2)의 심리상태를 분석한다.

이때, 심리상태분석부(50)의 인공지능모델은 다층의 레이어로 구성되어 사람의 신경망과 유사한 기능을 구현할 수 있도록 구성된 학습모델을 의미하며, RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), Attention 기반의 모델 등의 인공신경망 모델이 사용될 수 있고, 데이터베이스(60)에 기저장된 미술 기반 심리분석 정보로부터 검색하여 사용자(2)의 심리상태를 분석하도록 학습될 수 있다.

또한, 미술 기반 심리분석 정보는 사용자(2)가 그림을 그릴 때 어떠한 객체 및 항목을 포함시키고 생략하는지, 객체 및 항목을 크게 그리거나 작게 그리는지, 객체 및 항목이 일반적인 사회통념 상의 모습과 어떤 차이가 있는지에 대한 심리분석 결과 데이터와 누적된 대면 또는 비대면 심리상담 데이터, 미술 기반 심리분석과 관련된 논문 자료 등이 포함되며, 미술 심리분석 장치(1)에서 얻은 자체적인 심리분석 결과에 의해 업데이트될 수 있다.

데이터베이스(60)는 심리상태분석부(50)가 사용자(2)의 심리상태를 분석하면, 상기 사용자(2)의 심리상태에 대한 정보를 저장하게 된다.

이때, 데이터베이스(60)에 사용자(2)의 심리상태 정보가 저장되면, 사용자 인터페이스(10)는 미술 심리분석 장치(1)의 디스플레이 상에 상기 데이터베이스(60)에 저장된 사용자(2)의 심리상태에 대한 정보가 출력되도록 하고, 이를 통해 사용자(2)에게 미술 심리분석 결과를 제공할 수 있다.

이하에서는, 본 발명의 일 실시예에 따른 미술 심리분석 장치(1)와의 차이점을 중심으로, 본 발명의 다른 실시예에 따른 미술 심리분석 장치(1)에 대해 자세히 설명하도록 하겠다.

도 4는 본 발명의 다른 실시예에 따른 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치를 개략적으로 나타낸 블록도이다.

도 4를 참조하면, 본 발명의 다른 실시예에 따른 미술 심리분석 장치(1)는 감정분석부(30)가 제1 감정분석부(30a)와 제2 감정분석부(30b)로 나누어지고, 상기 제1 감정분석부(30a)는 제1 인공지능모델(31a)을 통해 학습되며, 상기 제2 감정분석부(30b)는 제2 인공지능모델(31b)을 통해 학습될 수 있다.

제1 감정분석부(30a)와 제2 감정분석부(30b)는 학습 기법만 달리할 뿐 동일하게 그림 데이터로부터 사용자(2)의 감정을 분석하기 때문에, 상기 제2 감정분석부(30b)는 상기 제1 감정분석부(30a)가 동작하는동안 동작 대기상태를 유지하되, 상기 제1 감정분석부(30a)가 동작 대기상태인 경우에 동작되어 그림 데이터로부터 사용자(2)의 감정을 분석할 수 있다.

이때, 제1 감정분석부(30a)는 사용자 인터페이스(10)를 통해 사용자(2)가 그림 주제를 입력하는 경우에 동작되며, 그림 주제의 입력이 생략되는 경우 동작 대기상태로 변환된다.

이와 같이, 감정분석부(30)가 제1 감정분석부(30a)와 제2 감정분석부(30b)로 나누어짐에 따라, 데이터베이스(60)에 저장되는 사용자(2)의 심리상태에 대한 정보에는 상기 사용자(2)의 심리상태에 포함된 상기 사용자(2)의 감정을 분석한 객체가 제1 감정분석부(30a) 및 제2 감정분석부(30b) 중 어느 것인지에 대한 정보가 포함될 수 있다.

한편, 본 발명의 다른 실시예에 따른 미술 심리분석 장치(1)는 피검사자인 사용자(2)와 검사자(그림분석 전문가)인 제2 사용자(3)가 구비한 제2 사용자의 단말(4)과 통신하기 위한 통신부(70)가 더 구비될 수 있다.

제2 사용자의 단말(4)은 사용자(2)가 데이터베이스(60)에 저장되는 심리상태분석부(50)가 분석한 사용자(2)의 심리상태에 대한 정보를 제공하며, 제2 사용자(3)가 상기 사용자(2)의 심리상태에 대한 정보로부터 분석한 상기 사용자(2)의 감정 및 성격에 대한 심리분석 의견의 입력이 가능토록 제2 사용자 인터페이스를 구비할 수 있다.

이때, 제2 사용자(3)는 사용자(2)의 심리상태에 대한 정보를 분석하는 과정에서 상기 사용자(2)의 감정 부분이 정확하게 분석되지 않은 것으로 판단하는 경우, 상기 사용자(2)의 심리상태에 대한 정보에 포함된 정보인 상기 사용자(2)의 감정 객체가 제1 감정분석부(30a) 및 제2 감정분석부(30b) 중 어느 것인지 판단할 수 있으므로, 감정분석부(30)의 오류를 개선하여 상기 사용자(2)의 감정이 정확하게 분석되도로 유도할 수 있다.

또한, 제2 사용자의 단말(4)에 사용자(2)의 감정 및 성격에 대한 심리분석의견이 입력되면, 데이터베이스(60)는 제2 사용자 인터페이스와 통신부(70)를 통해 제공받는 제2 사용자(3)가 분석한 사용자(2)의 감정 및 성격에 대한 미술 심리분석 의견을 저장하며, 사용자 인터페이스(10)는 사용자(2)의 심리상태에 대한 정보와 사용자(2)의 감정 및 성격에 대한 미술 심리분석 의견이 함께 미술 심리분석 장치(1)의 디스플레이 상에 출력되도록 하고, 이를 통해 사용자(2)에게 보다 다양한 미술 심리분석 결과를 제공할 수 있다.

이때 만약, 사용자 인터페이스(10)는 사용자(2)의 심리상태에 대한 정보가 미술 심리분석 장치(1)의 디스플레이 상에 출력되는동안 사용자(2)의 감정 및 성격에 대한 미술 심리분석 의견이 데이터베이스(60)에 저장되면, 사용자(2)의 심리상태에 대한 정보의 로드(새로 고침) 후 상기 사용자(2)의 심리상태에 대한 정보와 함께 상기 사용자(2)의 감정 및 성격에 대한 미술 심리분석 의견을 미술 심리분석 장치(1)의 디스플레이 상에 출력시킬 수 있다.

이와 같은, 본 발명의 일 실시예에 따른 미술 심리분석 장치(1)는 피검사자인 사용자(2)가 직접 그린 그림 데이터, 직집 입력한 음성 데이터 및 상기 음성 데이터로부터 추출한 텍스트 데이터 간의 시간차 없이 동일한 실제 값을 공유함으로써, 상기 그림 데이터, 음성 데이터 및 텍스트 데이터를 이용한 사용자(2)의 심리 예측이 가능하다.

또한, 상기 미술 심리분석 장치(1)는 그림 데이터, 음성 데이터 및 텍스트 데이터를 이용한 아키텍처(Architecture)를 통해 그림 데이터만으로 피검사자의 심리를 예측하는 인공지능모델과 달리 음성 데이터 및 텍스트 데이터를 이용함으로써, 미술 심리검사 시점의 라벨링과 사용자(1)의 직접 라벨링이 정확하게 이루어질 수 있다.

이와 같이, 상기 미술 심리분석 장치(1)가 그림 데이터, 음성 데이터 및 텍스트 데이터를 이용하는 것은 인공지능 예측 성능의 불균형을 전제로 하며, 이러한 예측 성능의 불균형은 인공지능분야가 데이터 의존도가 높기 때문에 발생되는 것이며, 음성 데이터 및 텍스트 데이터는 대량의 외부 데이터셋으로 높은 예측 정확도를 가지는 반면, 그림 데이터는 외부 데이터셋이 많지 않아 예측 정확도가 떨어진다. 이에, 그림 데이터만으로 미술 심리검사가 진행되는 것보다 음성 데이터 및 텍스트 데이터를 함께 이용함으로써, 객관적인 심리 예측이 가능한 장점이 있다.

이하에서는, 본 발명의 일 실시예에 따른 미술 심리분석 장치(1)에 의해서 수행되는 미술 심리분석 방법의 과정에 대해 자세히 설명하도록 하겠다.

도 5는 본 발명의 일 실시예에 따른 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치에 의해서 수행되는 미술 심리분석 방법을 나타낸 순서도이다.

도 5를 참조하면, 감정분석부(30), 성격분석부(40) 및 심리상태분석부(50)는 자동적으로 동작되기 위해 각각에 구비된 인공지능모델(31a, 31b, 41)이 학습될 수 있다(S510).

그 후, 사용자(2)는 미술 심리검사동안 그림 데이터, 음성 및 상기 그림 데이터의 그림 주제를 사용자 인터페이스(10)에 입력할 수 있다(S520).

그 후, 데이터추출부(20)는 사용자 인터페이스(10)에 입력된 사용자(2)의 음성으로부터 음성 데이터를 추출하고, 상기 음성 데이터로부터 텍스트 데이터를 추출할 수 있다(S530).

그 후, 감정분석부(30)는 데이터추출부(20)로부터 추출된 사용자(2)의 음성 데이터 및 텍스트 데이터를 이용하여 그림 데이터로부터 사용자(2)의 감정을 분석할 수 있다(S540).

그 후 또는 감정분석부(30)가 사용자(2)의 감정을 분석하는 과정과 동시에, 성격분석부(40)는 사용자 인터페이스(10)에 입력된 그림 데이터의 그림 주제에 따른 사용자(2)의 성격을 분석할 수 있다(S550).

그 후, 심리상태분석부(50)는 감정분석부(30)가 분석한 사용자(2)의 감정과 성격분석부(40)가 분석한 사용자(2)의 성격을 통해 사용자(2)의 심리상태를 분석할 수 있다(S560).

그 후, 데이터베이스(60)에는 심리상태분석부(50)가 분석한 사용자(2)의 심리상태에 대한 정보가 저장될 수 있다(S570).

상기 본 발명의 일 실시예에 따른 미술 심리분석 장치(1)를 이용한 미술 심리분석 방법의 과정(S510~S570)은 도 1 내지 도 3을 참조하여 설명한 미술 심리분석 장치(1)에 의해 수행될 수 있으며, 상세한 내용은 전술한 바와 동일하므로 중복되는 설명은 편의상 생략하기로 한다.

더 나아가, 본 발명의 일 실시예에 따른 미술 심리분석 장치(1)를 이용한 미술 심리분석 방법의 과정에는 제2 사용자(3)가 분석한 사용자(2)의 감정 및 성격에 대한 미술 심리분석 의견의 출력 과정이 더 포함될 수 있으며, 과정은 이하와 같다.

이하에서는, 본 발명의 일 실시예에 따른 미술 심리분석 장치(1)를 이용한 미술 심리분석 방법과의 차이점을 중심으로 본 발명의 다른 실시예에 따른 미술 심리분석 장치(1)를 이용한 미술 심리분석 방법의 과정에 대해 자세히 설명하도록 하겠다.

또한, 일 실시예와 부호만 달리할 뿐 일 실시예의 미술 심리분석 방법의 과정과 동일한 미술 심리분석 방법의 과정(S610~S670)에 대한 설명은 편의상 생략하기로 한다.

도 6은 본 발명의 다른 실시예에 따른 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치에 의해서 수행되는 미술 심리분석 방법을 나타낸 순서도이다.

도 6을 참조하면, 데이터베이스(60)에 저장된 사용자(2)의 심리상태에 대한 정보는 사용자 인터페이스(10)를 통해 미술 심리분석 장치(1)의 디스플레이 상에 출력될 수 있다(S680).

그 후, 제2 사용자(3)는 제2 사용자의 단말(4)에 구비된 제2 사용자 인터페이스와 통신부(70)를 통해 제2 사용자(3)가 데이터베이스(60)에 저장된 사용자(2)의 심리상태에 대한 정보를 제공받은 후, 상기 제2 사용자 인터페이스를 통해 상기 사용자(2)의 심리상태에 대한 정보로부터 분석한 사용자(2)의 감정 및 성격에 대한 미술 심리분석 의견을 입력하여 데이터베이스(60)에 저장시킬 수 있다(S690).

그 후, 데이터베이스(60)에 저장된 사용자(2)의 감정 및 성격에 대한 미술 심리분석 의견은 사용자 인터페이스(10)를 통해 사용자(2)의 심리상태에 대한 정보와 함께 해 미술 심리분석 장치(1)의 디스플레이 상에 출력될 수 있다(S700).

상기 본 발명의 다른 실시예에 따른 미술 심리분석 장치(1)를 이용한 미술 심리분석 방법의 과정(S680~S700)은 도 4를 참조하여 설명한 미술 심리분석 장치(1)에 의해 수행될 수 있으며, 상세한 내용은 전술한 바와 동일하므로 중복되는 설명은 편의상 생략하기로 한다.

한편, 본 발명의 실시예들에 따른 미술 심리분석 장치(1)의 미술 심리분석 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.

본 발명은 본 발명의 기술적 사상 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

1: 미술 심리분석 장치, 2: 사용자,
3: 제2 사용자, 4: 제2 사용자의 단말,
10: 사용자 인터페이스, 20: 데이터추출부,
30: 감정분석부, 30a: 제1 감정분석부,
30b: 제2 감정분석부, 31: 인공지능모델부,
31a: 제1 인공지능모델, 31b: 제2 인공지능모델,
40: 성격분석부, 41: 제3 인공지능모델,
50: 심리상태분석부, 60: 데이터베이스,
70: 통신부.

Claims

피검사자인 사용자에게 상호작용 환경을 제공하기 위한 사용자 인터페이스;
미술 심리검사동안 상기 사용자 인터페이스를 통해 입력된 상기 사용자의 음성으로부터 음성 데이터를 추출하며, 상기 음성 데이터로부터 텍스트 데이터를 추출하는 데이터추출부;
상기 데이터추출부에서 추출된 음성 데이터 및 텍스트 데이터를 이용하여 상기 사용자 인터페이스를 통해 상기 사용자가 입력한 그림 데이터로부터 상기 사용자의 감정을 분석하는 감정분석부;
상기 사용자 인터페이스를 통해 상기 그림 데이터와 함께 상기 사용자가 입력한 상기 그림 데이터의 그림 주제에 따른 상기 사용자의 성격을 분석하는 성격분석부;
상기 감정분석부가 분석한 상기 사용자의 감정과 상기 성격분석부가 분석한 상기 사용자의 성격을 통해 상기 사용자의 심리상태를 분석하는 심리상태분석부; 및
상기 심리상태분석부가 분석한 상기 사용자의 심리상태에 대한 정보를 저장하는 데이터베이스;를 포함하고,
상기 감정분석부는,
상기 사용자의 감정을 분석하기 위하여, 상기 사용자 인터페이스를 통해 그림 데이터와 함께 입력된 음성으로부터 추출된 음성 데이터 및 텍스트 데이터에 따른 감정분석 결과를 라벨링하여 학습 데이터를 구축한 감정분석 모델을 이용하여 학습이 이루어지는 인공지능모델부;를 포함하며,
상기 인공지능모델부는,
자가 증류(Self-distillation) 기법에 기반하여 스스로 증류하며, 상기 감정분석 모델의 감정분석 결과를 소프트 라벨(Soft label)로 스무딩한 후 실제 값(Ground Truth)으로 설정하여 그림 데이터로부터 상기 사용자의 감정을 0~1.0의 값으로 분석하는 제1 인공지능모델; 및
자가지도 학습(Self-supervised learning) 기법에 기반하여 검사자인 제2 사용자가 설정한 태스크(Pretext task)를 통해 사전 훈련되며, 상기 감정분석 모델의 감정분석 결과를 의사 라벨(Pseudo label)로서 실제 값으로 설정하여 그림 데이터로부터 상기 사용자의 감정을 0~1.0의 값으로 분석하는 제2 인공지능모델;을 포함하고,
상기 성격분석부는,
그림 주제별로 유사한 그림 데이터를 클러스터로 나눈 이미지 클러스터링(Image clustering)을 통해 상기 클러스터의 분포현황이 예상한 클러스터의 분포현황과 유사한지 여부로 상기 그림 데이터의 그림 주제가 타당한지 판단하고, 상기 클러스터를 성격별로 분류하여 그림 주제로 성격을 분석하도록 학습되는 제3 인공지능모델;을 포함하며,
상기 심리상태분석부는,
다층의 레이어로 구성되는 RNN, CNN, Attention 기반의 모델 중 적어도 하나의 인공신경망 모델로서 상기 데이터베이스에 기저장된 미술 기반 심리분석 정보로부터 검색하는 것을 통해 상기 사용자의 심리상태를 분석하는 인공지능모델;을 포함하고,
상기 미술 기반 심리분석 정보에는,
상기 그림 데이터에 포함된 객체 및 항목의 포함 여부, 상기 객체 및 항목의 크기, 상기 객체 및 항목의 모습에 대한 심리분석 결과 데이터와 대면 또는 비대면 심리상담 데이터, 미술 기반 심리분석과 관련된 논문 자료가 포함되는 것을 특징으로 하는 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치.
삭제
삭제
삭제
제 1 항에 있어서,
상기 감정분석부는,
상기 제1 인공지능모델로 학습하여 상기 사용자 인터페이스를 통해 입력되는 그림 데이터로 상기 사용자의 감정을 분석하는 제1 감정분석부; 및
상기 제2 인공지능모델로 학습하여 상기 사용자 인터페이스를 통해 입력되는 그림 데이터로 상기 사용자의 감정을 분석하며, 상기 제1 감정분석부가 동작하는동안 동작 대기상태를 유지하되, 상기 제1 감정분석부가 동작 대기상태인 경우 동작하는 제2 감정분석부;를 포함하는 것을 특징으로 하는 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치.
◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈

제 5 항에 있어서,
상기 제1 감정분석부는,
상기 사용자 인터페이스를 통해 상기 사용자가 상기 그림 데이터의 그림 주제 입력을 생략하는 경우, 동작 대기상태로 변환되는 것을 특징으로 하는 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치.
제 1 항에 있어서,
상기 성격분석부는,
그림 주제별로 유사한 그림 데이터를 클러스터로 나눈 이미지 클러스터링(Image clustering)을 통해 상기 클러스터의 분포현황이 예상한 클러스터의 분포현황과 유사한지 여부로 상기 그림 데이터의 그림 주제가 타당한지 판단하고, 상기 클러스터를 성격별로 분류하여 그림 주제로 성격을 분석하도록 학습되는 제3 인공지능모델;을 포함하는 것을 특징으로 하는 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치.
◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈

제 1 항에 있어서,
상기 제2 사용자의 단말과 통신하기 위한 통신부;를 더 포함하는 것을 특징으로 하는 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치.
◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈

제 8 항에 있어서,
상기 제2 사용자의 단말은,
상기 데이터베이스에 저장되는 상기 심리상태분석부가 분석한 상기 사용자의 심리상태에 대한 정보를 상기 제2 사용자에게 제공하며, 상기 제2 사용자가 상기 사용자의 심리상태에 대한 정보로부터 분석한 상기 사용자의 감정 및 성격에 대한 심리분석 의견의 입력이 가능토록 제2 사용자 인터페이스;를 포함하는 것을 특징으로 하는 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치.
◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈

제 9 항에 있어서,
상기 데이터베이스는,
상기 제2 사용자 인터페이스와 통신부를 통해 제공받는 상기 제2 사용자가 분석한 상기 사용자의 감정 및 성격에 대한 미술 심리분석 의견을 저장하는 것을 특징으로 하는 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치.
◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈

제 10 항에 있어서,
상기 사용자 인터페이스는,
상기 데이터베이스에 상기 사용자의 심리상태에 대한 정보가 저장되는 경우, 상기 사용자의 심리상태에 대한 정보가 출력되도록 하고,
상기 데이터베이스에 상기 사용자의 감정 및 성격에 대한 미술 심리분석 의견이 저장되는 경우, 상기 사용자의 심리상태에 대한 정보와 상기 사용자의 감정 및 성격에 대한 미술 심리분석 의견이 함께 출력되도록 하는 것을 특징으로 하는 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치.
◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈

감정분석부에 구비된 제1 인공지능모델이 자가 증류 기법, 제2 인공지능모델이 자가지도 학습 기법을 통해 학습되며, 성격분석부에 구비된 제3 인공지능모델이 이미지 클러스터링을 통해 학습되고, 심리상태분석부에 구비된 인공신경망 기반의 인공지능모델이 학습되는 단계;
사용자가 미술 심리검사동안 그림 데이터, 음성 및 상기 그림 데이터의 그림 주제를 사용자 인터페이스에 입력하는 단계;
데이터추출부가 상기 사용자의 음성으로부터 음성 데이터를 추출하고, 상기 음성 데이터로부터 텍스트 데이터를 추출하는 단계;
상기 감정분석부가 상기 사용자의 음성 데이터 및 텍스트 데이터를 이용하여 상기 그림 데이터로부터 상기 사용자의 감정을 0~1.0의 값으로 분석하는 단계;
상기 성격분석부가 상기 그림 데이터의 그림 주제에 따른 상기 사용자의 성격을 분석하는 단계;
상기 심리상태분석부가 상기 감정분석부가 분석한 상기 사용자의 감정과 상기 성격분석부가 분석한 상기 사용자의 성격을 통해 상기 사용자의 심리상태를 분석하는 단계; 및
상기 심리상태분석부가 분석한 상기 사용자의 심리상태에 대한 정보를 데이터베이스에 저장하는 단계;를 포함하고,
상기 사용자의 심리상태를 분석하는 단계는,
상기 심리상태분석부의 인공지능모델이 상기 데이터베이스에 기저장된 미술 기반 심리분석 정보로부터 검색하는 것을 통해 상기 사용자의 심리상태를 분석하며,
상기 미술 기반 심리분석 정보에는,
상기 그림 데이터에 포함된 객체 및 항목의 포함 여부, 상기 객체 및 항목의 크기, 상기 객체 및 항목의 모습에 대한 심리분석 결과 데이터와 대면 또는 비대면 심리상담 데이터, 미술 기반 심리분석과 관련된 논문 자료가 포함되는 것을 특징으로 하는 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치에 의해서 수행되는 미술 심리분석 방법.
◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈

제 12 항에 있어서,
상기 사용자 인터페이스를 통해 상기 사용자의 심리상태에 대한 정보가 출력되는 단계;
검사자인 제2 사용자의 단말에 구비된 제2 사용자 인터페이스와 통신부를 통해 상기 제2 사용자가 상기 사용자의 심리상태에 대한 정보를 제공받은 후, 상기 제2 사용자 인터페이스를 통해 상기 사용자의 심리상태에 대한 정보로부터 분석한 상기 사용자의 감정 및 성격에 대한 미술 심리분석 의견을 입력하여 상기 데이터베이스에 저장되도록 하는 단계; 및
상기 사용자 인터페이스를 통해 상기 사용자의 심리상태에 대한 정보와 상기 사용자의 감정 및 성격에 대한 미술 심리분석 의견이 함께 출력되는 단계;를 포함하는 것을 특징으로 하는 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치에 의해서 수행되는 미술 심리분석 방법.
◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈

제 12 항 및 제 13 항 중 적어도 어느 한 항에 따른 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치에 의해서 수행되는 미술 심리분석 방법을 실행하기 위한, 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.