KR20230136274A

KR20230136274A - Apparatus and method for psychological analysis of drawing using neural network

Info

Publication number: KR20230136274A
Application number: KR1020220033769A
Authority: KR
Inventors: 김영욱; 조승제
Original assignee: 주식회사 알고리마
Priority date: 2022-03-18
Filing date: 2022-03-18
Publication date: 2023-09-26

Abstract

본 발명은 인공신경망을 이용한 그림 심리 분석 장치 및 방법에 관한 것이다. 이를 위하여, 복수의 객체를 포함하는 피검사자 그림 이미지 정보를 입력 데이터로 하고 피검사자 그림 이미지 정보에 포함된 복수의 객체를 추출하여 각각의 객체에 대한 객체 class 정보 및 객체 좌표 정보를 포함하는 객체 박스 정보를 출력 데이터로 출력하는 인공신경망 모듈을 포함하는 객체 인식 모듈; 객체 박스 정보를 기초로 생성된 객체 이미지 정보를 입력 받고, 객체 이미지 정보에 대한 객체 특징 벡터를 출력하는 객체 특징 벡터 생성 모듈; 피검사자 그림 이미지 정보를 입력 받고, 피검사자 그림 이미지 정보에 대한 그림 스타일 벡터를 출력하는 그림 스타일 특징 벡터 생성 모듈; 각각의 객체에 대한 객체 특징 벡터를 조합(concatenate)한 벡터인 피검사자 그림 특징 벡터와 그림 스타일 벡터와의 조합 벡터를 입력 데이터로 하고, 피검사자 그림 이미지 정보에 대한 감정 분류 정보를 출력 데이터로 출력하는 인공신경망 모듈을 포함하는 감정 분류 모듈이 제안될 수 있다. The present invention relates to a pictorial psychological analysis device and method using an artificial neural network. For this purpose, image information of the test subject including a plurality of objects is used as input data, and a plurality of objects included in the picture image information of the test subject are extracted, and object box information including object class information and object coordinate information for each object is extracted. an object recognition module including an artificial neural network module that outputs output data; an object feature vector generation module that receives object image information generated based on object box information and outputs object feature vectors for the object image information; A picture style feature vector generation module that receives picture image information of the test subject as input and outputs a picture style vector for the picture image information of the test subject; The artificial intelligence outputs emotional classification information about the subject's drawing image information as input data, using a combination vector of the subject's drawing feature vector and drawing style vector, which is a vector that concatenates the object feature vectors for each object, as output data. An emotion classification module including a neural network module may be proposed.

Description

Apparatus and method for psychological analysis of drawing using neural network}

본 발명은 인공신경망을 이용한 그림 심리 분석 장치 및 방법에 관한 것이다. The present invention relates to a pictorial psychological analysis device and method using an artificial neural network.

그림을 이용한 심리 분석은 20세기를 전후로 발달되기 시작하였다. 19세기 말 유럽에서는 정신장애 환자들의 그림에 대한 관심이 증가하면서 그림이 심리의 진단에 도움을 주는 도구로 사용될 수 있다는 인식이 싹트기 시작하였으며, 20세기 초에는 정신장애 환자들의 그림이 정신분열증과 같은 정신장애 진단을 확증해줄 수 있을만큼 타당성을 지닌다는 견해가 당대 학자들 사이에서 광범위하게 확산되면서 지능 및 성격 평가도구로서 그림 심리 분석이 출현하였다. 즉, 그림에 대한 공식적인 연구는 20세기를 전후로 정신장애 환자들의 그림에 대한 관심이 증대되고 프로이트와 융의 창조적인 연구들이 축적되어 가는 가운데 아동심리발달에 관한 이론적, 경험적 연구들이 맞물리면서부터 시작되었다고 할 수 있다. Psychological analysis using pictures began to develop around the 20th century. In Europe at the end of the 19th century, as interest in the paintings of patients with mental disorders increased, awareness began to sprout that paintings could be used as a tool to aid in psychological diagnosis. As the view that it was valid enough to confirm a diagnosis of mental disorder became widespread among contemporary scholars, pictorial psychoanalysis emerged as a tool for assessing intelligence and personality. In other words, it can be said that formal research on drawings began around the 20th century, when mental disorder patients' interest in drawings increased, Freud and Jung's creative studies accumulated, and theoretical and empirical studies on child psychological development came together. there is.

1940년을 전후로 하여 그림이 개인의 정서적 측면과 성격을 평가하는 도구로 사용할 수 있다는 주장이 대두되면서, '그림은 개인의 심리적 현실 및 주관적 경험을 드러내준다'는 인식(그림을 내적 심리 상태에 대한 시각적 표상이라는 인식)에 바탕을 두고 '투사적 그림'이라는 용어가 등장하였고 투사적 그림 심리 분석이 발전하게 되었다. 이러한 투사적 그림 심리 분석은 '사람이나 집, 나무와 같은 특정한 형상에 대한 그림은 개인의 성격, 지각, 태도를 반영해준다'라는 가정에 기반하고 있다. Around 1940, the argument that drawings could be used as a tool to evaluate an individual's emotional aspects and personality emerged, and it was recognized that 'paintings reveal an individual's psychological reality and subjective experience' (paintings can be used as a tool for evaluating internal psychological states). Based on the recognition that it is a visual representation, the term 'projective picture' appeared and the psychological analysis of projective pictures developed. This projective psychological analysis of drawings is based on the assumption that 'drawings of specific shapes such as people, houses, or trees reflect an individual's personality, perception, and attitude.'

그림을 이용한 심리 분석에는 여러가지 종류가 있는데, 가장 널리 알려진 투사적 그림 심리 분석 중 하나가 벅(1948, 1966)의 'House-Tree-Person Test(HTP)'이다. 집-나무-사람 검사(House-Tree-Person test), 간단히 HTP 검사(HTP test)는 인격의 양상을 측정하기 위해 설계된 투영 검사법이다. 이 검사는 뇌 손상과 일반적인 정신 기능을 분석하기 위해 사용될 수도 있다. 이 검사는 임상심리학자, 교육자, 고용주들을 위한 진단 도구이다. 검사를 받는 사람은 집, 나무, 사람 그림을 그려보라는 분명하지 않은 짧은 지시를 받는다. 그림을 완성하면 자신이 그린 그림에 대해 설명하라고 요청을 받는다. 피실험자가 그림을 그릴 때 자신의 내면 세계를 종이 위로 투영하고 있다고 가정한다. 이 시험의 관리자는 드로잉을 통한 피실험자의 내면 세계를 파악하는 목적을 위해 구축해놓은 도구들과 스킬들을 사용한다. There are various types of psychological analysis using pictures, and one of the most widely known projective picture psychological analyzes is Buck's (1948, 1966) 'House-Tree-Person Test (HTP)'. The House-Tree-Person test, or simply the HTP test, is a projective test designed to measure aspects of personality. This test may be used to analyze brain damage and general mental function. This test is a diagnostic tool for clinical psychologists, educators, and employers. The person being tested is given brief, unclear instructions to draw a picture of a house, a tree, or a person. After completing the drawing, you are asked to explain what you have drawn. It is assumed that when subjects draw, they are projecting their inner world onto paper. The administrator of this test uses tools and skills established for the purpose of understanding the subject's inner world through drawing.

대한민국 등록특허 10-2294741, 딥러닝을 통한 그림기반 심리검사 방법 및 서버, (주)제이앤리Republic of Korea registered patent 10-2294741, picture-based psychological test method and server through deep learning, J&R Co., Ltd. 대한민국 등록특허 10-1772987, 스캔 이미지를 이용한 심리검사결과 제공 방법, (주)코뮤즈Republic of Korea registered patent 10-1772987, method of providing psychological test results using scanned images, Comuse Co., Ltd.

최근 비대면 심리 상담의 요구가 증대되고 있어, 온라인으로 그림 심리 분석을 수행하는 인공신경망의 개발이 필요한 실정이다. Recently, as the demand for non-face-to-face psychological counseling has increased, there is a need to develop an artificial neural network that performs psychological analysis of pictures online.

하지만, 이러한 그림 심리 분석을 수행하는 인공신경망의 개발에는 단순히 기존에 개발된 인공신경망 구조를 그대로 이용하는 것에 어려움이 있었다. 심리학에서는 어떠한 행동의 인과관계를 이해하는 것에 관심을 두지만, 딥러닝은 결과를 도출하는 것에 집중하기 때문이다. 사람의 행동을 예시로 설명하자면, 딥러닝은 사람의 행동을 예측하는 데 매우 유용하지만, 왜 그 행동을 하게 되었는지를 설명하는 데에는 큰 도움을 주지 못하기 때문에 심리학에 딥러닝을 적용하기는 어려움이 있었다.However, in the development of an artificial neural network that performs such pictorial psychological analysis, it was difficult to simply use the existing artificial neural network structure as is. In psychology, we are interested in understanding the cause-and-effect relationships of certain actions, but deep learning focuses on deriving results. To explain human behavior as an example, deep learning is very useful in predicting human behavior, but it is difficult to apply deep learning to psychology because it does not provide much help in explaining why people behave that way. there was.

따라서, 본 발명의 목적은, 그림 심리의 인과관계를 이해하는데 도움을 줄 수 있는 인공신경망을 이용한 그림 심리 분석 장치 및 방법을 제공하는데에 있다. Therefore, the purpose of the present invention is to provide a picture psychology analysis device and method using an artificial neural network that can help understand the causal relationship of picture psychology.

이하 본 발명의 목적을 달성하기 위한 구체적 수단에 대하여 설명한다.Hereinafter, specific means for achieving the purpose of the present invention will be described.

본 발명의 목적은, 복수의 객체를 포함하는 피검사자 그림 이미지 정보를 입력 데이터로 하고 상기 피검사자 그림 이미지 정보에 포함된 복수의 상기 객체를 추출하여 각각의 상기 객체에 대한 객체 class 정보 및 객체 좌표 정보를 포함하는 객체 박스 정보를 출력 데이터로 출력하는 인공신경망 모듈을 포함하는 객체 인식 모듈; 상기 객체 박스 정보를 기초로 생성된 객체 이미지 정보를 입력 받고, 상기 객체 이미지 정보에 대한 객체 특징 벡터를 출력하는 객체 특징 벡터 생성 모듈; 상기 피검사자 그림 이미지 정보를 입력 받고, 상기 피검사자 그림 이미지 정보에 대한 그림 스타일 벡터를 출력하는 그림 스타일 특징 벡터 생성 모듈; 각각의 상기 객체에 대한 상기 객체 특징 벡터를 조합(concatenate)한 벡터인 피검사자 그림 특징 벡터와 상기 그림 스타일 벡터와의 조합 벡터를 입력 데이터로 하고, 상기 피검사자 그림 이미지 정보에 대한 감정 분류 정보를 출력 데이터로 출력하는 인공신경망 모듈을 포함하는 감정 분류 모듈; 및 상기 객체 인식 모듈 및 상기 감정 분류 모듈에 포함된 인공신경망 모듈의 학습 세션을 처리하여 파라미터를 업데이트 하고, 업데이트 된 파라미터를 메인 신경망 서버의 일구성인 연합 학습 모듈에 업로드 하며, 상기 메인 신경망 서버의 일구성인 메인 신경망 모듈에서 복수의 피검사자 클라이언트에 의해 연합 학습된 메인 신경망을 다운로드 받아 상기 객체 인식 모듈 및 상기 감정 분류 모듈에 포함된 인공신경망 모듈의 적어도 일부를 대체하는 신경망 처리 모듈; 을 포함하고, 상기 메인 신경망 서버는, 상기 파라미터와 다른 피검사자 클라이언트에서 업로드 된 다른 파라미터를 통합하여 상기 객체 인식 모듈 및 상기 감정 분류 모듈에 포함된 인공신경망을 업데이트 하도록 구성되는, 인공지능 기반의 그림 심리 분석 장치를 제공하여 달성될 수 있다.The purpose of the present invention is to use image information of a test subject including a plurality of objects as input data, extract a plurality of the objects included in the picture image information of the test subject, and obtain object class information and object coordinate information for each object. an object recognition module including an artificial neural network module that outputs object box information as output data; an object feature vector generation module that receives object image information generated based on the object box information and outputs an object feature vector for the object image information; a picture style feature vector generation module that receives picture image information of the test subject and outputs a picture style vector for the picture image information of the test subject; A combination vector of the test subject's picture feature vector and the picture style vector, which is a vector that concatenates the object feature vector for each of the objects, is used as input data, and emotional classification information about the test subject's picture image information is output data. An emotion classification module including an artificial neural network module that outputs; And processing the learning session of the artificial neural network module included in the object recognition module and the emotion classification module to update parameters, and uploading the updated parameters to a federated learning module that is a component of the main neural network server. A neural network processing module that downloads a main neural network jointly learned by a plurality of test subject clients from a main neural network module and replaces at least a part of the artificial neural network module included in the object recognition module and the emotion classification module; It includes, the main neural network server is configured to update the artificial neural network included in the object recognition module and the emotion classification module by integrating the parameters and other parameters uploaded from other test subject clients, artificial intelligence-based picture psychology This can be achieved by providing an analysis device.

또한, 상기 객체 특징 벡터 생성 모듈은, 상기 객체 이미지 정보를 입력 데이터로 하여 Quick Draw Dataset으로 Pre-trained 되고 복수의 BottleNeck을 포함하는 CNN 기반의 인공신경망 모듈인 제1 Quick Draw Dataset 인공신경망 모듈;을 포함하고, 상기 제1 Quick Draw Dataset 인공신경망 모듈의 복수의 상기 BottleNeck에서 각각의 상기 객체에 대한 Feature map인 객체 특징 벡터를 추출하는 특징 추출 모듈;을 포함하도록 구성될 수 있다. In addition, the object feature vector generation module is a first Quick Draw Dataset artificial neural network module, which is a CNN-based artificial neural network module that is pre-trained as a Quick Draw Dataset using the object image information as input data and includes a plurality of BottleNecks. It may be configured to include a feature extraction module for extracting an object feature vector, which is a feature map for each object, from the plurality of BottleNecks of the first Quick Draw Dataset artificial neural network module.

또한, 상기 그림 스타일 특징 벡터 생성 모듈은, 상기 피검사자 이미지 정보를 입력 데이터로 하여 상기 피검사자 그림 이미지 정보의 Style Feature를 추출하기 위해 Quick Draw Dataset으로 Pre-trained 되고 복수의 BottleNeck을 포함하는 CNN 기반의 인공신경망 모듈인 제2 Quick Draw Dataset 인공신경망 모듈;을 포함하고, 상기 제2 Quick Draw Dataset 인공신경망 모듈의 복수의 상기 BottleNeck에서 상기 피검사자 그림 이미지 정보에 대한 Style Feature Map인 그림 스타일 벡터를 추출하는 스타일 특징 추출 모듈;을 포함하도록 구성될 수 있다. In addition, the drawing style feature vector generation module uses the image information of the subject as input data to extract style features of the subject's drawing image information. It is pre-trained with Quick Draw Dataset and uses a CNN-based artificial intelligence that includes a plurality of BottleNecks. A second Quick Draw Dataset artificial neural network module, which is a neural network module; and a style feature for extracting a drawing style vector, which is a Style Feature Map for the subject's drawing image information, from the plurality of BottleNecks of the second Quick Draw Dataset artificial neural network module. It may be configured to include an extraction module.

또한, 상기 감정 분류 모듈은, Multi-head Self Attention Layer, FFNN 및 softmax를 포함하도록 구성될 수 있다. Additionally, the emotion classification module may be configured to include a Multi-head Self Attention Layer, FFNN, and softmax.

또한, 상기 객체 특징 벡터 생성 모듈은, 상기 객체 이미지 정보를 입력 데이터로 하여 Quick Draw Dataset으로 Pre-trained 되고 복수의 BottleNeck을 포함하는 CNN 기반의 인공신경망 모듈인 제1 Quick Draw Dataset 인공신경망 모듈;을 포함하고, 상기 제1 Quick Draw Dataset 인공신경망 모듈의 복수의 상기 BottleNeck에서 각각의 상기 객체에 대한 Feature map인 객체 특징 벡터를 추출하는 특징 추출 모듈;을 포함하도록 구성되고, 상기 객체 분절 모듈은, 상기 객체 이미지 정보를 입력 데이터로 하고 상기 객체 이미지 정보에 대한 액티베이션 정보를 출력 데이터로 하며 FCN layer가 포함된 CNN 기반의 인공신경망 모듈인 FCN 인공신경망 모듈 및 상기 액티베이션 정보를 기반으로 상기 객체 이미지 정보의 길이방향으로 상기 객체 이미지 정보를 복수의 이미지로 분절하여 복수의 객체 분절 이미지 정보를 생성하고, 상기 복수의 객체 분절 이미지를 상기 제1 Quick Draw Dataset 인공신경망 모듈의 입력 데이터로 입력하고, 상기 특징 추출 모듈은 상기 복수의 객체 분절 이미지에 대한 객체 분절 벡터를 조합하여 상기 객체 특징 벡터를 생성하도록 구성될 수 있다.In addition, the object feature vector generation module is a first Quick Draw Dataset artificial neural network module, which is a CNN-based artificial neural network module that is pre-trained as a Quick Draw Dataset using the object image information as input data and includes a plurality of BottleNecks. and a feature extraction module for extracting an object feature vector, which is a feature map for each object, from the plurality of BottleNecks of the first Quick Draw Dataset artificial neural network module. The object segmentation module is configured to include, Object image information is input data, activation information about the object image information is output data, the FCN artificial neural network module is a CNN-based artificial neural network module including an FCN layer, and the length of the object image information is based on the activation information. direction, the object image information is segmented into a plurality of images to generate a plurality of object segment image information, the plurality of object segment images are input as input data to the first Quick Draw Dataset artificial neural network module, and the feature extraction module may be configured to generate the object feature vector by combining object segment vectors for the plurality of object segment images.

본 발명의 다른 목적은, 객체 인식 모듈이, 복수의 객체를 포함하는 피검사자 그림 이미지 정보를 입력받고 상기 피검사자 그림 이미지 정보에 포함된 복수의 상기 객체를 추출하여 각각의 상기 객체에 대한 객체 class 정보 및 객체 좌표 정보를 포함하는 객체 박스 정보를 출력하는 객체 인식 단계; 객체 특징 벡터 생성 모듈이, 상기 객체 박스 정보를 기초로 생성된 객체 이미지 정보를 입력 받고, 상기 객체 이미지 정보에 대한 객체 특징 벡터를 출력하는 객체 특징 벡터 생성 단계; 그림 스타일 특징 벡터 생성 모듈이, 상기 피검사자 그림 이미지 정보를 입력 받고, 상기 피검사자 그림 이미지 정보에 대한 그림 스타일 벡터를 출력하는 그림 스타일 특징 벡터 생성 단계; 감정 분류 모듈이, 각각의 상기 객체에 대한 상기 객체 특징 벡터를 조합(concatenate)한 벡터인 피검사자 그림 특징 벡터와 상기 그림 스타일 벡터와의 조합 벡터를 입력받고, 상기 피검사자 그림 이미지 정보에 대한 감정 분류 정보를 출력하는 감정 분류 단계; 및 신경망 처리 모듈이, 상기 객체 인식 모듈 및 상기 감정 분류 모듈에 포함된 인공신경망 모듈의 학습 세션을 처리하여 파라미터를 업데이트 하고, 업데이트 된 파라미터를 메인 신경망 서버의 일구성인 연합 학습 모듈에 업로드 하며, 상기 메인 신경망 서버의 일구성인 메인 신경망 모듈에서 복수의 피검사자 클라이언트에 의해 연합 학습된 메인 신경망을 다운로드 받아 상기 객체 인식 모듈 및 상기 감정 분류 모듈에 포함된 인공신경망 모듈의 적어도 일부를 대체하는 신경망 처리 단계;를 포함하고, 상기 메인 신경망 서버는, 상기 파라미터와 다른 피검사자 클라이언트에서 업로드 된 다른 파라미터를 통합하여 상기 객체 인식 모듈 및 상기 감정 분류 모듈에 포함된 인공신경망을 업데이트 하도록 구성되는, 인공지능 기반의 그림 심리 분석 방법을 제공하여 달성될 수 있다. Another object of the present invention is that the object recognition module receives picture image information of the test subject including a plurality of objects, extracts a plurality of objects included in the picture image information of the test subject, provides object class information for each object, and An object recognition step of outputting object box information including object coordinate information; An object feature vector generation step in which an object feature vector generation module receives object image information generated based on the object box information and outputs an object feature vector for the object image information; A picture style feature vector generation step in which a picture style feature vector generation module receives picture image information of the test subject and outputs a picture style vector for the picture image information of the test subject; The emotion classification module receives a combination vector of the test subject's picture feature vector and the picture style vector, which is a vector that concatenates the object feature vector for each object, and receives emotion classification information for the test subject's picture image information. An emotion classification step that outputs; And the neural network processing module processes the learning session of the artificial neural network module included in the object recognition module and the emotion classification module to update parameters, and uploads the updated parameters to the federated learning module that is a component of the main neural network server, A neural network processing step of downloading a main neural network jointly learned by a plurality of test subject clients from the main neural network module, which is a component of the main neural network server, and replacing at least a part of the artificial neural network module included in the object recognition module and the emotion classification module. ;, wherein the main neural network server is configured to update the artificial neural network included in the object recognition module and the emotion classification module by integrating the parameters and other parameters uploaded from other test subject clients. This can be achieved by providing psychological analysis methods.

상기한 바와 같이, 본 발명에 의하면 이하와 같은 효과가 있다.As described above, according to the present invention, the following effects are achieved.

첫째, 본 발명의 일실시예에 따르면, 피검사자 그림 이미지에 포함된 개인정보가 다른 피검사자 클라이언트에 공유되지 않으면서도 그림 심리 분석을 수행하기 위한 객체 인식 모듈 및 감정 분류 모듈의 인공신경망을 학습시킬 수 있게 되는 효과가 발생된다. First, according to one embodiment of the present invention, the artificial neural network of the object recognition module and emotion classification module for performing psychological analysis of pictures can be trained without the personal information included in the picture image of the test subject being shared with other test subject clients. The effect occurs.

둘째, 본 발명의 일실시예에 따르면, 객체 좌표 정보에 '각도' 정보가 더 포함되게 되므로, 객체 박스 이미지의 객체 각도가 표준화되고, 객체 특징 벡터에 피검사자가 객체를 그린 각도에 대한 특징이 포함되는 효과가 발생된다. Second, according to one embodiment of the present invention, since 'angle' information is further included in the object coordinate information, the object angle of the object box image is standardized, and the object feature vector includes a feature about the angle at which the examinee drew the object. The effect occurs.

셋째, 본 발명의 일실시예에 따른 객체 특징 벡터 생성 모듈의 Quick Draw Dataset 인공신경망 모듈 및 특징 추출 모듈에 따르면, 연산 효율이 증대되고 파라미터가 감소되는 동시에 피검사자 그림 이미지 정보와 같은 Quick Draw Dataset에 존재하는 노이즈 성분의 학습 세션에서의 영향을 최소화하는 효과가 발생된다. 또한, 특징 추출 모듈에 의해 추상화 레벨의 특징 정보와 디테일 레벨의 특징 정보를 모두 포함할 수 있게 되는 효과가 발생된다. Third, according to the Quick Draw Dataset artificial neural network module and feature extraction module of the object feature vector generation module according to an embodiment of the present invention, computational efficiency is increased and parameters are reduced while existing in the Quick Draw Dataset such as the subject's drawing image information. This has the effect of minimizing the influence of noise components on the learning session. In addition, the feature extraction module has the effect of being able to include both abstraction level feature information and detail level feature information.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일실시예에 따른 인공지능 기반의 그림 심리 분석 장치의 작동관계를 도시한 모식도,
도 2는 본 발명의 일실시예에 따른 인공지능 기반의 그림 심리 분석 장치와 메인 신경망 서버의 각 단계에 따른 작동관계를 도시한 모식도,
도 3은 본 발명의 일실시예에 따른 인공지능 기반의 그림 심리 분석 장치의 구성관계를 도시한 모식도,
도 4는 본 발명의 일실시예에 따른 인공지능 기반의 그림 심리 분석 장치의 구체적인 작동관계를 도시한 모식도,
도 5는 본 발명의 일실시예에 따른 객체 인식 모듈을 도시한 모식도,
도 6은 본 발명의 일실시예에 따른 객체 인식 모듈이 YOLO v5으로 구성되는 경우의 구조를 도시한 모식도,
도 7은 본 발명의 일실시예에 따른 객체 특징 벡터 생성 모듈을 도시한 모식도,
도 8은 반 발명의 일실시예에 따른 객체 분절 모듈을 도시한 모식도,
도 9는 본 발명의 일실시예에 따른 분절 이미지 생성 모듈의 작동관계를 도시한 모식도,
도 10은 본 발명의 제2변형예에 따른 분절 이미지 생성 모듈의 작동관계를 도시한 모식도,
도 11은 본 발명의 일실시예에 따른 그림 스타일 벡터 생성 모듈을 도시한 모식도,
도 12는 본 발명의 일실시예에 따른 감정 분류 모듈을 도시한 모식도,
도 13은 본 발명의 일실시예에 따른 객체 박스 생성 인공신경망 모듈의 학습 세션을 도시한 모식도,
도 14는 본 발명의 일실시예에 따른 감정 분류 모듈의 학습 세션을 도시한 모식도이다. The following drawings attached to this specification illustrate preferred embodiments of the present invention and serve to further understand the technical idea of the present invention along with the detailed description of the invention, so the present invention is limited only to the matters described in such drawings. It should not be interpreted as such.
1 is a schematic diagram showing the operational relationship of an artificial intelligence-based picture psychological analysis device according to an embodiment of the present invention;
Figure 2 is a schematic diagram showing the operational relationship of each stage of the artificial intelligence-based picture psychological analysis device and the main neural network server according to an embodiment of the present invention;
Figure 3 is a schematic diagram showing the structural relationship of an artificial intelligence-based picture psychological analysis device according to an embodiment of the present invention;
Figure 4 is a schematic diagram showing the specific operational relationship of the artificial intelligence-based picture psychological analysis device according to an embodiment of the present invention;
Figure 5 is a schematic diagram showing an object recognition module according to an embodiment of the present invention;
Figure 6 is a schematic diagram showing the structure when the object recognition module according to an embodiment of the present invention is composed of YOLO v5;
Figure 7 is a schematic diagram showing an object feature vector generation module according to an embodiment of the present invention;
Figure 8 is a schematic diagram showing an object segmentation module according to an embodiment of the invention;
Figure 9 is a schematic diagram showing the operational relationship of the segmental image generation module according to an embodiment of the present invention;
Figure 10 is a schematic diagram showing the operational relationship of the segmental image generation module according to the second modification of the present invention;
11 is a schematic diagram showing a picture style vector generation module according to an embodiment of the present invention;
12 is a schematic diagram showing an emotion classification module according to an embodiment of the present invention;
Figure 13 is a schematic diagram showing a learning session of the object box creation artificial neural network module according to an embodiment of the present invention;
Figure 14 is a schematic diagram showing a learning session of an emotion classification module according to an embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작원리를 상세하게 설명함에 있어서 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.Hereinafter, with reference to the attached drawings, an embodiment by which a person skilled in the art can easily carry out the present invention will be described in detail. However, when explaining in detail the operating principle of a preferred embodiment of the present invention, if a detailed description of a related known function or configuration is judged to unnecessarily obscure the gist of the present invention, the detailed description will be omitted.

또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다. 명세서 전체에서, 특정 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고, 간접적으로 연결되어 있는 경우도 포함한다. 또한, 특정 구성요소를 포함한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, the same reference numerals are used for parts that perform similar functions and actions throughout the drawings. Throughout the specification, when a specific part is said to be connected to another part, this includes not only cases where it is directly connected, but also cases where it is indirectly connected through another element in between. In addition, including a specific component does not mean excluding other components unless specifically stated to the contrary, but rather means that other components may be further included.

이하에서는, 설명의 편의를 위해 HTP test를 기초로 설명하였으나, 본 발명의 범위는 HTP test에 한정되지 않고, Draw-a-Person test(DAP), Kinetic House-Tree-Person test(KHTP), Chromatic or Color Drawing test, Draw-a-Person-in-the-Rain test, Drawing of Animals test, Self-Portrait test, Draw-a-Family(DAF), Kinetic Family Drawing(KFD), Family-Centerd-Circle Drawing(Fccd), Draw-a-Group(DAG), Akinetic School Drawing(ASD), Kinetic School Drawing(KSD), Landscape Montage Technique(LMT), 나무그림검사 등의 그림 심리 분석 기법을 포함할 수 있다. Below, for convenience of explanation, the explanation is based on the HTP test, but the scope of the present invention is not limited to the HTP test, and includes the Draw-a-Person test (DAP), Kinetic House-Tree-Person test (KHTP), Chromatic or Color Drawing test, Draw-a-Person-in-the-Rain test, Drawing of Animals test, Self-Portrait test, Draw-a-Family(DAF), Kinetic Family Drawing(KFD), Family-Centered-Circle Drawing It may include picture psychological analysis techniques such as (Fccd), Draw-a-Group (DAG), Akinetic School Drawing (ASD), Kinetic School Drawing (KSD), Landscape Montage Technique (LMT), and tree drawing test.

인공신경망을 이용한 그림 심리 분석 장치Picture psychological analysis device using artificial neural network

본 발명의 일실시예에 따른 인공지능 기반의 그림 심리 분석 장치의 작동관계와 관련하여, 도 1은 본 발명의 일실시예에 따른 인공지능 기반의 그림 심리 분석 장치의 작동관계를 도시한 모식도, 도 2는 본 발명의 일실시예에 따른 인공지능 기반의 그림 심리 분석 장치와 메인 신경망 서버의 각 단계에 따른 작동관계를 도시한 모식도, 도 3은 본 발명의 일실시예에 따른 인공지능 기반의 그림 심리 분석 장치의 구성관계를 도시한 모식도, 도 4는 본 발명의 일실시예에 따른 인공지능 기반의 그림 심리 분석 장치의 구체적인 작동관계를 도시한 모식도이다. 도 1에 도시된 바와 같이, 피검사자가 검사자의 지시에 따라 그린 특정 검사 그림을 피검사자 클라이언트(100)의 drawing application을 통해 생성, 피검사자 클라이언트(100)의 촬영 또는 별도의 스캔 장비의 스캔을 통해 생성한 피검사자 그림 이미지 정보를 피검사자 클라이언트(100)에 포함된 본 발명의 일실시예에 따른 인공지능 기반의 그림 심리 분석 장치에 입력하고, 인공지능 기반의 그림 심리 분석 장치에서 메인 신경망 서버에 인공지능 기반 그림 심리 분석 장치에 포함된 인공신경망의 파라미터를 송신하도록 구성되며, 피검사자 클라이언트(100)에서 검사자 클라이언트(101)에 객체 박스 정보 및 감정 분류 정보를 송신하고 검사자 클라이언트(101)에서는 수정 정보를 수신하도록 구성된다. 또한, 도 2에 도시된 바와 같이 본 발명의 일실시예에 따른 인공지능 기반의 그림 심리 분석 장치는 복수개의 피검사자 클라이언트(100)에 각각 구성되며, 메인 신경망 서버(200)와 유무선 네트워크로 연결되어 클라이언트 학습 단계, 파라미터 업데이트 단계 및 메인 신경망 다운로드 단계를 수행하도록 구성될 수 있다. 또한, 도 3, 4에 도시된 바와 같이 본 발명의 일실시예에 따른 인공지능 기반의 그림 심리 분석 장치(1)는, 피검사자가 그린 그림의 이미지 정보인 피검사자 그림 이미지 정보를 입력 데이터로 하고 상기 피검사자 그림 이미지 정보에 대응되는 피검사자의 감정 분류 정보를 출력 데이터로 하며, 객체 인식 모듈, 객체 특징 벡터 생성 모듈, 그림 스타일 벡터 생성 모듈, 감정 분류 모듈, 클라이언트 학습 모듈, 파라미터 업로드 모듈, 메인 신경망 다운로드 모듈을 포함할 수 있다. 파라미터 업로드 모듈에서는 변경된 파라미터와 수정 변화 정보를 메인 신경망 서버(200)의 연합 학습 모듈(220)에 송신하고, 연합 학습 모듈(220)에서는 복수의 피검사자 클라이언트(100)에서 수신된 파라미터와 수정 변화 정보를 기초로 연합 학습을 수행하여 기학습된 메인 신경망을 생성하도록 구성될 수 있다. 기학습된 메인 신경망은 메인 신경망 모듈(210)을 통해 객체 인식 모듈 및 감정 분류 모듈의 인공신경망 모듈을 업데이트하도록 구성될 수 있다. 이에 따르면, 피검사자 그림 이미지에 포함된 개인정보가 다른 피검사자 클라이언트(101)에 공유되지 않으면서도 그림 심리 분석을 수행하기 위한 객체 인식 모듈 및 감정 분류 모듈의 인공신경망을 학습시킬 수 있게 되는 효과가 발생된다. In relation to the operational relationship of the artificial intelligence-based picture psychological analysis device according to an embodiment of the present invention, Figure 1 is a schematic diagram showing the operational relationship of the artificial intelligence-based picture psychological analysis device according to an embodiment of the present invention; Figure 2 is a schematic diagram showing the operational relationship according to each stage of the artificial intelligence-based picture psychological analysis device and the main neural network server according to an embodiment of the present invention, and Figure 3 is an artificial intelligence-based diagram according to an embodiment of the present invention. Figure 4 is a schematic diagram showing the structural relationship of a picture psychological analysis device, and Figure 4 is a schematic diagram showing the specific operational relationship of an artificial intelligence-based picture psychological analysis device according to an embodiment of the present invention. As shown in Figure 1, a specific test drawing drawn by the test subject according to the instructions of the tester is created through the drawing application of the test subject client 100, photographed by the test subject client 100, or scanned by a separate scanning device. The test subject's picture image information is input into the artificial intelligence-based picture psychological analysis device according to an embodiment of the present invention included in the test subject client 100, and the artificial intelligence-based picture psychological analysis device transmits the artificial intelligence-based picture image to the main neural network server. It is configured to transmit the parameters of the artificial neural network included in the psychological analysis device, and is configured to transmit object box information and emotion classification information from the testee client 100 to the tester client 101 and to receive correction information from the tester client 101. do. In addition, as shown in FIG. 2, the artificial intelligence-based pictorial psychological analysis device according to an embodiment of the present invention is composed of a plurality of test subject clients 100, and is connected to the main neural network server 200 through a wired or wireless network. It may be configured to perform a client learning step, a parameter update step, and a main neural network download step. In addition, as shown in Figures 3 and 4, the artificial intelligence-based picture psychological analysis device 1 according to an embodiment of the present invention uses the test subject's drawing image information, which is image information of the picture drawn by the test subject, as input data and The test subject's emotion classification information corresponding to the test subject's picture image information is used as output data, including object recognition module, object feature vector generation module, picture style vector generation module, emotion classification module, client learning module, parameter upload module, and main neural network download module. may include. In the parameter upload module, changed parameters and correction change information are transmitted to the joint learning module 220 of the main neural network server 200, and in the joint learning module 220, parameters and correction change information received from a plurality of test subject clients 100 are transmitted. It can be configured to generate a pre-trained main neural network by performing joint learning based on . The pre-trained main neural network may be configured to update the artificial neural network modules of the object recognition module and the emotion classification module through the main neural network module 210. According to this, the effect of being able to learn the artificial neural network of the object recognition module and emotion classification module to perform psychological analysis of pictures without personal information included in the picture image of the test subject being shared with other test subject clients 101 is generated. .

객체 인식 모듈과 관련하여, 도 5는 본 발명의 일실시예에 따른 객체 인식 모듈을 도시한 모식도이다. 도 5에 도시된 바와 같이, 객체 인식 모듈은, 피검사자 그림 이미지 정보를 입력 데이터로 하고 피검사자 그림 이미지 정보에 포함된 객체를 둘러싸는 bounding box인 객체 박스에 어떤 class의 객체가 포함되어있는지 여부인 객체 class 정보, 객체 class 신뢰도(confidence score 또는 class probability), 상기 객체 박스의 좌표, 높이, 너비, 각도를 포함하는 객체 좌표 정보 및 해당 객체가 얼마나 상세히 그려졌는지에 대한 Score를 의미하는 객체 디테일 정보를 포함하는 객체 박스 정보를 출력 데이터로 하는 인공신경망 모듈을 의미할 수 있다. Regarding the object recognition module, Figure 5 is a schematic diagram showing an object recognition module according to an embodiment of the present invention. As shown in Figure 5, the object recognition module uses the image information of the subject to be inspected as input data and determines whether an object of any class is included in the object box, which is a bounding box surrounding the object included in the image information of the subject to be inspected. Contains class information, object class confidence (confidence score or class probability), object coordinate information including the coordinates, height, width, and angle of the object box, and object detail information indicating a score indicating how detailed the object was drawn. This may refer to an artificial neural network module that uses object box information as output data.

본 발명의 일실시예에 따른 객체 인식 모듈은 classification과 localization을 수행하는 multi-object detection 인공신경망 모듈을 포함할 수 있고, 이러한 multi-object detection 인공신경망 모듈로는 2-stage detector로서 RCNN(2013), OverFeat(ICLR 2014), Fast RCNN(ICCV 2015), Faster RCNN(NIPS 2015), Mask RCNN(ICCV 2017) 등이 활용될 수 있고, 1-stage detector로서 anchor based의 YOLO v1(CVPR 2016), YOLO v2(CVPR 2017), YOLO v3(arXiv 2018), SSD(ECCV 2016), RetinaNet(ICCV 2017) 등이 활용될 수 있으며, 1-stage detector로서 non-anchor based의 CornerNet(ECCV 2018), ExtreamNet(2019), CenterNet(2019) 등이 활용될 수 있고, CRAFT(down sampling/up sampling) 등이 활용될 수 있다. The object recognition module according to an embodiment of the present invention may include a multi-object detection artificial neural network module that performs classification and localization, and this multi-object detection artificial neural network module is a 2-stage detector, RCNN (2013) , OverFeat (ICLR 2014), Fast RCNN (ICCV 2015), Faster RCNN (NIPS 2015), Mask RCNN (ICCV 2017), etc. can be used, and as a 1-stage detector, anchor-based YOLO v1 (CVPR 2016), YOLO v2 (CVPR 2017), YOLO v3 (arXiv 2018), SSD (ECCV 2016), RetinaNet (ICCV 2017), etc. can be used, and as a 1-stage detector, non-anchor based CornerNet (ECCV 2018) and ExtreamNet (2019) ), CenterNet (2019), etc. can be used, and CRAFT (down sampling/up sampling) can be used.

본 발명의 일실시예에 따른 객체 인식 모듈의 출력 데이터는, 피검사자 그림 이미지 정보 내에 포함되는 적어도 하나 이상의 object에 대한 객체 class의 신뢰도를 의미하는 객체 class 정보(confidence score 또는 class probability), 해당 객체 object(객체 class로 추론되는 object)의 좌표 정보인 객체 좌표 정보(coordinate data)를 포함할 수 있고, object의 객체 좌표 정보는 인공신경망의 구성에 따라 bounding box의 top-left coner와 bottom-right coner의 좌표, bounding box의 centeral region 좌표, bounding box의 width 및 hight, bounding box의 각도(angle)를 포함하도록 구성될 수 있으며, bounding box 내의 해당 객체가 얼마나 상세히 그려졌는지를 의미하는 객체 디테일 정보를 포함하도록 구성될 수 있다. 예를 들어, 피검사자 그림 이미지 정보 내에 포함되는 특정 object에 대한 객체 class 정보는 [0.8], 객체 좌표 정보는 [x,y,w,h,θ], 객체 디테일 정보는 [0.4] 등의 형태로 구성될 수 있다. 본 발명의 일실시예에 따르면, 객체 좌표 정보에 '각도' 정보가 더 포함되게 되므로, 객체 박스 이미지의 객체 각도가 표준화되고, 객체 특징 벡터에 피검사자가 객체를 그린 각도에 대한 특징이 포함되는 효과가 발생된다. The output data of the object recognition module according to an embodiment of the present invention includes object class information (confidence score or class probability), which indicates the reliability of the object class for at least one object included in the picture image information of the subject, and the corresponding object object. It may include object coordinate information (coordinate data), which is the coordinate information of the object (object inferred as an object class), and the object coordinate information of the object is the top-left coner and bottom-right coner of the bounding box depending on the configuration of the artificial neural network. It can be configured to include coordinates, centeral region coordinates of the bounding box, width and height of the bounding box, angle of the bounding box, and object detail information, which means how detailed the corresponding object within the bounding box has been drawn. It can be configured. For example, object class information for a specific object included in the image information of the subject being inspected is [0.8], object coordinate information is [x,y,w,h,θ], object detail information is [0.4], etc. It can be configured. According to one embodiment of the present invention, since 'angle' information is further included in the object coordinate information, the object angle of the object box image is standardized, and the object feature vector includes a feature about the angle at which the examinee drew the object, which has the effect of occurs.

도 6은 본 발명의 일실시예에 따른 객체 인식 모듈이 YOLO v5으로 구성되는 경우의 구조를 도시한 모식도이다. 예를 들어, 도 6에 도시된 바와 같이 본 발명의 일실시예에 따른 객체 인식 모듈을 YOLO v5으로 구성하는 경우, ImageNet Pre-trained Model을 사용할 수 있으며, convolution layer들을 통해 feature map을 추출하고, fully connected layer를 거쳐 바로 bounding box의 객체 class probability(class confidence, 객체 클래스 정보), coordinate data(객체 좌표 정보)와 객체 디테일 정보를 추론(inference)하여 출력 데이터로서 출력하도록 구성된다. YOLO에서는 input 이미지인 피검사자 그림 이미지 정보를 SxS grid로 나누고 각 grid 영역에 해당하는 bounding box(SxSxB개)와 Class confidence(Probability(object)×IoU(prediction, ground truth)), Class probability map(Probability(Class_i|object))을 구하도록 구성된다. 구체적인 네트워크 구조를 예를 들면, 한 grid 영역당 n개의 bounding box coordinate(객체 좌표 정보)와 confidence score(객체 클래스 정보)를 출력하도록 구성될 수 있고, 예를 들어, 피검사자 그림 이미지 정보는 448x448x3의 크기로 입력되도록 구성될 수 있으며, ImageNet Pre-trained Model의 Activation map은 7x7x1024의 크기로 구성될 수 있고, ImageNet Pre-trained Model 이후 4096 및 7x7x30의 Fully Connected Layer가 구성될 수 있다. 본 발명의 일실시예에 따른 객체 인식 모듈의 학습 세션에서는 피검사자 그림 이미지 정보의 원본 이미지에서 House, Tree, Person 객체를 이용하여 정답 데이터(Ground Truth) 생성 후 ImageNet Pre-trained Model의 파라미터를 fine-tuning 하도록 구성될 수 있다. Figure 6 is a schematic diagram showing the structure when the object recognition module according to an embodiment of the present invention is composed of YOLO v5. For example, as shown in FIG. 6, when the object recognition module according to an embodiment of the present invention is configured with YOLO v5, ImageNet Pre-trained Model can be used, a feature map is extracted through convolution layers, and It is configured to infer the object class probability (class confidence, object class information), coordinate data (object coordinate information), and object detail information of the bounding box directly through the fully connected layer and output them as output data. In YOLO, the image information of the subject, which is the input image, is divided into an SxS grid, bounding boxes (SxSxB) corresponding to each grid area, class confidence (Probability (object) × IoU (prediction, ground truth)), class probability map (Probability ( It is configured to obtain Class_i|object)). For example, a specific network structure can be configured to output n bounding box coordinates (object coordinate information) and confidence scores (object class information) per grid area. For example, the image information of the examinee has a size of 448x448x3. It can be configured to be input, and the Activation map of the ImageNet Pre-trained Model can be configured to have a size of 7x7x1024, and a Fully Connected Layer of 4096 and 7x7x30 can be configured after the ImageNet Pre-trained Model. In the learning session of the object recognition module according to an embodiment of the present invention, ground truth is generated using House, Tree, and Person objects from the original image of the image information of the subject, and then the parameters of the ImageNet Pre-trained Model are fine-tuned. It can be configured for tuning.

객체 특징 벡터 생성 모듈과 관련하여, 도 7은 본 발명의 일실시예에 따른 객체 특징 벡터 생성 모듈을 도시한 모식도이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 객체 특징 벡터 생성 모듈은, 객체 클래스 정보의 각 객체 class에 따른 상기 객체 좌표 정보를 기반으로 상기 피검사자 그림 이미지 정보에서 각 객체 class에 대한 객체 이미지 정보를 생성하여 상기 객체 이미지 정보를 입력 데이터로 하고 각 객체 class에 대한 객체 특징 벡터를 출력 데이터로 하는 인공신경망 모듈을 의미할 수 있다. 또한, 각 객체 class에 대한 객체 특징 벡터를 조합(concatenate)하여 피검사자 그림 이미지 정보에 대한 특징 벡터인 피검사자 특징 벡터를 출력하도록 구성될 수 있다. Regarding the object feature vector generation module, Figure 7 is a schematic diagram showing the object feature vector generation module according to an embodiment of the present invention. As shown in FIG. 7, the object feature vector generation module according to an embodiment of the present invention generates information for each object class in the picture image information of the inspected person based on the object coordinate information according to each object class of the object class information. It may refer to an artificial neural network module that generates object image information, uses the object image information as input data, and object feature vectors for each object class as output data. In addition, it can be configured to concatenate object feature vectors for each object class and output an inspected feature vector, which is a feature vector for the inspected person's picture image information.

객체 특징 벡터 생성 모듈의 구체적인 구성과 관련하여, 본 발명의 일실시예에 따른 객체 특징 벡터 생성 모듈은 상기 객체 이미지 정보를 입력 데이터로 하여 피검사자 그림 이미지 정보의 각 객체에 관한 그림 데이터에 최적화된 Feature를 추출하기 위해 Quick Draw Dataset으로 Pre-trained 되고, 복수의 BottleNeck을 포함하는 CNN 기반의 인공신경망 모듈인 Quick Draw Dataset 인공신경망 모듈(예를 들어, ResNet을 backbone network로 할 수 있음)을 포함할 수 있고, 상기 Quick Draw Dataset 인공신경망 모듈의 복수의 BottleNeck에서 각 객체 class(예를 들어, House, Tree, Person 객체)의 Feature map를 추출하는 특징 추출 모듈(Feature Extraction Module)을 더 포함할 수 있다. 이때, Quick Draw Dataset 인공신경망 모듈의 BottleNeck은, CNN에서 차원이 축소되기 전의 Layer를 의미할 수 있으며, BottleNeck Feature map은 CNN에서 차원이 축소되기 전의 Convolution Layer의 출력 feature map을 의미할 수 있다. Regarding the specific configuration of the object feature vector generation module, the object feature vector generation module according to an embodiment of the present invention uses the object image information as input data and generates a feature optimized for the picture data for each object in the picture image information of the examinee. In order to extract the Quick Draw Dataset, it is pre-trained and can include the Quick Draw Dataset artificial neural network module, which is a CNN-based artificial neural network module that includes multiple BottleNecks (for example, ResNet can be used as a backbone network). It may further include a feature extraction module that extracts a feature map of each object class (e.g., House, Tree, Person object) from the plurality of BottleNecks of the Quick Draw Dataset artificial neural network module. At this time, the BottleNeck of the Quick Draw Dataset artificial neural network module may refer to the layer before the dimension is reduced in the CNN, and the BottleNeck Feature map may refer to the output feature map of the convolution layer before the dimension is reduced in the CNN.

객체 특징 벡터 생성 모듈과 특징 추출 모듈은 아래의 단계로 각 객체 class에 대한 객체 특징 벡터 및 피검사자 그림 특징 벡터를 출력하도록 구성될 수 있다. The object feature vector generation module and feature extraction module can be configured to output object feature vectors and test subject picture feature vectors for each object class in the following steps.

① 객체 인식 모듈에서 추출한 각 객체 class(House, Tree, Person)의 객체 이미지 정보가 객체 특징 벡터 생성 모듈의 Quick Draw Dataset 인공신경망 모듈의 입력 데이터로 입력① The object image information of each object class (House, Tree, Person) extracted from the object recognition module is input as input data to the Quick Draw Dataset artificial neural network module of the object feature vector creation module.

② 특징 추출 모듈이, Quick Draw Dataset 인공신경망 모듈에 구성된 복수의 BottleNeck에서 서로 다른 scale을 가진 Feature map(BottleNeck Feature map)을 추출(a1, a2, a3 vector, Bottom-up pathway)② The feature extraction module extracts feature maps (BottleNeck Feature maps) with different scales from multiple BottleNecks configured in the Quick Draw Dataset artificial neural network module (a1, a2, a3 vector, Bottom-up pathway)

③ 특징 추출 모듈이, 추출된 복수의 BottleNeck Feature map 각각에 1x1 conv. 연산을 적용하여 모든 BottleNeck Feature map의 channel 수를 n(예를 들어, 256)으로 맞추고 크기를 m배(예를 들어, 2배)로 Upsampling③ The feature extraction module performs 1x1 conv on each of the multiple extracted BottleNeck feature maps. Apply the operation to set the number of channels of all BottleNeck Feature maps to n (e.g., 256) and upsample the size by m times (e.g., 2 times).

④ 특징 추출 모듈이, Upsampling된 복수의 BottleNeck Feature map에 Lateral connections을 적용하여 각 feature map을 바로 아래 pyramid level에 존재하는 feature map과 element-wise addition 연산하여 Top-down pathway로 통합하고 3x3 conv. 연산을 적용(b1, b2, b3 vector)④ The feature extraction module applies lateral connections to multiple upsampled BottleNeck feature maps, calculates element-wise addition of each feature map with the feature map existing at the pyramid level immediately below, integrates them into a top-down pathway, and performs 3x3 conv. Apply operation (b1, b2, b3 vector)

⑤ 특징 추출 모듈이, 통합 된 feature map 중 최상단 level의 BottleNeck Feature map을 추출⑤ The feature extraction module extracts the BottleNeck feature map at the highest level among the integrated feature maps.

⑥ 특징 추출 모듈이, 추출 된 최상단 level의 BottleNeck Feature map에 SVD(Singular value decomposition) 적용하여 해상도 축소하여 각 객체 class에 대한 객체 특징 벡터 생성⑥ The feature extraction module applies SVD (Singular value decomposition) to the extracted BottleNeck feature map at the top level to reduce the resolution and generate object feature vectors for each object class.

⑦ 특징 추출 모듈이, 각 객체 class(예를 들어, House, Tree, Person)에 대응되는 객체 특징 벡터를 Concatenate하여 피검사자 그림 특징 벡터를 출력⑦ The feature extraction module concatenates the object feature vectors corresponding to each object class (e.g., House, Tree, Person) and outputs the test subject picture feature vector.

본 발명의 일실시예에 따른 객체 특징 벡터 생성 모듈의 Quick Draw Dataset 인공신경망 모듈 및 특징 추출 모듈에 따르면, 연산 효율이 증대되고 파라미터가 감소되는 동시에 피검사자 그림 이미지 정보와 같은 Quick Draw Dataset에 존재하는 노이즈 성분의 학습 세션에서의 영향을 최소화하는 효과가 발생된다. 또한, 특징 추출 모듈에 의해 추상화 레벨의 특징 정보와 디테일 레벨의 특징 정보를 모두 포함할 수 있게 되는 효과가 발생된다. According to the Quick Draw Dataset artificial neural network module and feature extraction module of the object feature vector generation module according to an embodiment of the present invention, computational efficiency is increased and parameters are reduced, while noise present in the Quick Draw Dataset such as the subject's drawing image information This has the effect of minimizing the influence of the ingredients on the learning session. In addition, the feature extraction module has the effect of being able to include both abstraction level feature information and detail level feature information.

본 발명의 변형예에 따르면, 객체 특징 벡터 생성 모듈은 Quick Draw Dataset 인공신경망 모듈의 입력층에 연결된 객체 분절 모듈을 더 포함할 수 있고, 객체 인식 모듈에서 추출한 각 객체 class(House, Tree, Person)의 객체 이미지 정보가 객체 분절 모듈에 의해 생성된 분절 좌표 정보로 분절되어 생성된 객체 분절 이미지 정보가 Quick Draw Dataset 인공신경망 모듈에 입력 데이터로 입력되고, 특징 추출 모듈에 의해 각 객체 분절 이미지 정보에 대하여 출력되는 객체 분절 벡터를 조합(concatenate)하여 각 객체 class(예를 들어, House, Tree, Person)에 대응되는 객체 특징 벡터를 생성하고, 각 객체 특징 벡터를 조합(concatenate)하여 피검사자 그림 특징 벡터를 생성하도록 구성될 수 있다. According to a modified example of the present invention, the object feature vector generation module may further include an object segmentation module connected to the input layer of the Quick Draw Dataset artificial neural network module, and each object class (House, Tree, Person) extracted from the object recognition module The object image information is segmented into segment coordinate information generated by the object segment module, and the generated object segment image information is input as input data to the Quick Draw Dataset artificial neural network module, and each object segment image information is analyzed by the feature extraction module. The output object segmentation vectors are concatenated to create object feature vectors corresponding to each object class (e.g., House, Tree, Person), and each object feature vector is concatenated to create the test subject's picture feature vector. It can be configured to generate

객체 분절 모듈과 관련하여, 도 8은 반 발명의 일실시예에 따른 객체 분절 모듈을 도시한 모식도이다. 도 8에 도시된 바와 같이, 객체 분절 모듈은, 상기 객체 박스 정보에 대응되는 피검사자 그림 이미지의 일부분인 객체 이미지 정보를 입력 데이터로 하고 상기 객체 이미지 정보에 대한 Feature map(activation map, 액티베이션 정보)을 출력 데이터로 하는 피검사자 그림 이미지 정보의 각 객체에 관한 그림 데이터에 최적화된 Feature를 추출하기 위해 Quick Draw Dataset으로 Pre-trained 되고, 복수의 BottleNeck을 포함하며 Fully connected layer(FC layer) 대신 Fully convolutional layer(FCN layer)가 포함된 CNN 기반의 인공신경망 모듈인 FCN 인공신경망 모듈 및 상기 액티베이션 정보를 기반으로 객체 이미지 정보의 길이 방향으로 객체 이미지 정보를 n개(특정 분절 개수)의 이미지로 분절(분절 좌표 정보)하여 구성된 n개의 객체 분절 이미지 정보를 생성하는 분절 이미지 생성 모듈을 포함하는 모듈이다. 분절 이미지 생성 모듈에 의해 생성된 각 객체 class(House, Tree, Person)에 대한 복수의 객체 분절 이미지 정보가 Quick Draw Dataset 인공신경망 모듈에 입력 데이터로 입력되고, 특징 추출 모듈에 의해 각 객체 분절 이미지 정보에 대하여 출력되는 객체 분절 벡터를 조합(concatenate)하여 각 객체 class(예를 들어, House, Tree, Person)에 대응되는 객체 특징 벡터를 생성하고, 각 객체 특징 벡터를 조합(concatenate)하여 피검사자 그림 특징 벡터를 생성하도록 구성될 수 있다. Regarding the object segmentation module, Figure 8 is a schematic diagram showing an object segmentation module according to an embodiment of the invention. As shown in FIG. 8, the object segmentation module uses object image information, which is a part of the picture image of the examinee corresponding to the object box information, as input data and generates a feature map (activation map, activation information) for the object image information. In order to extract features optimized for picture data for each object of the subject's picture image information as output data, it is pre-trained with Quick Draw Dataset, includes multiple BottleNecks, and uses a fully convolutional layer (FC layer) instead of a fully connected layer (FC layer). Based on the FCN artificial neural network module, which is a CNN-based artificial neural network module that includes an FCN layer), and the activation information, the object image information is segmented into n images (a specific number of segments) in the longitudinal direction of the object image information (segment coordinate information) ) is a module that includes a segmental image generation module that generates n object segmental image information composed of. Multiple object segment image information for each object class (House, Tree, Person) generated by the segment image generation module is input as input data to the Quick Draw Dataset artificial neural network module, and each object segment image information is generated by the feature extraction module. Object segment vectors output are concatenated to create object feature vectors corresponding to each object class (e.g., House, Tree, Person), and each object feature vector is concatenated to create the test subject's picture features. Can be configured to generate vectors.

분절 이미지 생성 모듈과 관련하여, 도 9는 본 발명의 일실시예에 따른 분절 이미지 생성 모듈의 작동관계를 도시한 모식도이다. 도 9에 도시된 바와 같이, 분절 이미지 생성 모듈은 FCN 인공신경망 모듈에 구성된 복수의 Conv. Layer의 BottleNeck과 연결되고, FCN 인공신경망 모듈의 입력 데이터가 특정 크기의 객체 이미지 정보일 때 Conv. Layer의 BottleNeck에서 출력되는 적어도 한 차원 이상의 Activation map을 포함하는 복수개의 액티베이션 정보(좌표 별 액티베이션 값을 포함)를 입력받고, 객체 이미지 정보에 대한 객체 class의 coordinate data(객체 좌표 정보)를 입력받으며, 복수개의 액티베이션 정보의 크기를 객체 좌표 정보에 대응되게 조정하고 통합하여 통합 액티베이션 정보를 생성하며, 객체 박스의 길이방향으로 액티베이션 값의 peak와 peak 사이를 분절하여 n개의 분절 좌표 정보를 생성하고, 분절 좌표 정보 기반으로 객체 이미지 정보를 분절하여 객체 분절 이미지 정보를 생성하는 모듈이다. 이때, FCN Layer가 포함된 CNN 모듈인 FCN 인공신경망 모듈은, FCN layer에 Global Average Pooling(GAP)이 적용되어 해당 객체 이미지 정보의 객체 class probability를 출력하는 output layer가 구성된 상태에서 기학습되도록 구성된다. 또한, 본 발명의 일실시예에 따른 분절 이미지 생성 모듈은, FCN Layer가 포함된 CNN 모듈인 FCN 인공신경망 모듈에서 출력되는 객체 class probability에 따라 입력 데이터인 객체 이미지 정보의 크기(w,h)를 특정 가중치만큼 확장하여 입력 데이터로 다시 feed 하도록 구성될 수 있다. 이때, 예를 들어 특정 가중치는 1/[객체 class probabilty] 또는 1+(1-[객체 class probabilty])의 형태로 구성될 수 있다. 예를 들어, FCN Layer가 포함된 CNN 모듈인 FCN 인공신경망 모듈에 입력된 객체 이미지 정보에 의해 출력된 객체 class probability가 0.7인 경우, 1.3의 가중치만큼 객체 이미지 정보를 확장하여 입력 데이터로 입력하도록 구성될 수 있다. Regarding the segmental image generation module, Figure 9 is a schematic diagram showing the operational relationship of the segmental image generation module according to an embodiment of the present invention. As shown in Figure 9, the segmental image generation module includes a plurality of Conv. It is connected to the BottleNeck of the layer, and when the input data of the FCN artificial neural network module is object image information of a specific size, Conv. Receives a plurality of activation information (including activation values for each coordinate) including at least one dimension of Activation map output from the BottleNeck of the Layer, receives coordinate data (object coordinate information) of the object class for object image information, The size of a plurality of pieces of activation information is adjusted to correspond to the object coordinate information and integrated to create integrated activation information, and n pieces of segment coordinate information are created by segmenting the peak to peak of the activation value in the longitudinal direction of the object box. This is a module that generates object segment image information by segmenting object image information based on coordinate information. At this time, the FCN artificial neural network module, which is a CNN module that includes the FCN Layer, is configured to be pre-trained with an output layer configured to output the object class probability of the object image information by applying Global Average Pooling (GAP) to the FCN layer. . In addition, the segmental image generation module according to an embodiment of the present invention determines the size (w, h) of object image information, which is input data, according to the object class probability output from the FCN artificial neural network module, which is a CNN module including an FCN Layer. It can be configured to expand by a certain weight and feed it back as input data. At this time, for example, the specific weight may be configured in the form of 1/[object class probabilty] or 1+(1-[object class probabilty]). For example, if the object class probability output by the object image information input to the FCN artificial neural network module, which is a CNN module that includes the FCN Layer, is 0.7, the object image information is expanded by a weight of 1.3 and input as input data. It can be.

본 발명의 일실시예에 따른 객체 분절 모듈에 따르면, 객체 이미지 정보 내에 포함된 객체의 구성요소(Tree의 경우, 나뭇잎 부분, 나무 줄기 부분, 나무 뿌리 부분 등) 하나 하나를 별도의 분절 좌표 정보 및 객체 분절 이미지 정보로 분절하여 객체 특징 벡터를 정밀하게 추론(inference)할 수 있게 되는 효과가 발생된다. 또한, 객체 특징 벡터 생성 모듈을 단일 인공신경망 모듈로 구성할 수 있게 됨으로써 인공신경망 학습 및 추론의 효율이 향상되는 효과가 발생된다. 또한, FCN layer 및 GAP이 구성됨으로써, 입력 데이터인 객체 이미지 정보의 크기가 다양하게 구성되어도 객체 특징 벡터의 생성이 가능한 효과가 발생된다. 또한, 객체 인식 모듈과 객체 분절 모듈에서 각각 객체 class probability를 추론하게 되므로, 객체 인식 모듈에서 기추론된 객체 class probability를 기초로 객체 분절 모듈의 FCN Layer가 포함된 CNN 모듈인 FCN 인공신경망 모듈을 기학습시킬 수 있는 효과가 발생된다. According to the object segmentation module according to an embodiment of the present invention, each component of the object included in the object image information (in the case of a tree, a leaf part, a tree trunk part, a tree root part, etc.) is separated into separate segment coordinate information and By segmenting the object using image information, the effect of being able to precisely infer the object feature vector is generated. Additionally, the object feature vector generation module can be configured as a single artificial neural network module, thereby improving the efficiency of artificial neural network learning and inference. In addition, by configuring the FCN layer and GAP, the effect of creating an object feature vector is created even if the size of the object image information, which is input data, is configured in various ways. In addition, since the object class probability is inferred from the object recognition module and the object segmentation module, the FCN artificial neural network module, which is a CNN module including the FCN Layer of the object segmentation module, is built based on the object class probability already inferred from the object recognition module. An effect that can be learned occurs.

분절 이미지 생성 모듈의 제2변형예와 관련하여, 도 10은 본 발명의 제2변형예에 따른 분절 이미지 생성 모듈의 작동관계를 도시한 모식도이다. 도 10에 도시된 바와 같이, 본 발명의 제2변형예에 따르면, 객체 분절 모듈의 FCN 인공신경망 모듈이 Global average pooling을 통해 객체 class probability를 출력 데이터로 출력하는 단일 컨볼루젼 네트워크로 구성된 인공신경망으로 구성되고, 분절 이미지 생성 모듈과 FCN 인공신경망 모듈의 사이에 차원을 축소하는 클래스 액티베이션 생성 모듈을 더 포함하며, 클래스 액티베이션 생성 모듈은 FCN 인공신경망 모듈의 복수의 Conv. Layer와 연결되어 FCN Layer가 포함된 CNN 모듈인 FCN 인공신경망 모듈의 입력 데이터가 객체 이미지 정보일 때 Conv. Layer의 BottleNeck에서 출력되는 적어도 한 차원 이상의 Activation map을 포함하는 액티베이션 정보(좌표 별 액티베이션 값을 포함)를 입력받고 객체 class에 대응되는 Activation map을 포함하는 클래스 액티베이션 정보(객체 class에 따른 좌표 별 액티베이션 값을 포함)를 출력하며, Global average pooling 함수를 통해 객체 class probability를 출력하도록 구성된 FCN 인공신경망 모듈과 함께 학습될 수 있다. 또한, 분절 이미지 생성 모듈에는 상기 클래스 액티베이션 정보와 객체 좌표 정보가 입력되며, 분절 이미지 생성 모듈은 입력되는 클래스 액티베이션 정보의 크기를 객체 좌표 정보의 크기에 대응되게 조정하고 통합하여 통합 액티베이션 정보를 생성하며, 객체 박스의 길이방향으로 액티베이션 값의 peak와 peak 사이를 분절하여 n개의 분절 좌표 정보를 생성하고, 분절 좌표 정보 기반으로 객체 이미지 정보를 분절하여 객체 분절 이미지 정보를 생성하도록 구성될 수 있다. Regarding the second modification of the segmental image generation module, FIG. 10 is a schematic diagram showing the operational relationship of the segmental image generation module according to the second modification of the present invention. As shown in Figure 10, according to the second modification of the present invention, the FCN artificial neural network module of the object segmentation module is an artificial neural network composed of a single convolutional network that outputs object class probability as output data through global average pooling. and further includes a class activation generation module that reduces the dimension between the segmental image generation module and the FCN artificial neural network module, and the class activation generation module includes a plurality of Conv. When the input data of the FCN artificial neural network module, which is a CNN module that is connected to the layer and includes the FCN layer, is object image information, Conv. Activation information including an Activation map in at least one dimension (including activation values for each coordinate) output from the BottleNeck of the Layer is input, and class activation information including an Activation map corresponding to the object class (activation values for each coordinate according to the object class) is input. ) and can be learned with the FCN artificial neural network module configured to output object class probability through the global average pooling function. In addition, the class activation information and object coordinate information are input to the segmental image generation module, and the segmental image generation module adjusts the size of the input class activation information to correspond to the size of the object coordinate information and integrates it to generate integrated activation information. , It may be configured to generate n segment coordinate information by segmenting between peaks of activation values in the longitudinal direction of the object box, and to generate object segment image information by segmenting object image information based on segment coordinate information.

이때, 클래스 액티베이션 생성 모듈에 의한 클래스 액티베이션 정보의 생성은 아래와 같이 수행될 수 있다. At this time, generation of class activation information by the class activation creation module can be performed as follows.

위 수학식 1에서, M_c(x,y)는 class c로의 분류에 영향을 주는 (x,y)에 위치한 액티베이션 값, w_k ^c는 activation map에서 class c에 대한 k번째 채널의 가중치, f_k(x,y)는 Activation map의 k번째 채널의 (x,y)에 위치한 액티베이션 값을 의미한다. In Equation 1 above, M _c (x,y) is the activation value located at (x,y) that affects classification into class c, w _k ^c is the weight of the kth channel for class c in the activation map, f _k (x,y) means the activation value located at (x,y) of the kth channel of the Activation map.

본 발명의 변형예에 따르면, 전체 클래스에 대한 Activation map이 아닌, 객체 class에 한정되어 생성되는 Class activaiton map을 이용하여 객체 class에 한정된 통합 액티베이션 정보를 분절 좌표 생성에 이용할 수 있게 되므로, 객체 이미지 정보 내에 포함된 객체의 구성요소 하나 하나를 별도의 분절 좌표 정보로 보다 정밀하게 추론(inference)할 수 있게 되는 효과가 발생된다. 또한, FCN 인공신경망 모듈부터 클래스 액티베이션 생성 모듈까지 단일 인공신경망 모듈로 구성할 수 있게 됨으로써 인공신경망 학습 및 추론의 효율이 향상되는 효과가 발생된다. 또한, FCN layer 및 GAP이 구성됨으로써, 입력 데이터인 객체 이미지 정보의 크기가 다양하게 구성되어도 객체 특징 벡터의 생성이 가능한 효과가 발생된다. 또한, 객체 인식 모듈과 객체 분절 모듈에서 각각 객체 class probability를 추론하게 되므로, 객체 인식 모듈에서 기추론된 객체 class probability를 기초로 객체 분절 모듈의 FCN 인공신경망 모듈을 기학습시킬 수 있는 효과가 발생된다. According to a modified example of the present invention, integrated activation information limited to an object class can be used to generate segmental coordinates by using a class activation map generated limited to the object class, rather than an activation map for the entire class, so that object image information This creates the effect of being able to more precisely infer each component of an object contained within with separate segment coordinate information. In addition, since it is possible to configure a single artificial neural network module from the FCN artificial neural network module to the class activation generation module, the efficiency of artificial neural network learning and inference is improved. In addition, by configuring the FCN layer and GAP, the effect of creating an object feature vector is created even if the size of the object image information, which is input data, is configured in various ways. In addition, since the object class probability is inferred from the object recognition module and the object segmentation module, the effect of pre-training the FCN artificial neural network module of the object segmentation module based on the object class probability already inferred from the object recognition module is generated. .

그림 스타일 벡터 생성 모듈과 관련하여, 도 11은 본 발명의 일실시예에 따른 그림 스타일 벡터 생성 모듈을 도시한 모식도이다. 도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 그림 스타일 벡터 생성 모듈은, 피검사자 그림 이미지 정보를 입력 데이터로 하고 그림 스타일 벡터를 출력 데이터로 하는 인공신경망 모듈을 의미할 수 있다. 그림 스타일 벡터 생성 모듈에서 생성된 그림 스타일 벡터는, 상기 피검사자 그림 특징 벡터와 조합(concatenate)되어 감정 분류 모듈의 입력 데이터로 입력되도록 구성될 수 있다. Regarding the picture style vector creation module, Figure 11 is a schematic diagram showing the picture style vector creation module according to an embodiment of the present invention. As shown in FIG. 11, the picture style vector generation module according to an embodiment of the present invention may mean an artificial neural network module that uses the picture image information of the examinee as input data and the picture style vector as output data. The picture style vector generated in the picture style vector generation module may be configured to be concatenated with the test subject's picture feature vector and input as input data to the emotion classification module.

그림 스타일 벡터 생성 모듈의 구체적인 구성과 관련하여, 본 발명의 일실시예에 따른 그림 스타일 벡터 생성 모듈은 상기 피검사자 그림 이미지 정보를 입력 데이터로 하여 피검사자 그림 이미지 정보의 Style Feature를 추출하기 위해 Quick Draw Dataset으로 Pre-trained 되고, 복수의 BottleNeck을 포함하는 CNN 기반의 인공신경망 모듈인 Quick Draw Dataset 인공신경망 모듈(예를 들어, ResNet을 backbone network로 할 수 있음)을 포함할 수 있고, 상기 Quick Draw Dataset 인공신경망 모듈의 복수의 BottleNeck에서 Style Feature Map를 추출하는 스타일 특징 추출 모듈(Style Feature Extraction Module)을 더 포함할 수 있다. 이때, Quick Draw Dataset 인공신경망 모듈의 BottleNeck은, CNN에서 차원이 축소되기 전의 Layer를 의미할 수 있으며, BottleNeck Feature map은 CNN에서 차원이 축소되기 전의 Convolution Layer의 출력 feature map을 의미할 수 있다. Regarding the specific configuration of the picture style vector generation module, the picture style vector generation module according to an embodiment of the present invention uses the picture image information of the test subject as input data and uses the Quick Draw Dataset to extract the style feature of the picture image information of the test subject. It is pre-trained and may include a Quick Draw Dataset artificial neural network module (for example, ResNet may be used as a backbone network), which is a CNN-based artificial neural network module including a plurality of BottleNecks, and the Quick Draw Dataset artificial neural network module It may further include a Style Feature Extraction Module that extracts a Style Feature Map from a plurality of BottleNecks of the neural network module. At this time, the BottleNeck of the Quick Draw Dataset artificial neural network module may refer to the layer before the dimension is reduced in the CNN, and the BottleNeck Feature map may refer to the output feature map of the convolution layer before the dimension is reduced in the CNN.

그림 스타일 벡터 생성 모듈과 스타일 특징 추출 모듈은 아래의 단계로 그림 스타일 벡터 및 그림 스타일 벡터와 피검사자 그림 특징 벡터의 조합 벡터를 출력하도록 구성될 수 있다. The picture style vector generation module and the style feature extraction module can be configured to output a picture style vector and a combination vector of the picture style vector and the test subject's picture feature vector in the steps below.

① 피검사자 그림 이미지 정보가 그림 스타일 벡터 생성 모듈의 Quick Draw Dataset 인공신경망 모듈의 입력 데이터로 입력① The subject's drawing image information is input as input data to the Quick Draw Dataset artificial neural network module of the drawing style vector creation module.

② 스타일 특징 추출 모듈이, 그림 스타일 벡터 생성 모듈의 Quick Draw Dataset 인공신경망 모듈에 구성된 복수의 BottleNeck에서 서로 다른 scale을 가진 Feature map(BottleNeck Feature map)을 추출(a1, a2, a3 vector, Bottom-up pathway)② The style feature extraction module extracts feature maps (BottleNeck Feature maps) with different scales from multiple BottleNecks configured in the Quick Draw Dataset artificial neural network module of the picture style vector generation module (a1, a2, a3 vector, Bottom-up pathway)

③ 스타일 특징 추출 모듈이, 추출된 복수의 BottleNeck Feature map 각각에 gram matrix 연산을 적용하여 모든 BottleNeck Feature map를 내적하여 각 layer에 대한 Style representation을 생성③ The style feature extraction module applies gram matrix operation to each of the multiple extracted BottleNeck feature maps and creates a style representation for each layer by dot producting all BottleNeck feature maps.

④ 스타일 특징 추출 모듈이, gram matrix 연산된 복수의 BottleNeck Feature map에 Lateral connections을 적용하여 각 layer의 Style representation을 바로 아래 pyramid level에 존재하는 Style representation과 element-wise addition 연산하여 Top-down pathway로 통합(c1, c2, c3 vector)④ The style feature extraction module applies lateral connections to multiple BottleNeck feature maps calculated from the gram matrix and integrates the style representation of each layer into the top-down pathway by performing an element-wise addition operation with the style representation existing at the pyramid level immediately below. (c1, c2, c3 vector)

⑤ 스타일 특징 추출 모듈이, 통합 된 Style representation 중 최상단 level의 벡터인 그림 스타일 벡터를 추출⑤ The style feature extraction module extracts the picture style vector, which is the top level vector among the integrated style representations.

⑥ 스타일 특징 추출 모듈이, 추출 된 그림 스타일 벡터와 피검사자 그림 특징 벡터를 조합(Concatenate)하여 조합 벡터를 출력⑥ The style feature extraction module concatenates the extracted picture style vector and the test subject’s picture feature vector and outputs a combination vector.

본 발명의 일실시예에 따른 그림 스타일 벡터 생성 모듈의 Quick Draw Dataset 인공신경망 모듈 및 스타일 특징 추출 모듈에 따르면, high resolution style feature가 low resolution style feature의 특징을 포함할 수 있게 되고, 피검사자 그림 이미지의 스타일을 추출하고 Self-Attention Layer를 통과시켜 객체(예를 들어, 집, 나무, 사람) 그림의 style 사이의 관계를 파악하여 감정 분류 모듈에서 감정 분류를 수행할 수 있게 되는 효과가 발생된다. According to the Quick Draw Dataset artificial neural network module and style feature extraction module of the drawing style vector generation module according to an embodiment of the present invention, the high resolution style feature can include the features of the low resolution style feature, and the By extracting the style and passing it through the Self-Attention Layer, the relationship between the styles of the object (e.g., house, tree, person) picture is identified, which results in the ability to perform emotion classification in the emotion classification module.

감정 분류 모듈과 관련하여, 도 12는 본 발명의 일실시예에 따른 감정 분류 모듈을 도시한 모식도이다. 도 12에 도시된 바와 같이, 본 발명의 일실시예에 따른 감정 분류 모듈은, 그림 스타일 벡터와 피검사자 그림 특징 벡터를 조합(Concatenate)한 조합 벡터를 입력 데이터로 하고 피검사자의 감정 분류 class(예를 들어, Angry, Nervous, Annoying, Excited, Happy 등) 및 confidence를 포함하는 감정 분류 정보를 출력 데이터로 하는 인공신경망 모듈로 구성될 수 있다. Regarding the emotion classification module, Figure 12 is a schematic diagram showing the emotion classification module according to an embodiment of the present invention. As shown in FIG. 12, the emotion classification module according to an embodiment of the present invention uses a combination vector that combines a picture style vector and a picture feature vector of the test subject as input data and calculates the test subject's emotion classification class (e.g. For example, it may be composed of an artificial neural network module with emotion classification information including (Angry, Nervous, Annoying, Excited, Happy, etc.) and confidence as output data.

감정 분류 모듈의 구체적인 구성과 관련하여, 본 발명의 일실시예에 따른 감정 분류 모듈은 Multi-head Self Attention Layer - FFNN - softmax를 포함하도록 구성될 수 있다. 감정 분류 모듈의 Multi-head Self Attention Layer는 그림 스타일 벡터와 피검사자 그림 특징 벡터를 조합(Concatenate)한 조합 벡터를 입력 데이터로 입력받고 위치 정보를 조합하는 Positional encoding을 수행하며, Positional encoding된 matrix에 병렬적으로 복수개의 Self Attention 연산(예를 들어, scaled dot product attention)을 수행하여 생성된 attention value matrix를 concatenate 하여 어텐션 정보를 생성하는 layer를 의미한다. 감정 분류 모듈의 FFNN(Feed Forward Neural Network)은 Position-wise FFNN을 의미할 수 있으며, Fully-connected FFNN을 의미할 수 있다. 감정 분류 모듈의 FFNN의 입력 데이터는 그림 스타일 벡터와 피검사자 그림 특징 벡터를 조합(Concatenate)한 조합 벡터와 상기 어텐션 정보가 잔차연결(Residual Connection)된 matrix를 층 정규화(layer normalization) 한 값으로 구성될 수 있다. 감정 분류 모듈의 softmax는 FFNN의 출력 matrix가 잔차연결(Residual Connection)된 matrix를 층 정규화(layer normalization) 한 값을 입력 데이터로 하고 감정 분류 정보를 출력 데이터로 하는 활성화 layer를 의미할 수 있다. 이에 따르면, positional encoding에 의해 피검사자 그림 이미지 정보의 각 객체 위치에 대한 특징도 감정 분류에 영향을 주게 되고, Multi-head self attention layer에 의해 병렬로 복수의 어텐션 연산이 수행되게 되므로 다양한 값의 어텐션이 활용되어 보다 정교한 감정 분류가 가능해지는 효과가 발생된다. Regarding the specific configuration of the emotion classification module, the emotion classification module according to an embodiment of the present invention may be configured to include Multi-head Self Attention Layer - FFNN - softmax. The Multi-head Self Attention Layer of the emotion classification module receives a combination vector that concatenates the picture style vector and the test subject picture feature vector as input data, performs positional encoding to combine position information, and performs positional encoding in parallel with the positional encoded matrix. This refers to a layer that generates attention information by concatenating the attention value matrix generated by performing multiple Self Attention operations (e.g., scaled dot product attention). FFNN (Feed Forward Neural Network) of the emotion classification module may mean Position-wise FFNN or Fully-connected FFNN. The input data of the FFNN of the emotion classification module will be composed of a combination vector that concatenates the picture style vector and the test subject picture feature vector, and the layer normalization of the matrix in which the attention information is residually connected. You can. The softmax of the emotion classification module may refer to an activation layer that uses the output matrix of the FFNN as input data and the layer normalization of the residual connection matrix, and the emotion classification information as output data. According to this, the characteristics of the location of each object in the subject's picture image information through positional encoding also affect emotion classification, and multiple attention calculations are performed in parallel by the multi-head self attention layer, so various values of attention are generated. This has the effect of enabling more sophisticated emotion classification.

이때, 피검사자 클라이언트(101)의 객체 인식 모듈에 의해 생성된 객체 박스 정보(객체 class 정보, 객체 class 신뢰도, 객체 좌표 정보 및 객체 디테일 정보 포함) 및 감정 분류 모듈에 의해 생성된 감정 분류 정보는 피검사자 클라이언트(101)의 통신모듈을 통해 검사자 클라이언트(101)로 송신될 수 있고, 검사자 클라이언트(101)의 일구성인 수정 정보 생성 모듈에서는 수신된 객체 박스 정보와 감정 분류 정보에 수정 사항이 있는 경우 검사자의 수정이 반영된 수정 정보를 생성할 수 있다.At this time, the object box information (including object class information, object class reliability, object coordinate information, and object detail information) generated by the object recognition module of the inspected client 101 and the emotion classification information generated by the emotion classification module are transmitted to the inspected client 101. It can be transmitted to the examiner client 101 through the communication module of 101, and in the correction information creation module, which is a component of the examiner client 101, if there is a modification in the received object box information and appraisal classification information, the examiner You can create correction information that reflects the modification.

클라이언트 학습 모듈은, 피검사자 클라이언트(101)가 출력된 피검사자의 감정 분류 정보에 대한 검사자의 수정이 반영된 수정 정보를 검사자 클라이언트(101)를 통해 수신하는 경우, 수정 정보를 ground truth로 하여 피검사자 클라이언트(101)의 객체 인식 모듈과 감정 분류 모듈에 포함된 인공신경망의 파라미터를 업데이트 하도록 객체 인식 모듈과 감정 분류 모듈의 학습 세션을 수행할 수 있다. The client learning module, when the test subject client 101 receives correction information reflecting the tester's correction to the output test subject's emotion classification information through the test subject client 101, uses the correction information as ground truth to update the test subject client 101 ) A learning session of the object recognition module and the emotion classification module can be performed to update the parameters of the artificial neural network included in the object recognition module and the emotion classification module.

클라이언트 학습 모듈의 객체 인식 모듈의 일구성인 객체 박스 생성 인공신경망 모듈의 학습 세션과 관련하여, 도 13은 본 발명의 일실시예에 따른 객체 박스 생성 인공신경망 모듈의 학습 세션을 도시한 모식도이다. 도 13에 도시된 바와 같이, 클라이언트 학습 모듈의 객체 박스 생성 인공신경망 모듈의 학습 세션은 상기 수정 정보 생성 모듈에서 수신된 수정 정보에 객체 박스 정보에 대한 수정이 포함된 경우 수행되도록 구성될 수 있고, 객체 박스 생성 인공신경망 모듈에 피검사자 그림 이미지 정보를 입력 데이터로 입력하고 피검사자 그림 이미지 정보에 포함된 객체를 둘러싸는 bounding box인 객체 박스의 좌표, 높이, 너비, 각도를 포함하는 객체 박스 정보를 출력 데이터로 하며, 출력된 객체 박스 정보와 수정 정보의 수정된 객체 박스 정보(ground truth)의 손실(loss)이 작아지는 방향으로(또는, 유사도가 높아지는 방향으로) 객체 박스 생성 인공신경망 모듈의 파라미터가 업데이트 되도록 구성될 수 있다. In relation to a learning session of the object box creation artificial neural network module, which is a component of the object recognition module of the client learning module, FIG. 13 is a schematic diagram showing a learning session of the object box creation artificial neural network module according to an embodiment of the present invention. As shown in FIG. 13, the learning session of the object box generation artificial neural network module of the client learning module may be configured to be performed when the correction information received from the correction information generation module includes a modification to the object box information, Object box generation Enters the image information of the examinee as input data into the artificial neural network module, and outputs object box information including the coordinates, height, width, and angle of the object box, which is a bounding box surrounding the object included in the image information of the examinee. The parameters of the object box creation artificial neural network module are updated in the direction that the loss of the output object box information and the modified object box information (ground truth) of the correction information decreases (or the similarity increases). It can be configured as follows.

클라이언트 학습 모듈의 감정 분류 모듈의 학습 세션과 관련하여, 도 14는 본 발명의 일실시예에 따른 감정 분류 모듈의 학습 세션을 도시한 모식도이다. 도 14에 도시된 바와 같이, 클라이언트 학습 모듈의 감정 분류 모듈의 학습 세션은 상기 수정 정보 생성 모듈에서 수신된 수정 정보에 감정 분류 class에 대한 수정이 포함된 경우 수행되도록 구성될 수 있고, 감정 분류 모듈에 그림 스타일 벡터와 피검사자 그림 특징 벡터를 조합(Concatenate)한 조합 벡터를 입력 데이터로 하고, 감정 분류 class 및 confidence를 출력 데이터로 하며, 출력된 감정 분류 class와 수정 정보의 수정된 감정 분류 class(ground truth)의 손실(loss)이 작아지는 방향으로((또는, 유사도가 높아지는 방향으로) 감정 분류 모듈의 파라미터가 업데이트 되도록 구성될 수 있다. Regarding the learning session of the emotion classification module of the client learning module, FIG. 14 is a schematic diagram showing a learning session of the emotion classification module according to an embodiment of the present invention. As shown in Figure 14, the learning session of the emotion classification module of the client learning module may be configured to be performed when the correction information received from the correction information generation module includes a modification to the emotion classification class, and the emotion classification module A combination vector that concatenates the picture style vector and the test subject picture feature vector is used as input data, the emotion classification class and confidence are used as output data, and the output emotion classification class and the modified emotion classification class (ground) of the correction information are used as input data. The parameters of the emotion classification module may be updated in a direction where the loss of truth is reduced (or in a direction where the similarity is increased).

파라미터 업로드 모듈은, 클라이언트 학습 모듈에 의한 객체 인식 모듈 및 감정 분류 모듈의 학습 세션 이후, 객체 인식 모듈 및 감정 분류 모듈의 변경된 파라미터를 메인 신경망 서버(200)의 연합 학습 모듈(220)에 업로드하는 모듈이다. 파라미터는, 객체 인식 모듈 및 감정 분류 모듈의 학습 세션 이후 그래디언트(g) 또는 인공신경망의 웨이트(w)를 포함할 수 있다. 파라미터 업로드 모듈의 객체 박스 생성 인공신경망 모듈에 대한 파라미터 업로드는 상기 수정 정보 생성 모듈에서 수신된 수정 정보에 객체 박스 정보에 대한 수정이 포함된 경우에 수행되도록 구성되고, 파라미터 업로드 모듈의 감정 분류 모듈에 대한 파라미터 업로드는 상기 수정 정보 생성 모듈에서 수신된 수정 정보에 감정 분류 class에 대한 수정이 포함된 경우에 수행되도록 구성된다. The parameter upload module is a module that uploads the changed parameters of the object recognition module and the emotion classification module to the joint learning module 220 of the main neural network server 200 after a learning session of the object recognition module and emotion classification module by the client learning module. am. The parameters may include the gradient (g) or the weight (w) of the artificial neural network after the learning session of the object recognition module and the emotion classification module. Parameter upload to the object box creation artificial neural network module of the parameter upload module is configured to be performed when the correction information received from the correction information creation module includes a modification to the object box information, and is sent to the emotion classification module of the parameter upload module. Parameter upload is configured to be performed when the correction information received from the correction information generation module includes a modification to the emotion classification class.

또한, 파라미터 업로드 모듈은, 객체 인식 모듈 및 감정 분류 모듈의 변경된 파라미터에 노이즈(ε)를 적용하여 메인 신경망 서버(200)에 업로드하도록 구성될 수 있다. 예를 들어, 파라미터가 그래디언트(g)인 경우, g+ε로 업로드 되도록 구성될 수 있고, 파라미터가 웨이트(w)인 경우 w+ε로 업로드 되도록 구성될 수 있다. 이때, 노이즈(ε)는 양의 값과 음의 값이 랜덤하게 부여되어 연합 학습 모듈(220)에서의 연합 학습 시 노이즈의 영향이 최소한으로 적용되도록 구성될 수 있다. 이에 따르면, 피검사자 클라이언트(101)에서 파라미터에 노이즈가 적용되어 메인 신경망 서버에 업로드 되므로, 제3자가 파라미터를 취득하더라도 피검사자 그림 이미지 정보의 취득이 불가능한 효과가 발생된다. Additionally, the parameter upload module may be configured to apply noise (ε) to the changed parameters of the object recognition module and the emotion classification module and upload them to the main neural network server 200. For example, if the parameter is a gradient (g), it may be configured to be uploaded as g+ε, and if the parameter is a weight (w), it may be configured to be uploaded as w+ε. At this time, the noise ε may be configured to be randomly assigned positive and negative values so that the influence of noise is minimized during joint learning in the joint learning module 220. According to this, noise is applied to the parameters in the test subject client 101 and uploaded to the main neural network server, so even if a third party acquires the parameters, it is impossible to acquire the picture image information of the test subject.

메인 신경망 다운로드 모듈은, 메인 신경망 서버(200)의 연합 학습 모듈(220)에 의해 기학습된 객체 인식 메인 신경망, 감정 분류 메인 신경망을 다운로드하여 객체 인식 모듈, 감정 분류 모듈의 적어도 일부 네트워크를 치환(교체, 전이)하는 모듈이다. The main neural network download module downloads the object recognition main neural network and emotion classification main neural network already learned by the joint learning module 220 of the main neural network server 200 and replaces at least some networks of the object recognition module and emotion classification module ( It is a module that replaces or transfers.

객체 인식 모듈의 네트워크 다운로드는, 메인 신경망 서버(200)의 메인 신경망 모듈(210)에서 기학습된 객체 인식 메인 신경망을 다운로드 받고, 객체 인식 모듈의 후방 레이어(최후 n개의 layer)를 제외한 나머지를 다운로드 받은 객체 인식 메인 신경망으로 치환(교체, 전이)하도록 구성된다. 이에 따르면, 각 피검사자 클라이언트(101)의 객체 인식 모듈의 신경망을 메인 신경망으로 완전히 교체하지 않으므로, 객체 인식 모듈을 계속적으로 업데이트 하면서도 피검사자의 그림 스타일에 따른 객체 박스의 개인화가 가능해지는 효과가 발생된다. Network download of the object recognition module downloads the object recognition main neural network already learned from the main neural network module 210 of the main neural network server 200, and downloads the rest except the rear layers (last n layers) of the object recognition module. It is configured to replace (replace, transfer) the received object recognition with the main neural network. According to this, since the neural network of the object recognition module of each subject client 101 is not completely replaced with the main neural network, the effect of personalizing the object box according to the drawing style of the subject is possible while continuously updating the object recognition module.

감정 분류 메인 신경망의 네트워크 다운로드는, 메인 신경망 서버(200)의 메인 신경망 모듈(210)에서 기학습된 감정 분류 메인 신경망을 다운로드 받고, 감정 분류 모듈을 다운로드 받은 감정 분류 메인 신경망으로 치환(교체, 전이)하도록 구성된다. Network download of the emotion classification main neural network downloads the previously learned emotion classification main neural network from the main neural network module 210 of the main neural network server 200, and replaces (replaces, transfers) the emotion classification module with the downloaded emotion classification main neural network. ) is configured to.

메인 신경망 서버(200)는, 메인 신경망 모듈(210)과 연합 학습 모듈(220)을 포함할 수 있고, 복수의 피검사자 클라이언트(100)에서 업로드되는 객체 인식 모듈, 감정 분류 모듈의 파라미터를 취합하여 메인 신경망 모듈(210)을 업데이트한 뒤, 기학습된 메인 신경망을 피검사자 클라이언트(100)에 다시 배포하도록 구성되는 서버이다. The main neural network server 200 may include a main neural network module 210 and a joint learning module 220, and collects the parameters of the object recognition module and emotion classification module uploaded from the plurality of client clients 100 to the main neural network server 200. This server is configured to update the neural network module 210 and then redistribute the pre-trained main neural network to the test subject client 100.

메인 신경망 모듈(210)은, 객체 인식 메인 신경망, 감정 분류 메인 신경망을 포함할 수 있으며, 연합 학습 모듈(220)에 의해 특정 그래디언트(g) 또는 특정 웨이트(w)로 파라미터가 업데이트되도록 구성될 수 있다. 객체 인식 메인 신경망은, 객체 인식 모듈에 대응되는 메인 신경망을 의미하고, 감정 분류 메인 신경망은 감정 분류 모듈에 대응되는 메인 신경망을 의미한다. The main neural network module 210 may include an object recognition main neural network and an emotion classification main neural network, and may be configured to update parameters to a specific gradient (g) or a specific weight (w) by the federated learning module 220. there is. The object recognition main neural network refers to the main neural network corresponding to the object recognition module, and the emotion classification main neural network refers to the main neural network corresponding to the emotion classification module.

연합 학습 모듈(220)은, 복수의 피검사자 클라이언트(100)에서 업로드되는 객체 인식 메인 신경망, 감정 분류 메인 신경망의 파라미터를 취합한 뒤, 취합 된 파라미터를 이용하여 메인 신경망 모듈(210)을 업데이트 하도록 구성되는 모듈이다. 이때, 취합된 파라미터를 이용하여 메인 신경망 모듈(210)을 업데이트하는 방법은 아래와 같이 수정 정보 생성 모듈에서 수신된 수정 정보와 수정 전 정보(객체 박스 정보, 감정 분류 class)의 차이인 수정 변화 정보가 파라미터의 가중치로 사용되고, 파라미터와 수정 변화 정보의 곱의 합산을 상기 수정 변화 정보의 합으로 나눔으로써 파라미터가 수정 변화 정보를 기준으로 평균되도록 구성될 수 있다. The joint learning module 220 is configured to collect parameters of the object recognition main neural network and emotion classification main neural network uploaded from a plurality of client clients 100, and then update the main neural network module 210 using the collected parameters. It is a module that At this time, the method of updating the main neural network module 210 using the collected parameters is as follows, where the correction change information is the difference between the correction information received from the correction information generation module and the information before modification (object box information, emotion classification class). It is used as a weight of the parameter, and the parameter may be configured to be averaged based on the modified change information by dividing the sum of the product of the parameter and the modified change information by the sum of the modified change information.

파라미터가 그래디언트(g)인 경우, 연합 학습 모듈(220)에서는 아래의 수학식과 같이 메인 신경망 모듈(210)의 파라미터를 업데이트 하도록 구성될 수 있다. When the parameter is a gradient (g), the federated learning module 220 may be configured to update the parameters of the main neural network module 210 as shown in the equation below.

위 수학식 2에서, w_new는 메인 신경망 모듈(210)의 업데이트 후 웨이트, w_old는 메인 신경망 모듈(210)의 업데이트 이전 웨이트, α는 learning rate, s_n은 피검사자 클라이언트(100) n에서 업로드 된 수정 변화 정보, g_n은 피검사자 클라이언트(100) n에서 업로드 된 그래디언트를 의미하도록 구성될 수 있다. In Equation 2 above, w _new is the weight after the update of the main neural network module 210, w _old is the weight before the update of the main neural network module 210, α is the learning rate, and s _n is the weight uploaded by the test subject client 100 n. The modified change information, g _n , may be configured to mean a gradient uploaded from the inspected client 100 n.

파라미터가 웨이트(w)인 경우, 연합 학습 모듈(220)에서는 아래의 수학식과 같이 메인 신경망 모듈(210)의 파라미터를 업데이트 하도록 구성될 수 있다. When the parameter is a weight (w), the federated learning module 220 may be configured to update the parameters of the main neural network module 210 as shown in the equation below.

위 수학식 3에서, w_new는 메인 신경망 모듈(210)의 업데이트 후 웨이트, s_n은 피검사자 클라이언트(100) n에서 업로드 된 수정 변화 정보, w_n은 피검사자 클라이언트(100) n에서 업로드 된 웨이트를 의미하도록 구성될 수 있다. In Equation 3 above, w _new is the weight after the update of the main neural network module 210, s _n is the correction change information uploaded from the inspected client 100 n, and w _n is the weight uploaded from the inspected client 100 n. It can be configured to mean.

이에 따르면, 메인 신경망 모듈(210)에서의 연합 학습 시 수정 변화 정보가 파라미터의 가중치로 사용됨으로써 미니 배치(mini batch)의 효과가 발생된다. 또한, 메인 신경망 모듈(210)에서의 연합 학습 시 수정 변화 정보가 파라미터의 가중치로 사용됨으로써 네트워크 토폴로지 및 비동기 통신 문제가 저감되는 효과가 발생된다. 또한, 수정 정보와 수정 전 정보의 차이가 큰 경우가 메인 신경망 모듈의 업데이트에 보다 큰 영향력을 갖게 되는 효과가 발생된다. According to this, the correction change information is used as parameter weights during joint learning in the main neural network module 210, thereby generating a mini batch effect. Additionally, during joint learning in the main neural network module 210, the correction change information is used as a parameter weight, thereby reducing network topology and asynchronous communication problems. In addition, when the difference between the modified information and the information before modification is large, the effect is that it has a greater influence on the update of the main neural network module.

이상에서 설명한 바와 같이, 본 발명이 속하는 기술 분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함하는 것으로 해석되어야 한다.As described above, a person skilled in the art to which the present invention pertains will understand that the present invention can be implemented in other specific forms without changing its technical idea or essential features. Therefore, the above-described embodiments should be understood in all respects as illustrative and not restrictive. The scope of the present invention is indicated by the claims described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and the equivalent concept should be construed as being included in the scope of the present invention.

본 명세서 내에 기술된 특징들 및 장점들은 모두를 포함하지 않으며, 특히 많은 추가적인 특징들 및 장점들이 도면들, 명세서, 및 청구항들을 고려하여 당업자에게 명백해질 것이다. 더욱이, 본 명세서에 사용된 언어는 주로 읽기 쉽도록 그리고 교시의 목적으로 선택되었고, 본 발명의 주제를 묘사하거나 제한하기 위해 선택되지 않을 수도 있다는 것을 주의해야 한다.The features and advantages described herein are not all-inclusive, and many additional features and advantages will become apparent to those skilled in the art upon consideration of the drawings, specification, and claims. Moreover, it should be noted that the language used herein has been selected primarily for readability and teaching purposes and may not be selected to describe or limit the subject matter of the invention.

본 발명의 실시예들의 상기한 설명은 예시의 목적으로 제시되었다. 이는 개시된 정확한 형태로 본 발명을 제한하거나, 빠뜨리는 것 없이 만들려고 의도한 것이 아니다. 당업자는 상기한 개시에 비추어 많은 수정 및 변형이 가능하다는 것을 이해할 수 있다.The foregoing description of embodiments of the invention has been presented for purposes of illustration. It is not intended to be exhaustive or to limit the invention to the precise form disclosed. Those skilled in the art will appreciate that many modifications and variations are possible in light of the above disclosure.

그러므로 본 발명의 범위는 상세한 설명에 의해 한정되지 않고, 이를 기반으로 하는 출원의 임의의 청구항들에 의해 한정된다. 따라서, 본 발명의 실시예들의 개시는 예시적인 것이며, 이하의 청구항에 기재된 본 발명의 범위를 제한하는 것은 아니다.Therefore, the scope of the present invention is not limited by the detailed description, but by any claims of the application based thereon. Accordingly, the disclosure of embodiments of the invention is illustrative and does not limit the scope of the invention as set forth in the claims below.

1: 인공지능 기반의 그림심리 분석 장치
100: 피검사자 클라이언트
101: 검사자 클라이언트
200: 메인 신경망 서버
210: 메인 신경망 모듈
220: 연합 학습 모듈1: Artificial intelligence-based picture psychology analysis device
100: Test subject client
101: Inspector client
200: Main neural network server
210: Main neural network module
220: Federated Learning Module

Claims

The test subject drawing image information including a plurality of objects is used as input data, and the plurality of objects included in the test subject drawing image information are extracted, and object box information containing object class information and object coordinate information for each object is generated. an object recognition module including an artificial neural network module that outputs output data;
an object feature vector generation module that receives object image information generated based on the object box information and outputs an object feature vector for the object image information;
a picture style feature vector generation module that receives picture image information of the test subject and outputs a picture style vector for the picture image information of the test subject;
A combination vector of the test subject's picture feature vector and the picture style vector, which is a vector that concatenates the object feature vector for each of the objects, is used as input data, and emotional classification information about the test subject's picture image information is output data. An emotion classification module including an artificial neural network module that outputs; and
Parameters are updated by processing learning sessions of the artificial neural network module included in the object recognition module and the emotion classification module, and the updated parameters are uploaded to the federated learning module, which is a component of the main neural network server. A neural network processing module that downloads a main neural network jointly learned by a plurality of test subject clients from the main neural network module and replaces at least a part of the artificial neural network module included in the object recognition module and the emotion classification module;
Including,
The main neural network server is configured to update the artificial neural network included in the object recognition module and the emotion classification module by integrating the parameters and other parameters uploaded from other test subject clients.
Artificial intelligence-based picture psychological analysis device.

According to paragraph 1,
The object feature vector generation module includes a first Quick Draw Dataset artificial neural network module, which is a CNN-based artificial neural network module that is pre-trained as a Quick Draw Dataset using the object image information as input data and includes a plurality of BottleNecks. , a feature extraction module for extracting an object feature vector, which is a feature map for each object, from the plurality of BottleNecks of the first Quick Draw Dataset artificial neural network module;
Artificial intelligence-based picture psychological analysis device.

According to paragraph 1,
The drawing style feature vector generation module is a CNN-based artificial neural network module that is pre-trained with Quick Draw Dataset and includes a plurality of BottleNecks to extract style features of the subject's drawing image information using the subject's image information as input data. a second Quick Draw Dataset artificial neural network module; and a style feature extraction module for extracting a picture style vector, which is a Style Feature Map for the picture image information of the subject, from the plurality of BottleNecks of the second Quick Draw Dataset artificial neural network module. Constructed to include ;
Artificial intelligence-based picture psychological analysis device.

According to paragraph 1,
The emotion classification module is configured to include a Multi-head Self Attention Layer, FFNN, and softmax,
Artificial intelligence-based picture psychological analysis device.

According to paragraph 1,
The object feature vector generation module includes a first Quick Draw Dataset artificial neural network module, which is a CNN-based artificial neural network module that is pre-trained as a Quick Draw Dataset using the object image information as input data and includes a plurality of BottleNecks. , a feature extraction module for extracting an object feature vector, which is a feature map for each object, from the plurality of BottleNecks of the first Quick Draw Dataset artificial neural network module;
The object feature vector generation module further includes an object segmentation module,
The object segmentation module uses the object image information as input data and activation information about the object image information as output data, and is based on the FCN artificial neural network module, which is a CNN-based artificial neural network module including an FCN layer, and the activation information. Generating a plurality of object segment image information by segmenting the object image information into a plurality of images in the longitudinal direction of the object image information,
The plurality of object segment images are input as input data to the first Quick Draw Dataset artificial neural network module, and the feature extraction module is configured to generate the object feature vector by combining object segment vectors for the plurality of object segment images. felled,
Artificial intelligence-based picture psychological analysis device.

An object recognition module receives picture image information of a test subject including a plurality of objects, extracts a plurality of objects included in the picture image information of the test subject, and includes object class information and object coordinate information for each object. An object recognition step of outputting box information;
An object feature vector generation step in which an object feature vector generation module receives object image information generated based on the object box information and outputs an object feature vector for the object image information;
A picture style feature vector generation step in which a picture style feature vector generation module receives picture image information of the test subject and outputs a picture style vector for the picture image information of the test subject;
The emotion classification module receives a combination vector of the test subject's picture feature vector and the picture style vector, which is a vector that concatenates the object feature vector for each object, and receives emotion classification information for the test subject's picture image information. An emotion classification step that outputs; and
A neural network processing module processes the learning session of the artificial neural network module included in the object recognition module and the emotion classification module to update parameters, and uploads the updated parameters to a federated learning module that is a component of the main neural network server, A neural network processing step of downloading a main neural network jointly learned by a plurality of test subject clients from a main neural network module, which is a component of the main neural network server, and replacing at least a part of the artificial neural network module included in the object recognition module and the emotion classification module;
Including,
The main neural network server is configured to update the artificial neural network included in the object recognition module and the emotion classification module by integrating the parameters and other parameters uploaded from other test subject clients.
Artificial intelligence-based picture psychological analysis method.