WO2024106902A1 - 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치 및 방법 - Google Patents

심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치 및 방법 Download PDF

Info

Publication number
WO2024106902A1
WO2024106902A1 PCT/KR2023/018239 KR2023018239W WO2024106902A1 WO 2024106902 A1 WO2024106902 A1 WO 2024106902A1 KR 2023018239 W KR2023018239 W KR 2023018239W WO 2024106902 A1 WO2024106902 A1 WO 2024106902A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
prediction
personality
data
personality type
Prior art date
Application number
PCT/KR2023/018239
Other languages
English (en)
French (fr)
Inventor
김지희
김경열
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Publication of WO2024106902A1 publication Critical patent/WO2024106902A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/167—Personality evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a personality type prediction device and method using image data for psychological testing, which uses image data for psychological testing based on pictures expressed in the Wartegg-Zeichentest (WZT) using various machine learning models. It is about a technology that predicts the personality type of a test subject using image data about pictures drawn by a psychological test subject through artificial neural network-based machine learning.
  • WZT Wartegg-Zeichentest
  • Adolescents' access to higher education can be important for their development as they can improve their critical thinking skills for personal growth.
  • diagnostic tools used in MBTI personality types, but most of the diagnostic tools are self-report questionnaires.
  • a projection test is conducted, and the projective test can make up for the shortcomings of self-report questionnaires in that when the test subject projects a picture, similar patterns exist in certain areas depending on the test subject's tendency.
  • Automatic personality prediction utilizes machine learning using artificial neural networks, and in machine learning, there are various methods for automation such as CNN and CNN ensemble.
  • the present invention is an artificial neural network-based machine learning of image data for psychological tests based on pictures expressed by the Wartegg-Zeichentest (WZT) using various machine learning models, thereby providing image data for pictures drawn by psychological test subjects.
  • WZT Wartegg-Zeichentest
  • the purpose is to predict the personality type of the test subject using .
  • the present invention applies deep learning such as CNN (convolution neural network) Ensemble and GAN (Generative Adversarial Network) techniques and CNN to image data about pictures shown in the subject's drawing test, and MBTI (Myers-Briggs-Type The purpose is to improve the shortcomings of the time- and cost-consuming process involving experts by predicting various personality types of indicators.
  • CNN convolution neural network
  • GAN Geneative Adversarial Network
  • the present invention automatically predicts various personality types of MBTI by learning image data for psychological testing based on pictures expressed by the Waltegg picture test using an artificial intelligence machine learning model, and uses a GAN model to ensure balance in the image data.
  • the purpose is to increase the prediction accuracy of personality type classification by applying binary classification.
  • the purpose of the present invention is to secure reliability and efficiency in determining an individual's personality type by artificial intelligence machine learning not only text but also complex patterns of images to which projection methods can be applied.
  • a personality type prediction device using image data for a psychological test includes a data collection unit that collects image data for a psychological test based on pictures for a psychological test drawn by a plurality of subjects, a psychological test standard based on the pictures, and A data preprocessor that processes the collected image data into learning data based on personal information, the number of data of the image data, and image reinforcement through a style transfer function, and a softmax function for the learning data , calculate at least one learning result value by applying at least one deep learning learning function among an image augmentation function, a data augmentation function, a random sampling function, and a weight adjustment function, and calculate the learning result value based on the ensemble function.
  • An artificial intelligence processing unit that learns a plurality of personality types by adding up at least one calculated learning result value and classifying it through voting, and a prediction target image among the collected image data based on the learned plurality of personality types It may include a personality type prediction unit that predicts the personality type for the data.
  • the data pre-processing unit may perform image enhancement by combining noise images with respect to blank spaces where features of the pattern are not located while maintaining the features of the pattern in the image data according to psychological testing standards based on the picture.
  • the personality type prediction unit generates a plurality of binary classification prediction models for the plurality of learned personality types, applies a personality analysis order to the generated plurality of binary classification prediction models, and according to the applied personality analysis order, the personality type prediction unit generates a plurality of binary classification prediction models for the learned personality types. Personality type can be predicted.
  • the personality type prediction unit includes an S/N prediction model, S-T/F prediction model, N-T/F prediction model, ST-J/P prediction model, and SF-J/P prediction model included in the generated plurality of binary classification prediction models.
  • NT-J/P prediction model, NF-J/P prediction model, SFJ-E/I prediction model, SFP-E/I prediction model, STJ-E/I prediction model, STP-E/I model, NFJ- Binary classification prediction models selected from the E/I prediction model, NFP-E/I prediction model, NTJ-E/I prediction model, and NTP-E/I prediction model are arranged according to the personality analysis order, and the placed binary classification
  • the personality type can be predicted through prediction models.
  • the data collection unit may collect image data for the psychological test in which a specific pattern exists according to the tendencies of each of the plurality of subjects, and a universal and similar pattern exists in a specific part of the picture for the psychological test.
  • the data pre-processing unit removes image data that does not contain a pattern according to the psychological test criteria based on the picture from among the image data, removes image data that does not contain the personal information, and removes image data that does not contain the personal information, and removes image data that does not contain the personal information.
  • the image data can be processed as the learning data by applying over sampling.
  • the personality type prediction method using image data for psychological testing includes the steps of collecting image data for psychological testing based on pictures for psychological testing drawn by a plurality of subjects in a data collection unit, and a data preprocessing unit. , processing the collected image data as learning data based on picture-based psychological test standards, personal information, data number of the image data, and image reinforcement through a style transfer function, in an artificial intelligence processing unit, Calculate at least one learning result value by applying at least one deep learning learning function among a softmax function, an image augmentation function, a data augmentation function, a random sampling function, and a weight adjustment function to the learning data.
  • the personality type for the prediction target image data among the collected image data can be predicted.
  • the step of processing the collected image data as learning data includes maintaining the characteristics of the pattern according to the psychological test standards based on the picture in the image data and combining the noise image with respect to the blank space where the characteristics of the pattern are not located. It may include performing image enhancement.
  • the step of predicting a personality type for prediction target image data among the collected image data based on the learned plurality of personality types includes generating a plurality of binary classification prediction models for the learned plurality of personality types, Applying a personality analysis order to the generated plurality of binary classification prediction models may include predicting the personality type according to the applied personality analysis order.
  • the personality type prediction unit is included in the generated plurality of binary classification prediction models: S/N prediction model, S-T/F prediction model, N-T/F prediction model, ST-J/P prediction model, SF-J/ P prediction model, NT-J/P prediction model, NF-J/P prediction model, SFJ-E/I prediction model, SFP-E/I prediction model, STJ-E/I prediction model, STP-E/I model , binary classification prediction models selected from the NFJ-E/I prediction model, NFP-E/I prediction model, NTJ-E/I prediction model, and NTP-E/I prediction model are arranged according to the personality analysis order, and the arrangement
  • the personality type can be predicted through binary classification prediction models.
  • the present invention is an artificial neural network-based machine learning of image data for psychological tests based on pictures expressed by the Wartegg-Zeichentest (WZT) using various machine learning models, thereby providing image data for pictures drawn by psychological test subjects. You can use to predict the personality type of the test subject.
  • WZT Wartegg-Zeichentest
  • the present invention applies deep learning such as CNN (convolution neural network) Ensemble and GAN (Generative Adversarial Network) techniques and CNN to image data about pictures shown in the subject's drawing test, and MBTI (Myers-Briggs-Type By predicting various personality types of indicators, the shortcomings of the time- and cost-consuming process involving experts can be improved.
  • CNN convolution neural network
  • GAN Geneative Adversarial Network
  • the present invention automatically predicts various personality types of MBTI by learning image data for psychological testing based on pictures expressed by the Waltegg picture test using an artificial intelligence machine learning model, and uses a GAN model to ensure balance in the image data.
  • binary classification can also be applied to increase the prediction accuracy of personality type classification.
  • the present invention can secure reliability and efficiency in determining an individual's personality type by artificial intelligence machine learning not only text but also complex patterns of images to which projection methods can be applied.
  • FIG. 1 is a diagram illustrating a personality type prediction device using image data for psychological testing according to an embodiment of the present invention.
  • Figure 2 is a diagram illustrating learning of a plurality of personality types in a personality type prediction device using image data for psychological testing according to an embodiment of the present invention.
  • Figure 3 is a diagram illustrating image enhancement through a style transfer function in a personality type prediction device using image data for psychological testing according to an embodiment of the present invention.
  • FIGS. 4 and 5 are diagrams illustrating the use of a binary classification model in a personality type prediction device using image data for psychological testing according to an embodiment of the present invention.
  • Figure 6 is a diagram illustrating a personality type prediction method using image data for psychological testing according to an embodiment of the present invention.
  • Figure 7 is a diagram illustrating the performance evaluation results of a personality type prediction device using image data for psychological testing according to an embodiment of the present invention.
  • Singular expressions may include plural expressions, unless the context clearly indicates otherwise.
  • a component e.g. a first
  • another component e.g. a second
  • the component is connected to the other component. It may be connected directly to a component or may be connected through another component (e.g., a third component).
  • the expression “a device configured to” may mean that the device is “capable of” working with other devices or components.
  • processor configured (or set) to perform A, B, and C refers to a processor dedicated to performing the operations (e.g., an embedded processor), or by executing one or more software programs stored on a memory device.
  • processor may refer to a general-purpose processor (e.g., CPU or application processor) capable of performing the corresponding operations.
  • Terms such as '..unit' and '..unit' used hereinafter refer to a unit that processes at least one function or operation, and may be implemented as hardware, software, or a combination of hardware and software.
  • FIG. 1 is a diagram illustrating a personality type prediction device using image data for psychological testing according to an embodiment of the present invention.
  • FIG. 1 illustrates the components of a personality type prediction device using image data for psychological testing according to an embodiment of the present invention.
  • a personality type prediction device using image data for psychological testing is referred to as a personality type prediction device.
  • the personality type prediction device 100 includes a data collection unit 110, a data preprocessing unit 120, an artificial intelligence processing unit 130, and a personality type prediction unit 140. Includes.
  • the data collection unit 110 collects image data for psychological testing drawn by a plurality of subjects.
  • the plurality of subjects are people whose personality type is predicted and who draw pictures for a psychological test to be provided as learning data for performing deep learning related to personality type prediction.
  • the plurality of subjects may be adolescents.
  • a psychological test may be a psychological test using pictures drawn according to the Wartegg-Zeichentest picture test criteria.
  • the data collection unit 110 collects image data for psychological testing in which a specific pattern exists according to the tendencies of each of the plurality of subjects, and a universal and similar pattern exists in a specific part of the picture for psychological testing. can do.
  • the pictures drawn by multiple subjects may be pictures drawn according to the standards of the Wartegg-Zeichentest drawing test.
  • the Waltegg picture test presents eight pictures, and has the advantage of not being conscious of the test because it contains elements of play, and the test results can help evaluate adolescent personality types.
  • the data pre-processing unit 120 of the present invention converts the collected image data into learning data based on picture-based psychological test standards, personal information, data number of the image data, and image reinforcement through a style transfer function. It can be handled.
  • the data pre-processing unit 120 removes image data that does not contain patterns according to picture-based psychological testing standards among image data, removes image data that does not contain personal information, and adjusts the number of image data to the number of images. Accordingly, over sampling can be applied to process image data as learning data.
  • image data that does not contain a pattern according to psychological testing standards may correspond to an undetermined band (U-band).
  • U-band undetermined band
  • the data preprocessor 120 maintains the characteristics of the pattern according to the picture-based psychological test standards in the image data and strengthens the image by combining the noise image with respect to the margin where the pattern feature is not located. It can be done.
  • the data pre-processing unit 120 uses the style transformation function of GAN to strengthen the image by combining noise with respect to the margins without transforming the pattern according to psychological test standards among the image data. can be processed as learning data.
  • the artificial intelligence processing unit 130 performs at least one of a softmax function, an image augmentation function, a data augmentation function, a random sampling function, and a weight adjustment function on the training data. At least one learning result value is calculated by applying a running learning function, and at least one learning result value calculated based on the ensemble function is summed and classified through voting to learn multiple personality types. can do.
  • the artificial intelligence processing unit 130 can learn multiple personality types using a CNN model and a CNN ensemble model.
  • multiple personality types can be determined based on either the Myers-Briggs Type Indicator (MBTI) or the Murphy-Meisgeir Type Indicator for Children (MMTIC), preferably one of the 16 personality types based on the MBTI.
  • MBTI Myers-Briggs Type Indicator
  • MMTIC Murphy-Meisgeir Type Indicator for Children
  • MBTI is based on a dichotomy of four dimensions and takes into account the undecided zone, which is a band close to the middle where psychological preferences are not yet developed, and includes attributes about one's attitude, attributes of how one processes information, attributes of how one makes decisions, and one's self. Classify the properties of how to present it to the outside.
  • ISTJ There are a total of 16 personality types based on MBTI, and they are classified as ISTJ, ISFJ, INFJ, INTJ, ISTP, ISFP, INFP, INTP, ESTP, ESFP, ENFP, ENTP, ESTJ, ESFJ, ENFJ, and ENTJ.
  • the artificial intelligence processing unit 130 performs deep learning based on CNN (Convolution Neural Network) and improves performance using CNN ensemble.
  • CNN Convolution Neural Network
  • the artificial intelligence processing unit 130 multi-classifies the original data set based on CNN using a soft max function, and combines the original data set and image multiplication based on CNN using an image multiplication function. Multiple classification.
  • the artificial intelligence processing unit 130 performs multi-classification by combining the original data set and random sampling data based on CNN using a random sampling function, and combines the original data set and random sampling data based on CNN using a weight adjustment function and then weights the original data set and random sampling data. Apply adjustments to perform multiple classifications.
  • the artificial intelligence processing unit 130 can sum up the result values derived using each function based on the CNN ensemble based on the ensemble function, and perform voting on the result values to perform multiple classification.
  • the personality type prediction unit 140 predicts target image data among the image data collected by the data collection unit 110 based on a plurality of personality types learned by the artificial intelligence processing unit 130. You can predict your personality type.
  • the personality type prediction unit 140 generates a plurality of binary classification prediction models for the plurality of learned personality types, applies a personality analysis order to the generated plurality of binary classification prediction models, and applies the applied personality analysis order. According to this, personality type can be predicted.
  • the personality type prediction unit 140 includes an S/N prediction model, S-T/F prediction model, N-T/F prediction model, and ST-J/P included in the generated plurality of binary classification prediction models.
  • the personality type prediction unit 140 may provide prediction results for personality type through binary classification prediction models, as described in FIGS. 4 and 5 .
  • the personality type prediction unit 140 predicts the personality type of the person to be predicted as ISTJ, ISFJ, INFJ, INTJ, ISTP, ISFP, INFP, INTP, ESTP, ESFP, ENFP, ENTP, ESTJ, ESFJ, ENFJ, and It can be predicted as either ENTJ.
  • the personality type prediction device 100 may use MMTIC as the personality type to prevent errors by assigning a score close to the median (cut-point) to a clear type in consideration of adolescents whose psychological preferences are still developing.
  • the present invention uses various machine learning models to machine learn image data for psychological tests based on pictures expressed by the Wartegg-Zeichentest (WZT) using an artificial neural network, thereby providing information on pictures drawn by psychological test subjects.
  • the personality type of the test subject can be predicted using image data.
  • Figure 2 is a diagram illustrating learning of a plurality of personality types in a personality type prediction device using image data for psychological testing according to an embodiment of the present invention.
  • Figure 2 illustrates a procedure for learning a plurality of personality types in a personality type prediction device using image data for psychological testing according to an embodiment of the present invention.
  • FIG. 2 the procedure for learning a plurality of personality types by a personality type prediction device using image data for psychological testing according to an embodiment of the present invention is illustrated step by step.
  • personality type learning method it will be explained in terms of personality type learning method.
  • the personality type learning method generates learning data by performing preprocessing on image data for psychological testing.
  • the personality type learning method generates learning data by expanding the data into an original image for psychological test image data, a random sampling image based on a random sampling function, and a data augmentation image based on a data augmentation function.
  • the personality type learning method performs image augmentation using a style transformation function in GAN and generates learning data by expanding the data with the image-enhanced image.
  • step S202 the personality type learning method learns training data through deep learning.
  • step S203 the personality type learning method calculates class weights by applying a weight function to the learned data.
  • the personality type learning method selects a prediction model for classifying the MBTI personality type from among a plurality of models based on learned data and a model to which class weights are applied to the plurality of models.
  • step S205 the personality type learning method adds up the at least one learning result value calculated based on an ensemble function and classifies it through voting.
  • step S206 the learning and classification results of the collected image data are evaluated based on the learned plurality of personality types.
  • the personality type learning method utilizes a CNN ensemble through steps S201 to S206, repeats learning and evaluation to learn the original image, random sampling, data augmentation, and class weight prediction model, and then makes predictions.
  • the procedure for selecting a prediction model is performed by evaluating model performance.
  • Random sampling is a sampling method that makes the elements of the population equally likely to be selected as a sample, and random sampling has the advantage of being relatively easy to analyze data because the classification error is small.
  • Personality type learning methods can cause bias and overfitting problems when the given data is limited, but these problems are solved by using data augmentation to expand the data set that can be learned.
  • Class weighting is a method of finding the desired correct answer by giving an initial value of the weight and learning to optimize it by changing the value.
  • Figure 3 is a diagram illustrating image enhancement through a style transfer function in a personality type prediction device using image data for psychological testing according to an embodiment of the present invention.
  • Figure 3 illustrates a procedure for enhancing an image through a style transformation function in a personality type prediction device using image data for psychological testing according to an embodiment of the present invention.
  • the personality type prediction device 300 using image data for psychological testing includes image data 301 based on an image drawn by a psychological test subject and based on an image having a pattern.
  • the data pre-processing unit 310 may apply a style transformation function to the image data 302 to output image-enhanced image data 311.
  • Image classification performance shows various results depending on the trained image, but reinforcing various images while maintaining the characteristics of the image can be a way to prepare for performance degradation.
  • GAN's style transformation function can be used to enhance the image while maintaining the characteristics of the picture drawn by the psychological test subject.
  • the style transformation function which is one of the GAN methodologies, is applied, there is no transformation in the image created by the psychological test subject, and by combining noise using GAN in the margin and patterning it, the margin is converted into noise. It has a learning effect.
  • FIGS. 4 and 5 are diagrams illustrating the use of a binary classification model in a personality type prediction device using image data for psychological testing according to an embodiment of the present invention.
  • Figure 4 shows that the personality type prediction device using image data for psychological testing according to an embodiment of the present invention preprocesses the image data for psychological testing into learning data, and then transforms the data sets of the learning data into E-I, S-N, T-F, and J-P.
  • An example is illustrated in which four binary classification prediction models are created and the four prediction values are combined to increase the accuracy of personality type prediction.
  • the personality type prediction device 400 using image data for psychological testing includes a plurality of binary classification prediction models, and predicts binary classification when image data for psychological testing is input.
  • the personality type of the psychological test subject is predicted through the model.
  • the personality type prediction device 400 using image data for psychological testing uses prediction target image data 410 based on a picture drawn by a psychological test subject directly into an E/I prediction model 420, an S/N prediction model ( 421), T/F prediction model (422), and J/P prediction model (423).
  • the personality type prediction device 400 using image data for psychological testing includes an E/I prediction model 420, an S/N prediction model 421, a T/F prediction model 422, and E, N, F, and P are output from each of the J/P prediction models (423), and finally, the prediction result (430) that predicts the personality type of the psychological test subject as ENFP is output.
  • the personality type prediction device 400 using image data for psychological testing may output the final prediction result 430 by combining MBTI prediction results sequentially predicted from the binary classification prediction model determined based on FIG. 3. .
  • Figure 5 shows that a personality type prediction device using image data for a psychological test according to an embodiment of the present invention preprocesses the image data for a psychological test into learning data, and then creates a data set of the learning data.
  • An example is illustrated in which a binary classification prediction model is created, the generated binary classification prediction model is placed according to the MBTI personality analysis order, and the output prediction values are combined to increase the accuracy of personality type prediction.
  • the personality type prediction device 500 using image data for psychological testing includes prediction target image data based on a picture drawn by a psychological test subject. (510) is input into the S/N prediction model (520).
  • the S/N prediction model 520 selects and outputs S (530) among S and N, and proceeds with the next input to the S-T/F prediction model 521.
  • the S-T/F prediction model 521 selects and outputs SF 531 among SF and ST, and then proceeds to the next input to the SF-J/P prediction model 524.
  • the SF-J/P prediction model 524 selects and outputs the SFP 532 among SFJ and SFP, and then proceeds to the next input to the SFP-E/I prediction model 526.
  • the SFP-E/I prediction model 526 may output ENFP 533 as the final prediction result.
  • a binary classification prediction model must be created, and a total of 15 prediction models can be created.
  • the prediction models are S/N prediction model, S-T/F prediction model, N-T/F prediction model, ST-J/P prediction model, SF-J/P prediction model, NT-J/P prediction model, NF -J/P prediction model, SFJ-E/I prediction model, SFP-E/I prediction model, STJ-E/I model, STP-E/I prediction model, NFJ-E/I prediction model, NFP-E/ It may include an I prediction model, NTJ-E/I prediction model, and NTP-E/I prediction model.
  • Figure 6 is a diagram illustrating a personality type prediction method using image data for psychological testing according to an embodiment of the present invention.
  • Figure 6 illustrates a procedure in which the personality type prediction method using image data for psychological testing according to an embodiment of the present invention learns personality type classification for image data and predicts personality type based on the learning.
  • the personality type prediction method using image data for psychological testing is referred to as the personality type prediction method.
  • step 601 the personality type prediction method according to an embodiment of the present invention collects image data for psychological testing.
  • the personality type prediction method is based on the existence of a specific pattern in the pictures drawn by a plurality of subjects according to the tendencies of each of the plurality of subjects, so that a universal and similar pattern exists in a specific part of the picture for psychological testing.
  • Image data for psychological testing can be collected.
  • step 602 the personality type prediction method according to an embodiment of the present invention processes image data as learning data.
  • the personality type prediction method can process the collected image data as learning data based on picture-based psychological test criteria, personal information, the number of data in the image data, and image reinforcement through a style transfer function. there is.
  • the personality type prediction method removes image data that does not contain patterns according to picture-based psychological testing standards, removes image data that does not contain personal information, and according to the number of image data. Apply over sampling.
  • the personality type prediction method maintains the pattern characteristics according to the picture-based psychological test standards in the image data and performs image reinforcement by combining noise images for the margins where the pattern characteristics are not located.
  • the image data is used as learning data. It can be handled.
  • step 603 the personality type prediction method according to an embodiment of the present invention learns a plurality of personality types by performing deep learning on the training data.
  • the personality type prediction method applies at least one deep learning learning function among a softmax function, an image augmentation function, a data augmentation function, a random sampling function, and a weight adjustment function to the learning data.
  • a plurality of personality types can be learned by calculating a learning result value, summing the calculated at least one learning result value based on an ensemble function, and classifying it through voting.
  • step 604 the personality type prediction method according to an embodiment of the present invention predicts the personality type for the image data to be predicted based on the plurality of personality types learned in step 603.
  • the personality type prediction method determines the prediction target image data as the analysis target among the image data collected in step 601 based on the plurality of personality types learned in step 603, and determines the personality type for the determined analysis target. It is predictable.
  • the present invention applies deep learning such as CNN (convolution neural network) Ensemble, GAN (Generative Adversarial Network) techniques, and CNN to image data for pictures shown in the subject's drawing test, and performs MBTI (Myers-Briggs) By predicting various personality types of -Type Indicator, the shortcomings of the time and cost process involving experts can be improved.
  • CNN convolution neural network
  • GAN Geneative Adversarial Network
  • the present invention automatically predicts various personality types of MBTI by learning image data for psychological testing based on pictures expressed by the Wartegg-Zeichentest (WZT) using an artificial intelligence machine learning model, and the GAN model While securing the balance of image data, binary classification can also be applied to increase the prediction accuracy of personality type classification.
  • WZT Wartegg-Zeichentest
  • Figure 7 is a diagram illustrating the performance evaluation results of a personality type prediction device using image data for psychological testing according to an embodiment of the present invention.
  • Figure 7 illustrates the distribution and frequency of 16 personality types of a plurality of subjects predicted by a personality type prediction device using image data for psychological testing according to an embodiment of the present invention.
  • the graph 700 shows that the 16 personality type data are uneven and biased, and the unbalanced distribution of personality types in the dataset and the non-standardized psychological test image data are not consistent with the work of the present invention.
  • the results predicted by the personality type prediction device using image data for psychological testing according to the embodiment will be explained based on the data below.
  • the CNN ensemble according to one embodiment of the present invention classified 8 personality types with an average accuracy of 17.2% when using the CNN ensemble as a random sampling, data augmentation, and class weight learning model.
  • the highest value for ESFP was 42.9% accuracy.
  • the lowest value for ENTP is Accuracy of 3.1%.
  • Binary classification using a binary classification prediction model according to an embodiment of the present invention was used as a random sampling, data augmentation, and class weight learning model.
  • E/I, S/N/ T/F, and J/P binary classification showed average accuracies of 61.4%, 64.2%, 62.8%, and 68.6%, respectively.
  • the final MBTI accuracy by combining the predicted values from 4 models using a CNN ensemble was 18.4%, and 9 personality types were classified.
  • the binary classification prediction model using the MBTI analysis order was created so that the MBTI analysis order starts from S/N and predictions can be made in the order of T-F, J-P, and E-I.
  • the binary classification prediction model using the MBTI analysis sequence can classify 8 personality types with an accuracy of 22.5%.
  • the eight personality types include ESFP, ESFJ, ENFP, ISFJ, ISTP, ESTP, ESTJ, and ISFP.
  • the nine personality types may include ESFP, ESFJ, ENFP, ESTP, ESTJ, ENTJ, ENTP, ISTP, and ISFJ.
  • ENTJ was newly predicted at 18.8% and ENTP at 3.6%, making it possible to predict various personality types.
  • a personality type prediction device using image data for psychological testing is a MBTI with high accuracy by complexly utilizing a convolution neural network (CNN) ensemble, a generative adversarial network (GAN), and a binary classification model. It can provide results predicting personality type.
  • CNN convolution neural network
  • GAN generative adversarial network
  • devices and components described in embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general-purpose or special-purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • a processing device may execute an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Psychiatry (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Educational Technology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치 및 방법에 관한 것으로, 보다 구체적으로, 발테그 그림검사(Wartegg-Zeichentest, WZT)로 표현된 그림에 기반한 심리 검사용 이미지 데이터를 다양한 기계 학습 모델을 이용하여 인공 신경망 기반 기계 학습함에 따라 심리 검사 대상자가 그린 그림에 대한 이미지 데이터를 이용하여 검사 대상자의 성격유형을 예측하는 장치 및 방법에 관한 것이다.

Description

심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치 및 방법
본 발명은 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치 및 방법에 관한 것으로, 발테그 그림검사(Wartegg-Zeichentest, WZT)로 표현된 그림에 기반한 심리 검사용 이미지 데이터를 다양한 기계 학습 모델을 이용하여 인공 신경망 기반 기계 학습함에 따라 심리 검사 대상자가 그린 그림에 대한 이미지 데이터를 이용하여 검사 대상자의 성격유형을 예측하는 기술에 관한 것이다.
청소년이 고등 교육을 받는 것은 개인적인 성장을 위해 비판적인 사고 능력을 향상시킬 수 있어서 학생들의 발전에 중요할 수 있다.
학생들은 교육과정에서 점점 더 어려운 복잡한 상황에 노출되고, 학습 과정에서 인지적 복잡성이 증가할 수 있다.
학생이 MBTI 성격유형을 통하여 자신의 성격 유형을 알게 되면 상호작용, 의사 결정 선택, 자신의 강점과 한계를 인식하고 다양한 성격 유형의 사람 간의 차이점을 인식하는데 도움이 된다.
MBTI 성격유형에서 사용되는 진단도구는 여러 가지가 사용되고 있지만, 진단도구의 대부분은 자기 보고형인 설문지로 되어 있다.
자기 보고형인 설문지의 단점은 자기방어와 불성실한 응답으로 인하여 정확도가 떨어져서 유용한 정보를 얻는데 한계점이 존재한다.
이러한 문제점을 보완하기 위해서 투사검사를 실시하고, 투사검사는 검사 대상자가 그림을 투사하면 성향에 따라 특정 부분에서 유사한 패턴이 존재하는 점에서 자기 보고형 설문지의 단점을 보완할 수 있다.
자동 성격 예측은 자연어 처리 및 사회 과학 커뮤니티에서 많은 관심을 받고 있으나, 성격유형 평가를 위한 설문조사와 투사법은 평가하기 위해 자격을 갖춘 전문가를 포함하기 때문에 결과가 나오기 까지 빠르지 않고, 많은 비용이 드는 비실용적이다.
자동 성격 예측은 인공 신경망을 사용하는 기계 학습을 활용하고, 기계 학습에는 CNN, CNN 앙상블(ensemble) 등 자동화를 위한 다양한 방법이 존재한다.
본 발명은 발테그 그림검사(Wartegg-Zeichentest, WZT)로 표현된 그림에 기반한 심리 검사용 이미지 데이터를 다양한 기계 학습 모델을 이용하여 인공 신경망 기반 기계 학습함에 따라 심리 검사 대상자가 그린 그림에 대한 이미지 데이터를 이용하여 검사 대상자의 성격유형을 예측하는 것을 목적으로 한다.
본 발명은 대상자의 그림검사로 나타난 그림에 대한 이미지 데이터에 대하여 CNN(convolution neural network) 앙상블(Ensemble)과 GAN(Generative Adversarial Network) 기법 및 CNN과 같은 딥러닝을 적용하여 MBTI(Myers-Briggs-Type　Indicator)의 다양한 성격 유형을 예측함에 따라 전문가를 포함하는 시간과 비용의 프로세스에 대한 단점을 개선하는 것을 목적으로 한다.
본 발명은 발테그 그림검사로 표현된 그림에 기반한 심리 검사용 이미지 데이터를 인공 지능 기계 학습 모델 이용하여 학습하여 MBTI의 다양한 성격 유형을 자동으로 예측하되, GAN 모델을 사용하여 이미지 데이터의 균형성을 확보하되, 이진 분류도 적용하여 성격 유형 분류의 예측 정확도를 증가시키는 것을 목적으로 한다.
본 발명은 텍스트 뿐만 아니라 투사법을 적용할 수 있는 이미지의 복잡한 패턴도 인공 지능 기계 학습하여 개인의 성격 유형을 판단함에 있어서 신뢰성과 효율성을 확보하는 것을 목적으로 한다.
본 발명의 일실시예에 따르면 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치는 복수의 대상자가 그린 심리 검사용 그림에 기반한 심리 검사용 이미지 데이터를 수집하는 데이터 수집부, 그림에 기반한 심리 검사 기준과 신상 정보 및 상기 이미지 데이터의 데이터 수 그리고 스타일 변형(style transfer) 함수를 통한 이미지 보강에 기반하여 상기 수집된 이미지 데이터를 학습 데이터로 처리하는 데이터 전처리부, 상기 학습 데이터에 대하여 소프트 맥스(softmax) 함수, 이미지 증식 함수, 데이터 증강(data augmentation) 함수, 랜덤 샘플링 함수 및 가중치 조절 함수 중 적어도 하나의 딥러닝 학습 함수를 적용하여 적어도 하나의 학습 결과 값을 산출하고, 앙상블(Ensemble) 함수에 기반하여 상기 산출된 적어도 하나의 학습 결과 값을 합산하여 보팅(voting)을 통해 분류함에 따라 복수의 성격 유형을 학습하는 인공지능 처리부 및 상기 학습된 복수의 성격 유형에 기반하여 상기 수집된 이미지 데이터 중 예측 대상 이미지 데이터에 대한 성격 유형을 예측하는 성격 유형 예측부를 포함할 수 있다.
상기 데이터 전처리부는 상기 이미지 데이터에서 상기 그림에 기반한 심리 검사 기준에 따른 패턴의 특징을 유지하면서 상기 패턴의 특징이 위치하지 않는 여백에 대하여 노이즈 이미지를 결합하여 상기 이미지 보강을 수행할 수 있다.
상기 성격 유형 예측부는 상기 학습된 복수의 성격 유형에 대하여 복수의 이진분류 예측모델을 생성하고, 상기 생성된 복수의 이진 분류 예측 모델에 대하여 성격 분석 순서를 적용하며, 상기 적용된 성격 분석 순서에 따라 상기 성격 유형을 예측할 수 있다.
상기 성격 유형 예측부는 상기 생성된 복수의 이진 분류 예측 모델에 포함되는 S/N 예측 모델, S-T/F 예측 모델, N-T/F 예측 모델, ST-J/P 예측 모델, SF-J/P 예측 모델, NT-J/P 예측 모델, NF-J/P 예측 모델, SFJ-E/I 예측 모델, SFP-E/I 예측 모델, STJ-E/I 예측 모델, STP-E/I 모델, NFJ-E/I 예측 모델, NFP-E/I 예측 모델, NTJ-E/I 예측 모델, NTP-E/I 예측 모델 중에서 선택된 이진 분류 예측 모델들을 상기 성격 분석 순서에 따라 배치하고, 상기 배치된 이진 분류 예측 모델들을 통해 상기 성격 유형을 예측할 수 있다.
상기 데이터 수집부는 상기 복수의 대상자 각각의 성향에 따라 특정한 패턴이 존재하여 상기 심리 검사용 그림의 특정 부분에서는 보편적이고 유사한 패턴이 존재하는 상기 심리 검사용 이미지 데이터를 수집할 수 있다.
상기 데이터 전처리부는 상기 이미지 데이터 중 상기 그림에 기반한 심리 검사 기준에 따른 패턴을 포함하지 않은 이미지 데이터를 제거하고, 상기 신상 정보가 포함되지 않은 이미지 데이터를 제거하며, 상기 이미지 데이터의 데이터 수에 따라 오버 샘플링(over sampling)을 적용하여 상기 이미지 데이터를 상기 학습 데이터로 처리할 수 있다.
본 발명의 일실시예에 다르면 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 방법은 데이터 수집부에서, 복수의 대상자가 그린 심리 검사용 그림에 기반한 심리 검사용 이미지 데이터를 수집하는 단계, 데이터 전처리부에서, 그림에 기반한 심리 검사 기준과 신상 정보 및 상기 이미지 데이터의 데이터 수 그리고 스타일 변형(style transfer) 함수를 통한 이미지 보강에 기반하여 상기 수집된 이미지 데이터를 학습 데이터로 처리하는 단계, 인공지능 처리부에서, 상기 학습 데이터에 대하여 소프트 맥스(softmax) 함수, 이미지 증식 함수, 데이터 증강(data augmentation) 함수, 랜덤 샘플링 함수 및 가중치 조절 함수 중 적어도 하나의 딥러닝 학습 함수를 적용하여 적어도 하나의 학습 결과 값을 산출하고, 앙상블(Ensemble) 함수에 기반하여 상기 산출된 적어도 하나의 학습 결과 값을 합산하여 보팅(voting)을 통해 분류함에 따라 복수의 성격 유형을 학습하는 단계 및 성격 유형 예측부에서, 상기 학습된 복수의 성격 유형에 기반하여 상기 수집된 이미지 데이터 중 예측 대상 이미지 데이터에 대한 성격 유형을 예측할 수 있다.
상기 수집된 이미지 데이터를 학습 데이터로 처리하는 단계는, 상기 이미지 데이터에서 상기 그림에 기반한 심리 검사 기준에 따른 패턴의 특징을 유지하면서 상기 패턴의 특징이 위치하지 않는 여백에 대하여 노이즈 이미지를 결합하여 상기 이미지 보강을 수행하는 단계를 포함할 수 있다.
상기 학습된 복수의 성격 유형에 기반하여 상기 수집된 이미지 데이터 중 예측 대상 이미지 데이터에 대한 성격 유형을 예측하는 단계는, 상기 학습된 복수의 성격 유형에 대하여 복수의 이진분류 예측모델을 생성하고, 상기 생성된 복수의 이진 분류 예측 모델에 대하여 성격 분석 순서를 적용하며, 상기 적용된 성격 분석 순서에 따라 상기 성격 유형을 예측하는 단계를 포함할 수 있다.
상기 학습된 복수의 성격 유형에 대하여 복수의 이진분류 예측모델을 생성하고, 상기 생성된 복수의 이진 분류 예측 모델에 대하여 성격 분석 순서를 적용하며, 상기 적용된 성격 분석 순서에 따라 상기 성격 유형을 예측하는 단계는, 상기 성격 유형 예측부는 상기 생성된 복수의 이진 분류 예측 모델에 포함되는 S/N 예측 모델, S-T/F 예측 모델, N-T/F 예측 모델, ST-J/P 예측 모델, SF-J/P 예측 모델, NT-J/P 예측 모델, NF-J/P 예측 모델, SFJ-E/I 예측 모델, SFP-E/I 예측 모델, STJ-E/I 예측 모델, STP-E/I 모델, NFJ-E/I 예측 모델, NFP-E/I 예측 모델, NTJ-E/I 예측 모델, NTP-E/I 예측 모델 중에서 선택된 이진 분류 예측 모델들을 상기 성격 분석 순서에 따라 배치하고, 상기 배치된 이진 분류 예측 모델들을 통해 상기 성격 유형을 예측할 수 있다.
본 발명은 발테그 그림검사(Wartegg-Zeichentest, WZT)로 표현된 그림에 기반한 심리 검사용 이미지 데이터를 다양한 기계 학습 모델을 이용하여 인공 신경망 기반 기계 학습함에 따라 심리 검사 대상자가 그린 그림에 대한 이미지 데이터를 이용하여 검사 대상자의 성격유형을 예측할 수 있다.
본 발명은 대상자의 그림검사로 나타난 그림에 대한 이미지 데이터에 대하여 CNN(convolution neural network) 앙상블(Ensemble)과 GAN(Generative Adversarial Network) 기법 및 CNN과 같은 딥러닝을 적용하여 MBTI(Myers-Briggs-Type　Indicator)의 다양한 성격 유형을 예측함에 따라 전문가를 포함하는 시간과 비용의 프로세스에 대한 단점을 개선할 수 있다.
본 발명은 발테그 그림검사로 표현된 그림에 기반한 심리 검사용 이미지 데이터를 인공 지능 기계 학습 모델 이용하여 학습하여 MBTI의 다양한 성격 유형을 자동으로 예측하되, GAN 모델을 사용하여 이미지 데이터의 균형성을 확보하되, 이진 분류도 적용하여 성격 유형 분류의 예측 정확도를 증가시킬 수 있다.
본 발명은 텍스트 뿐만 아니라 투사법을 적용할 수 있는 이미지의 복잡한 패턴도 인공 지능 기계 학습하여 개인의 성격 유형을 판단함에 있어서 신뢰성과 효율성을 확보할 수 있다.
도 1은 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치를 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치에서 복수의 성격 유형을 학습을 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치에서 스타일 변형(style transfer) 함수를 통한 이미지 보강을 설명하는 도면이다.
도 4 및 도 5는 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치에서의 이진 분류 모델의 이용을 설명하는 도면이다.
도 6는 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 방법을 설명하는 도면이다.
도 7은 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치의 성능 평가 결과를 설명하는 도면이다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다.
실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다.
하기에서 다양한 실시 예들을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 다양한 실시 예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.
"제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.
본 명세서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다.
어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.
예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다.
즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
이하 사용되는 '..부', '..기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치를 설명하는 도면이다.
도 1은 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치의 구성 요소를 예시한다. 이하, 발명의 설명의 편의를 위하여 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치를 성격 유형 예측 장치로 지칭한다.
도 1을 참고하면, 본 발명의 일실시예에 따른 성격 유형 예측 장치(100)는 데이터 수집부(110), 데이터 전처리부(120), 인공지능 처리부(130) 및 성격 유형 예측부(140)를 포함한다.
일례로, 데이터 수집부(110)는 복수의 대상자가 그린 심리 검사용 이미지 데이터를 수집한다.
여기서, 복수의 대상자는 성격 유형 예측 대상자이자 성격 유형 예측 관련 딥러닝을 수행하기 위한 학습 데이터로 제공될 심리 검사용 그림을 그리(drawing)는 사람들이다. 예를 들어, 복수의 대상자는 청소년일 수 있다.
예를 들어, 심리 검사는 발테그(Wartegg-Zeichentest) 그림검사 기준에 따라 그려지는 그림을 이용한 심리 검사일 수 있다.
발테그 그림검사 기준에 따라 그려지는 그림은 개인의 성향에 따라 특정한 패턴을 포함하고, 유사한 패턴이 나타나는데 개개인의 독특하 유형 가운데는 어느 정도 보편성이 내재되어 있기 때문이라는 점에서 성격 유형을 예측하기 위한 투사 검사 자료로 활용될 수 있다.
본 발명의 일실시예에 따르면 데이터 수집부(110)는 복수의 대상자 각각의 성향에 따라 특정한 패턴이 존재하여 심리 검사용 그림의 특정 부분에서는 보편적이고 유사한 패턴이 존재하는 심리 검사용 이미지 데이터를 수집할 수 있다.
청소년의 그림에서는 청소년의 성향에 따라 특정한 패턴이 존재하며 그림의 특정 부분에서는 보편적이고 유사한 패턴이 나타난다.
여기서, 복수의 대상자가 그리는 그림은 발테그(Wartegg-Zeichentest) 그림검사에 기준에 따라 그려지는 그림일 수 있다.
발테그 그림 검사는 8가지 그림이 제시되는데 놀이의 요소가 내포되어 검사를 의식하지 않는 장점이 있고, 검사의 결과는 청소년 성격유형 평가에 도움을 줄 수 있다.
청소년의 성장 과정은 생물학적, 신체적, 인지적, 심리적, 정신적 변화가 일어나는 시기로, 현실에 대한 적응의 어려움으로 반항, 고민, 수업 집중 저하, 건강관리 문제가 발생할 수 있어서, 청소년의 성격 유형 예측은 필요하다.
본 발명의 데이터 전처리부(120)는 그림에 기반한 심리 검사 기준과 신상 정보 및 상기 이미지 데이터의 데이터 수 그리고 스타일 변형(style transfer) 함수를 통한 이미지 보강에 기반하여 상기 수집된 이미지 데이터를 학습 데이터로 처리할 수 있다.
일례로, 데이터 전처리부(120)는 이미지 데이터 중 그림에 기반한 심리 검사 기준에 따른 패턴을 포함하지 않은 이미지 데이터를 제거하고, 신상 정보가 포함되지 않은 이미지 데이터를 제거하며, 이미지 데이터의 데이터 수에 따라 오버 샘플링(over sampling)을 적용하여 이미지 데이터를 학습 데이터로 처리할 수 있다.
예를 들어, 심리 검사 기준에 따른 패턴을 포함하지 않은 이미지 데이터는 미결정 영역(undetermined band, U-band)에 해당할 수 있다.
본 발명의 일실시예에 따르면 데이터 전처리부(120)는 이미지 데이터에서 그림에 기반한 심리 검사 기준에 따른 패턴의 특징을 유지하면서 패턴의 특징이 위치하지 않는 여백에 대하여 노이즈 이미지를 결합하여 이미지 보강을 수행할 수 있다.
예를 들어, 데이터 전처리부(120)는 GAN의 스타일 변형 함수를 이용하여 이미지 데이터 중에서 심리 검사 기준에 따른 패턴에 대한 변형 없이 여백에 대하여 노이즈를 결합하여 이미지를 보강하는 데이터 전처리 과정을 통해서 이미지 데이터를 학습 데이터로 처리할 수 있다.
본 발명의 일실시예에 따르면 인공지능 처리부(130)는 학습 데이터에 대하여 소프트 맥스(softmax) 함수, 이미지 증식 함수, 데이터 증강(data augmentation) 함수, 랜덤 샘플링 함수 및 가중치 조절 함수 중 적어도 하나의 딥러닝 학습 함수를 적용하여 적어도 하나의 학습 결과 값을 산출하고, 앙상블(Ensemble) 함수에 기반하여 산출된 적어도 하나의 학습 결과 값을 합산하여 보팅(voting)을 통해 분류함에 따라 복수의 성격 유형을 학습할 수 있다.
일례로, 인공지능 처리부(130)는 CNN 모델과 CNN 앙상블(Ensemble) 모델을 이용하여 복수의 성격 유형을 학습할 수 있다.
예를 들어, 복수의 성격 유형은 MBTI(Myers-Briggs Type Indicator)와 MMTIC(Murphy-Meisgeir Type Indicator for Children) 중 어느 하나의 성격 유형에 기반하여 결정될 수 있는데, 바람직하게는 MBTI에 기반한 16개의 성격 유형을 포함할 수 있다.
MBTI는 4개 차원의 이분법에 기반하고, 심리적 선호가 아직 발달하지 않아 중간치에 가까운 밴드인 미결정 영역을 고려하고, 자신의 태도에 관한 속성, 정보를 처리하는 방법 속성, 결정을 내리는 방법 속성, 자신을 외부에 제시하는 방법에 대한 속성을 분류한다.
자신의 태도에 관한 속성과 관련하여 외향형(extraversion, E), 미결정 영역(U), 내향형(Introversion, I)으로 분류되고, 정보를 처리하는 방법 속성과 관련하여 감각(Sensing, S) , 미결정 영역(U), 직관(INtuition, N)으로 분류된다.
또한, 결정을 내리는 방법 속성과 관련하여 사고(Thinking, T), 미결정 영역(U), 감정(Feeling, F)으로 분류되고, 자신을 외부에 제시하는 방법에 대한 속성과 관련하여 판단(Judging, J), 미결정 영역(U), 인식(Perceiving, P)으로 분류된다.
MBTI에 기반한 성격 유형은 총 16개이고, ISTJ, ISFJ, INFJ, INTJ, ISTP, ISFP, INFP, INTP, ESTP, ESFP, ENFP, ENTP, ESTJ, ESFJ, ENFJ 및 ENTJ로 분류된다.
본 발명의 일실시예에 따르면 인공지능 처리부(130)는 딥러닝(deep learning)에 CNN( Convolution Neural Network)에 기반하여 수행하고, CNN 앙상블(Ensemble)을 사용하여 성능을 향상시킨다.
본 발명의 일실시예에 따르면 인공지능 처리부(130)는 소프트 맥스 함수를 이용한 CNN에 기반하여 원본 데이터 세트를 다중 분류하고, 이미지 증식 함수를 이용한 CNN에 기반하여 원본 데이터 세트와 이미지 증식을 결합하여 다중 분류한다.
인공지능 처리부(130)는 랜덤 샘플링 함수를 이용한 CNN에 기반하여 원본 데이터 세트와 랜덤 샘플링 데이터를 결합하여 다중 분류하고, 가중치 조절 함수를 이용한 CNN에 기반하여 원본 데이터 세트와 랜덤 샘플링 데이터를 결합 후 가중치 조절을 적용하여 다중 분류한다.
인공지능 처리부(130)는 앙상블 함수에 기반한 CNN앙상블에 기반하여 각 함수를 이용하여 도출되는 결과 값을 합산하고, 결과 값에 대하여 보팅을 진행하여 다중 분류할 수 있다.
본 발명의 일실시예에 따르면 성격 유형 예측부(140)는 인공지능 처리부(130)에 의해 학습된 복수의 성격 유형에 기반하여 데이터 수집부(110)에 의해 수집된 이미지 데이터 중 예측 대상 이미지 데이터에 대한 성격 유형을 예측할 수 있다.
일례로, 성격 유형 예측부(140)는 학습된 복수의 성격 유형에 대하여 복수의 이진분류 예측모델을 생성하고, 생성된 복수의 이진 분류 예측 모델에 대하여 성격 분석 순서를 적용하며, 적용된 성격 분석 순서에 따라 성격 유형을 예측할 수 있다.
본 발명의 일실시예에 따르면 성격 유형 예측부(140)는 생성된 복수의 이진 분류 예측 모델에 포함되는 S/N 예측 모델, S-T/F 예측 모델, N-T/F 예측 모델, ST-J/P 예측 모델, SF-J/P 예측 모델, NT-J/P 예측 모델, NF-J/P 예측 모델, SFJ-E/I 예측 모델, SFP-E/I 예측 모델, STJ-E/I 예측 모델, STP-E/I 모델, NFJ-E/I 예측 모델, NFP-E/I 예측 모델, NTJ-E/I 예측 모델, NTP-E/I 예측 모델 중에서 선택된 이진 분류 예측 모델들을 성격 분석 순서에 따라 배치하고, 배치된 이진 분류 예측 모델들을 통해 성격 유형을 예측할 수 있다.
성격 유형 예측부(140)는 도 4 및 도 5에서 설명된 바와 같이 이진 분류 예측 모델들을 통해서 성격 유형에 대한 예측 결과를 제공할 수 있다.
일례로, 성격 유형 예측부(140)는 예측 대상자의 성격 유형을 성격 유형은 ISTJ, ISFJ, INFJ, INTJ, ISTP, ISFP, INFP, INTP, ESTP, ESFP, ENFP, ENTP, ESTJ, ESFJ, ENFJ 및 ENTJ 중 어느 하나로 예측할 수 있다.
성격 유형 예측 장치(100)는 심리적 선호가 아직 발달하고 있는 청소년을 고려하여 중간치(cut-point)에 가까운 점수를 분명한 유형으로 할당하여 범할 오류를 방지하기 위해서 성격 유형으로 MMTIC를 사용할 수 도 있다.
따라서, 본 발명은 발테그 그림검사(Wartegg-Zeichentest, WZT)로 표현된 그림에 기반한 심리 검사용 이미지 데이터를 다양한 기계 학습 모델을 이용하여 인공 신경망 기반 기계 학습함에 따라 심리 검사 대상자가 그린 그림에 대한 이미지 데이터를 이용하여 검사 대상자의 성격유형을 예측할 수 있다.
도 2는 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치에서 복수의 성격 유형을 학습을 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치에서 복수의 성격 유형을 학습 절차를 예시한다.
도 2를 참고하면, 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치가 복수의 성격 유형을 학습 하는 절차를 단계 별로 예시한다. 이하, 설명의 편의를 위해서 성격 유형 학습 방법으로 설명하겠다.
일례로, 단계(S201)에서 성격 유형 학습 방법은 심리 검사용 이미지 데이터에 대한 전처리를 수행하여 학습 데이터를 생성한다.
보다 구체적으로, 성격 유형 학습 방법은 심리 검사용 이미지 데이터에 대한 오리지날 이미지, 랜덤 샘플링 함수에 기반한 랜덤 샘플링 이미지, 데이터 증강 함수에 기반한 데이터 증강 이미지로 데이터를 확장하여 학습데이터를 생성한다.
또한, 성격 유형 학습 방법은 GAN에서 스타일 변형 함수를 이용하여 이미지 보강을 수행하여 이미지 보강된 이미지로 데이터를 확장하여 학습 데이터를 생성한다.
단계(S202)에서 성격 유형 학습 방법은 딥러닝을 통해 학습 데이터를 학습한다.
단계(S203)에서 성격 유형 학습 방법은 학습된 데이터에 대하여 가중치 함수를 적용하여 클래스 가중치를 산출한다.
단계(S204)에서 성격 유형 학습 방법은 학습된 데이터에 기반한 복수의 모델과 상기 복수의 모델에 대하여 클래스 가중치가 적용된 모델 중에서 MBTI 성격 유형을 분류하는 예측 모델을 선택한다.
단계(S205)에서 성격 유형 학습 방법은 앙상블(Ensemble) 함수에 기반하여 상기 산출된 적어도 하나의 학습 결과 값을 합산하여 보팅(voting)을 통해 분류한다.
단계(S206)에서 학습된 복수의 성격 유형에 기반하여 수집된 이미지 데이터에 대한 학습 및 분류 결과를 평가한다.
즉, 성격 유형 학습 방법은 단계(S201) 내지 단계(S206)를 통해서 CNN 앙상블을 활용하고, 오리지날 이미지, 랜덤 샘플링, 데이터 증강, 클래스 가중치 예측 모델을 학습시키기 위하여 학습과 평가를 반복한 후, 예측 모델 성능 평가하여 예측 모델을 선택하는 절차를 수행한다.
랜덤 샘플링은 모집단의 요소들이 샘플로 선택될 가능성이 동일하게 만드는 표본 추출법이고, 랜덤 샘플링 추출법은 분류오차(classification error)가 미세하여 상대적으로 자료를 분석하기 쉽다는 장점이 존재한다.
성격 유형 학습 방법은 주어진 데이터가 제한적일 경우에는 편향과 과적합 문제가 발생할 수 있는데, 데이터 증강을 사용하여 학습할 수 있는 데이터 세트를 확장하여 해당 문제를 해결한다.
클래스 가중치는 가중치의 초기 값을 주고 값을 변화시켜 나가면서 최적화하는 방향으로 학습시켜 원하는 정답을 찾는 방법이다.
도 3은 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치에서 스타일 변형(style transfer) 함수를 통한 이미지 보강을 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치에서 스타일 변형 함수를 통한 이미지 보강하는 절차를 예시한다.
도 3을 참고하면, 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치(300)는 심리 검사 대상자가 그린 이미지에 기반한 이미지 데이터(301)와 패턴을 가지고 있는 이미지에 기반한 이미지 데이터(302)를 데이터 전처리부(310)에서 스타일 변형 함수를 적용하여 이미지 보강된 이미지 데이터(311)를 출력할 수 있다.
이미지 분류 성능은 훈련된 이미지에 따라 다양한 결과가 나타나는데, 이미지의 특징을 유지하면서 다양한 이미지를 보강하는 것은 성능 저하에 대비하는 방법이 될 수 있다.
심리 검사 대상자가 그린 그림의 특징을 유지하면서 이미지를 보강하기 위해서 GAN의 스타일 변형 함수가 이용될 수 있다.
심리 검사 대상자가 그린 그림의 이미지 특성 상 여백이 다수 존재하고, 그림에서 여백이 많은 경우에는 그림에서 심리 검사를 위한 특정 패턴을 찾아내기 위한 시간과 자원이 추가적으로 소모된다.
이에 따라서, 상술한 단점을 보완하기 위해서 GAN 방법론 중에서 하나인 스타일 변형 함수을 적용하면, 심리 검사 대상자가 만든 이미지에 변형은 없고, 여백에 GAN을 활용한 노이즈를 결합하여 패턴화함에 따라 여백을 노이즈로 학습하게 하는 효과가 있다.
도 4 및 도 5는 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치에서의 이진 분류 모델의 이용을 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따라서 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치가 심리 검사용 이미지 데이터를 학습 데이터로 전처리한 후에, 학습 데이터의 데이터 셋을 E-I, S-N, T-F, J-P로 분류하는 이진분류 예측 모델을 4개 생성하고 4개의 예측값을 결합하여 성격 유형을 예측의 정확도를 높이는 실시예를 예시한다.
도 4를 참고하면, 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치(400)는 복수의 이진분류 예측 모델을 포함하고, 심리 검사용 이미지 데이터가 입력되면 이진분류 예측 모델을 통해서 심리 검사 대상자의 성격 유형을 예측한다.
일례로, 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치(400)는 심리 검사 대상자가 직접 그린 그림에 기반한 예측 대상 이미지 데이터(410)를 E/I 예측 모델(420), S/N 예측 모델(421), T/F 예측 모델(422) 및 J/P 예측 모델(423)에 입력한다.
본 발명의 일실시예에 따르면 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치(400)는 E/I 예측 모델(420), S/N 예측 모델(421), T/F 예측 모델(422) 및 J/P 예측 모델(423) 각각에서 E, N, F, P를 출력하고, 최종적으로 심리 검사 대상자의 성격 유형을 ENFP로 성격 유형을 예측한 예측 결과(430)를 출력한다.
일례로, 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치(400)는 도 3에 기반하여 결정된 이진분류 예측 모델에서 순차적으로 예측된 MBTI 예측 결과를 결합하여 최종 예측 결과(430)를 출력할 수 있다.
도 5는 본 발명의 일실시예에 따른 본 발명의 일실시예에 따라서 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치가 심리 검사용 이미지 데이터를 학습 데이터로 전처리한 후에, 학습 데이터의 데이터 셋을 이진분류 예측 모델을 생성하고, 생성된 이진분류 예측 모델을 MBTI 성격 분석 순서에 따라 배치한 후, 출력되는 예측값을 결합하여 성격 유형을 예측의 정확도를 높이는 실시예를 예시한다.
도 5를 참고하면, 본 발명의 일실시예에 따른 본 발명의 일실시예에 따라서 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치(500)는 심리 검사 대상자가 직접 그린 그림에 기반한 예측 대상 이미지 데이터(510)를 S/N 예측 모델(520)에 입력한다.
S/N 예측 모델(520)은 S와 N 중에 S(530)를 선택하여 출력하고, S-T/F 예측 모델(521)로 다음 입력을 진행한다.
이때, N-T/F 예측 모델(522)로는 선택된 결과가 없기 때문에 추가 입력이 전달되지 않는다.
S-T/F 예측 모델(521)은 SF와 ST 중에서 SF(531)를 선택하여 출력하고, SF-J/P 예측 모델(524)로 다음 입력을 진행한다.
이때, ST-J/P 예측 모델(523)로는 선택된 결과가 없기 때문에 추가 입력이 전달되지 않는다.
SF-J/P 예측 모델(524)은 SFJ와 SFP 중에서 SFP(532)를 선택하여 출력하고, SFP-E/I 예측 모델(526)로 다음 입력을 진행한다.
이때, SFJ-E/I 예측 모델(525)로는 선택된 결과가 없기 때문에 추가 입력이 전달되지 않는다.
SFP-E/I 예측 모델(526)은 최종 예측 결과로 ENFP(533)를 출력할 수 있다.
모든 경우에 이진분류 예측 모델이 만들어져 있어야 하고, 총 15개의 예측 모델이 생성될 수 있다.
예를 들어, 예측 모델은 S/N 예측 모델, S-T/F 예측 모델, N-T/F 예측 모델, ST-J/P 예측 모델, SF-J/P 예측 모델, NT-J/P 예측 모델, NF-J/P 예측 모델, SFJ-E/I 예측 모델, SFP-E/I 예측 모델, STJ-E/I 모델, STP-E/I 예측 모델, NFJ-E/I 예측 모델, NFP-E/I 예측 모델, NTJ-E/I 예측 모델 및 NTP-E/I 예측 모델을 포함할 수 있다.
15개의 이진분류 예측 모델을 학습할 때에는 랜덤 샘플링을 사용한 모델을 저장하고, 이미지 증식과 가중치 조절을 적용하여 학습에 영향이 미치는 모델이 선택될 수 있다.
도 6은 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 방법을 설명하는 도면이다.
도 6은 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 방법이 이미지 데이터에 대한 성격 유형 분류를 학습하고, 학습에 기반하여 성격 유형을 예측하는 절차를 예시한다. 이하, 발명의 설명의 편의를 위하여 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 방법을 성격 유형 예측 방법으로 지칭한다.
도 6을 참고하면, 단계(601)에서 본 발명의 일실시예에 따른 성격 유형 예측 방법은 심리 검사용 이미지 데이터를 수집한다.
즉, 본 발명의 일실시예에 따른 성격 유형 예측 방법은 복수의 대상자가 복수의 대상자 각각의 성향에 따라 그린 그림에서 특정한 패턴이 존재하여 심리 검사용 그림의 특정 부분에서는 보편적이고 유사한 패턴이 존재하는 심리 검사용 이미지 데이터를 수집할 수 있다.
단계(602)에서 본 발명의 일실시예에 따른 성격 유형 예측 방법은 이미지 데이터를 학습 데이터로 처리한다.
즉, 성격 유형 예측 방법은 그림에 기반한 심리 검사 기준과 신상 정보 및 상기 이미지 데이터의 데이터 수 그리고 스타일 변형(style transfer) 함수를 통한 이미지 보강에 기반하여 상기 수집된 이미지 데이터를 학습 데이터로 처리할 수 있다.
보다 구체적으로, 성격 유형 예측 방법은 이미지 데이터 중 그림에 기반한 심리 검사 기준에 따른 패턴을 포함하지 않은 이미지 데이터를 제거하고, 신상 정보가 포함되지 않은 이미지 데이터를 제거하며, 이미지 데이터의 데이터 수에 따라 오버 샘플링(over sampling)을 적용한다.
또한, 성격 유형 예측 방법은 이미지 데이터에서 그림에 기반한 심리 검사 기준에 따른 패턴의 특징을 유지하면서 패턴의 특징이 위치하지 않는 여백에 대하여 노이즈 이미지를 결합하여 이미지 보강을 수행하 이미지 데이터를 학습 데이터로 처리할 수 있다.
단계(603)에서 본 발명의 일실시예에 따른 성격 유형 예측 방법은 학습 데이터에 대하여 딥러닝 학습을 하여 복수의 성격 유형을 학습한다.
즉, 성격 유형 예측 방법은 학습 데이터에 대하여 소프트 맥스(softmax) 함수, 이미지 증식 함수, 데이터 증강(data augmentation) 함수, 랜덤 샘플링 함수 및 가중치 조절 함수 중 적어도 하나의 딥러닝 학습 함수를 적용하여 적어도 하나의 학습 결과 값을 산출하고, 앙상블(Ensemble) 함수에 기반하여 상기 산출된 적어도 하나의 학습 결과 값을 합산하여 보팅(voting)을 통해 분류함에 따라 복수의 성격 유형을 학습할 수 있다.
단계(604)에서 본 발명의 일실시예에 따른 성격 유형 예측 방법은 단계(603)에서 학습된 복수의 성격 유형에 기반하여 예측 대상 이미지 데이터에 대한 성격 유형을 예측한다.
즉, 성격 유형 예측 방법은 단계(603)에서 학습된 복수의 성격 유형에 기반하여 단계(601)에서 수집된 이미지 데이터 중 예측 대상 이미지 데이터를 분석 대상으로 결정하고, 결정된 분석 대상에 대한 성격 유형을 예측할 수 있다.
따라서, 본 발명은 대상자의 그림검사로 나타난 그림에 대한 이미지 데이터에 대하여 CNN(convolution neural network) 앙상블(Ensemble)과 GAN(Generative Adversarial Network) 기법 및 CNN과 같은 딥러닝을 적용하여 MBTI(Myers-Briggs-Type　Indicator)의 다양한 성격 유형을 예측함에 따라 전문가를 포함하는 시간과 비용의 프로세스에 대한 단점을 개선할 수 있다.
또한, 본 발명은 발테그 그림검사(Wartegg-Zeichentest, WZT)로 표현된 그림에 기반한 심리 검사용 이미지 데이터를 인공 지능 기계 학습 모델 이용하여 학습하여 MBTI의 다양한 성격 유형을 자동으로 예측하되, GAN 모델을 사용하여 이미지 데이터의 균형성을 확보하되, 이진 분류도 적용하여 성격 유형 분류의 예측 정확도를 증가시킬 수 있다.
도 7은 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치의 성능 평가 결과를 설명하는 도면이다.
도 7은 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치에 의해서 예측된 복수의 대상자의 16가지 성격유형 분포와 빈도를 예시한다.
도 7을 참고하면, 그래프(700)는 16가지 성격 유형 데이터가 균등하지 않고 편향되어 있음을 보여주고, 데이터세트의 성격유형 불균형한 분포와 정형화되어 있지 않는 심리 검사용 이미지 데이터가 본 발명의 일실시예에 따른 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치에 의해서 예측되는 결과를 아래의 데이터에 기반하여 설명한다.
본 발명의 일실시예에 따른 CNN 앙상블은 랜덤 샘플링, 데이터 증강, 클래스 가중치 학습 모델로 CNN 앙상블을 사용하였을 때 평균 17.2%의 정확도와 8개의 성격유형을 분류하였다.
가장 높은 값으로는 ESFP는 정확도가 42.9%가 나타났다. 가장 낮은 값으로는 ENTP는 Accuracy 3.1%가 나타낸다.
본 발명의 일실시예에 따른 이진 분류 예측 모델을 이용한 이진분류는 랜덤 샘플링, 데이터 증강, 클래스 가중치 학습 모델로 활용하였다.
이 중에서 랜덤 샘플링이 가장 좋은 결과를 나타냈다. E/I, S/N/ T/F, J/P 이진분류는 평균 정확도가 각각 61.4%, 64.2%, 62.8%, 68.6%가 나타냈다.
CNN 앙상블을 활용한 4개의 모델에 예측값을 결합한 최종 MBTI 정확도는 18.4% 이고 9개의 성격유형을 분류하였다.
가장 높은 값으로는 ESFP는 Accuracy 49.5%가 나타내고, 가장 낮은 값으로는 ISFJ Accuracy 3.1%가 나타낸다.
MBTI 분석 순서를 이용한 이진 분류 예측 모델은 조금이라도 높은 결과를 나타내기 위하여 MBTI 분석 순서는 S/N부터 시작하고 T-F, J-P, E-I 순서대로 예측을 할 수 있도록 이진분류 예측 모델을 생성했다.
15개의 이진분류 예측 모델을 학습 할 때는 랜덤 샘플링을 사용한 모델을 저장했으며 이미지증식과 가중치 조절을 적용하여 학습에 영향이 있는 모델을 선택한다.
편향된 데이터를 균등하게 적용하기 위하여 오버 샘플링(over-sampling)을 적용하고, 이진 분류로 성격 유형을 예측하여 CNN앙상블로 MBTI 16가지 성격 유형을 예측하여 예측 결과의 정확도를 높일 수 있다.
MBTI 분석 순서를 이용한 이진 분류 예측 모델은 22.5%의 정확도와 8개의 성격유형을 분류할 수 있다.
8개의 성격유형은 ESFP, ESFJ, ENFP, ISFJ, ISTP, ESTP, ESTJ, ISFP을 포함한다.
가장 높은 값으로는 ESFP는 Accuracy 55.4%가 나타나고, 가장 낮은 값으로는 ISFP Accuracy 6.3%가 나타낸다.
GAN을 사용하면 9개의 성격유형 분류와 27.2%의 정확도를 나타내고, 가장 높은 값으로는 ESFP는 정확도 70.1%가 나타나고, 가장 낮은 값으로는 ISTP 및 ISFJ 정확도가 3.1%로 나타났다.
9개의 성격유형은 ESFP, ESFJ, ENFP, ESTP, ESTJ, ENTJ, ENTP, ISTP, ISFJ를 포함할 수 있다.
MBTI 데이터세트의 클래스 분포는 불균형이 심하여 본 연구에서는 GAN을 사용하여 데이터의 증가를 사용하여 데이터를 균형있게 나타낼 수 있다.
그리고 이미지 데이터를 균형있게 만드는데 노력하였고, 예측의 정확성을 높이기 위하여 Binary 분석 후 16개의 성격유형을 예측함에 따라 그 결과 MBTI 성격 유형을 예측할 수 있었고 정확도 역시 증가시킬 수 있다.
가장 높은 것은 ESFP로 55.4%에서 70.1%로 14.7% 높아진 것을 알 수 있다.
또한 ENTJ는 18.8%, ENTP는 3.6%로 새롭게 예측하는 것으로 나타나 다양한 성격유형을 예측할 수 있다.
본 발명의 일실시예에 따르면 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치는 CNN(convolution neural network) 앙상블(Ensemble)과 GAN(Generative Adversarial Network) 및 이진 분류 모델을 복합적으로 활용하여 높은 정확도로 MBTI의 성격 유형을 예측한 결과를 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 복수의 대상자가 그린 심리 검사용 그림에 기반한 심리 검사용 이미지 데이터를 수집하는 데이터 수집부;
    그림에 기반한 심리 검사 기준과 신상 정보 및 상기 이미지 데이터의 데이터 수 그리고 스타일 변형(style transfer) 함수를 통한 이미지 보강에 기반하여 상기 수집된 이미지 데이터를 학습 데이터로 처리하는 데이터 전처리부;
    상기 학습 데이터에 대하여 소프트 맥스(softmax) 함수, 이미지 증식 함수, 데이터 증강(data augmentation) 함수, 랜덤 샘플링 함수 및 가중치 조절 함수 중 적어도 하나의 딥러닝 학습 함수를 적용하여 적어도 하나의 학습 결과 값을 산출하고, 앙상블(Ensemble) 함수에 기반하여 상기 산출된 적어도 하나의 학습 결과 값을 합산하여 보팅(voting)을 통해 분류함에 따라 복수의 성격 유형을 학습하는 인공지능 처리부; 및
    상기 학습된 복수의 성격 유형에 기반하여 상기 수집된 이미지 데이터 중 예측 대상 이미지 데이터에 대한 성격 유형을 예측하는 성격 유형 예측부를 포함하는 것을 특징으로 하는
    심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치.
  2. 제1항에 있어서,
    상기 데이터 전처리부는 상기 이미지 데이터에서 상기 그림에 기반한 심리 검사 기준에 따른 패턴의 특징을 유지하면서 상기 패턴의 특징이 위치하지 않는 여백에 대하여 노이즈 이미지를 결합하여 상기 이미지 보강을 수행하는 것을 특징으로 하는
    심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치.
  3. 제1항에 있어서,
    상기 성격 유형 예측부는 상기 학습된 복수의 성격 유형에 대하여 복수의 이진분류 예측모델을 생성하고, 상기 생성된 복수의 이진 분류 예측 모델에 대하여 성격 분석 순서를 적용하며, 상기 적용된 성격 분석 순서에 따라 상기 성격 유형을 예측하는 것을 특징으로 하는
    심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치.
  4. 제3항에 있어서,
    상기 성격 유형 예측부는 상기 생성된 복수의 이진 분류 예측 모델에 포함되는 S/N 예측 모델, S-T/F 예측 모델, N-T/F 예측 모델, ST-J/P 예측 모델, SF-J/P 예측 모델, NT-J/P 예측 모델, NF-J/P 예측 모델, SFJ-E/I 예측 모델, SFP-E/I 예측 모델, STJ-E/I 예측 모델, STP-E/I 모델, NFJ-E/I 예측 모델, NFP-E/I 예측 모델, NTJ-E/I 예측 모델, NTP-E/I 예측 모델 중에서 선택된 이진 분류 예측 모델들을 상기 성격 분석 순서에 따라 배치하고, 상기 배치된 이진 분류 예측 모델들을 통해 상기 성격 유형을 예측하는 것을 특징으로 하는
    심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치.
  5. 제1항에 있어서,
    상기 데이터 수집부는 상기 복수의 대상자 각각의 성향에 따라 특정한 패턴이 존재하여 상기 심리 검사용 그림의 특정 부분에서는 보편적이고 유사한 패턴이 존재하는 상기 심리 검사용 이미지 데이터를 수집하는 것을 특징으로 하는
    심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치.
  6. 제1항에 있어서,
    상기 데이터 전처리부는 상기 이미지 데이터 중 상기 그림에 기반한 심리 검사 기준에 따른 패턴을 포함하지 않은 이미지 데이터를 제거하고, 상기 신상 정보가 포함되지 않은 이미지 데이터를 제거하며, 상기 이미지 데이터의 데이터 수에 따라 오버 샘플링(over sampling)을 적용하여 상기 이미지 데이터를 상기 학습 데이터로 처리하는 것을 특징으로 하는
    심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치.
  7. 데이터 수집부에서, 복수의 대상자가 그린 심리 검사용 그림에 기반한 심리 검사용 이미지 데이터를 수집하는 단계;
    데이터 전처리부에서, 그림에 기반한 심리 검사 기준과 신상 정보 및 상기 이미지 데이터의 데이터 수 그리고 스타일 변형(style transfer) 함수를 통한 이미지 보강에 기반하여 상기 수집된 이미지 데이터를 학습 데이터로 처리하는 단계;
    인공지능 처리부에서, 상기 학습 데이터에 대하여 소프트 맥스(softmax) 함수, 이미지 증식 함수, 데이터 증강(data augmentation) 함수, 랜덤 샘플링 함수 및 가중치 조절 함수 중 적어도 하나의 딥러닝 학습 함수를 적용하여 적어도 하나의 학습 결과 값을 산출하고, 앙상블(Ensemble) 함수에 기반하여 상기 산출된 적어도 하나의 학습 결과 값을 합산하여 보팅(voting)을 통해 분류함에 따라 복수의 성격 유형을 학습하는 단계; 및
    성격 유형 예측부에서, 상기 학습된 복수의 성격 유형에 기반하여 상기 수집된 이미지 데이터 중 예측 대상 이미지 데이터에 대한 성격 유형을 예측하는 단계를 포함하는 것을 특징으로 하는
    심리 검사용 이미지 데이터를 이용한 성격 유형 예측 방법.
  8. 제7항에 있어서,
    상기 수집된 이미지 데이터를 학습 데이터로 처리하는 단계는,
    상기 이미지 데이터에서 상기 그림에 기반한 심리 검사 기준에 따른 패턴의 특징을 유지하면서 상기 패턴의 특징이 위치하지 않는 여백에 대하여 노이즈 이미지를 결합하여 상기 이미지 보강을 수행하는 단계를 포함하는 것을 특징으로 하는
    심리 검사용 이미지 데이터를 이용한 성격 유형 예측 방법.
  9. 제7항에 있어서,
    상기 학습된 복수의 성격 유형에 기반하여 상기 수집된 이미지 데이터 중 예측 대상 이미지 데이터에 대한 성격 유형을 예측하는 단계는,
    상기 학습된 복수의 성격 유형에 대하여 복수의 이진분류 예측모델을 생성하고, 상기 생성된 복수의 이진 분류 예측 모델에 대하여 성격 분석 순서를 적용하며, 상기 적용된 성격 분석 순서에 따라 상기 성격 유형을 예측하는 단계를 포함하는 것을 특징으로 하는
    심리 검사용 이미지 데이터를 이용한 성격 유형 예측 방법.
  10. 제9항에 있어서,
    상기 학습된 복수의 성격 유형에 대하여 복수의 이진분류 예측모델을 생성하고, 상기 생성된 복수의 이진 분류 예측 모델에 대하여 성격 분석 순서를 적용하며, 상기 적용된 성격 분석 순서에 따라 상기 성격 유형을 예측하는 단계는,
    상기 성격 유형 예측부는 상기 생성된 복수의 이진 분류 예측 모델에 포함되는 S/N 예측 모델, S-T/F 예측 모델, N-T/F 예측 모델, ST-J/P 예측 모델, SF-J/P 예측 모델, NT-J/P 예측 모델, NF-J/P 예측 모델, SFJ-E/I 예측 모델, SFP-E/I 예측 모델, STJ-E/I 모델, STP-E/I 모델, NFJ-E/I 예측 모델, NFP-E/I 예측 모델, NTJ-E/I 모델, NTP-E/I 모델 중에서 선택된 이진 분류 예측 모델들을 상기 성격 분석 순서에 따라 배치하고, 상기 배치된 이진 분류 예측 모델들을 통해 상기 성격 유형을 예측하는 것을 특징으로 하는
    심리 검사용 이미지 데이터를 이용한 성격 유형 예측 방법.
PCT/KR2023/018239 2022-11-15 2023-11-14 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치 및 방법 WO2024106902A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0152600 2022-11-15
KR1020220152600A KR20240070996A (ko) 2022-11-15 2022-11-15 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2024106902A1 true WO2024106902A1 (ko) 2024-05-23

Family

ID=91084892

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/018239 WO2024106902A1 (ko) 2022-11-15 2023-11-14 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20240070996A (ko)
WO (1) WO2024106902A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200090021A (ko) * 2019-01-18 2020-07-28 (주)지영커뮤니티 미술심리검사 장치
KR20210001145A (ko) * 2019-06-27 2021-01-06 (주)해피마인드 종합주의력 검사 데이터에 기초하여 주의력 결핍 및 과잉 행동 장애를 분류 및 치료반응을 예측하는 시스템 및 방법
KR102294741B1 (ko) * 2020-03-09 2021-08-27 (주)제이앤리 딥러닝을 통한 그림기반 심리검사 방법 및 서버
KR102415102B1 (ko) * 2021-11-11 2022-07-01 주식회사 파블로아트컴퍼니 심리 파악에 유의미한 그림 주제를 이용하여 피검사자의 성격을 분석하는 장치
KR102442434B1 (ko) * 2021-11-11 2022-09-14 주식회사 파블로아트컴퍼니 미술 심리분석용 데이터 생성 장치 및 이를 이용한 미술 심리분석용 데이터의 생성과 사용자의 심리상태 정보제공 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772987B1 (ko) 2017-02-28 2017-08-31 (주)코뮤즈 스캔 이미지를 이용한 심리검사결과 제공 방법
KR102424347B1 (ko) 2018-11-06 2022-07-22 삼성전자주식회사 반도체 칩의 접착 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200090021A (ko) * 2019-01-18 2020-07-28 (주)지영커뮤니티 미술심리검사 장치
KR20210001145A (ko) * 2019-06-27 2021-01-06 (주)해피마인드 종합주의력 검사 데이터에 기초하여 주의력 결핍 및 과잉 행동 장애를 분류 및 치료반응을 예측하는 시스템 및 방법
KR102294741B1 (ko) * 2020-03-09 2021-08-27 (주)제이앤리 딥러닝을 통한 그림기반 심리검사 방법 및 서버
KR102415102B1 (ko) * 2021-11-11 2022-07-01 주식회사 파블로아트컴퍼니 심리 파악에 유의미한 그림 주제를 이용하여 피검사자의 성격을 분석하는 장치
KR102442434B1 (ko) * 2021-11-11 2022-09-14 주식회사 파블로아트컴퍼니 미술 심리분석용 데이터 생성 장치 및 이를 이용한 미술 심리분석용 데이터의 생성과 사용자의 심리상태 정보제공 방법

Also Published As

Publication number Publication date
KR20240070996A (ko) 2024-05-22

Similar Documents

Publication Publication Date Title
WO2018212494A1 (ko) 객체를 식별하는 방법 및 디바이스
WO2020022639A1 (ko) 딥러닝 기반의 가치 평가 방법 및 그 장치
WO2020096099A1 (ko) 기계 학습 방법 및 장치
WO2020080826A1 (ko) 학습 효율을 기반으로 개인 맞춤형 교육 컨텐츠를 제공하기 위한 기계학습 방법, 장치 및 컴퓨터 프로그램
WO2019050247A2 (ko) 클래스 인식을 위한 뉴럴 네트워크 학습 방법 및 디바이스
WO2020116768A1 (ko) 영상 처리 장치 및 그 동작방법
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2022211326A1 (ko) 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
EP3963516A1 (en) Teaching gan (generative adversarial networks) to generate per-pixel annotation
WO2020055181A1 (ko) 영상 처리 장치 및 그 동작방법
WO2019050297A1 (ko) 뉴럴 네트워크 학습 방법 및 장치
EP4022517A1 (en) Methods and systems for predicting keystrokes using a unified neural network
WO2020116914A1 (ko) 웹 접근성 및 개방성 평가 방법 및 장치
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2020045794A1 (ko) 전자 장치 및 그 제어 방법
WO2018212584A2 (ko) 딥 뉴럴 네트워크를 이용하여 문장이 속하는 클래스를 분류하는 방법 및 장치
WO2020231035A1 (en) Image processing apparatus and operating method of the same
WO2024106902A1 (ko) 심리 검사용 이미지 데이터를 이용한 성격 유형 예측 장치 및 방법
WO2020050456A1 (ko) 설비 데이터의 이상 정도 평가 방법
WO2021075742A1 (ko) 딥러닝 기반의 가치 평가 방법 및 그 장치
WO2022055020A1 (ko) 자동화된 기계 학습 방법 및 그 장치
WO2019235827A1 (ko) 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법
WO2019198900A1 (en) Electronic apparatus and control method thereof
WO2024090667A1 (ko) 변이 출현 빈도를 이용한 인종 예측 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23891969

Country of ref document: EP

Kind code of ref document: A1