WO2023149653A1 - 다중지표 기반 인공지능을 이용한 자폐증 진단 시스템 - Google Patents

다중지표 기반 인공지능을 이용한 자폐증 진단 시스템 Download PDF

Info

Publication number
WO2023149653A1
WO2023149653A1 PCT/KR2022/020416 KR2022020416W WO2023149653A1 WO 2023149653 A1 WO2023149653 A1 WO 2023149653A1 KR 2022020416 W KR2022020416 W KR 2022020416W WO 2023149653 A1 WO2023149653 A1 WO 2023149653A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
artificial intelligence
autism
intelligence unit
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/020416
Other languages
English (en)
French (fr)
Inventor
정태명
유주헌
정하림
정유숙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hippo T&c Inc
Sungkyunkwan University
Samsung Life Public Welfare Foundation
Original Assignee
Hippo T&c Inc
Sungkyunkwan University
Samsung Life Public Welfare Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hippo T&c Inc, Sungkyunkwan University, Samsung Life Public Welfare Foundation filed Critical Hippo T&c Inc
Publication of WO2023149653A1 publication Critical patent/WO2023149653A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/06—Children, e.g. for attention deficit diagnosis

Definitions

  • the present invention relates to an autism diagnosis system using multi-indicator based artificial intelligence.
  • Autism Spectrum Disorder is a neurodevelopmental disorder characterized by persistent impairment in interactive social communication and social interaction from early childhood and limited and repetitive patterns of behavior, interests and activities. It is a category.
  • An object of the present invention is to provide a diagnostic system for accurately diagnosing the degree of autism spectrum disorders based on multiple indicators of conventional autism spectrum disorders.
  • a user interface for acquiring voice data obtained from the subject, image data obtained by capturing an image of the subject, and Childhood Autism Rating Scale (CARS) data of the subject and communication with the user interface It is configured to send and receive data by using a plurality of artificial intelligence units, and includes a server configured to determine the degree of autism disorder through ensemble analysis using a plurality of artificial intelligence units, and the plurality of artificial intelligence units receive voice data and perform language-based control 1st artificial intelligence unit that determines the degree of autism disorder, 2nd artificial intelligence unit that determines the degree of autism based on behavior by receiving image data, and 3rd artificial intelligence unit that determines the degree of autism disorder by receiving childhood autism rating scale data
  • An autism diagnosis system using a multi-index based artificial intelligence unit including a third artificial intelligence unit may be provided.
  • the first artificial intelligence unit uses tone data and semantic data extracted from voice data as input values.
  • the tone data includes the response time, volume, and pitch variability of the subject's voice, and the semantic data is used. It may include the words and the frequency of each word.
  • the second artificial intelligence unit may use motion data, facial expression data, and reaction data extracted from image data as input values.
  • the third artificial intelligence unit uses the included metadata and fraudulent autism rating scale data as input values, and the childhood autism rating scale data is data entered by the guardian observing the subject, and the metadata is It may include data on at least one of grade and occupation.
  • the server may include a pre-processing unit for pre-processing audio data, video data, childhood autism rating scale data and meta data of the subject, respectively.
  • the pre-processing unit may perform data de-identification, data noise removal, missing data supplementation using interpolation, data distribution/unit conversion, and data imaging.
  • data imaging of the pre-processing unit may be performed by digitizing input data, converting digitized data into an nxn matrix, and converting into image data in the form of a heatmap.
  • At least one of the first artificial intelligence unit, the second artificial intelligence unit, and the third artificial intelligence unit may predict a classification value associated with the degree of autism disorder by receiving and learning image data transmitted from the preprocessing unit.
  • At least one of the first artificial intelligence unit, the second artificial intelligence unit, and the third artificial intelligence unit receives image data and constructs a convolutional neural network (CNN) or long short-term memory (LSTM) model.
  • CNN convolutional neural network
  • LSTM long short-term memory
  • the classification value is calculated using the fully-connected layer, and the degree of autism disorder can be determined through ensemble analysis based on the classification value.
  • the server may be configured to transmit the result of determining the degree of autism disorder to the user interface.
  • the autism diagnosis system using multi-indicator-based artificial intelligence analyzes multi-indicator data using a data-customized artificial intelligence algorithm to minimize data feature loss that can occur from high-dimensional data analysis, and fully reflect data characteristics to autism disorders. The accuracy of the degree judgment can be improved.
  • FIG. 1 is a block diagram of an autism diagnosis system using multi-index based artificial intelligence according to an embodiment of the present invention.
  • FIG. 2 is a detailed block diagram of an artificial intelligence unit, a pre-processing unit, and a client management unit of FIG. 1 .
  • FIG. 3 is a flowchart illustrating a pre-processing process of input data performed by a pre-processing unit.
  • FIG. 4 is a flowchart illustrating a process of determining the degree of autism disorder in the artificial intelligence unit.
  • FIG. 5 is a conceptual diagram of data processing of a first artificial intelligence unit in the autism diagnosis method using multi-indicator based artificial intelligence according to an embodiment of the present invention.
  • FIG. 6 is a conceptual diagram of data processing of a second artificial intelligence unit in the autism diagnosis method using multi-indicator based artificial intelligence according to an embodiment of the present invention.
  • FIG. 7 is a conceptual diagram of data processing of a first artificial intelligence unit in the autism diagnosis method using multi-indicator based artificial intelligence according to an embodiment of the present invention.
  • FIG. 8 is a conceptual diagram of data processing of an ensemble analysis unit in the autism diagnosis method using multi-indicator-based artificial intelligence according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of an autism diagnosis system using multi-index based artificial intelligence according to an embodiment of the present invention.
  • an autism diagnosis system using multi-indicator based artificial intelligence may include a user interface 100 and a server 200.
  • the user interface 100 is configured to receive information from a user or to generate data about the user, and to display information about the degree of autism disorder determined by the server 200 .
  • the user interface 100 may be provided in a user terminal.
  • the user terminal may be, for example, a device such as a tablet, a PC, a laptop (Lap top), a smart pad, or a smart device such as a smart phone.
  • the user interface 100 may transmit/receive data by communicating with the server 200 wired/wireless.
  • the user interface 100 may include an input unit 110 and a display unit 120 .
  • the input unit 110 may be configured to allow a user to input various information or to generate data.
  • the input unit 110 may include a camera and a microphone.
  • the camera is configured to record videos of children with autism.
  • the microphone is configured to record the sounds and conversations of children with autism.
  • the user interface 100 may include an input means for a user to input information, such as a touch pad, a mouse, and a keyboard. Also, the user interface 100 may include a speaker for delivering sound to children with autism.
  • the server 200 is configured to determine the degree of autism disorder based on the data collected by the interface 100 .
  • the server 200 may include a database unit 210, a client management unit 220, an artificial intelligence unit 240, and a pre-processing unit 230.
  • the database unit 210 is configured to store data transmitted from the user interface 100, and may transmit data or store newly received data according to a request of the client management unit 220.
  • the database unit 210 may include image data, audio data, Childhood Autism Rating Scale (CARS), and metadata.
  • CARS Childhood Autism Rating Scale
  • Image data is data acquired by photographing a child with autism (hereinafter referred to as 'subject').
  • the image data may include data captured when communicating with other people as well as when being alone.
  • the voice data is data obtained by recording the sound and conversation contents of the subject.
  • the Childhood Autism Rating Scale is data that is observed, judged, and input by a guardian of a subject, for example, a parent of a child with autism disorder.
  • a guardian of a subject for example, a parent of a child with autism disorder.
  • parental influence is very important, and accurate information acquired through careful and steady observation by parents can be an important factor in determining autism disorder.
  • the childhood autism rating scale can evaluate scores according to severity according to each question, and can include scores evaluated for each question.
  • Metadata refers to data that can identify the target audience. Meta data may include information such as gender, age, grade, and occupation. Metadata can provide a more accurate criterion for judging the degree of autism disorder. That is, it is possible to more accurately determine whether the symptoms of a child suspected of autism are simply due to a young age and slow development or a result of autism.
  • the client management unit 220 manages information on each subject and is configured to transmit/receive data with a database, a pre-processing unit, and an artificial intelligence unit.
  • the client management unit 220 determines the degree of autism disorder determined by artificial intelligence when requested by each individual from the user interface 100, and analyzes the subject's condition using the accumulated data to display the user interface 100 can be sent to
  • the pre-processing unit 230 is provided to process the data on the subject in a form suitable for the artificial intelligence unit to determine.
  • the pre-processing unit may perform pre-processing on each of audio data, image data, childhood autism rating scale data, and metadata.
  • the artificial intelligence unit 240 determines autism using voice data, video data, childhood autism rating scale data and metadata, determines the degree of autism disorder by data, that is, by each index, and uses ensemble analysis to determine the final autism disorder. degree can be judged.
  • the artificial intelligence unit 240 the pre-processing unit 230 and the client management unit 220 will be described in detail.
  • FIG. 2 is a detailed block diagram of an artificial intelligence unit, a pre-processing unit, and a client management unit 220 of FIG. 1 .
  • the client manager 220 distinguishes voice data as a first indicator, video data as a second indicator, and childhood autism rating scale data and meta data as a third indicator and transmits the respective data to the preprocessor.
  • the pre-processing unit 230 may include a first pre-processing unit 231 , a second pre-processing unit 232 and a third pre-processing unit 233 .
  • the first preprocessor 231 preprocesses audio data
  • the second preprocessor 232 preprocesses image data
  • the third preprocessor 233 performs childhood autism rating scale data and meta data. can be configured.
  • the first preprocessing unit 231 to the third preprocessing unit 233 may perform preprocessing by performing data de-identification, data noise removal, missing data supplementation using interpolation, data distribution/unit conversion, and data imaging, respectively. . Meanwhile, the function of the pre-processing unit will be described in detail later with reference to FIG. 3 .
  • the artificial intelligence unit may include a first artificial intelligence unit 241 , a second artificial intelligence unit 242 , and a third artificial intelligence unit 243 .
  • the first artificial intelligence unit 241 inputs voice data imaged through preprocessing by dividing it into meaning and tone, and outputs a predicted value of the tone data through spectrogram analysis, CNN, and LSTM models.
  • Voice data may include response time, volume, and pitch variability of voice.
  • the semantic data uses an LSTM model based on the words used and the frequency of each word, and then the degree of the first autism disorder is determined by the analysis result of the tone data and the fully connected layer.
  • the second artificial intelligence unit 242 receives pre-processed image data, uses CNN and LSTM models, and determines the degree of the second autism disorder through a fully connected layer.
  • the image data may include motion data of the subject, facial expression data, and response data to external stimuli (commands and conversations).
  • the third artificial intelligence unit 243 receives preprocessed childhood autism rating scale data and meta data, uses CNN and LSTM models, and performs text analysis using fully connected layers to determine the degree of third autism disorder do.
  • the first artificial intelligence unit 241, the second artificial intelligence unit 242, and the third artificial intelligence unit 243 can be used in a learned state based on the results of determining the child with autism disorder and the degree of disability.
  • the artificial intelligence unit may further include an ensemble analysis unit 244 .
  • the ensemble analysis unit 244 is configured to perform final classification based on the first degree of autism disorder, the second degree of autism disorder, and the third degree of autism disorder.
  • the ensemble analysis unit 244 is configured to more accurately determine the degree of autism disorder based on the determination result according to the degree of autism disorder determined by each of the artificial intelligence units 241 , 242 , and 243 . That is, although the result of determining the degree of autism disorder using any one of the artificial intelligence units 241, 242, and 243 can be used, the determination of the degree of autism disorder using the ensemble technique based on multiple indicators enables improved accuracy.
  • FIG. 3 is a flowchart illustrating a pre-processing process of input data performed by a pre-processing unit.
  • the pre-processing unit may perform data de-identification, data noise removal, missing data supplementation using an interpolation method, data distribution/unit conversion, and data imaging.
  • Data de-identification corresponds to the step of removing information that can identify a specific individual due to data.
  • Data noise removal corresponds to a step of filtering abnormally acquired data.
  • supplementing missing data using interpolation is a step of securing data continuity by interpolating filtered or missing data.
  • Data distribution/unit conversion and data imaging are performed to generate image data for AI to judge.
  • Data imaging digitizes the data distribution/unit conversion data, converts the digitized data into an n x n matrix, and finally converts it into image data in the form of a heatmap.
  • FIG. 4 is a flowchart illustrating a process of determining the degree of autism disorder in the artificial intelligence unit.
  • the first artificial intelligence, the second artificial intelligence, and the third artificial intelligence extract and learn image characteristics based on each input image data.
  • CNN can be used.
  • the time-series characteristics of the data are learned.
  • the first degree of autism disorder, the second degree of autism disorder, and the third degree of autism disorder are predicted through the fully connected layer.
  • the learning results are ensemble to finally determine the degree of autism disorder.
  • learning of time-series characteristics may be additionally performed using semantic data, and based on image data preprocessed based on voice and learning contents of semantic data, the first autism through a fully connected layer. degree of disability can be assessed.
  • FIG. 5 is a conceptual diagram of data processing of a first artificial intelligence unit in the autism diagnosis method using multi-indicator based artificial intelligence according to an embodiment of the present invention.
  • the first artificial intelligence unit 241 classifies a first degree of autism disorder based on voice data obtained from pre-processed user conversations.
  • the first artificial intelligence unit 241 classifies the first degree of autism disorder predicted by the fully connected layer based on spectrogram analysis, CNN, and LSTM on the tone data and transmits it to the ensemble analysis unit 244 do.
  • FIG. 6 is a conceptual diagram of data processing of a second artificial intelligence unit in the autism diagnosis method using multi-indicator based artificial intelligence according to an embodiment of the present invention.
  • the second artificial intelligence unit 242 determines a second degree of autism disorder based on image data acquired as a response to a user's daily life or a specific request.
  • the second artificial intelligence unit 242 classifies the degree of autism disorder predicted by the fully connected layer connected to CNN and LSTM based on the preprocessed image data and transmits it to the ensemble analysis unit 244 do.
  • FIG. 7 is a conceptual diagram of data processing of a first artificial intelligence unit in the autism diagnosis method using multi-indicator based artificial intelligence according to an embodiment of the present invention.
  • the third artificial intelligence unit 243 classifies the degree of third autism disorder based on preprocessed meta data and childhood rating scale data.
  • the third artificial intelligence unit images the preprocessed meta data and childhood rating scale data, and classifies the third degree of autism disorder predicted by the fully connected layer connected to CNN and LSTM, and ensemble analysis unit 244 will be sent to
  • the ensemble analysis unit 244 determines the first degree of autism disorder received from the first artificial intelligence unit 241, the second artificial intelligence unit 242, and the third artificial intelligence unit 243, and the second artificial intelligence unit 244. Based on the degree of autism disorder and the degree of third autism disorder, the final degree of autism disorder is determined. Meanwhile, the finally determined result may be transmitted to the user interface by the client management unit.
  • the autism diagnosis system using multi-indicator-based artificial intelligence uses multi-indicator data and fully reflects the characteristics of the data to improve the accuracy of determining the degree of autism disorder.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Fuzzy Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 발명은, 대상자로부터 획득한 음성 데이터, 대상자를 촬영한 영상을 획득한 영상 데이터 및 대상자의 아동기 자폐증 평정척도 데이터(CARS; Childhood Autism Rating Scale)를 획득하는 사용자 인터페이스 및 사용자 인터페이스와 통신하여 데이터를 송수신할 수 있도록 구성되며, 복수의 인공지능을 이용한 앙상블(Ensemble) 분석으로 자폐증 장애 정도를 판단할 수 있도록 구성되는 서버를 포함하는 다중지표 기반 인공지능을 이용한 자폐증 진단 시스템에 관한 것이다.

Description

다중지표 기반 인공지능을 이용한 자폐증 진단 시스템
본 특허와 관련된 연구는 본 특허와 관련된 연구는 산업통상자원부 주관 하에 바이오산업기술개발(R&D)(과제명: 코로나 블루 시대 동반 우울증 디지털치료기기 기술개발, 과제번호: 1415174017)의 지원, 과학기술정보통신부의 주관 하에 인공지능핵심고급인재양성(R&D) (과제명: 인공지능대학원지원 (성균관대학교), 과제번호: 1711093608)의 지원, 과학기술정보통신부의 주관 하에 헬스케어 AI 융합 연구개발(과제명: AI 기반 다중센싱을 이용한 Brain-Body 인터페이스 기술 개발, 과제번호: 1711120116) 및 과학기술정보통신부의 주관 하에 초연결IoT핵심기술개발(과제명: 5G-IoT 환경에서 이기종 ㆍ비정형ㆍ대용량 데이터의 고신뢰ㆍ저지연 처리를 위한 플랫폼 개발 및 실증, 과제번호: 1711152739)의 지원에 의해 이루어진 것이다.
본 발명은 다중지표 기반 인공지능을 이용한 자폐증 진단 시스템에 관한 것이다.
자폐 스펙트럼 장애(Autism Spectrum Disorder)란 초기 아동기부터 상호 교환적인 사회적 의사소통과 사회적 상호작용에 지속적인 손상을 보이는 한편 행동 패턴, 관심사 및 활동의 범위가 한정되어 있고 반복적인 것이 특징인 신경 발달 장애의 한 범주이다.
자폐 스펙트럼 장애가 있는 아동들은 초기 발달 단계에서부터 대인 관계에 관심이 부족하고 사회 기술, 언어, 의사소통 발달에 있어서 지연되거나 비정상적인 기능을 보이고 있다.
종래에는 이러한 자폐 스펙트럼 장애증의 장애정도를 구별하기 위하여 자폐증 평정척도에 따라 평가하는 방식을 이용하였다. 그러나 이러한 방식은 전문의의 경험에 기반하여 평가하게 되어 객관성이 떨어질 수 있었다.최근에는 자폐 스펙트럼 장애 아동의 행동 특징을 고려하여 게임 형태로 자폐증 진단 검증과정을 제공하는 기술이 개발되었다. 이와 관련하여 대한민국 등록특허 제 1784429 호가 개시되어 있다.
그러나 이러한 종래 기술은 단일 지표를 기반으로 자폐 여부를 진단하게 되어 낮은 정확도를 갖는 문제점이 있었다.
본 발명은 종래의 자폐 스펙트럼 장애를 다중지표를 기반으로 정확한 자폐증 장애 정도를 진단하기 위한 진단 시스템을 제공하는 것에 그 목적이 있다.
상기 과제의 해결 수단으로서, 대상자로부터 획득한 음성 데이터, 대상자를 촬영한 영상을 획득한 영상 데이터 및 대상자의 아동기 자폐증 평정척도 데이터(CARS; Childhood Autism Rating Scale)를 획득하는 사용자 인터페이스 및 사용자 인터페이스와 통신하여 데이터를 송수신할 수 있도록 구성되며, 복수의 인공지능부을 이용한 앙상블(Ensemble) 분석으로 자폐증 장애 정도를 판단할 수 있도록 구성되는 서버를 포함하며, 복수의 인공지능부은 음성 데이터를 입력받아 언어 기반 제1 자폐증 장애 정도를 결정하는 제1 인공지능부, 영상 데이터를 입력받아 행동 기반 제2 자폐증 장애 정도를 결정하는 제2 인공지능부 및 아동기 자폐증 평정척도 데이터를 입력받아 제3 자폐증 장애 정도를 결정하는 제3 인공지능부을 포함하는 다중지표 기반 인공지능부을 이용한 자폐증 진단 시스템이 제공될 수 있다.
한편, 제1 인공지능부은 음성 데이터로부터 추출된 음색 데이터 및 의미 데이터를 입력값으로 사용하며, 음색 데이터는 대상자의 음성의 반응시간, 음량, 피치 변동성(Pitch Variability)을 포함하며, 의미 데이터는 사용하는 단어 및 단어별 빈도를 포함할 수 있다.
한편, 제2 인공지능부은 영상 데이터로부터 추출된 움직임 데이터, 얼굴표정 데이터 및 반응 데이터를 입력값으로 사용할 수 있다.
한편, 제3 인공지능부은 포함하는 메타 데이터 및 사기 자폐증 평정척도 데이터를 입력값으로 사용하며, 아동기 자폐증 평정척도 데이터는 보호자가 대상자를 관찰하여 입력한 데이터이며, 메타 데이터는 대상자의 성별, 나이, 학년 및 직업 중 적어도 하나에 대한 데이터를 포함할 수 있다.
한편, 서버에 구비되며, 음성 데이터, 영상 데이터, 대상자의 아동기 자폐증 평정척도 데이터 및 메타 데이터를 각각 전처리하는 전처리부를 포함할 수 있다.
또한, 전처리부는 데이터 비식별화, 데이터 노이즈 제거, 보간법을 활용한 결측 데이터 보완, 데이터 분포/단위 변환 및 데이터 이미지화를 수행할 수 있다.
한편, 전처리부의 데이터 이미지화는 입력 데이터 수치화, 수치화 데이터 n x n 행렬 변환 및 heatmap 형태의 이미지 데이터로 변환하여 수행될 수 있다.
한편, 제1 인공지능부, 제2 인공지능부 및 제3 인공지능부 중 적어도 하나는 전처리부로부터 전송받은 이미지 데이터를 입력받아 학습하여 자폐증 장애 정도와 연관되는 분류값을 예측할 수 있다.
한편, 제1 인공지능부, 제2 인공지능부 및 제3 인공지능부 중 적어도 하나는 이미지 데이터를 입력받아 데이터 합성곱 신경망(CNN, Convolutional Neural Network), LSTM(Long Short-Term Memory) 모델을 이용하여 학습하며, 완전연결계층(Fully-Connected Layer)을 이용하여 분류값을 산출하며, 분류값을 근거로 앙상블 분석을 통하여 자폐증 장애 정도를 판단할 수 있다.
한편, 서버는 자폐증 장애 정도를 판단한 결과를 사용자 인터페이스에 전송하도록 구성될 수 있다.
본 발명에 따른 다중지표 기반 인공지능을 이용한 자폐증 진단 시스템은 데이터 맞춤형 인공지능 알고리즘을 사용하여 다중지표 데이터를 분석함으로써 고차원 데이터 분석으로부터 발생 가능한 데이터 특징 손실을 최소화하고, 데이터 특성을 온전히 반영하여 자폐증 장애 정도 판단에 대한 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 다중지표 기반 인공지능을 이용한 자폐증 진단 시스템의 블록도이다.
도 2는 도 1의 인공지능부, 전처리부 및 클라이언트 관리부를 상세하게 나타낸 블록도이다.
도 3은 전처리부에서 수행하는 입력 데이터의 전처리 과정을 나타낸 흐름도이다.
도 4는 인공지능부에서 자폐증 장애 정도를 판단하는 과정을 나타낸 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 다중지표 기반 인공지능을 이용한 자폐증 진단 방법에서 제1 인공지능부의 데이터 처리에 대한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 다중지표 기반 인공지능을 이용한 자폐증 진단 방법에서 제2 인공지능부의 데이터 처리에 대한 개념도이다.
도 7은 본 발명의 일 실시예에 따른 다중지표 기반 인공지능을 이용한 자폐증 진단 방법에서 제1 인공지능부의 데이터 처리에 대한 개념도이다.
도 8은 본 발명의 일 실시예에 따른 다중지표 기반 인공지능을 이용한 자폐증 진단 방법에서 앙상블 분석부의 데이터 처리에 대한 개념도이다.
이하, 본 발명의 실시 예에 따른 다중지표 기반 인공지능을 이용한 자폐증 진단 시스템에 대하여, 첨부된 도면을 참조하여 상세히 설명한다. 그리고 이하의 실시예의 설명에서 각각의 구성요소의 명칭은 당업계에서 다른 명칭으로 호칭될 수 있다. 그러나 이들의 기능적 유사성 및 동일성이 있다면 변형된 실시예를 채용하더라도 균등한 구성으로 볼 수 있다. 또한 각각의 구성요소에 부가된 부호는 설명의 편의를 위하여 기재된다. 그러나 이들 부호가 기재된 도면상의 도시 내용이 각각의 구성요소를 도면내의 범위로 한정하지 않는다. 마찬가지로 도면상의 구성을 일부 변형한 실시예가 채용되더라도 기능적 유사성 및 동일성이 있다면 균등한 구성으로 볼 수 있다. 또한 당해 기술 분야의 일반적인 기술자 수준에 비추어 보아, 당연히 포함되어야 할 구성요소로 인정되는 경우, 이에 대하여는 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 다중지표 기반 인공지능을 이용한 자폐증 진단 시스템의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 다중지표 기반 인공지능을 이용한 자폐증 진단 시스템은 사용자 인터페이스(100) 및 서버(200)를 포함할 수 있다.
사용자 인터페이스(100)는 사용자로부터 정보를 입력받거나 사용자에 대한 데이터를 생성할 수 있도록 구성되며, 서버(200)로부터 판단된 자폐증 장애 정도에 대한 정보를 시현할 수 있도록 구성된다. 사용자 인터페이스(100)는 사용자 단말에 구비될 수 있다. 사용자 단말은 일 예로서, 예를 들어 태블릿, PC, 랩톱(Lap top), 스마트 패드, 스마트 폰과 같은 스마트 디바이스 등의 장치가 될 수 있다. 이러한 사용자 인터페이스(100)는 유/무선으로 서버(200)와 통신하여 데이터를 송수신할 수 있다.
사용자 인터페이스(100)는 입력부(110)와 디스플레이부(120)를 포함할 수 있다. 입력부(110)는 사용자가 다양한 정보를 입력하거나, 데이터를 생성하도록 구성될 수 있다. 입력부(110)는 카메라 및 마이크를 포함할 수 있다. 카메라는 자폐증 장애 아동에 대한 동영상을 촬영할 수 있도록 구성된다. 마이크는 자폐증 장애 아동이 내는 소리, 대화 내용을 레코딩 할 수 있도록 구성된다.
한편, 도시되지는 않았으나, 사용자 인터페이스(100)는 사용자가 정보를 입력하기 위한 입력수단, 예를 터치패드, 마우스, 키보드 등이 구비될 수 있다. 또한 사용자 인터페이스(100)는 자폐증 장애 아동에게 소리를 전달하기 위한 스피커를 포함할 수 있다.
서버(200)는 인터페이스(100)에서 수집된 데이터를 기반으로 자폐증 장애 정도를 판단할 수 있도록 구성된다.
서버(200)는 데이터 베이스부(210), 클라이언트 관리부(220), 인공지능부(240) 및 전처리부(230)를 포함할 수 있다.
데이터 베이스부(210)는 사용자 인터페이스(100)로부터 전송받은 데이터를 저장할 수 있도록 구성되며, 클라이언트 관리부(220)의 요청에 따라 데이터를 전송하거나, 새롭게 수신된 데이터를 저장할 수 있다. 데이터 베이스부(210)는 영상 데이터, 음성 데이터, 아동기 자폐증 평정척도 (Childhood Autism Rating Scale: CARS) 및 메타 데이터를 포함할 수 있다.
영상 데이터는 자폐증 아동(이하 '대상자')을 촬영하여 획득된 데이터이다. 영상 데이터는 다른 사람과 의사소통할 때 뿐 아니라 혼자 있을 때 촬영한 데이터를 포함할 수 있다. 음성 데이터는 대상자가 내는 소리, 대화 내용을 녹음하여 획득된 데이터이다.
아동기 자폐증 평정척도(Childhood Autism Rating Scale: CARS)는 대상자의 보호자, 예컨대 부모가 자폐증 장애 아동의 보호자가 관찰하여 판단하고 입력한 데이터이다. 자폐증 아동의 경우 부모의 영향이 매우 중요하며, 부모가 세심하고 꾸준한 관찰을 통하여 획득한 정확한 정보가 자폐증 장애 판단에 중요한 요소가 될 수 있다. 아동기 자폐증 평정척도는 각 문항에 따라 경중에 따른 점수를 평가할 수 있으며, 각각의 문항에서 평가한 점수를 포함할 수 있다.
메타 데이터는 대상자를 파악 수 있는 데이터를 뜻한다. 메타 데이터는 성별, 나이, 학년, 직업 등의 정보가 포함될 수 있다. 메타 데이터는 자폐증 장애 정도를 판단하는데 보다 정확한 기준을 제시할 수 있다. 즉, 자폐증이 의심되는 아동의 증상이 단순히 나이가 어리고 발달 속도가 느려서 인지, 자폐증으로 인한 결과인지를 보다 정확하게 판단할 수 있게 된다.
클라이언트 관리부(220)는 각각의 대상자에 대한 정보를 관리하며, 데이터 베이스, 전처리부 및 인공지능부와 데이터를 송수신할 수 있도록 구성된다. 클라이언트 관리부(220)는 사용자 인터페이스(100)에서 개인별로 요청하는 경우 인공지능에 의해 판단된 자폐증 장애 정도를 판단하고, 누적된 데이터를 이용하여 대상자의 상태에 대한 분석을 수행하여 사용자 인터페이스(100)에 전송할 수 있다.
전처리부(230)는 대상자에 대한 데이터를 인공지능부가 판단하기 적합한 형태로 데이터를 처리하기 위하여 구비된다. 전처리부는 음성 데이터, 영상데이터, 아동기 자폐증 평정척도 데이터 및 메타 데이터 각각에 대한 전처리를 수행할 수 있다.
인공지능부(240)는 음성 데이터, 영상데이터, 아동기 자폐증 평정척도 데이터 및 메타 데이터를 이용하여 자폐증을 판단하고, 데이터별, 즉 각 지표별로 자폐증 장애 정도를 판단하고 앙상블 분석을 이용하여 최종 자폐증 장애 정도를 판단할 수 있게 된다.
이하에서는 도 2를 참조하여 인공지능부(240), 전처리부(230) 및 클라이언드 관리부(220)에 대하여 상세히 설명하도록 한다.
도 2는 도 1의 인공지능부, 전처리부 및 클라이언트 관리부(220)를 상세하게 나타낸 블록도이다.
도 2를 참조하면, 클라이언트 관리부(220)는 제1 지표로서 음성 데이터, 제2 지표로서 영상 데이터, 그리고 제3 지표로서 아동기 자폐증 평정척도 데이터 및 메타 데이터를 구별하여 각각의 데이터를 전처리부에 전송할 수 있다.
전처리부(230)는 제1 전처리부(231), 제2 전처리부(232) 및 제3 전처리부(233)를 포함할 수 있다.
제1 전처리부(231)는 음성 데이터에 대한 전처리를, 제2 전처리부(232)는 영상 데이터에 대한 전처리를, 그리고 제3 전처리부(233)는 아동기 자폐증 평정척도 데이터 및 메타 데이터를 수행하도록 구성될 수 있다.
제1 전처리부(231) 내지 제3 전처리부(233)는 각각 데이터 비식별화, 데이터 노이즈 제거, 보간법을 이용한 결측 데이터 보완, 데이터분포/단위 변환 및 데이터 이미지화를 수행하여 전처리를 수행할 수 있다. 한편 이러한 전처리부의 기능에 대하여는 차후 도 3을 참조하여 상세히 설명하도록 한다.
인공지능부는 제1 인공지능부(241), 제2 인공지능부(242) 및 제3 인공지능부(243)를 포함할 수 있다.
제1 인공지능부(241)는 전처리로 이미지화 된 음성 데이터가 의미와 음색으로 구분되어 입력되며, 음색 데이터를 Spectrogram Analysis, CNN, LSTM 모델을 통하여 예측값을 출력한다. 음색 데이터에는 음성의 반응 시간, 음량, 피치 변동성(Pitch Variability)을 포함할 수 있다. 또한 의미 데이터는 사용하는 단어 및 단어별 빈도를 기반으로 LSTM 모델을 이용한 뒤, 음색 데이터의 분석 결과와 완전연결계층으로 제1 자폐증 장애 정도를 판단하게 된다.
제2 인공지능부(242)는 전처리로 이미지화 된 영상 데이터가 입력되며 CNN 및 LSTM 모델을 이용하고, 완전연결계층으로 제2 자폐증 장애 정도를 판단하게 된다. 영상 데이터에는 대상자의 움직임 데이터, 얼굴 표정 데이터 및 외부 자극(명령, 대화)에 대한 반응 데이터가 포함될 수 있다.
제3 인공지능부(243)는 전처리된 아동기 자폐증 평정척도 데이터 및 메타 데이터가 입력되며, CNN, LSTM 모델을 이용하고, 완전연결계층을 이용하여 Text Analysis를 수행하여 제3 자폐증 장애 정도를 판단하게 된다.
한편, 제1 인공지능부(241), 제2 인공지능부(242) 및 제3 인공지능부(243)는 이미 자폐증 장애를 갖는 아동과 장애 정도를 판단한 결과를 기반으로 학습된 상태에서 이용될 수 있다.
인공지능부는 앙상블 분석부(244)를 추가로 포함할 수 있다. 앙상블 분석부(244)는 제1 자폐증 장애 정도, 제2 자폐증 장애 정도 및 제3 자폐증 장애 정도를 기반으로 최종 분류를 수행할 수 있도록 구성된다. 앙상블 분석부(244)는 각 인공지능부(241, 242, 243)에서 판단한 자폐증 장애 정도에 따른 판단 결과를 기반으로 더욱 정확한 자폐증 장애 정도를 판단할 수 있도록 구성된다. 즉 어느 하나의 인공지능부(241, 242, 243)를 이용하여 자폐증 장애 정도를 판단한 결과를 이용할 수 있지만, 다중 지표를 기반으로 앙상블 기법을 이용한 자폐증 장애 정도의 판단은 정확도 향상을 가능하게 한다.
도 3은 전처리부에서 수행하는 입력 데이터의 전처리 과정을 나타낸 흐름도이다.
도 3을 참조하면, 전술한 바와 같이 전처리부는 데이터 비식별화, 데이터 노이즈 제거, 보간법을 이용한 결측 데이터 보완, 데이터분포/단위 변환 및 데이터 이미지화를 수행할 수 있다.
데이터 비식별화는 데이터로 인하여 특정 개인을 인식할 수 있는 정보를 제거하는 단계에 해당한다. 데이터 노이즈 제거는 비정상적으로 획득된 데이터를 필터링하는 단계에 해당한다. 한편, 보간법을 이용한 결측 데이터 보완은 필터링 되거나 결손된 데이터를 보간하여 데이터의 연속성을 확보하는 단계이다.
데이터분포/단위 변환 및 데이터 이미지화는 인공지능이 판단할 수 있도록 이미지 데이터를 생성하기 위하여 수행된다.
데이터 이미지화는 데이터분포/단위 변환된 데이터를 수치화하며, 수치화된 데이터를 n x n 행렬로 변환하고, 최종적으로 heatmap 형태의 이미지 데이터로 변환한다.
도 4는 인공지능부에서 자폐증 장애 정도를 판단하는 과정을 나타낸 흐름도이다.
도 4를 참조하면, 제1 인공지능, 제2 인공지능 및 제3 인공지능은 각각의 입력된 이미지 데이터를 기반으로 이미지 특성을 추출하고 학습한다. 이때 CNN을 이용할 수 있다. 이후 LSTM 모델을 기반으로 데이터의 시계열적 특성을 학습한다. 이후 완전연결계층을 통하여 제1 자폐증 장애 정도, 제2 자폐증 장애 정도 및 제3 자폐증 장애 정도를 예측한다. 그리고 학습 결과를 앙상블하여 최종적으로 자폐증 장애 정도를 판단하게 된다. 한편, 제1 인공지능부에는 의미 데이터를 이용하여 시계열적인 특성의 학습이 추가로 이루어질 수 있으며, 음성을 기반으로 전처리된 이미지 데이터와 의미 데이터의 학습 내용을 기반으로 완전연결계층을 통하여 제1 자폐증 장애 정도를 판단할 수 있다.
도 5는 본 발명의 일 실시예에 따른 다중지표 기반 인공지능을 이용한 자폐증 진단 방법에서 제1 인공지능부의 데이터 처리에 대한 개념도이다.
도 5를 참조하면, 제1 인공지능부(241)는 전처리된 유저의 대화에서 획득한 음성 데이터를 기반으로 제1 자폐증 장애정도를 분류한다. 제1 인공지능부(241)는 음색 데이터를 Spectrogram Analysis, CNN, LSTM 를 기반으로 완전 연결층(fully connected layer)에 의해 예상되는 제1 자폐증 장애정도를 분류하고 앙상블 분석부(244)에 전송하게 된다.
도 6은 본 발명의 일 실시예에 따른 다중지표 기반 인공지능을 이용한 자폐증 진단 방법에서 제2 인공지능부의 데이터 처리에 대한 개념도이다.
도 6을 참조하면, 제2 인공지능부(242)는 유저의 평소 생활 또는 특정 요구에 대한 반응으로서 획득된 영상 데이터를 기반으로 제2 자폐증 장애 정도를 결정한다. 제2 인공지능부(242)는 전처리된 영상 데이터를 근거로 CNN 및 LSTM과 연결된 완전 연결층(fully connected layer)에 의해 예상되는 제2 자폐증 장애 정도를 분류하고 앙상블 분석부(244)에 전송하게 된다.
도 7은 본 발명의 일 실시예에 따른 다중지표 기반 인공지능을 이용한 자폐증 진단 방법에서 제1 인공지능부의 데이터 처리에 대한 개념도이다.
도 7을 참조하면, 제3 인공지능부(243)는 전처리된 메타 데이터와 아동기 평정척도 데이터를 근거로 제3 자폐증 장애 정도를 분류한다. 제3 인공지능부는 전처리된 메타 데이터와 아동기 평정척도 데이터에 대하여 이미지화하며, CNN 및 LSTM 과 연결된 완전 연결층(fully connected layer)에 의해 예상되는 제3 자폐증 장애 정도를 분류하고 앙상블 분석부(244)에 전송하게 된다.
도 8을 참조하면, 앙상블 분석부(244)는 제1 인공지능부(241), 제2 인공지능부(242) 및 제3 인공지능부(243)로부터 수신된 제1 자폐증 장애정도, 제2 자폐증 장애 정도 및 제3 자폐증 장애 정도를 기반으로 최종 자폐증 장애 정도를 결정하게 된다. 한편, 최종적으로 판단된 결과는 클라이언트 관리부에 의해 사용자 인터페이스에 전송될 수 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 다중지표 기반 인공지능을 이용한 자폐증 진단 시스템은 다중지표 데이터를 이용하며, 데이터 특성을 온전히 반영하여 자폐증 장애 정도 판단에 대한 정확도를 향상시킬 수 있게 된다.

Claims (10)

  1. 대상자로부터 획득한 음성 데이터, 상기 대상자를 촬영한 영상을 획득한 영상 데이터 및 상기 대상자의 아동기 자폐증 평정척도 데이터(CARS; Childhood Autism Rating Scale)를 획득하는 사용자 인터페이스; 및
    상기 사용자 인터페이스와 통신하여 데이터를 송수신할 수 있도록 구성되며, 복수의 인공지능부을 이용한 앙상블(Ensemble) 분석으로 자폐증 장애 정도를 판단할 수 있도록 구성되는 서버를 포함하며,
    상기 복수의 인공지능부은,
    상기 음성 데이터를 입력받아 언어 기반 제1 자폐증 장애 정도를 결정하는 제1 인공지능부;
    상기 영상 데이터를 입력받아 행동 기반 제2 자폐증 장애 정도를 결정하는 제2 인공지능부; 및
    상기 아동기 자폐증 평정척도 데이터를 입력받아 제3 자폐증 장애 정도를 결정하는 제3 인공지능부을 포함하는 다중지표 기반 인공지능부을 이용한 자폐증 진단 시스템.
  2. 제1 항에 있어서,
    상기 제1 인공지능부은 상기 음성 데이터로부터 추출된 음색 데이터 및 의미 데이터를 입력값으로 사용하며,
    상기 음색 데이터는 상기 대상자의 음성의 반응시간, 음량, 피치 변동성(Pitch Variability)을 포함하며,
    상기 의미 데이터는 사용하는 단어 및 단어별 빈도를 포함하는 다중지표 기반 인공지능부을 이용한 자폐증 진단 시스템.
  3. 제1 항에 있어서,
    상기 제2 인공지능부은 상기 영상 데이터로부터 추출된 움직임 데이터, 얼굴표정 데이터 및 반응 데이터를 입력값으로 사용하는 다중지표 기반 인공지능부을 이용한 자폐증 진단 시스템.
  4. 제1 항에 있어서,
    상기 제3 인공지능부은 포함하는 메타 데이터 및 상기 사기 자폐증 평정척도 데이터를 입력값으로 사용하며,
    상기 아동기 자폐증 평정척도 데이터는 보호자가 상기 대상자를 관찰하여 입력한 데이터이며,
    상기 메타 데이터는 상기 대상자의 성별, 나이, 학년 및 직업 중 적어도 하나에 대한 데이터를 포함하는 다중지표 기반 인공지능부을 이용한 자폐증 진단 시스템.
  5. 제1 항에 있어서,
    상기 서버에 구비되며,
    상기 음성 데이터, 상기 영상 데이터, 상기 대상자의 아동기 자폐증 평정척도 데이터 및 상기 메타 데이터를 각각 전처리하는 전처리부를 포함하는 다중지표 기반 인공지능부을 이용한 자폐증 진단 시스템.
  6. 제5 항에 있어서,
    상기 전처리부는 데이터 비식별화, 데이터 노이즈 제거, 보간법을 활용한 결측 데이터 보완, 데이터 분포/단위 변환 및 데이터 이미지화를 수행하는 다중지표 기반 인공지능부을 이용한 자폐증 진단 시스템.
  7. 제6 항에 있어서,
    상기 전처리부의 데이터 이미지화는 입력 데이터 수치화, 수치화 데이터 n x n 행렬 변환 및 heatmap 형태의 이미지 데이터로 변환하여 수행되는 다중지표 기반 인공지능부을 이용한 자폐증 진단 시스템.
  8. 제7 항에 있어서,
    상기 제1 인공지능부, 상기 제2 인공지능부 및 상기 제3 인공지능부 중 적어도 하나는 상기 전처리부로부터 전송받은 상기 이미지 데이터를 입력받아 학습하여 상기 자폐증 장애 정도와 연관되는 분류값을 예측하는 다중지표 기반 인공지능부을 이용한 자폐증 진단 시스템.
  9. 제8 항에 있어서,
    상기 제1 인공지능부, 상기 제2 인공지능부 및 상기 제3 인공지능부 중 적어도 하나는 상기 이미지 데이터를 입력받아 데이터 합성곱 신경망(CNN, Convolutional Neural Network), LSTM(Long Short-Term Memory) 모델을 이용하여 학습하며, 완전연결계층(Fully-Connected Layer)을 이용하여 분류값을 산출하며,
    상기 분류값을 근거로 앙상블 분석을 통하여 상기 자폐증 장애 정도를 판단하는 다중지표 기반 인공지능부을 이용한 자폐증 진단 시스템.
  10. 제9 항에 있어서,
    상기 서버는,
    상기 자폐증 장애 정도를 판단한 결과를 상기 사용자 인터페이스에 전송하도록 구성되는 다중지표 기반 인공지능부을 이용한 자폐증 진단 시스템.
PCT/KR2022/020416 2022-02-07 2022-12-15 다중지표 기반 인공지능을 이용한 자폐증 진단 시스템 Ceased WO2023149653A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0015250 2022-02-07
KR1020220015250A KR102771726B1 (ko) 2022-02-07 2022-02-07 다중지표 기반 인공지능을 이용한 자폐증 진단 시스템

Publications (1)

Publication Number Publication Date
WO2023149653A1 true WO2023149653A1 (ko) 2023-08-10

Family

ID=87552536

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/020416 Ceased WO2023149653A1 (ko) 2022-02-07 2022-12-15 다중지표 기반 인공지능을 이용한 자폐증 진단 시스템

Country Status (2)

Country Link
KR (1) KR102771726B1 (ko)
WO (1) WO2023149653A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119694531A (zh) * 2024-11-01 2025-03-25 昆山杜克大学 一种孤独症谱系障碍的诊断方法、装置、设备以及介质
US20250114021A1 (en) * 2023-10-06 2025-04-10 Electronics And Telecommunications Research Institute Interaction-based artificial intelligence analysis apparatus and method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102829209B1 (ko) * 2025-02-07 2025-07-09 솔닥 주식회사 인공지능 기반의 고위험군 환자 선별 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190119863A (ko) * 2018-04-13 2019-10-23 인하대학교 산학협력단 반 지도 학습과 여러 개의 멀티 모달 네트워크를 이용한 비디오 기반 인물 감정 인식 기법
KR20210068713A (ko) * 2019-12-02 2021-06-10 주식회사 피디젠 딥러닝 기반 다중의료데이터를 통한 질병의 진행 예측 분석 시스템
KR20210085264A (ko) * 2019-12-30 2021-07-08 한국전자통신연구원 자폐 스펙트럼 장애 진단 장치 및 방법
JP2021184816A (ja) * 2015-08-11 2021-12-09 コグノア， インコーポレイテッド 人工知能およびユーザ入力を用いて発達進度を判定するための方法および装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101784429B1 (ko) 2017-06-22 2017-11-06 주식회사 에스메이커 자폐증 및 발달장애 원격 조기 검진시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021184816A (ja) * 2015-08-11 2021-12-09 コグノア， インコーポレイテッド 人工知能およびユーザ入力を用いて発達進度を判定するための方法および装置
KR20190119863A (ko) * 2018-04-13 2019-10-23 인하대학교 산학협력단 반 지도 학습과 여러 개의 멀티 모달 네트워크를 이용한 비디오 기반 인물 감정 인식 기법
KR20210068713A (ko) * 2019-12-02 2021-06-10 주식회사 피디젠 딥러닝 기반 다중의료데이터를 통한 질병의 진행 예측 분석 시스템
KR20210085264A (ko) * 2019-12-30 2021-07-08 한국전자통신연구원 자폐 스펙트럼 장애 진단 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TANG CHUANGAO; ZHENG WENMING; ZONG YUAN; QIU NANA; LU CHENG; ZHANG XILEI; KE XIAOYAN; GUAN CUNTAI: "Automatic Identification of High-Risk Autism Spectrum Disorder: A Feasibility Study Using Video and Audio Data Under the Still-Face Paradigm", IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, IEEE, USA, vol. 28, no. 11, 29 September 2020 (2020-09-29), USA, pages 2401 - 2410, XP011819225, ISSN: 1534-4320, DOI: 10.1109/TNSRE.2020.3027756 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250114021A1 (en) * 2023-10-06 2025-04-10 Electronics And Telecommunications Research Institute Interaction-based artificial intelligence analysis apparatus and method
CN119694531A (zh) * 2024-11-01 2025-03-25 昆山杜克大学 一种孤独症谱系障碍的诊断方法、装置、设备以及介质

Also Published As

Publication number Publication date
KR102771726B1 (ko) 2025-02-26
KR20230119295A (ko) 2023-08-16

Similar Documents

Publication Publication Date Title
WO2023149653A1 (ko) 다중지표 기반 인공지능을 이용한 자폐증 진단 시스템
WO2020141883A2 (ko) 인공지능 대화형 홈쇼핑 전화 주문 시스템
WO2023146030A1 (ko) 감성, 집중도, 대화를 통합한 인공지능 기반 상호작용 장치, 방법 및 프로그램
WO2024090712A1 (ko) 공감대 형성을 통한 심리 치료용 인공지능 대화 시스템
EP3924875A1 (en) Methods and systems for dynamic and incremental face recognition
WO2023068732A1 (ko) 신경 심리 검사에 대한 점수를 획득하는 방법 및 이를 수행하는 신경 심리 검사 장치 및 컴퓨터 판독 가능한 기록매체
CN119028199A (zh) 基于ai的虚拟数字病人系统
WO2022015005A1 (ko) 대화기반 정신장애선별방법 및 그 장치
WO2022010149A1 (ko) 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN118507036B (zh) 一种情感语义多模态抑郁倾向识别系统
CN114038483A (zh) 基于情感识别的语音质量检测方法、装置、设备及介质
WO2022149701A1 (ko) 개방형 심리척도 전문가 플랫폼을 이용한 심리검사 시스템 및 방법
CN113014881A (zh) 一种神经外科患者日常监护方法及系统
CN119279585A (zh) 一种评估真实情感的方法、装置及视频咨询系统
CN115565672B (zh) 数据的处理方法、装置、电子设备和存储介质
WO2023058946A1 (ko) 시계열 기침음, 호흡음, 낭독음, 발성음 측정을 통한 호흡기 질환 예후 예측시스템 및 방법
WO2024154917A1 (ko) 사용자를 위한 수면 큐레이션 서비스 시스템의 동작 방법
WO2023211128A1 (ko) 음성 데이터를 이용한 ai 기반의 질병 진단 방법 및 장치
WO2023113448A1 (ko) 엣지 컴퓨터 환경에서의 감정 인식 장치 및 그 방법
WO2021107333A1 (ko) 딥러닝 기반 감지상황에서의 음향 사건 탐지 방법
WO2022250171A1 (ko) 교육적 요소를 예측하는 사전학습 모델링 시스템 및 방법
WO2021261827A1 (ko) 피부 나이 진단방법 및 이를 실행시키기 위한 프로그램을 기록한 저장매체
WO2021137395A1 (ko) 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법
WO2017159902A1 (ko) 온라인 면접 시스템 및 그 방법
KR102936856B1 (ko) 폐음 데이터를 이용한 천명 위험 클래스 예측 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22925120

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22925120

Country of ref document: EP

Kind code of ref document: A1