KR102066225B1 - Smart health care apparatus, system and method using artificial intelligence - Google Patents
Smart health care apparatus, system and method using artificial intelligence Download PDFInfo
- Publication number
- KR102066225B1 KR102066225B1 KR1020190027994A KR20190027994A KR102066225B1 KR 102066225 B1 KR102066225 B1 KR 102066225B1 KR 1020190027994 A KR1020190027994 A KR 1020190027994A KR 20190027994 A KR20190027994 A KR 20190027994A KR 102066225 B1 KR102066225 B1 KR 102066225B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- data
- analysis
- voice
- artificial intelligence
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
본 발명은 인공지능 기능의 스마트 진단 장치, 시스템 및 방법으로서, 더욱 상세하게는 카메라가 추가된 데이터 입출력 장치, 즉 인공지능 스피커를 이용하여 이용하여 보호가 필요한 사용자의 상태를 관찰하고 의심되는 증상을 진단하고 환자 발생을 알리는 인공지능 기능의 스마트 진단 장치, 시스템 및 방법에 관한 것이다.The present invention is a smart diagnostic apparatus, system and method of the artificial intelligence function, and more specifically, using a data input and output device, that is, an artificial intelligence speaker with a camera to observe the condition of the user needing protection and suspected symptoms It relates to a smart diagnostic device, system and method of artificial intelligence function for diagnosing and informing the patient occurrence.
과거 제3차 산업혁명에서 인간과 기계의 인터페이스가 터치 관계에 의한 것이었다면, 현재 그리고 앞으로 펼쳐질 제4차 산업혁명에서 인간과 기계의 인터페이스의 근간은 인간의 음성에 기반할 것으로 전망된다.In the past, if the interface between man and machine was based on touch relations in the third industrial revolution, the basis of the interface between man and machine is expected to be based on human voice.
인간의 음성에 기반한 인터페이스를 이룩하기 위해 필요한 것이 오디오 기술과 인공지능 비서(Intelligent personal assistant) 기술이다. 오디오 기술에 의해 인간의 음성에서 기계가 인식할 수 있는 최상 품질의 음성 정보가 수집되고, 수집된 음성 정보는 인공지능 비서 기술에 의해 기계가 인식할 수 있는 언어로 해석된다.What is needed to achieve an interface based on human voice is audio technology and intelligent personal assistant technology. Audio technology collects the highest quality voice information that can be recognized by the machine from human voice, and the collected voice information is interpreted into a machine-recognized language by the artificial intelligence assistant technology.
최근 인공지능 비서와 음성인식을 활용하는 대표적인 서비스에 인공지능 스피커가 자리잡고 있다. 오디오 입력/출력 장치에 해당하는 인공지능 스피커는 인공지능 비서 기능을 수행하는 인공지능 알고리즘에 의해 동작된다. 인공지능 스피커는 오디오 입력 및 출력을 통해 음성인식을 이용하여 음악 감상, 정보 검색 등의 기능을 수행하는 것이 일반 스피커와의 차이점이다.Recently, the AI speaker is located in the representative service using the artificial intelligence assistant and voice recognition. The AI speaker corresponding to the audio input / output device is operated by an AI algorithm that performs an AI assistant function. The AI speaker differs from the general speaker in that it performs a function of listening to music and searching information by using voice recognition through audio input and output.
AI 기반 음성 자연어 처리 기술을 차세대 홈 오토메이션 기술과 접목해 사용자를 위한 자동화 환경을 구현해주는 인공지능 스피커는 미국 아마존과 구글을 중심으로 시장을 확대하는 추세다.AI speakers, which combine AI-based speech natural language processing technology with next-generation home automation technology to create an automated environment for users, are expanding their markets around Amazon and Google.
인공지능 스피커의 기능은 갈수록 확대되고 있다. 초기 음악감상, 날씨 검색 등에서 스마트 홈, 온라인 쇼핑, 배달음식 주문 등으로 넓어지고 이제는 전화통화, 음성 결제도 할 수 있게 됐다.The function of AI speakers is expanding. From early music listening and weather search to smart home, online shopping, delivery food ordering, etc., it is now possible to make phone call and voice payment.
그런데 아직까지 인공지능 스피커가 제공하는 서비스는 홈 서비스에 한정되어 있다. 최근 보도된 미국 인터넷 업체의 조사에 따르면, 인공지능 스피커의 고객들은, 주로 일반적인 질문, 날씨, 스트림 뮤직, 타임/알람, 일정 체크, 홈 자동화, 스트림 뉴스, 게임, 쇼핑 분야에서 인공지능 스피커를 사용한다.However, the service provided by the AI speaker is still limited to the home service. According to a recent survey by US Internet companies, customers of AI speakers use AI speakers mainly for general questions, weather, stream music, time / alarms, schedule checks, home automation, stream news, games, and shopping. do.
본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 장치, 시스템 및 방법은, 가정에 비치된 인공지능 스피커와의 대화를 통해 사용자 개인의 상태를 진단하고 사용자 상태에 관한 정보를 사용자를 보호자 또는 관리자의 단말에 알릴 수 있는 서비스를 제공하는 것을 특징으로 한다. 이러한 점에서 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 장치, 시스템 및 방법은, 상기 살펴본 종래기술과 구별되고 상기 종래기술이 갖는 문제점을 해결하기 위해 개시된다.Smart diagnostic apparatus, system and method of artificial intelligence function according to an embodiment of the present invention, by diagnosing the state of the individual user through a conversation with the artificial intelligence speaker provided in the home and protects the user or the information about the user state It is characterized by providing a service that can notify the terminal of the administrator. In this regard, the smart diagnostic apparatus, system, and method for an artificial intelligence function according to an embodiment of the present invention are distinguished from the above-described prior art and disclosed to solve the problems of the prior art.
본 발명이 해결하고자 하는 과제는, 음성 및 영상 정보를 기반으로 인공지능 기능의 환자 진단 및 감시 서비스를 제공하는 장치, 시스템 및 방법을 제공하는 것이다.An object of the present invention is to provide an apparatus, system, and method for providing a patient diagnosis and monitoring service of an artificial intelligence function based on voice and image information.
본 발명이 추가적으로 해결하려는 과제는, 인공지능 기능의 스피커를 통해 개인의 상태를 분석 및 진단하고, 분석 정보 및 진단 정보를 보호자 등의 단말에 알릴 수 있는 인공지능 기능의 스마트 진단 장치, 시스템 및 방법을 제공하는 것이다.An object of the present invention is to further solve, an artificial intelligence smart diagnostic device, system and method for analyzing and diagnosing an individual's condition through the speaker of the artificial intelligence function, and notifying analysis information and diagnostic information to a terminal such as a guardian. To provide.
본 발명이 추가적으로 해결하려는 과제는, 인공지능 기능의 촬영 기능이 추가된 스피커를 통해 사용자의 음성 및 사용자를 촬영한 영상을 통해, 특히 보호가 필요한 환자의 상태를 분석하고, 병원 및 보건소의 원격 진단 장치를 통해 진단하고, 분석 정보 및 진단 정보를 보호자 등의 단말에 알릴 수 있는 인공지능 기능의 스마트 진단 장치, 시스템 및 방법을 제공하는 것이다.The present invention to further solve the problem, through the user's voice and the image taken by the user through the speaker with the artificial intelligence shooting function, in particular to analyze the condition of the patient needing protection, remote diagnosis of hospitals and public health centers The present invention provides a smart diagnostic apparatus, system, and method of an artificial intelligence function that can diagnose through a device and notify analysis information and diagnostic information to a terminal such as a guardian.
본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 장치는, 사용자의 상태 정보에 관한 오디오 및 비디오 데이터를 수집하고, 사용자와의 대화를 이끄는데 필요한 합성된 음성을 출력하는, 인공지능 비서(intelligent personal assistant) 기능의 데이터 입출력 모듈; 수집된 상기 데이터를 이용하여 사용자와의 대화 주기, 사용자의 음성의 변화 및 대화 내용을 분석하고, 분석 데이터를 출력하는 데이터 분석 모듈; 및 상기 분석 데이터를 이용하여 사용자의 변화된 상태를 진단하는 진단 모듈을 포함하는 것을 특징으로 한다.Smart diagnostic device of the artificial intelligence function according to an embodiment of the present invention, the artificial intelligence assistant, which collects audio and video data about the user's status information, and outputs the synthesized voice required to lead a conversation with the user ( a data input / output module having an intelligent personal assistant function; A data analysis module configured to analyze a conversation period with a user, a change in a user's voice, and a conversation content using the collected data, and output analysis data; And a diagnostic module for diagnosing a changed state of the user using the analysis data.
본 발명의 일 실시 예에 따른 스마트 진단 장치는, 사용자의 상태 정보에 관한 오디오 및 비디오 데이터를 수집하고, 사용자와의 대화를 이끄는데 필요한 합성된 음성을 출력하는, 인공지능 비서(intelligent personal assistant) 기능의 데이터 입출력 장치를 통해 수집된 상기 데이터를 이용하여 사용자와의 대화 주기, 사용자의 음성의 변화 및 대화 내용을 분석하고, 분석 데이터를 출력하는 데이터 분석 모듈; 및 상기 분석 데이터를 이용하여 사용자의 변화된 상태를 진단하는 진단 모듈을 포함하는 것을 특징으로 한다.An intelligent personal assistant according to an embodiment of the present invention collects audio and video data regarding status information of a user and outputs a synthesized voice required to direct a conversation with the user. A data analysis module configured to analyze a conversation period with a user, a change in a user's voice, and a conversation content by using the data collected through a data input / output device having a function, and output analysis data; And a diagnostic module for diagnosing a changed state of the user using the analysis data.
본 발명의 일 실시 예에 따른 스마트 진단 시스템은, 사용자의 상태 정보에 관한 오디오 및 비디오 데이터를 수집하고, 사용자와의 대화를 이끄는데 필요한 합성된 음성을 출력하는, 인공지능 비서(intelligent personal assistant) 기능의 데이터 입출력 장치; 수집된 상기 데이터를 이용하여 사용자와의 대화 주기, 사용자의 음성의 변화 및 대화 내용을 분석하고, 분석 데이터를 출력하는 데이터 분석 장치; 및 상기 분석 데이터를 이용하여 사용자의 변화된 상태를 진단하는 진단 장치를 포함하는 것을 특징으로 한다.An intelligent personal assistant according to an embodiment of the present invention collects audio and video data regarding status information of a user and outputs a synthesized voice required to direct a conversation with the user. A function data input / output device; A data analysis device configured to analyze a conversation period with a user, a change in a user's voice, and a conversation content using the collected data, and output analysis data; And a diagnostic device for diagnosing a changed state of the user using the analysis data.
여기서, 상기 데이터 입출력 모듈은, 사용자의 얼굴 표정, 혈색 및 사용자의 행동을 감지하고 이를 영상으로 캡처하는 카메라를 포함하고, 상기 데이터 분석 모듈은, 상기 카메라를 통해 입력 받은 영상 데이터를 이용하여 사용자 모습 및 사용자의 행동을 분석하고, 분석 데이터를 출력하는 것을 특징으로 한다.Here, the data input / output module includes a camera for detecting a facial expression of a user, color, and a user's behavior and capturing it as an image, and the data analyzing module includes a user's appearance using image data input through the camera. And analyzing the user's behavior and outputting the analysis data.
본 발명의 일 실시 예에 따른 스마트 진단 방법은, 사용자의 상태 정보에 관해 수집된 음성 또는 영상 데이터에 기반하여 사용자의 상태를 진단하는 진단 장치에 의해 수행되는 진단 방법으로서, 인공지능 비서(intelligent personal assistant) 기능을 이용하는 사용자와의 대화를 통해 상기 데이터를 수집하는 단계; 수집된 데이터를 이용하여 사용자와의 대화 주기, 사용자의 음성의 변화 및 대화 내용을 분석하고, 분석 데이터를 출력하는 단계; 및 상기 분석 데이터에 기반하여 사용자의 상태를 진단하는 단계를 포함하는 것을 특징으로 한다.The smart diagnostic method according to an embodiment of the present invention is a diagnostic method performed by a diagnostic apparatus for diagnosing a user's condition based on voice or image data collected with respect to the user's status information. collecting the data through a conversation with a user utilizing an assistant function; Analyzing the conversation period with the user, the change in the user's voice and the conversation content using the collected data, and outputting the analysis data; And diagnosing a state of the user based on the analysis data.
본 발명의 일 실시 예에 따른 스마트 진단 방법은, 사용자의 상태 정보에 관해 수집된 음성 또는 영상 데이터에 기반하여 사용자의 상태를 진단하는 진단 장치에 의해 수행되는 진단 방법으로서, 인공지능 비서(intelligent personal assistant) 기능을 이용하는 사용자와의 대화를 통해 수집된 상기 데이터를 수신하는 단계; 수집된 데이터를 이용하여 사용자와의 대화 주기, 사용자의 음성의 변화 및 대화 내용을 분석하고, 분석 데이터를 출력하는 단계; 및 상기 분석 데이터에 기반하여 사용자의 상태를 진단하는 단계를 포함하는 것을 특징으로 한다.The smart diagnostic method according to an embodiment of the present invention is a diagnostic method performed by a diagnostic apparatus for diagnosing a user's condition based on voice or image data collected with respect to the user's status information. receiving the data collected through a dialogue with a user utilizing an assistant function; Analyzing the conversation period with the user, the change in the user's voice and the conversation content using the collected data, and outputting the analysis data; And diagnosing a state of the user based on the analysis data.
여기서, 상기 데이터를 수집하는 단계는, 사용자의 얼굴 표정, 혈색 및 사용자의 행동이 감지된 영상 데이터를 캡처하는 단계를 더 포함하고, 상기 분석 데이터를 출력하는 단계는, 상기 영상 데이터를 이용하여 사용자 모습 및 사용자의 행동을 분석하고, 분석 데이터를 출력하는 것을 특징으로 한다.The collecting of the data may further include capturing image data of a user's facial expression, color, and user's behavior, and outputting the analysis data may include using the image data. Analyze the appearance and behavior of the user, and outputs the analysis data.
여기서, 상기 데이터를 수신하는 단계는, 사용자의 얼굴 표정, 혈색 및 사용자의 행동이 감지된 영상 데이터를 수신하는 것을 특징으로 하고, 상기 분석 데이터를 출력하는 단계는, 상기 영상 데이터를 이용하여 사용자 모습 및 사용자의 행동을 분석하고, 분석 데이터를 출력하는 것을 특징으로 한다.The receiving of the data may include receiving image data in which a facial expression of a user, a color, and a user's behavior are detected. The outputting of the analysis data may include a user's appearance using the image data. And analyzing the user's behavior and outputting the analysis data.
여기서, 상기 분석 데이터를 출력하는 단계는, 상기 대화의 발생 시각, 소요 시간, 사용자 음성의 변화 및 대화 내용의 분석을 통해 노인 정신 질환의 진단에 필요한 분석 데이터를 출력하고, 사용자의 얼굴 표정, 혈색 및 사용자의 행동 감지 및 영상 분석을 통해 외상, 피부 질환, 내분비 및 순환 계통에 관한 질환의 진단에 필요한 분석 데이터를 출력하는 것을 특징으로 한다.The outputting of the analysis data may include outputting analysis data necessary for diagnosing the mental illness of the elderly by analyzing the time of occurrence of the conversation, the time required, the change of the user's voice and the contents of the conversation, and the facial expression and color of the user. And outputting analysis data necessary for diagnosing a trauma, a skin disease, an endocrine, and a disease related to the circulatory system through the user's behavior detection and image analysis.
여기서, 스마트 진단 방법은, 분석 또는 진단 결과에 따라 사용자를 보호하거나 관리하는 보호자 및 관공서 측의 단말에 분석 데이터 또는 진단 결과를 전송하는 단계를 더 포함하는 것을 특징으로 한다.Here, the smart diagnostic method, characterized in that it further comprises the step of transmitting the analysis data or diagnostic results to the terminal of the guardian and the government office to protect or manage the user according to the analysis or diagnosis results.
여기서, 상기 사용자의 상태를 진단하는 단계는, 전송 받은 분석 데이터를 이용하여, 진단 장치에 해당하는 병원 또는 보건소의 원격진료 서버를 통해 사용자의 상태를 진단하는 것을 특징으로 한다.The diagnosing of the user's state may include diagnosing the user's state through a remote medical server of a hospital or a public health center corresponding to the diagnosis apparatus using the received analysis data.
본 발명에 의하면, 음성 및 영상 정보를 기반으로 인공지능 기능의 데이터 입출력 장치를 이용하여 격지에 떨어진 환자를 진단 및 감시할 수 있다.According to the present invention, it is possible to diagnose and monitor a patient who has fallen into a space using a data input / output device having an artificial intelligence function based on voice and image information.
또한, 인공지능 기능의 데이터 입출력 장치를 통해 개인의 변화된 상태를 분석 및 진단하고, 분석 정보 및 진단 정보를 보호자 등의 단말에 알릴 수 있다.In addition, the data input / output device having an artificial intelligence function may analyze and diagnose a changed state of an individual, and may notify analysis information and diagnostic information to a terminal such as a guardian.
또한, 인공지능 기능의 데이터 입출력장치를 통해 사용자의 음성 및 사용자를 촬영한 영상을 기반으로, 특히 보호가 필요한 환자의 상태를 분석하고, 병원 및 보건소의 원격 진단 장치를 통해 진단하고, 분석 정보 및 진단 정보를 보호자 등의 단말에 알릴 수 있다.In addition, based on the user's voice and images taken by the user through the artificial intelligence data input and output device, in particular, the condition of the patient in need of protection is analyzed, and diagnosed by the remote diagnosis device of the hospital and public health center, and the analysis information and The diagnostic information can be informed to the terminal such as a guardian.
도 1은 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 장치의 예시도이다.
도 1은 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 장치의 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 장치의 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 장치의 예시도이다.
도 5는 도 4에 도시된 장치의 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 방법의 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 음성 및 영상 분석과정에 관한 블록도이다.1 is an exemplary diagram of a smart diagnostic apparatus of the artificial intelligence function according to an embodiment of the present invention.
1 is an exemplary diagram of a smart diagnostic apparatus of the artificial intelligence function according to an embodiment of the present invention.
3 is an exemplary view of a smart diagnostic apparatus of the artificial intelligence function according to an embodiment of the present invention.
4 is an exemplary diagram of a smart diagnostic apparatus of an artificial intelligence function according to an embodiment of the present invention.
5 is a block diagram of the apparatus shown in FIG. 4.
6 is a flowchart illustrating a smart diagnosis method of an artificial intelligence function according to an embodiment of the present invention.
7 is a block diagram illustrating an audio and video analysis process according to an embodiment of the present invention.
이하, 첨부한 도면을 참조하여 인공지능 기능의 스마트 진단 장치, 시스템 및 방법에 대한 바람직한 실시 예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of a smart diagnosis apparatus, a system, and a method of an artificial intelligence function will be described in detail with reference to the accompanying drawings.
각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 일 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.Like reference numerals in the drawings denote like elements. In addition, specific structural to functional descriptions of one embodiment of the present invention are only illustrated for the purpose of describing the embodiment according to the present invention, and unless otherwise defined, all terms used herein including technical or scientific terms are used. The terms have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and are not construed in ideal or excessively formal meanings unless expressly defined herein. It is preferable not to.
이하 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 장치 및 시스템에 대해 설명하기로 한다.Hereinafter, a smart diagnosis apparatus and system of an artificial intelligence function according to an embodiment of the present invention will be described.
본 발명의 실시 예에 따른 스마트 진단 장치(100) 및 시스템(1000)은 원격 진단 및 처방을 목적으로, 진단을 위한 데이터를 수집하는 수단(200), 수집된 데이터를 분석하는 수단(300, 400) 및 분석된 데이터를 이용하여 진단 및 처방을 내리는 수단(100) 및 진단에 필요한 데이터베이스(600)을 포함한다. 수집된 데이터는 음성 및 영상 데이터를 포함한다. 그리고, 본 발명에 따른 일 실시 예에서 음성 데이터를 처리하고 분석하는 수단(300)과 영상 데이터를 처리하고 분석하는 수단(400)은 공유 또는 독립적으로 구성될 수 있다. 그리고 각 수단들(100 ~ 400)과 데이터베이스(600)은 네트워크(700)을 통해 연결되며, 각 장치들 중에서 진단을 위한 데이터를 수집하는 수단(200) 외의 수단들과 데이터베이스(600)은 같은 장소에 또는 각기 독립된 장소에 위치할 수 있다. 이하 각 수단들(100 ~ 400)과 데이터베이스(600)의 구체적인 구성에 대해 설명하기로 한다.Smart
도 1과 도 2는 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 장치의 예시도이다.1 and 2 are exemplary diagrams of a smart diagnostic apparatus of an artificial intelligence function according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 장치(100)는, 그 구성요소로서 데이터 입출력 모듈(110), 데이터 분석 모듈(120), 및 진단 모듈(130)을 포함한다. 그리고 인공지능 기능의 스마트 진단 장치(100), 관리 서버 또는 사용자 단말(10) 및 데이터베이스(600)은 서로 통신이 가능하도록 네트워크(700)을 통해 연결된다.Referring to FIG. 1, the smart
도 1에 나타난 실시 예에서 스마트 진단 장치(100)는 사용자에 관한 음성 데이터 및 영상 데이터의 수집하는 프로세스에서 시작해서, 이들 데이터를 분석하는 프로세스, 분석 데이터를 이용하여 사용자의 상태를 진단하는 프로세스를 처리하는 것을 특징으로 한다. 연산을 수행하는 프로세서의 처리 능력 향상에 따라, 도 1에 도시된 스마트 진단 장치(100)는 카메라가 장착된 인공지능 스피커와 PC를 이용하여 구현될 수 있다.In the embodiment shown in FIG. 1, the smart
스마트 진단 장치(100)는 자체에 포함된 데이터베이스(600)를 이용하거나 네트워크를 통해 연결된 데이터베이스(600)를 이용할 수 있다. 데이터베이스(600)는 인공지능을 이용하여 음성 인식, 음성 합성, 영상 분석 및 상태 진단에 필요한 데이터를 포함한다.The smart
도 2를 참조하면, 본 발명의 일 실시 예에 따른 스마트 진단 장치(100)는, 도 1의 스마트 진단 장치(100)와 비교하여 데이터 입출력 모듈(110)에 해당하는 독립된 데이터 입출력 장치(200)를 포함하지 않도록 구성될 수 있다. 따라서, 도 2의 스마트 진단 장치(100)는 데이터 입출력 장치(200)로부터 수집된 음성 및 영상 데이터를 수신한다.Referring to FIG. 2, the smart
도 2에 나타난 실시예에서 스마트 진단 장치(100)는, 독립된 장치(200)로부터 사용자에 관한 음성 데이터 및 영상 데이터를 수집해서, 이들 데이터를 분석하는 프로세스, 분석 데이터를 이용하여 사용자의 상태를 진단하는 프로세스를 처리하는 것을 특징으로 한다. 연산을 수행하는 프로세서의 처리 능력 향상에 따라, 도 2에 도시된 마이크로폰, 스피커 및 카메라가 구비된 데이터 입출력 장치(200)가 클라이언트 형태로, 스마트 진단 장치(100)가 서버 형태로 구현될 수 있다.In the embodiment shown in FIG. 2, the
스마트 진단 장치(100)는 자체에 포함된 데이터베이스(600)를 이용하거나 네트워크를 통해 연결된 데이터베이스(600)를 이용할 수 있다. 데이터베이스(600)는 인공지능을 이용하여 음성 인식, 음성 합성, 영상 분석 및 상태 진단에 필요한 데이터를 포함한다.The smart
도 3과 도 4는 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 시스템의 예시도이다.3 and 4 are exemplary diagrams of a smart diagnosis system of an artificial intelligence function according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 시스템(1000)은, 진단 장치(100), 데이터 입출력 장치(200), 데이터 분석 장치(500), 데이터베이스(600) 및 네트워크(700)를 포함한다.Referring to FIG. 3, the
도 4를 참조하면, 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 시스템(1000)은, 도 3의 구성과 비교하여 데이터 분석 장치(500) 대신에 음성 분석 장치(300) 및 영상 분석 장치(400)를 포함한다. 이하, 도 1 내지 도 4에 도시된, 데이터 입출력 수단, 데이터 분석 수단 및 진단 수단에 해당하는 구성 모듈 및 구성 장치를 대표로서 도 4를 참조하여 설명하기로 한다.Referring to FIG. 4, the smart
도 4를 다시 참조하면, 데이터 입출력 장치(200)는 인공지능 비서 기능을 이용하여 대화 수행의 하나의 개체로 작용하면서 사용자와 대화를 나누고, 대화를 통해 사용자의 변화를 관찰하고, 상태가 변화된 사용자로부터 사용자의 오디오 및 비디오 정보를 수집하는 역할을 수행한다. 오디오 정보를 수집하기 위해 데이터 입출력 장치(200)는 사용자와의 대화에서 음성을 입력 받고 이에 대한 대답으로 합성된 음성을 출력하는 기능을 수행한다. 비디오 정보를 수집하기 위해 데이터 입출력 장치(200)는 사용자와의 대화 중에 카메라를 이용하여 영상을 캡처하는 기능을 수행한다.Referring back to FIG. 4, the data input /
영상 분석 장치(400)는 수집된 영상을 이용하여 진단에 필요한 분석 데이터, 즉 영상 데이터를 출력하고 이를 진단 장치에 전송하는 역할을 수행한다.The
음성 분석 장치(300)는 음성 인식을 통해 대화에 필요한 자연어를 생성하고, 마찬가지로 진단에 필요한 분석 데이터, 즉 오디오 데이터를 출력하고 이를 진단 장치에 전송하는 역할을 수행한다.The
스마트 진단 장치(100)는 분석 데이터, 즉 영상 및 오디오 데이터를 이용하여 사용자의 상태를 진단하는 역할을 수행한다. 여기서, 데이터베이스(600)는 진단에 필요한 각종 질병에 관한 데이터를 제공한다. 특히 스마트 진단 장치(100)는 그 종류로서 직접적인 진단을 수행하는 진단 서버 및 의사에 의한 진단을 간접적으로 보조하는 사용자 단말을 포함할 수 있다.The smart
네트워크(700)는 유선 및 무선 네트워크, 예를 들어 인터넷, 인트라넷 및 엑스트라넷, 셀룰러 시스템, 예를 들어 3G 이동통신, GSM, WCDMA, CDMA 2000, LTE, 5G 이동통신, LAN, WAN, WiFi 네트워크, 애드혹 네트워크 및 이들의 조합을 비롯한 임의의 적절한 통신 네트워크 일 수 있다.The
네트워크(700)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(700)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(700)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 이하 데이터 입출력 장치(200), 음성 분석 장치(300) 및 영상 분석 장치(400)의 구체적인 구성에 대해 설명하기로 한다.
도 5는 도 4의 인공지능 기능의 스마트 진단 시스템에 포함된 각 장치의 블록도이다.5 is a block diagram of each device included in the smart diagnostic system of the artificial intelligence function of FIG.
도 5에서 구성요소 200을 참조하면, 데이터 입출력 장치(200)는 통신 인터페이스(210), 오디오 입출력 인터페이스(220), 음성합성 모듈(230) 및 카메라 모듈(240)을 포함한다.Referring to
데이터 입출력 장치(200)는 사용자 음성 정보에 관한 데이터의 입출력과 사용자 영상 정보에 관한 영상 데이터의 입력을 담당한다. 사용자 음성 정보는, 사용자와 데이터 입출력 장치(200) 사이의 대화 과정, 예를 들어 예를 들어 보호 및 관찰 대상이 되는 혼자 사시는 노인이 발화하는 음성에 대한 전처리 단계와 음성인식 단계, 음성인식의 결과가 텍스트로 출력되는 단계, 이 후에 출력된 텍스트가 자연어 해석되고 이에 대한 응답이 대화 관리, 자연어 생성 및 번역 단계를 처치면서 완성되고 완성된 텍스트 응답이 음성 합성을 통해 데이터 입출력 장치(200)를 통해 출력되는 단계를 통해 수집될 수 있다.The data input /
데이터 입출력 장치(200)는 통신 인터페이스(210)를 이용하여 홈 게이트웨이 기능을 수행하는 것을 특징으로 한다. 여기서, 홈 게이트웨이는 가정의 LAN을 외부의 네트워크, 예를 들어 인터넷에 연결하는 역할을 하는 일종의 허브를 말한다. 데이터 입출력 장치(200)는 통신 인터페이스(210)를 통해 각종 다른 장치와 통신을 수행할 수 있다. 데이터 입출력 장치(200)는 카메라가 장착된 인공지능 스피커(200) 형태로 구현될 수 있다.The data input /
또한, 데이터 입출력 장치(200)는 통신 인터페이스(210)를 이용하여 라우터의 기능을 수행할 수 있다. 즉 데이터 입출력 장치(200)는 통신 인터페이스(210)를 통해 고객의 통신 단말에 와이파이(Wi-Fi)와 같은 무선랜 서비스를 제공할 수 있다.In addition, the data input /
데이터 입출력 장치(200)는 오디오 입출력 인터페이스(220)를 통해 사용자의 음성을 입력 받고, 합성된 음성을 출력한다. 오디오 입출력 인터페이스(220)는 마이크로폰과 스피커로 구현될 수 있고, 마이크로폰은 음성을 입력 받아 전기적인 신호로 변경시키고, 전기적인 신호는 스트리밍 또는 파일로 저장되어 음성 분석 장치(300)로 전송될 수 있다.The data input /
데이터 입출력 장치(200)는 사용자와의 대화에 필요한 응답을 완성하기 위해 음성 분석 장치(300)로부터 텍스트 응답을 수신하고, 음성합성 모듈(230)을 이용하여 고객의 대화에 필요한 텍스트 응답을 음성으로 변환하고, 변환된 음성을 음성 입출력 인터페이스(220)를 통해 출력한다.The data input /
통신 인터페이스(210)는 유선 데이터 통신 외에 근거리 무선통신, 무선 데이터 통신 및 무선 음성통신을 위한 장치를 포함한다. 구체적으로 통신 인터페이스(210)는 네트워크(700)의 각종 통신망에 대응하는 통신 모듈, 예를 들어 블루투스 모듈, Wi-Fi 모듈, 이더넷 인터페이스 카드, USB 모듈, 셀룰러 무선 통신 모듈, 모뎀 및 무선 공유기를 포함하되, 이에 한정되는 것은 아니다.The communication interface 210 includes devices for short range wireless communication, wireless data communication, and wireless voice communication in addition to wired data communication. Specifically, the communication interface 210 includes a communication module corresponding to various communication networks of the
도 5에서 구성요소 400을 참조하면, 영상 분석 장치(400)는 영상 전처리 모듈(410), 저장 장치(420), 영상 분석 모듈(430), 통신 장치(440), 입력 장치(450) 및 출력 장치(460)를 포함한다. 이하 본 발명의 일 실시 예에 따른 영상 분석 장치(400)에 대해 설명하기로 한다.Referring to
영상 전처리 모듈(410)은 디지털로 변환된 영상 데이터에 전처리를 수행한다. 전처리는 밝기 조정, 감마값 조정 및 이진화 등 각종 이미지 프로세싱 과정을 포함한다.The
저장 장치(420)는 카메라 모듈(240)을 통해 캡처된 영상 데이터, 이를 분석한 결과에 해당하는 분석 데이터를 저장한다.The
영상 분석 모듈(430)은 전처리된 영상 데이터를 이용하여, 사용자의 얼굴 표정, 혈색 및 사용자의 행동을 감지하고 영상 분석을 통해 사용자의 피부 질환, 내분비 및 순환 계통에 관한 질환의 진단에 필요한 분석 데이터를 출력한다.The
통신 장치(440)는 유선 데이터 통신 외에 근거리 무선통신, 무선 데이터 통신 및 무선 음성통신을 위한 장치를 포함한다. 구체적으로 통신 장치(440)는 네트워크(700)의 각종 통신망에 대응하는 통신 모듈, 예를 들어 블루투스 모듈, Wi-Fi 모듈, 이더넷 인터페이스 카드, USB 모듈, 셀룰러 무선 통신 모듈, 모뎀 및 무선 공유기를 포함하되, 이에 한정되는 것은 아니다.The
입력 장치(450)는 사용자의 입력에 따라 영상 정보의 분석에 필요한 각종 명령을 입력 받는다. 입력 장치(450)는 키보드, 터치스크린, 마우스, 전자펜 및 바코드 입력장치 등에 의해 구현될 수 있으며, 이에 한정되는 것은 아니다.The
출력 장치(460)는 영상 정보 분석 과정 등을 출력하는 디스플레이 디바이스 등에 의해 구현될 수 있다. 이하 음성 분석 장치(300)에 대해 설명하기로 한다.The output device 460 may be implemented by a display device for outputting an image information analysis process or the like. Hereinafter, the
도 2에서 구성요소 300을 참조하면, 음성 분석 장치(300)는 인공지능 및 자연어 처리 모듈(310), 음성 분석 모듈(320) 및 데이터/지식 베이스(330)를 포함한다. 여기서, 인공지능 및 자연어 처리 모듈(310)은 공개된 인공지능 및 자연어 처리 API를 이용할 수 있다.Referring to
전처리 모듈(311)은 입력되는 소리 중에서 소음을 제거하고 사람의 음성을 추출하고, 이를 증폭 변환하는 음성 전처리 과정을 수행한다. 음성 인식 모듈(312)은 전처리 모듈(310)로부터 전달 받은 음성 신호를 텍스트로 변환하는 음성 인식 역할을 수행한다. 그리고 자연어 해석 모듈(313)은 텍스트에 포함되어 있는 자연어의 의미를 해석한다. 대화 관리자(314)는 대화 흐름과 상황을 고려해서 사용자 발화의 의도에 대한 최선의 대화 전략을 결정하여 시스템 발화의 의미 및 표현을 생성한다. 그리고 자연어 생성 모듈(315)은, 자연어에 대한 응답으로서 대화 관리자(314)에 의해 생성된 의미 및 표현이 포함된 자연어 텍스트 응답을 생성한다. 여기서, 번역 모듈(316)이 구비되어 있어서 자연어 텍스트 응답을 외국어로 번역하는 역할을 수행할 수도 있다.The preprocessing module 311 performs a voice preprocessing process of removing noise from the input sound, extracting a human voice, and amplifying and converting it. The
음성 분석 모듈(320)은 사용자의 대화 내용을 기초로 사용자와의 대화 주기, 사용자의 음성의 변화 및 대화 내용을 분석한다. 음성 분석 장치(300)는 이러한 분석 결과를 통해 사용자의 정신 질환 및 노인 질환의 진단에 필요한 분석 데이터를 출력한다.The
데이터/지식 베이스(330)는 인공지능 알고리즘을 이용하여 사용자의 음성을 인식하고 및 사용자의 음성을 분석하기 위해 필요한 학습 데이터를 포함한다.The data /
도 6은 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 방법의 흐름도이다.6 is a flowchart illustrating a smart diagnosis method of an artificial intelligence function according to an embodiment of the present invention.
도 6을 참조하면, 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 방법은 S110 내지 S150 단계를 포함한다. 그리고 각 단계는 도 1에 묘사된 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 장치(100) 또는 시스템(1000)에 포함된 구성 장치에 의해 수행되는 것을 특징으로 한다.Referring to FIG. 6, the smart diagnostic method of an artificial intelligence function according to an embodiment of the present invention includes steps S110 to S150. And each step is characterized in that performed by the configuration device included in the smart
즉, 인공지능 기능의 스마트 진단 방법(S100)을 구성하는 각 단계는 하나의 장치(100), 2개의 장치들(100, 200), 3개의 장치들(100, 200, 500) 또는 4개의 장치들(100, 200, 300, 400)에 의해 수행되는 것을 특징으로 한다. 이하, 4개의 장치에 의해 수행되는 스마트 진단 방법을 예로써 설명하기로 한다.That is, each step constituting the smart diagnostic method (S100) of the artificial intelligence function is one
먼저, 인공지능 비서(intelligent personal assistant) 기능의 데이터 입출력 장치(200)를 이용하여 사용자와의 대화를 통해 사용자가 발화하는 음성 데이터가 수집된다(S110). 데이터 입출력 장치(200)는 인공지능 알고리즘을 이용하여 일반 소음과 사용자의 음성을 구별하고, 상시 녹화 모드에서 사용자의 음성을 녹화하고, 녹화된 오디오 데이터는 음성 분석 장치(300)에 저장된다. 사용자와 데이터 입출력 장치(200)가 서로 번갈아 가면서 음성을 발화하는 본격적인 대화는, 사용자에 의한 물리적 키의 작동이나 구동 명령어 발화에 의해 시작된다.First, voice data spoken by a user is collected through a conversation with a user using a data input /
또한, 카메라를 통해 사용자의 얼굴 표정, 혈색 및 사용자의 행동이 감지되고 이에 관한 영상이 캡처된다(S120). 여기서, S110 및 S120 단계는 선후의 순서 없이 양 단계가 진행되거나, 동시에 또는 어느 하나의 단계만이 진행될 수도 있다. 미리 설정에 의해 데이터 입출력 장치(200)는 정기적으로 일정한 시각, 예를 들어 아침 기상 후에 또는 아침 식사 후에 사용자와 인사 및 대화를 통해 사용자의 오디오 및 비디오 데이터를 수집할 수 있다. 그러나, 사용자에 관한 비디오 데이터는 카메라 모듈(240)이 사용자의 모습을 포착 가능한 위치에 사용자가 있어야 하기 때문에 시간 및 공간의 제약이 있을 수 있다.In addition, the user's facial expression, color, and user's behavior are detected through the camera, and an image related thereto is captured (S120). Here, in steps S110 and S120, both steps may be performed without a subsequent order, or at the same time or only one step may be performed. By presetting, the data input /
다음으로, 음성 및 영상 분석 장치(300, 400)를 통해 수집된 음성 데이터를 이용하여 사용자와의 대화 주기, 사용자의 음성의 변화, 대화 내용이 분석되고, 분석 데이터가 출력된다(S130). 또한, 카메라 모듈(240)을 통해 입력 받은 영상 데이터를 이용하여 사용자 모습 및 사용자의 행동이 분석되고, 분석 데이터가 출력된다. 여기서, 사용자의 음성의 변화, 대화 내용, 사용자 모습 및 사용자의 행동 분석은 과거에 수집된 사용자의 음성 및 영상 데이터를 기반으로 인공지능 알고리즘을 통해 학습된 모델을 통해 수행된다.Next, the dialogue period with the user, the change of the user's voice, the contents of the conversation are analyzed by using the voice data collected through the voice and
추가적으로, 음성 및 영사 분석 장치(300, 400)를 통해 분석 결과에 따라 사용자를 보호하는 보호자 단말 및 사용자를 관리하는 관리자 단말(10)에 분석 데이터 및 알람 신호가 전송될 수 있다(S140).In addition, analysis data and an alarm signal may be transmitted to the guardian terminal protecting the user and the
다음으로, 분석 데이터를 이용하여 인터넷 포탈 서버 또는 질병 관리 서버에 구축된 질병에 관한 데이터베이스에 기초하여 사용자의 변화된 상태가 진단된다(S150). 분석 데이터는 사용자에 관한 음성 및 영상을 분석한 결과를 포함한다. 예를 들어 분석 데이터는, 사용자의 음성 변화 여부, 음성 변화 정도, 대화 중에 단어 선택에 있어서의 특징 또는 변화, 발화 내용이 평소의 발화 대비 문법에 맞는지 여부, 사용자 얼굴 표정의 변화, 혈색의 변화, 얼굴 또는 몸에 외상의 존재 여부, 신체 상의 변화 여부, 기존 행동 대비 사용자 행동의 특이점 등에 관한 정보에 관한 데이터를 포함한다.Next, the changed state of the user is diagnosed based on a database of diseases established in the Internet portal server or the disease management server using the analysis data (S150). The analysis data includes a result of analyzing audio and video about a user. For example, the analysis data may include changes in the user's voice, degree of voice change, characteristics or changes in word selection during conversation, whether or not the utterance is in conformity with the grammar compared to the usual utterance, the change in the facial expression of the user, the change in the color, It includes data on the presence or absence of a trauma to the face or body, changes in the body, singularity of the user's behavior compared to the existing behavior.
여기서, 분석 데이터를 출력하는 단계(S130)는, 사용자와의 대화 주기, 사용자의 음성의 변화 및 대화 내용을 분석을 통해 사용자의 정신 질환 및 노인 질환의 진단에 필요한 분석 데이터를 출력하는 것을 특징으로 한다. 예를 들어, 사용자가 사용하는 언어의 변화, 음색의 변화, 발화 속도의 변화 등을 기초로 사용자의 치매 발명 여부를 진달할 수 있다.Here, the step of outputting the analysis data (S130), characterized in that to output the analysis data necessary for the diagnosis of mental and elderly diseases of the user through the analysis of the conversation period, the change of the user's voice and the conversation content with the user do. For example, it is possible to advance whether or not the user invented dementia based on a change in a language, a change in a tone, a change in a speech rate, etc. used by the user.
여기서, 분석 데이터를 출력하는 단계(S130)는, 사용자의 얼굴 표정, 혈색 및 사용자의 행동을 감지 및 영상 분석을 통해 사용자의 피부 질환, 내분비 및 순환 계통에 관한 질환의 진단에 필요한 분석 데이터를 출력하는 것을 특징으로 한다. 예를 들어, 사용자의 변화된 혈색을 기초로 내분비 장애를 진단하거나, 사용자의 몸에서 발견되는 외상 또는 신체상의 변화를 기초로 사고 발생에 의한 신체 침해를 진단할 수 있다.Here, the step of outputting the analysis data (S130), through the detection and image analysis of the user's facial expression, color, and the user's behavior outputs the analysis data necessary for diagnosing the user's skin disease, endocrine and diseases related to the circulatory system Characterized in that. For example, an endocrine disorder may be diagnosed based on a changed color of a user, or a physical infringement due to an accident may be diagnosed based on a trauma or physical change found in a user's body.
특히, 사용자의 상태를 진단하는 단계(S150)는, 전송 받은 음성 및 영상 분석 데이터를 이용하여, 병원 또는 보건소의 원격진료 서버를 통해 사용자의 상태를 직접적으로 진단하는 단계; 및 사용자 단말을 통해 의사 판단에 기초하여 사용자의 상태를 간접적으로 진단하는 단계 중에서 적어도 하나의 단계를 포함하는 것을 특징으로 한다. 예를 들어, 분석 데이터가 진단 서버에 입력되고, 이를 기초로 인공지능 알고리즘을 통해 자동으로 치매 발병 여부가 확률적으로 진단 서버에 의해 직접적으로 진단되거나, 분석 데이터가 의사가 소지한 사용자 단말에 전송되고, 분석 데이터 기초로 하는 의사의 판단에 의해 치매 발명 여부가 간접적으로 진달될 수 있다.In particular, the step (S150) of diagnosing the user's condition may include directly diagnosing the user's condition through a remote medical server of a hospital or a public health center using the received audio and image analysis data; And indirectly diagnosing the state of the user based on the decision of the doctor through the user terminal. For example, the analysis data is input to the diagnostic server, and based on the artificial intelligence algorithm, the diagnosis of dementia is automatically or directly probable by the diagnostic server based on the AI algorithm, or the analysis data is transmitted to the user terminal possessed by a doctor. In addition, whether or not the invention of dementia can be indirectly advanced by the judgment of the physician based on the analysis data.
머신 러닝(machine learning) 내지는 인공 지능(artificial intelligence)이라 불리는 학습된 기계를 이용하여 데이터를 처리하는 방법은 하드웨어 및 소프트웨어 적인 수단에 의해 구현될 수 있다. 그리고 하드웨어 및 소프트웨어 적인 수단은, 신경 회로망, 클라우드 컴퓨팅, 인공지능 알고리즘 및 마이크로프로세서 등을 포함한다. The method of processing data using a learned machine called machine learning or artificial intelligence may be implemented by hardware and software means. Hardware and software means include neural networks, cloud computing, artificial intelligence algorithms and microprocessors.
이하 본 발명의 일 실시 예에서 수행되는 인공 지능 기능에 대해 설명하기로 한다.Hereinafter, an artificial intelligence function performed in an embodiment of the present invention will be described.
도 7은 본 발명의 일 실시 예에 따른 음성 및 영상 분석과정에 관한 블록도이다.7 is a block diagram illustrating an audio and video analysis process according to an embodiment of the present invention.
도 7을 참조하면, 데이터 입출력 장치(200), 영상 분석 장치(400) 및 음성 분석 장치(300)에 의해 수행되는 데이터 처리 및 데이터 분석 과정이 나타나 있다.Referring to FIG. 7, a data processing and data analysis process performed by the data input /
데이터 입출력 장치(200)는 오디오 입출력 인터페이스(220)를 통해 입력된 음성 신호를 전기적 신호로 변환시켜 이를 음성 분석 장치(300)에 전송하고, 대화를 구성하는 응답을 출력하기 위해 오디오 입출력 인터페이스(220)를 통해 음성 분석 장치(300)로부터 전송 받은 텍스트 응답을 음성으로 변환하여 출력한다.The data input /
음성합성 모듈(230)은 자연어 텍스트 응답을 미리 설정된 음색의 음성으로 변환하여 출력한다. 특히 음성합성 모듈(230)은 데이터 입출력 장치(200) 내에 포함되는 것이 특징이고, 그러나 반드시 이에만 한정되는 것은 아니고 인공지능 및 자연어 처리 모듈(310)과 함께 음성 분석 장치(300) 내에 포함될 수 있다.The speech synthesis module 230 converts the natural language text response into a voice of a preset tone and outputs it. In particular, the voice synthesis module 230 may be included in the data input /
카메라 모듈(240)은 데이터 입출력 장치(200)에서 영상 정보를 수집하는 역할을 한다. 카메라 모듈(240)은 다수 개가 구비될 수 있다. 예를 들어, 대화중의 사용자의 얼굴을 포착하기 위해 데이터 입출력 장치(200) 내에 제1 카메라가 구비되고, 사용자의 행동을 관찰하기 위해 벽면 또는 천장에 제2 카메라가 구비될 수 있다. 제2 카메라는 무선 또는 유선 연결을 통해 데이터 입출력 장치(200)와 통신을 수행하고 데이터를 송신할 수 있다. 여기서 제1 카메라는 스마트폰에 사용되는 카메라 모듈이 사용되고, 제2 카메라는 회전, 틸트 및 줌 조정이 가능한 RTZ 카메라로 구현될 수 있다.The camera module 240 collects image information from the data input /
음성 분석 장치(300)는 그 기능별로 음성 인식 서버 및 자연어 처리 서버를 포함할 수 있다. 그리고 음성 인식 서버는 데이터 입출력 장치(200)로부터 전송 받은 음성 데이터를 기반으로 인공지능 알고리즘을 이용하여 음성을 인식하고 텍스트 형태로 음성 인식 결과를 출력시켜 이를 대화 자연어 처리 서버에 전송한다. 자연어 처리 서버는 음성 인식 결과를 이용하여 자연어 해석, 대화 관리, 자연어 생성 및 번역을 통해 텍스트 응답을 출력한다. 자연어 해석, 대화 관리 및 자연어 생성 과정에서도 인공지능 알고리즘이 사용된다. 출력된 텍스트 응답은 데이터 입출력 장치(200)로 전송된다. 음성 합성 과정이 서버에 의해 수행될 수 있으나, 데이터 입출력 장치(200)는 음성 파일보다는 용량이 적은 텍스트 응답을 전송 받고 이를 음성 합성하여 출력할 수도 있다.The
또한, 상대적으로 연산 용량이 많지 않은 음성 합성은 서버보다는 데이터 입출력 장치(200)에 의해 수행되고 그 결과 합성된 음성이 최종적으로 데이터 입출력 장치(200)의 스피커를 통해 출력 될 수 있다.In addition, the speech synthesis, which does not have a relatively large computing capacity, is performed by the data input /
그 밖의 서버를 이용하여 데이터/지식 베이스(330)를 구비할 수 있으며, 데이터/지식 베이스(330)는 자연어를 기계적으로 분석해 컴퓨터가 이해할 수 있는 형태로 만들거나 또는 컴퓨터의 처리 결과를 인간이 이해할 수 있는 언어로 만드는 기술인 자연어 처리와 관련된 각종 엔진, 사전 및 지식 베이스를 포함할 수 있다.The data /
비디오 데이터를 분석하는 과정은 영상 전처리(410) 과정과 영상 분석(430) 과정을 포함할 수 있다. 영상 전처리 과정은 촬영된 사용자에 관한 영상에서 노이즈를 제거하고 다양한 종류의 보정에 관한 이미지 프로세싱 작업을 포함한다.The process of analyzing video data may include an
영상 분석 과정에서도 영상 분석에 필요한 데이터베이스(440)가 활용될 수 있다. 데이터베이스(440)는 사용자의 과거 영상 데이터를 포함한다. 서로 다른 때에 녹화된 사용자의 영상 데이터를 서로 비교하거나, 사용자의 영상과 질병 등에 관한 영상을 비교함으로써 진단에 필요한 영상 분석이 수행될 수 있다.In the image analysis process, the
진단 장치에 의해 수행되는 과정은 진단부(410)에 의한 진단 과정과 처방부(430)에 의한 처방 과정을 포함한다. 데이터베이스(600)은 진단에 필요한 질병에 관한 데이터, 예를 들어 질병관리본부의 데이터 및 포틀 사이트의 질병에 관한 각종 데이터를 포함한다.The process performed by the diagnostic apparatus includes a diagnosis process by the
음성 분석 장치(300)가 제공하는 음성의 전처리, 음성 인식, 자연어 해석, 대화 관리, 자연어 생성 및 번역 서비스에는 인공지능 AIP 및 자연어 처리 API 이용이 수반되는 것이 특징이다. 여기서, 머신 러닝 또는 딥 러닝에 관한 연산을 처리하기 위해서 공개된 API가 이용될 수 있다.The speech preprocessing, speech recognition, natural language analysis, conversation management, natural language generation and translation services provided by the
도 2에 도시된 데이터 입출력 장치(200), 영상 분석 장치(400), 및 음성 분석 장치(300) 구성에서 각각의 장치 또는 모듈은 설명의 편의를 위해 기능적으로 구분한 구성으로, 하드웨어적으로는 하나의 프로세서에 의해 처리되는 논리적인 기능으로 구성될 수 있는 것으로, 제시된 구분에 의해 본 발명을 한정하는 것은 아니다.In the configuration of the data input /
또한, 각 구성간의 연결 관계가 연결선으로 도시되어 있거나, 상호 간의 연결 관계가 일일이 표현되어 있지 않지만, 연결선이 도시되지 않은 구성 간에도 제어 또는 데이터 교환을 위한 통신, 전달이 발생될 수 있으며, 제시된 바에 의해서만 본 발명을 한정하는 것은 아니다.In addition, although the connection relationship between each configuration is shown as a connection line, or the connection relationship between each other is not expressed individually, communication or transmission for control or data exchange may occur even between the configuration where the connection line is not shown, and only as shown. It does not limit the invention.
데이터 입출력 장치(200)를 통해 입력되는 사람의 음성은 하나의 사운드로 정의된다. 그리고 사운드를 특징 짓는 3요소는 주파수, 진폭 및 음색이다. 주파수는 음의 높낮이와 관련되고, 진폭은 음의 크기와 관련되고, 음색은 음의 특성 중의 하나이다.The human voice input through the data input /
따라서, 입력된 사용의 음성 신호가 디지털로 변환되는 과정, 즉 표본화(sampling), 양자화(quantizing) 및 부호화(coding) 과정을 거쳐서 데이터 파일로 저장되면, 사용의 음성을 식별하는 모델을 생성하고, 인공지능에 의한 학습 기능을 통해 저장된 사용의 음성 파일 재생을 통해 사용자의 특징이 모델에게 학습된다. 이러한 과정을 이용하면 인공지능을 이용하여 사용자의 음성을 인식할 수 있고, 인식된 사용자의 개인정보에 관한 데이터베이스가 구축될 수 있다. 여기서 중요한 것은, 사람 음성의 특징은 음색에 국한되지 않고 주파수, 진폭 및 음색 모두에 있기 때문에, 음성에 의한 사용자 인식에는 주파수, 진폭 및 음색의 특징이 모두 이용될 수 있다는 점이다.Thus, when the input speech signal is stored in a data file through digital conversion, that is, sampling, quantizing, and encoding, a model for identifying the speech of the usage is generated, The user's characteristics are learned to the model through the reproduction of the stored voice file using the artificial intelligence learning function. Using this process, the user's voice can be recognized using artificial intelligence, and a database on the recognized user's personal information can be constructed. It is important here that the characteristics of the human voice are not limited to the timbre, but are all in frequency, amplitude, and timbre, so that the characteristics of the frequency, amplitude, and timbre can be used for user recognition by the speech.
상기 도면을 통해 설명된 일 실시 예에 따른 인공지능 기능의 스마트 진단 방법(S100)은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행이 가능한 명령어 셋을 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.Smart diagnostic method (S100) of the artificial intelligence function according to an embodiment described through the drawings, is implemented in the form of a recording medium including a command set executable by a computer, such as a program module executed by a computer Can be. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, computer readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transmission mechanism, and includes any information delivery media.
정부와 지방자치 단체가 추진하는 치매관리정책 프로그램은 조기발견 및 예방강화, 맞춤형 치료 및 보호 강화, 인프라 확충 및 가족지원 및 사회적 소통 확대를 포함한다. 본 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 시스템 및 방법에 의하는 경우, 위의 프로그램들 중에서 치매의 조기발견 및 예방강화에 도움을 줄 수 있고 가족지원 및 사회적 소통 확대에도 효과가 예상된다.Dementia management policy programs promoted by the government and local governments include early detection and prevention, tailored care and protection, infrastructure expansion, family support and social communication. In the case of the smart diagnostic system and method of the artificial intelligence function according to an embodiment of the present invention, it is possible to help in early detection and prevention of dementia among the above programs, and effective in expanding family support and social communication. do.
사용자와의 대화를 통한 언어 선택의 특징과 이상 행동 등을 감지함으로써 치매의 조기발견이 가능하고, 인공지능을 통해 사용자와 대화를 함으로써 치매 예방도 가능하다. 자식들과 원격지에 떨어져 사는 치매 노인의 경우에는 본원 발명의 일 실시 예에 따른 인공지능 기능의 스마트 진단 시스템 및 방법에 따른 감시 기능과 대화기능을 통해 가족지원 및 사회적 소통의 확대가 가능하다.It is possible to detect dementia early by detecting language features and abnormal behavior through dialogue with the user, and to prevent dementia by talking to the user through artificial intelligence. In the case of elderly dementia living remotely from children, it is possible to expand family support and social communication through the monitoring function and the dialogue function according to the smart diagnosis system and method of the artificial intelligence function according to an embodiment of the present invention.
이와 같이 본 발명의 일 실시 예에 따르면, 음성 및 영상 데이터에 기초하여 인공지능 기능의 입출력 장치를 이용하여 격지에 떨어진 환자를 진단 및 감시할 수 있다.As described above, according to an exemplary embodiment of the present disclosure, a patient who has fallen into a distance can be diagnosed and monitored using an input / output device having an artificial intelligence function based on voice and image data.
또한, 인공지능 기능을 이용하는 입출력 장치를 통해 개인의 상태를 분석 및 진단하고, 분석 정보 및 진단 정보를 보호자 등의 단말에 알릴 수 있다.In addition, an I / O device using an artificial intelligence function may be used to analyze and diagnose an individual's state and inform the terminal such as a guardian of the analysis information and the diagnostic information.
또한, 인공지능 기능을 이용하는 입출력장치를 통해 사용자의 음성 및 사용자를 촬영한 영상을 기반으로, 특히 보호가 필요한 환자의 상태를 분석하고, 병원 및 보건소의 원격 진단 장치를 통해 진단하고, 분석 정보 및 진단 정보를 보호자 등의 단말에 알릴 수 있다.In addition, based on the user's voice and the image taken by the user through the input and output device using the artificial intelligence function, in particular, analyzes the condition of the patient needing protection, and diagnoses through the remote diagnosis device of the hospital and public health center, analysis information and The diagnostic information can be informed to the terminal such as a guardian.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The foregoing description of the present invention is intended for illustration, and it will be understood by those skilled in the art that the present invention may be easily modified in other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is shown by the following claims rather than the above description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention. do.
100: 스마트 진단 장치
200: 데이터 입출력 장치
300: 음성 분석 장치
400: 영상 분석 장치
500: 데이터 분석 장치
600: 데이터베이스
700: 네트워크
1000: 스마트 진단 시스템100: smart diagnostic device
200: data input / output device
300: speech analysis device
400: video analysis device
500: data analysis device
600: database
700: network
1000: smart diagnostic system
Claims (11)
수집된 상기 데이터를 분석하는 데이터 분석 모듈; 및
상기 분석 데이터를 이용하여 사용자의 변화된 상태를 진단하는 진단 모듈을 포함하고,
상기 데이터 분석 모듈은 음성분석 수단 및 영상분석 수단을 포함하고.
상기 음성분석 수단은 상기 인공지능 비서 기능의 데이터 입출력 모듈에서 출력되는 합성된 음성을 이용하여 상기 사용자와의 대화를 통해 수신되는 상기 사용자가 사용하는 언어의 변화, 음색의 변화 및 발화 속도의 변화를 분석하고,
상기 영상분석 수단은 상기 사용자의 얼굴 표정, 혈색 및 사용자의 행동을 분석하여,
상기 분석 결과가 미리 설정된 기준에 해당하는 경우 상기 사용자의 보호자에게 상기 분석 결과 또는 알람 신호를 전송하는 것을 특징으로 하는, 스마트 진단 장치.
A data input / output module of an intelligent personal assistant function, which collects audio and video data on status information of a user using a camera, a microphone, and a speaker, and outputs synthesized voice for use in a conversation with the user;
A data analysis module for analyzing the collected data; And
A diagnostic module for diagnosing a changed state of a user using the analysis data,
The data analysis module includes voice analysis means and image analysis means.
The voice analysis means uses the synthesized voice output from the data input / output module of the artificial intelligence assistant function to change the language, tone change and speech rate used by the user received through the dialogue with the user. Analyze,
The image analyzing means analyzes the user's facial expression, color, and user's behavior,
And when the analysis result corresponds to a preset criterion, transmitting the analysis result or an alarm signal to a guardian of the user.
상기 인공지능 비서 기능의 데이터 입출력 모듈, 상기 데이터 분석 모듈 및 상기 진단 모듈은 각각 분리되어 구성되되, 네트워크를 통해 상호 연결되는 것을 특징으로 하는 스마트 진단 장치.
The method of claim 1,
The data input / output module, the data analysis module, and the diagnostic module of the artificial intelligence function are separately configured, and the smart diagnostic device, characterized in that interconnected via a network.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190027994A KR102066225B1 (en) | 2019-03-12 | 2019-03-12 | Smart health care apparatus, system and method using artificial intelligence |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190027994A KR102066225B1 (en) | 2019-03-12 | 2019-03-12 | Smart health care apparatus, system and method using artificial intelligence |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102066225B1 true KR102066225B1 (en) | 2020-01-14 |
Family
ID=69152730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190027994A KR102066225B1 (en) | 2019-03-12 | 2019-03-12 | Smart health care apparatus, system and method using artificial intelligence |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102066225B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102175490B1 (en) * | 2020-04-14 | 2020-11-06 | 가천대학교 산학협력단 | Method and apparatus for measuring depression |
CN112633110A (en) * | 2020-12-16 | 2021-04-09 | 中国联合网络通信集团有限公司 | Data processing method and device |
CN114005548A (en) * | 2021-11-04 | 2022-02-01 | 武汉美塞拉科技有限公司 | Medical and beauty line upper diagnosis and re-diagnosis system based on artificial intelligence assistance |
KR20220012470A (en) * | 2020-07-22 | 2022-02-04 | 주식회사 원더풀플랫폼 | Method and system for providing talk service |
KR20220120749A (en) * | 2021-02-22 | 2022-08-31 | 주식회사 히포티앤씨 | Artificial Intelligence-based Mirror Counseling Method for Depression Treatment |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040007003A (en) | 2002-07-16 | 2004-01-24 | 삼성전자주식회사 | Telemedicine system and control method thereof |
KR20070087436A (en) * | 2006-02-23 | 2007-08-28 | 이우영 | A dianosis system and method for controlling thereof |
KR20100118744A (en) * | 2009-04-29 | 2010-11-08 | 재단법인 포항지능로봇연구소 | Natural language dialog appratus and method of thesame |
KR20120070668A (en) * | 2010-12-22 | 2012-07-02 | 한국전자통신연구원 | Method and apparatus for diagnosis of alzheimer by using voice calls of phones |
KR101823658B1 (en) * | 2016-07-13 | 2018-03-14 | 성균관대학교산학협력단 | Stress index estimation method using image |
-
2019
- 2019-03-12 KR KR1020190027994A patent/KR102066225B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040007003A (en) | 2002-07-16 | 2004-01-24 | 삼성전자주식회사 | Telemedicine system and control method thereof |
KR20070087436A (en) * | 2006-02-23 | 2007-08-28 | 이우영 | A dianosis system and method for controlling thereof |
KR20100118744A (en) * | 2009-04-29 | 2010-11-08 | 재단법인 포항지능로봇연구소 | Natural language dialog appratus and method of thesame |
KR20120070668A (en) * | 2010-12-22 | 2012-07-02 | 한국전자통신연구원 | Method and apparatus for diagnosis of alzheimer by using voice calls of phones |
KR101823658B1 (en) * | 2016-07-13 | 2018-03-14 | 성균관대학교산학협력단 | Stress index estimation method using image |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102175490B1 (en) * | 2020-04-14 | 2020-11-06 | 가천대학교 산학협력단 | Method and apparatus for measuring depression |
KR20220012470A (en) * | 2020-07-22 | 2022-02-04 | 주식회사 원더풀플랫폼 | Method and system for providing talk service |
KR102412412B1 (en) | 2020-07-22 | 2022-06-24 | 주식회사 원더풀플랫폼 | Method and system for providing talk service |
CN112633110A (en) * | 2020-12-16 | 2021-04-09 | 中国联合网络通信集团有限公司 | Data processing method and device |
CN112633110B (en) * | 2020-12-16 | 2024-02-13 | 中国联合网络通信集团有限公司 | Data processing method and device |
KR20220120749A (en) * | 2021-02-22 | 2022-08-31 | 주식회사 히포티앤씨 | Artificial Intelligence-based Mirror Counseling Method for Depression Treatment |
KR102468833B1 (en) * | 2021-02-22 | 2022-11-28 | 주식회사 히포티앤씨 | Artificial Intelligence-based Mirror Counseling Method for Depression Treatment |
CN114005548A (en) * | 2021-11-04 | 2022-02-01 | 武汉美塞拉科技有限公司 | Medical and beauty line upper diagnosis and re-diagnosis system based on artificial intelligence assistance |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102066225B1 (en) | Smart health care apparatus, system and method using artificial intelligence | |
JP6902136B2 (en) | System control methods, systems, and programs | |
KR102133943B1 (en) | Devices and methods for providing home health care for senior health | |
EP2688296B1 (en) | Video monitoring system and method | |
US10726846B2 (en) | Virtual health assistant for promotion of well-being and independent living | |
EP3665563A1 (en) | Automated clinical documentation system and method | |
EP3693966B1 (en) | System and method for continuous privacy-preserved audio collection | |
US20220181020A1 (en) | System and method for remote patient monitoring | |
KR20150010255A (en) | Apparatus for diagnostic using habit and mathod for diagnostic of thereof | |
JP2015109040A (en) | Emergency call device and emergency call system | |
KR20190092091A (en) | Realtiem Event Processing Rule Management System for IFTTT Service | |
WO2010029427A1 (en) | Testing and mounting device and system | |
JP6605774B1 (en) | Information processing system, information processing apparatus, information processing method, and computer program | |
KR102344084B1 (en) | Method for providing information of lesions on the ear and device for providing information of lesions on the ear using the same | |
US11477616B2 (en) | Safety detection controller | |
KR20240028677A (en) | Device for monitoring disease and method for analyzing disease based on utterance and utterance analysis, and disease monitoring service method | |
Castro et al. | Collaborative Opportunistic Sensing of Human Behavior with Mobile Phones | |
KR20220122121A (en) | Apparatus and method for diagnosing dementia using voice and eye tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |