KR102536648B1 - System for the estimation of injection sites and dosage based on facial muscles analysis using visual artificial intelligence and method thereof - Google Patents
System for the estimation of injection sites and dosage based on facial muscles analysis using visual artificial intelligence and method thereof Download PDFInfo
- Publication number
- KR102536648B1 KR102536648B1 KR1020210027061A KR20210027061A KR102536648B1 KR 102536648 B1 KR102536648 B1 KR 102536648B1 KR 1020210027061 A KR1020210027061 A KR 1020210027061A KR 20210027061 A KR20210027061 A KR 20210027061A KR 102536648 B1 KR102536648 B1 KR 102536648B1
- Authority
- KR
- South Korea
- Prior art keywords
- artificial intelligence
- muscle
- visual artificial
- image
- estimating
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000000007 visual effect Effects 0.000 title claims abstract description 55
- 210000001097 facial muscle Anatomy 0.000 title claims abstract description 42
- 238000002347 injection Methods 0.000 title claims abstract description 37
- 239000007924 injection Substances 0.000 title claims abstract description 37
- 238000004458 analytical method Methods 0.000 title claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 41
- 210000003205 muscle Anatomy 0.000 claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 230000009471 action Effects 0.000 claims abstract description 16
- 230000008451 emotion Effects 0.000 claims abstract description 16
- 230000007850 degeneration Effects 0.000 claims abstract description 10
- 238000011161 development Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012886 linear function Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 abstract description 15
- 230000000694 effects Effects 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 5
- 238000002316 cosmetic surgery Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000002537 cosmetic Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000004480 active ingredient Substances 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 238000002278 reconstructive surgery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/002—Denoising; Smoothing
-
- G06T5/70—
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
본 발명은 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 시스템에 관란 것으로, 모바일기기나 카메라 모듈이 부착된 컴퓨터 기기를 이용하여 신체 안면부를 포함하는 영상 정보를 취득하고 모바일기기 내부 프로세서 또는 저장장치, 원격 서버 내부 프로세서 또는 저장장치에 입력하는 입력부; 입력된 영상에 대해 사전 설정된 필터에 따라 2차원 또는 3차원 영상으로 정규화하고 노이즈를 제거하여 전처리하는 전처리부; 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육 위치를 특정하여 2차원 또는 3차원 좌표로 환산하는 위치환산부; 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육의 발달도 또는 퇴화도에 따라 추정하는 근육량 추정부; 환산된 근육 위치와 근육량에 더하여 환자의 나이, 성별, 인종, 진료기록, 의학적 내력, 생활환경, 시술 목적, 시술 내용에 관한 정보를 연계 입력 정보로 하여, 전처리된 영상에 대해 별도의 독립적인 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 주사 위치 및 투여량을 각각 추정하여 출력하는 출력부; 및 전처리된 영상에 근육 위치, 주사 위치, 투여량을 사용자의 요구사항에 맞추어 표시하는 표시부;를 포함하는 것을 특징으로 한다. The present invention relates to an injection position and dose estimation system based on facial muscle analysis using visual artificial intelligence, and acquires image information including a facial part of the body using a mobile device or a computer device to which a camera module is attached, and a processor inside the mobile device or an input unit for inputting to a storage device, a processor inside a remote server, or a storage device; a pre-processing unit that normalizes the input image into a 2-dimensional or 3-dimensional image according to a preset filter and removes noise; Emotions are recognized using a visual artificial intelligence computational process for preprocessed images, and after estimating the frequency for each action unit according to the state and probability value, anatomically defined by a separate visual artificial intelligence computational process or a preset weight conversion formula. a position conversion unit for specifying facial muscle positions and converting them into 2-dimensional or 3-dimensional coordinates; Emotions are recognized using a visual artificial intelligence computational process for preprocessed images, and after estimating the frequency for each action unit according to the state and probability value, anatomically defined by a separate visual artificial intelligence computational process or a preset weight conversion formula. a muscle mass estimator for estimating according to the degree of facial muscle development or degeneration; In addition to the converted muscle location and muscle mass, information on the patient's age, gender, race, medical record, medical history, living environment, purpose of treatment, and treatment details are linked input information, and a separate and independent view of the preprocessed image an output unit for estimating and outputting an injection position and a dosage by an artificial intelligence calculation process or a preset weight conversion formula; and a display unit for displaying the muscle position, injection position, and dose in the pre-processed image according to the user's requirements.
Description
본 발명은 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 시각 인공지능 기반의 감정인식과 얼굴 움직임 부호화 시스템을 결부하여 영상 인식된 안면의 근육 상태를 세분화하여 목적에 따라 안면 피부상 적정한 주사 위치 및 투여량을 추정해 주는 시스템 및 그 방법에 관한 것이다.The present invention relates to a system and method for estimating injection location and dosage based on facial muscle analysis using visual artificial intelligence, and more particularly, by combining emotion recognition based on visual artificial intelligence and a facial movement encoding system, A system and method for estimating an appropriate injection location and dosage on the facial skin according to a purpose by subdividing muscle conditions.
특정 목적에 따라 다양한 정보를 인식하고 해석할 수 있는 인공지능 기술이 각종 연구 및 산업 분야에서 활발하게 상용화되면서, 숙련된 전문 인력이 육안 관찰 정보 등에 기초하여 수행해오던 판별 프로세스의 일부 및 전부를 대체하는 사례가 등장하고 있다. As artificial intelligence technology capable of recognizing and interpreting various information for specific purposes is actively commercialized in various research and industrial fields, it replaces some or all of the discrimination process that has been performed by skilled professionals based on visual observation information. Examples are emerging.
영상 처리 분야에서 사람 안면에 시각 인공지능 기술이 적용되는 대표적인 사례로 감정인식을 들 수 있는데, 대개 인식된 표정에 따른 안면 부위별 설정된 특징점의 변화를 토대로 학습모델에 의해 기쁨, 슬픔, 두려움, 놀람 등의 감정으로 분류된다.In the field of image processing, emotion recognition is a representative example of applying visual artificial intelligence technology to the human face. In general, joy, sadness, fear, and surprise are detected by a learning model based on changes in feature points set for each facial part according to the recognized expression. classified as emotions.
얼굴 움직임 부호화 시스템(facial action coding system)은 1978년 미국의 심리학자 폴 에크먼이 주도하여 확립하였으며, 특징적인 얼굴 움직임을 체계화하여 행동 단위(action unit)로서 나타낸 것으로, 관찰 대상자의 표정에 따라 감정을 분류할 수 있도록 하였다. 이후 연구자들에 의해 해부학적으로 안면을 구성하는 세부 근육과 행동 단위의 일치화에 대한 시도가 지속되었다. The facial action coding system was established in 1978 led by American psychologist Paul Ekman. It systematizes characteristic facial movements and presents them as action units. made it possible to classify. Since then, researchers have continued to attempt to harmonize the detailed muscles and action units that make up the face anatomically.
한편, 피부과 및 성형외과를 중심으로 하는 의료 분야에서는 주로 주름개선 등을 위한 미용 목적으로 전문의에 의해 약물 및 효능 원료를 환자의 안면 피부 또는 근육에 주사하는 시술이 활발히 이루어지고 있다. 그러나 환자별로 개인차가 있는 안면 세부 근육의 위치와 각 근육이 지탱하는 피부의 특성에 따른 투여량 등을 충분히 고려하지 않은 경우, 안면 일그러짐이나 피부조직 괴사 등 잘못된 시술로 인한 부작용이나 불만족스러운 결과가 의료 현장에서 상당히 발생하거나 재건 수술로 이어지는 경우로도 보고되고 있다.On the other hand, in the medical field centered on dermatology and plastic surgery, procedures in which drugs and active ingredients are injected into the facial skin or muscles of patients by specialists are actively being performed for cosmetic purposes, such as mainly for wrinkle improvement. However, side effects or unsatisfactory results due to incorrect procedures such as facial distortion or skin tissue necrosis may occur if the position of the facial muscles, which vary from patient to patient, and the dosage according to the characteristics of the skin supported by each muscle are not sufficiently considered. Cases that occur significantly in the field or lead to reconstructive surgery have also been reported.
따라서, 피부 성형 및 미용 분야에서 시각 인공지능을 활용한 안면 근육 분석에 기초한 적정한 주사 위치 및 투여량 추정을 통해 전문의가 시술에 있어 개인차를 고려함으로써, 위와 같은 문제를 시급히 해결할 필요성이 충분하다.Therefore, in the field of skin plastic surgery and beauty, there is an urgent need to solve the above problems by estimating the appropriate injection location and dosage based on facial muscle analysis using visual artificial intelligence by specialists considering individual differences in the procedure.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 모바일기기나 카메라 모듈이 부착된 컴퓨터 기기를 이용하여 신체 안면부를 포함하는 영상 정보를 취득하고 모바일기기 내부 프로세서 또는 원격 서버에 의해 시각 인공지능 알고리즘으로 처리하여 가변적인 가중치와 함수를 채택하는 통계적 추정 모델에 의해 안면 근육을 상세히 세분화함으로써, 주사 시술의 목적에 맞추어 환자의 안면 근육 부위별 적정한 주사 위치 및 투여량을 추정하여, 이를 바탕으로 전문의가 임상적으로 발생할 수 있는 부작용을 줄일 수 있는 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 시스템 및 그 방법을 제공하는 데 있다.An object of the present invention to solve the above problems is to acquire image information including a body face using a mobile device or a computer device to which a camera module is attached, and convert it into a visual artificial intelligence algorithm by a processor inside the mobile device or a remote server. By processing and subdividing the facial muscles in detail by a statistical estimation model that adopts variable weights and functions, the appropriate injection location and dosage for each facial muscle part of the patient are estimated according to the purpose of the injection procedure, and based on this, the specialist clinically It is to provide an injection location and dose estimation system and method based on facial muscle analysis using visual artificial intelligence that can reduce adverse side effects that may occur.
상기와 같은 목적을 달성하기 위한 본 발명의 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 시스템은 모바일기기나 카메라 모듈이 부착된 컴퓨터 기기를 이용하여 신체 안면부를 포함하는 영상 정보를 취득하고 모바일기기 내부 프로세서 또는 저장장치, 원격 서버 내부 프로세서 또는 저장장치에 입력하는 입력부; 입력된 영상에 대해 사전 설정된 필터에 따라 2차원 또는 3차원 영상으로 정규화하고 노이즈를 제거하여 전처리하는 전처리부; 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육 위치를 특정하여 2차원 또는 3차원 좌표로 환산하는 위치환산부; 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육의 발달도 또는 퇴화도에 따라 추정하는 근육량 추정부; 환산된 근육 위치와 근육량에 더하여 환자의 나이, 성별, 인종, 진료기록, 의학적 내력, 생활환경, 시술 목적, 시술 내용에 관한 정보를 연계 입력 정보로 하여, 전처리된 영상에 대해 별도의 독립적인 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 주사 위치 및 투여량을 각각 추정하여 출력하는 출력부; 및 전저리된 영상에 근육 위치, 주사 위치, 투여량을 사용자의 요구사항에 맞추어 표시하는 표시부;를 포함하는 것을 특징으로 한다.In order to achieve the above object, the system for estimating injection location and dosage based on facial muscle analysis utilizing visual artificial intelligence of the present invention acquires image information including the facial part of the body using a mobile device or a computer device to which a camera module is attached. and an input unit for inputting to a processor or storage device inside a mobile device or a processor or storage device inside a remote server; a pre-processing unit that normalizes the input image into a 2-dimensional or 3-dimensional image according to a preset filter and removes noise; Emotions are recognized using a visual artificial intelligence computational process for preprocessed images, and after estimating the frequency for each action unit according to the state and probability value, anatomically defined by a separate visual artificial intelligence computational process or a preset weight conversion formula. a position conversion unit for specifying facial muscle positions and converting them into 2-dimensional or 3-dimensional coordinates; Emotions are recognized using a visual artificial intelligence computational process for preprocessed images, and after estimating the frequency for each action unit according to the state and probability value, anatomically defined by a separate visual artificial intelligence computational process or a preset weight conversion formula. a muscle mass estimator for estimating according to the degree of facial muscle development or degeneration; In addition to the converted muscle location and muscle mass, information on the patient's age, gender, race, medical record, medical history, living environment, purpose of treatment, and treatment details are linked input information, and a separate and independent view of the preprocessed image an output unit for estimating and outputting an injection position and a dosage by an artificial intelligence calculation process or a preset weight conversion formula; and a display unit for displaying the muscle position, the injection position, and the dose according to the user's requirements on the pre-treated image.
상기 인공지능 연산과정은 컨벌루셔널(convolutional) 연산이 수반되는 필터를 이용하거나 입력 시점별로 구분된 N개의 단위 정보를 한 개의 순차적인 입력 단위로 설정하여 이에 대해 비선형(non-linear) 함수에 의한 변환을 거치는 학습 구조를 수반하며 분류 또는 판별 태스크를 수행하여 식별 가능한 패턴을 추정하는 것을 특징으로 한다.The artificial intelligence operation process uses a filter accompanied by convolutional operation or sets N unit information classified by input time point as one sequential input unit and uses a non-linear function for this. It involves a learning structure that undergoes transformation and is characterized by estimating an identifiable pattern by performing a classification or discrimination task.
또한, 본 발명에 따른 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 방법은 모바일기기나 카메라 모듈이 부착된 컴퓨터 기기를 이용하여 신체 안면부를 포함하는 영상 정보를 취득하고 모바일기기 내부 프로세서 또는 저장장치, 원격 서버 내부 프로세서 또는 저장장치에 입력하는 단계; 상기 입력된 영상에 대해 사전 설정된 필터에 따라 2차원 또는 3차원 영상으로 정규화하고 노이즈를 제거하여 전처리하는 단계; 상기 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육 위치를 특정하여 2차원 또는 3차원 좌표로 환산하는 단계; 상기 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육의 발달도 또는 퇴화도에 따라 추정하는 단계; 환산된 근육 위치와 근육량에 더하여 환자의 나이, 성별, 인종, 진료기록, 의학적 내력, 생활환경, 시술 목적, 시술 내용에 관한 정보를 연계 입력 정보로 하여, 전처리된 영상에 대해 별도의 독립적인 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 주사 위치 및 투여량을 각각 추정하여 출력하는 단계; 및 상기 전처리된 영상에 근육 위치, 주사 위치, 투여량을 사용자의 요구사항에 맞추어 표시하는 단계;를 포함하는 것을 특징으로 한다.In addition, the method for estimating the injection location and dosage based on facial muscle analysis using visual artificial intelligence according to the present invention acquires image information including the facial part of the body using a mobile device or a computer device to which a camera module is attached, and the processor inside the mobile device or to a storage device, a remote server internal processor or storage device; pre-processing the input image by normalizing it into a 2D or 3D image according to a preset filter and removing noise; Emotions are recognized using a visual artificial intelligence calculation process for the preprocessed image, and the frequency is estimated for each action unit according to the state and probability value, and then anatomically analyzed by a separate visual artificial intelligence calculation process or a preset weight conversion formula. specifying defined facial muscle positions and converting them into 2-dimensional or 3-dimensional coordinates; Emotions are recognized using a visual artificial intelligence calculation process for the preprocessed image, and the frequency is estimated for each action unit according to the state and probability value, and then anatomically analyzed by a separate visual artificial intelligence calculation process or a preset weight conversion formula. estimating according to the degree of development or degeneration of the defined facial muscles; In addition to the converted muscle location and muscle mass, information on the patient's age, gender, race, medical record, medical history, living environment, purpose of treatment, and treatment details are linked input information, and a separate and independent view of the preprocessed image estimating and outputting an injection position and a dose by an artificial intelligence calculation process or a preset weight conversion formula; and displaying the muscle position, injection position, and dose on the preprocessed image according to the user's requirements.
상기와 같이, 본 발명에 따르면 시각 인공지능을 활용한 안면 근육 분석에 기초한 적정한 주사 위치 및 투여량 추정을 통해, 전문의 등 자격자가 목적에 맞는 미용 시술을 부작용의 위험을 줄이며 실시할 수 있도록 하여, 향후 피부과 및 성형외과를 중심으로 하는 의료 분야에서 불규칙적 환자에 대한 치료 방법 개선을 도모할 수 있는 산업적 효과 및 시술 대상자 확대에 따른 관련 기존 시장의 성장을 기대할 수 있는 경제적 효과가 있다.As described above, according to the present invention, by estimating an appropriate injection location and dosage based on facial muscle analysis using visual artificial intelligence, a qualified person such as a specialist can perform a cosmetic procedure suitable for the purpose while reducing the risk of side effects. In the future, in the medical field centered on dermatology and plastic surgery, there is an industrial effect that can improve the treatment method for irregular patients, and an economic effect that can be expected for the growth of related existing markets due to the expansion of the number of treatment subjects.
도 1은 본 발명에 따른 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 시스템의 구성도이다.
도 2는 본 발명에 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 방법의 흐름도이다.1 is a block diagram of an injection position and dose estimation system based on facial muscle analysis using visual artificial intelligence according to the present invention.
2 is a flowchart of a method for estimating injection location and dosage based on facial muscle analysis using visual artificial intelligence in the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein.
그러면 본 발명에 따른 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 시스템 및 그 방법의 바람직한 실시예를 자세히 설명하기로 한다.Then, a preferred embodiment of the system and method for estimating injection location and dose based on facial muscle analysis using visual artificial intelligence according to the present invention will be described in detail.
도 1은 본 발명에 따른 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 시스템의 구성도이다.1 is a block diagram of an injection position and dose estimation system based on facial muscle analysis using visual artificial intelligence according to the present invention.
도 1을 참조하면, 본 발명에 따른 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 시스템은 입력부(100), 전처리부(200), 위치환산부(300), 근육량 추정부(400), 출력부(500) 및 표시부(600)를 포함하여 구성된다.Referring to FIG. 1, the system for estimating the injection position and dosage based on facial muscle analysis using visual artificial intelligence according to the present invention includes an
상기 입력부(100)는 모바일기기나 카메라 모듈이 부착된 컴퓨터 기기를 이용하여 신체 안면부를 포함하는 영상 정보를 취득하고 모바일기기 내부 프로세서 또는 저장장치, 원격 서버 내부 프로세서 또는 저장장치에 입력한다.The
상기 전처리부(200)는 입력된 영상에 대해 사전 설정된 필터에 따라 2차원 또는 3차원 영상으로 정규화하고 노이즈를 제거하여 전처리한다.The
상기 위치환산부(300)는 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 즉 전처리된 영상에 대해 시각 인공지능을 활용하여 안면부 표시 영상정보 분석을 통해 대상자의 안면부에서 눈, 코, 입 등 기관 주변의 안면근육 부위의 위치 변화에 따라, 기쁨, 화남, 슬픔 등 상대적인 감정 상태를 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육 위치를 특정하여 2차원 또는 3차원 좌표로 환산한다.The
상기 근육량 추정부(400)는 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육의 발달도 또는 퇴화도에 따라 추정한다. 즉, 전처리된 영상에 대해 시각 인공지능을 활용하여 안면부 표시 영상정보 분석을 통해 대상자의 안면부에서 눈, 코, 입 등 기관 주변의 안면근육 부위의 위치 변화에 따라, 기쁨, 화남, 슬픔 등 상대적인 감정 상태를 인식하고, 기본 감정 상태를 Ekman의 정의에 따라 행복(happy), 놀람(surprise), 공포 (fear), 분노(anger), 혐오(disgust), 슬픔(sad) 등 6가지 상태(라벨)로 분류하여 감정 상태가 분류 라벨과 어느 정도 일치하는지 나타내는 0~1 사이의 유사도(확률)에 따라 슬픔 감정상태 등에 의해 찡그린 표정 등에서 사용되는 안면 세부근육 분석으로 광대근, 구륜근 등 안면 세부 근육의 안면부에서의 상대적 위치로 안면 근육의 발달도 또는 퇴화도를 추정한다The
여기서, 상기 인공지능 연산과정은 컨벌루셔널(convolutional) 연산이 수반되는 필터를 이용하거나 입력 시점별로 구분된 N개의 단위 정보를 한 개의 순차적인 입력 단위로 설정하여 이에 대해 비선형(non-linear) 함수에 의한 변환을 거치는 학습 구조를 수반하며 분류 또는 판별 태스크를 수행하여 식별 가능한 패턴을 추정할 수 있다. 본 발명에서 수집한 영상 정보는 기기 장비 내부의 어플리케이션 프로세서에서 처리하거나 네트워크를 통해 전송하여 원격 서버에서 처리할 수 있다.Here, the artificial intelligence operation process uses a filter accompanied by convolutional operation, or sets N unit information classified by input time point as one sequential input unit and uses a non-linear function for this. It accompanies a learning structure that undergoes transformation by , and can estimate an identifiable pattern by performing a classification or discrimination task. Image information collected in the present invention can be processed by an application processor inside the device or transmitted through a network and processed by a remote server.
상기 출력부(500)는 환산된 근육 위치와 근육량에 더하여 환자의 나이, 성별, 인종, 진료기록, 의학적 내력, 생활환경, 시술 목적, 시술 내용에 관한 정보를 연계 입력 정보로 하여, 전처리된 영상에 대해 별도의 독립적인 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 주사 위치 및 투여량을 각각 추정하여 출력한다. 즉, 시각 인공지능을 활용하여 안면근육 부위의 위치 변화 및 움직임(경직도, 처짐 등)를 세분화하여, 주사가 작용하여야 할 위치를 추정하고 그 투여량을 추정하여 출력한다. In addition to the converted muscle location and muscle mass, the
상기 표시부(600)는 전저리된 영상에 근육 위치, 주사 위치, 투여량을 사용자의 요구사항에 맞추어 표시한다.The
도 2는 본 발명에 따른 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 방법의 흐름도이다.2 is a flowchart of a method for estimating injection location and dosage based on facial muscle analysis using visual artificial intelligence according to the present invention.
도 2를 참조하면, 본 발명에 따른 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 방법은 먼저, 모바일기기나 카메라 모듈이 부착된 컴퓨터 기기를 이용하여 신체 안면부를 포함하는 영상 정보를 취득하고 모바일기기 내부 프로세서 또는 저장장치, 원격 서버 내부 프로세서 또는 저장장치에 입력한다(S110).Referring to FIG. 2, the method for estimating the injection location and dosage based on facial muscle analysis using visual artificial intelligence according to the present invention first obtains image information including the facial part of the body using a mobile device or a computer device to which a camera module is attached. Acquired and input to the internal processor or storage device of the mobile device or the internal processor or storage device of the remote server (S110).
상기 S110 단계의 입력된 영상에 대해 사전 설정된 필터에 따라 2차원 또는 3차원 영상으로 정규화하고 노이즈를 제거하여 전처리한다(S120).The input image of the step S110 is normalized into a 2D or 3D image according to a preset filter and preprocessed by removing noise (S120).
상기 S120 단계의 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육 위치를 특정하여 2차원 또는 3차원 좌표로 환산한다(S130-1).Emotions are recognized using the visual artificial intelligence calculation process for the preprocessed image in step S120, and the frequency is estimated for each action unit according to the state and probability value, and then by a separate visual artificial intelligence calculation process or a preset weight conversion formula. An anatomically defined facial muscle position is specified and converted into 2D or 3D coordinates (S130-1).
상기 S120 단계의 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육의 발달도 또는 퇴화도에 따라 추정한다(S130-2). 즉, 기본 감정 상태를 Ekman의 정의에 따라 행복(happy), 놀람(surprise), 공포 (fear), 분노(anger), 혐오(disgust), 슬픔(sad) 등 6가지 상태(라벨)로 분류하여, 감정 상태가 분류 라벨과 어느 정도 일치하는지 나타내는 0~1 사이의 유사도(확률)에 따라 슬픔 감정상태 등에 의해 찡그린 표정 등에서 사용되는 안면 세부근육 분석으로 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 광대근, 구륜근 등 안면 세부 근육의 안면부에서의 상대적 위치에 따라 안면 근육의 발달도 또는 퇴화도를 추정한다. Emotions are recognized using the visual artificial intelligence calculation process for the preprocessed image in step S120, and the frequency is estimated for each action unit according to the state and probability value, and then by a separate visual artificial intelligence calculation process or a preset weight conversion formula. It is estimated according to the degree of development or degeneration of the anatomically defined facial muscles (S130-2). In other words, according to Ekman's definition, basic emotional states are classified into six states (labels): happy, surprise, fear, anger, disgust, and sad. , According to the degree of similarity (probability) between 0 and 1 indicating how much the emotional state matches the classification label, the frequency is estimated for each behavioral unit by facial detailed muscle analysis used for frowning expressions, etc. The degree of development or degeneration of the facial muscles is estimated according to the relative positions of the anatomically defined facial muscles such as the zygomatic muscle and the orbicularis muscle in the facial part by an intelligent operation process or a preset weight conversion formula.
여기서, 상기 인공지능 연산과정은 컨벌루셔널(convolutional) 연산이 수반되는 필터를 이용하거나 입력 시점별로 구분된 N개의 단위 정보를 한 개의 순차적인 입력 단위로 설정하여 이에 대해 비선형(non-linear) 함수에 의한 변환을 거치는 학습 구조를 수반하며 분류 또는 판별 태스크를 수행하여 식별 가능한 패턴을 추정할 수 있다. 본 발명에서 수집한 영상 정보는 기기 장비 내부의 어플리케이션 프로세서에서 처리하거나 네트워크를 통해 전송하여 원격 서버에서 처리할 수 있다.Here, the artificial intelligence operation process uses a filter accompanied by convolutional operation, or sets N unit information classified by input time point as one sequential input unit and uses a non-linear function for this. It accompanies a learning structure that undergoes transformation by , and can estimate an identifiable pattern by performing a classification or discrimination task. Image information collected in the present invention can be processed by an application processor inside the device or transmitted through a network and processed by a remote server.
상기 S130 단계의 환산된 근육 위치와 근육량에 더하여 환자의 나이, 성별, 인종, 진료기록, 의학적 내력, 생활환경, 시술 목적, 시술 내용에 관한 정보를 연계 입력 정보로 하여, 전처리된 영상에 대해 별도의 독립적인 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 주사 위치 및 투여량을 각각 추정하여 출력한다(S140). 즉, 시각 인공지능을 활용하여 안면부에 대한 영상정보 분석하여, 안면 세부 근육의 위치와 발달 및 퇴화도를 측정한 후 주사 위치 및 투여량을 결정할 수 있다.In addition to the converted muscle location and muscle mass in step S130, information on the patient's age, gender, race, medical record, medical history, living environment, procedure purpose, and procedure contents are used as linked input information, separately for the preprocessed image The injection position and dose are estimated and output by an independent visual artificial intelligence calculation process or a preset weight conversion formula (S140). That is, it is possible to determine the injection location and dosage after measuring the location, development and degeneration of facial muscles by analyzing image information on the face using visual artificial intelligence.
상기 S140 단계의 전저리된 영상에 근육 위치, 주사 위치, 투여량을 사용자의 요구사항에 맞추어 표시한다(S150).The muscle position, injection position, and dose are displayed on the preprocessed image of step S140 according to the user's requirements (S150).
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements made by those skilled in the art using the basic concept of the present invention defined in the following claims are also included in the scope of the present invention. that fall within the scope of the right.
100: 입력부 200: 전처리부
300: 위치환산부 400: 근육량 추정부
500: 출력부 600: 표시부100: input unit 200: pre-processing unit
300: position conversion unit 400: muscle mass estimation unit
500: output unit 600: display unit
Claims (3)
입력된 영상에 대해 사전 설정된 필터에 따라 2차원 또는 3차원 영상으로 정규화하고 노이즈를 제거하여 전처리하는 전처리부;
전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육 위치를 특정하여 2차원 또는 3차원 좌표로 환산하는 위치환산부;
전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육의 발달도 또는 퇴화도에 따라 추정하는 근육량 추정부;
환산된 근육 위치와 근육량에 더하여 환자의 나이, 성별, 인종, 진료기록, 의학적 내력, 생활환경, 시술 목적, 시술 내용에 관한 정보를 연계 입력 정보로 하여, 전처리된 영상에 대해 별도의 독립적인 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 주사 위치 및 투여량을 각각 추정하여 출력하는 출력부; 및
전처리된 영상에 근육 위치, 주사 위치, 투여량을 사용자의 요구사항에 맞추어 표시하는 표시부;를 포함하는 것을 특징으로 하는 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 시스템. An input unit for obtaining image information including a body face part using a mobile device or a computer device to which a camera module is attached and inputting the image information to a processor or storage device inside the mobile device or a processor or storage device inside a remote server;
a pre-processing unit that normalizes the input image into a 2-dimensional or 3-dimensional image according to a preset filter and removes noise;
Emotions are recognized using a visual artificial intelligence computational process for preprocessed images, and after estimating the frequency for each action unit according to the state and probability value, anatomically defined by a separate visual artificial intelligence computational process or a preset weight conversion formula. a position conversion unit for specifying facial muscle positions and converting them into 2-dimensional or 3-dimensional coordinates;
Emotions are recognized using a visual artificial intelligence computational process for preprocessed images, and after estimating the frequency for each action unit according to the state and probability value, anatomically defined by a separate visual artificial intelligence computational process or a preset weight conversion formula. a muscle mass estimator for estimating according to the degree of facial muscle development or degeneration;
In addition to the converted muscle location and muscle mass, information on the patient's age, gender, race, medical record, medical history, living environment, purpose of treatment, and treatment details are linked input information, and a separate and independent view of the preprocessed image an output unit for estimating and outputting an injection position and a dosage by an artificial intelligence calculation process or a preset weight conversion formula; and
An injection position and dose estimation system based on facial muscle analysis using visual artificial intelligence, comprising: a display unit for displaying the muscle position, injection position, and dosage in the preprocessed image according to the user's requirements.
상기 인공지능 연산과정은 컨벌루셔널(convolutional) 연산이 수반되는 필터를 이용하거나 입력 시점별로 구분된 N개의 단위 정보를 한 개의 순차적인 입력 단위로 설정하여 이에 대해 비선형(non-linear) 함수에 의한 변환을 거치는 학습 구조를 수반하며 분류 또는 판별 태스크를 수행하여 식별 가능한 패턴을 추정하는 것을 특징으로 하는 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 시스템. According to claim 1,
The artificial intelligence operation process uses a filter accompanied by convolutional operation or sets N unit information classified by input time point as one sequential input unit and uses a non-linear function for this. An injection location and dose estimation system based on facial muscle analysis using visual artificial intelligence, characterized in that it involves a learning structure that undergoes transformation and performs a classification or discrimination task to estimate an identifiable pattern.
상기 입력된 영상에 대해 사전 설정된 필터에 따라 2차원 또는 3차원 영상으로 정규화하고 노이즈를 제거하여 전처리하는 단계;
상기 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육 위치를 특정하여 2차원 또는 3차원 좌표로 환산하는 단계;
상기 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육의 발달도 또는 퇴화도에 따라 추정하는 단계;
환산된 근육 위치와 근육량에 더하여 환자의 나이, 성별, 인종, 진료기록, 의학적 내력, 생활환경, 시술 목적, 시술 내용에 관한 정보를 연계 입력 정보로 하여, 전처리된 영상에 대해 별도의 독립적인 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 주사 위치 및 투여량을 각각 추정하여 출력하는 단계; 및
상기 전처리된 영상에 근육 위치, 주사 위치, 투여량을 사용자의 요구사항에 맞추어 표시하는 단계;를 포함하는 것을 특징으로 하는 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 방법.Acquiring image information including a body face using a mobile device or a computer device to which a camera module is attached and inputting the image information to a processor or storage device inside the mobile device or a processor or storage device inside a remote server;
pre-processing the input image by normalizing it into a 2D or 3D image according to a preset filter and removing noise;
Emotions are recognized using a visual artificial intelligence calculation process for the preprocessed image, and the frequency is estimated for each action unit according to the state and probability value, and then anatomically analyzed by a separate visual artificial intelligence calculation process or a preset weight conversion formula. specifying defined facial muscle positions and converting them into 2-dimensional or 3-dimensional coordinates;
Emotions are recognized using a visual artificial intelligence calculation process for the preprocessed image, and the frequency is estimated for each action unit according to the state and probability value, and then anatomically analyzed by a separate visual artificial intelligence calculation process or a preset weight conversion formula. estimating according to the degree of development or degeneration of the defined facial muscles;
In addition to the converted muscle location and muscle mass, information on the patient's age, gender, race, medical record, medical history, living environment, purpose of treatment, and treatment details are linked input information, and a separate and independent view of the preprocessed image estimating and outputting an injection position and a dose by an artificial intelligence calculation process or a preset weight conversion formula; and
Displaying the muscle position, injection position, and dose on the preprocessed image according to the user's requirements; injection position and dose estimation method based on facial muscle analysis using visual artificial intelligence, comprising:.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210027061A KR102536648B1 (en) | 2021-02-28 | 2021-02-28 | System for the estimation of injection sites and dosage based on facial muscles analysis using visual artificial intelligence and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210027061A KR102536648B1 (en) | 2021-02-28 | 2021-02-28 | System for the estimation of injection sites and dosage based on facial muscles analysis using visual artificial intelligence and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220123492A KR20220123492A (en) | 2022-09-07 |
| KR102536648B1 true KR102536648B1 (en) | 2023-05-30 |
Family
ID=83278462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210027061A KR102536648B1 (en) | 2021-02-28 | 2021-02-28 | System for the estimation of injection sites and dosage based on facial muscles analysis using visual artificial intelligence and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102536648B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170252108A1 (en) | 2016-03-02 | 2017-09-07 | Truinject Medical Corp. | Sensory enhanced environments for injection aid and social training |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102064957B1 (en) | 2018-04-10 | 2020-01-10 | 가톨릭대학교 산학협력단 | Standard image information service method and service system for determining inflammatory skin diseases |
-
2021
- 2021-02-28 KR KR1020210027061A patent/KR102536648B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170252108A1 (en) | 2016-03-02 | 2017-09-07 | Truinject Medical Corp. | Sensory enhanced environments for injection aid and social training |
Non-Patent Citations (5)
| Title |
|---|
| 비특허 1 |
| 비특허 2 |
| 비특허 3 |
| 비특허 4 |
| 비특허 5 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220123492A (en) | 2022-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021143353A1 (en) | Gesture information processing method and apparatus, electronic device, and storage medium | |
| Lanitis | A survey of the effects of aging on biometric identity verification | |
| Tivatansakul et al. | Emotion recognition using ECG signals with local pattern description methods | |
| CN109993068B (en) | Non-contact human emotion recognition method based on heart rate and facial features | |
| Subramanian et al. | Digital twin model: A real-time emotion recognition system for personalized healthcare | |
| McDuff et al. | Scamps: Synthetics for camera measurement of physiological signals | |
| Hammal et al. | Automatic, objective, and efficient measurement of pain using automated face analysis | |
| Dadiz et al. | Detecting depression in videos using uniformed local binary pattern on facial features | |
| Samyoun et al. | Stress detection via sensor translation | |
| Mellouk et al. | CNN-LSTM for automatic emotion recognition using contactless photoplythesmographic signals | |
| CN114842522A (en) | Artificial intelligence auxiliary evaluation method applied to beauty treatment | |
| Jazouli et al. | A $ P recognizer for automatic facial emotion recognition using Kinect sensor | |
| KR102536648B1 (en) | System for the estimation of injection sites and dosage based on facial muscles analysis using visual artificial intelligence and method thereof | |
| Kwaśniewska et al. | Real-time facial features detection from low resolution thermal images with deep classification models | |
| Yuan et al. | Pain intensity recognition from masked facial expressions using swin-transformer | |
| Zhang et al. | Biometric recognition | |
| TWI646438B (en) | Emotion detection system and method | |
| KURBANOV | Multimodal emotion recognition: a comprehensive survey with deep learning | |
| KR20220123493A (en) | System for facial exercise guidance based on facial muscles analysis using visual artificial intelligence and method thereof | |
| CN113570545A (en) | Visual identification pain grading assessment method | |
| CN113033387A (en) | Intelligent assessment method and system for automatically identifying chronic pain degree of old people | |
| Xingxiu et al. | Arrhythmia Classification Based on CNN and Bidirectional LSTM. | |
| Vasavi et al. | Regression modelling for stress detection in humans by assessing most prominent thermal signature | |
| Hsu et al. | Extraction of visual facial features for health management | |
| Irani | Computer Vision Based Methods for Detection and Measurement of Psychophysiological Indicators: Book based on dissertation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |