KR102701908B1 - 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 시스템 및 그 방법 - Google Patents
시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102701908B1 KR102701908B1 KR1020210027062A KR20210027062A KR102701908B1 KR 102701908 B1 KR102701908 B1 KR 102701908B1 KR 1020210027062 A KR1020210027062 A KR 1020210027062A KR 20210027062 A KR20210027062 A KR 20210027062A KR 102701908 B1 KR102701908 B1 KR 102701908B1
- Authority
- KR
- South Korea
- Prior art keywords
- artificial intelligence
- facial
- muscle
- visual artificial
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 61
- 230000000007 visual effect Effects 0.000 title claims abstract description 56
- 230000001815 facial effect Effects 0.000 title claims abstract description 42
- 210000001097 facial muscle Anatomy 0.000 title claims abstract description 37
- 238000004458 analytical method Methods 0.000 title claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 41
- 210000003205 muscle Anatomy 0.000 claims abstract description 32
- 238000006243 chemical reaction Methods 0.000 claims abstract description 27
- 230000009471 action Effects 0.000 claims abstract description 16
- 230000008451 emotion Effects 0.000 claims abstract description 16
- 238000011161 development Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 230000007850 degeneration Effects 0.000 claims abstract description 6
- 230000033001 locomotion Effects 0.000 claims description 46
- 238000012886 linear function Methods 0.000 claims description 4
- 238000002347 injection Methods 0.000 abstract description 4
- 239000007924 injection Substances 0.000 abstract description 4
- 230000018109 developmental process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000002316 cosmetic surgery Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002278 reconstructive surgery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 시스템에 관란 것으로, 모바일기기나 카메라 모듈이 부착된 컴퓨터 기기를 이용하여 신체 안면부를 포함하는 영상 정보를 취득하고 모바일기기 내부 프로세서 또는 저장장치, 원격 서버 내부 프로세서 또는 저장장치에 입력하는 입력부; 입력된 영상에 대해 사전 설정된 필터에 따라 2차원 또는 3차원 영상으로 정규화하고 노이즈를 제거하여 전처리하는 전처리부; 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육 위치를 특정하여 2차원 또는 3차원 좌표로 환산하는 위치환산부; 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육의 발달도 또는 퇴화도에 따라 추정하는 근육량 추정부; 환산된 근육 위치와 근육량에 더하여 환자의 나이, 성별, 인종, 진료기록, 의학적 내력, 생활환경, 시술 목적, 시술 내용에 관한 정보를 연계 입력 정보로 하여, 전처리된 영상에 대해 별도의 독립적인 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 주사 위치 및 투여량을 각각 추정하여 출력하는 출력부; 및 전처리된 영상에 근육 위치, 주사 위치, 투여량을 사용자의 요구사항에 맞추어 표시하는 표시부;를 포함하는 것을 특징으로 한다.
Description
본 발명은 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 시각 인공지능 기반의 감정인식과 얼굴 움직임 부호화 시스템을 결부하여 영상 인식된 안면 근육의 상태를 세분화하여 목적에 따라 안면 근육 부위별 세부적 발달을 유도하는 운동을 안내해주는 시스템 및 그 방법에 관한 것이다.
특정 목적에 따라 다양한 정보를 인식하고 해석할 수 있는 인공지능 기술이 각종 연구 및 산업 분야에서 활발하게 상용화되면서, 숙련된 전문 인력이 육안 관찰 정보 등에 기초하여 수행해오던 판별 프로세스의 일부 및 전부를 대체하는 사례가 등장하고 있다.
영상 처리 분야에서 사람 안면에 시각 인공지능 기술이 적용되는 대표적인 사례로 감정인식을 들 수 있는데, 대개 인식된 표정에 따른 안면 부위별 설정된 특징점의 변화를 토대로 학습모델에 의해 기쁨, 슬픔, 두려움, 놀람 등의 감정으로 분류된다.
얼굴 움직임 부호화 시스템(facial action coding system)은 1978년 미국의 심리학자 폴 에크먼이 주도하여 확립하였으며, 특징적인 얼굴 움직임을 체계화하여 행동 단위(action unit)로서 나타낸 것으로, 관찰 대상자의 표정에 따라 감정을 분류할 수 있도록 하였다. 이후 연구자들에 의해 해부학적으로 안면을 구성하는 세부 근육과 행동 단위의 일치화에 대한 시도가 지속되었다.
한편, 신체의 노화 과정에서 안면 근육 또한 변형되거나 퇴화되어 피부 주름발생의 원인이 된다. 주로 미관상의 목적으로 이를 극복하기 위해 피부과 및 성형외과를 중심으로 하는 의료 분야에서는 전문의에 의해 약물 및 효능 원료를 환자의 안면 피부 또는 근육에 주사하는 시술이 활발히 이루어지고 있다. 그러나 환자별로 개인차가 있는 안면 세부 근육의 위치와 각 근육이 지탱하는 피부의 특성에 따른 투여량 등을 충분히 고려하지 않은 경우, 안면 일그러짐이나 피부조직 괴사 등 잘못된 시술로 인한 부작용이나 불만족스러운 결과가 의료 현장에서 상당히 발생하거나 재건 수술로 이어지는 경우로도 보고되고 있다.
안면 근육 운동은 위험이나 부작용이 없으며 특별한 도구를 활용하지 않고도 근육 강화를 유도할 수 있다. 이와 같은 방법에 있어, 의학적으로 찬반론이 양립하지만 임상적 근거를 축적하는 과정에서 몇 가지 유용한 동작에 대한 사례가 등장하고 있다.
따라서, 피부 성형 및 미용 분야에서 시각 인공지능을 활용한 안면 근육 분석에 기초한 안면운동 안내를 해주는 시스템 및 그 방법의 도입과 발전을 통해, 위와 같은 문제를 해결할 필요성이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 모바일기기나 카메라 모듈이 부착된 컴퓨터 기기를 이용하여 신체 안면부를 포함하는 영상 정보를 취득하고 모바일기기 내부 프로세서 또는 원격 서버에 의해 시각 인공지능 알고리즘으로 처리하여 가변적인 가중치와 함수를 채택하는 통계적 추정 모델에 의해 안면 근육을 상세히 세분화함으로써, 안면 근육 부위별 세부적 발달 상태를 분석해주고 강화가 필요한 동작을 묘사하여 시술에 의한 부작용을 줄일 수 있는 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 시스템 및 그 방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 시스템은 모바일기기나 카메라 모듈이 부착된 컴퓨터 기기를 이용하여 신체 안면부를 포함하는 영상 정보를 취득하고 모바일기기 내부 프로세서 또는 저장장치, 원격 서버 내부 프로세서 또는 저장장치에 입력하는 입력부; 입력된 영상에 대해 사전 설정된 필터에 따라 2차원 또는 3차원 영상으로 정규화하고 노이즈를 제거하여 전처리하는 전처리부; 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육 위치를 특정하여 2차원 또는 3차원 좌표로 환산하는 위치환산부; 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육의 발달도 또는 퇴화도에 따라 추정하는 근육량 추정부; 환산된 근육 위치와 근육량에 더하여 환자의 나이, 성별, 인종, 진료기록, 의학적 내력, 생활환경, 시술 목적, 시술 내용에 관한 정보를 연계 입력 정보로 하여, 전처리된 영상에 대해 별도의 독립적인 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 안면운동이 필요한 부위와 동작을 각각 추정하여 출력하는 출력부; 및 전저리된 영상에 근육 위치, 안면운동이 필요한 부위, 동작을 사용자의 요구사항에 맞추어 영상, 텍스트, 음성 중 한 개 이상의 형태로 안내사항을 표시하는 표시부;를 포함하는 것을 특징으로 한다.
상기 인공지능 연산과정은 컨벌루셔널(convolutional) 연산이 수반되는 필터를 이용하거나 입력 시점별로 구분된 N개의 단위 정보를 한 개의 순차적인 입력 단위로 설정하여 이에 대해 비선형(non-linear) 함수에 의한 변환을 거치는 학습 구조를 수반하며 분류 또는 판별 태스크를 수행하여 식별 가능한 패턴을 추정하는 것을 특징으로 한다.
또한, 본 발명에 따른 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 방법은 모바일기기나 카메라 모듈이 부착된 컴퓨터 기기를 이용하여 신체 안면부를 포함하는 영상 정보를 취득하고 모바일기기 내부 프로세서 또는 저장장치, 원격 서버 내부 프로세서 또는 저장장치에 입력하는 단계; 상기 입력된 영상에 대해 사전 설정된 필터에 따라 2차원 또는 3차원 영상으로 정규화하고 노이즈를 제거하여 전처리하는 단계; 상기 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육 위치를 특정하여 2차원 또는 3차원 좌표로 환산하는 단계; 상기 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육의 발달도 또는 퇴화도에 따라 추정하는 단계; 환산된 근육 위치와 근육량에 더하여 환자의 나이, 성별, 인종, 진료기록, 의학적 내력, 생활환경, 시술 목적, 시술 내용에 관한 정보를 연계 입력 정보로 하여, 전처리된 영상에 대해 별도의 독립적인 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 안면운동이 필요한 부위와 동작을 각각 추정하여 출력하는 단계; 및 상기 전저리된 영상에 근육 위치, 안면운동이 필요한 부위, 동작을 사용자의 요구사항에 맞추어 영상, 텍스트, 음성 중 한 개 이상의 형태로 안내사항을 표시하는 단계;를 포함하는 것을 특징으로 한다.
상기와 같이, 본 발명에 따르면 시각 인공지능을 활용한 안면 근육 분석에 기초하여 적정한 안면운동 동작에 대한 안내를 통해 사용자가 직접 또는 전문가의 지도 하에 주름개선 및 안면 교정을 위한 방편으로 실시할 수 있도록 하여, 미용 시술 부작용 또는 위험에 대한 대안이 될 수 있는 보건의료적 효과 및 인공지능 기반 헬스케어 소프트웨어의 일상화에 따른 관련 신규 시장의 성장을 기대할 수 있는 경제적 효과가 있다.
도 1은 본 발명에 따른 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 시스템의 구성도이다.
도 2는 본 발명에 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 방법의 흐름도이다.
도 2는 본 발명에 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 방법의 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
그러면 본 발명에 따른 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 시스템 및 그 방법의 바람직한 실시예를 자세히 설명하기로 한다.
도 1은 본 발명에 따른 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 시스템의 구성도이다.
도 1을 참조하면, 본 발명에 따른 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 시스템은 입력부(100), 전처리부(200), 위치환산부(300), 근육량 추정부(400), 출력부(500) 및 표시부(600)를 포함하여 구성된다.
상기 입력부(100)는 모바일기기나 카메라 모듈이 부착된 컴퓨터 기기를 이용하여 신체 안면부를 포함하는 영상 정보를 취득하고 모바일기기 내부 프로세서 또는 저장장치, 원격 서버 내부 프로세서 또는 저장장치에 입력한다.
상기 전처리부(200)는 입력된 영상에 대해 사전 설정된 필터에 따라 2차원 또는 3차원 영상으로 정규화하고 노이즈를 제거하여 전처리한다.
상기 위치환산부(300)는 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육 위치를 특정하여 2차원 또는 3차원 좌표로 환산한다.
상기 근육량 추정부(400)는 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육의 발달도 또는 퇴화도에 따라 추정한다.
여기서, 상기 인공지능 연산과정은 컨벌루셔널(convolutional) 연산이 수반되는 필터를 이용하거나 입력 시점별로 구분된 N개의 단위 정보를 한 개의 순차적인 입력 단위로 설정하여 이에 대해 비선형(non-linear) 함수에 의한 변환을 거치는 학습 구조를 수반하며 분류 또는 판별 태스크를 수행하여 식별 가능한 패턴을 추정할 수 있다. 본 발명에서 수집한 영상 정보는 기기 장비 내부의 어플리케이션 프로세서에서 처리하거나 네트워크를 통해 전송하여 원격 서버에서 처리할 수 있다.
상기 출력부(500)는 환산된 근육 위치와 근육량에 더하여 환자의 나이, 성별, 인종, 진료기록, 의학적 내력, 생활환경, 시술 목적, 시술 내용에 관한 정보를 연계 입력 정보로 하여, 전처리된 영상에 대해 별도의 독립적인 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 안면운동이 필요한 부위와 동작을 각각 추정하여 출력한다.
상기 표시부(600)는 전처리된 영상에 근육 위치, 안면운동이 필요한 부위, 동작을 사용자의 요구사항에 맞추어 영상, 텍스트, 음성 중 한 개 이상의 형태로 안내사항을 표시한다.
도 2는 본 발명에 따른 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 방법의 흐름도이다.
도 2를 참조하면, 본 발명에 따른 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 방법은 먼저, 모바일기기나 카메라 모듈이 부착된 컴퓨터 기기를 이용하여 신체 안면부를 포함하는 영상 정보를 취득하고 모바일기기 내부 프로세서 또는 저장장치, 원격 서버 내부 프로세서 또는 저장장치에 입력한다(S110).
상기 S110 단계의 입력된 영상에 대해 사전 설정된 필터에 따라 2차원 또는 3차원 영상으로 정규화하고 노이즈를 제거하여 전처리한다(S120).
상기 S120 단계의 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육 위치를 특정하여 2차원 또는 3차원 좌표로 환산한다(S130-1).
상기 S120 단계의 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육의 발달도 또는 퇴화도에 따라 추정한다(S130-2).
여기서, 상기 인공지능 연산과정은 컨벌루셔널(convolutional) 연산이 수반되는 필터를 이용하거나 입력 시점별로 구분된 N개의 단위 정보를 한 개의 순차적인 입력 단위로 설정하여 이에 대해 비선형(non-linear) 함수에 의한 변환을 거치는 학습 구조를 수반하며 분류 또는 판별 태스크를 수행하여 식별 가능한 패턴을 추정할 수 있다. 본 발명에서 수집한 영상 정보는 기기 장비 내부의 어플리케이션 프로세서에서 처리하거나 네트워크를 통해 전송하여 원격 서버에서 처리할 수 있다.
상기 S130 단계의 환산된 근육 위치와 근육량에 더하여 환자의 나이, 성별, 인종, 진료기록, 의학적 내력, 생활환경, 시술 목적, 시술 내용에 관한 정보를 연계 입력 정보로 하여, 전처리된 영상에 대해 별도의 독립적인 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 안면운동이 필요한 부위와 동작을 각각 추정하여 출력한다(S140).
상기 S140 단계의 전처리된 영상에 근육 위치, 안면운동이 필요한 부위, 동작을 사용자의 요구사항에 맞추어 영상, 텍스트, 음성 중 한 개 이상의 형태로 안내사항을 표시한다(S150).
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 입력부 200: 전처리부
300: 위치환산부 400: 근육량 추정부
500: 출력부 600: 표시부
300: 위치환산부 400: 근육량 추정부
500: 출력부 600: 표시부
Claims (3)
- 모바일기기나 카메라 모듈이 부착된 컴퓨터 기기를 이용하여 신체 안면부를 포함하는 영상 정보를 취득하고 모바일기기 내부 프로세서 또는 저장장치, 원격 서버 내부 프로세서 또는 저장장치에 입력하는 입력부;
입력된 영상에 대해 사전 설정된 필터에 따라 2차원 또는 3차원 영상으로 정규화하고 노이즈를 제거하여 전처리하는 전처리부;
전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육 위치를 특정하여 2차원 또는 3차원 좌표로 환산하는 위치환산부;
전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육의 발달도 또는 퇴화도에 따라 추정하는 근육량 추정부;
환산된 근육 위치와 근육량에 더하여 환자의 나이, 성별, 인종, 진료기록, 의학적 내력, 생활환경, 시술 목적, 시술 내용에 관한 정보를 연계 입력 정보로 하여, 전처리된 영상에 대해 별도의 독립적인 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 안면운동이 필요한 부위와 동작을 각각 추정하여 출력하는 출력부; 및
전처리된 영상에 근육 위치, 안면운동이 필요한 부위, 동작을 사용자의 요구사항에 맞추어 영상, 텍스트, 음성 중 한 개 이상의 형태로 안내사항을 표시하는 표시부;를 포함하되,
상기 인공지능 연산과정은 컨벌루셔널(convolutional) 연산이 수반되는 필터를 이용하거나 입력 시점별로 구분된 N개의 단위 정보를 한 개의 순차적인 입력 단위로 설정하여 이에 대해 비선형(non-linear) 함수에 의한 변환을 거치는 학습 구조를 수반하며 분류 또는 판별 태스크를 수행하여 식별 가능한 패턴을 추정하는 것을 특징으로 하는 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 시스템. - 삭제
- 모바일기기나 카메라 모듈이 부착된 컴퓨터 기기를 이용하여 신체 안면부를 포함하는 영상 정보를 취득하고 모바일기기 내부 프로세서 또는 저장장치, 원격 서버 내부 프로세서 또는 저장장치에 입력하는 단계;
상기 입력된 영상에 대해 사전 설정된 필터에 따라 2차원 또는 3차원 영상으로 정규화하고 노이즈를 제거하여 전처리하는 단계;
상기 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육 위치를 특정하여 2차원 또는 3차원 좌표로 환산하는 단계;
상기 전처리된 영상에 대해 시각 인공지능 연산과정을 이용하여 감정을 인식하고, 그 상태와 확률값에 따라 행동 단위별로 빈도를 추정한 후 별도의 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 해부학적으로 정의된 안면 근육의 발달도 또는 퇴화도에 따라 추정하는 단계;
환산된 근육 위치와 근육량에 더하여 환자의 나이, 성별, 인종, 진료기록, 의학적 내력, 생활환경, 시술 목적, 시술 내용에 관한 정보를 연계 입력 정보로 하여, 전처리된 영상에 대해 별도의 독립적인 시각 인공지능 연산과정 또는 사전 설정된 가중치 변환식에 의해 안면운동이 필요한 부위와 동작을 각각 추정하여 출력하는 단계; 및
상기 전처리된 영상에 근육 위치, 안면운동이 필요한 부위, 동작을 사용자의 요구사항에 맞추어 영상, 텍스트, 음성 중 한 개 이상의 형태로 안내사항을 표시하는 단계;를 포함하는 것을 특징으로 하는 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210027062A KR102701908B1 (ko) | 2021-02-28 | 2021-02-28 | 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210027062A KR102701908B1 (ko) | 2021-02-28 | 2021-02-28 | 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220123493A KR20220123493A (ko) | 2022-09-07 |
| KR102701908B1 true KR102701908B1 (ko) | 2024-09-05 |
Family
ID=83278458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210027062A KR102701908B1 (ko) | 2021-02-28 | 2021-02-28 | 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102701908B1 (ko) |
-
2021
- 2021-02-28 KR KR1020210027062A patent/KR102701908B1/ko active IP Right Grant
Non-Patent Citations (3)
| Title |
|---|
| GARY STOREY 외, 3DPalsyNet: A Facial Palsy Grading and Motion Recognition Framework using Fully 3D Convolutional Neural Networks, arXiv, 2019.05.31., pp.1-10.* |
| Jan Kohout 외, Advanced Statistical Analysis of 3D Kinect Data: Mimetic Muscle Rehabilitation Following Head and Neck Surgeries Causing Facial Paresis, Sensors, 2020.12.26., Vol.21, No.103, pp.1-21.* |
| Murugappan M 외, Facial geometric feature extraction based emotional expression classification using machine learning algorithms, PLOS ONE, 2021.02.18., Vol.16, No.2, pp.1-20. |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220123493A (ko) | 2022-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wiem et al. | Emotion classification in arousal valence model using MAHNOB-HCI database | |
| Tivatansakul et al. | Emotion recognition using ECG signals with local pattern description methods | |
| CN114998983A (zh) | 一种基于增强现实技术和姿态识别技术的肢体康复方法 | |
| Escalona et al. | EVA: EVAluating at-home rehabilitation exercises using augmented reality and low-cost sensors | |
| CN114596619A (zh) | 基于视频流的情感分析方法、装置、设备及存储介质 | |
| Mellouk et al. | CNN-LSTM for automatic emotion recognition using contactless photoplythesmographic signals | |
| CN115942899A (zh) | 使用触觉的人体医学检查 | |
| Memon | On assisted living of paralyzed persons through real-time eye features tracking and classification using Support Vector Machines | |
| Liu et al. | Detecting pulse wave from unstable facial videos recorded from consumer-level cameras: A disturbance-adaptive orthogonal matching pursuit | |
| Chen et al. | Generative AI-Driven Human Digital Twin in IoT-Healthcare: A Comprehensive Survey | |
| US20100150405A1 (en) | System and method for diagnosis of human behavior based on external body markers | |
| Zaher et al. | A framework for assessing physical rehabilitation exercises | |
| KR102701908B1 (ko) | 시각 인공지능 활용 안면 근육 분석에 기초한 안면운동 안내 시스템 및 그 방법 | |
| Lew et al. | Biofeedback Upper Limb Assessment Using Electroencephalogram, Electromyographic and Electrocardiographic with Machine Learning in Signal Classification. | |
| KR102536648B1 (ko) | 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 시스템 및 그 방법 | |
| CN112120703A (zh) | 一种跌倒风险评估方法及装置 | |
| Koh et al. | End-to-End Hand Rehabilitation System with Single-Shot Gesture Classification for Stroke Patients | |
| TWI646438B (zh) | 情緒偵測系統及方法 | |
| Abraham et al. | Ensemble of shape functions and support vector machines for the estimation of discrete arm muscle activation from external biceps 3D point clouds | |
| Irani | Computer Vision Based Methods for Detection and Measurement of Psychophysiological Indicators: Book based on dissertation | |
| Anwar | Real Time Pain Detection Using Facial Action Units in Telehealth System | |
| CN118412151B (zh) | 一种基于ar技术的远程会诊系统及病情部位标记方法 | |
| CN115810099B (zh) | 一种用于虚拟沉浸式抑郁症治疗系统的图像融合设备 | |
| Patil et al. | Anxiety Level Analysis through Real Time Image | |
| Sirse et al. | CHAR: A Novel Cloud-Based Live Health Augmented Reality Framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |