KR20220049149A - 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법 - Google Patents

표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법 Download PDF

Info

Publication number
KR20220049149A
KR20220049149A KR1020200132402A KR20200132402A KR20220049149A KR 20220049149 A KR20220049149 A KR 20220049149A KR 1020200132402 A KR1020200132402 A KR 1020200132402A KR 20200132402 A KR20200132402 A KR 20200132402A KR 20220049149 A KR20220049149 A KR 20220049149A
Authority
KR
South Korea
Prior art keywords
facial
image
expression
line
reference line
Prior art date
Application number
KR1020200132402A
Other languages
English (en)
Other versions
KR102497688B1 (ko
Inventor
이세호
Original Assignee
이세호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이세호 filed Critical 이세호
Priority to KR1020200132402A priority Critical patent/KR102497688B1/ko
Publication of KR20220049149A publication Critical patent/KR20220049149A/ko
Application granted granted Critical
Publication of KR102497688B1 publication Critical patent/KR102497688B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F5/00—Orthopaedic methods or devices for non-surgical treatment of bones or joints; Nursing devices; Anti-rape devices
    • A61F5/01—Orthopaedic devices, e.g. splints, casts or braces
    • A61F5/04—Devices for stretching or reducing fractured limbs; Devices for distractions; Splints
    • A61F5/05—Devices for stretching or reducing fractured limbs; Devices for distractions; Splints for immobilising
    • A61F5/058—Splints
    • A61F5/05841—Splints for the limbs
    • A61F5/05858—Splints for the limbs for the arms
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00—Exercising apparatus specially adapted for particular parts of the body
    • A63B23/025—Exercising apparatus specially adapted for particular parts of the body for the head or the neck
    • A63B23/03—Exercising apparatus specially adapted for particular parts of the body for the head or the neck for face muscles
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Nursing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Vascular Medicine (AREA)
  • Otolaryngology (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 다양한 표정의 사용자 얼굴 영상 분석을 통해 안면정보를 수치화하여 사용자의 안면 비대칭 상태를 판단하며, 사용자의 안면 골격과 가장 유사한 균형 모델의 표정 트레이닝을 통해 사용자의 안면 비대칭을 용이하게 교정할 수 있도록 해 주는 기술에 관한 것이다.
본 발명에 따른 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법은, 서비스 서버에서 무표정을 포함한 서로 다른 표정의 각 사용자 얼굴 영상을 표정 영상으로 획득하는 제1 단계와, 서비스 서버에서 무표정 영상에서 눈, 귀, 입을 포함하는 다수의 각 부위 포인트를 추출함과 더불어, 안면 중앙의 세로 중력선과 이 세로 중력선과 수직하는 안면 상측의 제1 가로 중력선 및, 안면 하측의 제2 가로 중력선으로 이루어지는 중력 기준선을 생성하여 중력 기준선과 양쪽 각 부위 포인트간의 거리와 부위 포인틀간 거리를 근거로 비대칭 속성값을 산출하는 제2 단계, 서비스 서버에서 무표정 영상의 각 부위 포인트를 기준으로 안면 중앙의 세로 기준선과, 안면 상측의 제1 가로 기준선 및, 안면 하측의 제2 가로 기준선으로 이루어지는 안면 기준선을 생성하고, 상기 각 중력 기준선을 기준으로 안면 기준선의 경사 여부 및 경사 방향을 근거로 비대칭 타입을 결정하되, 비대칭 타입은 제2 가로 기준선만 경사 상태인 제1 비대칭 타입과, 제2 가로 기준선과 제1 가로 기준선이 서로 다른 방향으로 경사 형성된 상태인 제2 비대칭 타입 및, 제2 가로 기준선과 제1 가로 기준선이 동일 방향으로 경사 형성된 상태인 제3 비대칭 타입으로 구분되는 제3 단계, 서비스 서버에서 기 등록된 표준 모델에서 사용자 안면과 가장 유사한 안면 구조의 표준 모델을 결정하고, 사용자의 표정 영상을 이용하여 안면 움직임을 분석하는 제4 단계 및, 서비스 서버에서 비대칭 타입 및 안면 움직임 분석결과를 근거로 표준 모델의 표정 영상을 갖도록 하기 위한 트레이닝 정보로 이루어지는 표정 트레이닝 스케쥴을 생성하여 사용자 단말로 제공하는 제5 단계를 포함하여 구성되는 것을 특징으로 한다.

Description

표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법{Method for correcting facial asymmetry using expression training}
본 발명은 다양한 표정의 사용자 얼굴 영상 분석을 통해 안면정보를 수치화하여 사용자의 안면 비대칭 상태를 판단하며, 사용자의 안면 골격과 가장 유사한 균형 모델의 표정 트레이닝을 통해 사용자의 안면 비대칭을 용이하게 교정할 수 있도록 해 주는 기술에 관한 것이다.
안면의 움직임은 안면을 구성하는 수 많은 근육이 22개의 뼈조각과 서로 연결되어 상호작용하게 되는데 안면 비대칭은 이러한 근골격계의 복합적인 원인에 의한 결과로서 나타나는 현상이다.
안면 비대칭의 주원인은 개인의 생활 습관(저작, 수면자세, 손으로 턱괴기, 상하반신의 자세 불균형)과 매우 밀접하게 연관되어 있으며 이러한 습관은 오랜 시간동안 안면의 근골격계에 영향을 주게 되어 안면 근육의 수축이완 및 긴장, 사용 유무 그리고 그 근육에 의한 안면과 두상의 골격의 변화 등으로 나타난다.
또한 안면 비대칭의 결과는 턱관절의 균형과 움직임에 매우 깊은 영향을 줄 수 있다.
턱관절은 경락체계와 뇌의 활동을 조절하는 부위로서 턱 관절이 뇌 활동 치료의 근본이 되기도 하는데 그 이유는 턱관절 주변으로는 수많은 신경과 혈관들이 지나가기때문에 안면 비대칭이 발생할 경우 신경체계의 밸런스가 깨지면서 많은 문제점들을 야기할 수 있기 때문이다.
이를 방치할 경우 만성두통, 부종, 혈색변화, 어깨걸림, 어지러움증, 구토, 저작의 어려움, 호르몬 분비이상과 같은 신경과 근육계통의 질환을 발생시키기 때문에 조기에 안면 불균형 현상을 인식해서 원인을 해결하고 그 경과 진행을 방지할 필요가 있다.
또한, 안면 비대칭은 대인관계에 좋지 않은 인상을 심어줄 수 있을 뿐 만 아니라 외모적 스트레스와 콤플렉스가 되기 때문에 사회적 관계에 있어서 자기효능감에도 좋지 않은 영향을 줄 수 있다.
이는 자신감을 저하시키는 요인으로서, 자신의 의사를 정확히 상대방에게 전달하거나 상대방을 설득하는데 있어서 심리적 소극성으로 이어져 주도적인 감정표현과 자립심의 영역에도 영향을 미치고 자신의 사회적 영향력을 제한하거나 축소시켜 환경에 종속되는 방향으로 가기 쉬워진다.
이러한 결과로 인해 안면비대칭은 질환적인 문제에만 국한되지 않고 개인의 사회성 및 자기효능감에 관련된 삶의 심리적 이슈와도 매우 밀접하게 관련되어 있어 이를 해결해야 할 필요가 있다.
이를 위해 안면 비대칭 관련 시술이나 수술들의 방법들이 이용되고 있으나, 현재 이용되는 안면 비대칭 관련 시술이나 수술적인 방법들은 병원에서 전문적인 장비들을 이용하는 것으로 많은 비용이 소요되는 단점이 있다.
1. 일본공개특허 제2019-524397호 (명칭 : 안면 비대칭을 치료하기 위한 치열 교정 장치를 실현하는 방법)
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 다양한 표정의 사용자 얼굴 영상 분석을 통해 안면정보를 수치화여 사용자의 안면 비대칭 상태를 판단하고, 사용자의 안면 골격과 가장 유사한 균형 모델의 표정 트레이닝을 통해 사용자의 안면 비대칭을 용이하게 교정할 수 있도록 해 주는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법을 제공함에 그 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 서비스 서버에서 무표정을 포함한 서로 다른 표정의 각 사용자 얼굴 영상을 표정 영상으로 획득하는 제1 단계와, 서비스 서버에서 무표정 영상에서 눈, 귀, 입을 포함하는 다수의 각 부위 포인트를 추출함과 더불어, 안면 중앙의 세로 중력선과 이 세로 중력선과 수직하는 안면 상측의 제1 가로 중력선 및, 안면 하측의 제2 가로 중력선으로 이루어지는 중력 기준선을 생성하여 중력 기준선과 양쪽 각 부위 포인트간의 거리와 부위 포인틀간 거리를 근거로 비대칭 속성값을 산출하는 제2 단계, 서비스 서버에서 무표정 영상의 각 부위 포인트를 기준으로 안면 중앙의 세로 기준선과, 안면 상측의 제1 가로 기준선 및, 안면 하측의 제2 가로 기준선으로 이루어지는 안면 기준선을 생성하고, 상기 각 중력 기준선을 기준으로 안면 기준선의 경사 여부 및 경사 방향을 근거로 비대칭 타입을 결정하되, 비대칭 타입은 제2 가로 기준선만 경사 상태인 제1 비대칭 타입과, 제2 가로 기준선과 제1 가로 기준선이 서로 다른 방향으로 경사 형성된 상태인 제2 비대칭 타입 및, 제2 가로 기준선과 제1 가로 기준선이 동일 방향으로 경사 형성된 상태인 제3 비대칭 타입으로 구분되는 제3 단계, 서비스 서버에서 기 등록된 표준 모델에서 사용자 안면과 가장 유사한 안면 구조의 표준 모델을 결정하고, 사용자의 표정 영상을 이용하여 안면 움직임을 분석하는 제4 단계 및, 서비스 서버에서 비대칭 타입 및 안면 움직임 분석결과를 근거로 표준 모델의 표정 영상을 갖도록 하기 위한 트레이닝 정보로 이루어지는 표정 트레이닝 스케쥴을 생성하여 사용자 단말로 제공하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법이 제공된다.
또한, 상기 제3 단계에서 제1 가로 기준선은 안면 눈썹 상단 연장 라인으로 설정되고, 세로 기준선은 양쪽 눈물샘 포인트에서 제1 가로 기준선간의 거리가 1:1 인 제1 가로 기준선 위치를 제1 세로 포인트로 설정하고, 양쪽 눈물샘 포인트간 중앙점을 제2 세로 포인트로 설정하여 제1 및 제2 세로 포인트를 통과하는 연장 라인으로 설정되며, 제2 가로 기준선은 양쪽 입출꼬리 포인트를 연결하는 연장 라인으로 설정되고, 상기 제2 단계에서 세로 중력선은 상기 세로 기준선에, 제1 가로 중력선은 상기 제1 가로 기준선에, 제2 가로 중력선은 제2 가로 중력선에 대응되는 위치에 설정되되, 상기 세로 중력선과 제1 가로 중력선은 상기 세로 기준선과 제1 가로 기준선이 만나는 포인트에 수직하게 설정되고, 제2 가로 중력선은 보다 높은 측의 입술꼬리 포인트를 기준으로 세로 중력선과 수직하게 설정되는 것을 특징으로 하는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법이 제공된다.
또한, 상기 제1 단계에서 서비스 서버는 무표정, 기쁨, 놀람, 두려움, 슬픔, 분노, 혐오의 표정을 유도하기 위한 다양한 유도 문장을 사용자 단말로 제시하고, 각 유도 문장에 대한 반응 표정을 사용자의 기본 표정 영상으로 획득하는 것을 특징으로 하는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법이 제공된다.
또한, 상기 제4 단계에서 서비스 서버는 상기 제1 단계에서 획득한 사용자 표정 영상을 조합하여 사용자 표정 영상을 추가 생성하고, 추가 생성된 표정 영상을 포함한 사용자 표정 영상을 이용하여 안면 움직임을 분석하고, 상기 제5 단계에서 서비스 서버는 추가 생성된 표정 영상을 포함한 표준 모델의 표정 영상을 갖도록 하기 위한 트레이닝 정보를 생성하며, 상기 추가 생성되는 표정 영상은 무표정 영상에 기쁨 영상과 놀람 영상, 두려움 영상, 슬픔 영상, 분노 영상 및 혐오 영상을 순차적으로 조합하여 만족 영상과 경계 영상, 걱정 영상, 낙담 영상, 굳어짐 영상, 멸시 영상을 순차로 추가 생성하는 것을 특징으로 하는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법이 제공된다.
또한, 상기 제5 단계에서 서비스 서버는 비대칭 속성과 관련된 안면 움직임이 큰 순서로 일정 개수의 표정 영상을 선택하여 트레이닝 정보를 생성하는 것을 특징으로 하는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법이 제공된다.
또한, 상기 제5 단계에서 서비스 서버는 사용자 표정 영상과 표준 모델의 표정 영상을 비교하여 표정 영상별 안면 움직임 차이를 산출하고, 안면 움직임 차이가 큰 순서로 일정 개수의 표정 영상을 선택하여 트레이닝 정보를 생성하는 것을 특징으로 하는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법이 제공된다.
본 발명에 의하면, 다양한 표정의 얼굴 영상 분석을 통해 안면 수치를 측정하고, 이를 통해 안면 비대칭 상태를 판단하며, 자신의 안면 골격과 가장 유사한 균형 모델의 표정 트레이닝을 통해 사용자의 안면 비대칭을 용이하게 교정할 수 있다.
또한, 사용자가 자신 얼굴의 비대칭성을 인식하고 원인을 파악하여 나쁜 습관을 방지하고 잘못된 근골격 상태를 비시술 및 비수술적인 방법으로 개선할 수 있다.
또한, 본 발명에 의하면 자신과 가장 닮은 꼴의 얼굴 특징을 갖는 매력적인 얼굴 표정 연습을 통해 대인관계에서 보다 좋은 인상을 줄 수 있다.
도1은 본 발명이 적용되는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 시스템의 개략적인 구성을 도시한 도면.
도2는 본 발명에 따른 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법을 설명하기 위한 흐름도.
도3은 도2에 도시된 안면 수치 정보를 추출하는 과정(ST200)을 설명하기 위한 흐름도.
도4와 도5는 도3에서 추출된 안면 수치 정보를 무표정 영상에 예시한 도면.
도6은 도2에 도시된 비대칭 타입 결정 방법(ST300)을 설명하기 위한 도면.
본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도1은 본 발명이 적용되는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 시스템의 개략적인 구성을 도시한 도면이다.
도1을 참조하면, 본 발명이 적용되는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 시스템은 사용자 단말(100)과, 서비스 서버(200)를 포함하여 구성되고, 서비스 서버(200)는 정보 획득부(210)와, 안면상태 분석부(220), 트레이닝 처리부(230) 및, 데이터 저장소(240)를 포함한다.
사용자 단말(100)은 카메라(1)를 구비한 개인통신단말로서, 스마트 폰이나 태블릿 PC 등의 무선 단말이거나 또는 노트북이나 데스크 탑 등의 유선 단말이 될 수 있다.
사용자 단말(100)은 무표정을 포함한 서로 다른 표정의 각 사용자 얼굴 영상을 서비스 서버(200)로 전송한다. 이때, 사용자 단말(100)은 사용자 생활습관 관련 설문에 대응되는 설문응답정보와, 안면 교정 서비스를 위한 서비스 선택 정보 및, 트레이닝에 따른 환경정보를 포함한 안면 교정 관련 각종 정보를 서비스 서버(200)전송한다.
정보 획득부(210)는 사용자 단말(100)로부터 전송되는 얼굴 영상을 수집한다. 이때, 정보 획득부(210)는 목적하는 다양한 표정의 얼굴 영상 즉, 표정 영상을 획득하기 위한 표정 유도정보를 사용자 단말(100)로 제공하고, 이에 대한 반응 표정을 촬영하여 서로 다른 다수의 표정 영상을 획득할 수 있다.
안면상태 분석부(220)는 정보 획득부(210)에서 수집한 표정 영상을 분석하여 안면정보를 수치화하고, 안면 수치정보를 근거로 비대칭 속성값을 산출한다. 이때, 안면상태 분석부(220)는 Open CV(Open Source Computer Vision) 알고리즘을 이용하여 얼굴 영상에서 안면의 전체적인 윤곽과 각 부위의 위치, 크기, 각도, 간격 등을 측정하여 수치화한다.
또한, 안면상태 분석부(220)는 생활습관 관련 설문응답정보를 안면 비대칭상태 분석에 추가로 적용할 수 있다.
트레이닝 처리부(230)는 비대칭 속성값을 근거로 해당 사용자 안면의 비대칭 타입을 결정함과 더불어, 모델 빅데이터에서 해당 안면 골격과 가장 유사한 표준 모델을 결정하고, 얼굴의 각 부위가 학습된 CNN(합성곱 신경망, Convolutional neural network) 모델과 RNN(순환 신경망, Recurrent neural network) 모델에 사용자 표정영상을 적용하여 해당 사용자의 안면 움직임을 분석한다. 그리고, 트레이닝 처리부(230)는 사용자의 비대칭 속성값과 표준 모델의 균형 안면 수치정보를 비교하여 그 차이를 분석한다.
또한, 트레이닝 처리부(230)는 안면 수치정보를 근거로 비대칭 타입을 결정하고, 비대칭 타입 및 안면 움직임 분석결과를 근거로 표준 모델의 표정 영상을 갖도록 하기 위한 트레이닝 정보로 이루어지는 표정 트레이닝 스케쥴을 생성한다.
또한, 트레이닝 처리부(230)는 트레이닝 정보를 사용자 단말(100)로 전송하고, 이에 대응하여 사용자 단말(100)로부터 입력되는 트레이닝 피드백정보를 수집한다. 또한, 트레이닝 처리부(230)는 트레이닝 피드백정보를 안면상태 분석부(220)로 제공하여 분석요청하고, 그 분석결과에 기반하여 트레이닝 평가정보를 생성하여 사용자 단말(100)로 제공한다.
데이터 저장소(240)는 안면 교정서비스를 제공하기 위한 각종 정보를 저장하는 것으로, Open CV 알고리즘과, 얼굴의 각 부위가 학습된 CNN 모델과 RNN 모델, 안면 타입별 균형의 표준 모델, 설문정보, 비대칭 타입별 기준 정보를 포함한 정보들이 저장된다. 여기서, CNN 모델은 안면 부위의 움직임을 측정하기 위한 AI 알고리즘이고, RNN 모델은 CNN 모델과 연동되어 움직이는 안면 근육의 상호작용과 수직 이완 정보 및 방향을 측정하기 위한 AI 알고리즘이다. 또한, 표준 모델정보는 각 표준 모델별 다수의 서로 다른 표정 영상이 함께 저장된다.
이어, 상기한 구성으로 된 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법을 설명한다.
도2는 본 발명에 따른 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법을 설명하기 위한 흐름도이다.
먼저, 사용자는 사용자 단말(100)을 통해 서비스 서버(200)에 접속하여 본 발명에 따른 안면 비대칭 교정 서비스를 위한 안면교정 프로그램을 제공받아 설치한다. 이하에서 사용자 단말(100)은 안면교정 프로그램의 실행에 따라 하기의 동작을 수행하며, 카메라가 구비된 스마트 폰인 경우에 대해 설명한다.
사용자 단말(100)은 안면교정 프로그램이 실행된 상태에서, 서비스 서버(200)에 접속하여 카메라를 통해 자신의 얼굴 영상을 촬영하고, 이를 서비스 서버(200)에 전송한다(ST100).
상기 ST100 단계에서 서비스 서버(200)는 기 설정된 7가지의 서로 다른 표정을 갖는 얼굴 영상을 획득하기 위해 해당 표정을 유도하기 위한 다양한 유도 문장을 사용자 단말(100)로 제공하고, 이에 대응되는 서로 다른 표정의 사용자 얼굴 영상을 사용자 단말(100)로부터 획득한다.
즉, 본 발명에서 서비스 서버(200)는 유도 문장을 이용하여 무표정, 웃음, 기쁨, 놀람, 두려움, 슬픔, 분노, 혐오 의 7가지 기본 표정 영상을 획득한다. 하기 표1은 7가지 기본 표정 영상을 획득하기 위해 서비스 서버(200)에서 사용자 단말(100)로 제공되는 정보를 예시한 것이다.
표 정
 문장특징 및 예시문장
무표정
 두손을 포개서 무릎이나 테이블에 올려놓고 아무도 없이 혼자 있을 때 무념무상의 표정을 지어 보세요.
웃 음
 지금 들리는 음성의 톤과 빠르기를 그대로 따라해보세요.
’푸 하하하하’, ‘웃으면 복이옵니다’
기 쁨
 오랜만에 사랑하는 연인, 반가운 친구나 가족을 만났을 때의 표정입니다.
머릿속으로 떠올리며 표정을 지어보세요.
‘친구야 반갑다 하하하 ’, ‘아빠(엄마) 사랑해요’ ‘우리 사랑하는 아들(딸)’
놀 람
 지금 들리는 음성의 톤과 빠르기를 그대로 따라해보세요.
’뭐라고? 그게 사실이야?’, ‘깜작이야! 놀랬잖아?’
두려움
 다음 이야기를 들어보세요.
‘물을 마시던 가젤에게 갑자기 악어가 들이닥쳤습니다. 물보라가 일고 가젤은 온힘을 다해 빠져나가려고 했지만 악어는 가젤을 강한 이빨로 물고 견딜 수 없는 힘으로 이리 저리 뒤흔들자 가젤은 힘없이 숨만 붙은 채 피와 흙탕물이 뒤섞인 물속으로 순식간에 끌려가 사라져버렸습니다’
이 이야기가 자신에게 일어났다고 상상하고 머릿속에 떠올려 보세요.
슬 픔
 당신에게 가장 슬펐던 순간은 언제입니까?
사랑하는 사람과 헤어졌던 날, 가슴이 아팠던 적이 있나요?
‘ 엄마, 나 여기에 가슴이 그냥 뻥 뚤린거 같아. 아무것도 없어, 아무리 채워도 넣을수가 없어, 아빠가 너무 보고 싶어. 지금 보고 싶어 엉엉’
분 노
 화가 난 상황을 상상하며 아래 사진을 본 느낌을 표정으로 지어 보세요.
‘데모하거나 항의하는 사람 또는 대치 중인’
혐 오
 무언가 싫거나 끔직한 장면을 보았다면 어떤 표정을 짓겠습니까?
‘ 아이 더러워, 누가 똥밟았어? 어휴 냄새야. 우웩! 토나오려고 해’
이때, 사용자 단말(100)은 표시창을 통해 촬영 포인트를 출력하여 사용자로하여금 응시하도록 하고, 사용자 단말(100)은 사용자의 조작에 따라 카메라를 이용하여 자신의 정면 얼굴과 측면 얼굴을 촬영한다. 여기서, 사용자는 정면 얼굴 촬영시에는 양쪽 귀의 크기가 일치하도록 하고, 측면 얼굴 촬영시에는 입술꼬리가 얼굴 윤곽선에 일치시키도록 한 상태에서 얼굴 영상 촬영을 수행한다.
이어 서비스 서버(200)는 무표정 얼굴 영상 즉, 무표정 영상을 근거로 사용자의 안면 수치 정보를 산출한다(ST200).
이때, 서비스 서버(200)는 무표정 영상을 Open CV 알고리즘에 적용하여 안면의 전체적인 윤곽과 각 부위의 위치, 크기, 각도, 간격 등을 측정하여 안면 비대칭 교정에 필요한 해당 사용자의 안면 수치 정보를 추출한다.
안면 수치 정보를 추출하는 과정은 도3에 도시된 바와 같이, 먼저 서비스 서버(200)는 무표정 영상에서 기 설정된 부위 포인트를 추출한다(ST210). 도4에 도시된 바와 같이, 부위 포인트는 각 부위의 양쪽 눈물샘(P1,P2)과, 눈꼬리 흰자끝(P3,P4), 입술 꼬리(P5, P6), 귀밑 끝(P7,P8), 상측 입술 홈(P9)을 포함한다.
또한, 서비스 서버(200)는 무표정 영상에서 각 부위 포인트를 이용하여 안면 기준선을 설정한다(ST220). 도4에 도시된 바와 같이, 안면 기준선은 안면의 세로 방향 중심상에 설정되는 세로 기준선(VL)과, 안면의 상측에 가로 방향으로 형성되는 제1 가로 기준선(HL1) 및, 안면의 하측에 가로 방향으로 형성되는 제2 가로 기준선(HL2)으로 이루어진다.
안면 기준선 생성 과정은 먼저, 양쪽 눈썹 상단을 연결하는 연장 라인을 제1 가로 기준선(HL1)으로 생성한다.
먼저 양쪽눈의 각 눈물샘 포인트(P1,P2)에서 제1 가로 기준선(HL1)까지의 거리가 1:1 인 위치의 제1 세로 포인트(VP1)를 설정하고, 양쪽눈의 눈물샘 포인트(P1,P2)간 연결선의 중앙점을 제2 세로 포인트(VP2)로 설정하여, 제1 세로 포인트(VP1)와 제2 세로 포인트(VP2)를 통과하면서 제1 가로 기준선(HL1)과 직각으로 만나는 연장 라인을 세로 기준선(VL)으로 생성한다.
또한, 양쪽 입술꼬리 포인트(P5,P6)를 연결하는 연장 라인을 제2 가로 기준선(HL2)으로 생성한다.
상기한 상태에서, 서비스 서버(200)는 도4에 도시된 바와 같이 각 포인트(P1 ~ P8) 및, 안면 기준선을 연결하여 안면 비대칭 상태를 판단하기 위한 측정 라인을 생성한다(ST230). 측정 라인은 양쪽 귀끝 포인트(P7,P8)를 제1 가로 기준선(HL1)에 수직하게 연결하는 라인과, 양쪽 눈물샘(P1,P2)과, 눈꼬리 흰자끝(P3,P4) 포인트를 연결하는 라인, 입술 꼬리(P5, P6) 포인트를 연결하는 라인, 입술 꼬리(P5, P6) 포인트와 입술 홈(P9)을 연결하는 라인을 포함한다.
이어, 서비스 서버(200)는 도5에 도시된 바와 같이 세로 기준선(VL)과 제1 가로 기준선(HL1)이 만나는 포인트에 수직하는 세로 중력선(GL1)과 제1 가로 중력선(GL2)을 생성하고, 입술꼬리 중 보다 위로 올라간 입술꼬리 포인트를 기준으로 세로 중력선(GL1)과 수직하는 제2 가로 중력선(GL3)으로 이루어지는 중력 기준선을 생성한다(ST240).
그리고, 서비스 서버(200)는 중력 기준선을 기준으로 양쪽 각 부위 포인트간 거리, 서로 다른 부위 포인트간 거리, 측정 라인 간의 거리, 각도, 포인트들을 연결하는 측정 라인에 의해 형성되는 면의 면적 등의 수치값을 근거로 비대칭 속성값을 산출한다(ST250). 이때, 서비스 서버(200)는 안면의 모든 측정라인을 가로 중력선(GL1,GL2)에 평행되도록 회전시켜 비교 라인을 설정하고, 비교 라인과 사용자의 안면 측정라인간의 차이를 근거로 비대칭 속성값을 산출한다. 본 발명에서 비대칭 속성은 비대칭 여부를 판단하기 위한 항목으로, 양쪽 귀끝 높이, 양 눈의 크기, 양 눈의 수평 높이, 입술끝점의 수평높이, 코의 좌우 균형, 입의 좌우 균형, 좌우 눈썹과 입꼬리의 길이, 얼굴의 좌우 면적 등을 포함한다.
이어, 서비스 서버(200)는 상기 ST200 단계에서 산출된 안면 수치 정보를 근거로 비대칭 타입을 결정한다(ST300). 이때, 서비스 서버(200)는 도4에 도시된 사용자 안면 기준선과 도5에 도시된 중력 기준선을 비교하여 중력 기준선을 기준으로 안면 기준선의 경사 여부 및 경사 방향을 결정하고, 안면 기준선의 경사 상태에 따라 비대칭 타입을 결정한다.
도6에는 3가지의 비대칭 타입이 예시되어 있다.
도6을 참조하면, 본 발명에서는 수평 기준선(HL1,HL2)의 경사 여부 및 경사 방향에 따라 비대칭 타입을 3가지로 구분한다. 제1 비대칭 타입(A)은 제2 가로 기준선만 경사 상태인 경우이고, 제2 비대칭 타입은 제2 가로 기준선과 제1 가로 기준선이 서로 다른 방향으로 경사 형성된 경우이며, 제3 비대칭 타입은 제2 가로 기준선과 제1 가로 기준선이 동일 방향으로 경사 형성된 경우로 구분된다.
제1 비대칭 타입(A)은 가장 초기단계의 안면 비대칭 상태로서, 제2 가로 기준선(HL2)만 경사 상태로 설정된다. 이는 아래턱이 좌측아래턱(하악)이 좌측 혹은 우측으로 틀어진 상태이며, 아래턱 이외의 부위에서는 아직 비대칭이 뚜렷하게 나타나지 않은 상태로 분석된다.
제2 비대칭 타입(B)은 제1 비대칭 타입(A) 상태에서 하악의 틀어짐이 더 심해지면서 나타나는 상태로, 가장 흔한 안면 비대칭 유형이다. 제2 비대칭 타입(B)은 제1 및 제2 가로 기준선(HL1,HL2)이 모두 경사 상태로서, 서로 다른 방향으로 경사 형성된 상태로 설정된다. 이는 아래턱이 틀어진 방향으로 측두골이 밀려나면서 외회전 위턱(상악)이 아래턱과 같은 방향으로 틀어지고, 아래턱이 틀어진 방향으로 눈과 광대가 주저앉으면서 얼굴이 찌그러져 보이는 유형으로 분석되며, 아래턱이 틀어진 방향으로 코가 휘는 경우가 많다. 이 경우, 노화가 진행되면 찌그진 방향으로 눈가주름, 팔자주름 등도 더 깊이 유발되는 특징을 갖는다.
제3 비대칭 타입(C)은 가장 심한 안면 비대칭 유형으로, 제1 및 제2 가로 기준선(HL1,HL2)이 모두 경사 상태로서, 동일 방향으로 경사 형성된 상태로 설정된다. 이는 제2 비대칭 타입(B)에서 비대칭이 더욱 진행되어 측두골과 접형골 등 두개골의 변위 진행한 상태로서, 아래턱과 반대방향으로 위턱이 틀어지고 코가 휜 상태로, 아래턱이 틀어진 방향으로 눈매와 광대선이 위로 올라간 상태이며, 안면뼈와 두개골의 변위가 가장 많이 진행된 유형으로 분석된다.
이어, 서비스 서버(200)는 상기 ST200 단계에서 산출된 안면 수치 정보를 근거로 데이터 저장소(240)에 기 등록된 안면 대칭형의 표준 모델 중 해당 사용자의 안면 수치, 바람직하게는 골격 수치가 가장 유사한 표준 모델을 결정한다(ST400). 이때, 서비스 서버(200)는 중력 중심선을 기준으로 각 부위 포인트 및 측정 라인이 균형을 이루도록 변환하고, 변환된 균형 수치를 근거로 최적의 표준 모델을 결정한다.
그리고, 서비스 서버(200)는 사용자의 다양한 표정 영상을 근거로 사용자의 안면 움직임을 분석한다(ST500).
이때, 서비스 서버(200)는 서로 다른 7가지 표정 영상을 빅 데이터화된 얼굴 영상 데이터 셋으로부터 학습된 GANs(Generative Adversarial Networks, 심층 합성곱 생성적 적대 신경망)을 이용하여 6가지 표정의 얼굴 영상을 추가로 생성한다.
하기 표2와 같은 방식의 표정 영상 조합을 통해 6가지의 새로운 표정 영상을 생성한다.
기본 표정
합성 표정
 GAN을 통해 생성된 표정
2.기쁨
 1.무표정
 8.만족
3.놀람
 9.경계
4.두려움
 10.걱정
5.슬픔
 11.낙담
6.분노
 12.굳어짐
7.혐오
 13.멸시
표2를 참조하면, 기본 표정과 합성 표정은 상기 ST100 단계에서 사용자 단말(100)로부터 획득한 얼굴 영상이고, GAN을 통해 생성된 표정은 추가로 생성된 얼굴 영상으로, 무표정 영상에 기쁨 영상과 놀람 영상, 두려움 영상, 슬픔 영상, 분노 영상 및 혐오 영상을 순차적으로 조합하여 만족 영상과 경계 영상, 걱정 영상, 낙담 영상, 굳어짐 영상, 멸시 영상을 순차로 추가 생성한다. 예컨대, 표2에서 "만족" 표정 영상은 기쁨 표정 영상과 무표정 영상을 조합하여 생성되고, "경계" 표정 영상은 "놀람" 표정 영상과 무표정 영상을 조합하는 형태로 생성된다.
즉, 서비스 서버(200)는 총 13가지 표정 영상을 해당 얼굴의 각 부위가 학습된 CNN 모델과 RNN 모델에 적용하여 해당 사용자의 안면 움직임을 분석한다. 이때, 서비스 서버(200)는 대화시 사용자의 얼굴 근육의 움직임을 측정하기 위해 기 설정된 짧은 문장을 제시하고 해당 문장을 읽는 얼굴 영상을 사용자 단말(100)로부터 획득함과 더불어, 기 설정된 대화내용을 출력하여 해당 대화를 듣는 상태의 얼굴 영상을 사용자 단말(100)로부터 획득하여 이를 안면 움직임 분석에 추가적으로 반영할 수 있다.
이어, 서비스 서버(200)는 상기 ST300 단계에서 결정된 비대칭 타입과 ST500 단계에서 결정된 안면 움직임 분석결과를 근거로 날짜별 순차적인 트레이닝 정보로 이루어지는 표정 트레이닝 스케쥴을 생성하고, 이를 사용자 단말(100)로 전송한다(ST600, ST700).
이때, 서비스 서버(200)는 사용자의 기준 표정과 추가 생성된 표정을 포함한 13가지의 표정에 대한 표준 모델의 표정 영상 즉, 표준 영상을 목표로 하는 표정 트레이닝 스케쥴을 생성한다. 즉, 서비스 서버(200)는 사용자의 표정 영상과 표준 영상을 비교하여 해당 표정이 나타나도록 하기 위한 표정 트레이닝 스케쥴을 생성한다.
예컨대, 서비스 서버(200)는 비대칭 속성과 관련된 안면 움직임이 큰 순서로 일정 개수의 표정 영상을 선택하여 해당 표정이 표준 영상의 표정이 되도록 하는 트레이닝 정보를 생성할 수 있다.
또한, 서비스 서버(200)는 해당 사용자의 각 표정 영상과 표준 모델의 표정 영상을 비교하여 표정 영상별 안면 움직임 차이를 산출하고, 안면 움직임 차이가 큰 순서로 일정 개수의 표정 영상을 선택하여 해당 표정이 표준 영상의 표정이 되도록 하는 트레이닝 정보를 생성할 수 있다.
이러한 표정 트레이닝 스케쥴은 각 표정에 대한 근육풀기와, 얼굴 움직임, 포인트 지압, 마시지로 이루어지는 기본 표정 트레이닝과, 얼굴 부위의 움직임을 개별적으로 연습한 후 2개 이상의 얼굴 부위를 동시에 움직이는 연습을 수행하며, 표정을 단계적으로 짓도록 한 다음, 표정을 한 번에 짓도록 하는 동작으로 이루어지는 단계 트레이닝 및, 무표정 상태의 개선점을 도출하여 부드럽고 호감가는 표정을 이미지로 생성하여 제시하고, 개선이 필요한 부위에 대한 트레이닝 요소를 도출하여 훈련을 수행하는 호감 트레이닝을 포함할 수 있다. 여기서 호감 트레이닝을 위한 표준 모델은 사용자의 안면 골격과 유사한 다수의 모델 중에서 사용자 단말(100)을 통해 사용자가 직접 선택할 수 있다.
한편, 사용자 단말(100)은 서비스 서버(200)로부터 제공되는 트레이닝 스케줄에 따른 자신의 표정 영상을 트레이닝 피드백 정보로서 서비스 서버(200)로 전송한다(ST800).
서비스 서버(200)는 사용자 단말(100)로부터 수신된 트레이닝 피드백 정보를 분석하여 트레이닝 평가를 수행하고, 이에 대한 트레이닝 결과정보를 사용자 단말(100)로 전송한다(ST900).
즉, 상기 실시예에 의하면 다양한 표정의 얼굴 영상 분석을 통해 안면 수치를 측정하여 안면 비대칭 상태를 판단하며, 자신의 안면 골격과 가장 유사한 균형 모델의 표정 트레이닝을 통해 사용자의 안면 비대칭을 용이하게 교정할 수 있다.
100 : 사용자 단말, 200 : 서비스 서버,
210 : 정보 획득부, 220 : 안면상태 분석부,
230 : 트레이닝 처리부, 240 : 데이터 저장소.

Claims (6)

  1. 서비스 서버에서 무표정을 포함한 서로 다른 표정의 각 사용자 얼굴 영상을 표정 영상으로 획득하는 제1 단계와,
    서비스 서버에서 무표정 영상에서 눈, 귀, 입을 포함하는 다수의 각 부위 포인트를 추출함과 더불어, 안면 중앙의 세로 중력선과 이 세로 중력선과 수직하는 안면 상측의 제1 가로 중력선 및, 안면 하측의 제2 가로 중력선으로 이루어지는 중력 기준선을 생성하여 중력 기준선과 양쪽 각 부위 포인트간의 거리와 부위 포인틀간 거리를 근거로 비대칭 속성값을 산출하는 제2 단계,
    서비스 서버에서 무표정 영상의 각 부위 포인트를 기준으로 안면 중앙의 세로 기준선과, 안면 상측의 제1 가로 기준선 및, 안면 하측의 제2 가로 기준선으로 이루어지는 안면 기준선을 생성하고, 상기 각 중력 기준선을 기준으로 안면 기준선의 경사 여부 및 경사 방향을 근거로 비대칭 타입을 결정하되, 비대칭 타입은 제2 가로 기준선만 경사 상태인 제1 비대칭 타입과, 제2 가로 기준선과 제1 가로 기준선이 서로 다른 방향으로 경사 형성된 상태인 제2 비대칭 타입 및, 제2 가로 기준선과 제1 가로 기준선이 동일 방향으로 경사 형성된 상태인 제3 비대칭 타입으로 구분되는 제3 단계,
    서비스 서버에서 기 등록된 표준 모델에서 사용자 안면과 가장 유사한 안면 구조의 표준 모델을 결정하고, 사용자의 표정 영상을 이용하여 안면 움직임을 분석하는 제4 단계 및,
    서비스 서버에서 비대칭 타입 및 안면 움직임 분석결과를 근거로 표준 모델의 표정 영상을 갖도록 하기 위한 트레이닝 정보로 이루어지는 표정 트레이닝 스케쥴을 생성하여 사용자 단말로 제공하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법.
  2. 제1항에 있어서,
    상기 제3 단계에서 제1 가로 기준선은 안면 눈썹 상단 연장 라인으로 설정되고, 세로 기준선은 양쪽 눈물샘 포인트에서 제1 가로 기준선간의 거리가 1:1 인 제1 가로 기준선 위치를 제1 세로 포인트로 설정하고, 양쪽 눈물샘 포인트간 중앙점을 제2 세로 포인트로 설정하여 제1 및 제2 세로 포인트를 통과하는 연장 라인으로 설정되며, 제2 가로 기준선은 양쪽 입출꼬리 포인트를 연결하는 연장 라인으로 설정되고,
    상기 제2 단계에서 세로 중력선은 상기 세로 기준선에, 제1 가로 중력선은 상기 제1 가로 기준선에, 제2 가로 중력선은 제2 가로 중력선에 대응되는 위치에 설정되되, 상기 세로 중력선과 제1 가로 중력선은 상기 세로 기준선과 제1 가로 기준선이 만나는 포인트에 수직하게 설정되고, 제2 가로 중력선은 보다 높은 측의 입술꼬리 포인트를 기준으로 세로 중력선과 수직하게 설정되는 것을 특징으로 하는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법.
  3. 제1항에 있어서,
    상기 제1 단계에서 서비스 서버는 무표정, 기쁨, 놀람, 두려움, 슬픔, 분노, 혐오의 표정을 유도하기 위한 다양한 유도 문장을 사용자 단말로 제시하고, 각 유도 문장에 대한 반응 표정을 사용자의 기본 표정 영상으로 획득하는 것을 특징으로 하는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법.
  4. 제1항에 있어서,
    상기 제4 단계에서 서비스 서버는 상기 제1 단계에서 획득한 사용자 표정 영상을 조합하여 사용자 표정 영상을 추가 생성하고, 추가 생성된 표정 영상을 포함한 사용자 표정 영상을 이용하여 안면 움직임을 분석하고,
    상기 제5 단계에서 서비스 서버는 추가 생성된 표정 영상을 포함한 표준 모델의 표정 영상을 갖도록 하기 위한 트레이닝 정보를 생성하며,
    상기 추가 생성되는 표정 영상은 무표정 영상에 기쁨 영상과 놀람 영상, 두려움 영상, 슬픔 영상, 분노 영상 및 혐오 영상을 순차적으로 조합하여 만족 영상과 경계 영상, 걱정 영상, 낙담 영상, 굳어짐 영상, 멸시 영상을 순차로 추가 생성하는 것을 특징으로 하는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법.
  5. 제1항에 있어서,
    상기 제5 단계에서 서비스 서버는 비대칭 속성과 관련된 안면 움직임이 큰 순서로 일정 개수의 표정 영상을 선택하여 트레이닝 정보를 생성하는 것을 특징으로 하는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법.
  6. 제1항에 있어서,
    상기 제5 단계에서 서비스 서버는 사용자 표정 영상과 표준 모델의 표정 영상을 비교하여 표정 영상별 안면 움직임 차이를 산출하고, 안면 움직임 차이가 큰 순서로 일정 개수의 표정 영상을 선택하여 트레이닝 정보를 생성하는 것을 특징으로 하는 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법.
KR1020200132402A 2020-10-14 2020-10-14 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법 KR102497688B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200132402A KR102497688B1 (ko) 2020-10-14 2020-10-14 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200132402A KR102497688B1 (ko) 2020-10-14 2020-10-14 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법

Publications (2)

Publication Number Publication Date
KR20220049149A true KR20220049149A (ko) 2022-04-21
KR102497688B1 KR102497688B1 (ko) 2023-02-07

Family

ID=81437351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200132402A KR102497688B1 (ko) 2020-10-14 2020-10-14 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법

Country Status (1)

Country Link
KR (1) KR102497688B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007108620A (ja) * 2005-10-13 2007-04-26 Ichiro Hagiwara 表情訓練器
JP2008264367A (ja) * 2007-04-24 2008-11-06 Nintendo Co Ltd トレーニングプログラムおよびトレーニング装置
KR20180103659A (ko) * 2017-03-10 2018-09-19 주식회사 모르페우스 해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20190000195A (ko) * 2017-06-22 2019-01-02 연세대학교 산학협력단 신경계 질환 관리를 위한 시스템 및 방법
JP2019524397A (ja) 2016-06-28 2019-09-05 レッティエーリ, クレリアLETTIERI, Clelia 顔面非対称を治療するための歯列矯正装置を実現する方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007108620A (ja) * 2005-10-13 2007-04-26 Ichiro Hagiwara 表情訓練器
JP2008264367A (ja) * 2007-04-24 2008-11-06 Nintendo Co Ltd トレーニングプログラムおよびトレーニング装置
JP2019524397A (ja) 2016-06-28 2019-09-05 レッティエーリ, クレリアLETTIERI, Clelia 顔面非対称を治療するための歯列矯正装置を実現する方法
KR20180103659A (ko) * 2017-03-10 2018-09-19 주식회사 모르페우스 해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20190000195A (ko) * 2017-06-22 2019-01-02 연세대학교 산학협력단 신경계 질환 관리를 위한 시스템 및 방법

Also Published As

Publication number Publication date
KR102497688B1 (ko) 2023-02-07

Similar Documents

Publication Publication Date Title
CN109298779B (zh) 基于虚拟代理交互的虚拟训练系统与方法
Peck et al. Selected aspects of the art and science of facial esthetics
JP6635929B2 (ja) 拡張現実歯科設計方法およびシステム
Iglesias-Linares et al. Common standards in facial esthetics: craniofacial analysis of most attractive black and white subjects according to people magazine during previous 10 years
Wilkinson Forensic facial reconstruction
Câmara Esthetics in Orthodontics: six horizontal smile lines
US20230017611A1 (en) Method and apparatus for providing tooth-brushing guide information using augmented reality
JP2001346627A (ja) 化粧アドバイスシステム
Angela et al. Esthetic evaluation of dynamic smiles with attention to facial muscle activity
Garcia et al. Design of reliable virtual human facial expressions and validation by healthy people
US20230200908A1 (en) Computing platform for improved aesthetic outcomes and patient safety in medical and surgical cosmetic procedures
CN114842522A (zh) 应用于美容医疗的人工智能辅助评估方法
CN116807476B (zh) 基于界面式情感交互的多模态心理健康评估系统及方法
CN112150617A (zh) 一种三维人物模型的控制装置和方法
Xue et al. Three-dimensional dynamic analysis of the facial movement symmetry of skeletal class III patients with facial asymmetry
CN110021203A (zh) 一种口腔健康教育体验系统、方法及医疗教育装置
JPH11265443A (ja) 印象の評価方法及び装置
JP5095182B2 (ja) 顔分類装置、顔分類プログラム、及び該プログラムが記録された記録媒体
KR102497688B1 (ko) 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법
CN114303142A (zh) 影像生成装置
CN112133409A (zh) 一种虚拟诊疗系统和方法
Thaler The role of visual cues in body size estimation
JP6826747B1 (ja) 情報処理装置及び情報処理方法
KR102497694B1 (ko) 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템 및 그 서비스 방법
US20230200907A1 (en) Computing platform for improved aesthetic outcomes and patient safety in medical and surgical cosmetic procedures

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant