KR20220057008A - 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템 및 그 서비스 방법 - Google Patents

교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템 및 그 서비스 방법 Download PDF

Info

Publication number
KR20220057008A
KR20220057008A KR1020200141774A KR20200141774A KR20220057008A KR 20220057008 A KR20220057008 A KR 20220057008A KR 1020200141774 A KR1020200141774 A KR 1020200141774A KR 20200141774 A KR20200141774 A KR 20200141774A KR 20220057008 A KR20220057008 A KR 20220057008A
Authority
KR
South Korea
Prior art keywords
image
facial
correction
mirror
training
Prior art date
Application number
KR1020200141774A
Other languages
English (en)
Other versions
KR102497694B1 (ko
Inventor
이세호
Original Assignee
이세호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이세호 filed Critical 이세호
Priority to KR1020200141774A priority Critical patent/KR102497694B1/ko
Publication of KR20220057008A publication Critical patent/KR20220057008A/ko
Application granted granted Critical
Publication of KR102497694B1 publication Critical patent/KR102497694B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A61B5/0079—Devices for viewing the surface of the body, e.g. camera, magnifying lens using mirrors, i.e. for self-examination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00—Exercising apparatus specially adapted for particular parts of the body
    • A63B23/025—Exercising apparatus specially adapted for particular parts of the body for the head or the neck
    • A63B23/03—Exercising apparatus specially adapted for particular parts of the body for the head or the neck for face muscles
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Otolaryngology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Nursing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 다양한 표정의 사용자 얼굴 영상 분석을 통해 사용자의 안면 비대칭 상태를 판단하여 사용자의 안면 근골격과 가장 유사한 균형 모델의 표정을 목표로 하는 표정 트레이닝을 수행하고, 제휴업체를 통해 사용자의 트레이닝 수행에 대한 코칭서비스를 제공하도록 해 주는 기술에 관한 것이다.
본 발명에 의하면, 사용자 단말을 통해 교정거울과 연동하여 사용자 얼굴의 비대칭 위치와 안면 비대칭 교정을 위한 트레이닝 정보를 거울면을 통해 표현함으로써, 사용자가 거울을 보면서 자신의 얼굴 비대칭 상태를 자연스럽게 인지한 상태로 안면 비대칭 교정 트레이닝을 수행할 수 있다.
또한, 제휴업체를 통해 사용자의 트레이닝 수행 상태에 대한 코칭 서비스를 제공할 수 있도록 함으로써, 정확한 표정 트레이닝을 수행할 수 있다.

Description

교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템 및 그 서비스 방법{System and Method for correcting facial asymmetry based expression training using correction mirror}
본 발명은 다양한 표정의 사용자 얼굴 영상 분석을 통해 사용자의 안면 비대칭 상태를 판단하여 사용자의 안면 근골격과 가장 유사한 균형 모델의 표정을 목표로 하는 표정 트레이닝을 수행하고, 제휴업체를 통해 사용자의 트레이닝 수행에 대한 코칭서비스를 제공하도록 해 주는 기술에 관한 것이다.
안면의 움직임은 안면을 구성하는 수 많은 근육이 22개의 뼈조각과 서로 연결되어 상호작용하게 되는데 안면 비대칭은 이러한 근골격계의 복합적인 원인에 의한 결과로서 나타나는 현상으로 얼굴 비대칭으로 나타난다.
이러한 안면 비대칭의 주원인은 개인의 생활 습관(저작, 수면자세, 손으로 턱괴기, 상하반신의 자세 불균형)과 매우 밀접하게 연관되어 있으며 이러한 습관은 오랜 시간동안 안면의 근골격계에 영향을 주게 되어 안면 근육의 수축이완 및 긴장, 사용 유무 그리고 그 근육에 의한 안면과 두상의 골격의 변화 등으로 나타난다.
또한 안면 비대칭의 결과는 턱관절의 균형과 움직임에 매우 깊은 영향을 줄 수 있다.
턱관절은 경락체계와 뇌의 활동을 조절하는 부위로서 턱 관절이 뇌 활동 치료의 근본이 되기도 하는데 그 이유는 턱관절 주변으로는 수많은 신경과 혈관들이 지나가기때문에 얼굴 비대칭이 발생할 경우 신경체계의 밸런스가 깨지면서 많은 문제점들을 야기할 수 있기 때문이다.
이를 방치할 경우 만성두통, 부종, 혈색변화, 어깨걸림, 어지러움증, 구토, 저작의 어려움, 호르몬 분비이상과 같은 신경과 근육계통의 질환을 발생시키기 때문에 조기에 안면 불균형 현상을 인식해서 원인을 해결하고 그 경과 진행을 방지할 필요가 있다.
또한, 안면 비대칭은 대인관계에 좋지 않은 인상을 심어줄 수 있을 뿐 만 아니라 외모적 스트레스와 콤플렉스가 되기 때문에 사회적 관계에 있어서 자기효능감에도 좋지 않은 영향을 줄 수 있다.
이는 자신감을 저하시키는 요인으로서, 자신의 의사를 정확히 상대방에게 전달하거나 상대방을 설득하는데 있어서 심리적 소극성으로 이어져 주도적인 감정표현과 자립심의 영역에도 영향을 미치고 자신의 사회적 영향력을 제한하거나 축소시켜 환경에 종속되는 방향으로 가기 쉬워진다.
이러한 결과로 인해 안면 비대칭은 질환적인 문제에만 국한되지 않고 개인의 사회성 및 자기효능감에 관련된 삶의 심리적 이슈와도 매우 밀접하게 관련되어 있어 이를 해결해야 할 필요가 있다.
이를 위해 안면 비대칭 관련 시술이나 수술들의 방법들이 이용되고 있으나, 현재 이용되는 안면 비대칭 관련 시술이나 수술적인 방법들은 병원에서 전문적인 장비들을 이용하는 것으로 많은 비용이 소요되는 단점이 있다.
이에, 현재 온라인에서 공개적으로 제공되는 안면 교정 트레이닝을 수행하는 방법이 있을 수 있으나, 이는 범용적인 것으로 자신의 안면 비균형 상태를 기반으로 한 맞춤형 트레이닝이 불가능한 단점이 있다. 또한, 이러한 서비스는 사용자가 자신이 현재 정확하게 트레이닝을 수행하고 있는지를 확인할 수 없는 단점이 있다.
1. 일본공개특허 제2019-524397호 (명칭 : 안면 비대칭을 치료하기 위한 치열 교정 장치를 실현하는 방법) 2. 한국공개특허 제10-2015-0059629호 (명칭 : 인체의 균형 상태를 파악할 수 있는 거울)
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 사용자 단말을 통해 교정거울과 연동하여 사용자 얼굴의 비대칭 위치와 안면 비대칭 교정을 위한 트레이닝 정보를 거울면을 통해 표현함으로써, 사용자가 거울을 보면서 자신의 얼굴 비대칭 상태를 자연스럽게 인지한 상태에서 안면 비대칭 교정 트레이닝을 수행함은 물론, 제휴업체를 통해 사용자의 트레이닝 수행 상태한 코칭 서비스를 제공할 수 있도록 해 주는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템 및 그 서비스 방법을 제공함에 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 격자패턴의 각 교차점 위치에 RGB LED가 배치되는 거울면과, 사용자 단말과 통신하여 사용자 단말로부터 수신된 제어신호를 근거로 격자패턴 및 RGB LED가 출력되도록 제어하는 전자 모듈을 포함하여 구성되는 교정거울과, 안면 교정 어플리케이션의 실행에 따라 교정거울과 통신하여 거울면을 통해 안면 비대칭 트레이닝 정보를 제공하되, 교정거울에 표현된 기준라인이 포함된 기준라인 얼굴영상과 무표정을 포함한 다양한 표정 영상을 촬영하여 서비스 서버로 제공하고, 서비스 서버에 의해 매칭된 코칭 서비스 단말과 통신하여 트레이닝 정보를 교정거울을 통해 표현함과 더불어, 이에 대응되는 사용자 얼굴영상을 포함한 트레이닝 피드백정보를 코칭 서비스 단말로 전송하고, 이에 대해 코칭 서비스 단말로부터 수신되는 코칭정보를 출력하는 사용자 단말, 사용자 단말로부터 수신된 기준라인 얼굴 영상을 근거로 눈, 귀, 입을 포함하는 다수의 각 부위 포인트를 추출하고, 기준라인에 대응되는 중력 기준의 중력 라인을 생성하여 중력 라인과 양쪽 각 부위 포인트간의 거리와 부위 포인트간 거리를 근거로 비대칭 속성값을 산출하며, 상기 각 중력라인과 기준라인간의 경사 여부 및 경사 방향을 근거로 비대칭 타입을 결정함과 더불어, 표정 영상을 근거로 기 등록된 표준 모델에서 사용자 안면과 가장 유사한 안면 구조의 표준 모델을 결정하고, 표정 영상을 근거로 분석된 안면 움직임을 근거로 표준 모델의 표정을 목표로 하는 트레이닝 스케쥴을 생성하여 해당 사용자 단말과 매칭된 코칭 서비스 단말로 제공하는 서비스 서버 및, 서비스 서버로부터 제공받아 설치된 코칭 어플리케이션에 서비스 서버로부터 수신된 해당 사용자의 표정 트레이닝 스케쥴을 적용하고, 서비스 서버에 의해 매칭된 사용자 단말로 트레이닝 정보를 전송함과 더불어, 사용자단말로부터 수신된 트레이닝 피드백정보에 대응되는 코칭정보를 제공하는 코칭 서비스 단말을 포함하여 구성되는 것을 특징으로 하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템이 제공된다.
또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 따르면, 격자 패턴과 격자 패턴의 교차점에 RGB LED가 구비된 교정거울과 통신하는 사용자 단말을 이용하여 안면 비대칭 트레이닝 정보를 제공하고, 코칭 서비스 단말을 통해 사용자 단말을 통해 수행되는 트레이닝 상태에 대한 코칭정보를 제공하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 서비스 방법에 있어서, 사용자 단말에서 교정거울로 표현되는 격자 패턴상에 얼굴 촬영을 위한 기준라인이 표시되도록 제어함과 더불어, 교정거울의 기준라인을 포함한 얼굴 영상과, 무표정을 포함한 다양한 표정 영상을 촬영하여 서비스 서버로 전송하는 제1 단계와, 서비스 서버에서 기준라인 얼굴영상을 분석하여 안면 비대칭 속성을 추출하고, 기준라인 얼굴영상에 중력 기준의 중력라인을 기준라인에 대응되는 위치에 설정하여 중력라인과 기준라인간의 경사 여부 및 경사 방향을 근거로 비대칭 타입을 결정하는 제2 단계, 서비스 서버에서 표정영상을 분석하여 기 등록된 표준 모델에서 사용자 안면 특성과 가장 유사한 안면 구조의 표준 모델을 결정하는 제3 단계, 서비스 서버에서 표정 영상을 근거로 사용자 안면 움직임을 분석하는 제4 단계, 서비스 서버에서 비대칭 타입과 안면 움직임을 근거로 표준 모델의 표정을 목표로 하는 트레이닝 스케쥴을 생성하는 제5 단계 및, 서비스 서버에서 사용자 단말로 코칭정보를 제공하기 위한 코칭 서비스 단말을 매칭시키고, 매칭된 코칭 서비스 단말로 해당 사용자의 트레이닝 스케쥴을 전송하여 매칭된 사용자 단말과 코칭 서비스 단말간 통신을 통해 안면 교정 트레이닝을 수행하되, 사용자 단말은 교정거울을 통해 거울면에 비치는 자신의 얼굴상에 비대칭 속성 및 트레이닝 정보에 대응되는 위치의 RGB LED를 구동하는 제6 단계를 포함하여 구성되는 것을 특징으로 하는 교정거울을 이용한 표정 트레이닝 기반의 안면 교정 서비스 방법이 제공된다.
본 발명에 의하면, 사용자 단말을 통해 교정거울과 연동하여 사용자 얼굴의 비대칭 위치와 안면 비대칭 교정을 위한 트레이닝 정보를 거울면을 통해 표현함으로써, 사용자가 거울을 보면서 자신의 얼굴 비대칭 상태를 자연스럽게 인지한 상태로 안면 비대칭 교정 트레이닝을 수행할 수 있다.
또한, 제휴업체를 통해 사용자의 트레이닝 수행 상태에 대한 코칭 서비스를 제공할 수 있도록 함으로써, 정확한 표정 트레이닝을 수행할 수 있다.
도1은 본 발명의 제1 실시예에 따른 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템의 개략적인 구성을 도시한 도면.
도2는 도1에 도시된 교정거울(100)의 구성을 설명하기 위한 도면.
도3은 도1에 도시된 사용자 단말(200)의 구성을 기능적으로 분리하여 나타낸 도면.
도4는 도1에 도시된 서비스 서버(400)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도.
도5는 도1에 도시된 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템의 동작을 설명하기 위한 도면.
도6은 도5의 동작에서 교정거울(100)의 거울면(110)을 통해 출력되는 표현상태를 예시한 도면.
도7은 도5에 도시된 기준 라인 얼굴 영상 생성 과정(ST100)을 상세히 설명하기 위한 도면.
도8은 도7의 동작에서 동기화 이미지 생성과정을 예시한 도면.
도9는 도5에 도시된 안면 비대칭 타입 결정 과정(ST200)을 상세히 설명하기 위한 도면.
도10은 도9에서 비대칭 속성값을 추출하는 방법을 설명하기 위한 도면.
도11은 도9에서 비대칭 타입 결정 방법(ST300)을 설명하기 위한 도면.
본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도1은 본 발명의 제1 실시예에 따른 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템의 개략적인 구성을 도시한 도면이다.
도1을 참조하면, 본 발명에 따른 교정거울을 이용한 표정 트레이닝 기반의 안면 교정 시스템은, 교정거울(100)과, 이 교정거울(100)과 통신하여 교정거울(100)의 동작을 제어하는 사용자 단말(200), 안면 교정 트레이닝에 대한 코칭 서비스를 제공하는 코칭 서비스 단말(300) 및, 서비스 서버(400)를 포함한다.
여기서, 교정거울(100)과 사용자 단말(200)은 안면 교정 트레이닝을 수행하기 위한 사용자측 단말로서, 사용자 단말(200)은 교정거울(100)과 통신가능하면서 카메라 기능을 있는 스마트 폰 등의 개인통신단말이 될 수 있다.
코칭 서비스 단말(300)은 사용자 단말(200)과 통신하여 사용자로 하여금 정확한 트레이닝을 수행하도록 코칭서비스를 제공하는 사업자측 단말로서, 안면 교정 관련 각종 서비스업체의 단말이 될 수 있는 바, 서비스 업체로는 안면교정 클리닉을 수행하는 성형과, 물리치료업체, 도수치료업체, 에스테틱, 피부과, 한의과 등이나 표정 관리 서비스를 제공하는 면접이나 발표 코칭 업체등이 될 수 있다. 이때, 서비스 업체는 안면 교정 트레이닝 코칭과 자신의 고유 서비스를 결합하여 자신의 고유 서비스를 보다 활성화할 수 있다.
또한, 코칭 서비스 단말(300)은 서비스 서버(400)에 의해 매칭된 사용자 단말(200)로 트레이닝 정보를 전송하고, 이에 대응하여 사용자 단말(200)로부터 입력되는 트레이닝 피드백정보를 수집하여 트레이닝 코칭정보를 해당 사용자 단말(200)로 제공한다.
서비스 서버(400)는 회원가입된 사용자의 사용자 단말(200)로 안면 교정 어플리케이션을 공급하고, 사용자 단말(200)로부터 인가되는 얼굴 영상을 분석하여 사용자의 안면 비대칭 타입을 결정하며, 사용자의 안면 비대칭 타입에 대응되는 트레이닝 스케쥴을 생성하여 매칭된 코칭 서비스 단말(300)로 제공한다.
즉, 서비스 서버(400)에 의해 매칭된 사용자 단말(200)과 코칭 서비스 단말(300)과 통신하여 사용자에게 안면 교정 트레이닝 서비스를 제공한다.
이때, 서비스 서버(400)는 코칭 서비스 단말(300)별 안면 교정 코칭서비스를 제공받는 사용자정보를 관리하며, 코칭 서비스를 제공하는 사용자 수를 근거로 코칭 서비스 업체에 대한 비용을 정산하여 코칭 서비스 업체로부터 비용을 지급받을 수 있다. 예컨대, 코칭 서비스 업체에서 안면 교정 코칭 서비스 프로그램 사용에 따른 월당 기본 금액을 서비스 서버로 지급하되, 사용자당 코칭 서비스 비용을 차월 기본 금액에서 차감하는 방식으로 정산될 수 있다.
도2는 도1에 도시된 교정거울(100)의 구성을 설명하기 위한 도면으로, 사용자 단말(200)로 스마트 폰이 도시되어 있다.
도2 (A)를 참조하면, 교정거울(100)은 거울면(110)의 일측에 스마트 폰(200)을 거치할 수 있는 스마트폰 거치대(120)를 일체로 구비하여 구성된다. 이때, 스마트폰 거치대(120)는 스마트폰(200) 거치시 자동으로 거울면(110)과 통신 연결되도록 구성될 수 있으며, 통신단자간 물리적 접속 또는 블루투스 등의 무선통신 방식으로 연결되도록 구성될 수 있다. 그리고, 스마트폰 거치대(120)에는 스마트 폰(200)의 거치 여부를 감지하기 위한 감지센서(121)가 구비된다.
또한, 거울면(110)의 상측에는 거울면(110)을 덮기 위한 일반 거울 구조의 거울 커버(130)가 구비된다. 거울 커버(130)는 거울면(110)을 덮는 크기로서, 거울면(110)의 상측에 폴더형태로 결합되어 개폐 상태를 설정한다. 즉, 거울면(110)에 거울 커버(130)가 덮히게 되는 경우, 교정거울(100)은 일반 거울로 사용되고, 거울 커버(130)가 거울면(110)으로부터 개방된 경우, 본 발명에 따른 교정거울로 사용된다. 이때, 거울면(110)의 일측에는 거울 커버(130)의 개폐상태를 감지하기 위한 센서가 추가로 구비될 수 있으며, 센서는 거울 커버(130)의 개폐상태정보를 전자 모듈(140)로 전송할 수 있다.
또한, 거울면(110)의 주변, 예컨대 후면 하측이나 받침대 내측에는 상기 스마트폰(200)과 연동하여 거울면(110)을 통해 얼굴 비대칭 교정 서비스를 제공하기 위한 전자모듈(140)과 전원부(150)가 구비된다.
한편, 상기 거울면(110)은 도2 (B)에 도시된 바와 같이 일정 면적을 갖는 하프 미러 구조의 거울판(111)과, 거울판(111)의 후면에 배치되면서 격자 형상으로 홈이 형성되는 격자판(112), 이 격자판(112)의 테두리 부분에 일정 간격으로 배치되는 LED 조명부(113) 및, 격자판(112)의 후면에 배치되면서 격자판(112)의 각 교차점 위치에 RGB LED가 배치되는 LED 매트릭스(114)를 포함한다.
거울판(111)은 판상으로 된 유리 또는 플라스틱 기재의 후면에 80% 농도의 질산은 수용액을 코팅하여 이루어지는 것으로, 암막처리를 하지 않아 그 후면에 배치되는 격자판(112)이 투과되어 거울판(111)상에 표시되는 하프 미러 구조로 이루어진다.
격자판(112)은 거울판(111)과 동일 재질 및 동일 크기의 기재상에 일정 간격과 굵기로 가로 및 세로 라인의 격자패턴 홈을 형성하여 이루어진다.
LED 조명부(113)는 격자판(112)의 테두리에 배치되어 격자판(112)에 형성된 격자패턴 홈 라인으로 빛을 산란시킴으로써, 격자판(112)이 격자 형상으로 빛나게 한다.
LED 매트릭스(114)는 격자판(112)과 동일 크기의 기판상에 격자판(112)의 각 교차점 위치에 RGB LED(D)가 배치되어 구성된다.
여기서, 상기 LED 조명부(113)와 LED 매트릭스(114)는 전자 모듈(140)과 전기적으로 연결되어 전자 모듈(140)의 제어신호에 따라 동작된다.
전자 모듈(140)은 감지센서(121)로부터 인가되는 스마트폰 거치 감지신호를 근거로 거치대(120)에 거치된 스마트폰(200)과 통신하여 스마트폰(200)으로부터 제공되는 제어신호에 따라 상기 LED 조명부(113)와 LED 매트릭스(114)의 각 RGB LED(D)를 개별적으로 온/오프 제어한다.
특히, 전자 모듈(140)은 LED 매트릭스(114)를 제어하여 거울면(110)에 비친 사용자 얼굴의 비대칭 위치를 표시함과 더불어, 비대칭 부위를 교정하기 위한 트레이닝 정보를 트레이닝 위치에서 트레이닝 방향정보로서 표시출력하도록 제어한다.
또한, 전자 모듈(140)은 교정거울(100)로부터 거울 커버(130)의 개폐 상태정보를 센서(미도시)로부터 제공받아 거울 커버(130)가 개방된 경우 교정거울로 LED 조명부(113)를 구동시키기 위한 제어신호를 전송하도록 구성될 수 있다. 즉, 거울 커버(130)가 개방된 경우 거울면(110)을 통해 격자 패턴이 자동으로 표현되도록 한다.
전원부(150)는 전자모듈(140) 및 감지센서(121)로 구동 전원을 공급함과 더불어, LED 조명부(113)와 LED 매트릭스(114)에 연결되어 전자 모듈(150)로부터 인가되는 제어신호에 따라 LED 조명부(113) 및 LED 매트릭스(114)의 각 RGB LED(D)로의 전원을 공급하거나 또는 차단한다.
도3은 도1에 도시된 사용자 단말(200)의 구성을 기능적으로 분리하여 나타낸 도면으로, 본 발명에서 사용자 단말(200)은 안면 교정 어플리케이션에 따라 교정거울(100)과 통신하여 교정거울(100)을 통해 안면 트레이닝 서비스를 제공한다.
도3을 참조하면, 사용자 단말(200)은 통신 접속모듈(210)과, 영상 획득모듈(220) 및, 영상 동기화모듈(230) 및, 교정 서비스모듈(240)을 포함한다.
통신 접속모듈(210)은 교정거울(100)과 서비스 서버(400) 및 서비스 단말(300)과 통신을 수행하며, 이때 서로 다른 장치와 서로 다른 방식으로 통신할 수 있다.
특히, 본 발명에서 통신 접속모듈(210)은 교정거울(100)과 통신 접속된 상태에서, 교정거울(100)로부터 수신되는 페어링 신호를 근거로 안면 교정 어플리케이션을 자동 실행한다.
영상 획득모듈(220)은 교정 어플리케이션이 자동 실행된 상태에서, 교정거울(100)로 제어신호를 전송하여 LED 조명부(113)를 구동시킴과 더불어, LED 매트릭스(114)를 통해 기준라인에 해당하는 RGB LED(D)을 동작시키고, 사용자가 눈을 두번 깜박이는 등의 기 설정된 모션이 인식되는 때의 영상을 교정영상으로 획득한다.
이때, 영상 획득장치(220)는 교정거울(100)의 거울면(110)을 주시하는 얼굴 상태의 제1 교정영상과 사용자 단말(200)의 카메라를 주시하는 얼굴 상태의 제2 교정영상을 획득한다.
영상 동기화모듈(230)은 제1 교정영상과 제2 교정영상을 OpenCV 알고리즘을 이용하여 분석하고, 동기화 영상 및 트레이닝 스케쥴 생성에 필요한 제2 교정영상의 얼굴 각 부위의 위치와 크기를 산출한다.
또한, 영상 동기화모듈(230)은 교정거울(100)의 거울면(110)에 비치는 상과 사용자 단말(200)에서 촬영된 상을 동기화하여 제1 교정영상을 제1 교정영상 촬영시 교정거울(100)의 거울판(110)으로 표시되는 얼굴 이미지와 동일한 상태의 동기화 영상 즉, 기준라인 얼굴영상으로 변환한다.
이때, 영상 동기화모듈(230)은 제1 교정영상에서 기 설정된 특징점의 위치 변화를 추적하는 방법으로 동기화 영상을 생성하는 것도 가능하다. 이는 교정거울(100)에 비치는 사용자의 얼굴 위치가 변경되는 것을 고려한 것이다. 이에 따라, 교정거울(100)의 거울면(110)에 비치는 사용자의 얼굴 위치가 변경에 따라 비대칭 위치 및 트레이닝 정보도 변경되어 표현된다.
교정 서비스모듈(240)은 기준라인 얼굴영상을 서비스 서버(400)로 전송하고, 서비스 단말(300)로부터 제공되는 사용자 얼굴의 비대칭 위치를 근거로 기준라인 얼굴영상과 LED 매트릭스(114)의 RGB LED(D) 위치를 매칭하여 비대칭 위치에 해당하는 RGB LED(D)를 제1 컬러로 구동하기 위한 제어신호를 생성하며, 이를 교정거울(100)로 전송한다.
또한, 교정 서비스 모듈(240)는 서비스 단말(300)로부터 제공되는 비대칭 위치에 대응되는 트레이닝 위치, 방향, 회수(시간)를 포함하는 트레이닝 정보를 근거로 기준라인 얼굴영상과 LED 매트릭스(114)의 RGB LED(D) 위치를 매칭하여 트레이닝 위치와 트레이닝 위치 주변의 트레이닝 방향에 해당하는 RGB LED(D)를 제2 컬러로 구동하기 위한 제어신호를 생성하며, 이를 교정거울(100)로 전송한다.
또한, 교정 서비스 모듈(240)은 트레이닝 정보를 스피커를 통해 음성출력하거나 표시창을 통해 표시출력할 수 있다. 특히 교정 서비스 모듈(240)은 표시창으로 교정거울(100)을 통해 수행되는 트레이닝 상태정보를 표시출력함과 더불어, 표시창을 사용자에 의해 트레이닝 스케쥴을 변경하는 대시보드로 이용하도록 구성될 수 있다.
도4는 도1에 도시된 서비스 서버(400)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.
도4를 참조하면 서비스 서버(400)는 통신 접속부(410)와 데이터 저장소(420) 및, 서비스 제어부(430)를 포함한다.
통신 접속부(410)는 사용자 단말(200) 및 코칭 서비스 단말(300)과 통신을 수행한다.
데이터 저장소(420)는 사용자 단말(200)에 제공할 안면 교정 어플리케이션과 서비스 단말(300)에 제공할 코칭 어플리케이션, 안면 비대칭 상태 판단을 위한 기준 정보와, 안면 비대칭 타입별 트레이닝 내용(트레이닝 정보)을 생성하기 위한 트레이닝 기준 정보, 회원가입된 사용자 단말과 교정거울 및 회원가입된 서비스 단말정보 및, 이들에 대한 서비스 매칭정보를 포함하여 본 발명에 따른 안면 교정 트레이닝 서비스 제공을 위한 각종 정보들이 저장된다.
특히, 데이터 저장소(420)는 얼굴 영상을 이용하여 안면 상태를 분석하기 위한 Open CV 알고리즘과, 얼굴의 각 부위가 학습된 CNN 모델과 RNN 모델, 안면 타입별 균형의 표준 모델, 비대칭 타입별 기준 정보를 포함한 정보들이 저장된다. 여기서, CNN 모델은 안면 부위의 움직임을 측정하기 위한 AI 알고리즘이고, RNN 모델은 CNN 모델과 연동되어 움직이는 안면 근육의 상호작용과 수직 이완 정보 및 방향을 측정하기 위한 AI 알고리즘이다. 또한, 표준 모델정보는 각 표준 모델별 다수의 서로 다른 표정 영상이 함께 저장된다.
서비스 제어부(430)는 회원 가입된 사용자 단말(200)로 안면 교정 어플리케이션을 제공함과 더불어, 회원 가입된 서비스 단말(300)로 코칭 어플리케이션을 제공하고, 이들에 대한 매칭정보를 데이터 저장소(420)에 저장하여 관리한다.
또한, 서비스 제어부(430)는 사용자 단말(200)로부터 기준라인 얼굴 영상을 수신하여 비대칭 상태를 판단하고, 비대칭 상태에 대응되는 비균형 타입을 결정하며, 비균형 타입에 대응되는 트레이닝 정보를 생성한다. 그리고, 서비스 제어부(430)는 트레이닝 정보를 해당 사용자 단말(200)과 매칭된 코칭 서비스 단말(300)로 제공한다.
이러한 서비스 제어부(430)는 서비스 관리모듈(431)과 정보 수집모듈(432), 비대칭 분석모듈(433) 및, 서비스 매칭모듈(434)을 포함한다.
서비스 관리모듈(431)은 안면 교정 서비스를 제공받고자 하는 사용자에 대한 개인 정보 및, 사용자 단말정보를 포함하는 회원가입정보를 근거로 사용자 회원가입처리를 수행함과 더불어, 코칭 서비스를 제공하고자 하는 서비스 업체에 대한 개인 정보 및, 서비스 단말정보를 포함하는 회원가입정보를 근거로 코칭 회원가입처리를 수행한다.
또한, 서비스 관리모듈(431)은 회원가입된 사용자 단말(200)로 안면 교정 어플리케이션을 제공하고, 회원가입된 서비스 단말(300)로 코칭 어플리케이션을 제공한다.
정보 수집모듈(432)은 사용자 단말(200)로부터 전송되는 기준라인이 포함된 무표정의 얼굴 영상 즉, 기준라인 얼굴영상과 무표정 영상을 포함하여 서로 다른 다양한 표정 영상을 획득한다.
비대칭 분석모듈(433)은 정보 획득부(432)에서 수집한 기준라인 얼굴영상을 분석하여 비대칭 속성값을 추출하고, 이를 근거로 해당 사용자 안면의 비대칭 타입을 결정함과 더불어, 모델 빅데이터에서 해당 안면 근골격과 가장 유사한 표준 모델을 결정하고, 얼굴의 각 부위가 학습된 CNN(합성곱 신경망, Convolutional neural network) 모델과 RNN(순환 신경망, Recurrent neural network) 모델에 사용자 표정영상을 적용하여 해당 사용자의 안면 움직임을 분석한다.
또한, 비대칭 분석모듈(433)은 사용자의 비대칭 속성값과 표준 모델의 균형 안면 수치정보를 비교하여 그 차이를 분석하고, 표준 모델의 표정 영상을 갖도록 하기 위한 트레이닝 정보로 이루어지는 표정 트레이닝 스케쥴을 생성하며, 이를 적용한 코칭 어플리케이션을 생성한다.
서비스 매칭모듈(434)은 비균형 타입에 대응하여 사용자 단말(200)과 서비스 단말(300)을 매칭 관리하고, 매칭 정보에 따라 트레이닝 스케쥴을 해당 사용자 단말(200)과 매칭된 서비스 단말(300)로 전송한다.
이어, 상기한 구성으로 된 교정거울을 이용한 표정 트레이닝 기반의 안면 교정 서비스 방법을 도5에 도시된 흐름도를 참조하여 설명한다.
먼저, 사용자는 사용자 단말(200)을 통해 서비스 서버(400)에 접속하여 일련의 회원가입 처리를 수행하고, 사용자 단말(200)에 서비스 서버(400)로부터 제공되는 안면 교정 어플리케이션을 설치한다. 그리고, 사용자는 자신의 사용자 단말(200)과 연동하는 교정거울(100)을 구비한다.
또한, 서비스 업체는 코칭 서비스 단말(300)을 통해 서비스 서버(400)에 접속하여 일련의 회원가입 처리를 수행하고, 코칭 서비스 단말(300)에 서비스 서버(400)로부터 제공되는 코칭 어플리케이션을 설치한다. 이때, 서비스 업체는 코칭 어플리케이션에 자신의 업체 광고정보 및 업무 관련 정보를 추가할 수 있다.
상기한 상태에서, 사용자는 사용자 단말(200)과 교정거울(100)을 통신 접속 상태로 설정하고, 사용자 단말(200)은 안면 교정 어플리케이션을 실행시킨다. 이후부터 사용자 단말(200)은 안면 교정 어플리케이션에 따라 동작된다.
먼저, 사용자 단말(200)은 안면교정 프로그램이 실행된 상태에서, 다양한 표정 영상과 교정거울(100)과 연동하여 생성된 기준 라인 얼굴 영상을 서비스 서버(400)에 전송한다(ST100). 이때, 사용자 단말(200)은 무표정을 포함한 웃음, 기쁨, 놀람, 두려움, 슬픔, 분노, 혐오의 기 설정된 7가지의 서로 다른 표정을 갖는 얼굴 표정을 유도하기 위한 다양한 유도 문장을 출력함으로써, 이에 대응되는 서로 다른 표정 영상을 촬영할 수 있다.
또한, 상기 ST100 단계에서 사용자 단말(200)은 도6 (A)에 도시된 바와 같이 교정거울(100)을 통해 격자 패턴이 표시되도록 함과 더불어, 도6(B)에 도시된 바와 같이 기준라인(L1,L2,L3)을 표시출력하고, 사용자가 교정거울(100)의 기준 라인(L1,L2,L3)에 따라 자신의 얼굴을 위치시킨 상태의 얼굴 영상을 촬영한다. 그리고, 이 얼굴 영상을 이용하여 기준 라인 얼굴 영상을 생성한 후 서비스 서버(200)에 전송한다.
또한, 서비스 서버(400)는 사용자 단말(200)로부터 수신한 기준라인 얼굴영상을 근거로 안면 비대칭 타입을 결정한다(ST200). 상술한 기준 라인 얼굴 영상 생성 및 안면 비대칭 타입 결정 과정은 이하에서 상세히 설명한다.
이어, 서비스 서버(400)는 사용자 단말(200)로부터 수신한 표정 영상을 분석하여 기 등록된 안면 대칭형의 표준 모델 중 해당 사용자의 안면 수치와 유사한 특성을 갖는 표준 모델을 결정한다(ST300).
또한, 서비스 서버(400)는 사용자 단말(200)로부터 수신한 표정 영상을 근거로 사용자의 안면 움직임을 분석한다(ST400).
이때, 서비스 서버(400)는 서로 다른 7가지 표정 영상을 빅 데이터화된 얼굴 영상 데이터 셋으로부터 학습된 GANs(Generative Adversarial Networks, 심층 합성곱 생성적 적대 신경망)을 이용하여 6가지 표정의 얼굴 영상을 추가로 생성한다.
하기 표2와 같은 방식의 표정 영상 조합을 통해 6가지의 새로운 표정 영상을 생성한다.
기본 표정
합성 표정
 GAN을 통해 생성된 표정
2.기쁨
 1.무표정
 8.만족
3.놀람
 9.경계
4.두려움
 10.걱정
5.슬픔
 11.낙담
6.분노
 12.굳어짐
7.혐오
 13.멸시
표1을 참조하면, 기본 표정과 합성 표정은 상기 ST100 단계에서 사용자 단말(100)로부터 획득한 표정 영상이고, GAN을 통해 생성된 표정은 추가로 생성된 표정 영상으로, 무표정 영상에 기쁨 영상과 놀람 영상, 두려움 영상, 슬픔 영상, 분노 영상 및 혐오 영상을 순차적으로 조합하여 만족 영상과 경계 영상, 걱정 영상, 낙담 영상, 굳어짐 영상, 멸시 영상을 순차로 추가 생성한다. 예컨대, 표1에서 "만족" 표정 영상은 기쁨 표정 영상과 무표정 영상을 조합하여 생성되고, "경계" 표정 영상은 "놀람" 표정 영상과 무표정 영상을 조합하는 형태로 생성된다. 즉, 서비스 서버(400)는 총 13가지 표정 영상을 해당 얼굴의 각 부위가 학습된 CNN 모델과 RNN 모델에 적용하여 해당 사용자의 안면 움직임을 분석한다. 이때, 서비스 서버(400)는 대화시 사용자의 얼굴 근육의 움직임을 측정하기 위해 기 설정된 짧은 문장을 제시하고 해당 문장을 읽는 얼굴 영상을 사용자 단말(200)로부터 획득함과 더불어, 기 설정된 대화내용을 출력하여 해당 대화를 듣는 상태의 얼굴 영상을 사용자 단말(200)로부터 획득하여 이를 안면 움직임 분석에 추가적으로 반영할 수 있다.
이어, 서비스 서버(400)는 상기 ST200 단계에서 결정된 안면 비대칭 타입과 ST400 단계에서 결정된 안면 움직임 분석결과를 근거로 회차별 트레이닝 정보로 이루어지는 표정 트레이닝 스케쥴을 생성한다(ST500).
이때, 서비스 서버(200)는 표1에 나타난 표정별 표준 모델의 표정 영상 즉, 표준 영상의 표정을 목표로 하는 표정 트레이닝 스케쥴을 생성한다. 즉, 서비스 서버(200)는 사용자의 표정 영상과 표준 영상을 비교하여 해당 표정이 나타나도록 하기 위한 표정 트레이닝 스케쥴을 생성한다.
예컨대, 서비스 서버(200)는 비대칭 속성과 관련된 안면 움직임이 큰 순서로 일정 개수의 표정 영상을 선택하여 해당 표정이 표준 모델의 해당 표정이 되도록 하는 트레이닝 정보를 생성할 수 있다.
또한, 서비스 서버(200)는 해당 사용자의 각 표정 영상과 표준 모델의 표정 영상을 비교하여 표정 영상별 안면 움직임 차이를 산출하고, 안면 움직임 차이가 큰 순서로 일정 개수의 표정 영상을 선택하여 해당 표정이 표준 영상의 표정이 되도록 하는 트레이닝 정보를 생성할 수 있다.
이러한 표정 트레이닝 스케쥴은 각 표정에 대한 근육풀기와, 얼굴 움직임, 포인트 지압, 마시지로 이루어지는 기본 표정 트레이닝과, 얼굴 부위의 움직임을 개별적으로 연습한 후 2개 이상의 얼굴 부위를 동시에 움직이는 연습을 수행하며, 표정을 단계적으로 짓도록 한 다음, 표정을 한 번에 짓도록 하는 동작으로 이루어지는 단계 트레이닝 및, 무표정 상태의 개선점을 도출하여 부드럽고 호감가는 표정을 이미지로 생성하여 제시하고, 개선이 필요한 부위에 대한 트레이닝 요소를 도출하여 훈련을 수행하는 호감 트레이닝을 포함할 수 있다. 여기서 호감 트레이닝을 위한 표준 모델은 사용자의 안면 근골격과 유사한 다수의 모델 중에서 사용자 단말(100)을 통해 사용자가 직접 선택할 수 있다.
이후, 서비스 서버(400)는 사용자 단말(300)로 안면 비대칭 정보와 서비스 업체의 서비스 종류별 코칭 서비스 정보를 전송하고, 사용자 단말(300)로부터 선택된 제휴사 정보를 근거로 해당 서비스 업체의 코칭 서비스 단말(300)로 상기 ST200 단계에서 생성된 트레이닝 스케쥴을 전송하여 사용자 단말(200)과 코칭 서비스 단말(300)을 매칭시킨다(ST600). 이때, 서비스 업체의 선택은 사용자의 안면 비대칭 상태에 따라 서비스 서버(400)에서 임의로 매칭하는 것도 가능하다. 예컨대, 제1 비대칭 타입인 경우 에스테틱, 피부과, 한의과, 제2 비대칭 타입인 경우 물리치료, 도수치료, 제3 비대칭 타입인 경우 성형과와 매칭시킬 수 있다.
또한, 사용자 단말(300)은 서비스 서버(400)로부터 제공되는 안면 비대칭 정보를 근거로 교정거울(100)에 비친 사용자 얼굴의 비대칭 위치에 배치된 RGB LED(D)를 구동시켜 안면 비대칭 위치를 표현하도록 한다.
즉, 사용자 단말(300)은 비대칭 위치와 LED 매트릭스(114)를 비교하여 LED 매트릭스(114)에서 탐색된 비대칭 위치정보에 대응되는 RGB LED(D) 위치를 판단하며, 해당 위치의 RGB LED(D)를 제1 컬러로 구동하기 위한 제어신호를 생성하여 교정거울(100)로 전송한다. 이에 따라 도6 (C)에 도시된 바와 같이 교정거울(100)의 거울면(110)을 통해 교정거울(100)을 주시하고 있는 사용자 얼굴상에 비대칭 위치(LP1) 정보가 함께 표시출력된다. 이에 따라 사용자는 교정거울(100)을 보면서 자신의 안면 비대칭 부분을 인식할 수 있다.
이후, 서비스 서버(400)에 의해 매칭된 사용자 단말(200)과 코칭 서비스 단말(300)은 직접 통신 경로를 형성하는 바, 상호간 트레이닝 정보를 송수신하여 안면 교정 트레이닝 처리를 수행한다(ST700).
즉, 코칭 서비스 단말(300)은 코칭 어플레이션을 동작에 따라 트레이닝 정보를 해당 사용자 단말(200)로 전송하고, 사용자 단말(200)은 트레이닝 정보를 화면 출력 또는 음성 출력하여 사용자로 하여금 트레이닝을 수행하도록 요구함과 더불어, 해당 사용자 단말(200)과 통신 연결된 교정거울(100)로 트레이닝 정보를 표시출력하도록 제어한다. 본 발명에서 사용자 단말(200)의 표시창을 트레이닝 서비스를 위한 대시보드로 이용할 수 있다. 예컨대, 사용자 단말(200)의 표시창을 통해 트레이닝 영상과, 현재 트레이닝 현황을 포함하는 트레이닝 대시보드 정보가 표시출력될 수 있다.
이때, 사용자 단말(200)은 비대칭 위치에 대응되는 트레이닝 위치, 방향, 회수(시간)를 포함하는 트레이닝 정보를 LED 매트릭스(114)상에 표현하기 위해 트레이닝 위치와 트레이닝 방향정보를 출력하기 위한 트레이닝 제어신호를 교정거울(100)로 전송하여 교정거울(100)을 통해 트레이닝 정보가 표시출력되도록 한다(ST800). 이때, 트레이닝 정보는 도6 (D)에 도시된 바와 같이, 트레이닝 위치(LP2)와 트레이닝 방향(LP3) 정보를 포함하며, 교정거울(100)의 거울면(110)을 통해 표현된다. 여기서, 트레이닝 방향 정보는 트레이닝 위치 주변에 표현되며, 해당 위치에서 해당 방향에 해당하는 RGB LED(D)들을 일정 길이만큼 순차로 누적되게 온(ON)설정함으로써, 방향성이 나타나도록 표시할 수 있으며, 트레이닝 강도가 강할수록 트레이닝 방향을 나타내는 길이를 길게 표시할 수 있다.
이후, 사용자 단말(200)은 사용자가 트레이닝하는 얼굴 영상을 포함한 트레이닝 피드백정보를 코칭 서비스 단말(300)로 전송하며, 코칭 서비스 단말(300)은 트레이닝 피드백정보에 기반하여 정확한 트레이닝을 위한 코칭정보를 사용자 단말(200)로 제공한다. 이때, 트레이닝 얼굴 영상은 사용자의 트레이닝 상태를 나타내는 영상으로, 카메라를 통해 촬영되는 제1 교정영상이 될 수 있다.
이어, 도7을 참조하여 도5에 도시된 기준 라인 얼굴 영상 생성 과정(ST100)을 보다 상세히 설명한다.
도7을 참조하면, 사용자 단말(200)이 교정거울(100)과 통신 접속된 상태에서, 사용자 단말(200)은 조명 제어신호를 교정거울(100)로 전송하여 LED 조명부(113)을 온(ON) 상태로 설정함으로써, 도6(A)에 도시된 바와 같이 교정거울(100)의 거울면(110)을 통해 격자 패턴이 표시되도록 제어한다(ST110).
또한, 사용자 단말(200)은 교정거울(100)로 RGB 제어신호를 전송하여 LED 매트릭스(130)에서 얼굴 촬영을 위한 기준라인에 해당하는 RGB LED(D)들을 구동시킨다. 사용자 단말(200)은 교정거울(100)로 LED 매트릭스(130)의 세로 1/3지점과 2/3지점에 해당되는 가로 라인에 배치된 RGB LED(D)들을 온(ON) 상태로 설정한다. 즉, 해당 라인에 인접하여 발생되는 RGB LED(D)들에 의해 도6(B)에 도시된 바와 같이 교정거울(100)의 거울면(110)을 통해 제1 내지 제3 기준라인(L1,L2,L3)의 기준라인이 표현된다(ST120). 여기서, 제1 내지 제3 기준라인(L1,L2,L3)은 사용자의 얼굴 영역을 위치시키기 위한 기준선으로, 사용자의 얼굴의 눈썹과 턱이 제1 기준라인(L1)과 제2 기준라인(L2)의 내측에 위치하도록 하고, 코가 제3 기준라인(L3)에 위치시키기 위한 기준선이다.
상기한 상태에서, 사용자 단말(200)은 카메라를 통해 교정거울(100)을 주시하고 있는 상태의 사용자 영상을 모니터링하고, 사용자 영상에서 기 설정된 확인 모션이 인식되면 교정거울(100)을 주시하는 얼굴 영상을 제1 교정 영상으로 획득한다(ST130).
이때, 사용자 단말(200)은 교정거울(100)로 표시 출력되는 제1 내지 제3 기준라인(L3)의 내측 영역에 기 설정된 얼굴 부위를 위치하도록 요구하는 안내음성을 출력할 수 있다. 그리고, 사용자 단말(200)은 카메라를 통해 수신되는 사용자 영상을 분석하여, 기 설정된 확인 모션, 예컨대 한쪽 눈을 연속하여 두번 깜박이는 동작이 나타나면, 기준 라인 영역에 얼굴 부위가 모두 위치한 것으로 인지하여 해당 시점의 얼굴 이미지를 촬영함으로써, 제1 교정 영상으로 획득한다.
즉, 제1 교정 영상은 교정거울(100)의 거울면(110)에 표현되는 제1 내지 제3 기준라인(L3)의 내측 영역에 사용자의 얼굴이 위치한 상태에서 교정거울(100)의 거치대(120)에 거치된 상태의 스마트 폰(200)에 의해 촬영된 교정거울(100)을 주시한 얼굴 영상이다.
이어, 사용자 단말(200)은 교정거울(100)으로 표현되는 동일한 격자패턴과 제1 내지 제3 기준라인으로 이루지는 교정 배경화면을 표시출력하고, 교정 배경화면상에서 제1 내지 제3 기준라인을 기준으로 교정거울(100)에서와 동일한 방식으로 사용자 얼굴을 위치시킨 상태에서 카메라를 응시한 상태의 얼굴 영상을 촬영함으로써, 사용자 단말을 주시하는 상태의 제2 교정 영상을 획득한다(ST140). 이때, 사용자 단말(200)은 사용자가 한쪽 눈을 연속하여 두번 깜박이는 동작이 나타나는 것을 판단하여 해당 시점의 얼굴 이미지를 촬영함으로써, 제2 교정 영상을 획득할 수 있다.
또한, 사용자 단말(200)은 상기 ST400 단계에서 획득한 제1 교정 영상과 상기 ST500 단계에서 획득한 제2 교정 영상을 OpenCV 알고리즘을 이용하여 분석하고, 기 설정된 수학식을 이용하여 제1 교정 영상에 대한 동기화 영상 즉, 기준라인 얼굴영상을 생성한다(ST150).
즉, 사용자 단말(200)은 교정거울(100)의 거울면(110)에 비치는 상과 사용자 단말(20)에서 촬영된 상을 동기화하기 위해 일측으로 기울어진 사다리꼴 형상의 제1 교정영상을 거울면(110)에서 표현되는 이미지와 동일한 직사각형으로 변환한다. 예컨대, 도2와 같이 교정거울(100)의 우측에 사용자 단말(200)이 위치되는 경우 좌측으로 기울어진 사다리꼴 형상을 직사각형으로 변환한다.
본 발명에서는 제1 및 제2 교정영상의 우측 첫 위치 좌표를 기준으로 하기 수학식 1의 보정함수를 이용하여 동기화 영상을 생성한다.
Figure pat00001
여기서, X 와 Y 는 보정된 각 픽셀의 위치좌표, X0 와 Y0 는 제1 교정영상의 우측 첫 위치 좌표, X1 과 Y1 은 제2 교정영상의 우측 첫 위치 좌표, σ는 사용자 단말 (예컨대, 스마트 폰)에 구비된 카메라의 고유 왜곡보정율, θ 는 제1 교정영상에서 사용자 얼굴의 왼쪽과 오른쪽 눈썹의 상단을 연결한 직선과 수평선 대비 기울기이다. σ는 사용자단말 카메라 제조사로부터 제공받거나 또는 공지의 수학식을 통해 카메라 렌즈의 원근 관련 왜곡 보정률을 산출함으로써 획득될 수 있다.
즉, 도8에 도시된 바와 같이 사용자 단말(200)에서 촬영된 교정거울(100) 주시 상태의 제1 교정영상을 제1 영상 촬영시 교정거울(100)의 거울면(110)으로 표시되는 얼굴 이미지와 동일한 상태로 동기화된 영상 즉, 기준라인 얼굴영상으로 변환한다.
이어, 도9를 참조하여 도5에 도시된 안면 비대칭 타입 결정 과정(ST200)을 보다 상세히 설명한다.
도9를 참조하면, 서비스 서버(400)는 기준라인 얼굴영상에서 기 설정된 각 부위 포인트(P1 ~ P8) 및, 안면 기준라인을 연결하여 안면 비대칭 상태를 판단하기 위한 측정 라인을 생성한다(ST210). 이때, 부위 포인트는 각 부위의 양쪽 눈물샘(P1,P2)과, 눈꼬리 흰자끝(P3,P4), 입술 꼬리(P5, P6), 귀밑 끝(P7,P8), 상측 입술 홈(P9)을 포함한다. 그리고, 측정 라인은 양쪽 귀끝 포인트(P7,P8)를 제1 기준라인(L1)에 수직하게 연결하는 라인과, 양쪽 눈물샘(P1,P2)과, 눈꼬리 흰자끝(P3,P4) 포인트를 연결하는 라인, 입술 꼬리(P5, P6) 포인트를 연결하는 라인, 입술 꼬리(P5, P6) 포인트와 입술 홈(P9)을 연결하는 라인을 포함한다.
이어, 서비스 서버(200)는 도10에 도시된 바와 같이 제3 기준라인(L3)과 제1 기준라인(L1)이 만나는 포인트에 수직하는 제1 중력라인(GL1)과 제2 중력라인(GL2)을 생성하고, 입술꼬리 중 보다 위로 올라간 입술꼬리 포인트를 기준으로 제1 중력라인(GL1)과 수직하는 제3 중력라인(GL3)으로 이루어지는 중력라인을 생성한다(ST220).
그리고, 서비스 서버(200)는 중력라인에 기초하여 양쪽 각 부위 포인트간 거리, 서로 다른 부위 포인트간 거리, 측정 라인 간의 거리, 각도, 포인트들을 연결하는 측정 라인에 의해 형성되는 면의 면적 등의 수치값을 근거로 비대칭 속성값을 산출한다(ST230). 이때, 서비스 서버(200)는 안면의 모든 측정라인을 제1 및 제2 중력라인(GL1,GL2)에 평행되도록 회전시켜 비교 라인을 설정하고, 비교 라인과 사용자의 안면 측정라인간의 차이를 근거로 비대칭 속성값을 산출한다. 본 발명에서 비대칭 속성은 비대칭 여부를 판단하기 위한 항목으로, 양쪽 귀끝 높이, 양 눈의 크기, 양 눈의 수평 높이, 입술끝점의 수평높이, 코의 좌우 균형, 입의 좌우 균형, 좌우 눈썹과 입꼬리의 길이, 얼굴의 좌우 면적 등을 포함한다.
이때, 서비스 서버(400)는 상기 ST230 단계에서 산출된 속성값을 사용자 단말(200)로 전송하고, 사용자 단말(200)은 이를 교정거울(100)을 통해 표시출력할 수 있다.
이어, 서비스 서버(200)는 도10에 도시된 기준라인과 중력라인을 비교하여 중력라인을 기준으로 기준라인의 경사 여부 및 경사 방향을 결정하고, 기준라인의 경사 상태에 따라 비대칭 타입을 결정한다(ST240). 비대칭 타입은 도11에 도시된 바와 같이, 제1 및 2 기준라인(L1,L2)의 경사 여부 및 경사 방향에 따라 비대칭 타입을 3가지로 구분할 수 있으며, 제1 비대칭 타입(A)은 제1 기준라인(L1)만 경사 상태인 경우이고, 제2 비대칭 타입은 제2 기준라인(L2)과 제1 기준라인(L1)이 서로 다른 방향으로 경사 형성된 경우이며, 제3 비대칭 타입은 제2 기준라인(L2)과 제1 기준라인(L1)이 동일 방향으로 경사 형성된 경우이다.
제1 비대칭 타입(A)은 가장 초기단계의 안면 비대칭 상태로서, 제2 기준라인(L2)만 경사 상태로 설정된다. 이는 아래턱이 좌측아래턱(하악)이 좌측 혹은 우측으로 틀어진 상태이며, 아래턱 이외의 부위에서는 아직 비대칭이 뚜렷하게 나타나지 않은 상태로 분석된다.
제2 비대칭 타입(B)은 제1 비대칭 타입(A) 상태에서 하악의 틀어짐이 더 심해지면서 나타나는 상태로, 가장 흔한 안면 비대칭 유형이다. 제2 비대칭 타입(B)은 제1 및 제2 기준라인(L1,L2)이 모두 경사 상태로서, 서로 다른 방향으로 경사 형성된 상태로 설정된다. 이는 아래턱이 틀어진 방향으로 측두골이 밀려나면서 외회전 위턱(상악)이 아래턱과 같은 방향으로 틀어지고, 아래턱이 틀어진 방향으로 눈과 광대가 주저앉으면서 얼굴이 찌그러져 보이는 유형으로 분석되며, 아래턱이 틀어진 방향으로 코가 휘는 경우가 많다. 이 경우, 노화가 진행되면 찌그진 방향으로 눈가주름, 팔자주름 등도 더 깊이 유발되는 특징을 갖는다.
제3 비대칭 타입(C)은 가장 심한 안면 비대칭 유형으로, 제1 및 제2 기준라인(L1,L2)이 모두 경사 상태로서, 동일 방향으로 경사 형성된 상태로 설정된다. 이는 제2 비대칭 타입(B)에서 비대칭이 더욱 진행되어 측두골과 접형골 등 두개골의 변위 진행한 상태로서, 아래턱과 반대방향으로 위턱이 틀어지고 코가 휜 상태로, 아래턱이 틀어진 방향으로 눈매와 광대선이 위로 올라간 상태이며, 안면뼈와 두개골의 변위가 가장 많이 진행된 유형으로 분석된다.
100 : 교정거울, 200 : 사용자 단말,
300 : 코칭 서비스 단말, 400 : 서비스 서버.

Claims (13)

  1. 격자패턴의 각 교차점 위치에 RGB LED가 배치되는 거울면과, 사용자 단말과 통신하여 사용자 단말로부터 수신된 제어신호를 근거로 격자패턴 및 RGB LED가 출력되도록 제어하는 전자 모듈을 포함하여 구성되는 교정거울과,
    안면 교정 어플리케이션의 실행에 따라 교정거울과 통신하여 거울면을 통해 안면 비대칭 트레이닝 정보를 제공하되, 교정거울에 표현된 기준라인이 포함된 기준라인 얼굴영상과 무표정을 포함한 다양한 표정 영상을 촬영하여 서비스 서버로 제공하고, 서비스 서버에 의해 매칭된 코칭 서비스 단말과 통신하여 트레이닝 정보를 교정거울을 통해 표현함과 더불어, 이에 대응되는 사용자 얼굴영상을 포함한 트레이닝 피드백정보를 코칭 서비스 단말로 전송하고, 이에 대해 코칭 서비스 단말로부터 수신되는 코칭정보를 출력하는 사용자 단말,
    사용자 단말로부터 수신된 기준라인 얼굴 영상을 근거로 눈, 귀, 입을 포함하는 다수의 각 부위 포인트를 추출하고, 기준라인에 대응되는 중력 기준의 중력 라인을 생성하여 중력 라인과 양쪽 각 부위 포인트간의 거리와 부위 포인트간 거리를 근거로 비대칭 속성값을 산출하며, 상기 각 중력라인과 기준라인간의 경사 여부 및 경사 방향을 근거로 비대칭 타입을 결정함과 더불어, 표정 영상을 근거로 기 등록된 표준 모델에서 사용자 안면과 가장 유사한 안면 구조의 표준 모델을 결정하고, 표정 영상을 근거로 분석된 안면 움직임을 근거로 표준 모델의 표정을 목표로하는 트레이닝 스케쥴을 생성하여 해당 사용자 단말과 매칭된 코칭 서비스 단말로 제공하는 서비스 서버 및,
    서비스 서버로부터 제공받아 설치된 코칭 어플리케이션에 서비스 서버로부터 수신된 해당 사용자의 표정 트레이닝 스케쥴을 적용하고, 서비스 서버에 의해 매칭된 사용자 단말로 트레이닝 정보를 전송함과 더불어, 사용자단말로부터 수신된 트레이닝 피드백정보에 대응되는 코칭정보를 제공하는 코칭 서비스 단말을 포함하여 구성되는 것을 특징으로 하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템.
  2. 제1항에 있어서,
    상기 교정거울의 거울면은 하프 미러 구조의 거울판과, 거울판의 후면에 배치되면서 격자 형상의 홈이 형성된 격자판, 격자판의 테두리 부분에 일정 간격으로 배치되는 LED 조명부, 격자판의 후면에 배치되면서 격자판의 각 교차점 위치에 RGB LED가 배치되는 LED 매트릭스를 포함하여 구성되고,
    상기 전자모듈은 사용자 단말로부터 제공되는 제어신호에 따라 상기 LED 조명부와 상기 LED 매트릭스의 각 RGB LED를 온/오프 제어하는 것을 특징으로 하는 전자 모듈을 포함하여 구성되는 것을 특징으로 하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템.
  3. 제2항에 있어서,
    상기 사용자 단말은 교정거울의 LED 조명부를 구동시켜 격자판에 형성된 홈으로 LED 광이 산란되어 격자 패턴이 거울면으로 표시출력되도록 함과 더불어, LED 매트릭스의 기 설정된 라인 위치의 RGB LED들을 구동시켜 기준라인이 표시출력되도록 한 상태에서, 기준라인을 기준으로 얼굴이 배치된 상태의 사용자 얼굴을 촬영하여 기준라인 얼굴영상을 획득하고, 비대칭 위치에 해당하는 LED 매트릭스의 RGB LED를 제1 컬러로 동작시키고, 해당 비대칭 위치에 대응되는 트레이닝 위치와 트레이닝 방향에 해당하는 LED 매트릭스의 RGB LED를 제2 컬러로 동작시키도록 제어하도록 구성되는 것을 특징으로 하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템.
  4. 제1항에 있어서,
    상기 교정거울은 거울면의 일측에 사용자 단말을 거치하기 위한 거치대를 추가로 구비하여 구성되고,
    상기 사용자 단말은 교정거울의 거치대에 거치된 상태에서 거울면을 주시하는 얼굴 상태의 제1 교정영상과, 사용자 단말을 주시하는 얼굴 상태의 제2 교정영상을 촬영하고, 하기 수학식을 이용하여 제1 교정영상을 거울면으로 표시되는 얼굴 영상인 기준라인 얼굴영상을 생성하는 것을 특징으로 하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템.
    Figure pat00002

    여기서, X 와 Y 는 보정된 각 픽셀의 위치좌표, X0 와 Y0 는 제1 교정영상의 우측 첫 위치 좌표, X1 과 Y1 은 제2 교정영상의 우측 첫 위치 좌표, σ는 카메라의 고유 왜곡보정율, θ 는 제1 교정영상에서 사용자 얼굴의 왼쪽과 오른쪽 눈썹의 상단을 연결한 직선과 수평선 대비 기울기.
  5. 제1항에 있어서,
    상기 교정거울은 거울면의 상측에 거울면을 덮기 위한 일반 거울 구조의 거울 커버가 폴더 형태로 개폐되도록 추가로 결합되어 구성되고,
    상기 사용자 단말은 교정거울로부터 거울 커버의 개폐 상태정보를 제공받아 거울 커버가 개방된 경우 교정거울을 통해 격자패턴이 표시되도록 제어하는 것을 특징으로 하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템.
  6. 제1항에 있어서,
    서비스 서버는 제2 가로 기준라인만 경사 상태인 제1 비대칭 타입과, 제2 가로 기준선과 제1 가로 기준라인이 서로 다른 방향으로 경사 형성된 상태인 제2 비대칭 타입 및, 제2 가로 기준라인과 제1 가로 라인이 동일 방향으로 경사 형성된 상태인 제3 비대칭 타입으로 비대칭 타입을 구분하여 결정하는 것을 특징으로 하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템.
  7. 제1항에 있어서,
    상기 서비스 서버는 사용자 단말로부터 수신한 표정 영상을 조합하여 추가로 표정 영상을 생성한 후, 추가 생성된 표정 영상을 포함한 사용자 표정 영상을 이용하여 안면 움직임을 분석하고, 추가 생성된 표정 영상을 포함한 표준 모델의 표정을 갖도록 하기 위한 트레이닝 정보를 생성하되,
    상기 추가 생성되는 표정 영상은 사용자 단말로부터 수신된 무표정 영상에 사용자 단말로부터 수신된 기쁨 영상과 놀람 영상, 두려움 영상, 슬픔 영상, 분노 영상 및 혐오 영상을 순차적으로 조합하여 만족 영상과 경계 영상, 걱정 영상, 낙담 영상, 굳어짐 영상, 멸시 영상을 순차로 추가 생성하는 것을 특징으로 하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템.
  8. 격자 패턴과 격자 패턴의 교차점에 RGB LED가 구비된 교정거울과 통신하는 사용자 단말을 이용하여 안면 비대칭 트레이닝 정보를 제공하고, 코칭 서비스 단말을 통해 사용자 단말을 통해 수행되는 트레이닝 상태에 대한 코칭정보를 제공하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 서비스 방법에 있어서,
    사용자 단말에서 교정거울로 표현되는 격자 패턴상에 얼굴 촬영을 위한 기준라인이 표시되도록 제어함과 더불어, 교정거울의 기준라인을 포함한 얼굴 영상과, 무표정을 포함한 다양한 표정 영상을 촬영하여 서비스 서버로 전송하는 제1 단계와,
    서비스 서버에서 기준라인 얼굴영상을 분석하여 안면 비대칭 속성을 추출하고, 기준라인 얼굴영상에 중력 기준의 중력라인을 기준라인에 대응되는 위치에 설정하여 중력라인과 기준라인간의 경사 여부 및 경사 방향을 근거로 비대칭 타입을 결정하는 제2 단계,
    서비스 서버에서 표정영상을 분석하여 기 등록된 표준 모델에서 사용자 안면 특성과 가장 유사한 안면 구조의 표준 모델을 결정하는 제3 단계,
    서비스 서버에서 표정 영상을 근거로 사용자 안면 움직임을 분석하는 제4 단계,
    서비스 서버에서 비대칭 타입과 안면 움직임을 근거로 표준 모델의 표정을 목표로 하는 트레이닝 스케쥴을 생성하는 제5 단계 및,
    서비스 서버에서 사용자 단말로 코칭정보를 제공하기 위한 코칭 서비스 단말을 매칭시키고, 매칭된 코칭 서비스 단말로 해당 사용자의 트레이닝 스케쥴을 전송하여 매칭된 사용자 단말과 코칭 서비스 단말간 통신을 통해 안면 교정 트레이닝을 수행하되, 사용자 단말은 교정거울을 통해 거울면에 비치는 자신의 얼굴상에 비대칭 속성 및 트레이닝 정보에 대응되는 위치의 RGB LED를 구동하는 제6 단계를 포함하여 구성되는 것을 특징으로 하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 서비스 방법.
  9. 제8항에 있어서,
    상기 제1 단계에서 서비스 서버는 상기 사용자 단말의 카메라를 통해 교정거울을 주시하는 얼굴 상태의 제1 교정영상을 획득하는 단계와,
    사용자 단말의 카메라를 통해 사용자 단말을 주시하는 얼굴 상태의 제2 교정영상을 획득하는 단계 및,
    사용자 단말에서 제1 교정영상을 하기 수학식에 적용하여 거울면으로 표시되는 얼굴 영상 형태의 기준라인 얼굴영상을 생성하는 단계를 포함하여 구성되는 것을 특징으로 하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 서비스 방법.
    Figure pat00003

    여기서, X 와 Y 는 보정된 각 픽셀의 위치좌표, X0 와 Y0 는 제1 교정영상의 우측 첫 위치 좌표, X1 과 Y1 은 제2 교정영상의 우측 첫 위치 좌표, σ는 사용자 단말 카메라의 고유 왜곡보정율, θ 는 제1 교정영상에서 사용자 얼굴의 왼쪽과 오른쪽 눈썹의 상단을 연결한 직선과 수평선 대비 기울기.
  10. 제8항에 있어서,
    상기 제1 단계에서 사용자 단말은 무표정, 기쁨, 놀람, 두려움, 슬픔, 분노, 혐오의 표정을 유도하기 위한 다양한 유도 문장을 출력하고, 각 유도 문장에 대한 반응 표정을 사용자의 표정 영상으로 획득하여 서비스 서버에 전송하는 것을 특징으로 하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 서비스 방법.
  11. 제8항에 있어서,
    상기 제4 단계에서 서비스 서버는 상기 제1 단계에서 획득한 사용자 표정 영상을 조합하여 사용자 표정 영상을 추가 생성하고, 추가 생성된 표정 영상을 포함한 사용자 표정 영상을 이용하여 안면 움직임을 분석하며,
    상기 제5 단계에서 서비스 서버는 추가 생성된 표정 영상을 포함한 표준 모델의 표정을 갖도록 하기 위한 트레이닝 정보를 생성하고,
    상기 추가 생성되는 표정 영상은 무표정 영상에 기쁨 영상과 놀람 영상, 두려움 영상, 슬픔 영상, 분노 영상 및 혐오 영상을 순차적으로 조합하여 만족 영상과 경계 영상, 걱정 영상, 낙담 영상, 굳어짐 영상, 멸시 영상을 순차로 추가 생성하는 것을 특징으로 하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 서비스 방법.
  12. 제8항에 있어서,
    상기 제5 단계에서 서비스 서버는 비대칭 속성과 관련된 안면 움직임이 큰 순서로 일정 개수의 표정 영상을 선택하여 선택된 표정을 목표로 하는 트레이닝 정보를 생성하는 것을 특징으로 하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 서비스 방법.
  13. 제8항에 있어서,
    상기 제5 단계에서 서비스 서버는 사용자 표정 영상과 표준 모델의 표정 영상을 비교하여 표정 영상별 안면 움직임 차이를 산출하고, 안면 움직임 차이가 큰 순서로 일정 개수의 표정 영상을 선택하여 선택된 표정을 목표로 하는 트레이닝 정보를 생성하는 것을 특징으로 하는 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 서비스 방법.
KR1020200141774A 2020-10-29 2020-10-29 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템 및 그 서비스 방법 KR102497694B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200141774A KR102497694B1 (ko) 2020-10-29 2020-10-29 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템 및 그 서비스 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200141774A KR102497694B1 (ko) 2020-10-29 2020-10-29 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템 및 그 서비스 방법

Publications (2)

Publication Number Publication Date
KR20220057008A true KR20220057008A (ko) 2022-05-09
KR102497694B1 KR102497694B1 (ko) 2023-02-07

Family

ID=81582217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200141774A KR102497694B1 (ko) 2020-10-29 2020-10-29 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템 및 그 서비스 방법

Country Status (1)

Country Link
KR (1) KR102497694B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007108620A (ja) * 2005-10-13 2007-04-26 Ichiro Hagiwara 表情訓練器
JP2008264367A (ja) * 2007-04-24 2008-11-06 Nintendo Co Ltd トレーニングプログラムおよびトレーニング装置
KR20130130931A (ko) * 2012-05-23 2013-12-03 심수용 교정거울
KR20150059629A (ko) 2013-11-22 2015-06-01 조시순 인체의 균형 상태를 파악할 수 있는 거울
JP3217121U (ja) * 2018-05-08 2018-07-19 旭硝子株式会社 鏡面型表示装置
KR20180103659A (ko) * 2017-03-10 2018-09-19 주식회사 모르페우스 해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
JP2019524397A (ja) 2016-06-28 2019-09-05 レッティエーリ, クレリアLETTIERI, Clelia 顔面非対称を治療するための歯列矯正装置を実現する方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3217121B2 (ja) * 1992-04-15 2001-10-09 オリンパス光学工業株式会社 焼結体の製造方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007108620A (ja) * 2005-10-13 2007-04-26 Ichiro Hagiwara 表情訓練器
JP2008264367A (ja) * 2007-04-24 2008-11-06 Nintendo Co Ltd トレーニングプログラムおよびトレーニング装置
KR20130130931A (ko) * 2012-05-23 2013-12-03 심수용 교정거울
KR20150059629A (ko) 2013-11-22 2015-06-01 조시순 인체의 균형 상태를 파악할 수 있는 거울
JP2019524397A (ja) 2016-06-28 2019-09-05 レッティエーリ, クレリアLETTIERI, Clelia 顔面非対称を治療するための歯列矯正装置を実現する方法
KR20180103659A (ko) * 2017-03-10 2018-09-19 주식회사 모르페우스 해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
JP3217121U (ja) * 2018-05-08 2018-07-19 旭硝子株式会社 鏡面型表示装置

Also Published As

Publication number Publication date
KR102497694B1 (ko) 2023-02-07

Similar Documents

Publication Publication Date Title
CN108780228B (zh) 利用映像的增强现实系统和方法
US10150026B2 (en) Process to aid in motivation of personal fitness, health monitoring and validation of user
CN101779218B (zh) 化妆模拟系统及其化妆模拟方法
US8254637B2 (en) Mask fitting system and method
CN106455973B (zh) 与用户眼睛接触放置的检测装置
US20170319065A1 (en) Information processing device, information processing method, and program
KR20190027354A (ko) 비전 성능 데이터를 획득, 분석 및 생성하고 비전 성능 데이터에 기반하여 미디어를 수정하기 위한 방법 및 시스템
US20060235877A1 (en) Mask fititng system and method
US20150193650A1 (en) Patient interface identification system
CN108888487A (zh) 一种眼球训练系统及方法
KR100986101B1 (ko) 얼굴 분석 서비스 제공 방법 및 장치
CN110520032A (zh) 虚拟现实设备及其方法
CN112469358B (zh) 用于分析牙齿状况的方法
CN106934073A (zh) 基于三维立体图像的人脸对比系统、方法及移动终端
CN112469359B (zh) 用于分析牙齿状况的方法
JP6285002B1 (ja) 顎関節症等歯科疾患治療のためのシステム及びプログラム
CN107028738B (zh) 基于眼动的视觉训练系统、智能终端及头戴设备
CN112423835A (zh) 用于经颅脑刺激的电极的定位
CN107260506A (zh) 基于眼动的3d视觉训练系统、智能终端及头戴设备
CN114842522A (zh) 应用于美容医疗的人工智能辅助评估方法
KR102497694B1 (ko) 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템 및 그 서비스 방법
KR102497691B1 (ko) 교정거울을 이용한 스마트폰 연동 얼굴 비대칭 교정 서비스 시스템 및 그 방법
US11076802B2 (en) Remote assessment of neurostimulation
KR102497688B1 (ko) 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법
JP2020057153A (ja) 表示制御装置、表示制御方法及び表示制御プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant