KR20210156796A - ３차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법 - Google Patents

３차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법 Download PDF

Info

Publication number
KR20210156796A
KR20210156796A KR1020210079297A KR20210079297A KR20210156796A KR 20210156796 A KR20210156796 A KR 20210156796A KR 1020210079297 A KR1020210079297 A KR 1020210079297A KR 20210079297 A KR20210079297 A KR 20210079297A KR 20210156796 A KR20210156796 A KR 20210156796A
Authority
KR
South Korea
Prior art keywords
facial
data
procedure
dimensional
point
Prior art date
Application number
KR1020210079297A
Other languages
English (en)
Other versions
KR102522873B1 (ko
Inventor
송정훈
Original Assignee
주식회사 디엠에프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디엠에프 filed Critical 주식회사 디엠에프
Publication of KR20210156796A publication Critical patent/KR20210156796A/ko
Application granted granted Critical
Publication of KR102522873B1 publication Critical patent/KR102522873B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Robotics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법이 제공되며, 피시술자의 안면을 3차원으로 스캔하여 시술 전 3차원 안면 데이터를 수집하는 단계, 시술 전 3차원 안면 데이터로부터 적어도 하나의 특징점을 추출하는 단계, 시술 전 3차원 안면 데이터의 적어도 하나의 영역을 분할하는 단계, 적어도 하나의 영역이 분할된 시술 전 3차원 안면 데이터를 기 저장된 시뮬레이션 프로그램으로 시술 후 예상 3차원 안면 데이터인 시뮬레이션 결과 데이터를 생성하는 단계, 피시술자의 안면을 시술 후 3차원으로 스캔하여 시술 후 3차원 안면 데이터를 수집하는 단계 및 시술 전 3차원 안면 데이터, 시뮬레이션 결과 데이터 및 시술 후 3차원 안면 데이터를 중첩하여 비교결과를 생성하는 단계를 포함한다.

Description

３차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법{METHOD FOR PROVIDING MEDICAL PROCEDURE RESULT COMPARING SERVICE USING 3-DIEMENTIONAL FACE SCAN DATA}
본 발명은 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법에 관한 것으로, 시술 전 3차원 안면 스캔데이터, 시뮬레이션 데이터 및 시술 후 3차원 안면 스캔데이터를 정합 및 비교하여 그 결과를 시각화할 수 있는 플랫폼을 제공한다.
교정치료와 악교정수술의 목적은 치아와 골격 복합체(Dento-Skeletal Complex)의 정상적인 기능과 연조직의 심미성을 획득하는 것이다. 외과적 치료를 통해 턱의 위치나 모양을 변형시키는 악안면 수술은 얼굴의 기본 골격이 되는 상악과 하악의 위치를 변화시키기 때문에 얼굴모양에 큰 영향을 미치고, 실제 수술을 진행하기 전에 시뮬레이션을 통해 결과를 예측하고, 수술을 계획하는 것은 의사와 환자에게 중요하다. CT 영상은 뼈의 구조와 피부 표면 정보를 획득할 수 있으므로 악안면 수술을 시뮬레이션하고 계획할 때 일반적으로 사용된다. 3차원 카메라 영상은 색상과 텍스쳐를 포함한 안면부의 세밀한 표면 정보를 고해상도로 얻을 수 있어 수술 전과 후를 비교하기 좋다.
이때, 시술 전후를 비교하는 방법이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국공개특허 제2018-0103672호(2018년09월19일 공개) 및 한국공개특허 제2018-0103659호(2018년09월19일 공개)에는, 시술 전 및 시술 후 얼굴의 형상에 관한 3차원 측정 데이터를 획득하고, 획득되는 3차원 측정 데이터를 참조하여 시술에 따른 얼굴 변화에 관한 정보를 산출하고, 산출되는 얼굴 변화에 관한 정보를 참조하여 시술과 연관된 평가 지표를 기준으로 하는 시술 결과 정보를 생성하는 구성과, 얼굴의 형상에 관한 3차원 측정 데이터를 획득하고, 획득되는 3차원 측정 데이터를 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 추정하고, 추정에 의하여 특정되는 사용자의 얼굴과 적어도 하나의 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보를 제공하며, 해부학적 얼굴 모델에는, 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 관한 모델링된 데이터가 포함되는 구성이 각각 개시되어 있다.
다만, 현재 교정치료와 악교정 패러다임은 미소와 연조직의 심미성을 중요시 하는 쪽으로 변화하고 있으며, 의사는 예전보다 더 미소와 심미성에 관심이 많고 까다로운 성인 환자를 치료해야 하는 입장에 놓여있다. 아무리 시뮬레이션 데이터 및 수치로 그 변화의 수치를 환자에게 보여준다고 할지라도 환자는 전문가가 아니기 때문에 그 결과가 어느 정도 반영이 되었는지 알기가 어렵다. 또, 시각화하여 그 변화가 시술 전, 후 및 시뮬레이션 결과와 함께 비교되지 않는 이상 시술이나 수술이 제대로 진행이 된 것인지 잘 알기가 어렵고, 주관적인 판단에 의해 제대로 시술이나 수술이 안되었다고 생각한 환자는 바로 컴플레인으로 재수술을 요청하거나 의료과오소송이나 민사적 손해배상을 받기 위하여 재판을 진행하기 때문에 양측의 시간자원, 인적 및 물적 자원의 낭비가 발생하게 된다. 이에, 시술 전, 후 및 시뮬레이션 결과를 시각화하여 비교하여 보여줄 수 있는 플랫폼의 연구 및 개발이 요구된다.
본 발명의 일 실시예는, 시술 전 피시술자의 안면을 3차원 스캔데이터로 생성하고, 적어도 하나의 특징점을 추출하고 특징점을 제어하여 시술 후 결과를 시뮬레이션 하며, 시술 후 3차원 스캔데이터를 시술 전 3차원 스캔데이터와 시뮬레이션 결과와 함께 중첩하여 비교 및 시각화함으로써 전문가가 아닌 일반인인 환자가 보더라도 시술 전 후의 결과를 직관적으로 비교할 수 있도록 하고, 얼굴의 심미성(Facial Aesthetics)까지 계획하여 주관적인 환자의 니즈를 만족시킬 수 있는, 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 피시술자의 안면을 3차원으로 스캔하여 시술 전 3차원 안면 데이터를 수집하는 단계, 시술 전 3차원 안면 데이터로부터 적어도 하나의 특징점을 추출하는 단계, 시술 전 3차원 안면 데이터의 적어도 하나의 영역을 분할하는 단계, 적어도 하나의 영역이 분할된 시술 전 3차원 안면 데이터를 기 저장된 시뮬레이션 프로그램으로 시술 후 예상 3차원 안면 데이터인 시뮬레이션 결과 데이터를 생성하는 단계, 피시술자의 안면을 시술 후 3차원으로 스캔하여 시술 후 3차원 안면 데이터를 수집하는 단계 및 시술 전 3차원 안면 데이터, 시뮬레이션 결과 데이터 및 시술 후 3차원 안면 데이터를 중첩하여 비교결과를 생성하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 시술 전 피시술자의 안면을 3차원 스캔데이터로 생성하고, 적어도 하나의 특징점을 추출하고 특징점을 제어하여 시술 후 결과를 시뮬레이션 하며, 시술 후 3차원 스캔데이터를 시술 전 3차원 스캔데이터와 시뮬레이션 결과와 함께 중첩하여 비교 및 시각화함으로써 전문가가 아닌 일반인인 환자가 보더라도 시술 전 후의 결과를 직관적으로 비교할 수 있도록 하고, 얼굴의 심미성(Facial Aesthetics)까지 계획하여 주관적인 환자의 니즈를 만족시킬 수 있어 고객의 감성 품질을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 시술 결과비교 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 시술 결과비교 서비스 제공 서버(300), 적어도 하나의 3차원 안면 스캐너(400)를 포함할 수 있다. 다만, 이러한 도 1의 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 시술 결과비교 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 시술 결과비교 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 3차원 안면 스캐너(400)와 연결될 수 있다. 또한, 적어도 하나의 3차원 안면 스캐너(400)는, 네트워크(200)를 통하여 시술 결과비교 서비스 제공 서버(300)와 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
적어도 하나의 사용자 단말(100)은, 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 3차원 안면 스캐너(400)로부터 스캔된 피시술자 또는 피수술자의 안면 스캔데이터를 출력하고, 적어도 하나의 특징점을 조절하여 시술 후의 안면을 예측하도록 시뮬레이션 프로그램을 구동시키는 병원의 단말일 수 있다. 그리고, 사용자 단말(100)은, 시술 후의 피시술자 또는 피수술자의 안면 스캔데이터를 3차원 안면 스캐너(400)로부터 재수집하고, 시술 전 안면 스캔데이터, 시술 후 안면 스캔 데이터 및 시뮬레이션 데이터를 중첩하여 비교결과를 시각화하여 출력하는 단말일 수 있다.
여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
시술 결과비교 서비스 제공 서버(300)는, 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 시술 결과비교 서비스 제공 서버(300)는, 사용자 단말(100)을 등록하고 사용자 단말(100)에서 3차원 안면 스캐너(400)를 등록하는 경우, 사용자 단말(100)과 3차원 안면 스캐너(400)가 연동될 수 있도록 채널을 생성하는 서버일 수 있다. 또한, 시술 결과비교 서비스 제공 서버(300)는, 사용자 단말(100)에서 서버(300) 없이 온전히 구동할 수 있는 경우, 예를 들어, 컴퓨팅 자원과 네트워킹 자원이 충분한 경우에는 시술 결과비교 서비스 제공 서버(300)의 프로세스를 모두 사용자 단말(100)에서 구동할 경우에는 초기 프로그램 전송 및 업데이트의 역할만 수행할 수도 있다. 그렇지 않은 경우에는, 시술 결과비교 서비스 제공 서버(300)는 사용자 단말(100)이 접속하는 경우, 3차원 안면 스캐너(400)와 연결하여 수집한 데이터를 비교분석하여 그 결과를 사용자 단말(100)로 전송하는 서버일 수 있다.
여기서, 시술 결과비교 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
적어도 하나의 3차원 안면 스캐너(400)는, 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하거나 이용하지 않는 스캐너 장치일 수 있다. 이때, 3차원 안면 스캐너(400)의 형상은 일 실시예에 불과할 뿐 도면에 도시된 것과 동일하지 않을 수도 있고, 이 외에도 다양한 스캐너가 사용될 수 있음은 자명하다 할 것이다.
여기서, 적어도 하나의 3차원 안면 스캐너(400)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 3차원 안면 스캐너(400)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 3차원 안면 스캐너(400)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1의 시스템에 포함된 시술 결과비교 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 내지 도 6은 본 발명의 일 실시예에 따른 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 2를 참조하면, 시술 결과비교 서비스 제공 서버(300)는, 제 1 수집부(310), 추출부(320), 분할부(330), 생성부(340), 제 2 수집부(350), 비교부(360), 분석부(3700 및 AR 부(380)를 포함할 수 있다.
본 발명의 일 실시예에 따른 시술 결과비교 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100) 및 적어도 하나의 3차원 안면 스캐너(400)로 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100) 및 적어도 하나의 3차원 안면 스캐너(400)는, 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100) 및 적어도 하나의 3차원 안면 스캐너(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.
도 2를 참조하면, 제 1 수집부(310)는, 피시술자의 안면을 3차원으로 스캔하여 시술 전 3차원 안면 데이터를 수집할 수 있다. 이하에서 시술이라 표현하지만, 수술로도 대체가능할 수 있고, 피시술자가 피수술자일 수도 있음을 명시한다. 이때, 3차원 안면 스캐너(400)는 특정 스캐너를 사용하지 않고 공지공용의 안면 스캐너를 사용할 수 있으므로 본 발명의 일 실시예에서는 특정하여 상세히 설명하지 않는다. 여기서, 본 발명의 일 실시예에서는, 제 1 수집부(310)를 포함하여 이후 제 2 수집부(350)에서도 얼굴의 포즈보상을 더 수행할 수도 있다. 즉 이하에서 시뮬레이션 분석에 들어가기 이전에 얼굴의 각도를 맞춰주는 것인데, 이 전처리 과정을 통하여 시뮬레이션 결과를 이후에 중첩했을 때 정확히 들어맞을 수 있도록 보상하는 과정을 더 수행하기로 한다. 또, 포즈 보상을 통하여 3차원 형상을 정면으로 위치시키고 포인트 시그니처(Point Signature) 방법을 통하여 데이터를 추출할 수 있다.
피시술자 또는 피수술자가 3차원 안면 스캐너(400)를 정면으로 바라보고 스캐닝을 했음에도 불구하고 실제 스캔이 된 영상을 확인하면 개인의 신체적 특징에 따라 다양한 방향으로 조금씩 회전된 영상이 입력된다. 정확한 특징점 추출을 위하여 이렇게 회전된 영상은 포즈보상 단계를 통하여 정면영상으로 위치시킬 수 있다. 이때, 얼굴 포즈 보상(Face Pose Compensation)을 위하여 포인트(점)를 설정해야 하는데, 미간점(점 1)과 코밑점(점 2)을 기준으로 Y’축을 설정하고 눈꼬리점(점 3, 점 4)를 기준으로 X’축을 설정한다. 이렇게 새롭게 설정된 X’, Y’축과 스캔 공간상의 기준 좌표계 사이에서 발생하는 오류를 최소화함으로써 포즈보상이 이루어질 수 있다.
그 다음 단계는 포인트 시그니처를 이용한 3차원 형상의 데이터 추출 단계인데, 포인트 시그니처는 거리정보를 각도에 대한 1차원 공간신호로 표현한 것으로, 얼굴인식에 도입되었다. 이는 한 점을 기준으로 깊이정보를 추출하는 기법으로 얼굴구조의 곡률 정보를 추출할 수 있다. 이때, pRBFNNs(Polynomial-based. Radial Basis Function Neural Networks) 구조는 조건부에서 가우시안 함수가 아닌 FCM(Fuzzy C-Means) 클러스터링을 기반으로 하여 FCM의 적합도를 활성함수로 사용하는 구조이다. 결론부의 연결가중치는 기존의 상수항이었던 것을 확장하여 다항식 함수를 사용함으로써 퍼지 규칙 표현과 같이 언어적 관점에서 해석될 수 있는데, FCM 클러스터링을 이용함으로써 네트워크 측면에서는 활성 함수를 언어적 측면에서는 소속 함수의 기능을 수행할 수 있다. 결론부의 다항식은 네트워크 연결가중치로 퍼지 규칙의 로컬 모델로 동작될 수 있고. 추론부에서 네트워크의 최종출력은 퍼지 규칙의 추론 결과로서 구해질 수 있다. pRBFNNs 구조는 퍼지 규칙을 기반으로 한 네트워크 구조를 가지며, 조건부, 결론부, 추론부와 같이 세 가지 기능적 모듈로 분리되어 동작하면서 pRBFNNs는 DE(Differential Evolution) 최적화 알고리즘을 사용하여 각 파라미터를 최적화시키고 각 얼굴의 각도를 조정하는 전처리를 수행할 수 있다. 물론, 얼굴의 각도를 조정하는 방법은 상술한 방법에 한정되지 않으며 다양한 방법을 이용할 수 있음은 자명하다 할 것이다.
추출부(320)는, 시술 전 3차원 안면 데이터로부터 적어도 하나의 특징점을 추출할 수 있다. 이때, 적어도 하나의 특징점은, 도 4a를 참조하면, 헤어라인(Hair Line, HL), 미간(Glabella, G), 코 뿌리점(Nasion, N), 코끝점(Pronasale, PN), 비주의 최전방점(Columella, CM), 비주와 상순의 교차점(Subnasale, SN), 상순의 변곡점(Labiale superius, LS), 하순의 최전방점(Lower Lip Point, LL), 하순의 변곡점(Labiale Inferius, LI), 턱의 최전방점(Pogonion, PG), 턱의 최하방점(Chin Line, CL), 입꼬리 오른쪽(Cheilion Right, CHR), 입고리 왼쪽(Cheilion Left, CHL), 눈썹 오른쪽 바깥라인(Eyebrow Right Outer, EER), 눈섭 왼쪽 바깥라인(Eyebrow Left Outer, EEL), 눈 오른쪽 가쪽 끝(Exocanthion Right, EXR), 눈 오른쪽 안쪽 끝(Endocanthion Right, ENR), 눈 왼쪽 가쪽 끝(Exocanthion Left, EXL), 눈 왼쪽 안쪽 끝(Endocanthion Left, ENL), 오른쪽(Right, R), 왼쪽(Left, L), 오른쪽 귀 끝점(Otobasion Inferius Right, ObiR) 및 왼쪽 귀 끝점(Otobasion Inferius Left, ObiL)을 포함할 수 있다. 이렇게 특징점을 상세하게 다수 추출하는 경우 이후 시뮬레이션 과정에서 특징점을 조절하여 시술 후의 모습을 시뮬레이션하기가 용이해지고, 그 결과를 분석하는데에도 편리하다.
분할부(330)는, 시술 전 3차원 안면 데이터의 적어도 하나의 영역을 분할할 수 있다. 도 4b를 참조하면, 적어도 하나의 영역은, 오른눈(Right Eye), 오른눈 주변(Right Around Eye), 왼눈(Left Eye), 왼눈 주변(Left Around Eye), 코(Nose). 윗입술(Upper Lip), 아랫입술(Lower Lip), 턱(Chin), 목(Neck), 오른뺨(Right Cheek), 왼뺨(Left Cheek) 및 이마(Fore Head)를 포함할 수 있다. 이때, 상술한 영역에 한정되지 않고 더 세분화 또는 덜 세분화되도록 그 수나 크기, 위치 등이 서로 달라질 수 있을 수 있다.
생성부(340)는, 적어도 하나의 영역이 분할된 시술 전 3차원 안면 데이터를 기 저장된 시뮬레이션 프로그램으로 시술 후 예상 3차원 안면 데이터인 시뮬레이션 결과 데이터를 생성할 수 있다. 이때, 비교결과는, 피시술자의 안면 깊이 비교, 안면 표면 길이 비교, 안면 단면 비교 및 안면 6분할 부피값 비교를 포함할 수 있다. 기 저장된 시뮬레이션 프로그램은 Ceph 프로그램일 수 있다. 그리고, 도 5a를 참조하면 시술 전의 측면과 시술 후의 측면을 시뮬레이션으로 비교해서 볼 수 있으며 이때 Ceph 트레이싱(Tracing)을 이용할 수 있다. 이때 도 5b를 참조하면, 이 부분을 확대하여 더욱 명확하게 돌출입을 교정한 모습을 예측할 수 있다. 또, 도 5c 및 도 5d를 참조하면, 컨트롤 스피어(Control Sphere) 시뮬레이션을 통하여 입과 턱이 시술 또는 수술 후에 어떻게 달라지는지를 시각화하여 보여줄 수 있다.
제 2 수집부(350)는, 피시술자의 안면을 시술 후 3차원으로 스캔하여 시술 후 3차원 안면 데이터를 수집할 수 있다. 이때, 제 1 수집부(310)와 마찬가지로 전처리로 얼굴 보상을 시행할 수 있으며 얼굴 각도를 맞춰 중첩을 위해 정렬을 수행할 수 있다.
생성부(340)는, 시술 전 3차원 안면 데이터, 시뮬레이션 결과 데이터 및 시술 후 3차원 안면 데이터를 중첩하여 비교결과를 생성할 수 있다. 이때, 3차원 안면 데이터의 정합 정확도를 높이기 위하여, 유클리디안 거리와 법선정보를 함께 사용하여 ICP(Iterative Closest Point) 알고리즘을 수행하고, 추가로 비강체 정합(Non-Rigid Registration)을 하여 정확도를 향상시킬 수 있다. 이때, 상술한 특징점을 다수 뽑아놓고 이미 정렬을 마친 상태이므로, 각 특징점을 점 군(Group) 쌍으로 매핑하여 정합할 수 있다. 이때, 정확도를 높이기 위하여 점군의 기하학 정보를 최대한 활용하며, 정합단계에서는 노이즈가 포함된 점군에서 오버랩되는 영역을 선택하고, 가속 알고리즘을 사용하여 정합 속도를 향상시킬 수 있다. 또는, 랜드마크 포인트를 이용하여 두 표면을 정렬한 후 ICP 알고리즘을 이용하여 시술 전 3차원 안면 데이터, 시뮬레이션 결과 데이터 및 시술 후 3차원 안면 데이터를 융합시킬 수도 있으며, 눈과 입 주변이 표정의 영향을 가장 많이 받는다는 것을 고려하여 표정의 영향을 적게 받는 부위에 ICP를 적용하는 방법을 이용할 수도 있다.
분석부(350)는, 분할부(330)에서 시술 전 3차원 안면 데이터의 적어도 하나의 영역을 분할한 후, 적어도 하나의 영역이 분할된 시술 전 3차원 안면 데이터에 대하여 안면 분석을 실행할 수 있다. 여기서, 안면 분석은, 안면 각도 분석, 안면 굴곡도 분석, 안면 깊이 분석, 안면 비율 분석 및 안면 대칭 분석을 포함할 수 있다. 이때, 도 4c는 안면 각도 분석 결과, 도 4d는 안면 굴곡도 및 깊이 가시화 분석 결과, 도 4e는 안면 비율 분석, 즉 좌측은 세로 비율 분석 및 가로 비율 분석 결과, 도 4f는 안면 대칭 분석 결과이다. 이때 도 4f를 참조하면, 오른쪽 대칭 모델, 원형 모델 및 왼쪽 대칭 모델이 도시되는데, 오른쪽 대칭 모델은 우측의 얼굴을 이용하여 왼쪽까지 대칭을 시킨 모델이고, 왼쪽 대칭 모델은 좌측의 얼굴을 이용하여 우측까지 대칭을 시킨 모델이다.
AR부(380)는, 생성부(340)에서 적어도 하나의 영역이 분할된 시술 전 3차원 안면 데이터를 기 저장된 시뮬레이션 프로그램으로 시술 후 예상 3차원 안면 데이터인 시뮬레이션 결과 데이터를 생성한 후, AR(Augment Reality) 얼굴 트래킹(Face Tracking)을 통하여 AR 글래스(미도시)로 시뮬레이션 결과 데이터를 전송하여 AR 글래스에서 피시술자의 안면 상에 시술 영역을 출력하도록 할 수 있다.
여기서, AR 글래스는 카메라 자세 추정(Pose Estimation)을 통하여 피시술자의 안면 간의 거리를 산출할 수 있다. 예를 들어, 사용자의 안면 데이터는 이미 3차원 안면 스캐너(400)로 얻은 상태이므로 AR 글래스는 이미 절대적인 크기와 위치를 알고 있는 물체를 촬영하고 있다. 또, 적어도 하나의 특징점을 이미 설정해두었고 그 지점까지 설정해두었기 때문에, 적어도 하나의 특징점을 AR 마커로 이용할 수 있고, AR부(380)는 drawMarker() 함수를 통해 마커 이미지를 생성하고 detectMarker() 함수를 사용하여 이미지 상의 마커에서 4개의 코너점 값과 ID를 얻을 수 있다. 얻어낸 마커의 4개의 코너점 값과 ID를 활용하여 OpenCV 라이브러리에서 제공하는 Estimate Pose Single Markers Method 함수를 이용하여 카메라의 3차원 위치와 방향을 알아낸다. 카메라의 자세 추정을 실행하기 전에 카메라 고유의 파라미터(Focal Length, Pricipal Point, Skew Coefficient)을 얻어내서 오차 값을 보정하는 카메라 캘리브레이션(Calibration) 알고리즘을 이용한 작업을 하여 정밀한 카메라 위치와 방향값을 측정할 수 있다. 또, EstimatePoseSingleMarkers Method 함수를 사용하면 카메라로부터 입력된 영상으로부터 감지된 마커를 받아 카메라에 대한 포즈 추정을 개별적으로 반환한다.
따라서 각 마커에 대해 하나의 회전(Rotation Vector) 및 평행이동 벡터(Trasform Vector)가 반환되는데 입력 값으로 마커 한 변의 길이를 얻어내면 마커 코디네이트(Coordinate) 시스템은 마커의 중앙에 위치하게 되며 z축은 마커 평면에 수직이 된다. 이렇게 되면, AR 글래스의 카메라가 깊이 카메라가 아니더라도, 이미 절대적인 크기와 위치를 알고 있는 물체를 함께 촬영하는 것만으로도 AR 글래스의 카메라와 피시술자의 안면 간의 거리값을 측정할 수 있고, 카메라 캘리브레이션을 이용하여 카메라 고유의 파라미터 값을 측정할 수 있으며, 카메라의 오차를 보정하여 카메라의 위치와 자세를 추정할 수 있기 때문에, 피시술자의 안면 영상 내에서 XYZ 좌표를 정확하게 얻어낼 수 있고 얼굴 트래킹을 통하여 시술 후 시뮬레이션 데이터를 AR 글래스 상에 출력할 수 있고 의사 또는 시술자는 정확한 위치계산으로 시뮬레이션과 동일 또는 유사한 시술 결과를 얻어낼 수 있게 된다.
이때, AR 글래스에서 실시간으로 영상 및 특징점을 추출하여 AR 글래스 상에 출력해야 하기 때문에 네트워킹 자원 및 컴퓨팅 자원이 충분히 지원되어야 한다. 이를 위하여, GPU를 이용하도록 하여 동일한 컴퓨팅 자원에서도 높은 성능을 낼 수있도록 설계할 수 있다. 실시간으로 피시술자의 얼굴 상에 표시를 해야하기 때문에, 속도 및 안정성이 저하되는 것을 방지하기 위해 멀티 GPU를 이용한 병렬처리 기법을 사용하며, 각각의 GPU에 대한 활성화 정도를 파악해 GPU를 스레드에 할당하여 리소스를 최적의 상태로 분배할 수 있는 방법을 더 이용할 수 있다.
멀티 GPU를 사용하는 과정에서 GPU 리소스를 효율적으로 할당하지 않을 경우에는 하나의 GPU에 과부하가 걸려 안정적인 시스템 구동에 문제가 발생하게 된다. 따라서 본 발명의 일 실시예에서는 N 개의 스레드(Thread)에 쿠다를 사용하여 GPU 리소스를 최적의 상태로 분배하는 알고리즘을 이용할 수 있다. GPU 할당 알고리즘은 첫 번째로 모든 GPU 디바이스의 활성화된 코어 수와 메모리 활성화 정도를 파악한다. 이 과정을 통해 각 GPU가 현재 어느 정도 사용되고 있는지를 파악하게 된다. 두 번째로 각 GPU의 현재 리소스 사용 상태를 따라 가장 점유율이 낮은 GPU를 스레드에 할당한다. 이때 메모리 사용량과 활성화된 코어의 개수를 모두 고려하여 최적의 GPU를 할당하는데, 예를 들어, 리소스 점유율이 가장 낮은 GPU #2를 스레드 #1에 할당하게 된다. 스레드 #N-1과 스레드 #N에 대해서도 첫 번째와 두 번째 과정을 수행하여 모든 스레드에 대하여 최적의 GPU를 할당할 수 있다.
세 번째로 모든 스레드에 대하여 최적의 GPU를 할당한 후에는 첫 번째와 두 번째 과정을 매 프레임 반복시 오히려 GPU에 과부하가 발생될 우려가 있다. 따라서 GPU 점유율이 일정 수준 이상으로 높아질 경우에만 다시 첫 번째와 두 번째 과정을 수행하게 된다. 기준치를 높여 알고리즘을 실행할 경우에는 예상보다 빠르게 GPU 점유율이 높아져 GPU를 스위칭하기 전에 과부하가 걸릴 우려가 있다. 반대로 기준치를 낮추는 경우에는 GPU 스위칭이 너무 빈번하게 발생해 오히려 성능이 저하되는 현상이 발생하는 문제가 있다. 따라서 다시 수행하는 기준인 GPU 점유율이 기 설정된 퍼센트, 예를 들어 60%로 설정할 수 있으나 이에 한정되지는 않는다.
덧붙여서, 본 발명의 일 실시예에 따른 방법은 의사만이 본 발명의 플랫폼을 이용하는 것이 아니라, 영상처리기사나 프로그래머 또는 유지관리자들이 협업을 해야 하기 때문에 협업을 위한 클라우드 플랫폼을 더 부가할 수도 있다. 예를 들어, 웹기반 애플리케이션은, HTML5, CSS3 및 Three.JS 웹기반 그래픽 라이브러리를 사용하여 구축될 수 있다. Three.JS는 Document Object Model 인터페이스를 사용하여 HTML5 Canvas 요소를 통해 접근된다. Javascrip 프로그래밍 언어로 작성된 웹 애플리케이션은 클라이언트(사용자 단말(100)) 측 브라우저가 표시되는 내용을 제어하고 변경할 수 있다. 클라이언트 측에서는 웹 기술이 기본 기능을 메뉴, 툴바 및 위젯으로 다루게 된다. 웹 애플리케이션에서는 모델의 확대나 축소, 회전, 변환 및 기본 의료 이미지 작업을 구현할 수 있다. 웹 서버는 아파치 HTTP(Hypertext Transfer Protocol) 서버를 이용하여 구현될 수 있다.
수술 계획을 세울 때, 각 절차에 대해 계획 중에 변위에 사용된 기준점을 가상 표면 모델에 지정하고 그래픽 사용자 인터페이스를 사용하여 의사가 원하는 변위량을 입력할 수 있다. 직선 이동에서, 골편 모델은 주어진 변위량만큼 x, y 및 z 축을 따라 직선으로 이동될 수 있고, 회전 운동(롤, 피치 및 요)에서 골편 모델은 사용자 지정으로 선택된 회전 중심을 따라 회전목표점이 이동될 수 있다. 만약 클라우드 플랫폼을 사용한다면, 상술한 프로그램들은 설치하거나 직접 구동할 필요가 없이 단순 웹 페이지 접속만으로 수술 시뮬레이션을 수행할 수 있게 된다. 일반적인 수술과정은 환자의 CT 영상 획득부터 시작하여 진단과 분석, 그리고 수술가이드 제작에 이르기까지 방대한 의료영상 및 데이터를 사용하고 있다. 또 로컬 환경에서는 의료진과 연구원 그리고 수술가이드 제작자 간의 데이터를 전송하고 공유함에 물리적인 이동을 필요로 하거나, 또는 웹메일 등의 기능을 사용함에 있어도 실시간 데이터 연동에서의 어려움이 있었지만, NAS(Network Attached Storage)를 이용하는 경우, 각 클라이언트 간 실시간 데이터 전송 및 공유 환경을 구현할 수 있다. 앞서의 수술계획과 시뮬레이션을 이후, 최종 수술계획이 결정되면 클라우드 저장소를 이용하여 수술자와 연구진 또는 엔지니어간의 편리하고 신속한 데이터 공유가 가능할 수 있다.
클라우드 플랫폼은 이하와 같을 수 있다. SaaS는 인터넷 어디에서든 쉽게 이용할 수 있고, 웹브라우저만 있으면 어디서든 접근할 수 있다. 이때, 각 사용자 단말(100)의 요구사항에 따라 BaaS(Backend as a Service)를 더 추가할 수도 있다. 물론, 인프라나 플랫폼 자체가 구비되지 않은 가정의 경우 IaaS(Infrastructure as a Service)로 서버 운영에 필요한 서버자원, IP, Network, Storage, 전력 등 여러 인프라 자원을 탄력적이고 빠르게 제공할 수 있다. IaaS는 자원을 쉽게 추가하거나 제거할 수 있으며 운영체제를 제공하므로 친숙한 환경이 주어질 수 있다. 또, PaaS(Platform as a Service)로 서비스를 제공할 수 있는데, 안정적인 환경과 그 환경을 이용하는 응용 프로그램을 개발할 수 있는 API까지 제공하는 서비스이다. PaaS는 간편하게 원시코드를 빌드 및 배포할 수 있으며 사용량에 따라 스케일 아웃(Scale Out)을 하기 용이하다. BaaS는 모바일 애플리케이션에 특화된 서비스로 모바일 애플리케이션에서 처리하기 힘든 회원관리 및 푸시, 파일 처리 등 서버 측 애플리케이션을 제공할 수 있다. PaaS의 플랫폼을 이용할 수 있고 제공되는 백앤드 모듈을 REST API나 라이브러리 CALL을 통해 바로 사용할 수 있도록 구성될 수도 있다.
이하, 상술한 도 2의 시술 결과비교 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 내지 도 6을 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 방법이 도시된다. 도 3을 보면 도 2에서 기술한 바와 같이, 최초 시술 전 피시술자의 3차원 안면 스캔데이터를 촬영하고, 특징점을 추출하여 영역분할을 한 후 시뮬레이션으로 특징점을 제어하여 시술 후 모습을 예상해보게 된다. 이렇게 환자, 엔지니어 및 의사가 합의한 시뮬레이션 결과 데이터는 저장되고 이후 환자가 시술을 받은 후 또는 수술을 받은 후 3차원 안면 스캔데이터와 비교해보는 기준값 역할을 수행한다.
그리고, 수술 또는 시술을 받은 환자, 즉 피수술자 또는 피시술자의 안면을 다시 3차원 안면 스캔데이터로 추출한 후에, 시술 전, 후 및 수술계획에 대응하는 시뮬레이션 결과를 정합 및 중첩시켜 얼마나 이상적(Ideal)으로 수술이 진행되었는지를 확인할 수 있다.
도 4a는 3차원 안면 특징점이 추출된 모습이고, 도 4b는 안면 영역이 분할된 모습이다. 이 상태에서 도 4c와 같이 안면 각도를 분석하고 이때 특징점을 조절하면서 수술 후의 상황을 시뮬레이션해볼 수 있다. 이때, 도 4c의 번호를 설명하면, ① Nasofrontal 각도, ② Nasofacial 각도, ③ Nasomental 각도, ④ Nasolabial 각도, ⑤ Exocanthion 각도이다. 당업계에서 영문 그대로 쓰이므로 이를 한글로 번역하지는 않는다. 예를 들어, 입과 턱이 도출된 경우라면, 입과 턱에 있는 특징점을 안으로 넣으면서 이 전과 후를 분석할 수도 있다. 이렇게 시뮬레이션을 하기 이전에 우선 현재 얼마나 입과 턱이 돌출되었는지를 각도로 확인하고, 굴곡도와 깊이를 도 4d와 같이 가시화할 수도 있다. 또, 안면 비율을 도 4e와 같이 분석할 수도 있고, 안면 대칭 분석도 마찬가지로 도 4f와 같이 수행할 수 있다.
이렇게 안면 분석이 완료되고 나면, 분석된 자료를 이용하여 시뮬레이션, 즉 수술계획을 세우게 된다. 도 5a 및 도 5b를 보면 Ceph 트레이싱을 통하여 시뮬레이션을 수행할 수 있고, 환자, 엔지니어 및 의사가 모두 참여하여 어떻게 수술을 진행할 것인지를 합의하게 된다. 도 5c 및 도 5d와 같이 Control Sphere를 통하여 턱 선과 턱 밑 또 귀까지의 거리를 볼 수도 있다.
이때, 도 6에 포함된 3차원 안면 스캔데이터는 왼쪽이 수술/시술 전, 오른쪽이 수술/시술 후 사진이다. 좌측 3차원 안면 스캔데이터는 수술 후 얼굴에 대해 얼마나 마이너스 값으로 수축되어야 하는지를 색상분포로 보여주는 것이고, 우측 3차원 안면 스캔데이터는, 수술 후 얼굴에 대해 수술 전 3차원 안면 스캔데이터가 플러스 값으로 나와 있는지를 보여주고 있다. 도 6a를 참조하면, 비교 정보를 추출하는 과정인데, 세 가지의 데이터를 중첩시키고 안면 깊이를 비교한 결과를 도 6b와 같이 출력할 수 있고, 안면 표면 길이 비교 결과를 도 6c와 같이 길이 추출할 수도 있으며, 도 6d와 같이 시술 전 후를 명확하게 비교할 수 있도록 하며, 도 6e와 같이 부피값을 비교함으로써 안면비대칭이 보정된 결과를 출력할 수도 있다.
도 6a 내지 도 6e에 걸쳐 사용된 시각화 알고리즘은 도 6f와 같이, 본 발명의 일 실시예에 따른 적응형 샘플링 ICP(Iterative Closest Point Based on Adaptive Sampling of Face Segmentation)를 사용하는데, 이는 분할한 얼굴 영역에서 수술 전과 후 변형이 거의 없는 영역만을 검색하여 ICP 정합을 수행하고, 수술 전 및 후 데이터(3차원 안면 스캔데이터)의 전체 영역으로 ICP를 수행했을때의 상대 거리값의 오차를 없애주는것이 핵심이다. 본 발명의 ICP 수행후에는 수술 전 데이터의 정점과 수직거리의 수술 후 데이터의 거리값을 계산하고 그 거리값에 대한 색상분포표에 따른 값을 가시화하게 되며, ICP 알고리즘(의사코드)은 이하 표 1과 같다.
Figure pat00001
이때, 도 6g는 포인트-투-플레인(Point to Plane) 최소화의 유도 방법인데, 서로 연관이 있는 입력 데이터와 모델 데이터 쌍(pi, qi)과 모델 데이터의 법선 벡터(ni)를 알고 있다면, 입력 데이터가 모델 데이터에 정렬되기 위하여 이하 수학식 1과 같이 정의되는 에러를 최소화하는 회전행렬과 이동벡터를 계산할 수 있다.
Figure pat00002
이때, R은 회전행렬이고, t=(x,y)T는 이동벡터다. 회전행렬은 이하 수학식 2와 같이 표시되며, θ≒0 일 때에는 선형화될 수 있다.
Figure pat00003
다시 수학식 1을 정리하면, 이하 수학식 3과 같다.
Figure pat00004
이를 다시 한번 간략하게 정리하면 이하 수학식 4와 같다.
Figure pat00005
이때, x,y,θ에 대한 에러의 최소값을 구하기 위하여, e를 편미분한다.
Figure pat00006
수학식 5를 행렬로 변환하면 이하 수학시 6과 같아진다.
Figure pat00007
이때, 수학식 6의 선형행렬 식은 Ax=b로 표현가능하며, x=A-1b와 같이 풀 수 있다. 이 외에 설명하지 않은 개념이나 구성들은 ICP의 공지기술과 동일하므로 설명을 생략한다.
이와 같은 도 2 내지 도 6의 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 7은 본 발명의 일 실시예에 따른 도 1의 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 7을 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 7에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 7을 참조하면, 시술 결과비교 서비스 제공 서버는, 피시술자의 안면을 3차원으로 스캔하여 시술 전 3차원 안면 데이터를 수집한다(S7100).
그리고, 시술 결과비교 서비스 제공 서버는 시술 전 3차원 안면 데이터로부터 적어도 하나의 특징점을 추출하고(S7200), 시술 전 3차원 안면 데이터의 적어도 하나의 영역을 분할한다(S7300).
또, 시술 결과비교 서비스 제공 서버는 적어도 하나의 영역이 분할된 시술 전 3차원 안면 데이터를 기 저장된 시뮬레이션 프로그램으로 시술 후 예상 3차원 안면 데이터인 시뮬레이션 결과 데이터를 생성하고(S7400), 피시술자의 안면을 시술 후 3차원으로 스캔하여 시술 후 3차원 안면 데이터를 수집한다(S7500).
그리고, 시술 결과비교 서비스 제공 서버는 시술 전 3차원 안면 데이터, 시뮬레이션 결과 데이터 및 시술 후 3차원 안면 데이터를 중첩하여 비교결과를 생성한다(S7600).
상술한 단계들(S7100~S7600)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S7100~S7600)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 7의 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 6을 통해 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 7을 통해 설명된 일 실시예에 따른 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 시술 결과비교 서비스 제공 서버에서 실행되는 시술 결과비교 서비스 제공 방법에 있어서,
    피시술자의 안면을 3차원으로 스캔하여 시술 전 3차원 안면 데이터를 수집하는 단계;
    상기 시술 전 3차원 안면 데이터로부터 적어도 하나의 특징점을 추출하는 단계;
    상기 시술 전 3차원 안면 데이터의 적어도 하나의 영역을 분할하는 단계;
    상기 적어도 하나의 영역이 분할된 시술 전 3차원 안면 데이터를 기 저장된 시뮬레이션 프로그램으로 시술 후 예상 3차원 안면 데이터인 시뮬레이션 결과 데이터를 생성하는 단계;
    상기 피시술자의 안면을 시술 후 3차원으로 스캔하여 시술 후 3차원 안면 데이터를 수집하는 단계; 및
    상기 시술 전 3차원 안면 데이터, 상기 시뮬레이션 결과 데이터 및 상기 시술 후 3차원 안면 데이터를 중첩하여 비교결과를 생성하는 단계;
    를 포함하는 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법.
  2. 제 1 항에 있어서,
    상기 기 저장된 시뮬레이션 프로그램은 Ceph 프로그램인 것인, 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 특징점은,
    헤어라인(Hair Line, HL), 미간(Glabella, G), 코 뿌리점(Nasion, N), 코끝점(Pronasale, PN), 비주의 최전방점(Columella, CM), 비주와 상순의 교차점(Subnasale, SN), 상순의 변곡점(Labiale superius, LS), 하순의 최전방점(Lower Lip Point, LL), 하순의 변곡점(Labiale Inferius, LI), 턱의 최전방점(Pogonion, PG), 턱의 최하방점(Chin Line, CL), 입꼬리 오른쪽(Cheilion Right, CHR), 입고리 왼쪽(Cheilion Left, CHL), 눈썹 오른쪽 바깥라인(Eyebrow Right Outer, EER), 눈섭 왼쪽 바깥라인(Eyebrow Left Outer, EEL), 눈 오른쪽 가쪽 끝(Exocanthion Right, EXR), 눈 오른쪽 안쪽 끝(Endocanthion Right, ENR), 눈 왼쪽 가쪽 끝(Exocanthion Left, EXL), 눈 왼쪽 안쪽 끝(Endocanthion Left, ENL), 오른쪽(Right, R), 왼쪽(Left, L), 오른쪽 귀 끝점(Otobasion Inferius Right, ObiR) 및 왼쪽 귀 끝점(Otobasion Inferius Left, ObiL)을 포함하는 것인, 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법.
  4. 제 1 항에 있어서,
    상기 적어도 하나의 영역은,
    오른눈(Right Eye), 오른눈 주변(Right Around Eye), 왼눈(Left Eye), 왼눈 주변(Left Around Eye), 코(Nose). 윗입술(Upper Lip), 아랫입술(Lower Lip), 턱(Chin), 목(Neck), 오른뺨(Right Cheek), 왼뺨(Left Cheek) 및 이마(Fore Head)를 포함하는 것인, 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법.
  5. 제 1 항에 있어서,
    상기 시술 전 3차원 안면 데이터의 적어도 하나의 영역을 분할하는 단계 이후에,
    상기 적어도 하나의 영역이 분할된 시술 전 3차원 안면 데이터에 대하여 안면 분석을 실행하는 단계;
    를 더 포함하는 것인, 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법.
  6. 제 5 항에 있어서,
    상기 안면 분석은, 안면 각도 분석, 안면 굴곡도 분석, 안면 깊이 분석, 안면 비율 분석 및 안면 대칭 분석을 포함하는 것인, 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법.
  7. 제 1 항에 있어서,
    상기 적어도 하나의 영역이 분할된 시술 전 3차원 안면 데이터를 기 저장된 시뮬레이션 프로그램으로 시술 후 예상 3차원 안면 데이터인 시뮬레이션 결과 데이터를 생성하는 단계 이후에,
    상기 AR(Augment Reality) 얼굴 트래킹(Face Tracking)을 통하여 AR 글래스로 상기 시뮬레이션 결과 데이터를 전송하여 상기 AR 글래스에서 상기 피시술자의 안면 상에 시술 영역을 출력하도록 하는 단계;
    를 더 포함하는 것인, 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법.
  8. 제 1 항에 있어서,
    상기 시술 전 3차원 안면 데이터, 상기 시뮬레이션 결과 데이터 및 상기 시술 후 3차원 안면 데이터를 중첩하여 비교결과를 생성하는 단계에서,
    상기 비교결과는, 상기 피시술자의 안면 깊이 비교, 안면 표면 길이 비교, 안면 단면 비교 및 안면 6분할 부피값 비교를 포함하는 것인, 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법.
  9. 제 1 항에 있어서,
    상기 시술은 수술로 대체가능한 것인, 3차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
KR1020210079297A 2020-06-18 2021-06-18 ３차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법 KR102522873B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200074467 2020-06-18
KR1020200074467 2020-06-18

Publications (2)

Publication Number Publication Date
KR20210156796A true KR20210156796A (ko) 2021-12-27
KR102522873B1 KR102522873B1 (ko) 2023-04-19

Family

ID=79177443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210079297A KR102522873B1 (ko) 2020-06-18 2021-06-18 ３차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법

Country Status (1)

Country Link
KR (1) KR102522873B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102486197B1 (ko) 2022-09-26 2023-01-09 강석준 3차원 얼굴 스캐닝 방법, 장치 및 시스템
KR20240003944A (ko) 2022-07-04 2024-01-11 광운대학교 산학협력단 3d 얼굴 랜드마크의 정합을 통한 안면 대칭성 분석 방법 및 장치
KR20240018243A (ko) 2022-08-02 2024-02-13 광운대학교 산학협력단 3d 얼굴 랜드마크를 이용한 얼굴 정합 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140028523A (ko) * 2012-08-29 2014-03-10 주식회사 쓰리디팩토리 무안경 ３ｄ 방식을 이용한 성형외과 운영 시스템 및 방법
KR20180103672A (ko) * 2017-03-10 2018-09-19 주식회사 모르페우스 시술에 대한 결과 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20190108923A (ko) * 2018-03-16 2019-09-25 서울여자대학교 산학협력단 증강현실을 이용한 성형외과 진료/수술 지원시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140028523A (ko) * 2012-08-29 2014-03-10 주식회사 쓰리디팩토리 무안경 ３ｄ 방식을 이용한 성형외과 운영 시스템 및 방법
KR20180103672A (ko) * 2017-03-10 2018-09-19 주식회사 모르페우스 시술에 대한 결과 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20190108923A (ko) * 2018-03-16 2019-09-25 서울여자대학교 산학협력단 증강현실을 이용한 성형외과 진료/수술 지원시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240003944A (ko) 2022-07-04 2024-01-11 광운대학교 산학협력단 3d 얼굴 랜드마크의 정합을 통한 안면 대칭성 분석 방법 및 장치
KR20240018243A (ko) 2022-08-02 2024-02-13 광운대학교 산학협력단 3d 얼굴 랜드마크를 이용한 얼굴 정합 방법 및 장치
KR102486197B1 (ko) 2022-09-26 2023-01-09 강석준 3차원 얼굴 스캐닝 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR102522873B1 (ko) 2023-04-19

Similar Documents

Publication Publication Date Title
KR102522873B1 (ko) ３차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법
DK2967519T3 (en) SYSTEMS AND METHODS FOR PLANNING HAIR TRANSPLANTATION
KR102006019B1 (ko) 시술에 대한 결과 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US7953260B2 (en) Predicting movement of soft tissue of the face in response to movement of underlying bone
US20210225003A1 (en) Image processing method and apparatus, server, and storage medium
CN103443827A (zh) 用于提供面部调节图像的方法和系统
US9299148B2 (en) Method and system for automatically determining a localizer in a scout image
US20120019511A1 (en) System and method for real-time surgery visualization
US20230149135A1 (en) Systems and methods for modeling dental structures
CN111096835A (zh) 一种矫形器设计方法和系统
US11819427B2 (en) Systems and methods for orthosis design
Kjer et al. Patient-specific estimation of detailed cochlear shape from clinical CT images
Oliveira-Santos et al. 3D face reconstruction from 2D pictures: first results of a web-based computer aided system for aesthetic procedures
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
CN115063607B (zh) 切割轮廓的确定方法、装置、设备及存储介质
CN107170009B (zh) 一种基于医学图像的护目镜基弯数据测量方法
CN108601512A (zh) 在存在组织变形的情况下提供外科手术辅助的系统和方法
JP2023520741A (ja) ホログラフィックによる遠隔プロクタリングのための、心エコー画像からの医療機器のリアルタイムトラッキング方法
CN112950774A (zh) 一种三维建模装置、手术规划系统及教学系统
Steinbacher et al. 3D, 4D, Mobile APP, VR, AR, and MR systems in facial palsy
KR102458276B1 (ko) ３차원 안면 스캔데이터 및 ａｒ 글래스를 이용한 실시간 가시화 서비스 제공 방법
Büchner et al. From Faces to Volumes-Measuring Volumetric Asymmetry in 3D Facial Palsy Scans
US11857271B2 (en) Markerless navigation using AI computer vision
JP7145359B1 (ja) 推論モデル構築方法、推論モデル構築装置、プログラム、記録媒体、構成装置及び構成方法
Fishman Improving Workflow and Accuracy in Craniofacial Reconstruction with Computer-Assisted Surgical Planning

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right