KR20220126665A - 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법 - Google Patents
안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법 Download PDFInfo
- Publication number
- KR20220126665A KR20220126665A KR1020220029499A KR20220029499A KR20220126665A KR 20220126665 A KR20220126665 A KR 20220126665A KR 1020220029499 A KR1020220029499 A KR 1020220029499A KR 20220029499 A KR20220029499 A KR 20220029499A KR 20220126665 A KR20220126665 A KR 20220126665A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- facial
- simulation
- volume data
- subject
- Prior art date
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000001815 facial effect Effects 0.000 claims description 189
- 210000000988 bone and bone Anatomy 0.000 claims description 22
- 210000004872 soft tissue Anatomy 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 4
- 210000004283 incisor Anatomy 0.000 claims description 4
- 238000002591 computed tomography Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 15
- 238000001356 surgical procedure Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 230000009471 action Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 210000000214 mouth Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 210000000216 zygoma Anatomy 0.000 description 2
- 101001001429 Homo sapiens Inositol monophosphatase 1 Proteins 0.000 description 1
- 102100035679 Inositol monophosphatase 1 Human genes 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000004513 dentition Anatomy 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000011999 immunoperoxidase monolayer assay Methods 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 238000001459 lithography Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 210000002050 maxilla Anatomy 0.000 description 1
- GHZKGHQGPXBWSN-UHFFFAOYSA-N methyl(propan-2-yloxy)phosphinic acid Chemical compound CC(C)OP(C)(O)=O GHZKGHQGPXBWSN-UHFFFAOYSA-N 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000011120 plywood Substances 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000036346 tooth eruption Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Primary Health Care (AREA)
- Computer Graphics (AREA)
- Urology & Nephrology (AREA)
- Epidemiology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Pulmonology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 방법은, 대상자의 안면 부위의 CT 데이터 및 상기 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터를 획득하는 단계, 상기 대상자의 2차원의 안면 이미지를 획득하는 단계, 상기 볼륨 데이터 및 상기 안면 이미지의 배향 및 규격이 대응되게 상기 볼륨 데이터 및 상기 안면 이미지 중 적어도 하나를 처리하는 단계 및 상기 처리가 수행된 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하여 상기 대상자에 대한 가상의 3차원 안면 모델을 구축하는 단계를 포함할 수 있다.
Description
본원은 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법에 관한 것이다.
최근 들어 턱 교정 수술, 안면교정술 등을 수행하기에 앞서 수술 전후의 모습을 미리 예측하여 출력하는 시뮬레이션 프로그램이 개발되고 있다. 그러나, 종래의 시뮬레이션 프로그램은 3차원 방사선 CT이미지를 이용하여 골격 모델링을 디자인하여 가상 수술을 적용하고, 그 정보를 바탕으로 절골 가이드와 골절합판을 생성하는 등 방사선 영상자료만을 활용하여 시뮬레이션이 수행되는 것이 일반적이어서, 수술자 또는 대상자에게 직관적인 수술 전후의 안면 형상을 제공하는 데에는 한계가 있었다.
특히, 치과, 구강악 안면외과, 정형외과, 신경외과 등에서 수행되는 안면 부위의 수술의 경우 대상자의 안면의 모습이 수술에 의해 크게 달라질 수 있으므로, 수술에 앞서 미리 대상자에게 안면의 변화를 정확도 높게 예측하여 제공하는 것이 중요할 뿐만 아니라, 의료진에게도 해당 수술의 정확성, 효율성, 안정성 등을 확보하기 위하여 수술 수행 전에 대상자의 안면 부위의 골조직과 연조직의 상관 관계가 명확하게 반영된 시뮬레이션 모델을 통해 수술 계획을 수립하는 것이 필수적이다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1744079호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 대상자의 안면 이미지 및 3차원의 방사선 영상 자료를 중첩하여 임상에 적용하여 가상 수술을 수행하고, 수술 결과를 예측할 수 있는 3차원 안면 모델을 구축하기 위한 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 방법은, 대상자의 안면 부위의 CT 데이터 및 상기 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터를 획득하는 단계, 상기 대상자의 2차원의 안면 이미지를 획득하는 단계, 상기 볼륨 데이터 및 상기 안면 이미지의 배향 및 규격이 대응되게 상기 볼륨 데이터 및 상기 안면 이미지 중 적어도 하나를 처리하는 단계 및 상기 처리가 수행된 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하여 상기 대상자에 대한 가상의 3차원 안면 모델을 구축하는 단계를 포함할 수 있다.
또한, 상기 3차원 안면 모델은, 상기 대상자의 안면 부위의 골조직의 특성이 상기 볼륨 데이터에 기초하여 반영되고, 상기 대상자의 안면 표면의 연조직의 특성이 상기 안면 이미지에 기초하여 반영된 모델일 수 있다.
또한, 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 방법은, 상기 3차원 안면 모델에 대한 시뮬레이션 조작 입력을 수신하는 단계, 상기 시뮬레이션 조작 입력에 따라 상기 3차원 안면 모델의 상기 골조직의 특성이 변화하는 제1시뮬레이션 정보를 도출하는 단계, 상기 제1시뮬레이션 정보에 기초하여 상기 3차원 안면 모델의 상기 연조직의 특성이 변화하는 제2시뮬레이션 정보를 예측하는 단계 및 상기 제2시뮬레이션 정보를 반영한 상기 대상자의 안면 표면의 형상이 식별되도록 상기 3차원 안면 모델을 표출하는 단계를 포함할 수 있다.
또한, 상기 처리하는 단계는, 상기 볼륨 데이터 및 상기 안면 이미지의 중심선을 매칭하는 단계 및 상기 안면 이미지의 크기를 상기 볼륨 데이터를 기준으로 조절하는 단계를 포함할 수 있다.
또한, 상기 중심선을 매칭하는 단계는, 상기 안면 이미지의 중심선이 상기 STL 데이터에 반영된 앞니 사이 영역에 배치되도록 상기 안면 이미지를 상기 볼륨 데이터에 대하여 이동시킬 수 있다.
또한, 상기 처리하는 단계는, 상기 중심선을 매칭하는 단계 이전에 상기 안면 이미지의 안면 촬영 방향에 대응하도록 상기 볼륨 데이터의 배향을 조정하는 단계를 포함할 수 있다.
또한, 상기 구축하는 단계는, 상기 안면 이미지는 표시되고, 상기 CT 데이터는 미표시된 상태에서 상기 STL 데이터가 상기 안면 이미지에 대하여 목표 영역에 위치하는지 여부를 판단하는 단계, 상기 STL 데이터가 상기 목표 영역에 위치하면, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하는 단계 및 상기 STL 데이터가 상기 목표 영역에 위치하지 않으면, 상기 STL 데이터가 상기 목표 영역에 배치되도록 상기 STL 데이터를 보정한 후, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하는 단계를 포함할 수 있다.
또한, 상기 볼륨 데이터를 획득하는 단계는 상기 STL 데이터가 상기 CT 데이터와 형상, 질감 및 색상 중 적어도 하나가 구분되게 표출되도록 상기 STL 데이터 및 상기 CT 데이터를 병합하는 단계를 포함할 수 있다.
한편, 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 장치는, 대상자의 안면 부위의 CT 데이터 및 상기 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터와 상기 대상자의 2차원의 안면 이미지를 획득하는 수집부, 상기 볼륨 데이터 및 상기 안면 이미지의 배향 및 규격이 대응되게 상기 볼륨 데이터 및 상기 안면 이미지 중 적어도 하나를 처리하는 가공부 및 상기 처리가 수행된 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하여 상기 대상자에 대한 가상의 3차원 안면 모델을 구축하는 모델 생성부를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 장치는, 상기 3차원 안면 모델에 대한 시뮬레이션 조작 입력을 수신하는 입력 수신부, 상기 시뮬레이션 조작 입력에 따라 상기 3차원 안면 모델의 상기 골조직의 특성이 변화하는 제1시뮬레이션 정보를 도출하고, 상기 제1시뮬레이션 정보에 기초하여 상기 3차원 안면 모델의 상기 연조직의 특성이 변화하는 제2시뮬레이션 정보를 예측하는 분석부 및 상기 제2시뮬레이션 정보를 반영한 상기 대상자의 안면 표면의 형상이 식별되도록 상기 3차원 안면 모델을 표출하는 표시부를 포함할 수 있다.
또한, 상기 가공부는, 상기 안면 이미지의 안면 촬영 방향에 대응하도록 상기 볼륨 데이터의 배향을 조정하고, 상기 볼륨 데이터 및 상기 안면 이미지의 중심선을 매칭하고, 상기 안면 이미지의 크기를 상기 볼륨 데이터를 기준으로 조절할 수 있다.
또한, 상기 모델 생성부는, 상기 안면 이미지는 표시되고, 상기 CT 데이터는 미표시된 상태에서 상기 STL 데이터가 상기 안면 이미지에 대하여 목표 영역에 위치하는지 여부를 판단할 수 있다.
또한, 상기 모델 생성부는, 상기 STL 데이터가 상기 목표 영역에 위치하면, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하고, 상기 STL 데이터가 상기 목표 영역에 위치하지 않으면, 상기 STL 데이터가 상기 목표 영역에 배치되도록 상기 STL 데이터를 보정한 후, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩할 수 있다.
또한, 상기 수집부는, 상기 STL 데이터가 상기 CT 데이터와 형상, 질감 및 색상 중 적어도 하나가 구분되게 표출되도록 상기 CT 데이터에 병합된 상기 볼륨 데이터를 획득할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 대상자의 안면 이미지 및 3차원의 방사선 영상 자료를 중첩하여 임상에 적용하여 가상 수술을 수행하고, 수술 결과를 예측할 수 있는 3차원 안면 모델을 구축하기 위한 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 대상자의 안면 이미지 및 3차원의 방사선 영상 자료를 중첩하는 방식으로 구축된 3차원 안면 모델을 사용자가 용이하게 조작할 수 있는 내비게이션 시스템이 제공될 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 장치를 포함하는 가상 시뮬레이션 시스템의 개략적인 구성도이다.
도 2a 내지 도 2d는 3차원의 볼륨 데이터와 2차원의 안면 이미지를 중첩하는 프로세스를 나타낸 도면이다.
도 3a는 볼륨 데이터와 안면 이미지에 대한 처리 프로세스를 나타낸 도면이다.
도 3b는 안면 이미지는 표시되고, CT 데이터는 미표시된 상태에서 STL 데이터의 위치를 목표 영역을 비교하는 것을 나타낸 도면이다.
도 4a 및 도 4b는 볼륨 데이터로부터 획득되는 대상자의 안면 부위와 연계된 계측 파라미터를 나타낸 도표이다.
도 5는 소정의 시술/수술 적용 전후의 대상자의 안면 부위와 연계된 계측 파라미터의 변화를 3차원 안면 모델을 이용하여 예측하여 나타낸 도표이다.
도 6a 및 도 6b는 생성된 3차원 안면 모델의 국부적인 영역을 확대하여 나타낸 도면이다.
도 7은 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 장치의 개략적인 구성도이다.
도 8은 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 방법에 대한 동작 흐름도이다.
도 9는 본원의 일 실시예에 따라서 구축된 대상자의 3차원 안면 모델을 이용한 시뮬레이션 프로세스에 대한 동작 흐름도이다.
도 2a 내지 도 2d는 3차원의 볼륨 데이터와 2차원의 안면 이미지를 중첩하는 프로세스를 나타낸 도면이다.
도 3a는 볼륨 데이터와 안면 이미지에 대한 처리 프로세스를 나타낸 도면이다.
도 3b는 안면 이미지는 표시되고, CT 데이터는 미표시된 상태에서 STL 데이터의 위치를 목표 영역을 비교하는 것을 나타낸 도면이다.
도 4a 및 도 4b는 볼륨 데이터로부터 획득되는 대상자의 안면 부위와 연계된 계측 파라미터를 나타낸 도표이다.
도 5는 소정의 시술/수술 적용 전후의 대상자의 안면 부위와 연계된 계측 파라미터의 변화를 3차원 안면 모델을 이용하여 예측하여 나타낸 도표이다.
도 6a 및 도 6b는 생성된 3차원 안면 모델의 국부적인 영역을 확대하여 나타낸 도면이다.
도 7은 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 장치의 개략적인 구성도이다.
도 8은 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 방법에 대한 동작 흐름도이다.
도 9는 본원의 일 실시예에 따라서 구축된 대상자의 3차원 안면 모델을 이용한 시뮬레이션 프로세스에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 장치를 포함하는 가상 시뮬레이션 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본원의 일 실시예에 따른 가상 시뮬레이션 시스템(10)은, 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 장치(100)(이하, '시뮬레이션 장치(100)'라 한다.), 사용자 단말(200), 의료 영상 스캐너(20) 및 촬영 디바이스(30)를 포함할 수 있다.
시뮬레이션 장치(100), 사용자 단말(200), 의료 영상 스캐너(20) 및 촬영 디바이스(30) 상호간은 네트워크를 통해 통신할 수 있다. 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
사용자 단말(200)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다.
구체적으로, 시뮬레이션 장치(100)로 방사선 영상 데이터를 제공하는 의료 영상 스캐너(20)는 예를 들어 MRI(Magnetic Resonance Imaging, 자기 공명 영상) 스캐너, 초음파 영상 기기, 컴퓨터 단층 촬영(Computed tomography, CT) 기기, X-선 등의 방사선 촬영 기기 등일 수 있다. 또한, 이에 대응하여 시뮬레이션 장치(100)에 의한 처리의 대상이 되는 영상 데이터는 X-선 영상, MRI 영상, 초음파 영상, CT 영상 등을 포함하는 것일 수 있다. 특히, 본원의 실시예에 관한 설명에서 의료 영상 스캐너(20)는 대상자의 안면 부위의 CT 데이터와 치아 부위의 STL(STereo Lithography) 데이터를 획득하기 위한 촬영 기기일 수 있다.
또한, 본원의 실시예에 관한 설명에서 촬영 디바이스(30)는 대상자의 안면 이미지를 촬영하는 카메라 등의 디바이스일 수 있다. 예시적으로, 촬영 디바이스(30)에 의해 촬영되는 안면 이미지는 2차원 이미지일 수 있다. 또한, 촬영 디바이스(30)는 대상자의 안면 부위를 정면, 양 측면, 후면 등 다양한 방향에서 촬영하도록 구비될 수 있으며, 이하에서 설명하는 3차원 볼륨 데이터와 2차원 안면 이미지의 중첩을 통한 가상의 3차원 안면 모델을 구축하는 프로세스에는 적어도 하나의 2차원 안면 이미지(예를 들면, 서로 다른 방향에서 각기 촬영된 복수의 2차원 안면 이미지 등)가 활용되는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 촬영 디바이스(30)는 사람의 눈으로 대상체를 바라볼 때 느껴지는 원근감과 유사한 원근감을 기초로 하여 안면 이미지가 획득될 수 있도록 45도 시야각에 대응하는 50mm 렌즈로 대상자의 안면 부위를 촬영하는 디바이스 일 수 있으나, 이에만 한정되는 것은 아니다.
이하에서는 시뮬레이션 장치(100)가 대상자의 안면 이미지와 방사선 영상을 기초로 하여 가상의 3차원 안면 모델을 구축하는 프로세스에 대해 상세히 설명하도록 한다.
시뮬레이션 장치(100)는 대상자의 안면 부위의 CT 데이터 및 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터를 획득할 수 있다. 구체적으로, 시뮬레이션 장치(100)는 STL 데이터가 CT 데이터와 형상, 질감 및 색상 중 적어도 하나가 구분되게 표출되도록 STL 데이터 및 CT 데이터를 병합하여 대상자에 대한 볼륨 데이터를 획득할 수 있다.
예시적으로, CT 데이터는 대상자의 구강에 바이트를 삽입한 상태로 촬영되는 컴퓨터 단층촬영 영상이고, STL 데이터는 대상자의 치아 부위의 형상을 폴리곤을 기초로 입체로 표현한 데이터일 수 있다.
본원의 일 실시예에 따르면, 시뮬레이션 장치(100)는 CT 데이터 및 STL 데이터의 위치(좌표)를 치아 각각의 배향, 위치를 기준으로 정합하여 볼륨 데이터를 획득하되, 본원에서 개시하는 3차원 안면 모델 상에서 대상자의 윗니와 아랫니가 구별되게 인식되도록 후술하는 도 3a에 도시된 바와 같이 볼륨 데이터 상의 윗니 측 STL 데이터와 아랫니 측 STL 데이터의 형상, 질감, 색상 등을 구분되게 표시할 수 있다.
또한, 시뮬레이션 장치(100)는 대상자의 2차원의 안면 이미지를 획득할 수 있다. 예시적으로, 시뮬레이션 장치(100)는 촬영 디바이스(30)로부터 대상자의 안면 전체가 포함되도록 촬영된 이미지를 획득할 수 있다. 이하에서는, 시뮬레이션 장치(100)가 대상자의 안면 부위를 정면 방향에서 촬영한 안면 이미지를 기초로 대상자에 대한 3차원 안면 모델을 구축하는 것을 기준으로 본원의 실시예를 설명하나, 본원의 구현예에 따라 시뮬레이션 장치(100)는 다양한 방향에서 촬영된 대상자의 안면 이미지를 활용하여 3차원 안면 모델을 구축할 수 있음은 물론이다.
시뮬레이션 장치(100)는 볼륨 데이터 및 안면 이미지의 배향 및 규격이 대응되게 볼륨 데이터 및 안면 이미지 중 적어도 하나를 처리할 수 있다.
먼저, 시뮬레이션 장치(100)는 안면 이미지의 안면 촬영 방향에 대응하도록 볼륨 데이터의 배향을 조정할 수 있다. 이해를 돕기 위해 예시하면, 시뮬레이션 장치(100)는 안면 이미지가 대상자의 안면을 정면 방향에서 촬영한 이미지인 경우, 볼륨 데이터가 해당 안면 이미지와 마찬가지로 정면 방향을 향하도록 볼륨 데이터의 배향을 조정할 수 있다.
도 2a 내지 도 2d는 3차원의 볼륨 데이터와 2차원의 안면 이미지를 중첩하는 프로세스를 나타낸 도면이고, 도 3a는 볼륨 데이터와 안면 이미지에 대한 처리 프로세스를 나타낸 도면이다.
구체적으로, 도 2a는 대상자의 안면 부위의 서로 다른 방향의 CT 데이터를 나타낸 도면이고, 도 2b는 대상자의 안면 이미지 및 안면 이미지 상에 설정되는 중심선을 포함하는 기준선을 나타낸 도면이고, 도 2c는 볼륨 데이터로부터 도출되는 대상자의 안면 부위 내지 치아 부위의 주요한 국부적인 특징을 나타내는 주요 라인을 표시한 시각화 예시이고, 도 2d는 대상자의 안면 이미지에 대하여 주요 라인을 중첩하여 예시적으로 표시한 도면이다.
또한, 도 3a를 참조하면, 시뮬레이션 장치(100)는 안면 이미지(1)와 볼륨 데이터(2)의 배향이 일치된 상태에서 볼륨 데이터(2) 및 안면 이미지(1)의 중심선을 매칭할 수 있다. 구체적으로, 시뮬레이션 장치(100)는 안면 이미지(1)의 중심선(CL)이 볼륨 데이터(2)의 STL 데이터(3)에 반영된 앞니 사이 영역에 배치되도록 안면 이미지(1)를 볼륨 데이터(2)에 대하여 이동(예를 들면, 도 3a의 → 방향)시킬 수 있다.
또한, 시뮬레이션 장치(100)는 안면 이미지의 크기를 볼륨 데이터를 기준으로 조절할 수 있다. 구체적으로, 시뮬레이션 장치(100)는 안면 이미지와 볼륨 데이터의 중심선이 매칭된 후 안면 이미지의 확대율을 조정하여 3차원의 볼륨 데이터와 크기가 정합되도록 할 수 있다.
전술한 프로세스를 통해 안면 이미지와 볼륨 데이터의 배향 및 규격이 대응되도록 처리되고 나면, 시뮬레이션 장치(100)는 처리가 수행된 볼륨 데이터 및 안면 이미지를 중첩하여 대상자에 대한 가상의 3차원 안면 모델을 구축할 수 있다.
구체적으로, 시뮬레이션 장치(100)는 안면 이미지는 표시되고, CT 데이터는 미표시된 상태에서 STL 데이터가 안면 이미지에 대하여 목표 영역에 위치하는지 여부에 따라 볼륨 데이터와 안면 이미지의 중첩을 적용할 수 있다.
도 3b는 안면 이미지는 표시되고, CT 데이터는 미표시된 상태에서 STL 데이터의 위치를 목표 영역을 비교하는 것을 나타낸 도면이다.
도 3b을 참조하여 목표 영역이 대상자의 구강(입) 영역인 것으로 예시하면, 시뮬레이션 장치(100)는 안면 이미지는 표시(표출)되고 3차원의 CT 데이터는 미표시되도록 한 다음, STL 데이터(3)가 목표 영역인 구강의 안면 이미지 상의 위치와 STL 데이터(3)가 배치된 영역이 소정 수준 이상 중첩되는 것으로 판단되면, 볼륨 데이터와 안면 이미지가 올바르게 조정된 것으로 취급하여 해당 상태에서의 볼륨 데이터와 안면 이미지를 기초로 가상의 3차원 안면 모델을 구축할 수 있다.
달리 말해, 시뮬레이션 장치(100)는 안면 이미지는 표시되고 CT 데이터는 미표시된 상태에서 STL 데이터(3)가 목표 영역에 위치하면, 볼륨 데이터 및 안면 이미지를 중첩하고, 반대로 안면 이미지는 표시되고 CT 데이터는 미표시된 상태에서 STL 데이터(3)가 목표 영역에 위치하지 않으면, STL 데이터(3)가 목표 영역에 배치되도록 STL 데이터(3)의 위치를 보정한 후, 보정이 적용된 볼륨 데이터 및 안면 이미지를 중첩하는 방식으로 안면 모델을 구축할 수 있다.
또한, 본원의 일 실시예에 따르면, 시뮬레이션 장치(100)는 안면 이미지와 볼륨 데이터에서 복수의 해부학적 특징점(예를 들면, 눈, 눈썹, 이마, 코끝, 턱끝, 광대 등)의 위치를 각각 도출하고, 안면 이미지와 볼륨 데이터로부터 각각 도출된 특징점의 위치가 정합되도록 안면 이미지를 3차원 볼륨 데이터의 표면에 오버레이 하는 방식으로 대상자에 대한 가상의 3차원 안면 모델의 외형을 구축할 수 있다.
이와 관련하여, 시뮬레이션 장치(100)는 안면 이미지 및 볼륨 데이터 각각으로부터 해부학적 특징점을 식별하는 알고리즘을 보유할 수 있다. 예시적으로, 해부학적 특징점 식별을 위한 알고리즘은 안면 이미지의 픽셀 별 색상 정보를 기초로 배경 차분 기반의 객체 검출, 인공지능 기반의 객체 검출, 의미론적 영역 분할 기반의 객체 검출 등을 수행하여 해부학적 특징점을 식별하는 알고리즘일 수 있다.
또한, 시뮬레이션 장치(100)는 볼륨 데이터로부터 파악되는 대상자의 치열, 두개골, 상악, 하악, 광대뼈, 이마뼈 등을 포함하는 안면 부위의 골조직과 안면 이미지로부터 파악되는 대상자의 피부 표면의 연조직의 상호 지지(연결) 관계를 정의할 수 있다.
본원의 일 실시예에 따르면, 시뮬레이션 장치(100)에 의해 정의되는 골조직-연조직의 상호 지지(연결) 관계는 대상자의 골조직의 소정의 변화(예를 들면, 압력 인가, 움직임, 기울임 등)에 의해 영향을 받는 대상자의 연조직의 범위, 골조직의 소정의 변화가 결정된 범위 내의 연조직에 미치는 영향에 대한 정보를 안면 부위의 상호 구분되는 골조직 객체 별로 정의한 것을 의미할 수 있다. 예시적으로, 시뮬레이션 장치(100)는 정의된 상호 지지(연결) 관계를 기초로 골조직의 변화(예를 들면, 회전(각도 단위), 변위(길이 단위) 등)에 대응하는 연조직의 변화를 예측할 수 있다.
이와 관련하여, 도 4a 및 도 4b는 볼륨 데이터로부터 획득되는 대상자의 안면 부위와 연계된 계측 파라미터를 나타낸 도표이다.
도 4a 및 도 4b를 참조하면, 시뮬레이션 장치(100)는 대상자의 골조직 특성(Skeletal Pattern)으로서 Bjork Sum, Saddle angle, Articular angle, Gonial angle, Antero-Post. FHR, SNA, SNB, ANB, APDI 등의 파라미터를 산출할 수 있으며, 대상자의 치아부위 특성(Denture Pattern)으로서 U1 to SN, U1 to FH, IMPA, Interincisal angle 등의 파라미터를 산출할 수 있으며, 대상자의 연조직 특성(Soft Tissue Profile)로서 Upper Lip EL, Lower Lip EL, Interlabial gap, Nasal protuberance to A'B' 등의 파라미터를 산출할 수 있으나, 이에만 한정되는 것은 아니다.
또한, 시뮬레이션 장치(100)는 전술한 프로세스를 통해 구축된 대상자에 대한 3차원 안면 모델을 기초로 가상 수술과 관련한 시뮬레이션을 수행할 수 있다.
도 5는 소정의 시술/수술 적용 전후의 대상자의 안면 부위와 연계된 계측 파라미터의 변화를 3차원 안면 모델을 이용하여 예측하여 나타낸 도표이다.
도 5를 참조하면, 시뮬레이션 장치(100)는 생성된 3차원 안면 모델에 대하여 수행되는 가상 수술에 대한 수술 옵션(Surgery Option)과 연계된 사용자 입력을 인가함으로써 해당 가상 수술에 의해 예측되는 계측 파라미터의 변화에 대한 정보를 생성할 수 있다.
한편, 도 6a 및 도 6b는 생성된 3차원 안면 모델의 국부적인 영역을 확대하여 나타낸 도면이다.
도 6a 및 도 6b를 참조하면, 사용자가 인가한 수술 옵션과 연계된 사용자 입력에 따라 3차원 안면 모델 상에서 주요 영역의 위치, 배향, 크기 등이 변화할 수 있으며, 이러한 주요 영역의 변화는 3차원 안면 모델 상에서 사용자가 육안으로 확인할 수 있는 형태로 시각화될 수 있다. 예를 들어, 도 6a 및 도 6b에 도시된 바와 같이 사용자가 인가한 사용자 입력에 의해 형상 등이 변화하는 주요 영역은 나머지 영역 대비 상호 구분되는 색상, 음영, 강조 표시 등으로 식별되는 것일 수 있다.
구체적으로, 시뮬레이션 장치(100)는 생성된 3차원 안면 모델을 사용자 단말(200)을 통해 사용자(수술자 등)에게 표시할 수 있다. 또한, 시뮬레이션 장치(100)는 사용자 단말(200)로부터 3차원 안면 모델에 대한 시뮬레이션 조작 입력을 수신할 수 있다.
예시적으로, 시뮬레이션 조작 입력은 3차원 형상으로 표출된 3차원 안면 모델을 확대/축소하거나 3차원 공간 상에서 회전시키는 단순 조작 입력뿐만 아니라, 특정 유형의 의료 행위(예를 들면, 치과, 구강악 안면외과, 정형외과, 신경외과 등의 분과에서 안면 부위 내지 치아 부위를 대상으로 수행 가능한 미리 정의된 각종 수술 또는 시술)를 대상자에게 가상으로 적용하는 조작 입력, 특정 해부학적 구조물을 선택하고 선택된 구조물을 상대적으로 이동, 형상 변화, 제거, 가공하는 조작 입력 등을 폭넓게 포함할 수 있다.
구체적으로, 특정 유형의 의료 행위를 적용하는 조작 입력과 관련하여, 시뮬레이션 장치(100)는 의료 행위의 유형 각각에 대하여 골조직 및 연조직 중 적어도 하나의 의료 행위 전후의 변화 패턴에 대한 정보를 미리 보유하여, 변화 패턴에 대한 정보 및 3차원 안면 모델의 생성(구축)시에 정의된 대상자의 골조직과 연조직 사이의 상호 지지(연결) 관계를 기초로 이하에서 설명하는 제1시뮬레이션 정보 및 제2시뮬레이션 정보를 도출하는 것일 수 있다.
본원의 일 실시예에 따르면, 시뮬레이션 장치(100)는 시뮬레이션 조작 입력에 따라 3차원 안면 모델의 골조직의 특성이 변화하는 제1시뮬레이션 정보를 도출할 수 있다. 또한, 시뮬레이션 장치(100)는 제1시뮬레이션 정보에 기초하여 3차원 안면 모델의 연조직의 특성이 변화하는 제2시뮬레이션 정보를 예측할 수 있다. 또한, 시뮬레이션 장치(100)는 예측된 제2시뮬레이션 정보를 반영한 대상자의 안면 표면의 형상이 식별되도록 시뮬레이션 조작 입력에 대응하는 제1시뮬레이션 정보 및 제2시뮬레이션 정보가 반영된 3차원 안면 모델을 사용자 단말(200)을 통해 표출할 수 있다.
또한, 본원의 일 실시예에 따르면, 시뮬레이션 장치(100)는 특정 유형의 의료 행위를 적용하는 조작 입력과 관련하여, 의료 행위(수술/시술)의 유형별로 복수의 수술행위를 포함하는 의료 행위의 수술행위 순서 정보를 포함하는 가이드 정보를 보유할 수 있다. 달리 말해, 시뮬레이션 장치(100)는 특정 유형의 의료 행위를 단계적인 수술행위로 시계열적으로 분할하고, 분할된 수술행위마다의 수술 가이드 및 해당 수술행위 적용 전후의 3차원 안면 모델의 변화를 순차적으로 사용자 단말(200)을 통해 표출할 수 있다.
도 7은 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 장치의 개략적인 구성도이다.
도 7을 참조하면, 시뮬레이션 장치(100)는 수집부(110), 가공부(120), 모델 생성부(130), 입력 수신부(140), 분석부(150) 및 표시부(160)를 포함할 수 있다.
수집부(110)는, 대상자의 안면 부위의 CT 데이터 및 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터와 대상자의 2차원의 안면 이미지를 획득할 수 있다.
가공부(120)는, 볼륨 데이터 및 안면 이미지의 배향 및 규격이 대응되게 볼륨 데이터 및 안면 이미지 중 적어도 하나를 처리할 수 있다.
모델 생성부(130)는, 가공부(120)에 의해 처리가 수행된 볼륨 데이터 및 안면 이미지를 중첩하여 대상자에 대한 가상의 3차원 안면 모델을 구축할 수 있다.
입력 수신부(140)는, 생성된 3차원 안면 모델에 대한 시뮬레이션 조작 입력을 수신할 수 있다.
분석부(150)는, 수신된 시뮬레이션 조작 입력에 따라 3차원 안면 모델의 골조직의 특성이 변화하는 제1시뮬레이션 정보를 도출할 수 있다. 또한, 분석부(150)는 도출된 제1시뮬레이션 정보에 기초하여 3차원 안면 모델의 연조직의 특성이 변화하는 제2시뮬레이션 정보를 예측할 수 있다.
표시부(160)는, 생성된 3차원 안면 모델 및 3차원 안면 모델에 대한 시뮬레이션 조작 입력 인터페이스를 사용자 단말(200)로 표시할 수 있다. 또한, 표시부(160)는 시뮬레이션 조작 입력에 대응하여 예측된 제2시뮬레이션 정보를 반영한 대상자의 안면 표면의 형상이 식별되도록 3차원 안면 모델을 표출할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 8은 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 방법에 대한 동작 흐름도이다.
도 8에 도시된 안면 이미지 매칭 기반의 시뮬레이션 방법은 앞서 설명된 시뮬레이션 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 시뮬레이션 장치(100)에 대하여 설명된 내용은 안면 이미지 매칭 기반의 시뮬레이션 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 8을 참조하면, 단계 S11에서 수집부(110)는 대상자의 안면 부위의 CT 데이터 및 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터를 획득할 수 있다.
또한, 단계 S11에서 수집부(110)는 STL 데이터가 CT 데이터와 형상, 질감 및 색상 중 적어도 하나가 구분되게 표출되도록 STL 데이터 및 CT 데이터를 병합할 수 있다.
다음으로, 단계 S12에서 수집부(110)는 대상자의 2차원의 안면 이미지를 획득할 수 있다.
다음으로, 단계 S13에서 가공부(120)는 획득한 볼륨 데이터 및 안면 이미지의 배향 및 규격이 대응되게 볼륨 데이터 및 안면 이미지 중 적어도 하나를 처리할 수 있다.
구체적으로, 단계 S13에서 가공부(120)는 안면 이미지의 안면 촬영 방향에 대응하도록 볼륨 데이터의 배향을 조정할 수 있다.
또한, 단계 S12에서 가공부(120)는 볼륨 데이터 및 안면 이미지의 중심선을 매칭할 수 있다. 구체적으로, 단계 S12에서 가공부(120)는 안면 이미지의 중심선이 STL 데이터에 반영된 앞니 사이 영역에 배치되도록 안면 이미지를 볼륨 데이터에 대하여 이동시킬 수 있다.
또한, 단계 S12에서 가공부(120)는 안면 이미지의 크기를 볼륨 데이터를 기준으로 조절할 수 있다.
다음으로, 단계 S14에서 모델 생성부(130)는 단계 S12의 처리가 수행된 볼륨 데이터 및 안면 이미지를 중첩하여 대상자에 대한 가상의 3차원 안면 모델을 구축할 수 있다. 여기서, 가상의 3차원 안면 모델은 대상자의 안면 부위의 골조직의 특성이 볼륨 데이터에 기초하여 반영되고, 대상자의 안면 표면의 연조직의 특성이 안면 이미지에 기초하여 반영된 모델일 수 있다.
구체적으로, 단계 S14에서 모델 생성부(130)는 안면 이미지는 표시되고, CT 데이터는 미표시된 상태에서 STL 데이터가 안면 이미지에 대하여 목표 영역에 위치하는지 여부를 판단할 수 있다.
만일, 단계 S14에서 모델 생성부(130)가 STL 데이터가 목표 영역에 위치한 것으로 판단하면, 모델 생성부(130)는 볼륨 데이터 및 안면 이미지를 중첩할 수 있다.
반대로, 단계 S14에서 모델 생성부(130)가 STL 데이터가 목표 영역에 위치하지 않는 것으로 판단하면, 모델 생성부(130)는 STL 데이터가 목표 영역에 배치되도록 STL 데이터를 보정한 후, 보정된 볼륨 데이터 및 안면 이미지를 중첩할 수 있다.
상술한 설명에서, 단계 S11 내지 S14는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 9는 본원의 일 실시예에 따라서 구축된 대상자의 3차원 안면 모델을 이용한 시뮬레이션 프로세스에 대한 동작 흐름도이다.
도 9에 도시된 대상자의 3차원 안면 모델을 이용한 시뮬레이션 프로세스는 앞서 설명된 시뮬레이션 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 시뮬레이션 장치(100)에 대하여 설명된 내용은 도 9에 대한 설명에도 동일하게 적용될 수 있다.
도 9를 참조하면, 단계 S21에서 입력 수신부(140)는 생성(구축)된 3차원 안면 모델에 대한 시뮬레이션 조작 입력을 수신할 수 있다.
다음으로, 단계 S22에서 분석부(150)는 수신된 시뮬레이션 조작 입력에 따라 3차원 안면 모델의 골조직의 특성이 변화하는 제1시뮬레이션 정보를 도출할 수 있다.
다음으로, 단계 S23에서 분석부(150)는 도출된 제1시뮬레이션 정보에 기초하여 3차원 안면 모델의 연조직의 특성이 변화하는 제2시뮬레이션 정보를 예측할 수 있다.
다음으로, 단계 S24에서 표시부(160)는 제2시뮬레이션 정보를 반영한 대상자의 안면 표면의 형상이 식별되도록 3차원 안면 모델을 표출할 수 있다.
본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 안면 이미지 매칭 기반의 시뮬레이션 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 가상 시뮬레이션 시스템
100: 안면 이미지 매칭 기반의 시뮬레이션 장치
110: 수집부
120: 가공부
130: 모델 생성부
140: 입력 수신부
150: 분석부
160: 표시부
20: 의료 영상 스캐너
30: 촬영 디바이스
200: 사용자 단말
1: 안면 이미지
2: 볼륨 데이터
100: 안면 이미지 매칭 기반의 시뮬레이션 장치
110: 수집부
120: 가공부
130: 모델 생성부
140: 입력 수신부
150: 분석부
160: 표시부
20: 의료 영상 스캐너
30: 촬영 디바이스
200: 사용자 단말
1: 안면 이미지
2: 볼륨 데이터
Claims (14)
- 안면 이미지 매칭 기반의 시뮬레이션 방법에 있어서,
대상자의 안면 부위의 CT 데이터 및 상기 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터를 획득하는 단계;
상기 대상자의 2차원의 안면 이미지를 획득하는 단계;
상기 볼륨 데이터 및 상기 안면 이미지의 배향 및 규격이 대응되게 상기 볼륨 데이터 및 상기 안면 이미지 중 적어도 하나를 처리하는 단계; 및
상기 처리가 수행된 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하여 상기 대상자에 대한 가상의 3차원 안면 모델을 구축하는 단계,
를 포함하는, 시뮬레이션 방법. - 제1항에 있어서,
상기 3차원 안면 모델은,
상기 대상자의 안면 부위의 골조직의 특성이 상기 볼륨 데이터에 기초하여 반영되고, 상기 대상자의 안면 표면의 연조직의 특성이 상기 안면 이미지에 기초하여 반영된 모델인 것인, 시뮬레이션 방법. - 제2항에 있어서,
상기 3차원 안면 모델에 대한 시뮬레이션 조작 입력을 수신하는 단계;
상기 시뮬레이션 조작 입력에 따라 상기 3차원 안면 모델의 상기 골조직의 특성이 변화하는 제1시뮬레이션 정보를 도출하는 단계;
상기 제1시뮬레이션 정보에 기초하여 상기 3차원 안면 모델의 상기 연조직의 특성이 변화하는 제2시뮬레이션 정보를 예측하는 단계; 및
상기 제2시뮬레이션 정보를 반영한 상기 대상자의 안면 표면의 형상이 식별되도록 상기 3차원 안면 모델을 표출하는 단계,
를 더 포함하는 것인, 시뮬레이션 방법. - 제1항에 있어서,
상기 처리하는 단계는,
상기 볼륨 데이터 및 상기 안면 이미지의 중심선을 매칭하는 단계; 및
상기 안면 이미지의 크기를 상기 볼륨 데이터를 기준으로 조절하는 단계,
를 포함하는 것인, 시뮬레이션 방법. - 제4항에 있어서,
상기 중심선을 매칭하는 단계는,
상기 안면 이미지의 중심선이 상기 STL 데이터에 반영된 앞니 사이 영역에 배치되도록 상기 안면 이미지를 상기 볼륨 데이터에 대하여 이동시키는 것인, 시뮬레이션 방법. - 제4항에 있어서,
상기 처리하는 단계는,
상기 중심선을 매칭하는 단계 이전에,
상기 안면 이미지의 안면 촬영 방향에 대응하도록 상기 볼륨 데이터의 배향을 조정하는 단계,
를 더 포함하는 것인, 시뮬레이션 방법. - 제1항에 있어서,
상기 구축하는 단계는,
상기 안면 이미지는 표시되고, 상기 CT 데이터는 미표시된 상태에서 상기 STL 데이터가 상기 안면 이미지에 대하여 목표 영역에 위치하는지 여부를 판단하는 단계;
상기 STL 데이터가 상기 목표 영역에 위치하면, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하는 단계; 및
상기 STL 데이터가 상기 목표 영역에 위치하지 않으면, 상기 STL 데이터가 상기 목표 영역에 배치되도록 상기 STL 데이터를 보정한 후, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하는 단계,
를 포함하는 것인, 시뮬레이션 방법. - 제1항에 있어서,
상기 볼륨 데이터를 획득하는 단계는,
상기 STL 데이터가 상기 CT 데이터와 형상, 질감 및 색상 중 적어도 하나가 구분되게 표출되도록 상기 STL 데이터 및 상기 CT 데이터를 병합하는 단계,
를 포함하는 것인, 시뮬레이션 방법. - 안면 이미지 매칭 기반의 시뮬레이션 장치에 있어서,
대상자의 안면 부위의 CT 데이터 및 상기 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터와 상기 대상자의 2차원의 안면 이미지를 획득하는 수집부;
상기 볼륨 데이터 및 상기 안면 이미지의 배향 및 규격이 대응되게 상기 볼륨 데이터 및 상기 안면 이미지 중 적어도 하나를 처리하는 가공부; 및
상기 처리가 수행된 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하여 상기 대상자에 대한 가상의 3차원 안면 모델을 구축하는 모델 생성부,
를 포함하는, 시뮬레이션 장치. - 제9항에 있어서,
상기 3차원 안면 모델은,
상기 대상자의 안면 부위의 골조직의 특성이 상기 볼륨 데이터에 기초하여 반영되고, 상기 대상자의 안면 표면의 연조직의 특성이 상기 안면 이미지에 기초하여 반영된 모델인 것인, 시뮬레이션 장치. - 제10항에 있어서,
상기 3차원 안면 모델에 대한 시뮬레이션 조작 입력을 수신하는 입력 수신부;
상기 시뮬레이션 조작 입력에 따라 상기 3차원 안면 모델의 상기 골조직의 특성이 변화하는 제1시뮬레이션 정보를 도출하고, 상기 제1시뮬레이션 정보에 기초하여 상기 3차원 안면 모델의 상기 연조직의 특성이 변화하는 제2시뮬레이션 정보를 예측하는 분석부; 및
상기 제2시뮬레이션 정보를 반영한 상기 대상자의 안면 표면의 형상이 식별되도록 상기 3차원 안면 모델을 표출하는 표시부,
를 더 포함하는 것인, 시뮬레이션 장치. - 제9항에 있어서,
상기 가공부는,
상기 안면 이미지의 안면 촬영 방향에 대응하도록 상기 볼륨 데이터의 배향을 조정하고, 상기 볼륨 데이터 및 상기 안면 이미지의 중심선을 매칭하고, 상기 안면 이미지의 크기를 상기 볼륨 데이터를 기준으로 조절하는 것인, 시뮬레이션 장치. - 제9항에 있어서,
상기 모델 생성부는,
상기 안면 이미지는 표시되고, 상기 CT 데이터는 미표시된 상태에서 상기 STL 데이터가 상기 안면 이미지에 대하여 목표 영역에 위치하는지 여부를 판단하고,
상기 STL 데이터가 상기 목표 영역에 위치하면, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하고, 상기 STL 데이터가 상기 목표 영역에 위치하지 않으면, 상기 STL 데이터가 상기 목표 영역에 배치되도록 상기 STL 데이터를 보정한 후, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하는 것인, 시뮬레이션 장치. - 제9항에 있어서,
상기 수집부는,
상기 STL 데이터가 상기 CT 데이터와 형상, 질감 및 색상 중 적어도 하나가 구분되게 표출되도록 상기 CT 데이터에 병합된 상기 볼륨 데이터를 획득하는 것인, 시뮬레이션 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210030617 | 2021-03-09 | ||
| KR20210030617 | 2021-03-09 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220126665A true KR20220126665A (ko) | 2022-09-16 |
Family
ID=83228031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220029499A KR20220126665A (ko) | 2021-03-09 | 2022-03-08 | 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20220126665A (ko) |
| WO (1) | WO2022191575A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024080426A1 (ko) * | 2022-10-12 | 2024-04-18 | 주식회사 지오비전 | 딥러닝 모델을 이용한 안면골 골절 검출 시스템 |
| WO2024101685A1 (ko) * | 2022-11-10 | 2024-05-16 | 재단법인 아산사회복지재단 | 증강현실을 이용한 이미지 정합 기반 의료영상 생성장치 및 이의 동작 방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116386100A (zh) * | 2022-12-30 | 2023-07-04 | 深圳市宗匠科技有限公司 | 人脸图像采集方法及皮肤检测方法、装置、设备和介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2651317T3 (es) * | 2011-03-01 | 2018-01-25 | Dolphin Imaging Systems, Llc | Sistema y método para generar cambio de perfil utilizando datos de monitorización cefalométricos |
| KR20130044932A (ko) * | 2011-10-25 | 2013-05-03 | (주)쓰리디아이티 | 디지털 치아교정을 위한 영상 매칭정보 생성방법 및 이를 이용한 치아교정용 장치의 제작방법 |
| KR101744079B1 (ko) * | 2014-07-04 | 2017-06-09 | 주식회사 인스바이오 | 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법 |
| KR101769334B1 (ko) * | 2016-03-14 | 2017-08-21 | 오스템임플란트 주식회사 | 치아 교정치료 지원을 위한 이미지 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체 |
| KR101887569B1 (ko) * | 2016-05-17 | 2018-08-10 | 박숙규 | Ct 이미지 상 3차원기준평면 형성용 페이스프레임 및 상기 페이스프레임으로 형성된 ct 이미지 상 3차원기준평면 |
-
2022
- 2022-03-08 WO PCT/KR2022/003259 patent/WO2022191575A1/ko active Application Filing
- 2022-03-08 KR KR1020220029499A patent/KR20220126665A/ko not_active Application Discontinuation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024080426A1 (ko) * | 2022-10-12 | 2024-04-18 | 주식회사 지오비전 | 딥러닝 모델을 이용한 안면골 골절 검출 시스템 |
| WO2024101685A1 (ko) * | 2022-11-10 | 2024-05-16 | 재단법인 아산사회복지재단 | 증강현실을 이용한 이미지 정합 기반 의료영상 생성장치 및 이의 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022191575A1 (ko) | 2022-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ayoub et al. | Towards building a photo-realistic virtual human face for craniomaxillofacial diagnosis and treatment planning | |
| KR101878467B1 (ko) | 3차원 치아 영상 데이터와 광학식 스캔 치아 모델의 선택적 정합 방법, 장치 및 프로그램 | |
| KR20220126665A (ko) | 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법 | |
| Naudi et al. | The virtual human face: superimposing the simultaneously captured 3D photorealistic skin surface of the face on the untextured skin image of the CBCT scan | |
| JP6483273B2 (ja) | 口腔内画像の自動選択及びロック | |
| JP6273149B2 (ja) | 顔面補正イメージ提供方法およびそのシステム | |
| Popat et al. | New developments in: three‐dimensional planning for orthognathic surgery | |
| Schendel et al. | Three-dimensional imaging and computer simulation for office-based surgery | |
| ES2856941T3 (es) | Generación automatizada de agentes de tratamiento óseo | |
| Jiang et al. | Registration technology of augmented reality in oral medicine: A review | |
| JP2019519257A (ja) | 画像処理して解剖学的部分の三次元（３ｄ）ビューを生成するシステム及び方法 | |
| Schendel et al. | 3D orthognathic surgery simulation using image fusion | |
| EP1759353A1 (en) | Method for deriving a treatment plan for orthognatic surgery and devices therefor | |
| Nahm et al. | Accurate registration of cone-beam computed tomography scans to 3-dimensional facial photographs | |
| CN108629845B (zh) | 手术导航装置、设备、系统和可读存储介质 | |
| Donaldson et al. | Three-dimensional virtual surgical planning (3D-VSP) in orthognathic surgery: Advantages, disadvantages and pitfalls | |
| Schendel et al. | Image fusion in preoperative planning | |
| KR20210037038A (ko) | 보철물 디자인 방법 및 그 장치 | |
| Lee et al. | Superimposition of a cone beam computed tomography (CBCT) scan and a photograph: A dental technique | |
| KR102346199B1 (ko) | 파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치 | |
| JP2017202583A (ja) | 医用情報処理装置 | |
| US20230215122A1 (en) | Three-dimensional data acquisition method and device, and computer-readable storage medium storing program for performing same method | |
| KR102473722B1 (ko) | 치아 단면영상 제공방법 및 이를 위한 치과영상 처리장치 | |
| KR102231215B1 (ko) | 신경관 라인 자동 생성방법 및 이를 위한 의료영상 처리장치 | |
| KR102238483B1 (ko) | 신체 유사도 지수 산출 방법과, 이를 이용한 수술 계획 시뮬레이션 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |