WO2022191575A1 - 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법 - Google Patents

안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법 Download PDF

Info

Publication number
WO2022191575A1
WO2022191575A1 PCT/KR2022/003259 KR2022003259W WO2022191575A1 WO 2022191575 A1 WO2022191575 A1 WO 2022191575A1 KR 2022003259 W KR2022003259 W KR 2022003259W WO 2022191575 A1 WO2022191575 A1 WO 2022191575A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
facial
simulation
volume data
subject
Prior art date
Application number
PCT/KR2022/003259
Other languages
English (en)
French (fr)
Inventor
이의석
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of WO2022191575A1 publication Critical patent/WO2022191575A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Definitions

  • the present application relates to a facial image matching-based simulation apparatus and method.
  • the facial appearance of the subject can be greatly changed by the operation, so it is possible to accurately predict facial changes to the subject prior to surgery.
  • medical staff to establish a surgical plan through a simulation model that clearly reflects the correlation between the bone and soft tissues of the subject's face before the operation is performed, in order to ensure the accuracy, efficiency, and stability of the operation. it is essential
  • the present application is intended to solve the problems of the prior art described above, by superimposing the subject's facial image and three-dimensional radiographic image data to apply it to the clinic to perform virtual surgery, and to build a three-dimensional facial model that can predict the surgical result
  • An object of the present invention is to provide a simulation apparatus and method based on facial image matching for
  • the facial image matching-based simulation method is a three-dimensional simulation method in which CT data of a subject's face and STL data of a tooth of the subject are merged. acquiring volume data, acquiring a two-dimensional facial image of the subject, processing at least one of the volume data and the facial image so that the volume data and the orientation and specifications of the facial image correspond to each other, and the building a virtual three-dimensional facial model of the subject by superimposing the processed volume data and the facial image.
  • the three-dimensional facial model the characteristics of the bone tissue of the subject's facial region is reflected based on the volume data
  • the characteristics of the soft tissue of the subject's facial surface may be a model reflected based on the facial image.
  • the facial image matching-based simulation method the step of receiving a simulation manipulation input for the three-dimensional face model, the characteristics of the bone tissue of the three-dimensional face model according to the simulation manipulation input Deriving the changing first simulation information, predicting the second simulation information in which the characteristics of the soft tissue of the three-dimensional facial model change based on the first simulation information, and the subject reflecting the second simulation information It may include the step of expressing the three-dimensional facial model so that the shape of the facial surface of the identified.
  • the processing may include matching the center line of the volume data and the face image, and adjusting the size of the face image based on the volume data.
  • the face image may be moved with respect to the volume data so that the center line of the face image is disposed in a region between the incisors reflected in the STL data.
  • the processing may include adjusting the orientation of the volume data to correspond to a facial imaging direction of the facial image before the matching of the center line.
  • the building step may include determining whether the STL data is located in a target area with respect to the face image in a state in which the facial image is displayed and the CT data is not displayed, wherein the STL data is located in the target area superimposing the volume data and the facial image, and if the STL data is not located in the target area, after correcting the STL data so that the STL data is placed in the target area, the volume data and and superimposing the facial image.
  • the acquiring of the volume data may include merging the STL data and the CT data so that the STL data and at least one of a shape, texture, and color are separately expressed.
  • the facial image matching-based simulation apparatus includes three-dimensional volume data in which the CT data of the subject's facial region and the STL data of the subject's teeth are merged and the two-dimensional facial of the subject.
  • a collection unit for acquiring an image a processing unit for processing at least one of the volume data and the facial image so that the volume data and the orientation and specification of the facial image correspond, and the volume data and the facial image on which the processing is performed It may include a model generator to build a virtual three-dimensional face model for the subject by overlapping.
  • an input receiving unit for receiving a simulation manipulation input for the three-dimensional face model, characteristics of the bone tissue of the three-dimensional face model according to the simulation manipulation input
  • An analysis unit that derives the changing first simulation information, and predicts second simulation information in which the characteristics of the soft tissue of the three-dimensional facial model change based on the first simulation information, and the second simulation information is reflected It may include a display unit for expressing the three-dimensional facial model so that the shape of the subject's facial surface is identified.
  • the processing unit adjusts the orientation of the volume data to correspond to the face photographing direction of the face image, matches the center line of the volume data and the face image, and determines the size of the face image based on the volume data can be adjusted
  • the model generator may determine whether the STL data is located in a target region with respect to the face image in a state in which the face image is displayed and the CT data is not displayed.
  • the model generator may be configured to, when the STL data is located in the target area, overlap the volume data and the face image, and if the STL data is not located in the target area, place the STL data in the target area After correcting the STL data as much as possible, the volume data and the face image may be superimposed.
  • the collection unit may acquire the volume data merged with the CT data so that the STL data and at least one of a shape, a texture, and a color are displayed separately from the CT data.
  • a facial image for constructing a three-dimensional facial model that can predict the surgical result and perform virtual surgery by applying clinically by superimposing the subject's facial image and three-dimensional radiographic image data
  • a matching-based simulation apparatus and method may be provided.
  • a navigation system in which a user can easily manipulate a three-dimensional facial model constructed in a manner of superimposing a facial image of a subject and three-dimensional radiographic image data may be provided.
  • FIG. 1 is a schematic configuration diagram of a virtual simulation system including a facial image matching-based simulation apparatus according to an embodiment of the present application.
  • 2A to 2D are diagrams illustrating a process of superimposing three-dimensional volume data and two-dimensional facial images.
  • 3A is a diagram illustrating a processing process for volume data and a facial image.
  • 3B is a diagram illustrating comparison of a target region with the location of STL data in a state in which a facial image is displayed and CT data is not displayed.
  • 4A and 4B are diagrams illustrating metrology parameters associated with a subject's facial region obtained from volume data.
  • FIG. 5 is a chart showing changes in measurement parameters associated with a subject's facial region before and after application of a predetermined procedure/surgery by using a three-dimensional facial model.
  • 6A and 6B are enlarged views showing a local area of the generated 3D facial model.
  • FIG. 7 is a schematic configuration diagram of a facial image matching-based simulation apparatus according to an embodiment of the present application.
  • FIG. 8 is an operation flowchart for a simulation method based on facial image matching according to an embodiment of the present application.
  • FIG. 9 is an operation flow diagram for a simulation process using a three-dimensional facial model of a subject constructed according to an embodiment of the present application.
  • the present application relates to a facial image matching-based simulation apparatus and method.
  • FIG. 1 is a schematic configuration diagram of a virtual simulation system including a facial image matching-based simulation apparatus according to an embodiment of the present application.
  • a virtual simulation system 10 is a simulation apparatus 100 based on facial image matching according to an embodiment of the present application (hereinafter, referred to as a 'simulation apparatus 100 '). .), a user terminal 200 , a medical image scanner 20 , and a photographing device 30 .
  • the simulation apparatus 100 , the user terminal 200 , the medical image scanner 20 , and the imaging device 30 may communicate with each other through a network.
  • the network refers to a connection structure capable of exchanging information between each node, such as terminals and servers.
  • Examples of such networks include a 3rd Generation Partnership Project (3GPP) network, a Long Term Evolution (LTE) network, and 5G Network, WIMAX (World Interoperability for Microwave Access) network, Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), wifi network, Bluetooth (Bluetooth) network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, etc. include, but are not limited thereto.
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Term Evolution
  • 5G Network 5G Network
  • WIMAX Worldwide Interoperability for Microwave Access
  • Internet Internet
  • LAN Local Area Network
  • the user terminal 200 is, for example, a smartphone (Smartphone), a smart pad (SmartPad), a tablet PC and the like and PCS (Personal Communication System), GSM (Global System for Mobile communication), PDC (Personal Digital Cellular), PHS ( Personal Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet) terminals The same may be any type of wireless communication device.
  • GSM Global System for Mobile communication
  • PDC Personal Digital Cellular
  • PHS Personal Handyphone System
  • PDA Personal Digital Assistant
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA Wide-Code Division Multiple Access
  • Wibro Wireless Broadband Internet
  • the medical imaging scanner 20 that provides the radiographic image data to the simulation apparatus 100 may include, for example, a Magnetic Resonance Imaging (MRI) scanner, an ultrasound imaging device, or a computed tomography (CT) scanner. instrument, radiography equipment such as X-rays, and the like.
  • the image data to be processed by the simulation apparatus 100 corresponding thereto may include an X-ray image, an MRI image, an ultrasound image, a CT image, and the like.
  • the medical imaging scanner 20 may be a photographing device for acquiring CT data of the subject's face and STL (stereo lithography) data of a tooth.
  • the photographing device 30 may be a device such as a camera for photographing a facial image of a subject.
  • the facial image captured by the photographing device 30 may be a two-dimensional image.
  • the imaging device 30 may be provided to photograph the subject's face in various directions, such as the front, both sides, and back, and virtual 3 through superimposition of 3D volume data and 2D facial images to be described below.
  • At least one 2D facial image (eg, a plurality of 2D facial images taken from different directions, etc.) may be utilized in the process of building the 3D facial model.
  • the photographing device 30 is a 50mm lens corresponding to a 45 degree viewing angle so that a facial image can be obtained based on a perspective similar to that felt when looking at an object with human eyes. It may be a device for photographing a subject's face, but is not limited thereto.
  • the simulation apparatus 100 may acquire three-dimensional volume data in which CT data of the subject's facial region and STL data of the subject's teeth are merged. Specifically, the simulation apparatus 100 may acquire the volume data for the subject by merging the STL data and the CT data so that the STL data and at least one of shape, texture, and color are separately expressed.
  • the CT data may be a computed tomography image taken while a bite is inserted into the oral cavity of the subject
  • the STL data may be data representing the shape of the subject's teeth in three dimensions based on polygons.
  • the simulation apparatus 100 acquires volume data by matching the positions (coordinates) of the CT data and the STL data based on the orientation and position of each tooth, but the three-dimensional facial model disclosed herein As shown in FIG. 3A , which will be described later, the shape, texture, color, etc. of STL data on the upper tooth side and STL data on the lower tooth side on the volume data may be displayed separately so that the upper and lower teeth of the subject are distinguished from each other in the image.
  • the simulation apparatus 100 may acquire a two-dimensional facial image of the subject.
  • the simulation apparatus 100 may acquire a photographed image to include the entire face of the subject from the photographing device 30 .
  • the embodiment of the present application will be described on the basis that the simulation device 100 builds a three-dimensional facial model for the subject based on the facial image taken in the front direction of the subject's face, but in the embodiment of the present application Accordingly, of course, the simulation apparatus 100 may build a three-dimensional facial model by using the facial images of the subject taken from various directions.
  • the simulation apparatus 100 may process at least one of the volume data and the face image so that the volume data and the orientation and specifications of the face image correspond.
  • the simulation apparatus 100 may adjust the orientation of the volume data to correspond to the face photographing direction of the face image.
  • the volume data can be adjusted to the orientation of the volume data so that the volume data faces the front direction like the corresponding face image. .
  • FIGS. 2A to 2D are diagrams illustrating a process of superimposing three-dimensional volume data and a two-dimensional facial image
  • FIG. 3A is a diagram illustrating a processing process for the volume data and the facial image.
  • FIG. 2A is a view showing CT data in different directions of a subject's facial region
  • FIG. 2B is a view showing a facial image of the subject and a baseline including a center line set on the face image
  • FIG. 2C is a volume diagram It is an example of visualization showing main lines representing main local features of the subject's facial area or tooth area derived from data
  • FIG. 2A is a view showing CT data in different directions of a subject's facial region
  • FIG. 2B is a view showing a facial image of the subject and a baseline including a center line set on the face image
  • FIG. 2C is a volume diagram It is an example of visualization showing main lines representing main local features of the subject's facial area or tooth area derived from data
  • the simulation apparatus 100 may match the centerline of the volume data 2 and the face image 1 in a state in which the orientation of the face image 1 and the volume data 2 are matched. Specifically, the simulation apparatus 100 converts the facial image 1 to the volume data 2 so that the center line C L of the facial image 1 is placed in the area between the incisors reflected in the STL data 3 of the volume data 2 ) can be moved (for example, in the ⁇ direction in FIG. 3A).
  • the simulation apparatus 100 may adjust the size of the face image based on the volume data. Specifically, the simulation apparatus 100 may adjust the magnification ratio of the facial image after the center line of the facial image and the volume data is matched to match the size of the three-dimensional volume data.
  • the simulation device 100 After the facial image and the orientation and specification of the volume data are processed to correspond through the above-described process, the simulation device 100 builds a virtual three-dimensional facial model for the subject by overlapping the processed volume data and the facial image. can do.
  • the simulation apparatus 100 may apply the superposition of the volume data and the facial image according to whether the STL data is located in the target region with respect to the facial image in a state in which the facial image is displayed and the CT data is not displayed.
  • 3B is a diagram illustrating comparison of a target region with the location of STL data in a state in which a facial image is displayed and CT data is not displayed.
  • the simulation device 100 displays (expressed) the facial image and not displays the three-dimensional CT data, and then the STL data (3) If it is determined that the position on the facial image of the oral cavity, which is the target region, and the region where the STL data 3 is arranged overlap by a predetermined level or more, the volume data and the facial image are treated as correctly adjusted, and the volume data and the face in the corresponding state It is possible to build a virtual three-dimensional facial model based on the image.
  • the simulation apparatus 100 superimposes the volume data and the facial image when the STL data 3 is located in the target region in a state where the facial image is displayed and the CT data is not displayed, and conversely, the facial image is displayed and the CT data If the STL data 3 is not located in the target area in the undisplayed state, after correcting the position of the STL data 3 so that the STL data 3 is placed in the target area, the volume data and the face image to which the correction is applied You can build a facial model in an overlapping manner.
  • the simulation apparatus 100 derives the positions of a plurality of anatomical feature points (eg, eyes, eyebrows, forehead, nose tip, chin tip, cheekbones, etc.) from the facial image and volume data, respectively. And, it is possible to construct the appearance of a virtual 3D facial model for the subject by overlaying the facial image on the surface of the 3D volume data so that the positions of the feature points derived from the facial image and the volume data are matched.
  • anatomical feature points eg, eyes, eyebrows, forehead, nose tip, chin tip, cheekbones, etc.
  • the simulation apparatus 100 may have an algorithm for identifying anatomical feature points from each of the facial image and volume data.
  • the algorithm for identifying anatomical feature points performs background difference-based object detection, artificial intelligence-based object detection, semantic region division-based object detection, etc. It may be an algorithm for identifying a feature point.
  • the simulation apparatus 100 provides mutual support of soft tissues of the subject's skin surface identified from the facial image and bone tissue of the facial region including the subject's dentition, skull, maxilla, mandible, cheekbones, forehead bones, etc., which are identified from the volume data. You can define (connection) relationships.
  • the bone tissue defined by the simulation device 100 - the mutual support (connection) relationship of the soft tissue is a predetermined change (eg, pressure application, movement, inclination, etc.) of the bone tissue of the subject. It may mean defining the range of the affected subject's soft tissue, information about the effect of a predetermined change of bone tissue on the soft tissue within the determined range for each bone tissue object that is distinguished from each other in the facial region.
  • the simulation device 100 predicts a change in soft tissue corresponding to a change in bone tissue (eg, rotation (in angle unit), displacement (length unit), etc.) based on a defined mutual support (connection) relationship.
  • a change in soft tissue eg, rotation (in angle unit), displacement (length unit), etc.
  • FIGS. 4A and 4B are diagrams illustrating metrology parameters associated with a subject's facial region obtained from volume data.
  • the simulation device 100 is a bone tissue characteristic (Skeletal Pattern) of the subject Bjork Sum, Saddle angle, Articular angle, Gonial angle, Antero-Post.
  • Parameters such as FHR, SNA, SNB, ANB, and APDI can be calculated, and parameters such as U1 to SN, U1 to FH, IMPA, and interincisal angle can be calculated as the subject's tooth characteristics (denture pattern).
  • Parameters such as Upper Lip EL, Lower Lip EL, Interlabial gap, and Nasal protuberance to A'B' can be calculated as the soft tissue profile of , but the present invention is not limited thereto.
  • the simulation apparatus 100 may perform a simulation related to virtual surgery based on a three-dimensional facial model of the subject built through the above-described process.
  • FIG. 5 is a chart showing changes in measurement parameters associated with a subject's facial region before and after application of a predetermined procedure/surgery by using a three-dimensional facial model.
  • the simulation apparatus 100 applies a user input associated with a surgery option for a virtual surgery performed on the generated 3D facial model, thereby predicting measurement parameters predicted by the virtual surgery. You can generate information about changes.
  • FIGS. 6A and 6B are enlarged views showing a local area of the generated 3D facial model.
  • the position, orientation, size, etc. of a major area on the 3D facial model may change according to a user input associated with a surgical option applied by the user, and the change in the major area may be 3D It may be visualized in a form that the user can visually confirm on the face model.
  • a main region in which a shape, etc. is changed by a user input applied by a user may be identified by a color, a shade, a highlight display, etc. that are distinguished from the other regions.
  • the simulation apparatus 100 may display the generated 3D facial model to a user (operator, etc.) through the user terminal 200 . Also, the simulation apparatus 100 may receive a simulation manipulation input for the 3D facial model from the user terminal 200 .
  • the simulation manipulation input is not only a simple manipulation input for enlarging/reducing a three-dimensional face model expressed in a three-dimensional shape or rotating it in a three-dimensional space, but also a specific type of medical action (eg, dentistry, oral maxillofacial surgery, etc.) , orthopedic surgery, neurosurgery, etc., a manipulation input that virtually applies various predefined surgeries or procedures that can be performed on the facial or dental parts) to the subject, selects a specific anatomical structure, and selects the selected structure relatively It can include a wide range of operation input for movement, shape change, removal, machining, and the like.
  • the simulation device 100 retains in advance information about a change pattern before and after a medical action of at least one of bone tissue and soft tissue for each type of medical action, , based on the information on the change pattern and the mutual support (connection) relationship between the bone and soft tissues of the subject defined at the time of creation (construction) of the three-dimensional facial model, the first simulation information and the second simulation information described below may be derived.
  • the simulation apparatus 100 may derive the first simulation information in which the characteristics of the bone tissue of the three-dimensional facial model change according to the simulation manipulation input. Also, the simulation apparatus 100 may predict the second simulation information in which the characteristics of the soft tissue of the 3D facial model change based on the first simulation information.
  • the simulation device 100 is a three-dimensional facial model reflecting the first simulation information and the second simulation information corresponding to the simulation manipulation input so that the shape of the subject's facial surface reflecting the predicted second simulation information is identified, the user terminal ( 200) can be expressed.
  • the simulation apparatus 100 relates to a manipulation input for applying a specific type of medical action, and a medical action including a plurality of surgical actions for each type of medical action (surgery/procedure).
  • Guide information including surgical operation order information may be retained.
  • the simulation device 100 divides a specific type of medical action into step-by-step surgical actions in time series, and sequentially changes the surgical guide for each divided surgical action and the 3D facial model before and after application of the corresponding surgical action. It can be expressed through the user terminal 200 .
  • FIG. 7 is a schematic configuration diagram of a facial image matching-based simulation apparatus according to an embodiment of the present application.
  • the simulation apparatus 100 may include a collection unit 110 , a processing unit 120 , a model generation unit 130 , an input receiving unit 140 , an analysis unit 150 , and a display unit 160 .
  • a collection unit 110 may include a collection unit 110 , a processing unit 120 , a model generation unit 130 , an input receiving unit 140 , an analysis unit 150 , and a display unit 160 .
  • the collection unit 110 may acquire three-dimensional volume data and a two-dimensional facial image of the subject in which the CT data of the subject's facial region and the STL data of the subject's teeth are merged.
  • the processing unit 120 may process at least one of the volume data and the facial image so that the orientation and specifications of the volume data and the facial image correspond.
  • the model generating unit 130 may build a virtual three-dimensional facial model of the subject by superimposing the facial image and the volume data processed by the processing unit 120 .
  • the input receiving unit 140 may receive a simulation manipulation input for the generated 3D facial model.
  • the analysis unit 150 may derive the first simulation information in which the characteristics of the bone tissue of the three-dimensional facial model change according to the received simulation manipulation input. In addition, the analysis unit 150 may predict the second simulation information in which the characteristics of the soft tissue of the 3D facial model change based on the derived first simulation information.
  • the display unit 160 may display the generated 3D face model and a simulation manipulation input interface for the 3D face model on the user terminal 200 .
  • the display unit 160 may express the three-dimensional facial model so that the shape of the subject's facial surface reflecting the second simulation information predicted in response to the simulation manipulation input is identified.
  • FIG. 8 is an operation flowchart for a simulation method based on facial image matching according to an embodiment of the present application.
  • the simulation method based on facial image matching shown in FIG. 8 may be performed by the simulation apparatus 100 described above. Therefore, even if omitted below, the description of the simulation apparatus 100 may be equally applied to the description of the facial image matching-based simulation method.
  • the collection unit 110 may acquire three-dimensional volume data in which CT data of the subject's facial region and STL data of the subject's teeth are merged.
  • the collecting unit 110 may merge the STL data and the CT data so that the STL data and at least one of shape, texture, and color are separately expressed.
  • the collection unit 110 may acquire a two-dimensional facial image of the subject.
  • the processing unit 120 may process at least one of the volume data and the facial image so that the obtained volume data and the orientation and specifications of the facial image correspond.
  • the processing unit 120 may adjust the orientation of the volume data to correspond to the face photographing direction of the face image.
  • the processing unit 120 may match the center line of the volume data and the face image. Specifically, in step S12, the processing unit 120 may move the facial image with respect to the volume data so that the center line of the facial image is disposed in the area between the incisors reflected in the STL data.
  • the processing unit 120 may adjust the size of the face image based on the volume data.
  • the model generator 130 may build a virtual three-dimensional facial model of the subject by superimposing the volume data and the facial image on which the processing of step S12 is performed.
  • the virtual three-dimensional facial model may be a model in which the characteristics of the bone tissue of the subject's facial region are reflected based on volume data, and the characteristics of the soft tissue of the subject's facial surface are reflected based on the facial image.
  • the model generator 130 may determine whether the STL data is located in the target region with respect to the face image in a state in which the face image is displayed and the CT data is not displayed.
  • step S14 the model generator 130 determines that the STL data is located in the target region, the model generator 130 may overlap the volume data and the face image.
  • the model generating unit 130 determines that the STL data is not located in the target area in step S14 , the model generating unit 130 corrects the STL data so that the STL data is placed in the target area, and then the corrected volume Data and facial images can be superimposed.
  • steps S11 to S14 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present application.
  • some steps may be omitted if necessary, and the order between the steps may be changed.
  • FIG. 9 is an operation flow diagram for a simulation process using a three-dimensional facial model of a subject constructed according to an embodiment of the present application.
  • the simulation process using the three-dimensional facial model of the subject shown in FIG. 9 may be performed by the simulation apparatus 100 described above. Therefore, even if omitted below, the description of the simulation apparatus 100 may be equally applied to the description of FIG. 9 .
  • the input receiving unit 140 may receive a simulation manipulation input for the generated (constructed) 3D facial model.
  • the analysis unit 150 may derive the first simulation information in which the characteristics of the bone tissue of the three-dimensional facial model change according to the received simulation manipulation input.
  • the analysis unit 150 may predict the second simulation information in which the characteristics of the soft tissue of the 3D facial model change based on the derived first simulation information.
  • the display unit 160 may express a three-dimensional facial model so that the shape of the subject's facial surface reflecting the second simulation information is identified.
  • the facial image matching-based simulation method may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • facial image matching-based simulation method may be implemented in the form of a computer program or application executed by a computer stored in a recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Epidemiology (AREA)
  • Urology & Nephrology (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 방법은, 대상자의 안면 부위의 CT 데이터 및 상기 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터를 획득하는 단계, 상기 대상자의 2차원의 안면 이미지를 획득하는 단계, 상기 볼륨 데이터 및 상기 안면 이미지의 배향 및 규격이 대응되게 상기 볼륨 데이터 및 상기 안면 이미지 중 적어도 하나를 처리하는 단계 및 상기 처리가 수행된 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하여 상기 대상자에 대한 가상의 3차원 안면 모델을 구축하는 단계를 포함할 수 있다.

Description

안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법
본원은 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법에 관한 것이다.
최근 들어 턱 교정 수술, 안면교정술 등을 수행하기에 앞서 수술 전후의 모습을 미리 예측하여 출력하는 시뮬레이션 프로그램이 개발되고 있다. 그러나, 종래의 시뮬레이션 프로그램은 3차원 방사선 CT이미지를 이용하여 골격 모델링을 디자인하여 가상 수술을 적용하고, 그 정보를 바탕으로 절골 가이드와 골절합판을 생성하는 등 방사선 영상자료만을 활용하여 시뮬레이션이 수행되는 것이 일반적이어서, 수술자 또는 대상자에게 직관적인 수술 전후의 안면 형상을 제공하는 데에는 한계가 있었다.
특히, 치과, 구강악 안면외과, 정형외과, 신경외과 등에서 수행되는 안면 부위의 수술의 경우 대상자의 안면의 모습이 수술에 의해 크게 달라질 수 있으므로, 수술에 앞서 미리 대상자에게 안면의 변화를 정확도 높게 예측하여 제공하는 것이 중요할 뿐만 아니라, 의료진에게도 해당 수술의 정확성, 효율성, 안정성 등을 확보하기 위하여 수술 수행 전에 대상자의 안면 부위의 골조직과 연조직의 상관 관계가 명확하게 반영된 시뮬레이션 모델을 통해 수술 계획을 수립하는 것이 필수적이다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1744079호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 대상자의 안면 이미지 및 3차원의 방사선 영상 자료를 중첩하여 임상에 적용하여 가상 수술을 수행하고, 수술 결과를 예측할 수 있는 3차원 안면 모델을 구축하기 위한 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 방법은, 대상자의 안면 부위의 CT 데이터 및 상기 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터를 획득하는 단계, 상기 대상자의 2차원의 안면 이미지를 획득하는 단계, 상기 볼륨 데이터 및 상기 안면 이미지의 배향 및 규격이 대응되게 상기 볼륨 데이터 및 상기 안면 이미지 중 적어도 하나를 처리하는 단계 및 상기 처리가 수행된 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하여 상기 대상자에 대한 가상의 3차원 안면 모델을 구축하는 단계를 포함할 수 있다.
또한, 상기 3차원 안면 모델은, 상기 대상자의 안면 부위의 골조직의 특성이 상기 볼륨 데이터에 기초하여 반영되고, 상기 대상자의 안면 표면의 연조직의 특성이 상기 안면 이미지에 기초하여 반영된 모델일 수 있다.
또한, 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 방법은, 상기 3차원 안면 모델에 대한 시뮬레이션 조작 입력을 수신하는 단계, 상기 시뮬레이션 조작 입력에 따라 상기 3차원 안면 모델의 상기 골조직의 특성이 변화하는 제1시뮬레이션 정보를 도출하는 단계, 상기 제1시뮬레이션 정보에 기초하여 상기 3차원 안면 모델의 상기 연조직의 특성이 변화하는 제2시뮬레이션 정보를 예측하는 단계 및 상기 제2시뮬레이션 정보를 반영한 상기 대상자의 안면 표면의 형상이 식별되도록 상기 3차원 안면 모델을 표출하는 단계를 포함할 수 있다.
또한, 상기 처리하는 단계는, 상기 볼륨 데이터 및 상기 안면 이미지의 중심선을 매칭하는 단계 및 상기 안면 이미지의 크기를 상기 볼륨 데이터를 기준으로 조절하는 단계를 포함할 수 있다.
또한, 상기 중심선을 매칭하는 단계는, 상기 안면 이미지의 중심선이 상기 STL 데이터에 반영된 앞니 사이 영역에 배치되도록 상기 안면 이미지를 상기 볼륨 데이터에 대하여 이동시킬 수 있다.
또한, 상기 처리하는 단계는, 상기 중심선을 매칭하는 단계 이전에 상기 안면 이미지의 안면 촬영 방향에 대응하도록 상기 볼륨 데이터의 배향을 조정하는 단계를 포함할 수 있다.
또한, 상기 구축하는 단계는, 상기 안면 이미지는 표시되고, 상기 CT 데이터는 미표시된 상태에서 상기 STL 데이터가 상기 안면 이미지에 대하여 목표 영역에 위치하는지 여부를 판단하는 단계, 상기 STL 데이터가 상기 목표 영역에 위치하면, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하는 단계 및 상기 STL 데이터가 상기 목표 영역에 위치하지 않으면, 상기 STL 데이터가 상기 목표 영역에 배치되도록 상기 STL 데이터를 보정한 후, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하는 단계를 포함할 수 있다.
또한, 상기 볼륨 데이터를 획득하는 단계는 상기 STL 데이터가 상기 CT 데이터와 형상, 질감 및 색상 중 적어도 하나가 구분되게 표출되도록 상기 STL 데이터 및 상기 CT 데이터를 병합하는 단계를 포함할 수 있다.
한편, 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 장치는, 대상자의 안면 부위의 CT 데이터 및 상기 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터와 상기 대상자의 2차원의 안면 이미지를 획득하는 수집부, 상기 볼륨 데이터 및 상기 안면 이미지의 배향 및 규격이 대응되게 상기 볼륨 데이터 및 상기 안면 이미지 중 적어도 하나를 처리하는 가공부 및 상기 처리가 수행된 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하여 상기 대상자에 대한 가상의 3차원 안면 모델을 구축하는 모델 생성부를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 장치는, 상기 3차원 안면 모델에 대한 시뮬레이션 조작 입력을 수신하는 입력 수신부, 상기 시뮬레이션 조작 입력에 따라 상기 3차원 안면 모델의 상기 골조직의 특성이 변화하는 제1시뮬레이션 정보를 도출하고, 상기 제1시뮬레이션 정보에 기초하여 상기 3차원 안면 모델의 상기 연조직의 특성이 변화하는 제2시뮬레이션 정보를 예측하는 분석부 및 상기 제2시뮬레이션 정보를 반영한 상기 대상자의 안면 표면의 형상이 식별되도록 상기 3차원 안면 모델을 표출하는 표시부를 포함할 수 있다.
또한, 상기 가공부는, 상기 안면 이미지의 안면 촬영 방향에 대응하도록 상기 볼륨 데이터의 배향을 조정하고, 상기 볼륨 데이터 및 상기 안면 이미지의 중심선을 매칭하고, 상기 안면 이미지의 크기를 상기 볼륨 데이터를 기준으로 조절할 수 있다.
또한, 상기 모델 생성부는, 상기 안면 이미지는 표시되고, 상기 CT 데이터는 미표시된 상태에서 상기 STL 데이터가 상기 안면 이미지에 대하여 목표 영역에 위치하는지 여부를 판단할 수 있다.
또한, 상기 모델 생성부는, 상기 STL 데이터가 상기 목표 영역에 위치하면, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하고, 상기 STL 데이터가 상기 목표 영역에 위치하지 않으면, 상기 STL 데이터가 상기 목표 영역에 배치되도록 상기 STL 데이터를 보정한 후, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩할 수 있다.
또한, 상기 수집부는, 상기 STL 데이터가 상기 CT 데이터와 형상, 질감 및 색상 중 적어도 하나가 구분되게 표출되도록 상기 CT 데이터에 병합된 상기 볼륨 데이터를 획득할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 대상자의 안면 이미지 및 3차원의 방사선 영상 자료를 중첩하여 임상에 적용하여 가상 수술을 수행하고, 수술 결과를 예측할 수 있는 3차원 안면 모델을 구축하기 위한 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 대상자의 안면 이미지 및 3차원의 방사선 영상 자료를 중첩하는 방식으로 구축된 3차원 안면 모델을 사용자가 용이하게 조작할 수 있는 내비게이션 시스템이 제공될 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 장치를 포함하는 가상 시뮬레이션 시스템의 개략적인 구성도이다.
도 2a 내지 도 2d는 3차원의 볼륨 데이터와 2차원의 안면 이미지를 중첩하는 프로세스를 나타낸 도면이다.
도 3a는 볼륨 데이터와 안면 이미지에 대한 처리 프로세스를 나타낸 도면이다.
도 3b는 안면 이미지는 표시되고, CT 데이터는 미표시된 상태에서 STL 데이터의 위치를 목표 영역을 비교하는 것을 나타낸 도면이다.
도 4a 및 도 4b는 볼륨 데이터로부터 획득되는 대상자의 안면 부위와 연계된 계측 파라미터를 나타낸 도표이다.
도 5는 소정의 시술/수술 적용 전후의 대상자의 안면 부위와 연계된 계측 파라미터의 변화를 3차원 안면 모델을 이용하여 예측하여 나타낸 도표이다.
도 6a 및 도 6b는 생성된 3차원 안면 모델의 국부적인 영역을 확대하여 나타낸 도면이다.
도 7은 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 장치의 개략적인 구성도이다.
도 8은 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 방법에 대한 동작 흐름도이다.
도 9는 본원의 일 실시예에 따라서 구축된 대상자의 3차원 안면 모델을 이용한 시뮬레이션 프로세스에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 장치를 포함하는 가상 시뮬레이션 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본원의 일 실시예에 따른 가상 시뮬레이션 시스템(10)은, 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 장치(100)(이하, '시뮬레이션 장치(100)'라 한다.), 사용자 단말(200), 의료 영상 스캐너(20) 및 촬영 디바이스(30)를 포함할 수 있다.
시뮬레이션 장치(100), 사용자 단말(200), 의료 영상 스캐너(20) 및 촬영 디바이스(30) 상호간은 네트워크를 통해 통신할 수 있다. 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
사용자 단말(200)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다.
구체적으로, 시뮬레이션 장치(100)로 방사선 영상 데이터를 제공하는 의료 영상 스캐너(20)는 예를 들어 MRI(Magnetic Resonance Imaging, 자기 공명 영상) 스캐너, 초음파 영상 기기, 컴퓨터 단층 촬영(Computed tomography, CT) 기기, X-선 등의 방사선 촬영 기기 등일 수 있다. 또한, 이에 대응하여 시뮬레이션 장치(100)에 의한 처리의 대상이 되는 영상 데이터는 X-선 영상, MRI 영상, 초음파 영상, CT 영상 등을 포함하는 것일 수 있다. 특히, 본원의 실시예에 관한 설명에서 의료 영상 스캐너(20)는 대상자의 안면 부위의 CT 데이터와 치아 부위의 STL(STereo Lithography) 데이터를 획득하기 위한 촬영 기기일 수 있다.
또한, 본원의 실시예에 관한 설명에서 촬영 디바이스(30)는 대상자의 안면 이미지를 촬영하는 카메라 등의 디바이스일 수 있다. 예시적으로, 촬영 디바이스(30)에 의해 촬영되는 안면 이미지는 2차원 이미지일 수 있다. 또한, 촬영 디바이스(30)는 대상자의 안면 부위를 정면, 양 측면, 후면 등 다양한 방향에서 촬영하도록 구비될 수 있으며, 이하에서 설명하는 3차원 볼륨 데이터와 2차원 안면 이미지의 중첩을 통한 가상의 3차원 안면 모델을 구축하는 프로세스에는 적어도 하나의 2차원 안면 이미지(예를 들면, 서로 다른 방향에서 각기 촬영된 복수의 2차원 안면 이미지 등)가 활용되는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 촬영 디바이스(30)는 사람의 눈으로 대상체를 바라볼 때 느껴지는 원근감과 유사한 원근감을 기초로 하여 안면 이미지가 획득될 수 있도록 45도 시야각에 대응하는 50mm 렌즈로 대상자의 안면 부위를 촬영하는 디바이스 일 수 있으나, 이에만 한정되는 것은 아니다.
이하에서는 시뮬레이션 장치(100)가 대상자의 안면 이미지와 방사선 영상을 기초로 하여 가상의 3차원 안면 모델을 구축하는 프로세스에 대해 상세히 설명하도록 한다.
시뮬레이션 장치(100)는 대상자의 안면 부위의 CT 데이터 및 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터를 획득할 수 있다. 구체적으로, 시뮬레이션 장치(100)는 STL 데이터가 CT 데이터와 형상, 질감 및 색상 중 적어도 하나가 구분되게 표출되도록 STL 데이터 및 CT 데이터를 병합하여 대상자에 대한 볼륨 데이터를 획득할 수 있다.
예시적으로, CT 데이터는 대상자의 구강에 바이트를 삽입한 상태로 촬영되는 컴퓨터 단층촬영 영상이고, STL 데이터는 대상자의 치아 부위의 형상을 폴리곤을 기초로 입체로 표현한 데이터일 수 있다.
본원의 일 실시예에 따르면, 시뮬레이션 장치(100)는 CT 데이터 및 STL 데이터의 위치(좌표)를 치아 각각의 배향, 위치를 기준으로 정합하여 볼륨 데이터를 획득하되, 본원에서 개시하는 3차원 안면 모델 상에서 대상자의 윗니와 아랫니가 구별되게 인식되도록 후술하는 도 3a에 도시된 바와 같이 볼륨 데이터 상의 윗니 측 STL 데이터와 아랫니 측 STL 데이터의 형상, 질감, 색상 등을 구분되게 표시할 수 있다.
또한, 시뮬레이션 장치(100)는 대상자의 2차원의 안면 이미지를 획득할 수 있다. 예시적으로, 시뮬레이션 장치(100)는 촬영 디바이스(30)로부터 대상자의 안면 전체가 포함되도록 촬영된 이미지를 획득할 수 있다. 이하에서는, 시뮬레이션 장치(100)가 대상자의 안면 부위를 정면 방향에서 촬영한 안면 이미지를 기초로 대상자에 대한 3차원 안면 모델을 구축하는 것을 기준으로 본원의 실시예를 설명하나, 본원의 구현예에 따라 시뮬레이션 장치(100)는 다양한 방향에서 촬영된 대상자의 안면 이미지를 활용하여 3차원 안면 모델을 구축할 수 있음은 물론이다.
시뮬레이션 장치(100)는 볼륨 데이터 및 안면 이미지의 배향 및 규격이 대응되게 볼륨 데이터 및 안면 이미지 중 적어도 하나를 처리할 수 있다.
먼저, 시뮬레이션 장치(100)는 안면 이미지의 안면 촬영 방향에 대응하도록 볼륨 데이터의 배향을 조정할 수 있다. 이해를 돕기 위해 예시하면, 시뮬레이션 장치(100)는 안면 이미지가 대상자의 안면을 정면 방향에서 촬영한 이미지인 경우, 볼륨 데이터가 해당 안면 이미지와 마찬가지로 정면 방향을 향하도록 볼륨 데이터의 배향을 조정할 수 있다.
도 2a 내지 도 2d는 3차원의 볼륨 데이터와 2차원의 안면 이미지를 중첩하는 프로세스를 나타낸 도면이고, 도 3a는 볼륨 데이터와 안면 이미지에 대한 처리 프로세스를 나타낸 도면이다.
구체적으로, 도 2a는 대상자의 안면 부위의 서로 다른 방향의 CT 데이터를 나타낸 도면이고, 도 2b는 대상자의 안면 이미지 및 안면 이미지 상에 설정되는 중심선을 포함하는 기준선을 나타낸 도면이고, 도 2c는 볼륨 데이터로부터 도출되는 대상자의 안면 부위 내지 치아 부위의 주요한 국부적인 특징을 나타내는 주요 라인을 표시한 시각화 예시이고, 도 2d는 대상자의 안면 이미지에 대하여 주요 라인을 중첩하여 예시적으로 표시한 도면이다.
또한, 도 3a를 참조하면, 시뮬레이션 장치(100)는 안면 이미지(1)와 볼륨 데이터(2)의 배향이 일치된 상태에서 볼륨 데이터(2) 및 안면 이미지(1)의 중심선을 매칭할 수 있다. 구체적으로, 시뮬레이션 장치(100)는 안면 이미지(1)의 중심선(CL)이 볼륨 데이터(2)의 STL 데이터(3)에 반영된 앞니 사이 영역에 배치되도록 안면 이미지(1)를 볼륨 데이터(2)에 대하여 이동(예를 들면, 도 3a의 → 방향)시킬 수 있다.
또한, 시뮬레이션 장치(100)는 안면 이미지의 크기를 볼륨 데이터를 기준으로 조절할 수 있다. 구체적으로, 시뮬레이션 장치(100)는 안면 이미지와 볼륨 데이터의 중심선이 매칭된 후 안면 이미지의 확대율을 조정하여 3차원의 볼륨 데이터와 크기가 정합되도록 할 수 있다.
전술한 프로세스를 통해 안면 이미지와 볼륨 데이터의 배향 및 규격이 대응되도록 처리되고 나면, 시뮬레이션 장치(100)는 처리가 수행된 볼륨 데이터 및 안면 이미지를 중첩하여 대상자에 대한 가상의 3차원 안면 모델을 구축할 수 있다.
구체적으로, 시뮬레이션 장치(100)는 안면 이미지는 표시되고, CT 데이터는 미표시된 상태에서 STL 데이터가 안면 이미지에 대하여 목표 영역에 위치하는지 여부에 따라 볼륨 데이터와 안면 이미지의 중첩을 적용할 수 있다.
도 3b는 안면 이미지는 표시되고, CT 데이터는 미표시된 상태에서 STL 데이터의 위치를 목표 영역을 비교하는 것을 나타낸 도면이다.
도 3b을 참조하여 목표 영역이 대상자의 구강(입) 영역인 것으로 예시하면, 시뮬레이션 장치(100)는 안면 이미지는 표시(표출)되고 3차원의 CT 데이터는 미표시되도록 한 다음, STL 데이터(3)가 목표 영역인 구강의 안면 이미지 상의 위치와 STL 데이터(3)가 배치된 영역이 소정 수준 이상 중첩되는 것으로 판단되면, 볼륨 데이터와 안면 이미지가 올바르게 조정된 것으로 취급하여 해당 상태에서의 볼륨 데이터와 안면 이미지를 기초로 가상의 3차원 안면 모델을 구축할 수 있다.
달리 말해, 시뮬레이션 장치(100)는 안면 이미지는 표시되고 CT 데이터는 미표시된 상태에서 STL 데이터(3)가 목표 영역에 위치하면, 볼륨 데이터 및 안면 이미지를 중첩하고, 반대로 안면 이미지는 표시되고 CT 데이터는 미표시된 상태에서 STL 데이터(3)가 목표 영역에 위치하지 않으면, STL 데이터(3)가 목표 영역에 배치되도록 STL 데이터(3)의 위치를 보정한 후, 보정이 적용된 볼륨 데이터 및 안면 이미지를 중첩하는 방식으로 안면 모델을 구축할 수 있다.
또한, 본원의 일 실시예에 따르면, 시뮬레이션 장치(100)는 안면 이미지와 볼륨 데이터에서 복수의 해부학적 특징점(예를 들면, 눈, 눈썹, 이마, 코끝, 턱끝, 광대 등)의 위치를 각각 도출하고, 안면 이미지와 볼륨 데이터로부터 각각 도출된 특징점의 위치가 정합되도록 안면 이미지를 3차원 볼륨 데이터의 표면에 오버레이 하는 방식으로 대상자에 대한 가상의 3차원 안면 모델의 외형을 구축할 수 있다.
이와 관련하여, 시뮬레이션 장치(100)는 안면 이미지 및 볼륨 데이터 각각으로부터 해부학적 특징점을 식별하는 알고리즘을 보유할 수 있다. 예시적으로, 해부학적 특징점 식별을 위한 알고리즘은 안면 이미지의 픽셀 별 색상 정보를 기초로 배경 차분 기반의 객체 검출, 인공지능 기반의 객체 검출, 의미론적 영역 분할 기반의 객체 검출 등을 수행하여 해부학적 특징점을 식별하는 알고리즘일 수 있다.
또한, 시뮬레이션 장치(100)는 볼륨 데이터로부터 파악되는 대상자의 치열, 두개골, 상악, 하악, 광대뼈, 이마뼈 등을 포함하는 안면 부위의 골조직과 안면 이미지로부터 파악되는 대상자의 피부 표면의 연조직의 상호 지지(연결) 관계를 정의할 수 있다.
본원의 일 실시예에 따르면, 시뮬레이션 장치(100)에 의해 정의되는 골조직-연조직의 상호 지지(연결) 관계는 대상자의 골조직의 소정의 변화(예를 들면, 압력 인가, 움직임, 기울임 등)에 의해 영향을 받는 대상자의 연조직의 범위, 골조직의 소정의 변화가 결정된 범위 내의 연조직에 미치는 영향에 대한 정보를 안면 부위의 상호 구분되는 골조직 객체 별로 정의한 것을 의미할 수 있다. 예시적으로, 시뮬레이션 장치(100)는 정의된 상호 지지(연결) 관계를 기초로 골조직의 변화(예를 들면, 회전(각도 단위), 변위(길이 단위) 등)에 대응하는 연조직의 변화를 예측할 수 있다.
이와 관련하여, 도 4a 및 도 4b는 볼륨 데이터로부터 획득되는 대상자의 안면 부위와 연계된 계측 파라미터를 나타낸 도표이다.
도 4a 및 도 4b를 참조하면, 시뮬레이션 장치(100)는 대상자의 골조직 특성(Skeletal Pattern)으로서 Bjork Sum, Saddle angle, Articular angle, Gonial angle, Antero-Post. FHR, SNA, SNB, ANB, APDI 등의 파라미터를 산출할 수 있으며, 대상자의 치아부위 특성(Denture Pattern)으로서 U1 to SN, U1 to FH, IMPA, Interincisal angle 등의 파라미터를 산출할 수 있으며, 대상자의 연조직 특성(Soft Tissue Profile)로서 Upper Lip EL, Lower Lip EL, Interlabial gap, Nasal protuberance to A'B' 등의 파라미터를 산출할 수 있으나, 이에만 한정되는 것은 아니다.
또한, 시뮬레이션 장치(100)는 전술한 프로세스를 통해 구축된 대상자에 대한 3차원 안면 모델을 기초로 가상 수술과 관련한 시뮬레이션을 수행할 수 있다.
도 5는 소정의 시술/수술 적용 전후의 대상자의 안면 부위와 연계된 계측 파라미터의 변화를 3차원 안면 모델을 이용하여 예측하여 나타낸 도표이다.
도 5를 참조하면, 시뮬레이션 장치(100)는 생성된 3차원 안면 모델에 대하여 수행되는 가상 수술에 대한 수술 옵션(Surgery Option)과 연계된 사용자 입력을 인가함으로써 해당 가상 수술에 의해 예측되는 계측 파라미터의 변화에 대한 정보를 생성할 수 있다.
한편, 도 6a 및 도 6b는 생성된 3차원 안면 모델의 국부적인 영역을 확대하여 나타낸 도면이다.
도 6a 및 도 6b를 참조하면, 사용자가 인가한 수술 옵션과 연계된 사용자 입력에 따라 3차원 안면 모델 상에서 주요 영역의 위치, 배향, 크기 등이 변화할 수 있으며, 이러한 주요 영역의 변화는 3차원 안면 모델 상에서 사용자가 육안으로 확인할 수 있는 형태로 시각화될 수 있다. 예를 들어, 도 6a 및 도 6b에 도시된 바와 같이 사용자가 인가한 사용자 입력에 의해 형상 등이 변화하는 주요 영역은 나머지 영역 대비 상호 구분되는 색상, 음영, 강조 표시 등으로 식별되는 것일 수 있다.
구체적으로, 시뮬레이션 장치(100)는 생성된 3차원 안면 모델을 사용자 단말(200)을 통해 사용자(수술자 등)에게 표시할 수 있다. 또한, 시뮬레이션 장치(100)는 사용자 단말(200)로부터 3차원 안면 모델에 대한 시뮬레이션 조작 입력을 수신할 수 있다.
예시적으로, 시뮬레이션 조작 입력은 3차원 형상으로 표출된 3차원 안면 모델을 확대/축소하거나 3차원 공간 상에서 회전시키는 단순 조작 입력뿐만 아니라, 특정 유형의 의료 행위(예를 들면, 치과, 구강악 안면외과, 정형외과, 신경외과 등의 분과에서 안면 부위 내지 치아 부위를 대상으로 수행 가능한 미리 정의된 각종 수술 또는 시술)를 대상자에게 가상으로 적용하는 조작 입력, 특정 해부학적 구조물을 선택하고 선택된 구조물을 상대적으로 이동, 형상 변화, 제거, 가공하는 조작 입력 등을 폭넓게 포함할 수 있다.
구체적으로, 특정 유형의 의료 행위를 적용하는 조작 입력과 관련하여, 시뮬레이션 장치(100)는 의료 행위의 유형 각각에 대하여 골조직 및 연조직 중 적어도 하나의 의료 행위 전후의 변화 패턴에 대한 정보를 미리 보유하여, 변화 패턴에 대한 정보 및 3차원 안면 모델의 생성(구축)시에 정의된 대상자의 골조직과 연조직 사이의 상호 지지(연결) 관계를 기초로 이하에서 설명하는 제1시뮬레이션 정보 및 제2시뮬레이션 정보를 도출하는 것일 수 있다.
본원의 일 실시예에 따르면, 시뮬레이션 장치(100)는 시뮬레이션 조작 입력에 따라 3차원 안면 모델의 골조직의 특성이 변화하는 제1시뮬레이션 정보를 도출할 수 있다. 또한, 시뮬레이션 장치(100)는 제1시뮬레이션 정보에 기초하여 3차원 안면 모델의 연조직의 특성이 변화하는 제2시뮬레이션 정보를 예측할 수 있다. 또한, 시뮬레이션 장치(100)는 예측된 제2시뮬레이션 정보를 반영한 대상자의 안면 표면의 형상이 식별되도록 시뮬레이션 조작 입력에 대응하는 제1시뮬레이션 정보 및 제2시뮬레이션 정보가 반영된 3차원 안면 모델을 사용자 단말(200)을 통해 표출할 수 있다.
또한, 본원의 일 실시예에 따르면, 시뮬레이션 장치(100)는 특정 유형의 의료 행위를 적용하는 조작 입력과 관련하여, 의료 행위(수술/시술)의 유형별로 복수의 수술행위를 포함하는 의료 행위의 수술행위 순서 정보를 포함하는 가이드 정보를 보유할 수 있다. 달리 말해, 시뮬레이션 장치(100)는 특정 유형의 의료 행위를 단계적인 수술행위로 시계열적으로 분할하고, 분할된 수술행위마다의 수술 가이드 및 해당 수술행위 적용 전후의 3차원 안면 모델의 변화를 순차적으로 사용자 단말(200)을 통해 표출할 수 있다.
도 7은 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 장치의 개략적인 구성도이다.
도 7을 참조하면, 시뮬레이션 장치(100)는 수집부(110), 가공부(120), 모델 생성부(130), 입력 수신부(140), 분석부(150) 및 표시부(160)를 포함할 수 있다.
수집부(110)는, 대상자의 안면 부위의 CT 데이터 및 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터와 대상자의 2차원의 안면 이미지를 획득할 수 있다.
가공부(120)는, 볼륨 데이터 및 안면 이미지의 배향 및 규격이 대응되게 볼륨 데이터 및 안면 이미지 중 적어도 하나를 처리할 수 있다.
모델 생성부(130)는, 가공부(120)에 의해 처리가 수행된 볼륨 데이터 및 안면 이미지를 중첩하여 대상자에 대한 가상의 3차원 안면 모델을 구축할 수 있다.
입력 수신부(140)는, 생성된 3차원 안면 모델에 대한 시뮬레이션 조작 입력을 수신할 수 있다.
분석부(150)는, 수신된 시뮬레이션 조작 입력에 따라 3차원 안면 모델의 골조직의 특성이 변화하는 제1시뮬레이션 정보를 도출할 수 있다. 또한, 분석부(150)는 도출된 제1시뮬레이션 정보에 기초하여 3차원 안면 모델의 연조직의 특성이 변화하는 제2시뮬레이션 정보를 예측할 수 있다.
표시부(160)는, 생성된 3차원 안면 모델 및 3차원 안면 모델에 대한 시뮬레이션 조작 입력 인터페이스를 사용자 단말(200)로 표시할 수 있다. 또한, 표시부(160)는 시뮬레이션 조작 입력에 대응하여 예측된 제2시뮬레이션 정보를 반영한 대상자의 안면 표면의 형상이 식별되도록 3차원 안면 모델을 표출할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 8은 본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 방법에 대한 동작 흐름도이다.
도 8에 도시된 안면 이미지 매칭 기반의 시뮬레이션 방법은 앞서 설명된 시뮬레이션 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 시뮬레이션 장치(100)에 대하여 설명된 내용은 안면 이미지 매칭 기반의 시뮬레이션 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 8을 참조하면, 단계 S11에서 수집부(110)는 대상자의 안면 부위의 CT 데이터 및 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터를 획득할 수 있다.
또한, 단계 S11에서 수집부(110)는 STL 데이터가 CT 데이터와 형상, 질감 및 색상 중 적어도 하나가 구분되게 표출되도록 STL 데이터 및 CT 데이터를 병합할 수 있다.
다음으로, 단계 S12에서 수집부(110)는 대상자의 2차원의 안면 이미지를 획득할 수 있다.
다음으로, 단계 S13에서 가공부(120)는 획득한 볼륨 데이터 및 안면 이미지의 배향 및 규격이 대응되게 볼륨 데이터 및 안면 이미지 중 적어도 하나를 처리할 수 있다.
구체적으로, 단계 S13에서 가공부(120)는 안면 이미지의 안면 촬영 방향에 대응하도록 볼륨 데이터의 배향을 조정할 수 있다.
또한, 단계 S12에서 가공부(120)는 볼륨 데이터 및 안면 이미지의 중심선을 매칭할 수 있다. 구체적으로, 단계 S12에서 가공부(120)는 안면 이미지의 중심선이 STL 데이터에 반영된 앞니 사이 영역에 배치되도록 안면 이미지를 볼륨 데이터에 대하여 이동시킬 수 있다.
또한, 단계 S12에서 가공부(120)는 안면 이미지의 크기를 볼륨 데이터를 기준으로 조절할 수 있다.
다음으로, 단계 S14에서 모델 생성부(130)는 단계 S12의 처리가 수행된 볼륨 데이터 및 안면 이미지를 중첩하여 대상자에 대한 가상의 3차원 안면 모델을 구축할 수 있다. 여기서, 가상의 3차원 안면 모델은 대상자의 안면 부위의 골조직의 특성이 볼륨 데이터에 기초하여 반영되고, 대상자의 안면 표면의 연조직의 특성이 안면 이미지에 기초하여 반영된 모델일 수 있다.
구체적으로, 단계 S14에서 모델 생성부(130)는 안면 이미지는 표시되고, CT 데이터는 미표시된 상태에서 STL 데이터가 안면 이미지에 대하여 목표 영역에 위치하는지 여부를 판단할 수 있다.
만일, 단계 S14에서 모델 생성부(130)가 STL 데이터가 목표 영역에 위치한 것으로 판단하면, 모델 생성부(130)는 볼륨 데이터 및 안면 이미지를 중첩할 수 있다.
반대로, 단계 S14에서 모델 생성부(130)가 STL 데이터가 목표 영역에 위치하지 않는 것으로 판단하면, 모델 생성부(130)는 STL 데이터가 목표 영역에 배치되도록 STL 데이터를 보정한 후, 보정된 볼륨 데이터 및 안면 이미지를 중첩할 수 있다.
상술한 설명에서, 단계 S11 내지 S14는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 9는 본원의 일 실시예에 따라서 구축된 대상자의 3차원 안면 모델을 이용한 시뮬레이션 프로세스에 대한 동작 흐름도이다.
도 9에 도시된 대상자의 3차원 안면 모델을 이용한 시뮬레이션 프로세스는 앞서 설명된 시뮬레이션 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 시뮬레이션 장치(100)에 대하여 설명된 내용은 도 9에 대한 설명에도 동일하게 적용될 수 있다.
도 9를 참조하면, 단계 S21에서 입력 수신부(140)는 생성(구축)된 3차원 안면 모델에 대한 시뮬레이션 조작 입력을 수신할 수 있다.
다음으로, 단계 S22에서 분석부(150)는 수신된 시뮬레이션 조작 입력에 따라 3차원 안면 모델의 골조직의 특성이 변화하는 제1시뮬레이션 정보를 도출할 수 있다.
다음으로, 단계 S23에서 분석부(150)는 도출된 제1시뮬레이션 정보에 기초하여 3차원 안면 모델의 연조직의 특성이 변화하는 제2시뮬레이션 정보를 예측할 수 있다.
다음으로, 단계 S24에서 표시부(160)는 제2시뮬레이션 정보를 반영한 대상자의 안면 표면의 형상이 식별되도록 3차원 안면 모델을 표출할 수 있다.
본원의 일 실시예에 따른 안면 이미지 매칭 기반의 시뮬레이션 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 안면 이미지 매칭 기반의 시뮬레이션 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

Claims (14)

  1. 안면 이미지 매칭 기반의 시뮬레이션 방법에 있어서,
    대상자의 안면 부위의 CT 데이터 및 상기 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터를 획득하는 단계;
    상기 대상자의 2차원의 안면 이미지를 획득하는 단계;
    상기 볼륨 데이터 및 상기 안면 이미지의 배향 및 규격이 대응되게 상기 볼륨 데이터 및 상기 안면 이미지 중 적어도 하나를 처리하는 단계; 및
    상기 처리가 수행된 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하여 상기 대상자에 대한 가상의 3차원 안면 모델을 구축하는 단계,
    를 포함하는, 시뮬레이션 방법.
  2. 제1항에 있어서,
    상기 3차원 안면 모델은,
    상기 대상자의 안면 부위의 골조직의 특성이 상기 볼륨 데이터에 기초하여 반영되고, 상기 대상자의 안면 표면의 연조직의 특성이 상기 안면 이미지에 기초하여 반영된 모델인 것인, 시뮬레이션 방법.
  3. 제2항에 있어서,
    상기 3차원 안면 모델에 대한 시뮬레이션 조작 입력을 수신하는 단계;
    상기 시뮬레이션 조작 입력에 따라 상기 3차원 안면 모델의 상기 골조직의 특성이 변화하는 제1시뮬레이션 정보를 도출하는 단계;
    상기 제1시뮬레이션 정보에 기초하여 상기 3차원 안면 모델의 상기 연조직의 특성이 변화하는 제2시뮬레이션 정보를 예측하는 단계; 및
    상기 제2시뮬레이션 정보를 반영한 상기 대상자의 안면 표면의 형상이 식별되도록 상기 3차원 안면 모델을 표출하는 단계,
    를 더 포함하는 것인, 시뮬레이션 방법.
  4. 제1항에 있어서,
    상기 처리하는 단계는,
    상기 볼륨 데이터 및 상기 안면 이미지의 중심선을 매칭하는 단계; 및
    상기 안면 이미지의 크기를 상기 볼륨 데이터를 기준으로 조절하는 단계,
    를 포함하는 것인, 시뮬레이션 방법.
  5. 제4항에 있어서,
    상기 중심선을 매칭하는 단계는,
    상기 안면 이미지의 중심선이 상기 STL 데이터에 반영된 앞니 사이 영역에 배치되도록 상기 안면 이미지를 상기 볼륨 데이터에 대하여 이동시키는 것인, 시뮬레이션 방법.
  6. 제4항에 있어서,
    상기 처리하는 단계는,
    상기 중심선을 매칭하는 단계 이전에,
    상기 안면 이미지의 안면 촬영 방향에 대응하도록 상기 볼륨 데이터의 배향을 조정하는 단계,
    를 더 포함하는 것인, 시뮬레이션 방법.
  7. 제1항에 있어서,
    상기 구축하는 단계는,
    상기 안면 이미지는 표시되고, 상기 CT 데이터는 미표시된 상태에서 상기 STL 데이터가 상기 안면 이미지에 대하여 목표 영역에 위치하는지 여부를 판단하는 단계;
    상기 STL 데이터가 상기 목표 영역에 위치하면, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하는 단계; 및
    상기 STL 데이터가 상기 목표 영역에 위치하지 않으면, 상기 STL 데이터가 상기 목표 영역에 배치되도록 상기 STL 데이터를 보정한 후, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하는 단계,
    를 포함하는 것인, 시뮬레이션 방법.
  8. 제1항에 있어서,
    상기 볼륨 데이터를 획득하는 단계는,
    상기 STL 데이터가 상기 CT 데이터와 형상, 질감 및 색상 중 적어도 하나가 구분되게 표출되도록 상기 STL 데이터 및 상기 CT 데이터를 병합하는 단계,
    를 포함하는 것인, 시뮬레이션 방법.
  9. 안면 이미지 매칭 기반의 시뮬레이션 장치에 있어서,
    대상자의 안면 부위의 CT 데이터 및 상기 대상자의 치아 부위의 STL 데이터가 병합된 3차원의 볼륨 데이터와 상기 대상자의 2차원의 안면 이미지를 획득하는 수집부;
    상기 볼륨 데이터 및 상기 안면 이미지의 배향 및 규격이 대응되게 상기 볼륨 데이터 및 상기 안면 이미지 중 적어도 하나를 처리하는 가공부; 및
    상기 처리가 수행된 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하여 상기 대상자에 대한 가상의 3차원 안면 모델을 구축하는 모델 생성부,
    를 포함하는, 시뮬레이션 장치.
  10. 제9항에 있어서,
    상기 3차원 안면 모델은,
    상기 대상자의 안면 부위의 골조직의 특성이 상기 볼륨 데이터에 기초하여 반영되고, 상기 대상자의 안면 표면의 연조직의 특성이 상기 안면 이미지에 기초하여 반영된 모델인 것인, 시뮬레이션 장치.
  11. 제10항에 있어서,
    상기 3차원 안면 모델에 대한 시뮬레이션 조작 입력을 수신하는 입력 수신부;
    상기 시뮬레이션 조작 입력에 따라 상기 3차원 안면 모델의 상기 골조직의 특성이 변화하는 제1시뮬레이션 정보를 도출하고, 상기 제1시뮬레이션 정보에 기초하여 상기 3차원 안면 모델의 상기 연조직의 특성이 변화하는 제2시뮬레이션 정보를 예측하는 분석부; 및
    상기 제2시뮬레이션 정보를 반영한 상기 대상자의 안면 표면의 형상이 식별되도록 상기 3차원 안면 모델을 표출하는 표시부,
    를 더 포함하는 것인, 시뮬레이션 장치.
  12. 제9항에 있어서,
    상기 가공부는,
    상기 안면 이미지의 안면 촬영 방향에 대응하도록 상기 볼륨 데이터의 배향을 조정하고, 상기 볼륨 데이터 및 상기 안면 이미지의 중심선을 매칭하고, 상기 안면 이미지의 크기를 상기 볼륨 데이터를 기준으로 조절하는 것인, 시뮬레이션 장치.
  13. 제9항에 있어서,
    상기 모델 생성부는,
    상기 안면 이미지는 표시되고, 상기 CT 데이터는 미표시된 상태에서 상기 STL 데이터가 상기 안면 이미지에 대하여 목표 영역에 위치하는지 여부를 판단하고,
    상기 STL 데이터가 상기 목표 영역에 위치하면, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하고, 상기 STL 데이터가 상기 목표 영역에 위치하지 않으면, 상기 STL 데이터가 상기 목표 영역에 배치되도록 상기 STL 데이터를 보정한 후, 상기 볼륨 데이터 및 상기 안면 이미지를 중첩하는 것인, 시뮬레이션 장치.
  14. 제9항에 있어서,
    상기 수집부는,
    상기 STL 데이터가 상기 CT 데이터와 형상, 질감 및 색상 중 적어도 하나가 구분되게 표출되도록 상기 CT 데이터에 병합된 상기 볼륨 데이터를 획득하는 것인, 시뮬레이션 장치.
PCT/KR2022/003259 2021-03-09 2022-03-08 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법 WO2022191575A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0030617 2021-03-09
KR20210030617 2021-03-09

Publications (1)

Publication Number Publication Date
WO2022191575A1 true WO2022191575A1 (ko) 2022-09-15

Family

ID=83228031

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/003259 WO2022191575A1 (ko) 2021-03-09 2022-03-08 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20220126665A (ko)
WO (1) WO2022191575A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386100A (zh) * 2022-12-30 2023-07-04 深圳市宗匠科技有限公司 人脸图像采集方法及皮肤检测方法、装置、设备和介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102564437B1 (ko) * 2022-10-12 2023-08-10 주식회사 지오비전 딥러닝 모델을 이용한 안면골 골절 검출 시스템
KR20240068176A (ko) * 2022-11-10 2024-05-17 재단법인 아산사회복지재단 증강현실을 이용한 이미지 정합 기반 의료영상 생성장치 및 이의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120223970A1 (en) * 2011-03-01 2012-09-06 Dolphin Imaging Systems, Llc System and Method for Generating Profile Morphing Using Cephalometric Tracing Data
KR20130044932A (ko) * 2011-10-25 2013-05-03 (주)쓰리디아이티 디지털 치아교정을 위한 영상 매칭정보 생성방법 및 이를 이용한 치아교정용 장치의 제작방법
KR20160004865A (ko) * 2014-07-04 2016-01-13 주식회사 인스바이오 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법
KR101769334B1 (ko) * 2016-03-14 2017-08-21 오스템임플란트 주식회사 치아 교정치료 지원을 위한 이미지 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR101887569B1 (ko) * 2016-05-17 2018-08-10 박숙규 Ct 이미지 상 3차원기준평면 형성용 페이스프레임 및 상기 페이스프레임으로 형성된 ct 이미지 상 3차원기준평면

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120223970A1 (en) * 2011-03-01 2012-09-06 Dolphin Imaging Systems, Llc System and Method for Generating Profile Morphing Using Cephalometric Tracing Data
KR20130044932A (ko) * 2011-10-25 2013-05-03 (주)쓰리디아이티 디지털 치아교정을 위한 영상 매칭정보 생성방법 및 이를 이용한 치아교정용 장치의 제작방법
KR20160004865A (ko) * 2014-07-04 2016-01-13 주식회사 인스바이오 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법
KR101769334B1 (ko) * 2016-03-14 2017-08-21 오스템임플란트 주식회사 치아 교정치료 지원을 위한 이미지 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR101887569B1 (ko) * 2016-05-17 2018-08-10 박숙규 Ct 이미지 상 3차원기준평면 형성용 페이스프레임 및 상기 페이스프레임으로 형성된 ct 이미지 상 3차원기준평면

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386100A (zh) * 2022-12-30 2023-07-04 深圳市宗匠科技有限公司 人脸图像采集方法及皮肤检测方法、装置、设备和介质

Also Published As

Publication number Publication date
KR20220126665A (ko) 2022-09-16

Similar Documents

Publication Publication Date Title
WO2022191575A1 (ko) 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법
Ayoub et al. Towards building a photo-realistic virtual human face for craniomaxillofacial diagnosis and treatment planning
Naudi et al. The virtual human face: superimposing the simultaneously captured 3D photorealistic skin surface of the face on the untextured skin image of the CBCT scan
JP2019103831A (ja) 口腔内画像の選択及びロック
Murugesan et al. A novel rotational matrix and translation vector algorithm: geometric accuracy for augmented reality in oral and maxillofacial surgeries
JP4607399B2 (ja) 三次元画像の表示装置および表示方法
Popat et al. New developments in: three‐dimensional planning for orthognathic surgery
US20180263698A1 (en) Image registration and augmented reality system and method augmented reality thereof
WO2018056544A1 (ko) 치과 수술용 증강현실 시스템 및 구현방법
WO2016003255A2 (ko) 환자맞춤형 치아교정 모의시술과 이를 통한 시뮬레이션 및 치아 교정장치 또는 치아교정 시술유도장치 제작방법
US20190380811A1 (en) Implant surgery guiding method
US9332948B2 (en) System and method for patient positioning in cone-beam tomography
Jiang et al. Registration technology of augmented reality in oral medicine: A review
JP2002528215A (ja) 歯の画像の処理方法とシステム
JPH08131403A (ja) 医用画像処理装置
WO2021141416A1 (ko) 데이터 정합을 통한 3차원 모델 생성 장치 및 방법
KR101831514B1 (ko) 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 증강현실 제공방법
WO2017082449A1 (ko) 다중 에너지 엑스선 촬영 및 광학 영상을 이용한 입체 영상 생성 방법 및 시스템
Donaldson et al. Three-dimensional virtual surgical planning (3D-VSP) in orthognathic surgery: Advantages, disadvantages and pitfalls
WO2020189917A1 (ko) 임플란트 중심선을 이용한 임플란트 식립 계획 수립 방법 및 이를 위한 치과영상 처리장치
Schendel et al. Image fusion in preoperative planning
KR102346199B1 (ko) 파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치
WO2021206517A1 (ko) 수술 중 혈관 네비게이션 방법 및 시스템
CN107802276B (zh) 头颅影像的描迹图绘制装置和方法
JP4655356B2 (ja) Ｘ線撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22767471

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22767471

Country of ref document: EP

Kind code of ref document: A1