WO2023229152A1 - 인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법, 그리고 매체에 저장된 컴퓨터프로그램 - Google Patents

인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법, 그리고 매체에 저장된 컴퓨터프로그램 Download PDF

Info

Publication number
WO2023229152A1
WO2023229152A1 PCT/KR2023/002140 KR2023002140W WO2023229152A1 WO 2023229152 A1 WO2023229152 A1 WO 2023229152A1 KR 2023002140 W KR2023002140 W KR 2023002140W WO 2023229152 A1 WO2023229152 A1 WO 2023229152A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
face
artificial intelligence
scan
dimensional
Prior art date
Application number
PCT/KR2023/002140
Other languages
English (en)
French (fr)
Inventor
박광범
이태균
소재홍
Original Assignee
주식회사 메가젠임플란트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220062951A external-priority patent/KR102703551B1/ko
Application filed by 주식회사 메가젠임플란트 filed Critical 주식회사 메가젠임플란트
Publication of WO2023229152A1 publication Critical patent/WO2023229152A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a 3D face scan automatic matching device using artificial intelligence and a method of driving the device, and more specifically, to computerized tomography (CT) of a user's smiling face during dental or cosmetic treatment. It relates to a 3D face scan automatic matching device using artificial intelligence to improve diagnostic accuracy by visualizing and viewing in 3D, a method of operating the device, and a computer program stored in media.
  • CT computerized tomography
  • Dental implants originally refer to a replacement that restores human tissue when it is lost, but in dentistry, it refers to a series of procedures to transplant artificial teeth.
  • a fixture made of titanium which is not rejected by the human body, is implanted into the alveolar bone where the tooth has fallen out, and then the artificial tooth is fixed to restore the function of the tooth. It is a procedure to be done.
  • the surrounding teeth and bones are damaged over time, but implants do not damage the surrounding tooth tissue and have the same function and shape as natural teeth, but do not cause cavities, so they have the advantage of being able to be used semi-permanently.
  • Artificial tooth procedures vary depending on the type of fixture, but after drilling into the installation location using a predetermined drill, the fixture is installed in the alveolar bone, osseointegrated into the bone, and then an abutment (abutment) is placed on the fixture. After joining the abutment, it is usually completed by placing the final prosthesis on the abutment.
  • Dental implants not only restore single missing teeth, but also improve the function of dentures for partially edentulous and completely edentulous patients, improve the aesthetics of dental prosthetic restorations, and further distribute excessive stress applied to the surrounding supporting bone tissue. It also helps stabilize the dentition.
  • computed tomography has the advantage of being able to view the actual proportions of the user's face in 3D, but due to radiation exposure, it is generally recommended to take pictures with the eyes or mouth closed, while actual dental or cosmetic treatment In the case of , it is important to reflect the user's smiling face, so there is an urgent need for a method to match the user's position (e.g., teeth in the mouth, etc.) to the smiling face.
  • An embodiment of the present invention is a 3D face scan automatic matching device and the device using artificial intelligence to increase diagnostic accuracy by allowing the computerized tomography of the user's smiling face to be visualized and viewed in 3D during dental or cosmetic treatment, for example.
  • the purpose is to provide a driving method and a program stored on a medium.
  • CT scan images can be visualized in 3D by reflecting the user's smiling face during dental or cosmetic treatment, thereby improving the accuracy of diagnosis.
  • the accuracy and speed of data processing will be improved by applying an artificial intelligence program when combining heterogeneity data of image data from CT scan and scan data of the user's smiling face. You will be able to.
  • Figure 1 is a block diagram illustrating the detailed structure of an AI-based 3D face scan automatic matching device according to an embodiment of the present invention.
  • Figure 2 is a diagram for explaining the data structure of a SCOUT image and a face scan image.
  • Figure 3 is a block diagram illustrating the detailed structure of the AI-based 3D face scan automatic matching unit of Figure 1.
  • Figure 4 is a diagram to compare and explain when marking (or detecting) a detection point is performed using a manual method and an automatic method applying artificial intelligence.
  • FIG. 5 is a diagram for explaining detailed operations of the face and landmark detection unit of FIG. 3.
  • Figure 6 is a diagram for explaining steps S500 to S520 of Figure 5.
  • FIG. 7 is a diagram for explaining step S540 of FIG. 5.
  • FIG. 8 is a diagram for explaining the detailed operation of the 3D point detection unit of FIG. 3.
  • FIG. 9 is a diagram for explaining steps S800 to S840 of FIG. 8.
  • Figure 10 is a flowchart showing the driving process of the AI-based 3D face scan automatic matching device of Figure 1.
  • first image data obtained by capturing the central part of the user's face during computed tomography (CT) and second image data obtained by photographing the user's face using a 3D scan method.
  • a communication interface unit that receives; And applying artificial intelligence (AI) to analyze the first image data and the second image data to find detection points of landmarks that are commonly detected, and to detect the detection points found on the second image data.
  • AI artificial intelligence
  • a control unit that converts a 2-dimensional coordinate value into a 3-dimensional coordinate value and automatically matches the second image data to CT image data based on the converted 3-dimensional coordinate value to visualize the user's face in 3D.
  • a 3D face scan automatic matching device featuring artificial intelligence may be provided.
  • the control unit applies the artificial intelligence to analyze the first image data and the second image data to extract a plurality of detection points related to the feature point, and selects a plurality of common landmarks among the extracted plurality of detection points. Detection points can be extracted.
  • the control unit may extract as the landmark detection point a detection point in which the position of the feature point does not change in the facial area during the CT scan and the facial area during the 3D scan.
  • the control unit presets reference information for detecting the feature point and the plurality of landmark detection points, and applies the artificial intelligence based on the preset reference information to detect the feature point and the landmark detection point. can do.
  • the control unit may determine the shape of the feature points as the reference information and determine the landmark detection point based on the determination result.
  • the control unit converts the second image data into three-dimensional UV map data, and determines two-dimensional coordinates for the detection point using the converted UV map data and the three-dimensional data generated during the face scan.
  • the value is converted into the 3D coordinate value, and when converting the 3D coordinate value, the shape formed by the 3 coordinates and the color information of each coordinate are judged, and the 3D coordinate value can be converted based on the determination result. there is.
  • the communication interface unit includes first image data obtained by capturing the central part of the user's face when performing computed tomography and second image data obtained by photographing the user's face using a 3D scan method.
  • a control unit applies artificial intelligence to analyze the first image data and the second image data to find a detection point of a landmark that is commonly detected, and to determine two-dimensional coordinates for the detection point found on the second image data. Converting the value into a 3D coordinate value and automatically matching the second image data to CT image data based on the converted 3D coordinate value, thereby visualizing the user's face in 3D.
  • a method of operating a 3D face scan automatic matching device using artificial intelligence can be provided.
  • the visualizing step includes applying the artificial intelligence to analyze the first image data and the second image data to extract a plurality of detection points related to feature points; And it may include extracting a plurality of common landmark detection points from among the extracted plurality of detection points.
  • a detection point in which the position of the feature point does not change in the facial area during the CT scan and the facial area during the 3D scan can be extracted as the landmark detection point.
  • the visualizing step includes presetting reference information for detecting the feature point and the plurality of landmark detection points; And it may include detecting the feature point and the landmark detection point by applying the artificial intelligence based on the preset reference information,
  • the step of detecting the landmark detection point may include determining a shape made of the feature point as the reference information and determining the landmark detection point based on the determination result.
  • the visualizing step includes converting the second image data into 3D UV map data; Converting the 2-dimensional coordinate value of the detection point into the 3-dimensional coordinate value using the converted UV map data and 3-dimensional data generated when taking the face scan; And when converting the 3D coordinate value, it may include determining the shape formed by the three coordinate values and the color information of each coordinate and performing conversion of the 3D coordinate value based on the determination result.
  • it is a computer program stored in a medium for executing a 3D face scan automatic matching method using artificial intelligence, wherein the 3D face scan automatic matching method using artificial intelligence is used to match the user's face.
  • Characterized in the media characterized in that executing a step of visualizing the user's face in 3D by converting it into dimensional coordinate values and automatically matching the second image data to CT image data based on the converted 3-dimensional coordinate values.
  • a stored computer program may be provided.
  • first or second may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component, for example, without departing from the scope of rights according to the concept of the present invention, a first component may be named a second component, and similarly The second component may also be named the first component.
  • top, bottom, upper surface, lower surface, front, rear, or upper and lower are used to distinguish the relative positions of components.
  • the upper part of the drawing is called upper and the lower part of the drawing is called lower, in reality, the upper part can be called lower, and the lower part can be called upper without departing from the scope of the present invention.
  • the components in the drawings are not necessarily drawn to scale, and for example, the size of some components in the drawings may be exaggerated compared to other components to facilitate understanding of the present invention.
  • Figure 1 is a block diagram illustrating the detailed structure of an AI-based 3D face scan automatic matching device according to an embodiment of the present invention
  • Figure 2 is a diagram illustrating the data structure of the SCOUT image and the face scan image. .
  • the artificial intelligence (AI)-based (or applied) 3D face scan automatic matching device (and software) (hereinafter referred to as the device) 100 according to an embodiment of the present invention includes a communication interface unit. It includes part or all of (110), a control unit 120, an AI-based 3D face scan automatic matching unit 130, and a storage unit 140.
  • the AI-based 3D face scan automatic matching device 100 may include various devices such as desktop computers, laptop computers, tablet PCs, and smartphones used in dentistry, etc., but CT scan Since it may include a CT imaging device that performs and a 3D scanning device that takes 3D images of the user's face, that is, the patient's face, embodiments of the present invention will not be specifically limited to any one device.
  • the AI-based 3D face scan automatic matching device 100 may include a computer program (or software) stored in a computer-readable recording medium or medium included in the device.
  • a 3D scanning device can obtain distortion-free 3D scan data by simultaneously capturing images from cameras located in three directions. This is shown in (b) of Figure 2.
  • a 3D scanning device it is obvious that 2D texture image data and 3D data for a black and white 3D image can be obtained as shown in (b) of FIG. 2.
  • the CT imaging device may use CBCT (Cone Beam CT).
  • CBCT is mainly used in dentistry. CBCT is smaller than medical CT taken at general hospitals, can be taken while standing, and takes less time than medical CT, about 15 to 30 seconds.
  • tomography is performed through a sensor that receives X-ray signals, that is, a detector.
  • X-rays When X-rays are irradiated, signals reflected by various tissues or organs within the face are sensed through a detector and used as depth information, making it possible to generate 3D data.
  • CBCT used in dentistry is used to visually view the mouth or head.
  • a captured image of the central part of the patient's face is acquired during a CT scan or through a separate camera, and this can be called a SCOUT image (or image).
  • SCOUT image Prior to the patient's main examination, imaging is performed to find the location of the lesion or area of interest, and SCOUT images are used to set standards for determining the scope of the examination.
  • the SCOUT image is an image taken to confirm the presence or absence of a patient's disease prior to direct examination and to designate the area to be imaged. For example, when the camera technician looks at the SCOUT image and designates the area to be imaged, the image is recorded at a certain thickness within the specified range. The video is shown continuously.
  • the AI-based 3D face scan automatic matching device 100 can perform R2 STUDIO Q shooting, and the data generated at this time is a CBCT image, a SCOUT image as shown in (a) of FIG. 2, and FIG. A face scan image as in (b) of 2 may be composed of three types of data.
  • R2 STUDIO Q shooting can be seen to mean shooting performed by a device separately manufactured and used to perform operations according to an embodiment of the present invention, that is, the AI-based 3D face scan automatic matching device 100.
  • the SCOUT image or 3D face image is 3D data, and as can be seen in Figure 2, it consists of a texture image file (bmp, png, jpg, etc.), a 3D image file (.obj), and a settings file (.mtl). It can be included.
  • a texture (or texture) image file is a file that can be obtained by scanning a patient, and is a file that contains color, that is, color information. It can be viewed as skin data, which is the outer surface of the face.
  • a texture image file is an image to be used in an OBJ file and is used in combination with a 3D image. Additionally, a 3D video file refers to data in white, or black and white.
  • the 3D image file is used in the OBJ file format and consists of coordinates (values) for 3D expression and data that can specify a color or color on the face surface. These three-dimensional images may include V and VT factors. V records the coordinate values of three-dimensional coordinates (X, Y, Z), and creates a surface by grouping three together.
  • the three coordinates have a polygon structure. In other words, it becomes a polygon structure formed by three coordinates.
  • VT records the texture image coordinates for the color to be assigned to the surface of the 3D image, that is, the surface of the facial skin. For example, obtain the texture image file colors and apply the color to the surface.
  • the MTL file contains the system path of the texture image file to be used in the 3D image and settings for effects.
  • the communication interface unit 110 of FIG. 1 can operate as a data reception unit.
  • the communication interface unit 110 receives SCOUT data of the SCOUT image and scan data of the face scan image through CBCT shooting or 3D face scan shooting.
  • data of a SCOUT image can be received through a tomography device such as a CBCT
  • data of a face scan image as shown in (b) of FIG. 2 can be received through a 3D face scanning device.
  • the two image data are data with different, or heterogeneous, characteristics, for example, about a patient's face.
  • SCOUT data is data from images taken when patients inevitably close their eyes and mouth closed due to radiation for CT scans
  • face scan image data shows patients smiling as they do in everyday life because they are not exposed to radiation like in CT scans. This is data about face images.
  • the control unit 120 is responsible for the overall control operation of the communication interface unit 110, the AI-based 3D face scan automatic matching unit 130, and the storage unit 140 of FIG. 1.
  • the control unit 120 When SCOUT image data and 3D face scan image data are received through the communication interface unit 110, the control unit 120 temporarily stores them in the storage unit 140 and then retrieves them to the AI-based 3D face scan automatic matching unit 130. to provide.
  • control unit 120 integrates (or overlaps) the CBCT image data and the face scan image through the AI-based 3D face scan automatic matching unit 130, it converts the integrated data into 3D according to the dentist's command. It can be visualized and displayed on the screen.
  • the screen can be a computer monitor or a separate display unit.
  • the AI-based 3D face scan automatic matching unit 130 performs an automatic matching operation between SCOUT image data obtained by capturing the central part of the patient's face during a CT scan and face scan image data, and performs matching by applying an AI program in the process.
  • the accuracy of movement can be increased. As mentioned earlier, these movements are performed with eyes closed or mouth closed to prevent the patient's exposure to radiation during CT scans, but in reality, during dental or cosmetic treatment, the position of the patient is matched through the patient's smile. It can be seen that it is for this purpose.
  • the AI-based 3D face scan automatic matching unit 130 is intended to replace only the image data for the face surface with face scan image data, although the CT scan image is captured with the patient's eyes and mouth closed.
  • the skeletal structure and position of teeth when the patient smiles are different from those during a CT scan, so it can be said that this is operated to achieve 3D visualization by correcting this based on face scan image data.
  • the accuracy of data processing can be improved by converting the CT image data based on the detection points of landmarks commonly detected in the two-dimensional SCOUT image data and face scan image data.
  • the AI-based 3D face scan automatic matching unit 130 uses 2-dimensional and 3-dimensional data to detect n 3-dimensional coordinates with clinical significance. And the matching process between SCOUT data and face scan data is automated by applying artificial intelligence, or AI program.
  • feature points for two different faces can be detected from SCOUT image data and face scan image data.
  • a face is recognized by detecting 51 feature points.
  • n landmarks for common parts that do not change when closing the eyes or smiling are detected.
  • the number of landmark detection points can be 4 to 6, up to 51.
  • feature points are detected in this process, and a reference point (or reference information) is set at a consistent location through artificial intelligence so that landmarks can be accurately detected.
  • various information such as pixel information, pixel boundary information, and shape based on pixel information may be used in the image.
  • areas such as the tip of the nose or the tip of the nose correspond to landmarks. Therefore, once the reference point is set, it may be possible to accurately mark areas such as the tip of the nose and the tip of the nose by performing image analysis through artificial intelligence and, of course, performing learning movements. More accurately, it may be desirable to recognize the corresponding detection point based on reference information rather than marking. In some cases, this may be expressed as extracting detection points.
  • a smiling face image is created when viewing 3D visualization data.
  • CT images can be viewed.
  • the transformation relationship can be known through two coordinate values, even if the scanned image data of a smiling face is matched or overlapped with the 3D CT image data, the smiling face is transformed by converting the CT image data based on the transformation relationship. It is possible to create combined 3D visualization data.
  • marking or detection point detection
  • marking of 10 points can be completed with one click, and marking can be performed at a consistent location.
  • consistent location detection may be possible.
  • CT images of smiling faces can be viewed, increasing diagnostic accuracy.
  • 3D visualization of CT images is possible by combining tomography data with depth information. Details regarding the AI-based 3D face scan automatic matching unit 130 will be discussed later.
  • the storage unit 140 temporarily stores data processed under the control of the control unit 120.
  • SCOUT image (or video) data and 3D face scan data are received from the communication interface unit 110
  • the control unit 120 temporarily stores them in the storage unit 140 and then calls them up to use the AI-based 3D face scan automatic matching unit ( 130) to enable automatic matching operation using artificial intelligence.
  • the communication interface unit 110, control unit 120, AI-based 3D face scan automatic matching unit 130, and storage unit 140 of FIG. 1 can perform various operations, and other details will be provided later. We will continue to discuss this.
  • the communication interface unit 110, control unit 120, AI-based 3D face scan automatic matching unit 130, and storage unit 140 of FIG. 1 are composed of hardware modules that are physically separated from each other. , each module will be able to store and execute software to perform the above operations internally.
  • the software is a set of software modules, and each module can be formed of hardware, so there will be no particular limitation on the configuration of software or hardware.
  • the storage unit 140 may be hardware, such as storage or memory. However, since it is possible to store information through software (repository), the above content will not be specifically limited.
  • the control unit 120 may include a CPU and memory, and may be formed as a single chip.
  • the CPU includes a control circuit, an arithmetic unit (ALU), an instruction interpretation unit, and a registry
  • the memory may include RAM.
  • the control circuit performs control operations
  • the operation unit performs operations on binary bit information
  • the command interpretation unit includes an interpreter or compiler, which can convert high-level language into machine language and machine language into high-level language.
  • the registry may be involved in software data storage.
  • the AI-based 3D face scan automatic matching device 100 copies the program stored in the AI-based 3D face scan automatic matching unit 130 and loads it into memory, that is, RAM, at the beginning of operation. By executing this later, the data operation processing speed can be quickly increased. In the case of deep learning models, they can be loaded into GPU memory rather than RAM and executed by accelerating the execution speed using GPU.
  • Figure 3 is a block diagram illustrating the detailed structure of the AI-based 3D face scan automatic matching unit of Figure 1
  • Figure 4 is a comparative explanation of marking (or detection) at detection points using a manual method and an automatic method applying artificial intelligence.
  • Figure 5 is a diagram for explaining the detailed operation of the face and landmark detection unit of Figure 3
  • Figure 6 is a diagram for explaining steps S500 to S520 of Figure 5
  • Figure 7 is a diagram explaining step S540 of Figure 5.
  • 8 is a diagram for explaining the detailed operation of the 3D point detection unit of FIG. 3
  • FIG. 9 is a diagram for explaining steps S800 to S850 of FIG. 8.
  • the AI-based 3D face scan automatic matching unit 130 of Figure 1 includes a data receiving unit 300, an AI-based (detection point) marking unit 310, and a detection point (point) may include part or all of the matching unit 320 and the 3D visualization unit.
  • the AI-based 3D face scan automatic matching unit 130 is configured by omitting some components such as the data receiving unit 300 or the 3D visualization unit, or the detection point matching unit 320. ), which means that some components such as can be integrated and configured with the AI-based detection point marking unit 310, and are explained as being all included to facilitate a sufficient understanding of the invention.
  • the data receiving unit 300 can receive SCOUT image data from the CBCT imaging device and can receive face scan image data from the face scanning device.
  • the data receiver 300 can further receive 3D CT image data for 3D visualization, that is, to generate visualization data.
  • 3D CT image data for 3D visualization, that is, to generate visualization data.
  • the AI-based detection point marking unit 310 includes a data input unit 311, a face and landmark detection unit 312, a 3D detection point (or feature point) detection unit 313, and a result output unit 314. ) includes part or all of.
  • “including part or all” is not much different from the previous meaning.
  • the data input unit 311, face and landmark detection unit 312, 3D detection point detection unit 313, and result output unit 314 may be configured by hardware, software, or a combination thereof, and in the embodiment of the present invention, SW Although the configuration may be preferable, it will not be particularly limited to any one form.
  • the face and landmark detection unit 312 can automate matching of SCOUT data and face scan data through artificial intelligence.
  • a point that does not move even when the eyes are blinked, that is, a point whose position on the face does not change, is used as a landmark, and Figures 5 to 7 show this process.
  • the face and landmark detection unit 312 performs a face area detection operation to perform step S520 of FIG. 5.
  • Figure 6 shows feature point detection for automatic matching in a texture image.
  • artificial intelligence suggests a face area. That is, for face recognition, in an embodiment of the present invention, feature points can be detected by setting a plurality of regions for the input SCOUT image data or changing the set region, and learning this through artificial intelligence to detect the face through the detected feature points. The area can be accurately recognized.
  • the face and landmark detection unit 312 may perform the operation of step S540 of FIG. 5.
  • landmarks that is, points that do not move even when smiling or blinking
  • Figure 7 is a diagram for explaining landmark detection AI.
  • the number of feature points that can be used as landmarks can be limited to 4 to 6.
  • the two inner tails of the eyes, the tip of the nose, and the center of the eyebrows can be used. Therefore, landmark detection accuracy can be increased by determining or learning the shapes of the six points.
  • the face and landmark detection unit 312 can output the two-dimensional coordinates of six landmarks from the SCOUT image data and face scan image data. That is, since the face and landmark detection unit 312 has the same ratio of the patient's actual face as the SCOUT image, it can be seen that it uses this to detect landmarks from the face scan image data.
  • the 3D detection point detection unit 313 of FIG. 3 performs an operation to convert the 2D coordinates of the landmark into 3D coordinates.
  • Figures 8 and 9 show the specific operation flow and appearance of the 3D detection point detection unit 313 of Figure 3, respectively.
  • the 3D detection point detector 313 converts n, for example, 6 landmark coordinates into 3D coordinates based on data converted from face scan image data into UV map coordinates.
  • the 3D detection point detector 313 can calculate V, i.e., a shape or form made of three-dimensional coordinates, or check VT, i.e., color information about the position in the texture image.
  • the converted face scan image data and 3D face scan image data contain coordinate values, so through this, the 2-dimensional coordinates of the landmark can be converted to 3-dimensional coordinates. The conversion takes place. This process is clearly shown in Figure 9.
  • UV map coordinates can be viewed as map coordinates that can be obtained by converting two-dimensional face scan image data into three-dimensional image data using a separate algorithm.
  • UV mapping is a 3D modeling process that turns a 2D image into a 3D model.
  • the simplest UV mapping can be done in three steps.
  • UV map data converted from 2D face scan image data can be superimposed on 3D face scan data, making it possible to extract 3D coordinate values for landmark 2D coordinate values. It may be possible.
  • the 3D detection point detection unit 313 converts the n landmark coordinates into 3D through the UV map, calculates V and VT for the converted 3D coordinates, and when it is determined that there is no abnormality, for example When the number of OBJ vertices and texture coordinate values is the same, it is converted to 3D landmark coordinates. For example, if the number of OBJ vertices and texture coordinate values is not the same, it is judged to be inappropriate 3D coordinates and no separate conversion operation is performed. It may also be carried out.
  • Figure 9 clearly shows the process of coordinate conversion through the 3D detection point detector 313.
  • the detection point matching unit 320 matches (or overlaps) the face scan image data with the 3D CT scan image based on the detection point of the landmark converted into 3D coordinate values, and thereby performs a CT scan of the patient's smiling face. Make sure you can watch the video. Through this, a precise diagnosis can be made by matching face scan image data to a 3D CT scan image and changing the skeletal structure or degree of tooth exposure when the patient smiles.
  • the SCOUT image is the actual proportions of the patient's face, but during dental or cosmetic treatment, there may be more interest in accurately determining the shape of the gums when the patient smiles and what effect the prosthesis and implants have on this.
  • a landmark in the 3D face scan image data that is, a detection point that does not move even when you blink, and match the face scan image to the CT scan image based on the detection point to create a smiley face.
  • CT images can now be visualized and viewed in 3D.
  • the coordinate value of the detection point of the landmark detected in the face scan image data is two-dimensional, the coordinates are converted to three dimensions and matched with the CT image through the converted three-dimensional coordinate value to enable 3D visualization. do.
  • the embodiment of the present invention recognizes the face and applies artificial intelligence to detect landmark detection points through feature points detected on the face, thereby detecting landmark detection points at accurate positions on the face through artificial intelligence. Through this, the accuracy of matching can be increased by detecting or marking consistent positions.
  • the face scan image is converted into a UV map, and based on this, 3D coordinate values for the 2D landmark detection point are obtained.
  • the process of deciding whether to convert to 3D coordinate values By judging the shape made up of coordinate values or checking color information, the final decision is made to convert the 3D coordinate value to the coordinate value of the 2D landmark detection point based on the confirmation or judgment result.
  • 3D visualization of the CT scan image through a smiling face is achieved by matching the face scan data to the CT scan image data. Since accurate marking or detection of the detection point of the landmark can only be detected for the accurate coordinate value, the corresponding detection operation is performed through artificial intelligence or learning by analyzing the characteristics of the area of interest, such as pixel information, as reference information. This makes it possible to mark or detect the detection point of the landmark at an accurate location. Through artificial intelligence, accurate detection is performed based on the reference point or reference value. For example, the inner tail of the eye as a reference point can have designated pixel characteristics, so information about this can be set in advance, and artificial intelligence can detect the exact location by comparing the results of pixel analysis with the preset information. .
  • Figure 10 is a flowchart showing the operation process of the AI-based 3D face scan automatic matching device (and software) of Figure 1.
  • the AI-based 3D face scan automatic matching device 100 of FIG. 1 captures the central part of the face when performing computed tomography of the user's face.
  • First image data and second image data obtained by photographing the user's face using a 3D scan method are received (S1000).
  • the first image data can be viewed as SCOUT image data, which is a captured image of the central part of the face during CT scanning, as shown in (a) of FIG. 2, and the second image data is a face scan as shown in (b) of FIG. 2. It may be image data of a video.
  • 3D image data for CT images and 3D image data for face scans can be received or generated.
  • the AI-based 3D face scan automatic matching device 100 applies artificial intelligence (AI) to analyze the first image data and the second image data to find or detect detection points of commonly detected landmarks, and 2 Convert the 2D coordinate values for the detection points found in the image data into 3D coordinates and automatically match the second image data to the CT image data based on the converted 3D coordinates to visualize the user's face in 3D.
  • AI artificial intelligence
  • the AI-based 3D face scan automatic matching device 100 runs an artificial intelligence program and detects the detection point of the SCOUT image data, that is, the detection point of the landmark, and the detection point of the face scan image data based on the preset reference point or reference information. Accurate detection of the detection point of the landmark can be performed. Then, based on the coordinate values extracted based on the detection point of the landmark, convert to 3D coordinates using face scan image data (e.g. converted to UV map data) or using 3D data of the face scan image. Based on this, the face scan image data is matched to the 3D CT scan data to view the CT scan image of the patient's smiling face. Of course, this can be possible through 3D visualization.
  • AI-based 3D face scan automatic matching device 100 of FIG. 1 can perform various operations, and other details have been sufficiently explained previously, so these will be replaced.
  • the present invention is not necessarily limited to this embodiment. That is, as long as it is within the scope of the purpose of the present invention, all of the components may be operated by selectively combining one or more of them.
  • all of the components may be implemented as a single independent hardware, a program module in which some or all of the components are selectively combined to perform some or all of the combined functions in one or more pieces of hardware. It may also be implemented as a computer program having. The codes and code segments that make up the computer program can be easily deduced by a person skilled in the art of the present invention. Such computer programs can be stored in non-transitory computer readable media and read and executed by a computer, thereby implementing embodiments of the present invention.
  • a non-transitory readable recording medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as a register, cache, or memory.
  • the above-described programs may be stored and provided on non-transitory readable recording media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, etc.
  • the present invention can be used in the medical industry, especially the dental medical industry.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Pulmonology (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법, 그리고 매체에 저장된 컴퓨터프로그램이 개시된다. 본 발명에 따른, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 장치는, 사용자의 얼굴을 컴퓨터 단층촬영(CT)시 얼굴 중앙 부위를 캡쳐하여 얻은 제1 이미지 데이터 및 사용자의 얼굴을 3D 스캔(scan) 방식으로 촬영하여 얻은 제2 이미지 데이터를 수신하는 통신 인터페이스부; 및 인공지능(AI)을 적용해 제1 이미지 데이터와 제2 이미지 데이터를 분석하여 공통되게 검출되는 랜드마크(landmark)의 검출점을 찾고, 제2 이미지 데이터상에서 찾은 검출점에 대한 2차원 좌표값을 3차원 좌표값으로 변환하여 변환한 3차원 좌표값을 근거로 제2 이미지 데이터를 CT 촬영영상 데이터에 자동 매칭시켜 사용자의 얼굴을 3D로 시각화하는 제어부를 포함한다

Description

인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법, 그리고 매체에 저장된 컴퓨터프로그램
본 발명은 인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법에 관한 것으로서, 보다 상세하게는, 가령 치과나 미용치료시 사용자의 웃는 얼굴에 대한 컴퓨터 단층촬영(Computed Tomography, CT)을 3D로 시각화하여 볼 수 있도록 해 진단 정확도를 높이려는 인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법, 그리고 매체에 저장된 컴퓨터프로그램에 관한 것이다.
치과용 임플란트는 원래 인체조직이 상실되었을 때, 회복시켜 주는 대치물을 의미하지만, 치과에서는 인공으로 만든 치아를 이식하는 일련의 시술을 가리킨다. 상실된 치근(뿌리)을 대신할 수 있도록 인체에 거부반응이 없는 티타늄(titanium) 등으로 만든 치근인 픽스츄어(fixture)를 치아가 빠져나간 치조골에 심은 뒤, 인공치아를 고정시켜 치아의 기능을 회복하도록 하는 시술이다. 일반 보철물이나 틀니의 경우, 시간이 지나면 주위 치아와 뼈가 상하지만 임플란트는 주변 치아조직을 상하지 않게 하며, 자연치아와 기능이나 모양이 같으면서도 충치가 생기지 않으므로 반영구적으로 사용할 수 있는 장점이 있다.
인공치아 시술(또는 임플란트 또는 임플란트 시술)은, 픽스츄어의 종류에 따라 다양하지만 소정의 드릴을 사용하여 식립위치를 천공한 후 픽스츄어를 치조골에 식립하여 뼈에 골융합시킨 다음, 픽스츄어에 지대주(abutment)를 결합시킨 후에, 지대주에 최종 보철물을 씌움으로써 완료되는 것이 일반적이다. 치과용 임플란트는 단일 결손치 수복은 물론이거니와 부분 무치아 및 완전 무치아 환자에게 의치의 기능을 증진시키고, 치아 보철 수복의 심미적인 면을 개선시키며, 나아가 주위의 지지골 조직에 가해지는 과도한 응력을 분산시킴과 아울러 치열의 안정화에 도움을 준다.
한편, 임플란트 시술 과정에서 임플란트 시술의 정확성을 높이기 위해 모의시술 및 시술계획이 수반된다. 이러한 모의시술 및 시술계획에는 피시술자의 구강 영역에 대한 정확한 데이터가 필수적이다. 일반적으로 피시술자의 구강 영역에 대한 데이터를 획득하기 위해 피시술자의 구강 영역을 컴퓨터 단층촬영(Computed Tomography, CT) 기구로 촬영하여 입체 영상 데이터를 획득하는 방식이 사용된다.
그런데 컴퓨터 단층촬영은 사용자 즉 환자 얼굴의 실제 비율을 3D로 볼 수 있다는 점에서는 장점이 있으나, 방사선 노출로 인해 권고사항으로서 눈을 감거나 입을 다물로 촬영하는 것이 일반적이며, 반면 실제 치과나 미용치료의 경우에는 사용자의 웃는 얼굴을 반영하는 것이 중요하므로, 웃는 얼굴에 사용자의 위치(예: 구강 내 치아 등)를 일치시키기 위한 방법이 절실히 요구되고 있다.
본 발명의 실시예는 가령 치과나 미용치료시 사용자의 웃는 얼굴에 대한 컴퓨터 단층촬영을 3D로 시각화하여 볼 수 있도록 해 진단 정확도를 높이려는 인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법, 그리고 매체에 저장된 프로그램을 제공함에 그 목적이 있다.
본 발명의 실시예에 따르면 치과치료나 미용치료시 사용자의 웃는 얼굴을 반영하여 CT 촬영영상을 3D로 시각화하여 볼 수 있으므로, 진단의 정확도를 높일 수 있을 것이다.
또한, 본 발명의 실시예에 따르면 CT 촬영에 의한 영상 데이터와 사용자의 웃는 얼굴을 촬영한 스캔 데이터의 이종(heterogeneity)의 데이터를 결합할 때 인공지능 프로그램을 적용함으로써 데이터 처리의 정확도와 신속성을 높일 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 AI 기반 3D 얼굴스캔 자동매칭장치의 세부 구조를 예시한 블록다이어그램이다.
도 2는 SCOUT 영상과 얼굴 스캔(Face Scan) 영상의 데이터 구성을 설명하기 위한 도면이다.
도 3은 도 1의 AI 기반 3D 얼굴스캔 자동매칭부의 세부구조를 예시한 블록 다이어그램이다.
도 4는 수동 방식과 인공지능을 적용한 자동 방식으로 검출점에 마킹(혹은 검출)을 수행할 때를 비교 설명하기 위한 도면이다.
도 5는 도 3의 얼굴 및 랜드마크 검출부의 세부동작을 설명하기 위한 도면이다.
도 6은 도 5의 S500 단계 내지 S520를 설명하기 위한 도면이다.
도 7은 도 5의 S540 단계를 설명하기 위한 도면이다.
도 8은 도 3의 3D 포인트 검출부의 세부동작을 설명하기 위한 도면이다.
도 9는 도 8의 S800 단계 내지 S840 단계를 설명하기 위한 도면이다.
도 10은 도 1의 AI 기반 3D 얼굴스캔 자동매칭장치의 구동과정을 나타내는 흐름도이다.
본 발명의 일 측면에 따르면, 사용자의 얼굴을 컴퓨터 단층촬영(CT)시 얼굴 중앙 부위를 캡쳐하여 얻은 제1 이미지 데이터 및 상기 사용자의 얼굴을 3D 스캔(scan) 방식으로 촬영하여 얻은 제2 이미지 데이터를 수신하는 통신 인터페이스부; 및 인공지능(AI)을 적용해 상기 제1 이미지 데이터와 상기 제2 이미지 데이터를 분석하여 공통되게 검출되는 랜드마크(landmark)의 검출점을 찾고, 상기 제2 이미지 데이터상에서 찾은 상기 검출점에 대한 2차원 좌표값을 3차원 좌표값으로 변환하여 상기 변환한 3차원 좌표값을 근거로 상기 제2 이미지 데이터를 CT 촬영영상 데이터에 자동 매칭시켜 상기 사용자의 얼굴을 3D로 시각화하는 제어부를 포함하는 것을 특징으로 하는, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 장치가 제공될 수 있다.
상기 제어부는, 상기 인공지능을 적용하여 상기 제1 이미지 데이터와 상기 제2 이미지 데이터를 분석하여 특징점과 관련한 다수의 검출점을 각각 추출하고, 상기 추출한 다수의 검출점 중에서 서로 공통되는 복수의 랜드마크 검출점을 추출할 수 있다.
상기 제어부는, 상기 CT 촬영시의 얼굴 부위와 상기 3D 스캔 촬영시의 얼굴 부위에서 상기 특징점의 위치가 변경되지 않는 검출점을 상기 랜드마크 검출점으로 추출할 수 있다.
상기 제어부는, 상기 특징점 및 상기 복수의 랜드마크 검출점을 검출하기 위한 기준정보를 기설정하고, 상기 기설정한 기준 정보를 근거로 상기 인공지능을 적용해 상기 특징점 및 상기 랜드마크 검출점을 검출할 수 있다.
상기 제어부는, 상기 기준정보로서 상기 특징점으로 이루어지는 형상(shape)을 판단하여 판단 결과를 근거로 상기 랜드마크 검출점을 확정할 수 있다.
상기 제어부는, 상기 제2 이미지 데이터를 3차원의 UV 맵(map) 데이터로 변환하고, 상기 변환한 UV 맵 데이터 및 상기 얼굴스캔 촬영시 생성되는 3차원 데이터를 이용해 상기 검출점에 대한 2차원 좌표값을 상기 3차원 좌표값으로 변환하며, 상기 3차원 좌표값의 변환시 3개의 좌표에 의해 형성되는 형상 및 각 좌표의 컬러정보를 판단하여 판단 결과를 근거로 3차원 좌표값의 변환을 수행할 수 있다.
또한, 본 발명의 다른 측면에 따르면, 통신 인터페이스부가, 사용자의 얼굴을 컴퓨터 단층촬영시 얼굴 중앙 부위를 캡쳐하여 얻은 제1 이미지 데이터 및 상기 사용자의 얼굴을 3D 스캔 방식으로 촬영하여 얻은 제2 이미지 데이터를 수신하는 단계; 및 제어부가, 인공지능을 적용해 상기 제1 이미지 데이터와 상기 제2 이미지 데이터를 분석하여 공통되게 검출되는 랜드마크의 검출점을 찾고, 상기 제2 이미지 데이터상에서 찾은 상기 검출점에 대한 2차원 좌표값을 3차원 좌표값으로 변환하여 상기 변환한 3차원 좌표값을 근거로 상기 제2 이미지 데이터를 CT 촬영영상 데이터에 자동 매칭시켜 상기 사용자의 얼굴을 3D로 시각화하는 단계를 포함하는 것을 특징으로 하는, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 장치의 구동방법이 제공될 수 있다.
상기 시각화하는 단계는, 상기 인공지능을 적용하여 상기 제1 이미지 데이터와 상기 제2 이미지 데이터를 분석하여 특징점과 관련한 다수의 검출점을 각각 추출하는 단계; 및 상기 추출한 다수의 검출점 중에서 서로 공통되는 복수의 랜드마크 검출점을 추출하는 단계를 포함할 수 있다.
상기 복수의 랜드마크 검출점을 추출하는 단계는, 상기 CT 촬영시의 얼굴 부위와 상기 3D 스캔 촬영시의 얼굴 부위에서 상기 특징점의 위치가 변경되지 않는 검출점을 상기 랜드마크 검출점으로 추출할 수 있다.
상기 시각화하는 단계는, 상기 특징점 및 상기 복수의 랜드마크 검출점을 검출하기 위한 기준정보를 기설정하는 단계; 및 상기 기설정한 기준 정보를 근거로 상기 인공지능을 적용해 상기 특징점 및 상기 랜드마크 검출점을 검출하는 단계를 포함할 수 있다,
상기 랜드마크 검출점을 검출하는 단계는, 상기 기준정보로서 상기 특징점으로 이루어지는 형상을 판단하여 판단 결과를 근거로 상기 랜드마크 검출점을 확정하는 단계를 포함할 수 있다.
상기 시각화하는 단계는, 상기 제2 이미지 데이터를 3차원의 UV 맵(map) 데이터로 변환하는 단계; 상기 변환한 UV 맵 데이터 및 상기 얼굴스캔 촬영시 생성되는 3차원 데이터를 이용해 상기 검출점에 대한 2차원 좌표값을 상기 3차원 좌표값으로 변환하는 단계; 및 상기 3차원 좌표값의 변환시 3개의 좌표값에 의해 형성되는 형상 및 각 좌표의 컬러정보를 판단하여 판단 결과를 근거로 3차원 좌표값의 변환을 수행하는 단계를 포함할 수 있다.
또한, 본 발명의 또 다른 측면에 따르면, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 방법을 실행하기 위하여 매체에 저장된 컴퓨터프로그램으로서, 상기 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 방법은, 사용자의 얼굴을 컴퓨터 단층촬영시 얼굴 중앙 부위를 캡쳐하여 얻은 제1 이미지 데이터 및 상기 사용자의 얼굴을 3D 스캔 방식으로 촬영하여 얻은 제2 이미지 데이터를 수신하는 단계; 및 인공지능을 적용해 상기 제1 이미지 데이터와 상기 제2 이미지 데이터를 분석하여 공통되게 검출되는 랜드마크의 검출점을 찾고, 상기 제2 이미지 데이터상에서 찾은 상기 검출점에 대한 2차원 좌표값을 3차원 좌표값으로 변환하여 상기 변환한 3차원 좌표값을 근거로 상기 제2 이미지 데이터를 CT 촬영영상 데이터에 자동 매칭시켜 상기 사용자의 얼굴을 3D로 시각화하는 단계를 실행시키는 것을 특징으로 하는, 매체에 저장된 컴퓨터프로그램이 제공될 수 있다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장된 것이다. 층이 다른 층 또는 기판 "상"에 있다고 언급되거나, 층이 다른 층 또는 기판과 결합 또는 접착된다고 언급되는 경우에, 그것은 다른 층 또는 기판상에 직접 형성될 수 있거나 또는 그들 사이에 제3의 층이 개재될 수도 있다. 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소들을 의미한다.
상단, 하단, 상면, 하면, 전면, 후면, 또는 상부, 하부 등의 용어는 구성요소에 있어 상대적인 위치를 구별하기 위해 사용되는 것이다. 예를 들어, 편의상 도면상의 위쪽을 상부, 도면상의 아래쪽을 하부로 명명하는 경우, 실제에 있어서는 본 발명의 권리 범위를 벗어나지 않으면서 상부는 하부로 명명될 수 있고, 하부는 상부로 명명될 수 있다. 또한, 도면의 구성요소는 반드시 축척에 따라 그려진 것은 아니고, 예컨대, 본 발명의 이해를 돕기 위해 도면의 일부 구성요소의 크기는 다른 구성요소에 비해 과장될 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 AI 기반 3D 얼굴스캔 자동매칭장치의 세부 구조를 예시한 블록다이어그램이며, 도 2는 SCOUT 영상과 얼굴스캔(Face Scan) 영상의 데이터 구성을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 인공지능(AI) 기반(혹은 적용) 3D 얼굴스캔 자동매칭장치 (및 소프트웨어)(이하, 장치로 기술함)(100)는 통신 인터페이스부(110), 제어부(120), AI 기반 3D 얼굴스캔 자동매칭부(130) 및 저장부(140)의 일부 또는 전부를 포함한다.
구체적인 설명에 앞서, 본 발명의 실시예에 따른 AI 기반 3D 얼굴스캔 자동매칭장치(100)는 치과 등에서 사용하는 데스크탑컴퓨터, 랩탑컴퓨터, 태블릿PC, 스마트폰 등 다양한 장치를 포함할 수 있지만, CT 촬영을 수행하는 CT 촬영장치 및 사용자 즉 환자의 얼굴을 3D 촬영하는 3D 스캔장치를 포함할 수도 있으므로, 본 발명의 실시예에서는 어느 하나의 장치에 특별히 한정하지는 않을 것이다. 나아가 AI 기반 3D 얼굴스캔 자동매칭장치(100)는 해당 장치 내에 포함되는 컴퓨터 판독가능 기록매체나 매체에 저장되는 컴퓨터프로그램(혹은 소프트웨어)를 포함할 수 있다. 예를 들어, 3D 스캔장치는 3방향에 위치한 카메라에서 동시에 촬영이 이루어짐으로써 왜곡없는 3차원 스캔 데이터를 얻을 수 있다. 이는 도 2의 (b)에서 보여주고 있다. 물론 3D 스캔장치이므로 도 2의 (b)에서와 같이 2차원의 텍스처 이미지 데이터와 흑백의 3차원 영상에 대한 3차원 데이터를 얻을 수 있는 것은 자명하다.
또한, 본 발명의 실시예에 따른 CT 촬영장치는 CBCT(Cone Beam CT)가 사용될 수 있다. CBCT는 주로 치과에서 많이 사용되고 있다. CBCT는 일반 병원에서 촬영하는 메디컬 CT보다 작으며 서서 촬영이 가능하고 시간도 15초 ~ 30초 정도로 메디컬 CT보다 소요 시간이 짧다. 물론, 엑스레이(X-ray) 신호를 받아들이는 센서 즉 검출기를 통해 단층촬영이 이루어진다. 엑스레이를 조사하면 얼굴 내의 다양한 조직이나 기관 등에 의해 반사되는 신호를 검출기를 통해 센싱하여 이를 깊이 정보로 활용함으로써 3차원 데이터 생성이 가능하게 된다. 이와 같이 치과에서 사용하는 CBCT는 구강이나 두부(머리)를 시각적으로 보기 위해 활용된다. CT 촬영 중에 또는 별도의 카메라 등을 통해 환자의 얼굴 중앙 부분의 캡쳐 이미지를 취득하게 되는데 이는 SCOUT 영상(혹은 이미지)이라고 명명될 수 있다. 환자의 본 검사에 앞서 병변의 위치나 관심 부위를 찾기 위해 촬영이 이루어지며 이때 검사 범위를 정하기 위한 기준을 설정하기 위해 SCOUT 영상이 사용된다. 다시 말해, SCOUT 영상은 직접적인 검사에 앞서 환자의 병 등의 유무를 확인하여 촬영 부위를 지정하기 위해 촬영하는 영상으로 예를 들어 촬영기사가 SCOUT 영상을 보고 촬영할 부위를 지정하면 지정된 범위 내에서 일정한 두께로 영상이 연속 쵤영된다. 그러므로 촬영된 슬라이스 영상(slice image)의 위치를 파악하여 SCOUT 영상에 라인을 생성한 뒤 SCOUT 영상과 슬라이스 영상을 연동시키면 CT 등의 영상을 조회하다가 영상의 위치를 확인할 수 있고, 생성된 라인을 클릭할 경우 해당 슬라이스 영상을 출력시켜 원하는 영상에 빠르게 접근할 수 있는 기능을 부여할 수 있다.
CT 등의 영상은 환자의 상태나 필요에 따라 한번에 적게는 수십, 많게는 수백장을 찍게 된다. 일반적으로 의사들은 연속 촬영된 슬라이스 영상을 보고 환자의 상태를 진단하게 되는데 수십장이나 되는 영상 중에서 이상부위나 필요한 부분을 찾아내려면 시간이 많이 걸린다. 따라서 SCOUT 영상에 라인을 생성하여 라인을 직접 클릭하게 되면 해당 부위의 슬라이스 영상을 바로 출력시켜 주어 빠른 시간 내에 원하는 부위의 영상을 볼 수 있다. SCOUT 라인을 생성할 때 가장 중요한 점은 생성될 라인의 위치에 찍혀진 슬라이스 영상의 위치가 정확히 일치해야 한다는 점이다. 따라서 SCOUT 이미지와 각각의 슬라이스 영상 사이의 연관성을 구분하여 정확한 위치에 SCOUT 라인을 생성해 주어야 한다.
본 발명의 실시예에 따른 AI 기반 3D 얼굴스캔 자동매칭장치(100)는 R2 STUDIO Q 촬영을 수행할 수 있으며, 이때 발생되는 데이터는 CBCT 영상, 도 2의 (a)에서와 같은 SCOUT 영상, 도 2의 (b)에서와 같은 얼굴 스캔 영상이 3가지 데이터로 구성될 수 있다. 여기서, "R2 STUDIO Q 촬영"이란 본 발명의 실시예에 따른 동작을 수행하기 위하여 별도로 제작되어 사용되는 장치 즉 AI 기반 3D 얼굴스캔 자동매칭장치(100)에 의해 이루어지는 촬영을 의미한다고 볼 수 있다. SCOUT 영상이나 3D 얼굴 영상은 3차원 데이터로 도 2에서 볼 수 있는 바와 같이 텍스처(Texture) 이미지 파일(bmp, png, jpg 등), 3차원 영상 파일(.obj), 설정 파일(.mtl)을 포함할 수 있다.
텍스처(혹은 텍스쳐) 이미지 파일은 환자의 스캔에 의해 얻을 수 있는 파일이며, 색 즉 컬러 정보를 갖는 파일이다. 얼굴 겉 표면인 스킨(skin) 데이터라고 볼 수 있다. 텍스처 이미지 파일은 OBJ 파일에 사용될 이미지로써 3차원 영상과 결합하여 사용된다. 또한 3차원 영상 파일은 흰색 즉 흑백으로 이루어지는 데이터를 의미한다. 3차원 영상 파일은 OBJ 파일 포맷으로 사용하며, 3차원으로 표현하기 위한 좌표(값)와 얼굴 표면에 색상 혹은 컬러를 지정할 수 있는 데이터로 구성된다. 이러한 3차원 영상은 V와 VT 인자를 포함할 수 있다. V는 3차원 좌표(X, Y, Z)의 좌표값이 기록되어 있으며, 3개씩 묶어서 표면을 생성한다. 이로 인해 3개의 좌표는 폴리곤(polygon) 구조를 갖는다. 즉 3개의 좌표에 의해 형성되는 폴리곤 구조가 되는 것이다. VT는 3차원 영상의 표면 즉 얼굴피부 표면에 할당될 색상에 대한 텍스처 이미지 좌표를 기록한다. 예를 들어, 텍스처 이미지 파일 색상을 획득하여 표면에 색상을 적용한다. MTL 파일은 3차원 영상이 사용할 텍스처 이미지 파일의 시스템 경로 및 효과를 위한 설정값을 포함하고 있다.
상기의 내용을 전제로, 도 1의 통신 인터페이스부(110)는 데이터 수신부로서 동작할 수 있다. 통신 인터페이스부(110)는 CBCT 촬영이나 3D 얼굴스캔 촬영을 통해 SCOUT 영상의 SCOUT 데이터와 얼굴스캔 영상의 스캔 데이터를 각각 수신한다. 예를 들어, CBCT와 같은 단층촬영장치를 통해서는 SCOUT 이미지의 데이터를 수신할 수 있고, 3D 얼굴스캔장치를 통해서는 도 2의 (b)에서와 같은 얼굴스캔 이미지의 데이터를 수신할 수 있다. 2개의 이미지 데이터는 가령 환자의 얼굴에 대한 서로 다른 즉 이종의 특성을 갖는 데이터이다. SCOUT 데이터는 환자가 CT 촬영을 위해 방사선 때문에 부득이하게 눈을 감고 또 입을 다물고 찍는 촬영 이미지의 데이터라면, 얼굴스캔 이미지 데이터는 환자가 CT와 같이 방사선의 노출이 없기 때문에 일상 생활에서와 같이 웃는 모습의 얼굴 이미지에 대한 데이터이다.
제어부(120)는 도 1의 통신 인터페이스부(110), AI 기반 3D 얼굴스캔 자동매칭부(130) 및 저장부(140)의 전반적인 제어 동작을 담당한다. 제어부(120)는 통신 인터페이스부(110)를 통해 SCOUT 이미지 데이터 및 3D 얼굴스캔 이미지 데이터가 수신되면 이를 저장부(140)에 임시 저장한 후 불러내어 AI 기반 3D 얼굴스캔 자동 매칭부(130)로 제공한다.
물론 제어부(120)는 AI 기반 3D 얼굴스캔 자동 매칭부(130)를 통해 CBCT 영상 데이터와 얼굴스캔 영상의 통합(혹은 중첩)이 이루어지게 되면, 치과 의사의 명령에 따라 해당 통합된 데이터를 3D로 시각화하여 화면에 보여줄 수 있다. 해당 화면은 컴퓨터의 모니터가 될 수 있으며, 별도의 디스플레이부가 될 수 있다.
AI 기반 3D 얼굴스캔 자동매칭부(130)는 가령 CT 촬영 중에 환자의 얼굴 중앙 부위를 캡쳐하여 얻은 SCOUT 영상 데이터와 얼굴스캔 영상 데이터의 자동 매칭 동작을 수행하며, 이의 과정에서 AI 프로그램을 적용함으로써 매칭 동작의 정확도를 증가시킬 수 있다. 이러한 동작은 앞서 언급한 바와 같이 CT 촬영시에 환자의 방사선 노출을 방지하기 위해 눈을 감거나 입을 다물고 촬영이 이루어지지만 실제로 치과나 미용치료시에는 환자의 웃는 얼굴을 통해 환자의 위치가 일치하도록 하기 위해서라고 볼 수 있다. 다시 말해서, AI 기반 3D 얼굴스캔 자동매칭부(130)는 CT 촬영 영상에서 환자가 눈을 감고 입을 다물고 촬영이 이루어지지만, 얼굴 표면에 대한 이미지 데이터만을 얼굴스캔 이미지 데이터로 대체하려는 것이다. 다만, 이의 경우 환자의 웃을 때의 골격 구조, 치아의 위치 등은 CT 촬영시와 다르게 되므로, 이를 얼굴스캔 이미지 데이터를 근거로 보정하여 3D 시각화가 이루어지도록 동작한다고 볼 수 있다. 이때, 2차원의 SCOUT 영상 데이터와 얼굴스캔 영상 데이터에서 공통되게 검출되는 랜드마크의 검출점을 근거로 CT 영상 데이터를 변환해 줌으로써 이를 통해 데이터 처리의 정확도를 높일 수 있는 것이다.
좀더 구체적으로 AI 기반 3D 얼굴스캔 자동매칭부(130)는 2차원, 3차원 데이터를 활용하여 임상적 의미를 가지는 n개의 3차원 좌표를 검출한다. 그리고 SCOUT 데이터와 얼굴스캔 데이터의 매칭 과정을 인공지능 즉 AI 프로그램을 적용해 자동화한다. 예를 들어, SCOUT 영상 데이터와 얼굴스캔 영상 데이터에서 서로 다른 2개의 얼굴에 대한 특징점을 검출할 수 있다. 본 발명의 실시예에서는 가령 51개의 특징점 검출을 통해 얼굴을 인식한다. 그리고, 그 검출된 특징점 중에서 눈을 감을 때나 웃을 때에 변함이 없는 즉 공통되는 부분에 대한 n개의 랜드마크(landmark)를 검출한다. 랜드마크의 검출점은 4 ~ 6개, 최대 51개가 될 수 있다. 본 발명의 실시예에서는 이의 과정에서 특징점을 검출하고, 또 랜드마크를 정확히 검출할 수 있도록 인공지능을 통해 일관된 위치에 기준점(혹은 기준정보)을 설정한다. 기준정보는 이미지상에서 화소정보나 화소경계 정보, 또 화소정보에 의한 형상 등 다양한 정보가 사용될 수 있다. 본 발명의 실시예에서는 코의 끝이나 콧망울 끝 등의 부위가 랜드마크에 해당한다. 따라서 기준점을 설정하게 되면 인공지능을 통해 영상분석을 수행하여 물론 학습 동작을 수행함으로써 코의 끝과 콧망울 끝 등의 부위를 정확히 마킹(marking)하는 것이 가능할 수 있다. 더 정확하게는 마킹보다는 기준정보를 근거로 해당 검출점을 인식한다는 것이 바람직할 수 있다. 이는 경우에 따라서는 검출점을 추출한다는 것으로 표현될 수도 있을 것이다. 따라서, 동일 부위에 해당하는 SCOUT 영상 데이터의 좌표값(혹은 제1 좌표값)과 3D 스캔영상 데이터의 좌표값(혹은 제2 좌표값)을 서로 매칭시켜 줌으로써 3D 시각화 데이터를 볼 때 웃는 얼굴 이미지를 통해 CT 영상을 볼 수 있게 되는 것이다. 예를 들어 2개의 좌표값을 통해 변환 관계 등을 알 수 있기 때문에 웃는 얼굴의 스캔영상 데이터를 3차원의 CT 촬영 영상 데이터에 매칭 또는 중첩하더라도 변환 관계를 근거로 CT 영상 데이터를 변환하여 웃는 얼굴이 결합된 3D 시각화 데이터를 생성할 수 있는 것이다.
예를 들어, 위의 마킹(혹은 검출점 검출) 동작을 수동으로 진행한다고 가정해 보자. 자동이 아닌 수동으로 작업이 이루어지므로 잘못될 경우 재수행 동작이 필요할 것이다. 또한, 수동 진행으로 인하여 데이터 처리에 많은 시간이 소요된다. 반면 발명의 실시예에서와 같이 인공지능을 적용하는 경우 원클릭(one click)으로 콧망울 끝 등의 10개 포인트 마킹을 완료할 수 있고, 또 일관된 위치에 마킹을 수행할 수 있게 된다. 또는 일관된 위치의 검출이 가능할 수 있다. 이를 통해 웃는 얼굴에 대한 CT 영상을 볼 수 있어 진단 정확도가 높아지게 된다. 물론 CT 영상은 깊이 정보를 가지고 있는 단층 촬영 데이터를 결합함으로써 3D 시각화가 가능하다. AI 기반 3D 얼굴스캔 자동매칭부(130)와 관련한 자세한 내용은 이후에 좀더 다루기로 한다.
저장부(140)는 제어부(120)의 제어하에 처리되는 데이터를 임시 저장한다. 제어부(120)는 통신 인터페이스부(110)에서 SCOUT 이미지(혹은 영상) 데이터와 3D 얼굴스캔 데이터가 수신되는 경우 이를 저장부(140)에 임시 저장한 후 불러내어 AI기반 3D 얼굴스캔 자동매칭부(130)로 제공하여 인공지능을 적용한 자동 매칭 동작이 이루어지도록 한다.
상기한 내용 이외에도 도 1의 통신 인터페이스부(110), 제어부(120), AI 기반 3D 얼굴스캔 자동매칭부(130) 및 저장부(140)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 이후에 계속해서 다루기로 한다.
본 발명의 실시예에 따른 도 1의 통신 인터페이스부(110), 제어부(120), AI 기반 3D 얼굴스캔 자동매칭부(130) 및 저장부(140)는 서로 물리적으로 분리된 하드웨어 모듈로 구성되지만, 각 모듈은 내부에 상기의 동작을 수행하기 위한 소프트웨어를 저장하고 이를 실행할 수 있을 것이다. 다만, 해당 소프트웨어는 소프트웨어 모듈의 집합이고, 각 모듈은 하드웨어로 형성되는 것이 얼마든지 가능하므로 소프트웨어니 하드웨어니 하는 구성에 특별히 한정하지 않을 것이다. 예를 들어 저장부(140)는 하드웨어인 스토리지(storage) 또는 메모리(memory)일 수 있다. 하지만, 소프트웨어적으로 정보를 저장(repository)하는 것도 얼마든지 가능하므로 위의 내용에 특별히 한정하지는 않을 것이다.
한편, 본 발명의 다른 실시예로서 제어부(120)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트 정보의 연산동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 AI 기반 3D 얼굴스캔 자동매칭장치(100)는 동작 초기에 AI 기반 3D 얼굴스캔 자동매칭부(130)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다. 딥러닝 모델 같은 경우 램(RAM)이 아닌 GPU 메모리에 올라가 GPU를 이용하여 수행 속도를 가속화하여 실행될 수도 있다.
도 3은 도 1의 AI 기반 3D 얼굴스캔 자동매칭부의 세부 구조를 예시한 블록 다이어그램, 도 4는 수동 방식과 인공지능을 적용한 자동 방식으로 검출점에 마킹(혹은 검출)을 수행할 때를 비교 설명하기 위한 도면, 도 5는 도 3의 얼굴 및 랜드마크 검출부의 세부 동작을 설명하기 위한 도면, 도 6은 도 5의 S500 단계 내지 S520를 설명하기 위한 도면, 도 7은 도 5의 S540 단계를 설명하기 위한 도면, 그리고 도 8은 도 3의 3D 포인트 검출부의 세부 동작을 설명하기 위한 도면, 도 9는 도 8의 S800 단계 내지 S850 단계를 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 도 1의 AI 기반 3D 얼굴스캔 자동매칭부(130)는 데이터 수신부(300), AI 기반 (검출점) 마킹부(310), 검출점(point) 매칭부(320) 및 3D 시각화부의 일부 또는 전부를 포함할 수 있다.
여기서, "일부 또는 전부를 포함한다"는 것은 데이터 수신부(300)나 3D 시각화부와 같은 일부 구성요소가 생략되어 AI 기반 3D 얼굴스캔 자동매칭부(130)가 구성되거나, 검출점 매칭부(320)와 같은 일부 구성요소가 AI 기반 검출점 마킹부(310)와 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
데이터 수신부(300)는 CBCT 촬영장치로부터 SCOUT 이미지 데이터를 수신할 수 있으며, 얼굴스캔장치로부터 얼굴스캔 이미지 데이터를 수신할 수 있다. 물론 이외에도 데이터 수신부(300)는 3D 시각화를 위하여 다시 말해 시각화 데이터 생성을 위하여 3차원의 CT 영상 데이터를 더 수신할 수 있다. 본 발명의 실시예에서는 2차원의 얼굴스캔 이미지 데이터를 3차원의 CT 영상 데이터에 매칭시킴으로써 이를 통해 환자의 웃는 얼굴에 대한 CT 영상을 볼 수 있어 정확한 진단이 이루어지도록 하기 위해서이다.
AI 기반 검출점 마킹부(310)는 도 3에서 볼 수 있는 바와 같이 데이터 입력부(311), 얼굴 및 랜드마크 검출부(312), 3D 검출점(혹은 특징점) 검출부(313) 및 결과 출력부(314)의 일부 또는 전부를 포함한다. 여기서, "일부 또는 전부를 포함한다"는 것은 앞서서의 의미와 크게 다르지 않다. 데이터 입력부(311), 얼굴 및 랜드마크 검출부(312), 3D 검출점 검출부(313) 및 결과 출력부(314)는 하드웨어나 소프트웨어 또는 그 조합에 의해 구성될 수 있으며, 본 발명의 실시예에서는 SW에 의한 구성이 바람직할 수 있지만, 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
얼굴 및 랜드마크 검출부(312)는 도 4 내지 도 7에서 볼 수 있는 바와 같이 인공지능을 통해 SCOUT 데이터와 얼굴스캔 데이터의 매칭을 자동화할 수 있다. 다시 말해, 사람의 얼굴에는 대략 27개의 검출점 혹은 특징점이 존재할 수 있다. 이때, 본 발명의 실시예에서는 눈을 깜빡일 때에도 움직이지 않는 점 즉 얼굴에서 위치가 변경되지 않는 점을 랜드마크로서 이용하게 되며, 도 5 내지 도 7은 이의 과정을 보여주고 있다. 다시 말해 얼굴 및 랜드마크 검출부(312)는 도 5의 S520 단계를 수행하기 위하여 얼굴 영역 검출 동작을 수행한다. 도 6은 텍스처 영상에서 자동 매칭을 위한 특징점 검출 모습을 보여주고 있다. 입력된 정답 영역 즉 기준정보와 인공지능 프로그램(혹은 알고리즘)이 예측한 영역의 중첩(overlap) 정도가 50% 이상인 경우 사용할 수 있다. 도 6에서와 같은 과정을 반복하여 인공지능이 얼굴 영역을 제안한다. 즉 얼굴 인식을 위하여 본 발명의 실시예에서는 입력된 SCOUT 이미지 데이터에 대하여 복수의 영역을 설정하여 또는 설정된 영역을 변경해 가면서 특징점을 검출할 수 있고, 이를 인공지능을 통해 학습함으로써 검출된 특징점을 통해 얼굴 영역을 정확히 인식할 수 있다.
이어 얼굴 및 랜드마크 검출부(312)는 도 5의 S540 단계의 동작을 수행할 수 있다. 다시 말해, 얼굴 영역이 인식되면 해당 얼굴 영역에서 가령 웃을 때와 눈을 깜빡일 때에도 움직이지 않는 점 즉 랜드마크를 검출한다. 도 7은 랜드마크 검출 AI를 설명하기 위한 도면이다. 본 발명의 실시예에서는 얼굴에서 검출 가능한 51개의 특징점 중에서 랜드마크로서 사용될 수 있는 특징점을 4개 ~ 6개로 한정하여 사용할 수 있다. 도 7에서 볼 수 있는 바와 같이 눈의 안쪽 꼬리 2곳, 그리고 콧망울 끝, 그리고 미간의 정중앙 부위가 사용될 수 있다. 따라서, 6개의 점에 대한 형상을 판단 혹은 학습함으로써 랜드마크의 검출 정확도를 높일 수 있다. 이를 통해 얼굴 및 랜드마크 검출부(312)는 SCOUT 이미지 데이터와 얼굴스캔 이미지 데이터에서 6개의 랜드마크 2차원 좌표를 출력할 수 있다. 즉 얼굴 및 랜드마크 검출부(312)에서는 SCOUT 이미지가 환자의 실제 얼굴 비율과 동일하므로 이를 이용해 얼굴스캔 이미지 데이터에서 랜드마크를 검출한다고 볼 수 있다.
또한, 도 3의 3D 검출점 검출부(313)는 랜드마크의 2D 좌표를 3D 좌표로 환산 즉 변환하기 위한 동작을 수행한다. 도 8 및 도 9는 도 3의 3D 검출점 검출부(313)에서 이루어지는 구체적인 동작 흐름 및 모습을 각각 보여주고 있다. 3D 검출점 검출부(313)는 n개 가령 6개의 랜드마크 좌표를 얼굴스캔 이미지 데이터를 UV 맵 좌표로 변환된 데이터에 근거하여 3D 좌표로 변환한다. 이를 위하여 3D 검출점 검출부(313)는 V 즉 3차원 좌표로 이루어지는 모양 또는 형태를 계산하거나 VT 즉 텍스처 이미지에서의 위치에 대한 컬러정보를 확인해 볼 수 있다. 더 정확하게는 얼굴스캔 이미지 데이터를 UV 맵 좌표로 변환한 후 변환한 얼굴스캔 이미지 데이터와 3D 얼굴스캔 영상 데이터는 좌표값을 포함하고 있으므로, 이를 통해 랜드마크의 2차원 좌표에 대한 3차원 좌표로의 변환이 이루어지게 된다. 이러한 과정은 도 9에서 잘 보여주고 있다.
물론 3차원 좌표로의 변환 과정에서도 다양한 동작이 더 수행될 수 있다. 예를 들어 V를 계산하는 과정에서 OBJ의 꼭지점(Vertices)과 텍스쳐 좌표값의 개수가 동일하지 않은 경우에는 부적절한 3D 좌표로 판단하여 경고(warning)로 인식할 수 있다. 이의 경우에는 해당 좌표값을 무시하고 좌표값 계산을 위한 동작을 재수행할 수도 있다. UV 맵 좌표는 2차원의 얼굴스캔 이미지 데이터를 별도의 알고리즘 등을 이용해 3차원 이미지 데이터로 변환한 후 이를 통해 얻을 수 있는 맵 좌표라 볼 수 있다. 다시 말해 UV 맵핑은 2차원 이미지를 3차원 모델로 만드는 3차원 모델링 프로세스로 가령 가장 단순한 UV 매핑은 3개의 단계로 이루어질 수 있다. 메시(mesh) 해체, 텍스처 만들기, 텍스처 적용 단계이다. 이를 통해 가령 도 9에서 볼 수 있는 바와 같이 3D 얼굴스캔 데이터에 2차원의 얼굴스캔 이미지 데이터를 변환한 UV 맵 데이터를 중첩할 수 있어 랜드마크 2차원 좌표값에 대한 3차원 좌표값을 추출하는 것이 가능할 수 있다.
상기한 바와 같이 3D 검출점 검출부(313)는 UV 맵을 통해 n개의 랜드마크 좌표를 3차원으로 변환하고, 그 변환된 3차원 좌표에 대하여 V와 VT를 각각 계산하여 이상이 없다고 판단될 때 가령 OBJ의 꼭지점과 텍스쳐 좌표값의 개수가 동일할 때에 3D 랜드마크 좌표로 변환하게 되며, 가령 OBJ의 꼭지점과 텍스쳐 좌표값의 개수가 동일하지 않은 경우에는 부적절한 3D 좌표로 판단하여 별도의 변환 동작이 미수행될 수도 있다. 도 9는 3D 검출점 검출부(313)를 통해 좌표 변환이 이루어지는 과정을 잘 보여주고 있다.
검출점 매칭부(320)는 3차원 좌표값으로 변환한 랜드마크의 검출점을 기준으로 얼굴스캔 이미지 데이터를 3차원의 CT 촬영영상과 매칭(또는 중첩)시키고 이를 통해 환자의 웃는 얼굴에 대한 CT 영상을 볼 수 있도록 한다. 이를 통해 얼굴스캔 이미지 데이터를 3차원의 CT 촬영영상에 매칭시킴으로써 환자가 웃을 때 골격 구조나 치아의 노출 정도 등이 변경됨으로써 이를 통해 정밀 진단이 이루어질 수 있다.
결론적으로, SCOUT 이미지는 환자의 얼굴 실제 비율이지만, 치과나 미용치료시에는 환자의 웃는 얼굴일 때의 잇몸 형상을 정확히 파악하고 또 이때 보철물 및 보형물이 어떠한 영향을 미치는지에 더 관심이 있을 수 있다. 이를 위해서는 SCOUT 이미지 데이터를 기준으로 3D 얼굴스캔 이미지 데이터에서 랜드마크 즉 눈을 깜빡이는 경우에도 움직이지 않는 검출점을 찾고, 그 검출점을 근거로 얼굴스캔 이미지를 CT 촬영 영상에 매칭시킴으로써 웃는 얼굴에 대한 CT 영상을 3D로 시각화하여 볼 수 있게 되는 것이다. 이의 과정에서 얼굴스캔 이미지 데이터에서 검출되는 랜드마크의 검출점에 대한 좌표값은 2차원이므로, 해당 좌표를 3차원으로 변환하여 변환된 3차원 좌표값을 통해 CT 영상과 매칭시켜 3D 시각화가 가능하게 된다.
이의 과정에서 본 발명의 실시예는 얼굴을 인식하고, 또 얼굴에서 검출되는 특징점들을 통해 랜드마크의 검출점을 검출하기 위해 인공지능을 적용함으로써 인공지능을 통해 얼굴에서 정확한 위치의 랜드마크 검출점이 검출되며, 이를 통해 일관된 위치의 검출 또는 마킹이 이루어짐으로써 매칭의 정확도를 높일 수 있다. 아울러, 매칭이나 검출의 경우에는 얼굴스캔 이미지를 UV 맵으로 변환하여 이를 근거로 2차원의 랜드마크 검출점에 대한 3차원 좌표값을 얻게 되며, 3차원 좌표값으로의 변환 여부를 결정하는 과정에서 좌표값으로 이루어지는 형상을 판단하거나 색상정보를 확인함으로써 확인 혹은 판단 결과를 근거로 2차원 랜드마크 검출점의 좌표값에 대한 3차원 좌표값의 변환을 최종 결정하게 되는 것이다.
이러한 과정을 통해 3차원 좌표로의 변환이 이루어지게 되면 얼굴스캔 데이터를 CT 촬영영상 데이터에 매칭시킴으로써 웃는 얼굴을 통한 CT 촬영영상의 3D 시각화가 이루어지게 된다. 랜드마크의 검출점에 대한 정확한 마킹이나 검출이 이루어져야 그에 대한 정확한 좌표값이 검출될 수 있기 때문에 해당 검출 동작은 인공지능을 통해 또는 학습을 통해 관심 영역의 특징 가령 기준 정보로서 화소 정보 등을 분석함으로써 이를 통해 정확한 위치에 랜드마크의 검출점에 대한 마킹이나 검출이 가능하게 된다. 인공지능을 통해서는 기준점 혹은 기준값을 근거로 그에 해당하는 정확한 검출이 이루어지게 된다. 예를 들어 기준점으로서 눈의 안쪽 꼬리의 경우 지정된 화소 특성을 가질 수 있으므로 이에 대한 정보를 사전에 설정해 줄 수 있고, 인공지능은 화소 분석의 결과와 기설정된 정보를 대비함으로써 정확한 위치를 검출할 수 있다.
도 10은 도 1의 AI 기반 3D 얼굴스캔 자동매칭장치 (및 소프트웨어)의 구동과정을 나타내는 흐름도이다.
설명의 편의상 도 10을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 도 1의 AI 기반 3D 얼굴스캔 자동매칭장치(100)는 사용자의 얼굴을 컴퓨터 단층촬영시 얼굴 중앙 부위를 캡쳐하여 얻은 제1 이미지 데이터 및 사용자의 얼굴을 3D 스캔 방식으로 촬영하여 얻은 제2 이미지 데이터를 수신한다(S1000). 여기서, 제1 이미지 데이터는 도 2의 (a)에서와 같이 CT 촬영시 얼굴 중앙부분의 캡쳐 이미지인 SCOUT 이미지 데이터라고 볼 수 있으며, 제2 이미지 데이터는 도 2의 (b)에서와 같은 얼굴 스캔 영상의 이미지 데이터일 수 있다. 물론 이의 과정에서 CT 촬영영상에 대한 3차원 영상 데이터와 얼굴스캔에 대한 3차원 영상 데이터를 수신하거나 생성할 수도 있다.
또한, AI 기반 3D 얼굴스캔 자동매칭장치(100)는 인공지능(AI)을 적용해 제1 이미지 데이터와 제2 이미지 데이터를 분석하여 공통되게 검출되는 랜드마크의 검출점을 찾고 혹은 검출하고, 제2 이미지 데이터상에서 찾은 검출점에 대한 2차원 좌표값을 3차원 좌표값으로 변환하여 변환한 3차원 좌표값을 근거로 제2 이미지 데이터를 CT 촬영영상 데이터에 자동 매칭시켜 사용자의 얼굴을 3D로 시각화한다(S1010)
좀더 정확히 말해서, AI 기반 3D 얼굴스캔 자동매칭장치(100)는 인공지능 프로그램을 실행하여 기설정된 기준점 또는 기준정보를 근거로 SCOUT 이미지 데이터의 검출점 즉 랜드마크의 검출점과 얼굴스캔 이미지 데이터에서의 랜드마크의 검출점에 대한 정확한 검출을 수행할 수 있다. 그리고 그 랜드마크의 검출점을 근거로 추출되는 좌표값을 근거로 얼굴스캔 이미지 데이터를 이용하여(예: UV 맵 데이터로 변환함) 또는 얼굴스캔 영상의 3차원 데이터를 이용하여 3차원 좌표로 변환하여 이를 근거로 얼굴스캔 이미지 데이터를 3차원의 CT 촬영 데이터에 매칭시켜 환자의 웃는 얼굴에 대한 CT 촬영영상을 볼 수 있도록 한다. 물론 이는 3D 시각화를 통해 가능할 수 있다.
상기한 내용 이외에도 도 1의 AI 기반 3D 얼굴스캔 자동매칭장치(100)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
본 발명은 의료 산업, 특히 치과 의료 산업에 이용될 수 있다.

Claims (13)

  1. 사용자의 얼굴을 컴퓨터 단층촬영(CT)시 얼굴 중앙 부위를 캡쳐하여 얻은 제1 이미지 데이터 및 상기 사용자의 얼굴을 3D 스캔(scan) 방식으로 촬영하여 얻은 제2 이미지 데이터를 수신하는 통신 인터페이스부; 및
    인공지능(AI)을 적용해 상기 제1 이미지 데이터와 상기 제2 이미지 데이터를 분석하여 공통되게 검출되는 랜드마크(landmark)의 검출점을 찾고, 상기 제2 이미지 데이터상에서 찾은 상기 검출점에 대한 2차원 좌표값을 3차원 좌표값으로 변환하여 상기 변환한 3차원 좌표값을 근거로 상기 제2 이미지 데이터를 CT 촬영영상 데이터에 자동 매칭시켜 상기 사용자의 얼굴을 3D로 시각화하는 제어부를 포함하는 것을 특징으로 하는, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 인공지능을 적용하여 상기 제1 이미지 데이터와 상기 제2 이미지 데이터를 분석하여 특징점과 관련한 다수의 검출점을 각각 추출하고, 상기 추출한 다수의 검출점 중에서 서로 공통되는 복수의 랜드마크 검출점을 추출하는 것을 특징으로 하는, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 장치.
  3. 제2항에 있어서,
    상기 제어부는, 상기 CT 촬영시의 얼굴 부위와 상기 3D 스캔 촬영시의 얼굴 부위에서 상기 특징점의 위치가 변경되지 않는 검출점을 상기 랜드마크 검출점으로 추출하는 것을 특징으로 하는, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 장치.
  4. 제2항에 있어서,
    상기 제어부는, 상기 특징점 및 상기 복수의 랜드마크 검출점을 검출하기 위한 기준정보를 기설정하고, 상기 기설정한 기준 정보를 근거로 상기 인공지능을 적용해 상기 특징점 및 상기 랜드마크 검출점을 검출하는 것을 특징으로 하는, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 장치.
  5. 제4항에 있어서,
    상기 제어부는, 상기 기준정보로서 상기 특징점으로 이루어지는 형상(shape)을 판단하여 판단 결과를 근거로 상기 랜드마크 검출점을 확정하는 것을 특징으로 하는, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 장치.
  6. 제1항에 있어서,
    상기 제어부는, 상기 제2 이미지 데이터를 3차원의 UV 맵(map) 데이터로 변환하고, 상기 변환한 UV 맵 데이터 및 상기 얼굴스캔 촬영시 생성되는 3차원 데이터를 이용해 상기 검출점에 대한 2차원 좌표값을 상기 3차원 좌표값으로 변환하며, 상기 3차원 좌표값의 변환시 3개의 좌표에 의해 형성되는 형상 및 각 좌표의 컬러정보를 판단하여 판단 결과를 근거로 3차원 좌표값의 변환을 수행하는 것을 특징으로 하는, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 장치.
  7. 통신 인터페이스부가, 사용자의 얼굴을 컴퓨터 단층촬영시 얼굴 중앙 부위를 캡쳐하여 얻은 제1 이미지 데이터 및 상기 사용자의 얼굴을 3D 스캔 방식으로 촬영하여 얻은 제2 이미지 데이터를 수신하는 단계; 및
    제어부가, 인공지능을 적용해 상기 제1 이미지 데이터와 상기 제2 이미지 데이터를 분석하여 공통되게 검출되는 랜드마크의 검출점을 찾고, 상기 제2 이미지 데이터상에서 찾은 상기 검출점에 대한 2차원 좌표값을 3차원 좌표값으로 변환하여 상기 변환한 3차원 좌표값을 근거로 상기 제2 이미지 데이터를 CT 촬영영상 데이터에 자동 매칭시켜 상기 사용자의 얼굴을 3D로 시각화하는 단계를 포함하는 것을 특징으로 하는, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 장치의 구동방법.
  8. 제7항에 있어서,
    상기 시각화하는 단계는,
    상기 인공지능을 적용하여 상기 제1 이미지 데이터와 상기 제2 이미지 데이터를 분석하여 특징점과 관련한 다수의 검출점을 각각 추출하는 단계; 및
    상기 추출한 다수의 검출점 중에서 서로 공통되는 복수의 랜드마크 검출점을 추출하는 단계를 포함하는 것을 특징으로 하는, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 장치의 구동방법.
  9. 제8항에 있어서,
    상기 복수의 랜드마크 검출점을 추출하는 단계는,
    상기 CT 촬영시의 얼굴 부위와 상기 3D 스캔 촬영시의 얼굴 부위에서 상기 특징점의 위치가 변경되지 않는 검출점을 상기 랜드마크 검출점으로 추출하는 것을 특징으로 하는, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 장치의 구동방법.
  10. 제8항에 있어서,
    상기 시각화하는 단계는,
    상기 특징점 및 상기 복수의 랜드마크 검출점을 검출하기 위한 기준정보를 기설정하는 단계; 및
    상기 기설정한 기준 정보를 근거로 상기 인공지능을 적용해 상기 특징점 및 상기 랜드마크 검출점을 검출하는 단계를 포함하는 것을 특징으로 하는, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 장치의 구동방법.
  11. 제10항에 있어서,
    상기 랜드마크 검출점을 검출하는 단계는,
    상기 기준정보로서 상기 특징점으로 이루어지는 형상을 판단하여 판단 결과를 근거로 상기 랜드마크 검출점을 확정하는 단계를 포함하는 것을 특징으로 하는, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 장치의 구동방법.
  12. 제7항에 있어서,
    상기 시각화하는 단계는,
    상기 제2 이미지 데이터를 3차원의 UV 맵(map) 데이터로 변환하는 단계;
    상기 변환한 UV 맵 데이터 및 상기 얼굴스캔 촬영시 생성되는 3차원 데이터를 이용해 상기 검출점에 대한 2차원 좌표값을 상기 3차원 좌표값으로 변환하는 단계; 및
    상기 3차원 좌표값의 변환시 3개의 좌표값에 의해 형성되는 형상 및 각 좌표의 컬러정보를 판단하여 판단 결과를 근거로 3차원 좌표값의 변환을 수행하는 단계를 포함하는 것을 특징으로 하는, 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 장치의 구동방법.
  13. 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 방법을 실행하기 위하여 매체에 저장된 컴퓨터프로그램으로서,
    상기 인공지능을 적용한 3차원 얼굴 스캔 자동 매칭 방법은,
    사용자의 얼굴을 컴퓨터 단층촬영시 얼굴 중앙 부위를 캡쳐하여 얻은 제1 이미지 데이터 및 상기 사용자의 얼굴을 3D 스캔 방식으로 촬영하여 얻은 제2 이미지 데이터를 수신하는 단계; 및
    인공지능을 적용해 상기 제1 이미지 데이터와 상기 제2 이미지 데이터를 분석하여 공통되게 검출되는 랜드마크의 검출점을 찾고, 상기 제2 이미지 데이터상에서 찾은 상기 검출점에 대한 2차원 좌표값을 3차원 좌표값으로 변환하여 상기 변환한 3차원 좌표값을 근거로 상기 제2 이미지 데이터를 CT 촬영영상 데이터에 자동 매칭시켜 상기 사용자의 얼굴을 3D로 시각화하는 단계를 실행시키는 것을 특징으로 하는, 매체에 저장된 컴퓨터프로그램.
PCT/KR2023/002140 2022-05-23 2023-02-14 인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법, 그리고 매체에 저장된 컴퓨터프로그램 WO2023229152A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0062951 2022-05-23
KR1020220062951A KR102703551B1 (ko) 2022-05-23 인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법, 그리고 매체에 저장된 컴퓨터프로그램

Publications (1)

Publication Number Publication Date
WO2023229152A1 true WO2023229152A1 (ko) 2023-11-30

Family

ID=88919517

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/002140 WO2023229152A1 (ko) 2022-05-23 2023-02-14 인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법, 그리고 매체에 저장된 컴퓨터프로그램

Country Status (1)

Country Link
WO (1) WO2023229152A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039869A (ja) * 2009-08-13 2011-02-24 Nippon Hoso Kyokai <Nhk> 顔画像処理装置およびコンピュータプログラム
KR101856907B1 (ko) * 2017-10-18 2018-05-10 강동호 틀니 교정 장치 및 이에 의한 틀니 교정 방법
JP2018534050A (ja) * 2015-11-18 2018-11-22 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 歯の状態を視覚化する方法
KR102097360B1 (ko) * 2015-03-05 2020-04-07 한국전자통신연구원 패턴 이미지 기반 얼굴 마스크 제작 장치 및 방법
KR20200075623A (ko) * 2018-12-18 2020-06-26 (주)제노레이 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039869A (ja) * 2009-08-13 2011-02-24 Nippon Hoso Kyokai <Nhk> 顔画像処理装置およびコンピュータプログラム
KR102097360B1 (ko) * 2015-03-05 2020-04-07 한국전자통신연구원 패턴 이미지 기반 얼굴 마스크 제작 장치 및 방법
JP2018534050A (ja) * 2015-11-18 2018-11-22 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 歯の状態を視覚化する方法
KR101856907B1 (ko) * 2017-10-18 2018-05-10 강동호 틀니 교정 장치 및 이에 의한 틀니 교정 방법
KR20200075623A (ko) * 2018-12-18 2020-06-26 (주)제노레이 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치 및 방법

Also Published As

Publication number Publication date
KR20230163182A (ko) 2023-11-30

Similar Documents

Publication Publication Date Title
JP7168644B2 (ja) 口腔内画像の選択及びロック
CN109069097B (zh) 牙科用三维数据处理装置及其方法
KR101839789B1 (ko) 치과 영상의 판독 데이터 생성 시스템
JP7152455B2 (ja) セグメンテーション装置および学習モデルの生成方法
WO2018056544A1 (ko) 치과 수술용 증강현실 시스템 및 구현방법
CN111768497B (zh) 一种头部动态虚拟模型的三维重建方法、装置及系统
JP2022516488A (ja) 歯の位置合わせを用いた歯のセグメンテーション
JPWO2006033483A1 (ja) 人体情報抽出装置、人体撮影情報の基準面変換方法および断面情報検出装置
WO2021210723A1 (ko) 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치
CA3149843A1 (en) Method, system and computer readable storage media for registering intraoral measurements
US11094085B2 (en) System comprising a color selection aid and a method for determining tooth colors
WO2023013805A1 (ko) 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
WO2015147595A1 (ko) 의료 영상에서 아티팩트와 병변을 구분하는 방법
US20240296558A1 (en) Non-invasive periodontal examination
JP2005349176A (ja) 顎運動解析方法及び顎運動解析システム
WO2023229152A1 (ko) 인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법, 그리고 매체에 저장된 컴퓨터프로그램
WO2023008849A1 (ko) 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법
KR102703551B1 (ko) 인공지능을 적용한 3차원 얼굴스캔 자동매칭장치 및 그 장치의 구동방법, 그리고 매체에 저장된 컴퓨터프로그램
WO2021132856A1 (ko) 인공지능 기반 자동 구강 ct 색상변환장치 및 그 장치의 구동방법
US11890148B2 (en) System and method for dynamic augmented reality imaging of an antomical site
WO2023163263A1 (ko) 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2024196140A1 (ko) 치과용 정합 데이터의 생성 방법
WO2023191566A1 (ko) 하악골 움직임 시뮬레이션 처리 방법
WO2023156447A1 (en) Method of generating a training data set for determining periodontal structures of a patient
Shen et al. Fusion Modeling of Intraoral Scanning and CBCT Images on Dental Caries

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23811939

Country of ref document: EP

Kind code of ref document: A1