WO2022225332A1 - 구강 이미지 처리 장치 및 구강 이미지 처리 방법 - Google Patents

구강 이미지 처리 장치 및 구강 이미지 처리 방법 Download PDF

Info

Publication number
WO2022225332A1
WO2022225332A1 PCT/KR2022/005665 KR2022005665W WO2022225332A1 WO 2022225332 A1 WO2022225332 A1 WO 2022225332A1 KR 2022005665 W KR2022005665 W KR 2022005665W WO 2022225332 A1 WO2022225332 A1 WO 2022225332A1
Authority
WO
WIPO (PCT)
Prior art keywords
additional information
oral
image
image processing
information input
Prior art date
Application number
PCT/KR2022/005665
Other languages
English (en)
French (fr)
Inventor
이동훈
김두수
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to EP22792031.1A priority Critical patent/EP4327772A1/en
Publication of WO2022225332A1 publication Critical patent/WO2022225332A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B2018/2035—Beam shaping or redirecting; Optical components therefor
    • A61B2018/20351—Scanning mechanisms
    • A61B2018/20353—Scanning in three dimensions [3D]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Definitions

  • the disclosed embodiment relates to an oral image processing apparatus and an oral image processing method, and more particularly, to an apparatus and a method for processing or processing an oral cavity image.
  • an oral scanner that is inserted into the patient's oral cavity to acquire an intraoral image is used.
  • the oral scanner may acquire two-dimensional image data by scanning the patient's oral cavity.
  • the two-dimensional image data may be data in the form of an image representing the scanned interior of the oral cavity.
  • a computing device such as a PC connected to the intraoral scanner may generate a three-dimensional oral model using the two-dimensional image data obtained by the intraoral scanner.
  • a computing device that processes two-dimensional scan data is referred to as an oral image processing device.
  • the three-dimensional oral model is delivered to the laboratory, and the laboratory uses the three-dimensional oral model to manufacture prostheses that fit the patient's oral cavity.
  • a user such as a dental technician may manufacture an artificial structure such as a prosthesis by using the received 3D oral model.
  • Oral image processing method includes the steps of obtaining a first oral image and embedding the input additional information in at least a partial region of the first oral image, obtaining a second oral image in which the additional information is embedded may include
  • FIG. 1 is a view for explaining an oral image processing system according to an embodiment.
  • FIG. 2 is a view for explaining a method of obtaining surface data by an intraoral scanner, according to an embodiment.
  • FIG. 3 is a block diagram of an oral image processing apparatus according to an embodiment.
  • FIG 4 is an internal block diagram of an oral image processing apparatus according to an embodiment.
  • FIG 5 is a view illustrating an acquired second oral cavity image, according to an embodiment.
  • FIG. 6 is a diagram illustrating a user interface screen including an additional information input area, according to an embodiment.
  • FIG. 7 is a view for explaining a method of embedding additional information in an oral image, according to an embodiment.
  • FIG. 8 is a view for explaining a method of embedding additional information in an oral image, according to another embodiment.
  • FIG. 9 is a diagram for explaining embedding additional information in scan data by changing a color of a mesh, according to an embodiment.
  • FIG. 10 is a flowchart illustrating a method of embedding additional information into an oral image according to an embodiment.
  • the method may further include identifying an additional information input area capable of displaying additional information in the first oral cavity image.
  • the step of identifying the additional information input region may include identifying the additional information input region in the remaining region other than the oral cavity region of the first oral cavity image.
  • the method further includes receiving a selection of at least one of a target tooth and a gingiva, and the identifying the additional information input area excludes an area within a predetermined range from at least one of the selected tooth and gingiva. It may include identifying the additional information input area in the remaining area.
  • the step of identifying the additional information input region may include identifying the additional information input region from the first oral image using a neural network trained to identify the additional information input region from a plurality of oral images. may include
  • the method further comprises outputting a user interface screen for selecting the additional information input area, and the step of identifying the additional information input area corresponds to the user interface screen and adds the selected area to the user interface screen. It may include the step of identifying the information input area.
  • the method further comprises outputting at least one of a user interface screen on which the identified additional information input area is displayed, and a user interface screen on which the input additional information is displayed in the identified additional information input area.
  • the step of outputting a user interface screen on which the input additional information is displayed includes: The method may include outputting an identifier indicating a position of the additional information input region instead of the additional information or reducing the size of the additional information input region.
  • the additional information may include at least one of a text and an image.
  • the first oral cavity image is three-dimensional scan data
  • the step of obtaining a second oral cavity image in which the additional information is embedded is a variable or color value of a pixel of a two-dimensional image mapped to the first oral cavity image.
  • the first oral cavity image is three-dimensional scan data represented by at least one of a dot and a mesh
  • the step of obtaining a second oral cavity image in which the additional information is embedded includes characters and By changing the color of at least one of the points, vertices, and polygons consisting of the vertices of the first oral cavity image at a position corresponding to at least one contour of the image, the additional information is added to the first oral image. It may include embedding to obtain the second oral image.
  • An oral image processing apparatus includes a processor executing one or more instructions, wherein the processor executes the one or more instructions, thereby obtaining a first oral image, and receiving the input additional information of the first oral image. By embedding in at least a partial region, the second oral cavity image in which the additional information is embedded may be obtained.
  • the image may include at least one tooth or an image representing an oral cavity including at least one tooth (hereinafter, 'oral image').
  • the image may be a two-dimensional image of an object or a three-dimensional oral model or three-dimensional image representing the object three-dimensionally.
  • data may refer to information necessary to represent an object in two or three dimensions, for example, raw data obtained using at least one camera.
  • raw data is data acquired to generate an oral image, and when scanning the inside of the oral cavity of a patient, which is an object, using an intraoral scanner, at least one image sensor included in the intraoral scanner. It may be data to be obtained (eg, two-dimensional data). Raw data obtained from an intraoral scanner may be referred to as scan data or two-dimensional image data. Raw data may mean two-dimensional images of different viewpoints obtained by a plurality of cameras when an object is scanned using an intraoral scanner.
  • an object is an object to be photographed, and may include a person, an animal, or a part thereof.
  • the object may include an oral cavity including at least one tooth.
  • the object may include a plaster model simulating an oral cavity, a denture such as dentures or dentures, a tooth-shaped dentiform, and the like.
  • the subject may include teeth, gingiva, at least a portion of the oral cavity, and/or an artificial structure insertable into the oral cavity (eg, an orthodontic device, an implant, a crown, an inlay, an onlay, an artificial tooth, or an orthodontic aid inserted into the oral cavity. etc.) and the like.
  • the orthodontic device may include at least one of a bracket, an attachment, an orthodontic screw, a lingual orthodontic device, and a removable orthodontic maintenance device.
  • a three-dimensional oral model may be generated based on the two-dimensional scan data obtained from the intraoral scanner.
  • the three-dimensional oral model may be transmitted to a laboratory or the like in order to generate an artificial structure used for dental treatment.
  • the dentist may wish to transmit additional information such as specific matters or requests related to the patient's dental treatment to the laboratory.
  • the dentist may deliver a document containing additional information to be delivered to the laboratory, or may transmit an email, text, or file including additional information to the laboratory using a communication network.
  • the disclosed embodiment provides a method and apparatus for transmitting additional information by including additional information in an oral image, such as a three-dimensional oral model, in order to overcome the above-mentioned problems.
  • FIG. 1 is a view for explaining an oral image processing system according to an embodiment.
  • the oral image processing system may include a three-dimensional scanner 110 , and an oral image processing device 120 coupled to the three-dimensional scanner 110 and the communication network 130 through the communication network 130 .
  • the 3D scanner 110 is a medical device that acquires an image of an object.
  • the object may include at least one of an oral cavity, a plaster model simulating the oral cavity, a denture, and a dentiform.
  • the three-dimensional scanner 110 may include at least one of a table scanner and an intraoral scanner.
  • the table scanner may acquire scan data by scanning an object, for example, a plaster model, a denture, a dentiform, or the like.
  • the table scanner may acquire 3D scan data of the object by scanning the object using rotation of the table.
  • the oral scanner may be of a handheld type in which the user holds the hand and scans the oral cavity while moving.
  • the three-dimensional scanner 110 is inserted into the oral cavity to scan the teeth in a non-contact manner, thereby acquiring an image of the oral cavity including at least one tooth.
  • the 3D scanner 110 may have a form that can be drawn in and out of the oral cavity, and can scan the inside of the patient's oral cavity using at least one image sensor (eg, an optical camera, etc.).
  • the three-dimensional scanner 110 is an artificial structure that can be inserted into teeth, gingiva, and oral cavity (eg, orthodontic devices including brackets and wires, implants, artificial teeth, orthodontic auxiliary tools inserted into the oral cavity, etc.) ), surface information on the object may be acquired as raw data in order to image the surface of at least one of them.
  • orthodontic devices including brackets and wires, implants, artificial teeth, orthodontic auxiliary tools inserted into the oral cavity, etc.
  • the two-dimensional image data obtained from the three-dimensional scanner 110 may be transmitted to the oral image processing device 120 connected through the communication network 130 .
  • the oral image processing apparatus 120 is connected to the three-dimensional scanner 110 and the wired or wireless communication network 130, and receives the two-dimensional image data obtained by scanning the object from the three-dimensional scanner 110, and the received It may be any electronic device capable of generating, processing, displaying and/or transmitting an oral image based on two-dimensional image data.
  • the oral image processing device 120 is based on the two-dimensional image data received from the three-dimensional scanner 110, at least one of information generated by processing the two-dimensional image data and an oral image generated by processing the two-dimensional image data and may display the generated information and the oral image through the display 125 .
  • the oral image processing device 120 may be a computing device such as a smart phone, a laptop computer, a desktop computer, a PDA, or a tablet PC, but is not limited thereto.
  • the oral image processing device 120 may exist in the form of a server (or server device) for processing the oral cavity image.
  • the three-dimensional scanner 110 may transmit raw data acquired through an oral scan as it is to the oral image processing apparatus 120 .
  • the oral cavity image processing apparatus 120 may generate a three-dimensional oral cavity image representing the oral cavity three-dimensionally based on the received raw data.
  • the '3D oral cavity image' may be generated by modeling the internal structure of the oral cavity based on the received raw data in three dimensions, it may be referred to as a '3D oral cavity model'.
  • a model or image representing the oral cavity in two or three dimensions is collectively referred to as a 'mouth image'.
  • the oral image processing device 120 may analyze and/or process the generated oral image to output or transmit it to the display 125 and/or an external device.
  • the three-dimensional scanner 110 obtains raw data through an oral scan, processes the obtained raw data to generate an image corresponding to the oral cavity, which is an object, and uses the oral image processing device 120 to process the obtained raw data. can be transmitted
  • the three-dimensional scanner 110 projects a pattern light to the object and scans the object to which the pattern light is irradiated, thereby representing the shape of the object in three dimensions using the principle of triangulation by deformation of the pattern. data can be obtained.
  • the 3D scanner 110 may acquire 3D data on the object using a confocal method.
  • the confocal method is a non-destructive optical imaging technique for three-dimensional surface measurement, and can acquire an optical cross-sectional image with high spatial resolution using a pinhole structure.
  • the 3D scanner 110 may acquire 3D data by stacking 2D images acquired along an axial direction.
  • the 3D scanner 110 may acquire the oral cavity image from the raw data using various methods other than the above-described method.
  • the 3D scanner 110 may transmit 3D data to the oral image processing apparatus 120 .
  • the oral image processing device 120 may analyze, process, process, display and/or transmit the received image.
  • FIG. 2 is a view for explaining a method of obtaining surface data by an intraoral scanner, according to an embodiment.
  • the 3D scanner 110 may acquire an image using at least one or more cameras, and acquire 3D data based on the acquired image.
  • the 3D scanner 110 may be an optical 3D scanner.
  • the 3D scanner 110 may use a structured light with stereo vision method to obtain 3D data on the surface of the object 210 .
  • the 3D scanner 110 may include two or more cameras 230 and 240 and a projector 220 capable of projecting a structured light 225 .
  • the 3D scanner 110 projects the structured light 225 to the object 210, and the L camera 230 corresponding to the left field of view and the right field of view.
  • An L image 235 corresponding to a left eye field of view and an R image 245 corresponding to a right eye field of view may be obtained from each of the R cameras 240 corresponding to .
  • the L image 235 and the R image 245 may be reconstructed into a 3D image frame representing the surface of the object 210 .
  • the 3D scanner 110 may continuously acquire 2D image frames including the L image 235 and the R image 245 of the object 210 .
  • the three-dimensional scanner 110 or the oral image processing device 120 obtains a three-dimensional image frame representing the surface shape of the object 210 from the two-dimensional image frame including the L image 235 and the R image 245 . can do.
  • FIG. 2 it has been described that the 3D scanner 110 acquires 3D data from two images acquired using the two cameras 230 and 240 , but this is an example, the 3D scanner 110 . may acquire an image using only one of the two cameras 230 and 240 .
  • the 3D scanner 110 may acquire a plurality of 2D frames by scanning the object 210 at a constant time interval (eg, 10 to 30 frames per second) while moving around the object 210 .
  • the three-dimensional scanner 110 or the oral image processing apparatus 120 may obtain a plurality of three-dimensional image frames from a plurality of two-dimensional image frames.
  • the oral image processing apparatus 120 may acquire a three-dimensional oral model for the entire object 210 by merging or aligning a plurality of three-dimensional image frames.
  • FIG 3 is an internal block diagram of an oral image processing apparatus according to an embodiment.
  • the oral image processing apparatus 300 may also be referred to as a data processing apparatus.
  • the oral cavity image processing apparatus 300 of FIG. 3 may be an embodiment of the oral cavity image processing apparatus 120 of FIG. 1 . Accordingly, a description of a portion overlapping with the description of the oral image processing apparatus 120 of FIG. 1 will be omitted.
  • the oral image processing apparatus 300 may be an electronic device capable of generating, processing, processing, displaying, and/or transmitting an oral image using the two-dimensional image data received from the three-dimensional scanner 110 .
  • the oral image processing apparatus 300 may include a processor 310 , a memory 320 , and a user input unit 330 .
  • the oral image processing apparatus 300 includes a user input unit 330, a memory 320 for storing one or more instructions, and a processor 310 for executing the one or more instructions stored in the memory. Then, the processor 310 obtains a first oral cavity image by executing the one or more instructions, and embeds additional information input through the user input unit in at least a partial region of the first oral cavity image, so that the additional information is Acquire an embedded second oral cavity image.
  • the memory 320 may store at least one instruction.
  • the memory 320 may store at least one instruction or program executed by the processor 310 .
  • the memory 320 may store data received from the 3D scanner 110 , for example, raw data obtained through an intraoral scan.
  • the memory 320 may store an oral cavity image representing the oral cavity in three dimensions.
  • the memory 320 may include one or more instructions for identifying the additional information input region in the oral cavity image.
  • the memory 320 may store the neural network.
  • the memory 320 may store dedicated software for inputting additional information.
  • the dedicated software for inputting additional information may be referred to as a dedicated program, a dedicated tool, or a dedicated application.
  • the memory 320 may include one or more instructions for embedding additional information in the oral cavity image.
  • the user input unit 330 may receive a user input for controlling the oral image processing apparatus 300 .
  • the user input unit 330 includes a touch panel for detecting a user's touch, a button for receiving a user's push operation, a mouse or a keyboard for designating or selecting a point on the user interface screen, etc. It may include, but is not limited to, a user input device.
  • the user input unit 330 may include a voice recognition device for voice recognition.
  • the voice recognition device may be a microphone, and the voice recognition device may receive a user's voice command or voice request. Accordingly, the processor 310 may control an operation corresponding to a voice command or a voice request to be performed.
  • the user input unit 330 may receive additional information from a user such as a dentist.
  • the additional information may mean information that the user wants to record incidentally on the oral image.
  • the additional information may include oral information, patient-related information, and other requests.
  • the additional information may include information used or referenced when manufacturing an artificial structure based on an oral image.
  • the dentist may use the user input unit 330 to input, as additional information, content to comment on teeth or gingiva included in the 3D scan data.
  • a user eg, a dentist
  • the additional information may include at least one of a symbol, a text, an image, and a color.
  • the characters included in the additional information may include at least one of language written characters such as Hangul, the alphabet, and Chinese characters, special characters, numbers, and punctuation marks.
  • the additional information may include at least one of a figure, an arrow, a line, a pattern, and a symbol.
  • the additional information may be a combination of characters and symbols representing information about the patient.
  • the additional information may be expressed in two or three dimensions.
  • the additional information may be information expressed in two dimensions as text representing information about the patient.
  • the user may input additional information and edit the additional information by using a program, tool, or application for inputting additional information.
  • the processor 310 may control the overall oral image processing apparatus 300 .
  • the processor 310 may execute at least one instruction to control an intended operation to be performed.
  • the at least one instruction may be stored in the memory 320 included in the oral image processing apparatus 300 or an internal memory (not shown) included in the processor 310 separately from the processor 310 .
  • the processor 310 may control at least one component included in the oral image processing apparatus 300 to perform an intended operation by performing at least one instruction. Therefore, even if the processor 310 performs predetermined operations as an example, it may mean that the processor 310 controls at least one component included in the oral image processing apparatus 300 so that predetermined operations are performed. can
  • the processor 310 may acquire the first oral cavity image.
  • the first oral cavity image may be an oral cavity image generated based on data obtained by scanning the object.
  • the first oral image may be a three-dimensional scan model.
  • the 3D scan model may also be referred to as 3D scan data.
  • the first oral cavity image may be an image obtained by directly scanning the oral cavity.
  • the first oral image may be data obtained by scanning a plaster model with a table scanner.
  • the processor 310 may obtain a three-dimensional scan model by three-dimensionally modeling the two-dimensional scan data received from the three-dimensional scanner 110 .
  • the first oral image may be a 3D scan model in which additional information is not inserted.
  • the processor 310 may embed the additional information input through the user input unit 330 into the first oral cavity image.
  • an image generated by embedding additional information in the first oral cavity image is referred to as a 'second oral cavity image'.
  • the processor 310 may identify a region where additional information can be input in the first oral cavity image.
  • the processor 310 may automatically or manually identify a region in the first oral cavity image to which additional information may be input.
  • an area in which additional information can be input will be referred to as an additional information input area.
  • the processor 310 may identify a position that does not cover the teeth or the gingiva in the first oral image as the additional information input area.
  • the processor 310 may automatically recognize a region including at least one of teeth and gingiva in the first oral image.
  • the processor 310 may mask an area including at least one of a tooth and a gingiva in the first oral image, and may identify an additional information input area in the remaining area except for the masked area.
  • the processor 310 may receive a selection of at least one of a target tooth and a gingiva through the user input unit 330 .
  • the user may select the right incisors of the maxilla as a target tooth by using the user input unit 330 .
  • the processor 310 may identify the additional information input area in the area that does not cover the tooth or gingiva selected as the target.
  • the processor 310 may mask an area within a predetermined range from the right incisor of the upper jaw selected by the user, and may identify the additional information input area in the remaining areas except for the masked area.
  • the processor 310 may identify the additional information input region from the first oral cavity image by using a neural network, ie, a neural network, trained to identify the additional information input region from the plurality of oral images.
  • the neural network used in the disclosed embodiment may be a deep neural network (DNN).
  • the deep neural network (DNN) may be formed as a convolutional neural network (CNN).
  • the convolutional neural network refers to a neural network that performs an operation based on a convolution operation, and may be a single neural network or a neural network in which a plurality of neural networks are combined to comprehensively perform a convolution operation and other methods of operation.
  • the neural network may be a neural network implemented as a data recognition model and trained using training data.
  • the learning data may be oral images.
  • the neural network may distinguish a specific region included in the input data, for example, a tooth or gingival region, from other regions by using the learned data recognition model.
  • the input image may be an oral image of a patient to be treated.
  • the neural network may receive an input image and perform a convolution operation for extracting teeth or gingiva to generate an output image in which additional information input regions are identified in the remaining regions except for the teeth or gingival regions.
  • the neural network may be included or stored in the processor 310 .
  • the processor 310 when the processor 310 inputs the oral image to the internal neural network, the neural network may output a result of identifying the additional information input region.
  • the neural network may be included in an external device (eg, an external server, computing device, etc.) separate from the oral image processing apparatus 300 .
  • the processor 310 may transmit an oral image to an external device.
  • the external device may input the received oral image to the neural network included in the external device.
  • the neural network may output a result of identifying the additional information input area.
  • the external device may transmit the output result of the neural network to the oral image processing apparatus 300 .
  • the processor 310 may identify the additional information input area based on the output result received from the external device.
  • the processor 310 may embed the additional information input through the user input unit 330 into the first oral cavity image.
  • the additional information input through the user input unit 330 may be two-dimensional data. In this case, the data format or extension between the first oral image and the additional information do not match.
  • the processor 310 may perform texture mapping to embed the additional information in the 3D oral model. Texture mapping may refer to a method of mapping pixels of 2D data to a surface of 3D data.
  • the processor 310 may embed additional information in the 3D scan data by adjusting a variable or a color value of a 2D data pixel mapped to the 3D scan data by performing texture mapping.
  • the processor 310 may embed additional information into the 3D scan data by changing or giving a color of a point or a vertex of the 3D scan data. Since the first oral image is three-dimensional scan data, it may be expressed as a point or a mesh. In an embodiment, the processor 310 selects the color of the point of the first oral image at a position corresponding to the outline of the character and the image included in the additional information in order to embed the additional information in the three-dimensional scan data represented by the dot. Can be changed to other colors. Similarly, when the 3D scan data is expressed as a mesh, the processor 310 embeds additional information in the 3D scan data by changing the color of vertices or polygons made of vertices included in the mesh to another color. can
  • the oral image processing apparatus 300 may identify the additional information input area.
  • the oral cavity image processing apparatus 300 may acquire the second oral cavity image by embedding the additional information input to the additional information input area in the 3D scan data.
  • FIG 4 is an internal block diagram of an oral image processing apparatus according to an embodiment.
  • the oral cavity image processing apparatus 400 of FIG. 4 may be an example of the oral cavity image processing apparatus 300 of FIG. 3 .
  • the oral image processing apparatus 400 may further include a communication interface 410 , an image processing unit 420 and a display 430 in addition to the processor 310 , the memory 320 , and the user input unit 330 .
  • a communication interface 410 the communication interface 410
  • an image processing unit 420 and a display 430 in addition to the processor 310 , the memory 320 , and the user input unit 330 .
  • the processor 310, the memory 320, and the user input unit 330 included in the oral image processing apparatus 400 of FIG. 4 are the processor 310 and the memory 320 included in the oral image processing apparatus 300 of FIG. ), since the functions performed by the user input unit 330 are the same, the same reference numerals are used. Hereinafter, descriptions of parts overlapping with those described with respect to the oral image processing apparatus 300 of FIG. 3 will be omitted.
  • the image processing unit 420 may perform operations for generating and/or processing an image.
  • the image processing unit 420 may generate a first oral image based on the raw data received from the 3D scanner 110 .
  • the image processing unit 420 may generate a 3D oral model by processing the 2D scan data.
  • the image processing unit 420 may perform texture mapping to obtain a second oral cavity image from the first oral cavity image under the control of the processor 310 .
  • the image processing unit 420 may obtain a second oral image by embedding additional information in the 3D scan data by adjusting a variable or a color value of a 2D data pixel mapped to the 3D scan data.
  • the image processing unit 420 obtains a second oral image by embedding additional information in the 3D scan data by changing the color of points or vertices of the 3D scan data under the control of the processor 310 . can do.
  • the display 430 may output an oral image.
  • the display 430 may output an oral image generated based on the raw data received from the 3D scanner 110 on the screen. Also, the display 430 may display a user interface screen including information related to a patient's dental treatment.
  • the display 430 may output a user interface screen for selecting an additional information input area.
  • the user interface screen for selecting the additional information input area may be a screen including the first oral cavity image.
  • the user may select a specific region in the first oral cavity image as the additional information input region by using the user input unit 330 in response to the user interface screen for selecting the additional information input region.
  • the user may select the pointed area as the additional information input area by pointing to a specific area using a mouse, a keyboard, a touch panel, or the like in the first oral cavity image output on the interface screen.
  • the processor 310 may identify the area selected by the user as the additional information input area.
  • the display 430 may output a user interface screen on which the identified additional information input area is displayed.
  • the processor 310 may output, to a point selected by the user, information indicating that the corresponding point is an area selected as the additional information input area.
  • the processor 310 may display the location of the additional information input area to the user by using a figure, an arrow, a line, a pattern, a symbol, or the like.
  • the processor 310 may display the location of the additional information input area to the user by using a color different from the original color of the first oral cavity image, or transparency different from the original transparency.
  • the user may input additional information into the additional information input area using the user input unit 330 .
  • the user may input a desired character using a keyboard or the like, or may input a desired image as additional information using a drawing board or the like.
  • the user may edit additional information using the user input unit 330 . For example, the user may edit the font color or font size of the additional information.
  • the display 430 may output additional information input through the user input unit 330 to the additional information input area.
  • the display 430 may output a user interface screen in which additional information is displayed in the additional information input area.
  • the display ( 430) may output an identifier indicating only the location of the additional information input area to the location of the additional information input area, or only a part of the additional information input area, instead of outputting all of the inputted additional information to the screen.
  • the communication interface 410 may communicate with at least one external electronic device through a wired or wireless communication network. Specifically, the communication interface 410 may communicate with the 3D scanner 110 under the control of the processor 310 . In an embodiment, the communication interface 410 may receive 2D image data from the 3D scanner 110 . Also, the communication interface 410 may transmit control information to the 3D scanner 110 .
  • the communication interface 410 may communicate with an external electronic device or server connected through a wired/wireless communication network under the control of the processor 310 .
  • the external electronic device or server may be a device or server operated by a laboratory or the like.
  • the communication interface 410 may transmit the first oral image generated based on the image data obtained from the 3D scanner 110 to a server or an electronic device operated by a laboratory, etc.
  • the communication interface 410 may transmit the second oral image in which the additional information is embedded in the first oral image to a server or an electronic device operated by a laboratory, etc.
  • Communication interface 410 includes at least one short-distance communication module for performing communication according to communication standards such as Bluetooth, Wi-Fi, BLE (Bluetooth Low Energy), NFC/RFID, Wifi Direct, UWB, or ZIGBEE. can do.
  • communication standards such as Bluetooth, Wi-Fi, BLE (Bluetooth Low Energy), NFC/RFID, Wifi Direct, UWB, or ZIGBEE. can do.
  • the communication interface 410 may further include a telecommunication module for performing communication with a server for supporting telecommunication according to a telecommunication standard.
  • the communication interface 410 may include a remote communication module for performing communication through a network for Internet communication.
  • the communication interface 410 may include a remote communication module for performing communication through a communication network conforming to a communication standard such as 3G, 4G, and/or 5G.
  • the communication interface 410 may communicate by wire with the 3D scanner 110 or an external electronic device operated by a laboratory.
  • the communication interface 410 may include at least one port for connecting the 3D scanner 110 or an external electronic device with a wired cable.
  • the communication interface 410 may communicate with the 3D scanner 110 or an external electronic device connected by wire through at least one port.
  • FIG 5 is a view illustrating an acquired second oral cavity image, according to an embodiment.
  • the second oral image 500 may be an oral image representing the patient's upper jaw in three dimensions. As shown in FIG. 5 , the second oral cavity image 500 may include embedded additional information 510 . In FIG. 5 , a case in which the additional information 510 is information on the name of a patient receiving dental treatment is illustrated as an example.
  • the second oral cavity image 500 may be obtained from the first oral cavity image.
  • the oral image processing apparatus 400 may obtain a first oral image by three-dimensionally modeling raw data generated by scanning the patient's upper jaw.
  • the first oral cavity image may be 3D scan data.
  • the 3D scan data may have a predetermined format.
  • the 3D scan data may have a format such as STL, OBJ, or PLY.
  • STL STL
  • OBJ OBJ
  • PLY PLY
  • the oral image processing apparatus 400 may receive additional information through the user input unit 330 .
  • the additional information input through the user input unit 330 may be a file having a format different from that of the 3D scan data.
  • the additional information may be a file having an extension such as doc, hwp, jpg, pdf, or txt.
  • the oral cavity image processing apparatus 400 may acquire the second oral cavity image 500 by performing texture mapping to embed additional information in the first oral cavity image.
  • the source data mapped to the first oral image which is the three-dimensional scan data, may be a two-dimensional image.
  • texture mapping the position of a predetermined pixel on the two-dimensional image, that is, the pixel with the U-axis and V-axis coordinate values of (u, v) on the two-dimensional image, and the X-axis, Y-axis, and Z-axis coordinate values on the three-dimensional image, respectively It is a modeling method that projects a two-dimensional image onto the surface of a three-dimensional model by mapping to (x, y, z) pixels.
  • the oral image processing apparatus 400 may adjust the color or other variables, ie, parameter values, of pixels at positions corresponding to additional information in the source data mapped to the three-dimensional scan data, that is, the two-dimensional image, to different values. .
  • the oral image processing apparatus 400 may map the 2D image whose pixel color or parameter value is adjusted to the 3D scan data, so that additional information is embedded in the 3D scan data.
  • the oral image processing apparatus 400 may embed additional information into the 3D scan data by changing the color of points or vertices of the 3D scan data. This will be described in more detail with reference to FIGS. 7 to 9 .
  • the additional information 510 included in the second oral cavity image 500 is embedded according to the 3D scan data. That is, the second oral cavity image 500 may be 3D scan data including the embedded additional information 510 .
  • the oral cavity image processing apparatus 400 may transmit the second oral cavity image 500 to an external electronic device or a server.
  • the oral image processing device 400 is to transmit additional information to an external electronic device or server, etc., without the need to create and deliver scan data and a separate file or document, etc., the second oral cavity Only one image 500 can be transmitted.
  • An external device or server operated by a laboratory, etc. may use the embedded additional information 510 as well as the image for the oral cavity from the second oral image 500 received from the oral image processing device 400 .
  • FIG. 6 is a diagram illustrating a user interface screen including an additional information input area, according to an embodiment.
  • the oral cavity image processing apparatus 400 may acquire an oral cavity image 610 representing the patient's upper jaw in three dimensions.
  • the oral cavity image processing apparatus 400 may generate the user interface screen 600 including the oral cavity image 610 and visually output the user interface screen 600 through the display 430 .
  • the user interface screen 600 may further include a menu bar 630 including at least one menu for editing or changing the oral image 610 .
  • the menu bar 630 may include menus including enlargement, reduction, full screen view, previous image view, angle or position change of the oral image 610, and the like.
  • the menu bar 630 may further include a menu 631 for inputting additional information.
  • the user may select a menu 631 for inputting additional information from the menu bar 630 to input additional information.
  • the oral image processing apparatus 400 may output the additional information input area 640 for inputting additional information on the user interface screen 600 .
  • the oral image processing apparatus 400 may identify an additional information input area.
  • the additional information input area may mean an area into which additional information can be input.
  • the oral cavity image processing apparatus 400 may automatically recognize the oral cavity area 611 on the user interface screen 600 .
  • the oral cavity area 611 may mean an area including at least one of teeth and gingiva.
  • the oral image processing apparatus 400 may mask the oral cavity 611 among regions included in the user interface screen 600 and identify the additional information input region in the remaining regions except for the masked region.
  • the oral image processing apparatus 400 may receive a treatment target tooth or gingiva selected from the user. In this case, the oral image processing apparatus 400 may identify the additional information input area in the area outside a predetermined range or more from the tooth or gingiva selected by the user.
  • the oral image processing apparatus 400 may identify the additional information input region from the user interface screen 600 by using the neural network learned to identify the additional information input region from the plurality of oral images.
  • the oral image processing apparatus 400 may output the identified additional information input area on the user interface screen 600 .
  • the oral image processing apparatus 400 may display the additional information input area using a figure, an arrow, a line, a dot, a pattern, a symbol, a color different from the surrounding color, or a transparency different from the surrounding transparency, a blinking cursor, etc. .
  • the oral cavity image processing apparatus 400 may identify a region located inside the oral cavity region 611 among regions other than the oral cavity region 611 as the additional information input region.
  • the oral image processing apparatus 400 identifies an arbitrary position inside the oral cavity 611 as the first additional information input region 640-1, and outputs the identified region to the user interface screen 600 in a rectangular shape.
  • the oral image processing apparatus 400 identifies the entire region inside the boundary of the oral cavity region 611 as the second additional information input region 640-2, and displays the identified region on the user interface screen 600 in a polygonal shape. can be printed out.
  • the oral image processing apparatus 400 selects an arbitrary position outside the oral cavity 611 among regions other than the oral cavity 611 to the third additional information input area 640 - 3 or the fourth additional information input area 640 . -4), and the identified additional information input areas 640 - 3 and 640 - 4 may be output on the user interface screen 600 .
  • the oral image processing apparatus 400 may receive a selection of the additional information input area directly from the user. For example, when a user clicks or touches a specific location on the user interface screen 600 using a mouse, keyboard, or touch panel, the oral image processing apparatus 400 identifies the specific location selected by the user as an additional information input area and , an additional information input area may be displayed in the identified area.
  • the oral image processing apparatus 400 adds the corresponding region when the region selected by the user is the oral region 611 or an region adjacent to the oral region 611, or a region within a predetermined range with the tooth or gingiva to be treated. It is possible to indicate that selection cannot be made as the information input area, create the additional information input area in another area adjacent to the corresponding area, or not create the additional information input area in the corresponding area without a separate indication.
  • the oral image processing apparatus 400 may receive additional information from the user, and display the received additional information on the additional information input area 640 currently output on the user interface screen 600 .
  • the oral image processing apparatus 400 converts the additional information received from the user into the first additional information input area 640-1. ) can be displayed and printed.
  • the additional information displayed on the first additional information input area 640-1 may be expressed according to the curvature of the oral image 610, or may be expressed as intaglio or embossing.
  • the user may input additional information and edit the additional information by using a program, tool, or application for inputting additional information provided by the oral image processing apparatus 400 .
  • the additional information may have various forms such as language marking characters, special characters, numbers, punctuation marks, figures, arrows, lines, patterns, and symbols.
  • the oral image processing apparatus 400 may further include a menu 635 for inputting and editing additional information on the user interface screen 600 so that the user can input and edit additional information in various forms.
  • the menu 635 for inputting and editing additional information may include various menus for adjusting the type of additional information, the size, color, transparency, etc. of the font, or selecting special characters or symbols, but is not limited thereto.
  • the user may select a menu 635 for inputting and editing additional information on the user interface screen 600 to input additional information in a desired type of font and in a desired size.
  • the oral image processing apparatus 400 may not output all of the received additional information to the screen when the received additional information is larger than a predetermined size, or when there are a plurality of additional information input areas in which the additional information is displayed. have. Instead, the oral image processing apparatus 400 reduces the size of the additional information input area and outputs only a part of the additional information input area, or only an identifier indicating the location of the additional information input area on the user interface screen 600 . can be printed on The identifier for indicating the location of the additional information input area may include, for example, a speech bubble, an emoticon, an icon, or the like.
  • the oral image processing apparatus 400 displays the position of the fourth additional information input area 640-4 instead of outputting the entire fourth additional information input area 640-4 on the screen. Only the identifier 640 - 4 ′ in the form of a speech bubble may be output on the user interface screen 600 .
  • the oral image processing apparatus 400 performs additional input input to the fourth additional information input area 640 - 4 .
  • the entire information may be output on the user interface screen 600 .
  • the oral image processing apparatus 400 may automatically or manually identify the additional information input area. Also, the oral image processing apparatus 400 may receive additional information in various forms. Also, the oral image processing apparatus 400 may output a user interface screen in which the additional information input area is displayed in the identified additional information input area. Also, the oral image processing apparatus 400 may output a user interface screen in which additional information input from the user is displayed in the additional information input area.
  • FIG. 7 is a view for explaining a method of embedding additional information in an oral image, according to an embodiment.
  • the oral cavity image processing apparatus 400 may acquire the second oral cavity image 700 by embedding the additional information 710 in the first oral cavity image.
  • Both the first oral cavity image and the second oral cavity image may be three-dimensional scan data.
  • the 3D scan data may be expressed as point cloud data or may be expressed as mesh data generated by a technique such as triangulation with reference to the point cloud data.
  • FIG. 7 is an enlarged view of the second oral cavity image 700, and shows a case in which the second oral cavity image is expressed as a number of point clouds.
  • the additional information may include letters, numbers, images, and the like.
  • the additional information consists of characters
  • one independent character may be formed by gathering the most concise basic structures forming the character.
  • the basic structures may include a line or a point.
  • the oral image processing apparatus 400 may identify a basic structure constituting letters, numbers, images, etc. included in the additional information 710 in order to embed the additional information 710 in the first oral image. .
  • the oral cavity image processing apparatus 400 may change the color of the points on the first oral cavity image at a position corresponding to a basic structure such as a line or a dot to another color. That is, the oral image processing apparatus 400 changes the color of the points on the 3D scan data at the position where the additional information 710 is to be embedded to a color different from the original color so that the additional information 710 is embedded in the scan data.
  • the displayed second oral cavity image 700 may be acquired.
  • FIG. 8 is a view for explaining a method of embedding additional information in an oral image, according to another embodiment.
  • the oral cavity image processing apparatus 400 may acquire the second oral cavity image 800 by embedding the additional information 810 in the first oral cavity image.
  • the second oral cavity image 800 may be 3D scan data made of numerous meshes.
  • the mesh may be composed of polygons of a minimum unit called polygons.
  • the polygon may be, for example, a triangle.
  • the oral image processing apparatus 400 identifies a basic structure constituting the text or image included in the additional information 810, and determines the color of the mesh on the first oral cavity image at a position corresponding to the basic structure.
  • the additional information 810 may be embedded in the scan data. A method of embedding the additional information 810 in scan data by changing the color of the mesh will be described in more detail below with reference to FIG. 9 .
  • FIG. 9 is a diagram for explaining embedding additional information in scan data by changing a color of a mesh, according to an embodiment.
  • FIG. 9 is an enlarged view of the second oral cavity image 800 of FIG. 8 .
  • FIG. 9 illustrates second oral cavity images 910 and 920 in which additional information 911 and 913 are embedded. shows
  • Each vertex of the triangles constituting the mesh may be referred to as a vertex.
  • Each vertex has its own color, and when two connected vertices have different colors, a triangle between two vertices can be expressed as a color obtained by linearly interpolating and/or gradient two different colors. have.
  • the method of expressing the case where the colors of the two connected vertices are different is not limited thereto. Also, when the colors of the three vertices constituting the connected triangle are the same, the color of the surface of the triangle may be expressed as the same color as the colors of the three vertices.
  • the oral cavity image processing apparatus 400 changes or gives the additional information 911 to the first oral cavity image by changing or imparting colors of vertices in the first oral cavity image that are located adjacent to the positions through which the additional information 911 and 913 pass. , 913) can be embedded.
  • the lines forming the additional information 911 and 913 have a predetermined thickness
  • vertices adjacent to the position through which the additional information 911 and 913 pass are located on both sides of the line having the predetermined thickness and form the additional information 911 and 913. It may mean a vertex located closest to .
  • a triangle composed of the same vertices will have the same color. That is, as shown in the upper diagram of FIG. 9 , all triangles made of vertices adjacent to the position through which the additional information 911 passes have the first color, so that they can be distinguished from other regions.
  • a triangle including both a vertex having a first color and a vertex having a second color is expressed as a color obtained by linear interpolation and/or gradient of the first color and the second color.
  • the additional information 911 can be more accurately embedded in a corresponding position as the density of the mesh increases.
  • the degree of matching between the position through which the additional information 911 passes and the color change of the vertices included in the mesh in the first oral image may be low.
  • the oral cavity image processing apparatus 400 changes or gives the additional information 911 and 913 to the first oral image by changing or giving the color of the vertices in the first oral image at the position through which the additional information 911 and 913 pass. ) can be embedded. That is, the oral image processing apparatus 400 changes or gives the color of the vertices included in the mesh through which the lines forming the additional information 911 and 913 pass to a color different from the original color, thereby providing additional information ( 911, 913) can be embedded.
  • the lower view of FIG. 9 shows a method of increasing the number of triangles by splitting triangles in the first oral cavity image, which are located at positions corresponding to the positions through which the additional information 913 passes.
  • the oral image processing apparatus 400 is a new vertex at a position where the additional information 913 and the mesh meet in the first oral image at a position corresponding to the point through which the additional information 913 passes.
  • the oral image processing apparatus 400 may add vertices at positions where the borders (edges) of the additional information 913 having a predetermined thickness meet and the borders (edges) cross each other. In this case, the number of triangles formed by the vertices also increases.
  • the oral image processing apparatus 400 changes or gives the first color the color of the vertices in the first oral image, which is located at the position through which the additional information 913 passes, so that a triangle composed of the same vertices has the same color, so that another It can be differentiated from the area. According to the lower view of FIG. 9 , the number of triangles composed of the same vertices becomes larger than that according to the upper view of FIG. 9 , so that the additional information 913 can be more accurately embedded at a corresponding position in the first oral image. .
  • a triangle including a vertex having a first color and a vertex having a second color is a triangle in which the first color and the second color are linearly interpolated and/or gradient.
  • the oral image processing apparatus 400 may provide an offset line 914 at a position adjacent to both boundary lines 913-1 and 913-2 of the line. -1, 914-2) may be further formed. Also, new vertices may be added at points where the offset lines 914 - 1 and 914 - 2 and the mesh meet.
  • triangles are additionally formed also between the boundary lines 913 - 1 and 913 - 2 and the offset lines 914 - 1 and 914 - 2 of the line constituting the additional information 913 .
  • the area of the triangles expressed in the gradient color becomes smaller. More precisely, the additional information 913 can be embedded in the 3D scan data.
  • the oral cavity image processing apparatus 400 may acquire the second oral cavity image by embedding additional information in the first oral cavity image using various other methods.
  • FIG. 10 is a flowchart illustrating a method of embedding additional information into an oral image according to an embodiment.
  • the oral image processing apparatus may process the raw data received from the three-dimensional scanner to obtain a three-dimensional oral image (step 1010).
  • the oral image processing apparatus may identify the additional information input area in the 3D oral image (step 1020).
  • the oral image processing apparatus may directly receive the additional information input area from the user or automatically identify the additional information input area.
  • the oral image processing apparatus may mask the oral cavity region in the 3D oral cavity image, and identify the additional information input region in the remaining regions other than the oral cavity region.
  • the oral image processing apparatus may identify the additional information input area in an area outside a predetermined range or more from a tooth or gingiva selected as a treatment target by the user.
  • the oral image processing apparatus may receive additional information from the user.
  • the oral image processing apparatus may embed the additional information input from the user in the additional information input area (step 1030).
  • the oral image processing apparatus may embed the additional information in the oral cavity image by replacing a variable or color value of a pixel of the two-dimensional image mapped to the oral cavity image with a value corresponding to the additional information.
  • the oral image processing apparatus changes the color of at least one of the triangles consisting of points or vertices of the oral image at a position corresponding to the contour of at least one of the text and the image included in the additional information, It can be embedded in an oral image.
  • the method of processing an oral image according to an embodiment of the present disclosure may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium.
  • an embodiment of the present disclosure may be a computer-readable storage medium in which one or more programs including at least one instruction for executing a method of processing an oral image are recorded.
  • the oral image processing method includes obtaining a first oral cavity image and embedding the input additional information in at least a partial region of the first oral cavity image, so that the additional information is embedded 2
  • It may be implemented as a computer program product including a computer-readable recording medium in which a program for implementing an oral image processing method performed in an oral image processing apparatus, including the step of obtaining an oral image, is recorded.
  • the computer-readable storage medium may include program instructions, data files, data structures, and the like alone or in combination.
  • examples of the computer-readable storage medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and floppy disks.
  • Magneto-optical media such as, and hardware devices configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like may be included.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the 'non-transitory storage medium' may mean that the storage medium is a tangible device.
  • the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.
  • the method for processing an oral image according to various embodiments disclosed herein may be provided by being included in a computer program product.
  • the computer program product may be distributed in the form of a machine-readable storage medium (eg, compact disc read only memory (CD-ROM)). Alternatively, it may be distributed online (eg, downloaded or uploaded) through an application store (eg, play store, etc.) or directly between two user devices (eg, smartphones).
  • the computer program product according to the disclosed embodiment may include a storage medium in which a program including at least one instruction to perform the method of processing an oral image according to the disclosed embodiment is recorded.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Endoscopes (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)

Abstract

제1 구강 이미지를 획득하는 단계 및 입력된 부가 정보를 제1 구강 이미지의 적어도 일부 영역에 임베딩하여, 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계를 포함하는 구강 이미지 처리 방법이 개시된다.

Description

구강 이미지 처리 장치 및 구강 이미지 처리 방법
개시된 실시 예는 구강 이미지 처리 장치 및 구강 이미지 처리 방법에 대한 것으로, 보다 구체적으로, 구강 이미지를 처리 또는 가공하기 위한 장치 및 그 방법에 관한 것이다.
최근에는 환자의 치과 치료를 위해서, 환자의 구강에 삽입하여 구강 내의 이미지를 획득하는 구강 스캐너가 이용되고 있다. 구강 스캐너는 환자의 구강을 스캔함으로써 2차원 이미지 데이터를 획득할 수 있다. 2차원 이미지 데이터는 스캔된 구강 내부를 나타내는 이미지 형태의 데이터가 될 수 있다. 또한, 구강 스캐너에 연결된 PC 등의 컴퓨팅 장치는, 구강 스캐너가 획득한 2차원 이미지 데이터를 이용하여 3차원 구강 모델을 생성할 수 있다. 이하에서는, 2차원 스캔 데이터를 처리하는 컴퓨팅 장치를 구강 이미지 처리 장치라 칭하도록 한다.
3차원 구강 모델은 기공소로 전달되고, 기공소는 3차원 구강 모델을 이용하여 환자의 구강에 맞는 보철물 등을 제작하게 된다. 구체적으로, 치기공사 등과 같은 사용자는 수신된 3차원 구강 모델을 이용하여, 보철물 등과 같은 인공 구조물은 제작할 수 있다.
여기서, 치기공사 등과 같은 사용자가 보다 편리하고 정확하게 치과 치료에 이용되는 인공 구조물을 제작할 수 있도록 구강 이미지를 처리하는 방법 및 장치를 제공할 필요가 있다.
실시 예에 따른 구강 이미지 처리 방법은 제1 구강 이미지를 획득하는 단계 및 입력된 부가 정보를 상기 제1 구강 이미지의 적어도 일부 영역에 임베딩하여, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계를 포함할 수 있다.
도 1은 실시 예에 따른 구강 이미지 처리 시스템을 설명하기 위한 도면이다.
도 2는 실시 예에 따라, 구강 스캐너가 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 3은 실시 예에 따른 구강 이미지 처리 장치의 블록도이다.
도 4는 실시 예에 따른 구강 이미지 처리 장치의 내부 블록도이다.
도 5는 실시 예에 따라, 획득된 제2 구강 이미지를 도시한 도면이다.
도 6은 실시 예에 따라, 부가 정보 입력 영역을 포함하는 사용자 인터페이스 화면을 도시한 도면이다.
도 7은 일 실시 예에 따라, 부가 정보를 구강 이미지에 임베딩하는 방법을 설명하기 위한 도면이다.
도 8은 다른 실시 예에 따라, 부가 정보를 구강 이미지에 임베딩하는 방법을 설명하기 위한 도면이다.
도 9는 실시 예에 따라, 메쉬의 색상을 변경하여 부가 정보를 스캔 데이터에 임베딩하는 것을 설명하기 위한 도면이다.
도 10은 실시 예에 따라, 부가 정보를 구강 이미지에 임베딩하는 방법을 도시한 순서도이다.
실시 예에서, 상기 방법은 상기 제1 구강 이미지에서 부가 정보를 표시할 수 있는 부가 정보 입력 영역을 식별하는 단계를 더 포함할 수 있다.
실시 예에서, 상기 부가 정보 입력 영역을 식별하는 단계는 상기 제1 구강 이미지의 구강 영역 외의 나머지 영역에서 상기 부가 정보 입력 영역을 식별하는 단계를 포함할 수 있다.
실시 예에서, 상기 방법은 타겟이 되는 치아 및 치은 중 적어도 하나를 선택 받는 단계를 더 포함하고, 상기 부가 정보 입력 영역을 식별하는 단계는 상기 선택된 치아 및 치은 중 적어도 하나로부터 소정 범위 내의 영역을 제외한 나머지 영역에서 상기 부가 정보 입력 영역을 식별하는 단계를 포함할 수 있다.
실시 예에서, 상기 부가 정보 입력 영역을 식별하는 단계는 복수개의 구강 이미지들로부터 부가 정보 입력 영역을 식별하도록 학습된 뉴럴 네트워크를 이용하여 상기 제1 구강 이미지로부터 상기 부가 정보 입력 영역을 식별하는 단계를 포함할 수 있다.
실시 예에서, 상기 방법은 상기 부가 정보 입력 영역 선택을 위한 사용자 인터페이스 화면을 출력하는 단계를 더 포함하고, 상기 부가 정보 입력 영역을 식별하는 단계는 상기 사용자 인터페이스 화면에 대응하여, 선택된 영역을 상기 부가 정보 입력 영역으로 식별하는 단계를 포함할 수 있다.
실시 예에서, 상기 방법은 상기 식별된 부가 정보 입력 영역이 표시된 사용자 인터페이스 화면, 및 상기 식별된 부가 정보 입력 영역 내에 상기 입력된 부가 정보가 표시된 사용자 인터페이스 화면 중 적어도 하나의 화면을 출력하는 단계를 더 포함할 수 있다.
실시 예에서, 상기 입력된 부가 정보가 소정 크기 이상인 경우 및 상기 부가 정보가 표시된 상기 부가 정보 입력 영역이 복수 개인 경우 중 적어도 하나인 경우, 상기 입력된 부가 정보가 표시된 사용자 인터페이스 화면을 출력하는 단계는 상기 부가 정보 대신 상기 부가 정보 입력 영역의 위치를 표시하는 식별자 또는 상기 부가 정보 입력 영역의 크기를 축소하여 출력하는 단계를 포함할 수 있다.
실시 예에서, 상기 부가 정보는 문자 및 이미지 중 적어도 하나를 포함할 수 있다.
실시 예에서, 상기 제1 구강 이미지는 3차원 스캔 데이터이고, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계는 상기 제1 구강 이미지로 매핑되는 2차원 이미지의 픽셀의 변수나 색상 값을 상기 부가 정보에 대응하는 값으로 대체함으로써, 상기 부가 정보를 상기 제1 구강 이미지에 임베딩하여 상기 제2 구강 이미지를 획득하는 단계를 포함할 수 있다.
실시 예에서, 상기 제1 구강 이미지는 점 및 메쉬(mesh) 중 적어도 하나로 표현되는 3차원 스캔 데이터이고, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계는 상기 부가 정보에 포함된 문자 및 이미지 중 적어도 하나의 윤곽선에 대응하는 위치에 있는 상기 제1 구강 이미지의 점, 정점(vertex), 및 상기 정점으로 이루어진 폴리곤 중 적어도 하나의 색상을 변경하여, 상기 부가 정보를 상기 제1 구강 이미지에 임베딩하여 상기 제2 구강 이미지를 획득하는 단계를 포함할 수 있다.
실시 예에 따른 구강 이미지 처리 장치는 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 제1 구강 이미지를 획득하고, 입력된 부가 정보를 상기 제1 구강 이미지의 적어도 일부 영역에 임베딩하여, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득할 수 있다.
본 명세서는 본 출원의 권리범위를 명확히 하고, 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자가 본 출원을 실시할 수 있도록, 본 출원의 원리를 설명하고, 실시 예들을 개시한다. 개시된 실시 예들은 다양한 형태로 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 출원이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 출원의 작용 원리 및 실시 예들에 대해 설명한다.
본 명세서에서 이미지는 적어도 하나의 치아, 또는 적어도 하나의 치아를 포함하는 구강을 나타내는 이미지(이하, '구강 이미지')를 포함할 수 있다.
또한, 본 명세서에서 이미지는 대상체에 대한 2차원 이미지 또는 대상체를 입체적으로 나타내는 3차원 구강 모델 또는 3차원 이미지가 될 수 있다.
또한, 본 명세서에서 데이터는 대상체를 2차원 또는 3차원적으로 표현하기 위해서 필요한 정보, 예를 들어, 적어도 하나의 카메라를 이용하여 획득된 로우 데이터(raw data) 등을 의미할 수 있다.
구체적으로, 로우 데이터는 구강 이미지를 생성하기 위해서 획득되는 데이터로, 구강 스캐너(intraoral scanner)를 이용하여 대상체인 환자의 구강 내를 스캔(scan)할 때 구강 스캐너에 포함되는 적어도 하나의 이미지 센서에서 획득되는 데이터(예를 들어, 2차원 데이터)가 될 수 있다. 구강 스캐너에서 획득되는 로우 데이터는, 스캔 데이터 또는 2차원 이미지 데이터로 언급될 수도 있다. 로우 데이터는, 구강 스캐너를 이용하여 대상체를 스캔할 때 복수의 카메라들에 의해 획득되는 서로 다른 시점의 2차원 이미지들을 의미할 수 있다.
본 명세서에서 대상체(object)는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 대상체는 적어도 하나의 치아를 포함하는 구강을 포함할 수 있다. 이와 함께, 또는 이와 별개로, 대상체는 구강을 본 뜬 석고 모델, 틀니나 의치 등의 덴쳐(denture), 이(teeth) 형상의 덴티폼(dentiform) 등을 포함할 수 있다. 예컨대, 대상체는 치아, 치은, 구강의 적어도 일부 영역, 및/또는 구강 내에 삽입 가능한 인공 구조물(예를 들어, 교정 장치, 임플란트, 크라운, 인레이, 온레이, 인공 치아, 구강 내 삽입되는 교정 보조 도구 등) 등을 포함할 수 있다. 여기서, 교정 장치는 브라켓, 어태치먼트(attachment), 교정용 나사, 설측 교정 장치, 및 가철식 교정 유지 장치 중 적어도 하나를 포함할 수 있다.
전술한 바와 같이, 구강 스캐너에서 획득된 2차원 스캔 데이터에 근거하여 3차원 구강 모델을 생성할 수 있다. 3차원 구강 모델은 치과 치료에 이용되는 인공 구조물의 생성을 위하여, 기공소 등으로 전송될 수 있다.
3차원 구강 모델을 전송하는데 있어서, 치과의는 환자의 치과 치료와 관련되는 특이 사항이나 요청 사항 등의 부가 정보를 기공소로 전달하고자 하는 경우가 있을 수 있다. 이를 위해, 치과의는 전달하고자 하는 부가 정보가 적힌 문서를 기공소로 전달하거나, 부가 정보를 포함하는 이메일이나 문자, 파일 등을 통신망을 이용하여 기공소로 전송할 수 있다.
그러나, 문서, 이메일, 파일 등은 모두 3차원 구강 모델과는 별도로 작성되고 전달된다는 점에서, 3차원 구강 모델에 맞지 않는 잘못된 정보가 전달될 가능성이 있다. 또한, 기공소는 3차원 구강 모델과 별도로 이러한 부가 정보를 수신하여 이를 3차원 구강 모델과 함께 관리하여야 한다는 점에서 관리가 번거롭다는 문제가 있다.
그러므로, 개시된 실시예는 전술한 문제점을 극복하기 위해서, 3차원 구강 모델과 같은 구강 이미지에 부가 정보를 포함시켜 함께 전송할 수 있도록 하는 방법 및 장치를 제공한다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 실시 예에 따른 구강 이미지 처리 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 구강 이미지 처리 시스템은 3차원 스캐너(110), 및 3차원 스캐너(110)와 통신망(130)을 통해 결합된 구강 이미지 처리 장치(120)를 포함할 수 있다.
3차원 스캐너(110)는 대상체의 이미지를 획득하는 의료 장치이다. 대상체는 구강, 구강을 본 뜬 석고 모형, 덴쳐, 덴티폼 중 적어도 하나를 포함할 수 있다.
3차원 스캐너(110)는 테이블 스캐너와 구강 스캐너 중 적어도 하나를 포함할 수 있다. 테이블 스캐너는 대상체, 예컨대, 석고 모형이나 덴쳐, 덴티폼 등을 스캔하여 스캔 데이터를 획득할 수 있다. 테이블 스캐너는 테이블의 회전을 이용하여 대상체를 스캔함으로써 대상체에 대한 3차원 스캔 데이터를 획득할 수 있다.
구강 스캐너는 사용자가 손으로 잡고 이동하면서 구강을 스캔하는 핸드 헬드(handheld)형일 수 있다. 3차원 스캐너(110)는 구강 내에 삽입되어 비 접촉식으로 치아를 스캐닝함으로써, 적어도 하나의 치아를 포함하는 구강에 대한 이미지를 획득할 수 있다. 또한, 3차원 스캐너(110)는 구강 내에 인입 및 인출이 가능한 형태를 가질 수 있으며, 적어도 하나의 이미지 센서(예를 들어, 광학 카메라 등)를 이용하여 환자의 구강 내부를 스캔 할 수 있다. 3차원 스캐너(110)는 대상체인 구강 내부의 치아, 치은 및 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어 등을 포함하는 교정 장치, 임플란트, 인공 치아, 구강 내 삽입되는 교정 보조 도구 등) 중 적어도 하나의 표면을 이미징하기 위해서, 대상체에 대한 표면 정보를 로우 데이터(raw data)로 획득할 수 있다.
3차원 스캐너(110)에서 획득된 2차원 이미지 데이터는 통신망(130)를 통하여 연결되는 구강 이미지 처리 장치(120)로 전송될 수 있다.
구강 이미지 처리 장치(120)는 3차원 스캐너(110)와 유선 또는 무선 통신망(130)을 통하여 연결되며, 3차원 스캐너(110)로부터 대상체를 스캔하여 획득된 2차원 이미지 데이터를 수신하고, 수신된 2차원 이미지 데이터에 근거하여 구강 이미지를 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다.
구강 이미지 처리 장치(120)는 3차원 스캐너(110)에서 수신된 2차원 이미지 데이터에 근거하여, 2차원 이미지 데이터를 처리하여 생성한 정보 및 2차원 이미지 데이터를 처리하여 생성한 구강 이미지 중 적어도 하나를 생성하고, 생성된 정보 및 구강 이미지를 디스플레이(125)를 통하여 디스플레이 할 수 있다.
구강 이미지 처리 장치(120)는 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으나, 이에 한정되지 않는다.
구강 이미지 처리 장치(120)는 구강 이미지를 처리하기 위한 서버(또는 서버 장치) 등의 형태로 존재할 수도 있다.
3차원 스캐너(110)는 구강 스캔을 통하여 획득한 로우 데이터(raw data)를 그대로 구강 이미지 처리 장치(120)로 전송할 수 있다. 이 경우, 구강 이미지 처리 장치(120)는 수신된 로우 데이터에 근거하여 구강을 3차원적으로 나타내는 3차원 구강 이미지를 생성할 수 있다. 또한, '3차원 구강 이미지'는 수신된 로우 데이터에 근거하여 구강의 내부 구조를 3차원적으로 모델링(modeling)하여 생성될 수 있으므로, '3차원 구강 모델'로 호칭될 수도 있다. 이하에서는, 구강을 2차원 또는 3차원적으로 나타내는 모델 또는 이미지를 통칭하여, '구강 이미지'라 칭하도록 한다.
구강 이미지 처리 장치(120)는 생성된 구강 이미지를 분석 및/또는 처리하여 이를 디스플레이(125) 및/또는 외부 장치로 출력하거나 전송할 수 있다.
또 다른 예로, 3차원 스캐너(110)가 구강 스캔을 통하여 로우 데이터(raw data)를 획득하고, 획득된 로우 데이터를 가공하여 대상체인 구강에 대응되는 이미지를 생성하여 구강 이미지 처리 장치(120)로 전송할 수 있다.
실시 예에서, 3차원 스캐너(110)는 대상체에 패턴 광을 조사(project)하고 패턴 광이 조사된 대상체를 스캔함으로써, 패턴의 변형에 의한 삼각 계측의 원리를 이용하여 대상체의 형상을 나타내는 3차원 데이터를 획득할 수 있다.
실시 예에서, 3차원 스캐너(110)는 공초점(confocal) 방식을 이용하여 대상체에 대한 3차원 데이터를 획득할 수도 있다. 공초점 방식은 3차원 표면 측정을 위한 비파괴 광학 영상화 기법으로, 핀홀 구조를 이용하여 공간해상도가 높은 광학 단면 이미지를 획득할 수 있다. 3차원 스캐너(110)는 축 방향을 따라 획득한 2차원 이미지를 스택(stack)하여 3차원 데이터를 획득할 수 있다.
그러나, 이는 실시 예로, 3차원 스캐너(110)는 전술한 방법 외에도 다양한 방식을 이용하여 로우 데이터로부터 구강 이미지를 획득할 수 있다. 3차원 스캐너(110)는 3차원 데이터를 구강 이미지 처리 장치(120)로 전송할 수 있다. 이 경우, 구강 이미지 처리 장치(120)는 수신된 이미지를 분석, 처리, 가공, 디스플레이 및/또는 전송할 수 있다.
도 2는 실시 예에 따라, 구강 스캐너가 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
실시 예에서, 3차원 스캐너(110)는 적어도 하나 이상의 카메라를 이용하여 이미지를 획득하고, 획득한 이미지에 기반하여 3차원 데이터를 획득할 수 있다. 도 2에서, 3차원 스캐너(110)는 광학식 3차원 스캐너일 수 있다. 3차원 스캐너(110)는 대상체(210)의 표면에 대한 3차원 데이터를 획득하기 위해, 양안시 구조광(structured light with stereo vision) 방식을 이용할 수 있다.
3차원 스캐너(110)는 두 개 이상의 카메라(230, 240)와 구조광(structured light)(225)을 투사할 수 있는 프로젝터(220)를 포함할 수 있다. 실시 예에서, 3차원 스캐너(110)는 대상체(210)에게 구조광(225)을 투사하고, 좌안 시야(left Field of View)에 대응되는 L 카메라(230)과 우안 시야(Right Field of View)에 대응되는 R 카메라(240) 각각에서 좌안 시야에 대응되는 L 이미지(235) 및 우안 시야에 대응되는 R 이미지(245)를 획득할 수 있다. L 이미지(235) 및 R 이미지(245)는, 대상체(210)의 표면을 나타내는 3차원 이미지 프레임으로 재구성될 수 있다.
3차원 스캐너(110)는 대상체(210)에 대한 L 이미지(235) 및 R 이미지(245)를 포함하는 2차원 이미지 프레임을 연속적으로 획득할 수 있다. 3차원 스캐너(110) 또는 구강 이미지 처리 장치(120)는, L 이미지(235) 및 R 이미지(245)를 포함하는 2차원 이미지 프레임으로부터 대상체(210)의 표면 형상을 나타내는 3차원 이미지 프레임을 획득할 수 있다. 도 2에서는, 3차원 스캐너(110)가 두 개의 카메라(230, 240)를 이용하여 획득한 두 개의 이미지로부터 3차원 데이터를 획득하는 것을 설명하였으나, 이는 하나의 실시 예로, 3차원 스캐너(110)는 두 개의 카메라(230, 240) 중 어느 하나의 카메라만을 이용하여 이미지를 획득할 수도 있다.
3차원 스캐너(110)는, 대상체(210) 주위를 이동하면서 일정한 시간 간격(예를 들어, 초당 10~30 프레임)으로 대상체(210)를 스캔함으로써 복수의 2차원 프레임들을 획득할 수 있다. 3차원 스캐너(110) 또는 구강 이미지 처리 장치(120)는 복수의 2차원 이미지 프레임들로부터 복수의 3차원 이미지 프레임들을 획득할 수 있다.
구강 이미지 처리 장치(120)는, 복수의 3차원 이미지 프레임들을 병합(merge) 또는 위치 정렬(align)함으로써 대상체(210) 전체에 대한 3차원 구강 모델을 획득할 수 있다.
도 3은 실시 예에 따른 구강 이미지 처리 장치의 내부 블록도이다.
구강 이미지 처리 장치(300)는 데이터 처리 장치로도 호칭될 수 있다.
도 3의 구강 이미지 처리 장치(300)는 도 1의 구강 이미지 처리 장치(120)의 일 실시 예일 수 있다. 따라서, 도 1의 구강 이미지 처리 장치(120)에 대해 설명한 내용과 중복된 부분에 대한 설명은 생략한다.
구강 이미지 처리 장치(300)는 3차원 스캐너(110)로부터 수신한 2차원 이미지 데이터를 이용하여 구강 이미지를 생성, 처리, 가공, 디스플레이 및/또는 전송할 수 있는 전자 장치일 수 있다.
도 3을 참조하면, 구강 이미지 처리 장치(300)는 프로세서(310), 메모리(320) 및 사용자 입력부(330)를 포함할 수 있다.
구체적으로, 구강 이미지 처리 장치(300)는 사용자 입력부(330), 하나 이상의 인스트럭션을 저장하는 메모리(320), 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서(310)를 포함한다. 그리고, 프로세서(310)는 상기 하나 이상의 인스트럭션을 실행함으로써, 제1 구강 이미지를 획득하고, 상기 사용자 입력부를 통해 입력된 부가 정보를 상기 제1 구강 이미지의 적어도 일부 영역에 임베딩하여, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득한다.
예를 들어, 실시 예에 따른 메모리(320)는 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(320)는 프로세서(310)가 실행하는 적어도 하나의 인스트럭션이나 프로그램을 저장하고 있을 수 있다.
또한, 메모리(320)는 3차원 스캐너(110)로부터 수신되는 데이터, 예를 들어, 구강 스캔을 통하여 획득된 로우 데이터 등을 저장할 수 있다. 또는, 메모리(320)는 구강을 3차원적으로 나타내는 구강 이미지를 저장할 수 있다.
실시 예에서, 메모리(320)는 구강 이미지에서 부가 정보 입력 영역을 식별하기 위한 하나 이상의 인스트럭션을 포함할 수 있다.
실시 예에서, 프로세서(310)가 뉴럴 네트워크를 이용하여 부가 정보 입력 영역을 식별하는 경우, 메모리(320)는 뉴럴 네트워크를 저장할 수 있다.
실시 예에서, 메모리(320)는 부가 정보 입력을 위한 전용 소프트웨어를 저장할 수 있다. 부가 정보 입력을 위한 전용 소프트웨어는 전용 프로그램, 전용 툴(tool), 또는 전용 어플리케이션 등으로 호칭될 수 있다.
실시 예에서, 메모리(320)는 구강 이미지에 부가 정보를 임베딩하기 위한 하나 이상의 인스트럭션을 포함할 수 있다.
실시 예에 따른 사용자 입력부(330)는 구강 이미지 처리 장치(300)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력부(330)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자 인터페이스 화면 상의 일 지점을 지정 또는 선택하기 위한 마우스(mouse) 또는 키보드(key board) 등을 포함하는 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다. 또한, 사용자 입력부(330)는 음성 인식을 위한 음성 인식 장치를 포함할 수 있다. 예를 들어, 음성 인식 장치는 마이크로폰이 될 수 있으며, 음성 인식 장치는 사용자의 음성 명령 또는 음성 요청을 수신할 수 있다. 그에 따라서, 프로세서(310)는 음성 명령 또는 음성 요청에 대응되는 동작이 수행되도록 제어할 수 있다.
실시 예에서, 사용자 입력부(330)는 치과의 등의 사용자로부터 부가 정보를 입력 받을 수 있다. 부가 정보는 사용자가 구강 이미지에 부수적으로 기록하고자 하는 정보를 의미할 수 있다. 예컨대, 부가 정보는 구강과 관련된 정보나 환자와 관련된 정보, 기타 요청 사항 등을 포함할 수 있다. 또 다른 예로, 부가 정보는 구강 이미지에 근거하여 인공 구조물을 제작할 때 이용 또는 참조되는 정보를 포함할 수 있다.
치과의는 사용자 입력부(330)를 이용하여 3차원 스캔 데이터에 포함된 치아나 치은과 관련하여 코멘트하고자 하는 내용 등을 부가 정보로 입력할 수 있다. 예컨대, 사용자(예를 들어, 치과의)는 키보드 등을 이용하여 문자로 된 부가 정보를 타이핑하거나 또는 마우스나 터치 패널 등을 이용하여 이미지 등을 부가 정보로 생성하고 이를 부가 정보로 입력할 수 있다.
부가 정보는 기호, 문자, 이미지 및 색상 중 적어도 하나를 포함할 수 있다. 부가 정보에 포함된 문자는 한글, 알파벳, 한자 등의 언어 표기 문자, 특수 문자, 숫자, 구두점 중 적어도 하나를 포함할 수 있다. 이외에도, 부가 정보는 도형, 화살표, 선, 패턴, 기호 중 적어도 하나를 포함할 수 있다. 예를 들어, 부가 정보는 환자에 대한 정보를 나타내는 문자 및 기호의 조합이 될 수 있다. 또한, 부가 정보는 2차원 또는 3차원적으로 표현될 수 있다. 예를 들어, 부가 정보는 환자에 대한 정보를 나타내는 텍스트로 2차원 상에서 표현되는 정보가 될 수 있다.
사용자는 부가 정보 입력을 위한 프로그램이나 툴, 또는 어플리케이션으로 등을 이용하여 부가 정보를 입력하고, 이를 편집할 수 있다.
실시 예에 따른 프로세서(310)는 구강 이미지 처리 장치(300) 전반을 제어할 수 있다. 프로세서(310)는 적어도 하나의 인스트럭션을 실행하여 의도하는 동작이 수행되도록 제어할 수 있다. 여기서, 적어도 하나의 인스트럭션은 프로세서(310)와 별도로 구강 이미지 처리 장치(300) 내에 포함되는 메모리(320) 또는 프로세서(310)내에 포함되는 내부 메모리(미도시)에 저장되어 있을 수 있다.
구체적으로, 프로세서(310)는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 구강 이미지 처리 장치(300) 내부에 포함되는 적어도 하나의 구성들을 제어할 수 있다. 따라서, 프로세서(310)가 소정 동작들을 수행하는 경우를 예로 들어 설명하더라도, 프로세서(310)가 소정 동작들이 수행되도록 구강 이미지 처리 장치(300) 내부에 포함된 적어도 하나의 구성들을 제어하는 것을 의미할 수 있다.
실시 예에서, 프로세서(310)는 제1 구강 이미지를 획득할 수 있다. 제1 구강 이미지는 대상체를 스캔하여 획득한 데이터를 기반으로 생성된 구강 이미지일 수 있다. 제1 구강 이미지는 3차원 스캔 모델일 수 있다. 3차원 스캔 모델은 3차원 스캔 데이터로도 호칭될 수 있다. 제1 구강 이미지는 구강을 직접 스캔하여 획득한 이미지일 수 있다. 또는 제1 구강 이미지는 테이블 스캐너로 석고 모형을 스캔하여 획득한 데이터일 수도 있다. 프로세서(310)는 3차원 스캐너(110)로부터 수신한 2차원 스캔 데이터를 3차원적으로 모델링하여 3차원 스캔 모델을 획득할 수 있다. 구체적으로, 제1 구강 이미지는 부가 정보가 삽입되지 않은 3차원 스캔 모델이 될 수 있다.
실시 예에서, 프로세서(310)는 사용자 입력부(330)를 통해 입력된 부가 정보를 제1 구강 이미지에 임베딩할 수 있다. 이하에서는, 제1 구강 이미지에 부가 정보를 임베딩하여 생성한 이미지를 '제2 구강 이미지'라 칭하도록 한다.
이를 위해, 프로세서(310)는 제1 구강 이미지에서 부가 정보를 입력할 수 있는 영역이 어디인지를 식별할 수 있다. 프로세서(310)는 자동으로, 또는 수동으로, 제1 구강 이미지에서 부가 정보가 입력될 수 있는 영역이 어디인지를 식별할 수 있다. 이하, 부가 정보가 입력될 수 있는 영역을 부가 정보 입력 영역으로 호칭하기로 한다.
제1 구강 이미지는 대상체, 예컨대, 환자의 구강을 스캔하여 생성된 이미지이므로, 치아나 치은과 같은 구강 정보가 포함되어 있다. 따라서, 프로세서(310)는 제1 구강 이미지 내에서 치아나 치은 등을 가리지 않는 위치를 부가 정보 입력 영역으로 식별할 수 있다. 실시 예에서, 프로세서(310)는 제1 구강 이미지에서 치아 및 치은 중 적어도 하나를 포함하는 영역을 자동으로 인식할 수 있다. 프로세서(310)는 제1 구강 이미지에서, 치아 및 치은 중 적어도 하나를 포함하는 영역을 마스킹(masking)하고, 마스킹한 영역을 제외한 나머지 영역에서 부가 정보 입력 영역을 식별할 수 있다.
실시 예에서, 프로세서(310)는 사용자 입력부(330)를 통해 타겟이 되는 치아 및 치은 중 적어도 하나를 선택 받을 수 있다. 예컨대, 환자의 치아 중, 상악의 우측 앞니 영역이 치료해야 할 중요한 영역인 경우, 사용자는 사용자 입력부(330)를 이용하여 상악의 우측 앞니를 타겟이 되는 치아로 선택할 수 있다. 프로세서(310)는 타겟으로 선택된 치아나 치은을 가리지 않는 영역에서 부가 정보 입력 영역을 식별할 수 있다. 위 예에서, 프로세서(310)는 사용자로부터 선택된 상악의 우측 앞니로부터 소정 범위 내의 영역을 마스킹하고, 마스킹한 영역을 제외한 나머지 영역에서 부가 정보 입력 영역을 식별할 수 있다.
실시 예에서, 프로세서(310)는 복수개의 구강 이미지들로부터 부가 정보 입력 영역을 식별하도록 학습된 신경망, 즉, 뉴럴 네트워크를 이용하여, 제1 구강 이미지로부터 부가 정보 입력 영역을 식별할 수도 있다. 개시된 실시 예에서 이용되는 신경망은 심층 신경망(DNN: Deep Neural Network)일 수 있다. 또한, 심층 신경망(DNN)은 컨볼루션 신경망(CNN: Convolution Neural Network)으로 형성될 수 있다. 컨볼루션 신경망은, 컨볼루션 연산에 근거한 연산을 수행하는 신경망을 지칭하는 것으로, 컨볼루션 연산 및 다른 방식의 연산을 종합적으로 수행하는 단일 신경망 또는 복수개의 신경망이 결합된 형태의 신경망일 수 있다.
개시된 실시 예에서, 신경망은, 데이터 인식 모델로 구현되고, 학습 데이터를 이용하여 학습(training)된 신경망일 수 있다. 여기서, 학습 데이터는 구강 이미지들일 수 있다. 신경망은 학습된 데이터 인식 모델을 이용하여 입력 데이터에 포함되는 특정 영역, 예를 들어, 치아나 치은 영역과 그 외의 영역을 구분할 수 있다. 여기서, 입력 이미지는 치료하려는 환자의 구강 이미지일 수 있다. 신경망은, 입력 이미지를 입력 받고, 치아나 치은을 추출하기 위한 컨볼루션 연산을 수행하여, 치아나 치은 영역을 제외한 나머지 영역에서 부가 정보 입력 영역을 식별한 출력 이미지를 생성할 수 있다.
예를 들어, 신경망은 프로세서(310) 내에 포함 또는 저장될 수 있다. 이 경우, 프로세서(310)는 내부의 신경망으로 구강 이미지를 입력하면, 신경망은 부가 정보 입력 영역을 식별한 결과를 출력할 수 있을 것이다.
또는, 신경망은 구강 이미지 처리 장치(300)와 별도의 외부 장치(예를 들어, 외부의 서버, 컴퓨팅 장치 등)에 포함될 수 있다. 이 경우, 프로세서(310)는 구강 이미지를 외부 장치로 전송할 수 있다. 그러면, 외부 장치는 수신된 구강 이미지를 외부 장치 내부에 포함되는 신경망으로 입력할 수 있다. 그러면, 신경망은 부가 정보 입력 영역을 식별한 결과를 출력할 수 있을 것이다. 계속하여, 외부 장치는 신경망의 출력 결과를 구강 이미지 처리 장치(300)로 전송할 수 있다. 그에 따라서, 프로세서(310)는 외부 장치에서 수신된 출력 결과에 근거하여 부가 정보 입력 영역을 식별할 수 있을 것이다.
실시 예에서, 프로세서(310)는 사용자 입력부(330)를 통해 입력된 부가 정보를 제1 구강 이미지에 임베딩할 수 있다.
제1 구강 이미지는 3차원 구강 모델인 반면, 사용자 입력부(330)를 통해 입력된 부가 정보는 2차원 데이터일 수 있다. 이 경우, 제1 구강 이미지와 부가 정보 간의 데이터 형식이나 확장자가 맞지 않는다. 실시 예에서, 프로세서(310)는 부가 정보를 3차원 구강 모델에 임베딩하기 위해 텍스쳐 매핑(texture mapping)을 수행할 수 있다. 텍스쳐 매핑은 2차원 데이터의 픽셀을 3차원 데이터의 표면으로 매핑하는 방법을 의미할 수 있다.
실시 예에서, 프로세서(310)는 텍스쳐 매핑을 수행하여, 3차원 스캔 데이터로 매핑되는 2차원 데이터 픽셀의 변수나 색상 값을 조절함으로써 3차원 스캔 데이터에 부가 정보를 임베딩할 수 있다.
다른 실시 예에서, 프로세서(310)는 3차원 스캔 데이터의 점(point)이나 정점(vertex) 등의 색상을 변경 또는 부여함으로써 부가 정보를 3차원 스캔 데이터에 임베딩할 수도 있다. 제1 구강 이미지는 3차원 스캔 데이터이므로 점이나 메쉬(mesh)로 표현될 수 있다. 실시 예에서, 프로세서(310)는 점으로 표현되는 3차원 스캔 데이터에 부가 정보를 임베딩하기 위해, 부가 정보에 포함된 문자 및 이미지의 윤곽선에 대응하는 위치에 있는 제1 구강 이미지의 점의 색상을 다른 색상으로 변경할 수 있다. 유사하게, 프로세서(310)는 3차원 스캔 데이터가 메쉬로 표현되는 경우, 메쉬에 포함된 정점(vertex)이나 정점으로 이루어진 폴리곤의 색상을 다른 색상으로 변경함으로써 부가 정보를 3차원 스캔 데이터에 임베딩할 수 있다.
이와 같이, 실시 예에 따르면, 구강 이미지 처리 장치(300)는 부가 정보 입력 영역을 식별할 수 있다.
또한, 실시 예에 따르면, 구강 이미지 처리 장치(300)는 부가 정보 입력 영역으로 입력되는 부가 정보를 3차원 스캔 데이터에 임베딩하여 제2 구강 이미지를 획득할 수 있다.
도 4는 실시 예에 따른 구강 이미지 처리 장치의 내부 블록도이다.
도 4의 구강 이미지 처리 장치(400)는 도 3의 구강 이미지 처리 장치(300)의 일 예일 수 있다.
도 4를 참조하면, 구강 이미지 처리 장치(400)는 프로세서(310), 메모리(320), 사용자 입력부(330) 외에도 통신 인터페이스(410), 영상 처리부(420) 및 디스플레이(430)를 더 포함할 수 있다.
도 4의 구강 이미지 처리 장치(400)에 포함된 프로세서(310), 메모리(320), 사용자 입력부(330)는 도 3의 구강 이미지 처리 장치(300)에 포함된 프로세서(310), 메모리(320), 사용자 입력부(330)와 수행하는 기능이 동일하므로 동일한 도면 부호를 사용하였다. 이하, 도 3의 구강 이미지 처리 장치(300)에 대해 설명한 내용과 중복되는 부분에 대한 설명은 생략한다.
실시 예에 따른 영상 처리부(420)는 이미지의 생성 및/또는 처리를 위한 동작들을 수행할 수 있다. 영상 처리부(420)는 3차원 스캐너(110)로부터 수신한 로우 데이터를 기반으로 제1 구강 이미지를 생성할 수 있다. 영상 처리부(420)는 2차원 스캔 데이터를 처리하여3차원 구강 모델을 생성할 수 있다.
실시 예에서, 영상 처리부(420)는 프로세서(310)의 제어에 따라, 텍스쳐 매핑을 수행하여 제1 구강 이미지로부터 제2 구강 이미지를 획득할 수 있다. 영상 처리부(420)는 3차원 스캔 데이터로 매핑되는 2차원 데이터 픽셀의 변수나 색상 값을 조절함으로써 3차원 스캔 데이터에 부가 정보를 임베딩함으로써 제2 구강 이미지를 획득할 수 있다.
다른 실시 예에서, 영상 처리부(420)는 프로세서(310)의 제어에 따라, 3차원 스캔 데이터의 점이나 정점 등의 색상을 변경함으로써 부가 정보를 3차원 스캔 데이터에 임베딩하여 제2 구강 이미지를 획득할 수 있다.
실시 예에 따른 디스플레이(430)는 구강 이미지를 출력할 수 있다. 디스플레이(430)는 3차원 스캐너(110)로부터 수신한 로우 데이터를 기반으로 생성된 구강 이미지를 화면에 출력할 수 있다. 또한, 디스플레이(430)는 환자의 치과 치료와 관련된 정보를 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다.
실시 예에서, 디스플레이(430)는 부가 정보 입력 영역 선택을 위한 사용자 인터페이스 화면을 출력할 수 있다. 부가 정보 입력 영역 선택을 위한 사용자 인터페이스 화면은 제1 구강 이미지를 포함하는 화면일 수 있다. 사용자는 부가 정보 입력 영역 선택을 위한 사용자 인터페이스 화면에 대응하여 사용자 입력부(330)를 이용하여 제1 구강 이미지 내의 특정 영역을 부가 정보 입력 영역으로 선택할 수 있다. 예컨대, 사용자는 인터페이스 화면에 출력된 제1 구강 이미지에서 마우스나 키보드, 터치 패널 등을 이용하여 특정 영역을 포인팅함으로써 포인팅된 영역을 부가 정보 입력 영역으로 선택할 수 있다. 프로세서(310)는 사용자로부터 선택된 영역을 부가 정보 입력 영역으로 식별할 수 있다.
실시 예에서, 디스플레이(430)는 식별된 부가 정보 입력 영역이 표시된 사용자 인터페이스 화면을 출력할 수 있다. 프로세서(310)는 사용자로부터 선택된 지점에, 해당 지점이 부가 정보 입력 영역으로 선택된 영역임을 표시하는 정보를 출력할 수 있다. 프로세서(310)는 도형이나 화살표, 선, 패턴, 기호 등을 이용하여 사용자에게 부가 정보 입력 영역의 위치를 표시할 수 있다. 또한, 프로세서(310)는 제1 구강 이미지의 원래 색상과 다른 색상이나 원래의 투명도와 다른 투명도 등을 이용하여 사용자에게 부가 정보 입력 영역의 위치를 표시할 수도 있다.
사용자는 사용자 입력부(330)를 이용하여 부가 정보 입력 영역에 부가 정보를 입력할 수 있다. 사용자는 키보드 등을 이용하여 원하는 문자를 입력하거나, 그림판 등을 이용하여 원하는 이미지를 부가 정보로 입력할 수도 있다. 또한, 사용자는 사용자 입력부(330)를 이용하여 부가 정보를 편집할 수도 있다. 예컨대, 사용자는 부가 정보의 폰트 색상이나 글자 크기 등을 편집할 수 있다.
실시 예에서, 디스플레이(430)는 부가 정보 입력 영역에 사용자 입력부(330)를 통해 입력된 부가 정보를 출력할 수 있다. 디스플레이(430)는 부가 정보 입력 영역에 부가 정보가 표시된 사용자 인터페이스 화면을 출력할 수 있다.
실시 예에서, 사용자 입력부(330)를 통해 입력 받은 부가 정보의 크기가 부가 정보 입력 영역의 범위를 벗어나거나, 또는 소정 크기 이상인 경우, 또는 부가 정보가 표시된 부가 정보 입력 영역이 복수 개인 경우, 디스플레이(430)는 입력된 부가 정보를 모두 화면에 출력하는 대신, 부가 정보 입력 영역의 위치만을 표시하는 식별자를 부가 정보 입력 영역의 위치에 출력하거나, 또는 부가 정보 입력 영역 중 일부만을 출력할 수도 있다.
실시 예에 따른 통신 인터페이스(410)는 적어도 하나의 외부 전자 장치와 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다. 구체적으로, 통신 인터페이스(410)는 프로세서(310)의 제어에 따라서 3차원 스캐너(110)와 통신을 수행할 수 있다. 실시 예에서, 통신 인터페이스(410)는 3차원 스캐너(110)로부터 2차원 이미지 데이터를 수신할 수 있다. 또한, 통신 인터페이스(410)는 제어 정보를 3차원 스캐너(110)로 전송할 수도 있다.
실시 예에서, 통신 인터페이스(410)는 프로세서(310)의 제어에 따라서 유무선의 통신 네트워크를 통하여 연결되는 외부의 전자 장치 또는 서버 등과 통신을 수행할 수 있다. 외부의 전자 장치 또는 서버는 기공소 등이 운영하는 장치나 서버일 수 있다. 통신 인터페이스(410)는 3차원 스캐너(110)로부터 획득한 이미지 데이터를 기반으로 생성된 제1 구강 이미지를 기공소 등이 운영하는 서버나 전자 장치로 전송할 수 있다. 또한, 실시 예에서, 통신 인터페이스(410)는 제1 구강 이미지에 부가 정보가 임베딩된 제2 구강 이미지를 기공소 등이 운영하는 서버나 전자 장치로 전송할 수 있다.
통신 인터페이스(410)는 블루투스, 와이파이, BLE(Bluetooth Low Energy), NFC/RFID, 와이파이 다이렉트(Wifi Direct), UWB, 또는 ZIGBEE 등의 통신 규격에 따른 통신을 수행하는 적어도 하나의 근거리 통신 모듈을 포함할 수 있다.
또한, 통신 인터페이스(410)는 원거리 통신 규격에 따라서 원거리 통신을 지원하기 위한 서버와 통신을 수행하는 원거리 통신 모듈을 더 포함할 수 있다. 구체적으로, 통신 인터페이스(410)는 인터넷 통신을 위한 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다. 예컨대, 통신 인터페이스(410)는 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다.
또한, 통신 인터페이스(410)는 3차원 스캐너(110)나 기공소 등이 운영하는 외부 전자 장치 등과 유선으로 통신할 수도 있다. 이를 위해 통신 인터페이스(410)는 3차원 스캐너(110)나 외부 전자 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 통신 인터페이스(410)는 적어도 하나의 포트를 통하여 유선 연결된 3차원 스캐너(110)나 외부 전자 장치와 통신을 수행할 수 있다.
도 5는 실시 예에 따라, 획득된 제2 구강 이미지를 도시한 도면이다.
도 5를 참조하면 제2 구강 이미지(500)는 환자의 상악을 3차원적으로 나타내는 구강 이미지일 수 있다. 도 5에 도시된 바와 같이, 제2 구강 이미지(500)는 임베딩된 부가 정보(510)를 포함할 수 있다. 도 5에서는, 부가 정보(510)가 치과 치료를 받는 환자의 성명에 대한 정보인 경우를 예로 들어 도시하였다.
제2 구강 이미지(500)는 제1 구강 이미지로부터 획득될 수 있다. 구강 이미지 처리 장치(400)는 환자의 상악을 스캔하여 생성된 로우 데이터를 3차원적으로 모델링하여 제1 구강 이미지를 획득할 수 있다.
제1 구강 이미지는 3차원 스캔 데이터일 수 있다. 3차원 스캔 데이터는 일정한 형태의 포맷을 가질 수 있다. 예컨대, 3차원 스캔 데이터는 STL, OBJ, PLY 등의 포맷을 가질 수 있다. 다만, 이는 하나의 실시 예로, 제1 구강 이미지의 데이터 포맷이 이에 한정되는 것은 아니다.
구강 이미지 처리 장치(400)는 사용자 입력부(330)를 통해 부가 정보를 입력 받을 수 있다. 사용자 입력부(330)를 통해 입력된 부가 정보는 3차원 스캔 데이터와는 다른 포맷을 갖는 파일일 수 있다. 예컨대, 부가 정보는 doc, hwp, jpg, pdf, txt 등의 확장자를 갖는 파일일 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 텍스쳐 매핑을 수행하여 부가 정보를 제1 구강 이미지에 임베딩하여 제2 구강 이미지(500)를 획득할 수 있다. 3차원 스캔 데이터인 제1 구강 이미지에 매핑되는 소스 데이터는 2차원 이미지일 수 있다. 텍스쳐 매핑은 2차원 이미지 상의 소정 픽셀의 위치, 즉, 2차원 이미지 상에서 U축 및 V축 좌표 값이 (u, v)인 픽셀을 3차원 이미지 상에서 X축, Y축, Z축 좌표 값이 각각 (x, y, z)인 픽셀로 매핑함으로써, 2차원 이미지를 3차원 모델의 표면에 프로젝션하는 모델링 방법이다.
구강 이미지 처리 장치(400)는 3차원 스캔 데이터에 매핑되는 소스 데이터, 즉 2차원 이미지에서, 부가 정보에 대응하는 위치에 있는 픽셀의 색상이나 기타 변수, 즉, 파라미터 값을 다른 값으로 조절할 수 있다. 구강 이미지 처리 장치(400)는 픽셀 색상이나 파라미터 값이 조절된 2차원 이미지를 3차원 스캔 데이터에 매핑함으로써, 부가 정보가 3차원 스캔 데이터에 임베딩되도록 할 수 있다.
다른 실시 예에서, 구강 이미지 처리 장치(400)는 3차원 스캔 데이터의 점이나 정점 등의 색상을 변경함으로써 부가 정보를 3차원 스캔 데이터에 임베딩할 수도 있다. 이에 대해서는 도 7 내지 도 9를 참조하여 보다 구체적으로 설명하기로 한다.
도 5를 참조하면, 제2 구강 이미지(500)에 포함된 부가 정보(510)는 3차원 스캔 데이터에 맞게 임베딩되어 있음을 알 수 있다. 즉, 제2 구강 이미지(500)는 임베딩된 부가 정보(510)를 포함하는 3차원 스캔 데이터일 수 있다. 구강 이미지 처리 장치(400)는 제2 구강 이미지(500)를 외부 전자 장치나 서버 등으로 전송할 수 있다.
이와 같이, 실시 예에 의하면, 구강 이미지 처리 장치(400)는 외부 전자 장치나 서버 등으로 부가 정보를 전송하고자 하는 경우, 스캔 데이터와 별도의 파일이나 문서 등을 작성하여 전달할 필요 없이, 제2 구강 이미지(500) 하나만을 전송할 수 있다. 기공소 등이 운영하는 외부 장치나 서버 등은 구강 이미지 처리 장치(400)로부터 수신한 제2 구강 이미지(500)로부터, 구강에 대한 이미지뿐 아니라 임베딩된 부가 정보(510) 또한 함께 이용할 수 있다.
도 6은 실시 예에 따라, 부가 정보 입력 영역을 포함하는 사용자 인터페이스 화면을 도시한 도면이다.
실시 예에서, 구강 이미지 처리 장치(400)는 환자의 상악을 3차원적으로 나타내는 구강 이미지(610)를 획득할 수 있다. 구강 이미지 처리 장치(400)는 구강 이미지(610)를 포함하는 사용자 인터페이스 화면(600)을 생성하고, 사용자 인터페이스 화면(600)을 디스플레이(430)를 통하여 시각적으로 출력할 수 있다.
사용자 인터페이스 화면(600)은 구강 이미지(610)에 대한 편집 또는 변경을 위한 적어도 하나의 메뉴를 포함하는 메뉴바(630)를 더 포함할 수 있다. 예를 들어, 메뉴바(630)는 구강 이미지(610)의 확대, 축소, 전체 화면으로 보기, 이전 이미지 보기, 각도나 위치 변경 등을 포함하는 메뉴들을 포함할 수 있다.
실시 예에서, 메뉴바(630)는 부가 정보 입력을 위한 메뉴(631)를 더 포함할 수 있다. 사용자는 부가 정보를 입력하기 위해 메뉴바(630)에서 부가 정보 입력을 위한 메뉴(631)를 선택할 수 있다. 사용자로부터 부가 정보 입력을 위한 메뉴(631)가 선택되면, 구강 이미지 처리 장치(400)는 부가 정보 입력을 위한 부가 정보 입력 영역(640)을 사용자 인터페이스 화면(600)에 출력할 수 있다.
이를 위해, 먼저, 구강 이미지 처리 장치(400)는 부가 정보 입력 영역을 식별할 수 있다. 부가 정보 입력 영역은 부가 정보가 입력될 수 있는 영역을 의미할 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 사용자 인터페이스 화면(600)에서 구강 영역(611)을 자동으로 인식할 수 있다. 구강 영역(611)은 치아 및 치은 중 적어도 하나를 포함하는 영역을 의미할 수 있다. 구강 이미지 처리 장치(400)는 사용자 인터페이스 화면(600)에 포함된 영역 중, 구강 영역(611)을 마스킹하고, 마스킹한 영역을 제외한 나머지 영역에서 부가 정보 입력 영역을 식별할 수 있다.
또는 구강 이미지 처리 장치(400)는 사용자로부터 치료 대상인 치아나 치은을 선택 받을 수 있다. 이 경우, 구강 이미지 처리 장치(400)는 사용자로부터 선택 받은 치아나 치은에서 소정 범위 이상 벗어난 영역에서 부가 정보 입력 영역을 식별할 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 복수개의 구강 이미지들로부터 부가 정보 입력 영역을 식별하도록 학습된 뉴럴 네트워크를 이용하여, 사용자 인터페이스 화면(600)으로부터 부가 정보 입력 영역을 식별할 수도 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 식별된 부가 정보 입력 영역을 사용자 인터페이스 화면(600)에 출력할 수 있다. 구강 이미지 처리 장치(400)는 도형, 화살표, 선, 도트, 패턴, 기호, 주변 색상과 다른 색상, 또는 주변의 투명도와 다른 투명도, 깜박이는 커서 등을 이용하여 부가 정보 입력 영역을 표시할 수 있다.
예컨대, 도 6에 도시된 바와 같이, 구강 이미지 처리 장치(400)는 구강 영역(611) 외의 영역 중, 구강 영역(611) 안쪽에 위치한 영역을 부가 정보 입력 영역으로 식별할 수 있다. 구강 이미지 처리 장치(400)는 구강 영역(611) 안쪽의 임의의 위치를 제1 부가 정보 입력 영역(640-1)으로 식별하고, 식별된 영역을 사각형 형상으로 사용자 인터페이스 화면(600)에 출력할 수 있다.
또는 구강 이미지 처리 장치(400)는 구강 영역(611)의 경계 안쪽의 영역 전체를 제2 부가 정보 입력 영역(640-2)으로 식별하고, 식별된 영역을 다각형 형상으로 사용자 인터페이스 화면(600)에 출력할 수 있다.
또는 구강 이미지 처리 장치(400)는 구강 영역(611) 외의 영역 중, 구강 영역(611) 바깥쪽의 임의의 위치를 제3 부가 정보 입력 영역(640-3) 또는 제4 부가 정보 입력 영역(640-4)으로 식별하고, 식별된 부가 정보 입력 영역(640-3, 640-4)을 사용자 인터페이스 화면(600)에 출력할 수도 있다.
다른 실시 예에서, 구강 이미지 처리 장치(400)는 사용자로부터 직접 부가 정보 입력 영역을 선택 받을 수도 있다. 예컨대, 사용자가 마우스나 키보드, 터치 패널 등을 이용하여 사용자 인터페이스 화면(600)의 특정 위치를 클릭하거나 터치하는 경우 구강 이미지 처리 장치(400)는 사용자가 선택한 특정 위치를 부가 정보 입력 영역으로 식별하고, 식별된 영역에 부가 정보 입력 영역을 표시할 수 있다. 구강 이미지 처리 장치(400)는 사용자로부터 선택된 영역이 구강 영역(611)이거나 구강 영역(611)과 인접한 영역인 경우, 또는 치료 대상이 되는 치아나 치은과 소정 범위 내의 영역인 경우, 해당 영역을 부가 정보 입력 영역으로 선택할 수 없음을 표시하거나, 해당 영역과 인접한 다른 영역에 부가 정보 입력 영역을 생성하거나, 또는 별도 표시 없이 해당 영역에 부가 정보 입력 영역을 생성하지 않을 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 사용자로부터 부가 정보를 입력 받고, 입력 받은 부가 정보를 현재 사용자 인터페이스 화면(600)에 출력된 부가 정보 입력 영역(640)에 표시할 수 있다. 예컨대, 현재 사용자 인터페이스 화면(600)에 제1 부가 정보 입력 영역(640-1)이 표시된 경우, 구강 이미지 처리 장치(400)는 사용자로부터 입력 받은 부가 정보를 제1 부가 정보 입력 영역(640-1)에 표시하여 출력할 수 있다. 이때, 제1 부가 정보 입력 영역(640-1)에 표시되는 부가 정보는 구강 이미지(610)의 굴곡에 맞게 표현되거나, 음각 또는 양각으로 표현될 수도 있다.
사용자는 구강 이미지 처리 장치(400)가 제공하는, 부가 정보 입력을 위한 프로그램이나 툴, 또는 어플리케이션으로 등을 이용하여 부가 정보를 입력하고, 이를 편집할 수 있다. 부가 정보는 언어 표기 문자, 특수 문자, 숫자, 구두점, 도형, 화살표, 선, 패턴, 기호 등의 다양한 형태를 가질 수 있다.
구강 이미지 처리 장치(400)는 사용자가 다양한 형태로 부가 정보를 입력 및 편집할 수 있도록 사용자 인터페이스 화면(600)에 부가 정보 입력 및 편집을 위한 메뉴(635)를 더 포함할 수 있다. 부가 정보 입력 및 편집을 위한 메뉴(635)는 부가 정보의 타입이나 폰트의 크기, 색상, 투명도 등을 조절하거나 특수 문자나 기호 등을 선택할 수 있는 다양한 메뉴들을 포함할 수 있으며 이에 한정되는 것은 아니다. 사용자는 사용자 인터페이스 화면(600)에서 부가 정보 입력 및 편집을 위한 메뉴(635)를 선택하여 원하는 타입의 폰트 및 원하는 크기로 부가 정보를 입력할 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 입력 받은 부가 정보가 소정 크기 이상인 경우이거나, 또는 부가 정보가 표시된 부가 정보 입력 영역이 복수개인 경우, 입력 받은 부가 정보를 전부 다 화면에 출력하지 않을 수 있다. 대신, 구강 이미지 처리 장치(400)는 부가 정보 입력 영역의 크기를 축소하여 출력하거나, 부가 정보 입력 영역 중 일부만을 출력하거나, 또는 부가 정보 입력 영역의 위치를 표시하는 식별자만을 사용자 인터페이스 화면(600)에 출력할 수 있다. 부가 정보 입력 영역의 위치를 표시하는 식별자는 예컨대 말풍선이나 이모티콘, 아이콘 등을 포함할 수 있다.
예컨대, 도 6에서, 제4 부가 정보 입력 영역(640-4)에 입력된 부가 정보가 길어서, 제4 부가 정보 입력 영역(640-4)의 크기 또한 부가 정보 길이에 따라 커져 구강 영역(611)을 가릴 염려가 있는 경우, 구강 이미지 처리 장치(400)는 제4 부가 정보 입력 영역(640-4) 전체를 화면에 출력하는 대신, 제4 부가 정보 입력 영역(640-4)의 위치를 표시하는 말풍선 형태의 식별자(640-4')만을 사용자 인터페이스 화면(600)에 출력할 수 있다. 이후, 사용자가 마우스나 키보드 등을 이용하여 식별자(640-4')를 클릭하거나 커서를 갖다 대는 경우, 구강 이미지 처리 장치(400)는 제4 부가 정보 입력 영역(640-4)에 입력된 부가 정보 전체가 사용자 인터페이스 화면(600)에 출력되도록 할 수 있다.
이와 같이, 실시 예에 의하면, 구강 이미지 처리 장치(400)는 자동으로 또는 수동으로 부가 정보 입력 영역을 식별할 수 있다. 또한, 구강 이미지 처리 장치(400)는 다양한 형태로 부가 정보를 입력 받을 수 있다. 또한, 구강 이미지 처리 장치(400)는 식별된 부가 정보 입력 영역에 부가 정보 입력 영역이 표시된 사용자 인터페이스 화면을 출력할 수 있다. 또한, 구강 이미지 처리 장치(400)는 사용자로부터 입력된 부가 정보가 부가 정보 입력 영역에 표시된 사용자 인터페이스 화면을 출력할 수 있다.
도 7은 일 실시 예에 따라, 부가 정보를 구강 이미지에 임베딩하는 방법을 설명하기 위한 도면이다.
실시 예에서, 구강 이미지 처리 장치(400)는 제1 구강 이미지에 부가 정보(710)를 임베딩하여 제2 구강 이미지(700)를 획득할 수 있다. 제1 구강 이미지 및 제2 구강 이미지는 모두 3차원 스캔 데이터일 수 있다. 3차원 스캔 데이터는 점군(Point cloud) 데이터로 표현되거나 또는 점군 데이터를 참조해서 삼각화(triangulation) 등의 기법으로 생성된 메쉬 데이터로 표현될 수 있다.
도 7은 제2 구강 이미지(700)를 확대하여 도시한 것으로, 제2 구강 이미지가 수많은 점군으로 표현된 경우를 도시한다.
부가 정보는 문자나 숫자, 이미지 등을 포함할 수 있다. 예컨대, 부가 정보가 문자로 이루어져 있는 경우, 하나의 독립된 글자는 이를 형성하는 가장 간결한 기본 구조들이 모여 형성될 수 있다. 여기서 기본 구조들은 선이나 점 등을 포함할 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 부가 정보(710)를 제1 구강 이미지에 임베딩하기 위해, 부가 정보(710)에 포함된 문자나 숫자, 이미지 등을 이루는 기본 구조를 식별할 수 있다. 구강 이미지 처리 장치(400)는 선이나 점 등의 기본 구조에 대응하는 위치에 있는 제1 구강 이미지 상의 점들의 색상을 다른 색상으로 변경할 수 있다. 즉, 구강 이미지 처리 장치(400)는 부가 정보(710)가 임베드될 위치에 있는 3차원 스캔 데이터 상의 점들의 색상을 원래의 색상과 다른 색상으로 변경함으로써 부가 정보(710)가 스캔 데이터에 임베딩되어 표시된 제2 구강 이미지(700)를 획득할 수 있다.
도 8은 다른 실시 예에 따라, 부가 정보를 구강 이미지에 임베딩하는 방법을 설명하기 위한 도면이다.
실시 예에서, 구강 이미지 처리 장치(400)는 제1 구강 이미지에 부가 정보(810)를 임베딩하여 제2 구강 이미지(800)를 획득할 수 있다.
도 8은 제2 구강 이미지(800)를 확대하여 도시한 것으로, 제2 구강 이미지(800)는 수많은 메쉬(mesh)들로 이루어진 3차원 스캔 데이터일 수 있다. 메쉬는 폴리곤(polygon)이라고 불리는 최소 단위의 다각형들로 구성될 수 있다. 폴리곤은 예컨대 삼각형일 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 부가 정보(810)에 포함된 문자나 이미지 등을 이루는 기본 구조를 식별하고, 그 기본 구조에 대응하는 위치에 있는 제1 구강 이미지 상의 메쉬의 색상을 변경함으로써 부가 정보(810)를 스캔 데이터에 임베딩할 수 있다. 메쉬의 색상을 변경하여 부가 정보(810)를 스캔 데이터에 임베딩하는 방법에 대해서는, 이하, 도 9를 참조하여 보다 상세히 살펴보기로 한다.
도 9는 실시 예에 따라, 메쉬의 색상을 변경하여 부가 정보를 스캔 데이터에 임베딩하는 것을 설명하기 위한 도면이다.
도 9는 도 8의 제2 구강 이미지(800)를 더 확대한 도면이다.
도 9는 부가 정보(911, 913)가 임베딩된 제2 구강 이미지(910, 920)를 도시한 것으로, 제2 구강 이미지(910, 920)가 메쉬(mesh)들로 이루어진 3차원 스캔 데이터인 경우를 도시한다. 메쉬를 이루는 삼각형들의 각 꼭지점은 정점(vertex)으로 호칭될 수 있다. 각각의 정점은 각각의 색상을 띠고 있으며, 연결된 두 정점의 색상이 다른 경우, 두 정점 사이의 삼각형은 서로 다른 두 색상이 선형 보간(linear interpolated) 및/또는 그래디언트(gradient)된 색상으로 표현될 수 있다. 연결된 두 정점의 색상이 다른 경우를 표현하는 방법은 이에 한정되지 않는다. 또한, 연결된 삼각형을 이루는 세 정점의 색상이 동일한 경우, 삼각형 표면의 색상은 세 정점의 색상과 동일한 색상으로 표현될 수 있다.
실시 예에서, 구강 이미지 처리 장치(400)는 부가 정보(911, 913)가 지나는 위치에 인접한 위치에 있는, 제1 구강 이미지 내의 정점들의 색상을 변경 또는 부여함으로써 제1 구강 이미지에 부가 정보(911, 913)를 임베딩할 수 있다. 부가 정보(911, 913)를 이루는 선이 소정 두께를 갖는 경우, 부가 정보(911, 913)가 지나는 위치에 인접한 정점은 소정 두께를 갖는 선의 양쪽에 위치하면서 부가 정보(911, 913)를 이루는 선에 가장 가까이 위치한 정점을 의미할 수 있다.
도 9의 상부 도면에 도시된 바와 같이, 부가 정보(911)가 지나는 지점에 인접한 위치에 있는, 제1 구강 이미지 내의 정점들의 색상을 제1 색상으로 변경 또는 부여할 경우, 동일한 정점들로 이루어진 삼각형은 동일한 색상을 갖게 된다. 즉, 도 9의 상부 도면에서와 같이 부가 정보(911)가 지나는 위치에 인접한 정점들로 이루어진 삼각형은 모두 제1 색상을 갖게 되어 다른 영역과 구별될 수 있다. 다만, 제1 색상을 갖는 정점과 제2 색상을 갖는 정점을 모두 포함하는 삼각형은 제1 색상과 제2 색상이 선형 보간 및/또는 그래디언트된 색상으로 표현되게 된다. 도 9의 상부 도면에 도시된 방식으로 부가 정보(911)를 임베딩하는 방식은, 메쉬의 밀도가 높을수록 부가 정보(911)를 대응하는 위치에 보다 정확히 임베딩할 수 있는 방식이다. 반면, 메쉬의 밀도가 낮은 경우에는 부가 정보(911)가 지나는 위치와 제1 구강 이미지 내의 메쉬에 포함된 정점의 색상 변화의 매칭도가 낮아질 수 있다.
다른 실시 예에서, 구강 이미지 처리 장치(400)는 부가 정보(911, 913)가 지나는 위치에 있는, 제1 구강 이미지 내의 정점들의 색상을 변경 또는 부여함으로써 제1 구강 이미지에 부가 정보(911, 913)를 임베딩할 수 있다. 즉, 구강 이미지 처리 장치(400)는 부가 정보(911, 913)를 이루는 선이 지나는 메쉬에 포함된 정점들의 색상을 원래의 색상과는 다른 색상으로 변경 또는 부여함으로써 제1 구강 이미지에 부가 정보(911, 913)를 임베딩할 수 있다.
도 9의 하부 도면은 부가 정보(913)가 지나는 위치에 대응하는 위치에 있는, 제1 구강 이미지 내의 삼각형들을 스플릿하여, 삼각형들의 수를 늘리는 방법을 도시한다. 도 9의 하부 도면을 참조하면, 구강 이미지 처리 장치(400)는 부가 정보(913)가 지나는 지점에 대응하는 위치에 있는 제1 구강 이미지에서, 부가 정보(913)와 메쉬가 만나는 위치에 새로운 정점들을 추가할 수 있다. 즉, 구강 이미지 처리 장치(400)는 소정의 두께를 갖는 부가 정보(913)의 양쪽 경계선과 주변 삼각형들이 맞닿은, 경계(에지)가 교차하는 위치에 정점들을 추가할 수 있다. 이 경우, 정점들이 이루는 삼각형들의 수 또한 늘어나게 된다. 구강 이미지 처리 장치(400)는 부가 정보(913)가 지나는 위치에 있는, 제1 구강 이미지 내의 정점들의 색상을 제1 색상으로 변경 또는 부여함으로써, 동일한 정점들로 이루어진 삼각형이 동일한 색상을 갖도록 하여 다른 영역과 구별되도록 할 수 있다. 도 9의 하부 도면에 따르면 동일한 정점들로 이루어진 삼각형들의 수가 도 9의 상부 도면에 따른 경우보다 더 많아지게 되어 부가 정보(913)를 제1 구강 이미지 내의 대응하는 위치에 보다 정확히 임베딩할 수 있게 된다.
다만, 도 9의 하부 도면에서도 도 9의 상부 도면에서와 마찬가지로 제1 색상을 갖는 정점과 제2 색상을 갖는 정점을 함께 포함하는 삼각형은 제1 색상과 제2 색상이 선형 보간 및/또는 그래디언트된 색상으로 표현되게 된다. 실시 예에서, 구강 이미지 처리 장치(400)는 부가 정보(913)를 이루는 선이 소정 두께를 갖는 경우 그 선의 양쪽 경계선(913-1, 913-2)과 근접한 위치에 오프셋 라인(offset line, 914-1, 914-2)을 추가로 형성할 수 있다. 또한, 오프셋 라인(914-1, 914-2)과 메쉬가 만나는 지점에 새로운 정점들을 추가할 수 있다. 이 경우, 부가 정보(913)를 이루는 선의 양쪽 경계선(913-1, 913-2)과 오프셋 라인(914-1, 914-2) 사이에도 삼각형들이 추가로 형성되게 된다. 부가 정보(913)를 이루는 선의 양쪽 경계선(913-1, 913-2)과 오프셋 라인(914-1, 914-2) 간의 간격이 좁아질수록 그래디언트된 색상으로 표현되는 삼각형들의 면적이 작아지게 되어 보다 정확히 부가 정보(913)를 3차원 스캔 데이터에 임베딩할 수 있게 된다.
다만, 전술한 방법은 실시 예로, 구강 이미지 처리 장치(400)는 이외에도 다양한 방법들을 이용하여 제1 구강 이미지에 부가 정보를 임베딩하여 제2 구강 이미지를 획득할 수 있다.
도 10은 실시 예에 따라, 부가 정보를 구강 이미지에 임베딩하는 방법을 도시한 순서도이다.
도 10을 참조하면, 구강 이미지 처리 장치는 3차원 스캐너로부터 수신한 로우 데이터를 처리하여, 3차원 구강 이미지를 획득할 수 있다(단계 1010).
구강 이미지 처리 장치는 3차원 구강 이미지에서 부가 정보 입력 영역을 식별할 수 있다(단계 1020).
구강 이미지 처리 장치는 사용자로부터 부가 정보 입력 영역을 직접 입력 받거나, 또는 자동으로 부가 정보 입력 영역을 식별할 수 있다.
구강 이미지 처리 장치는 3차원 구강 이미지에서, 구강 영역을 마스킹하고, 구강 영역 외의 나머지 영역에서 부가 정보 입력 영역을 식별할 수 있다.
또는 구강 이미지 처리 장치는 사용자로부터 치료 대상으로 선택된 치아나 치은으로부터 소정 범위 이상 벗어난 영역에서 부가 정보 입력 영역을 식별할 수 있다.
구강 이미지 처리 장치는 사용자로부터 부가 정보를 입력 받을 수 있다.
구강 이미지 처리 장치는 사용자로부터 입력된 부가 정보를 부가 정보 입력 영역에 임베딩할 수 있다(단계 1030).
구강 이미지 처리 장치는 구강 이미지로 매핑되는 2차원 이미지의 픽셀의 변수나 색상 값을 부가 정보에 대응하는 값으로 대체함으로써, 부가 정보를 구강 이미지에 임베딩할 수 있다. 또는, 구강 이미지 처리 장치는 부가 정보에 포함된 문자 및 이미지 중 적어도 하나의 윤곽선에 대응하는 위치에 있는 구강 이미지의 점이나 정점, 및 정점으로 이루어진 삼각형 중 적어도 하나의 색상을 변경하여, 부가 정보를 구강 이미지에 임베딩할 수 있다.
본 개시의 일 실시 예에 따른 구강 이미지의 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시 예는, 구강 이미지의 처리 방법을 실행하는 적어도 하나의 인스트럭션을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 저장 매체가 될 수 있다.
또한, 전술한 본 개시의 실시 예에 따른 구강 이미지 처리 방법은 제1 구강 이미지를 획득하는 단계 및 입력된 부가 정보를 상기 제1 구강 이미지의 적어도 일부 영역에 임베딩하여, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계를 포함하는, 구강 이미지 처리 장치에서 수행하는 구강 이미지 처리 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.
상기 컴퓨터 판독 가능 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 여기서, 컴퓨터 판독 가능 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.
여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 저장 매체가 실재(tangible)하는 장치임을 의미할 수 있다. 또한, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 구강 이미지의 처리 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포될 수 있다. 또는, 어플리케이션 스토어(예: 플레이 스토어 등)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 구체적으로, 개시된 실시 예에 따른 컴퓨터 프로그램 제품은 개시된 실시 예에 따른 구강 이미지의 처리 방법을 수행하기 위해 적어도 하나의 인스트럭션을 포함하는 프로그램이 기록된 저장 매체를 포함할 수 있다.
이상에서 실시 예들에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (13)

  1. 구강 이미지 처리 방법에 있어서,
    제1 구강 이미지를 획득하는 단계; 및
    입력된 부가 정보를 상기 제1 구강 이미지의 적어도 일부 영역에 임베딩하여, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계를 포함하는, 구강 이미지 처리 방법.
  2. 제1 항에 있어서, 상기 제1 구강 이미지에서 부가 정보를 표시할 수 있는 부가 정보 입력 영역을 식별하는 단계를 더 포함하는, 구강 이미지 처리 방법.
  3. 제2 항에 있어서, 상기 부가 정보 입력 영역을 식별하는 단계는 상기 제1 구강 이미지의 구강 영역 외의 나머지 영역에서 상기 부가 정보 입력 영역을 식별하는 단계를 포함하는, 구강 이미지 처리 방법.
  4. 제2 항에 있어서, 타겟이 되는 치아 및 치은 중 적어도 하나를 선택 받는 단계를 더 포함하고,
    상기 부가 정보 입력 영역을 식별하는 단계는 상기 선택된 치아 및 치은 중 적어도 하나로부터 소정 범위 내의 영역을 제외한 나머지 영역에서 상기 부가 정보 입력 영역을 식별하는 단계를 포함하는, 구강 이미지 처리 방법.
  5. 제2 항에 있어서, 상기 부가 정보 입력 영역을 식별하는 단계는 복수개의 구강 이미지들로부터 부가 정보 입력 영역을 식별하도록 학습된 뉴럴 네트워크를 이용하여 상기 제1 구강 이미지로부터 상기 부가 정보 입력 영역을 식별하는 단계를 포함하는, 구강 이미지 처리 방법.
  6. 제2 항에 있어서, 상기 부가 정보 입력 영역 선택을 위한 사용자 인터페이스 화면을 출력하는 단계를 더 포함하고,
    상기 부가 정보 입력 영역을 식별하는 단계는 상기 사용자 인터페이스 화면에 대응하여, 선택된 영역을 상기 부가 정보 입력 영역으로 식별하는 단계를 포함하는, 구강 이미지 처리 방법.
  7. 제2 항에 있어서, 상기 식별된 부가 정보 입력 영역이 표시된 사용자 인터페이스 화면, 및 상기 식별된 부가 정보 입력 영역 내에 상기 입력된 부가 정보가 표시된 사용자 인터페이스 화면 중 적어도 하나의 화면을 출력하는 단계를 더 포함하는, 구강 이미지 처리 방법.
  8. 제7 항에 있어서, 상기 입력된 부가 정보가 소정 크기 이상인 경우 및 상기 부가 정보가 표시된 상기 부가 정보 입력 영역이 복수 개인 경우 중 적어도 하나인 경우,
    상기 입력된 부가 정보가 표시된 사용자 인터페이스 화면을 출력하는 단계는 상기 부가 정보 대신 상기 부가 정보 입력 영역의 위치를 표시하는 식별자를 출력하거나 또는 상기 부가 정보 입력 영역의 크기를 축소하여 출력하는 단계를 포함하는, 구강 이미지 처리 방법.
  9. 제1 항에 있어서, 상기 부가 정보는 문자 및 이미지 중 적어도 하나를 포함하는, 구강 이미지 처리 방법.
  10. 제1 항에 있어서,
    상기 제1 구강 이미지는 3차원 스캔 데이터이고,
    상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계는 상기 제1 구강 이미지로 매핑되는 2차원 이미지의 픽셀의 변수나 색상 값을 상기 부가 정보에 대응하는 값으로 대체함으로써, 상기 부가 정보를 상기 제1 구강 이미지에 임베딩하여 상기 제2 구강 이미지를 획득하는 단계를 포함하는, 구강 이미지 처리 방법.
  11. 제1 항에 있어서,
    상기 제1 구강 이미지는 점 및 메쉬(mesh) 중 적어도 하나로 표현되는 3차원 스캔 데이터이고,
    상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계는 상기 부가 정보에 포함된 문자 및 이미지 중 적어도 하나의 윤곽선에 대응하는 위치에 있는 상기 제1 구강 이미지의 점, 정점(vertex), 및 상기 정점으로 이루어진 폴리곤 중 적어도 하나의 색상을 변경하여, 상기 부가 정보를 상기 제1 구강 이미지에 임베딩하여 상기 제2 구강 이미지를 획득하는 단계를 포함하는, 구강 이미지 처리 방법.
  12. 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 구강 이미지를 획득하고,
    입력된 부가 정보를 상기 제1 구강 이미지의 적어도 일부 영역에 임베딩하여, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는, 구강 이미지 처리 장치.
  13. 제1 구강 이미지를 획득하는 단계; 및
    입력된 부가 정보를 상기 제1 구강 이미지의 적어도 일부 영역에 임베딩하여, 상기 부가 정보가 임베딩된 제2 구강 이미지를 획득하는 단계를 포함하는, 구강 이미지 처리 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2022/005665 2021-04-22 2022-04-20 구강 이미지 처리 장치 및 구강 이미지 처리 방법 WO2022225332A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP22792031.1A EP4327772A1 (en) 2021-04-22 2022-04-20 Intraoral image processing device and intraoral image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210052364A KR102544203B1 (ko) 2021-04-22 2021-04-22 구강 이미지 처리 장치 및 구강 이미지 처리 방법
KR10-2021-0052364 2021-04-22

Publications (1)

Publication Number Publication Date
WO2022225332A1 true WO2022225332A1 (ko) 2022-10-27

Family

ID=83722991

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/005665 WO2022225332A1 (ko) 2021-04-22 2022-04-20 구강 이미지 처리 장치 및 구강 이미지 처리 방법

Country Status (3)

Country Link
EP (1) EP4327772A1 (ko)
KR (1) KR102544203B1 (ko)
WO (1) WO2022225332A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015126820A (ja) * 2013-12-27 2015-07-09 株式会社アドバンス 口腔内表示システム
JP6099310B2 (ja) * 2011-01-20 2017-03-22 ケアストリーム ヘルス インク デジタル画像を使用した自動歯科カルテ作成方法
KR20200129509A (ko) * 2019-05-09 2020-11-18 오스템임플란트 주식회사 치아 부가정보 제공 방법 및 그 장치
KR20200143273A (ko) * 2019-06-13 2020-12-23 오스템임플란트 주식회사 치아 영상 위에 진료 내역을 누적 표시하는 진료 정보 표시 장치 및 방법
KR20210006244A (ko) * 2019-07-08 2021-01-18 서울대학교치과병원 디지털 치아 영상에 치아 진료 데이터를 기록 및 표시하는 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008029660A (ja) * 2006-07-31 2008-02-14 Fujifilm Corp 歯科用放射線画像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6099310B2 (ja) * 2011-01-20 2017-03-22 ケアストリーム ヘルス インク デジタル画像を使用した自動歯科カルテ作成方法
JP2015126820A (ja) * 2013-12-27 2015-07-09 株式会社アドバンス 口腔内表示システム
KR20200129509A (ko) * 2019-05-09 2020-11-18 오스템임플란트 주식회사 치아 부가정보 제공 방법 및 그 장치
KR20200143273A (ko) * 2019-06-13 2020-12-23 오스템임플란트 주식회사 치아 영상 위에 진료 내역을 누적 표시하는 진료 정보 표시 장치 및 방법
KR20210006244A (ko) * 2019-07-08 2021-01-18 서울대학교치과병원 디지털 치아 영상에 치아 진료 데이터를 기록 및 표시하는 방법 및 장치

Also Published As

Publication number Publication date
KR20220145598A (ko) 2022-10-31
EP4327772A1 (en) 2024-02-28
KR102544203B1 (ko) 2023-06-16

Similar Documents

Publication Publication Date Title
WO2019212228A1 (ko) 3차원 구강 모델 분석방법 및 이를 포함하는 보철물 디자인 방법
WO2021242050A1 (ko) 구강 이미지의 처리 방법, 그에 따른 동작을 수행하는 구강 진단 장치, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2022085966A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2021137573A2 (ko) 마진라인 설정 장치 및 방법
WO2022092627A1 (ko) 3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치
WO2022225332A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2022164175A1 (ko) 삼차원 구강 모델을 처리하는 방법 및 장치
WO2022065756A1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
WO2022014965A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2021242053A1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2022098087A1 (ko) 데이터 처리 장치 및 데이터 처리 방법
WO2023027500A1 (ko) 이미지 처리 장치, 및 이미지 처리 방법
WO2023282619A1 (ko) 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치
KR20220059908A (ko) 데이터 처리 장치 및 데이터 처리 방법
WO2023003192A1 (ko) 이미지 처리 장치, 및 이미지 처리 방법
WO2022191665A1 (ko) 구강 이미지 내의 선택 영역을 식별하는 방법 및 이를 위한 장치
WO2023063767A1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
WO2022270889A1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
WO2022203354A1 (ko) 삼차원 구강 모델 처리 장치 및 삼차원 구강 모델 처리 방법
WO2023277391A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2022270903A1 (ko) 구강에 대한 마진 라인 정보를 제공하는 방법 및 그를 수행하는 전자 장치
WO2022092594A1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
WO2023038455A1 (ko) 구강 이미지를 처리하는 방법 및 데이터 처리 장치
WO2022270868A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2023063805A1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22792031

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022792031

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022792031

Country of ref document: EP

Effective date: 20231122