WO2022209951A1 - 歯科用補綴物の色の推定方法、情報処理装置、歯科用補綴物の製造方法、情報処理方法およびプログラム - Google Patents

歯科用補綴物の色の推定方法、情報処理装置、歯科用補綴物の製造方法、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2022209951A1
WO2022209951A1 PCT/JP2022/012232 JP2022012232W WO2022209951A1 WO 2022209951 A1 WO2022209951 A1 WO 2022209951A1 JP 2022012232 W JP2022012232 W JP 2022012232W WO 2022209951 A1 WO2022209951 A1 WO 2022209951A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
dental prosthesis
tooth
data
inference
Prior art date
Application number
PCT/JP2022/012232
Other languages
English (en)
French (fr)
Inventor
宏 齋藤
喜彦 松村
成 小松
竜太 植田
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021054921A external-priority patent/JP2022152229A/ja
Priority claimed from JP2021073556A external-priority patent/JP2022167627A/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to CN202280025489.0A priority Critical patent/CN117119995A/zh
Priority to DE112022001266.8T priority patent/DE112022001266T5/de
Publication of WO2022209951A1 publication Critical patent/WO2022209951A1/ja
Priority to US18/476,130 priority patent/US20240016587A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/08—Artificial teeth; Making same
    • A61C13/082—Cosmetic aspects, e.g. inlays; Determination of the colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/0003—Making bridge-work, inlays, implants or the like
    • A61C13/0004—Computer-assisted sizing or machining of dental prostheses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Definitions

  • the present disclosure discloses an estimation method for estimating the color of a dental prosthesis, a method for manufacturing a dental prosthesis that performs coloring using an information processing apparatus and estimated color data, and a dental prosthesis using a learned model.
  • the present invention relates to an information processing device, information processing method, and program for inferring the color of an object.
  • dental prostheses such as inlays, crowns, and bridges were made manually by dental technicians, such as casting.
  • a CAD/CAM system that uses a computer to design dental prostheses such as inlays, crowns, and bridges and manufactures the dental prostheses by cutting (Patent Document 1).
  • the CAD/CAM system described in Patent Document 1 reads three-dimensional shape information of abutment teeth and cavities formed teeth, and in some cases, three-dimensional shape information of adjacent teeth and opposing teeth. Then, based on the information such as the shape of the tooth read, the desired dental prosthesis is designed by computer, and block-shaped materials such as resin hardened bodies, ceramic sintered bodies, and metal bodies are set in an automatic cutting machine and cut. Processing to make dental prostheses is disclosed.
  • Patent Document 1 Although a dental prosthesis is formed by cutting a block material based on information on the three-dimensional shape of a tooth or the like using a CAD/CAM system, coloring of the dental prosthesis is It is done manually and is expensive.
  • the present invention provides a color estimation method for estimating the color of a dental prosthesis, an information processing apparatus that performs the estimation method, a method for manufacturing a dental prosthesis that colors the dental prosthesis based on the estimated color,
  • An object of the present invention is to provide an information processing device, an information processing method, and a program for inferring the color of a dental prosthesis using a learned inference model.
  • a method for estimating the color of a dental prosthesis according to the present invention comprises: an acquisition step of acquiring tooth color information obtained using an imaging means; and an estimating step in which a computing unit estimates the surface color of the dental prosthesis based on the color information of at least one of the tooth and the corresponding tooth of the target tooth.
  • the color of the formed dental prosthesis can be estimated.
  • FIG. 1 is a diagram showing the configuration of a dental prosthesis manufacturing system of the present invention; FIG. The figure which shows the production
  • FIG. 2 is an image diagram of the production flow of the dental prosthesis of the present invention.
  • 1 is a schematic diagram of an example of an apparatus that implements each part of the dental prosthesis manufacturing system of the present invention;
  • FIG. 1 is a schematic diagram of an intraoral scanner 1000 of the present invention;
  • FIG. 4 is a flow diagram of data generation of a dental prosthesis by the dental CAD of the present invention.
  • Schematic diagram of a dental CAM 3000 of the present invention The figure explaining the formation flow of the dental prosthesis of this invention.
  • FIG. 4 is a schematic diagram of a coloring device 4000 of the present invention; FIG. The figure explaining the coloring flow of the dental prosthesis of this invention.
  • 1 is a schematic diagram of an information processing apparatus 2000 (dental CAD 2000) of the present invention
  • FIG. 4 is a flow chart for inferring the color of a dental prosthesis by the information processing apparatus 2000 (dental CAD 2000) of the present invention.
  • FIG. 2 is a schematic diagram of the information processing apparatus 2000 (dental CAD 2000) of the present invention during learning of an inference model;
  • FIG. 4 is a learning flow diagram of an inference model by the information processing apparatus 2000 of the present invention.
  • FIG. 10 is a flowchart showing a modification of the inference flow of the present invention;
  • FIG. 1 shows the configuration of a dental prosthesis manufacturing system according to the present invention.
  • the dental prosthesis manufacturing system of the present invention includes an intraoral information acquisition unit 100 that acquires intraoral information, and generates three-dimensional shape data and color data of the dental prosthesis based on the acquired intraoral information. and a data generator 200 that Further, the dental prosthesis manufacturing system includes a forming unit 300 for forming the dental prosthesis based on the generated three-dimensional shape data, and a surface coloring unit 300 for forming the dental prosthesis based on the generated color data. and a coloring unit 400 for performing Here, the data generation unit 200 and the coloring unit 400 that performs coloring based on the color data generated by the data generation unit 200 in the present invention function as a dental prosthesis coloring system 500 .
  • the coloring system comprises a data generation unit 200 for generating tooth color data based on tooth color information, and a coloring unit 400 for coloring the surface of the formed dental prosthesis based on the color data.
  • a data generation unit 200 for generating tooth color data based on tooth color information
  • a coloring unit 400 for coloring the surface of the formed dental prosthesis based on the color data.
  • the forming unit 300 and the coloring unit 400 may be configured by the same device that performs both processing.
  • the intraoral information acquisition unit 100 acquires the intraoral information of the subject from a storage device or the like.
  • the information acquired by the intraoral information acquisition unit 100 is information on the three-dimensional shape of teeth and color information on teeth.
  • the intraoral information acquisition unit 100 transmits the acquired intraoral information to the data generation unit 200 .
  • the intraoral information acquired by the intraoral information acquisition unit 100 is the intraoral information photographed using imaging means such as an intraoral scanner (see 301 in FIG. 3) and transmitted from the imaging device. It may be information.
  • 301 in FIG. 3 shows an image of acquiring the user's intraoral information.
  • the intraoral information acquisition unit 100 acquires intraoral information of a subject, which is imaged by imaging means.
  • the data generation unit 200 causes the calculator to estimate the surface color of the dental prosthesis based on the intraoral information.
  • the data generation unit 200 further estimates the three-dimensional shape of the dental prosthesis from the intraoral information, and generates three-dimensional tooth shape data and tooth color data based on the estimated color and shape (Fig. 3). 302).
  • the data generation unit 200 estimates the three-dimensional shape of the dental prosthesis based on, for example, the difference between the tooth shape master information and the transmitted three-dimensional tooth shape information, and generates three-dimensional tooth shape data. may be generated.
  • the data generating unit 200 transmits the generated three-dimensional shape data to the forming unit 300 and transmits the color data to the coloring unit 400 .
  • the dental prosthesis is shown in dark color and the existing tooth is shown in light color.
  • the data generation unit 200 estimates the color to be colored on the surface of the dental prosthesis and generates data of the dental prosthesis based on the estimated color.
  • the data generation unit 200 generates three-dimensional tooth shape data and tooth color data based on the intraoral information acquired by the intraoral information acquisition unit 100 .
  • the three-dimensional tooth shape data and the color data generated by the data generation unit 200 may be data related to each other.
  • the estimation of the color of the surface of the dental prosthesis is based on color information of at least one of the target tooth of the dental prosthesis, teeth near the target tooth, and teeth corresponding to the target tooth. is implemented by a computing unit. Color estimation may also be performed based on tooth three-dimensional shape information.
  • the color data generated by the data generation unit 200 is based on the three-dimensional shape information and the color information of the tooth, so the generated three-dimensional shape data and color data have a correlation between both data. become a configuration.
  • step S202 the forming unit 300 forms a dental prosthesis by cutting or grinding the base material of the dental prosthesis based on the acquired three-dimensional tooth shape data. After the dental prosthesis is formed by the forming section 300 , the formed dental prosthesis is sent to the coloring section 400 .
  • step S203 the coloring unit 400 colors the surface of the dental prosthesis obtained from the forming unit 300 based on the obtained color data of the dental prosthesis.
  • 303 in FIG. 3 shows an image of forming a dental prosthesis from the base material of the dental prosthesis by the forming unit 300 and coloring the formed dental prosthesis by the coloring unit 400 .
  • the dental prosthesis coloring system 500 of the present invention can color the formed dental prosthesis. Coloring of a dental prosthesis with the coloring system 500 can produce a highly conformable dental prosthesis as illustrated graphically at 304 in FIG.
  • the function of the intraoral information acquisition unit 100 is implemented by, for example, an intraoral scanner 1000 (described later using FIG. 5).
  • Intraoral information captured by the intraoral scanner 1000 is transmitted to a dental CAD 2000 (described later with reference to FIG. 6) having the function of the data generation unit 200 .
  • the three-dimensional shape data of the dental prosthesis generated by the dental CAD 2000 is transmitted to the dental CAM 3000 (described later with reference to FIG. 7) having the function of the forming section 300 .
  • the color data generated by the dental CAD 2000 is transmitted to a coloring device 4000 (described later with reference to FIG. 9) having the function of the coloring section 400 .
  • the dental CAD 2000 and the coloring device 4000 may function as a dental prosthesis coloring system 5000 in which each device is integrated. It should be noted that the devices that implement each part of the dental prosthesis manufacturing system are not limited to those described above. Each device constituting the dental prosthesis manufacturing system described above will be described below.
  • the intraoral scanner 1000 includes a storage unit 501 , an operation unit 502 , a communication IF (Interface) 503 and an imaging control unit 504 .
  • a storage unit 501 stores acquired tooth information and the like, and an operation unit 502 receives an operation by a user.
  • the communication IF 503 is implemented by a LAN card or the like, and controls communication with an external device (for example, dental CAD 2000).
  • the imaging control unit 504 acquires tooth three-dimensional shape information and tooth color information.
  • the three-dimensional shape information and the color information of the teeth by the imaging control unit 504 may be acquired at the same time or separately. Further, the three-dimensional shape information and the color information of teeth acquired by the imaging control unit 504 may be configured by independent devices.
  • the three-dimensional tooth shape information and color information acquired by the imaging control unit 504 are stored in the storage unit 501 and transmitted to the dental CAD 2000 using the communication IF 503 .
  • the intraoral information acquiring unit 100 may be implemented by a device that acquires intraoral information captured in advance from a storage device or the like.
  • the intraoral scanner 1000 is a scanner for acquiring intraoral information, and does not necessarily have to be inserted into the oral cavity to take an image.
  • the intraoral information acquiring unit 100 may take a seal in the oral cavity and scan it to acquire the three-dimensional shape information of the tooth.
  • the dental CAD 2000 is an information processing apparatus comprising a communication IF 601, a ROM 602, a RAM 603, a storage section 604, an operation section 605, a display section 606 and a control section 607.
  • FIG. 6 the dental CAD 2000 is an information processing apparatus comprising a communication IF 601, a ROM 602, a RAM 603, a storage section 604, an operation section 605, a display section 606 and a control section 607.
  • the communication IF 601 is realized by a LAN card or the like, and controls communication with the external intraoral scanner 1000, dental CAM 3000, and coloring device 4000. However, if communication is not required, the communication IF 601 is not essential as a configuration.
  • a ROM 602 is realized by a non-volatile memory or the like, and stores various programs and the like.
  • a RAM 603 is realized by a volatile memory or the like, and temporarily stores various information.
  • the storage unit 604 is implemented by a HDD (Hard Disk Drive), SSD (Solid State Drive), or the like, and stores various information.
  • An operation unit 605 is implemented by a keyboard, a mouse, etc., and a display unit 606 is implemented by a display, etc., and displays various information to the user.
  • the operation unit 605 and the display unit 606 may function as components of the dental CAD 2000 as shown in this drawing, or may be configured by devices different from the dental CAD 2000 .
  • a control unit 607 controls an acquisition unit 608 that acquires tooth color information obtained using imaging means, a target tooth on which a dental prosthesis is to be placed, a tooth near the target tooth, and the target tooth. Based on the color information of at least one of the corresponding teeth, the calculator estimates the color of the surface of the dental prosthesis. Further, the data generation unit 610 generates data of the dental prosthesis based on the estimated color and three-dimensional shape of the dental prosthesis, and displays the generated data on the display unit 606. and a display control unit 611 for
  • Each part of the dental CAD 2000 may be configured by a plurality of devices, or may be configured as a device realizing only a part of the configuration.
  • step S710 the acquisition unit 608 acquires tooth color information obtained using the imaging means. After acquiring the tooth color information, the acquiring unit 608 transmits the tooth color information to the estimating unit 609, and ends this step.
  • step S711 the estimating unit 609 selects the dental prosthesis based on the color information of at least one of the target tooth on which the dental prosthesis is to be placed, the teeth near the target tooth, and the teeth corresponding to the target tooth. Estimate the color of the surface of When the estimating unit 609 transmits the estimated surface color information of the dental prosthesis to the data generating unit 610, this step ends.
  • a target tooth refers to a tooth having a missing portion, and neighboring teeth are adjacent teeth in the same jaw-side dentition in the upper jaw or lower jaw where the target tooth is located.
  • corresponding tooth refers to a tooth located at a position that meshes with the target tooth in a tooth row on a different jaw side than the upper jaw or the lower jaw where the target tooth is located.
  • the target tooth, neighboring teeth, and corresponding teeth that are inputs for estimation may be specified by the user or by a known image processing technique.
  • the estimating unit 609 selects at least one of the target tooth on which the dental prosthesis is to be placed, the tooth near the position where the dental prosthesis is to be placed, or the tooth corresponding to the tooth on which the dental prosthesis is to be placed.
  • the color of the surface of the dental prosthesis is estimated using the brightness data generated based on the brightness information. In this case, the estimation unit 609 estimates the surface color of the dental prosthesis between the maximum and minimum values of the generated brightness data.
  • the estimation unit 609 may perform processing for determining missing teeth as target teeth by image processing technology. Further, the degree of loss of the missing portion of the target tooth is calculated, and the estimation unit 609 estimates the surface color of the dental prosthesis according to the degree of loss. For example, when the degree of loss is large, the estimating unit 609 uses the color information of the corresponding tooth or neighboring teeth rather than the color information of the target tooth, and estimates the color information more than the case where the degree of loss is small. is estimated by increasing the weight of . On the other hand, when the degree of loss is small, the estimating unit 609 estimates the color information of the target tooth rather than the color information of the corresponding tooth or neighboring teeth, and estimates the color more than when the degree of loss is large.
  • the color of the tooth on the surface of the dental prosthesis in the estimation unit 609 is estimated by interpolating the color of the missing portion from the color information of the target tooth, the corresponding tooth, and neighboring teeth. For example, an average color value among color information of a plurality of teeth may be estimated as the color of the dental prosthesis.
  • the estimating unit 609 stores a tooth color model that associates the tooth color with the three-dimensional shape information. Estimation is also an example.
  • the color of the surface of the dental prosthesis estimated by the estimation unit 609 is a color having a lower hue b* than the hue b* in the chromaticity coordinates defined by the L*a*b* color system of CIE1976. may contain Also, among the colors estimated by the estimation unit 609, colors having a low hue b* are applied to part of the surface of the dental prosthesis. It is more desirable to color the tip of the tooth and its vicinity, which is a part of the dental prosthesis, because it is aesthetically pleasing.
  • step S712 the data generation unit 610 generates the color data of the dental prosthesis based on the transmitted color information of the dental prosthesis, and displays the generated color data on the display unit 606 via the display control unit 611. to display.
  • the generated color data is transmitted to the coloring device 4000, and as will be described later, the coloring device 4000 colors the formed dental prosthesis based on the estimated color information.
  • the color of the surface of the dental prosthesis estimated by the estimation unit 609 may be multiple candidates.
  • the display control unit 611 displays a plurality of surface color candidates of the dental prosthesis on the display unit 606 .
  • the user may accept a selection through the operation unit 605 or the like so that the user can select color data from a plurality of color candidates.
  • the plurality of color data candidates displayed on the display unit 606 correspond to teeth on which the dental prosthesis is to be placed, teeth in the vicinity of the position where the dental prosthesis is to be placed, or teeth on which the dental prosthesis is to be placed. It may be displayed together with at least one matching score with tooth color information.
  • the acquisition unit 608 may also acquire information on the three-dimensional shape of the tooth.
  • the estimating unit 609 is configured to estimate the surface color of the dental prosthesis based on two pieces of information, ie, the tooth color information and the three-dimensional shape information, and an improvement in estimation accuracy is expected.
  • the information generated by the data generation unit 610 is also the three-dimensional shape data of the dental prosthesis.
  • a dental prosthesis may be formed.
  • the estimating unit 609 acquires the three-dimensional shape information, based on the position or posture at which the dental prosthesis is arranged, it generates data for predicting the appearance of the dental prosthesis from outside the oral cavity of the subject, A surface color of the dental prosthesis may be estimated based on the predicted data.
  • the estimation unit 609 estimates the color of the surface of the dental prosthesis based on at least one of the arrangement information of the light source, the intensity of the light emitted by the light source, the frequency of the light, and the color of the light. may
  • ⁇ Dental CAM3000> An example of the configuration of the dental CAM 3000 will be described with reference to FIG. 8, and the process of forming a dental prosthesis will be described with reference to FIG.
  • the dental CAM 3000 comprises a communication IF 701 , processing section 702 , storage section 703 , operation section 704 , display section 705 and control section 706 .
  • the control unit 706 has a processing control unit 707 and a display control unit 708 .
  • the dental CAM 3000 receives the three-dimensional shape data generated by the dental CAD 2000 through the communication IF801.
  • the received three-dimensional shape data is stored in the storage unit 803 .
  • the dental CAM 3000 may also acquire tooth color data.
  • the tooth color data is used in a later step.
  • the dental CAM 3000 selects a desired prosthesis base material based on the received three-dimensional shape data and color data.
  • the selection of the matrix of the prosthesis may be replaced by selection of the matrix by the user.
  • this step can be appropriately omitted, for example, when the base material of the prosthesis is set in advance.
  • the prosthesis material selected by the dental CAM 3000 is desirably a prosthesis base material that is close to the tooth color data received by the dental CAM 3000 from the dental CAD 2000 .
  • a prosthesis base material that is close to the color data and has a high degree of whiteness is selected as the base material for the dental prosthesis.
  • the base material of the dental prosthesis may contain ceramics and/or resin.
  • the dental CAM 3000 controls the processing unit 802 by the processing control unit 807 constituting the control unit 806 based on the received three-dimensional shape data to process the base material of the dental prosthesis.
  • the result of processing/forming by the processing unit 802 can be displayed on the display unit 805 through the display control unit 808 .
  • the processing unit 802 may form a dental prosthesis by processing the base material of the prosthesis by cutting and/or grinding. Further, the processing unit 802 may process and form a dental prosthesis by repeatedly sintering or melting and solidifying the base material of the prosthesis by light irradiation. Fabrication 802 may form a dental prosthesis by additive manufacturing.
  • the control unit 806 may be controlled through the operation unit 804 .
  • a dental prosthesis formed by the dental CAM 3000 is used for the coloring process by the coloring device 4000 .
  • ⁇ Coloring device 4000> An example of a coloring device 4000 that realizes the function of the coloring section 400 in the dental prosthesis manufacturing system will be described with reference to FIG. 10, and a dental prosthesis coloring process including this device will be described with reference to FIG.
  • the coloring device 4000 comprises a communication IF 901 , an operation section 902 , a storage section 903 , a rotation section 904 , a discharge section 905 and a control section 906 .
  • the control unit 906 has a position detection unit 907 , a shape detection unit 908 , a rotation control unit 909 and an ejection control unit 910 .
  • step S1001 the coloring device 4000 receives the dental prosthesis color data generated by the dental CAD 2000 through the communication IF901.
  • the coloring device 4000 records the received color data in the storage unit 903.
  • the coloring device 4000 holds the dental prosthesis processed and formed by the dental CAM 3000 on the rotating part 904 .
  • a position detection unit 907 detects the position data of the dental prosthesis processed and formed by the dental CAM 3000 .
  • the shape detection unit 908 receives the position data of the dental prosthesis detected by the position detection unit 907 or the three-dimensional shape data from the dental CAD 2000 to detect the shape of the dental prosthesis. Combining the position data detected by the position detection unit 907 and the received three-dimensional shape data improves the detection accuracy of the shape of the dental prosthesis by the shape detection unit 908 . Detection of the shape of the dental prosthesis by the shape detector 908 may be replaced by receiving three-dimensional shape data.
  • the coloring device 4000 colors the surface of the dental prosthesis formed by the forming device 3000 based on the color data generated by the dental CAD 2000 .
  • the coloring apparatus 4000 controls the rotation section 904 with the rotation control section 909 according to the shape of the dental prosthesis detected by the shape detection section 908 , and controls the ejection section 905 with the ejection control section 910 .
  • the dental prosthesis processed and formed by the dental CAM 3000 is colored with a coloring material based on the color data.
  • the ejection method of the ejection portion 905 may be inkjet or spray.
  • an ink jet may be used for the ejection section 905 when the amount of coloring material is small.
  • a spray may be used as the ejection section 905 .
  • the ejection unit 905 may have a mechanism capable of switching between inkjet and spray.
  • two or more kinds of coloring materials for coloring the dental prosthesis of the coloring device 4000 may be used to improve the reproducibility of the color data of the dental prosthesis.
  • the coloring device 4000 may have an application section (not shown) that applies a coloring material to the dental prosthesis. When the coloring device 4000 applies the coloring material, the applying portion may perform multi-layer coating using a plurality of different coloring materials.
  • Multi-layer coating by the coating part improves the reproducibility of coloring with respect to the color data for the dental prosthesis.
  • Coloring materials having different refractive indices may be used as the plurality of coloring materials. By using coloring materials with different refractive indices for coloring the dental prosthesis, the reflectance is increased, so that coloring reproducibility can be achieved with a small amount of application.
  • the coloring material for coloring the dental prosthesis by the coloring device 4000 may be selected by referring to a lookup table that links tooth color data and coloring materials. If the coloring apparatus 4000 has a lookup table in advance, it is possible to reduce the computational cost associated with determining the colorant.
  • the coloring material may contain B, Si, or resin. A wide color space can be achieved by including B, Si, or resin in the coloring material for coloring the dental prosthesis.
  • the coloring material for coloring the dental prosthesis by the coloring device 4000 may contain a scattering material.
  • a scattering material having a high refractive index may be used as the scattering material.
  • At least one of TiO 2 , SiO 2 and ZrO 2 may be included as a scattering material with a high refractive index.
  • step S1003 the coloring device 4000 determines whether or not the coloring process has been completed. If it is determined that the coloring process has been completed, this process ends, and if it is determined that the coloring process has not been completed, the process advances to step S1002 to perform the coloring process.
  • the dental prosthesis manufacturing system of the present invention includes an intraoral information acquisition unit 100 that acquires intraoral information, and three-dimensional shape data of the dental prosthesis and a dental prosthesis based on the acquired intraoral information. and a data generation unit 200 for generating color data of . Further, the dental prosthesis manufacturing system includes a forming unit 300 for forming the dental prosthesis based on the generated three-dimensional shape data, and a surface coloring unit 300 for forming the dental prosthesis based on the generated color data. and a coloring unit 400 for performing Also, the forming unit 300 and the coloring unit 400 may be configured by the same device that performs both processing.
  • the intraoral information acquisition unit 100 acquires the intraoral information of the subject from a storage device or the like.
  • the information acquired by the intraoral information acquisition unit 100 is information on the dentition including the missing region, and is image data including information on the three-dimensional shape of the tooth and color information on the tooth.
  • the intraoral information acquisition unit 100 transmits the acquired intraoral information to the data generation unit 200 as image data to be inferred.
  • the intraoral information acquired by the intraoral information acquiring unit 100 may be image data captured using imaging means such as an intraoral scanner (see 301 in FIG. 3). 301 in FIG. 3 shows an image of acquiring the user's intraoral information.
  • the data generation unit 200 infers the color of the dental prosthesis from the acquired inference target image data using the learned inference model.
  • the learned inference model uses teacher data paired with learning image data obtained by photographing a row of teeth including a missing region and correct data that is information about the color of a dental prosthesis to be placed in the missing region. It is a trained inference model trained by As will be described in detail later, the inference model may be a model based on a CNN (Convolutional Neural Network) to which correct labels corresponding to pixel values indicating the color of the dental prosthesis are applied as correct data.
  • CNN Convolutional Neural Network
  • the inference model may be a model based on a GAN (Generative Adversarial Network) such as pix2pix that has learned correct image data as correct data.
  • the data generator 200 further generates three-dimensional tooth shape data and tooth color data based on the inferred color and shape (see 302 in FIG. 3). Note that the inference processing by the learned inference model in the data generation unit 200 and the data generation based on the inference processing may be configured by different devices.
  • the data generation unit 200 infers the three-dimensional shape of the dental prosthesis based on, for example, the difference between the tooth shape master information and the transmitted three-dimensional tooth shape information, and generates three-dimensional tooth shape data. may be generated.
  • the data generating unit 200 After generating the three-dimensional tooth shape data and the tooth color data, the data generating unit 200 transmits the generated three-dimensional shape data to the forming unit 300 and transmits the inferred color data to the coloring unit 400 .
  • the dental prosthesis is shown in darker shades and the existing teeth in lighter shades.
  • step S202 the forming unit 300 forms a dental prosthesis by cutting or grinding the base material of the dental prosthesis based on the acquired three-dimensional tooth shape data. After the dental prosthesis is formed by the forming section 300 , the formed dental prosthesis is sent to the coloring section 400 .
  • step S203 the coloring unit 400 colors the surface of the dental prosthesis acquired from the forming unit 300 based on the color data of the dental prosthesis inferred from the acquired learned model.
  • 303 in FIG. 3 shows an image of forming a dental prosthesis from the base material of the dental prosthesis by the forming unit 300 and coloring the formed dental prosthesis by the coloring unit 400 .
  • the function of the intraoral information acquisition unit 100 is implemented by, for example, an intraoral scanner 1000 (described later using FIG. 5).
  • Intraoral information captured by the intraoral scanner 1000 is transmitted to an information processing device 2000 (described later using FIG. 12 and the like) having the function of the data generation unit 200 .
  • the three-dimensional shape data of the dental prosthesis generated by the information processing apparatus is transmitted to a dental CAM 3000 (described later using FIG. 8) having the function of the forming section 300 .
  • the color data of the dental prosthesis inferred by the learned inference model held by the information processing device 2000 is transmitted to the coloring device 4000 (described later using FIG.
  • the information processing apparatus 2000 transmits an output from a learned inference model held by the information processing apparatus 2000 to another apparatus such as a dental CAD, and the dental CAD generates data such as the color and shape of the dental prosthesis.
  • the devices that implement each part of the dental prosthesis manufacturing system are not limited to those described above. Each device constituting the dental prosthesis manufacturing system described above will be described below.
  • the intraoral scanner 1000 includes a storage unit 501 , an operation unit 502 , a communication IF (Interface) 503 and an imaging control unit 504 .
  • a storage unit 501 stores acquired tooth information and the like, and an operation unit 502 receives an operation by a user.
  • the communication IF 503 is implemented by a LAN card or the like, and controls communication with an external device (for example, dental CAD 2000).
  • the imaging control unit 504 acquires tooth image data.
  • the image data acquired by the imaging control unit 504 is stored in the storage unit 501 and transmitted to the information processing apparatus 2000 as image data to be inferred using the communication IF 503 .
  • the intraoral information acquiring unit 100 may be replaced by acquiring intraoral information captured in advance from a storage device or the like.
  • the intraoral scanner 1000 is a scanner for acquiring intraoral information, and does not necessarily have to be inserted into the oral cavity to take an image.
  • the intraoral information acquiring unit 100 may take a seal in the oral cavity and scan it to acquire the three-dimensional shape information of the tooth.
  • the information processing apparatus 2000 comprises a communication IF 2601, a ROM 2602, a RAM 2603, a storage section 2604, an operation section 2605, a display section 2606 and a control section 2607.
  • the communication IF 2601 is realized by a LAN card or the like, and controls communication with the external intraoral scanner 1000, dental CAM 3000, and coloring device 4000. However, if communication is not required, the communication IF 2601 is not essential as a configuration.
  • a ROM 2602 is realized by a non-volatile memory or the like, and stores various programs and the like.
  • a RAM 2603 is realized by a volatile memory or the like, and temporarily stores various information.
  • the storage unit 2604 is implemented by a HDD (Hard Disk Drive), SSD (Solid State Drive), or the like, and stores various information.
  • An operation unit 2605 is realized by a keyboard, mouse, etc., and a display unit 2606 is realized by a display, etc., and displays various information to the user.
  • the operation unit 2605 and the display unit 2606 may function as components of the dental CAD 2000 as shown in this drawing, or may be configured from a device different from the dental CAD 2000 .
  • the control unit 2607 is an inference target data acquisition unit 2608 that acquires inference target image data, learning image data obtained by photographing the dentition including the missing region, and information about the color of the dental prosthesis to be placed in the missing region. and an inference unit 2609 having a learned inference model trained using teacher data paired with correct answer data.
  • the inference unit 2609 is characterized by inferring the color of the dental prosthesis corresponding to the inference target image data by inputting the inference target image data into the learned inference model.
  • the information processing apparatus 2000 includes a data generation unit 2610 that generates data of the dental prosthesis based on the inferred color and three-dimensional shape of the dental prosthesis, and an inference unit 2609 that generates the data and the inference unit 2609 . and a display control 2611 for performing display processing on the display unit 2606 of the color information of the dental prosthesis.
  • the function of the data generation unit 2610 may be realized by a different device.
  • Each unit in the information processing apparatus 2000 may be configured by a plurality of devices, or may be configured as an apparatus realizing only a part of the configuration.
  • step S7001 the inference target data acquisition unit 2608 acquires the inference target image data obtained using the imaging means. After obtaining the inference target image data, the inference target data acquisition unit 2608 transmits the inference target image data to the inference unit 2609, and ends this step.
  • step S7002 the inference unit 2609 infers the color of the dental prosthesis corresponding to the inference target image data by inputting the inference target image data into the learned inference model.
  • learning will be described later, but the inference unit 2609 pairs learning image data obtained by photographing the row of teeth including the missing region with correct data that is information about the color of the dental prosthesis to be placed in the missing region.
  • the inference model is a model based on machine learning, such as a model based on CNN or a model based on GAN.
  • the inference model that the inference unit 2609 has may be plural.
  • the inference unit 2609 has inference models for cases where the missing area is smaller than a predetermined value and for cases where the missing area is larger than a predetermined value.
  • the missing region is, for example, a value calculated by comparing a dentition based on standard dentition data and a dentition including the missing region.
  • the missing area is large relative to the dentition, when inferring the color of the dental prosthesis to be placed in the missing area, the teeth near the teeth to be placed and the correspondence to be occlusion are used. Inferences that are more sensitive to tooth color may be preferred.
  • the defect area is small, it may be preferable to make an inference that takes into account the color of the tooth on which the dental prosthesis is to be placed. Therefore, by having a plurality of inference models with different teacher data depending on the size of the missing region, the inference accuracy of the color of the dental prosthesis is improved.
  • the inference unit 2609 infers the color of the dental prosthesis and transmits data to the data generation unit 2610 .
  • the data generation unit 2610 may be composed of a different device, and the information processing device 2000 may function as an independent device realizing the functions described above.
  • step S7003 the data generation unit 2610 generates the color data of the dental prosthesis based on the transmitted color information of the dental prosthesis, and displays the generated color data on the display unit 2606 via the display control unit 2611. to display.
  • the generated color data is transmitted to the coloring device 4000, and as will be described later, the coloring device 4000 colors the formed dental prosthesis based on the inferred color information.
  • the surface color of the dental prosthesis inferred by the inferring unit 2609 may have multiple candidates.
  • the display control unit 2611 displays a plurality of surface color candidates of the dental prosthesis on the display unit 2606 . Further, by further acquiring likelihood information for each color from the inference unit 2609, the display control unit 2611 can display a plurality of color candidates together with the likelihood information. The user may accept a selection through the operation unit 2605 or the like so that the user can select color data from a plurality of color candidates.
  • FIG. 14 shows the configuration of the information processing apparatus 2000 during learning.
  • a control unit 807 controls a teacher data acquisition unit 808 that acquires teacher data, and an inference model based on machine learning based on the acquired teacher data. and a learning unit 809 for learning.
  • the information processing device having the inference unit 2609 and the information processing device 2000 may be the same information processing device or different information processing devices.
  • the inference function is realized by copying the learned inference model generated by the learning unit 809 to the cloud or another information processing apparatus.
  • the learning unit 809 When the learning unit 809 learns an inference model and generates a learned inference model, the learning unit 809 associates and stores model information and parameter information acquired by learning in the storage unit 2604 .
  • the training data refers to a pair of learning image data obtained by photographing a row of teeth including a missing region and correct data that is information about the color of the dental prosthesis to be placed in the missing region.
  • the inference model based on machine learning may be a model based on CNN or a model based on GAN.
  • the inference model is a CNN-based model
  • the correct data is data composed of correct labels corresponding to pixel values indicating the color of the dental prosthesis.
  • the inference model is a GAN-based model
  • the correct data is image data of the dentition.
  • a learning unit 809 generates a learned inference model by learning pairs of learning images and correct data. The learning flow will be described below with reference to FIG.
  • the teacher data acquisition unit 808 acquires teacher data from the storage unit 2604 or the like.
  • the teacher data is data in which learning image data and correct data are paired.
  • the teacher data acquisition unit 808 transmits the teacher data to the learning unit 809 .
  • the teacher data acquisition unit 808 may mask a partial region of the dentition of a healthy subject and generate learning image data with the masked region as a missing region. In this case, the information of the color masked in the mask area becomes correct data. Also, the learning image data may be expanded by combining the mask size, mask shape, angle, and the size, angle, brightness, etc. of the row-of-teeth image.
  • step S9001 the learning unit 809 performs learning processing on the inference model using teacher data to generate a trained model.
  • the learning unit 809 associates the inference model information with the parameter information and stores them in the storage unit 2604 .
  • the learning unit 809 may learn a plurality of inference models according to the size of the missing region for the row of teeth in the learning image data. For example, a first inference model is generated by learning first teacher data including learning image data in which the missing region of the dentition is equal to or less than a predetermined standard as teacher data.
  • the learning unit 809 generates a second inference model by learning second teacher data including second teacher data including learning image data in which the missing region with respect to the dentition is larger than a predetermined standard as teacher data.
  • “include” means that even if other teacher data is included as a configuration of the teacher data, and even if additional learning is performed with different teacher data, this case applies.
  • step S10001 the inference unit 2609 calculates the size of the missing region with respect to the dentition in the acquired inference target data.
  • the size of the missing region with respect to the row of teeth is a value calculated by comparing the row of teeth based on the standard row of teeth data and the row of teeth including the missing region, for example.
  • the process may be replaced by an inference model that detects missing regions.
  • the inference unit 2609 determines whether or not the missing region for the dentition is equal to or less than a predetermined value. Infer the color of the dental prosthesis by the first inference model developed. On the other hand, if the value is greater than the predetermined value, the process advances to step S10003 to infer the color of the dental prosthesis by the second inference model learned from the second teacher data. do.
  • the inference unit 2609 performs inference based on whether or not the training image having a predetermined size of the missing region is included in the missing region for the dentition and the teacher data of the plurality of inference models. was selected and explained to the effect that inference would be made.
  • verification image data is inferred from multiple trained models generated from different training data, and the accuracy of multiple trained inference models and the size of the missing region are associated and stored. Then, inference may be performed using a highly accurate inference model with respect to the size of the missing region in the image data to be inferred. By doing so, it is possible to infer the color of the dental prosthesis with higher accuracy for the image data to be inferred.
  • ⁇ Dental CAM3000> An example of the configuration of the dental CAM 3000 will be described with reference to FIG. 8, and the process of forming a dental prosthesis will be described with reference to FIG.
  • the dental CAM 3000 comprises a communication IF 701 , processing section 702 , storage section 703 , operation section 704 , display section 705 and control section 706 .
  • the control unit 706 has a processing control unit 707 and a display control unit 708 .
  • the dental CAM 3000 receives the three-dimensional shape data generated by the dental CAD 2000 through the communication IF801.
  • the received three-dimensional shape data is stored in the storage unit 803 .
  • the dental CAM 3000 may also acquire tooth color data.
  • the tooth color data is used in a later step.
  • the dental CAM 3000 selects a desired prosthesis base material based on the received three-dimensional shape data and color data.
  • the selection of the matrix of the prosthesis may be replaced by selection of the matrix by the user.
  • this step can be appropriately omitted, for example, when the base material of the prosthesis is set in advance.
  • the prosthesis material selected by the dental CAM 3000 is desirably a prosthesis base material that is close to the tooth color data received by the dental CAM 3000 from the dental CAD 2000 .
  • a prosthesis base material that is close to the color data and has a high degree of whiteness is selected as the base material for the dental prosthesis.
  • the base material of the dental prosthesis may contain ceramics and/or resin.
  • the dental CAM 3000 controls the processing unit 802 by the processing control unit 807 constituting the control unit 806 based on the received three-dimensional shape data to process the base material of the dental prosthesis.
  • the result of processing/forming by the processing unit 802 can be displayed on the display unit 805 through the display control unit 808 .
  • the processing unit 802 may form a dental prosthesis by processing the base material of the prosthesis by cutting and/or grinding. Further, the processing unit 802 may process and form a dental prosthesis by repeatedly sintering or melting and solidifying the base material of the prosthesis by light irradiation. Fabrication 802 may form a dental prosthesis by additive manufacturing.
  • the control unit 806 may be controlled through the operation unit 804 .
  • a dental prosthesis formed by the dental CAM 3000 is used for the coloring process by the coloring device 4000 .
  • ⁇ Coloring device 4000> An example of a coloring device 4000 that realizes the function of the coloring section 400 in the dental prosthesis manufacturing system will be described with reference to FIG. 10, and a dental prosthesis coloring process including this device will be described with reference to FIG.
  • the coloring device 4000 comprises a communication IF 901 , an operation section 902 , a storage section 903 , a rotation section 904 , a discharge section 905 and a control section 906 .
  • the control unit 906 has a position detection unit 907 , a shape detection unit 908 , a rotation control unit 909 and an ejection control unit 910 .
  • step S1001 the coloring device 4000 receives the dental prosthesis color data generated by the information processing device 2000 through the communication IF901.
  • the coloring device 4000 records the received color data in the storage unit 903.
  • the coloring device 4000 holds the dental prosthesis processed and formed by the dental CAM 3000 on the rotating part 904 .
  • a position detection unit 907 detects the position data of the dental prosthesis processed and formed by the dental CAM 3000 .
  • the shape detection unit 908 receives the position data of the dental prosthesis detected by the position detection unit 907 or the three-dimensional shape data from the dental CAD 2000 to detect the shape of the dental prosthesis. Combining the position data detected by the position detection unit 907 and the received three-dimensional shape data improves the detection accuracy of the shape of the dental prosthesis by the shape detection unit 908 . Detection of the shape of the dental prosthesis by the shape detector 908 may be replaced by receiving three-dimensional shape data.
  • the coloring device 4000 colors the surface of the dental prosthesis formed by the forming device 3000 based on the color data generated by the information processing device 2000 .
  • the coloring apparatus 4000 controls the rotation section 904 with the rotation control section 909 according to the shape of the dental prosthesis detected by the shape detection section 908 , and controls the ejection section 905 with the ejection control section 910 .
  • the dental prosthesis processed and formed by the dental CAM 3000 is colored with a coloring material based on the color data.
  • the ejection method of the ejection portion 905 may be inkjet or spray.
  • an ink jet may be used for the ejection section 905 when the amount of coloring material is small.
  • a spray may be used as the ejection section 905 .
  • the ejection unit 905 may have a mechanism capable of switching between inkjet and spray.
  • two or more kinds of coloring materials for coloring the dental prosthesis of the coloring device 4000 may be used to improve the reproducibility of the color data of the dental prosthesis.
  • the coloring device 4000 may have an application section (not shown) that applies a coloring material to the dental prosthesis. When the coloring device 4000 applies the coloring material, the applying portion may perform multi-layer coating using a plurality of different coloring materials.
  • Multi-layer coating by the coating part improves the reproducibility of coloring with respect to the color data for the dental prosthesis.
  • Coloring materials having different refractive indices may be used as the plurality of coloring materials. By using coloring materials with different refractive indices for coloring the dental prosthesis, the reflectance is increased, so that coloring reproducibility can be achieved with a small amount of application.
  • the coloring material for coloring the dental prosthesis by the coloring device 4000 may be selected by referring to a lookup table that links tooth color data and coloring materials. If the coloring apparatus 4000 has a lookup table in advance, it is possible to reduce the computational cost associated with determining the colorant.
  • the coloring material may contain B, Si, or resin. A wide color space can be realized by including B, Si, or resin in the coloring material for coloring the dental prosthesis.
  • the coloring material for coloring the dental prosthesis by the coloring device 4000 may contain a scattering material.
  • a scattering material having a high refractive index may be used as the scattering material.
  • At least one of TiO 2 , SiO 2 and ZrO 2 may be included as a scattering material with a high refractive index.
  • step S1003 the coloring device 4000 determines whether or not the coloring process has been completed. If it is determined that the coloring process has been completed, this process ends, and if it is determined that the coloring process has not been completed, the process advances to step S1002 to perform the coloring process.
  • Example 1 Three-dimensional modeling was performed by irradiating the raw material with Yb fiber laser using the three-dimensional shape data of the tooth. Powder 1 in Table 1 was used as a raw material. A three-dimensional shape measuring machine was used to confirm that the prosthesis was similar to the three-dimensional shape data of the tooth. The shaped prosthesis was colored with a coloring material by an inkjet printer.
  • Example 2 A prosthesis was produced in the same manner as in Example 1, using Powder 2 as the raw material.
  • the data generating unit 200 estimates the surface color by using, for example, the camera output (Rw, Gw, Bw) for the white light source color as the frequency information of the light emitted by the light source.
  • (R, G, B) be the surface color of the tooth acquired by the tooth camera adjacent to the tooth to be repaired with the prosthesis.
  • (R', G', B') of Equation 1 the surface color of the tooth to be repaired with the prosthesis is estimated.
  • the present invention is also realized by executing the following processing. That is, the software (program) that realizes the functions of the above-described embodiments is supplied to a system or device via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or device reads the program. This is the process to be executed.
  • the present invention is also realized by executing the following processing. That is, the software (program) that realizes the functions of the above-described embodiments is supplied to a system or device via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or device reads the program. This is the process to be executed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本発明は、歯科用補綴物の色を推定する色の推定方法と、推定された色に基づいて歯科用補綴物の着色を行う歯科用補綴物の製造方法を提供することを目的とする。本発明に係る歯科用補綴物の色の推定方法は、撮像手段を用いて得られた歯の色情報を取得する取得工程と、歯科用補綴物を配置する対象歯と、該対象歯の近傍の歯と、該対象歯との対応歯のうち、少なくとも一つの色情報に基づいて、前記歯科用補綴物の表面の色を推定する推定工程と、を備える。

Description

歯科用補綴物の色の推定方法、情報処理装置、歯科用補綴物の製造方法、情報処理方法およびプログラム
　本明細書の開示は歯科用補綴物の色の推定する推定方法、情報処理装置および推定された色データを用いて着色を行う歯科用補綴物の製造方法、学習済みモデルを用いて歯科用補綴物の色の推論を行う情報処理装置、情報処理方法およびプログラムに関する。
　従来、インレー、クラウン、ブリッジ等の歯科用補綴物は歯科技工士による鋳造など、人手によって作製されていた。それに対し、コンピュータを用いて、インレー、クラウン、ブリッジ等の歯科用補綴物の設計を行い、切削加工によって歯科用補綴物を作製するＣＡＤ／ＣＡＭシステムが注目されている（特許文献１）。
　特許文献１に記載のＣＡＤ／ＣＡＭシステムは、支台歯形成や窩洞形成した歯牙の三次元形状の情報、場合によっては隣在歯や対合歯の三次元形状の情報を読み取る。そして読み取った歯牙の形状等の情報を基に目的の歯科用補綴物をコンピュータで設計し、レジン硬化体、セラミック焼結体、金属体等のブロック状材料を自動切削加工機にセットして切削加工して歯科用補綴物を作製することが開示されている。
特開２００２－２２４１４２号公報
　しかしながら、特許文献１には、ＣＡＤ／ＣＡＭシステムによって、歯牙等の三次元形状の情報に基づいてブロック材料を切削加工することで歯科用補綴物を形成するものの、歯科用補綴物の着色に関しては人手で行われており、コストがかかる。本発明は、歯科用補綴物の色を推定する色の推定方法、推定方法を実施する情報処理装置、推定された色に基づいて歯科用補綴物の着色を行う歯科用補綴物の製造方法、学習済みの推論モデルを用いて歯科用補綴物の色を推論する情報処理装置、情報処理方法およびプログラムを提供することを目的とする。
　本発明に係る歯科用補綴物の色の推定方法は、撮像手段を用いて得られた歯の色情報を取得する取得工程と、歯科用補綴物を配置する対象歯と、該対象歯の近傍の歯と、該対象歯との対応歯のうち、少なくとも一つの色情報に基づいて、演算器が前記歯科用補綴物の表面の色を推定する推定工程とを有する。
　本発明によれば、形成された歯科用補綴物の色を推定することができる。
本発明の歯科用補綴物製造システムの構成を示す図。 本発明の歯科用補綴物の生成フローを示す図。 本発明の歯科用補綴物の生成フローのイメージ図。 本発明の歯科用補綴物製造システムの各部を実現する装置例の概略図。 本発明の口腔内スキャナ１０００の概略図。 本発明の歯科用ＣＡＤ２０００の概略図。 本発明の歯科用ＣＡＤによる歯科用補綴物のデータ生成フロー図。 本発明の歯科用ＣＡＭ３０００の概略図。 本発明の歯科用補綴物の形成フローを説明する図。 本発明の着色装置４０００の概略図。 本発明の歯科用補綴物の着色フローを説明する図。 本発明の情報処理装置２０００（歯科用ＣＡＤ２０００）の概略図。 本発明の情報処理装置２０００（歯科用ＣＡＤ２０００）による歯科用補綴物の色の推論フロー図。 本発明の情報処理装置２０００（歯科用ＣＡＤ２０００）の推論モデルの学習時の概略図。 本発明の情報処理装置２０００による推論モデルの学習フロー図。 本発明の推論フローの変形例を示すフロー図。
　以下、添付図面を参照して本発明の好適な実施形態について説明する。
　［第一の実施形態］
　図１は、本発明に係る歯科用補綴物製造システムの構成を示す。
　本発明の歯科用補綴物製造システムは、口腔内の情報を取得する口腔内情報の取得部１００と、取得した口腔内情報に基づいて、歯科用補綴物の三次元形状データおよび色データを生成するデータ生成部２００とを含む。さらに歯科用補綴物製造システムは生成された三次元形状データに基づいて歯科用補綴物の形成を行う形成部３００と、生成された色データに基づいて形成された歯科用補綴物の表面に着色を行う着色部４００とから構成される。ここで、本発明におけるデータ生成部２００およびデータ生成部２００によって生成された色データに基づいて着色を行う着色部４００は歯科用補綴物の着色システム５００として機能する。即ち、着色システムは、歯の色情報に基づいて歯の色データを生成するデータ生成部２００と、形成された歯科用補綴物の表面に該色データに基づいて着色する着色部４００とから構成される。また形成部３００と着色部４００とは、両加工を行う同一の装置から構成されてもよい。
　以下より、図２に示した歯科用補綴物製造システムによる歯科用補綴物の生成フローについて図３のイメージ図を参照しながら説明をする。
　ステップＳ２００において、口腔内情報の取得部１００は、記憶装置等から被検者の口腔内情報を取得する。口腔内情報の取得部１００が取得する情報は、歯の三次元形状の情報や、歯の色情報である。口腔内情報の取得部１００は、取得した口腔内情報をデータ生成部２００へと送信する。なお、ここで、口腔内情報の取得部１００が取得する口腔内情報は、口腔内スキャナ等（図３の３０１参照）の撮像手段を用いて撮影された口腔内情報が撮像装置から送信された情報であってもよい。図３の３０１は、ユーザの口腔内情報を取得するイメージを示している。口腔内情報の取得部１００は、被検体の口腔内情報を、撮像手段によって撮像した口腔内情報を取得する。
　ステップＳ２０１において、データ生成部２００は口腔内情報に基づいて、演算器が歯科用補綴物の表面の色を推定する。データ生成部２００は、さらに、口腔内情報から歯科用補綴物の三次元形状を推定し、推定した色および形状に基づいて、歯の三次元形状データと歯の色データを生成する（図３の３０２参照）。データ生成部２００は、例えば歯の形状のマスタ情報と、送信された歯の三次元形状情報との差分に基づいて、歯課用補綴物の三次元形状を推定し、歯の三次元形状データを生成してもよい。データ生成部２００は歯の三次元形状データおよび歯の色データを生成すると、生成した三次元形状データを形成部３００へ送信し、色データを着色部４００へ送信する。
　図３の３０２において、歯科用補綴物を濃色、現存する歯を淡色で示している。なお、データ生成部２００は、後述するが、歯科用補綴物の表面に着色する色を推定し、推定した色に基づいて歯科用補綴物のデータを生成する。
　データ生成部２００は、口腔内情報の取得部１００によって取得された口腔内情報に基づいて歯の三次元形状データおよび歯の色データを生成する。なお、データ生成部２００が生成する歯の三次元形状データおよび色データは互いに関連するデータであってもよい。後に詳述するが、例えば歯科用補綴物の表面の色の推定は、歯科用補綴物の対象歯、対象歯の近傍の歯、対象歯との対応歯のうち、すくなくとも一つの色情報に基づいて、演算器によって実施される。また、色の推定は、歯の三次元形状情報に基づいて実施されてもよい。このような場合には、データ生成部２００によって生成される色データは、歯の三次元形状情報および色情報に基づくため、生成される三次元形状データと色データは両データ間に相関を有する構成になる。
　ステップＳ２０２において、形成部３００は、取得した歯の三次元形状データに基づいて、形成部３００が歯科用補綴物の母材を切削や研削することで歯科用補綴物を形成する。形成部３００によって歯科用補綴物が形成されると、形成した歯科用補綴物を着色部４００に送る。
　ステップＳ２０３において、着色部４００は、取得した歯科用補綴物の色データに基づいて、形成部３００から取得した歯科用補綴物の表面に着色を行う。図３の３０３には、形成部３００によって歯科用補綴物の母材から歯科用補綴物を形成し、形成した歯科用補綴物に対して着色部４００が着色するイメージを示している。
　本フローによって、本発明の歯科用補綴物の着色システム５００は、形成された歯科用補綴物に対して着色を行うことができる。該着色システム５００による歯科用補綴物の着色によって、図３の３０４にイメージとして示すような適合性の高い歯科用補綴物が生成することができる。
　ここで、図４を用いて歯科用補綴物製造システムの各部を実現する装置の一例について説明をする。口腔内情報の取得部１００の機能は例えば、口腔内スキャナ１０００（図５を用いて後述）によって実現される。口腔内スキャナ１０００で撮影した口腔内情報は、データ生成部２００の機能を有する歯科用ＣＡＤ２０００（図６を用いて後述）に送信される。また歯科用ＣＡＤ２０００によって生成された歯科用補綴物の三次元形状データは、形成部３００の機能を有する歯科用ＣＡＭ３０００（図７を用いて後述）に送信される。また歯科用ＣＡＤ２０００によって生成された色データは、着色部４００の機能を有する着色装置４０００（図９を用いて後述）に送信される。また歯科用ＣＡＤ２０００および着色装置４０００は、それぞれの装置を一体とした歯科用補綴物の着色システム５０００として機能してもよい。なお、歯科用補綴物製造システムの各部を実現する装置は上述に限定されるものではない。以下より、上述した歯科用補綴物製造システムを構成する各装置について説明をする。
　＜口腔内スキャナ１０００＞
　まず、図５を用いて歯科用補綴物製造システムにおける口腔内情報取得部１００の機能を実現する口腔内スキャナ１０００の概略図について説明をする。口腔内スキャナ１０００は記憶部５０１と操作部５０２と通信用ＩＦ（Ｉｎｔｅｒｆａｃｅ）５０３と撮影制御部５０４を具備している。記憶部５０１は取得した歯の情報等を記憶し、操作部５０２は、ユーザによる操作を受け付ける。通信ＩＦ５０３は、ＬＡＮカード等で実現され、外部装置（例えば歯科用ＣＡＤ２０００）との間の通信を司る。撮影制御部５０４は歯の三次元形状情報および歯の色情報を取得する。ここで、撮影制御部５０４による歯の三次元形状情報と色情報は同時に取得されても、別々に取得されても良い。また、撮影制御部５０４が取得する歯の三次元形状情報と色情報はそれぞれが独立した装置から構成されてもよい。
　撮影制御部５０４によって取得された歯の三次元形状情報と色情報は記憶部５０１に記憶され、通信ＩＦ５０３を用いて歯科用ＣＡＤ２０００に送信される。なお、口腔内情報の取得部１００はあらかじめ撮影された口腔内情報を記憶装置等から取得する装置によって実現されてもよい。また口腔内スキャナ１０００は口腔内の情報を取得するためのスキャナであり、必ずしも口腔内に差し込んで撮影される必要はない。例えば口腔内情報の取得部１００は、口腔内の印章をとり、それをスキャンして歯の三次元形状情報を取得してもよい。
　＜歯科用ＣＡＤ２０００＞
　次に歯科用補綴物製造システムにおけるデータ生成部２００の機能を実現する情報処理装置である、歯科用ＣＡＤ２０００の概略図の一例を示す。図６に示すように歯科用ＣＡＤ２０００は通信ＩＦ６０１、ＲＯＭ６０２、ＲＡＭ６０３、記憶部６０４、操作部６０５、表示部６０６と制御部６０７を具備している情報処理装置である。
　通信ＩＦ６０１は、ＬＡＮカード等で実現され、外部の口腔内スキャナ１０００や、歯科用ＣＡＭ３０００、着色装置４０００との間の通信を司る。ただし通信を行う必要がない場合は、通信ＩＦ６０１は構成として必須ではない。ＲＯＭ６０２は、不揮発性のメモリ等で実現され、各種プログラム等を記憶する。ＲＡＭ６０３は、揮発性のメモリ等で実現され、各種情報を一時的に記憶する。記憶部６０４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等で実現され、各種情報を記憶する。操作部６０５は、キーボードやマウス等で実現され、表示部６０６は、ディスプレイ等で実現され、各種情報をユーザに表示する。操作部６０５や表示部６０６は、本図面で示すように歯科用ＣＡＤ２０００の構成として機能してもよいし、歯科用ＣＡＤ２０００とは異なる装置から構成されてもよい。
　制御部６０７は、撮像手段を用いて得られた歯の色情報を取得する取得部６０８と、歯科用補綴物を配置する対象歯と、該対象歯の近傍の歯と、該対象歯との対応歯のうち、少なくとも一つの色情報に基づいて、演算器によって歯科用補綴物の表面の色を推定する。またデータ生成部６１０は、推定された歯科用補綴物の色や、三次元形状に基づいて、歯科用補綴物のデータを生成するデータ生成部６１０と、生成したデータを表示部６０６に表示処理するための表示制御部６１１とを含み構成される。
　ここで、図７を用いて、歯科用ＣＡＤ２０００によって、歯科用補綴物のデータ生成のフローに関して説明をする。尚、歯科用ＣＡＤ２０００における各部の構成が複数の装置から構成されても、一部の構成のみを実現した装置として構成されてもよい。
　ステップＳ７１０において、取得部６０８は、撮像手段を用いて得られた歯の色情報を取得する。取得部６０８は、歯の色情報を取得すると、推定部６０９へと歯の色情報を送信し、本ステップを終了する。
　ステップＳ７１１において、推定部６０９は、歯科用補綴物を配置する対象歯と、対象歯の近傍の歯と、対象歯との対応歯のうち、少なくとも一つの色情報に基づいて、歯科用補綴物の表面の色を推定する。推定部６０９は、推定した歯科用補綴物の表面の色の情報をデータ生成部６１０に送信すると、本ステップを終了する。対象歯とは、欠損部を有する歯を指し、近傍の歯は、前記対象歯が位置する上顎あるいは下顎における同じ顎側の歯列において隣接する歯である。また対応歯とは、前記対象歯が位置する上顎あるいは下顎に対し、異なる顎側の歯列において前記対象歯とかみ合わせの位置に位置する歯のことを示す。
　ここで、推定部６０９において、推定のための入力となる対象歯、近傍の歯、対応の歯は、ユーザによって特定されてもよいし、公知の画像処理技術によって特定されてもよい。
　推定部６０９は、歯科用補綴物を配置する対象歯、前記歯科用補綴物を配置する位置の近傍の歯、あるいは前記歯科用補綴物を配置する歯と対応する歯のすくなくともいずれかの歯の明度情報に基づき生成された明度データを用いて、前記歯科用補綴物の表面の色を推定する。この場合に、推定部６０９は、歯科用補綴物の表面の色を、生成した明度データにおける最大値と最小値の間で推定することになる。
　また、推定部６０９は、画像処理技術によって欠損した歯を対象歯として決定する処理を行ってもよい。さらに、対象歯の欠損部の欠損の度合いを算出し、該欠損の度合いに応じて、推定部６０９が歯科用補綴物の表面の色を推定する。例えば、推定部６０９は、該欠損の度合いが大きい場合には、対象歯の色情報よりも、対応歯や、近傍の歯の色情報を、欠損の度合いが小さい場合よりも色情報の推定への重みを大きくして推定を行う。一方で、推定部６０９は、該欠損の度合いが小さい場合には、対応歯や、近傍の歯の色情報よりも、対象の歯の色情報を、欠損の度合いが大きい場合よりも色の推定への重みを大きくして推定を行う。また推定部６０９における歯科用補綴物の表面の歯の色は、対象歯、対応歯、近傍の歯の色情報から欠損部の色を補間することによって推定される。例えば、複数の歯の色情報間の色の平均値を歯科用補綴物の色として推定してもよい。
　推定部６０９は、歯の色と三次元形状の情報とを関連付けた歯のカラーモデルを記憶しておく、該カラーモデルに対して、色情報を入力することにより、歯科用補綴物の色を推定することも一例として挙げられる。
　ここで推定部６０９によって推定される歯科用補綴物の表面の色は、ＣＩＥ１９７６のＬ＊ａ＊ｂ＊表色系で規定する色度座標における色相ｂ＊よりも、低い色相ｂ＊を有する色を含んでいても良い。また、推定部６０９が推定する色のうち、低い色相ｂ＊を有する色が歯科用補綴物の表面の一部に配色される。歯科用補綴物の一部である歯先およびその近傍の部位に配色されていると審美性に優れるのでより望ましい。
　ステップＳ７１２において、データ生成部６１０は、送信された歯科用補綴物の色の情報に基づいて、歯科用補綴物の色データを生成すると表示制御部６１１を介して生成した色データを表示部６０６へ表示させる。また、生成した色データは、着色装置４０００へ送信され、後述するが着色装置４０００は、形成された歯科用補綴物に対して、推定された色情報に基づく着色を行う。
　またここで、推定部６０９によって推定される歯科用補綴物の表面の色は、候補として複数あってもよい。その場合には、表示制御部６１１は表示部６０６に対して複数の歯科用補綴物の表面の色候補を表示する。ユーザは、複数の色候補から、操作部６０５等を介して、ユーザが色データを選択できる選択受付を行ってもよい。また表示部６０６に表示される複数の色データの候補は、歯科用補綴物を配置する歯、歯科用補綴物を配置する位置の近傍の歯、あるいは歯科用補綴物を配置する歯と対応する歯の色情報との、少なくともいずれか１つのマッチングスコアとともに表示されてもよい。
　（変形例１）
　取得部６０８は、さらに歯の三次元形状の情報を取得してもよい。この場合には、推定部６０９は、歯の色情報および三次元形状情報の二つの情報に基づいて、歯科用補綴物の表面の色を推定する構成となり、推定精度の向上が期待される。また、データ生成部６１０によって生成される情報は、歯科用補綴物の色データに加えて、歯科用補綴物の三次元形状データとなり、該三次元形状データに基づいて、後述する歯科用ＣＡＭ３０００が歯科用補綴物を形成してもよい。また推定部６０９が三次元形状情報を取得した場合に、歯科用補綴物を配置する位置或いは姿勢に基づいて、被検体の口腔外からの歯科用補綴物の外観予測データを生成し、該外観予測データに基づいて、歯科用補綴物の表面の色を推定してもよい。また推定部６０９による歯科用補綴物の表面の色の推定は、光源の配置情報、光源が照射する光の強度、前記光の周波数、あるいは前記光の色味の少なくとも１つに基づいて推定されてもよい。
　＜歯科用ＣＡＭ３０００＞
　歯科用ＣＡＭ３０００について、図８を用いて構成の一例について説明し、図９を用いて歯科用補綴物の形成工程について説明をする。
　歯科用ＣＡＭ３０００は通信ＩＦ７０１、加工部７０２、記憶部７０３、操作部７０４、表示部７０５と制御部７０６を具備している。制御部７０６は加工制御部７０７と表示制御部７０８を具備している。
　ステップＳ８０１において、歯科用ＣＡＭ３０００は通信ＩＦ８０１を通じて歯科用ＣＡＤ２０００よって生成された３次元形状データを受信する。受信した３次元形状データは記憶部８０３に記憶される。また歯科用ＣＡＭ３０００は歯の色データをさらに取得してもよい。歯の色データは後述のステップにて用いられる。
　ステップＳ８０２において、歯科用ＣＡＭ３０００は、受信した三次元形状データや色データに基づいて望ましい補綴物の母材を選択する。該補綴物の母材の選択は、ユーザによる母材の選択によって代替されてもよい。また事前に補綴物の母材がセットされている場合等、本ステップは適宜省略可能である。ここで、歯科用ＣＡＭ３０００によって選択される補綴物の部材は、歯科用ＣＡＭ３０００が歯科用ＣＡＤ２０００から受信した歯の色データに近い補綴物の母材が望ましい。例えば歯科用補綴物の母材として選択されるのは、色データに近く白色度が高い補綴物の母材である。また歯科用補綴物の母材には、セラミックスおよび／または樹脂を含有していてもよい。
　ステップＳ８０３において、歯科用ＣＡＭ３０００は、受信した３次元形状データに基づき制御部８０６を構成する加工制御部８０７によって加工部８０２を制御し、歯科用補綴物の母材を加工することで歯科用補綴物を形成する。加工部８０２による加工・形成の結果は表示制御部８０８を通じて表示部８０５で表示することができる。ここで加工部８０２は補綴物の母材を切削および／または研削で加工することで歯科用補綴物を形成しても良い。また加工部８０２は補綴物の母材を光照射により原料を逐次焼結または溶融して凝固させることを繰り返すことで、歯科用補綴物の加工・形成してもよい。加工部８０２は、付加造形法によって歯科用補綴物を形成してもよい。また制御部８０６は操作部８０４を通じて制御されてもよい。歯科用ＣＡＭ３０００によって形成された歯科用補綴物は着色装置４０００による着色工程に用いられる。
　＜着色装置４０００＞
　図１０を用いて歯科用補綴物製造システムにおける着色部４００の機能を実現する着色装置４０００の一例について説明し、図１０を用いて本装置を含む歯科用補綴物の着色工程について説明をする。
　着色装置４０００は通信ＩＦ９０１、操作部９０２、記憶部９０３、回転部９０４、吐出部９０５、制御部９０６を具備している。制御部９０６は位置検出部９０７、形状検出部９０８、回転制御部９０９、吐出制御部９１０を具備している。
　以下、図１１を用いて、データ生成部２００によって生成された色データに基づいて、形成された歯科用補綴物に着色する工程の具体例について説明をする。
　ステップＳ１００１において着色装置４０００は通信ＩＦ９０１を通じて歯科用ＣＡＤ２０００によって生成された歯科用補綴物の色データを受信する。
　着色装置４０００は、受信した色データを記憶部９０３に記録する。着色装置４０００は、歯科用ＣＡＭ３０００で加工・形成した歯科用補綴物を回転部９０４で保持する。位置検出部９０７では歯科用ＣＡＭ３０００で加工・形成された歯科用補綴物の位置データを検出する。形状検出部９０８では、位置検出部９０７によって検出された歯科用補綴物の位置データ、または歯科用ＣＡＤ２０００より３次元形状データを受信することで、歯科用補綴物の形状を検出する。位置検出部９０７によって検出された位置データと受信した３次元形状データを組み合わせると、形状検出部９０８による歯科用補綴物の形状の検出精度が向上する。形状検出部９０８による歯科用補綴物の形状の検出は三次元形状データの受信によって代替されてもよい。
　ステップＳ１００２において着色装置４０００は、形成装置３０００で形成された歯科用補綴物の表面に、歯科用ＣＡＤ２０００で生成された色データに基づく着色を行う。具体的には、着色装置４０００は、形状検出部９０８で検出した歯科用補綴物の形状に応じて回転制御部９０９で回転部９０４を制御し、吐出部９０５を吐出制御部９１０で制御しながら歯科用ＣＡＭ３０００で加工・形成した歯科用補綴物を色データに基づく色材で着色する。歯科用補綴物を着色するとステップＳ１００３へと処理を進める。なお、吐出部９０５の吐出方法はインクジェットでもいいし、スプレーでもよい。ここで吐出部９０５には色材量が少ない時はインクジェットが使用されてもよい。また色材量が多い時は吐出部９０５としてスプレーが使用されてもよい。また吐出部９０５はインクジェットとスプレーを切り替え可能な機構としてそれぞれを有していてもよい。また着色装置４０００の歯科用補綴物の着色に係る色材は２種以上用いて歯科用補綴物の色データの再現性を向上させてもよい。さらに着色装置４０００は、歯科用補綴物に対して色材を塗布する塗布部（不図示）を有してもよい。着色装置４０００が色材を塗布する場合には、塗布部は異なる複数の色材を用いて多層塗布が行ってもよい。塗布部による多層塗布により、歯科用補綴物に対して色データに対する着色の再現性が向上する。また複数の色材として、互いに屈折率が異なる色材を用いてもよい。屈折率が異なる色材を歯科用補綴物の着色に用いることで反射率が高まるので、少ない塗布量で着色の再現性を実現することができる。また着色装置４０００によって歯科用補綴物を着色するための色材は、歯の色データと色材とを紐づけるルックアップテーブルを参照することで選択されてもよい。着色装置４０００はルックアップテーブルを事前に保有している場合には、色材を決定に係る演算コストを削減することができる。色材はＢ、Ｓｉ、あるいは樹脂のいずれかを含み構成されてもよい。歯科用補綴物を着色するための色材にＢ、Ｓｉ、あるいは樹脂を含むことで広い色空間を実現できる。
　また、着色装置４０００によって、歯科用補綴物に着色するための色材は散乱材を含んでいてもよい。散乱材を含む色材の着色により、より少ない塗布量で着色の再現性が実現できる。散乱材には、屈折率の高い散乱材が用いられてもよい。屈折率の高い散乱材として、ＴｉＯ２、ＳｉＯ２、ＺｒＯ２のうち、少なくともいずれかを含んでいてもよい。
　ステップＳ１００３において、着色装置４０００は、着色処理が完了したか否かを判定する。着色処理が完了したと判定された場合には本処理を終了し、着色処理が完了していないと判定された場合には、ステップＳ１００２へと処理を進め、着色処理を行う。
　［第二の実施形態］
　下記より図１を用いて本発明の第二の実施形態に係る歯科用補綴物製造システムの構成を示す。
　本発明の歯科用補綴物製造システムは、口腔内の情報を取得する口腔内情報の取得部１００と、取得した口腔内情報に基づいて、歯科用補綴物の三次元形状データや歯科用補綴物の色データを生成するデータ生成部２００とを含む。さらに歯科用補綴物製造システムは生成された三次元形状データに基づいて歯科用補綴物の形成を行う形成部３００と、生成された色データに基づいて形成された歯科用補綴物の表面に着色を行う着色部４００とから構成される。また形成部３００と着色部４００とは、両加工を行う同一の装置から構成されてもよい。
　以下より、図２に示した歯科用補綴物製造システムによる歯科用補綴物の生成フローについて図３のイメージ図を参照しながら説明をする。
　ステップＳ２００において、口腔内情報の取得部１００は、記憶装置等から被検者の口腔内情報を取得する。口腔内情報の取得部１００が取得する情報は、欠損領域を含む歯列の情報であり、歯の三次元形状の情報や、歯の色情報を含む画像データである。口腔内情報の取得部１００は、取得した口腔内情報を推論対象の画像データとして、データ生成部２００へと送信する。なお、ここで、口腔内情報の取得部１００が取得する口腔内情報は、口腔内スキャナ等（図３の３０１参照）の撮像手段を用いて撮影された画像データであってもよい。図３の３０１は、ユーザの口腔内情報を取得するイメージを示している。
　ステップＳ２０１において、データ生成部２００は取得した推論対象の画像データに対して、学習済みの推論モデルを用いて歯科用補綴物の色を推論する。ここで、学習済みの推論モデルは、欠損領域を含む歯列を撮影した学習画像データと該欠損領域に配置する歯科用補綴物の色に関する情報である正解データとを対にした教師データを用いて学習した学習済みの推論モデルである。後に詳述するが、推論モデルは、正解データとして、歯科用補綴物の色を示す画素値に対応する正解ラベルを適用したＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）に基づくモデルであってもよい。もしくは、推論モデルは正解データとして、正解画像データを学習したｐｉｘ２ｐｉｘのようなＧＡＮ（Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋ）に基づくモデルであってもよい。データ生成部２００は、さらに、推論した色および形状に基づいて、歯の三次元形状データと歯の色データを生成する（図３の３０２参照）。なお、データ生成部２００における学習済みの推論モデルによる推論処理と、該推論処理に基づくデータの生成とは、異なる装置から構成されてもよい。データ生成部２００は、例えば歯の形状のマスタ情報と、送信された歯の三次元形状情報との差分に基づいて、歯課用補綴物の三次元形状を推論し、歯の三次元形状データを生成してもよい。データ生成部２００は歯の三次元形状データおよび歯の色データを生成すると、生成した三次元形状データを形成部３００へ送信し、推論した色データを着色部４００へ送信する。ここで、図３の３０２において、歯科用補綴物を濃色、現存する歯を淡色で示している。
　ステップＳ２０２において、形成部３００は、取得した歯の三次元形状データに基づいて、形成部３００が歯科用補綴物の母材を切削や研削することで歯科用補綴物を形成する。形成部３００によって歯科用補綴物が形成されると、形成した歯科用補綴物を着色部４００に送る。
　ステップＳ２０３において、着色部４００は、取得した学習済みモデルによって推論された歯科用補綴物の色データに基づいて、形成部３００から取得した歯科用補綴物の表面に着色を行う。図３の３０３には、形成部３００によって歯科用補綴物の母材から歯科用補綴物を形成し、形成した歯科用補綴物に対して着色部４００が着色するイメージを示している。本フローによる歯科用補綴物の着色によって、図３の３０４にイメージとして示すような適合性の高い歯科用補綴物が生成することができる。
　ここで、図４を用いて歯科用補綴物製造システムの各部を実現する装置の一例について説明をする。口腔内情報の取得部１００の機能は例えば、口腔内スキャナ１０００（図５を用いて後述）によって実現される。口腔内スキャナ１０００で撮影した口腔内情報は、データ生成部２００の機能を有する情報処理装置２０００（図１２等を用いて後述）に送信される。また情報処理装置によって生成された歯科用補綴物の三次元形状データは、形成部３００の機能を有する歯科用ＣＡＭ３０００（図８を用いて後述）に送信される。また情報処理装置２０００が保有する学習済みの推論モデルによって推論された歯科用補綴物の色データは、着色部４００の機能を有する着色装置４０００（図１３を用いて後述）に送信される。また情報処理装置２０００における歯科用補綴物の色の推論と、歯科用補綴物のデータ生成とは、異なる装置によって実現されてもよい。例えば、情報処理装置２０００が保有する学習済みの推論モデルによる出力を、歯科用ＣＡＤ等の他の装置に送信し、歯科用ＣＡＤが歯科用補綴物の色や形状等のデータを生成する。なお、歯科用補綴物製造システムの各部を実現する装置は上述に限定されるものではない。以下より、上述した歯科用補綴物製造システムを構成する各装置について説明をする。
　＜口腔内スキャナ１０００＞
　まず、図５を用いて歯科用補綴物製造システムにおける口腔内情報取得部１００の機能を実現する口腔内スキャナ１０００の概略図について説明をする。口腔内スキャナ１０００は記憶部５０１と操作部５０２と通信用ＩＦ（Ｉｎｔｅｒｆａｃｅ）５０３と撮影制御部５０４を具備している。記憶部５０１は取得した歯の情報等を記憶し、操作部５０２は、ユーザによる操作を受け付ける。通信ＩＦ５０３は、ＬＡＮカード等で実現され、外部装置（例えば歯科用ＣＡＤ２０００）との間の通信を司る。撮影制御部５０４は歯画像データを取得する。
　撮影制御部５０４によって取得された画像データは記憶部５０１に記憶され、通信ＩＦ５０３を用いて推論対象の画像データとして情報処理装置２０００に送信される。なお、口腔内情報の取得部１００はあらかじめ撮影された口腔内情報を記憶装置等から取得することで代替されてもよい。また口腔内スキャナ１０００は口腔内の情報を取得するためのスキャナであり、必ずしも口腔内に差し込んで撮影される必要はない。例えば口腔内情報の取得部１００は、口腔内の印章をとり、それをスキャンして歯の三次元形状情報を取得してもよい。
　＜情報処理装置２０００＞
　次に歯科用補綴物製造システムにおけるデータ生成部２００の機能を実現する情報処理装置の概略図の一例を示す。図１２に示すように情報処理装置２０００は通信ＩＦ２６０１、ＲＯＭ２６０２、ＲＡＭ２６０３、記憶部２６０４、操作部２６０５、表示部２６０６と制御部２６０７を具備している。
　通信ＩＦ２６０１は、ＬＡＮカード等で実現され、外部の口腔内スキャナ１０００や、歯科用ＣＡＭ３０００、着色装置４０００との間の通信を司る。ただし通信を行う必要がない場合は、通信ＩＦ２６０１は構成として必須ではない。ＲＯＭ２６０２は、不揮発性のメモリ等で実現され、各種プログラム等を記憶する。ＲＡＭ２６０３は、揮発性のメモリ等で実現され、各種情報を一時的に記憶する。記憶部２６０４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等で実現され、各種情報を記憶する。操作部２６０５は、キーボードやマウス等で実現され、表示部２６０６は、ディスプレイ等で実現され、各種情報をユーザに表示する。操作部２６０５や表示部２６０６は、本図面で示すように歯科用ＣＡＤ２０００の構成として機能してもよいし、歯科用ＣＡＤ２０００とは異なる装置から構成されてもよい。
　制御部２６０７は、推論対象の画像データを取得する推論対象データの取得部２６０８と、欠損領域を含む歯列を撮影した学習画像データと欠損領域に配置する歯科用補綴物の色に関する情報である正解データとを対にした教師データを用いて学習した学習済みの推論モデルを有する推論部２６０９とを含み構成される。また推論部２６０９は、学習済みの推論モデルへ推論対象の画像データを入力することにより、推論対象の画像データに対応する歯科用補綴物の色を推論することを特徴とする。また情報処理装置２０００は、推論された歯科用補綴物の色や、三次元形状に基づいて、歯科用補綴物のデータを生成するデータ生成部２６１０と、生成したデータや、推論部２６０９によって推論された歯科用補綴物の色の情報を表示部２６０６に表示処理するための表示制御２６１１と、を含み構成される。
　尚、データ生成部２６１０の機能は異なる装置によって実現されてもよい。
　ここで、図１３を用いて、情報処理装置２０００によって、歯科用補綴物の色を推論し、データ生成するまでのフローに関して説明をする。尚、情報処理装置２０００における各部の構成が複数の装置から構成されても、一部の構成のみを実現した装置として構成されてもよい。
　ステップＳ７００１において、推論対象データの取得部２６０８は、撮像手段を用いて得られた推論対象の画像データを取得する。推論対象データの取得部２６０８は、推論対象の画像データを取得すると、推論部２６０９へと推論対象の画像データを送信し、本ステップを終了する。
　ステップＳ７００２において、推論部２６０９は、学習済みの推論モデルへ前記推論対象の画像データを入力することにより、前記推論対象の画像データに対応する歯科用補綴物の色を推論する。ここで、学習に関しては後述するが、推論部２６０９は、欠損領域を含む歯列を撮影した学習画像データと欠損領域に配置する歯科用補綴物の色に関する情報である正解データとを対にした教師データを用いて学習した学習済みの推論モデルを有する。ここで、推論モデルは機械学習に基づくモデルであり、例えばＣＮＮに基づくモデルや、ＧＡＮに基づくモデルである。また、推論部２６０９が有する推論モデルは、複数あってもよい。例えば、推論部２６０９が歯列に対して欠損領域が所定値よりも小さい場合と、大きい場合とで推論モデルをそれぞれ有する場合について考える。欠損領域とは、例えば、標準的な歯列データに基づく歯列と、前記欠損領域を含む歯列との対比によって算出される値である。歯列に対して欠損領域が大きい場合には、当該欠損領域に配置する歯科用補綴物の色を推論する場合に、配置の対象となる歯の近傍の歯と、噛み合わせの対象となる対応の歯の色をより加味した推論が好ましい場合がある。一方で、欠損領域が小さい場合には、歯科用補綴物の配置の対象となる歯の色を、加味した推論が好ましい場合がある。そのため、欠損領域の大きさで教師データを異ならせた推論モデルを複数有することによって、歯科用補綴物の色の推論精度が向上する。
　推論部２６０９は、歯科用補綴物の色を推論するとデータ生成部２６１０にデータを送信する。なお、データ生成部２６１０は異なる装置から構成されてもよく、また情報処理装置２０００はここまでの機能を実現した独立した装置として機能してもよい。
　ステップＳ７００３において、データ生成部２６１０は、送信された歯科用補綴物の色の情報に基づいて、歯科用補綴物の色データを生成すると表示制御部２６１１を介して生成した色データを表示部２６０６へ表示させる。また、生成した色データは、着色装置４０００へ送信され、後述するが着色装置４０００は、形成された歯科用補綴物に対して、推論された色情報に基づく着色を行う。
　またここで、推論部２６０９によって推論される歯科用補綴物の表面の色は、候補として複数あってもよい。その場合には、表示制御部２６１１は表示部２６０６に対して複数の歯科用補綴物の表面の色候補を表示する。また、推論部２６０９から各色の尤度情報をさらに取得することで、表示制御部２６１１は、複数の色候補を尤度情報と合わせて表示することができる。ユーザは、複数の色候補から、操作部２６０５等を介して、ユーザが色データを選択できる選択受付を行ってもよい。
　ここで、図１４や図１５を用いて、推論部２６０９における学習済みの推論モデルを学習する構成に関して説明をする。図１４は、学習をする際の情報処理装置２０００の構成を示しており、制御部８０７は、教師データを取得する教師データ取得部８０８、取得した教師データに基づいて、機械学習に基づく推論モデルを学習する学習部８０９とから構成される。なお、推論部２６０９を有する情報処理装置と、本情報処理装置２０００とは同じ情報処理装置であっても、異なる情報処理装置であってもよい。例えば、学習部８０９によって生成された学習済みの推論モデルをクラウドや、他の情報処理装置にコピーすることで推論機能が実現される。
　学習部８０９は、推論モデルを学習し、学習済みの推論モデルを生成すると、記憶部２６０４に対して、モデルの情報と学習によって取得されたパラメータの情報とを対応づけて記憶する。なお、教師データとは、欠損領域を含む歯列を撮影した学習画像データと前記欠損領域に配置する歯科用補綴物の色に関する情報である正解データとを対にしたデータを指す。また、機械学習に基づく推論モデルは、ＣＮＮに基づくモデルでも、ＧＡＮに基づくモデルでもよい。推論モデルがＣＮＮに基づくモデルの場合には、正解データは、歯科用補綴物の色を示す画素値に対応する正解ラベルから構成されるデータである。また推論モデルがＧＡＮに基づくモデルである場合には、正解データは、歯列の画像データである。学習部８０９は、学習画像と正解データとを対にした学習によって学習済みの推論モデルを生成する。以下、図１５を用いて、学習のフローに関して説明をする。
　ステップＳ９０００において、教師データの取得部８０８は、教師データを記憶部２６０４等より取得をする。ここで、教師データとは、学習画像データと正解データとを対にしたデータである。教師データの取得部８０８は、教師データを学習部８０９に送信する。
　ここで教師データの取得部８０８は、健常者の歯列の一部の領域をマスクし、該マスク領域を欠損領域とした学習画像データを生成してもよい。この場合には、該マスク領域にマスクされた色の情報が正解データとなる。また、マスクの大きさや、マスクの形状、角度、歯列画像のサイズや角度、輝度等の変更処理の組み合わせによって学習画像データを拡張してもよい。
　ステップＳ９００１において、学習部８０９は、教師データを用いて推論モデルに対して学習処理を実施し、学習済みモデルを生成する。学習部８０９は学習済みモデルを生成すると、推論モデルの情報と、パラメータの情報とを対応づけて記憶部２６０４で記憶をする。なお、学習部８０９は、学習画像データにおける歯列に対する欠損領域の大きさに応じて、複数の推論モデルを学習してもよい。例えば、歯列に対して欠損領域が所定の基準以下の学習画像データを教師データとして含む第一の教師データを学習させた第一の推論モデルを生成する。また学習部８０９は、歯列に対する欠損領域が所定の基準よりも大きい学習画像データを教師データとして含む第二の教師データとして含む第二の教師データを学習させた第二の推論モデルを生成する。ここで、含むとは、教師データの構成として、他の教師データを含んでいても、異なる教師データによって追加学習がなされた場合であっても本件の対象である。
　ここから、欠損領域の大きさに応じて異なる教師データによって生成された複数のモデルがある場合の、推論部２６０９の推論フローに関して図１６を用いて説明をする。ここで、図１３と同様の処理には同様の図番を付し、適宜説明を省略するものとする。
　ステップＳ１０００１において、推論部２６０９は、取得した推論対象のデータにおける歯列に対する欠損領域の大きさを算出する。ここで、歯列に対する欠損領域の大きさは例えば、標準的な歯列データに基づく歯列と、前記欠損領域を含む歯列との対比によって算出される値である。また、欠損領域を検出する推論モデルによって、該処理が代替されてもよい。推論部２６０９は、歯列に対する欠損領域が所定の値以下か否かを判定し、所定の値以下であった場合には、ステップＳ１０００２へと処理を進め、上述した第一の教師データによって学習された第一の推論モデルによって歯科用補綴物の色を推論する。他方で、所定の値よりも大きい値であった場合には、ステップＳ１０００３へと処理を進め、上述した第二の教師データによって学習された第二の推論モデルによって歯科用補綴物の色を推論する。
　（変形例２）
　上述の実施形態において、推論部２６０９は、歯列に対する欠損領域と、複数の推論モデルの教師データに、所定の欠損領域の大きさの学習画像が含まれるか否かによって、推論を行う推論モデルを選択し、推論を行う旨、説明をした。
　ここでは、異なる教師データによって生成された複数の学習済みモデルに対して、検証用の画像データを推論させ、複数の学習済みの推論モデルの精度と、欠損領域の大きさを対応づけて記憶しておいて、推論対象の画像データにおける欠損領域の大きさに対して、精度の高い推論モデルを用いて推論を行わせてもよい。そうすることで、推論対象の画像データに対して、より精度の高い歯科用補綴物の色を推論が実現される。
　＜歯科用ＣＡＭ３０００＞
　歯科用ＣＡＭ３０００について、図８を用いて構成の一例について説明し、図９を用いて歯科用補綴物の形成工程について説明をする。
　歯科用ＣＡＭ３０００は通信ＩＦ７０１、加工部７０２、記憶部７０３、操作部７０４、表示部７０５と制御部７０６を具備している。制御部７０６は加工制御部７０７と表示制御部７０８を具備している。
　ステップＳ８０１において、歯科用ＣＡＭ３０００は通信ＩＦ８０１を通じて歯科用ＣＡＤ２０００よって生成された３次元形状データを受信する。受信した３次元形状データは記憶部８０３に記憶される。また歯科用ＣＡＭ３０００は歯の色データをさらに取得してもよい。歯の色データは後述のステップにて用いられる。
　ステップＳ８０２において、歯科用ＣＡＭ３０００は、受信した三次元形状データや色データに基づいて望ましい補綴物の母材を選択する。該補綴物の母材の選択は、ユーザによる母材の選択によって代替されてもよい。また事前に補綴物の母材がセットされている場合等、本ステップは適宜省略可能である。ここで、歯科用ＣＡＭ３０００によって選択される補綴物の部材は、歯科用ＣＡＭ３０００が歯科用ＣＡＤ２０００から受信した歯の色データに近い補綴物の母材が望ましい。例えば歯科用補綴物の母材として選択されるのは、色データに近く白色度が高い補綴物の母材である。また歯科用補綴物の母材には、セラミックスおよび／または樹脂を含有していてもよい。
　ステップＳ８０３において、歯科用ＣＡＭ３０００は、受信した３次元形状データに基づき制御部８０６を構成する加工制御部８０７によって加工部８０２を制御し、歯科用補綴物の母材を加工することで歯科用補綴物を形成する。加工部８０２による加工・形成の結果は表示制御部８０８を通じて表示部８０５で表示することができる。ここで加工部８０２は補綴物の母材を切削および／または研削で加工することで歯科用補綴物を形成しても良い。また加工部８０２は補綴物の母材を光照射により原料を逐次焼結または溶融して凝固させることを繰り返すことで、歯科用補綴物の加工・形成してもよい。加工部８０２は、付加造形法によって歯科用補綴物を形成してもよい。また制御部８０６は操作部８０４を通じて制御されてもよい。歯科用ＣＡＭ３０００によって形成された歯科用補綴物は着色装置４０００による着色工程に用いられる。
　＜着色装置４０００＞
　図１０を用いて歯科用補綴物製造システムにおける着色部４００の機能を実現する着色装置４０００の一例について説明し、図１０を用いて本装置を含む歯科用補綴物の着色工程について説明をする。
　着色装置４０００は通信ＩＦ９０１、操作部９０２、記憶部９０３、回転部９０４、吐出部９０５、制御部９０６を具備している。制御部９０６は位置検出部９０７、形状検出部９０８、回転制御部９０９、吐出制御部９１０を具備している。
　以下、図１１を用いて、データ生成部２００によって生成された色データに基づいて、形成された歯科用補綴物に着色する工程の具体例について説明をする。
　ステップＳ１００１において着色装置４０００は通信ＩＦ９０１を通じて情報処理装置２０００によって生成された歯科用補綴物の色データを受信する。
　着色装置４０００は、受信した色データを記憶部９０３に記録する。着色装置４０００は、歯科用ＣＡＭ３０００で加工・形成した歯科用補綴物を回転部９０４で保持する。位置検出部９０７では歯科用ＣＡＭ３０００で加工・形成された歯科用補綴物の位置データを検出する。形状検出部９０８では、位置検出部９０７によって検出された歯科用補綴物の位置データ、または歯科用ＣＡＤ２０００より３次元形状データを受信することで、歯科用補綴物の形状を検出する。位置検出部９０７によって検出された位置データと受信した３次元形状データを組み合わせると、形状検出部９０８による歯科用補綴物の形状の検出精度が向上する。形状検出部９０８による歯科用補綴物の形状の検出は三次元形状データの受信によって代替されてもよい。
　ステップＳ１００２において着色装置４０００は、形成装置３０００で形成された歯科用補綴物の表面に、情報処理装置２０００で生成された色データに基づく着色を行う。具体的には、着色装置４０００は、形状検出部９０８で検出した歯科用補綴物の形状に応じて回転制御部９０９で回転部９０４を制御し、吐出部９０５を吐出制御部９１０で制御しながら歯科用ＣＡＭ３０００で加工・形成した歯科用補綴物を色データに基づく色材で着色する。歯科用補綴物を着色するとステップＳ１００３へと処理を進める。なお、吐出部９０５の吐出方法はインクジェットでもいいし、スプレーでもよい。ここで吐出部９０５には色材量が少ない時はインクジェットが使用されてもよい。また色材量が多い時は吐出部９０５としてスプレーが使用されてもよい。また吐出部９０５はインクジェットとスプレーを切り替え可能な機構としてそれぞれを有していてもよい。また着色装置４０００の歯科用補綴物の着色に係る色材は２種以上用いて歯科用補綴物の色データの再現性を向上させてもよい。さらに着色装置４０００は、歯科用補綴物に対して色材を塗布する塗布部（不図示）を有してもよい。着色装置４０００が色材を塗布する場合には、塗布部は異なる複数の色材を用いて多層塗布が行ってもよい。塗布部による多層塗布により、歯科用補綴物に対して色データに対する着色の再現性が向上する。また複数の色材として、互いに屈折率が異なる色材を用いてもよい。屈折率が異なる色材を歯科用補綴物の着色に用いることで反射率が高まるので、少ない塗布量で着色の再現性を実現することができる。また着色装置４０００によって歯科用補綴物を着色するための色材は、歯の色データと色材とを紐づけるルックアップテーブルを参照することで選択されてもよい。着色装置４０００はルックアップテーブルを事前に保有している場合には、色材を決定に係る演算コストを削減することができる。色材はＢ、Ｓｉ、あるいは樹脂のいずれかを含み構成されてもよい。歯科用補綴物を着色するための色材にＢ、Ｓｉ、あるいは樹脂を含むことで広い色空間を実現できる。
　また、着色装置４０００によって、歯科用補綴物に着色するための色材は散乱材を含んでいてもよい。散乱材を含む色材の着色により、より少ない塗布量で着色の再現性が実現できる。散乱材には、屈折率の高い散乱材が用いられてもよい。屈折率の高い散乱材として、ＴｉＯ２、ＳｉＯ２、ＺｒＯ２のうち、少なくともいずれかを含んでいてもよい。
　ステップＳ１００３において、着色装置４０００は、着色処理が完了したか否かを判定する。着色処理が完了したと判定された場合には本処理を終了し、着色処理が完了していないと判定された場合には、ステップＳ１００２へと処理を進め、着色処理を行う。
　以下に、実施例を挙げて本発明をより具体的に説明するが、本発明は、以下の実施例により限定されるものではない。
　（実施例１）
　歯の三次元形状データを用いて、Ｙｂファイバーレーザーを原料に照射して三次元造形を行った。原料としては表１の粉末１を用いた。歯の三次元形状データと同様の補綴物が造形できていることを三次元形状測定機で確認した。造形した補綴物に色材をインクジェットプリンタにより着色した。
Figure JPOXMLDOC01-appb-T000001
　（実施例２）
　実施例１と同様に原料として粉末２を用いて補綴物を作製した。
　実施例１～２の補綴物が歯科用補綴物として使用可能であることを確認した。
　（変形例３）
　データ生成部２００は、例えば、光源が照射する光の周波数情報として光源色の白色に対するカメラの出力を（Ｒｗ、Ｇｗ、Ｂｗ）を用いて、表面色の推定を行う。補綴物で補修する歯の隣接する歯のカメラによって取得した歯の表面色を（Ｒ，Ｇ，Ｂ）とする。式１の（Ｒ’、Ｇ’、Ｂ’）に基づいて補綴物で補修するとする歯の表面色として推定する。
Figure JPOXMLDOC01-appb-M000002
　（変形例４）
　また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
　（その他の実施例）
　また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０２１年３月２９日提出の日本国特許出願特願２０２１－０５４９２１と２０２１年４月２３日提出の日本国特許出願特願２０２１－０７３５５６を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (34)

  1. 　撮像手段を用いて得られた歯の色情報を取得する取得工程と、
    　歯科用補綴物を配置する対象歯と、該対象歯の近傍の歯と、該対象歯との対応歯のうち、
    　少なくとも一つの色情報に基づいて、演算器が前記歯科用補綴物の表面の色を推定する推定工程と、を備えた歯科用補綴物の色の推定方法。
  2. 　前記取得工程において、さらに前記歯の三次元形状情報を取得し、
    　前記推定工程において、前記色情報と、前記歯の三次元形状とに基づいて前記歯科用補綴物の色を推定することを特徴とする請求項１に記載の歯科用補綴物の色の推定方法。
  3. 　前記推定工程において、前記歯の欠損部を特定し、特定した該欠損部を有する歯を、前記歯科用補綴物を配置する対象歯として決定することを特徴とする請求項１または２に記載の歯科用補綴物の色の推定方法。
  4. 　前記推定工程において、前記歯の欠損部の欠損の度合いを推定し、前記欠損の度合いに応じて、前記歯科用補綴物の色の推定を行うことを特徴とする請求項３に記載の歯科用補綴物の色の推定方法。
  5. 　前記推定工程において、前記欠損の度合いが大きい場合には、前記欠損の度合いが小さい場合よりも、前記対象歯の近傍の歯あるいは前記対象の歯の対応歯の色情報の重みを大きくして歯科用補綴物の色の推定を行うことを特徴とする請求項４に記載の歯科用補綴物の色の推定方法。
  6. 　前記推定工程において、前記欠損の度合いが小さい場合には、前記欠損の度合いが大きい場合よりも、前記対象歯の色情報の重みを大きくして歯科用補綴物の色の推定を行うことを特徴とする請求項４または５に記載の歯科用補綴物の色の推定方法。
  7. 　前記対象歯の近傍の歯は、前記対象歯が位置する上顎あるいは下顎における同じ顎側の歯列において隣接する歯である請求項１乃至６のいずれか１項に記載の歯科用補綴物の色の推定方法。
  8. 　前記対象歯との対応歯は、前記対象歯が位置する上顎あるいは下顎に対し、異なる顎側の歯列において前記対象歯とかみ合わせの位置に位置する歯である請求項１乃至７のいずれか１項に記載の歯科用補綴物の色の推定方法。
  9. 　前記歯科用補綴物の色は、前記歯の色情報から、欠損部の色を補間することによって推定されることを特徴とする請求項４乃至６のいずれか１項に記載の歯科用補綴物の色の推定方法。
  10. 　歯の色と形状の情報を関連付けた歯のカラーモデルに対して、対象歯の色情報を入力することにより、欠損部の色を推定することを特徴とする請求項９に記載の歯科用補綴物の色の推定方法。
  11. 　前記推定工程において、歯科用補綴物を配置する対象歯、前記歯科用補綴物を配置する位置の近傍の歯、あるいは前記歯科用補綴物を配置する歯と対応する歯のすくなくともいずれかの歯の明度情報に基づき生成された明度データを用いて、前記歯科用補綴物の表面の色を推定する請求項１乃至１０のいずれか１項に記載の歯科用補綴物の色の推定方法。
  12. 　前記明度データにおける最大値と最小値の間となるように前記演算器が前記歯科用補綴物の色を推定する請求項１１に記載の歯科用補綴物の色の推定方法。
  13. 　前記歯科用補綴物を配置する位置あるいは姿勢に基づく、被検体の口腔外からの前記歯科用補綴物の外観予測データに基づいて前記歯科用補綴物の表面の色を推定する請求項１乃至１２のいずれか１項に記載の歯科用補綴物の色の推定方法。
  14. 　前記歯の色データに含まれるＣＩＥ１９７６のＬ＊ａ＊ｂ＊表色系で規定する色度座標における色相ｂ＊よりも、低い色相ｂ＊を有する色が、前記歯科用補綴物の表面の一部の色として推定される請求項１乃至１３のいずれか１項に記載の歯科用補綴物の色の推定方法。
  15. 　前記一部は歯科用補綴物の歯先およびその近傍の部位である請求項１４に記載の歯科用補綴物の色の推定方法。
  16. 　前記歯科用補綴物の表面の色は、光源の配置情報、前記光源が照射する光の強度、前記光の周波数、あるいは前記光の色味の少なくとも１つに基づいて推定される請求項１乃至７のいずれか１項に記載の歯科用補綴物の色の推定方法。
  17. 　推定された前記歯科用補綴物の表面の色と、前記歯科用補綴物の表面に着色する色材とを紐づけるルックアップテーブルによって関連付けられた色材を、前記歯科用補綴物の表面を着色する色材として選択する工程を備える請求項１乃至１６のいずれか１項に記載の歯科用補綴物の色の推定方法。
  18. 　請求項１乃至１７のいずれか１項に記載の歯科用補綴物の色の推定方法によって歯科用補綴物の表面の色を推定する工程と、推定された前記色に基づいて着色装置で着色する工程を備えた歯科用補綴物の製造方法。
  19. 　請求項１乃至１７のいずれか１項に記載の歯科用補綴物の色の推定方法を実施することで、歯科用補綴物の表面の色を推定する情報処理装置。
  20. 　欠損領域を含む歯列を撮影した学習画像データと前記欠損領域に配置する歯科用補綴物の色に関する情報である正解データとを対にした教師データを用いて学習した学習済みの推論モデルを有する推論部と、
    　欠損領域を含む歯列を撮影した、推論対象の画像データを取得する推論対象データの取得部と、を有し、
    　前記推論部は、前記学習済みの推論モデルへ前記推論対象の画像データを入力することにより、前記推論対象の画像データに対応する歯科用補綴物の色を推論することを特徴とする情報処理装置。
  21. 　前記教師データを取得する教師データ取得部と、
    　取得した前記教師データを用いて、前記機械学習に基づく推論モデルを学習する学習部をさらに有することを特徴とする請求項２０に記載の情報処理装置。
  22. 　前記推論モデルは、ＣＮＮに基づく推論モデルであることを特徴とする請求項２０または２１に記載の情報処理装置。
  23. 　前記正解データは、前記歯科用補綴物の色を示す画素値に対応する正解ラベルから構成されるデータであることを特徴とする請求項２０乃至２２のいずれか１項に記載の情報処理装置。
  24. 　前記学習画像データは、歯列の一部の領域をマスクし、該マスク領域を前記欠損領域とした画像データを含むことを特徴とする請求項２０乃至２３のいずれか１項に記載の情報処理装置。
  25. 　前記教師データは、前記マスク領域を前記欠損領域とした学習画像データと、前記歯列の画像データを正解データとして構成されることを特徴とする請求項２４に記載の情報処理装置。
  26. 　前記推論モデルは、ＧＡＮに基づく推論モデルであることを特徴とする請求項２４または２５に記載の情報処理装置。
  27. 　前記推論部は、複数の異なる学習済みの推論モデルから、推論する推論モデルを選択し、該選択された推論モデルを用いて推論を行うことを特徴とすることを特徴とする請求項２０乃至２６のいずれか１項に記載の情報処理装置。
  28. 　前記推論部は、前記推論対象の画像データにおける歯列の欠損領域の大きさに基づいて、前記複数の学習済みモデルから推論モデルを選択することを特徴とする請求項２７に記載の情報処理装置。
  29. 　前記推論部は、前記歯列に対する欠損領域の大きさが、所定の値より大きいか否かに応じて、推論モデルを選択することを特徴とする請求項２８に記載の情報処理装置。
  30. 　前記複数の推論モデルは、前記歯列に対する欠損領域の大きさが前記所定の値以下の学習画像データを教師データとして含む第一の教師データに基づいて学習された第一の推論モデルと、前記歯列に対する欠損領域の大きさが前記所定の値より大きい学習画像データを教師データとして含む第二の教師データに基づいて学習された第二の推論モデルとを含み構成されることを特徴とする請求項２９に記載の情報処理装置。
  31. 　前記推論部は、前記複数の学習済みモデルに対して、検証用の画像データを推論させ、該検証用の画像データに対する複数の学習済みモデルの推論の精度と、該検証用の画像データにおける歯列の欠損領域の大きさとに基づいて、推論対象の画像データに対して推論するモデルを選択することを特徴とする請求項２７乃至３０のいずれか１項に記載の情報処理装置。
  32. 　前記欠損領域の大きさとは、標準的な歯列データに基づく歯列と、前記欠損領域を含む歯列との対比によって算出される値であることを特徴とする請求項２７乃至３０のいずれか１項に記載の情報処理装置。
  33. 　欠損領域を含む歯列を撮影した、推論対象の画像データを取得する推論対象データの取得ステップと、
    　機械学習に基づく推論モデルを、欠損領域を含む歯列を撮影した学習画像データと前記欠損領域に配置する歯科用補綴物の色に関する情報である正解データとを対にした教師データを用いて学習した学習済みの推論モデルに対して、前記推論対象の画像データを入力することにより、前記歯科用補綴物の色を推論する推論ステップと、
    　を有することを特徴とする情報処理方法。
  34. 　請求項３３に記載の情報処理方法をコンピュータで実行するためのプログラム。
PCT/JP2022/012232 2021-03-29 2022-03-17 歯科用補綴物の色の推定方法、情報処理装置、歯科用補綴物の製造方法、情報処理方法およびプログラム WO2022209951A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280025489.0A CN117119995A (zh) 2021-03-29 2022-03-17 假牙颜色估计方法、信息处理装置、假牙制造方法、信息处理方法和程序
DE112022001266.8T DE112022001266T5 (de) 2021-03-29 2022-03-17 Zahnersatzfarbschätzungsverfahren, informationsverarbeitungsvorrichtung, zahnersatzherstellungsverfahren, informationsverarbeitungsverfahren und programm
US18/476,130 US20240016587A1 (en) 2021-03-29 2023-09-27 Dental prosthetic color estimation method, information processing apparatus, dental prosthetic manufacturing method, information processing method, and storage medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021-054921 2021-03-29
JP2021054921A JP2022152229A (ja) 2021-03-29 2021-03-29 歯科用補綴物の色の推定方法、情報処理装置、歯科用補綴物の製造方法
JP2021-073556 2021-04-23
JP2021073556A JP2022167627A (ja) 2021-04-23 2021-04-23 情報処理装置、情報処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/476,130 Continuation US20240016587A1 (en) 2021-03-29 2023-09-27 Dental prosthetic color estimation method, information processing apparatus, dental prosthetic manufacturing method, information processing method, and storage medium

Publications (1)

Publication Number Publication Date
WO2022209951A1 true WO2022209951A1 (ja) 2022-10-06

Family

ID=83459174

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/012232 WO2022209951A1 (ja) 2021-03-29 2022-03-17 歯科用補綴物の色の推定方法、情報処理装置、歯科用補綴物の製造方法、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20240016587A1 (ja)
DE (1) DE112022001266T5 (ja)
WO (1) WO2022209951A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008526369A (ja) * 2005-01-06 2008-07-24 シー． アレックス タッチストーン 非不透明性歯科材料の選択のための方法および装置
WO2008142781A1 (ja) * 2007-05-23 2008-11-27 Media Corporation 歯科用補綴物の製作方法、及び歯科用補綴物の製作システム
US20090133260A1 (en) * 2007-11-26 2009-05-28 Ios Technologies, Inc 3D dental shade matching and apparatus
WO2009154301A1 (ja) * 2008-06-18 2009-12-23 株式会社アドバンス 歯科補綴物加工用ブロック及びその製造方法
JP2010220882A (ja) * 2009-03-24 2010-10-07 Advance Co Ltd 歯科用補綴物の製造方法
JP2012024395A (ja) * 2010-07-26 2012-02-09 Medeia Kk 歯科用補綴物の製作方法、歯科用補綴物の製作システム、歯科用補綴物、及び歯科用補綴物製作装置
WO2020189745A1 (ja) * 2019-03-20 2020-09-24 クラレノリタケデンタル株式会社 歯科用補綴物の着色装置、加工装置及び着色方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002224142A (ja) 2001-01-31 2002-08-13 Gc Corp 歯科用補綴物の作製方法
JP6818580B2 (ja) 2016-03-30 2021-01-20 株式会社オービック 表示定義作成装置、表示定義作成方法、および、表示定義作成プログラム
JP6651045B1 (ja) 2019-09-30 2020-02-19 アイカ工業株式会社 エポキシ樹脂組成物

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008526369A (ja) * 2005-01-06 2008-07-24 シー． アレックス タッチストーン 非不透明性歯科材料の選択のための方法および装置
WO2008142781A1 (ja) * 2007-05-23 2008-11-27 Media Corporation 歯科用補綴物の製作方法、及び歯科用補綴物の製作システム
US20090133260A1 (en) * 2007-11-26 2009-05-28 Ios Technologies, Inc 3D dental shade matching and apparatus
WO2009154301A1 (ja) * 2008-06-18 2009-12-23 株式会社アドバンス 歯科補綴物加工用ブロック及びその製造方法
JP2010220882A (ja) * 2009-03-24 2010-10-07 Advance Co Ltd 歯科用補綴物の製造方法
JP2012024395A (ja) * 2010-07-26 2012-02-09 Medeia Kk 歯科用補綴物の製作方法、歯科用補綴物の製作システム、歯科用補綴物、及び歯科用補綴物製作装置
WO2020189745A1 (ja) * 2019-03-20 2020-09-24 クラレノリタケデンタル株式会社 歯科用補綴物の着色装置、加工装置及び着色方法

Also Published As

Publication number Publication date
US20240016587A1 (en) 2024-01-18
DE112022001266T5 (de) 2023-12-14

Similar Documents

Publication Publication Date Title
EP3920836B1 (en) Foreign object identification and image augmentation and/or filtering for intraoral scanning
US11151753B2 (en) Generic framework for blurring of colors for teeth in generated images using height map
US11452577B2 (en) Generation of synthetic post treatment images of teeth
US20210174477A1 (en) Domain specific image quality assessment
US20210100643A1 (en) Automated detection, generation and/or correction of dental features in digital models
KR20220104036A (ko) 2차원 스케치로부터 3차원 치아 복원물을 생성하기 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체
US20080021584A1 (en) Methods and systems for management of information related to the appearance of an object
JP4519681B2 (ja) 人物の唇領域マスクデータの作成方法および作成装置
CN102438545A (zh) 用于有效计划、可视化和优化牙修复体的系统和方法
JP2022517852A (ja) 歯科修復物のカスタマイズされた着色
JP2012048132A (ja) 画像処理装置、画像処理方法、およびプログラム。
JP2022525764A (ja) 歯科対象物に自然色および光学的深さを与える方法
WO2022209951A1 (ja) 歯科用補綴物の色の推定方法、情報処理装置、歯科用補綴物の製造方法、情報処理方法およびプログラム
JP2009253324A (ja) 画像処理装置、画像処理方法、及びプログラム
KR102576496B1 (ko) 3차원 모델링 방법 및 이를 이용한 장치
JP2022070463A (ja) 歯科用補綴物製造システム、歯科用補綴物製造方法及びプログラム
JP2022167627A (ja) 情報処理装置、情報処理方法およびプログラム
JP2022152229A (ja) 歯科用補綴物の色の推定方法、情報処理装置、歯科用補綴物の製造方法
KR20220059908A (ko) 데이터 처리 장치 및 데이터 처리 방법
WO2022091876A1 (ja) 歯科用補綴物製造システム、歯科用補綴物製造方法、歯科用補綴物の着色方法、歯科用補綴物の着色システムおよびプログラム
JP2022064285A (ja) 歯科補綴物を設計する方法
US11980511B2 (en) Guiding surface generation
WO2021149530A1 (ja) 情報処理システム、情報処理方法、及びプログラム
CN116456934A (zh) 牙科修复体制作系统、牙科修复体制作方法、牙科修复体着色方法、牙科修复体着色系统、以及程序
US20230401804A1 (en) Data processing device and data processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22780171

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112022001266

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22780171

Country of ref document: EP

Kind code of ref document: A1