WO2020145225A1 - 撮像支援装置、スキャナシステム、および撮像支援方法 - Google Patents

撮像支援装置、スキャナシステム、および撮像支援方法 Download PDF

Info

Publication number
WO2020145225A1
WO2020145225A1 PCT/JP2020/000034 JP2020000034W WO2020145225A1 WO 2020145225 A1 WO2020145225 A1 WO 2020145225A1 JP 2020000034 W JP2020000034 W JP 2020000034W WO 2020145225 A1 WO2020145225 A1 WO 2020145225A1
Authority
WO
WIPO (PCT)
Prior art keywords
tooth
type
imaging
imaging support
image
Prior art date
Application number
PCT/JP2020/000034
Other languages
English (en)
French (fr)
Inventor
亮佑 鍛治
巳貴則 西村
Original Assignee
株式会社モリタ製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社モリタ製作所 filed Critical 株式会社モリタ製作所
Priority to US17/421,235 priority Critical patent/US20220117480A1/en
Priority to EP20738722.6A priority patent/EP3909546A4/en
Publication of WO2020145225A1 publication Critical patent/WO2020145225A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Definitions

  • the present invention relates to an imaging support device, a scanner system including the imaging support device, and an imaging support method.
  • a scanner device for obtaining three-dimensional (3D) data of a dental region in a patient's oral cavity has been developed as an imaging device.
  • 3D three-dimensional
  • Patent Document 1 the overlapping area and the missing area can be identified and displayed as the ROI in the image captured by the scanner device. Therefore, since the user can be notified of the region of interest that needs to be rescanned immediately after the user takes one or more images using the scanner device, the scanner device can be easily, quickly and accurately used. Can be scanned.
  • Patent Document 1 when a user captures an image of a dental arch using a scanner device, the image of the dental arch includes a gingiva and a plurality of teeth, and further includes a plurality of regions of interest. However, it may not be possible to easily recognize which tooth in the dental arch the region of interest is displayed by simply displaying the region of interest in the image of the dental arch.
  • Patent Document 1 it may not be possible to easily recognize which tooth in the region of interest displayed in the image of the dental arch corresponds to which tooth in the oral cavity of the actual patient. Therefore, simply displaying the region of interest in the image of the dental arch has limited the imaging support of the scanner device.
  • the present invention has been made to solve the above problems, and is provided with an imaging assistance device capable of outputting information to be an object of imaging assistance in an imaging device that images the inside of the oral cavity, and the imaging assistance device.
  • An object is to provide a scanner system and an imaging support method.
  • An imaging support device is an imaging support device that supports imaging of teeth in an oral cavity, and an input unit for inputting a tooth image of a tooth in the oral cavity, and a tooth image input by the input unit. Based on the tooth type identified by the identifying section, the identifying section that identifies the tooth type, the identifying section that identifies the tooth type that is the target of imaging assistance based on the tooth type identified by the identifying section, and the identifying section that identifies the tooth type at a predetermined timing. And an output unit that outputs information on the tooth type to the outside.
  • a scanner system is a scanner system that acquires tooth shape information, and is based on a three-dimensional scanner that images a tooth using a three-dimensional camera and a three-dimensional tooth image acquired by the three-dimensional scanner.
  • An imaging support device that identifies the type of the tooth and notifies the recognized tooth type is provided, and the imaging support device is input by the input unit and the input unit that inputs the tooth image capturing the tooth in the oral cavity.
  • An identification unit that identifies the type of tooth based on the tooth image, an identification unit that identifies the type of tooth to be imaged based on the type of tooth identified by the identification unit, and an identification unit that is identified by the identification unit at a predetermined timing.
  • an output unit that outputs information on the type of tooth that has been removed to the outside.
  • An imaging support method is an imaging support method for supporting imaging of a tooth in an oral cavity, and a step of inputting a tooth image obtained by imaging a tooth in the oral cavity, and a tooth image based on the input tooth image.
  • the imaging support device specifies the type of tooth to be the target of imaging support based on the type of tooth identified by the identification unit, it is easy to determine which tooth in the oral cavity corresponds.
  • the recognizable information of the imaging support can be output to the user.
  • FIG. 6 is a schematic diagram showing an application example of the imaging support device according to the first embodiment.
  • 1 is a schematic diagram showing the overall configuration of a scanner system according to the first embodiment.
  • FIG. 3 is a schematic diagram showing a hardware configuration of the imaging support device according to the first embodiment. It is a schematic diagram which shows the hardware constitutions of the server apparatus which concerns on this Embodiment 1.
  • FIG. 3 is a schematic diagram showing a usage mode of the imaging support device according to the first embodiment.
  • FIG. 3 is a schematic diagram showing a functional configuration of the imaging support device according to the first embodiment.
  • FIG. 6 is a schematic diagram for explaining an identification process performed by the imaging support device according to the first embodiment.
  • 5 is a schematic diagram showing an example of a tooth that is an identification target in the identification processing according to the first embodiment.
  • 6 is a flowchart for explaining an example of a support process executed by the imaging support device according to the first embodiment.
  • 7 is a flowchart for explaining an example of a process of identifying a tooth type, which is executed by the imaging support device according to the first embodiment.
  • 9 is a flowchart for explaining another example of the support processing executed by the imaging support apparatus according to the first embodiment.
  • 9 is a flowchart for explaining still another example of the support processing executed by the imaging support device according to the first embodiment.
  • 9 is a flowchart for explaining an example of a process of identifying the type of tooth, which is performed by the imaging support device according to the second embodiment.
  • FIG. 1 is a schematic diagram showing an application example of the imaging support device 100 according to the first embodiment.
  • FIG. 2 is a schematic diagram showing the overall configuration of the scanner system according to the first embodiment.
  • the user 1 images the teeth in the oral cavity with the scanner system 10 to obtain three-dimensional data (hereinafter, also referred to as “three-dimensional data”) including the teeth of the subject 2.
  • three-dimensional data (hereinafter, also referred to as “three-dimensional data”) including the teeth of the subject 2.
  • the “user” is a person who uses the scanner system 10 (user) such as an operator such as a dentist, a dental assistant, a teacher or student at a dental university, a dental technician, a technician at a manufacturer, or a worker at a manufacturing factory. Any of them may be used.
  • the “target person” may be any person who is a target of the scanner system 10, such as a patient at a dental clinic or a subject at a dental university.
  • the scanner system 10 includes a three-dimensional scanner 200, an imaging support device 100, a display 300, and a speaker 400.
  • the three-dimensional scanner 200 acquires three-dimensional data by imaging a scan target with a built-in three-dimensional camera. Specifically, the three-dimensional scanner 200 scans the inside of the oral cavity using an optical sensor or the like, and thus, as three-dimensional data, position information (vertical direction, horizontal direction) of each of a plurality of points forming a tooth to be scanned. , Get the coordinate of each axis in the height direction).
  • the imaging support apparatus 100 displays a three-dimensional image generated based on the three-dimensional data acquired by the three-dimensional scanner 200 on the display 300.
  • the user 1 images the inside of the oral cavity of the target person 2 by the three-dimensional scanner 200 to digitally design a prosthesis or the like for compensating for the missing part of the tooth of the target person 2 on the computer, and Acquire three-dimensional data.
  • the three-dimensional scanner 200 to digitally design a prosthesis or the like for compensating for the missing part of the tooth of the target person 2 on the computer, and Acquire three-dimensional data.
  • three-dimensional data is sequentially acquired, and the three-dimensional image of the oral cavity is displayed on the display 300.
  • the user 1 scans the three-dimensional data displayed on the display 300 while checking the three-dimensional data so that there is no excess or deficiency in the acquired three-dimensional data.
  • the user 1 identifies the type of tooth being scanned or completed scanning based on his/her own knowledge based on the three-dimensional image in which the three-dimensional data including the tooth acquired by the three-dimensional scanner 200 is visualized.
  • the level of knowledge differs for each user 1, the accuracy of the identification result may fluctuate depending on the knowledge of the user 1.
  • the scanner system 10 uses AI (Artificial Intelligence) of the imaging support apparatus 100 to determine the tooth type based on the three-dimensional data acquired by the three-dimensional scanner 200. It is configured to execute a process of automatically identifying and specifying the type of tooth to be the target of imaging support.
  • AI Artificial Intelligence
  • the process of identifying the type of tooth using AI by the imaging support device 100 is also referred to as “identification process”.
  • central type means a central incisor, a lateral incisor, a canine, a first premolar, a second premolar, a first molar, a second molar, and a third molar on the upper left side of the upper jaw.
  • Central incisor, lateral incisor, canine, first premolar, second premolar, first molar, second molar, and third molar, lower central right central incisor, lateral incisor, canine, 1st premolar, 2nd premolar, 1st premolar, 2nd premolar, and 3rd premolar, lower left central incisor, lateral incisor, canine, 1st premolar, 2nd premolar, It refers to the type of each tooth, such as the first molar, the second molar, and the third molar.
  • the imaging support apparatus 100 executes the identification process for identifying the type of the tooth based on the input three-dimensional data including the tooth feature and the estimation model including the neural network.
  • the “estimation model” includes a neural network and parameters used by the neural network, and tooth information corresponding to the tooth type associated with the three-dimensional data and identification of the tooth type using the three-dimensional data. It is optimized (adjusted) by learning based on the result. Specifically, when the three-dimensional data including the tooth is input, the estimation model extracts the tooth feature by a neural network based on the three-dimensional data and estimates the tooth type based on the extracted tooth feature. .. Then, the estimation model does not update the parameters if both match based on the tooth type estimated by itself and the tooth type (tooth information) associated with the input three-dimensional data, while both are If they do not match, the parameters are optimized by updating the parameters so that they match. As described above, the estimation model is learned by optimizing the parameters by using the teacher data including the three-dimensional data that is the input data and the tooth type (teeth information) that is the correct answer data.
  • the estimation model optimized by the learning process is also referred to as a “learned model”. That is, in the first embodiment, the pre-learning estimation model and the learned estimation model are collectively referred to as an “estimation model”, and particularly, the learned estimation model is also referred to as a “learned model”.
  • the “dental information” includes the number 1 assigned to the central incisor, the number 2 assigned to the lateral incisor, the number 3 assigned to the canine, the number 4 assigned to the first premolar, and the second minor. Numbers assigned to each tooth, such as number 5 assigned to molars, number 6 assigned to first molars, number 7 assigned to second molars, number 8 assigned to third molars, and so on. (For example, the number of a tooth generally used in the dental field).
  • the “teeth information” may include information on the color assigned to each tooth, or may include information on the symbol assigned to each tooth.
  • the imaging support apparatus 100 When the imaging support apparatus 100 outputs, for example, information of a tooth that has been scanned (imaging) as imaging support, the imaging support is performed based on the type of the tooth identified by performing the identification process using the learned model. The target tooth type is identified, and the identification result is output to the display 300 and the speaker 400.
  • the display 300 displays at least one of an image, letters, numbers, icons, and symbols corresponding to the specific result. For example, when the imaging support apparatus 100 is performing the assisting process of notifying the type of tooth for which the scan is completed, the display 300 indicates that the three-dimensional scanner 200 has completed the scan of the second molar corresponding to No. 7 on the right side of the lower jaw. After that, an image indicating that the scan of the second molar corresponding to No. 7 on the right side of the lower jaw is completed is displayed as a specific result, such as "The scan of the lower right 7th has been completed.” It should be noted that the imaging support apparatus 100 may accept the correction result by operation input, voice input, or the like when the identification result is incorrect. The voice may be received by a microphone (not shown).
  • the speaker 400 outputs a sound corresponding to the specific result.
  • the speaker 400 uses the tooth identification result by the imaging support device 100 after the completion of scanning the second molar corresponding to No. 7 on the right side of the lower jaw by the three-dimensional scanner 200, and displays “No. A voice indicating that the scan of the second molar corresponding to No. 7 on the right side of the lower jaw is completed is output.
  • the imaging support apparatus 100 does not output the type of tooth for which scanning has been completed to the display 300, the speaker 400, etc., but specifies the type of tooth for which scanning has been completed, and then determines the type of tooth to be scanned next. May be output to the display 300 and the speaker 400.
  • the imaging support apparatus 100 predicts the type of tooth to be scanned next from the information that identifies the type of tooth that has been scanned, for example, the type of unscanned tooth that is close to the type of tooth that has been scanned. Is predicted as the type of tooth to be scanned next. Further, the imaging support device 100 may predict the type of tooth to be scanned next by combining with a motion sensor, a gyro sensor, or the like.
  • the identification result obtained by the identification processing of the imaging support apparatus 100 may be output as scan information to the server apparatus 500 arranged in the dental laboratory and the management center together with the three-dimensional data used in the identification processing. Note that the imaging support device 100 may need to confirm the user 1 when outputting the scan information to the server device 500 arranged in the dental laboratory and the management center.
  • the scanner system 10 is arranged in each of a plurality of local A to C.
  • the local A and the local B are dental clinics, and an operator or a dental assistant who is the user 1 using the scanner system 10 in the dental clinic has a three-dimensional image including the teeth of the patient who is the subject 2. Get the data.
  • the local C is a dental university, and the teacher or the student who is the user 1 acquires the three-dimensional data in the oral cavity of the subject who is the target 2 at the dental university.
  • the scan information (three-dimensional data, identification result) acquired in each of the local areas A to C is output via the network 5 to the server apparatus 500 located in the local D dental laboratory and management center.
  • a dental technician or the like creates a prosthesis or the like for compensating for the missing part of the tooth of the subject 2 based on the scan information acquired from each of the local areas A to C.
  • the server device 500 accumulates and stores the scan information acquired from each of the local A to C, and holds it as big data.
  • the server device 500 is not limited to being placed in a management center different from the local one in the dental clinic, but may be placed locally.
  • the server device 500 may be arranged in any one of the locals A to C.
  • a plurality of imaging support devices 100 may be arranged in one local, and further, a server device 500 capable of communicating with the plurality of imaging support devices 100 may be arranged in the one local.
  • the server device 500 may be realized in the form of a cloud service.
  • the scan information held in the dental laboratory may be transmitted to the management center via the network 5, or the removable disk 550 such as a CD (Compact Disc) and a USB (Universal Serial Bus) memory. May be sent to the management center via.
  • CD Compact Disc
  • USB Universal Serial Bus
  • the scan information may be sent to the management center from each of the local AC through the removable disk 550 without going through the network 5. Further, the scan information may be sent to each other via the network 5 or the removable disk 550 between the locals A to C.
  • the imaging support apparatus 100 of each of the local A to C has its own estimation model, and identifies the tooth type using the estimation model held by each person during the identification processing.
  • the imaging support apparatus 100 of each of the local areas A to C learns its own estimation model by its own learning process to generate a learned model.
  • the server device 500 also holds the estimation model.
  • the server apparatus 500 generates a learned model by learning the estimated model by learning processing using the imaging support apparatus 100 of each of the local ACs and the scan information acquired from the dental laboratory, and generates each of the local ACs.
  • the learned model is distributed to the image pickup support apparatus 100.
  • the image capturing support apparatus 100 of each local A to C and the server apparatus 500 perform learning processing, but only the image capturing support apparatus 100 of each local A to C learns.
  • the processing may be executed, or only the server device 500 may execute the learning processing.
  • the estimation model (learned model) held by the imaging assisting devices 100 of the local A to C is between the imaging assisting devices 100 of the local A to C. Is shared by.
  • the server device 500 may have a function of an identification process or a specific process in the imaging support device 100.
  • each local A to C transmits the acquired three-dimensional data to the server device 500, and the server device 500 identifies the type of tooth in each based on the respective three-dimensional data received from each local A to C.
  • the result may be calculated, or the type of tooth for which imaging assistance is performed may be specified based on the identified type of tooth.
  • the server device 500 transmits each identification result and the identification result to each of the local ACs, and each of the local ACs detects the tooth to be the imaging support target based on the identification result received from the server device 500.
  • the type may be specified, or the specification result may be output to a display or the like.
  • the locals A to C and the server device 500 may be configured in the form of a cloud service. In this way, as long as the server device 500 holds the estimation model (learned model), the locals A to C can obtain the identification result without holding the estimation model (learned model). it can.
  • the type of tooth is automatically determined based on the three-dimensional data acquired by the three-dimensional scanner 200 by using the AI included in the imaging support device 100. It identifies and identifies the type of tooth to be the target of imaging support based on the identified type of tooth.
  • the AI it is possible to find the tooth characteristics obtained from the knowledge of the user 1. Further, it is possible to find out the tooth feature that cannot be extracted by the user 1, and thus the user 1 can accurately identify the tooth type without relying on his/her own knowledge.
  • the imaging support apparatus 100 uses the identification result to perform imaging support for identifying the type of tooth for which imaging has been completed, so that the user 1 can easily associate the tooth for which imaging has been completed with the type of tooth. Can be recognized.
  • FIG. 3 is a schematic diagram showing the hardware configuration of the imaging support device 100 according to the first embodiment.
  • the imaging support apparatus 100 may be realized by, for example, a general-purpose computer or a computer dedicated to the scanner system 10.
  • the imaging support device 100 has a scanner interface 102, a display interface 103, a speaker interface 104, a peripheral device interface 105, a network controller 106, and a media reading device 107 as main hardware elements. 1, a PC display 108, a memory 109, a storage 110, and an arithmetic unit 130.
  • the scanner interface 102 is an interface for connecting the three-dimensional scanner 200, and realizes data input/output between the imaging support apparatus 100 and the three-dimensional scanner 200.
  • the display interface 103 is an interface for connecting the display 300, and realizes input/output of data between the imaging support device 100 and the display 300.
  • the display 300 is composed of, for example, an LCD (Liquid Crystal Display) or an organic ELD (Electroluminescence) display.
  • the speaker interface 104 is an interface for connecting the speaker 400, and realizes data input/output between the imaging support device 100 and the speaker 400.
  • the peripheral device interface 105 is an interface for connecting peripheral devices such as a keyboard 601 and a mouse 602, and realizes data input/output between the imaging support apparatus 100 and the peripheral devices.
  • the network controller 106 is connected to each of the device arranged in the dental laboratory, the server device 500 arranged in the management center, and the other imaging support device 100 arranged locally through the network 5. Send and receive data.
  • the network controller 106 corresponds to an arbitrary communication method such as Ethernet (registered trademark), wireless LAN (Local Area Network), and Bluetooth (registered trademark).
  • the media reading device 107 reads various data such as scan information stored in the removable disk 550.
  • the PC display 108 is a display dedicated to the imaging support device 100.
  • the PC display 108 is composed of, for example, an LCD or an organic EL display. Although PC display 108 is separate from display 300 in the first embodiment, it may be shared with display 300.
  • the memory 109 provides a storage area for temporarily storing a program code, a work memory, etc. when the arithmetic unit 130 executes an arbitrary program.
  • the memory 109 is composed of a volatile memory device such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory).
  • the storage 110 provides a storage area for storing various data necessary for identification processing and learning processing.
  • the storage 110 is composed of a nonvolatile memory device such as a hard disk or SSD (Solid State Drive).
  • the storage 110 includes scan information 112, an estimation model 114 (learned model 114a), a learning data set 116, color classification data 118, profile data 119, an identification program 120, a learning program 121, It stores the OS (Operating System) 127.
  • the scan information 112 includes the three-dimensional data 122 acquired by the three-dimensional scanner 200 and the identification result 124 by the identification process executed based on the three-dimensional data 122.
  • the identification result 124 is stored in the storage 110 in association with the three-dimensional data 122 used in the identification process.
  • the learning data set 116 is a group of learning data used for the learning process of the estimation model 114.
  • the color classification data 118 is data used for generating the learning data set 116 and learning processing.
  • the profile data 119 is attribute information relating to the target person 2 and is data (for example, medical chart information) in which profiles of the target person 2 such as age, sex, race, height, weight, and place of residence are summarized. is there.
  • the identification program 120 is a program for executing identification processing.
  • the specifying program 120a is a program for executing a specifying process for specifying the type of tooth to be the target of imaging support.
  • the learning program 121 is a program for executing the learning process of the estimation model 114, and a part thereof includes a program for executing the identification process.
  • the arithmetic unit 130 is an arithmetic entity that executes various programs such as identification processing and learning processing by executing various programs, and is an example of a computer.
  • the arithmetic unit 130 is composed of, for example, a CPU (Central Processing Unit) 132, an FPGA (Field-Programmable Gate Array) 134, and a GPU (Graphics Processing Unit) 136.
  • a CPU Central Processing Unit
  • FPGA Field-Programmable Gate Array
  • GPU Graphics Processing Unit
  • FIG. 4 is a schematic diagram showing the hardware configuration of the server device 500 according to the first embodiment.
  • the server device 500 may be realized by, for example, a general-purpose computer or a computer dedicated to the scanner system 10.
  • the server device 500 includes a display interface 503, a peripheral device interface 505, a network controller 506, a media reading device 507, a memory 509, a storage 510, and an operation as main hardware elements.
  • Apparatus 530 is shown in FIG. 4, the server device 500 includes a display interface 503, a peripheral device interface 505, a network controller 506, a media reading device 507, a memory 509, a storage 510, and an operation as main hardware elements.
  • Apparatus 530 Apparatus 530.
  • the display interface 503 is an interface for connecting the display 350, and realizes input/output of data between the server device 500 and the display 350.
  • the display 350 is composed of, for example, an LCD or an organic ELD display.
  • the peripheral device interface 505 is an interface for connecting peripheral devices such as a keyboard 651 and a mouse 652, and realizes data input/output between the server device 500 and the peripheral devices.
  • the network controller 506 transmits/receives data via the network 5 to/from each of the imaging assisting apparatus 100 arranged locally and the apparatus arranged in the dental laboratory.
  • the network controller 506 may support any communication method such as Ethernet (registered trademark), wireless LAN, and Bluetooth (registered trademark).
  • the media reading device 507 reads various data such as scan information stored in the removable disk 550.
  • the memory 509 provides a storage area for temporarily storing a program code, a work memory, etc. when the arithmetic unit 530 executes an arbitrary program.
  • the memory 509 is composed of, for example, a volatile memory device such as DRAM or SRAM.
  • the storage 510 provides a storage area for storing various data necessary for learning processing and the like.
  • the storage 510 is configured by a non-volatile memory device such as a hard disk or SSD, for example.
  • the storage 510 stores scan information 512, an estimation model 514 (learned model 514a), a learning data set 516, color classification data 518, profile data 519, a learning program 521, and an OS 527.
  • the scan information 512 includes the three-dimensional data 522 acquired from the imaging support apparatus 100 and the dental laboratory which are locally arranged via the network 5, and the identification result 524 obtained by the identification processing executed based on the three-dimensional data 522. Including.
  • the identification result 524 is stored in the storage 510 in association with the three-dimensional data 522 used in the identification process.
  • the learning data set 516 is a group of learning data used for the learning process of the estimation model 514.
  • the color classification data 518 is data used for the generation and learning processing of the learning data set 516.
  • the profile data 519 is attribute information about the target person 2 and is data (for example, medical record information) in which profiles of the target person 2 such as age, sex, race, height, weight, and place of residence are summarized. ..
  • the learning program 521 is a program for executing the learning process of the estimation model 514, and a part thereof includes a program for executing the identification process.
  • the estimation model 514 (learned model 514a) is transmitted to the local imaging support apparatus 100, and is held as the estimation model 114 (learned model 114a) by the imaging support apparatus 100.
  • the arithmetic unit 530 is an arithmetic entity that executes various programs such as learning processing by executing various programs, and is an example of a computer.
  • the arithmetic unit 530 includes, for example, a CPU 532, an FPGA 534, a GPU 536, and the like.
  • FIG. 5 is a schematic diagram showing how the imaging support apparatus 100 according to the first embodiment is used.
  • a case will be described in which a plurality of three-dimensional data obtained by scanning (imaging) the inside of the oral cavity are joined to support a three-dimensional scanner 200 (scanning device) that obtains three-dimensional data of a dental arch. ..
  • the three-dimensional scanner 200 may be a device that scans the inside of the oral cavity and acquires a plurality of three-dimensional data, but does not connect them and each acquires a part of the three-dimensional data of the dentition.
  • the three-dimensional scanner 200 can sequentially acquire a part of three-dimensional data of the dental arch by scanning the inside of the oral cavity as shown in FIG. 5, and by connecting them, the tertiary of the entire dental arch can be obtained.
  • the original data can be acquired.
  • an overlapping region, a defective region, or the like exists in the plurality of imaged three-dimensional data depending on the operation of the user 1. It will be.
  • the imaging support device 100 specifies a missing portion (defective area) of the tooth whose information obtained from the three-dimensional data does not satisfy the predetermined standard at the timing of imaging the entire dental arch, and displays it on the display 300 as the support information. Output. That is, as shown in FIG. 5, the imaging support apparatus 100 marks the missing tooth and outputs a message to the display 300, “Please re-measure the buccal surface of the lower left first molar”. To support imaging. Therefore, the user 1 can easily, quickly, and accurately rescan the three-dimensional scanner 200 by the output of the imaging support device 100.
  • the predetermined reference is a predetermined reference such as the amount of precision data required to generate a prosthesis from the three-dimensional data acquired by the three-dimensional scanner 200.
  • the imaging support apparatus 100 specifies the type of the tooth for which the three-dimensional data is insufficient as “the lower left first molar buccal surface” and the like, and not only the type of the tooth but also the tooth Some areas are specified.
  • the imaging support device 100 may only specify the type of tooth for which the three-dimensional data is insufficient, for example, only the “lower jaw first first molar”.
  • FIG. 6 is a schematic diagram showing the functional configuration of the imaging support device 100 according to the first embodiment.
  • FIG. 7 is a schematic diagram for explaining the identification processing by the imaging support device 100 according to the first embodiment.
  • FIG. 8 is a schematic diagram showing an example of a tooth to be identified in the identification processing according to the first embodiment.
  • the tooth to be scanned by the three-dimensional scanner 200 is represented by a diagram.
  • the imaging support apparatus 100 includes an input unit 1102, a profile acquisition unit 1119, an identification unit 1130, an identification unit 1150, and an output unit 1103 as functional units related to the identification process and the identification process. Have. Each of these functions is realized by the arithmetic unit 130 of the imaging support apparatus 100 executing the OS 127, the identification program 120, and the identification program 120a.
  • the three-dimensional data acquired by the three-dimensional scanner 200 is input to the input unit 1102.
  • the profile acquisition unit 1119 acquires the profile data 119 of the target person 2.
  • the identification unit 1130 uses the estimation model 114 (learned model 114a) based on the three-dimensional data input to the input unit 1102 and the profile data 119 of the target person 2 acquired by the profile acquisition unit 1119. Perform identification processing to identify the type.
  • the estimation model 114 includes a neural network 1142 and parameters 1144 used by the neural network 1142.
  • the parameter 1144 includes a weighting coefficient used for calculation by the neural network 1142 and a judgment value used for judgment of discrimination.
  • the identifying unit 1150 identifies the type of tooth for which the information obtained from the tooth image (for example, three-dimensional data) does not satisfy a predetermined criterion in the tooth that the user 1 needs to image. Specifically, the identifying unit 1150 identifies, on the basis of the tooth type identified by the identifying unit 1130, the tooth type corresponding to a portion of the acquired three-dimensional data that does not exceed a predetermined data amount. ..
  • the specifying unit 1150 is not limited to the case of specifying the type of tooth for which data is insufficient, and specifies other types such as specifying the type of tooth to be imaged next or specifying the type of tooth when stopped. It is also possible to do so.
  • the output unit 1103 outputs the identification result of the identification unit 1150 to the display 300, the speaker 400, and the like.
  • the three-dimensional data input to the input unit 1102 includes three-dimensional position information at each tooth point and color information at each tooth point.
  • Position information is used in the identification process.
  • the position information includes the coordinates of the absolute position in three dimensions based on a predetermined position.
  • the position information includes an X-axis (for example, a lateral axis of the tooth), a Y-axis (for example, a longitudinal axis of the tooth), and a Z-axis (for example, the tooth) with the center position at each point of the tooth as an origin.
  • the coordinate of the absolute position in each axis is included.
  • the position information is not limited to the coordinates of the absolute position in three dimensions based on the predetermined position, and may include the coordinates of the relative position in three dimensions indicating the distance from the adjacent point, for example.
  • the obtained three-dimensional image shows the upper lip side portion, the palate side portion, and the incisal edge side.
  • the user 1 scans the inside of the oral cavity of the subject 2 so as to include at least the image of the region.
  • the teeth to be scanned by the three-dimensional scanner 200 are the maxillary canines and molars
  • the three-dimensional image obtained should include at least images of the buccal region, the palate region, and the occlusal region.
  • the user 1 scans the inside of the oral cavity of the subject 2.
  • the obtained three-dimensional image includes at least images of the lower lip side portion, the lingual side portion, and the incisal side portion
  • the user 1 scans the inside of the oral cavity of the subject 2.
  • the teeth to be scanned by the three-dimensional scanner 200 are the lower canine and the molars
  • the user can make the obtained three-dimensional image include at least images of the buccal region, the lingual region, and the occlusal region.
  • the subject 1 scans the inside of the oral cavity of the subject 2.
  • the shape and size of the teeth of the subject 2 differ depending on the type.
  • the upper labial surface is generally U-shaped, whereas in the upper canines, the buccal surface is generally pentagonal.
  • Each tooth is characteristic in shape and size according to its type, and the identifying unit 1130 uses the estimation model 114 based on the three-dimensional data in which these characteristic shapes and sizes are digitized. The type of tooth corresponding to the three-dimensional data is identified.
  • the estimation model 114 includes a neural network 1142.
  • the neural network 1142 the position information value included in the three-dimensional data input to the input unit 1102 is input to the input layer. Then, in the neural network 1142, for example, the value of the input position information is multiplied by a weighting coefficient or a predetermined bias is added by the intermediate layer, and a calculation by a predetermined function is performed. The result is compared with the judgment value. Then, in the neural network 1142, the result of the calculation and the determination is output from the output layer as the identification result. In addition, for the calculation and determination by the neural network 1142, any method may be used as long as it can identify the tooth based on the three-dimensional data.
  • the intermediate layer has a multi-layer structure, so that processing by deep learning is performed.
  • VoxNet, 3D ShapeNets, Multi-View CNN, RotationNet, OctNet, FusionNet, PointNet, PointNet++, SSCNet, and MarrNet are used as the identification program 120 that performs identification processing specialized for three-dimensional images. Etc. are used, but other programs may be used. Moreover, an existing one may be applied to the mechanism of the neural network 1142.
  • the imaging support apparatus 100 estimates the characteristics of each of the plurality of teeth based on the three-dimensional data. It is possible to identify each type of the plurality of teeth based on the characteristics of each of the plurality of extracted teeth extracted by using the neural network 1142 of the model 114. Further, as shown in FIG. 7, not only the tooth to be identified, but also three-dimensional data including adjacent teeth are input to the imaging support apparatus 100, so that the neural network 1142 of the estimation model 114 is adjacent. The characteristics of the tooth can be extracted in consideration of the relationship with the shape of the tooth.
  • the imaging support apparatus 100 can extract not only commonly recognized tooth features but also generally unrecognized tooth features, thereby accurately identifying the tooth type. it can.
  • the neural network included in the estimation model 514 held by the server device 500 has the same configuration as the neural network 1142 included in the estimation model 114 shown in FIG. 7.
  • [Learning data generation] An example of generating the learning data set 116 will be described.
  • three-dimensional data is acquired by the three-dimensional scanner 200, and the three-dimensional data includes three-dimensional position information at each point of the corresponding tooth and color information (RGB value) at each point of the tooth. ..
  • RGB value color information
  • the three-dimensional image is generated based on the three-dimensional data acquired by the three-dimensional scanner 200, the three-dimensional image including the tooth with the actual color is generated.
  • noise removal processing is performed in preparation for the color-coding processing of each tooth.
  • the 3D image corresponding to the 3D data is grayscaled.
  • Each tooth is color-coded by applying a predetermined color to each tooth included in the three-dimensional image corresponding to the three-dimensional data.
  • the color classification data 118 held by the imaging support apparatus 100 is provided for each part of the oral cavity such as the lower jaw left side, the lower jaw right side, the upper jaw left side, and the upper jaw right side.
  • the second molar is assigned tooth number 7 and red color information.
  • the first molar is assigned tooth number 6 and green as color information.
  • tooth number 5 is assigned and blue is assigned as color information.
  • the tooth number and the color information are assigned in advance to each tooth type.
  • the color of each tooth is applied by User 1 (engineer of the manufacturer or worker of the manufacturing factory). Specifically, the user 1 identifies the type of each tooth included in the three-dimensional image based on his/her own knowledge, and identifies the color corresponding to the identified type of the tooth with reference to the color classification data 118, Apply the identified color to the image of the tooth.
  • the user 1 when the user 1 identifies that the tooth included in the three-dimensional image is the second molar, the user 1 applies red to the image of the tooth.
  • the tooth included in the three-dimensional image is identified as the first molar, green is applied to the image of the tooth.
  • the color information (RGB value) at each point of the tooth corresponding to the three-dimensional data is changed to the value corresponding to the color applied to each tooth according to the color classification of each tooth. For example, for each position coordinate of the second molar tooth coated in red, the color information (RGB value) is "255000000”, and for each position coordinate of the first molar tooth coated in green, The color information (RGB value) is “000255000”, and the color information (RGB value) is “00000255” for each position coordinate of the second premolar coated in blue. That is, predetermined color information (RGB values) is associated with each tooth point corresponding to the three-dimensional data.
  • the three-dimensional data includes position information and color information corresponding to the applied color. Used as learning data. That is, in the learning data according to the present embodiment, the color information corresponding to the tooth type is associated (labeled) with the position information referred to in the identification process. Further, color information is associated with the three-dimensional data so that the ranges of the plurality of teeth corresponding to the three-dimensional data can be specified. Specifically, the same color information is associated with each position information corresponding to each tooth. A collection of such learning data is held in the imaging support device 100 as a learning data set 116.
  • the user 1 when the learning data is generated, the user 1 applies many colors to each tooth included in the three-dimensional image and labels the correct answer data, which has many advantages. For example, when labeling is performed by using only letters or symbols, the user 1 has difficulty in recognizing the range of each tooth, but when labeling is performed by color coding, the user 1 identifies the tooth to be labeled and the tooth adjacent to the tooth. It is possible to easily recognize the boundary between the teeth and the boundary between the tooth and the gingiva to be labeled by applying the color. Further, the user 1 applies the color while checking the three-dimensional image from various angles at the time of labeling. Even when the angle of the viewpoint is changed, to what extent the application is completed for the tooth during the labeling work. Will be easier to recognize.
  • the user 1 manually applies a color to each tooth included in the three-dimensional image based on his/her own knowledge, but it is also possible to supplement a part of the work with software. ..
  • the boundary between the tooth to be labeled and the tooth adjacent to the tooth, and the boundary between the tooth to be labeled and the gingiva may be specified by edge detection. It is possible to extract only the tooth to be labeled.
  • the generation of the learning data set 116 is also applicable to the generation of the learning data set 516 held by the server device 500.
  • the learning data set 116 may be applied to the learning data set 516 held by the server apparatus 500, or the color classification data 118 may be applied to the color classification data 518 held by the server apparatus 500. ..
  • the learning data set 116 can be classified into each category based on the profile of the target person 2 who is the scan target when the learning data set 116 is generated. For example, age (minors, active generation, elderly), gender (male, female), race (Asian, Western, African), height (less than 150 cm, 150 or more), weight (less than 50 kg, 50 kg) It is possible to assign the learning data set generated from the three-dimensional data including the teeth of the corresponding subject 2 to each of the above) and the place of residence (resident in Japan, living outside Japan).
  • the stratification of each category can be set as appropriate. For example, regarding the age, more detailed information is provided for each predetermined age difference (every 3 years in this case), specifically, 0 to 3 years old, 4 years old to 6 years old, 7 years old to 9 years old, and so on. Can be stratified.
  • the imaging support device 100 generates a learned model 114a by learning the estimation model 114 using a plurality of learning data sets 116 that can be classified into each category. Although the learning data may overlap depending on how the categories are classified, if the learning data overlaps, the estimation model 114 may be trained using only one of the learning data. ..
  • the shape of a tooth has different characteristics depending on the inheritance or living environment, such as age, sex, race, height, weight, and place of residence.
  • an adult permanent tooth is generally larger than a child's milk tooth, and the two have different shapes.
  • male teeth are larger than female teeth, and the shapes of both teeth are different.
  • teeth of Westerners tend to have sharp tips so that they can easily bite hard meat or bread, whereas Japanese teeth have tips that tend to grind soft rice or vegetables. Tends to be smooth. Therefore, as in the present embodiment, if the learning process is executed based on the profile data, it is possible to generate a learned model that can identify the type of tooth in consideration of genetics or living environment.
  • Generation of the learned model 114a can be applied to generation of the learned model 514a held by the server device 500.
  • the learning data set 116 may be applied to the learning data set 516 held by the server apparatus 500, or the estimation model 114 may be applied to the estimation model 514 held by the server apparatus 500.
  • the learning process executed by the imaging support apparatus 100 will be described.
  • the learning process is realized by the arithmetic unit 130 of the imaging support apparatus 100 executing the OS 127 and the learning program 121.
  • the imaging support apparatus 100 selects the learning data used for learning from the learning data set 116.
  • the imaging support apparatus 100 inputs into the estimation model 114 the position information of the three-dimensional data included in the selected learning data and the profile data of the target person 2 who is the scan target when generating the learning data. At this time, the correct answer data labeled as the three-dimensional data is not input to the imaging support device 100.
  • the imaging support apparatus 100 executes an identification process for identifying the type of the tooth using the estimation model 114 based on the tooth feature corresponding to the three-dimensional data. In the identification processing, the imaging support device 100 identifies the type of the tooth using the estimation model 114 based on the profile data in addition to the three-dimensional data.
  • the imaging support device 100 updates the parameter 1144 of the estimation model 114 based on the error between the identification result of the tooth type identified by the identification process and the correct answer data corresponding to the learning data used in the learning process.
  • the imaging support device 100 estimates the color information corresponding to the specific tooth as a result of the identification based on the position information of the specific tooth.
  • the imaging support apparatus 100 compares the color information (correct answer data) corresponding to the specific tooth included in the learning data with the color information estimated by itself, and maintains the parameter 1144 of the estimation model 114 if they match.
  • the parameter 1144 of the estimation model 114 is updated so that the two match.
  • the imaging support apparatus 100 estimates the color information corresponding to the specific tooth as a result of identification based on the position information of the specific tooth, and based on the color classification data 118, the type and tooth of the tooth corresponding to the color information. Number (correct answer data) is specified.
  • the imaging support apparatus 100 has the tooth type and tooth number (correct answer data) assigned to the color information corresponding to the specific tooth included in the learning data, and the tooth type and tooth number estimated by itself. Are compared, and if they match, the parameter 1144 of the estimation model 114 is maintained, while if they are incorrect, the parameter 1144 of the estimation model 114 is updated so that they match.
  • the imaging support apparatus 100 uses the tooth information (color information, tooth name, or tooth number, etc.) corresponding to the tooth type associated with the three-dimensional data included in the learning data as correct data.
  • the learned model 114a can be generated by learning the estimation model 114 based on the identification result of the tooth type using the three-dimensional data by the identification processing.
  • the imaging support apparatus 100 learns the estimation model 114 in consideration of profile data in addition to learning data in the learning process, it is possible to generate a learned model 114a in consideration of the profile of the subject 2. ..
  • the learning process executed by the server device 500 will be described.
  • the learning process is realized by the arithmetic unit 530 of the server device 500 executing the OS 527 and the learning program 521.
  • the server device 500 selects the learning data used for learning from the learning data set.
  • the learning data may be generated using big data accumulated and stored by the server device 500.
  • the server device 500 uses the three-dimensional data included in the scan information acquired from the imaging support devices 100 and the dental laboratory of each of the local A to C to generate learning data, and the generated learning data is used.
  • the learning process may be executed using the data.
  • the server device 500 is not limited to automatically selecting the learning data, and may use the learning data selected by the user 1 for the learning process.
  • the server device 500 inputs the three-dimensional data (positional information) included in the selected learning data and the profile data of the target person 2 who is the scan target when the learning data is generated, to the estimation model 514. At this time, the correct answer data labeled as the three-dimensional data is not input to the server device 500.
  • the server device 500 executes an identification process for identifying the type of the tooth using the estimation model 514 based on the tooth feature corresponding to the three-dimensional data. In the identification processing, the server device 500 identifies the type of the tooth using the estimation model 514 based on the profile data in addition to the three-dimensional data.
  • the server device 500 updates the parameters of the estimation model 514 based on the error between the identification result of the tooth type identified by the identification process and the correct answer data corresponding to the learning data used for learning.
  • the server device 500 estimates the color information corresponding to the specific tooth as a result of the identification based on the position information of the specific tooth.
  • the server device 500 compares the color information (correct answer data) corresponding to the specific tooth included in the learning data set with the color information estimated by itself, and if they match each other, maintains the parameters of the estimation model 514. If the answer is incorrect, the parameters of the estimation model 514 are updated so that the two match.
  • the server device 500 estimates the color information corresponding to the specific tooth as a result of the identification based on the position information of the specific tooth, and based on the color classification data 518, the type or tooth of the tooth corresponding to the color information. Specify the number (correct answer data).
  • the server device 500 stores the tooth type and tooth number (correct answer data) assigned to the color information corresponding to the specific tooth included in the learning data set, and the tooth type and tooth number estimated by itself. And the parameters of the estimation model 514 are maintained if they match, while the parameters of the estimation model 514 are updated so that they match if they are incorrect.
  • the server apparatus 500 When the server apparatus 500 learns based on all the learning data, the server apparatus 500 stores the learned estimation model 514 as a learned model 514a, and the server apparatus 500 uses the generated learned model 514a in each local imaging support apparatus. Can be sent to 100.
  • the server device 500 performs the identification process by using the tooth information (color information, tooth name, tooth number) corresponding to the tooth type associated with the three-dimensional data included in the learning data as correct data.
  • the learned model 514a can be generated by learning the estimation model 514 based on the identification result of the tooth type using the three-dimensional data.
  • server device 500 learns the estimation model 514 in consideration of profile data in addition to the learning data in the learning process, it is possible to generate the learned model 514a considering the profile of the subject 2.
  • the server device 500 uses the three-dimensional data included in the scan information acquired from the imaging support device 100 of each local A to C and the dental laboratory as the learning data used in the learning process, the imaging support is performed. Generating a learned model 514a capable of performing the learning process based on more learning data than the learning process performed for each device 100 and capable of more accurately identifying the tooth type. You can
  • FIG. 9 is a flowchart for explaining an example of support processing executed by the imaging support apparatus according to the first embodiment. The steps shown in FIG. 9 are realized by the arithmetic unit 130 of the imaging support apparatus 100 executing the OS 127 and the identification program 120a.
  • the imaging support apparatus 100 determines whether or not the start condition of the support process I is satisfied (S40).
  • the start condition may be satisfied, for example, when the power of the three-dimensional scanner 200 is turned on, or when the mode corresponding to the support process I is switched after the power of the three-dimensional scanner 200 is turned on. You may.
  • the start condition may be satisfied when the start switch is operated after the icon (for example, the assist icon) corresponding to the support process I is operated and the icon is in the blinking state.
  • the start condition may be satisfied when a fixed amount of three-dimensional data is acquired, or may be satisfied at the timing when the entire dental arch is imaged. The starting condition may be satisfied if any action is performed on the three-dimensional scanner 200.
  • the imaging support device 100 ends this processing.
  • the imaging support device 100 determines whether or not three-dimensional data is acquired (S41). For example, the imaging support device 100 determines whether or not a sufficient amount of three-dimensional data has been input to execute the support process I. If a sufficient amount of three-dimensional data has not been input (NO in S41), the imaging support device 100 repeats the process of S41.
  • the imaging support device 100 performs a process of identifying the tooth type (S42).
  • the imaging support apparatus 100 identifies the tooth type from the three-dimensional data input using the learned model 114a.
  • FIG. 10 is a flowchart for explaining an example of the process of identifying the type of tooth, which is performed by the imaging support device 100 according to the first embodiment.
  • the steps shown in FIG. 10 are realized by the arithmetic unit 130 of the imaging support apparatus 100 executing the OS 127 and the identification program 120.
  • the profile data of the target person 2 has been input by the user 1 (S420).
  • the profile data is not input (NO in S420)
  • the three-dimensional data (position information) is input to the learned model 114a (S421).
  • the imaging support device 100 inputs the three-dimensional data (positional information) and the profile data into the learned model 114a (S422).
  • the learned model used at this time is not limited to the learned model 114a generated by the imaging support apparatus 100, and may be the learned model 514a generated by the server apparatus 500.
  • the imaging support apparatus 100 executes the identification process for identifying the type of the tooth using the learned model 114a based on the characteristic of the tooth corresponding to the three-dimensional data (S423).
  • the imaging support device 100 identifies the type of the tooth using the learned model 114a based on the profile data in addition to the three-dimensional data. .. In this case, it is possible to identify the tooth type more accurately than to identify the tooth type using the learned model 114a based on only the three-dimensional data.
  • the imaging support device 100 determines the presence or absence of insufficient three-dimensional data in the acquired three-dimensional data after performing the process of identifying the tooth type in S42 (S43). For example, the imaging support device 100 determines whether or not there is a portion in which the acquired three-dimensional data does not exceed the predetermined data amount. When there is insufficient three-dimensional data (YES in S43), the imaging support apparatus 100 identifies the type of tooth in the portion lacking three-dimensional data based on the type of tooth identified in S42, and determines the identification result. The data is output to the display 300, the speaker 400, etc. (S44), and this processing ends. If there is no insufficient three-dimensional data (NO in S43), the imaging support device 100 ends this processing.
  • the imaging support apparatus 100 can provide the user 1 with the tooth type to be rescanned (remeasured) by identifying the tooth type for which the data amount is insufficient in the acquired three-dimensional data. it can.
  • the imaging support apparatus 100 uses the learned model 114a to identify the tooth type based on the tooth characteristics corresponding to the input three-dimensional data, and thus the tooth type is determined based on the user's own knowledge. The tooth type can be identified more accurately than the identification, and the information of the tooth type to be rescanned can be accurately identified and provided to the user 1.
  • the imaging support apparatus 100 identifies the tooth type in consideration of the profile data in addition to the input three-dimensional data in the identification processing, the tooth type can be identified more accurately.
  • the imaging support apparatus 100 specifies the type of the missing tooth that does not exceed a predetermined data amount (does not satisfy a predetermined standard) in the acquired three-dimensional data at the timing of imaging the entire dental arch.
  • the description has been made on the premise that the data is output to the display 300.
  • the present invention is not limited to this, and it is possible to form an image in the vicinity of 1/2, 1/3, 2/3, 1/5, 2/5, 3/5 and 4/5 of the dental arch.
  • the imaging support apparatus 100 may specify the type of tooth of the lacking portion and output it to the display 300 at the timing of imaging the predetermined range.
  • the imaging support apparatus 100 outputs the information of the tooth type identified by the identifying unit 1150 (for example, the lacking portion) to the outside at the timing of capturing a predetermined number of teeth or the timing of each predetermined time. Good.
  • Assistance process I explained the process of identifying the type of tooth in the part where the information obtained from the three-dimensional data does not exceed the predetermined data amount and outputting it as support information.
  • the imaging support device 100 can perform another support process that specifies the type of tooth and provides it to the user 1 as support information.
  • a support process II of specifying the type of tooth imaged before the stop and providing the specified information as the support information to the user 1 when the imaging is started within a predetermined time will be described.
  • FIG. 11 is a flowchart for explaining another example of the support processing executed by the imaging support apparatus according to the first embodiment. Each step shown in FIG. 11 is realized by the arithmetic unit 130 of the imaging support apparatus 100 executing the OS 127 and the identification program 120a.
  • the imaging support device 100 determines whether or not the start condition of the support process II is satisfied (S40a).
  • the start condition may be satisfied, for example, when the power of the three-dimensional scanner 200 is turned on, or when the mode is switched to the mode corresponding to the support process II after the power of the three-dimensional scanner 200 is turned on. You may.
  • the start condition may be satisfied when the start switch is operated after an icon (for example, an assist icon) corresponding to the support process II is operated and the icon is in a blinking state.
  • the starting condition may be satisfied if any action is performed on the three-dimensional scanner 200.
  • the imaging support device 100 ends this processing. On the other hand, if the start condition is satisfied (YES in S40a), the imaging support device 100 acquires three-dimensional data (S41a). When a sufficient amount of three-dimensional data is input, the imaging support device 100 performs a process of identifying the type of tooth (S42). The imaging support apparatus 100 identifies the type of tooth from the three-dimensional data input using the learned model 114a in the process shown in FIG.
  • the imaging support device 100 determines whether or not the scan of the teeth by the three-dimensional scanner 200 has been stopped (S43a).
  • the timing at which the scanning is determined to be stopped may be the timing at which the imaging support apparatus 100 receives the imaging stop signal or the timing at which the input unit 1102 does not receive the tooth image for a predetermined time or more. ..
  • the imaging support apparatus 100 determines whether the scanning of the teeth by the three-dimensional scanner 200 is started within a predetermined time (for example, within 3 minutes after the scanning is stopped). It is determined (S44a). When the scan is started within the predetermined time (YES in S44a), the imaging support apparatus 100 identifies the type of tooth scanned before the stop based on the type of tooth identified in S42, and the identification result To the user 1 (S45a). For example, the imaging support device 100 notifies the user 1 of the specific result by outputting the specific result to the display 300, the speaker 400, and the like.
  • the user 1 can start the scan of the tooth by the three-dimensional scanner 200 from an appropriate position based on the type of the tooth that was scanned before the stop.
  • the specific result notified to the user 1 may include information on the type of tooth scanned before the stop, information on the type of tooth adjacent to the tooth, and both information.
  • the imaging support apparatus 100 returns the processing to S41a after notifying the type of tooth being scanned before the stop.
  • the imaging support apparatus 100 outputs the type of tooth scanned before the stop to the outside (S46a), and ends this processing.
  • the imaging support apparatus 100 determines whether or not the scanning of the teeth by the three-dimensional scanner 200 is completed (S47a). When the scan of the teeth is not completed (NO in S47a), the imaging support device 100 returns the process to S41a. When the scan of the teeth is completed (YES in S47a), the imaging support device 100 ends this process.
  • FIG. 12 is a flowchart for explaining yet another example of the support processing executed by the imaging support apparatus according to the first embodiment. The steps shown in FIG. 12 are realized by the arithmetic unit 130 of the imaging support apparatus 100 executing the OS 127 and the identification program 120a.
  • the imaging support device 100 determines whether or not the start condition of the support process III is satisfied (S40b).
  • the start condition may be satisfied, for example, when the power of the three-dimensional scanner 200 is turned on, or when the mode corresponding to the support process III is switched after the power of the three-dimensional scanner 200 is turned on. You may.
  • the start condition may be satisfied when the start switch is operated after the icon (for example, the assist icon) corresponding to the support process III is operated and the icon is in the blinking state.
  • the starting condition may be satisfied if any action is performed on the three-dimensional scanner 200.
  • the imaging support device 100 ends this processing. On the other hand, if the start condition is satisfied (YES in S40b), the imaging support device 100 acquires three-dimensional data of a plurality of parts (S41b). For example, when scanning the dental arch, the imaging support apparatus 100 divides the dental arch into 1 ⁇ 3 parts and acquires three pieces of three-dimensional data obtained by scanning. When the three-dimensional data of a plurality of parts are input, the imaging support apparatus 100 performs a process of identifying the type of tooth for each of the three-dimensional data (S42). The imaging support apparatus 100 identifies the tooth type from the three-dimensional data of a plurality of parts input using the learned model 114a in the process shown in FIG.
  • the imaging support apparatus 100 determines whether or not there are overlapping tooth types in one portion and the other portion of the three-dimensional data of a plurality of portions (S43b). When there are overlapping tooth types in one portion and another portion (YES in S43b), the imaging support apparatus 100 uses the overlapping tooth types as a reference and the three-dimensional data of one portion and the tertiary of the other portion. Processing for connecting the original data is performed (S44b). For example, the imaging support apparatus 100 scans a portion (one portion) from the third molar on the right side of the upper jaw to the first premolar and a portion (first portion) from the first premolar on the right side of the upper jaw to the other.
  • the imaging support apparatus 100 has overlapping tooth types, the three-dimensional data of one portion and the three-dimensional data of the other portion are connected to form one three-dimensional data based on the first premolar.
  • the image capturing support apparatus 100 determines whether or not there is an unprocessed part in the three-dimensional data of a plurality of parts (S45b). If there is an unprocessed portion (YES in S45b), the imaging support apparatus 100 returns the processing to S43b. If there is no unprocessed portion to be joined (NO in S45b), or if there is no type of tooth that overlaps one portion and another portion (NO in S43b), the imaging support apparatus 100 ends this processing. ..
  • the imaging support apparatus 100 scans the dental arch several times and acquires three-dimensional data of a plurality of parts, the imaging support apparatus 100 performs the above-described support processing III to convert the three-dimensional data into one three-dimensional data. It is easy to connect them together. If the user 1 connects the three-dimensional data of a plurality of parts without performing the above-mentioned support processing III, a work of visually judging the tooth type from the respective three-dimensional data and connecting the respective three-dimensional data becomes necessary and the work becomes complicated.
  • the above-mentioned support processing I to support processing III can be executed individually in the imaging support apparatus 100, but a plurality of processings may be combined and executed.
  • the imaging support apparatus 100 executes a combination of the support process I and the support process II to identify the type of tooth for which the amount of data is insufficient by scanning, and when the stop is performed, the pre-stop process is performed. You may make it specify the kind of tooth.
  • the imaging support apparatus 100 gives priority to the type of the tooth whose data amount is insufficient and notifies the type of the tooth whose data amount is insufficient.
  • the imaging support apparatus 100 may reverse the notification.
  • the imaging support device 100 is an imaging support device that supports imaging of teeth in the oral cavity.
  • the imaging support device 100 includes an input unit 1102, an identification unit 1130, a specifying unit 1150, and an output unit 1103.
  • the input unit 1102 inputs a tooth image obtained by imaging the teeth in the oral cavity.
  • the identification unit 1130 identifies the type of tooth based on the tooth image input by the input unit 1102.
  • the identifying unit 1150 identifies the type of tooth to be the target of imaging support based on the type of tooth identified by the identifying unit 1130.
  • the output unit 1103 outputs the tooth type information identified by the identifying unit 1150 to the outside at a predetermined timing.
  • the imaging support apparatus 100 specifies the type of tooth that is the target of imaging support based on the type of tooth identified by the identification unit 1130, and thus it is easy to determine which tooth in the oral cavity corresponds. It is possible to output to the user 1 information of imaging support that can be recognized by the user.
  • the identifying unit 1150 identifies the type of tooth that the user 1 needs to perform imaging, and the output unit 1103 outputs the information of the tooth type identified by the identifying unit 1150 to the outside before the user 1 performs imaging. To do.
  • the imaging support apparatus 100 can easily recognize the tooth to be imaged by the user 1 next time.
  • the identifying unit 1150 identifies, as the type of tooth that the user 1 needs to image, the type of tooth for which the information obtained from the tooth image does not meet the predetermined criteria. For example, when a tooth is scanned by the three-dimensional scanner 200, the type of tooth that does not exceed a predetermined data amount in the three-dimensional data obtained from the tooth image is determined based on the type of tooth identified by the identification unit 1130. Specify.
  • the imaging support apparatus 100 can cause the user 1 to recognize the type of tooth for which the amount of data is insufficient, and prompt the user 1 to perform imaging again.
  • the identifying unit 1150 identifies the type of tooth that was imaged at the timing when the imaging was stopped as the type of tooth that the user 1 needs to image, and the output unit 1103 starts the imaging by the user 1. Before the timing, at least one of the tooth type specified by the specifying unit 1150 and the tooth type adjacent to the specified tooth is output to the outside.
  • the imaging support apparatus 100 allows the user 1 to recognize from which tooth type the imaging is started when the imaging is started within a predetermined time after the imaging is stopped, and the imaging is efficiently performed. Is possible.
  • the output unit 1103 may output the specified tooth type information to the outside when a new tooth image is not input to the input unit 1102 in a predetermined time from the stopped timing to the start timing.
  • the imaging support apparatus 100 may redo the imaging work or move to the imaging of another patient. Since it becomes higher, it is possible to output the information of the tooth type specified at the timing of stopping to the outside so that the function of the support process II is not exerted.
  • the output unit 1103 outputs the information of the tooth type specified by the specifying unit 1150 to the outside at the timing of imaging the dental arch in a predetermined range.
  • the predetermined range is a range in which an image in the vicinity of 1/2, 1/3, 2/3, 1/5, 2/5, 3/5 and 4/5 of the dental arch can be formed. .. Further, the output unit 1103 outputs the information on the type of tooth specified by the specifying unit to the outside at the timing when a predetermined number of teeth are imaged.
  • the imaging support apparatus 100 causes the specified type of tooth (for example, a tooth whose data amount is insufficient) at the timing of imaging a dental arch in a certain predetermined range or the timing of imaging a predetermined number of teeth. (Type of) is notified to the user 1, so that the annoyance is reduced.
  • specified type of tooth for example, a tooth whose data amount is insufficient
  • the input unit 1102 receives the three-dimensional data corresponding to the three-dimensional image of the dental arch from the three-dimensional scanner 200, and the specifying unit 1150 detects that the three-dimensional data input from the input unit 1102 is insufficient. Identify a certain tooth type.
  • the user 1 can easily recognize the tooth type for which the data amount is insufficient, and the user 1 can be provided with accurate information on the tooth type to be remeasured. ..
  • the identifying unit 1150 identifies the types of teeth that overlap between the plurality of tooth images as the types of teeth used for stitching.
  • the imaging support apparatus 100 can easily connect images of a plurality of teeth.
  • the identification unit 1130 identifies the type of the tooth using an estimation model 114 including a neural network based on the characteristics of the tooth corresponding to the tooth image input from the input unit 1102, and the estimation model 114 associates the tooth image with the tooth image. Learning is performed based on the tooth information corresponding to the obtained tooth type and the identification result of the tooth type using the tooth image.
  • the user 1 can identify the type of the tooth by inputting the three-dimensional data including the tooth to the estimation model 114 (learned model 114a) including the neural network 1142, and thus the user's own It is possible to identify the tooth type more accurately than to rely on the knowledge to identify the tooth type.
  • a tooth image including a plurality of teeth is input to the input unit 1102, and the identification unit 1130 identifies each type of the plurality of teeth based on the characteristics of each of the plurality of teeth corresponding to the tooth image.
  • the user 1 can identify the respective types of the plurality of teeth by inputting the tooth image including the plurality of teeth into the estimation model 114 (learned model 114a) including the neural network 1142. Therefore, it is possible to identify the tooth type more accurately and smoothly than when the tooth type is individually identified based on the knowledge of the user. Further, the user 1 can extract the tooth feature by the estimation model 114 including the neural network 1142 in consideration of the relationship with the shape of the adjacent tooth, and thus can accurately identify the tooth type.
  • the tooth image includes three-dimensional position information at each tooth point.
  • the user 1 inputs the three-dimensional position information at each of the plurality of points forming the tooth corresponding to the three-dimensional data into the estimation model 114 (learned model 114a) including the neural network 1142, The type of the tooth concerned can be identified.
  • the estimation model 114 is learned based on the tooth information and the identification result by the identification unit 1130, as well as the attribute information about the subject who has the tooth.
  • the user 1 can learn the estimation model 114 based on the attribute information regarding the target person 2 in addition to the learning data, and thus can generate a learned model in consideration of the target person 2 attribute information. it can.
  • the attribute information includes information of at least one of the age, gender, race, height, weight, and place of residence of the subject.
  • a scanner system 10 for acquiring tooth shape information comprising a three-dimensional scanner 200 for imaging teeth using a three-dimensional camera, and a type of the tooth based on a three-dimensional tooth image acquired by the three-dimensional scanner 200.
  • the imaging support device 100 is provided for identifying and notifying the recognized type of tooth.
  • the imaging support apparatus 100 includes an input unit 1102 for inputting a tooth image obtained by imaging a tooth in an oral cavity, an identifying unit 1130 for identifying the type of tooth based on the tooth image input by the input unit 1102, and an identifying unit 1130.
  • An identifying unit 1150 that identifies the type of tooth to be imaged based on the identified tooth type, and an output unit 1103 that outputs information of the tooth type identified by the identifying unit 1150 to the outside at a predetermined timing. including.
  • the scanner system 10 identifies the type of tooth to be the target of imaging support based on the type of tooth identified by the identification unit 1130, and thus it is easy to determine which tooth in the oral cavity corresponds.
  • the recognizable information of the imaging support can be output to the user 1.
  • An imaging support method for supporting imaging of a tooth in an oral cavity comprising: inputting a tooth image obtained by imaging a tooth in the oral cavity; identifying a tooth type based on the input tooth image; The step of specifying the type of tooth to be imaged based on the type of tooth, and the step of outputting the information of the specified type of tooth to the outside at a predetermined timing.
  • the imaging support method specifies the type of tooth to be the target of imaging support based on the identified type of tooth, so that it is possible to easily recognize which tooth in the oral cavity corresponds. Can be output to the user 1.
  • the AI is used to automatically identify the tooth type based on the three-dimensional data acquired by the three-dimensional scanner 200, and the type of the tooth to be the imaging support target.
  • the imaging support apparatus 100 does not use AI and automatically identifies the type of tooth based on the three-dimensional data acquired by the three-dimensional scanner 200 to identify the tooth to be the target of imaging support. You may comprise so that the process which identifies a kind may be performed.
  • the three-dimensional image acquired by the three-dimensional scanner 200 is configured to automatically identify the tooth type by pattern matching and specify the tooth type to be the target of imaging support.
  • FIG. 13 is a flowchart for explaining an example of the process of identifying the tooth type, which is performed by the imaging support device according to the second embodiment.
  • the imaging support device according to the second embodiment has the same configuration as the imaging support device 100 described with reference to FIGS. 3 and 5 except that the estimation model 114 is not used, and detailed description thereof will not be repeated.
  • Each step shown in FIG. 13 is realized by the arithmetic unit 130 of the imaging support apparatus executing the OS 127 and the identification program 120.
  • the imaging support device reads the pattern data previously stored in the storage or the like (S420a). For example, the image of the tooth to be identified as shown in FIG. 8 is stored in the storage, and the imaging support device reads the image used for pattern matching from the storage as pattern data.
  • the imaging support device compares the three-dimensional image acquired by the three-dimensional scanner 200 with the pattern data read from the storage, and determines whether there is a matching shape (S421a). For example, the imaging support apparatus calculates the normalized correlation between the three-dimensional image acquired by the three-dimensional scanner 200 and the pattern data read from the storage to determine whether the shapes match.
  • the imaging support device determines whether or not all the pattern data of the pattern data stored in advance in the storage or the like has been read (S422a). If not all pattern data has been read (NO in S422a), the imaging support apparatus returns the processing to S420a and reads another pattern data (S420a).
  • the imaging support device identifies the tooth type of the three-dimensional image acquired from the matching pattern data (S423a). For example, when the 3D image acquired by the 3D scanner 200 has the same shape as the pattern data of the third molar on the right side of the upper jaw, the imaging support apparatus determines that the type of tooth of the acquired 3D image is the right side of the upper jaw. The third molar is identified as.
  • the process of identifying the tooth type shown in FIG. 13 is a process of identifying the tooth type included in the support process I shown in FIG. 9, the support process II shown in FIG. 11, and the support process III shown in FIG. It is possible to apply to S42).
  • the imaging support device is an imaging support device that supports imaging of teeth in the oral cavity.
  • the imaging support device includes an input unit, an identification unit, a specification unit, and an output unit.
  • the input unit inputs a tooth image obtained by imaging a tooth in the oral cavity.
  • the identification unit identifies the type of tooth based on the tooth image input by the input unit, for example, by pattern matching without using AI.
  • the specifying unit specifies the type of tooth to be the target of imaging support based on the type of tooth identified by the identifying unit.
  • the output unit outputs the information on the tooth type identified by the identifying unit to the outside at a predetermined timing.
  • the imaging support device specifies the type of tooth to be the target of imaging support based on the type of tooth identified by the identification unit, and thus it is easy to recognize which tooth in the oral cavity corresponds.
  • Information of possible imaging support can be output to the user 1.
  • the imaging support device supports a three-dimensional scanner (intraoral scanner) for acquiring the three-dimensional shape of the teeth in the oral cavity.
  • the imaging device supported by the imaging support device is not limited to the three-dimensional scanner for the oral cavity, and can be applied to an imaging device having a similar configuration.
  • the present invention can be applied to a three-dimensional scanner capable of capturing the three-dimensional shape of the outer ear by imaging the inside of the human ear in addition to the inside of the oral cavity. It can also be applied to a desktop scanner that can acquire the three-dimensional shape of a jaw/dentition model.
  • a confocal method In addition, in the three-dimensional scanner according to the first and second embodiments, a confocal method, a triangulation method, a white light interferometry method, a stereo method, a photo method are used in addition to the configuration of acquiring a three-dimensional shape by using the focusing method.
  • the configuration may be such that a three-dimensional shape is acquired using a technique such as a grammetry method, a SLAM method (Simultaneous Localization and Mapping), or an optical coherence tomography (OCT) method.
  • a technique such as a grammetry method, a SLAM method (Simultaneous Localization and Mapping), or an optical coherence tomography (OCT) method.
  • OCT optical coherence tomography
  • an imaging device supported by the imaging support device for example, an intraoral camera, an optical coherence tomography device (Optical Coherence Tomography: OCT), an ultraviolet/infrared/terahertz imaging device, An imaging device such as a fluorescence imaging device is also included.
  • OCT optical Coherence Tomography
  • UV/infrared/terahertz imaging device An imaging device such as a fluorescence imaging device is also included.
  • the scanner system in which the imaging support device and the three-dimensional scanner are connected has been described.
  • the imaging support device is not limited to this, and may have a configuration in which the imaging support device is mounted on the three-dimensional scanner or a configuration in which the imaging support device is connected to the three-dimensional scanner via a network.
  • the imaging support device can also be provided in the form of a cloud service in which a plurality of three-dimensional scanners are connected via a network.
  • the imaging support device identifies the type of tooth for which the data amount is insufficient in the acquired three-dimensional data, and prompts the user to select the type of tooth to rescan (remeasure).
  • the imaging support apparatus notifies the user of the type of tooth for which the data amount is insufficient, and when the rescan is performed, for example, in the case where the user mistakenly scans the cheek side and the lingual side, the mistake is made. May be further specified and re-notified.
  • the imaging support device determines whether the inclination of the three-dimensional scanner is different from the notified content based on the value from the motion sensor provided in the three-dimensional scanner. Notify again.
  • the imaging support apparatus identifies the type of tooth for which the amount of data is insufficient in the acquired three-dimensional data to determine the type of tooth to be rescanned (remeasured). It has been described that the information is provided to the user as support information.
  • the number of teeth for which the amount of data is insufficient is not limited to one, and a plurality of teeth may be considered.
  • the imaging support apparatus notifies the tooth types in descending order of the amount of insufficient data. In this way, the notification is performed in order from the type of tooth having a large amount of insufficient data, so that the three-dimensional data as a whole can have high utility value.
  • the imaging support device specifies the type of tooth for which the data amount is insufficient in the acquired three-dimensional data and notifies the user.
  • the present invention is not limited to this, and when the user tries to scan a tooth with overlapping data in the acquired three-dimensional data with a three-dimensional scanner, it may be possible to notify that there is an overlap.
  • the imaging support device will say "scanning of the canine is unnecessary (sufficient)". Notice.
  • the imaging support apparatus can prevent storing unnecessary data in the memory of the three-dimensional scanner, secure a storage capacity, and avoid a delay in calculation.
  • 1 user, 2 target person, 5 network, 10 scanner system 100 imaging support device, 102 scanner interface, 103,503 display interface, 104 speaker interface, 105,505 peripheral device interface, 106,506 network controller, 107,507 media Reader, 108 PC display, 109,509 memory, 110,510 storage, 112,512 scan information, 114,514 estimation model, 114a, 514a learned model, 116,516 learning data set, 118,518 color classification data 119, 519 profile data, 120 identification program, 120a identification program, 121,521 learning program, 122,522 three-dimensional data, 124,524 identification result, 127,527 OS, 130,530 arithmetic unit, 200 tertiary Original scanner, 300,350 display, 400 speaker, 500 server device, 550 removable disk, 601,651 keyboard, 602,652 mouse, 1102 input unit, 1103 output unit, 1119 profile acquisition unit, 1130 identification unit, 1130 identification unit, 1142 neural network, 1144 parameters, 1150 specific part.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

口腔内の歯牙の撮像を支援する撮像支援装置（１００）である。撮像支援装置（１００）は、入力部（１１０２）と、識別部（１１３０）と、特定部（１１５０）と、出力部（１１０３）とを備える。入力部（１１０２）は、口腔内の歯牙を撮像した歯牙画像を入力する。識別部（１１３０）は、入力部（１１０２）によって入力された歯牙画像に基づき、歯牙の種類を識別する。特定部（１１５０）は、識別部（１１３０）によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定する。出力部（１１０３）は、所定タイミングにおいて、特定部（１１５０）で特定された歯牙の種類の情報を外部へ出力する。

Description

撮像支援装置、スキャナシステム、および撮像支援方法
　本発明は、撮像支援装置、当該撮像支援装置を備えるスキャナシステム、および撮像支援方法に関する。
　歯科分野において、口腔内を撮像する撮像装置として様々な装置が開発されている。例えば、患者の口腔内の歯科的部位の三次元（３Ｄ）データを得るためのスキャナ装置が撮像装置として開発されている。しかし、このスキャナ装置を用いて口腔内をスキャンして歯列弓の三次元データを取得する場合、使用者の操作によっては撮像した複数の画像間において重複領域、欠損領域などが存在することになる。
　そこで、特許文献１では、スキャナ装置で撮像した画像において重複領域、欠損領域を関心領域として識別して表示できるようにしてある。そのため、スキャナ装置を用いて使用者が１つまたは複数の画像を撮像した直後に、再スキャンしなければならない関心領域を使用者に通知することができるので、容易に迅速かつ正確にスキャナ装置でスキャンすることができる。
特表２０１７－５２１１１３号公報
　特許文献１では、スキャナ装置を用いて使用者が歯列弓の画像を撮像した場合、歯列弓の画像には、歯肉及び複数の歯を含む他、さらに複数の関心領域も含まれる。しかし、歯列弓の画像に関心領域が表示されるだけでは、歯列弓のうち、どの歯牙に関心領域が表示されているのかまでは容易に認識できない場合があった。
　また、特許文献１では、歯列弓の画像に表示されている関心領域の歯牙と、実際の患者の口腔内のどの歯牙とが対応しているのかを容易に認識できない場合もあった。そのため、歯列弓の画像に関心領域を単に表示するだけでは、スキャナ装置の撮像支援に限界があった。
　本発明は、上記問題点を解決するためになされたものであり、口腔内を撮像する撮像装置おいて撮像支援の対象となる情報を出力することができる撮像支援装置、当該撮像支援装置を備えるスキャナシステム、および撮像支援方法を提供することを目的とする。
　本発明に係る撮像支援装置は、口腔内の歯牙の撮像を支援する撮像支援装置であって、口腔内の歯牙を撮像した歯牙画像を入力する入力部と、入力部によって入力された歯牙画像に基づき、歯牙の種類を識別する識別部と、識別部によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定する特定部と、所定タイミングにおいて、特定部で特定された歯牙の種類の情報を外部へ出力する出力部とを備える。
　本発明に係るスキャナシステムは、歯牙の形状情報を取得するスキャナシステムであって、三次元カメラを用いて歯牙を撮像する三次元スキャナと、三次元スキャナによって取得された三次元の歯牙画像に基づき当該歯牙の種類を識別し、認識した歯牙の種類を報知する撮像支援装置とを備え、撮像支援装置は、口腔内の歯牙を撮像した歯牙画像を入力する入力部と、入力部によって入力された歯牙画像に基づき、歯牙の種類を識別する識別部と、識別部によって識別された歯牙の種類に基づいて、撮像対象となる歯牙の種類を特定する特定部と、所定タイミングにおいて、特定部で特定された歯牙の種類の情報を外部へ出力する出力部とを含む。
　本発明に係る撮像支援方法は、口腔内の歯牙の撮像を支援する撮像支援方法であって、口腔内の歯牙を撮像した歯牙画像を入力するステップと、入力された歯牙画像に基づき、歯牙の種類を識別するステップと、識別された歯牙の種類に基づいて、撮像対象となる歯牙の種類を特定するステップと、所定タイミングにおいて、特定された歯牙の種類の情報を外部へ出力するステップとを含む。
　本発明に係る撮像支援装置は、識別部によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定するので、口腔内のどの歯牙と対応しているのかが容易に認識できる撮像支援の情報を使用者に出力することができる。
本実施の形態１に係る撮像支援装置の適用例を示す模式図である。 本実施の形態１に係るスキャナシステムの全体構成を示す模式図である。 本実施の形態１に係る撮像支援装置のハードウェア構成を示す模式図である。 本実施の形態１に係るサーバ装置のハードウェア構成を示す模式図である。 本実施の形態１に係る撮像支援装置の使用態様を示す模式図である。 本実施の形態１に係る撮像支援装置の機能構成を示す模式図である。 本実施の形態１に係る撮像支援装置による識別処理を説明するための模式図である。 本実施の形態１に係る識別処理における識別対象となる歯牙の一例を示す模式図である。 本実施の形態１に係る撮像支援装置が実行する支援処理の一例を説明するためのフローチャートである。 本実施の形態１に係る撮像支援装置が実行する歯牙の種類を識別する処理の一例を説明するためのフローチャートである。 本実施の形態１に係る撮像支援装置が実行する支援処理の別の一例を説明するためのフローチャートである。 本実施の形態１に係る撮像支援装置が実行する支援処理のさらに別の一例を説明するためのフローチャートである。 本実施の形態２に係る撮像支援装置が実行する歯牙の種類を識別する処理の一例を説明するためのフローチャートである。
　本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
　（実施の形態１）
　図１および図２を参照しながら、本実施の形態１に係る撮像支援装置１００を適用したスキャナシステムの例を説明する。図１は、本実施の形態１に係る撮像支援装置１００の適用例を示す模式図である。図２は、本実施の形態１に係るスキャナシステムの全体構成を示す模式図である。
　図１に示すように、ユーザ１は、スキャナシステム１０で口腔内の歯牙の撮像することで、対象者２が有する歯牙を含む三次元形状のデータ（以下、「三次元データ」とも称する）を取得することができる。なお、「ユーザ」は、歯科医師などの術者、歯科助手、歯科大学の先生または生徒、歯科技工士、メーカの技術者、製造工場の作業者など、スキャナシステム１０を用いる者（使用者）であればいずれであってもよい。「対象者」は、歯科医院の患者、歯科大学における被験者など、スキャナシステム１０の対象となる者であればいずれであってもよい。
　本実施の形態１に係るスキャナシステム１０は、三次元スキャナ２００と、撮像支援装置１００と、ディスプレイ３００と、スピーカ４００とを備える。三次元スキャナ２００は、内蔵された三次元カメラによってスキャン対象を撮像することで三次元データを取得する。具体的には、三次元スキャナ２００は、光学センサなどを用いて口腔内をスキャンすることで、三次元データとしてスキャン対象の歯牙を構成する複数の点のそれぞれの位置情報（縦方向，横方向，高さ方向の各軸の座標）を取得する。撮像支援装置１００は、三次元スキャナ２００によって取得された三次元データに基づき生成した三次元画像をディスプレイ３００に表示する。
　たとえば、ユーザ１は、対象者２の歯牙の欠損部分を補う補綴物などをコンピュータ上でデジタル設計するために、三次元スキャナ２００によって対象者２の口腔内を撮像して歯牙を含む口腔内の三次元データを取得する。ユーザ１が口腔内を撮像するごとに三次元データが順次取得され、口腔内の三次元画像がディスプレイ３００に表示される。ユーザ１は、ディスプレイ３００に表示された三次元画像を確認しながら取得する三次元データに過不足がないようにスキャンしていく。このとき、ユーザ１は、三次元スキャナ２００によって取得された歯牙を含む三次元データが可視化された三次元画像に基づき、自身の知見によってスキャン中またはスキャンが完了した歯牙の種類を識別する。しかし、知見のレベルはユーザ１ごとに異なるため、ユーザ１の知見に頼っていると識別結果の精度がばらつくことがあった。
　そこで、本実施の形態１に係るスキャナシステム１０は、撮像支援装置１００が有するＡＩ（人工知能：Artificial　Intelligence）を利用して、三次元スキャナ２００によって取得された三次元データに基づき歯牙の種類を自動的に識別して撮像支援の対象となる歯牙の種類を特定する処理を実行するように構成されている。なお、撮像支援装置１００によるＡＩを利用した歯牙の種類を識別する処理を「識別処理」とも称する。
　なお、「歯牙の種類」は、上顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、上顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯といったような各歯牙の種類を意味する。
　具体的には、ユーザ１が三次元スキャナ２００を用いて対象者２の口腔内の歯牙をスキャンすると、歯牙を含む三次元データが撮像支援装置１００に入力される。撮像支援装置１００は、入力された歯牙の特徴を含む三次元データおよびニューラルネットワークを含む推定モデルに基づき、当該歯牙の種類を識別する識別処理を実行する。
　「推定モデル」は、ニューラルネットワークと当該ニューラルネットワークによって用いられるパラメータとを含み、三次元データに関連付けられた歯牙の種類に対応する歯牙情報と、当該三次元データを用いた当該歯牙の種類の識別結果とに基づき学習されることで最適化（調整）される。具体的には、推定モデルは、歯牙を含む三次元データが入力されると、当該三次元データに基づきニューラルネットワークによって歯牙の特徴を抽出し、抽出した歯牙の特徴に基づき歯牙の種類を推定する。そして、推定モデルは、自身が推定した歯牙の種類と、入力された三次元データに関連付けられた歯牙の種類（歯牙情報）とに基づき、両者が一致すればパラメータを更新しない一方で、両者が一致しなければ両者が一致するようにパラメータを更新することで、パラメータを最適化する。このように、推定モデルは、入力データである三次元データと、正解データである歯牙の種類（歯牙情報）とを含む教師データを利用して、パラメータが最適化されることで学習される。
　なお、このような推定モデルを学習する処理を「学習処理」とも称する。また、学習処理によって最適化された推定モデルを、特に「学習済モデル」とも称する。つまり、本実施の形態１においては、学習前の推定モデルおよび学習済みの推定モデルをまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデルを「学習済モデル」とも称する。
　「歯牙情報」は、上顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、上顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯といったような各歯牙の名称を含む。また、「歯牙情報」は、中切歯に割り当てられた１番、側切歯に割り当てられた２番、犬歯に割り当てられた３番、第１小臼歯に割り当てられた４番、第２小臼歯に割り当てられた５番、第１大臼歯に割り当てられた６番、第２大臼歯に割り当てられた７番、第３大臼歯に割り当てられた８番といったような各歯牙に割り当てられた番号（たとえば、歯科分野において一般的に用いられている歯牙の番号）を含む。その他、「歯牙情報」は、各歯牙に割り当てられた色の情報を含んでいてもよいし、各歯牙に割り当てられた記号の情報を含んでいてもよい。
　撮像支援装置１００によって、例えば、スキャン（撮像）が完了した歯牙の情報を撮像支援として出力する場合、学習済モデルを用いて識別処理が実行されて識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定して、その特定結果をディスプレイ３００、およびスピーカ４００に出力する。
　ディスプレイ３００は、特定結果に対応する画像、文字、数字、アイコン、および記号の少なくともいずれか１つを表示する。たとえば、スキャンが完了した歯牙の種類を通知する支援処理を撮像支援装置１００で行っている場合、ディスプレイ３００は、三次元スキャナ２００によって下顎右側の７番に対応する第２大臼歯のスキャンが完了した後に、特定結果として「右下７番のスキャンが完了しました。」というように、下顎右側の７番に対応する第２大臼歯のスキャンが完了した旨の画像を表示する。なお、撮像支援装置１００は、特定結果が誤っていた場合、訂正結果を操作入力、音声入力などにより受け付けるようにしてもよい。なお、音声入力は図示しないマイクにより音声を受付けるようにしてもよい。
　スピーカ４００は、特定結果に対応する音声を出力する。たとえば、スピーカ４００は、三次元スキャナ２００によって下顎右側の７番に対応する第２大臼歯のスキャンが完了した後において、撮像支援装置１００による歯牙の特定結果を利用して、「右下７番完了」というように、下顎右側の７番に対応する第２大臼歯のスキャンが完了した旨の音声を出力する。なお、撮像支援装置１００は、スキャンが完了した歯牙の種類をディスプレイ３００、およびスピーカ４００などに出力するのではなく、スキャンが完了した歯牙の種類を特定した上で、次にスキャンする歯牙の種類をディスプレイ３００、およびスピーカ４００などに出力してもよい。撮像支援装置１００は、スキャンが完了した歯牙の種類を特定した情報から次にスキャンする歯牙の種類を予測する場合、たとえば、スキャンが完了した歯牙の種類と近い位置にある未スキャンの歯牙の種類を次にスキャンする歯牙の種類として予測する。また、撮像支援装置１００は、モーションセンサ、ジャイロセンサなどと組み合わせて次にスキャンする歯牙の種類を予測してもよい。
　さらに、撮像支援装置１００の識別処理による識別結果は、識別処理時に用いられた三次元データとともに、スキャン情報として歯科技工所および管理センターに配置されたサーバ装置５００に出力されてもよい。なお、撮像支援装置１００は、スキャン情報を歯科技工所および管理センターに配置されたサーバ装置５００に出力する場合、ユーザ１の確認を必要としてもよい。
　たとえば、図２に示すように、スキャナシステム１０は、複数のローカルＡ～Ｃのそれぞれに配置されている。たとえば、ローカルＡおよびローカルＢは歯科医院であり、当該歯科医院の院内において、ユーザ１である術者や歯科助手は、スキャナシステム１０を利用して対象者２である患者の歯牙を含む三次元データを取得する。また、ローカルＣは歯科大学であり、当該歯科大学において、ユーザ１である先生や生徒は、対象者２である被験者の口腔内の三次元データを取得する。ローカルＡ～Ｃのそれぞれで取得されたスキャン情報（三次元データ，識別結果）は、ネットワーク５を介して、ローカルＤである歯科技工所および管理センターに配置されたサーバ装置５００に出力される。
　歯科技工所においては、歯科技工士などが、ローカルＡ～Ｃのそれぞれから取得したスキャン情報に基づき、対象者２の歯牙の欠損部分を補う補綴物などを作成する。管理センターにおいては、サーバ装置５００が、ローカルＡ～Ｃのそれぞれから取得したスキャン情報を蓄積して記憶し、ビッグデータとして保持する。
　なお、サーバ装置５００は、歯科医院にローカルとは異なる管理センターに配置されるものに限らず、ローカル内に配置されてもよい。たとえば、ローカルＡ～Ｃのうちのいずれかのローカル内にサーバ装置５００が配置されてもよい。また、１つのローカル内に複数の撮像支援装置１００が配置されてもよく、さらに、当該１つのローカル内に当該複数の撮像支援装置１００と通信可能なサーバ装置５００が配置されてもよい。また、サーバ装置５００は、クラウドサービスの形態で実現されてもよい。
　歯科技工所においては、ローカルＡ～Ｃのように、様々な所からスキャン情報が集約される。このため、歯科技工所で保持されているスキャン情報は、ネットワーク５を介して管理センターに送信されてもよいし、あるいは、ＣＤ（Compact　Disc）およびＵＳＢ（Universal　Serial　Bus）メモリなどのリムーバブルディスク５５０を介して管理センターに送られてもよい。
　なお、ネットワーク５を介さずに、ローカルＡ～Ｃのそれぞれからも、リムーバブルディスク５５０を介してスキャン情報が管理センターに送られてもよい。また、ローカルＡ～Ｃのそれぞれの間においても、ネットワーク５またはリムーバブルディスク５５０を介してスキャン情報を互いに送り合ってもよい。
　各ローカルＡ～Ｃの撮像支援装置１００は、各自で推定モデルを保持しており、識別処理時に各自が保持する推定モデルを使用して歯牙の種類を識別する。各ローカルＡ～Ｃの撮像支援装置１００は、各自の学習処理によって各自の推定モデルを学習することで、学習済モデルを生成する。さらに、本実施の形態１においては、サーバ装置５００も推定モデルを保持している。サーバ装置５００は、各ローカルＡ～Ｃの撮像支援装置１００および歯科技工所から取得したスキャン情報を用いた学習処理によって推定モデルを学習することで、学習済モデルを生成し、各ローカルＡ～Ｃの撮像支援装置１００に当該学習済モデルを配布する。なお、本実施の形態１においては、各ローカルＡ～Ｃの撮像支援装置１００およびサーバ装置５００のいずれも学習処理を実行する形態であるが、各ローカルＡ～Ｃの撮像支援装置１００のみが学習処理を実行する形態、あるいはサーバ装置５００のみが学習処理を実行する形態であってもよい。なお、サーバ装置５００のみが学習処理を実行する形態である場合、各ローカルＡ～Ｃの撮像支援装置１００が保持する推定モデル（学習済モデル）は、各ローカルＡ～Ｃの撮像支援装置１００間で共通化される。
　また、サーバ装置５００が撮像支援装置１００における識別処理や特定処理の機能を有していてもよい。たとえば、各ローカルＡ～Ｃは、取得した三次元データをサーバ装置５００に送信し、サーバ装置５００は、各ローカルＡ～Ｃから受信したそれぞれの三次元データに基づき、それぞれにおける歯牙の種類の識別結果を算出してもよいし、識別された歯牙の種類に基づいて撮像支援の対象となる歯牙の種類を特定してもよい。そして、サーバ装置５００は、それぞれの識別結果や特定結果を各ローカルＡ～Ｃに送信し、各ローカルＡ～Ｃは、サーバ装置５００から受信した識別結果に基づいて撮像支援の対象となる歯牙の種類を特定してもよいし、特定結果をディスプレイなどに出力してもよい。このように、各ローカルＡ～Ｃとサーバ装置５００とがクラウドサービスの形態で構成されてもよい。このようにすれば、サーバ装置５００が推定モデル（学習済モデル）を保持してさえいれば、各ローカルＡ～Ｃは、推定モデル（学習済モデル）を保持することなく識別結果を得ることができる。
　このように、本実施の形態１に係るスキャナシステム１０によれば、撮像支援装置１００が有するＡＩを利用して、三次元スキャナ２００によって取得された三次元データに基づき歯牙の種類が自動的に識別し、識別された歯牙の種類に基づいて撮像支援の対象となる歯牙の種類を特定する。ＡＩを利用することで、ユーザ１の知見により得られた歯牙の特徴を見出すことができる。また、ユーザ１では抽出できない歯牙の特徴を見出すこともでき、これにより、ユーザ１は、自身の知見に頼ることなく、精度良く歯牙の種類を識別することができる。撮像支援装置１００は、その識別結果を利用して、例えば、撮像が完了した歯牙の種類を特定する撮像支援を行うことで、撮像が完了した歯牙と歯牙の種類との対応をユーザ１に容易に認識させることができる。
　［撮像支援装置のハードウェア構成］
　図３を参照しながら、本実施の形態１に係る撮像支援装置１００のハードウェア構成の一例を説明する。図３は、本実施の形態１に係る撮像支援装置１００のハードウェア構成を示す模式図である。撮像支援装置１００は、たとえば、汎用コンピュータで実現されてもよいし、スキャナシステム１０専用のコンピュータで実現されてもよい。
　図３に示すように、撮像支援装置１００は、主なハードウェア要素として、スキャナインターフェース１０２と、ディスプレイインターフェース１０３と、スピーカインターフェース１０４と、周辺機器インターフェース１０５と、ネットワークコントローラ１０６と、メディア読取装置１０７と、ＰＣディスプレイ１０８と、メモリ１０９と、ストレージ１１０と、演算装置１３０とを備える。
　スキャナインターフェース１０２は、三次元スキャナ２００を接続するためのインターフェースであり、撮像支援装置１００と三次元スキャナ２００との間のデータの入出力を実現する。
　ディスプレイインターフェース１０３は、ディスプレイ３００を接続するためのインターフェースであり、撮像支援装置１００とディスプレイ３００との間のデータの入出力を実現する。ディスプレイ３００は、たとえば、ＬＣＤ（Liquid　Crystal　Display）または有機ＥＬＤ（Electroluminescence）ディスプレイなどで構成される。
　スピーカインターフェース１０４は、スピーカ４００を接続するためのインターフェースであり、撮像支援装置１００とスピーカ４００との間のデータの入出力を実現する。
　周辺機器インターフェース１０５は、キーボード６０１およびマウス６０２などの周辺機器を接続するためのインターフェースであり、撮像支援装置１００と周辺機器との間のデータの入出力を実現する。
　ネットワークコントローラ１０６は、ネットワーク５を介して、歯科技工所に配置された装置、管理センターに配置されたサーバ装置５００、および他のローカルに配置された他の撮像支援装置１００のそれぞれとの間でデータを送受信する。ネットワークコントローラ１０６は、たとえば、イーサネット（登録商標）、無線ＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの任意の通信方式に対応する。
　メディア読取装置１０７は、リムーバブルディスク５５０に格納されているスキャン情報などの各種データを読み出す。
　ＰＣディスプレイ１０８は、撮像支援装置１００専用のディスプレイである。ＰＣディスプレイ１０８は、たとえば、ＬＣＤまたは有機ＥＬディスプレイなどで構成される。なお、本実施の形態１においては、ＰＣディスプレイ１０８は、ディスプレイ３００と別体であるが、ディスプレイ３００と共通化されてもよい。
　メモリ１０９は、演算装置１３０が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ１０９は、たとえば、ＤＲＡＭ（Dynamic　Random　Access　Memory）またはＳＲＡＭ（Static　Random　Access　Memory）などの揮発性メモリデバイスで構成される。
　ストレージ１１０は、識別処理および学習処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ１１０は、たとえば、ハードディスクまたはＳＳＤ（Solid　State　Drive）などの不揮発性メモリデバイスで構成される。
　ストレージ１１０は、スキャン情報１１２と、推定モデル１１４（学習済モデル１１４ａ）と、学習用データセット１１６と、色分類データ１１８と、プロファイルデータ１１９と、識別用プログラム１２０と、学習用プログラム１２１と、ＯＳ（Operating　System）１２７とを格納する。
　スキャン情報１１２は、三次元スキャナ２００によって取得された三次元データ１２２と、当該三次元データ１２２に基づき実行された識別処理による識別結果１２４とを含む。識別結果１２４は、識別処理に用いられた三次元データ１２２に関連付けられてストレージ１１０に格納される。学習用データセット１１６は、推定モデル１１４の学習処理に用いられる一群の学習用データである。色分類データ１１８は、学習用データセット１１６の生成および学習処理に用いられるデータである。プロファイルデータ１１９は、対象者２に関する属性情報であって、当該対象者２の年齢、性別、人種、身長、体重、および居住地などのプロファイルがまとめられたデータ（たとえば、カルテの情報）である。識別用プログラム１２０は、識別処理を実行するためのプログラムである。特定用プログラム１２０ａは、撮像支援の対象となる歯牙の種類を特定する特定処理を実行するためのプログラムである。学習用プログラム１２１は、推定モデル１１４の学習処理を実行するためのプログラムであり、その一部には識別処理を実行するためのプログラムも含まれる。
　演算装置１３０は、各種のプログラムを実行することで、識別処理および学習処理などの各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置１３０は、たとえば、ＣＰＵ（Central　Processing　Unit）１３２、ＦＰＧＡ（Field-Programmable　Gate　Array）１３４、およびＧＰＵ（Graphics　Processing　Unit）１３６などで構成される。
　［サーバ装置のハードウェア構成］
　図４を参照しながら、本実施の形態１に係るサーバ装置５００のハードウェア構成の一例を説明する。図４は、本実施の形態１に係るサーバ装置５００のハードウェア構成を示す模式図である。サーバ装置５００は、たとえば、汎用コンピュータで実現されてもよいし、スキャナシステム１０専用のコンピュータで実現されてもよい。
　図４に示すように、サーバ装置５００は、主なハードウェア要素として、ディスプレイインターフェース５０３と、周辺機器インターフェース５０５と、ネットワークコントローラ５０６と、メディア読取装置５０７と、メモリ５０９と、ストレージ５１０と、演算装置５３０とを備える。
　ディスプレイインターフェース５０３は、ディスプレイ３５０を接続するためのインターフェースであり、サーバ装置５００とディスプレイ３５０との間のデータの入出力を実現する。ディスプレイ３５０は、たとえば、ＬＣＤまたは有機ＥＬＤディスプレイなどで構成される。
　周辺機器インターフェース５０５は、キーボード６５１およびマウス６５２などの周辺機器を接続するためのインターフェースであり、サーバ装置５００と周辺機器との間のデータの入出力を実現する。
　ネットワークコントローラ５０６は、ネットワーク５を介して、ローカルに配置された撮像支援装置１００、および歯科技工所に配置された装置のそれぞれとの間でデータを送受信する。ネットワークコントローラ５０６は、たとえば、イーサネット（登録商標）、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの任意の通信方式に対応してもよい。
　メディア読取装置５０７は、リムーバブルディスク５５０に格納されているスキャン情報などの各種データを読み出す。
　メモリ５０９は、演算装置５３０が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ５０９は、たとえば、ＤＲＡＭまたはＳＲＡＭなどの揮発性メモリデバイスで構成される。
　ストレージ５１０は、学習処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ５１０は、たとえば、ハードディスクまたはＳＳＤなどの不揮発性メモリデバイスで構成される。
　ストレージ５１０は、スキャン情報５１２と、推定モデル５１４（学習済モデル５１４ａ）と、学習用データセット５１６と、色分類データ５１８と、プロファイルデータ５１９と、学習用プログラム５２１と、ＯＳ５２７とを格納する。
　スキャン情報５１２は、ネットワーク５を介してローカルに配置された撮像支援装置１００および歯科技工所から取得した三次元データ５２２と、当該三次元データ５２２に基づき実行された識別処理による識別結果５２４とを含む。識別結果５２４は、識別処理に用いられた三次元データ５２２に関連付けられてストレージ５１０に格納される。学習用データセット５１６は、推定モデル５１４の学習処理に用いられる一群の学習用データである。色分類データ５１８は、学習用データセット５１６の生成および学習処理に用いられるデータである。プロファイルデータ５１９は、対象者２に関する属性情報であって、対象者２の年齢、性別、人種、身長、体重、および居住地などのプロファイルがまとめられたデータ（たとえば、カルテの情報）である。学習用プログラム５２１は、推定モデル５１４の学習処理を実行するためのプログラムであり、その一部には識別処理を実行するためのプログラムも含まれる。
　なお、推定モデル５１４（学習済モデル５１４ａ）は、ローカルの撮像支援装置１００に送信されることで、撮像支援装置１００によって、推定モデル１１４（学習済モデル１１４ａ）として保持される。
　演算装置５３０は、各種のプログラムを実行することで、学習処理などの各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置５３０は、たとえば、ＣＰＵ５３２、ＦＰＧＡ５３４、およびＧＰＵ５３６などで構成される。
　［撮像支援装置による特定処理］
　図５～図８を参照しながら、本実施の形態１に係る撮像支援装置１００による撮像支援装置の一例を説明する。図５は、本実施の形態１に係る撮像支援装置１００の使用態様を示す模式図である。以下の説明では、口腔内をスキャン（撮像）して取得した複数の三次元データを繋ぎ合せて歯列弓の三次元データを取得する三次元スキャナ２００（スキャン装置）を支援する場合について説明する。もちろん、三次元スキャナ２００は、口腔内をスキャンして複数の三次元データを取得しても繋ぎ合わせずに、歯列の一部の三次元データをそれぞれ取得する装置であってもよい。
　三次元スキャナ２００は、図５に示すように口腔内をスキャンすることで、歯列弓の一部の三次元データを順に取得することができ、それらを繋ぎ合わせることで歯列弓全体の三次元データを取得することができる。しかし、三次元スキャナ２００を用いて口腔内をスキャンして歯列弓の三次元データを取得する場合、ユーザ１の操作によっては撮像した複数の三次元データにおいて重複領域、欠損領域などが存在することになる。
　そこで、撮像支援装置１００は、歯列弓全体を撮像したタイミングで、三次元データから得られる情報が所定基準を満たしていない歯牙の不足部分（欠損領域）を特定して支援情報としてディスプレイ３００へ出力する。つまり、図５に示すように、撮像支援装置１００は、不足部分の歯牙にマーキングして、「下顎左側第１大臼歯頬側面を再測定してください。」とのメッセージをディスプレイ３００に出力して撮像支援を行う。そのため、ユーザ１は、撮像支援装置１００の出力により、容易に迅速かつ正確に三次元スキャナ２００の再スキャンが可能となる。ここで、所定基準とは、三次元スキャナ２００で取得した三次元データから補綴物を生成するために必要となる精度のデータ量などを予め定められた基準である。
　なお、図５では、撮像支援装置１００は、三次元データが不足している歯牙の種類を「下顎左側第１大臼歯頬側面」などと特定しており、歯牙の種類だけでなく当該歯牙の一部の領域まで特定している。もちろん、撮像支援装置１００は、三次元データが不足している歯牙の種類、例えば「下顎左側第１大臼」のみを特定するだけでもよい。
　図６は、本実施の形態１に係る撮像支援装置１００の機能構成を示す模式図である。図７は、本実施の形態１に係る撮像支援装置１００による識別処理を説明するための模式図である。図８は、本実施の形態１に係る識別処理における識別対象となる歯牙の一例を示す模式図である。なお、図８においては、三次元スキャナ２００のスキャン対象となる歯牙が線図によって表されている。
　図６に示すように、撮像支援装置１００は、識別処理および特定処理に係る機能部として、入力部１１０２と、プロファイル取得部１１１９と、識別部１１３０と、特定部１１５０と、出力部１１０３とを有する。これらの各機能は、撮像支援装置１００の演算装置１３０がＯＳ１２７および識別用プログラム１２０および特定用プログラム１２０ａを実行することで実現される。
　入力部１１０２には、三次元スキャナ２００によって取得された三次元データが入力される。プロファイル取得部１１１９は、対象者２のプロファイルデータ１１９を取得する。識別部１１３０は、入力部１１０２に入力された三次元データと、プロファイル取得部１１１９によって取得された対象者２のプロファイルデータ１１９とに基づき、推定モデル１１４（学習済モデル１１４ａ）を用いて歯牙の種類を識別する識別処理を実行する。
　推定モデル１１４は、ニューラルネットワーク１１４２と、当該ニューラルネットワーク１１４２によって用いられるパラメータ１１４４とを含む。パラメータ１１４４は、ニューラルネットワーク１１４２による計算に用いられる重み付け係数と、識別の判定に用いられる判定値とを含む。特定部１１５０は、ユーザ１が撮像を行う必要のある歯牙において、歯牙画像（たとえば、三次元データ）から得られる情報が所定基準を満たしていない歯牙の種類を特定する。具体的には、特定部１１５０は、識別部１１３０によって識別された歯牙の種類に基づいて、取得した三次元データのうち予め定めたデータ量を超えていない部分に対応する歯牙の種類を特定する。なお、特定部１１５０は、データ不足の歯牙の種類を特定する場合だけに限定されず、次に撮像する歯牙の種類を特定したり、停止時の歯牙の種類を特定したりと他の特定を行うことも可能である。出力部１１０３は、特定部１１５０による特定結果をディスプレイ３００、およびスピーカ４００などに出力する。
　ここで、図７に示すように、入力部１１０２に入力される三次元データには、歯牙の各点における三次元の位置情報と、歯牙の各点における色情報とが含まれる。識別処理においては、位置情報が用いられる。位置情報は、予め定められた位置を基準とした三次元における絶対位置の座標を含む。たとえば、位置情報は、歯牙の各点における中心位置を原点として、Ｘ軸（たとえば、歯牙の横方向の軸）、Ｙ軸（たとえば、歯牙の縦方向の軸）、およびＺ軸（たとえば、歯牙の高さ方向の軸）の各軸における絶対位置の座標を含む。なお、位置情報は、予め定められた位置を基準とした三次元における絶対位置の座標に限らず、たとえば、隣接する点からの距離を示す三次元における相対位置の座標を含んでいてもよい。
　ここで、図８に示すように、三次元スキャナ２００のスキャン対象となる歯牙が上顎の切歯である場合、得られる三次元画像が、上唇側の部位、口蓋側の部位、および切縁側の部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。また、三次元スキャナ２００のスキャン対象となる歯牙が上顎の犬歯および臼歯である場合、得られる三次元画像が、頬側の部位、口蓋側の部位、および咬合する部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。三次元スキャナ２００のスキャン対象となる歯牙が下顎の切歯である場合、得られる三次元画像が、下唇側の部位、舌側の部位、および切縁側の部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。三次元スキャナ２００のスキャン対象となる歯牙が下顎の犬歯および臼歯である場合、得られる三次元画像が、頬側の部位、舌側の部位、および咬合する部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。
　一般的に、対象者２の歯牙は、その種類によって形状および大きさが異なる。たとえば、上顎の切歯の場合、上唇側の面は一般的にＵ字形であるのに対して、上顎の犬歯の場合、頬側の面は一般的に五角形である。各歯牙は、形状および大きさがその種類に応じて特徴的であり、識別部１１３０は、これらの特徴的な形状および大きさが数値化された三次元データに基づき、推定モデル１１４を用いて当該三次元データに対応する歯牙の種類を識別する。
　図７に示すように、推定モデル１１４は、ニューラルネットワーク１１４２を含む。ニューラルネットワーク１１４２においては、入力部１１０２に入力された三次元データに含まれる位置情報の値が入力層に入力される。そして、ニューラルネットワーク１１４２においては、たとえば、中間層によって、入力された位置情報の値に対して重み付け係数が乗算されたり所定のバイアスが加算されたりするとともに所定の関数による計算が行われ、その計算結果が判定値と比較される。そして、ニューラルネットワーク１１４２においては、その計算および判定の結果が識別結果として出力層から出力される。なお、ニューラルネットワーク１１４２による計算および判定については、三次元データに基づき歯牙を識別できるものであれば、いずれの手法が用いられてもよい。
　推定モデル１１４のニューラルネットワーク１１４２においては、中間層が多層構造になることで、ディープラーニングによる処理が行われる。本実施の形態においては、３次元画像に特化した識別処理を行う識別用プログラム１２０として、たとえば、VoxNet、3D　ShapeNets、Multi-View　CNN、RotationNet、OctNet、FusionNet、PointNet、PointNet++、SSCNet、およびMarrNetなどが用いられるが、その他のプログラムが用いられてもよい。また、ニューラルネットワーク１１４２の仕組みには既存のものが適用されてもよい。
　このような構成において、撮像支援装置１００は、複数の歯牙が含まれる三次元画像に対応する三次元データが入力されると、当該三次元データに基づいて、複数の歯牙のそれぞれの特徴を推定モデル１１４のニューラルネットワーク１１４２を用いて抽出し、抽出した複数の歯牙のそれぞれの特徴に基づき、当該複数の歯牙のそれぞれの種類を識別することができる。また、図７に示すように、識別対象となる歯牙に限らず、隣接する歯牙を含む三次元データについても撮像支援装置１００に入力されることで、推定モデル１１４のニューラルネットワーク１１４２は、隣接する歯牙の形状との関係も考慮して歯牙の特徴を抽出することができる。撮像支援装置１００は、一般的に認識されている歯牙の特徴に限らず、一般的に認識されていない歯牙の特徴についても抽出することができ、それによって精度良く歯牙の種類を識別することができる。
　なお、サーバ装置５００が保持する推定モデル５１４に含まれるニューラルネットワークは、図７に示した推定モデル１１４に含まれるニューラルネットワーク１１４２と同様の構成を有する。
　［学習用データの生成］
　学習用データセット１１６の生成の一例を説明する。まず、三次元スキャナ２００によって三次元データが取得され、当該三次元データには、対応する歯牙の各点における三次元の位置情報と、歯牙の各点における色情報（ＲＧＢ値）とが含まれる。三次元スキャナ２００によって取得された三次元データに基づき三次元画像が生成されると、実際の色が付された歯牙を含む三次元画像が生成される。
　次に、各歯牙の色分け処理の準備として、ノイズ除去処理が行われる。たとえば、本実施の形態１においては、三次元データに対応する３次元画像がグレースケール化される。三次元データに対応する三次元画像に含まれる各歯牙に対して予め定められた色が塗布されることで各歯牙が色分けされる。たとえば、撮像支援装置１００が保持する色分類データ１１８は、下顎左側、下顎右側、上顎左側、および上顎右側といったように口腔内の各部位ごとに設けられている。
　たとえば、第二大臼歯は、歯牙の番号として７番が割り当てられ、色情報として赤色が割り当てられている。第一大臼歯は、歯牙の番号として６番が割り当てられ、色情報として緑色が割り当てられている。第二小臼歯は、歯牙の番号として５番が割り当てられ、色情報として青色が割り当てられている。このように、各色分類データ１１８においては、各歯牙の種類に対して歯牙の番号および色情報が予め割り当てられている。
　各歯牙に対する色の塗布は、ユーザ１（メーカの技術者または製造工場の作業者など）によって行われる。具体的には、ユーザ１は、自身の知見に基づき三次元画像に含まれる各歯牙の種類を識別し、識別した歯牙の種類に対応する色を、色分類データ１１８を参照しながら特定し、特定した色を当該歯牙の画像に塗布する。
　たとえば、ユーザ１は、三次元画像に含まれる歯牙が第二大臼歯であると識別すると、当該歯牙の画像に赤色を塗布する。また、三次元画像に含まれる歯牙が第一大臼歯であると識別すると、当該歯牙の画像に緑色を塗布する。
　また、各歯牙の色分けに応じて、三次元データに対応する歯牙の各点における色情報（ＲＧＢ値）が各歯牙に塗布された色に対応する値に変更される。たとえば、赤色に塗布された第二大臼歯の各位置座標に対しては、色情報（ＲＧＢ値）が“２５５００００００”となり、緑色に塗布された第一大臼歯の各位置座標に対しては、色情報（ＲＧＢ値）が“０００２５５０００”となり、青色に塗布された第二小臼歯の各位置座標に対しては、色情報（ＲＧＢ値）が“０００００２５５”となる。つまり、三次元データに対応する歯牙の各点に対して、予め定められた色情報（ＲＧＢ値）が関連付けられる。
　各歯牙に対して予め定められた色情報が関連付けられると、三次元データには、位置情報と、塗布された色に対応する色情報とが含まれるようになり、このような三次元データが学習用データとして採用される。つまり、本実施の形態に係る学習用データにおいては、識別処理で参照される位置情報に対して、歯牙の種類に対応する色情報が関連付けられる（ラベリングされる）。さらに、三次元データに対応する複数の歯牙のそれぞれの範囲を特定可能に当該三次元データに色情報が関連付けられる。具体的には、各歯牙に対応する位置情報ごとに、同じ色情報が関連付けられる。このような学習用データの集まりが学習用データセット１１６として、撮像支援装置１００に保持される。
　このように、学習用データを生成する際に、ユーザ１が三次元画像に含まれる各歯牙に色を塗布して正解データをラベリングすることにおいては、多くの利点がある。たとえば、単なる文字または記号を用いてラベリングした場合、ユーザ１は、各歯牙の範囲を認識し難いが、色分けによってラベリングした場合、ユーザ１は、ラベリング対象である歯牙と当該歯牙に隣接する歯牙との間の境界、およびラベリング対象である歯牙と歯肉との間の境界を色の塗布によって容易に認識することができる。また、ユーザ１は、ラベリング時に様々な角度から三次元画像を確認しながら色を塗布するが、視点の角度を変更した場合でも、ラベリング作業中の歯牙に対してどの範囲まで塗布が完了したのかを認識し易くなる。
　なお、本実施の形態においては、ユーザ１が自身の知見に基づき手作業で三次元画像に含まれる各歯牙に色を塗布しているが、一部の作業をソフトウェアで補うことも可能である。たとえば、ラベリング対象である歯牙と当該歯牙に隣接する歯牙との間の境界、およびラベリング対象である歯牙と歯肉との間の境界を、エッジ検出によって特定してもよく、このようにすれば、ラベリング対象である歯牙のみを抽出することができる。
　なお、学習用データセット１１６の生成は、サーバ装置５００が保持する学習用データセット５１６の生成についても適用可能である。たとえば、学習用データセット１１６を、サーバ装置５００が保持する学習用データセット５１６に適用してもよいし、色分類データ１１８を、サーバ装置５００が保持する色分類データ５１８に適用してもよい。
　［学習済モデルの生成］
　学習済モデル１１４ａの生成の一例を説明する。学習用データセット１１６は、当該学習用データセット１１６を生成する際にスキャン対象となった対象者２のプロファイルに基づきカテゴリごとに分類することができる。たとえば、年齢（未成年者，現役世代，高齢者）、性別（男性，女性）、人種（アジア人，欧米人，アフリカ系）、身長（１５０ｃｍ未満，１５０以上）、体重（５０ｋｇ未満，５０ｋｇ以上）、および居住地（日本在住，日本以外に在住）のそれぞれに対して、該当する対象者２の歯牙を含む三次元データから生成された学習用データセットを割り当てることができる。なお、各カテゴリの層別は、適宜設定可能である。たとえば、年齢に関しては、所定の年齢差ごと（この場合は３歳ごと）、具体的には、０歳～３歳、４歳～６歳、７歳～９歳、…といったように、より詳細に層別することができる。
　撮像支援装置１００は、カテゴリごとに分類することができる複数の学習用データセット１１６を用いて推定モデル１１４を学習させることで、学習済モデル１１４ａを生成する。なお、学習用データは、カテゴリの分類の仕方によっては重複することがあるが、学習用データが重複する場合には、いずれかの学習用データのみを用いて推定モデル１１４を学習させればよい。
　一般的に歯牙の形状は、年齢、性別、人種、身長、体重、および居住地など、遺伝または生活環境などに依存してその特徴が異なる。たとえば、一般的に、大人の永久歯は、子供の乳歯よりも大きく、両者でその形状が異なる。また、一般的に、男性の歯牙は、女性の歯牙よりも大きく、両者でその形状が異なる。また、一般的に、欧米人の歯牙は、硬い肉やパンを噛み切り易いように先端が尖る傾向があるのに対して、日本人の歯牙は、柔らかい米や野菜をすり潰し易いように先端が滑らかになる傾向がある。このため、本実施の形態のように、プロファイルデータに基づき学習処理を実行すれば、遺伝または生活環境などを考慮して歯牙の種類を識別することができる学習済モデルを生成することができる。
　なお、学習済モデル１１４ａの生成は、サーバ装置５００が保持する学習済モデル５１４ａの生成についても適用可能である。たとえば、学習用データセット１１６を、サーバ装置５００が保持する学習用データセット５１６に適用してもよいし、推定モデル１１４を、サーバ装置５００が保持する推定モデル５１４に適用してもよい。
　［識別部の学習処理］
　撮像支援装置１００が実行する学習処理について説明する。当該学習処理は、撮像支援装置１００の演算装置１３０がＯＳ１２７および学習用プログラム１２１を実行することで実現される。撮像支援装置１００は、学習用データセット１１６の中から、学習に用いる学習用データを選択する。撮像支援装置１００は、選択した学習用データに含まれる三次元データの位置情報、および当該学習用データを生成する際にスキャン対象となった対象者２のプロファイルデータを推定モデル１１４に入力する。このとき、撮像支援装置１００には、三次元データにラベリングされた正解データは入力されない。撮像支援装置１００は、三次元データに対応する歯牙の特徴に基づき、推定モデル１１４を用いて当該歯牙の種類を識別する識別処理を実行する。識別処理において、撮像支援装置１００は、三次元データに加えてプロファイルデータに基づき、推定モデル１１４を用いて当該歯牙の種類を識別する。
　撮像支援装置１００は、識別処理によって識別した歯牙の種類の識別結果と、学習処理に用いた学習用データに対応する正解データとの誤差に基づき、推定モデル１１４のパラメータ１１４４を更新する。
　たとえば、撮像支援装置１００は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定する。撮像支援装置１００は、学習用データに含まれる当該特定の歯牙に対応する色情報（正解データ）と、自身が推定した色情報とを比較し、一致すれば推定モデル１１４のパラメータ１１４４を維持する一方で、不正解であれば両者が一致するように推定モデル１１４のパラメータ１１４４を更新する。
　あるいは、撮像支援装置１００は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定し、色分類データ１１８に基づき当該色情報に対応する歯牙の種類や歯牙の番号（正解データ）を特定する。撮像支援装置１００は、学習用データに含まれる当該特定の歯牙に対応する色情報に割り当てられた歯牙の種類や歯牙の番号（正解データ）と、自身が推定した歯牙の種類や歯牙の番号とを比較し、一致すれば推定モデル１１４のパラメータ１１４４を維持する一方で、不正解であれば両者が一致するように推定モデル１１４のパラメータ１１４４を更新する。
　このように、撮像支援装置１００は、学習用データに含まれる三次元データに関連付けられた歯牙の種類に対応する歯牙情報（色情報、歯牙の名称、または歯牙の番号など）を正解データとして、識別処理による当該三次元データを用いた当該歯牙の種類の識別結果に基づき、推定モデル１１４を学習することで、学習済モデル１１４ａを生成することができる。
　さらに、撮像支援装置１００は、学習処理において、学習用データに加えてプロファイルデータを考慮して推定モデル１１４を学習するため、対象者２のプロファイルを考慮した学習済モデル１１４ａを生成することができる。
　［サーバ装置の学習処理］
　サーバ装置５００が実行する学習処理について説明する。当該学習処理は、サーバ装置５００の演算装置５３０がＯＳ５２７および学習用プログラム５２１を実行することで実現される。
　サーバ装置５００は、学習用データセットの中から、学習に用いる学習用データを選択する。ここで、学習用データは、サーバ装置５００によって蓄積して記憶されたビッグデータを利用して生成されたものであってもよい。たとえば、サーバ装置５００は、各ローカルＡ～Ｃの撮像支援装置１００および歯科技工所から取得したスキャン情報に含まれる三次元データを利用して学習用データを生成しておき、生成した当該学習用データを用いて学習処理を実行してもよい。なお、サーバ装置５００は、学習用データを自動で選択するものに限らず、ユーザ１が選択した学習用データを学習処理に用いてもよい。
　サーバ装置５００は、選択した学習用データに含まれる三次元データ（位置情報）、および当該学習用データを生成する際にスキャン対象となった対象者２のプロファイルデータを推定モデル５１４に入力する。このとき、サーバ装置５００には、三次元データにラベリングされた正解データは入力されない。サーバ装置５００は、三次元データに対応する歯牙の特徴に基づき、推定モデル５１４を用いて当該歯牙の種類を識別する識別処理を実行する。識別処理において、サーバ装置５００は、三次元データに加えてプロファイルデータに基づき、推定モデル５１４を用いて当該歯牙の種類を識別する。
　サーバ装置５００は、識別処理によって識別した歯牙の種類の識別結果と、学習に用いた学習用データに対応する正解データとの誤差に基づき、推定モデル５１４のパラメータを更新する。
　たとえば、サーバ装置５００は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定する。サーバ装置５００は、学習用データセットに含まれる当該特定の歯牙に対応する色情報（正解データ）と、自身が推定した色情報とを比較し、一致すれば推定モデル５１４のパラメータを維持する一方で、不正解であれば両者が一致するように推定モデル５１４のパラメータを更新する。
　あるいは、サーバ装置５００は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定し、色分類データ５１８に基づき当該色情報に対応する歯牙の種類や歯牙の番号（正解データ）を特定する。サーバ装置５００は、学習用データセットに含まれる当該特定の歯牙に対応する色情報に割り当てられた歯牙の種類や歯牙の番号（正解データ）と、自身が推定した歯牙の種類や歯牙の番号とを比較し、一致すれば推定モデル５１４のパラメータを維持する一方で、不正解であれば両者が一致するように推定モデル５１４のパラメータを更新する。
　サーバ装置５００は、全ての学習用データに基づき学習した場合、学習済みの推定モデル５１４を学習済モデル５１４ａとして記憶するとともに、サーバ装置５００は、生成した学習済モデル５１４ａを各ローカルの撮像支援装置１００に送信することができる。
　このように、サーバ装置５００は、学習用データに含まれる三次元データに関連付けられた歯牙の種類に対応する歯牙情報（色情報，歯牙の名称，歯牙の番号）を正解データとして、識別処理による当該三次元データを用いた当該歯牙の種類の識別結果に基づき、推定モデル５１４を学習することで、学習済モデル５１４ａを生成することができる。
　また、サーバ装置５００は、学習処理において、学習用データに加えてプロファイルデータを考慮して推定モデル５１４を学習するため、対象者２のプロファイルを考慮した学習済モデル５１４ａを生成することができる。
　さらに、サーバ装置５００は、学習処理に用いる学習用データとして、各ローカルＡ～Ｃの撮像支援装置１００および歯科技工所から取得したスキャン情報に含まれる三次元データを利用しているため、撮像支援装置１００ごとに実行される学習処理よりも、より多くの学習用データに基づいて学習処理を実行することができ、より精度良く歯牙の種類を識別することができる学習済モデル５１４ａを生成することができる。
　［撮像支援装置１００の支援処理］
　次に、撮像支援装置１００が実行する支援処理についてフローチャートに基づいて説明する。図９は、本実施の形態１に係る撮像支援装置が実行する支援処理の一例を説明するためのフローチャートである。図９に示す各ステップは、撮像支援装置１００の演算装置１３０がＯＳ１２７および特定用プログラム１２０ａを実行することで実現される。
　図９に示すように、撮像支援装置１００は、支援処理Ｉの開始条件が成立したか否かを判定する（Ｓ４０）。開始条件は、たとえば、三次元スキャナ２００の電源を立ち上げたときに成立してもよいし、三次元スキャナ２００の電源を立ち上げた後に支援処理Ｉに対応するモードに切り替えられたときに成立してもよい。あるいは、開始条件は、支援処理Ｉに対応するアイコン（たとえば、アシストアイコン）が操作されてアイコンが点滅状態になった後に開始スイッチが操作されたときに成立してもよい。また、開始条件は、一定量の三次元データが取得されたときに成立してもよいし、歯列弓全体を撮像したタイミングに成立してもよい。開始条件は、三次元スキャナ２００に対して何らかのアクションが行われたときに成立するものであればよい。
　撮像支援装置１００は、開始条件が成立していない場合（Ｓ４０でＮＯ）、本処理を終了する。一方、撮像支援装置１００は、開始条件が成立した場合（Ｓ４０でＹＥＳ）、三次元データを取得しているか否かを判定する（Ｓ４１）。たとえば、撮像支援装置１００は、支援処理Ｉを実行するのに十分な量の三次元データが入力されたか否かを判定する。撮像支援装置１００は、十分な量の三次元データが入力されていない場合（Ｓ４１でＮＯ）、Ｓ４１の処理を繰り返す。
　一方、撮像支援装置１００は、十分な量の三次元データが入力された場合（Ｓ４１でＹＥＳ）、歯牙の種類を識別する処理を行う（Ｓ４２）。撮像支援装置１００は、学習済モデル１１４ａを用いて入力された三次元データから歯牙の種類を識別する。
　撮像支援装置１００が実行する歯牙の種類を識別する処理についてさらに説明する。図１０は、本実施の形態１に係る撮像支援装置１００が実行する歯牙の種類を識別する処理の一例を説明するためのフローチャートである。図１０に示す各ステップは、撮像支援装置１００の演算装置１３０がＯＳ１２７および識別用プログラム１２０を実行することで実現される。まず、ユーザ１によって対象者２のプロファイルデータが入力されたか否かを判定する（Ｓ４２０）。プロファイルデータが入力されていない場合（Ｓ４２０でＮＯ）、三次元データ（位置情報）を学習済モデル１１４ａに入力する（Ｓ４２１）。一方、撮像支援装置１００は、プロファイルデータが入力された場合（Ｓ４２０でＹＥＳ）、三次元データ（位置情報）およびプロファイルデータを学習済モデル１１４ａに入力する（Ｓ４２２）。なお、このとき使用する学習済モデルは、撮像支援装置１００によって生成された学習済モデル１１４ａに限らず、サーバ装置５００によって生成された学習済モデル５１４ａであってもよい。
　Ｓ４２１およびＳ４２２の後、撮像支援装置１００は、三次元データに対応する歯牙の特徴に基づき、学習済モデル１１４ａを用いて当該歯牙の種類を識別する識別処理を実行する（Ｓ４２３）。このとき、Ｓ４２２でプロファイルデータが学習済モデル１１４ａに入力されていた場合、撮像支援装置１００は、三次元データに加えてプロファイルデータに基づき、学習済モデル１１４ａを用いて当該歯牙の種類を識別する。この場合、三次元データのみに基づき学習済モデル１１４ａを用いて歯牙の種類を識別するよりも、より精度良く歯牙の種類を識別することができる。
　図９に戻って、撮像支援装置１００は、Ｓ４２で歯牙の種類を識別する処理を行った後、取得した三次元データにおいて不足する三次元データの有無を判定する（Ｓ４３）。たとえば、撮像支援装置１００は、取得した三次元データが予め定めたデータ量を超えていない部分があるか否かを判定する。不足する三次元データがある場合（Ｓ４３でＹＥＳ）、撮像支援装置１００は、Ｓ４２によって識別された歯牙の種類に基づいて、三次元データが不足する部分の歯牙の種類を特定し、特定結果をディスプレイ３００、およびスピーカ４００などに出力し（Ｓ４４）、本処理を終了する。なお、不足する三次元データがない場合（Ｓ４３でＮＯ）、撮像支援装置１００は、本処理を終了する。
　このように、撮像支援装置１００は、取得した三次元データにおいてデータ量が不足している歯牙の種類を特定することで、再スキャン（再測定）する歯牙の種類をユーザ１に提供することができる。なお、撮像支援装置１００は、入力された三次元データに対応する歯牙の特徴に基づき、学習済モデル１１４ａを用いて当該歯牙の種類を識別するため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができ、再スキャンする歯牙の種類の情報を精度良く特定しユーザ１に提供することができる。
　さらに、撮像支援装置１００は、識別処理において、入力された三次元データに加えてプロファイルデータを考慮して歯牙の種類を識別するため、より精度良く歯牙の種類を識別することができる。
　撮像支援装置１００は、歯列弓全体を撮像したタイミングで、取得した三次元データのうち予め定めたデータ量を超えていない（所定基準を満たしていない）不足部分の歯牙の種類を特定してディスプレイ３００へ出力することを前提に説明した。しかし、これに限られず、歯列弓の１／２、１／３、２／３、１／５、２／５、３／５および４／５近傍のいずれかの画像を形成することができる所定範囲を撮像したタイミングで、撮像支援装置１００は、当該不足部分の歯牙の種類を特定してディスプレイ３００へ出力してもよい。もちろん、撮像支援装置１００は、所定の数の歯牙を撮像したタイミングや所定の時間ごとのタイミングで、特定部１１５０で特定された歯牙の種類の情報（例えば、不足部分）を外部へ出力してもよい。
　支援処理Ｉでは、三次元データから得られる情報が予め定めたデータ量を超えていない不足部分の歯牙の種類を特定して支援情報として出力する処理について説明した。しかし、これに限られず、撮像支援装置１００は、歯牙の種類を特定してユーザ１に支援情報として提供する他の支援処理を実行することが可能である。たとえば、別の一例として、停止前に撮像していた歯牙の種類を特定し所定時間内に撮像を開始する場合に特定した情報をユーザ１に支援情報として提供する支援処理ＩＩについて説明する。図１１は、本実施の形態１に係る撮像支援装置が実行する支援処理の別の一例を説明するためのフローチャートである。図１１に示す各ステップは、撮像支援装置１００の演算装置１３０がＯＳ１２７および特定用プログラム１２０ａを実行することで実現される。
　図１１に示すように、撮像支援装置１００は、支援処理ＩＩの開始条件が成立したか否かを判定する（Ｓ４０ａ）。開始条件は、たとえば、三次元スキャナ２００の電源を立ち上げたときに成立してもよいし、三次元スキャナ２００の電源を立ち上げた後に支援処理ＩＩに対応するモードに切り替えられたときに成立してもよい。あるいは、開始条件は、支援処理ＩＩに対応するアイコン（たとえば、アシストアイコン）が操作されてアイコンが点滅状態になった後に開始スイッチが操作されたときに成立してもよい。開始条件は、三次元スキャナ２００に対して何らかのアクションが行われたときに成立するものであればよい。
　撮像支援装置１００は、開始条件が成立していない場合（Ｓ４０ａでＮＯ）、本処理を終了する。一方、撮像支援装置１００は、開始条件が成立した場合（Ｓ４０ａでＹＥＳ）、三次元データを取得する（Ｓ４１ａ）。撮像支援装置１００は、十分な量の三次元データが入力された場合、歯牙の種類を識別する処理を行う（Ｓ４２）。撮像支援装置１００は、図１０に示す処理で、学習済モデル１１４ａを用いて入力された三次元データから歯牙の種類を識別する。
　撮像支援装置１００は、三次元スキャナ２００による歯牙のスキャンを停止したか否かを判定する（Ｓ４３ａ）。ここで、スキャンが停止したと判定されるタイミングとして、撮像支援装置１００が撮像停止信号を受信したタイミングであっても、入力部１１０２が所定時間以上、歯牙画像を受信しないタイミングであってもよい。
　スキャンを停止したと判定した場合（Ｓ４３ａでＹＥＳ）、撮像支援装置１００は、三次元スキャナ２００による歯牙のスキャンが所定時間内（たとえば、スキャンを停止してから３分以内）に開始されたか否かを判定する（Ｓ４４ａ）。スキャンが所定時間内に開始された場合（Ｓ４４ａでＹＥＳ）、撮像支援装置１００は、Ｓ４２によって識別された歯牙の種類に基づいて、停止前にスキャンしていた歯牙の種類を特定し、特定結果をユーザ１に通知する（Ｓ４５ａ）。たとえば、撮像支援装置１００は、ディスプレイ３００、およびスピーカ４００などに特定結果を出力することで、特定結果をユーザ１に通知する。そのため、ユーザ１は、停止前にスキャンしていた歯牙の種類に基づいて、適切な位置から三次元スキャナ２００による歯牙のスキャンを開始することができる。なお、ユーザ１に通知する特定結果には、停止前にスキャンしていた歯牙の種類の情報、その歯牙と隣接する歯牙の種類の情報、およびその両方の情報を含んでいてもよい。
　撮像支援装置１００は、停止前にスキャンしていた歯牙の種類を通知した後、処理をＳ４１ａに戻す。スキャンが所定時間内に開始されない場合（Ｓ４４ａでＮＯ）、撮像支援装置１００は、停止前にスキャンしていた歯牙の種類を外部に出力（Ｓ４６ａ）して、本処理を終了する。
　なお、スキャンを停止していないと判定した場合（Ｓ４３ａでＮＯ）、撮像支援装置１００は、三次元スキャナ２００による歯牙のスキャンが終了したか否かを判定する（Ｓ４７ａ）。歯牙のスキャンが終了していない場合（Ｓ４７ａでＮＯ）、撮像支援装置１００は、処理をＳ４１ａに戻す。歯牙のスキャンが終了した場合（Ｓ４７ａでＹＥＳ）、撮像支援装置１００は、本処理を終了する。
　さらに別の一例として、複数の三次元画像（三次元データ）を繋ぎ合わせる時に歯牙の種類を特定してユーザ１に支援情報として提供する支援処理ＩＩＩについて説明する。図１２は、本実施の形態１に係る撮像支援装置が実行する支援処理のさらに別の一例を説明するためのフローチャートである。図１２に示す各ステップは、撮像支援装置１００の演算装置１３０がＯＳ１２７および特定用プログラム１２０ａを実行することで実現される。
　図１２に示すように、撮像支援装置１００は、支援処理ＩＩＩの開始条件が成立したか否かを判定する（Ｓ４０ｂ）。開始条件は、たとえば、三次元スキャナ２００の電源を立ち上げたときに成立してもよいし、三次元スキャナ２００の電源を立ち上げた後に支援処理ＩＩＩに対応するモードに切り替えられたときに成立してもよい。あるいは、開始条件は、支援処理ＩＩＩに対応するアイコン（たとえば、アシストアイコン）が操作されてアイコンが点滅状態になった後に開始スイッチが操作されたときに成立してもよい。開始条件は、三次元スキャナ２００に対して何らかのアクションが行われたときに成立するものであればよい。
　撮像支援装置１００は、開始条件が成立していない場合（Ｓ４０ｂでＮＯ）、本処理を終了する。一方、撮像支援装置１００は、開始条件が成立した場合（Ｓ４０ｂでＹＥＳ）、複数部分の三次元データを取得する（Ｓ４１ｂ）。たとえば、撮像支援装置１００は、歯列弓をスキャンする場合に、歯列弓を１／３の部分ずつに分けて、それぞれスキャンした三次元データを３つ取得する。撮像支援装置１００は、複数部分の三次元データがそれぞれ入力された場合、それぞれの三次元データに対して歯牙の種類を識別する処理を行う（Ｓ４２）。撮像支援装置１００は、図１０に示す処理で、学習済モデル１１４ａを用いて入力された複数部分の三次元データから歯牙の種類を識別する。
　撮像支援装置１００は、複数部分の三次元データのうち、一の部分と他の部分とに重複する歯牙の種類があるか否かを判定する（Ｓ４３ｂ）。一の部分と他の部分とに重複する歯牙の種類がある場合（Ｓ４３ｂでＹＥＳ）、撮像支援装置１００は、重複する歯牙の種類を基準に一の部分の三次元データと他の部分の三次元データとを繋ぎ合わせる処理を行う（Ｓ４４ｂ）。たとえば、撮像支援装置１００は、上顎右側の第３大臼歯から第１小臼歯までをスキャンした部分（一の部分）と、上顎右側の第１小臼歯から中切歯までをスキャンした部分（他の部分）との三次元データを取得した場合、一の部分の第１小臼歯と他の部分の第１小臼歯とが重複していると判定する。撮像支援装置１００は、重複する歯牙の種類があるので、第１小臼歯を基準に一の部分の三次元データと他の部分の三次元データとを繋ぎ合わせて一つの三次元データにする。
　撮像支援装置１００は、複数部分の三次元データのうち、繋ぎ合わせ未処理の部分があるか否かを判定する（Ｓ４５ｂ）。繋ぎ合わせ未処理の部分がある場合（Ｓ４５ｂでＹＥＳ）、撮像支援装置１００は、処理をＳ４３ｂに戻す。繋ぎ合わせ未処理の部分がない場合（Ｓ４５ｂでＮＯ）、または一の部分と他の部分とに重複する歯牙の種類がない場合（Ｓ４３ｂでＮＯ）、撮像支援装置１００は、本処理を終了する。
　撮像支援装置１００は、歯列弓を複数回に分けてスキャンを行い、複数部分の三次元データを取得した場合であっても、上記の支援処理ＩＩＩを行うことで、１つの三次元データに繋ぎ合わせることが容易になる。仮に、上記の支援処理ＩＩＩを行わずにユーザ１が複数部分の三次元データを繋ぎ合わせる場合、それぞれの三次元データから歯牙の種類を目視で判断して、それぞれの三次元データを繋ぎ合わせる作業が必要となり作業が煩雑となる。
　上記の支援処理Ｉ～支援処理ＩＩＩについては、撮像支援装置１００において、それぞれ個別に処理を実行することが可能であるが、複数の処理を組み合わせて実行してもよい。たとえば、撮像支援装置１００は、支援処理Ｉと支援処理ＩＩとを組み合わせて実行し、スキャンによりデータ量が不足している歯牙の種類を特定しつつ、停止が行われた場合には停止前の歯牙の種類を特定するようにしてもよい。この場合、たとえば、停止後にスキャンを所定時間内に開始する場合、撮像支援装置１００は、データ量が不足している歯牙の種類を優先して通知し、データ量が不足している歯牙の種類が再スキャンされたときに、停止前にスキャンしていた歯牙の種類を通知する。もちろん、撮像支援装置１００は、通知を逆にしてもよい。
　以上のように、本実施の形態１に係る撮像支援装置１００は、口腔内の歯牙の撮像を支援する撮像支援装置である。撮像支援装置１００は、入力部１１０２と、識別部１１３０と、特定部１１５０と、出力部１１０３とを備える。入力部１１０２は、口腔内の歯牙を撮像した歯牙画像を入力する。識別部１１３０は、入力部１１０２によって入力された歯牙画像に基づき、歯牙の種類を識別する。特定部１１５０は、識別部１１３０によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定する。出力部１１０３は、所定タイミングにおいて、特定部１１５０で特定された歯牙の種類の情報を外部へ出力する。
　これにより、撮像支援装置１００は、識別部１１３０によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定するので、口腔内のどの歯牙と対応しているのかが容易に認識できる撮像支援の情報をユーザ１に出力することができる。
　特定部１１５０は、ユーザ１が撮像を行う必要のある歯牙の種類を特定し、出力部１１０３は、ユーザ１が撮像を行う前に特定部１１５０で特定された歯牙の種類の情報を外部へ出力する。
　これにより、撮像支援装置１００は、ユーザ１が次に撮像を行う歯牙を認識させることが容易にできる。
　特定部１１５０は、ユーザ１が撮像を行う必要のある歯牙の種類として、歯牙画像から得られる情報が所定基準を満たしていない歯牙の種類を特定する。たとえば、三次元スキャナ２００で歯牙をスキャンする場合、歯牙画像から得られる三次元データにおいて予め定めたデータ量を超えていない部分の歯牙の種類を、識別部１１３０によって識別された歯牙の種類に基づいて特定する。
　これにより、撮像支援装置１００は、データ量が不足している歯牙の種類をユーザ１に認識させて、再度撮像を行うことを促すことができる。
　特定部１１５０は、ユーザ１が撮像を行う必要のある歯牙の種類として、撮像が停止されたタイミングで撮像していた歯牙の種類を特定し、出力部１１０３は、ユーザ１により撮像が開始されるタイミングの前に特定部１１５０で特定された歯牙の種類および特定された歯牙と隣接する歯牙の種類のうち少なくとも一方の情報を外部へ出力する。
　これにより、撮像支援装置１００は、撮像を停止した後に撮像を所定時間内に開始する場合に、どの歯牙の種類から撮像を開始するのかをユーザ１に認識させて、効率的な撮像を行うことが可能となる。
　出力部１１０３は、停止されたタイミングから開始されるタイミングまでの所定時間において入力部１１０２に新たな歯牙画像が入力されない場合に、特定された歯牙の種類の情報を外部へ出力してもよい。
　これにより、撮像支援装置１００は、撮像を停止したと判断されてから所定時間内に撮像を開始されなければ、ユーザ１が撮像作業をやり直したり他の患者の撮影に移行したりする可能性が高くなるので、停止されたタイミングで特定していた歯牙の種類の情報を外部に出力して、支援処理ＩＩの機能を発揮しないようにすることができる。
　出力部１１０３は、所定範囲の歯列弓を撮像したタイミングに、特定部１１５０で特定された歯牙の種類の情報を外部へ出力する。所定範囲は、歯列弓の１／２、１／３、２／３、１／５、２／５、３／５および４／５近傍のいずれかの画像を形成することができる範囲である。また、出力部１１０３は、所定の数の歯牙を撮像したタイミングで、特定部で特定された歯牙の種類の情報を外部へ出力する。
　これにより、撮像支援装置１００は、ある所定範囲の歯列弓を撮像したタイミング、または所定の数の歯牙を撮像したタイミングで、特定された歯牙の種類（たとえば、データ量が不足している歯牙の種類）がユーザ１に通知されるので煩わしさが軽減される。
　入力部１１０２は、三次元スキャナ２００から歯列弓の三次元画像に対応する三次元データが入力され、特定部１１５０は、入力部１１０２から入力された三次元データのうち不足している情報がある歯牙の種類を特定する。
　これにより、撮像支援装置１００は、データ量が不足している歯牙の種類をユーザ１が容易に認識することができ、再測定する歯牙の種類の情報を精度良くユーザ１に提供することができる。
　特定部１１５０は、複数の歯牙画像の間で重複している歯牙の種類を繋ぎ合せに用いる歯牙の種類として特定する。
　これにより、撮像支援装置１００は、複数の歯牙の画像を繋ぎ合わせることが容易になる。
　識別部１１３０は、入力部１１０２から入力された歯牙画像に対応する歯牙の特徴に基づき、ニューラルネットワークを含む推定モデル１１４を用いて当該歯牙の種類を識別し、推定モデル１１４は、歯牙画像に関連付けられた歯牙の種類に対応する歯牙情報と、歯牙画像を用いた当該歯牙の種類の識別結果とに基づき学習される。
　これにより、ユーザ１は、歯牙を含む三次元データを、ニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）に入力することで、当該歯牙の種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。
　入力部１１０２には、複数の歯牙を含む歯牙画像が入力され、識別部１１３０は、歯牙画像に対応する複数の歯牙のそれぞれの特徴に基づき、当該複数の歯牙のそれぞれの種類を識別する。
　これにより、ユーザ１は、複数の歯牙を含む歯牙画像を、ニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）に入力することで、当該複数の歯牙のそれぞれの種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を１つ１つ識別するよりも、精度良くかつスムーズに歯牙の種類を識別することができる。さらに、ユーザ１は、隣接する歯牙の形状との関係も考慮してニューラルネットワーク１１４２を含む推定モデル１１４によって歯牙の特徴を抽出させることができるため、精度良く歯牙の種類を識別することができる。
　歯牙画像は、歯牙の各点における三次元の位置情報を含む。
　これにより、ユーザ１は、三次元データに対応する歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を、ニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）に入力することで、当該歯牙の種類を識別することができる。
　推定モデル１１４は、歯牙情報および識別部１１３０による識別結果に加えて、歯牙を有する対象者に関する属性情報に基づき、学習される。
　これにより、ユーザ１は、学習用データに加えて対象者２に関する属性情報に基づいて推定モデル１１４を学習させることができるため、対象者２の属性情報を考慮した学習済モデルを生成することができる。
　前記属性情報は、前記対象者の年齢、性別、人種、身長、体重、および居住地のうちの少なくともいずれか１つの情報を含む。
　これにより、ユーザ１は、学習用データに加えて、対象者の年齢、性別、人種、身長、体重、および居住地のうちの少なくともいずれか１つに基づいて推定モデル１１４を学習させることができるため、これら対象者２のプロファイルを考慮した学習済モデル１１４ａを生成することができる。
　歯牙の形状情報を取得するスキャナシステム１０であって、三次元カメラを用いて歯牙を撮像する三次元スキャナ２００と、三次元スキャナ２００によって取得された三次元の歯牙画像に基づき当該歯牙の種類を識別し、認識した歯牙の種類を報知する撮像支援装置１００とを備えている。撮像支援装置１００は、口腔内の歯牙を撮像した歯牙画像を入力する入力部１１０２と、入力部１１０２によって入力された歯牙画像に基づき、歯牙の種類を識別する識別部１１３０と、識別部１１３０によって識別された歯牙の種類に基づいて、撮像対象となる歯牙の種類を特定する特定部１１５０と、所定タイミングにおいて、特定部１１５０で特定された歯牙の種類の情報を外部へ出力する出力部１１０３とを含む。
　これにより、スキャナシステム１０は、識別部１１３０によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定するので、口腔内のどの歯牙と対応しているのかが容易に認識できる撮像支援の情報をユーザ１に出力することができる。
　口腔内の歯牙の撮像を支援する撮像支援方法であって、口腔内の歯牙を撮像した歯牙画像を入力するステップと、入力された歯牙画像に基づき、歯牙の種類を識別するステップと、識別された歯牙の種類に基づいて、撮像対象となる歯牙の種類を特定するステップと、所定タイミングにおいて、特定された歯牙の種類の情報を外部へ出力するステップとを含む。
　これにより、撮像支援方法は、識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定するので、口腔内のどの歯牙と対応しているのかが容易に認識できる撮像支援の情報をユーザ１に出力することができる。
　（実施の形態２）
　実施の形態１に係る撮像支援装置１００では、ＡＩを利用して、三次元スキャナ２００によって取得された三次元データに基づき歯牙の種類を自動的に識別して撮像支援の対象となる歯牙の種類を特定する処理を実行するように構成されていると説明した。しかし、これに限られず、撮像支援装置１００では、ＡＩを利用しないで、三次元スキャナ２００によって取得された三次元データに基づき歯牙の種類を自動的に識別して撮像支援の対象となる歯牙の種類を特定する処理を実行するように構成してもよい。たとえば、三次元スキャナ２００によって取得された三次元画像をパターンマッチングにより歯牙の種類を自動的に識別して撮像支援の対象となる歯牙の種類を特定する処理を実行するように構成することが考えられる。
　本実施の形態２に係る撮像支援装置が実行する歯牙の種類を識別する処理について説明する。図１３は、本実施の形態２に係る撮像支援装置が実行する歯牙の種類を識別する処理の一例を説明するためのフローチャートである。なお、本実施の形態２に係る撮像支援装置は、推定モデル１１４を利用しない以外は図３、図５などで説明した撮像支援装置１００と同じ構成であり、詳細な説明は繰り返さない。また、図１３に示す各ステップは、撮像支援装置の演算装置１３０がＯＳ１２７および識別用プログラム１２０を実行することで実現される。
　まず、撮像支援装置は、ストレージなどに予め記憶されているパターンデータを読込む（Ｓ４２０ａ）。たとえば、図８で示したような識別対象となる歯牙の画像がストレージに記憶されており、撮像支援装置は、当該ストレージからパターンマッチングに用いる画像をパターンデータとして読込む。
　撮像支援装置は、三次元スキャナ２００によって取得された三次元画像と、ストレージから読込んだパターンデータとを比較し、一致する形状があるか否かを判定する（Ｓ４２１ａ）。たとえば、撮像支援装置は、三次元スキャナ２００によって取得された三次元画像と、ストレージから読込んだパターンデータとの正規化相関を演算して形状が一致している否かを判定している。
　一致する形状がない場合（Ｓ４２１ａでＮＯ）、撮像支援装置は、ストレージなどに予め記憶されているパターンデータの全てのパターンデータを読込み済みか否かを判定する（Ｓ４２２ａ）。全てのパターンデータを読込み済みでない場合（Ｓ４２２ａでＮＯ）、撮像支援装置は、処理をＳ４２０ａに戻し、別のパターンデータを読込む（Ｓ４２０ａ）。
　一致する形状がある場合（Ｓ４２１ａでＹＥＳ）、撮像支援装置は、一致したパターンデータから取得された三次元画像の歯牙の種類を識別する（Ｓ４２３ａ）。たとえば、撮像支援装置は、三次元スキャナ２００によって取得された三次元画像が、上顎右側の第３大臼歯のパターンデータと形状が一致した場合、取得された三次元画像の歯牙の種類が上顎右側の第３大臼歯であると識別する。
　全てのパターンデータを読込み済みの場合（Ｓ４２２ａでＹＥＳ）、一致したパターンデータから歯牙の種類を識別した場合（Ｓ４２３ａ）、撮像支援装置は、本処理を終了する。なお、図１３に示す歯牙の種類を識別する処理は、図９に示す支援処理Ｉ、図１１に示す支援処理ＩＩ、および図１２に示す支援処理ＩＩＩに含まれる歯牙の種類を識別する処理（Ｓ４２）に適用することが可能である。
　以上のように、本実施の形態２に係る撮像支援装置は、口腔内の歯牙の撮像を支援する撮像支援装置である。撮像支援装置は、入力部と、識別部と、特定部と、出力部とを備える。入力部は、口腔内の歯牙を撮像した歯牙画像を入力する。識別部は、入力部によって入力された歯牙画像に基づき、たとえば、ＡＩを用いずにパターンマッチングにより歯牙の種類を識別する。特定部は、識別部によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定する。出力部は、所定タイミングにおいて、特定部で特定された歯牙の種類の情報を外部へ出力する。
　これにより、撮像支援装置は、識別部によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定するので、口腔内のどの歯牙と対応しているのかが容易に認識できる撮像支援の情報をユーザ１に出力することができる。
　（変形例）
　（ａ）本実施の形態１～２では、撮像支援装置が、口腔内の歯の三次元形状を取得するための三次元スキャナ（口腔内スキャナ）を支援すると説明した。しかし、当該撮像支援装置が支援する撮像装置は、口腔用の三次元スキャナに限定されるものではなく、同様の構成を有する撮像装置について適用することができる。例えば、口腔内以外に人の耳の内部を撮像して、外耳内の三次元形状を取得することができる三次元スキャナにも適用できる。また、顎・歯列模型の三次元形状を取得できるデスクトップスキャナにも適用できる。
　なお、本実施の形態１～２に係る三次元スキャナでは、合焦法の技術を用いて三次元形状を取得する構成以外に、共焦点法、三角測量法、白色干渉法、ステレオ法、フォトグラメトリ法、ＳＬＡＭ法（Simultaneous　Localization　and　Mapping）、光干渉断層法（Optical　Coherence　Tomography:　OCT）などの技術を用いて三次元形状を取得する構成でもよい。
　（ｂ）本実施の形態１～２では、撮像支援装置が支援する撮像装置として、例えば、口腔内カメラ、光干渉断層診断装置（Optical　Coherence　Tomography:　OCT）、紫外・赤外・テラヘルツイメージング装置、蛍光イメージング装置などの撮像装置も含まれる。
　（ｃ）本実施の形態１～２では、撮像支援装置と三次元スキャナとを接続したスキャナシステムについて説明した。しかし、撮像支援装置は、これに限定されるものではなく、三次元スキャナに撮像支援装置を搭載した構成でも、撮像支援装置がネットワークを介して三次元スキャナに接続された構成でもよい。さらに、撮像支援装置は、複数の三次元スキャナがネットワーク介して接続されるようなクラウドサービスの形態で提供することも可能である。
　（ｄ）本実施の形態１～２では、撮像支援装置が、取得した三次元データにおいてデータ量が不足している歯牙の種類を特定し、再スキャン（再測定）する歯牙の種類をユーザに支援情報として提供することを説明した。さらに、撮像支援装置は、データ量が不足する歯牙の種類をユーザに通知して再スキャンが行われた場合に、たとえば、ユーザが頬側と舌側とを間違ってスキャンしたケースでは、その間違いをさらに特定して再通知するようにしてもよい。具体的に、撮像支援装置は、三次元スキャナに設けたモーションセンサからの値に基づいて、通知した内容からあるべき三次元スキャナの傾きとは異なるか否かを判定し、間違っている場合に再通知を行う。
　（ｅ）本実施の形態１～２では、撮像支援装置が、取得した三次元データにおいてデータ量が不足している歯牙の種類を特定することで、再スキャン（再測定）する歯牙の種類をユーザに支援情報として提供することを説明した。データ量が不足している歯牙は１つである場合に限られず、複数である場合も考えられる。データ量が不足している歯牙が複数の場合、撮像支援装置は、たとえば不足しているデータ量が多い順に歯牙の種類を通知する。このように、データ量の不足が多い歯牙の種類から順に通知することで、三次元データ全体として利用価値が高いデータとすることができる。
　（ｆ）本実施の形態１～２では、撮像支援装置が、取得した三次元データにおいてデータ量が不足している歯牙の種類を特定してユーザに通知することを説明した。しかし、これに限られず、撮像支援装置は、取得した三次元データにおいてデータが重複している歯牙をユーザが三次元スキャナでスキャンしようとした場合に、重複している旨を通知することが考えられる。たとえば、犬歯の三次元データが十分に取得されている場合に、ユーザが犬歯を無駄に三次元スキャナでスキャンしていると、撮像支援装置が、「犬歯のスキャンは不要（十分）です」と通知する。これにより、撮像支援装置は、三次元スキャナのメモリに無駄なデータを記憶させることを抑え、記憶容量の確保、演算の遅延を回避が可能となる。
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１　ユーザ、２　対象者、５　ネットワーク、１０　スキャナシステム、１００　撮像支援装置、１０２　スキャナインターフェース、１０３，５０３　ディスプレイインターフェース、１０４　スピーカインターフェース、１０５，５０５　周辺機器インターフェース、１０６，５０６　ネットワークコントローラ、１０７，５０７　メディア読取装置、１０８　ＰＣディスプレイ、１０９，５０９　メモリ、１１０，５１０　ストレージ、１１２，５１２　スキャン情報、１１４，５１４　推定モデル、１１４ａ，５１４ａ　学習済モデル、１１６，５１６　学習用データセット、１１８，５１８　色分類データ、１１９，５１９　プロファイルデータ、１２０　識別用プログラム、１２０ａ　特定用プログラム、１２１，５２１　学習用プログラム、１２２，５２２　三次元データ、１２４，５２４　識別結果、１２７，５２７　ＯＳ、１３０，５３０　演算装置、２００　三次元スキャナ、３００，３５０　ディスプレイ、４００　スピーカ、５００　サーバ装置、５５０　リムーバブルディスク、６０１，６５１　キーボード、６０２，６５２　マウス、１１０２　入力部、１１０３　出力部、１１１９　プロファイル取得部、１１３０　識別部、１１４２　ニューラルネットワーク、１１４４　パラメータ、１１５０　特定部。

Claims (19)

  1. 　口腔内の歯牙の撮像を支援する撮像支援装置であって、
    　前記口腔内の歯牙を撮像した歯牙画像を入力する入力部と、
    　前記入力部によって入力された歯牙画像に基づき、歯牙の種類を識別する識別部と、
    　前記識別部によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定する特定部と、
    　所定タイミングにおいて、前記特定部で特定された歯牙の種類の情報を外部へ出力する出力部とを備える、撮像支援装置。
  2. 　前記特定部は、使用者が撮像を行う必要のある歯牙の種類を特定し、
    　前記出力部は、前記使用者が撮像を行う前に前記特定部で特定された歯牙の種類の情報を外部へ出力する、請求項１に記載の撮像支援装置。
  3. 　前記特定部は、前記使用者が撮像を行う必要のある歯牙の種類として、歯牙画像から得られる情報が所定基準を満たしていない歯牙の種類を特定する、請求項２に記載の撮像支援装置。
  4. 　前記特定部は、前記使用者が撮像を行う必要のある歯牙の種類として、撮像が停止されたタイミングで撮像していた歯牙の種類を特定し、
    　前記出力部は、前記使用者により撮像が開始されるタイミングの前に前記特定部で特定された歯牙の種類および特定された歯牙と隣接する歯牙の種類のうち少なくとも一方の情報を外部へ出力する、請求項１～請求項３のいずれか１項に記載の撮像支援装置。
  5. 　前記停止されたタイミングとは、前記撮像支援装置が撮像停止信号を受信したタイミングである、請求項４に記載の撮像支援装置。
  6. 　前記出力部は、前記停止されたタイミングから前記開始されるタイミングまでの所定時間において前記入力部に新たな歯牙画像が入力されない場合に、特定された歯牙の種類の情報を外部へ出力する、請求項４に記載の撮像支援装置。
  7. 　前記口腔内を走査して撮像した複数の歯牙画像を繋ぎ合せて歯列弓の画像を形成するスキャン装置を支援する、請求項１～請求項６のいずれか１項に記載の撮像支援装置。
  8. 　前記出力部は、所定範囲の前記歯列弓を撮像したタイミングに、前記特定部で特定された歯牙の種類の情報を外部へ出力する、請求項７に記載の撮像支援装置。
  9. 　前記所定範囲は、前記歯列弓の１／２、１／３、２／３、１／５、２／５、３／５および４／５近傍のいずれかの画像を形成することができる範囲である、請求項８に記載の撮像支援装置。
  10. 　前記出力部は、所定の数の前記歯牙を撮像したタイミングで、前記特定部で特定された歯牙の種類の情報を外部へ出力する、請求項７に記載の撮像支援装置。
  11. 　前記入力部は、前記スキャン装置から前記歯列弓の三次元画像に対応する三次元データが入力され、
    　前記特定部は、前記入力部から入力された前記三次元データのうち不足している情報がある歯牙の種類を特定する、請求項７～請求項１０のいずれか１項に記載の撮像支援装置。
  12. 　前記特定部は、複数の歯牙画像の間で重複している歯牙の種類を繋ぎ合せに用いる歯牙の種類として特定する、請求項７～請求項１０のいずれか１項に記載の撮像支援装置。
  13. 　前記識別部は、前記入力部から入力された歯牙画像に対応する歯牙の特徴に基づき、ニューラルネットワークを含む推定モデルを用いて当該歯牙の種類を識別し、
    　前記推定モデルは、歯牙画像に関連付けられた歯牙の種類に対応する歯牙情報と、歯牙画像を用いた当該歯牙の種類の識別結果とに基づき学習される、請求項１～請求項１２のいずれか１項に記載の撮像支援装置。
  14. 　前記入力部には、複数の歯牙を含む歯牙画像が入力され、
    　前記識別部は、歯牙画像に対応する複数の歯牙のそれぞれの特徴に基づき、当該複数の歯牙のそれぞれの種類を識別する、請求項１３に記載の撮像支援装置。
  15. 　歯牙画像は、歯牙の各点における三次元の位置情報を含む、請求項１３または請求項１４に記載の撮像支援装置。
  16. 　前記推定モデルは、前記歯牙情報および前記識別部による識別結果に加えて、歯牙を有する対象者に関する属性情報に基づき、学習される、請求項１３～請求項１５のいずれか１項に記載の撮像支援装置。
  17. 　前記属性情報は、前記対象者の年齢、性別、人種、身長、体重、および居住地のうちの少なくともいずれか１つの情報を含む、請求項１６に記載の撮像支援装置。
  18. 　歯牙の形状情報を取得するスキャナシステムであって、
    　三次元カメラを用いて歯牙を撮像する三次元スキャナと、
    　前記三次元スキャナによって取得された三次元の歯牙画像に基づき当該歯牙の種類を識別し、認識した歯牙の種類を報知する撮像支援装置とを備え、
    　前記撮像支援装置は、
    　口腔内の歯牙を撮像した歯牙画像を入力する入力部と、
    　前記入力部によって入力された歯牙画像に基づき、歯牙の種類を識別する識別部と、
    　前記識別部によって識別された歯牙の種類に基づいて、撮像対象となる歯牙の種類を特定する特定部と、
    　所定タイミングにおいて、前記特定部で特定された歯牙の種類の情報を外部へ出力する出力部とを含む、スキャナシステム。
  19. 　口腔内の歯牙の撮像を支援する撮像支援方法であって、
    　前記口腔内の歯牙を撮像した歯牙画像を入力するステップと、
    　入力された歯牙画像に基づき、歯牙の種類を識別するステップと、
    　識別された歯牙の種類に基づいて、撮像対象となる歯牙の種類を特定するステップと、
    　所定タイミングにおいて、特定された歯牙の種類の情報を外部へ出力するステップとを含む、撮像支援方法。
PCT/JP2020/000034 2019-01-08 2020-01-06 撮像支援装置、スキャナシステム、および撮像支援方法 WO2020145225A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/421,235 US20220117480A1 (en) 2019-01-08 2020-01-06 Imaging support device, scanner system, and imaging support method
EP20738722.6A EP3909546A4 (en) 2019-01-08 2020-01-06 IMAGE CAPTURE SUPPORT DEVICE, SCANNER SYSTEM AND IMAGE CAPTURE SUPPORT METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019001021A JP7220569B2 (ja) 2019-01-08 2019-01-08 撮像支援装置、スキャナシステム、および撮像支援方法
JP2019-001021 2019-01-08

Publications (1)

Publication Number Publication Date
WO2020145225A1 true WO2020145225A1 (ja) 2020-07-16

Family

ID=71521209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/000034 WO2020145225A1 (ja) 2019-01-08 2020-01-06 撮像支援装置、スキャナシステム、および撮像支援方法

Country Status (4)

Country Link
US (1) US20220117480A1 (ja)
EP (1) EP3909546A4 (ja)
JP (1) JP7220569B2 (ja)
WO (1) WO2020145225A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI712396B (zh) * 2020-01-16 2020-12-11 中國醫藥大學 口腔缺陷模型之修補方法及口腔缺陷模型之修補系統
US20210321872A1 (en) * 2020-04-15 2021-10-21 Align Technology, Inc. Smart scanning for intraoral scanners
EP4111952A4 (en) * 2021-02-17 2024-03-27 Iclo. Ltd TOOTH ANALYSIS SERVER, TOOTH ANALYSIS TERMINAL AND TOOTH ANALYSIS PROGRAM
US11423697B1 (en) * 2021-08-12 2022-08-23 Sdc U.S. Smilepay Spv Machine learning architecture for imaging protocol detector
JP7414210B2 (ja) 2021-10-08 2024-01-16 朝日レントゲン工業株式会社 歯牙年齢算定装置及び歯牙年齢算定プログラム
JP7469351B2 (ja) * 2022-03-25 2024-04-16 株式会社モリタ製作所 識別装置、識別方法、および識別プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009517144A (ja) * 2005-11-30 2009-04-30 ３シェイプ アー／エス 歯の修復物の製作のための印象スキャニング
JP2009523552A (ja) * 2006-01-20 2009-06-25 スリーエム イノベイティブ プロパティズ カンパニー 三次元データ取得の視覚化
JP2012245064A (ja) * 2011-05-25 2012-12-13 Olympus Corp 歯牙観察装置、歯牙観察方法および歯牙観察プログラム
WO2017111116A1 (ja) * 2015-12-24 2017-06-29 株式会社モリタ製作所 三次元計測方法及び三次元計測装置
JP2017521113A (ja) 2014-05-07 2017-08-03 アライン テクノロジー， インコーポレイテッド 口内走査中の関心領域の識別
JP2017213060A (ja) * 2016-05-30 2017-12-07 富士通株式会社 歯の種類判定プログラム、歯冠位置判定装置及びその方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011212234A (ja) 2010-03-31 2011-10-27 Olympus Corp 歯科画像処理装置、歯科用測色装置、歯科画像処理方法および歯科画像処理プログラム
EP3269325A4 (en) 2015-03-09 2018-06-06 Fujitsu Limited Crown information acquisition program, information processing device, and crown information acquisition method
US10695150B2 (en) * 2016-12-16 2020-06-30 Align Technology, Inc. Augmented reality enhancements for intraoral scanning
CN110612069A (zh) 2017-03-17 2019-12-24 特罗菲公司 动态牙弓图
JP6650996B1 (ja) * 2018-12-17 2020-02-19 株式会社モリタ製作所 識別装置、スキャナシステム、識別方法、および識別用プログラム
JP6936826B2 (ja) * 2019-03-18 2021-09-22 株式会社モリタ製作所 画像処理装置、表示システム、画像処理方法、および画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009517144A (ja) * 2005-11-30 2009-04-30 ３シェイプ アー／エス 歯の修復物の製作のための印象スキャニング
JP2009523552A (ja) * 2006-01-20 2009-06-25 スリーエム イノベイティブ プロパティズ カンパニー 三次元データ取得の視覚化
JP2012245064A (ja) * 2011-05-25 2012-12-13 Olympus Corp 歯牙観察装置、歯牙観察方法および歯牙観察プログラム
JP2017521113A (ja) 2014-05-07 2017-08-03 アライン テクノロジー， インコーポレイテッド 口内走査中の関心領域の識別
WO2017111116A1 (ja) * 2015-12-24 2017-06-29 株式会社モリタ製作所 三次元計測方法及び三次元計測装置
JP2017213060A (ja) * 2016-05-30 2017-12-07 富士通株式会社 歯の種類判定プログラム、歯冠位置判定装置及びその方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3909546A4

Also Published As

Publication number Publication date
EP3909546A4 (en) 2022-09-21
JP2020110215A (ja) 2020-07-27
EP3909546A1 (en) 2021-11-17
US20220117480A1 (en) 2022-04-21
JP7220569B2 (ja) 2023-02-10

Similar Documents

Publication Publication Date Title
WO2020145225A1 (ja) 撮像支援装置、スキャナシステム、および撮像支援方法
US12002271B2 (en) Identification device, scanner system, and identification method
AU2021204816B2 (en) Identification of areas of interest during intraoral scans
KR102267197B1 (ko) 디지털 치아 영상에 치아 진료 데이터를 기록 및 표시하는 방법 및 장치
US20160008116A1 (en) Method and system for bite registration
JP6936826B2 (ja) 画像処理装置、表示システム、画像処理方法、および画像処理プログラム
WO2023141533A1 (en) Photo-based dental appliance and attachment assessment
JP2020096798A (ja) 識別装置、歯牙種類識別システム、識別方法、および識別用プログラム
JP2020096800A (ja) 識別装置、歯牙種類識別システム、識別方法、および識別用プログラム
JP7324735B2 (ja) 識別装置、スキャナシステム、識別方法、および識別用プログラム
JP7227188B2 (ja) 識別装置、識別システム、識別方法、および識別用プログラム
JP7265359B2 (ja) データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム
JP6831431B2 (ja) 識別装置、歯牙種類識別システム、識別方法、および識別用プログラム
JP2020096799A (ja) 識別装置、歯牙種類識別システム、識別方法、および識別用プログラム
JP7195291B2 (ja) データ処理装置、データ処理システム、データ処理方法、およびデータ処理用プログラム
JP7267974B2 (ja) 識別装置、スキャナシステム、識別方法、および識別用プログラム
JP2022127947A (ja) 口腔内カメラシステム及び歯牙列モデル生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20738722

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020738722

Country of ref document: EP

Effective date: 20210809