WO2019239529A1 - プログラム，情報処理装置及び情報処理方法 - Google Patents

プログラム，情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2019239529A1
WO2019239529A1 PCT/JP2018/022620 JP2018022620W WO2019239529A1 WO 2019239529 A1 WO2019239529 A1 WO 2019239529A1 JP 2018022620 W JP2018022620 W JP 2018022620W WO 2019239529 A1 WO2019239529 A1 WO 2019239529A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
teeth
images
state
tooth
Prior art date
Application number
PCT/JP2018/022620
Other languages
English (en)
French (fr)
Inventor
崇 熊谷
匡 藤岡
爾 木暮
片山　和彦
雄二 出来
史林 青木
文之 武久
嗣雅 山本
渉 大浦
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2020525015A priority Critical patent/JP6996625B2/ja
Priority to PCT/JP2018/022620 priority patent/WO2019239529A1/ja
Publication of WO2019239529A1 publication Critical patent/WO2019239529A1/ja
Priority to US17/114,806 priority patent/US20210090255A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Definitions

  • the present invention relates to a program, an information processing apparatus, and an information processing method.
  • AI diagnosis based on X-ray images and Computed Tomography (CT) images has been performed.
  • CT Computed Tomography
  • AI diagnosis for example, a large amount of images of specific organs are used as learning targets, and what kind of image features appear is the target organ is normal (or has a disease). This is done.
  • the state of the tooth can be diagnosed.
  • the X-ray image of the tooth is used as a learning target, and what kind of image features appear is learned as to whether the target tooth is normal (or abnormal).
  • JP 2012-150801 A International Publication No. 2015/141760 JP 2017-035173 A
  • the position of each tooth is identified (in other words, “normalized”) so that the teeth at the same position can be identified for any patient, and the state of the target tooth is associated with the image. Learning data is prepared.
  • the technique described in this specification aims to efficiently generate learning data for automatic diagnosis of oral cavity conditions.
  • the program acquires a plurality of N or less images including a plurality of adjacent teeth on a computer, and displays N images that can be displayed in association with the tooth arrangement.
  • the plurality of images are arranged and displayed in each of the corresponding image display areas, and a selection area for selecting the presence / absence of an image in association with each of the N image display areas, and the N images
  • a plurality of input areas for inputting information indicating the state of each tooth included in each of the images displayed in each of the image display areas, and the selection corresponding to each of the N image display areas
  • a plurality of positions can identify the state of the teeth, and generates the learning information associated with said plurality of teeth of each state of each of the plurality of teeth images, to execute the process.
  • FIG. 3 is a block diagram schematically illustrating a functional configuration example of an information processing apparatus and a terminal illustrated in FIG. 2. It is a figure which shows the 1st example of a screen display in the terminal shown in FIG. It is a figure which shows the 2nd example of a screen display in the terminal shown in FIG. It is a figure which shows the structural example of the preservation
  • FIG. 3 It is a figure which shows the structural example of the non-input image data in the terminal shown in FIG. It is a figure which shows the structural example of all the image data preserve
  • FIG. 1 is a block diagram schematically illustrating a configuration example of an information processing system 100 according to the embodiment.
  • the information processing system 100 includes an information processing apparatus 1 and a plurality (four in the illustrated example) of terminals 2.
  • the information processing apparatus 1 and the plurality of terminals 2 are connected via a network 3 so that they can communicate with each other.
  • the information processing apparatus 1 is a computer having a server function, and provides a dental X-ray image evaluation tool to a plurality of terminals 2.
  • the plurality of terminals 2 are arranged, for example, in a dental clinic or a hospital.
  • the plurality of terminals 2 accept input of various information from dentists and dental hygienists (also referred to as “users”), and display various information for the dentists and dental hygienists.
  • FIG. 2 is a block diagram schematically showing a hardware configuration example of the information processing apparatus 1 and the terminal 2 shown in FIG.
  • the information processing apparatus 1 includes a central processing unit (CPU) 11, a memory 12, a display control unit 13, a storage device 14, an input interface (I / F) 15, a read / write processing unit 16, and a communication I / F 17.
  • the terminal 2 includes a CPU 21, a memory 12, a display control unit 13, a storage device 14, an input I / F 15, a read / write processing unit 16, and a communication I / F 17.
  • the memory 12 is, for example, a storage device including a Read Only Memory (ROM) and a Random Access Memory (RAM).
  • a program such as Basic ⁇ ⁇ ⁇ Input / Output System (BIOS) may be written in the ROM of the memory 12.
  • BIOS Basic ⁇ ⁇ ⁇ Input / Output System
  • the software program in the memory 12 may be appropriately read and executed by the CPU 11 or 21.
  • the RAM of the memory 12 may be used as a primary recording memory or a working memory.
  • the display control unit 13 is connected to the display device 130 and controls the display device 130.
  • the display device 130 is a liquid crystal display, an Organic Light-Emitting Diode (OLED) display, a Cathode Ray Tube (CRT), an electronic paper display, or the like, and displays various information for an operator or the like.
  • the display device 130 may be combined with an input device, for example, a touch panel.
  • an input screen 200 for the evaluation result of dental X-ray images which will be described later with reference to FIGS. 4 and 5, is displayed.
  • the storage device 14 is, for example, a device that stores data in a readable / writable manner, and for example, Hard Disk Drive (HDD), Solid State Drive (SSD), and Storage Class Memory (SCM) may be used.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • SCM Storage Class Memory
  • the input I / F 15 is connected to input devices such as the mouse 151 and the keyboard 152, and controls the input devices such as the mouse 151 and the keyboard 152.
  • the mouse 151 and the keyboard 152 are examples of input devices, and an operator performs various input operations via these input devices.
  • the read / write processing unit 16 is configured so that the recording medium 160 can be mounted.
  • the read / write processing unit 16 is configured to be able to read information recorded on the recording medium 160 when the recording medium 160 is mounted.
  • the recording medium 160 has portability.
  • the recording medium 160 is a flexible disk, an optical disk, a magnetic disk, a magneto-optical disk, a semiconductor memory, or the like.
  • the communication I / F 17 is an interface for enabling communication with an external device.
  • the information processing device 1 is communicably connected to a plurality of terminals 2 via the communication I / F 17.
  • Each terminal 2 is connected to the information processing apparatus 1 via the communication I / F 17 so as to be communicable.
  • the CPUs 11 and 21 are processing devices that perform various controls and calculations, and realize various functions by executing an Operating System (OS) and programs stored in the memory 12.
  • OS Operating System
  • the CPU 11 exemplarily controls the operation of the entire information processing apparatus 1, and the CPU 21 exemplarily controls the entire terminal 2.
  • An apparatus for controlling the operations of the information processing apparatus 1 and the terminal 2 as a whole is not limited to the CPUs 11 and 21, and may be any one of an MPU, a DSP, an ASIC, a PLD, and an FPGA, for example.
  • the device for controlling the operations of the information processing device 1 and the terminal 2 as a whole may be a combination of two or more of CPU, MPU, DSP, ASIC, PLD, and FPGA.
  • MPU is an abbreviation for Micro Processing Unit
  • DSP is an abbreviation for Digital Signal Processor
  • ASIC is an abbreviation for Application Specific Integrated Circuit
  • PLD is an abbreviation for Programmable Logic Device
  • FPGA is an abbreviation for Field Programmable Gate Array.
  • (1) in FIG. 3 is a block diagram schematically showing an example of a functional configuration of the information processing apparatus 1 shown in FIG.
  • (2) of FIG. 3 is a block diagram schematically showing a functional configuration example of the terminal 2 shown in FIG.
  • the information processing apparatus 1 has a function as the processing unit 10. As illustrated in (1) of FIG. 3, the processing unit 10 functions as an acquisition processing unit 111, a first display processing unit 112, a second display processing unit 113, an input processing unit 114, and a generation processing unit 115.
  • the terminal 2 has a function as the processing unit 20. As illustrated in (2) of FIG. 3, the processing unit 20 functions as a terminal display processing unit 221 and a storage processing unit 222.
  • the program is provided in a form recorded on the recording medium 160 described above, for example. Then, the computer reads the program from the recording medium 160 via the read / write processing unit 16, transfers it to the internal storage device or the external storage device, and uses it.
  • the program may be recorded in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to the computer via a communication path.
  • a program stored in the storage device is executed by the microprocessor of the computer.
  • the computer may read and execute the program recorded on the recording medium 160.
  • the internal storage device is the memory 12, and the microprocessor is the CPU 11 or 21.
  • the terminal display processing unit 221 shown in (2) of FIG. 3 displays a dental X-ray image evaluation result input screen 200, which will be described later with reference to FIGS. 4 and 5, based on an instruction from the information processing apparatus 1. 130 is displayed.
  • the storage processing unit 222 shown in (2) of FIG. 3 stores storage data, temporary storage data, non-input image data, all image data, and patient-specific image data, which will be described later with reference to FIGS. Store in device 14.
  • the acquisition processing unit 111 illustrated in (1) of FIG. 3 receives registration of a plurality of X-ray images from the terminal 2. In other words, the acquisition processing unit 111 acquires a plurality of N or less images including a plurality of adjacent teeth. N is a natural number of 3 or more.
  • the first display processing unit 112 shown in (1) of FIG. 3 displays a plurality of X-ray images received by the acquisition processing unit 111 on the input screen 200 of the terminal 2 (described later with reference to FIGS. 4 and 5). Display.
  • the first display processing unit 112 displays a plurality of images in N image display areas 213 (which will be described later with reference to FIGS. 4 and 5) in which a plurality of images can be displayed in association with the tooth arrangement. Are arranged and displayed in the corresponding image display areas 213 respectively.
  • the second display processing unit 113 shown in (1) of FIG. 3 displays a selection region 205 for selecting the presence / absence of X-ray image registration and the state of each tooth, as will be described later with reference to FIGS. 4 and 5.
  • a plurality of input areas 206 for inputting information to be displayed are displayed on the input screen 200 of the terminal 2.
  • the second display processing unit 113 associates each of the N image display areas 213 with each of the selection area 205 for selecting presence / absence of an image and each of the N image display areas 213.
  • a plurality of input areas 206 for inputting information indicating the state of each tooth included in the displayed image are displayed.
  • the input processing unit 114 receives at least one of the selection contents in the selection area 205 and the input contents in the plurality of input areas 206 corresponding to each of the N image display areas 213.
  • the generation processing unit 115 illustrated in (1) of FIG. 3 generates learning data based on the selection content in the selection region 205, the input content in the input region 206, and the X-ray image. In other words, the generation processing unit 115 can identify the positions of the plurality of teeth and the plurality of teeth based on the received selection contents, the input contents, and the registered plurality of images. Learning information is generated by associating each tooth image.
  • the generation processing unit 115 generates a learning model related to the characteristics regarding the state of each tooth according to each of a plurality of teeth by deep learning (Deep Learning) using the generated learning information. Further, the input processing unit 114 uses the generated learning model to generate information indicating a state for each of a plurality of teeth included in the new image. And the 2nd display process part 113 outputs the information which shows a state with respect to each of several teeth contained in a new image.
  • the learning model is generated by, for example, cutting a plurality of teeth included in a plurality of X-ray images one by one including the alveolar bone, and associating the cut tooth image, the tooth position, and the tooth evaluation result. Good.
  • the extraction of the X-ray image may be automatically performed by learning the X-ray image manually extracted.
  • FIG. 4 is a diagram showing a first screen display example in the terminal 2 shown in FIG.
  • the input screen 200 of the evaluation result of the dental X-ray image is illustratively an input person selection area 201, a patient ID display area 202, an anonymized patient ID display area 203, a plurality of tooth number display areas 204, and a plurality of X-ray image presence / absence selections.
  • An area 205 and a plurality of evaluation result input areas 206 are included.
  • the input screen 200 includes a batch input button 207, a cancel button 208, a temporary save button 209, an automatic input button 210, a save button 211, a tool end button 212, and an image display area group 213, for example.
  • ID is an abbreviation for identifier.
  • the names of dentists and dental hygienists who input evaluation results are selected by a pull-down method. Thereby, when an incorrect evaluation result is input, it is possible to specify a user who has made an incorrect input.
  • the evaluation result input by the dentist or dental hygienist may be approved only by the dentist. Further, when the names of dentists and dental hygienists are selected, input of authentication information such as an ID and a password may be requested.
  • the patient ID display area 202 displays a patient ID for uniquely identifying each patient in the dental clinic or hospital where the terminal 2 is installed.
  • the patient ID is held only in the corresponding terminal 2 and may not be held in the information processing apparatus 1.
  • the anonymized patient ID display area 203 displays an anonymized patient ID obtained by converting the patient ID in order to anonymize and handle the X-ray image and evaluation result of each patient in the information processing system 100.
  • Various algorithms may be used for conversion from patient ID to anonymized patient ID.
  • the tooth number display area 204 the tooth number shown in the corresponding X-ray image is displayed.
  • the upper left 8th image, upper right 7th, upper right 6th, and upper right 5th tooth are copied in the upper left first image (see reference numeral H1) of the image display area group 213 in order from the left side.
  • H1 the upper left first image
  • the tooth number display area 204 displayed on the upper side of the first upper left image in the image display area group 213, 8, 7, 6, and 5 are displayed in order from the left side.
  • the upper left second image (see symbol H3) of the image display area group 213 is displayed in order from the left, the upper right seventh, the upper right sixth, the upper right fifth, and the upper right fourth tooth. Is shown. Therefore, in the tooth number display area 204 (see reference numeral H4) displayed on the upper side of the second upper left image in the image display area group 213, 7, 6, 5, and 4 are displayed in order from the left side. .
  • the X-ray image presence / absence selection area 205 validity or invalidity of the corresponding X-ray image is selected by clicking.
  • the X-ray image presence / absence selection area 205 may be simply referred to as a selection area 205.
  • the input evaluation result When an evaluation result is input in the evaluation result input area 206 when a certain X-ray image is set invalid in the selection area 205, the input evaluation result may be kept without being deleted. .
  • the corresponding tooth evaluation result is input by the user.
  • the evaluation result input area 206 may be simply referred to as the input area 206.
  • the evaluation result is displayed by G, Q, H, X, N, and I, for example.
  • G indicates a tooth that is in a good state and is unlikely to be removed within a predetermined period (for example, within 10 years)
  • Q indicates a tooth for which it is difficult to determine whether or not it will be removed within a predetermined period
  • H Indicates a tooth that is likely to be removed within a predetermined period.
  • X represents a missing tooth
  • N represents a tooth that cannot be determined because it is partially or unclear in the X-ray image
  • I represents an implant tooth.
  • the evaluation result displayed in the input area 206 may be switched by clicking the corresponding number in the tooth number display area 204. For example, each time the corresponding number in the tooth number display area 204 is left-clicked, the number is changed in the order of G, Q, H, X, N, and I. Each time the corresponding number in the tooth number display area 204 is right-clicked, I , N, X, H, Q, G.
  • the evaluation result displayed in the input area 206 may be input by the G, Q, H, X, N, and I keys on the keyboard 152 of the terminal 2.
  • the evaluation result displayed in the input area 206 may be input in lower case letters, it may be automatically converted to upper case letters.
  • the evaluation result displayed in the input area 206 may be input by causing an arbitrary numeric key or the like on the keyboard 152 of the terminal 2 to function as a shortcut key.
  • the input processing unit 114 When the evaluation result is input from the keyboard 152 of the terminal 2, the input processing unit 114 automatically moves the input cursor displayed in each box in the input area 206 to the next box. Then, the input processing unit 114 moves the input cursor in a “U” shape (in other words, “a shape in which U is turned to the left”) in each input area 206 of the input screen 200.
  • the input processing unit 114 corresponds to the direction from the maxillary right back tooth to the maxillary left back tooth when the information indicating the state of each tooth is input to the plurality of input areas 206 in the order of teeth arrangement.
  • the input cursor displayed in each input area 206 is moved. Thereafter, the input processing unit 114 moves the input cursor displayed in each input area 206 corresponding to the direction from the lower left jaw to the lower jaw right in the order of teeth arrangement.
  • the input processing unit 114 determines the mismatch when the information indicating the state of some overlapping teeth input in each input region corresponding to the two images is mismatched. Notice. Further, the input processing unit 114 cannot determine the state of the tooth based on any of the information indicating the state of some overlapping teeth input in each input area 206 corresponding to the two images. If this is the case, the notification of mismatch is suppressed.
  • the collective input button 207 When the collective input button 207 is clicked, the evaluation result preset by the user is input to all the input areas 206, or the input value is cleared. Further, the collective input button 207 may be clicked to invalidate X-ray images preset by the user.
  • the collective input button 207 includes buttons “I” to “V” and “C”.
  • the evaluation result “G” may be input to all the input areas 206 by clicking the “I” button. Further, for example, a part of the X-ray image may be invalidated by clicking the “II” button. Furthermore, for example, when the “C” button is clicked, the evaluation results input in all the input areas 206 may be cleared.
  • the cancel button 208 When the cancel button 208 is clicked, the evaluation results input in all the input areas 206 and the X-ray images displayed in the image display area group 213 may be cleared.
  • the cancel button 208 as shown in the figure, the “F1” key on the keyboard 152 of the terminal 2 may be set as a shortcut key.
  • the temporary storage button 209 When the temporary storage button 209 is clicked, the input evaluation result is stored in association with the tooth number. As shown in the figure, the “F5” key on the keyboard 152 of the terminal 2 may be set as a shortcut key in the temporary save button 209. A configuration example of temporarily stored data will be described later with reference to FIG.
  • the automatic input button 210 When the automatic input button 210 is clicked, an evaluation result is automatically input to each input area 206 based on past learning data.
  • the “F8” key on the keyboard 152 of the terminal 2 may be set as a shortcut key for the automatic input button 210.
  • the input processing unit 114 uses the generated learning model to state each tooth for a plurality of input regions 206.
  • the information indicating is automatically entered.
  • the evaluation results in all the input areas 206 are saved in association with the tooth numbers.
  • the “F12” key on the keyboard 152 of the terminal 2 may be set as a shortcut key for the save button 211.
  • a configuration example of the saved data will be described later with reference to FIG.
  • a popup that asks the user whether the evaluation results in the input area 206 that have not been input can be set to “G” at once.
  • a window may be displayed.
  • the tool end button 212 When the tool end button 212 is clicked, the input screen 200 is displayed and the dental X-ray image evaluation tool is ended.
  • a plurality of X-ray images are displayed.
  • up to 16 X-ray images are displayed.
  • the two X-ray images indicated by symbols H5 and H6 are auxiliary images for observing the meshing of the upper and lower teeth.
  • the dental X-ray image evaluation tool When the dental X-ray image evaluation tool is started, no X-ray image is displayed in the image display area group 213. For example, by clicking the image display area group 213, an X-ray image of an arbitrary patient can be selected. Good.
  • the image display region group 213 is clicked after the X-ray image is selected, the X-ray image of the next patient may be selectable.
  • the X-ray image of the next patient may be selectable by dragging and dropping an X-ray image data icon onto the image display area group 213.
  • the generation processing unit 115 may calculate an evaluation value of a tooth for each patient (in other words, “oral cavity”). In this case, the teeth of the evaluation results H, X, and I are not evaluated, and the teeth of the evaluation results G and Q indicating that the teeth are healthy teeth or have room for improvement are evaluated. May be.
  • ag indicates the number of teeth as a standard indicating the evaluation result G
  • aq indicates the number of teeth as a standard indicating the evaluation result Q
  • xg indicates the number of teeth to be evaluated indicating the evaluation result G
  • Xq indicates the number of teeth to be evaluated, which indicates the evaluation result Q.
  • w is a weighting value of the number of teeth indicating the evaluation result Q with respect to the number of teeth indicating the evaluation result G, and is an arbitrary value not less than 0 and less than 1.
  • FIG. 5 is a diagram showing a second screen display example in the terminal 2 shown in FIG.
  • the display of the X-ray image is set to non-display in the selection area 205 indicated by reference numerals I1 to I8.
  • the input area 206 and the X-ray image corresponding to the selection area 205 indicated by the symbols I1 to I8 are not displayed.
  • the selection content of the selection area 205 may be retained. That is, when the next patient's X-ray image is selected in the state shown in FIG. 5, the display of the X-ray image continues to be set to non-display in the selection region 205 indicated by reference numerals I1 to I8.
  • the input processing unit 114 holds the selection contents of the plurality of images in the selection area 205 for the plurality of different images.
  • FIG. 6 is a diagram showing a configuration example of stored data in the terminal 2 shown in FIG. Specifically, (1) in FIG. 6 shows a list of saved data files, (2) in FIG. 6 shows display contents saved on the input screen 200, and (3) in FIG. 6 shows Comma-Separated. Indicates the contents of saved data in Values (CSV) format.
  • CSV Values
  • the evaluation result of each tooth is registered in association with other values in the first line.
  • the second and third lines are extended areas, and for example, information on the degree of plaque adhesion and the periodontal pocket depth in each tooth may be registered.
  • “01” indicated by the symbol A3 of the file name in (1) of FIG. 6 and the symbol C3 of the content of the stored data in (3) of FIG. 6 is an input area 206 indicated by symbol B2 in (2) of FIG. Indicates the position.
  • the position of the input area 206 is 01, 02, 03, 04, 05, 06, 07 in order from the upper left to the upper right of the input screen 200, and 08, 09 in order from the lower left to the lower right of the input screen 200. , 10, 11, 12, 13, and 14.
  • Information such as patient age, gender, smoking history, etc. may be registered in the stored data.
  • FIG. 7 is a diagram showing a configuration example of temporarily stored data in the terminal 2 shown in FIG. Specifically, (1) in FIG. 7 shows a list of temporarily saved data files, and (2) in FIG. 7 shows the contents of temporarily saved data in CSV format.
  • the temporarily stored data shown in (2) of FIG. 7 is displayed by selecting the file indicated by reference numeral D1 in (1) of FIG. As indicated by reference numeral D2 in (2) of FIG. 7, all input evaluation results are registered together as temporarily saved data.
  • FIG. 8 is a diagram showing a configuration example of uninput image data in the terminal 2 shown in FIG. Specifically, (1) in FIG. 8 shows a list of image storage folders, and (2) in FIG. 8 shows a preview image of uninput image data.
  • FIG. 9 is a diagram showing a configuration example of all stored image data in the terminal 2 shown in FIG. Specifically, (1) in FIG. 9 shows a list of image storage folders, and (2) in FIG. 9 shows a preview image of saved image data.
  • FIG. 10 is a diagram showing a configuration example of the stored patient-specific image data in the terminal 2 shown in FIG. Specifically, (1) in FIG. 10 shows a list of image storage folders, and (2) in FIG. 10 shows a list of folders in which stored image data is stored.
  • the acquisition processing unit 111 registers a plurality of X-ray images as X-ray images to be evaluated in response to a request from the terminal 2 (Step S1).
  • the first display processing unit 112 displays the registered X-ray image on the input screen 200 in the terminal 2 (step S2).
  • the second display processing unit 113 displays the selection area 205 and the input area 206 on the input screen 200 in the terminal 2 (step S3).
  • the input processing unit 114 receives an input from the user for the selection area 205 or the input area 206 (step S4). Details of the processing in step S4 will be described later with reference to FIG.
  • the input processing unit 114 determines whether an instruction to save the evaluation result has been generated by clicking the save button 211 (step S5).
  • step S5 If no save instruction has been issued (see No route in step S5), the process returns to step S4.
  • step S5 when the save instruction is generated (see the Yes route in step S5), the input processing unit 114 sets the variable k to 1 (step S6).
  • the input processing unit 114 determines whether or not the k-th target X-ray image is set to be valid in the selection area 205 (step S7).
  • step S7 When the target X-ray image is set to be valid (see Yes route in step S7), the input processing unit 114 accepts the input content in the input area 206 (step S8). Then, the process proceeds to step S10.
  • the input processing unit 114 receives selection content indicating invalidity of the X-ray image in the selection region 205 (Step S9).
  • the generation processing unit 115 generates learning information based on the input content in the input area 206 or the selection content in the selection area 205 (step S10).
  • the input processing unit 114 determines whether or not the number M of X-ray images for which the variable k is set to be valid has been reached (step S11).
  • step S11 If the variable k has not reached M (see No route in step S11), the input processing unit 114 increments the variable k by “1” (step S12). Then, the process returns to step S7.
  • step S4 the details of the input reception process (step S4) shown in FIG. 11 will be described according to the flowchart (steps S41 to S45) shown in FIG.
  • the input processing unit 114 determines whether an automatic input instruction has been generated when the automatic input button 210 is clicked (step S41).
  • step S45 If no automatic input instruction has occurred (see No route in step S41), the process proceeds to step S45.
  • step S42 the input processing unit 114 acquires a learning model.
  • the input processing unit 114 causes the terminal 2 to display the determination result in each input area 206 on the input screen 200 based on the acquired learning model (step S43).
  • the input processing unit 114 determines whether there is a correction input from the user for the automatically input determination result (step S44).
  • the input processing unit 114 causes the terminal 2 to display a manual determination result from the user on the input screen 200 (step S45). Then, the input reception process ends.
  • the acquisition processing unit 111 acquires a plurality of N or less images including a plurality of adjacent teeth.
  • the first display processing unit 112 displays a plurality of images in the corresponding image display regions 213 in N image display regions 213 that can display a plurality of images in association with the tooth arrangement.
  • the second display processing unit 113 associates each of the N image display areas 213 with an image displayed in each of the selection area 205 for selecting presence / absence of an image and the N image display areas 213.
  • a plurality of input areas 206 for inputting information indicating the state of each included tooth are displayed.
  • the input processing unit 114 accepts at least one of selection contents in the selection area 205 and input contents in the plurality of input areas 206 corresponding to each of the N image display areas 213.
  • the generation processing unit 115 is configured to identify the positions of the plurality of teeth and the images of the plurality of teeth based on the received selection contents, the input contents, and the registered plurality of images.
  • the learning information corresponding to is generated.
  • the generation processing unit 115 uses the generated learning information to generate a learning model related to features according to the state of each tooth by deep learning.
  • the input processing unit 114 uses the generated learning model to generate information indicating a state for each of a plurality of teeth included in the new image.
  • the 2nd display process part 113 outputs the information which shows a state with respect to each of several teeth contained in a new image.
  • the input processing unit 114 displays the information in each input area 206 corresponding to the direction from the upper right maxillary back tooth to the upper left maxillary back tooth in the order of teeth arrangement. Move the input cursor. Thereafter, the input processing unit 114 moves the input cursor displayed in each input area 206 corresponding to the direction from the lower left jaw to the lower jaw right in the order of teeth arrangement.
  • the input processing unit 114 notifies the mismatch when the information indicating the state of some overlapping teeth input in each input area corresponding to the two images does not match.
  • the input processing unit 114 indicates that any of the information indicating the state of some overlapping teeth input in each input area 206 corresponding to the two images cannot determine the state of the tooth. If indicated, suppress notifications.
  • an evaluation result “G” indicating, for example, good teeth is input in the input area 206 corresponding to one of the two images, and the image is unclear and cannot be evaluated in the input area 206 corresponding to the other image.
  • the alert can be suppressed when the evaluation result “N” indicating that is input.
  • the input processing unit 114 When the input processing unit 114 newly acquires a plurality of images different from the plurality of images, the input processing unit 114 holds the selection contents in the plurality of images in the selection area 205 for the plurality of different images.
  • the remaining positions of the teeth are determined by the first patient and the second patient.
  • evaluation results can be input efficiently. For example, since the residual probability of the back teeth is low in the elderly, the input operation can be efficiently performed when the evaluation results of a plurality of elderly people are sequentially input.
  • Information processing system 1 Information processing device 10, 20: Processing unit 11, 21: CPU 12: Memory 13: Display control unit 14: Storage device 15: Input I / F 16: Read / write processing unit 17: Communication I / F 111: acquisition processing unit 112: first display processing unit 113: second display processing unit 114: input processing unit 115: generation processing unit 130: display device 151: mouse 152: keyboard 160: recording medium 2: terminal 200: input screen 201: input person selection area 202: patient ID display area 203: anonymized patient ID display area 204: tooth number display area 205: X-ray image presence / absence selection area 206: evaluation result input area 207: collective input button 208: cancel button 209: Temporary save button 210: Automatic input button 211: Save button 212: Tool end button 213: Image display area group 221: Terminal display processing unit 222: Storage processing unit 3: Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Optics & Photonics (AREA)
  • Primary Health Care (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

コンピュータに、隣り合う複数の歯を含むＮ枚以下の複数の画像を取得し、複数の画像を歯の配列と対応付けて表示可能なＮ個の画像表示領域（２１３）において、複数の画像を、対応する画像表示領域（２１３）それぞれに、配列表示させ、Ｎ個の画像表示領域（２１３）のそれぞれに対応付けて、画像の有無を選択するための選択領域（２０５）と、Ｎ個の画像表示領域（２１３）のそれぞれに表示される画像に含まれる各歯の状態を示す情報を入力するための複数の入力領域（２０６）とを表示させ、Ｎ個の画像表示領域（２１３）のそれぞれに対応する、選択領域（２０５）における選択内容と、複数の入力領域（２０６）における入力内容との少なくとも一方を受け付け、受け付けた選択内容と入力内容と登録された複数の画像とに基づき、複数の歯の位置を識別可能な状態で、複数の歯の状態と複数の歯の画像とを対応させた学習用情報を生成する、処理を実行させる。

Description

プログラム，情報処理装置及び情報処理方法
　本発明は、プログラム，情報処理装置及び情報処理方法に関する。
　従来から、レントゲン画像やComputed Tomography（ＣＴ）画像に基づいたArtificial Intelligence（ＡＩ）診断が行なわれている。ＡＩ診断は、例えば、膨大な量の特定の臓器の画像を学習対象として、どのような画像的特徴が表れていれば対象の臓器は正常であるか（或いは、疾患があるか）を学習することにより、行なわれる。
　例えば、画像による診断を口腔画像（別言すれば、「歯のレントゲン画像」）に適用することで、歯の状態を診断することができる。この場合には、例えば、歯のレントゲン画像を学習対象として、どのような画像的特徴が表れていれば対象の歯が正常であるか（或いは、異常であるか）が学習される。
特開２０１２－１５０８０１号公報 国際公開第２０１５／１４１７６０号 特開２０１７－０３５１７３号公報
　歯は奥歯や前歯，上下の歯の別によって形状が異なるため、各歯の位置を識別した上で各歯の画像的特徴を学習することが想定される。
　従って、どの患者であっても同じ位置の歯が識別されるように各歯の位置を識別（別言すれば、「正規化」）した上で、対象の歯の状態と画像とを対応付けた学習データが準備される。
　しかしながら、歯科医師等の作業者が学習データの準備のために、歯の位置の識別子を入力しながら、歯の状態についてのラベル付けを行なうことは効率的ではない。
　１つの側面では、本明細書に記載する技術は、口腔の状態の自動診断のための学習用データを効率的に生成することを目的とする。
　１つの側面において、プログラムは、コンピュータに、互いに隣り合う複数の歯を含むＮ枚以下の複数の画像を取得し、前記複数の画像を歯の配列と対応付けて表示可能なＮ個の画像表示領域において、前記複数の画像を、対応する画像表示領域それぞれに、配列表示させ、前記Ｎ個の画像表示領域のそれぞれに対応付けて、画像の有無を選択するための選択領域と、前記Ｎ個の画像表示領域のそれぞれに表示される画像に含まれる各歯の状態を示す情報を入力するための複数の入力領域とを表示させ、前記Ｎ個の画像表示領域のそれぞれに対応する、前記選択領域における選択内容と、前記複数の入力領域における入力内容との少なくとも一方を受け付け、受け付けた前記選択内容と前記入力内容と登録された前記複数の画像とに基づき、前記複数の歯の位置を識別可能な状態で、前記複数の歯それぞれの状態と前記複数の歯それぞれの画像とを対応させた学習用情報を生成する、処理を実行させる。
　開示のプログラムによれば、口腔の状態の自動診断のための学習用データを効率的に生成することができる。
実施形態の情報処理システムの構成例を模式的に示すブロック図である。 図１に示した情報処理装置及び端末のハードウェア構成例を模式的に示すブロック図である。 図２に示した情報処理装置及び端末の機能構成例を模式的に示すブロック図である。 図２に示した端末における第１の画面表示例を示す図である。 図２に示した端末における第２の画面表示例を示す図である。 図２に示した端末における保存データの構成例を示す図である。 図２に示した端末における一時保存データの構成例を示す図である。 図２に示した端末における未入力画像データの構成例を示す図である。 図２に示した端末における保存済みの全画像データの構成例を示す図である。 図２に示した端末における保存済みの患者別画像データの構成例を示す図である。 図２に示した情報処理装置における学習情報の生成処理を説明するフローチャートである。 図１１に示した入力受付処理の詳細を説明するフローチャートである。
　以下、図面を参照して一実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。本実施形態は、その趣旨を逸脱しない範囲で種々変形して実施することができる。
　また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
　以下、図中において、同一の符号を付した部分は同様の部分を示している。
　〔Ａ〕実施形態の一例
　〔Ａ－１〕システム構成例
　図１は、実施形態の情報処理システム１００の構成例を模式的に示すブロック図である。
　情報処理システム１００は、情報処理装置１及び複数（図示する例では、４つ）の端末２を備える。情報処理装置１と複数の端末２とは、ネットワーク３を介して、互いに通信可能に接続される。
　情報処理装置１は、サーバ機能を備えたコンピュータであり、複数の端末２に対して歯科レントゲン画像の評価ツールを提供する。
　複数の端末２は、例えば、歯科医院や病院に配置される。複数の端末２は、歯科医師や歯科衛生士（「ユーザ」と称してもよい。）からの種々の情報の入力を受け付け、また、歯科医師や歯科衛生士に対する種々の情報を表示する。
　図２は、図１に示した情報処理装置１及び端末２のハードウェア構成例を模式的に示すブロック図である。
　情報処理装置１は、Central Processing Unit（ＣＰＵ）１１，メモリ１２，表示制御部１３，記憶装置１４，入力Interface（Ｉ／Ｆ）１５，読み書き処理部１６及び通信Ｉ／Ｆ１７を備える。また、端末２は、ＣＰＵ２１，メモリ１２，表示制御部１３，記憶装置１４，入力Ｉ／Ｆ１５，読み書き処理部１６及び通信Ｉ／Ｆ１７を備える。
　メモリ１２は、例示的に、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む記憶装置である。メモリ１２のＲＯＭには、Basic Input/Output System（ＢＩＯＳ）等のプログラムが書き込まれてよい。メモリ１２のソフトウェアプログラムは、ＣＰＵ１１又は２１に適宜に読み込まれて実行されてよい。また、メモリ１２のＲＡＭは、一次記録メモリあるいはワーキングメモリとして利用されてよい。
　表示制御部１３は、表示装置１３０と接続され、表示装置１３０を制御する。表示装置１３０は、液晶ディスプレイやOrganic Light-Emitting Diode（ＯＬＥＤ）ディスプレイ，Cathode Ray Tube（ＣＲＴ），電子ペーパーディスプレイ等であり、オペレータ等に対する各種情報を表示する。表示装置１３０は、入力装置と組み合わされたものでもよく、例えば、タッチパネルでもよい。端末２の表示装置１３０には、図４及び図５を用いて後述される歯科レントゲン画像の評価結果の入力画面２００が表示される。
　記憶装置１４は、例示的に、データを読み書き可能に記憶する装置であり、例えば、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ），Storage Class Memory（ＳＣＭ）が用いられてよい。
　入力Ｉ／Ｆ１５は、マウス１５１やキーボード１５２等の入力装置と接続され、マウス１５１やキーボード１５２等の入力装置を制御する。マウス１５１やキーボード１５２は、入力装置の一例であり、これらの入力装置を介して、オペレータが各種の入力操作を行なう。
　読み書き処理部１６は、記録媒体１６０が装着可能に構成される。読み書き処理部１６は、記録媒体１６０が装着された状態において、記録媒体１６０に記録されている情報を読み取り可能に構成される。本例では、記録媒体１６０は、可搬性を有する。例えば、記録媒体１６０は、フレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、又は、半導体メモリ等である。
　通信Ｉ／Ｆ１７は、外部装置との通信を可能にするためのインタフェースである。情報処理装置１は、通信Ｉ／Ｆ１７を介して、複数の端末２と通信可能に接続される。また、各端末２は、通信Ｉ／Ｆ１７を介して、情報処理装置１と通信可能に接続される。
　ＣＰＵ１１及び２１は、種々の制御や演算を行なう処理装置であり、メモリ１２に格納されたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。
　ＣＰＵ１１は例示的に情報処理装置１全体の動作を制御し、ＣＰＵ２１は例示的に端末２全体を制御する。情報処理装置１及び端末２全体の動作を制御するための装置は、ＣＰＵ１１及び２１に限定されず、例えば、ＭＰＵやＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのいずれか１つであってもよい。また、情報処理装置１及び端末２全体の動作を制御するための装置は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ及びＦＰＧＡのうちの２種類以上の組み合わせであってもよい。なお、ＭＰＵはMicro Processing Unitの略称であり、ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称である。また、ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。
　図３の（１）は、図２に示した情報処理装置１の機能構成例を模式的に示すブロック図である。また、図３の（２）は、図２に示した端末２の機能構成例を模式的に示すブロック図である。
　情報処理装置１は、処理部１０としての機能を備える。図３の（１）に示すように、処理部１０は、取得処理部１１１，第１表示処理部１１２，第２表示処理部１１３，入力処理部１１４及び生成処理部１１５として機能する。また、端末２は、処理部２０としての機能を備える。図３の（２）に示すように、処理部２０は、端末表示処理部２２１及び格納処理部２２２として機能する。
　なお、これらの取得処理部１１１，第１表示処理部１１２，第２表示処理部１１３，入力処理部１１４，生成処理部１１５，端末表示処理部２２１及び格納処理部２２２として機能を実現するためのプログラムは、例えば前述した記録媒体１６０に記録された形態で提供される。そして、コンピュータは読み書き処理部１６を介してその記録媒体１６０からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。また、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、その記憶装置から通信経路を介してコンピュータに提供してもよい。
　取得処理部１１１，第１表示処理部１１２，第２表示処理部１１３，入力処理部１１４，生成処理部１１５，端末表示処理部２２１及び格納処理部２２２としての機能を実現する際には、内部記憶装置に格納されたプログラムがコンピュータのマイクロプロセッサによって実行される。このとき、記録媒体１６０に記録されたプログラムをコンピュータが読み取って実行してもよい。なお、本実施形態において、内部記憶装置はメモリ１２であり、マイクロプロセッサはＣＰＵ１１又は２１である。
　図３の（２）に示す端末表示処理部２２１は、情報処理装置１からの指示に基づき、図４及び図５を用いて後述される歯科レントゲン画像の評価結果の入力画面２００を、表示装置１３０に表示させる。
　図３の（２）に示す格納処理部２２２は、図４～図１０を用いてそれぞれ後述される、保存データ，一時保存データ，未入力画像データ，全画像データ及び患者別画像データを、記憶装置１４に格納する。
　図３の（１）に示す取得処理部１１１は、端末２から、複数のレントゲン画像の登録を受け付ける。別言すれば、取得処理部１１１は、互いに隣り合う複数の歯を含むＮ枚以下の複数の画像を取得する。なお、Ｎは、３以上の自然数である。
　図３の（１）に示す第１表示処理部１１２は、取得処理部１１１によって登録を受け付けられた複数のレントゲン画像を、端末２の入力画面２００（図４及び図５を用いて後述）に表示させる。別言すれば、第１表示処理部１１２は、複数の画像を歯の配列と対応付けて表示可能なＮ個の画像表示領域２１３（図４及び図５を用いて後述）において、複数の画像を、対応する画像表示領域２１３それぞれに、配列表示させる。
　図３の（１）に示す第２表示処理部１１３は、図４及び図５を用いて後述するように、レントゲン画像の登録の有無を選択するための選択領域２０５と、各歯の状態を示す情報を入力するための複数の入力領域２０６とを、端末２の入力画面２００に表示させる。別言すれば、第２表示処理部１１３は、Ｎ個の画像表示領域２１３のそれぞれに対応付けて、画像の有無を選択するための選択領域２０５と、Ｎ個の画像表示領域２１３のそれぞれに表示される画像に含まれる各歯の状態を示す情報を入力するための複数の入力領域２０６とを表示させる。
　図３の（１）に示す入力処理部１１４は、端末２から、選択領域２０５における選択内容と、入力領域２０６における入力内容とを受け付ける。別言すれば、入力処理部１１４は、Ｎ個の画像表示領域２１３のそれぞれに対応する、選択領域２０５における選択内容と、複数の入力領域２０６における入力内容との少なくとも一方を受け付ける。
　図３の（１）に示す生成処理部１１５は、選択領域２０５における選択内容と、入力領域２０６における入力内容と、レントゲン画像とに基づき、学習データを生成する。別言すれば、生成処理部１１５は、受け付けた選択内容と入力内容と登録された複数の画像とに基づき、複数の歯の位置を識別可能な状態で、複数の歯それぞれの状態と複数の歯それぞれの画像とを対応させた学習用情報を生成する。
　また、生成処理部１１５は、生成した学習用情報を用いて、深層学習（Deep Learning）により、複数の歯それぞれに応じた、各歯の状態に関する特徴に係る学習モデルを生成する。更に、入力処理部１１４は、生成した学習モデルを用いて、新たな画像に含まれる複数の歯それぞれに対して、状態を示す情報を生成する。そして、第２表示処理部１１３は、新たな画像に含まれる複数の歯それぞれに対する、状態を示す情報を、出力する。
　学習モデルは、例えば、複数のレントゲン画像に含まれる複数の歯を歯槽骨も含めて１本ずつ切り取り、切り取った歯の画像と歯の位置と歯の評価結果とを対応付けて、生成されてよい。レントゲン画像の切り出しは、手動で切り出されたレントゲン画像を学習することにより、自動的に実施されてよい。
　図４は、図２に示した端末２における第１の画面表示例を示す図である。
　歯科レントゲン画像の評価結果の入力画面２００は、例示的に、入力者選択領域２０１，患者ＩＤ表示領域２０２，匿名化患者ＩＤ表示領域２０３，複数の歯番号表示領域２０４，複数のレントゲン画像有無選択領域２０５及び複数の評価結果入力領域２０６を含む。また、入力画面２００は、例示的に、一括入力ボタン２０７，取消ボタン２０８，一時保存ボタン２０９，自動入力ボタン２１０，保存ボタン２１１，ツール終了ボタン２１２及び画像表示領域群２１３を含む。なお、ＩＤは識別子の略称である。
　入力者選択領域２０１では、例えば、プルダウン方式により、評価結果を入力する歯科医師や歯科衛生士の氏名が選択される。これにより、誤った評価結果が入力された場合に、誤った入力をしたユーザを特定できる。
　歯科医師や歯科衛生士が入力した評価結果は、歯科医師に限って承認できるようにされてもよい。また、歯科医師や歯科衛生士の氏名が選択される際には、ＩＤやパスワード等の認証情報の入力が要求されてもよい。
　患者ＩＤ表示領域２０２には、端末２が設置される歯科医院や病院において、各患者を一意に識別するための患者ＩＤが表示される。患者ＩＤは、対応する端末２に限って保持され、情報処理装置１においては保持されなくて良い。
　匿名化患者ＩＤ表示領域２０３には、情報処理システム１００において各患者のレントゲン画像や評価結果を匿名化して扱うために、患者ＩＤを変換した匿名化患者ＩＤが表示される。患者ＩＤから匿名化患者ＩＤへの変換には、種々のアルゴリズムが用いられてよい。
　歯番号表示領域２０４には、対応するレントゲン画像に写されている歯の番号が表示される。
　図示する入力画面２００において、画像表示領域群２１３の左上１番目の画像（符号Ｈ１参照）には、左側から順番に、右上８番，右上７番，右上６番，右上５番の歯が写されている。そこで、画像表示領域群２１３の左上１番目の画像の上側に表示されている歯番号表示領域２０４（符号Ｈ２参照）には、左側から順番に、８，７，６，５と表示されている。
　また、図示する入力画面２００において、画像表示領域群２１３の左上２番目の画像（符号Ｈ３参照）には、左側から順番に、右上７番，右上６番，右上５番，右上４番の歯が写されている。そこで、画像表示領域群２１３の左上２番目の画像の上側に表示されている歯番号表示領域２０４（符号Ｈ４参照）には、左側から順番に、７，６，５，４と表示されている。
　このように、画像表示領域群２１３において配列表示される複数の画像うち、隣り合って配列表示される２枚の画像に含まれる少なくとも一部の歯は重複している。
　レントゲン画像有無選択領域２０５では、対応するレントゲン画像の有効又は無効が、クリックにより選択される。なお、レントゲン画像有無選択領域２０５は、単に選択領域２０５と称されてもよい。
　図４に示す入力画面２００においては、全てのレントゲン画像が有効に設定されている。入力画面２００の左上１番目における選択領域２０５（符号Ｈ２参照）がクリックされて、レントゲン画像が無効に設定されると、入力画面２００の左上１番目における評価結果入力領域２０６（符号Ｈ２参照）と、画像表示領域群２１３の左上１番目におけるレントゲン画像（符号Ｈ１参照）とが、非表示になる。
　選択領域２０５において或るレントゲン画像が無効に設定された際に、評価結果入力領域２０６において評価結果が入力されている場合には、入力されている評価結果を削除せずに保持し続けてよい。
　評価結果入力領域２０６には、ユーザによって、対応する歯の評価結果が入力される。なお、評価結果入力領域２０６は、単に入力領域２０６と称されてもよい。
　評価結果は、例えば、Ｇ，Ｑ，Ｈ，Ｘ，Ｎ及びＩによって表示される。例えば、Ｇは良好な状態で所定の期間内（例えば、１０年以内）に抜ける可能性が低い歯を示し、Ｑは所定の期間内に抜けるか否かの判断が困難な歯を示し、Ｈは所定の期間内に抜ける可能性が高い歯を示す。また、例えば、Ｘは欠損している歯を示し、Ｎはレントゲン画像において一部が写っていなかったり不鮮明であったりして判断できない歯を示し、Ｉはインプラントの歯を示す。
　入力領域２０６に表示される評価結果は、歯番号表示領域２０４の対応する番号がクリックされることにより、切り替えられてよい。例えば、歯番号表示領域２０４の対応する番号が左クリックされる毎にＧ，Ｑ，Ｈ，Ｘ，Ｎ，Ｉの順に切り替わり、歯番号表示領域２０４の対応する番号が右クリックされる毎にＩ，Ｎ，Ｘ，Ｈ，Ｑ，Ｇの順に切り替わってよい。
　また、入力領域２０６に表示される評価結果は、端末２のキーボード１５２におけるＧ，Ｑ，Ｈ，Ｘ，Ｎ及びＩの各キーによって入力されてよい。入力領域２０６に表示される評価結果に対してアルファベット小文字で入力された場合には、自動的にアルファベット大文字に変換されてよい。
　更に、入力領域２０６に表示される評価結果は、端末２のキーボード１５２における任意の数字キー等をショートカットキーとして機能させて入力されてよい。
　入力処理部１１４は、端末２のキーボード１５２によって評価結果が入力された場合には、入力領域２０６の各ボックスに表示される入力カーソルを、自動的に次のボックスに移動させる。そして、入力処理部１１４は、入力画面２００の各入力領域２０６において、入力カーソルを「コ」の字型（別言すれば、「Ｕを左側に転倒させた形」）で移動させる。
　別言すれば、入力処理部１１４は、複数の入力領域２０６に対して各歯の状態を示す情報が入力される際に、歯の配列順に上顎右側奥歯から上顎左側奥歯への方向に対応する各入力領域２０６に表示される入力カーソルを移動させる。入力処理部１１４は、その後、歯の配列順に下顎左側奥歯から下顎右側奥歯への方向に対応する各入力領域２０６に表示される入力カーソルを移動させる。
　上述したように、画像表示領域群２１３において配列表示される複数の画像うち、隣り合って配列表示される２枚の画像に含まれる少なくとも一部の歯は重複している。そこで、同一の歯に対応する２以上の入力領域２０６に対して入力された評価結果が互いに異なっている場合には、対応する歯番号を赤く表示する等して、評価結果に矛盾がある旨をユーザに警告してもよい。ただし、異なる評価結果のいずれかが、レントゲン画像において一部が写っていなかったり不鮮明であったりして判断できない歯を示す「Ｎ」である場合には、ユーザに対する警告を行なわなくてもよい。
　別言すれば、入力処理部１１４は、２枚の画像に対応する各入力領域において入力された、重複している一部の歯についての状態を示す情報が不一致である場合に、当該不一致を通知する。また、入力処理部１１４は、２枚の画像に対応する各入力領域２０６において入力された、重複している一部の歯についての状態を示す情報のいずれかが、当該歯の状態を判断できないことを示す場合には、不一致の通知を抑止する。
　一括入力ボタン２０７は、クリックされることにより、全ての入力領域２０６に対して、ユーザが予め設定した評価結果を入力したり、入力されている値をクリアしたりする。また、一括入力ボタン２０７は、クリックされることにより、ユーザが予め設定したレントゲン画像を無効に設定してもよい。図示する例では、一括入力ボタン２０７は、「Ｉ」～「Ｖ」及び「Ｃ」の各ボタンを含む。
　例えば、「Ｉ」ボタンがクリックされることにより、全ての入力領域２０６に対して、評価結果「Ｇ」が入力されてよい。また、例えば、「ＩＩ」ボタンがクリックされることにより、一部のレントゲン画像が無効に設定されてよい。更に、例えば、「Ｃ」ボタンがクリックされることにより、全ての入力領域２０６において入力されている評価結果がクリアされてよい。
　取消ボタン２０８は、クリックされることにより、全ての入力領域２０６において入力されている評価結果、及び、画像表示領域群２１３において表示されているレントゲン画像がクリアされてよい。取消ボタン２０８には、図示されているように、端末２のキーボード１５２における「Ｆ１」キーがショートカットキーとして設定されてよい。
　一時保存ボタン２０９は、クリックされることにより、入力済みの評価結果が歯番号に対応付けて保存される。一時保存ボタン２０９には、図示されているように、端末２のキーボード１５２における「Ｆ５」キーがショートカットキーとして設定されてよい。なお、一時保存データの構成例については、図７を用いて後述する。
　自動入力ボタン２１０は、クリックされることにより、過去の学習データに基づいて、各入力領域２０６に対して、評価結果が自動入力される。自動入力ボタン２１０には、図示されているように、端末２のキーボード１５２における「Ｆ８」キーがショートカットキーとして設定されてよい。
　別言すれば、入力処理部１１４は、生成処理部１１５によって生成された学習モデルが存在する場合には、生成された学習モデルを用いて、複数の入力領域２０６に対して、各歯の状態を示す情報を自動入力する。
　保存ボタン２１１は、クリックされることにより、全ての入力領域２０６における評価結果が歯番号に対応付けて保存される。保存ボタン２１１には、図示されているように、端末２のキーボード１５２における「Ｆ１２」キーがショートカットキーとして設定されてよい。なお、保存データの構成例については、図６を用いて後述する。
　未入力の入力領域２０６がある際に保存ボタン２１１がクリックされた場合には、例えば、未入力の入力領域２０６における評価結果を一括で「Ｇ」に設定してもよいかをユーザに問い合わせるポップアップウィンドウが表示されてもよい。
　ツール終了ボタン２１２は、クリックされることにより、入力画面２００を表示にさせ、歯科レントゲン画像の評価ツールを終了させる。
　画像表示領域群２１３には、複数のレントゲン画像が表示される。図４に示す例では、最大で１６枚のレントゲン画像が表示される。なお、１６枚のレントゲン画像のうち、符号Ｈ５及びＨ６で示す２枚のレントゲン画像は、上下の歯の噛み合わせを観察するための補助的な画像である。
　歯科レントゲン画像の評価ツールの起動時には、画像表示領域群２１３においてレントゲン画像は表示されておらず、例えば、画像表示領域群２１３をクリックすることにより、任意の患者のレントゲン画像が選択可能であってよい。また、レントゲン画像の選択後に、画像表示領域群２１３がクリックされた場合には、次の患者のレントゲン画像が選択可能であってよい。更に、レントゲン画像データのアイコンが画像表示領域群２１３にドラッグ＆ドロップされることにより、次の患者のレントゲン画像が選択可能であってよい。
　生成処理部１１５は、患者毎の歯（別言すれば、「口腔」）の評価値を算出してもよい。この場合には、評価結果Ｈ，Ｘ及びＩの歯は評価対象とされずに、健康な歯であることや改善の余地がある歯であることを示す評価結果Ｇ及びＱの歯が評価対象とされてよい。
　評価値は、例えば、次式によって算出されてよい。
　評価値＝ｘｇ－ａｇ＋ｗ＊（ｘｑ－ａｑ）
　ここで、ａｇは評価結果Ｇを示す標準とする歯の本数を示し、ａｑは評価結果Ｑを示す標準とする歯の本数を示し、ｘｇは評価結果Ｇを示す評価対象の歯の本数を示し、ｘｑは評価結果Ｑを示す評価対象の歯の本数を示す。また、ｗは、評価結果Ｇを示す歯の本数に対する評価結果Ｑを示す歯の本数の重み付け値であり、０以上且つ１未満の任意の値である。
　図５は、図２に示した端末２における第２の画面表示例を示す図である。
　図５に示す入力画面２００においては、符号Ｉ１～Ｉ８で示す選択領域２０５において、レントゲン画像の表示が非表示に設定されている。これにより、符号Ｉ１～Ｉ８で示す選択領域２０５に対応する入力領域２０６及びレントゲン画像は、表示されない。
　次の患者のレントゲン画像が選択された場合において、選択領域２０５の選択内容は保持されてよい。すなわち、図５に示す状態において次の患者のレントゲン画像が選択された場合には、符号Ｉ１～Ｉ８で示す選択領域２０５において、レントゲン画像の表示が非表示に設定され続ける。
　別言すれば、入力処理部１１４は、複数の画像とは異なる複数の画像を新たに取得した場合に、複数の画像における選択内容を、異なる複数の画像に対する選択領域２０５において保持する。
　図６は、図２に示した端末２における保存データの構成例を示す図である。具体的には、図６の（１）は保存データのファイルの一覧を示し、図６の（２）は入力画面２００において保存される表示内容を示し、図６の（３）はComma-Separated Values（ＣＳＶ）形式の保存データの内容を示す。
　図６の（１）に示すファイルの一覧では、入力画面２００における入力領域２０６毎に、複数のＣＳＶ形式のファイルが表示されている。
　図６の（３）に示す保存データの内容では、１行目において、各歯の評価結果が他の値と対応付けられて登録される。２行目及び３行目は、拡張領域であり、例えば、各歯における歯垢の付着具合や歯周ポケットの深さに関する情報が登録されてよい。
　図６の（１）におけるファイル名の符号Ａ１と、図６の（３）おける保存データの内容の符号Ｃ１とで示す「０１２５５９３７９７６３」は、図６の（２）において符号Ｂ１で示す匿名化患者ＩＤに対応する。
　図６の（１）におけるファイル名の符号Ａ２と、図６の（３）おける保存データの内容の符号Ｃ２とで示す「２０１８０４２０１６２３２６」は、図６の（２）において評価結果が登録された日時である２０１８年４月２０日の１６時２３分２６秒を示す。
　図６の（１）におけるファイル名の符号Ａ３と、図６の（３）おける保存データの内容の符号Ｃ３とで示す「０１」は、図６の（２）において符号Ｂ２で示す入力領域２０６の位置を示す。入力領域２０６の位置は、入力画面２００の左上らか右上に向かって順に０１，０２，０３，０４，０５，０６，０７であり、入力画面２００の左下から右下に向かって順に０８，０９，１０，１１，１２，１３，１４である。
　図６の（１）におけるファイル名の符号Ａ４で示す「ＸＧＧＮ」と、図６の（３）おける保存データの内容の符号Ｃ４で示す「Ｘ，Ｇ，Ｇ，Ｎ」とは、図６の（２）において符号Ｂ２で示す入力領域２０６における評価結果を示す。このように、ファイル名に評価結果を登録することで、ＡＩ解析処理における処理速度を向上できる。選択領域２０５においてレントゲン画像が無効に設定されている歯についての評価結果には、「－」や「０」が登録されてよい。
　保存データには、患者の年代や性別，喫煙歴等の情報が登録されてもよい。
　図７は、図２に示した端末２における一時保存データの構成例を示す図である。具体的には、図７の（１）は一時保存データのファイルの一覧を示し、図７の（２）はＣＳＶ形式の一時保存データの内容を示す。
　図７の（１）に示すように、例えば、評価結果が一時保存された場合には、該当の患者の複数のレントゲン画像を一纏めにしたビットマップ（ＢＭＰ）形式の画像データと、入力済みの評価結果等を含むＣＳＶ形式のデータとが、同じフォルダに保存される。
　図７の（２）に示す一時保存データは、図７の（１）の符号Ｄ１で示すファイルを選択することにより表示される。一時保存データは、図７の（２）において符号Ｄ２で示すように、入力済みの全ての評価結果が一纏めにして登録される。
　図８は、図２に示した端末２における未入力画像データの構成例を示す図である。具体的には、図８の（１）は画像保存フォルダの一覧を示し、図８の（２）は未入力画像データのプレビューイメージを示す。
　図８の（１）に例示するように「レントゲン画像評価入力＿初期入力画像」のフォルダ（符号Ｅ１参照）が選択されると、図８の（２）に例示するように判定結果の未入力画像データ（符号Ｅ２参照）が表示される。図８の（２）に示すように、判定結果が未入力の初期状態では、該当の患者の複数のレントゲン画像を一纏めにしたＢＭＰ形式の画像データが保存される。
　図９は、図２に示した端末２における保存済みの全画像データの構成例を示す図である。具体的には、図９の（１）は画像保存フォルダの一覧を示し、図９の（２）は保存済みの画像データのプレビューイメージを示す。
　図９の（１）に例示するように「レントゲン画像評価入力＿最終保存済み全画像」のフォルダ（符号Ｆ１参照）が選択されると、図９の（２）に例示するように最終保存済みの全画像データ（符号Ｆ２及びＦ３参照）の一覧が表示される。図９の（２）に示すように、最終保存済みの画像データとしては、該当の患者の複数のレントゲン画像を一纏めにしたＢＭＰ形式の画像データが保存される。
　図１０は、図２に示した端末２における保存済みの患者別画像データの構成例を示す図である。具体的には、図１０の（１）は画像保存フォルダの一覧を示し、図１０の（２）は保存済みの画像データが格納されるフォルダの一覧を示す。
　図１０の（１）に例示するように「レントゲン画像評価入力＿最終保存済み画像（患者別）」のフォルダ（符号Ｇ１参照）が選択されると、図１０の（２）に例示するように最終保存済みの画像データが患者毎に格納されるフォルダの一覧（符号Ｇ２参照）が表示される。保存済みの患者別画像データは、各フォルダ内において、複数の画像に分割されて保存されてよい。
　〔Ａ－２〕動作例
　図２に示した情報処理装置１における学習情報の生成処理を、図１１に示すフローチャート（ステップＳ１～Ｓ１２）に従って説明する。
　取得処理部１１１は、端末２からの要求に応じて、複数のレントゲン画像を評価対象のレントゲン画像として登録する（ステップＳ１）。
　第１表示処理部１１２は、端末２において、登録したレントゲン画像を入力画面２００に表示させる（ステップＳ２）。
　第２表示処理部１１３は、端末２において、選択領域２０５及び入力領域２０６を入力画面２００に表示させる（ステップＳ３）。
　入力処理部１１４は、選択領域２０５又は入力領域２０６に対するユーザからの入力を受け付ける（ステップＳ４）。なお、ステップＳ４における処理の詳細は、図１２を用いて後述する。
　入力処理部１１４は、保存ボタン２１１をクリックされることにより、評価結果の保存指示が発生したかを判定する（ステップＳ５）。
　保存指示が発生していない場合には（ステップＳ５のＮｏルート参照）、処理はステップＳ４へ戻る。
　一方、保存指示が発生している場合には（ステップＳ５のＹｅｓルート参照）、入力処理部１１４は、変数ｋを１に設定する（ステップＳ６）。
　入力処理部１１４は、選択領域２０５において、ｋ番目の対象のレントゲン画像が有効に設定されているかを判定する（ステップＳ７）。
　対象のレントゲン画像が有効に設定されている場合には（ステップＳ７のＹｅｓルート参照）、入力処理部１１４は、入力領域２０６における入力内容を受け付ける（ステップＳ８）。そして、処理はステップＳ１０へ進む。
　一方、対象のレントゲン画像が有効に設定されていない場合には（ステップＳ７のＮｏルート参照）、入力処理部１１４は、選択領域２０５におけるレントゲン画像の無効を示す選択内容を受け付ける（ステップＳ９）。
　生成処理部１１５は、入力領域２０６における入力内容又は選択領域２０５における選択内容に基づき、学習情報を生成する（ステップＳ１０）。
　入力処理部１１４は、変数ｋが有効に設定されているレントゲン画像の枚数Ｍに達したかを判定する（ステップＳ１１）。
　変数ｋがＭに達していない場合には（ステップＳ１１のＮｏルート参照）、入力処理部１１４は、変数ｋを“１”インクリメントする（ステップＳ１２）。そして、処理はステップＳ７へ戻る。
　一方、変数ｋがＭに達している場合には（ステップＳ１１のＹｅｓルート参照）、学習情報の生成処理は終了する。
　次に、図１１に示した入力受付処理（ステップＳ４）の詳細を、図１２に示すフローチャート（ステップＳ４１～Ｓ４５）に従って説明する。
　入力処理部１１４は、自動入力ボタン２１０がクリックされることにより、自動入力の指示が発生したかを判定する（ステップＳ４１）。
　自動入力の指示が発生していない場合には（ステップＳ４１のＮｏルート参照）、処理はステップＳ４５へ進む。
　一方、自動入力の指示が発生している場合には（ステップＳ４１のＹｅｓルート参照）、入力処理部１１４は、学習モデルを取得する（ステップＳ４２）。
　入力処理部１１４は、取得した学習モデルに基づき、端末２において、各入力領域２０６における判定結果を入力画面２００に表示させる（ステップＳ４３）。
　入力処理部１１４は、自動入力した判定結果に対するユーザからの修正入力があるかを判定する（ステップＳ４４）。
　修正入力がない場合には（ステップＳ４４のＮｏルート参照）、入力受付処理は終了する。
　一方、修正入力がある場合には（ステップＳ４４のＹｅｓルート参照）、入力処理部１１４は、端末２において、ユーザからの手動による判定結果を入力画面２００に表示させる（ステップＳ４５）。そして、入力受付処理は終了する。
　〔Ａ－３〕効果
　上述した実施形態の一例における情報処理装置１によれば、例えば、以下の作用効果を奏することができる。
　取得処理部１１１は、互いに隣り合う複数の歯を含むＮ枚以下の複数の画像を取得する。第１表示処理部１１２は、複数の画像を歯の配列と対応付けて表示可能なＮ個の画像表示領域２１３において、複数の画像を、対応する画像表示領域２１３それぞれに、配列表示させる。第２表示処理部１１３は、Ｎ個の画像表示領域２１３のそれぞれに対応付けて、画像の有無を選択するための選択領域２０５と、Ｎ個の画像表示領域２１３のそれぞれに表示される画像に含まれる各歯の状態を示す情報を入力するための複数の入力領域２０６とを表示させる。入力処理部１１４は、Ｎ個の画像表示領域２１３のそれぞれに対応する、選択領域２０５における選択内容と、複数の入力領域２０６における入力内容との少なくとも一方を受け付ける。生成処理部１１５は、受け付けた選択内容と入力内容と登録された複数の画像とに基づき、複数の歯の位置を識別可能な状態で、複数の歯それぞれの状態と複数の歯それぞれの画像とを対応させた学習用情報を生成する。
　これにより、口腔の状態の自動診断のための学習用データを効率的に生成することができる。また、判定結果の値を統一することができ、歯科医師や歯科衛生士の思考や習性に合せたUser Interface（ＵＩ）が提供されることにより、歯の位置情報と判断結果とを最小限の手間及び時間で入力できる。
　生成処理部１１５は、生成した学習用情報を用いて、深層学習により、各歯の状態に応じた特徴に係る学習モデルを生成する。入力処理部１１４は、生成した学習モデルを用いて、新たな画像に含まれる複数の歯それぞれに対して、状態を示す情報を生成する。そして、第２表示処理部１１３は、新たな画像に含まれる複数の歯それぞれに対する、状態を示す情報を、出力する。
　これにより、学習モデルに基づいて自動的に各歯の状態を評価することができる。
　入力処理部１１４は、複数の入力領域２０６に対して状態を示す情報が入力される際に、歯の配列順に上顎右側奥歯から上顎左側奥歯への方向に対応する各入力領域２０６に表示される入力カーソルを移動させる。入力処理部１１４は、その後、歯の配列順に下顎左側奥歯から下顎右側奥歯への方向に対応する各入力領域２０６に表示される入力カーソルを移動させる。
　これにより、各歯の評価結果の入力順序と歯科医師による一般的な各歯の診断順序とが一致するため、各歯の評価結果を効率的に入力することができる。
　配列表示される前記複数の画像うち、隣り合って配列表示される２枚の画像に含まれる少なくとも一部の歯は重複している。入力処理部１１４は、２枚の画像に対応する各入力領域において入力された、重複している一部の歯についての状態を示す情報が不一致である場合に、当該不一致を通知する。
　これにより、同一の歯に対する評価対象が矛盾することを防止できる。
　入力処理部１１４は、２枚の画像に対応する各入力領域２０６において入力された、重複している一部の歯についての状態を示す情報のいずれかが、当該歯の状態を判断できないことを示す場合には、通知を抑止する。
　これにより、２枚の画像のうち一方の画像に対応する入力領域２０６で例えば良好な歯を示す評価結果「Ｇ」が入力され、他方の画像に対応する入力領域２０６では映像が不鮮明で評価不能であることを示す評価結果「Ｎ」を入力された場合に、アラートを抑止できる。
　入力処理部１１４は、複数の画像とは異なる複数の画像を新たに取得した場合に、複数の画像における選択内容を、異なる複数の画像に対する選択領域２０５において保持する。
　これにより、１人目の患者について各歯の評価結果を入力した後に、２人目の患者について各歯の評価結果を入力する際に、１人目の患者と２人目の患者とで歯の残存位置が類似している場合に、評価結果の入力を効率的に行なえる。例えば、高齢者では奥歯の残存確率が低くなるため、複数人の高齢者の評価結果の入力を順次行なう際に、効率的に入力作業を実施できる。
　〔Ｂ〕その他
　開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
１００　：情報処理システム
１　　　：情報処理装置
１０，２０：処理部
１１，２１：ＣＰＵ
１２　　：メモリ
１３　　：表示制御部
１４　　：記憶装置
１５　　：入力Ｉ／Ｆ
１６　　：読み書き処理部
１７　　：通信Ｉ／Ｆ
１１１　：取得処理部
１１２　：第１表示処理部
１１３　：第２表示処理部
１１４　：入力処理部
１１５　：生成処理部
１３０　：表示装置
１５１　：マウス
１５２　：キーボード
１６０　：記録媒体
２　　　：端末
２００　：入力画面
２０１　：入力者選択領域
２０２　：患者ＩＤ表示領域
２０３　：匿名化患者ＩＤ表示領域
２０４　：歯番号表示領域
２０５　：レントゲン画像有無選択領域
２０６　：評価結果入力領域
２０７　：一括入力ボタン
２０８　：取消ボタン
２０９　：一時保存ボタン
２１０　：自動入力ボタン
２１１　：保存ボタン
２１２　：ツール終了ボタン
２１３　：画像表示領域群
２２１　：端末表示処理部
２２２　：格納処理部
３　　　：ネットワーク

Claims (18)

  1. 　コンピュータに、
    　互いに隣り合う複数の歯を含むＮ枚以下の複数の画像を取得し、
    　前記複数の画像を歯の配列と対応付けて表示可能なＮ個の画像表示領域において、前記複数の画像を、対応する画像表示領域それぞれに、配列表示させ、
    　前記Ｎ個の画像表示領域のそれぞれに対応付けて、画像の有無を選択するための選択領域と、前記Ｎ個の画像表示領域のそれぞれに表示される画像に含まれる各歯の状態を示す情報を入力するための複数の入力領域とを表示させ、
    　前記Ｎ個の画像表示領域のそれぞれに対応する、前記選択領域における選択内容と、前記複数の入力領域における入力内容との少なくとも一方を受け付け、
    　受け付けた前記選択内容と前記入力内容と登録された前記複数の画像とに基づき、前記複数の歯の位置を識別可能な状態で、前記複数の歯それぞれの状態と前記複数の歯それぞれの画像とを対応させた学習用情報を生成する、
    処理を実行させる、プログラム。
  2. 　生成した前記学習用情報を用いて、深層学習により、前記複数の歯それぞれに応じた、前記各歯の状態に関する特徴に係る学習モデルを生成し、
    　生成した前記学習モデルを用いて、新たな画像に含まれる複数の歯それぞれに対して、前記状態を示す情報を生成し、
    　前記新たな画像に含まれる複数の歯それぞれに対する、前記状態を示す情報を、出力する、
    処理を前記コンピュータに実行させる、請求項１に記載のプログラム。
  3. 　前記複数の入力領域に対して前記状態を示す情報が入力される際に、歯の配列順に上顎右側奥歯から上顎左側奥歯への方向に対応する各入力領域に表示される入力カーソルを移動させた後、歯の配列順に下顎左側奥歯から下顎右側奥歯への方向に対応する各入力領域に表示される入力カーソルを移動させる、
    処理を前記コンピュータに実行させる、請求項１又は２に記載のプログラム。
  4. 　配列表示される前記複数の画像うち、隣り合って配列表示される２枚の画像に含まれる少なくとも一部の歯は重複しており、
    　前記２枚の画像に対応する各入力領域において入力された、重複している前記一部の歯についての前記状態を示す情報が不一致である場合に、当該不一致を通知する、
    処理を前記コンピュータに実行させる、請求項１～３のいずれか１項に記載のプログラム。
  5. 　前記２枚の画像に対応する各入力領域において入力された、重複している前記一部の歯についての前記状態を示す情報のいずれかが、当該歯の状態を判断できないことを示す場合には、前記通知を抑止する、
    処理を前記コンピュータに実行させる、請求項４に記載のプログラム。
  6. 　前記複数の画像とは異なる複数の画像を新たに取得した場合に、前記複数の画像における前記選択内容を、前記異なる複数の画像に対する選択領域において保持する、
    処理を前記コンピュータに実行させる、請求項１～５のいずれか１項に記載のプログラム。
  7. 　互いに隣り合う複数の歯を含むＮ枚以下の複数の画像を取得する取得処理部と、
    　前記複数の画像を歯の配列と対応付けて表示可能なＮ個の画像表示領域において、前記複数の画像を、対応する画像表示領域それぞれに、配列表示させる第１表示処理部と、
    　前記Ｎ個の画像表示領域のそれぞれに対応付けて、画像の有無を選択するための選択領域と、前記Ｎ個の画像表示領域のそれぞれに表示される画像に含まれる各歯の状態を示す情報を入力するための複数の入力領域とを表示させる第２表示処理部と、
    　前記Ｎ個の画像表示領域のそれぞれに対応する、前記選択領域における選択内容と、前記複数の入力領域における入力内容との少なくとも一方を受け付ける入力処理部と、
    　受け付けた前記選択内容と前記入力内容と登録された前記複数の画像とに基づき、前記複数の歯の位置を識別可能な状態で、前記複数の歯それぞれの状態と前記複数の歯それぞれの画像とを対応させた学習用情報を生成する生成処理部と、
    を備える、情報処理装置。
  8. 　前記生成処理部は、生成した前記学習用情報を用いて、深層学習により、前記複数の歯それぞれに応じた、前記各歯の状態に関する特徴に係る学習モデルを生成し、
    　前記入力処理部は、前記生成処理部によって生成された前記学習モデルを用いて、新たな画像に含まれる複数の歯それぞれに対して、前記状態を示す情報を生成し、
    　前記第２表示処理部は、前記新たな画像に含まれる複数の歯それぞれに対する、前記状態を示す情報を、出力する、
    請求項７に記載の情報処理装置。
  9. 　前記入力処理部は、前記複数の入力領域に対して前記状態を示す情報が入力される際に、歯の配列順に上顎右側奥歯から上顎左側奥歯への方向に対応する各入力領域に表示される入力カーソルを移動させた後、歯の配列順に下顎左側奥歯から下顎右側奥歯への方向に対応する各入力領域に表示される入力カーソルを移動させる、
    請求項７又は８に記載の情報処理装置。
  10. 　配列表示される前記複数の画像うち、隣り合って配列表示される２枚の画像に含まれる少なくとも一部の歯は重複しており、
    　前記入力処理部は、前記２枚の画像に対応する各入力領域において入力された、重複している前記一部の歯についての前記状態を示す情報が不一致である場合に、当該不一致を通知する、
    請求項７～９のいずれか１項に記載の情報処理装置。
  11. 　前記入力処理部は、前記２枚の画像に対応する各入力領域において入力された、重複している前記一部の歯についての前記状態を示す情報のいずれかが、当該歯の状態を判断できないことを示す場合には、前記通知を抑止する、
    請求項１０に記載の情報処理装置。
  12. 　前記複数の画像とは異なる複数の画像を新たに取得した場合に、前記複数の画像における前記選択内容を、前記異なる複数の画像に対する選択領域において保持する、
    請求項７～１１のいずれか１項に記載の情報処理装置。
  13. 　コンピュータが、
    　互いに隣り合う複数の歯を含むＮ枚以下の複数の画像を取得し、
    　前記複数の画像を歯の配列と対応付けて表示可能なＮ個の画像表示領域において、前記複数の画像を、対応する画像表示領域それぞれに、配列表示させ、
    　前記Ｎ個の画像表示領域のそれぞれに対応付けて、画像の有無を選択するための選択領域と、前記Ｎ個の画像表示領域のそれぞれに表示される画像に含まれる各歯の状態を示す情報を入力するための複数の入力領域とを表示させ、
    　前記Ｎ個の画像表示領域のそれぞれに対応する、前記選択領域における選択内容と、前記複数の入力領域における入力内容との少なくとも一方を受け付け、
    　受け付けた前記選択内容と前記入力内容と登録された前記複数の画像とに基づき、前記複数の歯の位置を識別可能な状態で、前記複数の歯それぞれの状態と前記複数の歯それぞれの画像とを対応させた学習用情報を生成する、
    処理を実行することを特徴とする情報処理方法。
  14. 　生成した前記学習用情報を用いて、深層学習により、前記複数の歯それぞれに応じた、前記各歯の状態に関する特徴に係る学習モデルを生成し、
    　生成した前記学習モデルを用いて、新たな画像に含まれる複数の歯それぞれに対して、前記状態を示す情報を生成し、
    　前記新たな画像に含まれる複数の歯それぞれに対する、前記状態を示す情報を、出力する、
    請求項１３に記載の情報処理方法。
  15. 　前記複数の入力領域に対して前記状態を示す情報が入力される際に、歯の配列順に上顎右側奥歯から上顎左側奥歯への方向に対応する各入力領域に表示される入力カーソルを移動させた後、歯の配列順に下顎左側奥歯から下顎右側奥歯への方向に対応する各入力領域に表示される入力カーソルを移動させる、
    請求項１３又は１４に記載の情報処理方法。
  16. 　配列表示される前記複数の画像うち、隣り合って配列表示される２枚の画像に含まれる少なくとも一部の歯は重複しており、
    　前記２枚の画像に対応する各入力領域において入力された、重複している前記一部の歯についての前記状態を示す情報が不一致である場合に、当該不一致を通知する、
    請求項１３～１５のいずれか１項に記載の情報処理方法。
  17. 　前記２枚の画像に対応する各入力領域において入力された、重複している前記一部の歯についての前記状態を示す情報のいずれかが、当該歯の状態を判断できないことを示す場合には、前記通知を抑止する、
    請求項１６に記載の情報処理方法。
  18. 　前記複数の画像とは異なる複数の画像を新たに取得した場合に、前記複数の画像における前記選択内容を、前記異なる複数の画像に対する選択領域において保持する、
    請求項１３～１７のいずれか１項に記載の情報処理方法。
PCT/JP2018/022620 2018-06-13 2018-06-13 プログラム，情報処理装置及び情報処理方法 WO2019239529A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020525015A JP6996625B2 (ja) 2018-06-13 2018-06-13 プログラム，情報処理装置及び情報処理方法
PCT/JP2018/022620 WO2019239529A1 (ja) 2018-06-13 2018-06-13 プログラム，情報処理装置及び情報処理方法
US17/114,806 US20210090255A1 (en) 2018-06-13 2020-12-08 Recording medium recording program, information processing apparatus, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/022620 WO2019239529A1 (ja) 2018-06-13 2018-06-13 プログラム，情報処理装置及び情報処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/114,806 Continuation US20210090255A1 (en) 2018-06-13 2020-12-08 Recording medium recording program, information processing apparatus, and information processing method

Publications (1)

Publication Number Publication Date
WO2019239529A1 true WO2019239529A1 (ja) 2019-12-19

Family

ID=68843101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/022620 WO2019239529A1 (ja) 2018-06-13 2018-06-13 プログラム，情報処理装置及び情報処理方法

Country Status (3)

Country Link
US (1) US20210090255A1 (ja)
JP (1) JP6996625B2 (ja)
WO (1) WO2019239529A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7534916B2 (ja) 2020-10-26 2024-08-15 株式会社Ｎｔｔドコモ データ生成システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333898A (ja) * 2000-05-26 2001-12-04 Morita Mfg Co Ltd 歯顎顔面領域のｘ線画像の表示方法、表示装置、この表示方法を実現するプログラムを記録した記録媒体
JP2017035173A (ja) * 2015-08-07 2017-02-16 株式会社吉田製作所 歯牙解析装置およびそのプログラム
JP2018063707A (ja) * 2016-10-13 2018-04-19 メディア株式会社 画像分析システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416984B2 (en) * 2011-01-20 2013-04-09 Carestream Health, Inc. Automatic tooth charting using digital images
US9547903B2 (en) * 2015-04-16 2017-01-17 Carestream Health, Inc. Method for quantifying caries

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333898A (ja) * 2000-05-26 2001-12-04 Morita Mfg Co Ltd 歯顎顔面領域のｘ線画像の表示方法、表示装置、この表示方法を実現するプログラムを記録した記録媒体
JP2017035173A (ja) * 2015-08-07 2017-02-16 株式会社吉田製作所 歯牙解析装置およびそのプログラム
JP2018063707A (ja) * 2016-10-13 2018-04-19 メディア株式会社 画像分析システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7534916B2 (ja) 2020-10-26 2024-08-15 株式会社Ｎｔｔドコモ データ生成システム

Also Published As

Publication number Publication date
JP6996625B2 (ja) 2022-01-17
US20210090255A1 (en) 2021-03-25
JPWO2019239529A1 (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
US11676701B2 (en) Systems and methods for automated medical image analysis
US10984529B2 (en) Systems and methods for automated medical image annotation
US20240041418A1 (en) Systems and methods for processing of dental images
US10937108B1 (en) Computer vision-based claims processing
AU2020342539A1 (en) Automated medical image annotation and analysis
JP6099310B2 (ja) デジタル画像を使用した自動歯科カルテ作成方法
US12040078B2 (en) Dental image analysis and treatment planning using an artificial intelligence engine
US20020178032A1 (en) Method and system for recording carious lesions
US11776677B2 (en) Computer vision-based analysis of provider data
US20160210424A1 (en) Computer implemented system and method for assembling a medical treatment plan
JP6069785B2 (ja) 時間的コンテキストを用いる臨床意志決定支援システム
KR102314889B1 (ko) 전자차트 제공방법 및 그 장치
WO2019239529A1 (ja) プログラム，情報処理装置及び情報処理方法
Hamdan et al. Detection of dental restorations using no-code artificial intelligence
Costa et al. Development of a dental digital data set for research in artificial intelligence: The importance of labeling performed by radiologists
Mudrak Artificial Intelligence and Deep Learning In Dental Radiology: A way forward in point of care radiology
US20220351813A1 (en) Method and apparatus for training automatic tooth charting systems
JP2014203275A (ja) 歯科治療シミュレーション装置、および歯科治療シミュレーションプログラム
KR102369100B1 (ko) 멀티 파노라마 영상 표시방법 및 이를 위한 영상 표시장치
KR20240003488A (ko) 환자 관리 시스템을 위한 썸네일 제공 방법 및 상기 방법을 수행하는 컴퓨팅 장치
KR102662008B1 (ko) 치아 병변 정보 시각화 방법 및 시스템
KR20230097247A (ko) 전자차트 제공방법 및 그 장치
JP6569287B2 (ja) 表示プログラム、表示方法及び表示制御装置
CN117274139A (zh) 一种口腔部位标识方法、装置、设备及存储介质
WO2022234270A1 (en) Determining information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18922891

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020525015

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18922891

Country of ref document: EP

Kind code of ref document: A1