WO2022196493A1 - プログラム、情報処理方法、画像診断装置及び学習済みモデルの生成方法 - Google Patents

プログラム、情報処理方法、画像診断装置及び学習済みモデルの生成方法 Download PDF

Info

Publication number
WO2022196493A1
WO2022196493A1 PCT/JP2022/010315 JP2022010315W WO2022196493A1 WO 2022196493 A1 WO2022196493 A1 WO 2022196493A1 JP 2022010315 W JP2022010315 W JP 2022010315W WO 2022196493 A1 WO2022196493 A1 WO 2022196493A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
lesion
model
information
image
Prior art date
Application number
PCT/JP2022/010315
Other languages
English (en)
French (fr)
Inventor
大貴 藤間
まゆ 秦
達 末原
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Publication of WO2022196493A1 publication Critical patent/WO2022196493A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/303—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the vagina, i.e. vaginoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a program, an information processing method, a diagnostic imaging apparatus, and a method of generating a trained model.
  • Non-Patent Document 1 the cervix is irradiated with near-infrared light to capture SHG (Second-Harmonic Generation) images and THG (Third-Harmonic Generation) images, and using a neural network that has learned the images, A diagnostic imaging method for identifying cancerous tissue from SHG and THG images is disclosed.
  • Non-Patent Document 1 requires the near-infrared camera to be brought close to the cervical tissue to capture an image, and is not necessarily a general-purpose method.
  • the object is to provide a program or the like that can suitably analyze an image of the cervix.
  • a program acquires a medical image of the uterine vagina, and a first model trained to estimate lesion information about a lesion in the cervix when the medical image is input.
  • a computer is caused to execute a process of estimating the lesion information by inputting the medical image.
  • a program acquires a medical image obtained by imaging a uterine vagina, and when the medical image is input, the characteristics of a lesion present in the uterine vagina and the presence of a lesion in the uterine vagina
  • a computer is caused to execute a process of estimating the finding information.
  • a program acquires a medical image of the uterine vagina, and when the medical image is input, a third model trained to detect the boundary between the squamous epithelium and the columnar epithelium acquires A computer is caused to execute a process of detecting the boundary portion by inputting the medical image obtained from the image.
  • it can favorably support cervical imaging diagnosis.
  • FIG. 1 is a block diagram showing a configuration example of an image diagnostic apparatus
  • FIG. 1 is an explanatory diagram showing an overview of Embodiment 1
  • FIG. 4 is an explanatory diagram relating to cervical lesion diagnosis
  • FIG. 4 is an explanatory diagram regarding SCJ
  • FIG. 4 is an explanatory diagram showing an example of a display screen of the diagnostic imaging apparatus
  • 9 is a flowchart illustrating an example of a procedure for generating a first model
  • 10 is a flow chart showing an example of a procedure of lesion estimation processing
  • FIG. 11 is a block diagram showing a configuration example of an image diagnostic apparatus according to Embodiment 2;
  • FIG. 10 is an explanatory diagram showing an overview of Embodiment 2;
  • FIG. 11 is an explanatory diagram showing an example of a display screen of the diagnostic imaging apparatus according to Embodiment 2;
  • FIG. 10 is an explanatory diagram relating to calculation processing of the average distance between the center of the cervix and the SCJ;
  • FIG. 11 is a flowchart illustrating an example of a procedure for generating a second model;
  • FIG. FIG. 11 is a flowchart illustrating an example of a procedure for generating a third model;
  • 10 is a flow chart showing an example of a procedure of lesion estimation processing according to Embodiment 2; 10 is a flow chart showing an example of a subroutine for finding information estimation. 7 is a flow chart showing an example of a processing procedure of a subroutine for boundary portion detection; FIG. 11 is a flowchart showing an example of a procedure of lesion estimation processing according to a modification; FIG.
  • FIG. 1 is an explanatory diagram showing a configuration example of a diagnostic imaging system.
  • an image diagnostic system for estimating intracervical lesions (dysplasia such as cervical cancer and precancerous lesions) from medical images of the uterine vagina will be described.
  • the diagnostic imaging system includes a server 1 and an imaging diagnostic device 2 .
  • the server 1 and the diagnostic imaging apparatus 2 are connected to each other via a network N for communication.
  • lesions to be diagnosed include cervical cancer and precancerous lesions. good too.
  • the server 1 is an information processing device capable of various types of information processing and information transmission/reception.
  • a device corresponding to the server 1 is not limited to a server computer, and may be a personal computer or the like.
  • the server 1 learns predetermined training data to generate a first model 51 (see FIG. 4) for estimating lesion information regarding lesions in the cervical canal when a medical image of the uterine vagina is input. ).
  • the lesion information includes an index representing the degree and type of lesion present in the cervical canal, and a lesion range (coordinate range) within the cervical canal where the lesion is present.
  • the diagnostic imaging apparatus 2 is a device that takes an image of the uterine ostium of a subject (patient) and analyzes the taken image, such as a colposcopy examination device.
  • a camera 30 is connected to the diagnostic imaging apparatus 2, and the diagnostic imaging apparatus 2 captures colposcopy images of the cervix with the camera 30 inserted into the vagina of the subject.
  • the data of the first model 51 generated by the server 1 is installed in the diagnostic imaging apparatus 2 according to the present embodiment.
  • the image diagnostic apparatus 2 inputs the medical image captured by the camera 30 to the first model 51 to estimate lesion information in the cervical canal and present it to the user (medical worker).
  • the diagnostic imaging apparatus 2 performs estimation based on the first model 51, but a computer other than the diagnostic imaging apparatus 2 (for example, the server 1 on the cloud or a local general-purpose computer) performs estimation.
  • the medical image may be an image of the uterine vagina (the cervix and its surroundings), and may not be a colposcopy image.
  • FIG. 2 is a block diagram showing a configuration example of the server 1.
  • the server 1 includes a control section 11 , a main storage section 12 , a communication section 13 and an auxiliary storage section 14 .
  • the control unit 11 has an arithmetic processing unit such as one or more CPU (Central Processing Unit), MPU (Micro-Processing Unit), GPU (Graphics Processing Unit), etc., and executes the program P1 stored in the auxiliary storage unit 14.
  • CPU Central Processing Unit
  • MPU Micro-Processing Unit
  • GPU Graphics Processing Unit
  • the main storage unit 12 is a temporary storage area such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the control unit 11 to perform arithmetic processing.
  • the communication unit 13 is a communication module for performing processing related to communication, and transmits and receives information to and from the outside.
  • the auxiliary storage unit 14 is a non-volatile storage area such as a large-capacity memory or hard disk, and stores a program P1 and other data necessary for the control unit 11 to execute processing.
  • the auxiliary storage unit 14 may be an external storage device connected to the server 1.
  • the server 1 may be a multicomputer consisting of a plurality of computers, or may be a virtual machine virtually constructed by software.
  • the server 1 is not limited to the configuration described above, and may include, for example, an input unit for receiving operation inputs, a display unit for displaying images, and the like.
  • the server 1 may also include a reader for reading a non-temporary computer-readable recording medium 1a, and read the program P1 from the recording medium 1a.
  • the program P1 may be executed on a single computer, or may be executed on a plurality of computers interconnected via a network N.
  • FIG. 3 is a block diagram showing a configuration example of the diagnostic imaging apparatus 2.
  • the diagnostic imaging apparatus 2 includes a control section 21 , a main storage section 22 , a communication section 23 , a display section 24 , an input section 25 , an image processing section 26 and an auxiliary storage section 27 .
  • the control unit 21 is an arithmetic processing unit such as one or more CPU, MPU, GPU, etc., and performs various information processing, control processing, etc. by reading and executing the program P2 stored in the auxiliary storage unit 27.
  • the main storage unit 22 is a temporary storage area such as a RAM, and temporarily stores data necessary for the control unit 21 to execute arithmetic processing.
  • the communication unit 23 is a communication module for performing processing related to communication, and transmits and receives information to and from the outside.
  • the display unit 24 is a display screen such as a liquid crystal display, and displays images.
  • the input unit 25 is an operation interface such as a keyboard and a mouse, and receives operation input from the user.
  • the image processing unit 26 is an image processing module that processes an imaging signal obtained by the camera 30 and generates a captured image (medical image).
  • the auxiliary storage unit 27 is a non-volatile storage area such as a hard disk or large-capacity memory, and stores the program P2 and other data necessary for the control unit 21 to execute processing. Also, the auxiliary storage unit 27 stores a first model 51 .
  • the first model 51 is a machine learning model generated by learning predetermined training data, and is a trained model that estimates lesion information in the cervical canal when a medical image of the uterine vagina is input. is.
  • the first model 51 is assumed to be used as a program module forming part of artificial intelligence software.
  • the diagnostic imaging apparatus 2 may include a reading unit that reads the non-temporary computer-readable recording medium 2a, and may read the program P2 from the recording medium 2a. Also, the program P2 may be executed on a single computer, or may be executed on a plurality of computers interconnected via a network N.
  • FIG. 4 is an explanatory diagram showing the outline of the first embodiment.
  • FIG. 4 conceptually illustrates how lesion information in the cervical canal is output when a medical image of the uterine vagina is input to the first model 51 . Based on FIG. 4, the outline of this embodiment will be described.
  • the server 1 generates the first model 51 by learning predetermined training data.
  • the first model 51 is a neural network generated by deep learning, such as a CNN (Convolutional Neural Network; U-net, etc.).
  • the first model 51 may be a neural network other than CNN, or a model based on other learning algorithms such as SVM (Support Vector Machine) and decision tree. Also, the first model 51 may be a model combining a plurality of machine learning models.
  • a medical image is an image of the subject's (patient's) uterine vagina, and is a colposcopy examination image as described above.
  • the first model 51 estimates lesion information in the cervical canal when a medical image is input. That is, the first model 51 estimates the state inside the cervical canal that cannot be visually recognized in the medical image (colposcopy image).
  • FIG. 5 is an explanatory diagram regarding cervical lesion diagnosis.
  • FIG. 5 schematically illustrates general cervical lesion diagnosis (cervical cancer diagnosis). Specifically, FIG. 5 shows a schematic cross-sectional view of the uterus and shows how a cervical sample (conical section) is collected.
  • cytological examination is first performed to determine the necessity of colposcopy examination, and then colposcopy examination is performed to observe the state around the cervical os with camera 30 .
  • colposcopy does not allow visual confirmation of the inside of the cervix, that is, the endocervical canal, making it difficult to make a definitive diagnosis. Therefore, as shown in FIG. 5, a part of the uterine cervix is collected as a specimen by conization or the like, and tissue diagnosis is performed by observing the collected specimen. Then, determine whether additional treatment (additional conization, total hysterectomy, etc.) is required.
  • the first model 51 is constructed to support diagnosis of lesions in the uterine cervix, particularly in the endocervical canal.
  • the lesion information estimated by the first model 51 includes an index representing the degree and type of lesion present in the endocervical canal, and the lesion range in the endocervical canal where the lesion exists. Note that the lesion information is not limited to these pieces of information, and for example, the property of the lesion tissue may be estimated.
  • the index representing the degree and type of lesion is mainly a classification index representing the degree of progression of the lesion, and a cancer diagnosis index such as class and stage.
  • a classification index centered on premalignant lesions is used for early detection of cervical cancer.
  • the first model 51 makes it possible to estimate the degree of precancerous lesions by using classification indicators centered on CIN (Cervical Intraepithelial Neoplasia) classification.
  • CIN Cervical Intraepithelial Neoplasia
  • the CIN classification is an index for classifying the stages of dysplasia before the tissue of the cervix becomes cancerous. ) are classified into three stages.
  • the first model 51 is estimated by adding AIS (Adenocarcinoma In situ) to the classification index.
  • AIS is an index representing precancerous lesions, but differs from CIN in the type of lesion (cancer), which represents adenocarcinoma.
  • CIN 3 or higher is often classified as precancerous lesions, and CIN 1 and 2 are not classified as precancerous lesions, but in this specification, CIN 1 and 2 are defined as precancerous lesions.
  • the first model 51 adds a normal state with no or very few intracervical lesions and a state in which tissue has become cancerous to the classification indexes. That is, the first model 51 estimates the state of the endocervical canal using six indices of "normal,” “CIN1,” “CIN2,” “CIN3,” “AIS,” and "cancerous lesion.”
  • lesions may be classified according to conventional classification (classes IV), Bethesda classification (LSIL, HSIL, etc.).
  • precancerous lesions may be classified only by the CIN classification without adding AIS to the classification index.
  • classifying "cancerous lesions” in detail for example, by classifying each stage from “stage I” to "stage IV", this system can be applied to the stage diagnosis of cervical cancer. good.
  • the first model 51 only needs to be capable of appropriately estimating the degree of progression of the lesion, and the index used as the estimation criterion is not limited to the above.
  • the lesion range is data that indicates the coordinate range of the lesion in the cervical canal.
  • the first model 51 according to the present embodiment includes, as the lesion range, the depth of the lesion from the tissue surface of the cervical canal, the length (spread) of the lesion along the longitudinal direction of the cervical canal, and the depth and length Estimate the location in the cervix where the lesion is located.
  • the lesion range is expressed in a cylindrical coordinate system with the opening surface of the external cervix as the reference plane, the center of the opening surface of the external cervical os as the origin, and the longitudinal direction of the cervical canal as the axial direction.
  • the right side of FIG. 4 schematically shows the estimation result of the lesion range.
  • the cylinder on the right side of FIG. 4 corresponds to the intracervical space, and the hatched portion corresponds to the lesion range.
  • the first model 51 estimates numerical ranges in the radial direction, the circumferential direction, and the axial direction as lesion ranges. That is, the first model 51 estimates the numerical range of (r, ⁇ , z) (minimum and maximum values of each coordinate component), where r is the radius, ⁇ is the azimuth, and z is the axis coordinate. do.
  • the lesion area is estimated as a cylindrical body having an annular fan-shaped cross-sectional view when a plane orthogonal to the axial direction is taken as the cross-section.
  • the radius r corresponds to the depth of the lesion and the axial coordinate z corresponds to the length of the lesion.
  • the position of a lesion is represented by the numerical range (minimum value and maximum value) of each coordinate component.
  • the lesion range is represented by a cylindrical coordinate system in the present embodiment, it may be represented by another coordinate system such as an orthogonal coordinate system. Further, although the lesion range is estimated three-dimensionally in the present embodiment, the lesion range may be estimated two-dimensionally. In this case, the first model 51 only needs to estimate numerical ranges in the transverse direction (radial direction) and longitudinal direction (axial direction) of the cervical canal.
  • the first model 51 estimates, as lesion information, an index representing the degree and type of lesion present in the endocervical canal, and the lesion range within the endocervical canal where the lesion exists.
  • the server 1 may use only the medical image captured by the camera 30 for the input of the first model 51, but in the present embodiment, the finding information obtained by observing the medical image and the squamous epithelium and Boundary information indicating the position of the boundary with the columnar epithelium (SCJ; Squamocolumnar Junction) is used as input for the first model 51 .
  • SCJ columnar epithelium
  • Findings information is information that represents the state of the uterine vagina (the cervix and its surroundings) determined by observing medical images, and is information that represents findings from colposcopy. Specifically, the finding information is data indicating the properties of a lesion present in the uterine vagina and an image area in the medical image in which the lesion exists in the uterine vagina (hereinafter referred to as "lesion area").
  • the characteristics of the lesion are findings that classify the state of the epithelial tissue of the uterine vagina, for example, colposcopy findings classification.
  • lesions are classified according to the classification of colposcopy findings defined by the Japanese Society of Gynecologic Oncology. Specifically, lesions are classified into "white epithelium” (W), “mosaic” (M), “red spot” (P), and the like, according to tissue properties. Furthermore, according to the degree of symptoms, lesions are subdivided into “W1" (mild findings), "W2" (severe findings), and so on.
  • colposcope findings classification in Japan is adopted, but the international classification of findings may be adopted, or other classifications of findings may be adopted.
  • colposcopy examination images are used as medical images, so the lesion properties are classified based on the colposcopy findings classification. may classify (estimate) the nature of the lesion.
  • the lesion area is data that indicates the coordinate range in the medical image in which the lesions with the properties listed above exist. Specifically, as shown in FIG. 4, the lesion area is defined by the position (coordinate values) of the boundary between the lesion area and other areas so as to enclose the portion where the lesion of each property exists.
  • the server 1 adds the finding information to the medical image and uses it for inputting the first model 51 .
  • the server 1 generates an image in which an object with a display mode corresponding to the properties (findings) of the lesion is superimposed on the lesion area in the medical image, and is used as input for the first model 51 .
  • Such images are referred to herein as "finding images.”
  • a finding image is an image in which, for example, a boundary line of a display color corresponding to the nature of a lesion is superimposed on the boundary between a lesion region and another region. In FIG. 4, for the sake of convenience, the line thickness indicates how the borders of the lesion areas are displayed in different colors.
  • the server 1 superimposes a boundary line whose display color is changed according to the nature of the lesion so as to surround the lesion area to generate a finding image.
  • the boundary information is information indicating the position of the SCJ as described above, for example, data indicating the positions of the first SCJ and the second SCJ.
  • the server 1 adds boundary information indicating the position of the SCJ to the medical image, and uses it as input for the first model 51 .
  • FIG. 6 is an explanatory diagram regarding SCJ.
  • FIG. 6 schematically illustrates the movement process of the SCJ.
  • the columnar epithelium is the epithelium on the cervical side
  • the squamous epithelium is the epithelium on the vaginal side
  • the boundary between the two is called the SCJ (squamous columnar junction).
  • Columnar epithelium and squamous epithelium undergo frequent cell division, and the position of the SCJ changes depending on the action of female hormones (estrogen activity). Specifically, since the columnar epithelium protrudes toward the vagina during sexual maturity when estrogen activity is high, the SCJ moves outward (vaginally toward the vagina) when viewed from the front of the cervical os (see upper left of FIG. 6).
  • the SCJ in a state of low estrogen activity, such as childhood and postmenopause, the SCJ is positioned medially (on the side of the cervix) (see upper right of FIG. 6). In some cases, the SCJ migrates into the cervix and becomes invisible on colposcopy images. As shown in the lower part of FIG. 6, the SCJ (original SCJ) at the time of maximum outward migration in the maturation stage is called the primary SCJ, and a new SCJ (current SCJ) generated by subsequent squamous metaplasia. SCJ) is called the secondary SCJ. Also, the portion between the first SCJ and the second SCJ is called a transition zone.
  • boundary information indicating the position of the SCJ is used as input for the first model 51 in addition to the finding information.
  • the server 1 generates an image in which an object representing the SCJ is superimposed on the SCJ (boundary portion) in the medical image, and uses the image to input the first model 51 .
  • images are referred to herein as "boundary images".
  • the boundary image is, for example, an image in which boundary lines representing the primary SCJ and the secondary SCJ are superimposed at positions corresponding to the primary SCJ and the secondary SCJ, respectively.
  • the server 1 is used to input the first model 51 of the boundary image together with the finding image.
  • two types of images a finding image added with finding information and a boundary image added with boundary information, are generated for one medical image and input to the first model 51.
  • only one image one image in which objects corresponding to the lesion area and the SCJ are superimposed
  • the finding information and boundary information are added may be input to the first model 51 .
  • the boundaries between the squamous epithelium and the columnar epithelium are defined by the boundary lines corresponding to the primary SCJ and the secondary SCJ, respectively, but the present embodiment is not limited to this.
  • the boundary may be defined by an image area (plane) corresponding to the transition zone between the primary SCJ and the secondary SCJ.
  • the boundary may be defined by only one of the primary SCJ and the secondary SCJ (for example, the secondary SCJ), and the portion of the transition zone other than the primary SCJ and the secondary SCJ ( For example, it may be defined by a line segment located between the two. That is, the shape of the "boundary" is not limited to a line segment, and the "boundary" does not necessarily indicate the primary SCJ and/or the secondary SCJ itself.
  • the server 1 generates the first model 51 using training data in which correct values of lesion information are associated with a group of training medical images.
  • the training set of medical images are colposcopy images of subjects with a previous diagnosis of cervical cancer.
  • the correct values of the lesion information are the classification index of the lesion in the cervical canal and the correct values of the lesion range, and are, for example, the diagnostic results of tissue diagnosis.
  • the server 1 generates a finding image and a boundary image by adding finding information and boundary information to the medical image for training, and gives them to the first model 51 as input data for training.
  • the server 1 acquires finding information by receiving a setting (drawing) input of an object (boundary line) representing a lesion area in a medical image from a predetermined operator.
  • the server 1 receives a setting input for a different object for each lesion classification index.
  • the server 1 acquires boundary information by receiving input for setting (drawing) objects (boundary lines) representing the primary SCJ and the secondary SCJ from the operator.
  • the server 1 generates a finding image and a boundary image based on the acquired finding information and boundary information.
  • the server 1 inputs the finding image and the boundary image generated for training to the first model 51 and acquires the estimated value of the lesion information from the first model 51 .
  • the server 1 compares the estimated value with the correct value, and updates parameters such as weights between neurons so that the two approximate each other.
  • the server 1 performs learning on each image for training, and finally generates a first model 51 with optimized parameters.
  • the diagnostic imaging apparatus 2 acquires in advance the data of the first model 51 generated by the server 1 and stores it in the auxiliary storage unit 27 .
  • the image diagnostic apparatus 2 uses the first model 51 to estimate lesion information in the cervical canal.
  • the input of the first model 51 is only the image in the above description, data other than the image may be used as the input of the first model 51.
  • the image diagnostic apparatus 2 uses patient information such as the subject's age, blood test results (sex hormones, cancer markers, etc.), mucus test results (color, pH, viscosity, etc.) as inputs to the first model 51. good too. By using this patient information as input for the first model 51, it is expected that the accuracy of estimating lesion information will be improved.
  • the image input to the first model 51 was only the medical image (colposcopy image) obtained by imaging the uterine vagina, but the present embodiment is not limited to this.
  • the diagnostic imaging apparatus 2 may add a tomographic image of the cervix to the input of the first model 51 .
  • a tomographic image of the cervix is, for example, an OFDI (Optical Frequency Domain Imaging) image using a catheter or the like, an ultrasonic tomographic image, or the like.
  • the diagnostic imaging apparatus 2 may capture a tomographic image of the cervical canal using a catheter or the like while performing colposcopy imaging, and input the tomographic image to the first model 51 . This can be expected to improve the estimation accuracy of lesion information.
  • FIG. 7 is an explanatory diagram showing an example of a display screen of the diagnostic imaging apparatus 2.
  • FIG. 7 shows an example of a display screen of estimation results of lesion information.
  • the image diagnostic apparatus 2 displays a medical image captured by the camera 30 on a screen (not shown), and receives setting inputs of finding information and boundary information from the user. Specifically, in the same manner as during learning, the image diagnostic apparatus 2 receives input for setting a lesion area and an object (boundary line) related to the SCJ for the displayed medical image. The diagnostic imaging apparatus 2 generates a finding image and a boundary image based on the input finding information and boundary information, and inputs them to the first model 51 . The image diagnostic apparatus 2 then estimates lesion information in the cervical canal.
  • the diagnostic imaging apparatus 2 displays the estimation result of the lesion information. Specifically, as shown in FIG. 7, the diagnostic imaging apparatus 2 displays a three-dimensional image 70 simulating the cervical canal (for example, a three-dimensional cross-sectional view of the cervical canal). An object 71 representing is superimposed. For example, the image diagnostic apparatus 2 superimposes an object 71 having an annular fan-shaped cross section based on the numerical ranges of the radius r, the azimuth angle ⁇ , and the axial coordinate z estimated by the first model 51 . The image diagnostic apparatus 2 changes the display mode (for example, display color) of the object 71 according to the lesion index (“CIN”, “AIS”, and “cancer” in FIG. 7) corresponding to the lesion range. In FIG. 7, for the sake of convenience, the different display colors of the objects 71 are indicated by hatching.
  • the image diagnostic apparatus 2 only displays numerical values of the lesion range, and does not need to be displayed as an image.
  • cervical image diagnosis can be favorably supported by estimating lesion information in the cervical canal from a medical image of the uterine vagina.
  • FIG. 8 is a flow chart showing an example of a procedure for generating the first model 51. As shown in FIG. Based on FIG. 8, the content of processing for generating the first model 51 by machine learning will be described.
  • the control unit 11 of the server 1 acquires training data for generating the first model 51 (step S11).
  • the training data is data in which correct values of lesion information are associated with a group of training medical images.
  • the training medical images are images of the cervix of subjects who have been diagnosed with cervical cancer in the past, such as colposcopy images.
  • Correct values of lesion information are information related to lesions in the endocervical canal, and correct values of indexes representing the degree and types of lesions present in the endocervical canal and lesion ranges in the endocervical canal where each type of lesion exists. including.
  • the control unit 11 accepts setting input of finding information for each acquired medical image (step S12).
  • the finding information is information representing properties of lesion tissue present in the uterine vagina (colposcopy finding classification) and lesion areas (image areas) in medical images in which lesions of each property exist.
  • the control unit 11 receives a drawing input of an object (boundary line) representing a lesion range of each property on a medical image.
  • the control unit 11 receives setting input of boundary information for each medical image for training (step S13).
  • the boundary information is information indicating the position of the boundary (SCJ) between the squamous epithelium and the columnar epithelium in the medical image, and is information indicating the positions of the primary SCJ and the secondary SCJ.
  • the control unit 11 receives an input to draw an object (boundary line) representing the primary SCJ and the secondary SCJ at the respective positions of the primary SCJ and the secondary SCJ in the medical image. .
  • the control unit 11 estimates lesion information when a medical image of the uterine vagina is input.
  • a first model 51 is generated (step S14). Specifically, the control unit 11 generates a neural network for estimating lesion information as the first model 51 when a finding image and a boundary image obtained by adding finding information and boundary information to the original medical image are input. do.
  • the control unit 11 generates a finding image and a boundary image in which objects representing the lesion area and the boundary are superimposed on the original medical image, and inputs each image to the first model 51 to obtain lesion information. Get an estimate.
  • the control unit 11 generates the first model 51 by optimizing parameters such as weights between neurons so that the estimated value and the correct value approximate each other.
  • the control unit 11 ends the series of processes.
  • FIG. 9 is a flowchart illustrating an example of the procedure of lesion estimation processing. Processing contents for estimating lesion information based on the first model 51 will be described with reference to FIG.
  • the control unit 21 of the image diagnostic apparatus 2 acquires a medical image of the subject's uterine vagina (step S31).
  • the control unit 11 displays the acquired medical image on the display unit 24 and accepts input of finding information from the user (step 32). Further, the control unit 11 receives input of boundary information (step S33).
  • control unit 11 inputs the finding information and boundary information input in steps S32 and S33 to the first model 51, thereby estimating lesion information in the endocervical canal (step S34). Specifically, the control unit 11 generates a finding image and a boundary image based on the finding information and boundary information input in steps S32 and S33, inputs them to the first model 51, and estimates lesion information.
  • the control unit 11 displays the estimated lesion information on the display unit 24 (step S35). For example, the control unit 11 generates and displays a three-dimensional image 70 of the cervical canal in which an object 71 in a display mode corresponding to the index estimated by the first model 51 is superimposed on the lesion range estimated by the first model 51. do. The control unit 11 ends the series of processes.
  • cervical image diagnosis can be favorably supported by estimating lesion information in the cervical canal from a medical image of the uterine vagina.
  • Embodiment 2 In the first embodiment, a mode in which the user inputs (sets) the finding information and boundary information to be input to the first model 51 has been described.
  • the image diagnostic apparatus 2 may automatically estimate finding information and boundary information from medical images.
  • a mode of estimating finding information and boundary information using a second model 52 and a third model 53 (see FIG. 11), which are machine learning models, will be described.
  • symbol is attached
  • FIG. 10 is a block diagram showing a configuration example of the diagnostic imaging apparatus 2 according to the second embodiment.
  • the auxiliary storage unit 27 of the diagnostic imaging apparatus 2 according to this embodiment stores a second model 52 and a third model 53 .
  • the second model 52 is a model that has been trained to estimate finding information when a medical image is input.
  • the third model 53 is a model that has been trained to detect the boundary between the squamous epithelium and the columnar epithelium (SCJ) when a medical image is input.
  • the second model 52 and the third model 53 are assumed to be used as program modules forming part of artificial intelligence software.
  • FIG. 11 is an explanatory diagram showing the outline of the second embodiment.
  • medical images are input to each of the second model 52 and the third model 53 to estimate finding information and boundary information
  • the finding information and boundary information (finding image and boundary image) are input to the first model 51.
  • 4 shows a state in which lesion information is estimated by Based on FIG. 11, the outline of this embodiment will be described.
  • the second model 52 and the third model 53 are neural networks like the first model 51, such as CNN (U-net, etc.).
  • the second model 52 and the third model 53 may be models based on neural networks other than CNN, or other learning algorithms such as SVM and decision trees. Also, the second model 52 and the third model 53 may be models that combine a plurality of machine learning models.
  • the server 1 generates the second model 52 and the third model 53 by learning predetermined training data.
  • the second model 52 is a model for estimating finding information when a medical image of the uterine vagina is input. This is a model for estimating a lesion area in an image.
  • the third model 53 is a model for detecting the boundary between the squamous epithelium and the columnar epithelium (SCJ) when a medical image of the uterine vagina is input. A model for detecting secondary SCJs.
  • the server 1 provides training data in which correct values of finding information and boundary information are associated with a group of medical images prepared for training (colposcopy images of subjects who have been diagnosed with cervical cancer in the past). to generate a second model 52 and a third model 53, respectively.
  • the correct values of the training data for generating the second model 52 are the correct values of the properties of the lesion appearing in the medical image and the lesion area (image area) in the medical image in which the lesion exists.
  • the correct value of the training data for generating the third model 53 is the correct value of the position of the boundary (SCJ) between the squamous epithelium and the columnar epithelium in the medical image, and the position of the primary SCJ and the secondary SCJ. Correct value.
  • the server 1 inputs a training medical image to the second model 52, acquires an estimated finding information value, and optimizes parameters such as weights between neurons so that the estimated value approximates the correct value.
  • the second model 52 is generated.
  • the server 1 inputs training medical images to the third model 53 to detect SCJs, and optimizes parameters such as weights between neurons so that the detected values and the correct values approximate each other. to generate the third model 53 .
  • the third model 53 is further configured to detect the center position of the cervical os in addition to the SCJ so that the distance between the center of the cervical os and the SCJ can be measured as described later. be done.
  • the central position of the cervical os refers to a position corresponding to the central axis of the cervical canal.
  • the correct value of the central position of the cervix is given as the correct value of the boundary information in addition to the first SCJ and the second SCJ.
  • the server 1 generates a third model 53 for detecting the center position of the cervix in addition to the SCJ. Details of the measurement of the distance between the center of the cervical os and the SCJ will be described later.
  • the diagnostic imaging apparatus 2 acquires the data of the second model 52 and the third model 53 in advance from the server 1 and stores them in the auxiliary storage unit 27 .
  • the image diagnostic apparatus 2 first inputs medical images to the second model 52 and the third model 53 to estimate finding information and boundary information. That is, the image diagnostic apparatus 2 inputs medical images to the second model 52 to estimate finding information, and inputs medical images to the third model 53 to detect the center positions of the SCJ and the cervical os.
  • FIG. 12 is an explanatory diagram showing an example of a display screen of the diagnostic imaging apparatus 2 according to the second embodiment.
  • the image diagnostic apparatus 2 displays the screen shown in FIG. This screen is a screen for displaying the estimation result of finding information and boundary information, and is a screen for prompting the user to confirm whether or not the estimation result is correct.
  • the image diagnostic apparatus 2 displays a finding image 121 in which an object having a display mode corresponding to the characteristics of the lesion is superimposed on the lesion area, the primary SCJ, the secondary SCJ, and the center of the cervical os.
  • a boundary image 122 on which an object representing the position is superimposed is displayed.
  • the diagnostic imaging apparatus 2 calculates the average distance between the SCJ and the center of the cervical os in addition to displaying the boundary image 122, and displays it in the distance display field 123.
  • FIG. 13 is an explanatory diagram relating to calculation processing of the average distance between the center of the cervix and the SCJ.
  • arrows indicate line segments connecting the center of the cervix and points on the SCJ.
  • the diagnostic imaging apparatus 2 takes n points at equal intervals on the SCJ (for example, the secondary SCJ) and calculates the distance between each point and the center of the cervix. Then, the image diagnostic apparatus 2 calculates the average distance between the center of the cervix and the SCJ by averaging the distances of each point.
  • the diagnostic imaging apparatus 2 displays the calculated average distance in the distance display field 123.
  • the third model 53 is used to detect the center position of the cervix. good too. That is, the image diagnostic apparatus 2 only needs to be able to detect the center position of the cervix, and the configuration for detecting the center position of the cervix by the third model 53 is not essential.
  • the image diagnostic apparatus 2 receives an input from the user for correcting the finding information and boundary information estimated by the second model 52 and the third model 53 on the screen of FIG.
  • the image diagnostic apparatus 2 receives an input for correcting the lesion properties and/or the coordinate range of the lesion area represented by the display mode (display color) of the object for the finding image 121 .
  • the image diagnostic apparatus 2 accepts a change in the lesion property (colposcopy finding classification) represented by the display color of the object by right-clicking the object with a mouse or the like.
  • the image diagnostic apparatus 2 accepts correction input of a lesion area by specifying an arbitrary point on an object (boundary line) with a mouse and accepting a cursor operation for moving the position of the specified point.
  • the diagnostic imaging apparatus 2 also accepts input for correcting the positions of the primary SCJ and the secondary SCJ with respect to the boundary image 122 .
  • the diagnostic imaging apparatus 2 accepts a designation input of an arbitrary point on an object (boundary line) representing the primary SCJ and/or the secondary SCJ using a mouse or the like, and performs cursor operation to move the designated point. accept.
  • the imaging diagnostic apparatus 2 inputs the corrected finding image 121 and boundary image 122 to the first model 51, thereby obtaining endocervical lesion information.
  • the finding information and boundary information are not corrected, the default finding image 121 and boundary image 122 are input to the first model 51 as they are.
  • the diagnostic imaging apparatus 2 displays the lesion information estimation result (see FIG. 7).
  • the diagnostic imaging apparatus 2 may input the average distance between the center of the uterine ostium and the SCJ calculated above into the first model 51 as well. By this, considering how close the SCJ is to the center of the cervical os, it is possible to estimate the progress of the lesion into the endocervical canal.
  • FIG. 14 is a flow chart showing an example of the procedure for generating the second model 52 . Based on FIG. 14, the details of processing for generating the second model 52 by machine learning will be described.
  • the control unit 11 of the server 1 acquires training data in which correct values of finding information are associated with medical images of the uterine vagina (step S201).
  • the group of medical images for training is a group of images of the cervix of subjects who have been diagnosed with cervical cancer in the past, such as colposcopy images.
  • the correct value of the finding information is the diagnostic result of the colposcopy examination of the subject, and includes the properties of the lesion present in the uterine vagina and the lesion area (image area) in the medical image where the lesion exists in the uterine vagina. is the correct value.
  • the control unit 11 Based on the training data, the control unit 11 generates the second model 52 for estimating finding information when a medical image is input (step S202). For example, when a medical image is input, the control unit 11 generates a neural network that identifies a lesion area of each property. The control unit 11 inputs the training medical image to the second model 52 to obtain the estimated value of the lesion properties and the lesion area. The control unit 11 generates the second model 52 by optimizing parameters such as weights between neurons so that the estimated value and the correct value approximate each other. The control unit 11 ends the series of processes.
  • FIG. 15 is a flow chart showing an example of the procedure for generating the third model 53 . Based on FIG. 15, the details of processing for generating the third model 53 by machine learning will be described.
  • the control unit 11 of the server 1 acquires training data in which correct values of boundary information are associated with a group of medical images of the uterine vagina (step S221).
  • the group of medical images for training is a group of images of the cervix of subjects who have been diagnosed with cervical cancer in the past, such as colposcopy images.
  • the correct value of boundary information is the correct value of the position of the boundary (SCJ) between the squamous epithelium and the columnar epithelium. Contains the correct answer value.
  • the control unit 11 Based on the training data, the control unit 11 generates the third model 53 that detects the boundary between the squamous epithelium and the columnar epithelium when a medical image is input (step S222). For example, when a medical image is input, the control unit 11 generates a neural network that detects the positions of the primary SCJ and the secondary SCJ and the center position of the cervix. The control unit 11 inputs training medical images to the third model 53 to detect the primary SCJ, the secondary SCJ, and the center position of the cervix. The control unit 11 generates the third model 53 by optimizing parameters such as weights between neurons so that the detected value approximates the correct value. The control unit 11 ends the series of processes.
  • FIG. 16 is a flowchart illustrating an example of a procedure of lesion estimation processing according to Embodiment 2.
  • the control unit 21 of the image diagnostic apparatus 2 executes a subroutine for estimating finding information by inputting medical images to the second model 52 (step S241). Specifically, the control unit 21 inputs the medical image to the second model 52 to identify the lesion area of each property in the medical image.
  • control unit 21 executes a subroutine for detecting the boundary between the squamous epithelium and the columnar epithelium (step S242). Specifically, the control unit 21 inputs the medical image to the third model 53 to detect the positions of the primary SCJ and the secondary SCJ and the center position of the cervical os. The control unit 21 shifts the process to step S34.
  • FIG. 17 is a flow chart showing an example of a processing procedure of a finding information estimation subroutine. Based on FIG. 17, the processing contents of the subroutine of step S241 will be described.
  • the control unit 21 of the image diagnostic apparatus 2 inputs the medical image to the second model 52, thereby estimating finding information about the lesion in the uterine vagina (step S261). Specifically, the control unit 21 estimates the properties of the lesion present in the uterine vagina and the lesion area (image area) in the medical image in which the lesion exists in the uterine vagina.
  • the control unit 21 displays the estimated finding information on the display unit 24 (step S262). Specifically, the control unit 21 generates and displays a finding image 121 in which an object having a display mode corresponding to the properties of the lesion is superimposed on the lesion area in the medical image. The control unit 21 determines whether or not the finding information is correct according to the operation input from the user (step S263). When it is determined that the finding information is incorrect (S263: NO), the control unit 11 receives an input from the user to correct the finding information (step S264). Specifically, the control unit 11 receives an input for correcting the lesion property indicated by the object display mode (display color) and/or the coordinate range of the lesion area indicated by the object shape (boundary line). After executing the process of step S264, or in the case of YES in step S263, the control unit 11 returns the subroutine.
  • FIG. 18 is a flow chart showing an example of a processing procedure of a boundary portion detection subroutine. Based on FIG. 18, the processing contents of the subroutine of step S242 will be described.
  • the control unit 21 of the image diagnostic apparatus 2 detects the boundary (SCJ) between the squamous epithelium and the columnar epithelium by inputting the medical image to the third model 53 (step S281). Specifically, the control unit 21 detects the positions of the primary SCJ and the secondary SCJ as well as the center position of the cervical os.
  • the control unit 21 displays the detection result of the boundary on the display unit 24 (step S282). Specifically, the control unit 11 generates a boundary image 122 in which an object representing the primary SCJ and the secondary SCJ is superimposed on each of the primary SCJ and secondary SCJ in the medical image. ,indicate.
  • the control unit 21 determines whether or not the detection result of the boundary portion is correct according to the operation input from the user (step S283). When it is determined that the boundary detection result is incorrect (S283: NO), the control unit 21 receives an input from the user for correcting the position of the boundary (step S284). Specifically, the control unit 21 receives input for correcting the positions of the primary SCJ and the secondary SCJ displayed as objects (boundary lines).
  • control unit 21 After executing the process of step S284, or in the case of YES in step S283, the control unit 21 calculates and displays the average distance between the center of the cervix and the boundary (for example, the secondary SCJ) (step S285). The control unit 21 returns the subroutine.
  • finding information and boundary information are estimated from a medical image of the uterine vagina, and the estimated finding information and boundary information are input to the first model 51. Estimate the lesion information of Thereby, lesion information can be more suitably estimated.
  • FIG. 19 is a flowchart illustrating a procedure example of lesion estimation processing according to the modification.
  • the image diagnostic apparatus 2 After displaying the lesion information estimated by the first model 51 (step S35), the image diagnostic apparatus 2 performs the following processing.
  • the control unit 21 of the image diagnostic apparatus 2 uses the medical image acquired in step S31 and the finding information and/or boundary information (see FIGS. 17 and 18) corrected in steps S264 and S284 as training data for re-learning.
  • the second model 52 and/or the third model 53 are updated (step S301). Specifically, the control unit 21 gives the lesion properties and/or lesion areas corrected by the user to the second model 52 as correct values for re-learning, and sets parameters such as weights between neurons of the second model 52. Update.
  • control unit 21 gives the primary SCJ, the secondary SCJ, and/or the center position of the cervix corrected by the user to the third model 53 as correct values for re-learning, and the neurons of the third model 53 Update parameters such as weights between The control unit 21 ends the series of processes.
  • the second model 52 and the third model 53 can be optimized through the operation of this system, and the estimation accuracy can be improved.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Reproductive Health (AREA)
  • Image Analysis (AREA)

Abstract

子宮頸部の画像を好適に分析することができるプログラム等を提供する。　プログラムは、子宮膣部を撮像した医用画像を取得し、前記医用画像を入力した場合に子宮頸管内の病変に関する病変情報を推定するよう学習済みの第１モデル５１に、取得した前記医用画像を入力することで前記病変情報を推定する処理をコンピュータに実行させる。好適には、前記医用画像を前記第１モデル５１に入力することで、病変の程度及び種類を表す指標と、病変が存在する前記子宮頸管内の病変範囲とを示す前記病変情報を推定する。

Description

プログラム、情報処理方法、画像診断装置及び学習済みモデルの生成方法
　本発明は、プログラム、情報処理方法、画像診断装置及び学習済みモデルの生成方法に関する。
　人工知能技術の進展に伴い、医療分野における画像診断への機械学習の応用が検討されている。例えば非特許文献１では、子宮頸部に近赤外線光を照射してＳＨＧ（Second-Harmonic Generation）画像及びＴＨＧ（Third-Harmonic Generation）画像を撮像し、画像を学習済みのニューラルネットワークを用いて、ＳＨＧ画像及びＴＨＧ画像から癌組織を識別する画像診断方法が開示されている。
Takahiro Matsui, et al, "Nonlinear Optics with Near-Infrared Excitation Enable Real-Time Quantitative Diagnosis of Human Cervical Cancers", CANCER RESERCH,（米）, American Association for Cancer Research,２０２０年７月２３日, Vol.80, No.17, p.3745-3754
　しかしながら、非特許文献１に係る発明は、近赤外線カメラを子宮頸部組織に近接させて画像を撮像する必要があり、必ずしも汎用的な方法ではない。
　一つの側面では、子宮頸部の画像を好適に分析することができるプログラム等を提供することを目的とする。
　一つの側面に係るプログラムは、子宮膣部を撮像した医用画像を取得し、前記医用画像を入力した場合に子宮頸管内の病変に関する病変情報を推定するよう学習済みの第１モデルに、取得した前記医用画像を入力することで前記病変情報を推定する処理をコンピュータに実行させる。
　一つの側面に係るプログラムは、子宮膣部を撮像した医用画像を取得し、前記医用画像を入力した場合に、前記子宮膣部に存在する病変の性状、及び前記子宮膣部において病変が存在する前記医用画像中の画像領域を示す所見情報を推定するよう学習済みの第２モデルに、取得した前記医用画像を入力することで前記所見情報を推定する処理をコンピュータに実行させる。
　一つの側面に係るプログラムは、子宮膣部を撮像した医用画像を取得し、前記医用画像を入力した場合に扁平上皮と円柱上皮との境界部を検出するよう学習済みの第３モデルに、取得した前記医用画像を入力することで前記境界部を検出する処理をコンピュータに実行させる。
　一つの側面では、子宮頸部の画像診断を好適に支援することができる。
画像診断システムの構成例を示す説明図である。 サーバの構成例を示すブロック図である。 画像診断装置の構成例を示すブロック図である。 実施の形態１の概要を示す説明図である。 子宮頸部の病変診断に関する説明図である。 ＳＣＪに関する説明図である。 画像診断装置の表示画面例を示す説明図である。 第１モデルの生成処理の手順例を示すフローチャートである。 病変推定処理の手順例を示すフローチャートである。 実施の形態２に係る画像診断装置の構成例を示すブロック図である。 実施の形態２の概要を示す説明図である。 実施の形態２に係る画像診断装置の表示画面例を示す説明図である。 子宮口の中心とＳＣＪとの間の平均距離の算出処理に関する説明図である。 第２モデルの生成処理の手順例を示すフローチャートである。 第３モデルの生成処理の手順例を示すフローチャートである。 実施の形態２に係る病変推定処理の手順例を示すフローチャートである。 所見情報推定のサブルーチンの処理手順例を示すフローチャートである。 境界部検出のサブルーチンの処理手順例を示すフローチャートである。 変形例に係る病変推定処理の手順例を示すフローチャートである。
　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
　図１は、画像診断システムの構成例を示す説明図である。本実施の形態では、子宮膣部を撮像した医用画像から、子宮頸管内の病変（子宮頸癌及び前癌病変などの異形成）を推定する画像診断システムについて説明する。画像診断システムは、サーバ１、画像診断装置２を含む。サーバ１及び画像診断装置２は、ネットワークＮを介して相互に通信接続されている。
　なお、本実施の形態では診断対象の病変として子宮頸癌や前癌病変を挙げるが、これらに加えて、又はこれらに代えて、非癌病変（例えば炎症、ポリープ、潰瘍等）を診断対象としてもよい。
　サーバ１は、種々の情報処理、情報の送受信が可能な情報処理装置である。なお、サーバ１に相当する装置はサーバコンピュータに限定されず、パーソナルコンピュータ等であってもよい。後述のように、サーバ１は所定の訓練データを学習することで、子宮膣部を撮像した医用画像を入力した場合に子宮頸管内の病変に関する病変情報を推定する第１モデル５１（図４参照）を生成する生成装置として機能する。例えば病変情報は、子宮頸管内に存在する病変の程度及び種類を表す指標と、当該病変が存在する子宮頸管内の病変範囲（座標範囲）とを含む。
　画像診断装置２は、被検者（患者）の子宮口の撮像、及び撮像した画像の解析を行う装置であり、例えばコルポスコピー検査装置である。画像診断装置２にはカメラ３０が接続されており、画像診断装置２は、被検者の膣内に挿入されたカメラ３０により、子宮口のコルポスコピー検査画像を撮像する。
　本実施の形態に係る画像診断装置２には、サーバ１が生成した第１モデル５１のデータがインストールされている。画像診断装置２は、カメラ３０により撮像した医用画像を第１モデル５１に入力することで、子宮頸管内の病変情報を推定し、ユーザ（医療従事者）に提示する。
　なお、本実施の形態では画像診断装置２が第１モデル５１に基づく推定を行うものとするが、画像診断装置２以外のコンピュータ（例えばクラウド上のサーバ１、又はローカルの汎用コンピュータ）が推定を行ってもよい。また、医用画像は子宮膣部（子宮口及びその周辺部）を撮像した画像であればよく、コルポスコピー検査画像でなくともよい。
　図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
　制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１、その他のデータを記憶している。
　なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
　また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、非一時的なコンピュータ読取可能な記録媒体１ａを読み取る読取部を備え、記録媒体１ａからプログラムＰ１を読み込んでもよい。また、プログラムＰ１は単一のコンピュータ上で実行されてもよく、ネットワークＮを介して相互接続された複数のコンピュータ上で実行されてもよい。
　図３は、画像診断装置２の構成例を示すブロック図である。画像診断装置２は、制御部２１、主記憶部２２、通信部２３、表示部２４、入力部２５、画像処理部２６、及び補助記憶部２７を備える。
　制御部２１は、一又は複数のＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置であり、補助記憶部２７に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部２４は、液晶ディスプレイ等の表示画面であり、画像を表示する。入力部２５は、キーボード、マウス等の操作インターフェイスであり、ユーザから操作入力を受け付ける。画像処理部２６は、カメラ３０が得た撮像信号を処理し、撮像画像（医用画像）を生成する画像処理モジュールである。
　補助記憶部２７は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラムＰ２、その他のデータを記憶している。また、補助記憶部２７は、第１モデル５１を記憶している。第１モデル５１は、所定の訓練データを学習することで生成された機械学習モデルであり、子宮膣部を撮像した医用画像を入力した場合に、子宮頸管内の病変情報を推定する学習済みモデルである。第１モデル５１は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。
　なお、画像診断装置２は、非一時的なコンピュータ読取可能な記録媒体２ａを読み取る読取部を備え、記録媒体２ａからプログラムＰ２を読み込んでもよい。また、プログラムＰ２は単一のコンピュータ上で実行されてもよく、ネットワークＮを介して相互接続された複数のコンピュータ上で実行されてもよい。
　図４は、実施の形態１の概要を示す説明図である。図４では、子宮膣部を撮像した医用画像を第１モデル５１に入力した場合、子宮頸管内の病変情報が出力される様子を概念的に図示している。図４に基づき、本実施の形態の概要を説明する。
　上述の如く、サーバ１は、所定の訓練データを学習することで第１モデル５１を生成する。第１モデル５１は、深層学習により生成されるニューラルネットワークであり、例えばＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク。Ｕ－ｎｅｔ等）である。
　なお、第１モデル５１は、ＣＮＮ以外のニューラルネットワーク、又はＳＶＭ（Support Vector Machine）、決定木などの他の学習アルゴリズムに基づくモデルであってもよい。また、第１モデル５１は、複数の機械学習モデルを組み合わせたモデルであってもよい。
　医用画像は、被検者（患者）の子宮膣部を撮像した画像であり、上述の如くコルポスコピー検査画像である。第１モデル５１は、医用画像が入力された場合に、子宮頸管内の病変情報を推定する。すなわち、第１モデル５１は、医用画像（コルポスコピー検査画像）では視認できない子宮頸管内部の様子を推定する。
　図５は、子宮頸部の病変診断に関する説明図である。図５では、一般的な子宮頸部の病変診断（子宮頸癌診断）を模式的に図示している。具体的には、図５では、模式的な子宮断面図に図示すると共に、子宮頸部の標本（円錐切除切片）を採取する様子を図示している。
　一般的な子宮頸癌診断では、まず細胞診を行ってコルポスコピー診の要否を判断した後、カメラ３０により子宮口周辺の様子を観察するコルポスコピー診を行う。しかし、コルポスコピー診では子宮頸部内部、すなわち子宮頸管内を視認することができないため、確定的な診断を行うことが難しい。そのため、図５に示すように、円錐切除術等によって子宮頸部の一部を標本として採取し、採取した標本を観察する組織診を行う。その後、追加の治療（追加の円錐切除、子宮全摘出等）の要否を判断する。
　一方で、組織診は子宮頸部を切除するため被験者に苦痛を与える場合が多く、出血等の事態も伴う。そのため、可能な限り組織診を行わずに、画像診断によって詳細な診断が可能となることが望まれている。そこで本実施の形態では、第１モデル５１を構築することで、子宮頸部、特に子宮頸管内の病変診断を支援する。
　図４に戻って説明を続ける。第１モデル５１が推定する病変情報は、子宮頸管内に存在する病変の程度及び種類を表す指標と、病変が存在する子宮頸管内の病変範囲とを含む。なお、病変情報はこれらの情報に限定されず、例えば病変組織の性状などを推定してもよい。
　病変の程度及び種類を表す指標とは、主として病変の進行度合いを表す分類指標であり、クラス、ステージ等の癌診断指標である。本実施の形態では子宮頸癌の早期発見を行うべく、前癌病変を中心にした分類指標を用いる。
　具体的には、第１モデル５１は、ＣＩＮ（Cervical Intraepithelial Neoplasia；子宮頸部上皮内腫瘍）分類を中心とした分類指標を用いることで、前癌病変の程度を推定可能とする。ＣＩＮ分類は、子宮頸部の組織が癌化する前の異形成段階を分類する指標であり、ＣＩＮ１（軽度異形成）、ＣＩＮ２（中等度異形成）、及びＣＩＮ３（高度異形成及び上皮内癌）の３ステージに分類される。
　更に第１モデル５１は、分類指標にＡＩＳ（Adenocarcinoma In Situ；上皮内腺癌）を加えて推定を行う。ＡＩＳはＣＩＮと同様、前癌病変を表す指標であるが、ＣＩＮとは病変（癌）の種類が異なり、腺系癌を表す。
　なお、臨床ではＣＩＮ３以上を前癌病変に分類し、ＣＩＮ１及び２を前癌病変に分類しないことも多いが、本明細書ではＣＩＮ１及び２を含めて前癌病変と定義する。
　第１モデル５１は、上記のＣＩＮ分類及びＡＩＳに加えて、子宮頸管内に病変が無い、又は極めて少ない正常状態、及び組織が癌化した状態を分類指標に加える。すなわち、第１モデル５１は、「正常」、「ＣＩＮ１」、「ＣＩＮ２」、「ＣＩＮ３」、「ＡＩＳ」、及び「癌化病変」の６種類の指標で子宮頸管内の状態を推定する。
　なお、上記の指標は一例であって、本実施の形態はこれに限定されるものではない。例えばＣＩＮ分類に代えて、旧来のクラス分類（クラスＩ～Ｖ）、ベセスダ分類（ＬＳＩＬ、ＨＳＩＬ等）などで病変を分類してもよい。また、ＡＩＳを分類指標に加えず、ＣＩＮ分類のみで前癌病変を分類してもよい。また、「癌化病変」を詳細に区分し、例えば「Ｉ期」～「ＩＶ期」の各病期（ステージ）で分類することで、本システムを子宮頸癌のステージ診断に応用してもよい。このように、第１モデル５１は病変の進行度合いを適切に推定可能であればよく、推定基準とする指標は上記に限定されない。
　病変範囲は、子宮頸管内における病変の座標範囲を示すデータである。本実施の形態に係る第１モデル５１は、病変範囲として、子宮頸管の組織表面からの病変の深さと、子宮頸管の長手方向に沿う病変の長さ（広がり）と、当該深さ及び長さの病変が存在する子宮頸管内の位置とを推定する。
　例えば病変範囲は、外子宮口の開口面を基準面とし、外子宮口の開口面中心を原点とし、かつ、子宮頸管の長手方向を軸方向とする円筒座標系で表現される。図４右側に、病変範囲の推定結果を模式的に図示する。図４右側の円筒は子宮頸管内の空間に相当し、ハッチング部分は病変範囲に相当する。
　第１モデル５１は病変範囲として、径方向、周方向及び軸方向それぞれの数値範囲を推定する。すなわち、第１モデル５１は、動径をｒ、方位角をθ、軸座標をｚとする場合に、（ｒ，θ，ｚ）の数値範囲（各座標成分の最小値及び最大値）を推定する。これにより、図４に示すように、軸方向に直交する面を断面とした場合に、断面視環状扇形の柱体として病変範囲が推定される。動径ｒは病変の深さに相当し、軸座標ｚは病変の長さに相当する。また、病変の位置は、各座標成分の数値範囲（最小値及び最大値）で表現される。
　なお、本実施の形態では円筒座標系で病変範囲を表現するものとするが、直交座標系等の他の座標系で表現してもよい。また、本実施の形態では病変範囲を３次元で推定するものとするが、病変範囲を２次元で推定してもよい。この場合、第１モデル５１は、子宮頸管の短手方向（径方向）及び長手方向（軸方向）の数値範囲のみを推定すればよい。
　上述の如く、第１モデル５１は病変情報として、子宮頸管内に存在する病変の程度及び種類を表す指標と、病変が存在する子宮頸管内の病変範囲とを推定する。
　サーバ１は、カメラ３０により撮像される医用画像のみを第１モデル５１の入力に用いてもよいが、本実施の形態では更に、医用画像を観察することで得られる所見情報、及び扁平上皮と円柱上皮との境界部（ＳＣＪ；Squamocolumnar Junction）の位置を示す境界情報を第１モデル５１の入力に用いる。
　所見情報は、医用画像を観察することで判断される子宮膣部（子宮口及びその周辺部）の状態を表す情報であり、コルポスコピー診による所見を表す情報である。具体的には、所見情報は、子宮膣部に存在する病変の性状、及び子宮膣部において病変が存在する医用画像中の画像領域（以下、「病変領域」と表記）を示すデータである。
　病変の性状とは、子宮膣部の上皮組織の状態を分類した所見であり、例えばコルポスコピー所見分類である。本実施の形態では、日本婦人科腫瘍学会が定めるコルポスコピー所見分類に従い、病変を分類する。具体的には病変を、組織の性状に応じて「白色上皮」（Ｗ）、「モザイク」（Ｍ）、「赤点斑」（Ｐ）…等に分類する。更に症状の程度に応じて、病変を「Ｗ１」（軽度所見）、「Ｗ２」（高度所見）…等に細分化する。
　なお、本実施の形態では日本におけるコルポスコープ所見分類を採用するが、国際所見分類を採用してもよく、その他の所見分類を採用してもよい。また、本実施の形態では医用画像としてコルポスコピー検査画像を用いるため、病変の性状をコルポスコピー所見分類に基づいて分類するが、コルポスコピー診以外の方法で医用画像を撮像する場合などには、他の基準で病変の性状を分類（推定）してもよい。
　病変領域は、上記で挙げた各性状の病変が存在する医用画像中の座標範囲を示すデータである。具体的には図４に示すように、病変領域は、各性状の病変が存在する部分を囲うように、病変領域と他の領域との境界の位置（座標値）で規定される。
　子宮膣部における病変組織が広く、所見が重症なほど、子宮頸管内に病変が深く進行している可能性が高い。そこでサーバ１は、上記の所見情報を医用画像に付加し、第１モデル５１の入力に用いる。
　具体的には、サーバ１は、医用画像中の病変領域に、病変の性状（所見）に応じた表示態様のオブジェクトを重畳した画像を生成し、第１モデル５１の入力に用いる。当該画像を、本明細書では「所見画像」と呼ぶ。所見画像は、例えば病変領域と他の領域との境界に、病変の性状に応じた表示色の境界線を重畳した画像である。なお、図４では便宜上、各病変領域の境界線の表示色が異なる様子を線の太さで図示している。サーバ１は、病変の性状に応じて表示色を変えた境界線を、病変領域を囲むように重畳し、所見画像を生成する。
　境界情報は、上述の如くＳＣＪの位置を示す情報であり、例えば第１次ＳＣＪ及び第２次ＳＣＪそれぞれの位置を示すデータである。サーバ１は、上記の所見情報のほか、ＳＣＪの位置を示す境界情報を医用画像に付加し、第１モデル５１の入力に用いる。
　図６は、ＳＣＪに関する説明図である。図６では、ＳＣＪの移動過程を模式的に図示している。
　円柱上皮は子宮頸管側の上皮であり、扁平上皮は膣側の上皮であり、両者の境界をＳＣＪ（扁平円柱上皮境界）と呼ぶ。円柱上皮及び扁平上皮は細胞分裂を頻繁に繰り返しており、ＳＣＪの位置は女性ホルモンの働き（エストロゲン活性）によって変わっていく。具体的には、エストロゲン活性が高い性成熟期には円柱上皮が膣側に張り出すため、子宮口正面視において、ＳＣＪは外側（膣側）に移動する（図６左上参照）。一方、小児期、閉経後等のエストロゲン活性が低い状態では、ＳＣＪは内側（子宮頸管側）に位置する（図６右上参照）。なお、場合によってはＳＣＪは子宮頸管内まで移動し、コルポスコピー検査画像では視認できなくなる。図６下側に示すように、成熟期において外側に最大限移動した時点でのＳＣＪ（本来のＳＣＪ）を第１次ＳＣＪと言い、その後の扁平上皮化生で生じた新たなＳＣＪ（現在のＳＣＪ）を第２次ＳＣＪと言う。また、第１次ＳＣＪ及び第２次ＳＣＪの間の部分を移行帯と言う。
　子宮頸癌の発生過程は凡そ解明されており、円柱上皮及び扁平上皮の細胞分裂過程でＨＰＶ（Human Papillomavirus）が感染した場合、移行帯の細胞が癌化することで子宮頸癌が発生する。従って、ＳＣＪが子宮口の中心に近いほど病変発症からの経過時間が長く、移行帯から発生する病変が子宮頸管内に進行している可能性が高くなる。そのため、本実施の形態では所見情報以外に、ＳＣＪの位置を示す境界情報を第１モデル５１の入力に用いる。
　図４に戻って説明を続ける。本実施の形態においてサーバ１は、医用画像中のＳＣＪ（境界部）に、ＳＣＪであることを表すオブジェクトを重畳した画像を生成し、第１モデル５１の入力に用いる。当該画像を、本明細書では「境界画像」と呼ぶ。境界画像は、例えば第１次ＳＣＪ及び第２次ＳＣＪそれぞれに対応する位置に、第１次ＳＣＪ及び第２次ＳＣＪであることを表す境界線を重畳した画像である。サーバ１は、所見画像と共に境界画像の第１モデル５１の入力に用いる。
　なお、本実施の形態では一の医用画像に対し、所見情報を付加した所見画像と、境界情報を付加した境界画像との２種類の画像を生成して第１モデル５１に入力するものとするが、所見情報及び境界情報を付加した一の画像（病変領域及びＳＣＪそれぞれに対応するオブジェクトを重畳した一の画像）のみを第１モデル５１に入力するようにしてもよい。
　また、上記では扁平上皮と円柱上皮との境界部を、第１次ＳＣＪ及び第２次ＳＣＪにそれぞれ対応する境界線で規定したが、本実施の形態はこれに限定されるものではない。例えば境界部は、第１次ＳＣＪと第２次ＳＣＪとの間の移行帯に相当する画像領域（面）で規定してもよい。また、境界部は、第１次ＳＣＪ及び第２次ＳＣＪのいずれか一方（例えば第２次ＳＣＪ）のみで規定されてもよく、第１次ＳＣＪ及び第２次ＳＣＪ以外の移行帯の部分（例えば両者の中間に位置する線分）で規定されてもよい。すなわち、「境界部」の形状は線分に限定されず、「境界部」は必ずしも第１次ＳＣＪ及び／又は第２次ＳＣＪ自体を指し示すものでなくともよい。
　サーバ１は、訓練用の医用画像群に対し、病変情報の正解値が対応付けられた訓練データを用いて、第１モデル５１を生成する。訓練用の医用画像群は、過去に子宮頸癌診断を受けた被検者らのコルポスコピー検査画像である。病変情報の正解値は、頸管内の病変の分類指標、及び病変範囲の正解値であり、例えば組織診の診断結果である。
　サーバ１は、訓練用の医用画像に対し、所見情報及び境界情報を付加した所見画像及び境界画像を各々生成し、訓練用の入力データとして第１モデル５１に与える。例えばサーバ１は、所定の作業者から、医用画像に対して病変領域を表すオブジェクト（境界線）の設定（描画）入力を受け付けることで、所見情報を取得する。具体的には、サーバ１は、病変の分類指標毎に異なるオブジェクトの設定入力を受け付ける。また、サーバ１は同様に、作業者から、第１次ＳＣＪ及び第２次ＳＣＪを表すオブジェクト（境界線）の設定（描画）入力を受け付けることで、境界情報を取得する。サーバ１は、取得した所見情報及び境界情報に基づき、所見画像及び境界画像を各々生成する。
　サーバ１は、訓練用に生成した所見画像及び境界画像を第１モデル５１に入力し、病変情報の推定値を第１モデル５１から取得する。サーバ１は、推定値を正解値と比較し、両者が近似するように、ニューロン間の重み等のパラメータを更新する。サーバ１は、訓練用の各画像について学習を行い、最終的にパラメータを最適化した第１モデル５１を生成する。
　画像診断装置２は、サーバ１が生成した第１モデル５１のデータを予め取得し、補助記憶部２７に記憶している。カメラ３０により子宮膣部を撮像した場合、画像診断装置２は、第１モデル５１を用いて子宮頸管内の病変情報を推定する。
　なお、上記では第１モデル５１の入力が画像のみであるが、画像以外のデータを第１モデル５１の入力に用いてもよい。例えば画像診断装置２は、被検者の年齢、血液検査結果（性ホルモン、癌マーカ等）、粘液検査結果（色、ｐＨ、粘度等）などの患者情報を第１モデル５１の入力に用いてもよい。これらの患者情報を第１モデル５１の入力に用いることで、病変情報の推定精度を向上させることが期待できる。
　また、上記では第１モデル５１に入力する画像が、子宮膣部を撮像した医用画像（コルポスコピー検査画像）のみであったが、本実施の形態はこれに限定されるものではない。例えば画像診断装置２は、子宮頸管の断層像を第１モデル５１の入力に加えてもよい。子宮頸管の断層像とは、例えばカテーテル等を用いたＯＦＤＩ（Optical Frequency Domain Imaging；光干渉断層診断）画像、超音波断層像などである。画像診断装置２は、コルポスコピーによる撮像を行うと同時に、カテーテル等により子宮頸管の断層像を撮像し、第１モデル５１に断層像を入力するようにしてもよい。これにより、病変情報の推定精度を向上させることが期待できる。
　図７は、画像診断装置２の表示画面例を示す説明図である。図７では、病変情報の推定結果の表示画面例を図示している。
　例えば画像診断装置２は、カメラ３０により撮像された医用画像を不図示の画面に表示し、所見情報及び境界情報の設定入力をユーザから受け付ける。具体的には学習時と同様に、画像診断装置２は、表示した医用画像に対し、病変領域及びＳＣＪに係るオブジェクト（境界線）の設定入力を受け付ける。画像診断装置２は、入力された所見情報及び境界情報に基づいて所見画像及び境界画像を生成し、第１モデル５１に入力する。そして画像診断装置２は、子宮頸管内の病変情報を推定する。
　画像診断装置２は、病変情報の推定結果を表示する。具体的には図７に示すように、画像診断装置２は、子宮頸管を模擬した３次元画像７０（例えば子宮頸管の３次元断面図）を表示すると共に、３次元画像７０に対し、病変範囲を表すオブジェクト７１を重畳する。例えば画像診断装置２は、第１モデル５１により推定した動径ｒ、方位角θ、及び軸座標ｚの数値範囲に基づき、断面環状扇形のオブジェクト７１を重畳する。画像診断装置２は、病変範囲に対応する病変の指標（図７では「ＣＩＮ」、「ＡＩＳ」、及び「がん」）に応じて、オブジェクト７１の表示態様（例えば表示色）を変更する。なお、図７では便宜上、各オブジェクト７１の表示色が異なる様子をハッチングで図示している。
　なお、本実施の形態では病変範囲を画像（オブジェクト７１）で表示するが、画像診断装置２は病変範囲の数値を表示するのみで、画像で表示しなくともよい。
　以上より、本実施の形態によれば、子宮膣部を撮像した医用画像から子宮頸管内の病変情報を推定することで、子宮頸部の画像診断を好適に支援することができる。
　図８は、第１モデル５１の生成処理の手順例を示すフローチャートである。図８に基づき、機械学習により第１モデル５１を生成する処理内容について説明する。
　サーバ１の制御部１１は、第１モデル５１を生成するための訓練データを取得する（ステップＳ１１）。訓練データは、訓練用の医用画像群に対し、病変情報の正解値が対応付けられたデータである。訓練用の医用画像は、過去に子宮頸癌診断を受けた被検者らの子宮膣部の画像群であり、例えばコルポスコピー検査画像である。病変情報の正解値は、子宮頸管内の病変に関する情報であり、子宮頸管内に存在する病変の程度及び種類を表す指標と、各種類の病変が存在する子宮頸管内の病変範囲との正解値を含む。
　制御部１１は、取得した各医用画像に対して所見情報の設定入力を受け付ける（ステップＳ１２）。所見情報は、子宮膣部に存在する病変組織の性状（コルポスコピー所見分類）、及び各性状の病変が存在する医用画像中の病変領域（画像領域）を表す情報である。例えば制御部１１は、医用画像に対し、各性状の病変範囲を表すオブジェクト（境界線）の描画入力を受け付ける。
　制御部１１は、訓練用の各医用画像に対して境界情報の設定入力を受け付ける（ステップＳ１３）。境界情報は、医用画像における扁平上皮と円柱上皮との境界部（ＳＣＪ）の位置を示す情報であり、第１次ＳＣＪ及び第２次ＳＣＪの位置を表す情報である。例えば制御部１１は、医用画像に対し、第１次ＳＣＪ及び第２次ＳＣＪそれぞれの位置に、第１次ＳＣＪ及び第２次ＳＣＪであることを表すオブジェクト（境界線）を描画する入力を受け付ける。
　制御部１１は、ステップＳ１１で取得した訓練データのほか、ステップＳ１２、Ｓ１３で設定された所見情報及び境界情報に基づき、子宮膣部を撮像した医用画像を入力した場合に、病変情報を推定する第１モデル５１を生成する（ステップＳ１４）。具体的には、制御部１１は、元の医用画像に対して所見情報及び境界情報を付加した所見画像及び境界画像を入力した場合に、病変情報を推定するニューラルネットワークを第１モデル５１として生成する。制御部１１は、元の医用画像に対して、病変領域及び境界部を表すオブジェクトを重畳した所見画像及び境界画像を各々生成し、各画像を第１モデル５１に入力することで、病変情報の推定値を取得する。制御部１１は、推定値と正解値とが近似するように、ニューロン間の重み等のパラメータを最適化することで、第１モデル５１を生成する。制御部１１は一連の処理を終了する。
　図９は、病変推定処理の手順例を示すフローチャートである。図９に基づき、第１モデル５１に基づき病変情報を推定する処理内容について説明する。
　画像診断装置２の制御部２１は、被検者の子宮膣部を撮像した医用画像を取得する（ステップＳ３１）。制御部１１は、取得した医用画像を表示部２４に表示し、ユーザから所見情報の入力を受け付ける（ステップ３２）。また、制御部１１は、境界情報の入力を受け付ける（ステップＳ３３）。
　制御部１１は、ステップＳ３１で取得した医用画像のほか、ステップＳ３２、Ｓ３３で入力された所見情報及び境界情報を第１モデル５１に入力することで、子宮頸管内の病変情報を推定する（ステップＳ３４）。具体的には、制御部１１は、ステップＳ３２、３３で入力された所見情報及び境界情報に基づいて所見画像及び境界画像を各々生成し、第１モデル５１に入力して病変情報を推定する。
　制御部１１は、推定された病変情報を表示部２４に表示する（ステップＳ３５）。例えば制御部１１は、第１モデル５１により推定された指標に応じた表示態様のオブジェクト７１を、第１モデル５１により推定された病変範囲に重畳した子宮頸管の３次元画像７０を生成し、表示する。制御部１１は一連の処理を終了する。
　以上より、本実施の形態１によれば、子宮膣部を撮像した医用画像から子宮頸管内の病変情報を推定することで、子宮頸部の画像診断を好適に支援することができる。
（実施の形態２）
　実施の形態１では、第１モデル５１に入力する所見情報及び境界情報をユーザが入力（設定）する形態について説明した。一方で、画像診断装置２が医用画像から所見情報及び境界情報を自動的に推定するものとしてもよい。本実施の形態では、機械学習モデルである第２モデル５２及び第３モデル５３（図１１参照）を用いて、所見情報及び境界情報を推定する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
　図１０は、実施の形態２に係る画像診断装置２の構成例を示すブロック図である。本実施の形態に係る画像診断装置２の補助記憶部２７は、第２モデル５２及び第３モデル５３を記憶している。第２モデル５２は、医用画像を入力した場合に所見情報を推定するよう学習済みのモデルである。第３モデル５３は、医用画像を入力した場合に扁平上皮と円柱上皮との境界部（ＳＣＪ）を検出するよう学習済みのモデルである。第２モデル５２及び第３モデル５３は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。
　図１１は、実施の形態２の概要を示す説明図である。図１１では、第２モデル５２及び第３モデル５３それぞれに医用画像を入力して所見情報及び境界情報を推定し、更に所見情報及び境界情報（所見画像及び境界画像）を第１モデル５１に入力して病変情報を推定する様子を図示している。図１１に基づき、本実施の形態の概要を説明する。
　図１１に示すように、本実施の形態では第１モデル５１による病変情報の推定の前処理として、第２モデル５２及び第３モデル５３による所見情報及び境界情報の推定を行う。第２モデル５２及び第３モデル５３は、第１モデル５１と同様にニューラルネットワークであり、例えばＣＮＮ（Ｕ－ｎｅｔ等）である。
　なお、第２モデル５２及び第３モデル５３は、ＣＮＮ以外のニューラルネットワーク、又はＳＶＭ、決定木などの他の学習アルゴリズムに基づくモデルであってもよい。また、第２モデル５２及び第３モデル５３は、複数の機械学習モデルを組み合わせたモデルであってもよい。
　サーバ１は、第１モデル５１と同様に、所定の訓練データを学習することで第２モデル５２及び第３モデル５３を生成する。上述の如く、第２モデル５２は、子宮膣部を撮像した医用画像を入力した場合に所見情報を推定するモデルであり、具体的には、子宮膣部に存在する各病変の性状と、医用画像中の病変領域とを推定するモデルである。第３モデル５３は、子宮膣部を撮像した医用画像を入力した場合に、扁平上皮と円柱上皮との境界部（ＳＣＪ）を検出するモデルであり、具体的には、第１次ＳＣＪ及び第２次ＳＣＪを検出するモデルである。
　サーバ１は、訓練用に用意された医用画像群（過去に子宮頸癌診断を受けた被検者らのコルポスコピー検査画像）に対し、所見情報及び境界情報の正解値が対応付けられた訓練データを各々用いて、第２モデル５２及び第３モデル５３を生成する。第２モデル５２生成用の訓練データの正解値は、医用画像に写る病変の性状と、当該病変が存在する医用画像中の病変領域（画像領域）との正解値である。第３モデル５３生成用の訓練データの正解値は、医用画像中の扁平上皮と円柱上皮との境界部（ＳＣＪ）の位置の正解値であり、第１次ＳＣＪ及び第２次ＳＣＪの位置の正解値である。
　サーバ１は、訓練用の医用画像を第２モデル５２に入力して所見情報の推定値を取得し、推定値と正解値とが近似するように、ニューロン間の重み等のパラメータを最適化することで、第２モデル５２を生成する。同様に、サーバ１は、訓練用の医用画像を第３モデル５３に入力してＳＣＪを検出し、検出値と正解値とが近似するように、ニューロン間の重み等のパラメータを最適化することで、第３モデル５３を生成する。
　本実施の形態に係る第３モデル５３は更に、後述の如く子宮口の中心とＳＣＪとの間の距離を計測可能とすべく、ＳＣＪに加えて、子宮口の中心位置を検出するように構成される。子宮口の中心位置とは、子宮頸管の中心軸に相当する位置を指す。第３モデル５３生成用の訓練データには、境界情報の正解値として、第１次ＳＣＪ及び第２次ＳＣＪ以外に子宮口の中心位置の正解値が付与されている。サーバ１は当該訓練データを学習することで、ＳＣＪに加えて、子宮口の中心位置を検出する第３モデル５３を生成する。子宮口の中心とＳＣＪとの間の距離の計測について、詳しくは後述する。
　画像診断装置２は、第２モデル５２及び第３モデル５３のデータをサーバ１から予め取得し、補助記憶部２７に記憶している。カメラ３０により被検者の子宮膣部を撮像した場合、画像診断装置２はまず、第２モデル５２及び第３モデル５３に医用画像を入力することで、所見情報及び境界情報を推定する。すなわち、画像診断装置２は、医用画像を第２モデル５２に入力することで所見情報を推定し、医用画像を第３モデル５３に入力することでＳＣＪ及び子宮口の中心位置を検出する。
　図１２は、実施の形態２に係る画像診断装置２の表示画面例を示す説明図である。第２モデル５２及び第３モデル５３により所見情報及び境界情報を推定した場合、画像診断装置２は、図１２に示す画面を表示する。当該画面は、所見情報及び境界情報の推定結果の表示画面であり、推定結果が正しいか否かユーザに確認を促す画面である。例えば図１２に示すように、画像診断装置２は、病変の性状に応じた表示態様のオブジェクトを病変領域に重畳した所見画像１２１と、第１次ＳＣＪ、第２次ＳＣＪ、及び子宮口の中心位置を表すオブジェクトを重畳した境界画像１２２とを表示する。
　この場合に画像診断装置２は、境界画像１２２を表示するほかに、ＳＣＪと子宮口の中心との間の平均距離を算出し、距離表示欄１２３に表示する。
　図１３は、子宮口の中心とＳＣＪとの間の平均距離の算出処理に関する説明図である。図１３では、子宮口の中心と、ＳＣＪ上の点とを結ぶ線分を矢印で図示している。画像診断装置２は、ＳＣＪ（例えば第２次ＳＣＪ）上に等間隔でｎ個の点を取り、各点と子宮口の中心との距離を算出する。そして画像診断装置２は、各点の距離の平均を取ることで、子宮口の中心とＳＣＪとの間の平均距離を算出する。
　画像診断装置２は、算出した平均距離を距離表示欄１２３に表示する。既に触れたように、ＳＣＪが子宮口の中心に近いほど病変発症からの経過時間が長く、移行帯から発生する病変が子宮頸管内に進行している可能性がある。そこで画像診断装置２は、子宮口の中心とＳＣＪとの間の平均距離を算出する。これにより、病変がどの程度子宮頸管内に進行している可能性があるか、その判断基準をユーザに提示する。
　なお、本実施の形態では第３モデル５３により子宮口の中心位置を検出するものとするが、第３モデル５３以外のアルゴリズム（例えば画像のパターンマッチング）で子宮口の中心位置を検出するものとしてもよい。すなわち、画像診断装置２は子宮口の中心位置を検出可能であればよく、第３モデル５３により子宮口の中心位置を検出する構成は必須ではない。
　図１２に戻って説明を続ける。画像診断装置２は図１２の画面において、第２モデル５２及び第３モデル５３により推定された所見情報及び境界情報を修正する入力をユーザから受け付ける。
　具体的には、画像診断装置２は所見画像１２１に対し、オブジェクトの表示態様（表示色）で表す病変の性状、及び／又は病変領域の座標範囲を修正する入力を受け付ける。例えば画像診断装置２は、マウスによるオブジェクトへの右クリック操作等によって、オブジェクトの表示色で表す病変の性状（コルポスコピー所見分類）の変更を受け付ける。また、画像診断装置２は、マウスによりオブジェクト（境界線）上の任意の点を指定し、指定された点の位置を移動させるカーソル操作を受け付けることで、病変領域の修正入力を受け付ける。
　また、画像診断装置２は境界画像１２２に対し、第１次ＳＣＪ及び第２次ＳＣＪの位置を修正する入力を受け付ける。例えば画像診断装置２は、マウス等によって、第１次ＳＣＪ及び／又は第２次ＳＣＪを表すオブジェクト（境界線）上の任意の点の指定入力を受け付けると共に、指定された点を移動させるカーソル操作を受け付ける。
　図１２の画面で「ＯＫ」のボタンが操作された場合、画像診断装置２は、修正後の所見画像１２１及び境界画像１２２を第１モデル５１に入力することで、子宮頸管内の病変情報を推定する。なお、所見情報及び境界情報の修正が行わなかった場合、デフォルトの所見画像１２１及び境界画像１２２をそのまま第１モデル５１に入力することは勿論である。実施の形態１と同様に、画像診断装置２は、病変情報の推定結果を表示する（図７参照）。
　なお、病変情報を推定する場合に、画像診断装置２は、上記で算出した子宮口の中心とＳＣＪとの間の平均距離を併せて第１モデル５１に入力するようにしてもよい。これにより、ＳＣＪがどの程度子宮口の中心に近いかを考慮して、子宮頸管内への病変の進行度合いを推定することができる。
　図１４は、第２モデル５２の生成処理の手順例を示すフローチャートである。図１４に基づき、機械学習により第２モデル５２を生成する処理内容について説明する。
　サーバ１の制御部１１は、子宮膣部を撮像した医用画像群に対し、所見情報の正解値が対応付けられた訓練データを取得する（ステップＳ２０１）。訓練用の医用画像群は、過去に子宮頸癌診断を受けた被検者らの子宮膣部の画像群であり、例えばコルポスコピー検査画像である。所見情報の正解値は、当該被検者らのコルポスコピー診の診断結果であり、子宮膣部に存在する病変の性状と、子宮膣部において病変が存在する医用画像中の病変領域（画像領域）との正解値である。
　制御部１１は訓練データに基づき、医用画像を入力した場合に所見情報を推定する第２モデル５２を生成する（ステップＳ２０２）。例えば制御部１１は、医用画像を入力した場合に、各性状の病変領域を識別するニューラルネットワークを生成する。制御部１１は、訓練用の医用画像を第２モデル５２に入力して、病変の性状及び病変領域の推定値を取得する。制御部１１は、推定値と正解値とが近似するように、ニューロン間の重み等のパラメータを最適化することで、第２モデル５２を生成する。制御部１１は一連の処理を終了する。
　図１５は、第３モデル５３の生成処理の手順例を示すフローチャートである。図１５に基づき、機械学習により第３モデル５３を生成する処理内容について説明する。
　サーバ１の制御部１１は、子宮膣部を撮像した医用画像群に対し、境界情報の正解値が対応付けられた訓練データを取得する（ステップＳ２２１）。訓練用の医用画像群は、過去に子宮頸癌診断を受けた被検者らの子宮膣部の画像群であり、例えばコルポスコピー検査画像である。境界情報の正解値は、扁平上皮と円柱上皮との境界部（ＳＣＪ）の位置の正解値であり、第１次ＳＣＪ及び第２次ＳＣＪの位置の正解値のほか、子宮口の中心位置の正解値を含む。
　制御部１１は訓練データに基づき、医用画像を入力した場合に扁平上皮と円柱上皮との境界部を検出する第３モデル５３を生成する（ステップＳ２２２）。例えば制御部１１は、医用画像を入力した場合に、第１次ＳＣＪ及び第２次ＳＣＪの位置と、子宮口の中心位置とを検出するニューラルネットワークを生成する。制御部１１は、訓練用の医用画像を第３モデル５３に入力することで、第１次ＳＣＪ、第２次ＳＣＪ、及び子宮口の中心位置を検出する。制御部１１は、検出値が正解値と近似するようにニューロン間の重み等のパラメータを最適化することで、第３モデル５３を生成する。制御部１１は一連の処理を終了する。
　図１６は、実施の形態２に係る病変推定処理の手順例を示すフローチャートである。被検者の子宮膣部の医用画像を取得した後（ステップＳ３１）、画像診断装置２は以下の処理を実行する。
　画像診断装置２の制御部２１は、医用画像を第２モデル５２に入力することで所見情報を推定するサブルーチンを実行する（ステップＳ２４１）。具体的には、制御部２１は、医用画像を第２モデル５２に入力することで、医用画像に占める各性状の病変領域を識別する。
　制御部２１は、医用画像を第３モデル５３に入力することで、扁平上皮と円柱上皮との境界部を検出するサブルーチンを実行する（ステップＳ２４２）。具体的には、制御部２１は、医用画像を第３モデル５３に入力することで、第１次ＳＣＪ及び第２次ＳＣＪそれぞれの位置と、子宮口の中心位置とを検出する。制御部２１は、処理をステップＳ３４に移行する。
　図１７は、所見情報推定のサブルーチンの処理手順例を示すフローチャートである。図１７に基づき、ステップＳ２４１のサブルーチンの処理内容について説明する。
　画像診断装置２の制御部２１は、医用画像を第２モデル５２に入力することで、子宮膣部における病変に関する所見情報を推定する（ステップＳ２６１）。具体的には、制御部２１は、子宮膣部に存在する病変の性状と、子宮膣部において病変が存在する医用画像中の病変領域（画像領域）とを推定する。
　制御部２１は、推定された所見情報を表示部２４に表示する（ステップＳ２６２）。具体的には、制御部２１は、医用画像中の病変領域に、病変の性状に応じた表示態様のオブジェクトを重畳した所見画像１２１を生成し、表示する。制御部２１は、ユーザからの操作入力に応じて、所見情報が正しいか否かを判定する（ステップＳ２６３）。所見情報が正しくないと判定した場合（Ｓ２６３：ＮＯ）、制御部１１は、所見情報を修正する入力をユーザから受け付ける（ステップＳ２６４）。具体的には、制御部１１は、オブジェクトの表示態様（表示色）で示す病変の性状、及び／又はオブジェクトの形状（境界線）で示す病変領域の座標範囲を修正する入力を受け付ける。ステップＳ２６４の処理を実行後、又はステップＳ２６３でＹＥＳの場合、制御部１１はサブルーチンをリターンする。
　図１８は、境界部検出のサブルーチンの処理手順例を示すフローチャートである。図１８に基づき、ステップＳ２４２のサブルーチンの処理内容について説明する。
　画像診断装置２の制御部２１は、医用画像を第３モデル５３に入力することで、扁平上皮と円柱上皮との境界部（ＳＣＪ）を検出する（ステップＳ２８１）。具体的には、制御部２１は、第１次ＳＣＪ及び第２次ＳＣＪそれぞれの位置を検出するほか、子宮口の中心位置を検出する。
　制御部２１は、境界部の検出結果を表示部２４に表示する（ステップＳ２８２）。具体的には、制御部１１は、医用画像中の第１次ＳＣＪ及び第２次ＳＣＪそれぞれに、第１次ＳＣＪ及び第２次ＳＣＪであることを表すオブジェクトを重畳した境界画像１２２を生成し、表示する。制御部２１は、ユーザからの操作入力に応じて、境界部の検出結果が正しいか否かを判定する（ステップＳ２８３）。境界部の検出結果が正しくないと判定した場合（Ｓ２８３：ＮＯ）、制御部２１は、境界部の位置を修正する入力をユーザから受け付ける（ステップＳ２８４）。具体的には、制御部２１は、オブジェクト（境界線）として表示された第１次ＳＣＪ及び第２次ＳＣＪの位置を修正する入力を受け付ける。
　ステップＳ２８４の処理を実行後、又はステップＳ２８３でＹＥＳの場合、制御部２１は、子宮口の中心と、境界部（例えば第２次ＳＣＪ）との間の平均距離を算出し、表示する（ステップＳ２８５）。制御部２１はサブルーチンをリターンする。
　以上より、本実施の形態２によれば、子宮膣部を撮像した医用画像から所見情報及び境界情報を推定し、推定した所見情報及び境界情報を第１モデル５１に入力することで子宮頸管内の病変情報を推定する。これにより、病変情報をより好適に推定することができる。
（変形例）
　実施の形態２では、第２モデル５２及び第３モデル５３により推定された所見情報及び境界情報をユーザが修正する形態について説明した。一方で、ユーザが修正した所見情報及び境界情報を第２モデル５２及び第３モデル５３に再学習させるようにしてもよい。以下では、修正後の所見情報及び境界情報に基づいて第２モデル５２及び第３モデル５３を更新（再学習）する形態について説明する。
　図１９は、変形例に係る病変推定処理の手順例を示すフローチャートである。第１モデル５１により推定された病変情報を表示した後（ステップＳ３５）、画像診断装置２は以下の処理を実行する。
　画像診断装置２の制御部２１は、ステップＳ３１で取得した医用画像と、ステップＳ２６４、Ｓ２８４で修正された所見情報及び／又は境界情報（図１７、１８参照）とを再学習用の訓練データとして、第２モデル５２及び／又は第３モデル５３を更新する（ステップＳ３０１）。具体的には、制御部２１は、ユーザが修正した病変の性状及び／又は病変領域を再学習用の正解値として第２モデル５２に与え、第２モデル５２のニューロン間の重み等のパラメータを更新する。また、制御部２１は、ユーザが修正した第１次ＳＣＪ、第２次ＳＣＪ、及び／又は子宮口の中心位置を再学習用の正解値として第３モデル５３に与え、第３モデル５３のニューロン間の重み等のパラメータを更新する。制御部２１は一連の処理を終了する。
　以上より、本変形例によれば、本システムの運用を通じて第２モデル５２及び第３モデル５３を最適化し、推定精度を向上させることができる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１　　サーバ
　１１　制御部
　１２　主記憶部
　１３　通信部
　１４　補助記憶部
　Ｐ１　プログラム
　２　　画像診断装置
　２１　制御部
　２２　主記憶部
　２３　通信部
　２４　表示部
　２５　入力部
　２６　画像処理部
　２７　補助記憶部
　Ｐ２　プログラム
　５１　第１モデル
　５２　第２モデル
　５３　第３モデル

Claims (32)

  1. 　子宮膣部を撮像した医用画像を取得し、
    　前記医用画像を入力した場合に子宮頸管内の病変に関する病変情報を推定するよう学習済みの第１モデルに、取得した前記医用画像を入力することで前記病変情報を推定する
    　処理をコンピュータに実行させるプログラム。
  2. 　前記医用画像を前記第１モデルに入力することで、病変の程度及び種類を表す指標と、病変が存在する前記子宮頸管内の病変範囲とを示す前記病変情報を推定する
    　請求項１に記載のプログラム。
  3. 　前記指標は、前癌病変の程度及び種類を表す分類指標を含む
    　請求項２に記載のプログラム。
  4. 　前記指標は、前癌病変を表す分類指標と、癌化病変を表す分類指標とを含む
    　請求項２又は３に記載のプログラム。
  5. 　前記病変範囲として、前記子宮頸管の組織表面からの病変の深さと、前記子宮頸管の長手方向に沿う病変の長さと、該深さ及び長さの病変の前記子宮頸管内の位置とを推定する
    　請求項２～４のいずれか１項に記載のプログラム。
  6. 　推定した前記病変情報に基づき、前記指標に応じた表示態様のオブジェクトを前記病変範囲に重畳した前記子宮頸管の３次元画像を生成し、
    　生成した前記３次元画像を表示部に表示する
    　請求項２～５のいずれか１項に記載のプログラム。
  7. 　前記医用画像と、前記子宮膣部に存在する病変の性状、及び前記子宮膣部において病変が存在する前記医用画像中の画像領域を示す所見情報とを前記第１モデルに入力することで、前記病変情報を推定する
    　請求項１～６のいずれか１項に記載のプログラム。
  8. 　前記医用画像を入力した場合に前記所見情報を推定するよう学習済みの第２モデルに、取得した前記医用画像を入力することで前記所見情報を推定し、
    　推定した前記所見情報と、前記医用画像とを前記第１モデルに入力することで前記病変情報を推定する
    　請求項７に記載のプログラム。
  9. 　前記第２モデルにより推定した前記所見情報を修正する入力を受け付け、
    　前記医用画像と、修正後の前記所見情報とに基づき、前記第２モデルを更新する
    　請求項８に記載のプログラム。
  10. 　前記医用画像と、前記医用画像に写る円柱上皮と扁平上皮との境界部の位置を示す境界情報とを前記第１モデルに入力することで、前記病変情報を推定する
    　請求項１～９のいずれか１項に記載のプログラム。
  11. 　前記医用画像を入力した場合に前記境界情報を推定するよう学習済みの第３モデルに、取得した前記医用画像を入力することで前記境界情報を推定し、
    　推定した前記境界情報と、前記医用画像とを前記第１モデルに入力することで前記病変情報を推定する
    　請求項１０に記載のプログラム。
  12. 　前記第３モデルにより推定した前記境界情報を修正する入力を受け付け、
    　前記医用画像と、修正後の前記境界情報とに基づき、前記第３モデルを更新する
    　請求項１１に記載のプログラム。
  13. 　子宮膣部を撮像した医用画像を取得し、
    　前記医用画像を入力した場合に子宮頸管内の病変に関する病変情報を推定するよう学習済みの第１モデルに、取得した前記医用画像を入力することで前記病変情報を推定する
    　処理をコンピュータが実行する情報処理方法。
  14. 　子宮膣部を撮像した医用画像を取得する取得部と、
    　前記医用画像を入力した場合に子宮頸管内の病変に関する病変情報を推定するよう学習済みの第１モデルに、取得した前記医用画像を入力することで前記病変情報を推定する推定部と
    　を備える画像診断装置。
  15. 　子宮膣部を撮像した医用画像群に対し、子宮頸管内の病変に関する病変情報の正解値が対応付けられた訓練データを取得し、
    　前記訓練データに基づき、前記医用画像を入力した場合に前記病変情報を推定する第１モデルを生成する
    　処理をコンピュータが実行する学習済みモデルの生成方法。
  16. 　子宮膣部を撮像した医用画像を取得し、
    　前記医用画像を入力した場合に、前記子宮膣部に存在する病変の性状、及び前記子宮膣部において病変が存在する前記医用画像中の画像領域を示す所見情報を推定するよう学習済みの第２モデルに、取得した前記医用画像を入力することで前記所見情報を推定する
    　処理をコンピュータに実行させるプログラム。
  17. 　推定した前記所見情報に基づき、前記医用画像中の前記画像領域に、前記性状に応じた表示態様のオブジェクトを重畳した所見画像を生成し、
    　生成した前記所見画像を出力する
    　請求項１６に記載のプログラム。
  18. 　出力した前記所見画像に対し、前記性状又は画像領域を修正する入力を受け付け、
    　前記医用画像と、修正後の前記性状又は画像領域とに基づき、前記第２モデルを更新する
    　請求項１７に記載のプログラム。
  19. 　前記医用画像はコルポスコピー検査画像であり、
    　前記医用画像を前記第２モデルに入力することで、コルポスコープ所見分類に従って分類した各病変に対応する画像領域を識別する
    　請求項１６～１８のいずれか１項に記載のプログラム。
  20. 　前記医用画像及び所見情報を入力した場合に子宮頸管内の病変に関する病変情報を推定するよう学習済みの第１モデルに、取得した前記医用画像と、推定した前記所見情報とを入力することで前記病変情報を推定する
    　請求項１６～１９のいずれか１項に記載のプログラム。
  21. 　子宮膣部を撮像した医用画像を取得し、
    　前記医用画像を入力した場合に、前記子宮膣部に存在する病変の性状、及び前記子宮膣部において病変が存在する前記医用画像中の画像領域を示す所見情報を推定するよう学習済みの第２モデルに、取得した前記医用画像を入力することで前記所見情報を推定する
    　処理をコンピュータが実行する情報処理方法。
  22. 　子宮膣部を撮像した医用画像を取得する取得部と、
    　前記医用画像を入力した場合に、前記子宮膣部に存在する病変の性状、及び前記子宮膣部において病変が存在する前記医用画像中の画像領域を示す所見情報を推定するよう学習済みの第２モデルに、取得した前記医用画像を入力することで前記所見情報を推定する推定部と
    　を備える画像診断装置。
  23. 　子宮膣部を撮像した医用画像群に対し、前記子宮膣部に存在する病変の性状、及び前記子宮膣部において病変が存在する前記医用画像中の画像領域を示す所見情報の正解値が対応付けられた訓練データを取得し、
    　前記訓練データに基づき、前記医用画像を入力した場合に所見情報を推定する第２モデルを生成する
    　処理をコンピュータが実行する学習済みモデルの生成方法。
  24. 　子宮膣部を撮像した医用画像を取得し、
    　前記医用画像を入力した場合に扁平上皮と円柱上皮との境界部を検出するよう学習済みの第３モデルに、取得した前記医用画像を入力することで前記境界部を検出する
    　処理をコンピュータに実行させるプログラム。
  25. 　前記医用画像を前記第３モデルに入力することで、第１次扁平円柱上皮境界と、第２次扁平円柱上皮境界とを検出する
    　請求項２４に記載のプログラム。
  26. 　前記医用画像から更に、子宮口の中心位置を検出し、
    　前記境界部と前記子宮口の中心位置との間の平均距離を算出する
    　請求項２４又は２５に記載のプログラム。
  27. 　検出した前記医用画像中の前記境界部に、該境界部であることを表すオブジェクトを重畳した境界画像を生成し、
    　生成した前記境界画像を出力する
    　請求項２４～２６のいずれか１項に記載のプログラム。
  28. 　出力した前記境界画像に対し、前記境界部の位置を修正する入力を受け付け、
    　前記医用画像と、修正後の前記境界部の位置とに基づき、前記第３モデルを更新する
    　請求項２７に記載のプログラム。
  29. 　前記医用画像と、該医用画像中の前記境界部の位置を示す境界情報とを入力した場合に子宮頸管内の病変に関する病変情報を推定するよう学習済みの第１モデルに、取得した前記医用画像と、検出した前記境界部の位置を示す境界情報とを入力することで前記病変情報を推定する
    　請求項２４～２８のいずれか１項に記載のプログラム。
  30. 　子宮膣部を撮像した医用画像を取得し、
    　前記医用画像を入力した場合に扁平上皮と円柱上皮との境界部を検出するよう学習済みの第３モデルに、取得した前記医用画像を入力することで前記境界部を検出する
    　処理をコンピュータが実行する情報処理方法。
  31. 　子宮膣部を撮像した医用画像を取得する取得部と、
    　前記医用画像を入力した場合に扁平上皮と円柱上皮との境界部を検出するよう学習済みの第３モデルに、取得した前記医用画像を入力することで前記境界部を検出する検出部と
    　を備える画像診断装置。
  32. 　子宮膣部を撮像した医用画像群に対し、扁平上皮と円柱上皮との境界部の位置の正解値が対応付けられた訓練データを取得し、
    　前記訓練データに基づき、前記医用画像を入力した場合に前記境界部を検出する第３モデルを生成する
    　処理をコンピュータが実行する学習済みモデルの生成方法。
     
PCT/JP2022/010315 2021-03-17 2022-03-09 プログラム、情報処理方法、画像診断装置及び学習済みモデルの生成方法 WO2022196493A1 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2021043993 2021-03-17
JP2021-043993 2021-03-17
JP2021-043991 2021-03-17
JP2021043991 2021-03-17
JP2021043992 2021-03-17
JP2021-043992 2021-03-17

Publications (1)

Publication Number Publication Date
WO2022196493A1 true WO2022196493A1 (ja) 2022-09-22

Family

ID=83320601

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010315 WO2022196493A1 (ja) 2021-03-17 2022-03-09 プログラム、情報処理方法、画像診断装置及び学習済みモデルの生成方法

Country Status (1)

Country Link
WO (1) WO2022196493A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000515407A (ja) * 1996-08-02 2000-11-21 ボード オブ リージェンツ，ザ ユニバーシティ オブ テキサス システム 上皮被覆内臓組織の特徴付けのための方法および装置
JP2013526930A (ja) * 2010-05-03 2013-06-27 エスティーアイ・メディカル・システムズ・エルエルシー 子宮頸部新生物検出および診断のための画像分析
JP2014508021A (ja) * 2011-03-16 2014-04-03 コーニンクレッカ フィリップス エヌ ヴェ 頸部を検査する医療機器
WO2020021261A1 (en) * 2018-07-24 2020-01-30 Dysis Medical Limited Computer classification of biological tissue

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000515407A (ja) * 1996-08-02 2000-11-21 ボード オブ リージェンツ，ザ ユニバーシティ オブ テキサス システム 上皮被覆内臓組織の特徴付けのための方法および装置
JP2013526930A (ja) * 2010-05-03 2013-06-27 エスティーアイ・メディカル・システムズ・エルエルシー 子宮頸部新生物検出および診断のための画像分析
JP2014508021A (ja) * 2011-03-16 2014-04-03 コーニンクレッカ フィリップス エヌ ヴェ 頸部を検査する医療機器
WO2020021261A1 (en) * 2018-07-24 2020-01-30 Dysis Medical Limited Computer classification of biological tissue

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AINA OLUWATOMISIN E.; ADESHINA STEVE A.; AIBINU A.M: "Deep Learning for Image-based Cervical Cancer Detection and Diagnosis — A Survey", 2019 15TH INTERNATIONAL CONFERENCE ON ELECTRONICS, COMPUTER AND COMPUTATION (ICECCO), IEEE, 10 December 2019 (2019-12-10), pages 1 - 7, XP033744875, DOI: 10.1109/ICECCO48375.2019.9043220 *
GORANTLA ROHAN; SINGH RAJEEV KUMAR; PANDEY ROHAN; JAIN MAYANK: "Cervical Cancer Diagnosis using CervixNet - A Deep Learning Approach", 2019 IEEE 19TH INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOENGINEERING (BIBE), IEEE, 28 October 2019 (2019-10-28), pages 397 - 404, XP033680531, DOI: 10.1109/BIBE.2019.00078 *

Similar Documents

Publication Publication Date Title
CA3099180C (en) Computer classification of biological tissue
US9430825B2 (en) Image processing apparatus, control method, and computer readable storage medium for analyzing retina layers of an eye
KR102027276B1 (ko) 화상처리장치, 화상처리방법 및 프로그램
JP6038799B2 (ja) 光干渉断層法を用いた３ｄ網膜分離検出
CN110177504B (zh) 超声图像中参数测量的方法和超声成像系统
JP4909378B2 (ja) 画像処理装置及びその制御方法、コンピュータプログラム
JP5148928B2 (ja) 眼底検査装置及びプログラム
JP5631339B2 (ja) 画像処理装置、画像処理方法、眼科装置、眼科システム及びコンピュータプログラム
EP2566384A1 (en) Image analysis for cervical neoplasia detection and diagnosis
Yang et al. Using artificial intelligence to assist radiologists in distinguishing COVID-19 from other pulmonary infections
WO2019073962A1 (ja) 画像処理装置及びプログラム
JP2012061337A (ja) 画像処理装置及びその制御方法、コンピュータプログラム
Maqsood et al. Detection of macula and recognition of aged-related macular degeneration in retinal fundus images
Yan et al. HLDnet: Novel deep learning based artificial intelligence tool fuses acetic acid and Lugol’s iodine cervicograms for accurate pre-cancer screening
Hassan et al. Automated segmentation and extraction of posterior eye segment using OCT scans
WO2022196493A1 (ja) プログラム、情報処理方法、画像診断装置及び学習済みモデルの生成方法
Lu et al. Parapapillary atrophy and optic disc region assessment (PANDORA): retinal imaging tool for assessment of the optic disc and parapapillary atrophy
George et al. A two-stage CNN model for the classification and severity analysis of retinal and choroidal diseases in OCT images
Li et al. The use of deep learning technology for the detection of optic neuropathy
JP2019202229A (ja) 画像処理装置、画像処理方法及びプログラム
Kulikov et al. Artificial intelligence and machine learning for optical coherence tomography-based diagnosis in central serous chorioretinopathy
US12002573B2 (en) Computer classification of biological tissue
Hill Segmentation of oral optical coherence tomography with deep learning
Wong et al. Localization of Anatomical Features in Vascular-enhanced Enface OCT Images
US20220343497A1 (en) Burn severity identification and analysis through three-dimensional surface reconstruction from visible and infrared imagery

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22771244

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22771244

Country of ref document: EP

Kind code of ref document: A1