WO2020174862A1 - 情報処理装置、情報処理方法および情報処理システム - Google Patents

情報処理装置、情報処理方法および情報処理システム Download PDF

Info

Publication number
WO2020174862A1
WO2020174862A1 PCT/JP2019/050836 JP2019050836W WO2020174862A1 WO 2020174862 A1 WO2020174862 A1 WO 2020174862A1 JP 2019050836 W JP2019050836 W JP 2019050836W WO 2020174862 A1 WO2020174862 A1 WO 2020174862A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image data
area
information processing
area information
Prior art date
Application number
PCT/JP2019/050836
Other languages
English (en)
French (fr)
Inventor
真司 渡辺
一樹 相坂
芳男 相馬
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/433,555 priority Critical patent/US20220148323A1/en
Priority to CN201980092772.3A priority patent/CN113490842A/zh
Priority to JP2021501642A priority patent/JPWO2020174862A1/ja
Priority to EP19916743.8A priority patent/EP3933383A4/en
Publication of WO2020174862A1 publication Critical patent/WO2020174862A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20096—Interactive definition of curve of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and an information processing system.
  • the predetermined process is the learning process
  • the information indicating the contour of the target region is used as machine learning teacher data.
  • the target area is a lesion area
  • AI artificial intelligence
  • the area information of the target area used as teacher data is also simply referred to as "annotation”.
  • Various techniques have been disclosed as techniques for obtaining annotations (see Non-Patent Document 1, for example).
  • the user attempts to input the contour of the target region by drawing a curve on the image data using an input device (eg, a mouse or an electronic pen).
  • an input device eg, a mouse or an electronic pen.
  • a display control unit that controls display of image data showing a living body region, an information acquisition unit that acquires first region information input for the image data, the image data, and the first
  • An information processing apparatus including: a processing unit that generates second area information based on one area information and a fitting mode.
  • a processor controls display of image data showing a living body region, the processor acquires first region information input to the image data, and the processor And generating second area information based on the image data, the first area information, and a fitting mode.
  • a reading device that generates scan data including image data in which the living body region is read by reading the living body region, a display control unit that controls display of the image data, and An information acquisition unit that acquires the first region information that has been input as a result, and a processing unit that generates second region information based on the image data, the first region information, and a fitting mode.
  • An information processing system having a processing device is provided.
  • an information processing system including a medical image capturing device and software used for processing image data corresponding to an object captured by the medical image capturing device, wherein the software is , Acquiring the first region information input for the first image data corresponding to the first biological tissue, and determining the first region information based on the first image data, the first region information, and the fitting mode.
  • an information processing system that causes an information processing apparatus to execute a process of generating area information of No. 2.
  • FIG. 6 is a diagram for explaining an example in which a target region selected from image data is used for analysis of the expression level of PD-L1 molecule. It is a figure for explaining an example of visualization of a search range. It is a figure for explaining an example of visualization of a search range.
  • FIG. 3 is a block diagram showing a hardware configuration example of an information processing device according to an embodiment of the present disclosure.
  • a plurality of constituent elements having substantially the same or similar functional configuration may be distinguished by attaching different numbers after the same reference numerals. However, when it is not necessary to specifically distinguish each of the plurality of constituent elements having substantially the same or similar functional configuration, only the same reference numeral is given.
  • similar components of different embodiments may be distinguished by attaching different alphabets after the same reference numerals. However, if there is no particular need to distinguish between similar components, only the same reference numerals will be given.
  • a technique for selecting a region (target region) used for a predetermined process in image data showing a living body region has been known.
  • the predetermined process is the learning process
  • the information indicating the contour of the target region is used as machine learning teacher data.
  • the target area is a lesion area
  • AI artificial intelligence
  • the area information of the target area used as teacher data is also simply referred to as "annotation”.
  • Various techniques have been disclosed as techniques for obtaining an annotation.
  • the user attempts to input the contour of the target region by drawing a curve on the image data using an input device (eg, mouse or pen tablet).
  • an input device eg, mouse or pen tablet
  • the embodiment of the present disclosure will mainly describe a technique capable of selecting a target region with high accuracy while reducing a user's effort in image data in which a living body region is captured. More specifically, in the embodiment of the present disclosure, when the area information of the target area is used as teacher data for machine learning, a technique capable of obtaining a highly accurate annotation while reducing the user's effort. Mainly explained.
  • the label attached to the target area is also used as teacher data for machine learning.
  • the label may be information about the target area.
  • the information regarding the target area may include a diagnosis result.
  • the diagnostic result may include at least one of the subtype of cancer, the stage of cancer, and the degree of differentiation of cancer cells. The degree of differentiation can be used to predict information such as what kind of drug (such as an anticancer drug) is likely to work.
  • the information regarding the target area may include the analysis result.
  • the analysis result may include at least one of the presence or absence of a lesion in the target area, the probability that the lesion is included in the target area, the position of the lesion, and the type of the lesion.
  • annotation data the labels and annotations used as teacher data are collectively referred to as "annotation data”.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system according to an embodiment of the present disclosure.
  • the information processing system 1 according to the embodiment of the present disclosure includes an information processing device 10, a scanner 30 (reading device), a network 70, and a learning device 50.
  • the information processing device 10, the scanner 30, and the learning device 50 are configured to be able to communicate with each other via the network 70.
  • the information processing device 10 is composed of, for example, a computer.
  • the information processing device 10 is used by a user (for example, a doctor).
  • a user for example, a doctor
  • various operations by the user are directly input to the information processing apparatus 10.
  • various operations by the user may be input to the information processing apparatus 10 via a terminal (not shown).
  • various types of presentation information to the user are directly output from the information processing device 10.
  • various kinds of presentation information to the user may be output from the information processing device 10 via a terminal not shown.
  • the scanner 30 reads a living body region. As a result, the scanner 30 generates scan data including image data showing a living body region.
  • the living body region may correspond to a specimen obtained from the specimen.
  • the scanner 30 has an image sensor, and an image of the sample is picked up by the image sensor to generate scan data including image data of the sample.
  • the reading method of the scanner 30 is not limited to a particular type.
  • the reading method of the scanner 30 may be a CCD (Charge Coupled Device) type or a CIS (Contact Image Sensor) type.
  • the CCD type is equivalent to a type in which light reflected from a sample is reflected and collected by a mirror and then the light sent through a lens is read by a CCD sensor and the light read by the CCD sensor is converted into image data.
  • the CIS method uses RGB three-color LEDs (Light Emitting Diodes) as a light source, reads the result of light reflected from the light source to the sample by a photo sensor, and converts the read result into image data. Can be equivalent.
  • image data showing a lesion area is used as image data.
  • image data according to the embodiment of the present disclosure is not limited to lesion image data.
  • a method is used in which a large image is created by stitching together multiple images of a specimen (slide) set on the stage of a scanner (digital microscope). obtain. This method is called whole slide imaging (WSI).
  • the learning device 50 is composed of, for example, a computer.
  • the learning device 50 generates a classifier and data (model data) used by the classifier by performing machine learning using image data and annotation data (annotation and label).
  • AI for example, AI that automatically performs diagnosis
  • Deep learning can typically be used for machine learning.
  • the embodiments of the present disclosure mainly assume a case where the classifier is realized by a neural network.
  • the model data may correspond to the weight of each neuron of the neural network.
  • the discriminator may be realized by means other than the neural network.
  • the classifier may be implemented by a random forest, a support vector machine, or an AdaBoost.
  • the information processing device 10, the scanner 30, and the learning device 50 exist as separate devices. However, part or all of the information processing device 10, the scanner 30, and the learning device 50 may exist as one device. Alternatively, some of the functions of any of the information processing device 10, the scanner 30, and the learning device 50 may be incorporated in another device.
  • the technology for constructing an AI that automatically diagnoses from lesion image data is rapidly spreading.
  • the lesion image data may be a large piece of image data obtained by the above WSI method or a part of image data cut out from an image obtained by the WSI method.
  • Machine learning based on lesion image data and annotation data is used to construct an AI that automatically diagnoses from lesion image data.
  • the construction of an AI that automatically diagnoses may include "preparation of image data”, “generation of annotation data”, “processing annotation data into learning data”, “machine learning”, and “evaluation of results”.
  • processing of annotation data into learning data the size of the annotation is adjusted, and the masking process is performed on the target area labeled with the image data to obtain a mask image.
  • “generation of annotation data” has a main characteristic, “generation of annotation data” will be mainly described below.
  • FIG. 2 is a diagram illustrating a functional configuration example of the information processing device 10 according to the embodiment of the present disclosure.
  • the information processing device 10 includes an information acquisition unit 111, a processing unit 112, a display control unit 113, an image data reception unit 120, a storage unit 130, an operation unit 140, and a transmission unit 150. ..
  • the information acquisition unit 111, the processing unit 112, and the display control unit 113 may be configured by a processing device such as one or a plurality of CPUs (Central Processing Units). Such a processing device may be constituted by an electronic circuit.
  • the information acquisition unit 111, the processing unit 112, and the display control unit 113 can be realized by executing a program (software) by the processing device.
  • the information acquisition unit 111 acquires various operations from the operation unit 140.
  • the processing unit 112 generates annotation data based on the image data and various operations.
  • the display control unit 113 is connected to the display device. Note that the embodiment of the present disclosure mainly assumes a case where the display device is outside the information processing device 10. However, the display device may be present inside the information processing device 10.
  • the display device may be realized by a display, and the display may be a liquid crystal display, an organic EL (Electro-Luminescence) display, or another display.
  • the storage unit 130 is a recording medium configured to include a memory and stores a program executed by the processing device and data necessary for executing the program. Further, the storage unit 130 temporarily stores data for calculation by the processing device.
  • the storage unit 130 is configured by a magnetic storage device, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the operation unit 140 has a function of accepting an operation input by a user.
  • the operation unit 140 includes a mouse and a keyboard.
  • the operation unit 140 is not limited to the one including the mouse and the keyboard.
  • the operation unit 140 may include an electronic pen, a touch panel, or an image sensor that detects a line of sight.
  • the image data receiving unit 120 and the transmitting unit 150 are configured to include a communication circuit.
  • the image data receiving unit 120 has a function of receiving image data from the scanner 30 via the network 70.
  • the image data receiving unit 120 outputs the received image data to the processing unit 112.
  • the transmission unit 150 has a function of transmitting the annotation data to the learning device 50 via the network 70.
  • a tumor region is mainly assumed as an example of the target region.
  • examples of the target region include a region having a specimen, a tissue region, an artifact region, an epithelial tissue, a squamous epithelium, a gland region, a cell atypical region, and a tissue atypical region.
  • a boundary between a tumor area and a non-tumor area a boundary between an area with a sample and an area without a sample, a boundary between a tissue (foreground) area and a blank (background) area, an artifact Boundary between area and non-artifact, boundary between epithelial tissue and non-epithelial tissue, boundary between squamous epithelium and non-squamous epithelium, boundary between glandular area and non-glandular area, boundary between cell atypical area and other areas , A boundary between a tissue atypical region and other regions.
  • the image data receiving unit 120 of the information processing device 10 receives the image data.
  • the display control unit 113 controls the display device so that the image data is displayed by the display device.
  • the operation unit 140 receives the shape instruction from the user.
  • the information acquisition unit 111 acquires first area information (information indicating a boundary) based on a shape instruction from the user.
  • the user can also input the fitting mode.
  • the operation unit 140 accepts the fitting mode, and the information acquisition unit 111 acquires the fitting mode.
  • the processing unit 112 generates second area information (information indicating the contour of the initial area) based on the image data, the first area information, and the fitting mode. This makes it possible to select the target region with high accuracy while reducing the user's trouble in the image data showing the living body region.
  • the fitting mode is input by the user.
  • the fitting mode may be determined in any way.
  • the processing unit 112 may determine the fitting mode according to the characteristics of the image data and generate the second region information based on the determined fitting mode.
  • the fitting mode is not limited here.
  • examples of the fitting mode include “foreground/background fitting mode”, “cell membrane fitting mode”, and “cell nucleus fitting mode”.
  • the “foreground/background fitting mode” may correspond to a fitting mode for the boundary between the foreground and the background.
  • "Foreground background fitting mode” is used when the target area is one of the above types (area with specimen, tissue area, artifact area, epithelial tissue, squamous epithelium, gland area, cell atypical area, tissue atypical area, etc.) Can be applied.
  • the processing unit 112 can perform fitting using a segmentation algorithm by graph cut based on the image data and the first area information. Alternatively, machine learning may be used for the segmentation algorithm.
  • the “cell membrane fitting mode” can correspond to the fitting mode for the cell membrane.
  • the processing unit 112 recognizes the characteristics of the cell membrane from the image data and performs fitting along the cell membrane based on the recognized characteristics of the cell membrane and the first region information. I do. For example, in fitting, an edge dyed brown by immunostaining membrane staining can be used.
  • the "cell nucleus fitting mode” may correspond to the fitting mode for the cell nucleus.
  • the processing unit 112 recognizes the feature of the cell nucleus from the image data, and performs fitting along the cell nucleus based on the recognized feature of the cell nucleus and the first region information. I do. For example, when hematoxylin-eosin (HE) is used, the nucleus is stained blue. Therefore, when fitting, information on staining with hematoxylin-eosin (HE) may be used.
  • HE hematoxylin-eosin
  • the operation unit 140 receives the shape instruction from the user.
  • the information acquisition unit 111 acquires first area information (information indicating a boundary) based on a shape instruction from the user. More specifically, the information acquisition unit 111 may obtain the first area information (information indicating the boundary) based on the passing area or the peripheral area having the shape instructed for the image data.
  • the information acquisition unit 111 obtains first area information (information indicating a boundary) based on a segmentation algorithm by a graph cut applied to a passing area or a peripheral area having a shape instructed by the user for image data. May be. For example, it is assumed that the user instructs a shape such as a curve or a rectangle on the image data (for example, the user surrounds the area with the curve or the rectangle on the image data). In such a case, the information acquisition unit 111 may obtain the first area information (information indicating the boundary) by applying a segmentation algorithm by graph cut to the area surrounded by the shape (peripheral area).
  • the information acquisition unit 111 may obtain the first area information (information indicating a boundary) based on the characteristic data extracted from the passing area or the peripheral area having the shape instructed by the user for the image data. ..
  • the user specifies a shape such as a line segment or a point for the image data (for example, the user specifies both ends or a point of the line segment for the image data).
  • the information acquisition unit 111 expands and scans an area that matches or is similar to the characteristic data of the passing area or the surrounding area with the passing area or the surrounding area as a reference, and then performs the first area information (showing the boundary). Information).
  • the first area information (information indicating the boundary) may be obtained using machine learning. It is desirable that such machine learning be performed in advance. Also, a feature vector or vector quantization may be used to extract the feature data when a line segment or a point is designated. Further, as a feature extraction algorithm for finding a region that matches or is similar to the feature data of the passing region or the peripheral region, a method of matching the feature data using some hash code may be used.
  • the processing unit 112 determines the second area based on the image data and the first area information (information indicating the boundary). Area information (information indicating the initial area) is generated. For example, the processing unit 112 generates the second area information (information indicating the initial area) by performing fitting based on the image data and the first area information (information indicating the boundary). At this time, the display control unit 113 controls the display of the second area information (information indicating the initial area).
  • the second area information (information indicating the initial area) may be determined so that the accuracy (reliability) of the contour of the initial area becomes higher.
  • the certainty as the contour of the initial region may be obtained by using a graph cut with a random field set based on the first region information (information indicating a boundary) as a cost function.
  • an algorithm such as graph cut solves the energy minimization problem, it is mainly assumed here that the low energy is used for the certainty as the contour of the initial region.
  • the fitting method may be learned in advance using machine learning.
  • the target area is a tumor area
  • the target area is not limited to the tumor area.
  • the processing unit 112 may generate the third area information based on the image data and the second area information (information indicating the initial area). That is, the third area information may be generated by performing fitting again based on the image data and the second area information (information indicating the initial area). Alternatively, the processing unit 112 may generate the third area information based on the image data, the second area information, and the movable range of the fitting. For example, the movable range of the fitting may be specified by a ratio [%] and ⁇ pixels [pixel] with respect to the second area information. At this time, the display control unit 113 controls the display of the third area information.
  • the contour of the third region may approach the contour of the tumor region.
  • the contour of the third region is not always close to the contour of the tumor region, and the contour of the region after the fitting may be separated from the contour of the tumor region by repeatedly performing fitting. Therefore, it is desirable for the user to be able to select an appropriate number of repetitions while checking the contour of the area after performing the fitting.
  • the fitting may be repeatedly executed while keeping the magnification of the image data the same, or may be repeatedly executed while changing the magnification of the image data.
  • the processing unit 112 may determine the magnification of the image data based on the fitting mode. Alternatively, the processing unit 112 may determine the resolution of the image data based on the fitting mode.
  • FIG. 3 is a diagram showing an example of a case where the fitting is repeatedly executed while keeping the magnification of the image data the same.
  • the tumor area R10 is shown in each of the image data G10-1 to G10-4, and the image data G10-1 to G10-4 are displayed at the same magnification.
  • the curve T1 is first area information (information indicating a boundary) obtained based on a shape instruction from the user.
  • the curve T2 is second area information (information indicating the contour of the initial area) obtained by performing fitting based on the image data and the curve T1.
  • the curve T3 is the third region information obtained by performing the fitting based on the image data and the curve T2.
  • the curve T4 is the fourth area information obtained by performing the fitting based on the image data and the curve T3.
  • the display control unit 113 can switch the display target between the curve T1 and the curve T2 based on the switching operation. Further, the display control unit 113 can switch the display target between the curve T2 and the curve T3 based on the switching operation. Further, the display control unit 113 can switch the display target between the curve T3 and the curve T4 based on the switching operation.
  • the specific switching operation is not limited.
  • the switching operation may be an operation of pressing a button or a scroll operation (for example, an operation of moving a wheel of a mouse back and forth).
  • the display control unit 113 switches the display target from the curve T1 to the curve T2 after the fitting is performed when the operation of moving the mouse wheel in the forward direction is performed (S1). Furthermore, the display control unit 113 switches the display target from the curve T2 to the curve T3 after the fitting is performed when the operation of moving the mouse wheel in the forward direction is performed (S2). In addition, the display control unit 113 switches the display target from the curve T3 to the curve T4 after the fitting is performed when the operation of moving the wheel of the mouse in the forward direction is performed (S3).
  • the display control unit 113 can display the curve before the fitting is performed again when the switching operation is performed by the user. In the example illustrated in FIG. 3, the display control unit 113 switches the display target from the curve T4 to the curve T3 before performing the fitting when the operation of moving the mouse wheel in the forward direction is performed (S4).
  • the user can select a curve (curve T3 in the example shown in FIG. 3) close to the contour of the tumor region R10 by switching the curve to be displayed by the switching operation.
  • the processing unit 112 can select any of the curves T2 to T4 as the annotation used in the learning process.
  • the processing unit 112 can select the curve T3 as the annotation used in the learning process.
  • the processing unit 112 can select the curve T2 as the annotation used in the learning process.
  • the processing unit 112 can select the curve T4 as the annotation used in the learning process.
  • the specific selection operation is not limited, but the selection operation may be realized by a button pressing operation, a mouse clicking operation, a seek bar moving operation, or the like.
  • the processing unit 112 may be capable of automatically selecting a curve (curve T3 in the example shown in FIG. 3) close to the contour of the tumor region R10.
  • the repeated execution of the fitting does not necessarily have to be performed when the switching operation is performed by the user.
  • the repeated execution of the fitting may be sequentially executed without the switching operation by the user as long as the calculation resources are sufficient.
  • a plurality of fittings may be executed at once, and the execution results may be simultaneously displayed in different display modes.
  • FIG. 4 is a diagram showing an example in which execution results of a plurality of fittings are simultaneously displayed in different display modes.
  • the tumor region R10 is shown in the image data G10.
  • the display control unit 113 also controls the curves T2 to T4 to be simultaneously displayed in different display modes.
  • the display control unit 113 may change the display mode of each of the curves T2 to T4.
  • the display control unit 113 may change the display mode of each of the curves T2 to T4 depending on the color, the thickness, and the interval between the broken lines.
  • the selection operation for any of the curves T2 to T4 can be realized by a mouse click operation or the like.
  • FIG. 5 is a diagram showing an example in which the fitting is repeatedly executed while changing the magnification of the image data.
  • a tissue atypical region colonal cancer, etc.
  • a diagnosis is made on a cell atypical region (texture) (for example, pancreatic duct cancer, thyroid tumor, lymphoma, etc.)
  • a mipmap display magnification of image data
  • the processing unit 112 after generating the second area information, change the magnification of the image data and generate the third area information based on the image data after the magnification change. More preferably, the processing unit 112, after generating the second area information, changes the magnification so that the magnification of the image data becomes higher, and generates the third area information based on the image data after the magnification change. .. At this time, the processing unit 112 may select the third region information as the annotation used in the learning process. This provides high resolution annotation.
  • the tumor region R5 is shown small in each of the image data G5-1 to G5-2 having a magnification of 5 times, and the tumor region is shown in each of the image data G10-1 to G10-3 having a magnification of 10 times.
  • the region R10 is shown in a medium size, and the tumor region R20 is shown in large size in each of the image data G20-1, G20-3, and G20-4 at a magnification of 20 times.
  • the curve T11 is the first area information (information indicating the boundary) obtained based on the shape instruction from the user.
  • a curve T12 is second area information (information indicating the contour of the initial area) obtained by performing fitting based on the image data G5-1 having a magnification of 5 times and the curve T11.
  • the curve T13 is the third region information obtained by performing the fitting based on the image data G10-2 with the magnification of 10 times and the curve T12.
  • the curve T14 is the fourth area information obtained by performing the fitting based on the image data G20-3 having the magnification of 20 times and the curve T13. It should be noted that the magnification of the image data for which the fitting has been performed, such as the image data G5-2, “Suction at ⁇ 20” or the like may be displayed.
  • the processing unit 112 may use a hierarchical structure called a mipmap to repeatedly execute the fitting while greatly changing the magnification of the image data stepwise.
  • the processing unit 112 can gradually increase the accuracy of the fitting while allowing the user to roughly draw a curve in the low-magnification image data, and thus obtain the annotation with high accuracy and speed.
  • the magnification may be gradually increased as shown in FIG. 5, or the intermediate magnification may be skipped (for example, fitting with 10 ⁇ image data is skipped, and 5 ⁇ image data is skipped). The fitting with 20 times the image data may be executed after executing the fitting).
  • FIG. 6 is a diagram showing an operation example when the fitting is repeatedly executed while keeping the magnification of the image data the same.
  • the display control unit 113 controls the display of image data.
  • the user encloses the tumor area shown in the image data with a curve (S11).
  • the processing unit 112 performs energy calculation using graph cut based on the image data and the curve surrounded by the user (S12), and modifies the curve based on the calculation result (fitting) (S12).
  • the display control unit 113 controls the display of the modified curve.
  • the user who sees the corrected curve determines whether or not the fitting is OK.
  • the user inputs that the fitting is NG (“No” in S14) the user manually adjusts the curve (S15), and the operation proceeds to S12.
  • the annotation data is generated by the processing unit 112 (S16).
  • the learning device 50 executes machine learning based on the annotation data (S17), and the automatic diagnosis AI is constructed.
  • FIG. 7 is a diagram showing an operation example when the fitting is repeatedly executed while changing the magnification of the image data.
  • the display control unit 113 controls the display of image data.
  • the user encloses the tumor area shown in the image data with a curve (S11).
  • the processing unit 112 performs energy calculation using graph cut based on the image data and the curve surrounded by the user (S12), and modifies the curve based on the calculation result (fitting) (S12).
  • the display control unit 113 controls the display of the modified curve.
  • the processing unit 112 determines whether the magnification of the current image data has reached the designated magnification. When the magnification of the current image data has not reached the designated magnification (“No” in S24), the processing unit 112 changes the magnification of the image data to a higher magnification (S25), while the current image is processed. When the magnification of the data reaches the designated magnification (“Yes” in S24), the annotation data (annotation and label) is generated by the processing unit 112 (S16). After that, the learning device 50 executes machine learning based on the annotation data (S17), and the automatic diagnosis AI is constructed.
  • control points determine the positions of a plurality of points (control points) on the curve based on the curve after the fitting is performed (second area information, third area information, or fourth area information).
  • the display control unit 113 may arrange a plurality of control points at the determined position.
  • the processing unit 112 can reduce the number of control points with respect to a portion of the curve after the fitting has not been expressed in detail.
  • the processing unit 112 can reduce the number of control points by differentiating the curve after the fitting is performed, as the absolute value of the differential value is smaller. For example, when the AI needs a fine texture such as a cell atypical region, it is better not to reduce the control points so much. On the other hand, when macro information such as a tissue atypical region is required for AI, it is more effective in terms of data amount to reduce the control points.
  • FIG. 8 is a diagram showing an example of the tumor region R10.
  • FIG. 9 is a diagram illustrating an arrangement example of control points. Referring to FIG. 9, many control points CP are arranged in a portion where the change in the slope of the curve is large.
  • FIG. 10 is a diagram illustrating an arrangement example of control points. As illustrated in FIG. 10, the processing unit 112 can adjust the number of control points CP according to the type of the target area surrounded by the curve.
  • the user may move some or all of the plurality of control points CP when the curve deviates from the tumor area R10 (for example, when there is a portion where highly accurate fitting is difficult).
  • the operation of moving the control point CP may be executed by dragging and dropping the mouse.
  • the processing unit 112 moves some or all of the plurality of control points CP based on the moving operation by the user. Then, the processing unit 112 may perform fitting based on at least the moved control point CP to correct the curve.
  • the line between the plurality of control points may be interpolated by Bezier or spline.
  • FIG. 11 is a diagram for explaining an example of partial fitting. Referring to FIG. 11, a partial area M20 in the image data G20-1 having a magnification of 20 times is displayed as a magnifying glass area M10 in the image data G10-2 having a magnification of 10 times.
  • the user can move the curve T21 of the magnifying glass area M10 or the control point arranged on the curve T21.
  • the processing unit 112 may perform fitting (partial fitting) only on the portion moved based on the moving operation by the user. For example, when a part of the plurality of control points arranged on the curve (second area information) is moved based on the moving operation, the processing section 112 moves the curve (the third control point) on the basis of the moved control point. Area information) may be generated.
  • FIG. 12 is a diagram illustrating an example of a confirmation UI of the fitting portion.
  • image data G10-1 is displayed.
  • An area (enlarged area V0) in which a part of the image data G10-1 is enlarged is also displayed.
  • the display control unit 113 may scan the regions V1 to V8 in the order along the curve and display the scanned region as the enlarged region V0 so that the user can check the fitting situation.
  • the processing unit 112 calculates the certainty (reliability) of the curve (second area information or third area information) based on the curve (second area information or third area information). Good. Then, when the display control unit 113 detects a section in which the certainty is lower than the predetermined certainty, the display of predetermined information according to the section may be controlled.
  • FIG. 13 is a diagram showing another example of the confirmation UI of the fitting part. Referring to FIG. 13, a section D2 of which the probability is lower than the predetermined certainty of the curve is displayed in a different display mode from the section D1 of which the probability is higher than the predetermined certainty.
  • the display control unit 113 may make the display modes of the section D1 and the section D2 different.
  • the display control unit 113 may change the display mode of the section D1 and the section D2 depending on the difference in color, thickness, and the interval between the broken lines.
  • the above-mentioned fitting is performed by searching the area from the line drawn by the user to a predetermined distance.
  • the above-described fitting range may be visualized.
  • the area searched for during the fitting process is referred to as a “search range”.
  • the display search unit 113 displays the fitting search range on the image data. Thereby, the user can intuitively understand that the result is output within the range of the indicated width.
  • the display control unit 113 visualizes the search range by either of the following two methods. Specifically, the display control unit 113 may display the search range manually determined by the user, or may display the search range automatically determined by the information processing device 10. Hereinafter, a case where the display control unit 113 displays the search range manually determined by the user will be described.
  • the display control unit 113 causes the user to select the information indicating the width of the search range (for example, a pen or a marker) to display the search range having the width corresponding to the selected information. For example, the display control unit 113 displays a wider search range as the width of the selected information is wider. As a specific example, when the user selects 1 cm as the width of the search range, the display control unit 113 displays the search range having a width of 1 cm. For example, when the user selects the search range indicating a circle having a diameter of 1 cm, the display control unit 113 displays the search range indicating a circle having a diameter of 1 cm.
  • the width of the boundary input by the user is not limited to a circle, a line, or an ellipse, and may be specified by any geometric shape.
  • the width of the boundary is a circle
  • the user inputs the boundary with a circle having a diameter corresponding to the search range.
  • the display control unit 113 may display the fitting search range corresponding to the boundary width input by the user.
  • FIG. 15 shows a pathological image.
  • Object P1 in FIG. 15 represents a cell.
  • the aggregate of cells is called a tissue.
  • FIG. 15 shows an example of visualization of the search range.
  • FIG. 15A shows a search range from the boundary input with a circle. Specifically, FIG. 15A shows a case where a circle indicating the search range is displayed following the point drawn by the user. In this case, the fitting is performed in any of the areas of the circle indicating the search range that is displayed following the search. Further, when displaying the search range having the width according to the information selected by the user, the display control unit 113 determines the size of the circle to follow according to the selection by the user.
  • FIG. 15B shows the search range from the boundary input by the line segment. Specifically, FIG. 15B shows a case where a line indicating the search range is displayed following the point drawn by the user. In this case, the fitting is performed on any of the lines indicating the search range that are displayed following it. Further, when displaying the search range having the width corresponding to the information selected by the user, the display control unit 113 determines the thickness and length of the line to be followed according to the selection by the user. For example, when the user selects a line with a length of 1 cm, the display control unit 113 follows the point drawn by the user and displays a line with a length of 1 cm as the search range.
  • the display control unit 113 may display the search range at any timing during or after the input by the user.
  • the display control unit 113 may display the area indicating the search range in any manner. For example, the display control unit 113 may display the area indicating the search range while changing the transparency.
  • the range P11 on the image data indicates the search range.
  • FIG. 16 may show the locus of the search range which is displayed following the user's input, or the locus of the search range depending on the width according to the information selected by the user. With this, by transmitting the region indicating the search range, it is possible to refer to the tissue within the range while indicating the range.
  • the display control unit 113 may display the image with the transparency increased toward the center of the boundary. In this case, at least two or more transmissivities are displayed.
  • the display control unit 113 may display the area indicating the display range with at least two transparency levels. For example, the display control unit 113 may display the area indicating the search range in different colors. For example, the display control unit 113 may display the area indicating the search range with lighter and darker colors at the center of the boundary. In this case, at least two colors are displayed. That is, the display control unit 113 may display the area indicating the display range in at least two colors. For example, the display control unit 113 may display the area indicating the search range by filling it with a geometric pattern such as diagonal lines or dots.
  • the display control unit 113 reduces the transparency, darkens the shade of color, and densities of geometric patterns such as diagonal lines and dots as the probability of fitting is higher in the area indicating the search range. May be enlarged and displayed. For example, when the processing unit 112 increases the probability of fitting as the distance from the line segment is closer to the center, the display control unit 113 darkens and shades the search range as the distance from the line segment is closer to the center. May be displayed. In this way, the display control unit 113 may display the fitting search range according to any one of the transparency, the color, the geometric shape, and the geometric pattern which are predetermined by the user.
  • the display control unit 113 may control the display of the search range by the method described above.
  • the processing unit 112 searches for a fitting within a range from a line drawn by the user to a predetermined distance.
  • FIG. 17 shows an example of the search range when the search range is up to the area separated by the distance d.
  • the search range may be a binary one of 0 and 1, as shown in FIG.
  • the processing unit 112 may apply an algorithm in which a search range extends to a region separated by a distance d in the direction of the normal line to the direction of the boundary input by the user.
  • the search range is not limited to the binary range, and may be changed according to the weight.
  • an algorithm based on weights according to the distance from the line segment may be applied to the search range.
  • the processing unit 112 may allow the user to manually adjust (set) the search range.
  • the adjustment of the search range may be appropriately set as the search range.
  • the processing unit 112 may allow the user to manually select the shape and width of the search range.
  • the processing unit 112 may allow the user to manually select the shape of the search range and automatically change the width of the search range according to the user's input. It should be noted that the adjustment of the search range may be performed by increasing or decreasing the width of the search range.
  • FIG. 18 shows two different width search ranges selected by the user.
  • FIG. 18A shows a case where the processing unit 112 searches for a fitting within the range P21.
  • FIG. 18A shows a case where the processing unit 112 searches for a fitting within the range P21.
  • the processing unit 112 may adjust the search range at any timing. For example, the processing unit 112 may adjust the search range at any timing before the boundary is input, during the input, or after the input.
  • the processing unit 112 may be able to adjust the search range using a GUI (for example, a slider, a combo box, or a button) on the operation screen.
  • the processing unit 112 may be able to adjust the search range by hardware such as a mouse wheel.
  • the processing unit 112 may adjust the search range by selecting a preset defined in advance. In this case, the processing unit 112 may determine the width of the search range by selecting information indicating the width of the search range by the user.
  • FIG. 19 shows a flow of information processing when the user himself/herself adjusts the search range.
  • the information processing device 10 receives the designation of the search range before inputting the boundary (S31).
  • the information processing device 10 receives an input of a boundary with a pen having a thickness corresponding to the search range (S32).
  • the information processing apparatus 10 may accept adjustment of the search range such as GUI by the user while inputting the boundary.
  • the information processing device 10 determines whether the input of the boundary is completed (S33). When the input of the boundary is not completed (“No” in S33), the information processing device 10 newly receives the input of the boundary. When the input of the boundary is completed, the information processing device 10 executes fitting (S34). The information processing device 10 displays the fitting result (S35). The information processing device 10 determines whether or not a change in the search range has been accepted (S36).
  • the fitting is performed again.
  • the information processing device 10 does not accept the adjustment of the search range (“No” in S36)
  • the information processing device ends. In this way, when the user confirms the result of the fitting and the expected result is not obtained, the adjustment of the search range can be accepted and the fitting can be repeatedly executed until the effect expected by the user is obtained.
  • the processing unit 112 allows the user to manually adjust the search range has been described above, but it may be automatically performed based on the condition at the time of operation or the target image.
  • the display control unit 113 displays the search range automatically determined by the information processing device 10
  • the display control unit 113 displays the fitting search range according to the input by the user.
  • the processing unit 112 may adjust the search range at any timing, as in the case where the user manually performs it.
  • the processing unit 112 may adjust the search range at any timing before the boundary is input, during the input, and after the input.
  • the display control unit 113 may display the search range by enlarging or reducing the search range based on the specified shape by the user previously designating the shape of the search range.
  • the display control unit 113 may also display the search range based on the shape automatically determined by the information processing device 10.
  • the processing unit 112 may adjust the search range based on the boundary speed input by the user.
  • the boundary speed input by the user is the boundary input speed of the user.
  • the processing unit 112 may adjust the search range based on the writing pressure with which the user inputs the boundary.
  • the processing unit 112 may adjust the search range based on the magnification of the image data when the user inputs the boundary.
  • the processing unit 112 may adjust the search range based on a feature input by the user near the boundary.
  • the boundary input by the user is a closed curve
  • the processing unit 112 may adjust the search range based on the features inside and outside the boundary input by the user.
  • the processing unit 112 determines the search range based on the characteristics inside and outside the boundary input by the user. Adjustments may be made. Hereinafter, examples of automatically changing the search range will be individually described.
  • FIG. 19 an example in which the user himself adjusts the search range has been described.
  • An example of automatically changing the search range will be described below.
  • the information processing apparatus 10 changes the search range according to speed, writing pressure, magnification, and image will be described with reference to FIGS.
  • the information processing device 10 determines the width of the search range according to the boundary input by the user.
  • the processing unit 112 may change the size of the search range to be followed according to the input by the user.
  • the processing unit 112 may change the size of the search range to follow according to the speed of input by the user and the writing pressure.
  • the processing unit 112 may change the search range so that the faster the input speed by the user, the larger the size of the search range.
  • the processing unit 112 may change the size (for example, diameter) of the circle to be followed according to the input by the user, or the user may search the range.
  • the size of the line to be followed for example, the thickness or length of the line
  • the shape of the search range is not limited to the above example, and may be any geometric shape.
  • the processing unit 112 may execute the fitting process in the search range adjusted based on a predetermined condition. Specifically, the processing unit 112 may execute the fitting process in the search range adjusted according to the user's operation on the image data.
  • FIG. 20 shows a flow of information processing in the case of adjusting the search range according to the speed of boundary input based on the above premise.
  • the information processing device 10 receives the designation of the search range before inputting the boundary (S31).
  • the information processing device 10 receives the input of the boundary with the pen having the thickness corresponding to the search range (S32).
  • the information processing device 10 calculates the input speed of the accepted boundary (S43). For example, the information processing apparatus 10 calculates the input speed based on the movement of the distance between the two points on the image data and the time required for the movement.
  • the information processing device 10 determines whether the calculated input speed is equal to or higher than a predetermined threshold value (S44). When the calculated input speed is equal to or higher than the predetermined threshold value (“Yes” in S44), the information processing device 10 adjusts the search range to a wide value (S45). On the other hand, when the calculated input speed is lower than the predetermined threshold value (“No” in S44), the information processing device 10 adjusts the search range to a narrow value (S46).
  • the processing unit 112 executes the fitting process in the search range adjusted according to the boundary speed input by the user.
  • FIG. 21 shows a flow of information processing when the search range is adjusted according to the pen pressure of the boundary input based on the above premise.
  • the information processing device 10 receives the designation of the search range before inputting the boundary (S31).
  • the information processing device 10 receives the input of the boundary with the pen having the thickness corresponding to the search range (S32).
  • the information processing device 10 calculates the pen pressure of the accepted boundary input (S53). Specifically, the information processing device 10 calculates the writing pressure detected when the user inputs the boundary. For example, the information processing apparatus 10 calculates the writing pressure by detecting the pressure applied within a predetermined range from the spot input by the user on the image data. The information processing device 10 determines whether the calculated writing pressure is equal to or higher than a predetermined threshold value (S54).
  • the information processing apparatus 10 adjusts the search range to a narrow value (S55). On the other hand, when the calculated writing pressure is less than the predetermined threshold value (“NO” in S54), the information processing apparatus 10 adjusts the search range to a wide value (S56).
  • FIG. 22 shows a flow of information processing when the search range is adjusted according to the observation magnification based on the above premise.
  • the information processing device 10 receives the designation of the search range before inputting the boundary (S31).
  • the information processing device 10 receives the input of the boundary with the pen having the thickness corresponding to the search range (S32).
  • the information processing device 10 determines whether the observation magnification is enlarged or reduced (S63). For example, the information processing device 10 determines whether the observation magnification is enlarged or reduced during the annotation process.
  • the observation magnification is enlarged (“Yes” in S63)
  • the information processing device 10 adjusts the search range to a narrow value (S64).
  • the observation magnification is reduced (“No” in S63)
  • the information processing device 10 adjusts the search range to a wide value (S65).
  • the processing unit 112 executes the fitting process in the search range adjusted according to the magnification of the image data when the user inputs the boundary.
  • the appropriate search range depends on the target image. For example, when the boundary on the image data is unclear, it is estimated that a more appropriate fitting effect can be obtained by adjusting the search range wider.
  • the information processing device 10 can adjust the search range based on the analysis result by previously analyzing the entire target image or the image near the boundary, and thus a more appropriate fitting effect can be obtained. It is estimated to be.
  • FIG. 23 shows a flow of information processing in the case of adjusting the search range by evaluating the ambiguity of the boundary from the change in the brightness (luminance value) around the boundary input by the user based on the above assumptions.
  • the information processing device 10 receives the designation of the search range before inputting the boundary (S31).
  • the information processing device 10 receives the input of the boundary with the pen having the thickness corresponding to the search range (S32).
  • the information processing device 10 calculates the change in brightness near the boundary of the received input (S73). For example, the information processing device 10 calculates the difference in brightness or the gradient of change in the brightness near the boundary.
  • the information processing device 10 determines whether or not the calculated difference in brightness near the boundary or the gradient of change is equal to or larger than a predetermined threshold value (S74). If the calculated brightness difference or gradient of change near the boundary is equal to or larger than a predetermined threshold (“Yes” in S74), the information processing apparatus 10 determines that the boundary is clear and adjusts the search range to a narrow value.
  • FIG. 24A shows an example in which the boundary is determined to be clear.
  • Pout indicates the outside of the boundary
  • Pin indicates the inside of the boundary.
  • the calculated brightness difference or gradient of change near the boundary is equal to or greater than a predetermined threshold.
  • the information processing apparatus 10 determines that the boundary is unclear and sets the search range to a large value. Adjust (S76).
  • FIG. 24B shows an example in which the boundary is determined to be unclear. In this case, the calculated brightness difference or gradient of change near the boundary is below a predetermined threshold value.
  • the information processing apparatus 10 may appropriately adjust the search range by using any information that is correlated with the search range intended by the user among the information obtained by the image analysis.
  • the information processing apparatus 10 uses color information such as a brightness value, texture information such as edges and frequencies (for example, fineness of an image or a line), and information about their spatial distribution (histogram).
  • the search range may be adjusted appropriately.
  • the information processing device 10 may appropriately adjust the search range based on the difference calculated by comparing the histograms.
  • the information processing apparatus 10 may appropriately adjust the search range using information about saturation, an index indicating texture, variance, and pixel variance (for example, variance between pixels and their surroundings). As described above, the information processing apparatus 10 may evaluate the ambiguity of the boundary based on the feature amount near the boundary input by the user, and adjust the search range according to the evaluation.
  • the processing unit 112 executes the fitting process in the search range adjusted according to the evaluation based on the feature amount near the boundary input by the user. For example, the processing unit 112 executes the fitting process in the search range adjusted according to the degree of difference in brightness near the boundary input by the user.
  • the information processing device 10 may appropriately adjust the search range based on conditions such as the type of lesion and the staining method as well as the analysis result of the image. For example, the information processing device 10 may appropriately adjust the search range based on whether the lesion type is a tumor, whether the staining method is HE staining, or the like. Further, the information processing device 10 may appropriately adjust the search range based on the attribute or ability (for example, skill level) of the user. For example, when the skill level of the user is equal to or higher than a predetermined threshold value, the information processing apparatus 10 may estimate that a more reliable boundary is input and adjust the search range to a narrow value. On the other hand, when the skill level of the user is lower than the predetermined threshold, the information processing apparatus 10 may estimate that the boundary with low reliability is input and adjust the search range to a wide value.
  • the search range is automatically changed based on each process, but the search range may be changed based on the plurality of processes described above.
  • the processing unit 112 may control the speed and the magnification simultaneously to automatically change the search range based on the speed and the magnification.
  • the processing unit 112 may simultaneously control the speed, the magnification, and the writing pressure to automatically change the search range based on the speed, the magnification, and the writing pressure.
  • the information processing apparatus 10 may automatically change the search range based on any combination of a plurality of processes.
  • the information processing device 10 may appropriately perform the fitting process during the input by the user. That is, the information processing apparatus 10 may perform fitting processing as appropriate even if the input by the user is not a closed curve. For example, the information processing device 10 may perform a fitting process on the input portion as needed. The information processing apparatus 10 may accept in advance from the user whether or not to perform the fitting process during the input.
  • the user can intuitively recognize and adjust the search range, and the search range can be specified during fitting as intended. Further, according to the present embodiment, it is possible to improve the possibility that the fitting result expected by the user can be obtained. Further, according to the present embodiment, it is possible to improve the accuracy of the prediction of the result after fitting by the user. Further, according to the present embodiment, it is possible to reduce the tendency that the fitting is different for each pathologist. Further, according to this embodiment, it is possible to reduce the difference in accuracy of annotations by users. For example, when the user manually inputs the boundary, the accuracy and range of the input information may differ for each user.
  • the accuracy of input information is higher than that of a user with a low skill.
  • the fitting process according to the above-described embodiment it is possible to prevent the accuracy difference of the input information by the user from occurring. Further, according to this embodiment, the number of cells included in the boundary can be appropriately counted.
  • the target area selected from the image data is used for machine learning is mainly assumed.
  • the target area selected from the image data may be used for a predetermined process other than machine learning.
  • the target region selected from the image data may be used for analysis (scoring) of the expression level of a predetermined molecule. For example, there is a demand for quantification of PD-L1 molecules in tissues that can be seen by immunostaining, and treatment selection is performed based on the expression level of PD-L1 molecules in tissues.
  • FIG. 14 is a diagram for explaining an example in which the target region selected from the image data is used for analysis of the expression level of the PD-L1 molecule.
  • the tumor region r10 is shown in the image data g10. If the tumor region r10 is selected with high precision by fitting as described above, scoring is also performed with high precision. If the scoring is performed with high accuracy, it is expected that the accuracy of treatment selection will be improved.
  • Tumor Proportion Score (the expression level of the PD-L1 molecule) can be calculated by the following formula (1).
  • Tumor Proportion Score (PD-L1 positive Tumor cells)/(PD-L1 positive Tumor cells+PD-L1 negative Tumor cells) (1)
  • the type of image data is not limited.
  • the type of image data may be a phase difference image obtained by a microscope.
  • the image data is morphological information, and therefore, the same process as the process in the bright field image can be executed.
  • the type of image data is a fluorescence image from a microscope
  • autofluorescence can be used for fitting.
  • fitting can be performed in a case where a tumor membrane such as CK or HER2 is stained.
  • the image data is a CT image or an MRI image
  • the image data is a radiographic image, so it is black and white, but fitting is possible.
  • the image data is an endoscopic image, fitting is possible because the image data is color information and morphological information.
  • FIG. 25 is a block diagram showing a hardware configuration example of the information processing device 10 according to the embodiment of the present disclosure. Note that the information processing device 10 does not necessarily have to have the entire hardware configuration shown in FIG. 25, and a part of the hardware configuration shown in FIG. 25 exists in the information processing device 10. You don't have to.
  • the information processing device 10 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing device 10 may also include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing device 10 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 10 may have a processing circuit called DSP (Digital Signal Processor) or ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation of the information processing apparatus 10 or a part thereof according to various programs recorded in the ROM 903, the RAM 905, the storage apparatus 919, or the removable recording medium 927.
  • the ROM 903 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 905 temporarily stores a program used in the execution of the CPU 901, parameters that appropriately change in the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are mutually connected by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect/Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect/Interface
  • the input device 915 is a device operated by a user, such as a button.
  • the input device 915 may include a mouse, a keyboard, a touch panel, a switch, a lever, and the like.
  • the input device 915 may also include a microphone that detects the voice of the user.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that corresponds to the operation of the information processing device 10.
  • the input device 915 includes an input control circuit that generates an input signal based on the information input by the user and outputs the input signal to the CPU 901.
  • the user By operating the input device 915, the user inputs various data to the information processing device 10 and gives an instruction for processing operation.
  • the imaging device 933 described below can also function as an input device by imaging the movement of the user's hand, the user's finger, or the like. At this time, the pointing position may be determined according to the movement of the hand or the direction of the finger.
  • the output device 917 is composed of a device capable of visually or auditorily notifying the user of the acquired information.
  • the output device 917 may be, for example, a display device such as an LCD (Liquid Crystal Display), an organic EL (Electro-Luminescence) display, a sound output device such as a speaker and headphones. Further, the output device 917 may include a PDP (Plasma Display Panel), a projector, a hologram, a printer device, and the like.
  • the output device 917 outputs the result obtained by the processing of the information processing device 10 as a video such as a text or an image, or a sound such as a voice or a sound. Further, the output device 917 may include a light or the like in order to brighten the surroundings.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 10.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader/writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing device 10.
  • the drive 921 reads the information recorded in the mounted removable recording medium 927 and outputs it to the RAM 905.
  • the drive 921 also writes a record in the mounted removable recording medium 927.
  • the connection port 923 is a port for directly connecting a device to the information processing device 10.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface including, for example, a communication device for connecting to the network 931.
  • the communication device 925 may be, for example, a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or a communication card for WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetrical Digital Subscriber Line), or a modem for various kinds of communication.
  • the communication device 925 transmits/receives signals and the like to/from the Internet and other communication devices using a predetermined protocol such as TCP/IP.
  • the network 931 connected to the communication device 925 is a wired or wirelessly connected network, and is, for example, the Internet, a home LAN, infrared communication, radio wave communication, or satellite communication.
  • the image pickup device 933 uses, for example, various members such as an image pickup element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and a lens for controlling the formation of a subject image on the image pickup element This is a device that images a real space and generates a captured image.
  • the image capturing device 933 may capture a still image, or may capture a moving image.
  • the sensor 935 is various sensors such as a distance measuring sensor, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a vibration sensor, an optical sensor, and a sound sensor.
  • the sensor 935 acquires information about the state of the information processing device 10 itself, such as the orientation of the housing of the information processing device 10, and information about the surrounding environment of the information processing device 10, such as the brightness and noise around the information processing device 10. To do.
  • the sensor 935 may include a GPS sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device.
  • GPS Global Positioning System
  • a display control unit that controls display of image data showing a living body region, an information acquisition unit that acquires first region information input for the image data, and the image data.
  • An information processing apparatus includes: and a processing unit that generates second area information based on the first area information and a fitting mode.
  • the information processing system including the information processing device 10, the scanner 30, the network 70, and the learning device 50 has been mainly described. However, an information processing system including some of these may be provided. For example, an information processing system including a part or all of the information processing device 10, the scanner 30, and the learning device 50 may be provided. At this time, the information processing system does not need to be a combination of all the devices (combination of hardware and software).
  • an information processing system having a first device (a combination of hardware and software) and software of a second device may be provided.
  • an information processing system including the scanner 30 (combination of hardware and software) and the software of the information processing apparatus 10 may be provided.
  • an information processing system including a plurality of configurations arbitrarily selected from the information processing device 10, the scanner 30, and the learning device 50 can also be provided.
  • the effects described in the present specification are merely explanatory or exemplifying ones, and are not limiting. That is, the technique according to the present disclosure may have other effects that are apparent to those skilled in the art from the description of the present specification, in addition to or instead of the above effects.
  • a display control unit that controls the display of image data showing the living body region; An information acquisition unit that acquires the first area information input for the image data, A processing unit that generates second area information based on the image data, the first area information, and a fitting mode; An information processing device comprising: (2) The processing unit generates third area information based on the image data, the second area information, the fitting mode, and a fitting movable range. The information processing device according to (1) above. (3) The display control unit controls display of the third area information, The information processing device according to (2). (4) The display control unit switches a display target between the second area information and the third area information, The information processing device according to (3).
  • the display control unit causes the second area information and the third area information to be simultaneously displayed in different display modes, The information processing device according to (3).
  • the processing section selects the second area information or the third area information as data used for predetermined processing, The information processing apparatus according to any one of (2) to (5) above.
  • the processing unit selects the second area information or the third area information as data used for the predetermined processing based on a selection operation, The information processing device according to (6).
  • the processing unit changes the magnification of the image data after generating the second area information, and generates the third area information based on the image data after the magnification change.
  • the processing unit after generating the second area information, changes the magnification so that the magnification of the image data becomes higher, and generates the third area information based on the image data after the magnification change.
  • the processing unit selects the third area information as data used in the predetermined processing, The information processing device according to (9).
  • the processing unit determines a plurality of control points based on the second area information, moves some or all of the plurality of control points based on a moving operation, and at least based on the moved control points. Generate the third region information, The information processing apparatus according to any one of (2) to (10) above.
  • the processing unit When a part of the plurality of control points is moved based on the moving operation, the processing unit generates the third area information based on the moved control point, The information processing device according to (11). (13) When a section in which the reliability of the second area information is lower than a predetermined reliability is detected based on the second area information, the display control unit displays the predetermined information according to the section. Control, The information processing apparatus according to any one of (1) to (12) above. (14) The information acquisition unit obtains the first area information based on a passing area or a peripheral area having a shape instructed for the image data, The information processing apparatus according to any one of (1) to (13) above.
  • the information acquisition unit obtains the first area information based on a segmentation algorithm by graph cut or machine learning applied to a passing area or a peripheral area of the shape, The information processing device according to (14).
  • the information acquisition unit obtains the first area information based on feature data extracted from a passing area or a peripheral area of the shape, The information processing device according to (14).
  • the fitting mode is a fitting mode for the boundary between the foreground and the background, a fitting mode for the cell membrane, or a fitting mode for the cell nucleus, The information processing apparatus according to any one of (1) to (16) above.
  • the processing unit generates the second area information within a range of the image data set based on the first area information and a predetermined condition, The information processing device according to any one of (1) to (17). (19) The processing unit generates the second area information in a range set based on a user's input operation of the first area information. The information processing device according to (18). (20) The processing unit generates the second area information in a range set based on an input speed of the first area information of the user, The information processing apparatus according to (19). (21) The processing unit generates the second area information in a range set based on the magnification of the image data, The information processing apparatus according to (19) or (20).
  • the processing unit generates the second area information within a range set based on a feature amount near the first area information, The information processing device according to any one of (19) to (21). (23) The processing unit generates the second area information in a range set based on the brightness near the first area information, The information processing device according to (22). (24) The information processing device according to any one of (18) to (23), wherein the display control unit controls display of the range of the image data. (25) The information processing device according to (24), wherein the display control unit controls the range to be displayed with at least two transparency and colors.
  • the processor controls the display of the image data showing the living body region, and The processor acquiring the first area information input for the image data;
  • the processor generates second area information based on the image data, the first area information, and a fitting mode;
  • An information processing method including: (27) A reading device that generates scan data including image data showing the living body region by reading the living body region; A display control unit for controlling the display of the image data, An information acquisition unit that acquires the first area information input for the image data, A processing unit that generates second region information based on the image data, the first region information, and a fitting mode; Having an information processing device, Information processing system.
  • An information processing system including a medical image capturing device and software used for processing image data corresponding to an object captured by the medical image capturing device,
  • the software is Acquiring the first region information input for the first image data corresponding to the first biological tissue, Causing an information processing apparatus to execute a process of generating second region information based on the first image data, the first region information, and a fitting mode, Information processing system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

生体領域が映る画像データの表示を制御する表示制御部と、前記画像データに対して入力された第１の領域情報を取得する情報取得部と、前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法および情報処理システム
　本開示は、情報処理装置、情報処理方法および情報処理システムに関する。
　近年、生体領域が写る画像データにおいて所定の処理に利用される領域（対象領域）を選択するための技術が知られている。所定の処理が学習処理である場合、対象領域の輪郭を示す情報（対象領域の領域情報）は、機械学習用の教師データとして利用される。例えば、対象領域が病変領域である場合、対象領域の領域情報が機械学習用の教師データとして利用されれば、画像データから自動的に診断を行うＡＩ（ａｒｔｉｆｉｃｉａｌ　ｉｎｔｅｌｌｉｇｅｎｃｅ）が構築され得る。なお、以下では、教師データとして利用される対象領域の領域情報を単に「アノテーション」とも言う。アノテーションを得るための技術としては、各種技術が開示されている（例えば、非特許文献１参照）。
　ここで、教師データとして得られるアノテーションの精度は高いほうが望ましい。しかし、一般的にアノテーションを得るためには、ユーザが入力装置（例えば、マウスまたは電子ペンなど）を用いて画像データに対して曲線を描くことによって、対象領域の輪郭を入力しようと試みる。
　しかし、ユーザによって実際に描かれる曲線と対象領域の輪郭との間にずれが生じやすい。そのため、対象領域の輪郭との間にずれが生じないようにユーザが曲線を描こうとすれば、ユーザに対して多くの手間が掛かる。一方、ユーザがラフに曲線を描いた場合には、当該曲線を対象領域の輪郭に合わせるための修正作業に多くの手間が掛かる。
Ｊｅｓｓｉｃａ　Ｌ．　Ｂａｕｍａｎｎ　他著、「Ａｎｎｏｔａｔｉｏｎ　ｏｆ　Ｗｈｏｌｅ　Ｓｌｉｄｅ　Ｉｍａｇｅｓ　Ｕｓｉｎｇ　Ｔｏｕｃｈｓｃｒｅｅｎ　Ｔｅｃｈｎｏｌｏｇｙ」、２０１８　年　Ｐａｔｈｏｌｏｇｙ　Ｖｉｓｉｏｎｓ
　そこで、生体領域が写る画像データにおいてユーザの手間を低減しつつ高精度に対象領域を選択することが可能な技術が提供されることが望まれる。
　本開示によれば、生体領域が映る画像データの表示を制御する表示制御部と、前記画像データに対して入力された第１の領域情報を取得する情報取得部と、前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、を備える、情報処理装置が提供される。
　本開示によれば、プロセッサが、生体領域が映る画像データの表示を制御することと、前記プロセッサが、前記画像データに対して入力された第１の領域情報を取得することと、前記プロセッサが、前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成することと、を含む、情報処理方法が提供される。
　本開示によれば、生体領域に対する読み取りによって前記生体領域が映る画像データを含んだスキャンデータを生成する読み取り装置を有し、前記画像データの表示を制御する表示制御部と、前記画像データに対して入力された第１の領域情報を取得する情報取得部と、前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、を備える、情報処理装置を有する、情報処理システムが提供される。
　本開示によれば、医用画像撮像装置と、前記医用画像撮像装置により撮像される対象物に対応する画像データの処理に使われるソフトウェアを含んで構成される情報処理システムであって、前記ソフトウェアは、第１の生体組織に対応する第１の画像データに対して入力された第１の領域情報を取得し、前記第１の画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理を情報処理装置に実行させる、情報処理システムが提供される。
本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態に係る情報処理装置の機能構成例を示す図である。 フィッティングが画像データの倍率を同一に保ちながら繰り返し実行される場合の例を示す図である。 複数回のフィッティングの実行結果それぞれが異なる表示態様によって同時に表示される例を示す図である。 フィッティングが画像データの倍率を変化させながら繰り返し実行される場合の例を示す図である。 フィッティングが画像データの倍率を同一に保ちながら繰り返し実行される場合の動作例を示す図である。 フィッティングが画像データの倍率を変化させながら繰り返し実行される場合の動作例を示す図である。 腫瘍領域の例を示す図である。 制御点の配置例を示す図である。 制御点の配置例を示す図である。 部分的なフィッティングの例を説明するための図である。 フィッティング部分の確認ＵＩの一例を示す図である。 フィッティング部分の確認ＵＩの他の一例を示す図である。 画像データから選択された対象領域がＰＤ－Ｌ１分子の発現量の解析に利用される例を説明するための図である。 探索範囲の可視化の例を説明するための図である。 探索範囲の可視化の例を説明するための図である。 探索範囲の指定の例を説明するための図である。 探索範囲の調整の例を説明するための図である。 ユーザ自身が探索範囲を調整する場合の情報処理の一例を示すフローチャートである。 境界入力の速度に応じて探索範囲を変更する場合の情報処理の一例を示すフローチャートである。 筆圧に応じて探索範囲を変更する場合の情報処理の一例を示すフローチャートである。 観察倍率に応じて探索範囲を変更する場合の情報処理の一例を示すフローチャートである。 画像に応じて探索範囲を変更する場合の情報処理の一例を示すフローチャートである。 境界の明瞭さの評価時のサンプル方法の例を説明するための図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　０．概要
　１．実施形態の詳細
　　１．１．情報処理システムの構成例
　　１．２．情報処理装置の機能構成例
　　１．３．システムが有する機能の詳細
　　　１．３．１．対象領域の種類
　　　１．３．２．フィッティングモードの種類
　　　１．３．３．境界の決定
　　　１．３．４．初期領域の決定
　　　１．３．５．初期領域の修正
　　　１．３．６．動作例
　　　１．３．７．制御点の配置
　　　１．３．８．部分吸着
　　　１．３．９．フィッティング部分の確認
　　　１．３．１０．探索範囲の可視化
　　　１．３．１１．探索範囲
　　　１．３．１２．探索範囲の調整
　　　１．３．１３．境界入力速度
　　　１．３．１４．筆圧
　　　１．３．１５．観察倍率
　　　１．３．１６．画像
　　　１．３．１７．その他
　　　１．３．１８．複数の処理
　　　１．３．１９．フィッティング
　２．変形例
　３．ハードウェア構成例
　４．むすび
　＜０．概要＞
　近年、生体領域が写る画像データにおいて所定の処理に利用される領域（対象領域）を選択するための技術が知られている。所定の処理が学習処理である場合、対象領域の輪郭を示す情報（対象領域の領域情報）は、機械学習用の教師データとして利用される。例えば、対象領域が病変領域である場合、対象領域の領域情報が機械学習用の教師データとして利用されれば、画像データから自動的に診断を行うＡＩ（ａｒｔｉｆｉｃｉａｌ　ｉｎｔｅｌｌｉｇｅｎｃｅ）が構築され得る。なお、以下では、教師データとして利用される対象領域の領域情報を単に「アノテーション」とも言う。アノテーションを得るための技術としては、各種技術が開示されている。
　ここで、教師データとして得られるアノテーションの精度は高いほうが望ましい。しかし、一般的にアノテーションを得るためには、ユーザが入力装置（例えば、マウスまたはペンタブレットなど）を用いて画像データに対して曲線を描くことによって、対象領域の輪郭を入力しようと試みる。
　しかし、ユーザによって実際に描かれる曲線と対象領域の輪郭との間にずれが生じやすい。そのため、対象領域の輪郭との間にずれが生じないようにユーザが曲線を描こうとすれば、ユーザに対して多くの手間が掛かる。一方、ユーザがラフに曲線を描いた場合には、当該曲線を対象領域の輪郭に合わせるための修正作業に多くの手間が掛かる。
　そこで、本開示の実施形態では、生体領域が写る画像データにおいてユーザの手間を低減しつつ高精度に対象領域を選択することが可能な技術について主に説明する。より具体的に、本開示の実施形態では、対象領域の領域情報が、機械学習用の教師データとして利用される場合、ユーザの手間を低減しつつ高精度なアノテーションを得ることが可能な技術について主に説明する。
　なお、対象領域に付されるラベルも、機械学習用の教師データとして利用される。ラベルは、対象領域に関する情報であってよい。対象領域に関する情報は、診断結果を含んでもよい。診断結果は、癌のサブタイプ、癌のステージおよび癌細胞の分化度の少なくともいずれか一つを含んでもよい。分化度は、どのような薬（抗癌剤など）が効きやすいかなどといった情報を予測するために利用され得る。あるいは、対象領域に関する情報は、解析結果を含んでもよい。解析結果は、対象領域における病変の有無、対象領域に病変が含まれている確率、病変の位置および病変の種類の少なくともいずれか一つを含んでもよい。
　以下では、教師データとして利用されるラベルとアノテーションとを合わせて、単に「アノテーションデータ」とも言う。
　以上、本開示の実施形態の概要について説明した。
　＜１．実施形態の詳細＞
　［１．１．情報処理システムの構成例］
　続いて、図面を参照しながら、本開示の実施形態に係る情報処理システムの構成例について説明する。図１は、本開示の実施形態に係る情報処理システムの構成例を示す図である。図１に示したように、本開示の実施形態に係る情報処理システム１は、情報処理装置１０、スキャナ３０（読み取り装置）、ネットワーク７０および学習装置５０を有する。情報処理装置１０とスキャナ３０と学習装置５０とは、ネットワーク７０を介して互いに通信可能に構成されている。
　情報処理装置１０は、例えば、コンピュータによって構成される。例えば、情報処理装置１０は、ユーザ（例えば、医師など）によって利用される。本開示の実施形態では、ユーザによる各種の操作が、情報処理装置１０に対して直接的に入力される場合を主に想定する。しかし、ユーザによる各種の操作は、情報処理装置１０に対して図示しない端末を介して入力されてもよい。また、本開示の実施形態では、ユーザへの各種の提示情報が、情報処理装置１０から直接的に出力される場合を主に想定する。しかし、ユーザへの各種の提示情報は、情報処理装置１０から図示しない端末を介して出力されてもよい。
　スキャナ３０は、生体領域に対する読み取りを行う。これによって、スキャナ３０は、生体領域が写る画像データを含んだスキャンデータを生成する。生体領域は、検体から得られる標本に相当し得る。例えば、スキャナ３０は、イメージセンサを有しており、イメージセンサによって標本を撮像することによって、標本が写る画像データを含んだスキャンデータを生成する。スキャナ３０の読み取り方式は特定のタイプに限定されない。例えば、スキャナ３０の読み取り方式は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）タイプであってもよいし、ＣＩＳ（Ｃｏｎｔａｃｔ　Ｉｍａｇｅ　Ｓｅｎｓｏｒ）タイプであってもよい。
　ここで、ＣＣＤタイプは、標本からの反射光をミラーに反射および集約させてからレンズを介して送られた光をＣＣＤセンサによって読み取り、ＣＣＤセンサによって読み取った光を画像データに変換するタイプに相当し得る。一方、ＣＩＳ方式は、ＲＧＢ三色のＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）を光源に使用し、光源から標本にあてた光が反射した結果をフォトセンサによって読み取り、読み取った結果を画像データに変換するタイプに相当し得る。
　本開示の実施形態では、病変領域が写る画像データ（病変画像データ）が画像データとして用いられる場合を主に想定する。しかし、本開示の実施形態に係る画像データは、病変画像データに限定されない。病変画像のデジタル化には、スキャナ（デジタル顕微鏡）のステージにセットされた標本（スライド）が連続的に撮影された複数の画像が繋ぎ合わされて大きな一枚の画像が生成される方式が採用され得る。この方式は、ホールスライドイメージング（ＷＳＩ）と言われる。
　学習装置５０は、例えば、コンピュータによって構成される。学習装置５０は、画像データおよびアノテーションデータ（アノテーションおよびラベル）を用いて機械学習を行うことによって識別器と識別器によって利用されるデータ（モデルデータ）を生成する。かかる識別器およびモデルデータによって、ＡＩ（例えば、自動的に診断を行うＡＩ）が実現され得る。機械学習には、典型的にはディープラーニングが用いられ得る。
　なお、本開示の実施形態では、識別器がニューラルネットワークによって実現される場合を主に想定する。かかる場合、モデルデータは、ニューラルネットワークの各ニューロンの重みに相当し得る。しかし、識別器は、ニューラルネットワーク以外によって実現されてもよい。例えば、識別器は、ランダムフォレストによって実現されてもよいし、サポートベクタマシンによって実現されてもよいし、アダブーストによって実現されてもよい。
　また、本開示の実施形態では、情報処理装置１０、スキャナ３０および学習装置５０が別々の装置として存在する場合を主に想定する。しかし、情報処理装置１０、スキャナ３０および学習装置５０の一部または全部は、１つの装置として存在してもよい。あるいは、情報処理装置１０、スキャナ３０および学習装置５０のいずれかが有する機能の一部は、他の装置に組み込まれていてもよい。
　近年では、病変画像データから自動的に診断を行うＡＩを構築する技術が急速に普及しつつある。例えば、病変画像データは、上記したＷＳＩ方式によって得られた大きな一枚の画像データまたはＷＳＩ方式によって得られた画像から切り取られた一部の画像データであり得る。
　病変画像データから自動的に診断を行うＡＩの構築には、病変画像データとアノテーションデータ（アノテーションおよびラベル）とに基づく機械学習が用いられる。自動的に診断を行うＡＩの構築は、「画像データの準備」「アノテーションデータの生成」「アノテーションデータの学習用データへの加工」「機械学習」「結果の評価」が含まれ得る。「アノテーションデータの学習用データへの加工」では、アノテーションのサイズ調整が行われ、画像データのラベルが付された対象領域に対してマスク処理を行ってマスク画像を得る処理が行われる。本開示の実施形態では、「アノテーションデータの生成」に主な特徴が存在するため、以下では「アノテーションデータの生成」について主に説明する。
　以上、本開示の実施形態に係る情報処理システム１の構成例について説明した。
　［１．２．情報処理装置の機能構成例］
　続いて、本開示の実施形態に係る情報処理装置１０の機能構成例について説明する。図２は、本開示の実施形態に係る情報処理装置１０の機能構成例を示す図である。図２に示したように、情報処理装置１０は、情報取得部１１１、処理部１１２、表示制御部１１３、画像データ受信部１２０、記憶部１３０、操作部１４０および送信部１５０を有している。
　情報取得部１１１、処理部１１２および表示制御部１１３は、例えば、１または複数のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；中央演算処理装置）などといった処理装置によって構成されていてよい。かかる処理装置は、電子回路によって構成されてよい。情報取得部１１１、処理部１１２および表示制御部１１３は、かかる処理装置によってプログラム（ソフトウェア）が実行されることによって実現され得る。
　情報取得部１１１は、操作部１４０から各種の操作を取得する。処理部１１２は、画像データと各種の操作とに基づいて、アノテーションデータを生成する。表示制御部１１３は、表示装置に接続されている。なお、本開示の実施形態では、表示装置が情報処理装置１０の外部に存在する場合を主に想定する。しかし、表示装置は、情報処理装置１０の内部に存在していてもよい。表示装置は、ディスプレイによって実現されてよく、ディスプレイは、液晶ディスプレイであってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよいし、他のディスプレイであってもよい。
　記憶部１３０は、メモリを含んで構成され、処理装置によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部１３０は、処理装置による演算のためにデータを一時的に記憶する。記憶部１３０は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスなどにより構成される。
　操作部１４０は、ユーザによる操作の入力を受け付ける機能を有する。本開示の実施形態においては、操作部１４０が、マウスおよびキーボードを含む場合を主に想定する。しかし、操作部１４０は、マウスおよびキーボードを含む場合に限定されない。例えば、操作部１４０は、電子ペンを含んでもよいし、タッチパネルを含んでもよいし、視線を検出するイメージセンサを含んでもよい。
　画像データ受信部１２０および送信部１５０は、通信回路を含んで構成される。画像データ受信部１２０は、スキャナ３０からネットワーク７０を介して画像データを受信する機能を有する。画像データ受信部１２０は、受信した画像データを処理部１１２に出力する。一方、送信部１５０は、処理部１１２からアノテーションデータ（アノテーションおよびラベル）が入力されると、学習装置５０に対してネットワーク７０を介してアノテーションデータを送信する機能を有する。
　以上、本開示の実施形態に係る情報処理装置１０の機能構成例について説明した。
　［１．３．システムが有する機能の詳細］
　続いて、本開示の実施形態に係る情報処理システム１が有する機能の詳細について説明する。
　（１．３．１．対象領域の種類）
　本開示の実施形態に係る対象領域の種類には様々な種類が想定される。例えば、対象領域の例としては、腫瘍領域が主に想定される。その他、対象領域の例としては、検体が有る領域、組織領域、アーチファクト領域、上皮組織、扁平上皮、腺領域、細胞異型の領域、組織異型の領域などが挙げられる。すなわち、対象領域の輪郭の例としては、腫瘍領域と非腫瘍領域との境界、検体が有る領域と検体が無い領域との境界、組織（前景）領域と空白（背景）領域との境界、アーチファクト領域と非アーチファクトとの境界、上皮組織と非上皮組織との境界、扁平上皮と非扁平上皮との境界、腺領域と非腺領域との境界、細胞異型の領域とそれ以外の領域との境界、組織異型の領域とそれ以外の領域との境界などが挙げられる。
　（１．３．２．フィッティングモードの種類）
　スキャナ３０によって生体領域が映る画像データが読み取られると、情報処理装置１０の画像データ受信部１２０によって画像データが受信される。表示制御部１１３は、画像データが表示装置によって表示されるように表示装置を制御する。ユーザが、画像データに対して形状を指示すると、操作部１４０が、ユーザによる形状の指示を受け付ける。情報取得部１１１は、ユーザによる形状の指示に基づいて第１の領域情報（境界を示す情報）を得る。また、ユーザは、フィッティングモードを入力し得る。ユーザが、フィッティングモードを入力すると、操作部１４０は、フィッティングモードを受け付け、情報取得部１１１は、フィッティングモードを得る。
　処理部１１２は、画像データと第１の領域情報とフィッティングモードとに基づいて第２の領域情報（初期領域の輪郭を示す情報）を生成する。これによって、生体領域が写る画像データにおいてユーザの手間を低減しつつ高精度に対象領域を選択することが可能となる。ここでは、フィッティングモードが、ユーザによって入力される場合を主に想定した。しかし、フィッティングモードは、どのように決定されてもよい。例えば、処理部１１２は、画像データの特徴に応じてフィッティングモードを決定し、決定したフィッティングモードに基づいて第２の領域情報を生成してもよい。
　ここで、フィッティングモードは限定されない。例えば、フィッティングモードの例としては、「前景背景フィッティングモード」「細胞膜フィッティングモード」「細胞核フィッティングモード」が挙げられる。
　「前景背景フィッティングモード」は、前景と背景との境界に対するフィッティングモードに相当し得る。「前景背景フィッティングモード」は、対象領域が上記した種類（検体が有る領域、組織領域、アーチファクト領域、上皮組織、扁平上皮、腺領域、細胞異型の領域、組織異型の領域など）である場合に適用され得る。フィッティングモードが「前景背景フィッティングモード」である場合、処理部１１２は、画像データと第１の領域情報とに基づいて、グラフカットによるセグメンテーションアルゴリズムを用いてフィッティングを行い得る。あるいは、セグメンテーションアルゴリズムには、機械学習が用いられてもよい。
　一方、「細胞膜フィッティングモード」は、細胞膜に対するフィッティングモードに相当し得る。フィッティングモードが「細胞膜フィッティングモード」である場合には、処理部１１２は、画像データから細胞膜の特徴を認識し、認識した細胞膜の特徴と第１の領域情報とに基づいて、細胞膜に沿ってフィッティングを行う。例えば、フィッティングに際しては、免疫染色の膜染色で茶色に染まったエッジが利用され得る。
　また、「細胞核フィッティングモード」は、細胞核に対するフィッティングモードに相当し得る。フィッティングモードが「細胞核フィッティングモード」である場合には、処理部１１２は、画像データから細胞核の特徴を認識し、認識した細胞核の特徴と第１の領域情報とに基づいて、細胞核に沿ってフィッティングを行う。例えば、ヘマトキシリン・エオジン（ＨＥ）を用いれば核が青く染まるため、フィッティングに際しては、ヘマトキシリン・エオジン（ＨＥ）による染色情報を用いればよい。
　以下では、フィッティングモードが「前景背景フィッティングモード」である場合について主に説明する。
　（１．３．３．境界の決定）
　上記したように、ユーザが、画像データに対して形状を指示すると、操作部１４０が、ユーザによる形状の指示を受け付ける。情報取得部１１１は、ユーザによる形状の指示に基づいて第１の領域情報（境界を示す情報）を得る。より詳細に、情報取得部１１１は、画像データに対して指示された形状の通過領域または周辺領域に基づいて第１の領域情報（境界を示す情報）を得ればよい。
　情報取得部１１１は、ユーザによって画像データに対して指示された形状の通過領域または周辺領域に対して適用されたグラフカットによるセグメンテーションアルゴリズムに基づいて第１の領域情報（境界を示す情報）を得てもよい。例えば、ユーザが画像データに対して曲線または矩形などの形状を指示した場合（例えば、ユーザが画像データに対して領域を曲線または矩形で囲んだ場合）を想定する。かかる場合には、情報取得部１１１は、当該形状によって囲まれる領域（周辺領域）に対してグラフカットによるセグメンテーションアルゴリズムを適用して第１の領域情報（境界を示す情報）を得てもよい。
　あるいは、情報取得部１１１は、ユーザによって画像データに対して指示された形状の通過領域または周辺領域から抽出された特徴データに基づいて第１の領域情報（境界を示す情報）を得てもよい。例えば、ユーザが画像データに対して線分または点などの形状を指示した場合（例えば、ユーザが画像データに対して線分の両端または点を指定した場合）を想定する。かかる場合には、情報取得部１１１は、当該通過領域または当該周辺領域を基準として当該通過領域または周辺領域の特徴データと一致または類似する領域を拡張スキャンして第１の領域情報（境界を示す情報）を得てもよい。
　かかる第１の領域情報（境界を示す情報）は、機械学習を用いて求められてもよい。かかる機械学習は、事前に行われていることが望ましい。また、線分または点が指示された場合における特徴データの抽出には、特徴ベクタまたはベクトル量子化が用いられてもよい。また、通過領域または周辺領域の特徴データと一致または類似する領域を見つける特徴抽出アルゴリズムには、何かしらのハッシュコードを用いて特徴データのマッチングを行う手法が用いられてよい。
　（１．３．４．初期領域の決定）
　上記のようにして第１の領域情報（境界を示す情報）が得られた場合には、処理部１１２は、画像データと第１の領域情報（境界を示す情報）とに基づいて第２の領域情報（初期領域を示す情報）を生成する。例えば、処理部１１２は、画像データと第１の領域情報（境界を示す情報）とに基づいて、フィッティングを行うことによって、第２の領域情報（初期領域を示す情報）を生成する。このとき、表示制御部１１３は、第２の領域情報（初期領域を示す情報）の表示を制御する。
　フィッティングでは、初期領域の輪郭としての確からしさ（信頼度）がより高くなるように第２の領域情報（初期領域を示す情報）が決定されてよい。初期領域の輪郭としての確からしさは、第１の領域情報（境界を示す情報）に基づいて設定された確率場をコスト関数としてグラフカットを用いて求められてもよい。しかし、グラフカットのようなアルゴリズムでは、エネルギー最小化問題を解くため、ここでは、エネルギーの低さを初期領域の輪郭としての確からしさに用いる場合を主に想定する。
　なお、かかるフィッティングの手法は、機械学習を用いて事前に学習されてもよい。以下では、対象領域が腫瘍領域である場合について主に説明する。しかし、対象領域は、腫瘍領域に限定されない。
　（１．３．５．初期領域の修正）
　上記のようにしてフィッティングが実行されて第２の領域情報（初期領域を示す情報）が得られたとしても、当該初期領域の輪郭が腫瘍領域の輪郭からずれてしまっている場合が想定される。かかる場合には、処理部１１２は、画像データと第２の領域情報（初期領域を示す情報）とに基づいて第３の領域情報を生成してもよい。すなわち、画像データと第２の領域情報（初期領域を示す情報）とに基づいて、再度フィッティングを行うことによって、第３の領域情報を生成してもよい。あるいは、処理部１１２は、画像データと第２の領域情報とフィッティングの可動範囲とに基づいて第３の領域情報を生成してもよい。例えば、フィッティングの可動範囲は、第２の領域情報に対する割合［％］および±画素［ｐｉｘｅｌ］で指定することが可能であってよい。このとき、表示制御部１１３は、第３の領域情報の表示を制御する。
　これによって、当該第３の領域の輪郭が腫瘍領域の輪郭に近づく可能性もある。しかしながら、当該第３の領域の輪郭が腫瘍領域の輪郭に近づくとも限らず、フィッティングが繰り返し実行されることによって、フィッティング実行後の領域の輪郭が腫瘍領域の輪郭から離れてしまう可能性もある。そこで、ユーザにとっては、フィッティング実行後の領域の輪郭を確認しながら、適切な繰り返し回数を選択できることが望ましい。フィッティングは、画像データの倍率を同一に保ちながら繰り返し実行されてもよいし、画像データの倍率を変化させながら繰り返し実行されてもよい。画像データの倍率を変化させる場合、処理部１１２は、フィッティングモードに基づいて画像データの倍率を決定してもよい。あるいは、処理部１１２は、フィッティングモードに基づいて画像データの解像度を決定してもよい。
　図３は、フィッティングが画像データの倍率を同一に保ちながら繰り返し実行される場合の例を示す図である。画像データＧ１０－１～Ｇ１０－４それぞれには、腫瘍領域Ｒ１０が写っており、画像データＧ１０－１～Ｇ１０－４は、同一の倍率によって表示される。曲線Ｔ１は、ユーザによる形状の指示に基づいて得られた第１の領域情報（境界を示す情報）である。曲線Ｔ２は、画像データと曲線Ｔ１とに基づいて、フィッティングを行うことによって得られた第２の領域情報（初期領域の輪郭を示す情報）である。曲線Ｔ３は、画像データと曲線Ｔ２とに基づいて、フィッティングを行うことによって得られた第３の領域情報である。曲線Ｔ４は、画像データと曲線Ｔ３とに基づいて、フィッティングを行うことによって得られた第４の領域情報である。
　表示制御部１１３は、切り替え操作に基づいて曲線Ｔ１と曲線Ｔ２との間で表示対象を切り替えることが可能である。また、表示制御部１１３は、切り替え操作に基づいて曲線Ｔ２と曲線Ｔ３との間で表示対象を切り替えることが可能である。さらに、表示制御部１１３は、切り替え操作に基づいて曲線Ｔ３と曲線Ｔ４との間で表示対象を切り替えることが可能である。具体的な切り替え操作は限定されない。例えば、切り替え操作は、ボタンを押下する操作であってもよいし、スクロール操作（例えば、マウスのホイールを前後に動かす操作など）であってもよい。
　図３に示す例において、表示制御部１１３は、マウスのホイールを前方向に動かす操作が行われた場合に、曲線Ｔ１からフィッティング実行後の曲線Ｔ２に表示対象を切り替えている（Ｓ１）。さらに、表示制御部１１３は、マウスのホイールを前方向に動かす操作が行われた場合に、曲線Ｔ２からフィッティング実行後の曲線Ｔ３に表示対象を切り替えている（Ｓ２）。また、表示制御部１１３は、マウスのホイールを前方向に動かす操作が行われた場合に、曲線Ｔ３からフィッティング実行後の曲線Ｔ４に表示対象を切り替えている（Ｓ３）。
　フィッティングが実行される際には、フィッティング実行前の曲線は保持されるのがよい。そうすれば、表示制御部１１３は、ユーザからの切り替え操作が行われた場合に、フィッティング実行前の曲線を再度表示させることも可能である。図３に示す例において、表示制御部１１３は、マウスのホイールを前方向に動かす操作が行われた場合に、曲線Ｔ４からフィッティング実行前の曲線Ｔ３に表示対象を切り替えている（Ｓ４）。
　このようにして、ユーザは、切り替え操作によって表示対象の曲線を切り替えることによって、腫瘍領域Ｒ１０の輪郭に近い曲線（図３に示した例では、曲線Ｔ３）を選択することができる。処理部１１２は、曲線Ｔ２～Ｔ４のいずれかを学習処理に利用されるアノテーションとして選択することができる。
　例えば、処理部１１２は、ユーザによる選択操作に基づいて曲線Ｔ３が選択された場合、曲線Ｔ３を学習処理に利用されるアノテーションとして選択することができる。あるいは、処理部１１２は、ユーザによる選択操作に基づいて曲線Ｔ２が選択された場合、曲線Ｔ２を学習処理に利用されるアノテーションとして選択することができる。あるいは、処理部１１２は、ユーザによる選択操作に基づいて曲線Ｔ４が選択された場合、曲線Ｔ４を学習処理に利用されるアノテーションとして選択することができる。
　ここで、具体的な選択操作は限定されないが、選択操作は、ボタン押下操作、マウスのクリック操作、シークバーの移動操作などによって実現されてもよい。あるいは、処理部１１２は、腫瘍領域Ｒ１０の輪郭に近い曲線（図３に示した例では、曲線Ｔ３）を自動的に選択することが可能であってもよい。なお、フィッティングの繰り返し実行は、必ずしもユーザによる切り替え操作が行われた場合になされなくてもよい。例えば、フィッティングの繰り返し実行は、計算資源が十分にありさえすれば、ユーザによる切り替え操作なしに順次に実行されてもよい。あるいは、複数回のフィッティングは一度に実行され、実行結果は異なる表示態様によって同時に表示されてもよい。
　図４は、複数回のフィッティングの実行結果それぞれが異なる表示態様によって同時に表示される例を示す図である。図４を参照すると、画像データＧ１０に腫瘍領域Ｒ１０が写っている。また、表示制御部１１３は、曲線Ｔ２～Ｔ４それぞれが異なる表示態様によって同時に表示されるように制御している。なお、表示制御部１１３は、曲線Ｔ２～Ｔ４それぞれの表示態様をどのように異ならせてもよい。例えば、表示制御部１１３は、曲線Ｔ２～Ｔ４それぞれの表示態様を色、太さ、破線の間隔の違いによって異ならせてよい。曲線Ｔ２～Ｔ４のいずれかに対する選択操作は、マウスのクリック操作などによって実現され得る。
　図５は、フィッティングが画像データの倍率を変化させながら繰り返し実行される場合の例を示す図である。例えば、組織異型の領域（大腸癌など）に対する診断を行うような場合には、低解像度のアノテーションが得られれば十分であると考えられる。一方、細胞異型の領域（テクスチャ）に対する診断を行うような場合には（例えば、膵管癌、甲状腺腫瘍、リンパ腫など）、高解像度のアノテーションを得る必要がある。ミップマップと呼ばれる（画像データの表示倍率の）階層構造を利用すれば、高解像度のアノテーションを得ることが可能である。
　そこで、処理部１１２は、第２の領域情報を生成した後、画像データの倍率を変更し、倍率変更後の画像データに基づいて第３の領域情報を生成するのがよい。より望ましくは、処理部１１２は、第２の領域情報を生成した後、画像データの倍率が高くなるように倍率を変更し、倍率変更後の画像データに基づいて第３の領域情報を生成する。このとき、処理部１１２は、第３の領域情報を学習処理に利用されるアノテーションとして選択すればよい。これによって、高解像度のアノテーションが得られる。
　図５を参照すると、倍率５倍の画像データＧ５－１～Ｇ５－２それぞれには、腫瘍領域Ｒ５が小さく写っており、倍率１０倍の画像データＧ１０－１～Ｇ１０－３それぞれには、腫瘍領域Ｒ１０が中程度の大きさで写っており、倍率２０倍の画像データＧ２０－１、Ｇ２０－３、Ｇ２０－４それぞれには、腫瘍領域Ｒ２０が大きく写っている。
　曲線Ｔ１１は、ユーザによる形状の指示に基づいて得られた第１の領域情報（境界を示す情報）である。曲線Ｔ１２は、倍率５倍の画像データＧ５－１と曲線Ｔ１１とに基づいて、フィッティングを行うことによって得られた第２の領域情報（初期領域の輪郭を示す情報）である。曲線Ｔ１３は、倍率１０倍の画像データＧ１０－２と曲線Ｔ１２とに基づいて、フィッティングを行うことによって得られた第３の領域情報である。曲線Ｔ１４は、倍率２０倍の画像データＧ２０－３と曲線Ｔ１３とに基づいて、フィッティングを行うことによって得られた第４の領域情報である。なお、画像データＧ５－２のようにフィッティングが実行された画像データの倍率「×２０倍で吸着」などが表示されてもよい。
　この例に示したように、処理部１１２は、ミップマップと呼ばれる階層構造を利用して、画像データの倍率を段階的に大きく変化させながらフィッティングを繰り返し実行するとよい。これによって、処理部１１２は、低倍率の画像データにおいてユーザにラフに曲線を描かせつつ、フィッティングの精度を段階的に高くすることが可能になるため、高精度かつ迅速にアノテーションを得ることが可能となる。なお、図５に示したように倍率は徐々に高くされてもよいし、中間倍率はスキップされてもよい（例えば、１０倍の画像データでのフィッティングはスキップされ、５倍の画像データでのフィッティング実行後に２０倍の画像データでのフィッティングが実行されてもよい）。
　（１．３．６．動作例）
　続いて、図６および図７を参照しながら、本開示の実施形態に係る情報処理システム１の動作例を説明する。
　図６は、フィッティングが画像データの倍率を同一に保ちながら繰り返し実行される場合の動作例を示す図である。まず、表示制御部１１３は、画像データの表示を制御する。そして、図６に示すように、ユーザは、画像データに写る腫瘍領域を曲線で囲む（Ｓ１１）。処理部１１２は、画像データとユーザによって囲まれた曲線とに基づいて、グラフカットを用いてエネルギー計算を行い（Ｓ１２）、計算結果に基づいて曲線を修正する（フィッティングを行う）（Ｓ１２）。
　表示制御部１１３は、修正後の曲線の表示を制御する。修正後の曲線を見たユーザは、フィッティングがＯＫであるか否かを判定する。ユーザによってフィッティングがＮＧであることが入力された場合（Ｓ１４において「Ｎｏ」）、ユーザによって曲線のマニュアル調整が実行され（Ｓ１５）、Ｓ１２に動作が移行される。一方、ユーザによってフィッティングがＯＫであることが入力された場合（Ｓ１４において「Ｙｅｓ」）、処理部１１２によってアノテーションデータ（アノテーションおよびラベル）が生成される（Ｓ１６）。その後、学習装置５０によってアノテーションデータに基づく機械学習が実行され（Ｓ１７）、自動診断ＡＩが構築される。
　図７は、フィッティングが画像データの倍率を変化させながら繰り返し実行される場合の動作例を示す図である。まず、表示制御部１１３は、画像データの表示を制御する。そして、図７に示すように、ユーザは、画像データに写る腫瘍領域を曲線で囲む（Ｓ１１）。処理部１１２は、画像データとユーザによって囲まれた曲線とに基づいて、グラフカットを用いてエネルギー計算を行い（Ｓ１２）、計算結果に基づいて曲線を修正する（フィッティングを行う）（Ｓ１２）。
　表示制御部１１３は、修正後の曲線の表示を制御する。処理部１１２は、現在の画像データの倍率が指定倍率に到達したか否かを判定する。処理部１１２は、現在の画像データの倍率が指定倍率に到達していない場合には（Ｓ２４において「Ｎｏ」）、画像データの倍率をより高倍率に変更し（Ｓ２５）、一方、現在の画像データの倍率が指定倍率に到達した場合には（Ｓ２４において「Ｙｅｓ」）、処理部１１２によってアノテーションデータ（アノテーションおよびラベル）が生成される（Ｓ１６）。その後、学習装置５０によってアノテーションデータに基づく機械学習が実行され（Ｓ１７）、自動診断ＡＩが構築される。
　（１．３．７．制御点の配置）
　上記では、フィッティング実行後の曲線に対して直接的にマニュアル調整を行う場合を想定した。しかし、処理部１１２は、フィッティング実行後の曲線（第２の領域情報、第３の領域情報または第４の領域情報）に基づいて、曲線上に複数の点（制御点）の位置を決定し、表示制御部１１３は、決定された位置に複数の制御点を配置してもよい。これによって、当該曲線を構成する点集合の情報をすべて管理する必要はなくなり、当該曲線を構成する複数の点のみを管理すれば済むようになるため、必要なメモリの量が低減され得る。例えば、処理部１１２は、フィッティング実行後の曲線のうち細かく表現する必要が無い部分に関しては、制御点の数を減らすことが可能である。
　一例として、処理部１１２は、フィッティング実行後の曲線を微分することによって、微分値の絶対値が小さいほど、制御点を少なくすることが可能である。例えば、細胞異型の領域などといった細かいテクスチャがＡＩに必要な場合には、制御点はあまり減らさないほうがよい。一方、組織異型の領域などといったマクロな情報がＡＩに必要な場合には、制御点が減らされたほうがデータ量の面では有効である。
　図８は、腫瘍領域Ｒ１０の例を示す図である。図９は、制御点の配置例を示す図である。図９を参照すると、曲線の傾きの変化が大きい部分には、制御点ＣＰが多く配置されている。図１０は、制御点の配置例を示す図である。図１０に示したように、処理部１１２は、曲線に囲まれる対象領域の種類に応じて、制御点ＣＰの数を調整することが可能である。
　ユーザは、腫瘍領域Ｒ１０から曲線がずれてしまっている場合（例えば、高精度なフィッティングが難しい部分がある場合など）、複数の制御点ＣＰの一部または全部を移動させればよい。例えば、制御点ＣＰの移動操作は、マウスのドラッグ・アンド・ドロップによって実行されてもよい。処理部１１２は、ユーザによる移動操作に基づいて複数の制御点ＣＰの一部または全部を移動させる。そして、処理部１１２は、少なくとも移動させた制御点ＣＰに基づいてフィッティングを実行して、曲線を修正すればよい。なお、複数の制御点間の線は、ベジェまたはスプラインによって補間されてよい。
　（１．３．８．部分吸着）
　上記では、腫瘍領域に対して曲線全体がフィッティングされる場合を主に想定した。しかし、曲線の一部のみが部分的にフィッティングされてもよい。図１１は、部分的なフィッティングの例を説明するための図である。図１１を参照すると、倍率１０倍の画像データＧ１０－２に、倍率２０倍の画像データＧ２０－１における部分領域Ｍ２０が拡大鏡領域Ｍ１０として表示されている。
　ユーザは、拡大鏡領域Ｍ１０の曲線Ｔ２１または曲線Ｔ２１上に配置された制御点を移動させることができる。処理部１１２は、かかるユーザの移動操作に基づいて移動された部分だけのフィッティング（部分的なフィッティング）を実行してもよい。例えば、処理部１１２は、移動操作に基づいて曲線（第２の領域情報）に配置された複数の制御点の一部を移動させた場合、移動させた制御点に基づいて曲線（第３の領域情報）を生成すればよい。
　（１．３．９．フィッティング部分の確認）
　上記のようにして実行されたフィッティング状況を確認するＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）としては、様々なＵＩが想定される。図１２は、フィッティング部分の確認ＵＩの一例を示す図である。図１２を参照すると、画像データＧ１０－１が表示されている。画像データＧ１０－１の一部を拡大した領域（拡大領域Ｖ０）も表示されている。例えば、表示制御部１１３は、曲線に沿って領域Ｖ１～Ｖ８の順に走査し、走査した領域を拡大領域Ｖ０として表示させることによって、ユーザがフィッティング状況を確認できるようにしてもよい。
　あるいは、処理部１１２は、曲線（第２の領域情報または第３の領域情報）に基づいて、曲線（第２の領域情報または第３の領域情報）の確からしさ（信頼度）を算出してもよい。そして、表示制御部１１３、当該確からしさが所定の確からしさよりも低い区間が検出された場合、その区間に応じた所定の情報の表示を制御してもよい。図１３は、フィッティング部分の確認ＵＩの他の一例を示す図である。図１３を参照すると、曲線のうち、確からしさが所定の確からしさよりも低い区間Ｄ２が、確からしさが所定の確からしさよりも高い区間Ｄ１とは、異なる表示態様によって表示されている。
　なお、表示制御部１１３は、区間Ｄ１と区間Ｄ２との表示態様をどのように異ならせてもよい。例えば、表示制御部１１３は、区間Ｄ１と区間Ｄ２との表示態様を、色、太さ、破線の間隔の違いによって異ならせてよい。
　（１．３．１０．探索範囲の可視化）
　上記実施形態では、ユーザは、どのようにフィッティングされるかは予測できない。このため、ユーザにとって意図しない領域にフィッティングされる可能性もある。以下の実施形態では、ユーザビリティの向上を図ることができるフィッティングについて説明する。
　上述したフィッティングは、ユーザが描いた線から所定の距離までの領域を探索することで行われる。ここで、上述したフィッティングの範囲を可視化してもよい。以下、フィッティング処理時に探索される領域を「探索範囲」と表記する。表示探索部１１３は、フィッティングの探索範囲を画像データ上に表示させる。これにより、ユーザは示された幅の範囲内で結果が出力されることを直感的に把握することができる。
　表示制御部１１３は、以下の２つの方法のいずれかによって探索範囲を可視化する。具体的には、表示制御部１１３は、ユーザが手動で決定した探索範囲を表示させる場合と、情報処理装置１０により自動的に決定された探索範囲を表示させる場合とがある。以下、表示制御部１１３が、ユーザが手動で決定した探索範囲を表示させる場合を説明する。
　表示制御部１１３は、ユーザが探索範囲の幅を示す情報（例えば、ペンやマーカー）を選択することによって、選択された情報に応じた幅の探索範囲を表示させる。例えば、表示制御部１１３は、選択された情報の幅が広いほど、広い探索範囲を表示させる。具体的な例を挙げると、表示制御部１１３は、ユーザが探索範囲の幅として１ｃｍを選択した場合には、１ｃｍの幅の探索範囲を表示させる。例えば、表示制御部１１３は、ユーザが直径１ｃｍの円を示す探索範囲を選択した場合には、直径１ｃｍの円を示す探索範囲を表示させる。なお、ユーザが入力する境界の幅は、円や線や楕円に限らず、どのような幾何形状により指定されるものであってもよい。例えば、境界の幅が円の場合、ユーザは探索範囲に対応する直径の円で境界を入力する。このように、表示制御部１１３は、ユーザが入力する境界の幅と対応するフィッティングの探索範囲を表示させてもよい。
　以下、図１５を用いて２つの方法による探索範囲の可視化について説明する。図１５は、病理画像を示す。図１５の物体Ｐ１は、細胞を示す。なお、細胞の集合体は組織と呼ばれる。図１５は、探索範囲の可視化の一例を示す。図１５（ａ）は、円で入力した境界からの探索範囲を示す。具体的には、図１５（ａ）では、ユーザが描いている点に追従して探索範囲を示す円が表示される場合を示す。この場合、追従して表示される探索範囲を示す円の領域のいずれかでフィッティングが行われる。また、表示制御部１１３は、ユーザにより選択された情報に応じた幅の探索範囲を表示させる場合には、ユーザによる選択に応じて追従する円の大きさを決定する。例えば、表示制御部１１３は、ユーザが直径１ｃｍの円を選択した場合には、ユーザが描く点に追従して直径１ｃｍの円が探索範囲として表示される。図１５（ｂ）は、線分で入力した境界からの探索範囲を示す。具体的には、図１５（ｂ）では、ユーザが描いている点に追従して探索範囲を示す線が追従して表示される場合を示す。この場合、追従して表示される探索範囲を示す線のいずれかでフィッティングが行われる。また、表示制御部１１３は、ユーザにより選択された情報に応じた幅の探索範囲を表示させる場合には、ユーザによる選択に応じて追従する線の太さや長さを決定する。例えば、表示制御部１１３は、ユーザが長さ１ｃｍの線を選択した場合には、ユーザが描く点に追従して長さ１ｃｍの線が探索範囲として表示される。
　表示制御部１１３は、探索範囲を、ユーザによる入力途中、入力後のいずれのタイミングで表示させてもよい。
　表示制御部１１３は、探索範囲を示す領域を、どのような態様で表示させてもよい。例えば、表示制御部１１３は、探索範囲を示す領域を、透過度を変えて表示させてもよい。図１６では、画像データ上の範囲Ｐ１１が探索範囲を示す。図１６は、ユーザの入力に応じて追従して表示される探索範囲の軌跡を示してもよいし、ユーザにより選択された情報に応じた幅による探索範囲の軌跡を示してもよい。これにより、探索範囲を示す領域を透過させることで、範囲を示しながらも範囲内の組織を参照させることができる。例えば、表示制御部１１３は、境界の中心ほど透過度を高くして表示させてもよい。この場合、少なくとも、２つ以上の透過度で表示させることとなる。すなわち、表示制御部１１３は、表示範囲を示す領域を、少なくとも２つ以上の透過度で表示させてもよい。例えば、表示制御部１１３は、探索範囲を示す領域を、色を変えて表示させてもよい。例えば、表示制御部１１３は、探索範囲を示す領域を、境界の中心ほど色の濃淡を薄くして表示させてもよい。この場合、少なくとも、２つ以上の色で表示させることとなる。すなわち、表示制御部１１３は、表示範囲を示す領域を、少なくとも２つ以上の色で表示させてもよい。例えば、表示制御部１１３は、探索範囲を示す領域を、斜線やドットなどの幾何模様で埋めて表示させてもよい。また、表示制御部１１３は、探索範囲を示す領域内のうち、フィッティングがされる確率が高いほど、透過度を低くしたり、色の濃淡を濃くしたり、斜線やドットなどの幾何模様の密度を大きくして表示させてもよい。例えば、処理部１１２が、線分からの距離が中心に近いほどフィッティングがされる確率を高くする場合には、表示制御部１１３は、線分からの距離が中心に近いほど濃淡を濃くして探索範囲を表示してもよい。このように、表示制御部１１３は、ユーザにより予め定められた透過度、色、幾何形状、又は、幾何模様のいずれか一つに応じてフィッティングの探索範囲を表示させてもよい。
　このように、表示制御部１１３は、上述した方法で、探索範囲の表示を制御してもよい。
　（１．３．１１．探索範囲）
　処理部１１２は、ユーザが描いた線から所定の距離までの領域の範囲内で、フィッティングの探索を行う。図１７は、距離ｄだけ離れた領域までを探索範囲とした場合の、探索範囲の一例を示す。探索範囲は、図１７（ａ）に示すように、０と１とのバイナリによるものであってもよい。この場合、処理部１１２は、ユーザが入力した境界の方向に対する法線の方向に距離ｄだけ離れた領域までを探索範囲としたアルゴリズムを適用してもよい。また、探索範囲は、バイナリによるものに限らず、重みより変化するものであってもよい。例えば、探索範囲は、図１７（ｂ）に示すように、線分からの距離に応じた重みに基づくアルゴリズムが適用されてもよい。
　（１．３．１２．探索範囲の調整）
　処理部１１２は、探索範囲の調整（設定）をユーザにより手動で行えるようにしてもよい。以下、適宜、探索範囲の調整を、探索範囲の設定としてもよいものとする。例えば、処理部１１２は、ユーザが探索範囲の形状や幅を手動で選択できるようにしてもよい。例えば、処理部１１２は、ユーザが探索範囲の形状を手動で選択して、ユーザの入力に応じて探索範囲の幅を自動で変更してもよい。なお、探索範囲の調整は、探索範囲の幅の増加であっても、減少であってもよいものとする。図１８は、ユーザにより選択された２つの異なる幅の探索範囲を示す。図１８（ａ）は、処理部１１２が、範囲Ｐ２１の中でフィッティングの探索を行う場合を示す。図１８（ｂ）は、処理部１１２が、範囲Ｐ２２の中でフィッティングの探索を行う場合を示す。また、処理部１１２は、探索範囲の調整を、どのようなタイミングで行えるようにしてもよい。例えば、処理部１１２は、探索範囲の調整を、境界の入力前、入力途中、入力後のいずれのタイミングで行えるようにしてもよい。
　ここで、ユーザがインターフェースを介して手動で行えるようにする場合の例を挙げる。例えば、処理部１１２は、操作画面上のＧＵＩ（例えば、スライダーやコンボボックスやボタン）によって探索範囲の調整を行えるようにしてもよい。例えば、処理部１１２は、マウスホイールなどのハードウェアによって探索範囲の調整を行えるようにしてもよい。例えば、処理部１１２は、事前に定義されたプリセットの選択によって探索範囲の調整を行えるようにしてもよい。この場合、処理部１１２は、ユーザによる探索範囲の幅を示す情報の選択によって、探索範囲の幅を決定してもよい。
　ユーザ自身が探索範囲を調整する例について説明する。図１９は、ユーザ自身が探索範囲を調整する場合の情報処理のフローを示す。
　情報処理装置１０は、境界の入力前に探索範囲の指定を受け付ける（Ｓ３１）。情報処理装置１０は、探索範囲に対応する太さを持ったペンによる境界の入力を受け付ける（Ｓ３２）。なお、情報処理装置１０は、境界の入力途中で、ユーザによるＧＵＩなどの探索範囲の調整を受け付けてもよい。情報処理装置１０は、境界の入力が完了したか否かを判定する（Ｓ３３）。情報処理装置１０は、境界の入力が完了していない場合（Ｓ３３において「Ｎｏ」）、新たに境界の入力を受け付ける。情報処理装置１０は、境界の入力が完了した場合、フィッティングを実行する（Ｓ３４）。情報処理装置１０は、フィッティングの結果を表示させる（Ｓ３５）。情報処理装置１０は、探索範囲の変更を受け付けたか否かを判定する（Ｓ３６）。情報処理装置１０は、探索範囲の変更を受け付けた場合（Ｓ３６において「Ｙｅｓ」）、再度フィッティングを実行する。情報処理装置１０は、探索範囲の調整を受け付けない場合（Ｓ３６において「Ｎｏ」）、情報処理を終了する。このように、ユーザがフィッティングの結果を確認して、期待する結果が得られなかった場合、探索範囲の調整を受け付け、ユーザが期待する効果が得られるまで繰り返しフィッティングを実行することができる。
　以上、処理部１１２が、探索範囲の調整を、ユーザにより手動で行える例について説明したが、操作時の条件や対象画像に基づいて自動で行ってもよい。以下、表示制御部１１３が、情報処理装置１０により自動的に決定された探索範囲を表示させる場合を説明する。表示制御部１１３は、ユーザが画像データ上に境界を入力（描画）すると、ユーザによる入力に応じたフィッティングの探索範囲を表示させる。このように、表示制御部１１３は、ユーザによる画像データに対する入力情報に応じたフィッティングの探索範囲を表示させてもよい。なお、処理部１１２は、ユーザが手動で行う場合と同様、探索範囲の調整をどのようなタイミングで行ってもよい。例えば、処理部１１２は、探索範囲の調整を、境界の入力前、入力途中、入力後のいずれのタイミングで行ってもよい。
　この場合、表示制御部１１３は、ユーザが予め探索範囲の形状を指定することにより、指定された形状に基づいて探索範囲を拡大又は縮小することにより表示させてもよい。また、表示制御部１１３は、情報処理装置１０により自動的に決定された形状に基づく探索範囲を表示させてもよい。
　ここで、操作時の条件や対象画像に基づいて自動で行う場合の例を挙げる。例えば、処理部１１２は、ユーザが入力する境界の速度に基づいて探索範囲の調整を行ってもよい。なお、ユーザが入力する境界の速度とは、ユーザの境界の入力速度である。例えば、処理部１１２は、ユーザが境界を入力する筆圧に基づいて探索範囲の調整を行ってもよい。例えば、処理部１１２は、ユーザが境界を入力する際の画像データの倍率に基づいて探索範囲の調整を行ってもよい。例えば、処理部１１２は、ユーザが入力する境界の付近の特徴に基づいて探索範囲の調整を行ってもよい。なお、ユーザが入力する境界が閉曲線である場合には、処理部１１２は、ユーザが入力する境界の内外の特徴に基づいて探索範囲の調整を行ってもよい。なお、ユーザが入力する境界の内と外とが区別できれば、閉曲線に限らず、どのような曲線であっても、処理部１１２は、ユーザが入力する境界の内外の特徴に基づいて探索範囲の調整を行ってもよい。以下、探索範囲を自動で変更する例を個々に説明する。
　図１９では、ユーザ自身が探索範囲を調整する例について説明した。以下、探索範囲を自動で変更する例について説明する。具体的には、情報処理装置１０が速度、筆圧、倍率、画像に応じて検索範囲を変更する例について、図２０乃至２３を用いて説明する。
　この場合、情報処理装置１０は、ユーザによる境界の入力に応じて、探索範囲の幅を決定する。具体的には、処理部１１２は、ユーザによる入力に応じて追従する探索範囲の大きさを変更してもよい。例えば、処理部１１２は、ユーザによる入力の速度や筆圧に応じて追従する探索範囲の大きさを変更してもよい。例えば、処理部１１２は、ユーザによる入力の速度が速いほど、探索範囲の大きさが大きくなるように変更してもよい。例えば、処理部１１２は、ユーザが探索範囲として円を予め選択した場合には、ユーザによる入力に応じて追従する円の大きさ（例えば、直径）を変更してもよいし、ユーザが探索範囲として線を予め選択した場合には、ユーザによる入力に応じて追従する線の大きさ（例えば、線の太さや長さ）を変更してもよい。なお、探索範囲の形状は、上記の例に限らず、どのような幾何形状のものであってもよい。
　処理部１１２は、所定の条件に基づいて調整された探索範囲でフィッティングの処理を実行してもよい。具体的には、処理部１１２は、ユーザによる画像データに対する操作に応じて調整された探索範囲でフィッティングの処理を実行してもよい。
　（１．３．１３．境界入力速度）
　ユーザがどの程度慎重に信頼性の高い境界を入力しているかは、ユーザの入力速度と相関があると考えられる。例えば、入力速度が速い場合には大雑把に信頼性の低い境界を入力していると推定されるのに対して、入力速度が遅い場合には慎重に信頼性の高い境界を入力していると推定される。図２０は、上記の前提を基に境界入力の速度に応じて探索範囲を調整する場合の情報処理のフローを示す。
　情報処理装置１０は、境界の入力前に探索範囲の指定を受け付ける（Ｓ３１）。情報処理装置１０は、探索範囲に対応する太さを持ったペンにより境界の入力を受け付ける（Ｓ３２）。情報処理装置１０は、受け付けられた境界の入力速度を算出する（Ｓ４３）。例えば、情報処理装置１０は、画像データ上の２点間の距離の移動と移動に掛かる時間とに基づいて、入力速度を算出する。情報処理装置１０は、算出した入力速度が所定の閾値以上であるか否かを判定する（Ｓ４４）。情報処理装置１０は、算出した入力速度が所定の閾値以上である場合（Ｓ４４において「Ｙｅｓ」）、探索範囲を広い値に調整する（Ｓ４５）。一方、情報処理装置１０は、算出した入力速度が所定の閾値を下回る場合（Ｓ４４において「Ｎｏ」）、探索範囲を狭い値に調整する（Ｓ４６）。
　この場合、処理部１１２は、ユーザが入力する境界の速度に応じて調整された探索範囲でフィッティングの処理を実行する。
　（１．３．１４．筆圧）
　デバイスにより検知される筆圧に基づいて検索範囲を変更する場合を説明する。例えば、ペンタブレットなどのデバイスを用いてアノテーションを行っている場合に、デバイスにより検知される筆圧に基づいて検索範囲を変更する場合を説明する。
　ユーザがどの程度慎重に信頼性の高い境界を入力しているかは、筆圧と相関があると考えられる。例えば、筆圧が小さい場合には大雑把に信頼性の低い境界を入力していると推定されるのに対して、筆圧が大きい場合には慎重に信頼性の高い境界を入力していると推定される。図２１は、上記の前提を基に境界入力の筆圧に応じて探索範囲を調整する場合の情報処理のフローを示す。
　情報処理装置１０は、境界の入力前に探索範囲の指定を受け付ける（Ｓ３１）。情報処理装置１０は、探索範囲に対応する太さを持ったペンにより境界の入力を受け付ける（Ｓ３２）。情報処理装置１０は、受け付けられた境界入力の筆圧を算出する（Ｓ５３）。具体的には、情報処理装置１０は、ユーザが境界を入力する際に検知される筆圧を算出する。例えば、情報処理装置１０は、画像データ上のユーザによる入力のスポットから所定の範囲内に掛かる圧力を検知することにより、筆圧を算出する。情報処理装置１０は、算出した筆圧が所定の閾値以上であるか否かを判定する（Ｓ５４）。情報処理装置１０は、算出した筆圧が所定の閾値以上である場合（Ｓ５４において「Ｙｅｓ」）、探索範囲を狭い値に調整する（Ｓ５５）。一方、情報処理装置１０は、算出した筆圧が所定の閾値を下回る場合（Ｓ５４において「ＮＯ」）、探索範囲を広い値に調整する（Ｓ５６）。
　（１．３．１５．観察倍率）
　ユーザがどの程度慎重に信頼性の高い境界を入力しているかは、ユーザの観察倍率と相関があると考えられる。例えば、ユーザが大きい倍率（拡大）で観察している場合には慎重に信頼性の高い境界を入力していると推定するのに対して、ユーザが小さい倍率（広角）で観察している場合には大雑把に信頼性の低い境界を入力していると推定される。図２２は、上記の前提を基に観察倍率に応じて探索範囲を調整する場合の情報処理のフローを示す。
　情報処理装置１０は、境界の入力前に探索範囲の指定を受け付ける（Ｓ３１）。情報処理装置１０は、探索範囲に対応する太さを持ったペンにより境界の入力を受け付ける（Ｓ３２）。情報処理装置１０は、観察倍率が変更された場合、観察倍率が拡大されたか縮小されたかを判定する（Ｓ６３）。例えば、情報処理装置１０は、アノテーションを行っている途中に観察倍率が拡大されたか縮小されたかを判定する。情報処理装置１０は、観察倍率が拡大された場合（Ｓ６３において「Ｙｅｓ」）、探索範囲を狭い値に調整する（Ｓ６４）。一方、情報処理装置１０は、観察倍率が縮小された場合（Ｓ６３において「Ｎｏ」）、探索範囲を広い値に調整する（Ｓ６５）。
　この場合、処理部１１２は、ユーザが境界を入力する際の画像データの倍率に応じて調整された探索範囲でフィッティングの処理を実行する。
　（１．３．１６．画像）
　適切な探索範囲は対象とする画像にも依存すると考えられる。例えば、画像データ上の境界が不明瞭な場合には探索範囲を広く調整することで、より適切なフィッティングの効果が得られると推定される。具体的には、情報処理装置１０は、予め対象画像全体又は境界付近の画像を解析することで、解析結果に基づいて探索範囲を調整することができるため、より適切なフィッティングの効果が得られると推定される。図２３は、上記の前提を基にユーザが入力している境界周辺の明るさ（輝度値）の変化から境界の不明瞭さを評価し探索範囲を調整する場合の情報処理のフローを示す。
　情報処理装置１０は、境界の入力前に探索範囲の指定を受け付ける（Ｓ３１）。情報処理装置１０は、探索範囲に対応する太さを持ったペンにより境界の入力を受け付ける（Ｓ３２）。情報処理装置１０は、受け付けられた入力の境界の近傍の明るさの変化を算出する（Ｓ７３）。例えば、情報処理装置１０は、境界付近の明るさの差又は変化の勾配を算出する。情報処理装置１０は、算出した境界付近の明るさの差又は変化の勾配が所定の閾値以上であるか否かを判定する（Ｓ７４）。情報処理装置１０は、算出した境界付近の明るさの差又は変化の勾配が所定の閾値以上である場合（Ｓ７４において「Ｙｅｓ」）、境界が明瞭と判断して探索範囲を狭い値に調整する（Ｓ７５）。なお、図２４（ａ）は、境界が明瞭と判断される例を示す。図中のＰｏｕｔは境界の外側を示し、Ｐｉｎは境界の内側を示すものとする。この場合の、算出される境界付近の明るさの差又は変化の勾配は、所定の閾値以上である。一方、情報処理装置１０は、算出した境界付近の明るさの差又は変化の勾配が所定の閾値を下回る場合（Ｓ７４において「Ｎｏ」）、境界が不明瞭と判断して探索範囲を大きな値に調整する（Ｓ７６）。なお、図２４（ｂ）は、境界が不明瞭と判断される例を示す。この場合の、算出される境界付近の明るさの差又は変化の勾配は、所定の閾値を下回る。
　図２４に示す例では、境界周辺の明るさの変化から境界の不明瞭さを評価し探索範囲を調整する処理の例を示したが、上記の例に限られない。例えば、情報処理装置１０は、画像解析により得られる情報のうちユーザが意図する探索範囲と相関する任意の情報を用いて探索範囲を適切に調整してもよい。具体的な例を挙げると、情報処理装置１０は、輝度値などの色情報、エッジや周波数（例えば、画像や線の細かさ）などのテクスチャ情報、それらの空間分布（ヒストグラム）に関する情報を用いて探索範囲を適切に調整してもよい。例えば、情報処理装置１０は、ヒストグラム同士を比較することにより算出される差に基づいて探索範囲を適切に調整してもよい。その他、情報処理装置１０は、彩度、テクスチャを示す指標、分散、ピクセル分散（例えば、ピクセルとその周辺との分散）に関する情報を用いて探索範囲を適切に調整してもよい。このように、情報処理装置１０は、ユーザが入力する境界の付近の特徴量に基づいて境界の不明瞭さを評価し、評価に応じて探索範囲を調整してもよい。
　この場合、処理部１１２は、ユーザが入力する境界の付近の特徴量に基づく評価に応じて調整された探索範囲でフィッティングの処理を実行する。例えば、処理部１１２は、ユーザが入力する境界の付近の輝度の差異の度合に応じて調整された探索範囲でフィッティングの処理を実行する。
　（１．３．１７．その他）
　情報処理装置１０は、画像の解析結果に限らず、病変の種類や染色方法などの条件に基づいて探索範囲を適切に調整してもよい。例えば、情報処理装置１０は、病変の種類が腫瘍なのか否か、染色方法がＨＥ染色なのか否かなどに基づいて探索範囲を適切に調整してもよい。また、情報処理装置１０は、ユーザの属性や能力（例えば、熟練度）に基づいて探索範囲を適切に調整してもよい。例えば、情報処理装置１０は、ユーザの熟練度が所定の閾値以上である場合、より信頼性の高い境界を入力していると推定して、探索範囲を狭い値に調整してもよい。一方、情報処理装置１０は、ユーザの熟練度が所定の閾値を下回る場合、信頼性の低い境界を入力していると推定して、探索範囲を広い値に調整してもよい。
　以上、探索範囲を自動で変更する場合の処理の例を説明した。
　（１．３．１８．複数の処理）
　図２０－２３に示す例では、各々の処理に基づいて、探索範囲を自動で変更する場合を示したが、上述した複数の処理に基づいて、探索範囲を変更してもよい。例えば、処理部１１２が速度と倍率とを同時に制御することにより、速度と倍率とに基づいて探索範囲を自動で変更してもよい。例えば、処理部１１２が速度と倍率と筆圧とを同時に制御することにより、速度と倍率と筆圧とに基づいて探索範囲を自動で変更してもよい。なお、情報処理装置１０は、複数の処理のどのような組み合わせに基づいて、探索範囲を自動で変更してもよいものとする。
　（１．３．１９．フィッティング）
　本実施形態では、情報処理装置１０は、ユーザによる入力の最中に適宜フィッティングの処理を行ってもよい。すなわち、情報処理装置１０は、ユーザによる入力が閉曲線になっていなくても、適宜フィッティングの処理を行ってもよい。例えば、情報処理装置１０は、入力し終わった部分に対して随時フィッティングの処理を行ってもよい。なお、情報処理装置１０は、入力の最中にフィッティングの処理を行うか否かの選択をユーザから予め受け付けてもよい。
　以上、本実施形態により、ユーザは直感的に探索範囲を認識及び調整ができ、フィッティング時に探索範囲の指定を意図した通りに行うことができる。また、本実施形態により、ユーザが期待したフィッティング結果を得ることができる可能性を向上させることができる。また、本実施形態により、ユーザによるフィッティング後の結果の予想に関する精度を向上させることができる。また、本実施形態により、病理医ごとにフィッティングが異なる傾向を軽減させることができる。また、本実施形態により、ユーザによるアノテーションの精度差を軽減させることができる。例えば、ユーザが手動で境界を入力する場合、ユーザごとに入力情報の精度や範囲が相違する可能性がある。具体的には、境界を入力するスキルが高いユーザが手動で境界を入力する場合には、スキルが低いユーザと比べて、入力情報の精度が高くなることが推定される。本実施形態では、上述した実施形態に係るフィッティングの処理を行うことにより、ユーザによる入力情報の精度差が生じなくなるようにすることができる。また、本実施形態により、境界に含まれる細胞の数を適切にカウントすることができる。
　以上、本開示の実施形態に係る情報処理システム１が有する機能の詳細について説明した。
　＜２．変形例＞
　続いて、各種の変形例について説明する。
　まず、変形例１について説明する。上記では、画像データから選択された対象領域が機械学習に利用される場合を主に想定した。しかし、画像データから選択された対象領域は、機械学習以外の所定の処理に利用されてもよい。一例として、画像データから選択された対象領域は、所定の分子の発現量の解析（スコアリング）に利用されてもよい。例えば、免疫染色で分かるＰＤ－Ｌ１分子の組織内の定量化が求められており、組織内のＰＤ－Ｌ１分子の発現量によって治療選択が行われる。
　そこで、対象領域の例として腫瘍領域を選択されれば、選択された腫瘍領域内におけるＰＤ－Ｌ１分子の発現量が解析され得る。図１４は、画像データから選択された対象領域がＰＤ－Ｌ１分子の発現量の解析に利用される例を説明するための図である。図１４を参照すると、画像データｇ１０に腫瘍領域ｒ１０が写っている。上記したようにフィッティングによって高精度に腫瘍領域ｒ１０が選択されれば、スコアリングも高精度に行われる。そして、スコアリングが高精度に行われれば、治療選択の精度も高まることが期待される。
　なお、Ｔｕｍｏｒ　Ｐｒｏｐｏｒｔｉｏｎ　Ｓｃｏｒｅ（ＰＤ－Ｌ１分子の発現量）は、以下の式（１）のようにして算出され得る。
　Ｔｕｍｏｒ　Ｐｒｏｐｏｒｔｉｏｎ　Ｓｃｏｒｅ＝（ＰＤ－Ｌ１　ｐｏｓｉｔｉｖｅ　Ｔｕｍｏｒ　ｃｅｌｌｓ）／（ＰＤ－Ｌ１　ｐｏｓｉｔｉｖｅ　Ｔｕｍｏｒ　ｃｅｌｌｓ＋ＰＤ－Ｌ１　ｎｅｇａｔｉｖｅ　Ｔｕｍｏｒ　ｃｅｌｌｓ）　　　・・・式（１）
　続いて、変形例２について説明する。上記では、画像データの種類として明視野画像におけるフィッティングについて主に説明した。しかし、画像データの種類は限定されない。例えば、画像データの種類は、顕微鏡による位相差画像などであってもよい。画像データの種類が、顕微鏡による位相差画像である場合、画像データは形態情報であるため、明視野画像での処理と同様の処理を実行可能である。
　また、画像データの種類が顕微鏡による蛍光画像である場合、自家蛍光を使用することによってフィッティング可能である。また、画像データの種類が顕微鏡による蛍光画像である場合、ＣＫまたはＨＥＲ２のような腫瘍の膜が染色されたものにおいてフィッティング可能である。画像データがＣＴ画像またはＭＲＩ画像である場合、画像データは、放射線画像であるため、白黒であるが、フィッティングは可能である。画像データが内視鏡画像である場合には、画像データは色情報および形態情報であるため、フィッティングは可能である。
　以上、各種の変形例について説明した。
　＜３．ハードウェア構成例＞
　次に、図２５を参照して、本開示の実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図２５は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。なお、情報処理装置１０は、必ずしも図２５に示したハードウェア構成の全部を有している必要はなく、情報処理装置１０の中に、図２５に示したハードウェア構成の一部は存在しなくてもよい。
　図２５に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、ボタンなど、ユーザによって操作される装置である。入力装置９１５は、マウス、キーボード、タッチパネル、スイッチおよびレバーなどを含んでもよい。また、入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音出力装置などであり得る。また、出力装置９１７は、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、プロジェクタ、ホログラム、プリンタ装置などを含んでもよい。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。
　ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換され得る。
　通信装置９２５は、例えば、ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続されるネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
　＜４．むすび＞
　本開示の実施形態によれば、生体領域が映る画像データの表示を制御する表示制御部と、前記画像データに対して入力された第１の領域情報を取得する情報取得部と、前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、を備える、情報処理装置が提供される。かかる構成によれば、ユーザの手間を低減しつつ高精度に対象領域を選択することが可能となる。また、対象領域が機械学習に利用される場合には、高精度なアノテーションを迅速に得ることが可能となり、機械学習によって構築されるＡＩの性能も向上することが期待される。また、過去に付されたアノテーションデータを入力させれば、自動的にアノテーションデータが改善され得る。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記では、情報処理装置１０、スキャナ３０、ネットワーク７０および学習装置５０を有する情報処理システムについて主に説明した。しかし、これらの一部を有する情報処理システムも提供され得る。例えば、情報処理装置１０、スキャナ３０および学習装置５０の一部または全部を有する情報処理システムも提供され得る。このとき、情報処理システムは、装置全体（ハードウェアとソフトウェアとの組み合わせ）同士の組み合わせでなくてもよい。
　例えば、情報処理装置１０、スキャナ３０および学習装置５０のうち、第１の装置（ハードウェアとソフトウェアとの組み合わせ）と、第２の装置のソフトウェアとを有する情報処理システムも提供され得る。一例として、スキャナ３０（ハードウェアとソフトウェアとの組み合わせ）と、情報処理装置１０のソフトウェアとを有する情報処理システムも提供され得る。このように、本開示の実施形態によれば、情報処理装置１０、スキャナ３０および学習装置５０から任意に選択された複数の構成を含んだ情報処理システムも提供され得る。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　生体領域が映る画像データの表示を制御する表示制御部と、
　前記画像データに対して入力された第１の領域情報を取得する情報取得部と、
　前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、
　を備える、情報処理装置。
（２）
　前記処理部は、前記画像データと前記第２の領域情報と前記フィッティングモードとフィッティングの可動範囲とに基づいて第３の領域情報を生成する、
　前記（１）に記載の情報処理装置。
（３）
　前記表示制御部は、前記第３の領域情報の表示を制御する、
　前記（２）に記載の情報処理装置。
（４）
　前記表示制御部は、前記第２の領域情報と前記第３の領域情報との間で表示対象を切り替える、
　前記（３）に記載の情報処理装置。
（５）
　前記表示制御部は、前記第２の領域情報と前記第３の領域情報とを異なる表示態様によって同時に表示させる、
　前記（３）に記載の情報処理装置。
（６）
　前記処理部は、前記第２の領域情報または前記第３の領域情報を所定の処理に利用されるデータとして選択する、
　前記（２）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記処理部は、選択操作に基づいて前記第２の領域情報または前記第３の領域情報を前記所定の処理に利用されるデータとして選択する、
　前記（６）に記載の情報処理装置。
（８）
　前記処理部は、前記第２の領域情報を生成した後、前記画像データの倍率を変更し、倍率変更後の前記画像データに基づいて前記第３の領域情報を生成する、
　前記（６）に記載の情報処理装置。
（９）
　前記処理部は、前記第２の領域情報を生成した後、前記画像データの倍率が高くなるように前記倍率を変更し、倍率変更後の前記画像データに基づいて前記第３の領域情報を生成する、
　前記（８）に記載の情報処理装置。
（１０）
　前記処理部は、前記第３の領域情報を前記所定の処理に利用されるデータとして選択する、
　前記（９）に記載の情報処理装置。
（１１）
　前記処理部は、前記第２の領域情報に基づいて複数の制御点を決定し、移動操作に基づいて前記複数の制御点の一部または全部を移動させ、少なくとも移動させた制御点に基づいて前記第３の領域情報を生成する、
　前記（２）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記処理部は、前記移動操作に基づいて前記複数の制御点の一部を移動させた場合、移動させた制御点に基づいて前記第３の領域情報を生成する、
　前記（１１）に記載の情報処理装置。
（１３）
　前記表示制御部は、前記第２の領域情報に基づいて前記第２の領域情報の信頼度が所定の信頼度よりも低い区間が検出された場合、前記区間に応じた所定の情報の表示を制御する、
　前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記情報取得部は、前記画像データに対して指示された形状の通過領域または周辺領域に基づいて前記第１の領域情報を得る、
　前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記情報取得部は、前記形状の通過領域または周辺領域に対して適用されたグラフカットまたは機械学習によるセグメンテーションアルゴリズムに基づいて前記第１の領域情報を得る、
　前記（１４）に記載の情報処理装置。
（１６）
　前記情報取得部は、前記形状の通過領域または周辺領域から抽出された特徴データに基づいて前記第１の領域情報を得る、
　前記（１４）に記載の情報処理装置。
（１７）
　前記フィッティングモードは、前景と背景との境界に対するフィッティングモード、細胞膜に対するフィッティングモード、または、細胞核に対するフィッティングモードである、
　前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記処理部は、前記画像データの、前記第１の領域情報および所定の条件に基づいて設定された範囲で、前記第２の領域情報を生成する、
　前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　前記処理部は、ユーザの前記第１の領域情報の入力操作に基づき設定された範囲で、前記第２の領域情報を生成する、
　前記（１８）に記載の情報処理装置。
（２０）
　前記処理部は、前記ユーザの前記第１の領域情報の入力速度に基づき設定された範囲で、前記第２の領域情報を生成する、
　前記（１９）に記載の情報処理装置。
（２１）
　前記処理部は、前記画像データの倍率に基づき設定された範囲で、前記第２の領域情報を生成する、
　前記（１９）又は（２０）に記載の情報処理装置。
（２２）
　前記処理部は、前記第１の領域情報付近の特徴量に基づき設定された範囲で、前記第２の領域情報を生成する、
　前記（１９）～（２１）のいずれか一項に記載の情報処理装置。
（２３）
　前記処理部は、前記第１の領域情報の付近の輝度に基づき設定された範囲で、前記第２の領域情報を生成する、
　前記（２２）に記載の情報処理装置。
（２４）
　前記表示制御部は、前記画像データの前記範囲の表示を制御する
　前記（１８）～（２３）のいずれか一項に記載の情報処理装置。
（２５）
　前記表示制御部は、前記範囲を少なくとも２つ以上の透過度、色で表示するよう制御する
　前記（２４）に記載の情報処理装置。
（２６）
　プロセッサが、生体領域が映る画像データの表示を制御することと、
　前記プロセッサが、前記画像データに対して入力された第１の領域情報を取得することと、
　前記プロセッサが、前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成することと、
　を含む、情報処理方法。
（２７）
　生体領域に対する読み取りによって前記生体領域が映る画像データを含んだスキャンデータを生成する読み取り装置を有し、
　前記画像データの表示を制御する表示制御部と、
　前記画像データに対して入力された第１の領域情報を取得する情報取得部と、
　前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、
　を備える、情報処理装置を有する、
　情報処理システム。
（２８）
　医用画像撮像装置と、前記医用画像撮像装置により撮像される対象物に対応する画像データの処理に使われるソフトウェアを含んで構成される情報処理システムであって、
　前記ソフトウェアは、
　第１の生体組織に対応する第１の画像データに対して入力された第１の領域情報を取得し、
　前記第１の画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理を情報処理装置に実行させる、
　情報処理システム。
　１　　　情報処理システム
　１０　　情報処理装置
　３０　　スキャナ
　５０　　学習装置
　７０　　ネットワーク
　１１１　情報取得部
　１１２　処理部
　１１３　表示制御部
　１２０　画像データ受信部
　１３０　記憶部
　１４０　操作部
　１５０　送信部

Claims (28)

  1. 　生体領域が映る画像データの表示を制御する表示制御部と、
    　前記画像データに対して入力された第１の領域情報を取得する情報取得部と、
    　前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、
    　を備える、情報処理装置。
  2. 　前記処理部は、前記画像データと前記第２の領域情報と前記フィッティングモードとフィッティングの可動範囲とに基づいて第３の領域情報を生成する、
    　請求項１に記載の情報処理装置。
  3. 　前記表示制御部は、前記第３の領域情報の表示を制御する、
    　請求項２に記載の情報処理装置。
  4. 　前記表示制御部は、前記第２の領域情報と前記第３の領域情報との間で表示対象を切り替える、
    　請求項３に記載の情報処理装置。
  5. 　前記表示制御部は、前記第２の領域情報と前記第３の領域情報とを異なる表示態様によって同時に表示させる、
    　請求項３に記載の情報処理装置。
  6. 　前記処理部は、前記第２の領域情報または前記第３の領域情報を所定の処理に利用されるデータとして選択する、
    　請求項２に記載の情報処理装置。
  7. 　前記処理部は、選択操作に基づいて前記第２の領域情報または前記第３の領域情報を前記所定の処理に利用されるデータとして選択する、
    　請求項６に記載の情報処理装置。
  8. 　前記処理部は、前記第２の領域情報を生成した後、前記画像データの倍率を変更し、倍率変更後の前記画像データに基づいて前記第３の領域情報を生成する、
    　請求項６に記載の情報処理装置。
  9. 　前記処理部は、前記第２の領域情報を生成した後、前記画像データの倍率が高くなるように前記倍率を変更し、倍率変更後の前記画像データに基づいて前記第３の領域情報を生成する、
    　請求項８に記載の情報処理装置。
  10. 　前記処理部は、前記第３の領域情報を前記所定の処理に利用されるデータとして選択する、
    　請求項９に記載の情報処理装置。
  11. 　前記処理部は、前記第２の領域情報に基づいて複数の制御点を決定し、移動操作に基づいて前記複数の制御点の一部または全部を移動させ、少なくとも移動させた制御点に基づいて前記第３の領域情報を生成する、
    　請求項２に記載の情報処理装置。
  12. 　前記処理部は、前記移動操作に基づいて前記複数の制御点の一部を移動させた場合、移動させた制御点に基づいて前記第３の領域情報を生成する、
    　請求項１１に記載の情報処理装置。
  13. 　前記表示制御部は、前記第２の領域情報に基づいて前記第２の領域情報の信頼度が所定の信頼度よりも低い区間が検出された場合、前記区間に応じた所定の情報の表示を制御する、
    　請求項１に記載の情報処理装置。
  14. 　前記情報取得部は、前記画像データに対して指示された形状の通過領域または周辺領域に基づいて前記第１の領域情報を得る、
    　請求項１に記載の情報処理装置。
  15. 　前記情報取得部は、前記形状の通過領域または周辺領域に対して適用されたグラフカットまたは機械学習によるセグメンテーションアルゴリズムに基づいて前記第１の領域情報を得る、
    　請求項１４に記載の情報処理装置。
  16. 　前記情報取得部は、前記形状の通過領域または周辺領域から抽出された特徴データに基づいて前記第１の領域情報を得る、
    　請求項１４に記載の情報処理装置。
  17. 　前記フィッティングモードは、前景と背景との境界に対するフィッティングモード、細胞膜に対するフィッティングモード、または、細胞核に対するフィッティングモードである、
    　請求項１に記載の情報処理装置。
  18. 　前記処理部は、前記画像データの、前記第１の領域情報および所定の条件に基づいて設定された範囲で、前記第２の領域情報を生成する、
    　請求項１に記載の情報処理装置。
  19. 　前記処理部は、ユーザの前記第１の領域情報の入力操作に基づき設定された範囲で、前記第２の領域情報を生成する、
    　請求項１８に記載の情報処理装置。
  20. 　前記処理部は、前記ユーザの前記第１の領域情報の入力速度に基づき設定された範囲で、前記第２の領域情報を生成する、
    　請求項１９に記載の情報処理装置。
  21. 　前記処理部は、前記画像データの倍率に基づき設定された範囲で、前記第２の領域情報を生成する、
    　請求項１９に記載の情報処理装置。
  22. 　前記処理部は、前記第１の領域情報付近の特徴量に基づき設定された範囲で、前記第２の領域情報を生成する、
    　請求項１９に記載の情報処理装置。
  23. 　前記処理部は、前記第１の領域情報の付近の輝度に基づき設定された範囲で、前記第２の領域情報を生成する、
    　請求項１９に記載の情報処理装置。
  24. 　前記表示制御部は、前記画像データの前記範囲の表示を制御する、
    　請求項１８に記載の情報処理装置。
  25. 　前記表示制御部は、前記範囲を少なくとも２つ以上の透過度、色で表示するよう制御する、
    　請求項１８に記載の情報処理装置。
  26. 　プロセッサが、生体領域が映る画像データの表示を制御することと、
    　前記プロセッサが、前記画像データに対して入力された第１の領域情報を取得することと、
    　前記プロセッサが、前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成することと、
    　を含む、情報処理方法。
  27. 　生体領域に対する読み取りによって前記生体領域が映る画像データを含んだスキャンデータを生成する読み取り装置を有し、
    　前記画像データの表示を制御する表示制御部と、
    　前記画像データに対して入力された第１の領域情報を取得する情報取得部と、
    　前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、
    　を備える、情報処理装置を有する、
    　情報処理システム。
  28. 　医用画像撮像装置と、前記医用画像撮像装置により撮像される対象物に対応する画像データの処理に使われるソフトウェアを含んで構成される情報処理システムであって、
    　前記ソフトウェアは、
    　第１の生体組織に対応する第１の画像データに対して入力された第１の領域情報を取得し、
    　前記第１の画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理を情報処理装置に実行させる、
    　情報処理システム。
PCT/JP2019/050836 2019-02-28 2019-12-25 情報処理装置、情報処理方法および情報処理システム WO2020174862A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/433,555 US20220148323A1 (en) 2019-02-28 2019-12-25 Information processing device, information processing method, and information processing system
CN201980092772.3A CN113490842A (zh) 2019-02-28 2019-12-25 信息处理装置、信息处理方法和信息处理系统
JP2021501642A JPWO2020174862A1 (ja) 2019-02-28 2019-12-25 情報処理装置、情報処理方法および情報処理システム
EP19916743.8A EP3933383A4 (en) 2019-02-28 2019-12-25 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING SYSTEM

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019035745 2019-02-28
JP2019-035745 2019-02-28
JP2019-192713 2019-10-23
JP2019192713 2019-10-23

Publications (1)

Publication Number Publication Date
WO2020174862A1 true WO2020174862A1 (ja) 2020-09-03

Family

ID=72239458

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050836 WO2020174862A1 (ja) 2019-02-28 2019-12-25 情報処理装置、情報処理方法および情報処理システム

Country Status (5)

Country Link
US (1) US20220148323A1 (ja)
EP (1) EP3933383A4 (ja)
JP (1) JPWO2020174862A1 (ja)
CN (1) CN113490842A (ja)
WO (1) WO2020174862A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249997A1 (ja) * 2021-05-24 2022-12-01 京セラ株式会社 教師データ生成装置、教師データ生成方法、及び画像処理装置
JP2023511732A (ja) * 2020-01-31 2023-03-22 カール ツアイス メディテック アクチエンゲゼルシャフト 腫瘍の領域を識別する方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI774120B (zh) * 2020-11-10 2022-08-11 中國醫藥大學 生物組織影像分析方法及生物組織影像分析系統
CN117115241B (zh) * 2023-09-06 2024-03-29 北京透彻未来科技有限公司 一种追寻数字病理图像在缩放过程中中心焦点的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006514356A (ja) * 2002-12-17 2006-04-27 キネティック リミテッド 画像解析による有糸分裂活動の評価方法
JP2014071207A (ja) * 2012-09-28 2014-04-21 Canon Inc 画像処理装置、撮像システム、画像処理システム
JP2017073119A (ja) * 2015-10-08 2017-04-13 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JP2018524732A (ja) * 2015-07-21 2018-08-30 ソニー株式会社 半自動画像セグメンテーション

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191020A (ja) * 1996-12-20 1998-07-21 Canon Inc 被写体画像切出し方法及び装置
JP4288612B2 (ja) * 2005-09-14 2009-07-01 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR102123061B1 (ko) * 2012-11-27 2020-06-16 삼성전자주식회사 사용자의 인터랙션을 기반으로 영상 내의 윤곽선을 분할하는 장치 및 방법
WO2018013321A1 (en) * 2016-06-28 2018-01-18 Kci Licensing, Inc. Semi-automated mobile system for wound image segmentation
JP6779690B2 (ja) * 2016-07-27 2020-11-04 株式会社トプコン 眼科画像処理装置及び眼科撮影装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006514356A (ja) * 2002-12-17 2006-04-27 キネティック リミテッド 画像解析による有糸分裂活動の評価方法
JP2014071207A (ja) * 2012-09-28 2014-04-21 Canon Inc 画像処理装置、撮像システム、画像処理システム
JP2018524732A (ja) * 2015-07-21 2018-08-30 ソニー株式会社 半自動画像セグメンテーション
JP2017073119A (ja) * 2015-10-08 2017-04-13 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
2018, article JESSICA L. BAUMANN ET AL.: "Annotation of Whole Slide Images Using Touchscreen Technology", XP009529769
EJIRI, MASAKAZU: "Digital Image Processing [Revised New Edition]", 9 March 2015, IMAGE INFORMATION EDUCATION PROMOTION ASSOCIATION, ISBN: 978-4-903474-50-2, article EJIRI, MASAKAZU: "10-2 Area division processing", pages: 204 - 216, XP009529769 *
See also references of EP3933383A4
YAMASHITA, TAKAYOSHI: "5.3 Segmentation", AN ILLUSTRATED GUIDE TO DEEP LEARNING; REV. 2ND ED., 19 November 2018 (2018-11-19), JP, pages 104 - 111, XP009529770, ISBN: 978-4-06-513331-6 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023511732A (ja) * 2020-01-31 2023-03-22 カール ツアイス メディテック アクチエンゲゼルシャフト 腫瘍の領域を識別する方法
WO2022249997A1 (ja) * 2021-05-24 2022-12-01 京セラ株式会社 教師データ生成装置、教師データ生成方法、及び画像処理装置
JP7467773B2 (ja) 2021-05-24 2024-04-15 京セラ株式会社 教師データ生成装置、教師データ生成方法、及び画像処理装置

Also Published As

Publication number Publication date
JPWO2020174862A1 (ja) 2021-12-23
US20220148323A1 (en) 2022-05-12
CN113490842A (zh) 2021-10-08
EP3933383A4 (en) 2022-04-13
EP3933383A1 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
WO2020174862A1 (ja) 情報処理装置、情報処理方法および情報処理システム
US11412928B2 (en) Systems and methods for improved ophthalmic imaging
WO2022179026A1 (zh) 图像处理方法及装置、电子设备和存储介质
WO2020211293A1 (zh) 一种图像分割方法及装置、电子设备和存储介质
JP5403838B2 (ja) 顔を相関させることによるデジタル画像の編成
JP7217589B2 (ja) 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
JP2019533805A (ja) 視覚化されたスライド全域画像分析を提供するためのデジタル病理学システムおよび関連するワークフロー
CN110189303B (zh) 一种基于深度学习和图像增强的nbi图像处理方法及其应用
JP5442542B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP2007029460A (ja) 眼科画像処理装置及び眼科画像処理プログラム
US11990227B2 (en) Medical system, medical apparatus, and medical method
WO2020066043A1 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
JP2021051573A (ja) 画像処理装置、および画像処理装置の制御方法
CN105302294B (zh) 一种交互式虚拟现实演示装置
JP2011015163A (ja) 撮像装置
JPWO2015145643A1 (ja) 画像処理装置および画像処理プログラム
US11036363B2 (en) Display control apparatus and display control method
US8818091B2 (en) Red-eye removal using multiple recognition channels
KR20150049585A (ko) 용종 검출 장치 및 그 동작방법
US8837785B2 (en) Red-eye removal using multiple recognition channels
CN111724361A (zh) 实时显示病灶的方法及装置、电子设备和存储介质
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
US8837827B2 (en) Red-eye removal using multiple recognition channels
US20120242681A1 (en) Red-Eye Removal Using Multiple Recognition Channels
US20230255443A1 (en) Apparatuses, systems, and methods for discounting an object while managing auto-exposure of image frames depicting the object

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19916743

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021501642

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019916743

Country of ref document: EP

Effective date: 20210928