WO2020012935A1 - 機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法 - Google Patents

機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法 Download PDF

Info

Publication number
WO2020012935A1
WO2020012935A1 PCT/JP2019/024953 JP2019024953W WO2020012935A1 WO 2020012935 A1 WO2020012935 A1 WO 2020012935A1 JP 2019024953 W JP2019024953 W JP 2019024953W WO 2020012935 A1 WO2020012935 A1 WO 2020012935A1
Authority
WO
WIPO (PCT)
Prior art keywords
identification value
image
local
overall
diagnosis support
Prior art date
Application number
PCT/JP2019/024953
Other languages
English (en)
French (fr)
Inventor
英春 服部
容弓 柿下
内田　憲孝
定光 麻生
智也 桜井
Original Assignee
株式会社日立ハイテクノロジーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテクノロジーズ filed Critical 株式会社日立ハイテクノロジーズ
Priority to EP19833707.3A priority Critical patent/EP3822911A4/en
Priority to US17/254,547 priority patent/US11972560B2/en
Publication of WO2020012935A1 publication Critical patent/WO2020012935A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to an image diagnosis support apparatus and system, and an image diagnosis support method.
  • Patent Document 1 In order to develop a classifier for detecting an object in an image, for example, a technique proposed in Patent Document 1 is known.
  • a neural network that connects each hidden layer directly to an output layer is configured to perform machine learning, and a feature of an object in an image is extracted to identify the object.
  • Patent Document 1 even if a tissue or a cell in a tissue or cell image is classified, an abnormal tissue (eg, cancer) or an abnormal cell (eg, cancer) cannot be detected, and detection is missed or erroneously detected. There is a problem of becoming.
  • an abnormal tissue eg, cancer
  • an abnormal cell eg, cancer
  • An object of the present invention is to provide a technique for realizing classification of an object (for example, a tissue or a cell).
  • the present invention is a machine learning device having a processor and a memory, wherein the processor receives an image, calculates a feature amount of an object included in the image, and the processor identifies a local from the feature amount. Calculating a local identification value using the local identification value, the processor calculates an overall identification value using the local identification value, the processor generates a classifier using the local identification value and the overall identification value, To store.
  • the present invention it is possible to automatically extract a feature of an intended image even when it is not possible to determine whether or not an object to be detected is based only on features automatically extracted by machine learning of a neural network.
  • a feature to be machine-learned by a neural network it becomes possible to realize classification of an object (for example, a tissue or a cell) in an image.
  • FIG. 1 is a block diagram illustrating Embodiment 1 of the present invention and illustrating functions of an image diagnosis support apparatus. BRIEF DESCRIPTION OF THE DRAWINGS
  • FIG. 1 is a block diagram illustrating a hardware configuration of an image diagnosis support apparatus according to a first embodiment of the present invention.
  • FIG. 6 illustrates the first embodiment of the present invention, and illustrates an example of processing of a feature extraction unit.
  • FIG. 6 illustrates the first embodiment of the present invention, and illustrates an example of processing of a feature extraction unit.
  • FIG. 6 illustrates the first embodiment of the present invention, and illustrates an example of processing of a local identification unit.
  • FIG. 6 illustrates the first embodiment of the present invention, and illustrates an example of processing of an overall identification unit.
  • FIG. 5 illustrates the first embodiment of the present invention, and illustrates an example of processing of a learning unit.
  • FIG. 5 illustrates the first embodiment of the present invention, and illustrates an example of processing of a drawing unit.
  • 6 is a flowchart illustrating an example of processing performed by the learning unit according to the first exemplary embodiment of the present invention.
  • 4 is a flowchart illustrating an example of processing performed by the image diagnosis support apparatus according to the first exemplary embodiment of the present invention.
  • FIG. 4 is a diagram illustrating the example 1 of the present invention and illustrating an example of a determination result display screen of the drawing unit.
  • FIG. 7 is a block diagram illustrating a second embodiment of the present invention and illustrating functions of an image diagnosis support apparatus.
  • FIG. 11 is a diagram illustrating the example 2 of the present invention and illustrating an example of calculating a global identification value from a feature amount.
  • FIG. 14 is a diagram illustrating the example 2 of calculating the basic identification value from the global identification value and the teacher label according to the second embodiment of the present invention.
  • FIG. 14 illustrates the second embodiment of the present invention, and illustrates an example of a GUI for correcting a generated designated pattern.
  • 6 is a flowchart illustrating an example of a process performed by the image diagnosis support apparatus 1 according to the second exemplary embodiment of the present invention.
  • FIG. 10 shows the third embodiment of the present invention, and is a diagram illustrating a schematic configuration of a remote diagnosis support system equipped with an image diagnosis support device.
  • FIG. 13 is a view illustrating a fourth embodiment of the present invention and schematically illustrating a configuration of a network entrusted service providing system equipped with an image diagnosis support apparatus.
  • the embodiment of the present invention calculates a feature amount of an image from an image, further adds a configuration for automatically extracting a feature of an intended image, and changes a feature to be machine-learned by a neural network, thereby obtaining an image.
  • an image diagnosis support apparatus and method for implementing detection omission and erroneous detection of an object (for example, a lesion of abnormal tissue or abnormal cell) in the apparatus is provided.
  • the embodiment of the present invention may be implemented by software running on a general-purpose computer, or may be implemented by dedicated hardware or a combination of software and hardware.
  • each processing unit as a program (for example, feature extraction unit, etc.)” (subject of the process), but the program is executed by a processor (CPU, etc.). Therefore, the processing may be performed using a memory and a communication port (communication control device).
  • FIG. 1 is a block diagram illustrating a functional configuration of an image diagnosis support apparatus 1 according to an embodiment of the present invention.
  • the image diagnosis support device 1 includes an input unit 10, a feature extraction unit 11, a local identification unit 12, an overall identification unit 13, a drawing unit 14, a recording unit 15, a learning unit 16, a control unit 91, And a storage device 90.
  • the image diagnosis support apparatus 1 may be mounted in a tissue and cell image acquisition device such as a virtual slide, or may be connected to a tissue and cell image acquisition device and a network as described later (Examples 3 and 4). It may be implemented in a server connected via the.
  • the input unit 10, the feature extraction unit 11, the local identification unit 12, the overall identification unit 13, the drawing unit 14, the recording unit 15, and the learning unit 16 in the image diagnosis support device 1 may be realized by a program, It is also possible to realize it.
  • ⁇ Image data is input to the input unit 10.
  • the input unit 10 acquires encoded still image data in JPG, JPEG2000, PNG, BMP format, or the like, which is captured at predetermined time intervals by an imaging unit such as a camera built in the microscope, and An image may be used as an input image.
  • the input unit 10 is also configured to use Motion JPEG, MPEG, H.264, etc. Still image data at predetermined intervals of frames may be extracted from moving image data in H.264, HD / SDI format or the like, and the extracted image may be used as an input image.
  • the input unit 10 may use an image acquired by the imaging unit via a bus, a network, or the like as an input image. Further, the input unit 10 may use an image already recorded on a removable recording medium as an input image.
  • the feature extraction unit 11 calculates a feature amount related to an object (for example, a tissue or a cell) from the input image.
  • the local identification unit 12 locally calculates an object identification value (local identification value) from the extracted feature amounts, and classifies whether or not the object is an object to be detected for each local area in the input image.
  • the local indicates, for example, a predetermined region, a predetermined organ, an organ, a tissue, a cell, or the like.
  • the overall identification unit 13 uses the local identification value calculated by the local identification unit 12 to calculate the overall identification result of the input image.
  • the drawing unit 14 draws a detection frame on an image so as to surround the object (for example, abnormal tissue or abnormal cell) classified by the overall identification unit 13.
  • the recording unit 15 stores the image in which the detection frame is drawn on the original image by the drawing unit 14 in the storage device 90.
  • the learning unit 16 identifies an object in the input image as an object, that is, identifies a normal tissue or cell as a normal tissue or cell, and identifies an abnormal tissue or cell in the input image as abnormal.
  • Each parameter (filter coefficient, offset value, etc.) necessary for identification is calculated by performing machine learning so as to identify the tissue or cell.
  • the designation in the image is performed using the local identification value calculated by the local identification unit 12 and the designated pattern.
  • An additional identification value is calculated so as to preferentially identify the location of the pattern.
  • the designated pattern is data indicating a portion in the image from which a feature is to be preferentially extracted.
  • the overall identification unit 13 performs machine learning such that the overall identification result of the input image is calculated as the overall identification value. On the other hand, if there is no designated pattern, machine learning is performed so that the overall identification unit 13 calculates the overall identification result of the input image using only the local identification value. As described above, necessary parameters (filter coefficients, offset values, etc.) are calculated by performing machine learning.
  • the learning unit 16 performs learning using a neural network (not shown).
  • the neural network may use a service running on an external computer, or may be implemented by hardware.
  • the control unit 91 is realized by a processor and is connected to each element in the image diagnosis support apparatus 1.
  • the processing of each element of the image diagnosis support apparatus 1 is performed by the above-described autonomous processing of each component or an instruction from the control unit 91.
  • the local identification value for identifying the local part of the input image is calculated from the feature amount calculated by the feature extraction unit 11, and the designated pattern paired with the input image is In some cases, an additional identification value is calculated so as to preferentially identify the location of the specified pattern in the image using the local identification value and the specified pattern. Then, the image diagnosis support apparatus 1 is characterized by calculating the overall identification result of the input image using the local identification value or the local identification value and the additional identification value, and classifying the objects in the input image.
  • FIG. 2 is a diagram illustrating a hardware configuration example of the image diagnosis support apparatus 1 according to the embodiment of the present invention.
  • the image diagnosis support apparatus 1 includes a CPU (processor) 201 that executes various programs, a memory 202 that stores various programs, a storage device (equivalent to the storage device 90) 203 that stores various data, and outputs an image after detection.
  • the CPU 201 reads various programs from the memory 202 as necessary and executes them.
  • the memory 202 stores the input unit 10, the feature extraction unit 11, the local identification unit 12, the overall identification unit 13, the drawing unit 14, the recording unit 15, and the learning unit 16 as programs.
  • the image generation unit 20 is not included in the memory 202 of the image diagnosis support device 1 according to the first embodiment.
  • the storage device 203 stores an image to be processed, a local identification value of the input image generated by the local identification unit 12, a classification result and a numerical value of the input image generated by the overall identification unit 13, and a detection frame generated by the drawing unit 14. , And the parameters of Expressions 1, 2, and 5 described below generated by the learning unit 16 and the like.
  • the output device 204 is configured by devices such as a display, a printer, and a speaker. For example, the output device 204 displays the data generated by the drawing unit 14 on a display screen.
  • the input device 205 is configured by devices such as a keyboard, a mouse, and a microphone. An instruction (including determination of a processing target image) by a user is input to the image diagnosis support apparatus 1 by the input device 205.
  • the communication device 206 is not an essential component of the image diagnosis support apparatus 1, and the image diagnosis support apparatus 1 holds the communication device 206 when a personal computer or the like connected to the image acquisition apparatus includes the communication device. You don't have to.
  • the communication device 206 performs a process of receiving data (including an image) transmitted from another device (for example, a server) connected via a network and storing the data in the storage device 203.
  • the image diagnosis support apparatus 1 of the present invention calculates a feature amount of each object (tissue, cell, or the like) related to an input image, calculates a local identification value for identifying a local part of the input image from the calculated feature amount, and further calculates an input value. If there is a specified pattern paired with the image, an additional identification value is calculated using the local identification value and the specified pattern so as to preferentially identify the position of the specified pattern in the image. The entire identification result of the input image is calculated using the identification value, and each object (likelihood of a tissue or a cell, etc.) in the input image is determined.
  • the feature extraction unit 11 calculates a feature amount of the input image.
  • FIG. 3 shows an example of calculating each feature amount.
  • the CNN in FIG. 3 represents Convolutional Neural Network.
  • the feature amount FAi of the object (for example, a tissue or a cell) of the input image A1 is calculated from the input image A1 by the following equation 1.
  • the filter coefficient wj shown in Expression 1 is used for machine learning or the like so as to distinguish each object from each object (normal tissues and cells are normal tissues and cells, or abnormal tissues and cells are abnormal tissues and cells). Is a coefficient calculated by In Equation 1, pj is a pixel value, bi is an offset value, m is the number of filter coefficients, and h is a nonlinear function.
  • the characteristic amount fi of the filter i is calculated by calculating the calculation result of each filter from the upper left to the lower right of the target image using Expression 1.
  • the matrix of the feature amount fi calculated by the feature extractor A is set as the feature amount FAi of the input image A1.
  • the generation method of the feature extractor A will be described later in the learning unit 16.
  • the local identification unit 12 uses the feature amount FAi of the feature extractor A calculated by the feature extraction unit 11 and a non-linear function (for example, a sigmoid function or the like) to calculate each local region. Then, the value of the likeness of the object (for example, likeness of a lesion) is calculated, and it is determined whether or not the object in the input image A1 is the object to be detected (for example, a normal cell or an abnormal cell).
  • a non-linear function for example, a sigmoid function or the like
  • LS is a local identification value consisting of a three-dimensional array of classes, heights and widths
  • FAi is a feature quantity consisting of a three-dimensional array of the numbers, heights and widths of the features calculated by the feature extraction unit 11.
  • W is a filter for calculating a local identification value consisting of a four-dimensional array of classes, feature quantity numbers, heights and widths
  • B is an offset value for calculating a local identification value consisting of a one-dimensional array of classes
  • y is the feature index in the vertical direction
  • x is the feature index in the horizontal direction
  • fy is the filter's vertical index
  • fx is the filter's horizontal index
  • j is the filter index.
  • the local identification value LS is calculated using the Convolution process, but the calculation method of the local identification value LS is not limited to this.
  • the local identification value LS may be calculated by applying a Convolution process or a non-linear function a plurality of times, or by inputting a feature amount at each coordinate to another identification method such as Random @ forest or SVM. good.
  • the overall identification unit 13 uses the local identification value LS or the local identification value LS calculated by the local identification unit 12, an additional identification value AS described later, and a non-linear function (eg, a sigmoid function).
  • a non-linear function eg, a sigmoid function
  • the calculation result R indicating the value of the object likeness (for example, the likelihood of a lesion) of each object in the input image is calculated by the following equation 3 when there is no designated pattern, or by the following equation 4 when there is no designated pattern. calculate.
  • the overall identifying unit 13 determines whether the object in the input image A1 is an object to be detected (for example, a normal cell or an abnormal cell).
  • GS is a global identification value consisting of a one-dimensional array of classes
  • FAi is a feature quantity consisting of a three-dimensional array of feature quantity numbers, heights and widths calculated by the feature extraction unit 11
  • W is a class and feature quantity.
  • B is an offset value for calculating a global identification value consisting of a one-dimensional array of classes
  • c is an index of a class
  • y is a feature.
  • x is the horizontal index of the feature quantity
  • fy is the vertical index of the filter
  • fx is the horizontal index of the filter
  • j is the index of the filter.
  • ⁇ Label ⁇ in Expression 6 indicates a teacher label for each image, which is a one-dimensional array of classes.
  • the learning unit 16 described later calculates the coefficient of the filter W and the offset value B of Expression 5 by machine learning.
  • the global identification value GS is calculated using the Convolution process and the averaging process in the horizontal and vertical directions, but the method of calculating the global identification value GS is not limited to this.
  • the averaging process in the horizontal and vertical directions may be performed, or the feature amount at each coordinate may be input to another identification method such as Random @ forest or SVM.
  • the average value of the calculated values in the horizontal and vertical directions may be calculated. Further, not only the averaging process in the horizontal and vertical directions but also a summation process or the like may be used.
  • Equation 3 may be multiplied by a weight calculated according to the appearance frequency, the value of the additional identification value AS, the value of the basic identification value BS, and the like.
  • NLL indicates a loss function, for example, Negative log likelihood.
  • a feature extractor A that reflects an additional identification value in a learning unit 16 described later, a local identification value, a global
  • the discrimination value and the additional discrimination value to be described later the features of the object that cannot be extracted by the conventional machine learning technique (for example, the presence or absence of a basal cell or the presence or absence of a lesion in an epithelial cell) become clear, and the Each object can be accurately determined.
  • the learning unit 16 includes the feature extracting unit 11, the local identifying unit 12, the overall identifying unit 13, and an additional identifying unit 17 described later.
  • the additional identification unit 17 calculates the additional identification value AS so as to preferentially identify the location of the specified pattern in the image using the local identification value LS and the specified pattern.
  • the additional identification unit 17 uses the local identification value LS calculated by the local identification unit 12 and the specified pattern (Pattern) to obtain the additional identification value AS from Expression 7. calculate.
  • Pattern is a three-dimensional array of class, height, and width, and specifies a target identification value of the local classifier as 0 or 1.
  • the learning unit 16 calculates an additional identification value AS using the local identification value LS and the specified pattern.
  • the overall identification unit 13 identifies each object in the input image using the local identification value LS and the additional identification value AS (for example, a normal tissue or a normal cell).
  • the characteristic amount of each object is learned, and the coefficient of the filter W and the offset value B are calculated so that is distinguished from a normal tissue or a normal cell, or an abnormal tissue or an abnormal cell.
  • Convolutional ⁇ Neural ⁇ Network may be used as a machine learning technique.
  • the feature amount of each object is learned by the overall identification unit 13 using only the local identification value LS so as to identify each object in the input image from each object.
  • the coefficient of the filter W and the offset value B are calculated.
  • the learning unit 16 calculates a feature amount fi (referred to as FAi) of the input image A1 by Expression 1 using the input image A1 (for example, a pathological image) by machine learning in advance. .
  • the learning unit 16 calculates the local identification value LS from the feature amount fi by Expression 2, and calculates the additional identification value AS by Expression 7 using the local identification value LS and the designated pattern B1.
  • each target object is converted into each target object (for example, abnormal tissue or abnormal cell is converted to abnormal tissue or abnormal cell, normal tissue or normal cell
  • Each parameter of Equations 1 to 7 is calculated so as to be determined as a normal tissue or a normal cell.
  • the feature extractor A reflecting the additional identification value AS based on the designated pattern and the classifier C including the overall identifying unit 13, the feature for preferentially identifying the portion indicated by the designated pattern is provided.
  • the amount can be calculated.
  • the learning unit 16 repeatedly performs the processes of the feature extraction unit 11, the local identification unit 12, the overall identification unit 13, and the additional identification unit 17 using a plurality of learning images, and calculates Equations 1, 2, and Each parameter (the filter coefficient wj, the coefficient of the filter W, the offset values bi and B, etc.) shown in Expression 5 is calculated. Then, the learning unit 16 includes a feature extractor A that calculates a feature amount FAi of the input image A1 from the input image A1, a local classifier L that calculates a local identification value, and a global classifier M that calculates a global identification value. A vessel C is generated.
  • the learning unit 16 stores the calculated parameters (the filter coefficient wj, the coefficient of the filter W, the offset values bi and B, etc.) in the storage device 90.
  • (V) Drawing unit 14 When the overall identification unit 13 determines that the object in the image is a predetermined object (for example, abnormal tissue or abnormal cell), the drawing unit 14 determines the location of the object to be detected (for example, A detection frame is drawn in the input target image and output to the output device 204 to indicate an abnormal tissue or a place where abnormal cells are suspected.
  • a predetermined object for example, abnormal tissue or abnormal cell
  • the drawing unit 14 displays the input target image as it is without drawing a detection frame on the input target image. Also, as shown in FIG. 8, the result of the determined likelihood of a lesion (for example, a tumor) is displayed.
  • the drawing unit 14 displays the result of the lesion-likeness determination on a GUI (graphical user interface) shown in FIG.
  • FIG. 11 is an example of gastric cancer, showing the classification results of poorly differentiated tubular adenocarcinoma, moderately differentiated tubular adenocarcinoma, well differentiated tubular adenocarcinoma, papillary adenocarcinoma, and signet-ring cell carcinoma It is.
  • the determination result display screen 141 in FIG. 11 includes a lesion name 142, a determination result (normal 143, cancer 144), a value 145 of the likelihood of a lesion, and a display button 146.
  • the overall identifying unit 13 classifies the input target image as including the poorly differentiated tubular adenocarcinoma that is an abnormal tissue or cell, and This is an example in which the value 145 of the likelihood of a lesion is calculated to be 0.69.
  • the overall identification unit 13 classifies the input target image as a normal tissue or cell without including the moderately differentiated tubular adenocarcinoma which is an abnormal tissue or cell, and This is an example in which the value 145 of the likelihood of cancer is calculated to be 0.11.
  • the overall identification unit 13 classifies the input target image as a normal tissue or a cell without including the well-differentiated tubular adenocarcinoma which is an abnormal tissue or a cell. This is an example in which the value 145 of the likelihood of cancer lesion is calculated as 0.09.
  • the overall identifying unit 13 classifies the input target image as a normal tissue or cell without including papillary gland cancer, which is an abnormal tissue or cell, and This is an example in which the value 145 of the likelihood of a lesion is calculated as 0.06.
  • the overall identification unit 13 classifies the input target image as a normal tissue or cell without including the signet-ring cell carcinoma, which is an abnormal tissue or cell, and This is an example in which the value 145 of the likelihood of a lesion is calculated as 0.05.
  • (Vi) Recorder 15 The recording unit 15 stores the coordinate information for drawing the detection frame on the target image input by the drawing unit 14 and the target image in the storage device 90.
  • FIG. 9 is a flowchart illustrating an example of a process performed by the learning unit 16 of the image diagnosis support device 1 according to the first embodiment of the present invention.
  • the learning unit 16 is described as a subject of processing, but the CPU 201 may be used as a subject of processing, and the CPU 201 may be read so as to execute each processing unit as a program.
  • Step S901 The input unit 10 receives an image input for learning, and outputs the input image to the learning unit 16.
  • Step S902 The learning unit 16 calculates a feature amount FAi of an object (for example, a tissue or a cell) of the input image A1 using a filter by the above-described equation 1 by machine learning, and generates a feature extractor A.
  • the learning unit 16 calculates a filter coefficient wj and an offset value bi for the feature amount FAi.
  • Step S903 The learning unit 16 calculates the local identification value LS from the feature amount FAi by the above-described Expression 2 by machine learning, calculates the value of the object likeness (for example, the likeness of a lesion) for each local region, and obtains the input image A1.
  • Each parameter of the equation 2 for calculating the local identification value LS coefficient of filter W, offset value, etc. so as to determine whether or not an object in the object is an object to be detected (for example, a normal cell or an abnormal cell). B etc.) are calculated.
  • Step S904 The learning unit 16 uses the local identification value LS and the designated pattern (Pattern) B1 by machine learning using the local identification value LS and the designated pattern (Pattern) B1 so as to preferentially capture the feature of the region in the image indicated by the designated pattern B1.
  • An identification value AS is calculated.
  • the learning unit 16 uses the basic identification value BS and the additional identification value AS calculated from the local identification value LS by the above-described Equation 3 or Equation 4 by machine learning to convert each target object to a predetermined target object (for example, abnormal
  • a predetermined target object for example, abnormal
  • Each parameter (the coefficient of the filter W, the offset value B, and the like) of Expression 5 is calculated so that the tissue or the abnormal cell is determined as the abnormal tissue or the abnormal cell, and the normal tissue or the normal cell is determined as the normal tissue or the normal cell.
  • the learning unit 16 calculates the calculation result R indicating the value of the likelihood of each object in the input image (for example, the likelihood of a lesion, etc.) by using the above Expression 3 or Expression 4.
  • Step S906 The learning unit 16 stores the parameters (filter coefficient wj, coefficient of the filter W, offset values bi, B, and the like) of Expressions 1, 2, and 5 in the storage device 90.
  • a feature extractor A reflecting the additional identification value AS based on the designated pattern B1 and a classifier C including the overall identifying unit 13 are generated, and the portion indicated by the designated pattern B1 is prioritized.
  • the feature amount to be identified can be calculated.
  • FIG. 10 is a flowchart for explaining the processing of the image diagnosis support apparatus 1 according to the first embodiment of the present invention.
  • each processing unit (the input unit 10, the feature extraction unit 11, and the like) is described as a subject of processing.
  • the CPU 201 may be read as a subject of processing and the CPU 201 executes each processing unit as a program. .
  • Step S1001 The input unit 10 outputs the input image A1 to the feature extraction unit 11.
  • Step S1002 The feature extracting unit 11 reads the filter coefficient wj and the offset bi of the feature extractor A from the storage device 90, and uses the filter according to the above-described equation 1 to extract an object (for example, a tissue or a cell) in the input image A1. ) Is calculated.
  • Step S1003 The local identification unit 12 reads the coefficient of the filter coefficient W and the offset B from the storage device 90, and calculates the local identification value LS from the feature amount FAi by Expression 2.
  • Step S1004 The overall identification unit 13 reads the coefficient of the filter coefficient W and the offset B from the storage device 90, and calculates the calculation result R by using Expression 5, and Expression 3 or Expression 4.
  • Step S1005 The overall identification unit 13 compares the calculated result R with the threshold Th1. That is, if the calculation result R ⁇ threshold Th1, the process proceeds to step S1006. On the other hand, if the calculation result R ⁇ threshold Th1, the process proceeds to step S1007.
  • Step S1006 The overall identification unit 13 determines that the object in the input image is a target object to be detected (for example, an abnormal tissue / abnormal cell), and sets “1” to the classification result res, for example.
  • a target object to be detected for example, an abnormal tissue / abnormal cell
  • Step S1007 The overall identification unit 13 determines that the object in the input image is not an object to be detected (for example, a normal tissue or a normal cell), and sets “0” to the classification result res, for example.
  • an object to be detected for example, a normal tissue or a normal cell
  • Step S1009 When the drawing unit 14 classifies the object as an object to be detected (for example, an abnormal tissue or an abnormal cell), the drawing unit 14 draws a detection frame indicating the abnormal tissue or the abnormal cell on an image as shown in FIG. Displayed at 204.
  • an object to be detected for example, an abnormal tissue or an abnormal cell
  • the drawing unit 14 When the drawing unit 14 is classified as not an object to be detected (for example, a normal tissue or a normal cell), the drawing unit 14 does not draw the detection frame on the image. Further, as shown in FIG. 11, the drawing unit 14 displays a value of the likelihood of an object to be detected (for example, the likelihood of a lesion) calculated from the input image.
  • an object to be detected for example, a normal tissue or a normal cell
  • Step S1010 The recording unit 15 stores the coordinate information for drawing the detection frame on the target image input by the drawing unit 14 and the target image in the storage device 90 (corresponding to the storage device 203).
  • the feature amount of the image is machine-learned and the parameters (filter coefficient, offset, etc.) are calculated so as to preferentially capture the feature of the area in the image indicated by the designated pattern B1. Then, in order to generate a discriminator that classifies whether or not an object to be detected (for example, abnormal tissue or cell), erroneous detection or overdetection of each object (for example, lesion) is suppressed, and the It is possible to classify whether or not an object to be detected (abnormal tissue, abnormal cell, or the like).
  • an object to be detected for example, abnormal tissue or cell
  • the neural network preferentially captures the feature amount in the intended image by using the designated pattern B1. Since the classifier is generated by machine learning as described above, even if the number of learning images is small, it is possible to accurately determine an object or an object-likeness (for example, a lesion-likeness) in the image.
  • the feature amount of the intended image is preferentially captured while suppressing the extraction of the feature amount of the unintended image during machine learning. (For example, likeness of a lesion) can be determined.
  • the image diagnosis support apparatus 1 according to the second embodiment illustrated in FIG. 12 includes many of the same configurations as the first embodiment illustrated in FIG. 1, but differs from the first embodiment and includes an image generation unit 20.
  • a learning unit 26 is employed instead of the learning unit 16 of the first embodiment. Therefore, a configuration different from FIG. 1 will be described here.
  • the image diagnosis support apparatus 1 generates an image of a specified pattern by machine learning in advance, and uses the generated image of the specified pattern to generate the image of the learning unit 26 in the same manner as in the first embodiment. Perform machine learning.
  • the learning unit 26 calculates a feature amount of an object (for example, a tissue or a cell) in the image reflecting the additional identification value, and uses the feature amount of the object (for example, a tissue or a cell) in the input image. ) Is determined for a predetermined object (for example, a lesion).
  • Image generation unit 20 performs machine learning in advance by using a plurality of learning images P1 including an object whose characteristic amount is to be particularly focused, and calculates the basic identification value BS illustrated in FIGS. 13A and 13B. A pattern composed of the local identification values shown in FIG. 5 calculated in the process is generated as a designated pattern.
  • FIG. 13A is a diagram for explaining an example of calculating the global identification value GS from the feature value FAi.
  • FIG. 13B is a diagram illustrating an example of calculating the basic identification value BS from the global identification value GS and the teacher label Label.
  • FIG. 13C is a diagram illustrating an example of a GUI for modifying the generated designated pattern.
  • the image generation unit 20 stores the generated designated pattern in the storage device 90.
  • the designated pattern may be used as it is, or as shown in FIG. 13C, a modified designated pattern obtained by modifying a part of the generated designated pattern using a GUI or the like may be used. Is also good.
  • the learning unit 26 performs machine learning using the designated pattern generated by the image generation unit 20 and the learning image P2 including the learning image P1, similarly to the learning unit 16 of the first embodiment, and generates the classifier C. . Further, the learning unit 26 calculates the parameters (the filter coefficient wj, the coefficient of the filter W, the offset values bi and B, etc.) shown in the equations 1, 2 and 5 shown in the first embodiment, and 90.
  • the learning unit 26 inputs the input image A1 and calculates the feature amount FAi and the basic identification value BS using the generated classifier C and each parameter, similarly to the first embodiment, and determines whether the object in the input image A1 is an object. It is determined whether or not the object is an object to be detected (for example, abnormal tissue or abnormal cells), and the likelihood of an object (for example, a lesion) is also determined.
  • object to be detected for example, abnormal tissue or abnormal cells
  • the likelihood of an object for example, a lesion
  • the hardware configuration example of the image diagnosis support apparatus 1 according to the second embodiment of the present invention has the same configuration as that of FIG. 2 of the first embodiment, but differs from the image diagnosis support apparatus 1 in that the image generation unit 20 is stored in the memory 202. Including.
  • the storage device 203 of the image diagnosis support apparatus 2 stores an image to be processed, a classification result and a numerical value of the input image generated by the overall identification unit 13, an image of a designated pattern generated by the image generation unit 20, and a drawing unit.
  • the position information for drawing the detection frame generated by the processing unit 14 and the parameters of Expressions 1, 2, and 5 generated by the learning unit 26 are stored.
  • FIG. 14 is a flowchart for explaining the processing of the image diagnosis support apparatus 1 according to the embodiment of the present invention.
  • each processing unit (the input unit 10, the feature extraction unit 11, and the like) is described as a subject of processing.
  • the CPU 201 may be read as a subject of processing and the CPU 201 executes each processing unit as a program. .
  • Step S1401 The input unit 10 receives the learning image P2 including the designated pattern and the learning image P1, and the input image A1, and outputs the learning image P1 to the image generation unit 20.
  • Step S1402 The image generation unit 20 generates an image D1 of a specified pattern from the learning image P1.
  • Step S1403 The learning unit 26 performs machine learning using the learning image P2 and the image D1 of the designated pattern, and obtains the parameters (the filter coefficient wj, the coefficient of the filter W, Offset values bi and B) are calculated and stored in the storage device 90.
  • Step S1404 The feature extraction unit 11 reads each parameter (filter coefficient wj, offset value bi) shown in Expression 1 from the storage device 90, and uses the above Expression 1 to filter the object of the input image A1 passed from the input unit 10 using the filter. Is calculated.
  • the local identification unit 12 reads each parameter (coefficient of the filter W, offset B) shown in Expression 2 from the storage device 90, and calculates the local identification value LS by Expression 2.
  • Step S1406 The overall identification unit 13 reads each parameter (coefficient of the filter W, offset B) shown in the above-described Expression 5 from the storage device 90, and calculates the basic identification value BS and the calculation result by using Expression 5, Expression 6, Expression 3, or Expression 4. Calculate R.
  • Step S1407 The overall identification unit 13 compares the calculated result R with the threshold Th1. That is, when the calculation result R ⁇ threshold Th1, the process proceeds to step S1408. On the other hand, if the calculation result R ⁇ threshold Th1, the process proceeds to step S1409.
  • Step S1408 The overall identification unit 13 determines that the classification result res is a target object (for example, an abnormal tissue / abnormal cell) to be detected, and sets, for example, “1” to the classification result res.
  • a target object for example, an abnormal tissue / abnormal cell
  • Step S1409 The overall identification unit 13 determines that the object is not an object to be detected (for example, a normal tissue or a normal cell), and sets “0” to the classification result res, for example.
  • an object to be detected for example, a normal tissue or a normal cell
  • Step S1411 When the drawing unit 14 is classified as an object to be detected (for example, an abnormal tissue or an abnormal cell), the drawing unit 14 displays a detection frame indicating the abnormal tissue or the abnormal cell as an image as shown in FIG. Draw on top and display. The drawing unit 14 does not draw the detection frame on the image if the object is not an object to be detected (for example, a normal tissue or a normal cell). Further, as shown in FIG. 11, the drawing unit 14 displays a value of the likelihood of an object to be detected (for example, the likelihood of a lesion) calculated from the input image.
  • an object to be detected for example, an abnormal tissue or an abnormal cell
  • Step S1412 The recording unit 15 stores the coordinate information for drawing the detection frame on the target image input by the drawing unit 14 and the target image in the storage device 90 (corresponding to the storage device 203).
  • the image diagnosis support apparatus 1 machine-learns a feature amount of an image so as to preferentially capture a feature of an area in an image indicated by a designated pattern, and performs each parameter (filter Coefficient, offset, etc.). Then, the image diagnosis support apparatus 1 generates a discriminator for classifying whether or not an object to be detected (for example, an abnormal tissue or a cell) or not, and performs erroneous detection or over-detection of each object (for example, a lesion). It is possible to classify whether or not an object (abnormal tissue, abnormal cell, or the like) to be detected from the image by suppressing the image.
  • an object to be detected for example, an abnormal tissue or a cell
  • erroneous detection or over-detection of each object for example, a lesion
  • the image diagnosis support apparatus 1 generates an image D1 of the designated pattern using the learning image P1 to be intensively learned in advance, and uses the learning image with an increased number of images and the generated image D1 of the designated pattern.
  • the feature amount of the object in the image can be calculated. This makes it possible to accurately determine the object and the likeness of the object (for example, the likelihood of a lesion) in the image while suppressing the generation cost of the image D1 of the designated pattern.
  • the image diagnosis support apparatus 1 can accurately change a feature amount captured in machine learning before increasing the number of images and accurately. It is possible to determine an object in the image and the likeness of the object (for example, the likeness of a lesion).
  • FIG. 15 is a functional block diagram showing the configuration of the remote diagnosis support system 1500 according to the third embodiment of the present invention.
  • the remote diagnosis support system 1500 has a server 1503 and an image acquisition device 1505.
  • the image acquisition device 1505 is, for example, a device such as a virtual slide device or a personal computer equipped with a camera, and includes an imaging unit 1501 that captures image data and a display unit that displays a determination result transmitted from the server 1503. 1504. Although not shown, the image acquisition device 1505 includes a communication device that transmits image data to the server 1503 and receives data transmitted from the server 1503.
  • the server 1503 performs the image processing according to the first and second embodiments of the present invention on the image data transmitted from the image acquisition device 1505, and the image diagnosis support device 1 outputs the image data.
  • the server 1503 includes a communication device (not shown) that receives image data transmitted from the image acquisition device 1505 and transmits determination result data to the image acquisition device 1505.
  • the server 1503 may be any device including the image diagnosis support device 1 and the storage unit 1502, and is not limited to the server.
  • the image diagnosis support apparatus 1 is configured to detect an object (for example, an abnormal tissue or an abnormal cell (for example, cancer)) of an object (for example, a tissue or a cell) in the image data captured by the imaging unit 1501 of the image acquisition apparatus 1505. ), Etc.).
  • an object for example, an abnormal tissue or an abnormal cell (for example, cancer)
  • an object for example, a tissue or a cell
  • a classifier that calculates a feature amount of an object (for example, a tissue or a cell) in an input image using each parameter calculated by machine learning using a designated pattern in the same manner as in the first and second embodiments.
  • a predetermined object for example, abnormal tissue or abnormal cell (eg, cancer)
  • the state of the object for example, abnormal tissue or abnormal cell (eg, cancer)
  • classification result For example, classification of likeness is performed.
  • the display unit 1504 displays the classification result transmitted from the server 1503 on the display screen of the image acquisition device 1505.
  • a regenerative medical device having an imaging unit, an iPS cell culture device, an MRI or ultrasonic imaging device, or the like may be used.
  • an object for example, a tissue or a cell
  • an object for example, a tissue or a cell
  • a classifier reflecting a designated pattern.
  • transmit the classification result to a facility at a different location, etc., and display the classification result on the display unit of the image acquisition device at that facility, etc.
  • a remote diagnosis support system can be provided.
  • FIG. 16 is a functional block diagram showing the configuration of the network entrusted service providing system 1600 according to Embodiment 4 of the present invention.
  • the network entrusted service providing system 1600 includes a server 1603 and an image acquisition device 1605.
  • the image acquisition device 1605 is, for example, a device such as a virtual slide device or a personal computer equipped with a camera, and includes an imaging unit 1601 that captures image data, a storage unit 1604 that stores an identifier transmitted from the server 1603, And an image diagnosis support device 1.
  • the image diagnosis support apparatus 1 reads the discriminator transmitted from the server 1603, and should detect an object (for example, a tissue or a cell) in an image newly captured by the imaging unit 1601 of the image acquisition apparatus 1605. It is classified whether it is an object (for example, abnormal tissue or abnormal cell).
  • the image diagnosis support apparatus 1 performs the same image processing as in the first and second embodiments.
  • the image acquisition device 1605 has a communication device (not shown) that transmits image data to the server 1603 and receives data transmitted from the server 1603.
  • the server 1603 performs the image processing according to the first and second embodiments of the present invention on the image data transmitted from the image acquisition device 1605, and the image data output from the image diagnosis support device 1. And a storage unit 1602 for storing the discriminator.
  • the server 1603 has a communication device that receives image data transmitted from the image acquisition device 1605 and transmits an identifier to the image acquisition device 1605.
  • the image diagnosis support apparatus 1 is configured to detect an object (for example, a normal tissue or a cell is a normal tissue or a cell, or an abnormal tissue) for an object (for example, a tissue or a cell) in the image data captured by the imaging unit 1601. And cells are abnormal tissues or cells, etc.), and machine learning is performed using the specified pattern to calculate the feature amount of an object (eg, tissue, cells, etc.) in an image of a facility or the like at a different point. Generate a container.
  • the storage unit 1604 stores the discriminator and the like transmitted from the server 1603.
  • the image diagnosis support device 1 in the image acquisition device 1605 reads an identifier such as a parameter reflecting a designated pattern from the storage unit 1604, and newly uses the identifier to generate an image in the imaging unit 1601 of the image acquisition device 1605. For an object (for example, a tissue or a cell) in the photographed image, whether or not the object (for example, an abnormal tissue or an abnormal cell) is to be detected is classified and displayed on the display screen of the output device 204 of the image diagnosis support apparatus 1. Display the classification result.
  • an identifier such as a parameter reflecting a designated pattern from the storage unit 1604
  • a regenerative medical device having an imaging unit, an iPS cell culture device, an MRI or ultrasonic imaging device, or the like may be used.
  • an object to be detected for example, a normal tissue or a cell is a normal tissue or a cell.
  • tissues and cells, abnormal tissues and cells are classified as abnormal tissues and cells.
  • Machine learning using the specified pattern is performed to generate classifiers, and the classifiers are transmitted to facilities at different locations. I do.
  • the discriminator is read by the image acquisition device 1605 in the facility or the like, and an object (for example, an abnormal tissue or an abnormal cell) to be detected is detected for an object (for example, a tissue or a cell) in the newly photographed image.
  • an object for example, an abnormal tissue or an abnormal cell
  • an object for example, a tissue or a cell
  • the feature extraction unit 11 and the learning units 16 and 26 calculate a plurality of feature amounts using a filter by machine learning, but other feature amounts such as HOG may be used, and the same effect is obtained.
  • Negative @ log @ likelihood is used as the loss function, but a square error, High @ loss, or the like may be used, and the same effect is obtained.
  • the present invention can also be realized by software program codes for realizing the functions of the embodiments.
  • a storage medium storing the program code is provided to a system or an apparatus, and a computer (or CPU or MPU) of the system or the apparatus reads out the program code stored in the storage medium.
  • the program code itself read from the storage medium realizes the function of the above-described embodiment, and the program code itself and the storage medium storing the program code constitute the present invention.
  • a storage medium for supplying such a program code for example, a flexible disk, CD-ROM, DVD-ROM, hard disk, optical disk, magneto-optical disk, CD-R, magnetic tape, nonvolatile memory card, ROM Are used.
  • the OS Operating System
  • the CPU or the like of the computer performs part or all of the actual processing based on the instruction of the program code, and executes the processing.
  • the functions of the above-described embodiment may be realized by the above.
  • the program code is stored in a storage device such as a hard disk or a memory of a system or an apparatus or a storage medium such as a CD-RW or a CD-R.
  • a storage device such as a hard disk or a memory of a system or an apparatus or a storage medium such as a CD-RW or a CD-R.
  • the computer or CPU or MPU of the system or apparatus may read out and execute the program code stored in the storage means or the storage medium.
  • control lines and the information lines are considered to be necessary for explanation, and do not necessarily indicate all the control lines and the information lines on the product. All components may be connected to each other.
  • An image acquisition device having an imaging device that captures image data, A server functioning as an image diagnosis support device according to the claims (for example, claims 4 and 7), The image acquisition device transmits the image data to the server, The server stores the image of the determined object and the determination result in the memory by processing the received image data in the image diagnosis support device, and transmits the image to the image acquisition device.
  • a remote diagnosis support system wherein the received image of the determined object and the determination result are displayed on a display device.
  • An image acquisition device having an imaging device that captures image data, A server functioning as an image diagnosis support device according to the claims (for example, claims 4 and 7),
  • the image acquisition device transmits the image data to the server,
  • the server processes the received image data by the image diagnosis support apparatus, stores the determined image of the object and the classifier in a memory, and obtains the image of the determined object and the classifier in the image acquisition.
  • the image acquisition device stores the received image of the determined object and the classifier,
  • the network commissioned service providing system wherein the image diagnosis support device in the image acquisition device determines another image using a discriminator and displays a result of the determination on a display device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

プロセッサとメモリを有する機械学習装置であって、前記プロセッサは、画像を受け付けて、前記画像に含まれる物体の特徴量を算出し、前記プロセッサは、前記特徴量から局所を識別して局所識別値を算出し、前記プロセッサは、前記局所識別値を用いて全体識別値を算出し、前記プロセッサは、前記局所識別値と前記全体識別値を用いて識別器を生成し、前記メモリへ格納する。

Description

機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法 参照による取り込み
　本出願は、平成３０年（２０１８年）７月９日に出願された日本出願である特願２０１８－１２９７７６の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　本発明は、画像診断支援装置およびシステム、画像診断支援方法に関する。
　近年、画像認識技術においては、Deep Learning等の機械学習を用いた画像認識技術の検討が行われている。Deep Learningを用いることで、画像内の物体の検出精度を向上させている。
　画像内の物体を検出するための識別器を開発するために、例えば、特許文献１に提案される技術が知られている。当該特許文献１では、各隠れ層から直接出力層につなげるニューラルネットワークを構成して機械学習を行い、画像内の物体の特徴を抽出して物体を識別する。
米国特許出願公開第２０１３／２８２６３５号明細書
　しかしながら、特許文献１のように、各隠れ層から直接出力層につなげて機械学習をしたとしても、意図しない画像内の特徴を抽出するため、画像内の物体の検出漏れや誤検出になるという課題がある。
　同様に、特許文献１では、組織や細胞画像内の組織や細胞を分類したとしても、異常組織（例：がん）や異常細胞（例：がん）を検出できず、検出漏れや誤検出になるという課題が存在する。
　本発明はこのような状況に鑑みてなされたものであり、画像から意図した画像の特徴を自動的に抽出する構成を加え、ニューラルネットワークにて機械学習する特徴を変更することで、画像内の物体（例えば、組織や細胞等）の分類を実現するための技術を提供するものである。
　本発明は、プロセッサとメモリを有する機械学習装置であって、前記プロセッサは、画像を受け付けて、前記画像に含まれる物体の特徴量を算出し、前記プロセッサは、前記特徴量から局所を識別して局所識別値を算出し、前記プロセッサは、前記局所識別値を用いて全体識別値を算出し、前記プロセッサは、前記局所識別値と前記全体識別値を用いて識別器を生成し、前記メモリへ格納する。
　本発明によれば、ニューラルネットワークの機械学習により自動抽出した特徴だけでは検出すべき物体か否かを判定できない場合でも、意図した画像の特徴を自動的に抽出することができる。ニューラルネットワークにて機械学習する特徴を変更することで、画像内の物体(例えば、組織や細胞等)の分類を実現することができるようになる。
　本明細書において開示される主題の、少なくとも一つの実施の詳細は、添付されている図面と以下の記述の中で述べられる。開示される主題のその他の特徴、態様、効果は、以下の開示、図面、請求項により明らかにされる。
本発明の実施例１を示し、画像診断支援装置の機能を示すブロック図である。 本発明の実施例１を示し、画像診断支援装置のハードウェア構成の一例を示すブロック図である。 本発明の実施例１を示し、特徴抽出部の処理の一例を説明する図である。 本発明の実施例１を示し、特徴抽出部の処理の一例を説明する図である。 本発明の実施例１を示し、局所識別部の処理の一例を説明する図である。 本発明の実施例１を示し、全体識別部の処理の一例を説明する図である。 本発明の実施例１を示し、学習部の処理の一例を説明する図である。 本発明の実施例１を示し、描画部の処理の一例を説明する図である。 本発明の実施例１を示し、学習部で行われる処理の一例を説明するフローチャートである。 本発明の実施例１を示し、画像診断支援装置で行われる処理の一例を説明するフローチャートである。 本発明の実施例１を示し、描画部の判定結果表示画面の一例を説明するための図である。 本発明の実施例２を示し、画像診断支援装置の機能を示すブロック図である。 本発明の実施例２を示し、特徴量から大局識別値を算出する例を説明する図である。 本発明の実施例２を示し、大局識別値と教師ラベルから基本識別値を算出する例を説明する図である。 本発明の実施例２を示し、生成された指定パターンを修正するＧＵＩの一例を示す図である。 本発明の実施例２を示し、画像診断支援装置１で行われる処理の一例を説明するフローチャートである。 本発明の実施例３を示し、画像診断支援装置を搭載した遠隔診断支援システムの概略構成を示す図である。 本発明の実施例４を示し、画像診断支援装置を搭載したネット受託サービス提供システムの概略構成を示す図である。
　本発明の実施形態は、画像から、画像の特徴量を算出し、さらに、意図した画像の特徴を自動的に抽出する構成を加え、ニューラルネットワークにて機械学習する特徴を変更することで、画像内の物体(例えば、異常組織や異常細胞の病変等)の検出漏れや誤検出抑制を実現する画像診断支援装置およびその方法を提供する。
　以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ符号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。
　本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
　さらに、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼働するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。
　以下では「プログラムとしての各処理部（例えば、特徴抽出部等）」を主語（処理の主体）として本発明の実施形態における各処理について説明を行うが、プログラムはプロセッサ（ＣＰＵ等）によって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。
　＜画像診断支援装置の機能構成＞
　図１は、本発明の実施形態による画像診断支援装置１の機能構成を示すブロック図である。画像診断支援装置１は、入力部１０と、特徴抽出部１１と、局所識別部１２と、全体識別部１３と、描画部１４と、記録部１５と、学習部１６と、制御部９１と、記憶装置９０と、を有している。
　当該画像診断支援装置１は、バーチャルスライド等の組織及び細胞画像取得装置内に実装しても良いし、後述する（実施例３乃至実施例４）のように、組織及び細胞画像取得装置とネットワークを介して接続されるサーバー内に実装しても良い。
　画像診断支援装置１における、入力部１０、特徴抽出部１１、局所識別部１２、全体識別部１３、描画部１４、記録部１５、及び学習部１６は、プログラムによって実現しても良いし、モジュール化して実現しても良い。
　入力部１０には画像データが入力される。例えば、入力部１０は、顕微鏡にビルトインされたカメラ等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ等を取得して、その画像を入力画像としてもよい。
　また、入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像としてもよい。また、入力部１０は、撮像手段がバスやネットワーク等を介して取得した画像を入力画像としてもよい。また、入力部１０は、脱着可能な記録媒体に、既に記録されていた画像を入力画像としてもよい。
　特徴抽出部１１は、入力画像内から物体(例えば、組織や細胞等)に関する特徴量を算出する。
　局所識別部１２は、抽出した特徴量から局所的に物体の識別値（局所識別値）を算出し、入力画像内の局所毎に、検出すべき物体か否かを分類する。なお、本実施例において、局所は、例えば、所定の領域や所定の臓器や器官または組織や細胞などを示す。
　全体識別部１３は、局所識別部１２で算出した局所識別値を用いて、入力画像の全体の識別結果を算出する。
　描画部１４は、前記全体識別部１３で分類した物体(例えば、異常組織や異常細胞等)を囲むように検出枠を画像上に描画する。
　記録部１５は、前記描画部１４で原画像上に検出枠を描画した画像を記憶装置９０に保存する。
　学習部１６は、入力画像内の物体を物体として識別するように、すなわち、正常の組織や細胞を正常の組織や細胞と識別するように、また、入力画像内の異常の組織や細胞を異常の組織や細胞と識別するように、機械学習を行って識別に必要な各パラメータ(フィルター係数、オフセット値等)を算出する。
　ただし、入力画像と一緒に任意のパターンを示す画像（以降、指定パターンと呼ぶ）が与えられているときは、局所識別部１２で算出した局所識別値と指定パターンを用いて、画像内の指定パターンの箇所を優先して識別するように追加識別値を算出する。換言すれば、指定パターンは、画像内で優先して特徴を抽出したい箇所を示すデータである。
　局所識別値と算出した追加識別値を用いて全体識別部１３で入力画像の全体の識別結果を全体識別値として算出するように機械学習を行う。一方、指定パターンがない場合は、局所識別値のみを用いて全体識別部１３で入力画像の全体の識別結果を算出するように機械学習を行う。以上のように機械学習を行って必要な各パラメータ（フィルター係数、オフセット値等）を算出する。
　なお、学習部１６は、図示しないニューラルネットワークを用いて学習を実施する。ニューラルネットワークは、外部の計算機で稼働するサービスを利用しても良いし、ハードウェアによって実装されても良い。
　制御部９１は、プロセッサで実現され、画像診断支援装置１内の各要素に接続される。画像診断支援装置１の各要素の処理は、上述した各構成要素の自律的な処理、又は制御部９１の指示により処理を行う。
　このように本実施形例態の画像診断支援装置１では、特徴抽出部１１で算出した特徴量から入力画像の局所を識別する局所識別値を算出し、さらに、入力画像と対の指定パターンがある場合は局所識別値と、指定パターンを用いて画像内の指定パターンの箇所を優先して識別するように追加識別値を算出する。そして、画像診断支援装置１では局所識別値もしくは局所識別値と追加識別値を用いて入力画像の全体の識別結果を算出して、入力画像内の物体を分類することを特徴とする。
　＜画像診断支援装置のハードウェア構成＞
　図２は、本発明の実施形態による画像診断支援装置１のハードウェア構成例を示す図である。
　画像診断支援装置１は、各種プログラムを実行するＣＰＵ（プロセッサ）２０１と、各種プログラムを格納するメモリ２０２と、各種データを格納する記憶装置（記憶装置９０に相当）２０３と、検出後画像を出力するための出力装置２０４と、ユーザによる指示や画像等を入力するための入力装置２０５と、他の装置と通信を行うための通信デバイス２０６と、を有し、これらがバス２０７によって相互に接続されている。
　ＣＰＵ２０１は、必要に応じてメモリ２０２から各種プログラムを読み込み、実行する。
　メモリ２０２は、プログラムとしての、入力部１０と、特徴抽出部１１と、局所識別部１２と、全体識別部１３と、描画部１４と、記録部１５と、学習部１６とを格納する。ただし、実施例１の画像診断支援装置１のメモリ２０２には、画像生成部２０は含まない。
　記憶装置２０３は、処理対象画像、局所識別部１２によって生成された入力画像に関する局所識別値、全体識別部１３によって生成された入力画像に関する分類結果とその数値、描画部１４によって生成された検出枠を描画するための位置情報、学習部１６によって生成した後述の式１、式２および式５の各パラメータ等を記憶している。
　出力装置２０４は、ディスプレイ、プリンタ、スピーカー等のデバイスで構成される。例えば、出力装置２０４は、描画部１４によって生成されたデータをディスプレイ画面上に表示する。
　入力装置２０５は、キーボード、マウス、マイク等のデバイスで構成される。入力装置２０５によってユーザによる指示（処理対象画像の決定を含む）が画像診断支援装置１に入力される。
　通信デバイス２０６は、画像診断支援装置１としては必須の構成ではなく、画像取得装置に接続されたパソコン等に通信デバイスが含まれる場合には、画像診断支援装置１は通信デバイス２０６を保持していなくても良い。通信デバイス２０６は、例えば、ネットワークを介して接続される他の装置（例えば、サーバー）から送信されてきたデータ（画像を含む）を受信し、記憶装置２０３に格納する処理を行う。
　本発明の画像診断支援装置１は、入力画像に関する各物体(組織や細胞等)の特徴量を算出し、算出した特徴量から入力画像の局所を識別する局所識別値を算出し、さらに、入力画像と対の指定パターンがある場合は局所識別値と指定パターンを用いて画像内の指定パターンの箇所を優先して識別するように追加識別値を算出し、局所識別値もしくは局所識別値と追加識別値を用いて入力画像の全体の識別結果を算出して、入力画像内の各物体(組織や細胞の病変らしさ等)を判定する。
　＜各部の構成と処理＞
　以下、各要素の構成と処理について詳細に説明する。
　（ｉ）特徴抽出部１１
　特徴抽出部１１は、入力画像の特徴量を算出する。一例として、各特徴量を算出する例を図３に示す。図３のＣＮＮは、Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋを表す。
　例えば、特徴抽出器Ａを用いて、以下の式１により、入力画像Ａ１から入力画像Ａ１の物体（例えば、組織や細胞等）の特徴量ＦＡｉを算出する。式１に示すフィルタ係数ｗｊは、各物体を各物体（正常組織や正常細胞を正常組織や正常細胞、もしくは異常組織や異常細胞を異常組織や異常細胞等）と識別するように、機械学習等により算出した係数である。式１において、ｐｊは画素値、ｂｉはオフセット値、ｍはフィルタ係数の数、ｈは非線形関数を示す。
　図４に示すように、式１を用いて、対象画像の左上から右下に対して、各フィルタの計算結果を算出することで、フィルタｉの特徴量ｆｉを算出する。例えば、特徴抽出器Ａで算出した特徴量ｆｉの行列を、入力画像Ａ１の特徴量ＦＡｉとする。特徴抽出器Ａの生成方法については、後述する学習部１６にて説明する。
Figure JPOXMLDOC01-appb-M000001
　（ii）局所識別部１２
　局所識別部１２は、図５に示すように、前記特徴抽出部１１で算出した特徴抽出器Ａの特徴量ＦＡｉと非線形関数（例えば、ｓｉｇｍｏｉｄ関数等）を用いて、式２により、局所領域毎に物体らしさ（例えば、病変らしさ等）の値を算出して、入力画像Ａ１内の物体が検出すべき物体か否か（例えば、正常細胞、もしくは異常細胞等）を判定する。
　以下の式２において、ＬＳはクラス、高さ、幅の３次元配列から成る局所識別値、ＦＡｉは特徴抽出部１１で算出した特徴量の番号、高さ、幅の３次元配列から成る特徴量、Ｗはクラス、特徴量の番号、高さ、幅の４次元配列から成る局所識別値を算出するためのフィルタ、Ｂはクラスの１次元配列から成る局所識別値算出のためのオフセット値、ｃはクラスのインデックス、ｙは特徴量の垂直方向のインデックス、ｘは特徴量の水平方向のインデックス、ｆｙはフィルタの垂直方向のインデックス、ｆｘはフィルタの水平方向のインデックス、ｊはフィルタのインデックスを示す。
　式２ではＣｏｎｖｏｌｕｔｉｏｎ処理を用いて局所識別値ＬＳを算出しているが、局所識別値ＬＳの算出方法はこれに限らない。例えば、Ｃｏｎｖｏｌｕｔｉｏｎ処理や非線形関数等を複数回適用して算出しても良いし、各座標における特徴量をＲａｎｄｏｍ　ｆｏｒｅｓｔやＳＶＭ等、その他の識別手法に入力して局所識別値ＬＳを算出しても良い。
Figure JPOXMLDOC01-appb-M000002
　（iii）全体識別部１３
　全体識別部１３は、図６に示すように、前記局所識別部１２で算出した局所識別値ＬＳもしくは局所識別値ＬＳおよび後述する追加識別値ＡＳと非線形関数（例えば、ｓｉｇｍｏｉｄ関数等）を用いて、指定パターンがある場合は以下の式３、または、指定パターンがない場合は以下の式４により、入力画像内の各物体の物体らしさ（例えば、病変らしさ等）の値を示す計算結果Ｒを算出する。そして、全体識別部１３は、入力画像Ａ１内の物体が検出すべき物体か否か（例えば、正常細胞、もしくは異常細胞等）を判定する。
　ただし、以下の式３、式４に示す基礎識別値ＢＳは、以下の式５の大局識別値ＧＳと式６を用いて算出する。
　式５において、ＧＳはクラスの１次元配列から成る大局識別値、ＦＡｉは特徴抽出部１１で算出した特徴量の番号、高さ、幅の３次元配列から成る特徴量、Ｗはクラス、特徴量の番号、高さ、幅の４次元配列から成る大局識別値算出のためのフィルタ、Ｂはクラスの１次元配列から成る大局識別値算出のためのオフセット値、ｃはクラスのインデックス、ｙは特徴量の垂直方向のインデックス、ｘは特徴量の水平方向のインデックス、ｆｙはフィルタの垂直方向のインデックス、ｆｘはフィルタの水平方向のインデックス、ｊはフィルタのインデックスを示す。
　また、式６のＬａｂｅｌは、クラスの１次元配列から成る画像単位の教師ラベルを示す。後述する学習部１６にて、機械学習により、式５のフィルタＷの係数とオフセット値Ｂを算出する。
　式５ではＣｏｎｖｏｌｕｔｉｏｎ処理と水平及び垂直方向の平均処理を用いて大局識別値ＧＳを算出しているが、大局識別値ＧＳの算出方法はこれに限らない。例えばＣｏｎｖｏｌｕｔｉｏｎ処理や非線形関数等を複数回適用した後に、水平及び垂直方向の平均処理を行っても良いし、各座標における特徴量をＲａｎｄｏｍ　ｆｏｒｅｓｔやＳＶＭ等、その他の識別手法に入力して得られた値の水平及び垂直方向の平均値を算出しても良い。また水平及び垂直方向の平均処理に限らず、総和処理等を用いても良い。
　また、式３の各項には、出現頻度や追加識別値ＡＳおよび基礎識別値ＢＳの値等に応じて算出した重みを掛けてもよい。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　ただし、式６において、ＮＬＬは損失関数、例えば、Ｎｅｇａｔｉｖｅ　ｌｏｇ　ｌｉｋｅｌｉｈｏｏｄを示す。
　一例として、画像内の物体（例えば、細胞の病変等）の有無の判定が出来ない場合でも、後述する学習部１６での追加識別値を反映した特徴抽出器Ａや、局所識別値や、大局識別値および後述する追加識別値を用いることで、従来の機械学習の技術では抽出できなかった物体の特徴（例えば、基底細胞の有無や上皮細胞での病変有無等）が明確となり、画像内の各物体を精度よく判定することが可能となる。
　（iv）学習部１６
　学習部１６は、前記の特徴抽出部１１、局所識別部１２、全体識別部１３、後述する追加識別部１７から構成される。追加識別部１７は、局所識別値ＬＳと指定パターンを用いて画像内の指定パターンの箇所を優先して識別するように追加識別値ＡＳを算出する。
　追加識別部１７は、入力画像と対に指定パターンが与えられている場合、式７より、局所識別部１２で算出した局所識別値ＬＳと指定パターン（Ｐａｔｔｅｒｎ）を用いて、追加識別値ＡＳを算出する。
Figure JPOXMLDOC01-appb-M000007
　式７において、Ｐａｔｔｅｒｎは、クラス、高さ、幅の３次元配列であり、局所識別器の目標識別値を０または１で指定する。
　学習部１６は、指定パターンがある場合、局所識別値ＬＳと指定パターンを用いて追加識別値ＡＳを算出する。
　そして、全体識別部１３にて、従来技術である機械学習の技術を用いて、局所識別値ＬＳと追加識別値ＡＳを用いて入力画像内の各物体を各物体（例えば、正常組織や正常細胞を正常組織や正常細胞、異常組織や異常細胞を異常組織や異常細胞）と識別するように、各物体の特徴量を学習して、フィルタＷの係数とオフセット値Ｂを算出する。
　例えば、機械学習の技術として、Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋを用いてもよい。一方、指定パターンがない場合は、局所識別値ＬＳのみを用いて、全体識別部１３にて、入力画像内の各物体を各物体と識別するように、各物体の特徴量を学習して、フィルタＷの係数とオフセット値Ｂを算出する。
　学習部１６は、図７に示すように、事前の機械学習により、入力画像Ａ１（例えば、病理画像）を用いて、式１により、入力画像Ａ１の特徴量ｆｉ（ＦＡｉとする）を算出する。
　次に、学習部１６は、式２により、特徴量ｆｉから局所識別値ＬＳを算出し、式７により、局所識別値ＬＳと指定パターンＢ１を用いて追加識別値ＡＳを算出する。
　さらに、局所識別値ＬＳから算出した基礎識別値ＢＳと追加識別値ＡＳを用いて、各対象物体を各対象物体（例えば、異常組織や異常細胞を異常組織や異常細胞、正常組織や正常細胞を正常組織や正常細胞）と判定するように、式１から式７までの各パラメータを算出する。
　このように、指定パターンによる追加識別値ＡＳを反映した特徴抽出器Ａや全体識別部１３を含めた識別器Ｃを生成することで、指定パターンで示した箇所を優先して識別するための特徴量を算出することが可能となる。
　学習部１６は、複数の学習用画像を用いて、前記特徴抽出部１１と前記局所識別部１２、前記全体識別部１３、前記追加識別部１７の処理を繰り返して行い、式１、式２および式５に示す各パラメータ（フィルタ係数ｗｊ、フィルタＷの係数、オフセット値ｂｉとＢ等）を算出する。そして、学習部１６は、入力画像Ａ１から入力画像Ａ１の特徴量ＦＡｉを算出する特徴抽出器Ａ、局所識別値を算出する局所識別器Ｌ、大局識別値を算出する大局識別器Ｍから成る識別器Ｃを生成する。
　また、学習部１６は、算出した各パラメータ（フィルタ係数ｗｊ、フィルタＷの係数、オフセット値ｂｉとＢ等）を記憶装置９０に格納する。
　（v）描画部１４
　描画部１４は、全体識別部１３において、画像内の物体を所定の物体（例えば、異常組織や異常細胞）と判定された場合、図８に示すように、検出すべき物体の箇所（例えば、異常組織や異常細胞が疑われる箇所等）を示すために、入力した対象画像内に検出枠を描画して出力装置２０４に出力する。
　一方、描画部１４は、正常組織や正常細胞と判定された場合は、入力した対象画像上に検出枠を描画せず、入力した対象画像をそのまま表示する。また、図８に示すように、判定した病変らしさの結果（例えば、腫瘍）を表示する。
　また、描画部１４は、一例として、図１１に示すＧＵＩ（グラフィカルユーザーインタフェース）にて、病変らしさ判定の結果を表示する。図１１は、胃がんの場合の一例であり、低分化管状腺がん、中分化管状腺がん、高分化管状腺がん、乳頭状腺がん、印環細胞がんの分類結果を示す図である。
　図１１の判定結果表示画面１４１では、病変の名称１４２と、判定結果（正常１４３、がん１４４）と、病変らしさの値１４５と、表示ボタン１４６で構成される。
　図１１の例では、低分化管状腺がんについて、全体識別部１３は、入力された対象画像に異常組織または細胞である低分化管状腺がんを含むと分類し、低分化管状腺がんの病変らしさの値１４５を０．６９と算出した例である。
　また、中分化管状腺がんについて、全体識別部１３は、入力された対象画像に異常組織または細胞である中分化管状腺がんを含まず、正常組織または細胞と分類し、中分化管状腺がんの病変らしさの値１４５を０．１１と算出した例である。
　また、高分化管状腺がんについて、全体識別部１３は、入力された対象画像に異常組織または細胞である高分化管状腺がんを含まず、正常組織または細胞と分類し、高分化管状腺がんの病変らしさの値１４５を０．０９と算出した例である。
　また、乳頭状腺がんについて、全体識別部１３は、入力された対象画像に異常組織または細胞である乳頭状腺がんを含まず、正常組織または細胞と分類し、乳頭状腺がんの病変らしさの値１４５を０．０６と算出した例である。また、印環細胞がんについて、全体識別部１３は、入力された対象画像に異常組織または細胞である印環細胞がんを含まず、正常組織または細胞と分類し、印環細胞がんの病変らしさの値１４５を０．０５と算出した例である。
　（vi）記録部１５
　記録部１５は、描画部１４で入力した対象画像上に検出枠を描画するための座標情報と当該対象画像を記憶装置９０に保存する。
　＜画像診断支援装置の処理手順＞
　図９は、本発明の実施例１による画像診断支援装置１の学習部１６で行われる処理の一例を説明するためのフローチャートである。以下では、学習部１６を処理の主体として記述するが、ＣＰＵ２０１を処理の主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。
　（i）ステップＳ９０１
　入力部１０は、学習用に入力された画像を受け付け、当該入力画像を学習部１６に出力する。
　（ii）ステップＳ９０２
　学習部１６は、機械学習によって、上述の式１により、フィルタを用いて入力画像Ａ１の物体（例えば、組織や細胞等）の特徴量ＦＡｉを算出し、特徴抽出器Ａを生成する。学習部１６は、特徴量ＦＡｉについて、フィルタ係数ｗｊ、オフセット値ｂｉを算出する。
　（iii）ステップＳ９０３
　学習部１６は、機械学習によって、上述の式２により、特徴量ＦＡｉから局所識別値ＬＳを算出し、局所領域毎に物体らしさ（例えば、病変らしさ等）の値を算出して、入力画像Ａ１内の物体が検出すべき物体か否か（例えば、正常細胞、もしくは異常細胞等）を判定するように、局所識別値ＬＳを算出するための式２の各パラメータ（フィルタＷの係数、オフセット値Ｂ等）を算出する。
　（iv）ステップＳ９０４
　学習部１６は、機械学習によって、上述の式７により、局所識別値ＬＳと指定パターン（Ｐａｔｔｅｒｎ）Ｂ１を用いて、優先して指定パターンＢ１で示す画像内の領域の特徴を捉えるように、追加識別値ＡＳを算出する。
　（v）ステップＳ９０５
　学習部１６は、機械学習によって、上述の式３もしくは式４により、局所識別値ＬＳから算出した基礎識別値ＢＳと追加識別値ＡＳを用いて、各対象物体を所定の対象物体（例えば、異常組織や異常細胞を異常組織や異常細胞、正常組織や正常細胞を正常組織や正常細胞）と判定するように、式５の各パラメータ（フィルタＷの係数、オフセット値Ｂ等）を算出する。そして、学習部１６は、上記式３または式４により、入力画像内の各物体の物体らしさ（例えば、病変らしさ等）の値を示す計算結果Ｒを算出する。
　（vi）ステップＳ９０６
　学習部１６は、式１、式２および式５の各パラメータ（フィルタ係数ｗｊ、フィルタＷの係数、オフセット値ｂｉ、Ｂ等）を記憶装置９０に保存する。
　上記ステップＳ９０１～Ｓ９０６の処理によって、指定パターンＢ１による追加識別値ＡＳを反映した特徴抽出器Ａや全体識別部１３を含めた識別器Ｃを生成し、指定パターンＢ１で示した箇所を優先して識別する特徴量を算出することができる。
　図１０は、本発明の実施例１による画像診断支援装置１の処理を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部１１等）を処理の主体として記述するが、ＣＰＵ２０１を処理の主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。
　（i）ステップＳ１００１
　入力部１０は、当該入力画像Ａ１を特徴抽出部１１に出力する。
　（ii）ステップＳ１００２
　特徴抽出部１１は、記憶装置９０から特徴抽出器Ａのフィルタ係数ｗｊと、オフセットｂｉを読込み、上述の式１により、フィルタを用いて入力画像Ａ１の画像内の物体（例えば、組織・細胞等）の特徴量ＦＡｉを算出する。
　（iii）ステップＳ１００３
　局所識別部１２は、記憶装置９０からフィルタ係数Ｗの係数、オフセットＢを読込み、式２により、特徴量ＦＡｉから局所識別値ＬＳを算出する。
　（iv）ステップＳ１００４
　全体識別部１３は、記憶装置９０からフィルタ係数Ｗの係数、オフセットＢを読込み、式５と式３もしくは式４により、計算結果Ｒを算出する。
　（v）ステップＳ１００５
　全体識別部１３は、算出した計算結果Ｒと閾値Ｔｈ１を比較する。すなわち、計算結果Ｒ≧閾値Ｔｈ１の場合、処理はステップＳ１００６に移行する。一方、計算結果Ｒ＜閾値Ｔｈ１の場合、処理はステップＳ１００７に移行する。
　（vi）ステップＳ１００６
　全体識別部１３は、入力画像内の物体が検出すべき対象物体（例えば、異常組織・異常細胞等）であると判定し、分類結果ｒｅｓに例えば、「１」を設定する。
　（vii）ステップＳ１００７
　全体識別部１３は、入力画像内の物体が検出すべき物体ではない（例えば、正常組織・正常細胞等）と判定し、分類結果ｒｅｓに例えば、「０」を設定する。
　（viii）ステップＳ１００８
　全体識別部１３は、分類結果ｒｅｓから病変らしさを分類する。例えば、前立腺については、分類結果ｒｅｓには、非腫瘍、腫瘍等の結果が設定される。従って、機械学習時に追加識別値を反映して算出した各パラメータを用いることで、分類結果ｒｅｓにより、病変有無（例えば、腫瘍等）や病変らしさ（Ｒ＝０．６９：値域（０～１））を精度よく算出することが可能となる。
　（ix）ステップＳ１００９
　描画部１４は、検出すべき物体（例えば、異常組織や異常細胞等）として分類した場合は、図８に示すように、異常組織や異常細胞を示す検出枠を画像上に描画して出力装置２０４に表示する。
　描画部１４は、検出すべき物体ではない（例えば、正常組織や正常細胞等）と分類された場合は、検出枠を画像上に描画することはしない。また、描画部１４は、図１１に示すように、入力画像から算出した検出すべき物体らしさ（例えば、病変らしさ等）の値を表示する。
　（x）ステップＳ１０１０
　記録部１５は、描画部１４で入力した対象画像上に検出枠を描画するための座標情報と当該対象画像を記憶装置９０（記憶装置２０３に相当）に保存する。
　以上のように、実施例１によれば、指定パターンＢ１で示す画像内の領域の特徴を優先して捉えるように画像の特徴量を機械学習し、各パラメータ（フィルター係数、オフセット等）を算出して、検出すべき物体（例えば、異常組織や細胞等）か否かを分類する識別器を生成するため、各物体（例えば、病変等）の誤検出や過検出を抑制して、画像から検出すべき物体（異常組織や異常細胞等）か否かを分類することが可能となる。
　また、学習用画像数が少なく、機械学習において意図した画像内の物体の特徴量が捉えられない場合でも、指定パターンＢ１を用いることでニューラルネットワークが意図した画像内の特徴量を優先して捉えるように機械学習して識別器を生成するため、学習用画像数が少なくても精度よく画像内の物体や物体らしさ（例えば、病変らしさ等）を判定することが可能となる。
　また、学習用の画像数が増えても、機械学習時に意図しない画像の特徴量の抽出を抑えつつ、意図した画像内の特徴量を優先的に捉えるため、精度よく画像内の物体や物体らしさ（例えば、病変らしさ等）を判定することが可能となる。
　図１２に示す実施例２に係る画像診断支援装置１は、前記実施例１の図１と同じ構成を多く含むが、実施例１と異なり、画像生成部２０を含む。また、本実施例２では、前記実施例１の学習部１６に代わって、学習部２６を採用する。従って、ここでは図１と異なる構成について説明をする。
　本発明の実施例２にかかる画像診断支援装置１は、事前の機械学習によって指定パターンの画像を生成し、生成した指定パターンの画像を用いて、前記実施例１と同様に、学習部２６で機械学習を行う。学習部２６は、追加識別値を反映した画像内の物体（例えば、組織や細胞等）の特徴量を算出して、それらの特徴量を用いて入力画像内の物体（例えば、組織や細胞等）について所定の物体（例えば、病変）らしさを判定する。
　＜各部の構成と処理＞
　以下、図１と異なる各要素の構成と処理について詳細に説明する。
　（i）画像生成部２０
　画像生成部２０は、特に重点的に特徴量を捉えたい物体を含む複数の学習用画像Ｐ１を用いて、事前に機械学習を行って、図１３Ａと図１３Ｂで示す基礎識別値ＢＳを算出する過程で算出した図５に示す局所識別値から成るパターンを指定パターンとして生成する。
　図１３Ａは、特徴量ＦＡｉから大局識別値ＧＳを算出する例を説明する図である。図１３Ｂは、大局識別値ＧＳと教師ラベルＬａｂｅｌから基礎識別値ＢＳを算出する例を説明する図である。図１３Ｃは、生成された指定パターンを修正するＧＵＩの一例を示す図である。
　図１３Ａと図１３Ｂにおいて、特徴量の平均を用いたが、総和等の別な計算処理を行ってもよい。画像生成部２０は、生成した指定パターンを記憶装置９０に格納する。また、指定パターンを機械学習に使用するときは、そのまま使用してもよいし、図１３Ｃに示すように、生成した指定パターンの一部をＧＵＩ等にて修正した修正後指定パターンを使用してもよい。
　（ii）学習部２６
　学習部２６は、画像生成部２０で生成した指定パターンと学習用画像Ｐ１を含む学習用画像Ｐ２を用いて、実施例１の学習部１６と同様に機械学習を行い、識別器Ｃを生成する。また、学習部２６は、前記実施例１に示した、式１、式２および式５に示す各パラメータ（フィルタ係数ｗｊ、フィルタＷの係数、オフセット値ｂｉとＢ等）を算出し、記憶装置９０に格納する。
　学習部２６は、生成した識別器Ｃおよび各パラメータを用いて、実施例１と同様に、入力画像Ａ１を入力して特徴量ＦＡｉおよび基礎識別値ＢＳを算出し、入力画像Ａ１内の物体が検出すべき物体（例えば、異常組織や異常細胞等）か否かを判定し、さらに物体（例えば、病変等）らしさも判定する。
　＜画像診断支援装置のハードウェア構成＞
　本発明の実施例２による画像診断支援装置１のハードウェア構成例は、前記実施例１の図２と同様の構成を有するが、画像診断支援装置１と異なり、メモリ２０２に画像生成部２０を含む。
　画像診断支援装置２の記憶装置２０３は、処理対象の画像や、全体識別部１３によって生成された入力画像に関する分類結果とその数値、画像生成部２０によって生成された指定パターンの画像や、描画部１４によって生成された検出枠を描画するための位置情報や、学習部２６によって生成した式１、式２および式５の各パラメータ等を記憶している。
　図１４は、本発明の実施形態による画像診断支援装置１の処理を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部１１等）を処理の主体として記述するが、ＣＰＵ２０１を処理の主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。
　（i）ステップＳ１４０１
　入力部１０は、指定パターンと学習用画像Ｐ１を含む学習用画像Ｐ２と、入力画像Ａ１とを受け付けて、学習用画像Ｐ１を画像生成部２０に出力する。
　（ii）ステップＳ１４０２
　画像生成部２０は、学習用画像Ｐ１から指定パターンの画像Ｄ１を生成する。
　（iii）ステップＳ１４０３
　学習部２６は、学習用画像Ｐ２と指定パターンの画像Ｄ１を用いて機械学習を行い、前記実施例１の式１、式２および式５に示す各パラメータ（フィルタ係数ｗｊ、フィルタＷの係数、オフセット値ｂiとＢ等）を算出し、記憶装置９０に格納する。
　（iv）ステップＳ１４０４
　特徴抽出部１１は、記憶装置９０から式１に示す各パラメータ（フィルタ係数ｗｊ、オフセット値ｂi）を読込み、上述の式１により、フィルタを用いて入力部１０から渡された入力画像Ａ１の物体の特徴量ＦＡiを算出する。
　（v）ステップＳ１４０５
　局所識別部１２は、記憶装置９０から上述の式２に示す各パラメータ（フィルターＷの係数、オフセットＢ）を読込み、式２により、局所識別値ＬＳを算出する。
　（vi）ステップＳ１４０６
　全体識別部１３は、記憶装置９０から上述の式５に示す各パラメータ（フィルターＷの係数、オフセットＢ）を読込み、式５と式６、式３もしくは式４により、基礎識別値ＢＳと計算結果Ｒを算出する。
（vii）ステップＳ１４０７
　全体識別部１３は、算出した計算結果Ｒと閾値Ｔｈ１を比較する。すなわち、計算結果Ｒ≧閾値Ｔｈ１の場合、処理はステップＳ１４０８に移行する。一方、計算結果Ｒ＜閾値Ｔｈ１の場合、処理はステップＳ１４０９に移行する。
　（viii）ステップＳ１４０８
　全体識別部１３は、分類結果ｒｅｓに検出すべき対象物体（例えば、異常組織・異常細胞等）であると判定し、分類結果ｒｅｓに例えば、「１」を設定する。
　（ix）ステップＳ１４０９
　全体識別部１３は、検出すべき物体ではない（例えば、正常組織・正常細胞等）と判定し、分類結果ｒｅｓに例えば、「０」を設定する。
　（x）ステップＳ１４１０
　全体識別部１３は、分類結果ｒｅｓから病変らしさを分類する。例えば、前立腺については、分類結果ｒｅｓには、非腫瘍、腫瘍等の結果が設定される。従って、機械学習時に追加識別値を反映して算出した各パラメータを用いることで、分類結果ｒｅｓにより、物体（例えば、病変等）有無（例えば、腫瘍等）や物体（例えば、病変等）らしさ（Ｒ＝０．６９：値域（０～１））を精度よく算出することが可能となる。
　（xi）ステップＳ１４１１
　描画部１４は、検出すべき物体（例えば、異常組織や異常細胞等）と分類された場合は、前記実施例１の図８で示したように、異常組織や異常細胞を示す検出枠を画像上に描画して表示する。描画部１４は、検出すべき物体ではない（例えば、正常組織や正常細胞等）と分類された場合は、検出枠を画像上に描画することはしない。また、描画部１４は、図１１に示すように、入力画像から算出した検出すべき物体らしさ（例えば、病変らしさ等）の値を表示する。
　（xii）ステップＳ１４１２
　記録部１５は、描画部１４で入力した対象画像上に検出枠を描画するための座標情報とその対象画像を記憶装置９０（記憶装置２０３に相当）に保存する。
　以上のように、本実施例２によれば、画像診断支援装置１は、指定パターンで示す画像内の領域の特徴を優先して捉えように画像の特徴量を機械学習し、各パラメータ（フィルター係数、オフセット等）を算出する。そして、画像診断支援装置１は、検出すべき物体（例えば、異常組織や細胞等）か否かを分類する識別器を生成するため、各物体（例えば、病変等）の誤検出や過検出を抑制して、画像から検出すべき物体（異常組織や異常細胞等）か否かを分類することが可能となる。
　また、画像診断支援装置１は、事前に重点的に学習したい学習用画像Ｐ１を用いて指定パターンの画像Ｄ１を生成し、画像数を増やした学習用画像と生成した指定パターンの画像Ｄ１を用いて画像内の物体の特徴量を算出することができる。これにより、指定パターンの画像Ｄ１の生成コストを抑えつつ、精度よく画像内の物体や物体らしさ（例えば、病変らしさ等）を判定することが可能となる。
　また、画像診断支援装置１は、学習用の画像数を増やして再度機械学習を行った場合でも、画像を増やす前の機械学習にて捉えていた特徴量が変わることを抑制しつつ、精度よく画像内の物体や物体らしさ（例えば、病変らしさ等）を判定することが可能となる。
　図１５は、本発明の実施例３による遠隔診断支援システム１５００の構成を示す機能ブロック図である。遠隔診断支援システム１５００は、サーバー１５０３と、画像取得装置１５０５と、を有する。
　画像取得装置１５０５は、例えばバーチャルスライド装置やカメラを装備したパーソナルコンピュータのような装置であり、画像データを撮影する撮像部１５０１と、サーバー１５０３から伝送されてきた判定結果を表示するための表示部１５０４と、を有している。なお、画像取得装置１５０５は、図示されてはいないが、画像データをサーバー１５０３に送信したり、サーバー１５０３から送信されてきたデータを受信したりする通信デバイスを有している。
　サーバー１５０３は、画像取得装置１５０５から伝送されてきた画像データに対して、本発明の実施例１や実施例２による画像処理を行う画像診断支援装置１と、画像診断支援装置１から出力された判定結果を格納する格納部１５０２と、を有している。
　なお、サーバー１５０３は、図示されてはいないが、画像取得装置１５０５から送信されてきた画像データを受信したり、画像取得装置１５０５に判定結果データを送信したりする通信デバイスを有している。また、サーバー１５０３は、画像診断支援装置１と格納部１５０２を含む装置であればよく、サーバーに限定されるものではない。
　画像診断支援装置１は、画像取得装置１５０５の撮像部１５０１で撮影した画像データ内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、異常組織や異常細胞（例：がん）等）の有無を分類する。
　また、前記実施例１、２と同様にして指定パターンを使用した機械学習によって算出した各パラメータを用いて、入力画像内の物体（例えば、組織・細胞等）の特徴量を算出する識別器による分類結果を用いて、物体（例えば、異常組織や異常細胞（例：がん）等）の状態に応じた物体（例えば、異常組織や異常細胞（例：がん）等）の所定の物体（例えば、病変）らしさの分類を行う。表示部１５０４は、サーバー１５０３から伝送された分類結果を、画像取得装置１５０５の表示画面に表示する。
　画像取得装置１５０５として、撮影部を有する再生医療装置やiＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。
　以上のように、実施例３によれば、地点の異なる施設等から伝送された画像内の物体（例えば、組織や細胞等）について、指定パターンを反映した識別器の各パラメータを用いて検出すべき物体（異常組織や異常細胞等）か否かを精度よく分類し、分類結果を地点の異なる施設等に伝送して、その施設等にある画像取得装置の表示部で分類結果を表示することで、遠隔診断支援システムを提供することが可能となる。
　図１６は、本発明の実施例４によるネット受託サービス提供システム１６００の構成を示す機能ブロック図である。ネット受託サービス提供システム１６００は、サーバー１６０３と、画像取得装置１６０５と、を有している。
　画像取得装置１６０５は、例えばバーチャルスライド装置やカメラを装備したパーソナルコンピュータのような装置であり、画像データを撮影する撮像部１６０１と、サーバー１６０３から伝送された識別器を格納する格納部１６０４と、画像診断支援装置１とを有している。
　画像診断支援装置１は、サーバー１６０３から伝送された識別器を読込んで、画像取得装置１６０５の撮像部１６０１にて新たに撮影した画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、異常組織や異常細胞等）か否かを分類する。画像診断支援装置１は、前記実施例１、２と同様の画像処理を行う。
　なお、画像取得装置１６０５は、図示されてはいないが、画像データをサーバー１６０３に送信したり、サーバー１６０３から送信されてきたデータを受信したりする通信デバイスを有している。
　サーバー１６０３は、画像取得装置１６０５から伝送されてきた画像データに対して、本発明の実施例１や実施例２による画像処理を行う画像診断支援装置１と、画像診断支援装置１から出力された識別器を格納する格納部１６０２と、を有している。
　なお、サーバー１６０３は、図示されてはいないが、画像取得装置１６０５から送信されてきた画像データを受信したり、画像取得装置１６０５に識別器を送信したりする通信デバイスを有している。
　画像診断支援装置１は、撮像部１６０１で撮影した画像データ内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、正常の組織や細胞は正常の組織や細胞、異常の組織や細胞は異常の組織や細胞等）と判定するように指定パターンを使用した機械学習を行い、地点の異なる施設等の画像内の物体（例えば、組織・細胞等）の特徴量を算出する識別器を生成する。格納部１６０４は、サーバー１６０３から伝送された識別器等を格納する。
　画像取得装置１６０５内の画像診断支援装置１は、格納部１６０４から指定パターンを反映したパラメータから成る識別器等を読込み、当該識別器を用いて、画像取得装置１６０５の撮像部１６０１にて新たに撮影した画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、異常組織や異常細胞等）か否かを分類し、画像診断支援装置１の出力装置２０４の表示画面に分類結果を表示する。
　画像取得装置１６０５として、撮影部を有する再生医療装置やiＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。
　以上のように、実施例４によれば、地点の異なる施設等から伝送された画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、正常の組織や細胞は正常の組織や細胞、異常の組織や細胞は異常の組織や細胞等）として分類するように指定パターンを使用した機械学習を行って識別器等を生成し、識別器等を地点の異なる施設等に伝送する。
　そして、当該施設等にある画像取得装置１６０５にて識別器を読込み、新たに撮影した画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、異常組織や異常細胞等）か否かを分類することで、ネット受託サービス提供システムを提供することが可能となる。
　以上説明した各実施例１～４については、次のような変形が可能である。
　特徴抽出部１１や学習部１６、２６では、機械学習によりフィルタを用いて複数特徴量を算出したが、ＨＯＧ等の他の特徴量を用いてもよく、同様の効果を有する。
　全体識別部１３や学習部１６、２６では、損失関数としてＮｅｇａｔiｖｅ　ｌｏｇ　ｌiｋｅｌiｈｏｏｄを用いたが、２乗誤差やＨiｎｇｅ　ｌｏｓｓ等を用いてもよく、同様の効果を有する。
　本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
　また、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
　さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
　最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。さらに、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
　さらに、異なる実施例にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ等の広範囲のプログラム又はスクリプト言語で実装できる。
　さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。
　加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。
　＜補足＞
　特許請求の範囲に記載した以外の本発明の観点の代表的なものとして、次のものがあげられる。
　＜１６＞
　画像データを撮影する撮像装置を有する画像取得装置と、
　請求の範囲（例えば請求項４、７）に記載の画像診断支援装置として機能するサーバーと、を有し、
　前記画像取得装置は、前記サーバーに前記画像データを送信し、
　前記サーバーは、受信した前記画像データを前記画像診断支援装置で処理して前記判定された物体の画像と判定結果をメモリに格納するとともに、前記画像取得装置に送信し、前記画像取得装置は、受信した前記判定された物体の画像と判定結果を表示装置に表示することを特徴とする遠隔診断支援システム。
　＜１７＞
　画像データを撮影する撮像装置を有する画像取得装置と、
　請求の範囲（例えば請求項４、７）に記載の画像診断支援装置として機能するサーバーと、を有し、
　前記画像取得装置は、前記サーバーに前記画像データを送信し、
　前記サーバーは、受信した前記画像データを前記画像診断支援装置で処理して前記判定された物体の画像と識別器をメモリに格納するとともに、前記判定された物体の画像と識別器を前記画像取得装置に送信し、
　前記画像取得装置は、受信した前記判定された物体の画像と識別器を格納し、
　前記画像取得装置内の前記画像診断支援装置は、識別器を用いて他の画像を判定するとともに、判定結果を表示装置に表示することを特徴とするネット受託サービス提供システム。

Claims (15)

  1. 　プロセッサとメモリを有する機械学習装置であって、
    　前記プロセッサは、画像を受け付けて、前記画像に含まれる物体の特徴量を算出し、
    　前記プロセッサは、前記特徴量から局所を識別して局所識別値を算出し、
    　前記プロセッサは、前記局所識別値を用いて全体識別値を算出し、
    　前記プロセッサは、前記局所識別値と前記全体識別値を用いて識別器を生成し、前記メモリへ格納することを特徴とする機械学習装置。
  2. 　請求項１に記載の機械学習装置であって、
    　前記プロセッサは、指定された画像を指定パターンとして受け付けて、
    　前記プロセッサは、前記局所識別値と前記指定パターンから追加識別値を算出し、
    　前記全体識別値を算出する際には、前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする機械学習装置。
  3. 　請求項１に記載の機械学習装置であって、
    　前記プロセッサは、特定の領域を示した指定パターンの画像を生成し、
    　前記プロセッサは、前記局所識別値と前記指定パターンから追加識別値を算出し、
    　前記全体識別値を算出する際には、前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする機械学習装置。
  4. 　プロセッサとメモリを有する画像診断支援装置であって、
    　前記プロセッサは、画像を受け付けて、前記画像に含まれる物体の特徴量を算出し、
    　前記プロセッサは、前記特徴量から局所を識別して局所識別値を算出し、
    　前記プロセッサは、前記局所識別値を用いて全体識別値を算出し、
    　前記プロセッサは、前記局所識別値と前記全体識別値を用いて識別結果を算出することを特徴とする画像診断支援装置。
  5. 　請求項４に記載の画像診断支援装置であって、
    　前記プロセッサは、指定された画像を指定パターンとして受け付けて、
    　前記プロセッサは、前記局所識別値と前記指定パターンから追加識別値を算出し、
    　前記全体識別値を算出する際には、前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする画像診断支援装置。
  6. 　請求項４に記載の画像診断支援装置であって、
    　前記プロセッサは、前記識別結果を用いて、前記画像内の物体の有無および物体の確からしさを判定することを特徴とする画像診断支援装置。
  7. 　請求項４に記載の画像診断支援装置であって、
    　前記プロセッサは、特定の領域を示した指定パターンの画像を生成し、
    　前記プロセッサは、前記局所識別値と前記指定パターンから追加識別値を算出し、
    　前記全体識別値を算出する際には、前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする画像診断支援装置。
  8. 　請求項７に記載の画像診断支援装置であって、
    　前記プロセッサは、前記識別結果を用いて、前記画像内の物体の有無および物体の確からしさを判定することを特徴とする画像診断支援装置。
  9. 　プロセッサとメモリを有する計算機で、画像の機械学習を行う機械学習方法であって、
    　前記計算機が、画像を受け付けて、前記画像に含まれる物体の特徴量を算出する特徴量算出ステップと、
    　前記計算機が、前記特徴量から局所を識別して局所識別値を算出する局所識別値算出ステップと、
    　前記計算機が、前記局所識別値を用いて全体識別値を算出する全体識別値算出ステップと、
    　前記計算機が、前記局所識別値と前記全体識別値を用いて識別器を生成し、前記メモリへ格納する識別器生成ステップと、
    を含むことを特徴とする機械学習方法。
  10. 　請求項９に記載の機械学習方法であって、
    　前記計算機が、指定された画像を指定パターンとして受け付ける指定パターン受け付けステップと、
    　前記計算機が、前記局所識別値と前記指定パターンから追加識別値を算出する追加識別値算出ステップと、
    をさらに含み、
    　前記全体識別値算出ステップは、
    　前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする機械学習方法。
  11. 　請求項９に記載の機械学習方法であって、
    　前記計算機が、特定の領域を示した指定パターンの画像を生成する指定パターン生成ステップと、
    　前記計算機が、前記局所識別値と前記指定パターンから追加識別値を算出する追加識別値算出ステップと、
    をさらに含み、
    　前記全体識別値算出ステップは、
    　前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする機械学習方法。
  12. 　プロセッサとメモリを有する計算機で、画像の診断を支援する画像診断支援方法であって、
    　前記計算機が、画像を受け付けて、前記画像に含まれる物体の特徴量を算出する特徴量算出ステップと、
    　前記計算機が、前記特徴量から局所を識別して局所識別値を算出する局所識別値算出ステップと、
    　前記計算機が、前記局所識別値を用いて全体識別値を算出する全体識別値算出ステップと、
    　前記計算機が、前記局所識別値と前記全体識別値を用いて識別結果を算出する識別結果算出ステップと、
    を含むことを特徴とする画像診断支援方法。
  13. 　請求項１２に記載の画像診断支援方法であって、
    　前記計算機が、指定された画像を指定パターンとして受け付ける指定パターン受け付けステップと、
    　前記計算機が、前記局所識別値と前記指定パターンから追加識別値を算出する追加識別値算出ステップと、
    をさらに含み、
    　前記全体識別値算出ステップは、
    　前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする画像診断支援方法。
  14. 　請求項１２に記載の画像診断支援方法であって、
    　前記計算機が、前記識別結果を用いて、前記画像内の物体の有無および物体の確からしさを判定する判定ステップを、さらに含むことを特徴とする画像診断支援方法。
  15. 　請求項１２に記載の画像診断支援方法であって、
    　前記計算機が、特定の領域を示した指定パターンの画像を生成する指定パターン生成ステップと、
    　前記計算機が、前記局所識別値と前記指定パターンから追加識別値を算出する追加識別値算出ステップ
    と、
    をさらに含み、
    　前記全体識別値算出ステップは、
    　前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする画像診断支援方法。
PCT/JP2019/024953 2018-07-09 2019-06-24 機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法 WO2020012935A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19833707.3A EP3822911A4 (en) 2018-07-09 2019-06-24 MACHINE LEARNING DEVICE, IMAGE DIAGNOSTIC ASSISTING DEVICE, MACHINE LEARNING METHOD AND IMAGE DIAGNOSTIC ASSISTING METHOD
US17/254,547 US11972560B2 (en) 2018-07-09 2019-06-24 Machine learning device, image diagnosis support device, machine learning method and image diagnosis support method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018129776A JP7046745B2 (ja) 2018-07-09 2018-07-09 機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法
JP2018-129776 2018-07-09

Publications (1)

Publication Number Publication Date
WO2020012935A1 true WO2020012935A1 (ja) 2020-01-16

Family

ID=69142934

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/024953 WO2020012935A1 (ja) 2018-07-09 2019-06-24 機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法

Country Status (4)

Country Link
US (1) US11972560B2 (ja)
EP (1) EP3822911A4 (ja)
JP (1) JP7046745B2 (ja)
WO (1) WO2020012935A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022004337A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 判断支援装置、情報処理装置及び学習方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443193B2 (en) * 2020-04-24 2022-09-13 Adobe Inc. Domain adaptation for machine learning models
JP7529592B2 (ja) 2021-03-03 2024-08-06 株式会社日立ハイテク 画像診断支援装置、画像診断支援方法、遠隔診断支援システム、ネット受託サービスシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011215883A (ja) * 2010-03-31 2011-10-27 Secom Co Ltd 対象物検知装置及びその学習装置
US20130282635A1 (en) 2010-12-10 2013-10-24 Siegmund Düll Method For The Computer-Assisted Modeling Of A Technical System
JP2018026040A (ja) * 2016-08-12 2018-02-15 キヤノン株式会社 情報処理装置および情報処理方法
JP2018129776A (ja) 2017-02-10 2018-08-16 日本電信電話株式会社 通信装置、通信方法及び通信プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4846924B2 (ja) * 2001-05-31 2011-12-28 キヤノン株式会社 パターン認識装置
JP2008152611A (ja) * 2006-12-19 2008-07-03 Seiko Epson Corp 画像認識装置、電子機器、画像認識方法及び画像認識プログラム
JP4796599B2 (ja) * 2008-04-17 2011-10-19 日本電信電話株式会社 画像識別装置、画像識別方法、プログラム
JP5547597B2 (ja) 2010-09-29 2014-07-16 大日本スクリーン製造株式会社 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
CA2891930C (en) * 2012-11-19 2016-08-02 Imds America Inc. Method and system for the spotting of arbitrary words in handwritten documents
JP2016029568A (ja) * 2014-07-23 2016-03-03 国立大学法人電気通信大学 線形識別器、大規模一般物体認識装置、電子計算機、モバイル端末、データ処理装置、および画像認識システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011215883A (ja) * 2010-03-31 2011-10-27 Secom Co Ltd 対象物検知装置及びその学習装置
US20130282635A1 (en) 2010-12-10 2013-10-24 Siegmund Düll Method For The Computer-Assisted Modeling Of A Technical System
JP2018026040A (ja) * 2016-08-12 2018-02-15 キヤノン株式会社 情報処理装置および情報処理方法
JP2018129776A (ja) 2017-02-10 2018-08-16 日本電信電話株式会社 通信装置、通信方法及び通信プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3822911A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022004337A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 判断支援装置、情報処理装置及び学習方法

Also Published As

Publication number Publication date
EP3822911A1 (en) 2021-05-19
US20210271929A1 (en) 2021-09-02
JP2020009160A (ja) 2020-01-16
EP3822911A4 (en) 2022-04-20
US11972560B2 (en) 2024-04-30
JP7046745B2 (ja) 2022-04-04

Similar Documents

Publication Publication Date Title
CN109670532B (zh) 生物体器官组织图像的异常识别方法、装置及系统
US10872411B2 (en) Diagnostic imaging assistance apparatus and system, and diagnostic imaging assistance method
US10452957B2 (en) Image classification apparatus, method, and program
US10453192B2 (en) Cytologic diagnosis support apparatus, cytologic diagnosis support method, remote diagnosis support system, service providing system, and image processing method
US11676268B2 (en) Image diagnosis assisting apparatus, image diagnosis assisting system and image diagnosis assisting method
JP2015207280A (ja) 目標識別方法及び目標識別装置
WO2020012935A1 (ja) 機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法
JP2007307358A (ja) 画像処理方法および装置ならびにプログラム
CN110599421A (zh) 模型训练方法、视频模糊帧转换方法、设备及存储介质
JP2023517058A (ja) 画像処理に基づく腫瘍の自動検出
US10186030B2 (en) Apparatus and method for avoiding region of interest re-detection
CN111445457B (zh) 网络模型的训练方法及装置、识别方法及装置、电子设备
CN113261012B (zh) 处理图像的方法、装置及系统
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
CN113256672B (zh) 图像处理方法及装置，模型的训练方法及装置，电子设备
Major et al. Interpreting medical image classifiers by optimization based counterfactual impact analysis
US10395773B2 (en) Automatic characterization of Agatston score from coronary computed tomography
CN113763331A (zh) 冠状动脉优势型判定方法、装置、存储介质及电子设备
GB2457022A (en) Creating a fuzzy inference model for medical image analysis
Mursalin et al. EpNet: A deep neural network for ear detection in 3D point clouds
WO2021065937A1 (ja) 機械学習装置
WO2021246013A1 (ja) 画像診断方法、画像診断支援装置、及び計算機システム
JP7529592B2 (ja) 画像診断支援装置、画像診断支援方法、遠隔診断支援システム、ネット受託サービスシステム
WO2023248788A1 (ja) 識別器生成装置および画像診断支援装置
KR102721483B1 (ko) 의료 영상에서 폐 병변의 위치를 자동으로 지정하는 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19833707

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE