WO2019150813A1 - データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム - Google Patents

データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム Download PDF

Info

Publication number
WO2019150813A1
WO2019150813A1 PCT/JP2018/046747 JP2018046747W WO2019150813A1 WO 2019150813 A1 WO2019150813 A1 WO 2019150813A1 JP 2018046747 W JP2018046747 W JP 2018046747W WO 2019150813 A1 WO2019150813 A1 WO 2019150813A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
data
recognition
unit
recognition result
Prior art date
Application number
PCT/JP2018/046747
Other languages
English (en)
French (fr)
Inventor
稔宏 臼田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019568932A priority Critical patent/JP6976360B2/ja
Publication of WO2019150813A1 publication Critical patent/WO2019150813A1/ja
Priority to US16/927,987 priority patent/US11288550B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a data processing apparatus and method, a recognition apparatus, a learning data storage apparatus, a machine learning apparatus, and a program, and relates to a recognition processing technique using machine learning.
  • Patent Document 1 discloses a radiographic image processing apparatus that recognizes an abnormal shadow such as a tumor from a radiographic image such as a chest X-ray image.
  • the radiation image processing apparatus described in Patent Literature 1 includes a configuration for performing relearning for correcting data processing by a mounted neural network. If the recognition result is inappropriate, the image is used. Re-learn.
  • the medical image diagnostic apparatus described in Patent Document 2 includes a learning mechanism that changes a weighting factor of a node between units of the pattern recognition mechanism.
  • the learning method described in Patent Document 3 prepares a plurality of feature extractors, calculates feature amounts from attention regions and non-attention regions using these feature extractors, and weights the calculated feature amounts. , Learn image classification. “Medical image” is synonymous with “medical image”.
  • the learning device described in Patent Document 4 prepares a plurality of weight parameters of a hierarchical neural network, and learns by employing a weight that minimizes an error.
  • the learning device described in Patent Literature 5 determines a correct / incorrect answer in the output layer, and calculates an output layer response function differential coefficient normalized power value in the case of an incorrect answer. Then, at the time of error back propagation, learning is performed using the derivative of the response function corrected by the power value normalized by the output layer response function differential coefficient.
  • learning device is understood as a term corresponding to the “machine learning device” in this specification.
  • Japanese Patent Laid-Open No. 3-102477 Japanese Patent Laid-Open No. 4-90076 Japanese Patent Laid-Open No. 2017-162098 Japanese Unexamined Patent Publication No. 2016-6617 JP 2005-339322 A
  • the data that the user corrects the recognition result of the recognition unit is likely to be rare case data with insufficient recognition performance in the recognition unit.
  • the additional learning for improving the recognition performance of the recognition unit is performed using the data in which the recognition result is corrected by the instruction from the user.
  • “weighting” is performed so that the degree of contribution from the data in which the recognition result is corrected is relatively larger than the learning data of the learning data set used for the prior learning.
  • the data processing device may be configured as a single device or may be configured by combining a plurality of devices.
  • the data processing apparatus can be realized using one or a plurality of computers.
  • Apparatus includes the concept of “system”.
  • Data includes the concept of “signal” and “information”.
  • recognition includes concepts such as identification, discrimination, inference, estimation, detection, and region extraction.
  • Aspect 2 is a data processing apparatus used as an image processing apparatus in the data processing apparatus according to aspect 1, wherein the data acquired by the data acquisition unit is an image, and the recognition unit is an image recognition unit that performs an image recognition task.
  • image includes the meaning of “image data”.
  • the task of image recognition can include various tasks such as image classification, extraction of specific areas, segmentation, or extraction of features of an object, or an appropriate combination thereof.
  • extraction includes the concept of “detection”.
  • Aspect 3 is the data processing apparatus according to aspect 2, wherein the image is a medical image.
  • the data processing device according to aspect 3 is used as a medical image processing device.
  • Medical images include endoscopic images, CT images, X-ray images, ultrasound diagnostic images, MRI (Magnetic Resonance Imaging) images, PET (Positron Emission Tomography) images, SPECT (Single Photon Emission Computed Tomography) images, Or, there can be various types of images such as fundus images.
  • Aspect 4 is the data processing apparatus according to any one of aspects 1 to 3, wherein each of the recognition unit and the machine learning unit is configured using a convolutional neural network.
  • Aspect 5 is the data processing apparatus according to any one of aspects 1 to 4, in which the learning data that stores the learning data including the data whose recognition result is corrected by the recognition result correcting unit and the teacher signal corresponding to the data
  • a data processing apparatus including a storage unit.
  • Aspect 7 is a data processing apparatus according to Aspect 5 or Aspect 6, wherein the learning data storage unit stores a learning data set used for learning by the recognition unit.
  • the learning data storage unit preferably stores a collection of all learning data used for learning by the recognition unit.
  • the learning data set used for the prior learning can also be used for learning for improving the recognition performance for rare cases.
  • the learning data storage unit preferably stores not only learning data newly collected through correction by the recognition result correction unit but also a learning data set used for prior learning.
  • Aspect 8 is the data processing device according to any one of aspects 1 to 7, wherein the machine learning unit evaluates an error between the recognition result signal indicating the recognition result of the recognition unit and the teacher signal, and based on the error It is a data processing device that updates the parameters of the recognition unit.
  • Aspect 9 is the data processing apparatus according to aspect 8, in which the degree of contribution is represented by an error weighting factor by which the error is multiplied.
  • the error weighting coefficient is an aspect of contribution information.
  • Aspect 10 is the data processing apparatus according to any one of aspects 1 to 8, wherein the degree of contribution is represented by the number of times learning data is used for learning.
  • Aspect 11 includes a contribution degree setting unit that sets a degree of contribution when using the data whose recognition result has been corrected by the recognition result correction unit for learning in the data processing device according to any one of aspects 1 to 10.
  • Aspect 12 is the data processing apparatus according to aspect 11, wherein the contribution degree setting unit sets the degree of contribution according to the category of the correction result by the recognition result correction unit based on the instruction from the user.
  • the contribution degree setting unit is configured to vary the degree of contribution depending on whether the recognition result corrected by the recognition result correction unit is a “false negative” category or a “false positive” category. And It is preferable to increase the “degree of contribution” with respect to data in which the recognition result of “false negative” is corrected, compared to data in which the recognition result of “false positive” is corrected.
  • Aspect 13 is the data processing apparatus according to aspect 11, wherein the contribution degree setting unit variably sets the degree of contribution according to an input from the user.
  • the user can determine the importance of data and the like, and can appropriately set the “degree of contribution” reflecting the intention of the user.
  • the recognition result correcting unit receives input of information indicating at least one of the seriousness and the rarity of the data whose correction is corrected, and the contribution degree setting unit is It is a data processing device that sets the degree of contribution in a stepwise manner according to at least one of the severity and the rarity input via the correction unit.
  • the recognition device includes a data acquisition unit that acquires data to be processed, and a recognition unit that is trained using a learning data set, and receives input of data acquired through the data acquisition unit. And a recognition unit that outputs a recognition result for the data, and a recognition result correction unit that corrects the recognition result of the recognition unit according to an instruction from the user, the recognition result correction unit includes data that has corrected the recognition result, Learning data for additional learning including a teacher signal corresponding to the data is generated, and correction information indicating that the recognition result has been corrected is generated for the data in which the recognition result is corrected.
  • “Additional learning” means learning that is additionally performed in order to update the recognition performance of the recognition unit acquired by prior learning, and includes the concept of “relearning”.
  • the contribution information may be, for example, an error weighting coefficient or the number of times used for learning.
  • the contribution degree information may be understood as one aspect of the correction information.
  • Aspect 17 is a recognition apparatus that includes a learning data storage unit that stores the learning data and the correction information generated by the recognition result correction unit in the recognition device of aspect 15 or aspect 16.
  • the rare case learning data is accumulated in the learning data storage unit through the recognition process of the recognition device and the input of the correction to the recognition result by the user. Thereby, a collection of learning data useful for updating the recognition performance of the recognition unit can be obtained.
  • a learning data storage device is a learning data storage device in which learning data and correction information generated by the recognition device of aspect 15 or 16 are stored.
  • the learning data storage device may be a storage device that functions as a learning data storage unit in the recognition device, or may be a storage device installed outside the recognition device.
  • the learning data storage device may be, for example, a data storage server connected to a network or a cloud storage.
  • Aspect 19 is the learning data storage device according to aspect 18, in which the recognition unit corrects the data, the teacher signal corresponding to the data with the corrected recognition result, and the learning of the recognition unit when the data with the corrected recognition result is used for learning. And a learning data storage device in which a collection of learning data having a data structure including contribution degree information indicating the degree of contribution to the is stored.
  • the learning data stored in the learning data storage device has a data structure in which, in addition to input data, teacher signals and contribution information corresponding to the input data, information on severity and / or rarity is associated. can do.
  • the machine learning device according to aspect 21 may be a machine learning unit that constitutes the data processing device according to aspect 1, or may be independently connected to the recognition device according to any one of aspects 15 to 17. It may be a device. In addition, the machine learning device of aspect 21 may be communicably connected to the learning data storage device of any one of aspects 18 to 20.
  • connection includes the concept of connection via a telecommunication line (network).
  • Connection includes the concept of both wired connection and wireless connection.
  • the same matters as those specified in aspects 2 to 21 can be appropriately combined.
  • the elements of the processing unit and the functional unit as the means responsible for the processing and operation specified in the data processing device, the recognition device, or the learning data storage device are the elements of the corresponding processing and operation steps (steps). Can be grasped as.
  • the data processing method according to aspect 22 may be understood as an operation method of the data processing apparatus.
  • the program according to the aspect 23 is a data acquisition step of acquiring data to be processed by a computer, and a recognition step using a recognition model learned using a learning data set, which is acquired by the data acquisition step.
  • a recognition step for receiving data input and outputting a recognition result for the data a recognition result correction step for correcting the recognition result of the recognition step in accordance with an instruction from the user, and data for which the recognition result has been corrected by the recognition result correction step
  • a machine learning step for learning a recognition model wherein the machine learning step recognizes compared to the degree of contribution to learning of the recognition model from the learning data included in the learning data set. Increasing the contribution to learning from data with corrected results , Is a program that performs the learning of the recognition model.
  • the same matters as those specified in the aspects 2 to 21 can be appropriately combined.
  • the elements of the processing unit and the functional unit serving as means for performing the processing and operation specified in the data processing device, the recognition device, or the learning data storage device realize the corresponding processing or operation step or function. It can be grasped as a program element.
  • a data processing apparatus includes at least one processor, and the processor obtains data to be processed, and recognizes using a recognition model learned using a learning data set.
  • a recognition process that receives input of acquired data and outputs a recognition result for the data, a process that corrects the recognition result of the recognition process in accordance with an instruction from the user, and data with the recognition result corrected
  • a machine learning process for learning a recognition model and a processor for performing the machine learning process.
  • the machine learning process corrects the recognition result compared to the degree of contribution to the learning of the recognition model from the learning data included in the learning data set.
  • a recognition apparatus includes at least one processor, and the processor includes a process for acquiring data to be processed and a recognition process using a recognition model learned using a learning data set.
  • a processor that receives an input of the acquired data and outputs a recognition result for the data, and a process that corrects the recognition result of the recognition process according to an instruction from the user.
  • the correction information indicating that the learning result for the additional learning including the data in which the recognition result is corrected and the teacher signal corresponding to the data is generated and the recognition result is corrected with respect to the data in which the recognition result is corrected
  • This is a data processing device that performs processing for generating.
  • the present invention it is possible to generate effective learning data for rare case learning based on a user's instruction to correct the recognition result. Moreover, the recognition accuracy with respect to rare case data can be improved by relatively increasing the degree of contribution to learning for the generated learning data and performing additional learning.
  • FIG. 1 is a block diagram illustrating functions of the image system according to the first embodiment.
  • FIG. 2 is a conceptual diagram of a learning data set stored in the learning image storage unit in the first embodiment.
  • FIG. 3 is a flowchart showing the operation of the image system according to the first embodiment.
  • FIG. 4 is a flowchart illustrating an example of a machine learning method performed by the machine learning unit.
  • FIG. 5 is a block diagram illustrating functions of the image system according to the second embodiment.
  • FIG. 6 is a conceptual diagram of a learning data set stored in the learning image storage unit in the second embodiment.
  • FIG. 7 is a block diagram illustrating functions of the image system according to the third embodiment.
  • FIG. 8 is a conceptual diagram of a learning data set stored in the learning image storage unit in the third embodiment.
  • FIG. 8 is a conceptual diagram of a learning data set stored in the learning image storage unit in the third embodiment.
  • FIG. 9 is a block diagram illustrating functions of the image system according to the fourth embodiment.
  • FIG. 10 is a block diagram illustrating a configuration of an image system according to the seventh embodiment.
  • FIG. 11 is a block diagram illustrating a configuration of an image system according to the eighth embodiment.
  • FIG. 12 is a conceptual diagram illustrating a configuration example of a recognizer.
  • FIG. 13 is a block diagram illustrating functions of the machine learning unit.
  • FIG. 14 is a diagram illustrating an example of an endoscope diagnosis support screen displayed on the display device.
  • FIG. 15 is a conceptual diagram illustrating an example of a collection of learning data stored in the learning image storage unit.
  • FIG. 16 is a block diagram illustrating a configuration example of computer hardware.
  • Image recognition using machine learning is realized by “supervised learning” in which parameters of a recognizer are repeatedly corrected so as to derive the same recognition result as a teacher signal given by a user.
  • the recognizer created by machine learning is f (w, x)
  • the i-th input image is xi
  • the recognition result signal of xi is yi
  • yi f (w, xi)
  • w is a parameter of the recognizer.
  • w and x are vectors.
  • an error Ei (w, xi) between the teacher signal ti given to the i-th input image and the recognition result signal yi is calculated, and the sum is calculated for n images used for learning.
  • E (w) taken.
  • E (w) is a function of w, it is possible to obtain a stable global minimum value by sequentially correcting w by the gradient descent method, etc., and optimize the recognizer. As a result, the recognizer derives a recognition result asymptotic to the teacher signal.
  • An image system automatically collects rare case learning data by assigning a correct correct label to data of a case where an error has occurred in a recognition result using a recognizer.
  • the image system when performing additional learning of the recognizer using collected rare case learning data, compared to (normal) learning data other than the rare case, the rare case learning data. As compared with the degree of contribution from learning data other than the rare case to learning, the degree of contribution to learning from the rare case learning data is increased and learning of the recognizer is performed.
  • the parameters learned in this way are applied to the recognizer of the image recognition unit 14. Thereby, the image recognition part 14 improves the recognition accuracy with respect to a rare case.
  • FIG. 5 is a block diagram illustrating functions of the image system according to the second embodiment.
  • the image system 102 according to the second embodiment illustrated in FIG. 5 includes a contribution degree setting unit 32 and a weight table storage unit 34 in addition to the configuration of the image system 10 according to the first embodiment. Yes.
  • the contribution degree setting unit 32 may be included in the recognition result correction unit 16. Further, the weight table storage unit 34 may be included in the recognition result correction unit 16.
  • the following table 1 shows an example of a weight table in the case where the error weighting coefficient is determined according to the category of the correction result, such as correcting “false negative”, correcting “false positive”, or “no correction”. It is as shown.
  • FIG. 6 is a conceptual diagram of a learning data set stored in the learning image storage unit 20 in the second embodiment.
  • the learning image storage unit 20 stores a collection of learning data in which an input image, correct information, correction information, and weight (error weight coefficient) are associated with each other. .
  • the severity is converted into an error weighting coefficient and used for calculating the loss function.
  • the severity setting unit 36 sets the severity of the lesion based on information input by the user from the input device 18.
  • the conversion table storage unit 38 is a storage unit that stores a conversion table that defines a conversion relationship for converting a severity level into an error weighting coefficient.
  • the conversion table may be a lookup table that specifies the correspondence between the severity and the error weighting coefficient.
  • the seriousness setting unit 36 sets an error weighting coefficient corresponding to the seriousness by referring to the conversion table based on the seriousness inputted by the user.
  • the severity setting unit 36 corresponds to an example of a “contribution degree setting unit”.
  • the conversion table may be understood as an example of a weight table.
  • FIG. 9 is a block diagram illustrating functions of the image system according to the fourth embodiment. 9, elements that are the same as or similar to those in the configuration described in FIG. 7 are given the same reference numerals, and redundant descriptions are omitted. Differences from the third embodiment will be described.
  • An image system 104 according to the fourth embodiment shown in FIG. 9 replaces the severity setting unit 36 and the conversion table storage unit 38 of the image system 102 according to the third embodiment with a rarity setting unit 40 and a conversion table storage unit. 42 is provided.
  • the rarity level setting unit 40 sets the rarity level of the case based on information input by the user from the input device 18.
  • the conversion table storage unit 42 is a storage unit that stores a conversion table that defines a conversion relationship for converting from a rarity to an error weighting coefficient.
  • the conversion table may be a lookup table that specifies the correspondence between the rarity and the error weighting coefficient.
  • the rarity input by the user may be divided into a plurality of levels. For example, ten levels of 1 to 10 may be used as the rarity level input by the user, or three levels of rarity levels “low”, “medium”, and “high” may be used.
  • the rarity is converted into an error weighting coefficient and used for calculating the loss function.
  • the learning image storage unit 20 stores a collection of learning data in which an input image, correct information, correction information, a rarity, and a weight (error weight coefficient) are associated with each other.
  • the number of times used for updating the parameters of the recognizer within one epoch may be used instead of or in combination with the “error weight coefficient” described so far.
  • the number of times the same learning data is used within one epoch corresponds to an example of a numerical value indicating the degree of contribution to the recognition performance (contribution degree).
  • the number of times the learning data is used is an example of “contribution information”.
  • the image system 10 including the image acquisition unit 12, the image recognition unit 14, the recognition result correction unit 16, the learning image storage unit 20, and the machine learning unit 22 has a function of generating and collecting learning data used for rare case learning. And a learning device having a learning function.
  • FIG. 10 is a block diagram showing a configuration of an image system according to the seventh embodiment.
  • the facility in which the image acquisition unit 12, the image recognition unit 14, the recognition result correction unit 16, and the learning image storage unit 20 are installed is referred to as “edge”, and the facility in which the machine learning unit 22 is installed is referred to as “cloud”.
  • Each edge 111 and the cloud 50 are connected by a network.
  • the “network” here is synonymous with a telecommunication line.
  • Data collected by the respective users correcting the recognition results at each edge 111 and accumulated in the learning image storage unit 20 is transmitted to the cloud 50 via the network.
  • learning is performed by the machine learning unit 22 based on the learning data sent, and the parameters of the recognizer are updated.
  • the parameters of the image recognition unit 14 are updated according to the learned parameters provided from the cloud 50.
  • the first learning data set is stored, and the learning image storage unit 20 of each edge 111 stores the recognition result among the images newly acquired via the image acquisition unit 12. Only the processed data may be stored.
  • Each edge 111 shown in FIG. 10 is an example of a recognition device having a function of generating and collecting learning data used for rare case learning.
  • the machine learning unit 22 illustrated in FIG. 10 is an example of a “machine learning device” that performs learning using learning data generated by a recognition device.
  • FIG. 11 is a block diagram showing a configuration of an image system according to the eighth embodiment.
  • the facility where the image acquisition unit 12, the image recognition unit 14, and the recognition result correction unit 16 are installed is referred to as "edge”
  • the facility where the learning image storage unit 20 and the machine learning unit 22 are installed is referred to as “cloud”.
  • edges There may be a plurality of edges. Each edge will be representatively described as “edge 121”.
  • Each edge 121 and the cloud 50 are connected by a network.
  • the network is not shown. Data in which each user corrects the recognition result at each edge 121 is transmitted to the cloud 50 via the network and accumulated in the learning image storage unit 20 of the cloud 50.
  • the machine learning unit 22 performs learning based on the images accumulated in the learning image storage unit 20, and updates the parameters of the recognizer.
  • the cloud 50 distributes the updated parameters to the image recognition unit 14 of each edge 121.
  • the parameters of the image recognition unit are updated according to the parameters distributed from the machine learning unit 22 of the cloud 50.
  • each of the learning image storage unit 20 and the machine learning unit 22 may be installed in different remote facilities, and the learning image storage unit 20 and the machine learning unit 22 may be connected via a network.
  • the neural network 81 constituting the recognizer 80 is a hierarchical neural network including an input layer 82, a plurality of intermediate layers 84, and an output layer 86. Each layer includes a plurality of “nodes”. In FIG. 12, illustration of nodes is omitted. A node belonging to a certain layer is coupled to a node belonging to a layer on the output side from that layer. Each of the connections between nodes of each node is assigned a connection weight. The weight of each connection is determined using machine learning.
  • the neural network 81 of this example is a convolutional neural network that includes a combination of a convolutional layer and a pooling layer in a part of the plurality of intermediate layers 84.
  • the layer structure of the neural network 81 is shown in a simplified manner.
  • the number of intermediate layers 84 constituting the neural network 81, the processing contents of each layer, and the arrangement order of each layer are not particularly limited. Layer structures composed of various combinations can be employed.
  • the convolution layer performs a convolution operation in which a filter is applied to a node in the local region in the previous layer, and acquires a feature map.
  • the convolution layer plays a role of feature extraction for extracting a characteristic grayscale structure represented by the filter from the image.
  • the pooling layer performs a pooling process that aggregates local regions of feature maps output from the convolution layer with representative values.
  • the pooling layer generates a new feature map with reduced resolution by reducing the feature map output from the convolution layer.
  • the pooling layer plays a role of imparting robustness (reducing sensitivity to the position variation) so that the target feature amount extracted by the convolution layer is not affected by the position variation.
  • the neural network 81 may include one or more layers of at least one of a normalization layer and a total connection layer in addition to the convolution layer and the pooling layer.
  • Each layer of the intermediate layer 84 may include an activation function as necessary.
  • the normalization layer performs processing to normalize the shade of the image. For example, the normalization layer performs local contrast normalization on at least one of the output of the convolution layer and the output of the pooling layer.
  • the all coupled layer is a layer in which all nodes between adjacent layers are coupled.
  • the total coupling layer can be placed near the output layer.
  • the fully connected layer combines a feature map from which features have been extracted through a convolution layer and a pooling layer into one node, and outputs a feature variable using an activation function.
  • one or more fully connected layers are arranged between the last pooling layer and the output layer.
  • the output layer 86 performs class classification using, for example, a softmax function based on the output from all the coupling layers.
  • FIG. 13 is a block diagram illustrating functions of the machine learning unit 22.
  • the machine learning unit 22 includes a learning data acquisition unit 140, a learning recognizer 142, an output acquisition unit 144, an error calculation unit 146, a parameter update amount calculation unit 148, a parameter update processing unit 150, and a parameter determination unit. 152 and a learned parameter output unit 154.
  • a display device and an input device may be connected to the machine learning unit 22.
  • the learning data acquisition unit 140 is an interface for acquiring learning data from the learning image storage unit 20.
  • the learning data acquisition unit 140 may be a communication interface connected to a network, for example.
  • the learning input image of the learning data acquired via the learning data acquisition unit 140 is input to the learning recognizer 142.
  • the learning recognizer 142 is a recognizer having the same configuration as the recognizer 80 of the image recognition unit 14.
  • the learning recognizer 142 performs recognition processing using the learning input image as an input signal, and outputs a recognition result signal.
  • the error calculation unit 146 calculates an error between the resonance signal corresponding to the learning input image input to the learning recognizer 142 and the recognition result signal actually obtained from the learning recognizer 142. In the case of using an error weighting coefficient, the error calculation unit 146 calculates a weighted error using the error weighting coefficient set in the learning input image. The error calculated by the error calculation unit 146 is sent to the parameter update amount calculation unit 148.
  • the parameter update amount calculation unit 148 calculates the update amount of the parameter of the neural network of the learning recognizer 142 based on the error (weighted error) calculated by the error calculation unit 146. For example, the parameter update amount calculation unit 148 calculates the parameter update amount in units of mini-batch.
  • the “parameter” here includes a filter coefficient (weight of connection) of a filter used for processing of each layer in the neural network, a node bias, and the like.
  • the parameter update processing unit 150 performs a process of updating the neural network parameters of the learning recognizer 142 according to the update amount calculated by the parameter update amount calculation unit 148.
  • the white arrows shown in the block of the learning recognizer 142 in FIG. 13 indicate the data flow direction during the recognition process, and the broken arrows indicate a feedback flow including a parameter update process based on learning. Indicates direction.
  • FIG. 14 is an example of an endoscopic diagnosis support screen displayed on the display device 17.
  • a window 300 illustrated in FIG. 14 includes an image display area 301 and a recognition result display area 310.
  • an endoscope image 302 photographed using an electronic endoscope is displayed in real time.
  • FIG. 14 shows an example in which a lesion area 303 is included in the image of the endoscopic image 302. Note that a plurality of lesion areas may be included in one image.
  • the recognition result display area 310 for example, information indicating whether the recognition result is “cancerous” or “noncancerous” is displayed.
  • the window 300 includes correction instruction input buttons 321 and 322 as correction tools, a severity input box 323, an OK button 324, and a cancel button 326.
  • the “button” is a GUI (Graphical User Interface) button.
  • the expression “push” for the GUI button includes an operation of inputting a command corresponding to the button, such as clicking or touching.
  • the correction instruction input button 321 is a button for inputting an instruction to correct the non-cancerous recognition result to “cancerous”. When the correction instruction input button 321 is pressed, the display content of the recognition result display area 310 is changed from “non-cancerous” to “cancerous”. The correction instruction input button 321 also serves as a button for designating a “false negative” category.
  • the severity input box 323 is a box for inputting a severity.
  • a drop-down arrow 323A in the severity input box 323 is pressed, a drop-down menu (not shown) is displayed.
  • candidates that can be input in the severity input box 323 are presented. The user can input the severity by selecting a desired candidate from the drop-down menu.
  • the cancel button 326 is a button that is selected when canceling the recognition result correction instruction and the severity input. By pressing the cancel button 326, the user can redo the correction instruction and the severity input.
  • a rarity input box for inputting the rarity of the case may be provided instead of or in combination with the severity input box 323 shown in FIG.
  • FIG. 15 is a conceptual diagram illustrating an example of a collection of learning data stored in the learning image storage unit 20.
  • the learning image storage unit 20 stores the first learning data set used for the first learning and the rare case learning data set generated when the recognition result is corrected.
  • the learning image storage unit 20 preferably has a configuration in which the first learning data set and the rare case learning data set are grouped and managed.
  • the rare case learning data set may be referred to as a “second learning data set”.
  • Each learning data is given a data ID (Identification) as a data identification code, and an input image, a correct answer, whether correction is present, and a weight are associated with each other. Further, although not shown in FIG. 15, “learning degree” and / or “rareness” may be further associated with the rare case learning data.
  • weight is determined by reflecting “correction presence / absence”, it is understood that “weight” indicates the presence / absence of correction. “Presence / absence of correction” may be omitted from the data structure illustrated in FIG. Conversely, since “weight” can be determined according to a specific rule from “presence / absence of correction”, “weight / non-correction” is left and “weight” is omitted from the data structure illustrated in FIG. You can also.
  • each processing unit and control unit The image acquisition unit 12, the image recognition unit 14, the recognition result correction unit 16, the machine learning unit 22, the contribution degree setting unit 32, the severity setting unit 36, and the scarce described in the first to eighth embodiments.
  • the hardware structure of a processing unit (processing unit) that executes various processes such as the degree setting unit 40 is the following various processors.
  • Various processors include a CPU (Central Processing Unit) that is a general-purpose processor that functions as various processing units by executing programs, a GPU (Graphics Processing Unit) that is a processor specialized for image processing, and an FPGA (Field Designed exclusively for executing specific processes such as Programmable Logic Device (PLD) and ASIC (Application Specific Integrated Circuit), which are processors whose circuit configuration can be changed after manufacturing such as Programmable Gate Array A dedicated electric circuit which is a processor having a circuit configuration is included.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA Field Designed exclusively for executing specific processes such as Programmable Logic Device (PLD) and ASIC (Application Specific Integrated Circuit)
  • PLD Programmable Logic Device
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types.
  • one processing unit may be configured by a plurality of FPGAs, a combination of CPU and FPGA, or a combination of CPU and GPU.
  • the plurality of processing units may be configured by one processor.
  • configuring a plurality of processing units with one processor first, as represented by a computer such as a client or a server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
  • the hardware structure of these various processors is more specifically an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • FIG. 16 is a block diagram illustrating an example of a hardware configuration of a computer that can be used as an apparatus that implements part or all of the functions of the image system according to the embodiment of the present invention.
  • the computer includes various types of computers such as a desktop type, a notebook type, and a tablet type. Further, the computer may be a server computer or a microcomputer.
  • the computer 500 includes a CPU 502, a memory 504, a GPU 506, a storage device 508, an input interface unit 510, a communication interface unit 512 for network connection, a display control unit 514, a peripheral device interface unit 516, a bus 518.
  • the notation “IF” represents “interface”.
  • the storage device 508 may be configured using, for example, a hard disk device.
  • the storage device 508 stores various programs and data necessary for image processing such as learning processing and / or recognition processing.
  • the program stored in the storage device 508 is loaded into the memory 504 and executed by the CPU 502, the computer functions as means for performing various processes defined by the program.
  • the storage device 508 can be used as the learning image storage unit 20.
  • the input device 520 is connected to the input interface unit 510.
  • the display device 530 is connected to the display control unit 514.
  • the input device 520 and the display device 530 can function as the input device 18 and the display device 17 described in FIG.
  • a program for causing a computer to realize at least one processing function among the learning data generation function, the recognition function using the recognition model, and the learning function described in the above-described embodiment is an optical disk, a magnetic disk, a semiconductor memory, or other tangible object. It is possible to record the program on a computer readable medium that is a non-transitory information storage medium and provide the program through the information storage medium. Further, instead of providing the program by storing the program in a non-transitory information storage medium that is a tangible object, it is also possible to provide a program signal as a download service using an electric communication line such as the Internet.
  • a service that provides part or all of at least one processing function as an application server among the learning data generation function, the recognition function, and the learning function described in the above-described embodiment, and provides the processing function through the telecommunication line. It is also possible to perform.
  • a collection of learning data including rare case data obtained by the present embodiment can be a useful data set useful for improving the recognition performance of rare cases.
  • the recognition performance of the recognizer can be updated as needed, and diagnostic support useful for doctors and the like can be provided.
  • the image acquired through the image acquisition unit 12 is not limited to a medical image obtained in real time from an electronic endoscope or the like, but may be still image data or moving image data stored in an image storage server (not shown). May be.
  • ⁇ Modification 3 Some or all of the functions of the image system 10 described with reference to FIG. 1 may be mounted on a workstation that supports diagnosis, treatment, diagnosis, or the like, or may be mounted on a work support device that supports medical work. Good.
  • the business support apparatus may have functions for performing accumulation of clinical information, support for creating diagnostic documents, support for creating reports, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

レアケースのデータに対する認識精度を向上させることができるデータ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラムを提供する。本発明の一態様に係るデータ処理装置は、学習データセットを用いて学習させた認識部と、データ取得部を介して取得されたデータに対する認識部の認識結果をユーザからの指示に従って修正する認識結果修正部と、認識結果が修正されたデータを用いて、認識部の学習を行う機械学習部と、を備える。機械学習部は、学習データセットに含まれる学習データからの認識部の学習に対する寄与の度合いに比べて、認識結果が修正されたデータからの学習への寄与の度合いを大きくして、認識部の学習を行う。

Description

データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム
　本発明は、データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラムに係り、機械学習を用いた認識処理技術に関する。
　医療現場において、内視鏡診断、超音波診断、Ｘ線画像診断、ＣＴ（Computerized Tomography）画像診断など医療画像診断の重要性は高い。医療画像診断の自動化には機械学習を活用した画像認識手法が用いられている。特許文献１には、胸部Ｘ線画像などの放射線画像から腫瘍等の異常陰影を認識する放射線画像処理装置が開示されている。特許文献１に記載の放射線画像処理装置は、実装済みのニューラルネットワークによるデータ処理を修正するための再学習を行う構成を備えており、認識結果が不適切である場合は、その画像を用いて再学習を行う。
　特許文献２に記載の医用画像診断装置は、パターン認識機構の各ユニット間のノードの重み係数を変更する学習機構を備えている。特許文献３に記載の学習方法は、複数の特徴抽出器を用意し、それらの特徴抽出器を用いて注目領域と非注目領域から特徴量を算出し、算出された特徴量に重み付けをして、画像分類の学習を行う。「医用画像」は「医療画像」と同義である。
　特許文献４に記載の学習装置は、階層型ニューラルネットワークの重みパラメータを複数用意し、誤差が最も小さくなる重みを採用して学習する。特許文献５に記載の学習装置は、出力層の正解不正解を判定し、不正解の場合は出力層応答関数微分係数正規化べき乗値を算出する。そして、誤差逆伝播の際、出力層応答関数微分係数正規化べき乗値によって補正された応答関数の導関数を用いて学習する。「学習装置」という用語は本明細書でいう「機械学習装置」に対応する用語と理解される。
特開平３－１０２４７７号公報 特開平４－９００７６号公報 特開２０１７－１６２０９８号公報 特開２０１６－６６１７号公報 特開２００５－３３９３２２号公報
　医療分野においては、認識が難しい症例が存在し、その認識困難な対象は多くの場合、症例件数等の少ないレアケースである。一方、機械学習によって病変等を認識する研究が行われており、例えば、病変を「癌性」又は「非癌性」に分類する技術が考えられる。
　しかし、病変がレアケースの場合はサンプル数（データ数）が少なく、機械学習において十分に学習できない可能性がある。
　本発明はこのような事情に鑑みてなされたもので、レアケースのデータに対する認識精度を向上させることができるデータ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラムを提供することを目的とする。
　課題を解決するために、次の発明態様を提供する。
　態様１に係るデータ処理装置は、処理の対象とするデータを取得するデータ取得部と、学習データセットを用いて学習させた認識部であって、データ取得部を介して取得されたデータの入力を受けて、データに対する認識結果を出力する認識部と、認識部の認識結果をユーザからの指示に従って修正する認識結果修正部と、認識結果修正部によって認識結果が修正されたデータを用いて、認識部の学習を行う機械学習部と、を備え、機械学習部は、学習データセットに含まれる学習データからの認識部の学習に対する寄与の度合いに比べて、認識結果が修正されたデータからの学習への寄与の度合いを大きくして、認識部の学習を行うデータ処理装置である。
　認識部の認識結果に対してユーザが修正を加えるデータは、認識部における認識性能が十分でないレアケースのデータである可能性が高い。態様１によれば、ユーザからの指示により認識結果が修正されたデータを用いて、認識部の認識性能を改善する追加の学習が行われる。その際、事前の学習に用いられた学習データセットの学習データに比べて、認識結果が修正されたデータからの寄与の度合いが相対的に大きくなるよう「重み付け」がなされる。これにより、事前の学習だけでは十分な認識精度が得られていないレアケースのデータに対する認識部の認識性能が重点的に改善され、レアケースのデータに対する認識精度が向上する。
　データ処理装置は、単一の装置として構成されてもよいし、複数の装置を組み合わせて構成されてもよい。例えば、データ処理装置は、１台又は複数台のコンピュータを用いて実現し得る。「装置」は「システム」の概念を含む。「データ」は「信号」及び「情報」の概念を含む。「認識」という用語は、識別、判別、推論、推定、検出、及び領域抽出などの概念を含む。
　態様２は、態様１のデータ処理装置において、データ取得部が取得するデータは画像であり、認識部が画像認識のタスクを行う画像認識部である画像処理装置として用いられるデータ処理装置である。
　「画像」という用語は「画像データ」の意味を含む。画像認識のタスクには、例えば、画像分類、特定領域の抽出、セグメンテーション、若しくは、対象物の特徴の抽出、又はこれらの適宜の組み合わせなど、様々なタクスがあり得る。「抽出」という用語は、「検出」の概念を含む。
　態様３は、態様２のデータ処理装置において、画像は医療画像であるデータ処理装置である。態様３のデータ処理装置は、医療画像処理装置として用いられる。
　「医療画像」には、内視鏡画像、ＣＴ画像、Ｘ線画像、超音波診断画像、ＭＲＩ（Magnetic Resonance Imaging）画像、ＰＥＴ(Positron Emission Tomography)画像、ＳＰＥＣＴ(Single Photon Emission Computed Tomography）画像、又は、眼底画像など、様々な種類の画像があり得る。
　態様４は、態様１から態様３のいずれか一態様のデータ処理装置において、認識部及び機械学習部の各々は、畳み込みニューラルネットワークを用いて構成されるデータ処理装置である。
　態様５は、態様１から態様４のいずれか一態様のデータ処理装置において、認識結果修正部によって認識結果が修正されたデータと、データに対応する教師信号とを含む学習データを保存する学習データ保存部を備えるデータ処理装置である。
　「保存する」とは、記憶装置に「記憶する」ことを含意する。態様５によれば、レアケースのデータを収集して、学習データとして蓄積することができる。これにより、レアケースの認識性能の向上に有益な学習データセットを得ることができる。
　態様６は、態様５のデータ処理装置において、学習データ保存部に保存される学習データには、学習に用いる際の寄与の度合いを示す寄与度情報が付与されるデータ処理装置である。
　学習データ保存部は、学習データごとに、その学習データが学習に用いる際の寄与の度合いを示す寄与度情報を関連付けて、寄与度情報と共に学習データを記憶しておくことが好ましい。情報の「関連付け」は「紐付け」とも表現される。
　態様７は、態様５又は態様６のデータ処理装置において、学習データ保存部には、認識部の学習に使用した学習データセットが保存されるデータ処理装置である。
　学習データ保存部には、認識部の学習に使用するすべての学習データの集合体を保存しておくことが好ましい。事前の学習に用いた学習データセットは、レアケースに対する認識性能を高めるための学習の際にも利用され得る。学習データ保存部には、認識結果修正部による修正を経て新たに収集される学習データのみならず、事前の学習に用いた学習データセットも保存しておくことが好ましい。
　態様８は、態様１から態様７のいずれか一態様のデータ処理装置において、機械学習部は、認識部の認識結果を示す認識結果信号と教師信号との誤差を評価して、誤差に基づいて認識部のパラメータを更新するデータ処理装置である。
　態様９は、態様８のデータ処理装置において、寄与の度合いは、誤差に乗じる誤差重み係数で表されるデータ処理装置である。
　誤差重み係数を相対的に大きくすることにより、その学習データからの認識性能への寄与の度合いを大きくすることができる。誤差重み係数は、寄与度情報の一態様である。
　態様１０は、態様１から態様８のいずれか一態様のデータ処理装置において、寄与の度合いは、学習データを学習に使用する回数で表されるデータ処理装置である。
　同じ学習データを学習に使用する回数を相対的に増やすことにより、その学習データからの認識性能への寄与の度合いを大きくすることができる。学習に使用する回数は、寄与度情報の一態様である。
　態様１１は、態様１から態様１０のいずれか一態様のデータ処理装置において、認識結果修正部によって認識結果が修正されたデータについて学習に用いる際の寄与の度合いを設定する寄与度合い設定部を備えるデータ処理装置である。
　寄与の度合いは、認識結果修正部による修正結果に基づいて設定する構成とすることができる。また、寄与の度合いは、ユーザから入力される情報に基づいて設定してもよい。
　態様１２は、態様１１のデータ処理装置において、寄与度合い設定部は、ユーザからの指示に基づく認識結果修正部による修正結果のカテゴリに応じて、寄与の度合いを設定するデータ処理装置である。
　例えば、寄与度合い設定部は、認識結果修正部による修正を行った認識結果が「偽陰性」のカテゴリである場合と、「偽陽性」のカテゴリである場合とで、寄与の度合いを異ならせる設定とする。「偽陽性」の認識結果を修正したデータに比べて、「偽陰性」の認識結果を修正したデータについての「寄与の度合い」を大きくすることが好ましい。
　態様１３は、態様１１のデータ処理装置において、寄与度合い設定部は、ユーザからの入力に応じて寄与の度合いを可変設定するデータ処理装置である。
　態様１３によれば、ユーザがデータの重要性などを判断し、そのユーザの意思を反映して「寄与の度合い」を適切に設定することができる。
　態様１４は、態様１３のデータ処理装置において、認識結果修正部は、認識結果を修正したデータの深刻度及び希少度のうち少なくとも一方を示す情報の入力を受け付け、寄与度合い設定部は、認識結果修正部を介して入力された深刻度及び希少度のうち少なくとも一方に応じて寄与の度合いを段階的に設定するデータ処理装置である。
　態様１５に係る認識装置は、処理の対象とするデータを取得するデータ取得部と、学習データセットを用いて学習させた認識部であって、データ取得部を介して取得されたデータの入力を受けて、データに対する認識結果を出力する認識部と、認識部の認識結果をユーザからの指示に従って修正する認識結果修正部と、を備え、認識結果修正部は、認識結果を修正したデータと、データに対応する教師信号とを含む追加学習用の学習データを生成し、かつ、認識結果を修正したデータに対して、認識結果を修正したことを示す修正情報を生成する。
　態様１５によれば、認識部の認識結果に対してユーザが修正を加えたデータ（すなわち、レアケースのデータ）を、追加学習用の学習データとして効率良く収集することができる。「追加学習」は、事前の学習によって獲得された認識部の認識性能を更新するために、追加的に行われる学習を意味しており、「再学習」の概念を含む。
　態様１６は、態様１５の認識装置において、認識結果修正部は、認識結果を修正したデータを学習に用いる際の認識部の学習に対する寄与の度合いを示す寄与度情報を生成する認識装置である。
　寄与度情報は、例えば、誤差重み係数、又は、学習に使用する回数であってよい。寄与度情報は、修正情報の一態様と理解してもよい。
　態様１７は、態様１５又は態様１６の認識装置において、認識結果修正部によって生成された学習データ及び修正情報を保存する学習データ保存部を含む認識装置である。
　態様１７によれば、認識装置の認識処理とその認識結果に対するユーザからの修正の入力を通じて、レアケースの学習データが学習データ保存部に集積される。これにより、認識部の認識性能の更新に有益な学習データの集合体を得ることができる。
　態様１８に係る学習データ保存装置は、態様１５又は態様１６の認識装置によって生成された学習データ及び修正情報が保存された学習データ保存装置である。
　学習データ保存装置は、認識装置内の学習データ保存部として機能する記憶装置であってもよいし、認識装置の外部に設置される記憶装置であってもよい。学習データ保存装置は、例えば、ネットワークに接続されたデータ保存サーバなどであってもよいし、クラウドストレージであってもよい。
　態様１９は、態様１８の学習データ保存装置において、認識結果を修正したデータと、認識結果を修正したデータに対応する教師信号と、認識結果を修正したデータを学習に用いる際の認識部の学習に対する寄与の度合いを示す寄与度情報と、を含むデータ構造を有する学習データの集合体が記憶されている学習データ保存装置である。
　学習データ保存装置に保存される学習データは、入力用のデータと、これに対応する教師信号及び寄与度情報とが関連付けされたデータ構造を有する。
　態様２０は、態様１９の学習データ保存装置において、データ構造は、さらに、病変の深刻度、及び、症例の希少度のうち少なくとも一方の情報を含む学習データ保存装置である。
　学習データ保存装置に保存される学習データは、入力用のデータと、これに対応する教師信号及び寄与度情報に加え、深刻度及び／又は希少度の情報が関連付けされたデータ構造を有する構成とすることができる。
　態様２１に係る機械学習装置は、態様１５又は態様１６の認識装置によって生成された学習データを用いて、認識モデルのパラメータを生成する機械学習装置であって、機械学習装置は、学習データセットに含まれる学習データからの認識モデルの学習に対する寄与の度合いに比べて、認識結果が修正されたデータからの学習への寄与の度合いを大きくして、認識モデルの学習を行う機械学習装置である。
　「認識モデル」は、機械学習によって一応の認識性能を獲得した学習済みモデルである。認識モデルは、認識処理を行うプログラムモジュールと理解してもよく、認識モデルは、「認識器」、「識別器」、「判別器」又は「検出器」の概念を含む。
　態様２１の機械学習装置は、態様１のデータ処理装置を構成する機械学習部であってもよいし、態様１５から態様１７のうちいずれか一態様の認識装置と通信可能に接続される独立した装置であってもよい。また、態様２１の機械学習装置は、態様１８から態様２０のうちいずれか一態様の学習データ保存装置と通信可能に接続され得る。ここでいう「接続」は、電気通信回線（ネットワーク）を介した接続の概念を含む。「接続」には、有線接続と無線接続の両方の概念が含まれる。
　態様２２に係るデータ処理方法は、処理の対象とするデータを取得するデータ取得ステップと、学習データセットを用いて学習させた認識モデルを用いる認識ステップであって、データ取得ステップにより取得されたデータの入力を受けて、データに対する認識結果を出力する認識ステップと、認識ステップの認識結果をユーザからの指示に従って修正する認識結果修正ステップと、認識結果修正ステップによって認識結果が修正されたデータを用いて、認識モデルの学習を行う機械学習ステップと、を含み、機械学習ステップは、学習データセットに含まれる学習データからの認識モデルの学習に対する寄与の度合いに比べて、認識結果が修正されたデータからの学習への寄与の度合いを大きくして、認識モデルの学習を行うデータ処理方法である。
　態様２２のデータ処理方法において、態様２から態様２１にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、データ処理装置、認識装置、又は学習データ保存装置において特定される処理や動作を担う手段としての処理部や機能部の要素は、これに対応する処理や動作のステップ（工程）の要素として把握することができる。また、態様２２のデータ処理方法は、データ処理装置の作動方法と理解してもよい。
　態様２３に係るプログラムは、コンピュータに、処理の対象とするデータを取得するデータ取得ステップと、学習データセットを用いて学習させた認識モデルを用いる認識ステップであって、データ取得ステップにより取得されたデータの入力を受けて、データに対する認識結果を出力する認識ステップと、認識ステップの認識結果をユーザからの指示に従って修正する認識結果修正ステップと、認識結果修正ステップによって認識結果が修正されたデータを用いて、認識モデルの学習を行う機械学習ステップと、を実行させるプログラムであって、機械学習ステップは、学習データセットに含まれる学習データからの認識モデルの学習に対する寄与の度合いに比べて、認識結果が修正されたデータからの学習への寄与の度合いを大きくして、認識モデルの学習を行うプログラムである。
　態様２３のプログラムにおいて、態様２から態様２１にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、データ処理装置、認識装置、又は学習データ保存装置において特定される処理や動作を担う手段としての処理部や機能部の要素は、これに対応する処理や動作のステップ或いは機能を実現するプログラム要素として把握することができる。
　本発明の他の態様に係るデータ処理装置は、少なくとも１つのプロセッサを含み、プロセッサは、処理の対象とするデータを取得する処理と、学習データセットを用いて学習させた認識モデルを用いる認識処理であって、取得されたデータの入力を受けて、データに対する認識結果を出力する認識処理と、認識処理の認識結果をユーザからの指示に従って修正する処理と、認識結果が修正されたデータを用いて、認識モデルの学習を行う機械学習処理と、行うプロセッサであり、機械学習処理は、学習データセットに含まれる学習データからの認識モデルの学習に対する寄与の度合いに比べて、認識結果が修正されたデータからの学習への寄与の度合いを大きくして、認識モデルの学習を行うデータ処理装置である。
　本発明の他の態様に係る認識装置は、少なくとも１つのプロセッサを含み、プロセッサは、処理の対象とするデータを取得する処理と、学習データセットを用いて学習させた認識モデルを用いる認識処理であって、取得されたデータの入力を受けて、データに対する認識結果を出力する認識処理と、認識処理の認識結果をユーザからの指示に従って修正する処理と、を行うプロセッサであり、プロセッサは、さらに、認識結果を修正したデータと、データに対応する教師信号とを含む追加学習用の学習データを生成し、かつ、認識結果を修正したデータに対して、認識結果を修正したことを示す修正情報を生成する処理を行うデータ処理装置である。
　本発明の他の態様に係る認識装置は、少なくとも１つのプロセッサを含み、プロセッサは、処理の対象とするデータを取得する処理と、学習データセットを用いて学習させた認識モデルを用いる認識処理であって、取得されたデータの入力を受けて、データに対する認識結果を出力する認識処理と、認識処理の認識結果をユーザからの指示に従って修正する処理と、を行うプロセッサであり、プロセッサは、さらに、認識結果を修正したデータと、データに対応する教師信号とを含む追加学習用の学習データを生成し、かつ、認識結果を修正したデータに対して、認識結果を修正したことを示す修正情報を生成する処理を行うデータ処理装置である。
　本発明によれば、認識結果に対するユーザからの修正の指示を基に、レアケースの学習に効果的な学習データを生成することができる。また、生成された学習データについて学習への寄与の度合いを相対的に大きくして追加の学習を実施することにより、レアケースのデータに対する認識精度を向上させることができる。
図１は、第１実施形態に係る画像システムの機能を示すブロック図である。 図２は、第１実施形態における学習画像保存部に保存される学習データセットの概念図である。 図３は、第１実施形態に係る画像システムの動作を示すフローチャートである。 図４は、機械学習部が実施する機械学習方法の一例を示すフローチャートである。 図５は、第２実施形態に係る画像システムの機能を示すブロック図である。 図６は、第２実施形態における学習画像保存部に保存される学習データセットの概念図である。 図７は、第３実施形態に係る画像システムの機能を示すブロック図である。 図８は、第３実施形態における学習画像保存部に保存される学習データセットの概念図である。 図９は、第４実施形態に係る画像システムの機能を示すブロック図である。 図１０は、第７実施形態に係る画像システムの構成を示すブロック図である。 図１１は、第８実施形態に係る画像システムの構成を示すブロック図である。 図１２は、認識器の構成例を示す概念図である。 図１３は、機械学習部の機能を示すブロック図である。 図１４は、表示装置に表示される内視鏡診断支援画面の一例を示す図である。 図１５は、学習画像保存部に保存された学習データの集合体の例を示す概念図である。 図１６は、コンピュータのハードウェアの構成例を示すブロック図である。
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
　《機械学習を用いた画像認識の概要》
　機械学習を用いた画像認識は、ユーザが与えた教師信号と同じ認識結果を導出するよう、認識器のパラメータを繰り返し修正させる、「教師あり学習」によって実現される。
　機械学習によって作成された認識器をf(w,x)とし、ｉ番目の入力画像をxiとし、xiの認識結果信号をyiとすると、
　yi ＝ f(w,xi)
である。ここでwは認識器が持つパラメータである。なお、wとxは、それぞれベクトルである。教師あり学習の場合、ｉ番目の入力画像に対して与えられた教師信号tiと認識結果信号yiとの誤差Ei(w,xi)を計算し、学習に用いるｎ枚の画像に対して和をとったE(w)を定義する。
Figure JPOXMLDOC01-appb-M000001
ここで、Ei(w,xi)の一例としては、次式、
Figure JPOXMLDOC01-appb-M000002
を採用し得る。
　E(w)はwの関数であるため、勾配降下法などにより逐次、wを修正していくことで安定した大域的極小値を求め、認識器を最適化する。これにより、認識器は教師信号に漸近した認識結果を導出するようになる。
　《課題》
　しかし、レアケースのデータをこの認識器に入力した場合、正しい認識がされない可能性がある。なぜなら、レアケースのデータは学習データ中で相対的に数が少なく、学習が不十分な場合が多いからである。認識器において「認識誤り」が発生するケースのデータは、レアケースのデータに相当する。「認識誤り」は「推論誤り」或いは「誤判定」と言い換えてもよい。
　認識器においてレアケースについての認識精度を向上させるためには、学習データ中のレアケースのデータの割合を増やすことが考えられるが、実際にレアケースのデータを大量に収集するのは困難である。「学習データ」は、学習に用いる入力信号と、その入力信号に対応した正解ラベルを示す教師信号とを関連付けた学習用のデータであり、「訓練データ」とも呼ばれる。
　《本発明の実施形態に係る画像システムの概要》
　本発明の実施形態に係る画像システムは、認識器を用いた認識結果に誤りが発生したケースのデータに正しい正解ラベルを付与して、レアケースの学習データとして自動的に収集する。また、本実施形態に係る画像システムは、収集したレアケースの学習データを用いて認識器の追加学習を行う際に、レアケース以外の（通常の）学習データに比べて、レアケースの学習データを相対的に重視し、レアケース以外の学習データからの学習への寄与の度合いに比べて、レアケースの学習データからの学習への寄与の度合いを大きくして、認識器の学習を行う。
　ここでいう「レアケース以外の学習データ」とは、例えば、予め認識器に必要な初期の認識性能を獲得させるために行われる学習に用いた学習データセットに含まれる学習データである。「学習データからの学習への寄与の度合い」とは、認識器に認識性能を獲得させるために行われる学習に対して学習データが寄与する度合いをいう。学習に対して学習データが寄与する度合いは、学習によって認識器が獲得する認識性能に対して、その学習データが寄与する度合いと理解してもよい。学習に対して学習データが寄与する度合いは、学習への寄与度、或いは、認識性能への学習データの寄与度と言い換えてもよく、学習における学習データごとの「重み」と理解してよい。認識性能への学習データの寄与度は、例えば、誤差逆伝播（バックプロパゲーション）における誤差の評価に用いる損失関数に反映される。
　本実施形態に係る画像システムでは、認識器を用いた認識結果に誤りが発生したケースのデータにおける誤差Ei(w,xi)の学習への寄与度が、その他の学習データから得られるEi(w,xi)の学習への寄与度よりも、相対的に大きくなるように重み付けを行う。
　レアケースの学習データについて認識性能への寄与の度合いを相対的に大きくする重み付けを行う具体的な方法の１つとして、誤差Ei(w,xi)に乗じる誤差重み係数aiを用いる形態を採用し得る。
　例えば、ある画像xiの認識結果に誤りが発生し、この誤った認識結果に対してユーザから修正の指示が入力された場合に、画像xiの修正結果に基づいて決定された誤差重み係数をaiとすると、最小化するE(w)は、次式、
Figure JPOXMLDOC01-appb-M000003
で表される。
　レアケース以外の学習データについての誤差重み係数は、標準値（例えば、「1.0」）に設定される。一方、レアケースの学習データについての誤差重み係数は、標準値よりも大きい値（例えば、「2.0」など）に設定される。
　これにより、認識器は、レアケースのデータに対する高い認識性能を獲得する。なぜなら、認識器のパラメータの最適化は、「ai・Ei(w,xi)」で表される重み付き誤差が大きいデータに対して優先的に行われるからである。
　《第１実施形態に係る画像システムの構成》
　図１は、第１実施形態に係る画像システムの機能を示すブロック図である。画像システム１０は、医療画像を扱うデータ処理システムであり、画像取得部１２と、画像認識部１４と、認識結果修正部１６と、学習画像保存部２０と、機械学習部２２と、を備える。また、画像システム１０は、ユーザインターフェースとしての表示装置１７及び入力装置１８を備える。
　本例の画像システム１０は、画像の解析（画像認識）、画像の収集、及び、認識処理のための機械学習などを行う。画像システム１０は、１つのデータ処理装置として構成されてもよいし、複数の装置を組み合わせて構成されてもよい。例えば、画像システム１０は、１台又は複数台のコンピュータを用いて実現することができる。画像システム１０は、「データ処理装置」の一例であり、画像処理装置として機能する。画像システム１０は、医師等による診察、治療、又は診断などを支援する診断支援装置として用いることができる。「診断支援」という用語は、診察支援、及び／又は治療支援の概念を含む。
　画像取得部１２は、処理の対象とする画像を取得するインターフェースである。画像取得部１２は、例えば、図示せぬ電子内視鏡のビデオコネクタが接続されるコネクタ端子であってもよいし、画像処理回路の信号入力端子であってもよい。また、画像取得部１２は、通信ネットワーク端子、外部記憶メディア用のメディアインターフェース端子、若しくは、外部機器の接続用端子、又は、これらの適宜の組み合わせであってもよい。画像取得部１２は「データ取得部」の一例である。画像取得部１２を介して取得される医療画像は「処理の対象とするデータ」の一例である。
　画像取得部１２は、処理の対象とする画像を生成する画像生成装置を含む場合がある。画像生成装置は、例えば、電子内視鏡装置、ＣＴ装置、Ｘ線診断装置、超音波診断装置、ＭＲＩ装置、若しくは、核医学診断装置、若しくは、眼底カメラなどの各種の医療機器（画像検査装置）のうちの１つ又は組み合わせであってよい。
　画像認識部１４は、機械学習によって学習させた認識器を含んでいる。認識器は、機械学習によって認識性能を獲得した学習済みモデルである。認識処理を行う学習済みモデルを「認識モデル」という。認識器は、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いて構成することができる。認識モデルとしての初期の認識性能を獲得するために行われた学習を「第１の学習」という。認識器の第１の学習に用いた学習データセットを「第１の学習データセット」という。第１の学習データセットは、予め用意された学習データセットであってよい。第１の学習は、機械学習部２２を用いて実施されてもよいし、図示せぬ別の機械学習装置を用いて実施されてもよい。なお、第１の学習においては、学習に用いる各学習データからの学習への寄与度は一定（重み付け無し）である。第１の学習は、「重み付け無し学習」と言い換えてもよい。
　画像認識部１４は、画像取得部１２を介して取得された画像の入力を受けて、その画像に対する認識結果を出力する。画像認識部１４は、例えば、画像から特徴量を抽出し、画像の分類、注目領域の検出、セグメンテーション、及び類似度の計算のうち、少なくとも１つの処理を行う。ここでは、簡単な例として、「癌性」（陽性）であるか、「非癌性」（陰性）であるかを判別する２分類の認識タスクを例示する。画像認識部１４の認識結果は、表示装置１７に表示される。画像認識部１４は「認識部」の一例である。
　表示装置１７は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組み合わせであってよい。表示装置１７は、認識結果の他、処理の対象となった画像、及び、処理に必要な各種設定情報などの各種情報を表示し得る。
　入力装置１８は、例えば、操作ボタンやキーボード、マウス、タッチパネル、若しくは、音声入力装置、又はこれらの適宜の組み合わせであってよい。ユーザは、入力装置１８を操作することにより、各種の指示を入力することができる。ユーザは、表示装置１７に表示される認識結果と画像とを検見し、その認識結果が「偽」であると判断された場合、入力装置１８から認識結果を修正する指示を与えることができる。すなわち、ユーザは、画像認識部１４が出力した誤った認識結果を修正する「正解」の情報を入力装置１８から入力することができる。
　認識結果修正部１６は、ユーザからの指示に従って画像認識部１４の認識結果を修正する処理を行う。認識結果修正部１６により修正が行われたデータは、「修正有り」のラベルを付して、学習画像保存部２０に保存される。すなわち、認識結果修正部１６は、画像認識部１４が認識を誤った「誤判定画像」と、ユーザによって与えられた「正解」を示す教師信号を含むデータを学習画像保存部２０に送る。
　学習画像保存部２０は、認識結果修正部１６によって認識結果が修正されたデータである誤判定画像と、この誤判定画像に対応する教師信号とを含む学習データを保存するテータ記憶部である。学習画像保存部２０は、例えば、ハードディスク装置、光ディスク、光磁気ディスク、若しくは半導体メモリ、又はこれらの適宜の組み合わせを用いて構成される記憶装置を含んで構成される。誤判定画像は、レアケースの画像に相当する。
　学習画像保存部２０には、第１の学習データセットも保存されている。第１の学習に用いた画像は「修正無し」のラベルが付され、学習画像保存部２０に格納される。また、学習画像保存部２０は、認識結果修正部１６にて修正を行わなかったデータ、すなわち、画像認識部１４が正しく認識したデータについても、追加の学習データとして保存し得る。画像認識部１４が正しく認識したデータに対し、認識結果修正部１６は、「修正無し」のラベルを付して、学習画像保存部２０に送ることができる。学習画像保存部２０は「学習データ保存部」の一例である。
　機械学習部２２は、画像認識部１４の認識器と同様の学習用の認識器を含んで構成される。機械学習部２２は、学習画像保存部２０に保存されている学習データを用いて、認識器の追加学習を行う。機械学習部２２は、追加学習によって得られた認識器のパラメータを画像認識部１４に供給し、画像認識部１４の認識器のパラメータを更新する。
　機械学習部２２にて追加学習を行い、認識器のパラメータの更新を行う際には、学習データにおける「修正有り」のラベルの有無に従って誤差重み係数aiを変更する。例えば、「修正有り」のラベルが付された学習データの場合の誤差重み係数aiは「2.0」とし、「修正無し」のラベルが付された学習データの場合の誤差重み係数aiは「1.0」とする。
　図２は、学習画像保存部２０に保存される学習データセットの概念図である。図２に示す表において「修正」の項目に「有」のラベルが付されている画像は、認識結果修正部１６にて修正を行ったデータ、つまり誤判定画像である。「修正」の項目に「無」のラベルが付されている画像の一部、又は全部は、第１の学習に用いたデータである。「重み」の項目に示された数値は、誤差重み係数である。
　機械学習部２２は、学習画像保存部２０に保存されている学習データセットを用いて、例えばミニバッチ法に従い、機械学習を行う。
　〈ミニバッチ学習について〉
　ミニバッチは、用意された学習用データ群（学習データセット）の部分集合であり、用意された学習用データ群の全体の中から選ばれた複数の学習サンプルで構成される学習用データ群である。ミニバッチ学習は、ミニバッチに含まれる全ての学習サンプルを用いて各学習サンプルについて出力信号と正解（教師信号）との誤差を評価し、これらの誤差の評価結果を利用して、ミニバッチ単位で認識器のパラメータをまとめて更新する手法である。
　《画像システムによるデータ処理方法》
　図３は、第１実施形態に係る画像システムの動作を示すフローチャートである。ステップＳ１２において、画像取得部１２は、処理の対象とする画像を取得する。ステップＳ１２は「データ取得ステップ」の一例である。
　ステップＳ１４において、画像認識部１４は、入力された画像について認識処理を行い、認識結果を出力する。ステップＳ１４は「認識ステップ」の一例である。
　ステップＳ１６において、表示装置１７は、画像認識部１４の認識結果を表示する。例えば、画像認識部１４が「癌性」又は「非癌性」の２カテゴリに分類する認識タスクを行う場合、表示装置１７には、画像取得部１２を介して取得した画像と共に「癌性」又は「非癌性」を示すテキスト情報が表示される。
　ステップＳ１８において、認識結果修正部１６は、ユーザから修正の指示を受け付ける。ユーザは、表示装置１７に表示される画像と認識結果を確かめて、認識結果が正しいか否かを判断する。認識結果が誤っている場合、ユーザは、入力装置１８を用いて認識結果を修正する指示を入力することができる。その一方で、認識結果が正しい場合、ユーザは、入力装置１８を用いて認識結果を承認する指示を入力することができる。
　ステップＳ２０において、認識結果修正部１６は、ユーザから認識結果に対する修正の指示が入力されたか否かを判定する。入力装置１８から修正の指示が入力された場合には、ステップＳ２０の判定結果が「Ｙｅｓ判定」となる。一方、入力装置１８から認識結果を承認する指示が入力された場合には、ステップＳ２０の判定結果が「Ｎｏ判定」となる。
　ステップＳ２０の判定結果が「Ｙｅｓ判定」である場合、ステップＳ２２に進む。ステップＳ２２において、認識結果修正部１６は、ユーザからの指示に従い認識結果を修正する。ステップＳ２２は、誤判定した画像に対して、正しい教師信号を与えることに相当している。ステップＳ２２は、「認識結果修正ステップ」の一例である。
　ステップＳ２４において、認識結果修正部１６は、認識結果の修正が行われたデータを学習画像保存部２０に保存する。ステップＳ２４の後、図３のフローチャートを終了する。
　一方、ステップＳ２０の判定結果が「Ｎｏ判定」である場合は、ステップＳ２２及びステップＳ２４の処理を省略して、図３のフローチャートを終了する。
　なお、ステップＳ２０の判定結果が「Ｎｏ判定」である場合に、そのデータについても「修正無し」のラベルを付して、学習画像保存部２０に保存してもよい。
　画像システム１０は、図３のフローチャートに示す処理を実行することにより、レアケースのデータを収集することができる。
　なお、図３のフローチャートを用いて説明した手順は、画像の認識処理と画像の収集処理を行う医療画像装置としてのデータ処理装置の作動方法の一例である。
　《機械学習方法の例》
　図４は、機械学習部が実施する機械学習方法の一例を示すフローチャートである。ステップＳ３２において、機械学習部２２は、学習画像保存部２０から学習データを取得する。
　ステップＳ３４において、機械学習部２２の認識器は、取得した学習データの画像を入力信号として認識処理を行い、認識結果を出力する。
　ステップＳ３６において、機械学習部２２は、認識器が出力した認識結果信号と教師信号の誤差を算出する。認識結果信号は、例えば、認識の確からしさを表すスコアである。認識結果信号が示すスコアに基づき「癌性」か「非癌性」の判定がなされる。一例として、認識の確からしさを「０以上１以下」の範囲の数値で表すことにすると、教師信号は、非癌性（陰性）の場合に「０」、癌性（陽性）の場合に「１」となる。
　ステップＳ３８において、機械学習部２２は、ステップＳ３６にて算出した誤差に、誤差重み係数を乗算して誤差の評価を行う。ステップＳ３８にて算出される誤差の評価値を「重み付き誤差」とよぶ。
　ステップＳ４０において、機械学習部２２は、学習に使った画像の枚数が規定枚数に到達したか否かを判定する。規定枚数は、例えば、予め定められたミニバッチの枚数であってよい。ステップＳ４０の判定結果が「Ｎｏ判定」である場合、機械学習部２２はステップＳ３２に戻り、次の学習データを取得する。機械学習部２２は、ミニバッチの単位でステップＳ３２～ステップＳ４０の処理を繰り返す。
　ステップＳ４０の判定結果が「Ｙｅｓ判定」である場合、機械学習部２２はステップＳ４２に進む。ステップＳ４２において、機械学習部２２は、ステップＳ３８にて算出した重み付き誤差の規定枚数分の総和を基に、認識器のパラメータを更新する。
　ステップＳ４４において、機械学習部２２は、学習終了条件を満たすか否かの判定を行う。機械学習部２２は、ステップＳ４４の判定結果が「Ｎｏ判定」の場合、すなわち、学習終了条件を満たさないと判定した場合は、ステップＳ３２に戻り、学習終了条件を満たすまで、ステップＳ３２からステップＳ４４を繰り返す。
　学習終了条件は、誤差の値に基づいて定められていてもよいし、更新回数に基づいて定められていてもよい。誤差の値に基づく方法としては、例えば、誤差が規定の範囲内に収束していることを学習終了条件としてよい。更新回数に基づく方法としては、例えば、更新回数が規定回数に到達したことを学習終了条件としてよい。
　なお、誤差の評価関数として用いる損失関数の重み付けは、更新回数に従って線形に変化させる態様、又は段階的に変化させる態様があり得る。
　ステップＳ４４の判定結果が「Ｙｅｓ判定」の場合、認識器のパラメータを決定して学習の処理を終了する。
　このようにして学習されたパラメータは、画像認識部１４の認識器に適用される。これにより、画像認識部１４は、レアケースに対する認識精度が向上する。
　図４のフローチャートに示すステップＳ３２～Ｓ４４を実行して、認識器の学習を行うプロセスは「機械学習ステップ」の一例である。
　〈フローチャートの変形例〉
　なお、ステップＳ３８の演算は、ステップＳ４０とステップＳ４２の間で実施してもよい。例えば、ミニバッチ単位でまとめて誤差を評価する評価関数の中でステップＳ３８に相当する演算が実施されてもよい。
　《第２実施形態に係る画像システムの概要》
　第１実施形態では、誤差重み係数aiに関して、「修正無し」の場合はai＝1.0、「修正有り」の場合はai＝2.0の２種類を用いる例を示したが、誤差重み係数aiの具体的数値はこの例に限らない。また、誤差重み係数aiは、３種類以上の多段階に設定してもよい。例えば、誤差重み係数aiは、誤判定リスクの重大性、症例の希少度、若しくは、病変の深刻度、又はこれらの組み合わせに応じて、３種類以上の多段階に可変設定してよい。
　医療画像診断の現場においては、認識のカテゴリによって、獲得したい認識能力に偏りが存在する。例えば、陰性の病変を陽性と判定すること（偽陽性）よりも、陽性の病変を陰性と判定してしまうこと（偽陰性）のリスクは大きいため、偽陰性の認識結果がより少なくなる認識能力の獲得が求められる。
　このような要求に対処するため、画像認識部１４での認識結果が「偽陰性」のカテゴリに属するものであった場合、認識結果を修正した際に設定される誤差重み係数をより大きくすることが好ましい。例えば、認識結果の修正がなされたデータの認識結果のカテゴリが「偽陰性」の場合はai＝5.0、「偽陽性」の場合はai＝2.0、「修正無し」の場合はai＝1.0とする。
　図５は、第２実施形態に係る画像システムの機能を示すブロック図である。図５において、図１で説明した構成と同一又は類似する要素には同一の符号を付し、その説明は省略する。第１実施形態との相違点を説明する。図５に示す第２実施形態に係る画像システム１０２は、第１実施形態に係る画像システム１０の構成に追加して、更に、寄与度合い設定部３２と、重みテーブル記憶部３４と、を備えている。なお、寄与度合い設定部３２は、認識結果修正部１６に内包されていてもよい。また、重みテーブル記憶部３４は、認識結果修正部１６に内包されていてもよい。
　寄与度合い設定部３２は、認識結果修正部１６によって認識結果の修正がなされたデータ（誤判定画像）を追加学習に用いる際の寄与の度合いを設定する処理部である。本例の場合「寄与の度合い」は、誤差重み係数で表される。「寄与の度合い」を「寄与度」と表記する場合がある。誤差重み係数は「寄与度情報」の一例である。
　重みテーブル記憶部３４は、認識結果修正部１６による修正結果と誤差重み係数との対応関係を定めた重みテーブルを記憶しておく記憶部である。重みテーブルは、認識結果修正部１６による修正結果を含む修正情報から、適切な誤差重み係数を定めるために参照されるルックアップテーブルであってよい。
　例えば、「偽陰性」を修正、「偽陽性」を修正、又は「修正無し」のように、修正結果のカテゴリに応じて誤差重み係数を定める場合の重みテーブルの一例は、次の表１に示すようなものである。
Figure JPOXMLDOC01-appb-T000004
　寄与度合い設定部３２は、認識結果修正部１６からの修正情報に基づいて、重みテーブルを参照することにより、誤判定画像を学習に用いる際の寄与の度合い示す誤差重み係数を設定する。
　認識結果修正部１６によって認識結果の修正がなされた誤判定画像は、寄与度合い設定部３２によって設定された誤差重み係数及び修正情報と紐付けされて（関連付けされて）、学習画像保存部２０に保存される。
　図６は、第２実施形態における学習画像保存部２０に保存される学習データセットの概念図である。図６に示すように、学習画像保存部２０には、入力用の画像と、正解の情報と、修正情報と、重み（誤差重み係数）とが関連付けされた学習データの集合体が保存される。
　《第３実施形態》
　医療画像診断の現場においては、同じ陽性の病変であっても、その深刻度が異なる。すなわち、深刻度の高い病変の認識精度はより高くする必要がある。
　第３実施形態に係る画像システムは、病変の深刻度に応じて、寄与の度合いを設定する。例えば、画像認識部１４の認識結果が出力されたら、ユーザは出力された認識結果と画像とを検見する。その認識結果が偽であると判断された場合、ユーザは、入力装置１８を用いて修正の指示を入力し、認識結果修正部１６によって正解を与える。認識結果修正部１６は、ユーザからの指示に従い、誤判定画像に対して「修正有り」のラベルを付し、修正を行う。この際、ユーザは、病変の深刻度も入力する。認識結果が修正された画像は、認識結果修正部１６に入力された情報とともに、学習画像保存部２０に保存する。
　ユーザが入力する深刻度は、複数の段階にレベル分けされたものであってよい。ユーザが入力する深刻度は、例えば、１から１０の十段階を用いてもよいし、深刻度「低」、「中」及び「高」の三段階などを用いてもよい。
　機械学習部２２でパラメータの更新を行う際は、深刻度を誤差重み係数に変換し、損失関数の計算に用いる。深刻度が高いほど誤差重み係数が大きくなるように設定する。例えば、「修正有り」の場合はai ＝ (十段階の深刻度)×1.0とする。また、「修正無し」の場合はai ＝1.0とする。
　図７は、第３実施形態に係る画像システムの機能を示すブロック図である。図７において、図１で説明した構成と同一又は類似する要素には同一の符号を付し、その説明は省略する。第１実施形態との相違点を説明する。図７に示す第３実施形態に係る画像システム１０３は、第１実施形態に係る画像システム１０の構成に追加して、更に、深刻度設定部３６と、変換テーブル記憶部３８と、を備えている。なお、深刻度設定部３６は、認識結果修正部１６に内包されていてもよい。また、変換テーブル記憶部３８は、認識結果修正部１６に内包されていてもよい。
　深刻度設定部３６は、入力装置１８からユーザが入力した情報に基づき、病変の深刻度を設定する。
　変換テーブル記憶部３８は、深刻度から誤差重み係数に変換する変換関係を定めた変換テーブルを記憶しておく記憶部である。変換テーブルは、深刻度と誤差重み係数の対応関係を特定したルックアップテーブルであってよい。
　深刻度設定部３６は、ユーザが入力した深刻度に基づいて、変換テーブルを参照することにより、深刻度に応じた誤差重み係数を設定する。深刻度設定部３６は「寄与度合い設定部」の一例に相当する。変換テーブルは、重みテーブルの一例と理解してよい。
　認識結果修正部１６によって認識結果の修正がなされた誤判定画像は、認識結果修正部１６による修正情報と、ユーザから入力された深刻度と、深刻度に対応して設定された誤差重み係数とが紐付けされて、学習画像保存部２０に保存される。
　図８は、第３実施形態における学習画像保存部２０に保存される学習データセットの概念図である。図８には、十段階の深刻度を採用した例が示されている。図８に示すように、学習画像保存部２０には、入力用の画像と、正解の情報と、修正情報と、深刻度と、重み（誤差重み係数）とが関連付けされた学習データの集合体が保存される。
　《第４実施形態》
　第３実施形態で説明した「深刻度」に代えて、症例の「希少度」を用いてもよい。図９は、第４実施形態に係る画像システムの機能を示すブロック図である。図９において、図７で説明した構成と同一又は類似する要素には同一の符号を付し、重複する説明は省略する。第３実施形態との相違点を説明する。図９に示す第４実施形態に係る画像システム１０４は、第３実施形態に係る画像システム１０２の深刻度設定部３６と変換テーブル記憶部３８に代えて、希少度設定部４０と変換テーブル記憶部４２を備えている。
　なお、希少度設定部４０は、認識結果修正部１６に内包されていてもよい。また、変換テーブル記憶部４２は、認識結果修正部１６に内包されていてもよい。
　希少度設定部４０は、入力装置１８からユーザが入力した情報に基づき、症例の希少度を設定する。変換テーブル記憶部４２は、希少度から誤差重み係数に変換する変換関係を定めた変換テーブルを記憶しておく記憶部である。変換テーブルは、希少度と誤差重み係数の対応関係を特定したルックアップテーブルであってよい。
　画像システム１０４では、画像認識部１４の認識結果が出力されたら、ユーザは出力された認識結果と画像とを検見する。その認識結果が偽であると判断された場合、ユーザは、入力装置１８を用いて修正の指示を入力し、認識結果修正部１６によって正解を与える。認識結果修正部１６は、ユーザからの指示に従い、誤判定画像に対して「修正有り」のラベルを付し、修正を行う。この際、ユーザは、症例の希少度も入力する。認識結果が修正された画像は、認識結果修正部１６に入力された情報とともに、学習画像保存部２０に保存する。
　ユーザが入力する希少度は、複数の段階にレベル分けされたものであってよい。ユーザが入力する希少度は、例えば、１から１０の十段階を用いてもよいし、希少度「低」、「中」及び「高」の三段階などを用いてもよい。
　機械学習部２２でパラメータの更新を行う際は、希少度を誤差重み係数に変換し、損失関数の計算に用いる。希少度が高いほど誤差重み係数が大きくなるように設定する。例えば、「修正有り」の場合はai ＝ (十段階の希少度)×1.0とする。また、「修正無し」の場合はai ＝1.0とする。
　学習画像保存部２０には、入力用の画像と、正解の情報と、修正情報と、希少度と、重み（誤差重み係数）とが関連付けされた学習データの集合体が保存される。
　《第５実施形態》
　機械学習によって認識器の認識能力を高めていく場合、基本的には学習用画像として保存されている画像全てを学習に使用する。このように、学習用画像全てを用いて認識器のパラメータ等を更新し、認識精度を高めようとする一連の処理を、「１エポック」という単位で扱う。学習方法が深層学習の場合などは、１エポックで目標の性能が得られることは稀であり、数エポック繰り返すことが多い。この１エポックで行う認識器の更新は、基本的に全ての画像を１度ずつ利用して更新を行う。これは、各データからの認識性能への寄与が平等になるようにするためである。
　本発明の第５実施形態では、認識器の認識結果がユーザによって修正された画像に対しては、１エポック内で認識器の更新に使用する回数を増やすことで、「修正有り」の画像からの認識性能への寄与が大きくなり、「修正有り」の画像に対し、より優先的に認識器が最適化される。
　つまり、これまで説明してきた「誤差重み係数」に代えて、又は、これと組み合わせて、１エポック内で認識器のパラメータの更新に使用する回数を用いてもよい。１エポック内で同じ学習データを使用する回数は、認識性能への寄与の度合い（寄与度）を表す数値の一例に相当する。学習データを使用する回数は「寄与度情報」の一例である。
　誤差重み係数に代えて、１エポック内で同じ学習データを使用する回数によって寄与の度合いを制御する場合には、［数１］に示した評価関数（損失関数）を用いることができる。
　《第６実施形態：画像システムの構築例１》
　第１実施形態から第５実施形態の各実施形態として説明した画像システムの構築例１としては、画像取得部１２、画像認識部１４、認識結果修正部１６、学習画像保存部２０、及び機械学習部２２の全てを、病院等の施設に設置することが考えられる。この場合、例えば、ユーザである医師が、画像認識部１４の認識結果を修正し、その結果を基に、学習画像保存部２０に修正結果とその画像（誤判定画像）が保存される。機械学習部２２は、学習画像保存部２０に保存されている画像を用いて画像認識部１４の認識器の更新を行う。
　画像取得部１２、画像認識部１４、認識結果修正部１６、学習画像保存部２０、及び機械学習部２２を備えた画像システム１０は、レアケースの学習に用いる学習データの生成及び収集を行う機能と、学習機能とを備えた認識装置の一例である。
　《第７実施形態：システムの構築例２》
　本発明の実施形態に係る画像システムの他の構築例２として、画像取得部１２、画像認識部１４、認識結果修正部１６、及び学習画像保存部２０を、病院等の施設に設置し、機械学習部２２を遠隔地の施設に設置することが考えられる。
　図１０は、第７実施形態に係る画像システムの構成を示すブロック図である。ここでは、画像取得部１２、画像認識部１４、認識結果修正部１６及び学習画像保存部２０を設置する施設を「エッジ」と呼び、機械学習部２２を設置する施設を「クラウド」と呼ぶ。
　エッジは、例えば、病院等の医療機関である。エッジは、医療画像診断が行われる施設とする。エッジは複数存在してよい。図１０では、複数のエッジを「エッジ１」、「エッジ２」・・・「エッジｘｘ」と表記した。各エッジを代表して、「エッジ１１１」として説明する。
　各エッジ１１１とクラウド５０は、ネットワークで接続されている。図１０においてネットワークの図示は省略されている。ここでいう「ネットワーク」は、電気通信回線と同義である。各エッジ１１１においてそれぞれのユーザが認識結果を修正して学習画像保存部２０に集積されたデータは、ネットワークを介してクラウド５０に送信される。クラウド５０では、送られて来た学習データをもとに機械学習部２２で学習を行い、認識器のパラメータを更新する。
　クラウド５０は、更新されたパラメータを各エッジ１１１の画像認識部１４に配信する。図１０において、クラウド５０から各エッジ１１１に配信されるパラメータを「学習済みパラメータ」と表記した。
　各エッジ１１１では、クラウド５０から提供された学習済みパラメータに従い、画像認識部１４のパラメータが更新される。
　図１０に示した第７実施形態の場合、各エッジ１１１内の学習画像保存部２０において、第１の学習データセットを保存しておくことは必ずしも必要ない。例えば、クラウド５０において、第１の学習データセットを保存しておき、各エッジ１１１の学習画像保存部２０には、画像取得部１２を介して新たに取得された画像のうち、認識結果が修正されたデータのみを保存するようにしてもよい。
　図１０に示した各エッジ１１１は、レアケースの学習に用いる学習データの生成及び収集を行う機能を備えた認識装置の一例である。また、図１０に示した機械学習部２２は、認識装置によって生成された学習データを用いて学習を行う「機械学習装置」の一例である。
　《第８実施形態：システムの構築例３》
　また、第１実施形態から第５実施形態の各実施形態として説明した画像システムの他の構築例３として、画像取得部１２、画像認識部１４、認識結果修正部１６を、病院等の施設に設置し、学習画像保存部２０と機械学習部２２を遠隔地の施設に設置することが考えられる。
　図１１は、第８実施形態に係る画像システムの構成を示すブロック図である。ここでは、画像取得部１２、画像認識部１４、及び認識結果修正部１６を設置する施設を「エッジ」と呼び、学習画像保存部２０及び機械学習部２２を設置する施設を「クラウド」と呼ぶ。エッジは、複数存在してよい。各エッジを代表して、「エッジ１２１」として説明する。
　各エッジ１２１とクラウド５０は、ネットワークで接続されている。図１１においてネットワークの図示は省略されている。各エッジ１２１においてそれぞれのユーザが認識結果を修正したデータは、ネットワークを介してクラウド５０に送信され、クラウド５０の学習画像保存部２０に集積される。
　クラウド５０では、学習画像保存部２０に集積された画像をもとに機械学習部２２で学習を行い、認識器のパラメータを更新する。クラウド５０は更新されたパラメータを各エッジ１２１の画像認識部１４に配信する。
　各エッジ１２１ではクラウド５０の機械学習部２２から配信されたパラメータに従い、画像認識部のパラメータが更新される。
　なお、学習画像保存部２０と機械学習部２２の各々は異なる遠隔地の施設に設置されていてもよく、学習画像保存部２０と機械学習部２２とがネットワークで接続されていてもよい。
　第８実施形態によれば、複数のエッジ１２１から得られるレアケースのデータが学習画像保存部２０に集積されるため、多数のデータを収集することができ、認識性能の一層の向上が可能である。
　図１１に示した各エッジ１２１は、レアケースの学習に用いる学習データの生成を行う機能を備えた認識装置の一例である。図１１に示した学習画像保存部２０は、認識装置によって生成された学習データを保存する「学習データ保存装置」の一例である。また、図１１に示した機械学習部２２は、認識装置によって生成された学習データを用いて学習を行う「機械学習装置」の一例である。
　《認識器の例》
　図１２は、画像認識部１４に用いられる認識器の構成例を示す概念図である。ここでは、階層型ニューラルネットワークである畳み込みニューラルネットワークを用いた認識器を例示する。ニューラルネットワークとは、脳神経系の仕組みを模擬した情報処理の数理モデルである。ニューラルネットワークを用いた処理は、コンピュータを用いて実現することができる。
　認識器８０を構成するニューラルネットワーク８１は、入力層８２と、複数の中間層８４と、出力層８６と、を含む階層型ニューラルネットワークである。各層は複数の「ノード」を含む。図１２においてノードの図示は省略した。ある層に属するノードは、その層よりも出力側の層に属するノードと結合している。各ノードのノード間の結合の各々には、結合の重みが割り当てられる。それぞれの結合の重みは、機械学習を使用して決定される。
　認識器８０は、少なくとも第１の学習データセットを用いて認識性能が獲得された学習済みのニューラルネットワーク８１を備える。「学習済みのニューラルネットワーク」は「学習済みモデル」と呼ばれる。
　ニューラルネットワーク８１の入力から出力に向けたデータの流れの方向に沿って、入力側を「前」、出力側を「後ろ」と表現する。
　本例のニューラルネットワーク８１は、複数の中間層８４の一部に畳み込み層とプーリング層の組み合わせを含む畳み込みニューラルネットワークである。図１１では、ニューラルネットワーク８１の層構造を簡略化して示しているが、ニューラルネットワーク８１を構成する中間層８４の層数、及び各層の処理内容、並びに各層の配列順序は、特に制限されず、様々な組み合わせからなる層構造が採用され得る。
　畳み込み層は、前の層において局所領域内にあるノードにフィルタを適用した畳み込み演算を行い、特徴マップを取得する。畳み込み層は、フィルタが表す特徴的な濃淡構造を画像から抽出する特徴抽出の役割を担う。
　プーリング層は、畳み込み層から出力された特徴マップの局所領域を代表値で集約するプーリング処理を行う。プーリング層は、畳み込み層から出力された特徴マップを縮小して解像度を低下させた新たな特徴マップを生成する。プーリング層は、畳み込み層によって抽出された対象特徴量が位置変動に対して影響を受けないようにロバスト性を与える（位置変動に対する感度を低下させる）役割を担う。
　ニューラルネットワーク８１は、畳み込み層及びプーリング層の他に、正規化層及び全結合層のうち少なくとも１種の層を１層以上含んでもよい。また、中間層８４の各層は、必要に応じて活性化関数を含んでよい。
　正規化層は、画像の濃淡を正規化する処理を行う。例えば、正規化層は、畳み込み層の出力及びプーリング層の出力の少なくとも一方の出力に対して局所コントラスト正規化の処理を行う。
　全結合層は、隣接層間のノードの全てを結合した層である。全結合層は、出力層付近に配置され得る。例えば、全結合層は、畳み込み層とプーリング層を経て特徴が抽出された特徴マップを１つのノードに結合し、活性化関数を用いて特徴変数を出力する。一般に、畳み込みニューラルネットワークでは、最後のプーリング層から出力層の間に、全結合層が１層以上配置される。
　出力層８６は、例えば、全結合層からの出力を基に、ソフトマックス関数などを用いて、クラス分類を行う。
　画像認識部１４に画像を入力すると、学習済みのニューラルネットワーク８１によって処理が行われ、認識結果が出力される。
　《機械学習部の構成例》
　図１３は、機械学習部２２の機能を示すブロック図である。機械学習部２２は、学習データ取得部１４０と、学習用認識器１４２と、出力取得部１４４と、誤差算出部１４６と、パラメータ更新量算出部１４８と、パラメータ更新処理部１５０と、パラメータ決定部１５２と、学習済みパラメータ出力部１５４と、を含む。機械学習部２２には、図示せぬ表示装置及び入力装置が接続されていてもよい。
　学習データ取得部１４０は、学習画像保存部２０から学習データを取得するインターフェースである。学習データ取得部１４０は、例えば、ネットワークと接続される通信インターフェースであってよい。学習データ取得部１４０を介して取得された学習データの学習用入力画像は、学習用認識器１４２に入力される。
　学習用認識器１４２は、画像認識部１４の認識器８０と同様の構成を備えた認識器である。学習用認識器１４２は、学習用入力画像を入力信号として、認識処理を行い、認識結果信号を出力する。
　出力取得部１４４は、学習用認識器１４２のニューラルネットワークから出力された認識結果信号を取得する。認識結果信号は出力取得部１４４を介して、誤差算出部１４６に入力される。なお、出力取得部１４４は、誤差算出部１４６の入力部であってよい。
　誤差算出部１４６は、学習用認識器１４２に入力された学習用入力画像に対応した共振信号と、実際に、学習用認識器１４２から得られた認識結果信号との誤差を算出する。誤差重み係数を用いる形態の場合、誤差算出部１４６は、学習用入力画像に設定されている誤差重み係数を用いて、重み付き誤差の算出を行う。誤差算出部１４６によって算出された誤差は、パラメータ更新量算出部１４８に送られる。
　パラメータ更新量算出部１４８は、誤差算出部１４６にて算出された誤差（重み付き誤差）を基に、学習用認識器１４２のニューラルネットワークのパラメータの更新量を算出する。パラメータ更新量算出部１４８は、例えば、ミニバッチ単位でパラメータの更新量を算出する。ここでの「パラメータ」は、ニューラルネットワークにおける各層の処理に用いるフィルタのフィルタ係数（結合の重み）やノードのバイアスなどを含む。
　パラメータ更新処理部１５０は、パラメータ更新量算出部１４８によって算出した更新量に従い、学習用認識器１４２のニューラルネットワークのパラメータを更新する処理を行う。
　なお、図１３の学習用認識器１４２のブロック内に示した白抜きの矢印は、認識処理の際のデータの流れ方向を示し、破線の矢印は学習に基づくパラメータの更新処理を含むフィードバックの流れ方向を示す。
　パラメータ決定部１５２は、予め定められた学習終了条件に従って学習を終了させ、学習用認識器のパラメータを決定する。こうして、決定された学習済みパラメータは、学習済みパラメータ出力部１５４を介して、画像認識部１４に送られる。
　学習済みパラメータ出力部１５４は、パラメータ決定部１５２により決定された学習済みパラメータを外部に出力するための出力インターフェースである。学習済みパラメータ出力部１５４は、例えば、通信インターフェースであってもよいし、信号出力端子であってもよい。
　《認識結果の表示及び修正の受け付けを行う表示画面の例》
　図１４は、表示装置１７に表示される内視鏡診断支援画面の一例である。図１４に例示したウインドウ３００は、画像表示エリア３０１と、認識結果表示エリア３１０と、を含む。例えば、画像表示エリア３０１には、電子内視鏡を用いて撮影された内視鏡画像３０２がリアルタイムで表示される。図１４では、内視鏡画像３０２の画像内に、病変領域３０３が含まれている例が示されている。なお、１枚の画像内に複数の病変領域が含まれる場合がある。認識結果表示エリア３１０には、例えば、認識結果として「癌性」であるか、「非癌性」であるかを示す情報が表示される。
　また、ウインドウ３００は、修正ツールとしての修正指示入力ボタン３２１、３２２と、深刻度入力ボックス３２３と、ＯＫボタン３２４と、キャンセルボタン３２６とを含む。「ボタン」は、ＧＵＩ（Graphical User Interface）ボタンである。ＧＵＩボタンについて「押す」という表現には、クリックする、又はタッチするなど、ボタンに対応した指令の入力を行う動作が含まれる。
　修正指示入力ボタン３２１は、非癌性の認識結果を「癌性」に修正する指示を入力するためのボタンである。修正指示入力ボタン３２１が押されると、認識結果表示エリア３１０の表示内容が「非癌性」から「癌性」に変更される。修正指示入力ボタン３２１は、「偽陰性」のカテゴリを指定するボタンとしての役割も担う。
　修正指示入力ボタン３２２は、癌性の認識結果を「非癌性」に修正する指示を入力するためのボタンである。修正指示入力ボタン３２１が押されると、認識結果表示エリア３１０の表示内容が「癌性」から「非癌性」に変更される。修正指示入力ボタン３２２は、「偽陽性」のカテゴリを指定するボタンとしての役割も担う。
　深刻度入力ボックス３２３は、深刻度を入力するためのボックスである。深刻度入力ボックス３２３のドロップダウンアロー（drop-down arrow）３２３Ａを押すと、図示せぬドロップダウンメニューが表示される。ドロップダウンメニューには、深刻度入力ボックス３２３に入力可能な候補が提示される。ユーザは、ドロップダウンメニューの中から所望の候補を選択することにより、深刻度を入力することができる。
　ＯＫボタン３２４は、認識結果表示エリア３１０及び深刻度入力ボックス３２３に表示されている情報内容を承認する指令を入力するボタンである。
　ユーザが認識結果を修正する操作を行った後、ＯＫボタン３２４を押すと、指示された修正の処理が実行され、追加学習用の学習データが生成される。
　キャンセルボタン３２６は、認識結果の修正の指示及び深刻度の入力を取り消す際に選択されるボタンである。ユーザは、キャンセルボタン３２６を押すことによって、修正の指示や深刻度の入力をやり直すことができる。
　なお、図１４に示した深刻度入力ボックス３２３に代えて、又はこれと組み合わせて、症例の希少度を入力するための希少度入力ボックスを設けてもよい。
　《学習画像保存部に保存された学習データの集合体の例》
　図１５は、学習画像保存部２０に保存された学習データの集合体の例を示す概念図である。学習画像保存部２０には、第１の学習に用いた第１の学習データセットと、認識結果の修正に伴って生成されたレアケースの学習データセットとが保存される。学習画像保存部２０において、第１の学習データセットと、レアケースの学習データセットをグループ分けして管理する構成が好ましい。なお、レアケースの学習データセットを、「第２の学習データセット」と呼んでもよい。
　学習データの各々には、データ識別符号としてのデータＩＤ（Identification）が付与されており、入力用の画像と、正解と、修正の有無と、重みとが関連付けされている。また、図１５には示されていないが、レアケースの学習データについて、さらに、「深刻度」及び／又は「希少度」が関連付けされていてもよい。
　なお、「重み」は、「修正の有無」を反映して決定されるため、「重み」が修正の有無を示しているとも理解される。図１５に例示のデータ構造から「修正の有無」を省略することもできる。また、逆に、「修正の有無」から特定の規則にしたがって「重み」を定めることができるため、「修正の有無」を残して、図１５に例示のデータ構造から「重み」を省略することもできる。
　第１の学習データセットについては、すべて「修正無し」かつ「重み」は共通の標準値「1.0」であるため、第１の学習データセットに関して、修正の有無と、重みを省略することもできる。
　学習を行う際には、学習画像保存部２０に保存されているすべての学習データを使用することが好ましい。すなわち、１エポックの単位で、第１の学習データセットとレアケースの学習データセットのすべての学習データを少なくとも１回使用することが好ましい。ミニバッチ内において、第１の学習データセットに属する学習データと、レアケースの学習データセットに属する学習データとを混在させてよい。
　《各処理部及び制御部のハードウェア構成について》
　第１実施形態から第８実施形態の各実施形態で説明した画像取得部１２、画像認識部１４、認識結果修正部１６、機械学習部２２、寄与度合い設定部３２、深刻度設定部３６、希少度設定部４０などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。
　各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　《コンピュータのハードウェア構成の例》
　図１６は、本発明の実施形態に係る画像システムの機能の一部又は全部を実現する装置として用いることができるコンピュータのハードウェア構成の例を示すブロック図である。コンピュータには、デスクトップ型、ノート型、又はタブレット型など、各種形態のコンピュータが含まれる。また、コンピュータは、サーバコンピュータであってもよいし、マイクロコンピュータであってもよい。
　コンピュータ５００は、ＣＰＵ５０２と、メモリ５０４と、ＧＰＵ５０６と、記憶装置５０８と、入力インターフェース部５１０と、ネットワーク接続用の通信インターフェース部５１２と、表示制御部５１４と、周辺機器用インターフェース部５１６と、バス５１８と、を備える。図１６において「ＩＦ」の表記は「インターフェース」を表す。
　記憶装置５０８は、例えば、ハードディスク装置を用いて構成されてよい。記憶装置５０８には、学習処理及び／又は認識処理等の画像処理に必要な各種プログラムやデータ等が記憶されている。記憶装置５０８に記憶されているプログラムがメモリ５０４にロードされ、これをＣＰＵ５０２が実行することにより、コンピュータは、プログラムで規定される各種の処理を行う手段として機能する。記憶装置５０８は、学習画像保存部２０として用いることができる。
　入力装置５２０は入力インターフェース部５１０に接続される。表示装置５３０は表示制御部５１４に接続される。入力装置５２０と表示装置５３０は、図１で説明した入力装置１８と表示装置１７として機能し得る。
　《コンピュータを動作させるプログラムについて》
　上述の実施形態で説明した学習データの生成機能、認識モデルを用いた認識機能、及び学習機能のうち少なくとも１つの処理機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
　また、上述の実施形態で説明した学習データの生成機能、認識機能、及び学習機能のうち少なくとも１つの処理機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。
　《本発明の実施形態による利点》
　上述した本発明の実施形態によれば、次のような作用効果が得られる。
　（１）実際の医療現場で画像認識部１４の認識機能を活用しながら、その認識結果に対してユーザが修正を加えたレアケースのデータを、追加学習用の学習データとして効率良く収集することができる。
　（２）認識結果の修正に伴って生成されたレアケースの学習データの学習への寄与の度合いを相対的に大きくして学習を行うことにより、レアケースの認識精度を重点的に向上させることができる。
　（３）本実施形態によって得られたレアケースのデータを含む学習データの集合体は、レアケースの認識性能の向上に役立つ有益なデータセットとなり得る。
　（４）未知のレアケースのデータが取得された場合に、認識器の認識性能を随時更新することができ、医師等にとって有益な診断支援を行うことができる。
　《変形例１》
　画像取得部１２を介して取得される画像は、電子内視鏡などからリアルタイムで得られる医療画像に限らず、図示せぬ画像保存サーバなどに保存されている静止画、又は動画のデータであってもよい。
　《変形例２》
　上述の実施形態では、医療画像を扱う画像システムを例示したが、本発明は、医療画像に限らず、様々な用途又は画像種類の画像を扱う画像システムに適用することができる。また、本発明は、画像認識に限らず、音声認識、或いは言語認識などの処理を行うシステムについても同様に適用可能である。
　《変形例３》
　図１で説明した画像システム１０の機能の一部又は全部は、診察、治療、診断などの支援を行うワークステーションに搭載されてもよいし、医療業務を支援する業務支援装置に搭載されてもよい。業務支援装置は、臨床情報の蓄積、診断書類の作成支援、レポート作成支援などを行う機能を備えていてよい。
　《実施形態及び変形例等の組み合わせについて》
　上述した各実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
　［その他］
　以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、又は削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で同等関連分野の通常の知識を有する者により、多くの変形が可能である。
１０　画像システム
１２　画像取得部
１４　画像認識部
１６　認識結果修正部
１７　表示装置
１８　入力装置
２０　学習画像保存部
２２　機械学習部
３２　寄与度合い設定部
３４　重みテーブル記憶部
３６　深刻度設定部
３８　変換テーブル記憶部
４０　希少度設定部
４２　変換テーブル記憶部
５０　クラウド
８０　認識器
８１　ニューラルネットワーク
８２　入力層
８４　中間層
８６　出力層
１０２、１０３、１０４　画像システム
１１１、１２１　エッジ
１４０　学習データ取得部
１４２　学習用認識器
１４４　出力取得部
１４６　誤差算出部
１４８　パラメータ更新量算出部
１５０　パラメータ更新処理部
１５２　パラメータ決定部
１５４　パラメータ出力部
３００　ウインドウ
３０１　画像表示エリア
３０２　内視鏡画像
３０３　病変領域
３１０　認識結果表示エリア
３２１、３２２　修正指示入力ボタン
３２３　深刻度入力ボックス
３２３Ａ　ドロップダウンアロー
３２４　ＯＫボタン
３２６　キャンセルボタン
５００　コンピュータ
５０２　ＣＰＵ
５０４　メモリ
５０６　ＧＰＵ
５０８　記憶装置
５１０　入力インターフェース部
５１２　通信インターフェース部
５１４　表示制御部
５１６　周辺機器用インターフェース部
５１８　バス
５２０　入力装置
５３０　表示装置
Ｓ１２～Ｓ２４　認識処理及び学習データ生成処理のステップ
Ｓ３２～Ｓ４４　学習処理のステップ

Claims (24)

  1. 　処理の対象とするデータを取得するデータ取得部と、
    　学習データセットを用いて学習させた認識部であって、前記データ取得部を介して取得された前記データの入力を受けて、前記データに対する認識結果を出力する認識部と、
    　前記認識部の前記認識結果をユーザからの指示に従って修正する認識結果修正部と、
    　前記認識結果修正部によって前記認識結果が修正された前記データを用いて、前記認識部の学習を行う機械学習部と、
    　を備え、
    　前記機械学習部は、前記学習データセットに含まれる学習データからの前記認識部の学習に対する寄与の度合いに比べて、前記認識結果が修正された前記データからの学習への寄与の度合いを大きくして、前記認識部の学習を行うデータ処理装置。
  2. 　前記データ取得部が取得する前記データは画像であり、
    　前記認識部が画像認識のタスクを行う画像認識部である画像処理装置として用いられる請求項１に記載のデータ処理装置。
  3. 　前記画像は医療画像である請求項２に記載のデータ処理装置。
  4. 　前記認識部及び前記機械学習部の各々は、畳み込みニューラルネットワークを用いて構成される請求項１から３のいずれか一項に記載のデータ処理装置。
  5. 　前記認識結果修正部によって前記認識結果が修正された前記データと、前記データに対応する教師信号とを含む学習データを保存する学習データ保存部を備える請求項１から４のいずれか一項に記載のデータ処理装置。
  6. 　前記学習データ保存部に保存される前記学習データには、学習に用いる際の前記寄与の度合いを示す寄与度情報が付与される請求項５に記載のデータ処理装置。
  7. 　前記学習データ保存部には、前記認識部の学習に使用した前記学習データセットが保存される請求項５又は６に記載のデータ処理装置。
  8. 　前記機械学習部は、前記認識部の認識結果を示す認識結果信号と教師信号との誤差を評価して、前記誤差に基づいて前記認識部のパラメータを更新する請求項１から７のいずれか一項に記載のデータ処理装置。
  9. 　前記寄与の度合いは、前記誤差に乗じる誤差重み係数で表される請求項８に記載のデータ処理装置。
  10. 　前記寄与の度合いは、前記学習データを学習に使用する回数で表される請求項１から８のいずれか一項に記載のデータ処理装置。
  11. 　前記認識結果修正部によって前記認識結果が修正された前記データについて学習に用いる際の前記寄与の度合いを設定する寄与度合い設定部を備える請求項１から１０のいずれか一項に記載のデータ処理装置。
  12. 　前記寄与度合い設定部は、前記ユーザからの指示に基づく前記認識結果修正部による修正結果のカテゴリに応じて、前記寄与の度合いを設定する請求項１１に記載のデータ処理装置。
  13. 　前記寄与度合い設定部は、前記ユーザからの入力に応じて前記寄与の度合いを可変設定する請求項１１に記載のデータ処理装置。
  14. 　前記認識結果修正部は、前記認識結果を修正した前記データの深刻度及び希少度のうち少なくとも一方を示す情報の入力を受け付け、
    　前記寄与度合い設定部は、前記認識結果修正部を介して入力された前記深刻度及び前記希少度のうち少なくとも一方に応じて前記寄与の度合いを段階的に設定する請求項１３に記載のデータ処理装置。
  15. 　処理の対象とするデータを取得するデータ取得部と、
    　学習データセットを用いて学習させた認識部であって、前記データ取得部を介して取得された前記データの入力を受けて、前記データに対する認識結果を出力する認識部と、
    　前記認識部の前記認識結果をユーザからの指示に従って修正する認識結果修正部と、
    　を備え、
    　前記認識結果修正部は、前記認識結果を修正した前記データと、前記データに対応する教師信号とを含む追加学習用の学習データを生成し、かつ、前記認識結果を修正した前記データに対して、前記認識結果を修正したことを示す修正情報を生成する認識装置。
  16. 　前記認識結果修正部は、前記認識結果を修正した前記データを学習に用いる際の前記認識部の学習に対する寄与の度合いを示す寄与度情報を生成する請求項１５に記載の認識装置。
  17. 　前記認識結果修正部によって生成された前記学習データ及び前記修正情報を保存する学習データ保存部を含む請求項１５又は１６に記載の認識装置。
  18. 　請求項１５又は１６に記載の認識装置によって生成された前記学習データ及び前記修正情報が保存された学習データ保存装置。
  19. 　前記認識結果を修正した前記データと、
    　前記認識結果を修正した前記データに対応する前記教師信号と、
    　前記認識結果を修正した前記データを学習に用いる際の前記認識部の学習に対する寄与の度合いを示す寄与度情報と、
    　を含むデータ構造を有する前記学習データの集合体が記憶されている請求項１８に記載の学習データ保存装置。
  20. 　前記データ構造は、さらに、病変の深刻度、及び、症例の希少度のうち少なくとも一方の情報を含む請求項１９に記載の学習データ保存装置。
  21. 　請求項１５又は１６に記載の認識装置によって生成された前記学習データを用いて、認識モデルのパラメータを生成する機械学習装置であって、
    　前記機械学習装置は、前記学習データセットに含まれる学習データからの前記認識モデルの学習に対する寄与の度合いに比べて、前記認識結果が修正された前記データからの学習への寄与の度合いを大きくして、前記認識モデルの学習を行う機械学習装置。
  22. 　処理の対象とするデータを取得するデータ取得ステップと、
    　学習データセットを用いて学習させた認識モデルを用いる認識ステップであって、前記データ取得ステップにより取得された前記データの入力を受けて、前記データに対する認識結果を出力する認識ステップと、
    　前記認識ステップの前記認識結果をユーザからの指示に従って修正する認識結果修正ステップと、
    　前記認識結果修正ステップによって前記認識結果が修正された前記データを用いて、前記認識モデルの学習を行う機械学習ステップと、
    　を含み、
    　前記機械学習ステップは、前記学習データセットに含まれる学習データからの前記認識モデルの学習に対する寄与の度合いに比べて、前記認識結果が修正された前記データからの学習への寄与の度合いを大きくして、前記認識モデルの学習を行うデータ処理方法。
  23. 　コンピュータに、
    　処理の対象とするデータを取得するデータ取得ステップと、
    　学習データセットを用いて学習させた認識モデルを用いる認識ステップであって、前記データ取得ステップにより取得された前記データの入力を受けて、前記データに対する認識結果を出力する認識ステップと、
    　前記認識ステップの前記認識結果をユーザからの指示に従って修正する認識結果修正ステップと、
    　前記認識結果修正ステップによって前記認識結果が修正された前記データを用いて、前記認識モデルの学習を行う機械学習ステップと、
    　を実行させるプログラムであって、
    　前記機械学習ステップは、前記学習データセットに含まれる学習データからの前記認識モデルの学習に対する寄与の度合いに比べて、前記認識結果が修正された前記データからの学習への寄与の度合いを大きくして、前記認識モデルの学習を行うプログラム。
  24. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    　処理の対象とするデータを取得するデータ取得ステップと、
    　学習データセットを用いて学習させた認識モデルを用いる認識ステップであって、前記データ取得ステップにより取得された前記データの入力を受けて、前記データに対する認識結果を出力する認識ステップと、
    　前記認識ステップの前記認識結果をユーザからの指示に従って修正する認識結果修正ステップと、
    　前記認識結果修正ステップによって前記認識結果が修正された前記データを用いて、前記認識モデルの学習を行う機械学習ステップと、
    　をコンピュータに実行させ、
    　前記機械学習ステップは、前記学習データセットに含まれる学習データからの前記認識モデルの学習に対する寄与の度合いに比べて、前記認識結果が修正された前記データからの学習への寄与の度合いを大きくして、前記認識モデルの学習を行う、
    　記録媒体。
PCT/JP2018/046747 2018-01-30 2018-12-19 データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム WO2019150813A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019568932A JP6976360B2 (ja) 2018-01-30 2018-12-19 データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム
US16/927,987 US11288550B2 (en) 2018-01-30 2020-07-13 Data processing apparatus and method, recognition apparatus, learning data storage apparatus, machine learning apparatus, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-013764 2018-01-30
JP2018013764 2018-01-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/927,987 Continuation US11288550B2 (en) 2018-01-30 2020-07-13 Data processing apparatus and method, recognition apparatus, learning data storage apparatus, machine learning apparatus, and program

Publications (1)

Publication Number Publication Date
WO2019150813A1 true WO2019150813A1 (ja) 2019-08-08

Family

ID=67479721

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/046747 WO2019150813A1 (ja) 2018-01-30 2018-12-19 データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム

Country Status (3)

Country Link
US (1) US11288550B2 (ja)
JP (1) JP6976360B2 (ja)
WO (1) WO2019150813A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020166303A1 (ja) * 2019-02-15 2020-08-20 オムロン株式会社 モデル生成装置、方法及びプログラム並びに予測装置
WO2021039339A1 (ja) * 2019-08-30 2021-03-04 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP6854995B1 (ja) * 2020-08-11 2021-04-07 三菱電機株式会社 学習システム、学習方法及びプログラム
WO2021095509A1 (ja) * 2019-11-14 2021-05-20 オムロン株式会社 推定システム、推定装置および推定方法
US20210158105A1 (en) * 2018-08-14 2021-05-27 Canon Kabushiki Kaisha Medical information processing apparatus, medical information processing method, and non-transitory computer-readable storage medium
JP2022512065A (ja) * 2019-11-11 2022-02-02 シェンチェン センスタイム テクノロジー カンパニー リミテッド 画像分類モデルの訓練方法、画像処理方法及び装置
JP2022109664A (ja) * 2021-01-15 2022-07-28 沖電気工業株式会社 情報処理装置、情報処理方法およびプログラム
JP2022550094A (ja) * 2019-09-26 2022-11-30 ルニット・インコーポレイテッド 人工知能モデルを使用機関に特化させる学習方法、これを行う装置
WO2023013024A1 (ja) * 2021-08-06 2023-02-09 富士通株式会社 評価プログラム、評価方法及び精度評価装置
WO2023127555A1 (ja) * 2021-12-28 2023-07-06 川崎重工業株式会社 教師データ生成装置および教師データ生成プログラム
WO2023145089A1 (ja) * 2022-01-31 2023-08-03 株式会社Abeja 人工知能システム及び人工知能の動作方法を実施するコンピュータシステム、並びにコンピュータプログラム記録媒体
JP7357551B2 (ja) 2020-01-17 2023-10-06 株式会社日立ソリューションズ・クリエイト 画像判定システム
US12008506B1 (en) 2022-05-25 2024-06-11 Wm Intellectual Property Holdings, L.L.C. System and method for customer and/or container discovery based on GPS drive path and parcel data analysis for a waste / recycling service vehicle

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6994582B2 (ja) * 2018-09-13 2022-01-14 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
KR102200809B1 (ko) * 2019-04-01 2021-01-12 주식회사 엘렉시 학습기반 데이터 처리 시스템 및 모델 갱신 방법
CN112541447A (zh) * 2020-12-18 2021-03-23 深圳地平线机器人科技有限公司 机器模型的更新方法、装置、介质及设备
FR3124880A1 (fr) * 2021-07-01 2023-01-06 Artéka Dispositif portable d’analyse d’un flux vidéo
WO2024008388A1 (en) * 2022-07-06 2024-01-11 Koninklijke Philips N.V. Federated learning with hard examples
CN117912698B (zh) * 2024-03-18 2024-05-17 简阳市人民医院 一种针对扁桃体术后患者的健康监控方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002345862A (ja) * 2001-05-22 2002-12-03 Hokkaido Technology Licence Office Co Ltd 個人適応型生体信号被動機器制御システム及びその制御方法
JP2005049968A (ja) * 2003-07-30 2005-02-24 Seiko Epson Corp 画像管理装置
JP2015230570A (ja) * 2014-06-04 2015-12-21 日本電信電話株式会社 学習モデル作成装置、判定システムおよび学習モデル作成方法
JP5953384B1 (ja) * 2015-02-04 2016-07-20 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5953384B2 (ja) 1981-07-21 1984-12-25 衣子 山下 手編物の立体花モチ−フ編上げ方法
JPH03102477A (ja) 1989-06-26 1991-04-26 Fuji Photo Film Co Ltd 放射線画像処理装置
JPH0490076A (ja) 1990-08-03 1992-03-24 Hitachi Ltd 医用画像特徴抽出方法
US7301572B2 (en) * 2002-03-08 2007-11-27 Canon Kabushiki Kaisha Pixel correction processing apparatus, image processing apparatus, pixel correction processing method, program, and storage medium
JP4586420B2 (ja) 2004-05-28 2010-11-24 Ｋｄｄｉ株式会社 多層ニューラルネットワーク学習装置及びソフトウェア
JP6195542B2 (ja) 2014-06-20 2017-09-13 ヤフー株式会社 学習装置、学習方法及び学習プログラム
JP6494416B2 (ja) * 2015-05-19 2019-04-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP6623851B2 (ja) 2016-03-08 2019-12-25 富士通株式会社 学習方法、情報処理装置および学習プログラム
EP3430576A1 (en) * 2016-03-15 2019-01-23 IMRA Europe S.A.S. Method for classification of unique/rare cases by reinforcement learning in neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002345862A (ja) * 2001-05-22 2002-12-03 Hokkaido Technology Licence Office Co Ltd 個人適応型生体信号被動機器制御システム及びその制御方法
JP2005049968A (ja) * 2003-07-30 2005-02-24 Seiko Epson Corp 画像管理装置
JP2015230570A (ja) * 2014-06-04 2015-12-21 日本電信電話株式会社 学習モデル作成装置、判定システムおよび学習モデル作成方法
JP5953384B1 (ja) * 2015-02-04 2016-07-20 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NARUKAWA, HIROKI ET AL.: "Improvement of the extraction of the interaction between supervised drugs using knowledgebase", PROCEEDINGS OF THE 20TH ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING, 10 March 2014 (2014-03-10), pages 995 - 998, Retrieved from the Internet <URL:http://www.anlp.jp/proceedings/annual_meeting/2014/pdf_dir/C6-3.pdf> [retrieved on 20190208] *
NIMURA, YUKITAKA ET AL.: "study on quantifying emphysema severity by using multi-class classifier based on combining CT image and spirometric measurements", IEICE TECHNICAL REPORT, vol. 110, no. 121, 2 July 2010 (2010-07-02), pages 57 - 62 *
NOSATO, HIROKAZU ET AL.: "Objective evaluation method for optical colonoscopy based on image recognition", IPSJ SIG TECHNICAL REPORTS, 15 February 2013 (2013-02-15), pages 1 - 6 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210158105A1 (en) * 2018-08-14 2021-05-27 Canon Kabushiki Kaisha Medical information processing apparatus, medical information processing method, and non-transitory computer-readable storage medium
US11914918B2 (en) * 2018-08-14 2024-02-27 Canon Kabushiki Kaisha Medical information processing apparatus, medical information processing method, and non-transitory computer-readable storage medium
JP7162550B2 (ja) 2019-02-15 2022-10-28 オムロン株式会社 モデル生成装置、予測装置、モデル生成方法、及びモデル生成プログラム
JP2020135243A (ja) * 2019-02-15 2020-08-31 オムロン株式会社 モデル生成装置、予測装置、モデル生成方法、及びモデル生成プログラム
WO2020166303A1 (ja) * 2019-02-15 2020-08-20 オムロン株式会社 モデル生成装置、方法及びプログラム並びに予測装置
WO2021039339A1 (ja) * 2019-08-30 2021-03-04 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP7406758B2 (ja) 2019-09-26 2023-12-28 ルニット・インコーポレイテッド 人工知能モデルを使用機関に特化させる学習方法、これを行う装置
JP2022550094A (ja) * 2019-09-26 2022-11-30 ルニット・インコーポレイテッド 人工知能モデルを使用機関に特化させる学習方法、これを行う装置
JP7266674B2 (ja) 2019-11-11 2023-04-28 シェンチェン センスタイム テクノロジー カンパニー リミテッド 画像分類モデルの訓練方法、画像処理方法及び装置
JP2022512065A (ja) * 2019-11-11 2022-02-02 シェンチェン センスタイム テクノロジー カンパニー リミテッド 画像分類モデルの訓練方法、画像処理方法及び装置
WO2021095509A1 (ja) * 2019-11-14 2021-05-20 オムロン株式会社 推定システム、推定装置および推定方法
JP7472471B2 (ja) 2019-11-14 2024-04-23 オムロン株式会社 推定システム、推定装置および推定方法
JP7357551B2 (ja) 2020-01-17 2023-10-06 株式会社日立ソリューションズ・クリエイト 画像判定システム
WO2022034633A1 (ja) * 2020-08-11 2022-02-17 三菱電機株式会社 学習システム、学習方法及びプログラム
JP6854995B1 (ja) * 2020-08-11 2021-04-07 三菱電機株式会社 学習システム、学習方法及びプログラム
JP7143906B2 (ja) 2021-01-15 2022-09-29 沖電気工業株式会社 情報処理装置、情報処理方法およびプログラム
JP2022109664A (ja) * 2021-01-15 2022-07-28 沖電気工業株式会社 情報処理装置、情報処理方法およびプログラム
WO2023013024A1 (ja) * 2021-08-06 2023-02-09 富士通株式会社 評価プログラム、評価方法及び精度評価装置
WO2023127555A1 (ja) * 2021-12-28 2023-07-06 川崎重工業株式会社 教師データ生成装置および教師データ生成プログラム
WO2023145089A1 (ja) * 2022-01-31 2023-08-03 株式会社Abeja 人工知能システム及び人工知能の動作方法を実施するコンピュータシステム、並びにコンピュータプログラム記録媒体
US12008506B1 (en) 2022-05-25 2024-06-11 Wm Intellectual Property Holdings, L.L.C. System and method for customer and/or container discovery based on GPS drive path and parcel data analysis for a waste / recycling service vehicle

Also Published As

Publication number Publication date
US20200342267A1 (en) 2020-10-29
US11288550B2 (en) 2022-03-29
JP6976360B2 (ja) 2021-12-08
JPWO2019150813A1 (ja) 2021-01-28

Similar Documents

Publication Publication Date Title
WO2019150813A1 (ja) データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム
Chan et al. Computer‐aided diagnosis in the era of deep learning
Narin et al. Automatic detection of coronavirus disease (covid-19) using x-ray images and deep convolutional neural networks
JP7309605B2 (ja) ディープラーニング医療システムおよび画像収集のための方法
US10496884B1 (en) Transformation of textbook information
JP7051849B2 (ja) ディープラーニング医療システムおよび医療処置のための方法
US10347010B2 (en) Anomaly detection in volumetric images using sequential convolutional and recurrent neural networks
US10691980B1 (en) Multi-task learning for chest X-ray abnormality classification
US10853449B1 (en) Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis
US10692602B1 (en) Structuring free text medical reports with forced taxonomies
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
Gao et al. Chest X-ray image analysis and classification for COVID-19 pneumonia detection using Deep CNN
Thian et al. Deep learning systems for pneumothorax detection on chest radiographs: a multicenter external validation study
US11996198B2 (en) Determination of a growth rate of an object in 3D data sets using deep learning
Ullah et al. Explainable artificial intelligence approach in combating real-time surveillance of COVID19 pandemic from CT scan and X-ray images using ensemble model
CN115719328A (zh) 用于量化医学图像评估的不确定性的方法、系统和装置
Wali et al. StynMedGAN: Medical images augmentation using a new GAN model for improved diagnosis of diseases
WO2019208130A1 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
Chaisangmongkon et al. External validation of deep learning algorithms for cardiothoracic ratio measurement
WO2020099941A1 (en) Application of deep learning for medical imaging evaluation
JP7478518B2 (ja) 読影支援装置および読影支援方法
CN113808181A (zh) 医学图像的处理方法、电子设备和存储介质
Mahapatra et al. Deploying Deep Transfer Learning Models to a Web-App for Sars-Cov-2 Detection Using Chest Radiography Images
Ma et al. COVID‐19 lung infection segmentation from chest CT images based on CAPA‐ResUNet
Ogungbe et al. Design and Implementation of Diagnosis System for Cardiomegaly from Clinical Chest X-ray Reports

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18903408

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019568932

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18903408

Country of ref document: EP

Kind code of ref document: A1