WO2022186110A1 - 機械学習システム、認識器、学習方法、及びプログラム - Google Patents

機械学習システム、認識器、学習方法、及びプログラム Download PDF

Info

Publication number
WO2022186110A1
WO2022186110A1 PCT/JP2022/008167 JP2022008167W WO2022186110A1 WO 2022186110 A1 WO2022186110 A1 WO 2022186110A1 JP 2022008167 W JP2022008167 W JP 2022008167W WO 2022186110 A1 WO2022186110 A1 WO 2022186110A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
graphic
learning
synthesized
machine learning
Prior art date
Application number
PCT/JP2022/008167
Other languages
English (en)
French (fr)
Inventor
正明 大酒
稔宏 臼田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023503803A priority Critical patent/JPWO2022186110A1/ja
Publication of WO2022186110A1 publication Critical patent/WO2022186110A1/ja
Priority to US18/457,374 priority patent/US20230410482A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to a machine learning system, recognizer, learning method, and program, and more particularly to a machine learning system, recognizer, learning method, and program for medical images on which graphics are superimposed.
  • Non-Patent Document 1 In recent years, machine learning using deep learning has enabled highly accurate automatic recognition (Non-Patent Document 1). This technology is also applied to ultrasonic diagnostic equipment, and various information can be recognized from ultrasonic images using a recognizer trained by deep learning, and can be presented to the user.
  • supervised learning In deep learning, supervised learning is known, in which learning is performed using learning data and correct data that indicates the correct answer of the learning data.
  • Patent Document 1 describes a learning data generation system that generates learning data used for machine learning.
  • a medical image for example, an ultrasound image
  • machine learning is performed by a recognizer using correct data having information indicating the position and type of an organ, and a recognizer that has performed machine learning is used as a recognizer. It is considered to present the position and type of the organ to the user.
  • Medical images are often displayed in such a way that a figure specified by the user is superimposed on the obtained medical image.
  • the figure specified by the user is, for example, a rectangle enclosing the position of the organ in the medical image, an arrow indicating the region of interest, a circle, a triangle, or a line indicating the length of the organ in the medical image. be.
  • a recognizer If a recognizer is subjected to machine learning using such medical images synthesized by superimposing figures as learning data, the recognizer learns by recognizing the figure as a feature. may not be recognized. In addition, if the recognizer is machine-learned using medical images with no synthesized figures as training data, the medical images with synthesized figures will not be learned because the medical images with synthesized figures are not trained. It may not be recognized properly.
  • Patent Document 1 does not mention using the synthesized image as learning data for a recognizer that recognizes the attention area and type of the image.
  • the present invention has been made in view of such circumstances, and its purpose is to provide a machine learning system, learning method, and program that can easily learn a large number of synthesized medical images.
  • a machine learning system which is one aspect of the present invention for achieving the above object, includes an image database storing a plurality of medical images, a graphic database storing graphics to be superimposed on the medical images, a processor, A machine learning system comprising a learning model, wherein the processor performs a selection reception process for accepting a selection of a medical image stored in an image database and a selection of a figure stored in a figure database, and a selected medical image. Then, a figure synthesis process of synthesizing figures to generate a synthesized image, and a learning process of making a learning model perform learning using the synthesized image are performed.
  • a medical image stored in the image database and a graphic stored in the graphic database are selected, and a composite image is generated from the medical image and the graphic.
  • the learning model is trained using the synthesized image, a large amount of synthesized medical images can be learned more efficiently and easily.
  • the medical image received in the selection receiving process is used at least twice, the first time is the medical image that has not been subjected to the graphic synthesis process, and the second time is the medical image that has been subjected to the graphic synthesis process.
  • the learning model since the learning model is trained using the medical image on which the graphic synthesis processing has not been performed and the synthesized image on which the graphic synthesis processing has been performed, the learning model can be learned more efficiently.
  • the processor performs a size reception process for receiving the size of the figure to be synthesized in the figure synthesis process, and in the figure synthesis process, the figure is synthesized with the medical image based on the size accepted in the size reception process.
  • the graphic database stores at least one of the maximum and minimum sizes of the graphic and area information that can be combined with the medical image in association with the graphic.
  • the image database stores information about the region of interest in association with the medical image, and in the figure synthesizing process, the information about the region of interest is used to perform synthesis so that at least part of the figure overlaps the region of interest. .
  • the figure is synthesized so as to be superimposed on the attention area, it is possible to appropriately learn to distinguish between the figure and the attention area, and to allow the learning model to efficiently recognize the attention area. .
  • the image database stores information about the region of interest in association with the medical image, and in the figure synthesizing process, the information about the region of interest is used to synthesize the figure outside the region of interest.
  • the distinction between the figure and the attention area can be appropriately learned, and the learning model can efficiently recognize the attention area (and type). can be done.
  • multiple synthetic images are generated by changing the position and size of the selected figure, and in the learning process, the learning model is trained using the multiple synthetic images.
  • composite images can be generated more efficiently and easily.
  • the medical image is an image obtained from an ultrasound diagnostic device.
  • a recognizer which is another aspect of the present invention, is trained by the machine learning system described above and recognizes a region of interest from a medical image to which a figure is added.
  • a learning method which is another aspect of the present invention, is a machine learning system comprising an image database storing a plurality of medical images, a graphics database storing graphics to be superimposed on the medical images, a processor, and a learning model.
  • the processor performs a selection receiving step of receiving a selection of a medical image stored in an image database and a selection of a figure stored in a figure database;
  • a figure synthesizing process of synthesizing and generating a synthetic image, and a learning process of making a learning model perform learning using the synthetic image are performed.
  • a program according to another aspect of the present invention provides a machine learning system comprising an image database storing a plurality of medical images, a graphics database storing graphics to be superimposed on the medical images, a processor, and a learning model.
  • a program for executing the learning method used comprising: a selection receiving step of receiving a selection of a medical image stored in an image database and a selection of a figure stored in a figure database; and a selected medical image. and a figure synthesizing step of synthesizing figures to generate a synthesized image, and a learning step of causing a learning model to perform learning using the synthesized image.
  • a medical image stored in an image database and a graphic stored in a graphic database are selected, a composite image is generated from the medical image and the graphic, and a learning model is generated using the composite image. Since the learning is performed at the same time, it is possible to learn a large number of synthesized medical images more efficiently and easily.
  • FIG. 1 is a block diagram showing an example of the configuration of a machine learning system.
  • FIG. 2 is a block diagram showing main functions implemented by a processor in a machine learning system.
  • FIG. 3 is a diagram for explaining a specific data flow of the machine learning system.
  • FIG. 4 is a diagram showing an example of an ultrasound image.
  • FIG. 5 is a diagram showing a specific example of the storage configuration of the image database.
  • FIG. 6 is a diagram showing a specific example of the storage configuration of the graphics database.
  • FIG. 7 is a diagram showing an example of a synthesized image synthesized by the figure synthesizing unit.
  • FIG. 8 is a diagram showing an example of a synthesized image synthesized by the figure synthesizing unit.
  • FIG. 1 is a block diagram showing an example of the configuration of a machine learning system.
  • FIG. 2 is a block diagram showing main functions implemented by a processor in a machine learning system.
  • FIG. 3 is a diagram for explaining a
  • FIG. 9 is a diagram showing an example of a synthesized image synthesized by the figure synthesizing unit.
  • FIG. 10 is a diagram showing an example of a synthesized image synthesized by the graphic synthesizing unit.
  • FIG. 11 is a functional block diagram showing main functions of the learning section and the learning model.
  • FIG. 12 is a flow diagram illustrating a learning method performed using a machine learning system.
  • FIG. 13 is a diagram illustrating a specific data flow of the machine learning system 10 of this embodiment.
  • FIG. 14 is a functional block diagram showing main functions of the learning section and the learning model.
  • FIG. 15 is a flow diagram illustrating a learning method performed using a machine learning system.
  • FIG. 16 is a diagram conceptually explaining an example of learning data.
  • FIG. 17 is a schematic diagram showing the overall configuration of an ultrasonic endoscope system.
  • FIG. 18 is a block diagram illustrating an embodiment of an ultrasound processor.
  • FIG. 1 is a block diagram showing an example of the configuration of the machine learning system of this embodiment.
  • the machine learning system 10 is configured by a personal computer or workstation.
  • the machine learning system 10 includes a communication unit 12, an image database (described as image DB in the figure) 14, a graphic database (described as graphic DB in the figure) 16, an operation unit 20, a processor 22, a RAM (random access memory) 24, and a ROM. (Read Only Memory) 26 , display unit 28 , and learning model 30 .
  • Each unit is connected via a bus 32 .
  • an example of being connected to the bus 32 has been described, but the example of the machine learning system 10 is not limited to this.
  • part or all of the machine learning system 10 may be connected via a network.
  • the network includes various communication networks such as LAN (Local Area Network), WAN (Wide Area Network), and the Internet.
  • LAN Local Area Network
  • WAN Wide Area Network
  • the Internet the machine learning system 10 will be described in this example, the present invention is also applicable to machine learning devices.
  • the communication unit 12 is an interface that performs wired or wireless communication processing with an external device and exchanges information with the external device.
  • the ROM 26 permanently holds programs such as the computer's boot program and BIOS (Basic Input/Output System), data, and so on.
  • BIOS Basic Input/Output System
  • the RAM 24 temporarily holds programs, data, and the like loaded from the ROM 26 and a separately connected storage device, and has a work area used by the processor 22 to perform various processes.
  • the operation unit 20 is an input interface that receives various operational inputs to the machine learning system 10 .
  • the operating unit 20 uses a keyboard, mouse, or the like that is wired or wirelessly connected to the computer.
  • the processor 22 is composed of a CPU (Central Processing Unit). Various programs stored in the ROM 26 or a hard disk device (not shown) are read, and various processes are executed. RAM 24 is used as a work area for processor 22 . Also, the RAM 24 is used as a storage unit that temporarily stores the read programs and various data. The machine learning system 10 may configure the processor 22 with a GPU (Graphics Processing Unit).
  • CPU Central Processing Unit
  • ROM 26 Various programs stored in the ROM 26 or a hard disk device (not shown) are read, and various processes are executed.
  • RAM 24 is used as a work area for processor 22 . Also, the RAM 24 is used as a storage unit that temporarily stores the read programs and various data.
  • the machine learning system 10 may configure the processor 22 with a GPU (Graphics Processing Unit).
  • the display unit 28 is an output interface that displays necessary information for the machine learning system 10 .
  • Various monitors such as a liquid crystal monitor connectable to a computer are used for the display unit 28 .
  • the image database 14 is a database in which multiple medical images are stored.
  • a medical image is, for example, an ultrasound image acquired by an ultrasound endoscope system described below.
  • the figure database 16 is a database in which a plurality of types of figures are stored.
  • a graphic is a graphic used as an aid for diagnosis (or observation) of a region of interest when a doctor observes an ultrasound image, for example.
  • the image database 14 and the graphic database 16 are composed of recording media or the cloud. A detailed description of the image database 14 and the graphic database 16 will be given later.
  • the learning model 30 is composed of a CNN (Convolutional Neural Network), and machine learning is performed to recognize the position and type of the attention area from the medical image.
  • the learning model 30 outputs at least one of the position of the attention area and the type of the attention area as an estimation result.
  • the learning model 30 installed in the machine learning system 10 is unlearned, and the machine learning system 10 causes the learning model 30 to perform machine learning to estimate the position of the attention area and the type of the attention area.
  • the attention area is, for example, an organ, a lesion, or the like, and is an area that a doctor pays attention to when observing a medical image.
  • the type of the attention area is specifically an organ name, a lesion name, a lesion level, etc., and is a classification of the attention area.
  • machine learning system 10 may be configured with a plurality of personal computers.
  • FIG. 2 is a block diagram showing the main functions that the processor 22 implements in the machine learning system 10.
  • the processor 22 mainly includes a selection section 22A, a graphic synthesis section 22B, and a learning section 22C.
  • the selection unit 22A performs selection acceptance processing and accepts selection of medical images stored in the image database 14 .
  • the selection unit 22A also accepts selection of a graphic stored in the graphic database 16 .
  • the user selects a medical image stored in the image database 14 and a figure stored in the figure database 16 via the operation unit 20, and the selection unit 22A receives the selection.
  • the selection unit 22A also performs a size reception process and receives the size of the figure to be synthesized in the figure synthesis process.
  • the selection unit 22A also accepts selection of the size of the figure to be combined together with acceptance of the selection of the figure.
  • the figure synthesizing unit 22B performs figure synthesizing processing to synthesize the selected medical image and figure to generate a synthesized image.
  • the figure synthesizing unit 22B superimposes a figure on a medical image to generate a synthesized image in various ways.
  • the figure synthesizing unit 22B can superimpose a figure on the region of interest of the medical image and synthesize them to generate a synthesized image.
  • the figure synthesizing unit 22B can generate a synthesized image by superimposing and synthesizing figures so as to exclude the attention area of the medical image.
  • the figure synthesizing unit 22B can superimpose and synthesize a figure on a medical image (randomly) regardless of the region of interest.
  • the figure synthesizing unit 22B can use, for example, a random number table to determine the position where the figure is to be superimposed, and randomly superimpose the figure on the medical image for synthesis.
  • the selection unit 22A accepts the size of the figure, the figure is combined with the medical image based on the size accepted in the size acceptance process.
  • the graphic synthesizing unit 22B may generate a plurality of synthesized images by changing the position and size of the selected graphic. That is, the graphic synthesizing unit 22B may change the superimposed position of the selected graphic in the medical image or the size of the selected graphic to generate a plurality of variations of the composite image. This makes it possible to easily generate more learning data.
  • the figure synthesizing unit 22B determines the synthesizing mode of the synthetic image by user's designation or automatically, and generates the synthetic image.
  • the learning unit 22C performs learning processing and makes the learning model 30 perform learning using the synthesized image. Specifically, the learning unit 22C optimizes the parameters of the learning model 30 based on the error between the estimation result output by the learning model 30 after receiving the synthetic image and the correct data. A detailed description of the learning unit 22C will be given later.
  • FIG. 3 is a diagram explaining the specific data flow of the machine learning system 10.
  • FIG. 3 an ultrasound image is used as an example of a medical image.
  • the selection unit 22A selects the ultrasound image P1 from the image database 14 according to the user's selection. For example, the user selects the ultrasonic image P1 via the operation unit 20. FIG. In addition, the selection unit 22A selects one or a plurality of graphics Q from the graphics database 16 according to the user's selection. Specific examples of the image database 14 and the graphic database 16 will be described below.
  • FIG. 4 is a diagram showing an example of an ultrasound image P1 stored in the image database 14.
  • FIG. 4 is a diagram showing an example of an ultrasound image P1 stored in the image database 14.
  • the ultrasound image P1 has a region of interest showing an organ or lesion. Specifically, the ultrasound image P1 has an attention area T1, an attention area T2, an attention area T3, and an attention area T4.
  • the attention area T1 is the image of the organ A
  • the attention area T2 is the image of the organ B
  • the attention area T3 is the lesion C image
  • the attention area T4 is the lesion D image.
  • FIG. 5 is a diagram showing a specific example of the storage configuration of the image database 14. As shown in FIG.
  • the image database 14 stores a plurality of ultrasound images P. Each ultrasonic image P is assigned an image ID.
  • the image ID of the ultrasound image P1 is 001.
  • the positions of the regions of interest T1 to T4 of the ultrasonic image P1 are stored in XY coordinates in association with the image ID of the ultrasonic image P1.
  • the size of each of the attention areas T1 to T4 is stored in terms of the number of pixels.
  • the types of the attention areas T1 to T4 are shown. Note that some or all of the position of the attention area, the size of the attention area, and the type of the attention area stored in the image database 14 in association with the image ID are used in the learning model 30 described later. is used as correct data F in machine learning corresponding to the estimation result output by .
  • the image database 14 similarly stores a plurality of ultrasonic images P in addition to the ultrasonic image P1.
  • FIG. 6 is a diagram showing a specific example of the storage configuration of the graphic database 16. As shown in FIG.
  • the graphic ID, the graphic, the minimum value of the graphic, the maximum value of the graphic, and the area that can be combined are associated and registered.
  • the arrow has a graphic ID of 001, a minimum graphic value of 32 px, and a maximum graphic value of 512 px, and the area that can be synthesized is the entire ultrasonic image.
  • the line has a graphic ID of 002, a minimum graphic value of 8 px and a maximum graphic value of 960 px, and the area that can be synthesized is within the attention area of the ultrasonic image.
  • the rectangle has a graphic ID 003, a minimum graphic value of 64 px and a maximum graphic value of 256 px, and the area that can be combined is the entire area.
  • the circle indicates the figure ID 004, the minimum figure value is 16px, the maximum figure value is 256px, and the area that can be combined is the entire area.
  • a triangle has a figure ID of 005, a minimum figure value of 128 px, and a maximum figure value of 512 px.
  • the graphic database 16 stores graphics other than the graphics described above.
  • the ultrasonic image P1 selected by the selection unit 22A and the selected figure Q are input to the figure synthesizing unit 22B.
  • the graphic synthesizing unit 22B generates a composite image C from the ultrasonic image P1 and the graphic Q.
  • FIG. A specific example of the composite image C will be described below.
  • FIG. 7 to 10 are diagrams showing examples of synthesized images synthesized by the graphic synthesizing unit 22B.
  • an ultrasound image P1, a figure (arrow) Q1, and a figure (line) Q2 are selected and combined to generate a composite image C1.
  • the graphic Q1 is superimposed in the vicinity of the attention area T3 so as to point to the attention area. It is also, in the synthesized image C1, based on the information (X2, Y2) regarding the position of the attention area T2 and/or the information (Z2px) regarding the size of the attention area, a figure Q2 is superimposed so as to indicate both ends of the attention area T2. It is In this way, the synthesized image C1 is generated by superimposing the graphic Q1 and the graphic Q2 on the ultrasonic image P1 so that the doctor actually observes the ultrasonic image P1.
  • an ultrasound image P1 and a figure (rectangle) Q3 are selected, and a synthesized image C2 is generated by synthesizing them.
  • the figure Q3 is superimposed so that the attention areas T3 and T4 are included in the rectangle, and , a part of the figure Q3 crosses the attention area T1 and the attention area T2.
  • the composite image C2 is generated by superimposing the graphic Q3 on the ultrasound image P1 so that the doctor can attach the composite image C1 as an aid when observing the regions of interest T3 and T4.
  • an ultrasound image P1 and a graphic (rectangle) Q5 are selected, and a composite image C3 is generated by combining them.
  • the superimposition position is determined using a random number table or the like, and the figure Q5 is randomly superimposed.
  • the doctor indicates a region of interest (for example, surrounds the region of interest with a rectangle or indicates the region of interest with an arrow), but in the case shown in FIG.
  • Graphic Q5 is superimposed independently of T4.
  • the graphic Q5 is superimposed on the ultrasound image P1 in a manner different from the way the doctor attaches the graphic (regardless of the position of the region of interest).
  • an ultrasonic image P1 a figure (arrow) Q6, a figure (line) Q7, a figure (line) Q8 and a figure (arrow) Q9 are selected, and by synthesizing these, a synthesized image C4 is obtained. generated.
  • the graphic Q6 and the graphic Q8 are superimposed so as to exclude the attention areas T1-T4 based on the information (see FIG. 5) on the positions and/or sizes of the attention areas T1-T4.
  • the graphic Q7 and the graphic Q9 are randomly arranged.
  • the figures Q6 to Q9 are randomly superimposed on the synthesized image C4, and the figures Q6 to Q9 are displayed in a different form from the case where the doctor attaches figures to the ultrasound image (irrespective of the position of the region of interest). is superimposed on the ultrasonic image P1.
  • the synthesized image C synthesized by the graphic synthesizing unit 22B is input to the learning model 30. Further, the position of the attention area and the type of the attention area of the ultrasonic image P1 selected by the selection unit 22A are input as correct data F to the learning unit 22C. Machine learning of the learning model 30 by the learning unit 22C will be described below.
  • FIG. 11 is a functional block diagram showing main functions of the learning unit 22C and the learning model 30.
  • FIG. 22 C of learning parts are provided with the error calculation part 54 and the parameter update part 56.
  • FIG. Further, the correct answer data F is input to the learning section 22C.
  • the learning model 30 is a recognizer that recognizes the position of the attention area in the ultrasound image P and the type of the attention area.
  • the learning model 30 has a multiple layer structure and holds multiple weight parameters.
  • the learning model 30 changes from an unlearned model to a learned model by updating the weight parameter from the initial value to the optimum value.
  • This learning model 30 comprises an input layer 52A, an intermediate layer 52B, and an output layer 52C.
  • the input layer 52A, the intermediate layer 52B, and the output layer 52C each have a structure in which a plurality of "nodes" are connected by "edges.”
  • a composite image C to be learned is input to the input layer 52A.
  • the intermediate layer 52B is a layer that extracts features from the image input from the input layer 52A.
  • the intermediate layer 52B has multiple sets of convolutional layers and pooling layers, and a fully connected layer.
  • the convolution layer performs a filtered convolution operation on nearby nodes in the previous layer to obtain a feature map.
  • the pooling layer reduces the feature map output from the convolution layer to a new feature map.
  • a fully connected layer connects all of the nodes of the immediately preceding layer (here the pooling layer).
  • the convolution layer plays a role of feature extraction such as edge extraction from an image, and the pooling layer plays a role of providing robustness so that the extracted features are not affected by translation or the like.
  • the intermediate layer 52B is not limited to the case where the convolution layer and the pooling layer are set as one set, but also includes the case where the convolution layers are continuous and the normalization layer.
  • the output layer 52C is a layer that outputs recognition results of the position and type of the region of interest in the ultrasonic image P based on the features extracted by the intermediate layer 52B.
  • the trained learning model 30 outputs the recognition result of the position and type of the attention area.
  • Arbitrary initial values are set for the coefficients of the filters applied to each convolutional layer of the learning model 30 before learning, the offset value, and the weight of the connection with the next layer in the fully connected layer.
  • the error calculation unit 54 acquires the recognition result output from the output layer 52C of the learning model 30 and the correct data F for the input image, and calculates the error between them. Error calculation methods include, for example, softmax cross entropy, or MSE: Mean Squared Error.
  • the correct data F of the input image (composite image C1) is, for example, data indicating the positions and types of the attention areas T1 to T4.
  • the parameter updating unit 56 adjusts the weight parameters of the learning model 30 by error backpropagation based on the error calculated by the error calculating unit 54.
  • This parameter adjustment process is repeated, and learning is repeated until the difference between the output of the learning model 30 and the correct data F becomes small.
  • the learning unit 22C optimizes each parameter of the learning model 30 using at least the synthetic image C1 and the data set of the correct data F.
  • a mini-batch method may be used in which a fixed number of data sets are extracted, learning is batch-processed using the extracted data sets, and this is repeated.
  • Each step of the learning method is performed by the processor 22 executing a program.
  • FIG. 12 is a flow diagram explaining a learning method performed using the machine learning system 10.
  • the selection unit 22A receives selection of an ultrasonic image (medical image) (selection receiving step: step S10). For example, the user confirms the ultrasound image displayed on the display unit 28 and selects the ultrasound image via the operation unit 20 .
  • the selection unit 22A accepts selection of a figure (selection step: step S11). For example, the user confirms the graphics displayed on the display unit 28 and selects the graphics via the operation unit 20 . In this case, the size of the selected figure may also be selected, and the figure may be superimposed and synthesized according to the selected size.
  • the graphic synthesizing unit 22B synthesizes the selected ultrasonic image and the selected graphic to generate a synthesized image (graphic synthesizing step: step S12).
  • the learning unit 22C causes the learning model 30 to perform machine learning using the synthesized image (learning step: step S13).
  • a medical image stored in the image database 14 and a figure stored in the figure database 16 are selected, and a composite image is generated from the medical image and the figure. be done.
  • the learning model 30 is trained using the synthesized image, so that a large number of synthesized medical images can be learned efficiently and easily.
  • the selected ultrasound images are used for machine learning at least twice.
  • the first ultrasound image with no synthesized graphics and the second ultrasound image with synthesized graphics are used for machine learning.
  • FIG. 13 is a diagram explaining the specific data flow of the machine learning system 10 of this embodiment.
  • symbol is attached
  • the synthetic image C and the ultrasound image P1 are input to the learning model 30 .
  • the learning model 30 outputs an estimation result for each input image.
  • the learning model 30 receives the synthesized image C and outputs the estimation result, and receives the ultrasonic image P1 and outputs the estimation result.
  • FIG. 14 is a functional block diagram showing main functions of the learning unit 22C and the learning model 30 of this embodiment. 11 are given the same reference numerals, and description thereof will be omitted.
  • machine learning is performed using the composite image C1 and the ultrasound image P1.
  • the composite image C1 and the ultrasound image P1 are input to the input layer 52A.
  • the learning model 30 outputs an estimation result for the synthetic image C1.
  • the ultrasonic image P1 is input, the learning model 30 outputs an estimation result for the ultrasonic image P1.
  • the error between the estimation result and the correct data F is calculated, and the parameters are updated by the parameter updating unit 56 based on the error.
  • the ultrasonic image P1 is input to the learning model 30, and the position and type of the attention area are estimated and output from the output layer 52C.
  • the error between the estimation result and the correct data is calculated, and the parameters are updated by the parameter updating unit 56 based on the error.
  • the correct data F is data indicating the position and type of the attention area of the ultrasonic image P1, it can be used in common in the machine learning of the composite image C1 and the ultrasonic image P1.
  • FIG. 15 is a flow chart explaining a learning method performed using the machine learning system 10.
  • the selection unit 22A accepts selection of an ultrasound image (step S20).
  • the selection unit 22A accepts selection of a figure (step S21).
  • the graphic synthesizing unit 22B synthesizes the selected ultrasonic image and the selected graphic to generate a synthesized image (step S22).
  • the learning unit 22C causes the learning model 30 to perform machine learning using the synthesized image. (Step S23). After that, the learning unit 22C causes the learning model 30 to perform machine learning using the ultrasound images that have not been synthesized (step S24).
  • machine learning is performed using a synthesized image and an ultrasound image in which graphics are not synthesized. How to use synthetic images and ultrasound images for machine learning will be described below.
  • FIG. 16 is a diagram conceptually explaining an example of learning data of the present invention.
  • FIG. 16(A) shows learning data used in the first embodiment.
  • the first embodiment since synthetic images are used as training data, mini-batches made up of synthetic images are prepared.
  • training data for A batch 80, B batch 82, C batch 84, D batch 86, and E batch 88 are prepared, and each batch is composed of, for example, 200 synthesized images. be. Therefore, in one epoch, the A batch 80, the B batch 82, the C batch 84, the D batch 86, and the E batch 88 are all input to the learning model 30, and machine learning is performed.
  • FIG. 16(B) shows learning data used in the second embodiment.
  • mini-batches each composed of synthesized images and ultrasound images are prepared.
  • batch A 80, batch a 90, batch B 82, batch b 92, batch C 84, batch c 94, batch D 86, batch d 96, batch E 88, batch e 98 training data is prepared.
  • Each of the A batch 80, B batch 82, C batch 84, D batch 86, and E batch 88 is composed of, for example, 200 composite images.
  • each of the a-batch 90, b-batch 92, c-batch 94, d-batch 96, and e-batch 98 is composed of, for example, 200 ultrasound images.
  • the same ultrasonic image is used for the A batch 80 and the a batch 90 .
  • the ultrasound images used for the synthesized images that make up the A batch 80 make up the a batch 90, and the same applies to the other batches.
  • the learning model 30 goes through A batch 80, a batch 90, B batch 82, b batch 92, C batch 84, c batch 94, D batch 86, d batch 96, E batch 88, and e batch 98. , and machine learning is performed.
  • FIG. 16(C) shows another example of learning data used in the second embodiment.
  • a first epoch composed of A batch 80, B batch 82, C batch 84, D batch 86, and E batch 88, and a batch 90, b batch 92, and c batch.
  • a second epoch consisting of 94, d-batch 96, and e-batch 98 is performed. Note that the same ultrasonic image is used for the A batch 80 and the a batch 90, as described with reference to FIG. 16B.
  • the combined image and the uncombined ultrasound image are used as learning data. Learning of the learning model 30 to recognize can be performed more effectively.
  • a recognizer composed of a trained model machine-learned by the machine-learning system 10 described above will be described. This recognizer is installed in an ultrasonic endoscope system.
  • FIG. 17 is a schematic diagram showing the overall configuration of an ultrasonic endoscope system (ultrasonic diagnostic apparatus) including a learning model 30 (learned model) for which machine learning has been completed by the above-described machine learning system 10 as a recognizer 206. be.
  • a learning model 30 learned model
  • the ultrasonic endoscope system 102 includes an ultrasonic scope 110, an ultrasonic processor device 112 that generates ultrasonic images, and an endoscope processor device 114 that generates endoscopic images. , a light source device 116 for supplying illumination light for illuminating the inside of the body cavity to the ultrasound scope 110, and a monitor 118 for displaying ultrasound images and endoscopic images.
  • the ultrasonic scope 110 includes an insertion section 120 to be inserted into the body cavity of the subject, a hand operation section 122 connected to the proximal end of the insertion section 120 and operated by the operator, and one end of the hand operation section 122. and a universal cord 124 to which is connected.
  • the other end of the universal cord 124 is connected to an ultrasonic connector 126 connected to the ultrasonic processor device 112 , an endoscope connector 128 connected to the endoscope processor device 114 , and a light source device 116 .
  • a light source connector 130 is provided.
  • the ultrasound scope 110 is detachably connected to the ultrasound processor device 112, the endoscope processor device 114 and the light source device 116 via these connectors 126, 128 and 130, respectively. Further, an air/water supply tube 132 and a suction tube 134 are connected to the light source connector 130 .
  • the monitor 118 receives each video signal generated by the ultrasound processor device 112 and the endoscope processor device 114 and displays an ultrasound image and an endoscopic image.
  • the display of the ultrasonic image and the endoscopic image it is possible to display only one of the images on the monitor 118 by appropriately switching between them, or to display both images at the same time.
  • the hand operation unit 122 is provided with an air/water supply button 136 and a suction button 138 side by side, as well as a pair of angle knobs 142 and a treatment instrument insertion port 144 .
  • the insertion portion 120 has a distal end, a proximal end, and a longitudinal axis 120a, and includes, in order from the distal end side, a distal portion main body 150 made of a hard member, and a bending portion connected to the proximal end side of the distal portion main body 150. 152, and an elongated flexible flexible portion 154 that connects between the base end side of the bending portion 152 and the distal end side of the hand operation portion 122.
  • the distal end portion main body 150 is provided on the distal end side of the insertion portion 120 in the direction of the longitudinal axis 120a.
  • the bending portion 152 is remotely operated to bend by rotating a pair of angle knobs 142 provided on the hand operation portion 122 . This allows the tip body 150 to be oriented in a desired direction.
  • An ultrasonic probe 162 and a bag-like balloon 164 covering the ultrasonic probe 162 are attached to the tip body 150 .
  • the balloon 164 can be inflated or deflated by being supplied with water from the water supply tank 170 or by sucking the water in the balloon 164 with the suction pump 172 .
  • the balloon 164 is inflated until it abuts against the inner wall of the body cavity in order to prevent attenuation of ultrasonic waves and ultrasonic echoes (echo signals) during ultrasonic observation.
  • an endoscope observation section (not shown) having an observation section having an objective lens, an imaging device, and the like, and an illumination section is attached to the distal end body 150 .
  • the endoscope observation section is provided behind the ultrasonic probe 162 (on the side of the hand operation section 122).
  • FIG. 18 is a block diagram showing an embodiment of an ultrasound processor.
  • the ultrasound processor device 112 shown in FIG. 18 recognizes the position and type of the region of interest in the ultrasound image based on the sequentially acquired time-series ultrasound images, and notifies the user of information indicating the recognition result. It is.
  • the ultrasound processor device 112 shown in FIG. 18 is composed of a transmission/reception unit 200, an image generation unit 202, a CPU (Central Processing Unit) 204, a recognizer 206, a display control unit 210, and a memory 212. Implemented by one or more processors. Note that the recognizer 206 is loaded with the learning model 30 trained by the above-described machine learning system 10 while holding the parameters as they are.
  • the CPU 204 operates based on various programs including the ultrasonic image processing program according to the present invention stored in the memory 212, and controls the transmission/reception unit 200, the image generation unit 202, the recognizer 206, and the display control unit 210. and functions as part of each of these units.
  • the transmitting/receiving unit 200 and the image generating unit 202 sequentially acquire time-series ultrasound images.
  • a transmission unit of the transmission/reception unit 200 generates a plurality of drive signals to be applied to a plurality of ultrasonic transducers of the ultrasonic probe 162 of the ultrasonic scope 110, and based on a transmission delay pattern selected by a scanning control unit (not shown). to apply the plurality of drive signals to the plurality of ultrasonic transducers by giving respective delay times to the plurality of drive signals.
  • the receiving unit of the transmitting/receiving unit 200 amplifies a plurality of detection signals respectively output from the plurality of ultrasonic transducers of the ultrasonic probe 162, converts the analog detection signals into digital detection signals (also known as RF (Radio Frequency) data). ). This RF data is input to the image generator 202 .
  • the image generation unit 202 Based on the reception delay pattern selected by the scanning control unit, the image generation unit 202 gives a delay time to each of the plurality of detection signals represented by the RF data, and adds the detection signals to obtain a reception focus. process.
  • This reception focusing process forms sound ray data in which the focus of the ultrasonic echo is narrowed down.
  • the image generation unit 202 further corrects attenuation due to distance according to the depth of the reflection position of the ultrasonic wave by STC (Sensitivity Timegain Control) for the sound ray data, and then performs envelope detection processing using a low-pass filter or the like.
  • Envelope data for one frame, preferably a plurality of frames, is stored in a cine memory (not shown).
  • the image generating unit 202 performs preprocessing such as log (logarithmic) compression and gain adjustment on the envelope data stored in the cine memory to generate a B-mode image.
  • the transmitting/receiving unit 200 and the image generating unit 202 sequentially acquire time-series B-mode images (hereinafter referred to as "ultrasound images").
  • the recognizer 206 performs a process of recognizing information about the position of a region of interest in the ultrasonic image based on the ultrasonic image, and classifies the region of interest into one of a plurality of classes (types) based on the ultrasonic image. It performs the process of classifying into The recognizer 206 is composed of a trained model, and machine learning is performed by the machine learning system 10 described above.
  • the regions of interest in this example are various organs in the ultrasound image (B-mode image tomographic image), such as the pancreas, main pancreatic duct, spleen, splenic vein, splenic artery, gallbladder, and the like.
  • the recognizer 206 recognizes the position of the attention area for each input ultrasound image, outputs information about the position, and recognizes the attention area as one of a plurality of classes. and output information indicating the recognized class (class information).
  • the position of the attention area can be, for example, the center position of a rectangle surrounding the attention area.
  • the class information is information indicating the type of organ in this example.
  • the display control unit 210 includes a first display control unit 210A that displays time-series ultrasound images on the monitor 118, which is a display unit, and a second display control unit 210B that causes the monitor 118 to display information about the attention area. ing.
  • the first display control unit 210A causes the monitor 118 to display the ultrasound images sequentially acquired by the transmission/reception unit 200 and the image generation unit 202 .
  • a moving image showing an ultrasonic tomographic image is displayed on the monitor 118 .
  • the first display control unit 210A performs reception processing for receiving a phrase command from the hand operation unit 122 of the ultrasonic scope 110. For example, when the freeze button of the hand operation unit 122 is operated and a freeze instruction is received, the monitor 118 The sequential display of the ultrasonic images displayed in 1 is switched to the fixed display of one ultrasonic image (current ultrasonic image).
  • the second display control unit 210B superimposes and displays the class information indicating the classification of the attention area recognized by the recognizer 206 at the position of the attention area of the ultrasound image displayed on the monitor 118 .
  • the relative position of the class information with respect to the attention area is also fixed while the ultrasonic image displayed on the monitor 118 is fixedly displayed as a still image.
  • the learning model 30 machine-learned by the machine-learning system 10 is used as the recognizer 206 .
  • the recognizer 206 it is possible to accurately recognize the region of interest appearing in the ultrasonic image.
  • the hardware structure of the processing unit (for example, the selection unit 22A, the graphic synthesis unit 22B, and the learning unit 22C) (processing unit) that executes various processes includes various processors ( processor).
  • processors processors
  • the circuit configuration can be changed after manufacturing such as CPU (Central Processing Unit), which is a general-purpose processor that executes software (program) and functions as various processing units, FPGA (Field Programmable Gate Array), etc.
  • Programmable Logic Device which is a processor, ASIC (Application Specific Integrated Circuit), etc. be
  • One processing unit may be composed of one of these various processors, or composed of two or more processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA).
  • a plurality of processing units may be configured by one processor.
  • a processor functions as multiple processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • machine learning system 12 communication unit 14: image database 16: graphic database 20: operation unit 22: processor 22A: selection unit 22B: graphic synthesis unit 22C: learning unit 24: RAM 26: ROM 28: display unit 30: learning model 32: bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

容易に大量の合成された医用画像を学習させることができる機械学習システム、学習方法及びプログラムを提供する。機械学習システム（１０）は、複数の医用画像が記憶された画像データベース（１４）と、医用画像上に重畳させる図形が記憶された図形データベース（１６）と、プロセッサ（２２）と、学習モデル（３０）とを備える機械学習システムであって、プロセッサ（２２）は、画像データベース（１４）に記憶されている医用画像の選択、及び図形データベース（１６）に記憶されている図形の選択を受け付ける選択受付処理と、選択された医用画像及び図形を合成し合成画像を生成する図形合成処理と、合成画像を用いて、学習モデルに学習を行わせる学習処理と、を行う。

Description

機械学習システム、認識器、学習方法、及びプログラム
　本発明は、機械学習システム、認識器、学習方法、及びプログラムに関し、特に図形が重畳されている医用画像の機械学習システム、認識器、学習方法、及びプログラムに関する。
　近年、深層学習を用いた機械学習により高精度な自動認識が可能となっている（非特許文献１）。超音波診断装置においても、この技術が応用されており、深層学習によって学習が行われた認識器を用いて超音波画像から様々な情報を認識し、ユーザに提示することができる。
　深層学習においては、学習データとその学習データの正解を示す正解データとで学習を行う教師あり学習が知られている。
　例えば、特許文献１には機械学習に使用する学習データを生成する学習データ生成システムが記載されている。
A. Krizhevsky, I. Sutskever, and G. Hinton. ImageNetclassification with deep convolutional neural networks. In NIPS, 2012
特開２０２０－１９２００６号公報
　ここで、医用画像（例えば超音波画像）においては、例えば、臓器の位置と種類を示す情報を有する正解データを利用して認識器の機械学習を行い、機械学習を行った認識器を認識器として用いて臓器の位置と種類をユーザに提示することが考えられている。
　医用画像、特に超音波画像は、しばしば、ユーザが指定した図形が取得された医用画像に重畳して表示される場合がある。ここで、ユーザが指定する図形とは、例えば、医用画像に写った臓器の位置を囲う矩形、注目領域を示す矢印、丸印、三角形、医用画像に写った臓器の長さを表す線等がある。
　このような、図形が重畳して合成された医用画像を学習データとして用いて認識器を機械学習させると、認識器は、図形を特徴として捉えて学習してしまい、図形がない医用画像を適切に認識ができないことがある。また、図形が合成されていない医用画像を学習データとして用いて認識器を機械学習させると、図形が合成された医用画像に関しては学習を行っていないために、図形が合成されている医用画像を適切に認識できないことがある。
　図形が合成された医用画像の認識の精度を高めるためには、認識器に図形と医用画像の認識対象とが無関係であることを、大量の学習データを用いて学習させなければならない。
　しかしながら、機械学習に必要な、様々な図形が合成された医用画像を大量に準備することは手間と時間が必要であり容易ではない。
　特許文献１に記載された技術では、合成された画像を当該画像の注目領域や種別を認識する認識器の学習データに用いることは言及されていない。
　本発明はこのような事情に鑑みてなされたもので、その目的は、容易に大量の合成された医用画像を学習させることができる機械学習システム、学習方法及びプログラムを提供することである。
　上記目的を達成するための本発明の一の態様である機械学習システムは、複数の医用画像が記憶された画像データベースと、医用画像上に重畳させる図形が記憶された図形データベースと、プロセッサと、学習モデルとを備える機械学習システムであって、プロセッサは、画像データベースに記憶されている医用画像の選択、及び図形データベースに記憶されている図形の選択を受け付ける選択受付処理と、選択された医用画像及び図形を合成し合成画像を生成する図形合成処理と、合成画像を用いて、学習モデルに学習を行わせる学習処理と、を行う。
　本態様によれば、画像データベースに記憶されている医用画像と図形データベースに記憶されている図形とが選択され、その医用画像と図形とにより合成画像が生成される。そして本態様は、その合成画像を用いて学習モデルに学習が行われるので、より効率的に容易に大量の合成された医用画像を学習させることができる。
　好ましくは、学習処理では、選択受付処理で受け付けられた医用画像は少なくとも２回使用され、第１回は図形合成処理が行われていない医用画像、第２回は図形合成処理が行われた合成画像で学習モデルに学習を行わせる。
　本態様によれば、図形合成処理が行われていない医用画像と、図形合成処理が行われた合成画像とを用いて学習モデルに学習が行われるので、より効率的に学習モデルの学習を行わせることができる。
　好ましくは、プロセッサは、図形合成処理で合成する図形のサイズを受け付けるサイズ受付処理を行い、図形合成処理では、サイズ受付処理で受け付けられたサイズに基づいて、図形を医用画像に合成する。
　好ましくは、図形データベースは、図形のサイズの最大値及び最小値、及び医用画像に合成できる領域情報のうち少なくとも一方を、図形と関連付けて記憶する。
　好ましくは、画像データベースは、医用画像と関連付けて注目領域に関する情報を記憶し、図形合成処理では、注目領域に関する情報を用いて、図形の少なくとも一部が注目領域に重畳するように合成が行われる。
　本態様によれば、注目領域に重畳するように図形が合成されるので、図形と注目領域との区別を適切に学習させることができ、学習モデルに注目領域を効率的に認識させることができる。
　好ましくは、画像データベースは、医用画像と関連付けて注目領域に関する情報を記憶し、図形合成処理では、注目領域に関する情報を用いて、図形が注目領域を外して合成が行われる。
　本態様によれば、注目領域を外して図形が合成されるので、図形と注目領域との区別を適切に学習させることができ、学習モデルに注目領域（及び種別）を効率的に認識させることができる。
　好ましくは、図形合成処理では、選択された図形の位置及びサイズを変えて複数の合成画像が生成され、学習処理では、複数の合成画像を用いて、学習モデルに学習を行わせる。
　本態様によれば、図形の位置及びサイズを変えて複数の合成画像が生成されるので、より効率的に容易に合成画像を生成することができる。
　好ましくは、医用画像は、超音波診断装置から得られる画像である。
　本発明の他の態様である認識器は、上述の機械学習システムで学習が行われ、図形が付された医用画像から注目領域を認識する。
　本発明の他の態様である学習方法は、複数の医用画像が記憶された画像データベースと、医用画像上に重畳させる図形が記憶された図形データベースと、プロセッサと、学習モデルとを備える機械学習システムを用いた学習方法であって、プロセッサにより、画像データベースに記憶されている医用画像の選択、及び図形データベースに記憶されている図形の選択を受け付ける選択受付工程と、選択された医用画像及び図形を合成し合成画像を生成する図形合成工程と、合成画像を用いて、学習モデルに学習を行わせる学習工程と、が行われる。
　本発明の他の態様であるプログラムは、複数の医用画像が記憶された画像データベースと、医用画像上に重畳させる図形が記憶された図形データベースと、プロセッサと、学習モデルとを備える機械学習システムを用いた学習方法を実行させるプログラムであって、プロセッサに、画像データベースに記憶されている医用画像の選択、及び図形データベースに記憶されている図形の選択を受け付ける選択受付工程と、選択された医用画像及び図形を合成し合成画像を生成する図形合成工程と、合成画像を用いて、学習モデルに学習を行わせる学習工程と、を実行させる。
　本発明によれば、画像データベースに記憶されている医用画像と図形データベースに記憶されている図形とが選択され、その医用画像と図形とにより合成画像が生成され、その合成画像を用いて学習モデルに学習が行われるので、より効率的に容易に大量の合成された医用画像を学習させることができる。
図１は、機械学習システムの構成の一例を示すブロック図である。 図２は、プロセッサが機械学習システムで実現する主な機能を示すブロック図である。 図３は、機械学習システムの具体的なデータの流れを説明する図である。 図４は、超音波画像の一例を示す図である。 図５は、画像データベースの記憶構成の具体例を示す図である。 図６は、図形データベースの記憶構成の具体例を示す図である。 図７は、図形合成部で合成が行われた合成画像の例を示す図である。 図８は、図形合成部で合成が行われた合成画像の例を示す図である。 図９は、図形合成部で合成が行われた合成画像の例を示す図である。 図１０は、図形合成部で合成が行われた合成画像の例を示す図である。 図１１は、学習部及び学習モデルの主要な機能を示す機能ブロック図である。 図１２は、機械学習システムを用いて行われる学習方法を説明するフロー図である。 図１３は、本実施形態の機械学習システム１０の具体的なデータの流れを説明する図である。 図１４は、学習部及び学習モデルの主要な機能を示す機能ブロック図である。 図１５は、機械学習システムを用いて行われる学習方法を説明するフロー図である。 図１６は、学習データの例を概念的に説明する図である。 図１７は、超音波内視鏡システムの全体構成を示す概略図である。 図１８は、超音波用プロセッサ装置の実施形態を示すブロック図である。
　以下、添付図面に従って本発明に係る機械学習システム、認識器、学習方法及びプログラムの好ましい実施の形態について説明する。
　＜第１の実施形態＞
　図１は、本実施形態の機械学習システムの構成の一例を示すブロック図である。
　機械学習システム１０は、パーソナルコンピュータ又はワークステーションによって構成される。機械学習システム１０は、通信部１２、画像データベース（図では画像ＤＢと記載）１４、図形データベース（図では図形ＤＢと記載）１６、操作部２０、プロセッサ２２、ＲＡＭ（Random Access Memory）２４、ＲＯＭ（Read Only Memory）２６、表示部２８、及び学習モデル３０から構成される。各部は、バス３２を介して接続されている。なお、本例ではバス３２に接続されている例を説明したが、機械学習システム１０の例はこれに限定されるものではない。例えば、機械学習システム１０の一部又は全部は、ネットワークを介して接続されていてもよい。ここでネットワークは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等の各種通信網を含む。また、本例では機械学習システム１０を以下に説明するが、本発明は機械学習装置にも適用可能である。
　通信部１２は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。
　ＲＯＭ２６はコンピュータのブートプログラムやＢＩＯＳ（Basic Input/Output System）等のプログラム、データ等を恒久的に保持している。また、ＲＡＭ２４は、ＲＯＭ２６、別体で接続される記憶装置等からロードしたプログラム、データ等を一時的に保持するとともに、プロセッサ２２が各種処理を行うために使用するワークエリアを備える。
　操作部２０は、機械学習システム１０に対する各種の操作入力を受け付ける入力インターフェースである。操作部２０は、コンピュータに有線接続又は無線接続されるキーボード又はマウス等が用いられる。
　プロセッサ２２は、ＣＰＵ（Central Processing Unit）で構成される。ＲＯＭ２６又は不図示のハードディスク装置等に記憶された各種のプログラムを読み出し、各種の処理を実行する。ＲＡＭ２４は、プロセッサ２２の作業領域として使用される。また、ＲＡＭ２４は、読み出されたプログラム及び各種のデータを一時的に記憶する記憶部として用いられる。機械学習システム１０は、プロセッサ２２をＧＰＵ（Graphics Processing Unit）により構成してもよい。
　表示部２８は、機械学習システム１０の必要な情報が表示される出力インターフェースである。表示部２８は、コンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
　画像データベース１４は、複数の医用画像が記憶されたデータベースである。医用画像は、例えば以下で説明する超音波内視鏡システムで取得される超音波画像である。
　図形データベース１６は、複数の種類の図形が記憶されたデータベースである。図形は、例えば医師が超音波画像を観察する際に注目領域の診断（又は観察）に補助として使用される図形である。
　画像データベース１４及び図形データベース１６は記録媒体又はクラウドで構成される。なお、画像データベース１４及び図形データベース１６の詳しい説明は後で行う。
　学習モデル３０は、ＣＮＮ（Convolutional Neural Network）で構成され、医用画像から注目領域の位置及び注目領域の種別を認識するように機械学習が行われる。学習モデル３０は、医用画像が入力されると、注目領域の位置及び注目領域の種別の少なくとも一つを推定結果として出力する。機械学習システム１０に搭載される学習モデル３０は未学習のものであり、機械学習システム１０は学習モデル３０に注目領域の位置及び注目領域の種別の推定を行わせる機械学習を行わせる。ここで、注目領域とは、例えば臓器、病変部、などであり、医師が医用画像を観察する際に注目する領域のことである。また、注目領域の種別とは、具体的には臓器名、病変名、病変のレベル、などであり、注目領域の分類のことである。
　ここでは、機械学習システム１０を単一のパーソナルコンピュータ又はワークステーションによって構成する例を説明したが、複数のパーソナルコンピュータによって機械学習システム１０を構成してもよい。
　図２は、プロセッサ２２が機械学習システム１０で実現する主な機能を示すブロック図である。
　プロセッサ２２は、主に選択部２２Ａ、図形合成部２２Ｂ、学習部２２Ｃを備える。
　選択部２２Ａは、選択受付処理を行い、画像データベース１４に記憶されている医用画像の選択を受け付ける。また、選択部２２Ａは、図形データベース１６に記憶されている図形の選択を受け付ける。例えば、ユーザは操作部２０を介して画像データベース１４に記憶されている医用画像及び、図形データベース１６に記憶されている図形を選択し、選択部２２Ａはその選択を受け付ける。また、選択部２２Ａは、サイズ受付処理を行い、図形合成処理で合成する図形のサイズを受け付ける。例えば、選択部２２Ａは図形の選択を受け付けるのに伴い、合成する図形のサイズの選択も受け付ける。
　図形合成部２２Ｂは、図形合成処理を行い、選択された医用画像及び図形を合成し合成画像を生成する。図形合成部２２Ｂは、様々な態様により、医用画像に図形を重畳して合成画像を生成する。例えば、図形合成部２２Ｂは、医用画像の注目領域に図形を重畳させるようにして合成して合成画像を生成することができる。また、図形合成部２２Ｂは、医用画像の注目領域を外すように図形を重畳し合成して合成画像を生成することができる。また、図形合成部２２Ｂは、医用画像に注目領域とは関係無しに（ランダムに）図形を重畳して合成することができる。図形合成部２２Ｂは、例えば乱数表を使用して図形を重畳させる位置を決定して、医用画像にランダムに図形を重畳させて合成することができる。なお、選択部２２Ａで図形のサイズが受け付けられた場合には、サイズ受付処理で受け付けられたサイズに基づいて、図形を医用画像に合成する。
　また、図形合成部２２Ｂは、選択された図形の位置及びサイズを変えて複数の合成画像を生成してもよい。すなわち、図形合成部２２Ｂは、選択された図形の医用画像において重畳される位置や、選択された図形のサイズを変えて、合成画像の複数のバリエーションを生成してもよい。これにより、より多くの学習データを容易に生成することができる。なお、図形合成部２２Ｂは、ユーザの指定又は自動で合成画像の合成態様を決定し、合成画像を生成する。
　学習部２２Ｃは、学習処理を行い、合成画像を用いて、学習モデル３０に学習を行わせる。具体的には、学習部２２Ｃは、合成画像が入力されて学習モデル３０が出力する推定結果と正解データとの誤差に基づいて、学習モデル３０のパラメータを最適化する。なお、学習部２２Ｃの詳しい説明は後で行う。
　図３は、機械学習システム１０の具体的なデータの流れを説明する図である。なお、以下の説明では、医用画像の一例として超音波画像が使用される場合について説明する。
　選択部２２Ａは、ユーザの選択に応じて、画像データベース１４から超音波画像Ｐ１を選択する。例えば、ユーザは操作部２０を介して超音波画像Ｐ１を選択する。また、選択部２２Ａは、ユーザの選択に応じて、図形データベース１６から一つ又は複数の図形Ｑを選択する。以下に画像データベース１４及び図形データベース１６の具体的な例を説明する。
　図４は、画像データベース１４に記憶されている超音波画像Ｐ１の一例を示す図である。
　超音波画像Ｐ１は、臓器又は病変部が写った注目領域を有する。具体的には、超音波画像Ｐ１は、注目領域Ｔ１、注目領域Ｔ２、注目領域Ｔ３、及び注目領域Ｔ４を有する。注目領域Ｔ１は臓器Ａの画像であり、注目領域Ｔ２は臓器Ｂの画像であり、注目領域Ｔ３は病変Ｃの画像であり、注目領域Ｔ４は病変Ｄの画像である。
　図５は、画像データベース１４の記憶構成の具体例を示す図である。
　画像データベース１４は、複数の超音波画像Ｐを記憶する。超音波画像Ｐの各々には画像ＩＤが付されている。超音波画像Ｐ１の画像ＩＤは００１である。また、画像データベース１４には、超音波画像Ｐ１の画像ＩＤに関連づけて、超音波画像Ｐ１が有する注目領域Ｔ１～Ｔ４の位置がＸ－Ｙ座標によりそれぞれ記憶されている。また、注目領域Ｔ１～Ｔ４の大きさがそれぞれピクセル数により記憶されている。また、注目領域Ｔ１～Ｔ４の種類がそれぞれ示されている。なお、このように、画像ＩＤと関連付けられて画像データベース１４に記憶されている注目領域の位置、注目領域の大きさ、及び注目領域の種類の一部又は全部は、後で説明する学習モデル３０が出力する推定結果に対応させて、機械学習における正解データＦとして使用される。なお、図５では省略されているが、画像データベース１４には、超音波画像Ｐ１以外にも複数の超音波画像Ｐが同様に記憶されている。
　図６は、図形データベース１６の記憶構成の具体例を示す図である。
　図６に示すように、図形データベース１６は、図形ＩＤ、図形、図形の最小値、図形の最大値、及び合成できる領域が関連付けられて登録されている。具体的には、矢印は、図形ＩＤ００１であり、図形の最小値３２ｐｘ、図形の最大値５１２ｐｘであり、合成できる領域は超音波画像の全域である。また、線は、図形ＩＤ００２であり、図形の最小値８ｐｘ、図形の最大値９６０ｐｘであり、合成できる領域は超音波画像の注目領域内である。また、矩形は、図形ＩＤ００３であり、図形の最小値６４ｐｘ、図形の最大値２５６ｐｘであり、合成できる領域は全域である。また、丸印は、図形ＩＤ００４であり、図形の最小値１６ｐｘ、図形の最大値２５６ｐｘであり、合成できる領域は全域である。また、三角形は、図形ＩＤ００５であり、図形の最小値１２８ｐｘ、図形の最大値５１２ｐｘであり、合成できる領域は注目領域以外である。なお、図形データベース１６は、上述した図形以外にも図形を記憶している。
　図３に戻って、選択部２２Ａで選択された超音波画像Ｐ１及び選択された図形Ｑは図形合成部２２Ｂに入力される。図形合成部２２Ｂは、超音波画像Ｐ１と図形Ｑにより合成画像Ｃを生成する。以下に合成画像Ｃの具体例を説明する。
　図７～図１０は、図形合成部２２Ｂで合成が行われた合成画像の例を示す図である。
　図７で示した例では、超音波画像Ｐ１、図形（矢印）Ｑ１、及び図形（線）Ｑ２が選択され、これらを合成することにより合成画像Ｃ１が生成される。
　合成画像Ｃ１では、注目領域Ｔ３の位置に関する情報（Ｘ３、Ｙ３）及び／又は注目領域の大きさに関する情報（Ｚ３ｐｘ）に基づいて、注目領域Ｔ３の近傍に図形Ｑ１が注目領域を指し示すように重畳されている。また、合成画像Ｃ１では、注目領域Ｔ２の位置に関する情報（Ｘ２、Ｙ２）及び／又は注目領域の大きさに関する情報（Ｚ２ｐｘ）に基づいて、注目領域Ｔ２の両端部を示すように図形Ｑ２が重畳されている。このように、合成画像Ｃ１は、医師が実際に超音波画像Ｐ１を観察する際に付すように、超音波画像Ｐ１に図形Ｑ１及び図形Ｑ２が重畳して合成画像Ｃ１が生成されている。
　図８で示した例では、超音波画像Ｐ１、及び図形（矩形）Ｑ３が選択され、これらを合成することにより合成画像Ｃ２が生成される。
　合成画像Ｃ２では、注目領域Ｔ１～Ｔ４の位置及び／又は大きさに関する情報（図５参照）に基づいて、注目領域Ｔ３及びＴ４が矩形の中に入るように図形Ｑ３が重畳されており、また、図形Ｑ３の一部は、注目領域Ｔ１及び注目領域Ｔ２を横切っている。このように、合成画像Ｃ１は、医師が注目領域Ｔ３及びＴ４を観察する場合に補助的に付すように、超音波画像Ｐ１に図形Ｑ３が重畳された合成画像Ｃ２が生成されている。
　図９で示した例では、超音波画像Ｐ１、及び図形（矩形）Ｑ５が選択され、これらを合成することにより合成画像Ｃ３が生成される。
　合成画像Ｃ３では、乱数表などを用いて重畳する位置が決定され、図形Ｑ５がランダムに重畳している。実際には医師は超音波画像に図形を付す場合には、注目領域を指し示すが（例えば注目領域を矩形で囲む、又は矢印で注目領域を示す）、図９に示した場合では注目領域Ｔ１～Ｔ４とは無関係に図形Ｑ５が重畳されている。すなわち、医師が図形を付すのとは異なる形で（注目領域の位置とは無関係に）、図形Ｑ５が超音波画像Ｐ１に重畳している。このような、合成画像Ｃ３を学習データとして用いることによっても、効果的に注目領域の認識を行うことができる。
　図１０で示した例では、超音波画像Ｐ１、図形（矢印）Ｑ６、図形（線）Ｑ７、図形（線）Ｑ８及び図形（矢印）Ｑ９が選択され、これらを合成することにより合成画像Ｃ４が生成される。
　合成画像Ｃ４では、図形Ｑ６及び図形Ｑ８は、注目領域Ｔ１～Ｔ４の位置及び／又は大きさに関する情報（図５参照）に基づいて、注目領域Ｔ１～Ｔ４を外すように重畳されている。また、合成画像Ｃ４では、図形Ｑ７及び図形Ｑ９はランダムに配置される。このように、合成画像Ｃ４は、ランダムに図形Ｑ６～Ｑ９が重畳されており、医師が超音波画像に図形を付す場合とは異なる形で（注目領域の位置と無関係に）、図形Ｑ６～Ｑ９が超音波画像Ｐ１に重畳している。このような、合成画像Ｃ３を学習データとして用いることによっても、効果的に注目領域の認識を行うことができる。
　図３に戻って、図形合成部２２Ｂで合成された合成画像Ｃは、学習モデル３０に入力される。また、選択部２２Ａで選択された超音波画像Ｐ１の注目領域の位置及び注目領域の種類は正解データＦとして学習部２２Ｃに入力される。以下に、学習部２２Ｃによる学習モデル３０の機械学習に関して説明する。
　図１１は、学習部２２Ｃ及び学習モデル３０の主要な機能を示す機能ブロック図である。学習部２２Ｃは、誤差算出部５４、及びパラメータ更新部５６を備える。また、学習部２２Ｃには正解データＦが入力される。
　学習モデル３０は、超音波画像Ｐ内の注目領域の位置や注目領域の種別を画像認識する認識器である。学習モデル３０は、複数のレイヤー構造を有し、複数の重みパラメータを保持している。学習モデル３０は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化する。
　この学習モデル３０は、入力層５２Ａ、中間層５２Ｂ、及び出力層５２Ｃを備える。入力層５２Ａ、中間層５２Ｂ、及び出力層５２Ｃは、それぞれ複数の「ノード」が「エッジ」で結ばれる構造となっている。入力層５２Ａには、学習対象である合成画像Ｃが入力される。
　中間層５２Ｂは、入力層５２Ａから入力した画像から特徴を抽出する層である。中間層５２Ｂは、畳み込み層とプーリング層とを１セットとする複数セットと、全結合層とを有する。畳み込み層は、前の層で近くにあるノードに対してフィルタを使用した畳み込み演算を行い、特徴マップを取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。全結合層は、直前の層（ここではプーリング層）のノードの全てを結合する。畳み込み層は、画像からのエッジ抽出等の特徴抽出の役割を担い、プーリング層は抽出された特徴が、平行移動等による影響を受けないようにロバスト性を与える役割を担う。なお、中間層５２Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合、及び正規化層も含まれる。
　出力層５２Ｃは、中間層５２Ｂにより抽出された特徴に基づいて超音波画像Ｐ内の注目領域の位置及び種別の認識結果を出力する層である。
　学習済みの学習モデル３０は、注目領域の位置及び種別の認識結果を出力する。
　学習前の学習モデル３０の各畳み込み層に適用されるフィルタの係数、オフセット値、及び全結合層における次の層との接続の重みは、任意の初期値がセットされる。
　誤差算出部５４は、学習モデル３０の出力層５２Ｃから出力される認識結果と、入力画像に対する正解データＦとを取得し、両者間の誤差を算出する。誤差の算出方法は、例えばソフトマックスクロスエントロピー、又は最小二乗誤差（MSE:Mean Squared Error）等が考えられる。なお、入力画像（合成画像Ｃ1）の正解データＦとしては、例えば、注目領域Ｔ１～４の位置及び種類を示すデータである。
　パラメータ更新部５６は、誤差算出部５４により算出された誤差を元に、誤差逆伝播法により学習モデル３０の重みパラメータを調整する。
　このパラメータの調整処理を繰り返し行い、学習モデル３０の出力と正解データＦとの差が小さくなるまで繰り返し学習を行う。
　学習部２２Ｃは、少なくとも合成画像Ｃ１及び正解データＦのデータセットを使用し、学習モデル３０の各パラメータを最適化する。学習部２２Ｃの学習は、一定の数のデータセットを抽出し、抽出したデータセットによって学習のバッチ処理を行い、これを繰り返すミニバッチ法を用いてもよい。
　次に、機械学習システム１０を用いて行われる学習方法を説明する。なお、学習方法の各工程は、プロセッサ２２がプログラムを実行することにより行われる。
　図１２は、機械学習システム１０を用いて行われる学習方法を説明するフロー図である。
　先ず、選択部２２Ａは超音波画像（医用画像）の選択を受け付ける（選択受付工程：ステップＳ１０）。例えば、ユーザは、表示部２８に表示された超音波画像を確認し、操作部２０を介して超音波画像を選択する。次に、選択部２２Ａは図形の選択を受け付ける（選択工程：ステップＳ１１）。例えば、ユーザは、表示部２８に表示された図形を確認し、操作部２０を介して図形を選択する。この場合、選択した図形のサイズも選択し、選択されたサイズにより図形を重畳させて合成してもよい。その後、図形合成部２２Ｂは、選択された超音波画像及び選択された図形を合成して合成画像を生成する（図形合成工程：ステップＳ１２）。その後、学習部２２Ｃは合成画像を用いて学習モデル３０に機械学習を行わせる（学習工程：ステップＳ１３）。
　以上で説明したように、本実施形態によれば、画像データベース１４に記憶されている医用画像と図形データベース１６に記憶されている図形とが選択され、その医用画像と図形とにより合成画像が生成される。そして本実施形態は、その合成画像を用いて学習モデル３０に学習が行われるので、効率的に容易に大量の合成された医用画像を学習させることができる。
　＜第２の実施形態＞
　次に、第２の実施形態に関して説明する。本実施形態では、選択された超音波画像は少なくとも２回機械学習に使用される。例えば、本実施形態では、第１回は図形が合成されていない超音波画像、第２回は図形が合成された超音波画像が機械学習に用いられる。
　図１３は、本実施形態の機械学習システム１０の具体的なデータの流れを説明する図である。なお、図３で既に説明を行った箇所は同じ符号を付し説明を省略する。
　本実施形態の機械学習システム１０では、学習モデル３０に合成画像Ｃ及び超音波画像Ｐ１が入力される。ここで、学習モデル３０は、入力された画像毎に推定結果を出力する。具体的には、学習モデル３０は、合成画像Ｃが入力されて推定結果を出力し、超音波画像Ｐ１が入力されて推定結果が出力する。
　図１４は、本実施形態の学習部２２Ｃ及び学習モデル３０の主要な機能を示す機能ブロック図である。なお、図１１で既に説明を行った箇所は同じ符号を付し説明を省略する。
　本実施形態では、合成画像Ｃ１及び超音波画像Ｐ１を用いて機械学習が行われる。
　具体的には、入力層５２Ａには、合成画像Ｃ１及び超音波画像Ｐ１が入力される。学習モデル３０は、合成画像Ｃ１が入力されると、合成画像Ｃ１に対しての推定結果を出力する。また、学習モデル３０は、超音波画像Ｐ１が入力されると、超音波画像Ｐ１に対しての推定結果を出力する。そして、その推定結果と正解データＦとの誤差が算出され、その誤差に基づいてパラメータがパラメータ更新部５６により更新される。次に、超音波画像Ｐ１が学習モデル３０に入力され出力層５２Ｃより、注目領域の位置及び種別などが推定されて出力される。そして、その推定結果と正解データとの誤差が算出され、その誤差に基づいてパラメータがパラメータ更新部５６により更新される。なお、正解データＦは超音波画像Ｐ１の注目領域の位置及び種別を示すデータであるので、合成画像Ｃ１と超音波画像Ｐ１の機械学習において共通に使用することができる。
　図１５は、機械学習システム１０を用いて行われる学習方法を説明するフロー図である。
　先ず、選択部２２Ａは超音波画像の選択を受け付ける（ステップＳ２０）。次に、選択部２２Ａは図形の選択を受け付ける（ステップＳ２１）。その後、図形合成部２２Ｂは、選択された超音波画像及び選択された図形を合成して合成画像を生成する（ステップＳ２２）。次に学習部２２Ｃは、合成画像を用いて学習モデル３０に機械学習を行わせる。（ステップＳ２３）。その後、学習部２２Ｃは、合成されていない超音波画像を使用して、学習モデル３０に機械学習を行わせる（ステップＳ２４）。
　ここで、本実施形態では、合成画像及び図形が合成されていない超音波画像を使用して機械学習が行われる。以下に合成画像及び超音波画像の機械学習への用い方に関して説明する。
　図１６は、本発明の学習データの例を概念的に説明する図である。
　図１６（Ａ）では、第１の実施形態で使用される学習データが示されている。第１の実施形態では、合成画像が学習データとして使用されるので、合成画像で構成されたミニバッチが用意される。図１６（Ａ）に示した場合では、Ａバッチ８０、Ｂバッチ８２、Ｃバッチ８４、Ｄバッチ８６、Ｅバッチ８８の学習用データが用意され、各バッチは例えば２００枚の合成画像から構成される。したがって、１エポックでは、Ａバッチ８０、Ｂバッチ８２、Ｃバッチ８４、Ｄバッチ８６、Ｅバッチ８８を一通り、学習モデル３０に入力して、機械学習が行われる。
　図１６（Ｂ）では、第２の実施形態で使用される学習データが示されている。第２の実施形態では、合成画像及び図形が合成されていない超音波画像が学習データとして使用されるので、合成画像と超音波画像とで構成されたミニバッチが用意される。図１６（Ｂ）に示した場合では、Ａバッチ８０、ａバッチ９０、Ｂバッチ８２、ｂバッチ９２、Ｃバッチ８４、ｃバッチ９４、Ｄバッチ８６、ｄバッチ９６、Ｅバッチ８８、ｅバッチ９８の学習用データが用意される。なお、Ａバッチ８０、Ｂバッチ８２、Ｃバッチ８４、Ｄバッチ８６、Ｅバッチ８８の各々は、例えば２００枚の合成画像から構成される。また、ａバッチ９０、ｂバッチ９２、ｃバッチ９４、ｄバッチ９６、ｅバッチ９８の各々は例えば２００枚の超音波画像から構成される。なお、Ａバッチ８０とａバッチ９０とは同一の超音波画像が使用されている。具体的には、Ａバッチ８０を構成する合成画像に用いられた超音波画像がａバッチ９０を構成しており、他のバッチにおいても同様である。１エポックでは、Ａバッチ８０、ａバッチ９０、Ｂバッチ８２、ｂバッチ９２、Ｃバッチ８４、ｃバッチ９４、Ｄバッチ８６、ｄバッチ９６、Ｅバッチ８８、ｅバッチ９８を一通り、学習モデル３０に入力して、機械学習が行われる。
　図１６（Ｃ）では、第２の実施形態で使用される学習データの他の例が示されている。図１６（Ｃ）に示した場合では、Ａバッチ８０、Ｂバッチ８２、Ｃバッチ８４、Ｄバッチ８６、Ｅバッチ８８で構成される第１のエポックと、ａバッチ９０、ｂバッチ９２、ｃバッチ９４、ｄバッチ９６、ｅバッチ９８で構成される第２のエポックとが行われる。なお、図１６（Ｂ）で説明をしたように、Ａバッチ８０とａバッチ９０では同一の超音波画像が使用される。
　以上で説明したように、本実施形態では、合成画像と合成されていない超音波画像とが学習データとして使用されるので、重畳表示される図形にかかわらず注目領域の位置及び注目領域の種類を認識する学習モデル３０の学習をより効果的に行うことができる。
　＜第３の実施形態＞
　次に、第３の実施形態に関して説明する。本実施形態では、上述した機械学習システム１０により機械学習が行われた学習済みモデルで構成される認識器に関して説明する。本認識器は、超音波内視鏡システムに搭載される。
　図１７は、上述した機械学習システム１０で機械学習が完了した学習モデル３０（学習済みモデル）を認識器２０６として含む超音波内視鏡システム（超音波診断装置）の全体構成を示す概略図である。
　図１７に示すように超音波内視鏡システム１０２は、超音波スコープ１１０と、超音波画像を生成する超音波用プロセッサ装置１１２と、内視鏡画像を生成する内視鏡用プロセッサ装置１１４と、体腔内を照明するための照明光を超音波スコープ１１０に供給する光源装置１１６と、超音波画像及び内視鏡画像を表示するモニタ１１８と、を備えている。
　超音波スコープ１１０は、被検体の体腔内に挿入される挿入部１２０と、挿入部１２０の基端部に連設され、術者が操作を行う手元操作部１２２と、手元操作部１２２に一端が接続されたユニバーサルコード１２４と、を備えている。ユニバーサルコード１２４の他端には、超音波用プロセッサ装置１１２に接続される超音波用コネクタ１２６と、内視鏡用プロセッサ装置１１４に接続される内視鏡用コネクタ１２８と、光源装置１１６に接続される光源用コネクタ１３０とが設けられている。
　超音波スコープ１１０は、これらの各コネクタ１２６、１２８、１３０を介して超音波用プロセッサ装置１１２、内視鏡用プロセッサ装置１１４及び光源装置１１６に着脱自在に接続される。また、光源用コネクタ１３０には、送気送水用のチューブ１３２と吸引用のチューブ１３４とが接続される。
　モニタ１１８は、超音波用プロセッサ装置１１２及び内視鏡用プロセッサ装置１１４により生成された各映像信号を受信して超音波画像及び内視鏡画像を表示する。超音波画像及び内視鏡画像の表示は、いずれか一方のみの画像を適宜切り替えてモニタ１１８に表示したり、両方の画像を同時に表示したりすること等が可能である。
　手元操作部１２２には、送気送水ボタン１３６及び吸引ボタン１３８が並設されるとともに、一対のアングルノブ１４２及び処置具挿入口１４４が設けられている。
　挿入部１２０は、先端と基端と長手軸１２０ａとを有し、先端側から順に、硬質部材で構成される先端部本体１５０と、先端部本体１５０の基端側に連設された湾曲部１５２と、湾曲部１５２の基端側と手元操作部１２２の先端側との間を連結し、細長かつ長尺の可撓性を有する軟性部１５４とから構成されている。即ち、先端部本体１５０は、挿入部１２０の長手軸１２０ａ方向の先端側に設けられている。また、湾曲部１５２は、手元操作部１２２に設けられた一対のアングルノブ１４２を回動することによって遠隔的に湾曲操作される。これにより、先端部本体１５０を所望の方向に向けることができる。
　先端部本体１５０には、超音波探触子１６２と、超音波探触子１６２を覆い包む袋状のバルーン１６４が装着されている。バルーン１６４は、送水タンク１７０から水が供給され、又は吸引ポンプ１７２によりバルーン１６４内の水が吸引されることで、膨張又は収縮することができる。バルーン１６４は、超音波観察時に超音波及び超音波エコー（エコー信号）の減衰を防ぐために、体腔内壁に当接するまで膨張させられる。
　また、先端部本体１５０には、対物レンズ及び撮像素子等を備えた観察部と照明部とを有する、図示しない内視鏡観察部が装着されている。内視鏡観察部は、超音波探触子１６２の後方（手元操作部１２２側）に設けられている。
　図１８は、超音波用プロセッサ装置の実施形態を示すブロック図である。
　図１８に示す超音波用プロセッサ装置１１２は、順次取得した時系列の超音波画像に基づいて、超音波画像内の注目領域の位置及び種類を認識し、認識結果を示す情報をユーザに報知するものである。
　図１８に示す超音波用プロセッサ装置１１２は、送受信部２００、画像生成部２０２、ＣＰＵ（Central Processing Unit）２０４、認識器２０６、表示制御部２１０、及びメモリ２１２から構成され、各部の処理は、１又は複数のプロセッサにより実現される。なお、認識器２０６は、上述した機械学習システム１０で学習が行われた学習モデル３０がパラメータをそのまま保持して、搭載されている。
　ＣＰＵ２０４は、メモリ２１２に記憶された本発明に係る超音波画像処理プログラムを含む各種のプログラムに基づいて動作し、送受信部２００、画像生成部２０２、認識器２０６、及び表示制御部２１０を統括制御し、また、これらの各部の一部として機能する。
　送受信部２００及び画像生成部２０２は、時系列の超音波画像を順次取得する。
　送受信部２００の送信部は、超音波スコープ１１０の超音波探触子１６２の複数の超音波トランスデューサに印加する複数の駆動信号を生成し、図示しない走査制御部によって選択された送信遅延パターンに基づいて複数の駆動信号にそれぞれの遅延時間を与えて複数の駆動信号を複数の超音波トランスデューサに印加する。
　送受信部２００の受信部は、超音波探触子１６２の複数の超音波トランスデューサからそれぞれ出力される複数の検出信号を増幅し、アナログの検出信号をディジタルの検出信号（ＲＦ（Radio Frequency）データともいう）に変換する。このＲＦデータは、画像生成部２０２に入力される。
　画像生成部２０２は、走査制御部により選択された受信遅延パターンに基づいて、ＲＦデータにより表される複数の検出信号にそれぞれの遅延時間を与え、それらの検出信号を加算することにより、受信フォーカス処理を行う。この受信フォーカス処理によって、超音波エコーの焦点が絞り込まれた音線データを形成する。
　画像生成部２０２は、さらに音線データに対して、ＳＴＣ（Sensitivity Timegain Control）によって、超音波の反射位置の深度に応じて距離による減衰の補正をした後、ローパスフィルタ等によって包絡線検波処理を施すことにより包絡線データを生成し、１フレーム分、より好ましくは複数フレーム分の包絡線データを、図示しないシネメモリに格納する。画像生成部２０２は、シネメモリに格納された包絡線データに対して、Ｌｏｇ（対数）圧縮やゲイン調整等のプリプロセス処理を施してＢモード画像を生成する。
　このようにして、送受信部２００及び画像生成部２０２は、時系列のＢモード画像（以下、「超音波画像」という）を順次取得する。
　認識器２０６は、超音波画像に基づいて超音波画像内の注目領域の位置に関する情報を認識する処理と、超音波画像に基づいて注目領域を複数のクラス（種類）のうちのいずれかのクラスに分類する処理とを行うものである。認識器２０６は、学習済みモデルで構成され、上述の機械学習システム１０で機械学習が行われている。
　本例の注目領域は、超音波画像（Ｂモード画像の断層像）内の各種の臓器であり、例えば、膵臓、主膵管、脾臓、脾静脈、脾動脈、胆嚢等である。
　認識器２０６は、時系列の超音波画像を順次入力すると、入力する超音波画像毎に注目領域の位置を認識し、その位置に関する情報を出力するとともに、注目領域が複数のクラスのうちのいずれのクラスに属するかを認識し、その認識したクラスを示す情報（クラス情報）を出力する。
　注目領域の位置としては、例えば、注目領域を囲む矩形の中心位置とすることができる。また、クラス情報は、本例では臓器の種類を示す情報である。
　表示制御部２１０は、時系列の超音波画像を表示部であるモニタ１１８に表示させる第１表示制御部２１０Ａと、注目領域に関する情報をモニタ１１８に表示させる第２表示制御部２１０Ｂとから構成されている。
　第１表示制御部２１０Ａは、送受信部２００及び画像生成部２０２により順次取得した超音波画像をモニタ１１８に表示させる。本例では、超音波断層像を示す動画がモニタ１１８に表示される。
　また、第１表示制御部２１０Ａは、超音波スコープ１１０の手元操作部１２２からフレーズ指令を受け付ける受付処理を行い、例えば、手元操作部１２２のフリースボタンが操作され、フリーズ指示を受け付けると、モニタ１１８に表示する超音波画像の順次表示を１枚の超音波画像（現時点の超音波画像）による固定表示に切り替える処理を行う。
　第２表示制御部２１０Ｂは、認識器２０６により認識された注目領域の分類を示すクラス情報を、モニタ１１８に表示された超音波画像の注目領域の位置に重畳表示させる。
　また、第２表示制御部２１０Ｂは、フリーズ指示を受け付けると、モニタ１１８に表示された超音波画像が静止画として固定表示されている期間、クラス情報の注目領域に対する相対位置も固定する。
　以上で説明したように本実施形態では、機械学習システム１０で機械学習が行われた学習モデル３０が認識器２０６として使用される。これにより、超音波画像に写っている注目領域の認識を精度良く行うことができる。
　＜その他＞
　上記実施形態において、各種の処理を実行する処理部（例えば選択部２２Ａ、図形合成部２２Ｂ、及び学習部２２Ｃ）（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０　　　　：機械学習システム
１２　　　　：通信部
１４　　　　：画像データベース
１６　　　　：図形データベース
２０　　　　：操作部
２２　　　　：プロセッサ
２２Ａ　　　：選択部
２２Ｂ　　　：図形合成部
２２Ｃ　　　：学習部
２４　　　　：ＲＡＭ
２６　　　　：ＲＯＭ
２８　　　　：表示部
３０　　　　：学習モデル
３２　　　　：バス

Claims (12)

  1. 　複数の医用画像が記憶された画像データベースと、前記医用画像上に重畳させる図形が記憶された図形データベースと、プロセッサと、学習モデルとを備える機械学習システムであって、
    　前記プロセッサは、
    　前記画像データベースに記憶されている前記医用画像の選択、及び前記図形データベースに記憶されている前記図形の選択を受け付ける選択受付処理と、
    　前記選択された前記医用画像及び前記図形を合成し合成画像を生成する図形合成処理と、
    　前記合成画像を用いて、前記学習モデルに学習を行わせる学習処理と、
    　を行う機械学習システム。
  2. 　前記学習処理では、前記選択受付処理で受け付けられた前記医用画像は少なくとも２回使用され、第１回は前記図形合成処理が行われていない前記医用画像、第２回は前記図形合成処理が行われた前記合成画像で前記学習モデルに学習を行わせる請求項１に記載の機械学習システム。
  3. 　前記プロセッサは、前記図形合成処理で合成する前記図形のサイズを受け付けるサイズ受付処理を行い、
    　前記図形合成処理では、前記サイズ受付処理で受け付けられたサイズに基づいて、前記図形を前記医用画像に合成する請求項１又は２に記載の機械学習システム。
  4. 　前記図形データベースは、前記図形のサイズの最大値及び最小値、及び前記医用画像に合成できる領域情報のうち少なくとも一方を、前記図形と関連付けて記憶する請求項１から３のいずれか１項に記載の機械学習システム。
  5. 　前記画像データベースは、前記医用画像と関連付けて注目領域に関する情報を記憶し、
    　前記図形合成処理では、前記注目領域に関する情報を用いて、前記図形の少なくとも一部が前記注目領域に重畳するように合成が行われる請求項１から４のいずれか１項に記載の機械学習システム。
  6. 　前記画像データベースは、前記医用画像と関連付けて注目領域に関する情報を記憶し、
    　前記図形合成処理では、前記注目領域に関する情報を用いて、前記図形が前記注目領域を外して合成が行われる請求項１から４のいずれか１項に記載の機械学習システム。
  7. 　前記図形合成処理では、選択された前記図形の位置及びサイズを変えて複数の前記合成画像が生成され、
    　前記学習処理では、複数の前記合成画像を用いて、前記学習モデルに学習を行わせる請求項１から６のいずれか１項に記載の機械学習システム。
  8. 　前記医用画像は、超音波診断装置から得られる画像である請求項１から７のいずれか１項に記載の機械学習システム。
  9. 　請求項１から８のいずれか１項に記載の機械学習システムで学習が行われ、図形が付された医用画像から注目領域を認識する認識器。
  10. 　複数の医用画像が記憶された画像データベースと、前記医用画像上に重畳させる図形が記憶された図形データベースと、プロセッサと、学習モデルとを備える機械学習システムを用いた学習方法であって、
    　前記プロセッサにより、
    　前記画像データベースに記憶されている前記医用画像の選択、及び前記図形データベースに記憶されている前記図形の選択を受け付ける選択受付工程と、
    　前記選択された前記医用画像及び前記図形を合成し合成画像を生成する図形合成工程と、
    　前記合成画像を用いて、前記学習モデルに学習を行わせる学習工程と、
    　が行われる学習方法。
  11. 　複数の医用画像が記憶された画像データベースと、前記医用画像上に重畳させる図形が記憶された図形データベースと、プロセッサと、学習モデルとを備える機械学習システムを用いた学習方法を実行させるプログラムであって、
    　前記プロセッサに、
    　前記画像データベースに記憶されている前記医用画像の選択、及び前記図形データベースに記憶されている前記図形の選択を受け付ける選択受付工程と、
    　前記選択された前記医用画像及び前記図形を合成し合成画像を生成する図形合成工程と、
    　前記合成画像を用いて、前記学習モデルに学習を行わせる学習工程と、
    　を実行させるプログラム。
  12. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１１に記載のプログラムが記録された記録媒体。
PCT/JP2022/008167 2021-03-01 2022-02-28 機械学習システム、認識器、学習方法、及びプログラム WO2022186110A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023503803A JPWO2022186110A1 (ja) 2021-03-01 2022-02-28
US18/457,374 US20230410482A1 (en) 2021-03-01 2023-08-29 Machine learning system, recognizer, learning method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021031699 2021-03-01
JP2021-031699 2021-03-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/457,374 Continuation US20230410482A1 (en) 2021-03-01 2023-08-29 Machine learning system, recognizer, learning method, and program

Publications (1)

Publication Number Publication Date
WO2022186110A1 true WO2022186110A1 (ja) 2022-09-09

Family

ID=83153756

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008167 WO2022186110A1 (ja) 2021-03-01 2022-02-28 機械学習システム、認識器、学習方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230410482A1 (ja)
JP (1) JPWO2022186110A1 (ja)
WO (1) WO2022186110A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016157499A1 (ja) * 2015-04-02 2016-10-06 株式会社日立製作所 画像処理装置、物体検知装置、画像処理方法
JP2019087078A (ja) * 2017-11-08 2019-06-06 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
WO2020075531A1 (ja) * 2018-10-10 2020-04-16 株式会社島津製作所 画像作成装置、画像作成方法および学習済みモデルの作成方法
JP2021005266A (ja) * 2019-06-27 2021-01-14 株式会社Ｓｃｒｅｅｎホールディングス 画像判別モデル構築方法、画像判別モデル、および画像判別方法
JP2021013685A (ja) * 2019-07-16 2021-02-12 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016157499A1 (ja) * 2015-04-02 2016-10-06 株式会社日立製作所 画像処理装置、物体検知装置、画像処理方法
JP2019087078A (ja) * 2017-11-08 2019-06-06 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
WO2020075531A1 (ja) * 2018-10-10 2020-04-16 株式会社島津製作所 画像作成装置、画像作成方法および学習済みモデルの作成方法
JP2021005266A (ja) * 2019-06-27 2021-01-14 株式会社Ｓｃｒｅｅｎホールディングス 画像判別モデル構築方法、画像判別モデル、および画像判別方法
JP2021013685A (ja) * 2019-07-16 2021-02-12 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAHAPATRA SMRUTI; BALAMURUGAN MANISH; CHUNG KATHRYN; KUPPOOR VENKAT; CURRY ELI; AGHABAGLOU FARIBA; PARVEZ KAOVASIA TARANA; ACORD M: "Automatic detection of cotton balls during brain surgery: where deep learning meets ultrasound imaging to tackle foreign objects", PROGRESS IN BIOMEDICAL OPTICS AND IMAGING, SPIE - INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING, BELLINGHAM, WA, US, vol. 11602, 26 February 2021 (2021-02-26), BELLINGHAM, WA, US , pages 116021C - 116021C-8, XP060139893, ISSN: 1605-7422, ISBN: 978-1-5106-0027-0, DOI: 10.1117/12.2580887 *

Also Published As

Publication number Publication date
JPWO2022186110A1 (ja) 2022-09-09
US20230410482A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
US9173632B2 (en) Ultrasonic diagnosis system and image data display control program
US9161741B2 (en) Ultrasonic image processing apparatus, ultrasonic diagnostic apparatus, and ultrasonic image processing method
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
JP7218425B2 (ja) 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
CN111035408B (zh) 用于超声探头定位反馈的增强的可视化的方法和系统
JP6125380B2 (ja) 超音波診断装置、医用画像処理装置及び画像処理プログラム
JP2010284218A (ja) 超音波診断装置及び医用画像処理装置
US20200334818A1 (en) Medical image processing apparatus
JP6513220B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JPH10262963A (ja) 超音波画像診断装置
JP7158596B2 (ja) 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
JP2007268148A (ja) 超音波診断装置
WO2022186110A1 (ja) 機械学習システム、認識器、学習方法、及びプログラム
US20240000432A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program
US20220358750A1 (en) Learning device, depth information acquisition device, endoscope system, learning method, and program
WO2022234742A1 (ja) 表示処理装置、方法及びプログラム
JP7292184B2 (ja) 学習装置、学習方法および学習済みモデル
JP2004209277A (ja) 超音波画像診断装置
US20240054707A1 (en) Moving image processing apparatus, moving image processing method and program, and moving image display system
WO2022239529A1 (ja) 医療画像処理装置、医療画像処理方法、及びプログラム
WO2022181517A1 (ja) 医療画像処理装置、方法及びプログラム
WO2022239530A1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JP6530660B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
US11883241B2 (en) Medical image diagnostic apparatus, ultrasonic diagnostic apparatus, medical imaging system, and imaging control method
WO2022044642A1 (ja) 学習装置、学習方法、プログラム、学習済みモデル、及び内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22763166

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023503803

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22763166

Country of ref document: EP

Kind code of ref document: A1