WO2024004597A1 - 学習装置、学習済みモデル、医用診断装置、超音波内視鏡装置、学習方法、及びプログラム - Google Patents

学習装置、学習済みモデル、医用診断装置、超音波内視鏡装置、学習方法、及びプログラム Download PDF

Info

Publication number
WO2024004597A1
WO2024004597A1 PCT/JP2023/021602 JP2023021602W WO2024004597A1 WO 2024004597 A1 WO2024004597 A1 WO 2024004597A1 JP 2023021602 W JP2023021602 W JP 2023021602W WO 2024004597 A1 WO2024004597 A1 WO 2024004597A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
ultrasound
radial
ultrasound image
scale
Prior art date
Application number
PCT/JP2023/021602
Other languages
English (en)
French (fr)
Inventor
稔宏 臼田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2024004597A1 publication Critical patent/WO2024004597A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters

Definitions

  • the technology of the present disclosure relates to a learning device, a learned model, a medical diagnostic device, an ultrasound endoscope device, a learning method, and a program.
  • JP-A-09-084793 discloses an ultrasonic image processing device.
  • an ultrasonic probe control unit drives the ultrasonic probe so as to perform a three-dimensional scan of a subject by combining a radial scan and a linear scan.
  • the ultrasonic observation apparatus uses an echo signal of the subject obtained by three-dimensional scanning of the ultrasonic probe via an ultrasonic probe controller. A plurality of consecutive ultrasound tomographic images are created one after another and output to a tomographic image monitor in sequence. Then, the tomographic image monitor sequentially displays the ultrasound tomographic images.
  • International Publication No. 2022/071326 discloses an information processing device.
  • the information processing device described in International Publication No. 2022/071326 includes an image acquisition section and a first position information output section.
  • the image acquisition unit acquires a catheter image obtained by a radial scanning type image acquisition catheter.
  • the first position information output unit inputs the acquired catheter image to a medical device trained model that outputs first position information regarding the position of the medical device included in the catheter image when the catheter image is input. 1 Output location information.
  • JP 2000-316864A discloses an ultrasonic diagnostic device.
  • the ultrasonic diagnostic apparatus described in Japanese Patent Application Laid-Open No. 2000-316864 includes an ultrasonic observation device that transmits and receives ultrasonic waves and obtains real-time echo images (ultrasonic tomographic images), and It has an image processing device that performs various image processing based on the data.
  • One embodiment of the technology of the present disclosure provides a trained model of a lesion appearing in a radial ultrasound image without using a trained model obtained by training the model only on radial ultrasound images.
  • the present invention provides a learning device, a learned model, a medical diagnostic device, an ultrasonic endoscope device, a learning method, and a program that can contribute to identification using the .
  • a first aspect of the technology of the present disclosure includes a first processor, the first processor acquires a plurality of medical images to which an annotation that specifies a lesion is added, and trains a model using the acquired plurality of medical images.
  • the medical image is generated based on at least one convex ultrasound image and is an image that imitates at least a portion of the radial ultrasound image.
  • a second aspect according to the technology of the present disclosure is the learning according to the first aspect, in which the plurality of medical images include a circular image generated by combining a plurality of convex ultrasound images. It is a device.
  • a third aspect according to the technology of the present disclosure is the learning device according to the second aspect, in which the scale of the circular image is adjusted based on the scale of the radial ultrasound image.
  • the circular image is stored in the first memory in advance, and the first processor acquires the circular image from the first memory and models the acquired circular image.
  • This is a learning device according to a second aspect or a third aspect in which the learning device is made to learn.
  • a fifth aspect according to the technology of the present disclosure is any one of the first to fourth aspects, wherein the plurality of medical images include rotated images obtained by rotating convex ultrasound images. This is a learning device related to.
  • a sixth aspect according to the technology of the present disclosure is a learning device according to the fifth aspect, in which the scale of the rotated image is adjusted based on the scale of the radial ultrasound image.
  • the rotated image is stored in advance in the second memory, and the first processor acquires the rotated image from the second memory and causes the model to learn the acquired rotated image.
  • This is a learning device according to a fifth aspect or a sixth aspect.
  • An eighth aspect of the technology of the present disclosure is that the plurality of medical images include scale-adjusted images obtained by adjusting the scale of the convex ultrasound image based on the scale of the radial ultrasound image.
  • This is a learning device according to any one of the first to seventh aspects.
  • a ninth aspect of the technology of the present disclosure is that the scale adjusted image is stored in advance in the third memory, and the first processor acquires the scale adjusted image from the third memory and models the acquired scale adjusted image.
  • This is a learning device according to an eighth aspect.
  • a tenth aspect of the technology of the present disclosure is that the first processor randomly selects one generation method from a plurality of generation methods for generating a medical image based on at least one convex ultrasound image.
  • This is a learning device according to a first aspect that acquires a medical image by generating it according to a generation method and causes a model to learn the acquired medical image.
  • the plurality of generation methods include a first generation method, a second generation method, and a third generation method, and the first generation method generates a plurality of convex ultrasound images.
  • the second generation method includes generating a circular image as a medical image by combining the images
  • the second generation method includes generating a rotated image obtained by rotating the convex ultrasound image as a medical image
  • the third generation method includes:
  • the learning device according to a tenth aspect includes generating a scale-adjusted image as a medical image by adjusting the scale of a convex ultrasound image based on the scale of a radial ultrasound image.
  • a twelfth aspect according to the technology of the present disclosure is the learning device according to the eleventh aspect, in which the first generation method includes adjusting the scale of the circular image based on the scale of the radial ultrasound image.
  • a thirteenth aspect according to the technology of the present disclosure is the learning according to the eleventh aspect or the twelfth aspect, in which the second generation method includes adjusting the scale of the rotated image based on the scale of the radial ultrasound image. It is a device.
  • the first processor acquires at least one first ultrasound image obtained by the first radial ultrasound endoscope, and A learning device according to any one of the first to thirteenth aspects that causes a model to learn.
  • the first processor generates a virtual ultrasound image that is generated based on volume data representing the subject and that imitates at least a portion of a radial ultrasound image.
  • a learning device according to any one of the first to fourteenth aspects that acquires and causes a model to learn the acquired virtual ultrasound images.
  • a 16th aspect of the technology of the present disclosure is a learned model obtained by the learning device according to any one of the 1st to 15th aspects causing a model to learn a plurality of medical images. It's a model.
  • a seventeenth aspect of the technology of the present disclosure is a trained model having a data structure used for processing to identify a lesion from a second ultrasound image obtained by a second radial ultrasound endoscope, a data structure is obtained by training a model on a plurality of medical images annotated to identify a lesion, the medical image is generated based on at least one convex ultrasound image, and the medical image is generated based on at least one convex ultrasound image;
  • This is a trained model that is an image that imitates at least a portion of a sound wave image.
  • An eighteenth aspect according to the technology of the present disclosure includes the trained model according to the sixteenth aspect or the seventeenth aspect, and a second processor, the second processor is configured to operate a third radial ultrasound endoscope.
  • This is a medical diagnostic device that acquires a third ultrasound image obtained by and detects a location corresponding to a lesion from the acquired third ultrasound image according to a learned model.
  • a nineteenth aspect according to the technology of the present disclosure includes the learned model according to the sixteenth aspect or the seventeenth aspect, a fourth radial ultrasound endoscope, and a third processor, the third processor is an ultrasound endoscope that acquires a fourth ultrasound image obtained by a fourth radial ultrasound endoscope, and detects a location corresponding to a lesion from the acquired fourth ultrasound image according to a trained model. It is a mirror device.
  • a 20th aspect of the technology of the present disclosure includes acquiring a plurality of medical images to which an annotation for specifying a lesion has been added, and having a model learn the acquired plurality of medical images, so that the medical image is , is a learning method in which the image is generated based on at least one convex-type ultrasound image, and is an image that imitates at least a portion of a radial-type ultrasound image.
  • a twenty-first aspect of the technology of the present disclosure is a program for causing a computer to execute processing, and the processing includes acquiring a plurality of medical images to which an annotation for specifying a lesion has been added, and the acquired plurality of medical images.
  • the medical image is generated based on at least one convex ultrasound image, and is an image that imitates at least a part of the radial ultrasound image.
  • FIG. 1 is a conceptual diagram showing an example of a mode in which an endoscope system is used.
  • FIG. 1 is a conceptual diagram showing an example of the overall configuration of an endoscope system.
  • FIG. 1 is a block diagram showing an example of the configuration of an ultrasound endoscope device.
  • FIG. 2 is a block diagram showing an example of the configuration of a learning device. It is a conceptual diagram which shows an example of the processing content of the acquisition part and learning execution part of a learning device.
  • FIG. 2 is a conceptual diagram showing an example of how to create a circular image, a scale adjustment image, a rotated image, a radial ultrasound image, and a virtual image used for NN learning.
  • FIG. 1 is a conceptual diagram showing an example of a mode in which an endoscope system is used.
  • FIG. 1 is a conceptual diagram showing an example of the overall configuration of an endoscope system.
  • FIG. 1 is a block diagram showing an example of the configuration of an ultrasound endoscope device.
  • 2 is a conceptual diagram showing an example of processing contents of a generation unit, a detection unit, and a control unit of the processing device.
  • 3 is a flowchart illustrating an example of the flow of learning execution processing. It is a flowchart which shows an example of the flow of lesion detection processing. It is a conceptual diagram which shows an example of the processing content of the acquisition part based on the 1st modification. It is a flowchart which shows an example of the flow of learning execution processing concerning a 1st modification.
  • CPU is an abbreviation for "Central Processing Unit”.
  • GPU is an abbreviation for “Graphics Processing Unit.”
  • TPU is an abbreviation for “Tensor Processing Unit”.
  • RAM is an abbreviation for "Random Access Memory.”
  • NVM is an abbreviation for “Non-volatile memory.”
  • EEPROM is an abbreviation for "Electrically Erasable Programmable Read-Only Memory.”
  • ASIC is an abbreviation for “Application Specific Integrated Circuit.”
  • PLD is an abbreviation for “Programmable Logic Device”.
  • FPGA is an abbreviation for "Field-Programmable Gate Array.”
  • SoC is an abbreviation for “System-on-a-chip.”
  • SSD is an abbreviation for “Solid State Drive.”
  • USB is an abbreviation for “Universal Serial Bus.”
  • HDD is an abbreviation for “Hard Disk Drive.”
  • EL is an abbreviation for "Electro-Luminescence”.
  • CMOS is an abbreviation for “Complementary Metal Oxide Semiconductor.”
  • CCD is an abbreviation for “Charge Coupled Device”.
  • CT is an abbreviation for "Computed Tomography”.
  • MRI Magnetic Resonance Imaging”.
  • PC is an abbreviation for "Personal Computer.”
  • LAN is an abbreviation for “Local Area Network.”
  • WAN is an abbreviation for “Wide Area Network.”
  • AI is an abbreviation for “Artificial Intelligence.”
  • BLI is an abbreviation for “Blue Light Imaging.”
  • LCI is an abbreviation for "Linked Color Imaging.”
  • NN is an abbreviation for “Neural Network”.
  • CNN is an abbreviation for “Convolutional neural network.”
  • R-CNN is an abbreviation for “Region based Convolutional Neural Network”.
  • YOLO is an abbreviation for "You only Look Once.”
  • RNN is an abbreviation for "Recurrent Neural Network.”
  • FCN is an abbreviation for “Fully Convolutional Network.”
  • a radial ultrasound image refers to an ultrasound image obtained by radial scanning ultrasound endoscopy.
  • a convex type ultrasound image refers to an ultrasound image obtained by a convex scanning type ultrasound endoscopy. Furthermore, the following description will be made on the premise that the scale of the radial ultrasound image is smaller than the scale of the convex ultrasound image.
  • an endoscope system 10 includes an ultrasound endoscope device 12 and a display device 14.
  • the ultrasound endoscope device 12 includes a radial ultrasound endoscope 16 (hereinafter referred to as the "ultrasound endoscope 16") and a processing device 18.
  • the ultrasound endoscope device 12 is an example of a “medical diagnostic device” and an “ultrasound endoscope device” according to the technology of the present disclosure.
  • the ultrasound endoscope 16 includes a "first radial ultrasound endoscope", a "second radial ultrasound endoscope", a "third radial ultrasound endoscope", and a "third radial ultrasound endoscope” according to the technology of the present disclosure. This is an example of a "fourth radial type ultrasound endoscope.”
  • the ultrasound endoscope 16 is a radial scanning ultrasound endoscope.
  • the ultrasound endoscope device 12 is used by a doctor 20 or the like.
  • the processing device 18 is connected to the ultrasound endoscope 16 and exchanges various signals with the ultrasound endoscope 16 . That is, the processing device 18 controls the operation of the ultrasound endoscope 16 by outputting signals to the ultrasound endoscope 16, and outputs various signals to signals input from the ultrasound endoscope 16. perform processing.
  • the ultrasound endoscope device 12 is a device for performing medical treatment (for example, diagnosis and/or treatment, etc.) on a medical treatment target site (for example, an organ such as the pancreas) in the body of the subject 22, and includes the medical treatment site. Generate and output an ultrasound image showing the observation target area.
  • medical treatment target site for example, an organ such as the pancreas
  • the doctor 20 inserts the ultrasound endoscope 16 into the body of the subject 22 from the mouth or nose (mouth in the example shown in FIG. 1) of the subject 22.
  • the device is inserted into the body and emits ultrasound waves at locations such as the stomach or duodenum.
  • the ultrasonic endoscope 16 is a radial scanning type ultrasonic endoscope, so it emits ultrasonic waves concentrically and detects reflected waves obtained when the emitted ultrasonic waves are reflected in the observation target area. do.
  • FIG. 1 shows an aspect in which an upper gastrointestinal endoscopy is being performed
  • the technology of the present disclosure is not limited to this, and is applicable to lower gastrointestinal endoscopy or endobronchial endoscopy.
  • the technology of the present disclosure is also applicable to endoscopy and the like. That is, the technology of the present disclosure is applicable to any radial scanning type ultrasonic inspection.
  • the processing device 18 generates a radial ultrasound image 24 based on the reflected waves detected by the ultrasound endoscope 16 under a specific image mode, and outputs it to the display device 14 or the like.
  • the specific image mode is B mode (Brightness mode).
  • B mode is just an example, and may be A mode (Amplitude mode), M mode (Motion mode), or the like.
  • the radial ultrasound image 24 is an ultrasound image with a circular outer shape.
  • the radial ultrasound image 24 is a moving image that includes a plurality of frames generated according to a specific frame rate (for example, several tens of frames/second). Although a moving image is illustrated here, this is just an example, and the technology of the present disclosure is valid even if the radial ultrasound image 24 is a still image.
  • the radial ultrasound image 24 is an example of a "second ultrasound image,” a "third ultrasound image,” and a "fourth ultrasound image” according to the technology of the present disclosure.
  • the radial ultrasound image 24 obtained by the ultrasound endoscope apparatus 12 in the radial ultrasound endoscopy on the subject 22 and other radial ultrasound images will be described. If there is no need to distinguish between them, they will be referred to as "radial ultrasound images" without a reference numeral.
  • other radial ultrasound images are, for example, one or more radial ultrasound endoscopic examinations on one or more subjects other than the subject 22 (for example, the radial ultrasound endoscopic examination shown in FIG. 1). Refers to a radial ultrasound image obtained under a specific image mode (here, as an example, B mode) by one or more radial ultrasound endoscopic examinations performed in the past before the endoscopic examination. .
  • the other radial ultrasound images show an observation target area corresponding to the observation target area shown in the radial ultrasound image 24.
  • the display device 14 displays various information including images under the control of the processing device 18.
  • An example of the display device 14 is a liquid crystal display, an EL display, or the like.
  • the radial ultrasound image 24 generated by the processing device 18 is displayed on the screen 26 of the display device 14 as a moving image.
  • the doctor 20 can determine whether or not a lesion is visible in the observation target area, and if a lesion is found, determine whether the lesion is within the observation target area. The location of the lesion is identified through the radial ultrasound image 24.
  • FIG. 1 shows an example in which the radial ultrasound image 24 is displayed on the screen 26 of the display device 14, this is just an example, and displays other than the display device 14 It may be displayed on a device (for example, a display of a tablet terminal).
  • the radial ultrasound image 24 may also be stored in a computer-readable non-transitory storage medium (eg, flash memory, HDD, and/or magnetic tape).
  • the ultrasound endoscope 16 includes an operating section 28 and an insertion section 30.
  • the insertion portion 30 is formed into a tubular shape.
  • the insertion portion 30 has a distal end portion 32, a curved portion 34, and a flexible portion 36.
  • the distal end portion 32, the curved portion 34, and the flexible portion 36 are arranged in this order from the distal end side to the proximal end side of the insertion portion 30.
  • the flexible section 36 is made of a long, flexible material and connects the operating section 28 and the curved section 34 .
  • the bending portion 34 partially curves or rotates around the axis of the insertion portion 30 when the operating portion 28 is operated.
  • the insertion section 30 curves depending on the shape of the hollow organ (for example, the shape of the duodenal tract) or rotates around the axis of the insertion section 30 while moving toward the back side of the hollow organ. sent.
  • the tip portion 32 is provided with an ultrasonic probe 38 and a treatment tool opening 40.
  • the ultrasonic probe 38 is provided on the distal end side of the distal end portion 32.
  • the ultrasonic probe 38 is formed in a cylindrical shape and emits ultrasonic waves concentrically around the axis of the ultrasonic probe 38, and the reflected waves obtained when the emitted ultrasonic waves are reflected at the observation target area. receive waves.
  • the treatment instrument opening 40 is formed closer to the proximal end of the distal end portion 32 than the ultrasound probe 38 is.
  • the treatment tool opening 40 is an opening for allowing the treatment tool 42 to protrude from the distal end portion 32.
  • a treatment instrument insertion port 44 is formed in the operation section 28 , and the treatment instrument 42 is inserted into the insertion section 30 from the treatment instrument insertion port 44 .
  • the treatment instrument 42 passes through the insertion section 30 and protrudes to the outside of the ultrasound endoscope 16 from the treatment instrument opening 40 .
  • the treatment instrument opening 40 also functions as a suction port for sucking blood, body waste, and the like.
  • a puncture needle is shown as the treatment instrument 42.
  • the treatment tool 42 may be a grasping forceps, a sheath, or the like.
  • an illumination device 46 and a camera 48 are provided at the tip 32.
  • the lighting device 46 emits light.
  • Examples of the types of light emitted from the lighting device 46 include visible light (eg, white light, etc.), non-visible light (eg, near-infrared light, etc.), and/or special light.
  • Examples of the special light include BLI light and/or LCI light.
  • the camera 48 images the inside of the hollow organ using an optical method.
  • An example of the camera 48 is a CMOS camera.
  • the CMOS camera is just an example, and other types of cameras such as a CCD camera may be used.
  • the image obtained by being captured by the camera 48 may be displayed on the display device 14, on a display device other than the display device 14 (for example, a display of a tablet terminal), or on a storage medium (for example, a flash memory). , HDD, and/or magnetic tape).
  • the ultrasonic endoscope device 12 includes a processing device 18 and a universal cord 50.
  • the universal cord 50 has a base end 50A and a distal end 50B.
  • the base end portion 50A is connected to the operating portion 28.
  • the tip portion 50B is connected to the processing device 18.
  • the endoscope system 10 includes a reception device 52.
  • the reception device 52 is connected to the processing device 18.
  • the reception device 52 receives instructions from the user.
  • Examples of the reception device 52 include an operation panel having a plurality of hard keys and/or a touch panel, a keyboard, a mouse, a trackball, a foot switch, a smart device, and/or a microphone.
  • the processing device 18 performs various signal processing according to instructions received by the receiving device 52, and sends and receives various signals to and from the ultrasound endoscope 16 and the like. For example, the processing device 18 causes the ultrasound probe 38 to emit ultrasound according to the instruction received by the receiving device 52, and creates a radial ultrasound image 24 based on the reflected waves received by the ultrasound probe 38. (see Figure 1) is generated and output.
  • the display device 14 is also connected to the processing device 18.
  • the processing device 18 controls the display device 14 according to instructions received by the receiving device 52. Thereby, for example, the radial ultrasound image 24 generated by the processing device 18 is displayed on the screen 26 of the display device 14 (see FIG. 1).
  • the processing device 18 includes a computer 54, an input/output interface 56, a transmitting/receiving circuit 58, and a communication module 60.
  • the computer 54 includes a processor 62, a RAM 64, and an NVM 66. Input/output interface 56, processor 62, RAM 64, and NVM 66 are connected to bus 68.
  • the processor 62 controls the entire processing device 18.
  • the processor 62 includes a CPU and a GPU, and the GPU operates under the control of the CPU and is mainly responsible for executing image processing.
  • the processor 62 may be one or more CPUs with integrated GPU functionality, or may be one or more CPUs without integrated GPU functionality.
  • the processor 62 may include a multi-core CPU or a TPU.
  • the processor 62 is an example of a "second processor" and a "third processor" according to the technology of the present disclosure.
  • the RAM 64 is a memory in which information is temporarily stored, and is used by the processor 62 as a work memory.
  • the NVM 66 is a nonvolatile storage device that stores various programs, various parameters, and the like. Examples of the NVM 66 include flash memory (eg, EEPROM) and/or SSD. Note that the flash memory and the SSD are merely examples, and may be other non-volatile storage devices such as an HDD, or a combination of two or more types of non-volatile storage devices.
  • the reception device 52 is connected to the input/output interface 56, and the processor 62 acquires instructions accepted by the reception device 52 via the input/output interface 56, and executes processing according to the acquired instructions. .
  • a transmitting/receiving circuit 58 is connected to the input/output interface 56.
  • the transmitting/receiving circuit 58 generates a pulse waveform ultrasound radiation signal 70 according to instructions from the processor 62 and outputs it to the ultrasound probe 38 .
  • the ultrasonic probe 38 converts the ultrasonic radiation signal 70 inputted from the transmitting/receiving circuit 58 into an ultrasonic wave, and radiates the ultrasonic wave to an observation target area 72 of the subject 22 . Ultrasonic waves are emitted concentrically from the ultrasound probe 38.
  • the ultrasonic probe 38 receives a reflected wave obtained when the ultrasonic wave emitted from the ultrasonic probe 38 is reflected by the observation target area 72, and converts the reflected wave into a reflected wave signal 74, which is an electrical signal. It is converted and output to the transmitting/receiving circuit 58.
  • the transmitting/receiving circuit 58 digitizes the reflected wave signal 74 input from the ultrasound probe 38 and outputs the digitized reflected wave signal 74 to the processor 62 via the input/output interface 56 .
  • the processor 62 Based on the reflected wave signal 74 inputted from the transmission/reception circuit 58 via the input/output interface 56, the processor 62 generates a radial ultrasound image 24 (see FIG. 1) as an ultrasound image showing the tomographic aspect of the observation target region 72. ) is generated.
  • a lighting device 46 (see FIG. 2) is also connected to the input/output interface 56.
  • the processor 62 controls the lighting device 46 via the input/output interface 56 to change the type of light emitted from the lighting device 46 and adjust the amount of light.
  • a camera 48 (see FIG. 2) is also connected to the input/output interface 56.
  • the processor 62 controls the camera 48 via the input/output interface 56 and acquires an image obtained by capturing the inside of the subject 22 by the camera 48 via the input/output interface 56 .
  • a communication module 60 is connected to the input/output interface 56.
  • the communication module 60 is an interface that includes a communication processor, an antenna, and the like.
  • the communication module 60 is connected to a network (not shown) such as a LAN or WAN, and manages communication between the processor 62 and external devices.
  • the display device 14 is connected to the input/output interface 56, and the processor 62 causes the display device 14 to display various information by controlling the display device 14 via the input/output interface 56.
  • the reception device 52 is connected to the input/output interface 56, and the processor 62 acquires instructions accepted by the reception device 52 via the input/output interface 56, and executes processing according to the acquired instructions. .
  • a lesion detection program 76 and a learned model 78 are stored in the NVM 66.
  • the processor 62 reads the lesion detection program 76 from the NVM 66 and executes the read lesion detection program 76 on the RAM 64 to perform lesion detection processing.
  • the lesion detection process is a process of detecting a lesion from the observation target area 72 using an AI method.
  • the processor 62 performs lesion detection processing to detect a lesion from the observation target area 72 by detecting a location corresponding to the lesion from the radial ultrasound image 24 (see FIG. 1) according to the learned model 78. do.
  • the lesion detection process is realized by the processor 62 operating as a generation section 62A, a detection section 62B, and a control section 62C according to a lesion detection program 76 executed on the RAM 64.
  • the trained model 78 is a trained model that has a data structure used in the process of identifying a lesion from a radial ultrasound image. Further, the trained model 78 is an example of a "trained model" according to the technology of the present disclosure.
  • the learned model 78 is a NN used to detect a location corresponding to a lesion from the radial ultrasound image 24. Therefore, in order to obtain the trained model 78, a radial ultrasound image generated by a radial scanning ultrasound endoscope is ideal as the ultrasound image to be trained on the untrained NN.
  • the number of convex endoscopic ultrasound examinations performed is overwhelmingly higher. This means that the number of convex ultrasound images generated by the convex ultrasound endoscope is overwhelmingly greater than the number of radial ultrasound images. In other words, it is possible to collect convex ultrasound images more easily than radial ultrasound images.
  • an image generated based on a convex type ultrasound image and imitating at least a part of a radial type ultrasound image is used as a training ultrasound image for obtaining a trained model 78. It is used as an image. This will be explained in detail below.
  • the learning device 80 includes a computer 82, an input/output interface 84, a reception device 86, a display device 88, and a communication module 90.
  • Computer 82 includes a processor 92, RAM 94, and NVM 96.
  • Input/output interface 84, processor 92, RAM 94, and NVM 96 are connected to bus 97.
  • the learning device 80 is an example of a “learning device” according to the technology of the present disclosure.
  • the computer 82 is an example of a "computer” according to the technology of the present disclosure.
  • the processor 92 is an example of a "first processor” according to the technology of the present disclosure.
  • the NVM 96 is an example of a "first memory", a "second memory", and a "third memory” according to the technology of the present disclosure.
  • the plurality of hardware resources included in the computer 82 shown in FIG. 4 are of the same type as the plurality of hardware resources included in the computer 54 shown in FIG. The explanation of the part that does is omitted.
  • the input/output interface 84 shown in FIG. 4 is the same type as the input/output interface 56 shown in FIG. 3, and the receiving device 86 shown in FIG. 4 is the same type as the receiving device 52 shown in FIG.
  • the display device 88 is the same type as the display device 14 shown in FIG. 3, and the communication module 90 shown in FIG. 4 is the same type as the communication module 60 shown in FIG. 3, so a description thereof will be omitted here.
  • the NVM 96 stores an unlearned model 98 and a learning execution program 100.
  • An example of the model 98 is a mathematical model using a neural network.
  • Examples of the type of NN include YOLO, R-CNN, and FCN.
  • the NN used in the model 98 may be, for example, YOLO, R-CNN, or a combination of FCN and RNN.
  • RNN is suitable for learning multiple images obtained in time series. Note that the types of NNs mentioned here are just examples, and other types of NNs that can detect objects by learning images may be used.
  • the processor 92 controls the entire learning device 80.
  • the processor 92 reads the learning execution program 100 from the NVM 96 and executes the read learning execution program 100 on the RAM 94 to perform learning execution processing.
  • the learning execution process is a process of creating a learned model 78 (see FIG. 3) by executing learning on the model 98 using teacher data.
  • the learning execution process is realized by the processor 92 operating as an acquisition unit 92A and a learning execution unit 92B according to a learning execution program 100 executed on the RAM 94.
  • model 98 is an example of a "model” according to the technology of the present disclosure.
  • the learning execution program 100 is an example of a "program” according to the technology of the present disclosure.
  • the learning execution process is an example of "processing” according to the technology of the present disclosure.
  • a plurality of medical images 102 are stored in the NVM 96 in advance.
  • the plurality of medical images 102 are images obtained from a plurality of subjects (for example, a plurality of subjects other than the subject 22 shown in FIG. 1, or a plurality of subjects including the subject 22).
  • the plurality of medical images 102 include images that are generated based on at least one convex ultrasound image 104 and imitate at least a portion of a radial ultrasound image.
  • the convex ultrasound image 104 is an ultrasound image obtained under the same image mode as the radial ultrasound image 24 shown in FIG. 1 (here, B mode as an example).
  • the types of medical images 102 are roughly divided into five types: a circular image 102A, a scale-adjusted image 102B, a rotated image 102C, a radial ultrasound image 102D, and a virtual image 102E.
  • the NVM 96 includes multiple different circular images 102A, multiple different scale adjustment images 102B, multiple different rotated images 102C, multiple different radial ultrasound images 102D, and multiple different virtual images 102E. It is stored as a medical image 102.
  • the circular image 102A, the scale adjustment image 102B, and the rotated image 102C are images that are generated based on at least one convex ultrasound image 104 and imitate at least a portion of a radial ultrasound image. .
  • An image that imitates at least a portion of a radial ultrasound image is, for example, a radial ultrasound image that is more similar to an unprocessed convex ultrasound image itself obtained from convex ultrasound endoscopy. , and/or an image obtained by adjusting a convex-type ultrasound image to a scale close to or the same scale as a radial-type ultrasound image.
  • the circular image 102A, the scale-adjusted image 102B, and the rotated image 102C are examples of "medical images” according to the technology of the present disclosure.
  • the circular image 102A is an example of a "circular image” according to the technology of the present disclosure.
  • the scale adjustment image 102B is an example of a "scale adjustment image” according to the technology of the present disclosure.
  • the rotated image 102C is an example of a "rotated image” according to the technology of the present disclosure.
  • the radial ultrasound image 102D is an example of a "first ultrasound image” according to the technology of the present disclosure.
  • the virtual image 102E is an example of a "virtual ultrasound image” according to the technology of the present disclosure.
  • the circular image 102A is an image generated based on the convex ultrasound images 104A and 104B.
  • the outer shape of the circular image 102A does not need to be a perfect circle, and may be an incomplete circle.
  • an incomplete circle is defined as the outer shape of a radial ultrasound image rather than the outer shape of an unprocessed convex ultrasound image obtained from convex ultrasound endoscopy (i.e. fan shape). (i.e., a shape close to a circular shape).
  • An example of an incomplete circle is a circle in which a gap is partially formed (for example, a circle with a portion cut away), as shown in FIG.
  • a lesion is shown in the circular image 102A. That is, the circular image 102A has a lesion area 110A that corresponds to a lesion.
  • An annotation 106A is added to the circular image 102A.
  • the annotation 106A is information that can specify the position of the lesion area 110A in the circular image 102A (for example, information that includes a plurality of coordinates that can specify the position of a rectangular frame circumscribing the lesion area 110A).
  • annotation 106A information that can specify the position of the lesion area 110A within the circular image 102A is illustrated as an example of the annotation 106A, but this is just an example.
  • annotation 106A may include other types of information that specify the lesion shown in the circular image 102A, such as information that can identify the type of lesion shown in the circular image 102A. good.
  • the scale adjustment image 102B is an image generated based on the convex ultrasound image 104C.
  • the scale-adjusted image 102B shows a lesion. That is, the scale-adjusted image 102B has a lesion area 110B that corresponds to a lesion.
  • An annotation 106B is added to the scale adjusted image 102B.
  • the annotation 106B is information that can specify the position of the lesion area 110B in the scale-adjusted image 102B (for example, information that includes a plurality of coordinates that can specify the position of a rectangular frame circumscribing the lesion area 110B).
  • annotation 106B information that can specify the position of the lesion area 110B in the scale-adjusted image 102B is illustrated as an example of the annotation 106B, but this is just an example.
  • annotation 106B may include other types of information that specify the lesion shown in the scale-adjusted image 102B, such as information that can identify the type of lesion shown in the scale-adjusted image 102B. good.
  • the rotated image 102C is an image generated based on the convex ultrasound image 104D.
  • a lesion is shown in the rotated image 102C. That is, the rotated image 102C has a lesion area 110C that corresponds to a lesion.
  • An annotation 106C is added to the rotated image 102C.
  • the annotation 106C is information that can specify the position of the lesion area 110C in the rotated image 102C (for example, information that includes a plurality of coordinates that can specify the position of a rectangular frame circumscribing the lesion area 110C).
  • annotation 106C information that can specify the position of the lesion area 110C in the rotated image 102C is illustrated as an example of the annotation 106C, but this is just an example.
  • the annotation 106C may include other types of information that specify the lesion shown in the rotated image 102C, such as information that can identify the type of lesion shown in the rotated image 102C.
  • the radial ultrasound image 102D is an ultrasound image obtained in an actual radial ultrasound endoscopy.
  • the radial ultrasound image 102D shows a lesion. That is, the radial ultrasound image 102D has a lesion area 110D that corresponds to a lesion.
  • An annotation 106D is added to the radial ultrasound image 102D.
  • the annotation 106D is information that can specify the position of the lesion area 110D in the radial ultrasound image 102D (for example, information that includes a plurality of coordinates that can specify the position of a rectangular frame circumscribing the lesion area 110D).
  • annotation 106D includes other types of information that specify the lesion shown in the radial ultrasound image 102D, such as information that can identify the type of lesion shown in the radial ultrasound image 102D. It may be
  • the virtual image 102E is a virtual ultrasound image that imitates a radial ultrasound image.
  • the virtual image 102E shows a lesion. That is, the virtual image 102E has a lesion area 110E that corresponds to a lesion.
  • An annotation 106E is added to the virtual image 102E.
  • the annotation 106E is information that can specify the position of the lesion area 110E in the virtual image 102E (for example, information that includes a plurality of coordinates that can specify the position of a rectangular frame circumscribing the lesion area 110E).
  • annotation 106E information that can specify the position of the lesion area 110E within the virtual image 102E is illustrated as an example of the annotation 106E, but this is just an example.
  • the annotation 106E may include other types of information that specify the lesion shown in the virtual image 102E, such as information that can identify the type of lesion shown in the virtual image 102E.
  • the annotations 106A to 106E will be referred to as “annotations 106" unless it is necessary to explain them separately.
  • the lesion areas 110A to 110E will be referred to as “lesion area 110" when there is no need to distinguish them from each other.
  • the annotation 106 is an example of an "annotation” according to the technology of the present disclosure.
  • the acquisition unit 92A acquires a plurality of medical images 102 from the NVM 96.
  • the acquisition unit 92A acquires medical images 102 that have not yet been used for learning the model 98 one frame at a time from the NVM 96.
  • the learning execution unit 92B causes the model 98 to learn the medical image 102 acquired by the acquisition unit 92A.
  • some of the processing performed by the learning execution unit 92B according to the model 98 will be explained with the model 98 taking the active role. This will be explained as a process that is performed on a regular basis. That is, for convenience of explanation, the model 98 will be described as a function that performs processing (for example, processing including image recognition processing) on input information (for example, information including images) and outputs the processing results. .
  • the acquisition unit 92A inputs the learning image 112, which is a portion of the medical image 102 other than the annotation 106 (that is, the main body of the medical image 102), to the model 98.
  • the model 98 predicts the position of the lesion area 110 and outputs a prediction result 116.
  • the prediction result 116 is information that allows specifying the position predicted by the model 98 as the position of the lesion area 110 within the learning image 112.
  • An example of information that can specify the position predicted by the model 98 is, for example, the position of the bounding box surrounding the area predicted as the area where the lesion area 110 exists (i.e., the position of the bounding box in the learning image 112).
  • An example of this is information that includes multiple coordinates that can specify the location.
  • the learning execution unit 92B combines the prediction result 116 and the annotation 106 corresponding to the prediction result 116 (that is, the annotation 106 that was added to the learning image 112 input to the model 98 for outputting the prediction result 116). Calculate the error.
  • the learning execution unit 92B then adjusts the model 98 according to the calculated error. That is, the learning execution unit 92B adjusts a plurality of optimization variables (for example, a plurality of connection weights, a plurality of offset values, etc.) within the model 98 so that the calculated error is minimized.
  • a plurality of optimization variables for example, a plurality of connection weights, a plurality of offset values, etc.
  • the acquisition unit 92A and the learning execution unit 92B perform a learning process, which is a series of processes of inputting the learning image 112 to the model 98, calculating an error, and adjusting a plurality of optimization variables, using multiple optimization variables stored in the NVM 96.
  • the model 98 is optimized by iterating on each of the medical images 102 (eg, all medical images 102). For example, model 98 is optimized to generate trained model 78 by adjusting a plurality of optimization variables within model 98 such that the error is minimized. That is, the data structure of the learned model 78 is obtained by causing the model 98 to learn a plurality of medical images 102 to which annotations 106 have been added.
  • the learning execution unit 92B transmits the learned model 78 to the processing device 18 via the communication module 90 (see FIG. 4).
  • the processor 62 receives the trained model 78 via the communication module 60 (see FIG. 3), and stores the received trained model 78 in the NVM 66.
  • a convex type ultrasound image 104 is generated under a specific image mode by a convex type ultrasound endoscope device 118 having a convex type ultrasound probe 118A.
  • a plurality of convex ultrasound images 104 exist, and a convex ultrasound endoscopy (for example, using one or more convex ultrasound endoscopy devices 118) is performed on each of a plurality of subjects. obtained from the test).
  • the plurality of subjects are different from the subject 22. Note that the plurality of subjects may include the subject 22.
  • the circular image 102A is an image generated by combining the convex ultrasound images 104A and 104B.
  • the convex ultrasound image 104B includes a lesion area 110A. Note that this is just an example, and there may be cases where a lesion is shown in the convex ultrasound image 104A, or a lesion is shown in both the convex ultrasound images 104A and 104B.
  • the convex type ultrasound image 104A and the convex type ultrasound image 104B are ultrasound images obtained by emitting ultrasound waves in opposite directions by the ultrasound probe 118A, and have a linear symmetrical positional relationship. . Further, the scales of the convex ultrasound images 104A and 104B are adjusted based on the scale of the radial ultrasound image 24. That is, since the scale of the radial ultrasound image 24 is smaller than the scale of the convex ultrasound images 104A and 104B, the scale of the convex ultrasound images 104A and 104B is made to match the scale of the radial ultrasound image 24. , the convex ultrasound images 104A and 104B are reduced in size. Then, the reduced convex type ultrasound images 104A and 104B are combined with the line symmetry positional relationship maintained.
  • the convex type ultrasound images 104A and 104B are reduced in this way, and the image obtained by combining the reduced convex type ultrasound images 104A and 104B while maintaining the line symmetry positional relationship is a circular image. It is 102A.
  • An annotation 106A corresponding to the lesion area 110A is added to the circular image 102A.
  • the convex-type ultrasound images 104A and 104B are arranged line-symmetrically in the vertical direction, but this is just an example, and a pair of convex-type ultrasound images 104A and 104B are arranged horizontally or diagonally.
  • the sound wave images may be arranged line-symmetrically.
  • a pair of convex ultrasound images are line-symmetrically arranged and combined
  • this is merely an example.
  • three or more frames of convex ultrasound images obtained by performing convex scanning in different directions may be combined.
  • the overlapping image area is removed from one of the adjacent convex ultrasound images and the adjacent convex ultrasound images are combined. All you have to do is let it happen.
  • the scale-adjusted image 102B is an image obtained by adjusting the scale of the convex ultrasound image 104C including the lesion area 110B based on the scale of the radial ultrasound image 24. That is, since the scale of the radial type ultrasound image 24 is smaller than the scale of the convex type ultrasound image 104C, the scale of the convex type ultrasound image 104C is made to match the scale of the radial type ultrasound image 24. The ultrasound image 104C is reduced. An image obtained by reducing the convex ultrasound image 104C in this manner is a scale-adjusted image 102B. An annotation 106B corresponding to the lesion area 110B is added to the scale-adjusted image 102B.
  • the rotated image 102C is an image obtained by rotating the convex ultrasound image 104D including the lesion area 110C.
  • the rotation angle is, for example, a rotation angle specified in advance. There are multiple rotation angles, and a rotated image 102C exists for each rotation angle.
  • the rotation angle is determined for each predetermined angle (for example, in units of 1 degree) within a range of 0 degrees or more and less than 360 degrees, for example. That is, for each convex ultrasound image 104D, rotated images 102C are generated as many times as there are rotation angles.
  • the rotated image 102C is also adjusted based on the scale of the radial ultrasound image 24, similar to the circular image 102A and the scale adjusted image 102B. That is, the convex type ultrasound image 104D is reduced so that the scale of the convex type ultrasound image 104D matches the scale of the radial type ultrasound image 24. The convex type ultrasound image 104D is thus rotated at the specified rotation angle, and the rotated convex type ultrasound image 104D is reduced to form a rotated image 102C. An annotation 106C corresponding to the lesion area 110C is added to the rotated image 102C.
  • the scale is adjusted after rotating the convex type ultrasound image 104D, but this is just an example, and the scale is adjusted after the convex type ultrasound image 104D is rotated.
  • the rotated image 102C may be generated by rotating.
  • the radial ultrasound image 102D is a radial ultrasound image obtained by radial ultrasound endoscopy on a subject different from the subject 22 (see FIG. 1).
  • a plurality of radial ultrasound images 102D exist, and a plurality of radial ultrasound images 102D are generated for each of a plurality of subjects different from the subject 22.
  • the plurality of subjects may include the subject 22.
  • a radial ultrasound endoscope device 120 is used. It is preferable that the radial type ultrasound endoscope device 120 is, for example, a device with the same specifications as the ultrasound endoscope device 12. Furthermore, it is preferable that the same parameters as the various parameters set in the ultrasonic endoscope apparatus 12 are set in the radial type ultrasonic endoscope apparatus 120 as parameters governing image quality.
  • the radial ultrasound image 102D is a radial ultrasound image obtained by the radial ultrasound endoscope device 120 under a specific image mode. Furthermore, the radial ultrasound image 102D is a radial ultrasound image obtained earlier than the radial ultrasound image 24 (see FIG. 1). That is, the radial ultrasound image 102D is a radial ultrasound image obtained from a radial ultrasound endoscopy that was performed in the past than the radial ultrasound endoscopy shown in FIG.
  • the observation target region shown in the radial ultrasound image 102D is anatomically the same region as the observation target region shown in the radial ultrasound image 24 (see FIG. 1).
  • the radial ultrasound image 102D includes a lesion area 110D, and an annotation 106D corresponding to the lesion area 110D is added.
  • the virtual image 102E is a virtual ultrasound image that is generated based on the volume data 122 representing the subject, and that imitates a radial ultrasound image.
  • a plurality of virtual images 102E exist, and each virtual image 102E is generated for each volume data 122 representing each of a plurality of subjects. Note that the plurality of subjects may include the subject 22.
  • the volume data 122 is a three-dimensional image defined by voxels, which is obtained by stacking a plurality of two-dimensional slice images 124 obtained by imaging the whole body or a part (for example, the abdomen) of the subject using a modality.
  • the position of each voxel is specified by three-dimensional coordinates.
  • An example of a modality is a CT device.
  • a CT device is just one example, and other examples of modalities include an MRI device or an ultrasound diagnostic device.
  • the virtual image 102E includes a lesion area 110E, and an annotation 106E corresponding to the lesion area 110E is added.
  • the generation unit 62A acquires a reflected wave signal 74 from the transmitting/receiving circuit 58, and generates a radial ultrasound image 20 based on the acquired reflected wave signal 74. generate.
  • a radial type ultrasound image 24 including a lesion area 126, which is a location corresponding to a lesion is generated by the generation unit 62A.
  • the ultrasound image 24 may also be generated by the generation unit 62A.
  • the detection unit 62B acquires the trained model 78 from the NVM 66. Then, the detection unit 62B detects a lesion from the radial ultrasound image 24 generated by the generation unit 62A according to the acquired learned model 78. That is, the detection unit 62B determines the presence or absence of the lesion area 126 in the radial ultrasound image 24 according to the learned model 78, and if the lesion area 126 is present in the radial ultrasound image 24, the detection unit 62B determines whether the lesion area 126 is present in the radial ultrasound image 24. 128 (for example, information including a plurality of coordinates specifying the position of the lesion area 126).
  • 128 for example, information including a plurality of coordinates specifying the position of the lesion area 126.
  • the trained model 78 will be explained mainly by the trained model 78. This will be explained as a process that is actively performed. That is, for convenience of explanation, the trained model 78 will be treated as a function that performs processing (for example, processing including image recognition processing) on input information (for example, information including images) and outputs the processing results. explain.
  • the detection unit 62B inputs the radial ultrasound image 24 generated by the generation unit 62A to the trained model 78.
  • the learned model 78 determines the presence or absence of the lesion area 126 in the radial ultrasound image 24 .
  • the trained model 78 determines that the lesion area 126 exists in the radial ultrasound image 24 (that is, when a lesion appearing in the radial ultrasound image 24 is detected)
  • the position identification information 128 Output The detection unit 62B generates a detection frame 128A based on the position specifying information 128 output from the learned model 78.
  • the detection frame 128A is a rectangular frame corresponding to a bounding box (for example, a bounding box with the highest reliability score) used when the trained model 78 detects the lesion region 126 from the radial ultrasound image 24. That is, the detection frame 128A is a frame surrounding the lesion area 126 detected by the learned model 78.
  • a bounding box for example, a bounding box with the highest reliability score
  • the detection unit 62B detects the radial ultrasound image 24 corresponding to the location information 128 output from the trained model 78 (i.e., inputs the radial ultrasound image 24 into the learned model 78 for outputting the location information 128) according to the location information 128.
  • a detection frame 128A is added to the radial ultrasound image 24). That is, the detection unit 62B superimposes the detection frame 128A so as to surround the lesion area 126 on the radial ultrasound image 24 corresponding to the position specifying information 128 output from the learned model 78, thereby generating a radial ultrasound image 24.
  • a detection frame 128A is added to the sound wave image 24.
  • the detection unit 62B When the learned model 78 determines that the lesion area 126 is present in the radial ultrasound image 24, the detection unit 62B outputs the radial ultrasound image 24 to which the detection frame 128A is attached to the control unit 62C. Further, when the learned model 78 determines that the lesion area 126 does not exist in the radial ultrasound image 24, the detection unit 62B transmits the radial ultrasound image 24 to which the detection frame 128A is not attached to the controller 62C. Output to.
  • the control unit 62C displays the radial ultrasound image 24 input from the detection unit 62B (that is, the radial ultrasound image 24 reflecting the detection result of the detection unit 62B) on the screen 26 of the display device 14.
  • the radial ultrasound image 24 is added with a detection frame 128A surrounding the lesion area 126 (that is, the radial ultrasound image 24 is superimposed with the detection frame 128A).
  • the radial ultrasound image 24 is not provided with the detection frame 128A (that is, the radial ultrasound image 24 output from the trained model 78). is displayed on the screen 26.
  • FIG. 8 shows an example of the flow of learning execution processing performed by the processor 92 of the learning device 80.
  • the flow of the learning execution process shown in FIG. 8 is an example of a "learning method" according to the technology of the present disclosure.
  • step ST10 the acquisition unit 92A acquires from the NVM 96 one frame worth of medical images 102 that have not yet been used for learning the model 98. After the process of step ST10 is executed, the learning execution process moves to step ST12.
  • step ST12 the learning execution unit 92B inputs the learning image 112 obtained from the medical image 102 obtained in step ST10 to the model 98. After the process of step ST12 is executed, the learning execution process moves to step ST14.
  • step ST14 the learning execution unit 92B determines the difference between the annotation 106 added to the medical image 102 acquired in step ST10 and the prediction result 116 output from the model 98 by executing the process in step ST12. Calculate. After the process of step ST14 is executed, the learning execution process moves to step ST16.
  • step ST16 the learning execution unit 92B performs adjustment on the model 98 according to the error calculated in step ST14. After the process of step ST14 is executed, the learning execution process moves to step ST18.
  • step ST18 the learning execution unit 92B determines whether conditions for terminating the learning execution process (hereinafter referred to as "learning termination conditions") are satisfied.
  • a first example of the learning end condition is that all the medical images 102 in the NVM 96 have been used for learning the model 98.
  • a second example of the learning end condition is that the reception device 86 has accepted an instruction to end the learning execution process.
  • step ST18 if the learning end condition is not satisfied, the determination is negative and the learning execution process moves to step ST10. In step ST18, if the learning end condition is satisfied, the determination is affirmative and the learning execution process ends.
  • the model 98 is optimized and the learned model 78 is generated by repeatedly executing the processes from step ST10 to step ST18.
  • the trained model 78 generated in this way is stored in the NVM 66 (see FIGS. 3 and 5).
  • FIG. 9 shows an example of the flow of lesion detection processing performed by the processor 62 of the processing device 18.
  • step ST50 the generation unit 62A acquires the reflected wave signal 74 from the transmitting/receiving circuit 58, and based on the acquired reflected wave signal 74, generates a radial ultrasound image for one frame. Generate 24. After the process of step ST50 is executed, the lesion detection process moves to step ST52.
  • step ST52 the detection unit 62B inputs the radial ultrasound image 24 generated in step ST50 to the learned model 78. After the process of step ST52 is executed, the lesion detection process moves to step ST54.
  • step ST54 the detection unit 62B uses the learned model 78 to determine whether a lesion is shown in the radial ultrasound image 24 inputted to the learned model 78 in step ST52. If a lesion is shown in the radial ultrasound image 24, the learned model 78 outputs position identification information 128.
  • step ST54 if no lesion is shown in the radial ultrasound image 24, the determination is negative and the lesion detection process moves to step ST58. In step ST54, if a lesion is shown in the radial ultrasound image 24, the determination is affirmative and the lesion detection process moves to step ST56.
  • step ST54 the detection unit 62B generates the detection frame 128A based on the position specifying information 128 output from the learned model 78, and uses the radial ultrasound image 24 generated in step ST50 to detect the detection frame 128A.
  • a detection frame 128A is superimposed so as to surround the lesion area 126.
  • the control unit 62C displays the radial ultrasound image 24 in which the lesion area 126 is surrounded by the detection frame 128A on the screen 26 of the display device 14. Since the lesion area 126 in the radial ultrasound image 24 is surrounded by the detection frame 128A, the doctor 20 can visually grasp at which position in the radial ultrasound image 24 the lesion is shown. becomes possible.
  • step ST60 the lesion detection process moves to step ST60.
  • step ST58 the control unit 62C displays the radial ultrasound image 24 generated in step ST50 on the screen 26 of the display device 14. In this case, since the detection frame 128A is not added to the radial ultrasound image 24, the doctor 20 can visually recognize that no lesion is shown in the radial ultrasound image 24. After the process of step ST58 is executed, the lesion detection process moves to step ST60.
  • step ST60 the control unit 62C determines whether conditions for terminating the lesion detection process (hereinafter referred to as "lesion detection termination conditions") are satisfied.
  • An example of the lesion detection termination condition is that the receiving device 52 accepts an instruction to terminate the lesion detection process.
  • step ST60 if the lesion detection termination condition is not satisfied, the determination is negative and the lesion detection process moves to step ST50.
  • step ST60 if the lesion detection termination condition is satisfied, the determination is affirmative and the lesion detection process is terminated.
  • an annotation 106 is added to each of the plurality of medical images 102 stored in the NVM 96 of the learning device 80.
  • the annotation 106 is information that allows the position of the lesion area 110 within the medical image 102 to be specified.
  • the medical image 102 is an image that is generated based on at least one convex ultrasound image 104 and imitates at least a portion of a radial ultrasound image.
  • the plurality of medical images 102 configured in this manner are used for learning the model 98. That is, the learning process of inputting the learning image 112, which is the main body of the medical image 102, into the model 98, calculating the error, and adjusting a plurality of optimization variables is performed on each of the plurality of medical images 102 stored in the NVM 96.
  • the model 98 is optimized by repeating the process.
  • a trained model 78 is generated by optimizing the model 98, and the trained model 78 is used to detect a lesion shown in the radial ultrasound image 24.
  • the learning device 80 allows the model 98 to learn radial ultrasound images without having to learn only radial ultrasound images (for example, the radial ultrasound images 102D shown in FIGS. 5 and 6).
  • a trained model 78 that contributes to the identification of the lesion shown in the image 24 can be obtained.
  • the plurality of medical images 102 stored in the NVM 96 of the learning device 80 include a circular image 102A.
  • the circular image 102A is an image generated by combining the convex ultrasound images 104A and 104B. Since the outer shape of the radial ultrasound image 24 is also circular, the trained model 78 obtained by making the model 98 learn the circular image 102A having the same outer shape is a model 78 that is a lesion that is shown in the radial ultrasound image 24. can contribute to highly accurate identification.
  • the scale of the convex type ultrasound images 104A and 104B which are the basis of the circular image 102A, is different from the scale of the radial type ultrasound image 24. Therefore, the learning device 80 uses convex ultrasonic images 104A and 104B whose scale is adjusted based on the scale of the radial ultrasonic image 24 (for example, convex ultrasonic images whose scale matches the scale of the radial ultrasonic image 24). By combining the sound wave images 104A and 104B), a circular image 102A is generated and the model 98 is trained.
  • the accuracy of identifying a lesion from the radial ultrasound image 24 according to the learned model 78 is improved compared to the case where the model 98 is trained on the circular image 102A having the same scale as the scale of the convex ultrasound images 104A and 104B. can be increased.
  • a plurality of mutually different circular images 102A are stored in advance in the NVM 96 of the learning device 80.
  • the processor 92 then acquires the circular image 102A from the NVM 96 and causes the model 98 to learn the acquired circular image 102A. Therefore, the learning device 80 can make the model 98 learn the circular image 102A without having the processor 92 generate the circular image 102A every time the model 98 is trained.
  • the plurality of medical images 102 stored in the NVM 96 of the learning device 80 include a rotated image 102C.
  • the rotated image 102C is an image obtained by rotating the convex ultrasound image 104D. Therefore, by having the model 78 learn the rotated image 102C, even if a lesion appears at various positions in the radial ultrasound image 24 used for diagnosis, the learned model 98 can be trained from the radial ultrasound image 24. Accordingly, the accuracy of identifying lesions can be increased.
  • the scale of the convex type ultrasound image 104D which is the basis of the rotated image 102C, is different from the scale of the radial type ultrasound image 24. Therefore, the learning device 80 adjusts the scale of the rotated convex type ultrasound image 104D based on the scale of the radial type ultrasound image 24 (for example, the scale of the rotated convex type ultrasound image 104D is adjusted based on the scale of the radial type ultrasound image 24).
  • the rotated image 102C is generated by matching the scale of the sound wave image 24), and the model 98 is made to learn the generated rotated image 102C.
  • a plurality of mutually different rotated images 102C are stored in advance in the NVM 96 of the learning device 80.
  • the processor 92 then acquires the rotated image 102C from the NVM 96 and causes the model 98 to learn the acquired rotated image 102C. Therefore, the learning device 80 can make the model 98 learn the rotated image 102C without having the processor 92 generate the rotated image 102C every time the model 98 is trained.
  • the scale of the convex type ultrasound image 104C is different from the scale of the radial type ultrasound image 24. Therefore, the learning device 80 adjusts the scale of the convex ultrasound image 104C based on the scale of the radial ultrasound image 24 (for example, the scale of the convex ultrasound image 104C is adjusted to the scale of the radial ultrasound image 24).
  • the scale-adjusted image 102B is generated and the model 98 is trained. As a result, the accuracy of identifying lesions according to the learned model 78 from the radial ultrasound image 24 is higher than when the model 98 is trained on the convex ultrasound image 104C without adjusting the scale of the convex ultrasound image 104C. can be increased.
  • a plurality of mutually different scale adjustment images 102B are stored in advance in the NVM 96 of the learning device 80. Then, the processor 92 acquires the scale-adjusted image 102B from the NVM 96, and causes the model 98 to learn the acquired scale-adjusted image 102B. Therefore, the learning device 80 can make the model 98 learn the scale adjusted image 102B without having the processor 92 generate the scale adjusted image 102B every time the model 98 is trained.
  • the processor 92 acquires the radial ultrasound image 102D from the NVM 96, and causes the model 98 to learn the acquired radial ultrasound image 102D. Therefore, compared to the case where the model 98 is not made to learn the radial-type ultrasound image 102D (that is, compared to the case where the model 98 is made to learn only the image generated based on the convex-type ultrasound image 104), the radial-type ultrasound image A trained model 78 that contributes to highly accurate detection of lesions from 24 can be obtained.
  • a virtual image 102E is stored in the NVM 96 of the learning device 80.
  • the virtual image 102E is a virtual ultrasound image that is generated based on the volume data 122 and imitates a radial ultrasound image.
  • the processor 92 acquires the virtual image 102E from the NVM 96 and causes the model 98 to learn the acquired virtual image 102E. Therefore, even if there is a shortage of actual ultrasound images used for training the model 98 (for example, convex ultrasound images 104 and/or radial ultrasound images 102D), the shortage can be replaced by the virtual images 102E. can be covered.
  • a plurality of medical images 102 stored in advance in the NVM 96 are acquired by the acquisition unit 92A, and the model 98 is made to learn the acquired plurality of medical images 102.
  • the technology of the present disclosure is valid even if the medical image 102 is not stored in the NVM 96 in advance.
  • the acquisition unit 92A randomly selects one generation method 129 from a plurality of generation methods 129 for generating the medical image 102 based on at least one convex ultrasound image 104.
  • the medical image 102 may be obtained by generating the medical image 102 according to the generation method 129.
  • the model 98 may be made to learn the medical image 102 acquired by the acquisition unit 92A in the same manner as in the above embodiment.
  • a first generation method 129A, a second generation method 129B, and a third generation method 129C are shown as examples of the plurality of generation methods 129.
  • the first generation method 129A includes generating a circular image 102A as a medical image 102 by combining a plurality of convex ultrasound images 104, and changing the scale of the circular image 102A to the scale of the radial ultrasound image 24.
  • the method includes adjusting based on.
  • the second generation method 129B is to generate a rotated image 102C obtained by rotating the convex ultrasound image 104 as the medical image 102, and to generate the scale of the rotated image 102C based on the scale of the radial ultrasound image 24.
  • the third generation method 129C is a method that includes generating a scale-adjusted image 102B as the medical image 102 by adjusting the scale of the convex ultrasound image 104 based on the scale of the radial ultrasound image 24.
  • a sample image group 130 is stored in the NVM 96.
  • the sample image group 130 consists of a plurality of convex ultrasound images 104.
  • the plurality of convex ultrasound images 104 constituting the sample image group 130 are images that are the basis of the medical image 102 (for example, the circular image 102A, the scale adjustment image 102B, and the rotated image 102C). That is, the sample image group 130 includes convex ultrasound images 104A, 104B, 104C, and 104D shown in FIG. Further, the plurality of convex ultrasound images 104 constituting the sample image group 130 include a convex ultrasound image 104 that has a lesion area 110 and is given an annotation 106 corresponding to the lesion area 110. ing.
  • the acquisition unit 92A randomly selects one generation method 129 from the first generation method 129A, the second generation method 129B, and the third generation method 129C, and acquires at least one convex ultrasound image used in the selected generation method 129.
  • 104 is acquired from the sample image group 130.
  • the acquisition unit 92A acquires convex ultrasound images 104A and 104B from the sample image group 130.
  • the acquisition unit 92A acquires different combinations of convex ultrasound images 104A and 104B from the sample image group 130 every time the first generation method 129A is selected.
  • at least one of the convex ultrasound images 104A and 104B has a lesion area 110. That is, an annotation 106 is added to at least one of the convex ultrasound images 104A and 104B.
  • the acquisition unit 92A uses the convex ultrasound images 104A and 104B acquired from the sample image group 130 to generate a circular image 102A in the same manner as the example shown in FIG.
  • the acquisition unit 92A acquires the convex ultrasound image 104D from the sample image group 130.
  • the acquisition unit 92A randomly acquires a convex type ultrasound image 104D from the sample image group 130, and randomly changes the rotation angle at which the convex type ultrasound image 104D is rotated. decide.
  • the acquisition unit 92A uses the convex ultrasound image 104D acquired from the sample image group 130 to generate a rotated image 102C in the same manner as the example shown in FIG.
  • the acquisition unit 92A acquires a convex ultrasound image 104C that has not yet been used to generate the scale-adjusted image 102B from the sample image group 130. Then, the acquisition unit 92A uses the convex ultrasound image 104C acquired from the sample image group 130 to generate a scale-adjusted image 102B in the same manner as the example shown in FIG.
  • FIG. 11 shows an example of the flow of the learning execution process according to the first modification.
  • the flowchart shown in FIG. 11 differs from the flowchart shown in FIG. 8 in that it includes the processing in step ST10A and the processing in step ST10B instead of the processing in step ST10.
  • step ST10A the acquisition unit 92A selects one generation method 129 from a plurality of generation methods 129 (eg, first to third generation methods 129A to 129C). After the process of step ST10A is executed, the learning execution process moves to step ST10B.
  • a plurality of generation methods 129 eg, first to third generation methods 129A to 129C.
  • step ST10B the acquisition unit 92A acquires the medical image 102 (for example, the circular image 102A, the scale-adjusted image 102B) according to the generation method 129 (for example, any of the first to third generation methods 129A to 129C) selected in step ST10B. , or generate a rotated image 102C).
  • the generation method 129 for example, any of the first to third generation methods 129A to 129C
  • step ST12 the learning image 112 (see FIG. 5) obtained from the medical image 102 generated in step ST10B is input to the model 98.
  • the radial ultrasound image 102D and/or the virtual image 102E may be input to the model 98 in the same manner as in the above embodiment.
  • the acquisition unit 92A randomly selects one generation method 129 from a plurality of generation methods 129, and generates the medical image 102 according to the selected generation method 129. Get 102. Then, the model 98 is made to learn the medical image 102 acquired by the acquisition unit 92A in the same manner as in the above embodiment. Thereby, compared to the case where the model 98 is made to always learn the medical images 102 generated by only one generation method 129, bias in learning for the model 98 can be suppressed. Further, since it is not necessary to store the medical image 102 in advance in a memory such as the NVM 96, it is possible to prevent the memory from running out of capacity.
  • the plurality of generation methods 129 include a first generation method 129A, a second generation method 129B, and a third generation method 129C.
  • the first generation method 129A is a method including generating a circular image 102A
  • the second generation method 129B is a method including generating a rotated image 102C
  • the third generation method 129C is a method including scale adjustment.
  • the method includes generating an image 102B.
  • the first generation method 129A, the second generation method 129B, and the third generation method 129C are randomly selected by the acquisition unit 92A, and depending on the selected generation method 129, the circular image 102A, the scale-adjusted image 102B, or the rotated image is generated. Image 102C is randomly generated.
  • the model 98 can be made to randomly learn the circular image 102A, the scale adjusted image 102B, and the rotated image 102C. As a result, compared to the case where the model 98 always learns the medical images 102 generated by only one generation method 129, bias in learning for the model 98 can be suppressed. Further, since it is not necessary to store the medical image 102 in advance in a memory such as the NVM 96, it is possible to prevent the memory from running out of capacity.
  • the scale of the circular image 102A is adjusted based on the scale of the radial ultrasound image 24, similar to the example shown in FIG.
  • the circular image 102A is reduced so that the scale of the circular image 102A matches the scale of the radial ultrasound image 24. Therefore, compared to the case where the scale of the circular image 102A remains the same as the scale of the convex ultrasound images 104A and 104B, the accuracy of identifying a lesion from the radial ultrasound image 24 according to the learned model 78 can be increased.
  • the scale of the rotated image 102C is adjusted based on the scale of the radial ultrasound image 24, similarly to the example shown in FIG.
  • the rotated image 102C is reduced so that the scale of the rotated image 102C matches the scale of the radial ultrasound image 24. Therefore, compared to the case where the scale of the rotated image 102C remains the same as the scale of the convex ultrasound image 104D, the accuracy of identifying a lesion from the radial ultrasound image 24 according to the learned model 78 can be increased.
  • the first generation method 129A, the second generation method 129B, and the third generation method 129C are illustrated, but the plurality of generation methods 129 include the first generation method 129A, the second generation method 129B, A generation method 129 other than the third generation method 129C may also be included.
  • Generation methods 129 other than the first generation method 129A, the second generation method 129B, and the third generation method 129C include, for example, an image corresponding to a partial area within the convex ultrasound image 104 (hereinafter referred to as "partial image"). '') as the medical image 102.
  • An example of an image corresponding to a partial region is a divided image that includes the lesion area 110 among a plurality of divided images obtained by dividing the convex ultrasound image 104.
  • Another example of the generation method 129 is a method of generating an image obtained by rotating the circular image 102A (hereinafter referred to as a "rotated circular image").
  • the partial image and/or the rotated circular image may be stored in advance as the medical image 102 in the NVM 96 shown in FIG.
  • the partial image and/or the rotated circular image are acquired from the NVM 96 by the acquisition unit 92A like other medical images 102, and used for learning the model 98.
  • the radial ultrasonic image 24 generated by the processing device 18 and the detection frame 128A are displayed on the screen 26 of the display device 14, but the radial ultrasonic image 24 and the detection frame 128A provided with the detection frame 128A are
  • the sonic image 24 may be transmitted to various devices such as a server, a PC, and/or a tablet terminal, and stored in the memory of the various devices.
  • the radial ultrasound image 24 to which the detection frame 128A is added may be recorded in the report.
  • the location information 128 may also be stored in the memory of various devices or recorded in a report.
  • the radial ultrasound image 24, detection frame 128A, and/or location information 128 are preferably stored in memory or recorded in a report for each subject 22.
  • the lesion detection process may be performed by the processing device 18 and at least one device provided outside the processing device 18, or may be performed by at least one device provided outside the processing device 18 (for example, a processing device 18).
  • the processing may be performed only by an auxiliary processing device connected to the processing device 18 and used to expand the functions of the processing device 18.
  • the learning execution process may be performed by the learning device 80 and at least one device provided outside the learning device 80, or by only at least one device provided outside the learning device 80. It may also be done.
  • An example of at least one device provided outside the processing device 18 and at least one device provided outside the learning device 80 includes a server.
  • the server may be realized by cloud computing.
  • Cloud computing is just one example, and may be network computing such as fog computing, edge computing, or grid computing.
  • the servers mentioned as at least one device provided outside the processing device 18 and at least one device provided outside the learning device 80 are merely examples, and at least one device can be used instead of the server.
  • the radial ultrasound image 24 on which the detection frame 128A is superimposed is displayed on the screen 26 of the display device 14, but this is just an example.
  • a radial ultrasound image 24 on which the detection frame 128A is superimposed and a radial ultrasound image 24 on which the detection frame 128A is not superimposed may be displayed on separate screens.
  • the presence or absence of a lesion and the position of the lesion are visually recognized by the doctor 20 by displaying the detection frame 128A superimposed on the radial ultrasound image 24.
  • the presence or absence of a lesion and the location of the lesion may be notified using a notification method other than 128A (for example, text image or audio information).
  • the doctor 20 is made to perceive the presence or absence of a lesion and the position of the lesion, but the doctor 20 may be made to perceive the type of lesion and/or the degree of progression of the lesion.
  • the medical image 102 may be used as training data for learning the model 98 with the annotation 106 including information that can identify the type of lesion and/or the degree of progression of the lesion.
  • the learning execution program 100 may be stored in a portable storage medium such as an SSD or a USB memory.
  • a storage medium is a non-transitory computer-readable storage medium.
  • the learning execution program 100 stored in the storage medium is installed on the computer 82.
  • the processor 92 executes learning execution processing according to the learning execution program 100.
  • the lesion detection program 76 may be stored in a portable storage medium such as an SSD or a USB memory.
  • a storage medium is a non-transitory computer-readable storage medium.
  • a lesion detection program 76 stored in a storage medium is installed on the computer 54.
  • the processor 62 executes lesion detection processing according to the lesion detection program 76.
  • computers 54 and 82 are illustrated in the above embodiments, the technology of the present disclosure is not limited thereto, and instead of the computers 54 and/or 82, a device including an ASIC, an FPGA, and/or a PLD is applied. You may. Also, in place of the computers 54 and/or 82, a combination of hardware and software configurations may be used.
  • processors can be used as hardware resources for executing the various processes (that is, the learning execution process and the lesion detection process) described in the above embodiments.
  • the processor include a processor that is a general-purpose processor that functions as a hardware resource that executes various processes by executing software, that is, a program.
  • the processor include a dedicated electronic circuit such as an FPGA, a PLD, or an ASIC, which is a processor having a circuit configuration specifically designed to execute a specific process.
  • Each processor has a built-in memory or is connected to it, and each processor uses the memory to perform various processes.
  • Hardware resources that execute various processes may be configured with one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of multiple FPGAs, or a processor and FPGA). Further, the hardware resource that executes various processes may be one processor.
  • one processor is configured by a combination of one or more processors and software, and this processor functions as a hardware resource that executes various processes.
  • a and/or B has the same meaning as “at least one of A and B.” That is, “A and/or B” means that it may be only A, only B, or a combination of A and B. Furthermore, in this specification, even when three or more items are expressed by connecting them with “and/or”, the same concept as “A and/or B" is applied.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

学習装置は、第１プロセッサを備える。第１プロセッサは、病変を特定するアノテーションが付与された複数の医用画像を取得し、取得した前記複数の医用画像をモデルに学習させる。医用画像は、少なくとも１つのコンベックス型超音波画像に基づいて生成され、かつ、ラジアル型超音波画像の少なくとも一部を模した態様の画像である。

Description

学習装置、学習済みモデル、医用診断装置、超音波内視鏡装置、学習方法、及びプログラム
　本開示の技術は、学習装置、学習済みモデル、医用診断装置、超音波内視鏡装置、学習方法、及びプログラムに関する。
　特開平０９－０８４７９３号公報には、超音波画像処理装置が開示されている。特開平０９－０８４７９３号公報に記載の超音波画像処理装置において、超音波プローブ制御部は、ラジアルスキャンとリニアスキャンを組み合わせて被検体の３次元スキャンを行うように超音波プローブを駆動する。また、特開平０９－０８４７９３号公報に記載の超音波画像処理装置において、超音波観測装置は、超音波プローブ制御部を介し、超音波プローブの３次元スキャンによって得られた被検体のエコー信号より連続した複数の超音波断層像を順次作成し、断層像モニタに順次出力する。そして、断層像モニタは超音波断層像を順次表示する。
　国際公開第２０２２／０７１３２６号には、情報処理装置が開示されている。国際公開第２０２２／０７１３２６号に記載の情報処理装置は、画像取得部及び第１位置情報出力部を備えている。画像取得部は、ラジアル走査型の画像取得用カテーテルにより得られたカテーテル画像を取得する。第１位置情報出力部は、カテーテル画像を入力した場合に、カテーテル画像に含まれる医療器具の位置に関する第１位置情報を出力する医療機器学習済みモデルに、取得したカテーテル画像を入力して、第１位置情報を出力する。
　特開２０００－３１６８６４号公報には、超音波診断装置が開示されている。特開２０００－３１６８６４号公報に記載の超音波診断装置は、超音波の送受信を行うと共にリアルタイムのエコー画像（超音波断層像）を得る超音波観測装置と、超音波観測装置で得られたエコーデータを基に各種画像処理を行う画像処理装置と、を有している。
　本開示の技術に係る一つの実施形態は、ラジアル型超音波画像のみをモデルに学習させることで得られる学習済みモデルを用いなくても、ラジアル型超音波画像に写っている病変の学習済みモデルを用いた特定に寄与することができる学習装置、学習済みモデル、医用診断装置、超音波内視鏡装置、学習方法、及びプログラムを提供する。
　本開示の技術に係る第１の態様は、第１プロセッサを備え、第１プロセッサが、病変を特定するアノテーションが付与された複数の医用画像を取得し、取得した複数の医用画像をモデルに学習させ、医用画像が、少なくとも１つのコンベックス型超音波画像に基づいて生成され、かつ、ラジアル型超音波画像の少なくとも一部を模した態様の画像である、学習装置である。
　本開示の技術に係る第２の態様は、複数の医用画像には、複数のコンベックス型超音波画像が合成されることによって生成された円形状画像が含まれている第１の態様に係る学習装置である。
　本開示の技術に係る第３の態様は、円形状画像のスケールが、ラジアル型超音波画像のスケールに基づいて調整されている、第２の態様に係る学習装置である。
　本開示の技術に係る第４の態様は、円形状画像が、第１メモリに予め格納されており、第１プロセッサが、第１メモリから円形状画像を取得し、取得した円形状画像をモデルに学習させる第２の態様又は第３の態様に係る学習装置である。
　本開示の技術に係る第５の態様は、複数の医用画像には、コンベックス型超音波画像を回転させた回転画像が含まれている第１の態様から第４の態様の何れか１つの態様に係る学習装置である。
　本開示の技術に係る第６の態様は、回転画像のスケールが、ラジアル型超音波画像のスケールに基づいて調整されている第５の態様に係る学習装置である。
　本開示の技術に係る第７の態様は、回転画像が、第２メモリに予め格納されており、第１プロセッサが、第２メモリから回転画像を取得し、取得した回転画像をモデルに学習させる第５の態様又は第６の態様に係る学習装置である。
　本開示の技術に係る第８の態様は、複数の医用画像には、コンベックス型超音波画像のスケールがラジアル型超音波画像のスケールに基づいて調整されることによって得られたスケール調整画像が含まれている第１の態様から第７の態様の何れか１つの態様に係る学習装置である。
　本開示の技術に係る第９の態様は、スケール調整画像が、第３メモリに予め格納されており、第１プロセッサが、第３メモリからスケール調整画像を取得し、取得したスケール調整画像をモデルに学習させる第８の態様に係る学習装置である。
　本開示の技術に係る第１０の態様は、第１プロセッサが、少なくとも１つのコンベックス型超音波画像に基づいて医用画像を生成する複数の生成方法から１つの生成方法をランダムに選択し、選択した生成方法に従って医用画像を生成することで取得し、取得した医用画像をモデルに学習させる第１の態様に係る学習装置である。
　本開示の技術に係る第１１の態様は、複数の生成方法が、第１生成方法、第２生成方法、及び第３生成方法を含み、第１生成方法が、複数のコンベックス型超音波画像を合成することで円形状画像を医用画像として生成することを含み、第２生成方法が、コンベックス型超音波画像を回転させた回転画像を医用画像として生成することを含み、第３生成方法が、コンベックス型超音波画像のスケールをラジアル型超音波画像のスケールに基づいて調整することによりスケール調整画像を医用画像として生成することを含む第１０の態様に係る学習装置である。
　本開示の技術に係る第１２の態様は、第１生成方法が、円形状画像のスケールをラジアル型超音波画像のスケールに基づいて調整することを含む第１１の態様に係る学習装置である。
　本開示の技術に係る第１３の態様は、第２生成方法が、回転画像のスケールをラジアル型超音波画像のスケールに基づいて調整することを含む第１１の態様又は第１２の態様に係る学習装置である。
　本開示の技術に係る第１４の態様は、第１プロセッサが、第１ラジアル型超音波内視鏡によって得られた少なくとも１つの第１超音波画像を取得し、取得した第１超音波画像をモデルに学習させる第１の態様から第１３の態様の何れか１つの態様に係る学習装置である。
　本開示の技術に係る第１５の態様は、第１プロセッサが、被検体を示すボリュームデータに基づいて生成され、かつ、ラジアル型超音波画像の少なくとも一部を模した態様の仮想超音波画像を取得し、取得した仮想超音波画像をモデルに学習させる第１の態様から第１４の態様の何れか１つの態様に係る学習装置である。
　本開示の技術に係る第１６の態様は、第１の態様から第１５の態様の何れか１つの態様に係る学習装置がモデルに対して複数の医用画像を学習させることで得られた学習済みモデルである。
　本開示の技術に係る第１７の態様は、第２ラジアル型超音波内視鏡によって得られた第２超音波画像から病変を特定する処理に用いられるデータ構造を有する学習済みモデルであって、データ構造が、病変を特定するアノテーションが付与された複数の医用画像をモデルに学習させることによって得られ、医用画像が、少なくとも１つのコンベックス型超音波画像に基づいて生成され、かつ、ラジアル型超音波画像の少なくとも一部を模した態様の画像である、学習済みモデルである。
　本開示の技術に係る第１８の態様は、第１６の態様又は第１７の態様に係る学習済みモデルと、第２プロセッサと、を備え、第２プロセッサが、第３ラジアル型超音波内視鏡によって得られた第３超音波画像を取得し、取得した第３超音波画像から、学習済みモデルに従って、病変に相当する箇所を検出する医用診断装置である。
　本開示の技術に係る第１９の態様は、第１６の態様又は第１７の態様に係る学習済みモデルと、第４ラジアル型超音波内視鏡と、第３プロセッサと、を備え、第３プロセッサが、第４ラジアル型超音波内視鏡によって得られた第４超音波画像を取得し、取得した第４超音波画像から、学習済みモデルに従って、病変に相当する箇所を検出する超音波内視鏡装置である。
　本開示の技術に係る第２０の態様は、病変を特定するアノテーションが付与された複数の医用画像を取得すること、及び取得した複数の医用画像をモデルに学習させること、を含み、医用画像が、少なくとも１つのコンベックス型超音波画像に基づいて生成され、かつ、ラジアル型超音波画像の少なくとも一部を模した態様の画像である、学習方法である。
　本開示の技術に係る第２１の態様は、コンピュータに処理を実行させるためのプログラムであって、処理が、病変を特定するアノテーションが付与された複数の医用画像を取得すること、及び取得した複数の医用画像をモデルに学習させること、を含み、医用画像が、少なくとも１つのコンベックス型超音波画像に基づいて生成され、かつ、ラジアル型超音波画像の少なくとも一部を模した態様の画像である、プログラムである。
内視鏡システムが用いられている態様の一例を示す概念図である。 内視鏡システムの全体構成の一例を示す概念図である。 超音波内視鏡装置の構成の一例を示すブロック図である。 学習装置の構成の一例を示すブロック図である。 学習装置の取得部及び学習実行部の処理内容の一例を示す概念図である。 ＮＮの学習に用いられる円形状画像、スケール調整画像、回転画像、ラジアル型超音波画像、及び仮想画像の作り方の一例を示す概念図である。 処理装置の生成部、検出部、及び制御部の処理内容の一例を示す概念図である。 学習実行処理の流れの一例を示すフローチャートである。 病変検出処理の流れの一例を示すフローチャートである。 第１変形例に係る取得部の処理内容の一例を示す概念図である。 第１変形例に係る学習実行処理の流れの一例を示すフローチャートである。
　以下、添付図面に従って本開示の技術に係る学習装置、学習済みモデル、医用診断装置、超音波内視鏡装置、学習方法、及びプログラムの実施形態の一例について説明する。
　先ず、以下の説明で使用される文言について説明する。
　ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＴＰＵとは、“Tensor Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＣＴとは、“Computed Tomography”の略称を指す。ＭＲＩとは、“Magnetic Resonance Imaging”の略称を指す。ＰＣとは、“Personal Computer”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。ＷＡＮとは、“Wide Area Network”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。ＢＬＩとは、“Blue Light Imaging”の略称を指す。ＬＣＩとは、“Linked Color Imaging”の略称を指す。ＮＮとは、“Neural Network”の略称を指す。ＣＮＮとは、“Convolutional neural network”の略称を指す。Ｒ－ＣＮＮとは、“Region based Convolutional Neural Network”の略称を指す。ＹＯＬＯとは、“You only Look Once”の略称を指す。ＲＮＮとは、“Recurrent Neural Network”の略称を指す。ＦＣＮとは、“Fully Convolutional Network”の略称を指す。
　本実施形態において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの一致を指す。本実施形態において、「同一」とは、完全な同一の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの同一を指す。本実施形態において、ラジアル型超音波画像とは、ラジアル走査方式の超音波内視鏡検査によって得られた超音波画像を指す。本実施形態において、コンベックス型超音波画像とは、コンベックス走査方式の超音波内視鏡検査によって得られた超音波画像を指す。また、以下では、ラジアル型超音波画像のスケールがコンベックス型超音波画像のスケールよりも小さいことを前提として説明する。
　一例として図１に示すように、内視鏡システム１０は、超音波内視鏡装置１２及び表示装置１４を備えている。超音波内視鏡装置１２は、ラジアル型超音波内視鏡１６（以下、「超音波内視鏡１６」と称する）及び処理装置１８を備えている。超音波内視鏡装置１２は、本開示の技術に係る「医用診断装置」及び「超音波内視鏡装置」の一例である。超音波内視鏡１６は、本開示の技術に係る「第１ラジアル型超音波内視鏡」、「第２ラジアル型超音波内視鏡」、「第３ラジアル超音波内視鏡」、及び「第４ラジアル型超音波内視鏡」の一例である。
　超音波内視鏡１６は、ラジアル走査式の超音波内視鏡である。超音波内視鏡装置１２は、医師２０等によって用いられる。処理装置１８は、超音波内視鏡１６に接続されており、超音波内視鏡１６との間で各種信号の授受を行う。すなわち、処理装置１８は、超音波内視鏡１６に信号を出力することで超音波内視鏡１６の動作を制御したり、超音波内視鏡１６から入力された信号に対して各種の信号処理を行ったりする。
　超音波内視鏡装置１２は、被検体２２の体内の診療対象部位（例えば、膵臓等の臓器）に対する診療（例えば、診断及び／又は治療等）を行うための装置であり、診療部位を含む観察対象領域を示す超音波画像を生成して出力する。
　例えば、医師２０は、被検体２２の体内の観察対象領域を観察する場合、超音波内視鏡１６を被検体２２の口又は鼻（図１に示す例では、口）から被検体２２の体内に挿入し、胃又は十二指腸等の位置で超音波を放射する。超音波内視鏡１６は、ラジアル走査式の超音波内視鏡であるため、同心円状に超音波を放射し、放射した超音波が観察対象領域で反射することによって得られた反射波を検出する。
　なお、図１に示す例では、上部消化器内視鏡検査が行われている態様が示されているが、本開示の技術はこれに限定されず、下部消化器内視鏡検査又は気管支内視鏡検査等にも本開示の技術は適用可能である。すなわち、ラジアル走査式の超音波検査であれば、本開示の技術は適用可能である。
　処理装置１８は、特定の画像モード下で、超音波内視鏡１６によって検出された反射波に基づいてラジアル型超音波画像２４を生成して表示装置１４等に出力する。特定の画像モードとは、Ｂモード（Brightness mode）である。但し、Ｂモードは、あくまでも一例に過ぎず、Ａモード（Amplitude mode）又はＭモード（Motion mode）等であってもよい。
　ラジアル型超音波画像２４は、外形が円形状の超音波画像である。ラジアル型超音波画像２４は、特定のフレームレート（例えば、数十フレーム／秒）に従って生成された複数のフレームを含む動画像である。ここでは、動画像を例示しているが、これは、あくまでも一例に過ぎず、ラジアル型超音波画像２４が静止画像であっても本開示の技術は成立する。ラジアル型超音波画像２４は、本開示の技術に係る「第２超音波画像」、「第３超音波画像」、及び「第４超音波画像」の一例である。
　なお、以下では、説明の便宜上、被検体２２に対するラジアル型超音波内視鏡検査で超音波内視鏡装置１２によって得られたラジアル型超音波画像２４と、他のラジアル型超音波画像とを区別して説明する必要がない場合、符号を付さずに「ラジアル型超音波画像」と称する。ここで、他のラジアル型超音波画像とは、例えば、被検体２２以外の１以上の被検体に対する１回以上のラジアル型超音波内視鏡検査（例えば、図１に示すラジアル型超音波内視鏡検査よりも過去に行われた１回以上のラジアル型超音波内視鏡検査）によって特定の画像モード（ここでは、一例として、Ｂモード）下で得られたラジアル型超音波画像を指す。他のラジアル型超音波画像には、ラジアル型超音波画像２４に写っている観察対象領域に相当する観察対象領域が写っている。
　表示装置１４は、処理装置１８の制御下で、画像を含めた各種情報を表示する。表示装置１４の一例としては、液晶ディスプレイ又はＥＬディスプレイ等が挙げられる。表示装置１４の画面２６には、処理装置１８によって生成されたラジアル型超音波画像２４が動画像として表示される。医師２０は、画面２６に表示されたラジアル型超音波画像２４を観察することによって、観察対象領域に病変が写っているか否かを判断したり、病変が発見された場合には観察対象領域内での病変の位置を、ラジアル型超音波画像２４を通して特定したりする。
　なお、図１に示す例では、表示装置１４の画面２６にラジアル型超音波画像２４が表示される形態例が示されているが、これは、あくまでも一例に過ぎず、表示装置１４以外の表示装置（例えば、タブレット端末のディスプレイ）に表示されるようにしてもよい。また、ラジアル型超音波画像２４は、コンピュータ読取可能な非一時的格納媒体（例えば、フラッシュメモリ、ＨＤＤ、及び／又は磁気テープ等）に格納されるようにしてもよい。
　一例として図２に示すように、超音波内視鏡１６は、操作部２８及び挿入部３０を備えている。挿入部３０は、管状に形成されている。挿入部３０は、先端部３２、湾曲部３４、及び軟性部３６を有する。先端部３２、湾曲部３４、及び軟性部３６は、挿入部３０の先端側から基端側にかけて、先端部３２、湾曲部３４、及び軟性部３６の順に配置されている。軟性部３６は、長尺状の可撓性を有する素材で形成されており、操作部２８と湾曲部３４とを連結している。湾曲部３４は、操作部２８が操作されることにより部分的に湾曲したり、挿入部３０の軸心周りに回転したりする。この結果、挿入部３０は、管腔臓器の形状（例えば、十二指腸の管路の形状）に応じて湾曲したり、挿入部３０の軸心周りに回転したりしながら管腔臓器の奥側に送り込まれる。
　先端部３２には、超音波プローブ３８及び処置具用開口４０が設けられている。超音波プローブ３８は、先端部３２の先端側に設けられている。超音波プローブ３８は、円柱状に形成されており、超音波プローブ３８の軸心を中心に同心円状に超音波を放射し、放射した超音波が観察対象領域で反射されて得られた反射波を受波する。
　処置具用開口４０は、超音波プローブ３８よりも先端部３２の基端側に形成されている。処置具用開口４０は、処置具４２を先端部３２から突出させるための開口である。操作部２８には、処置具挿入口４４が形成されており、処置具４２は、処置具挿入口４４から挿入部３０内に挿入される。処置具４２は、挿入部３０内を通過して処置具用開口４０から超音波内視鏡１６の外部に突出する。また、処置具用開口４０は、血液及び体内汚物等を吸引する吸引口としても機能する。
　図２に示す例では、処置具４２として、穿刺針が示されている。なお、これは、あくまでも一例に過ぎず、処置具４２は、把持鉗子及び／又はシース等であってもよい。
　図２に示す例では、先端部３２に照明装置４６及びカメラ４８が設けられている。照明装置４６は、光を照射する。照明装置４６から照射される光の種類としては、例えば、可視光（例えば、白色光等）、非可視光（例えば、近赤外光等）、及び／又は特殊光が挙げられる。特殊光としては、例えば、ＢＬＩ用の光及び／又はＬＣＩ用の光が挙げられる。
　カメラ４８は、管腔臓器内を光学的手法で撮像する。カメラ４８の一例としては、ＣＭＯＳカメラが挙げられる。ＣＭＯＳカメラは、あくまでも一例に過ぎず、ＣＣＤカメラ等の他種のカメラであってもよい。なお、カメラ４８によって撮像されることによって得られた画像は表示装置１４に表示されたり、表示装置１４以外の表示装置（例えば、タブレット端末のディスプレイ）に表示されたり、格納媒体（例えば、フラッシュメモリ、ＨＤＤ、及び／又は磁気テープ等）に格納されたりする。
　超音波内視鏡装置１２は、処理装置１８及びユニバーサルコード５０を備えている。ユニバーサルコード５０は、基端部５０Ａ及び先端部５０Ｂを有する。基端部５０Ａは、操作部２８に接続されている。先端部５０Ｂは、処理装置１８に接続されている。
　内視鏡システム１０は、受付装置５２を備えている。受付装置５２は、処理装置１８に接続されている。受付装置５２は、ユーザからの指示を受け付ける。受付装置５２の一例としては、複数のハードキー及び／又はタッチパネル等を有する操作パネル、キーボード、マウス、トラックボール、フットスイッチ、スマートデバイス、及び／又はマイクロフォン等が挙げられる。
　処理装置１８は、受付装置５２によって受け付けられた指示に従って、各種の信号処理を行ったり、超音波内視鏡１６等との間で各種信号の授受を行ったりする。例えば、処理装置１８は、受付装置５２によって受け付けられた指示に従って、超音波プローブ３８に対して超音波を放射させ、超音波プローブ３８によって受波された反射波に基づいてラジアル型超音波画像２４（図１参照）を生成して出力する。
　表示装置１４も、処理装置１８に接続されている。処理装置１８は、受付装置５２によって受け付けられた指示に従って表示装置１４を制御する。これにより、例えば、処理装置１８によって生成されたラジアル型超音波画像２４が表示装置１４の画面２６に表示される（図１参照）。
　一例として図３に示すように、処理装置１８は、コンピュータ５４、入出力インタフェース５６、送受信回路５８、及び通信モジュール６０を備えている。
　コンピュータ５４は、プロセッサ６２、ＲＡＭ６４、及びＮＶＭ６６を備えている。入出力インタフェース５６、プロセッサ６２、ＲＡＭ６４、及びＮＶＭ６６は、バス６８に接続されている。
　プロセッサ６２は、処理装置１８の全体を制御する。例えば、プロセッサ６２は、ＣＰＵ及びＧＰＵを有しており、ＧＰＵは、ＣＰＵの制御下で動作し、主に画像処理の実行を担う。なお、プロセッサ６２は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。また、プロセッサ６２には、マルチコアＣＰＵが含まれていてもよいし、ＴＰＵが含まれていてもよい。プロセッサ６２は、本開示の技術に係る「第２プロセッサ」及び「第３プロセッサ」の一例である。
　ＲＡＭ６４は、一時的に情報が格納されるメモリであり、プロセッサ６２によってワークメモリとして用いられる。ＮＶＭ６６は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ６６の一例としては、フラッシュメモリ（例えば、ＥＥＰＲＯＭ）及び／又はＳＳＤ等が挙げられる。なお、フラッシュメモリ及びＳＳＤは、あくまでも一例に過ぎず、ＨＤＤ等の他の不揮発性の記憶装置であってもよいし、２種類以上の不揮発性の記憶装置の組み合わせであってもよい。
　入出力インタフェース５６には、受付装置５２が接続されており、プロセッサ６２は、受付装置５２によって受け付けられた指示を、入出力インタフェース５６を介して取得し、取得した指示に応じた処理を実行する。
　入出力インタフェース５６には、送受信回路５８が接続されている。送受信回路５８は、プロセッサ６２からの指示に従ってパルス波形の超音波放射信号７０を生成して超音波プローブ３８に出力する。超音波プローブ３８は、送受信回路５８から入力された超音波放射信号７０を超音波に変換し、超音波を被検体２２の観察対象領域７２に放射する。超音波は、超音波プローブ３８から同心円状に放射される。超音波プローブ３８は、超音波プローブ３８から放射された超音波が観察対象領域７２で反射されることで得られた反射波を受波し、反射波を、電気信号である反射波信号７４に変換して送受信回路５８に出力する。送受信回路５８は、超音波プローブ３８から入力された反射波信号７４をデジタル化し、デジタル化した反射波信号７４を、入出力インタフェース５６を介してプロセッサ６２に出力する。プロセッサ６２は、送受信回路５８から入出力インタフェース５６を介して入力された反射波信号７４に基づいて、観察対象領域７２の断層の態様を示す超音波画像としてラジアル型超音波画像２４（図１参照）を生成する。
　図３での図示は省略されているが、入出力インタフェース５６には、照明装置４６（図２参照）も接続されている。プロセッサ６２は、入出力インタフェース５６を介して照明装置４６を制御することで、照明装置４６から照射される光の種類を変えたり、光量を調整したりする。また、図３での図示は省略されているが、入出力インタフェース５６には、カメラ４８（図２参照）も接続されている。プロセッサ６２は、入出力インタフェース５６を介してカメラ４８を制御したり、カメラ４８によって被検体２２の体内が撮像されることで得られた画像を、入出力インタフェース５６を介して取得したりする。
　入出力インタフェース５６には、通信モジュール６０が接続されている。通信モジュール６０は、通信プロセッサ及びアンテナ等を含むインタフェースである。通信モジュール６０は、ＬＡＮ又はＷＡＮ等のネットワーク（図示省略）に接続されており、プロセッサ６２と外部装置との間の通信を司る。
　入出力インタフェース５６には、表示装置１４が接続されており、プロセッサ６２は、入出力インタフェース５６を介して表示装置１４を制御することで、表示装置１４に対して各種情報を表示させる。
　入出力インタフェース５６には、受付装置５２が接続されており、プロセッサ６２は、受付装置５２によって受け付けられた指示を、入出力インタフェース５６を介して取得し、取得した指示に応じた処理を実行する。
　ＮＶＭ６６には、病変検出プログラム７６及び学習済みモデル７８が記憶されている。プロセッサ６２は、ＮＶＭ６６から病変検出プログラム７６を読み出し、読み出した病変検出プログラム７６をＲＡＭ６４上で実行することにより病変検出処理を行う。病変検出処理は、観察対象領域７２からＡＩ方式で病変を検出する処理である。プロセッサ６２は、病変検出処理を行うことにより、ラジアル型超音波画像２４（図１参照）から、学習済みモデル７８に従って、病変に相当する箇所を検出することで、観察対象領域７２から病変を検出する。病変検出処理は、プロセッサ６２がＲＡＭ６４上で実行する病変検出プログラム７６に従って生成部６２Ａ、検出部６２Ｂ、及び制御部６２Ｃとして動作することによって実現される。
　なお、学習済みモデル７８は、ラジアル型超音波画像から病変を特定する処理に用いられるデータ構造を有する学習済みモデルである。また、学習済みモデル７８は、本開示の技術に係る「学習済みモデル」の一例である。
　ところで、学習済みモデル７８は、ラジアル型超音波画像２４から病変に相当する箇所を検出するために用いられるＮＮである。そのため、学習済みモデル７８を得るために、未学習のＮＮに対して学習させる超音波画像としては、ラジアル走査式の超音波内視鏡によって生成されたラジアル型超音波画像が理想的である。
　しかし、現状、コンベックス型超音波内視鏡検査の実施数に比べ、ラジアル型超音波内視鏡検査の実施数が圧倒的に少ない。そのため、ＮＮの学習に用いるラジアル型超音波画像を、目標とする検出精度を得るために必要な数だけ収集することは困難である。
　一方、ラジアル型超音波内視鏡検査の実施数に比べ、コンベックス型超音波内視鏡検査の実施数は圧倒的に多い。これは、コンベックス型超音波内視鏡によって生成されたコンベックス型超音波画像の存在数が、ラジアル型超音波画像の存在数よりも圧倒的に多いことを意味する。つまり、ラジアル型超音波画像よりも容易にコンベックス型超音波画像を収集することが可能である。
　そこで、本実施形態では、コンベックス型超音波画像に基づいて生成され、かつ、ラジアル型超音波画像の少なくとも一部を模した態様の画像を、学習済みモデル７８を得るための学習用の超音波画像として用いている。以下、具体的に説明する。
　一例として図４に示すように、学習装置８０は、コンピュータ８２、入出力インタフェース８４、受付装置８６、表示装置８８、及び通信モジュール９０を備えている。コンピュータ８２は、プロセッサ９２、ＲＡＭ９４、及びＮＶＭ９６を備えている。入出力インタフェース８４、プロセッサ９２、ＲＡＭ９４、及びＮＶＭ９６は、バス９７に接続されている。学習装置８０は、本開示の技術に係る「学習装置」の一例である。コンピュータ８２は、本開示の技術に係る「コンピュータ」の一例である。プロセッサ９２は、本開示の技術に係る「第１プロセッサ」の一例である。ＮＶＭ９６は、本開示の技術に係る「第１メモリ」、「第２メモリ」、及び「第３メモリ」の一例である。
　なお、図４に示すコンピュータ８２に含まれる複数のハードウェア資源（すなわち、プロセッサ９２、ＲＡＭ９４、及びＮＶＭ９６）は、図３に示すコンピュータ５４に含まれる複数のハードウェア資源と同種であるので、重複する部分の説明は省略する。また、図４に示す入出力インタフェース８４は、図３に示す入出力インタフェース５６と同種であり、図４に示す受付装置８６は、図３に示す受付装置５２と同種であり、図４に示す表示装置８８は、図３に示す表示装置１４と同種であり、図４に示す通信モジュール９０は、図３に示す通信モジュール６０と同種であるので、ここでの説明は省略する。
　ＮＶＭ９６には、未学習のモデル９８と、学習実行プログラム１００とが記憶されている。モデル９８の一例としては、ＮＮを用いた数理モデルが挙げられる。ＮＮの種類としては、例えば、ＹＯＬＯ、Ｒ－ＣＮＮ、又はＦＣＮ等が挙げられる。また、モデル９８に用いられるＮＮは、例えば、ＹＯＬＯ、Ｒ－ＣＮＮ、又はＦＣＮとＲＮＮとの組み合わせであってもよい。ＲＮＮは、時系列で得られた複数の画像の学習に適している。なお、ここで挙げたＮＮの種類は、あくまでも一例に過ぎず、画像を学習させることによって物体の検出を可能にする他種類のＮＮであってもよい。
　プロセッサ９２は、学習装置８０の全体を制御する。プロセッサ９２は、ＮＶＭ９６から学習実行プログラム１００を読み出し、読み出した学習実行プログラム１００をＲＡＭ９４上で実行することにより学習実行処理を行う。学習実行処理は、モデル９８に対する教師データを用いた学習を実行することにより学習済みモデル７８（図３参照）を作成する処理である。学習実行処理は、プロセッサ９２がＲＡＭ９４上で実行する学習実行プログラム１００に従って取得部９２Ａ及び学習実行部９２Ｂとして動作することによって実現される。
　なお、モデル９８は、本開示の技術に係る「モデル」の一例である。学習実行プログラム１００は、本開示の技術に係る「プログラム」の一例である。学習実行処理は、本開示の技術に係る「処理」の一例である。
　一例として図５に示すように、ＮＶＭ９６には、複数の医用画像１０２が予め格納されている。複数の医用画像１０２は、複数の被検体（例えば、図１に示す被検体２２以外の複数の被検体、又は、被検体２２を含めた複数の被検体）から得られた画像である。複数の医用画像１０２には、少なくとも１つのコンベックス型超音波画像１０４に基づいて生成され、かつ、ラジアル型超音波画像の少なくとも一部を模した態様の画像が含まれている。コンベックス型超音波画像１０４は、図１に示すラジアル型超音波画像２４と同一の画像モード（ここでは、一例として、Ｂモード）下で得られた超音波画像である。
　医用画像１０２の種類は、円形状画像１０２Ａ、スケール調整画像１０２Ｂ、回転画像１０２Ｃ、ラジアル型超音波画像１０２Ｄ、及び仮想画像１０２Ｅの５種類に大別される。ＮＶＭ９６には、互いに異なる複数の円形状画像１０２Ａ、互いに異なる複数のスケール調整画像１０２Ｂ、互いに異なる複数の回転画像１０２Ｃ、互いに異なる複数のラジアル型超音波画像１０２Ｄ、及び互いに異なる複数の仮想画像１０２Ｅが医用画像１０２として格納されている。円形状画像１０２Ａ、スケール調整画像１０２Ｂ、及び回転画像１０２Ｃは、少なくとも１つのコンベックス型超音波画像１０４に基づいて生成され、かつ、ラジアル型超音波画像の少なくとも一部を模した態様の画像である。ラジアル型超音波画像の少なくとも一部を模した態様の画像とは、例えば、コンベックス型超音波内視鏡検査から得られた何ら加工していないコンベックス型超音波画像そのものよりもラジアル型超音波画像に近い形状の画像、及び／又は、コンベックス型超音波画像をラジアル型超音波画像に近いスケール又は同一のスケールに調整して得た画像等を指す。
　なお、本実施形態において、円形状画像１０２Ａ、スケール調整画像１０２Ｂ、及び回転画像１０２Ｃは、本開示の技術に係る「医用画像」の一例である。円形状画像１０２Ａは、本開示の技術に係る「円形状画像」の一例である。スケール調整画像１０２Ｂは、本開示の技術に係る「スケール調整画像」の一例である。回転画像１０２Ｃは、本開示の技術に係る「回転画像」の一例である。ラジアル型超音波画像１０２Ｄは、本開示の技術に係る「第１超音波画像」の一例である。仮想画像１０２Ｅは、本開示の技術に係る「仮想超音波画像」の一例である。
　詳しくは後述するが、円形状画像１０２Ａは、コンベックス型超音波画像１０４Ａ及び１０４Ｂに基づいて生成された画像である。円形状画像１０２Ａの外形は、完全な円形である必要はなく、不完全な円形であってもよい。不完全な円形とは、例えば、コンベックス型超音波内視鏡検査から得られた何ら加工していないコンベックス型超音波画像そのものの外形（すなわち、扇形状）よりも、ラジアル型超音波画像の外形（すなわち、円形状）に近い形状を指す。不完全な円形の一例としては、図５に示すように部分的に隙間が生じている円形（例えば、一部が切り欠かれた円形）が挙げられる。
　円形状画像１０２Ａには病変が写っている。すなわち、円形状画像１０２Ａは、病変に相当する箇所である病変領域１１０Ａを有する。円形状画像１０２Ａには、アノテーション１０６Ａが付与されている。アノテーション１０６Ａは、円形状画像１０２Ａ内での病変領域１１０Ａの位置を特定可能な情報（例えば、病変領域１１０Ａに外接する矩形枠の位置を特定可能な複数の座標を含む情報）である。
　ここでは、説明の便宜上、アノテーション１０６Ａの一例として、円形状画像１０２Ａ内での病変領域１１０Ａの位置を特定可能な情報を例示しているが、これは、あくまでも一例に過ぎない。例えば、アノテーション１０６Ａには、円形状画像１０２Ａに写っている病変の種類を特定可能な情報等のように、円形状画像１０２Ａに写っている病変を特定する他種類の情報が含まれていてもよい。
　詳しくは後述するが、スケール調整画像１０２Ｂは、コンベックス型超音波画像１０４Ｃに基づいて生成された画像である。スケール調整画像１０２Ｂには病変が写っている。すなわち、スケール調整画像１０２Ｂは、病変に相当する箇所である病変領域１１０Ｂを有する。スケール調整画像１０２Ｂには、アノテーション１０６Ｂが付与されている。アノテーション１０６Ｂは、スケール調整画像１０２Ｂ内での病変領域１１０Ｂの位置を特定可能な情報（例えば、病変領域１１０Ｂに外接する矩形枠の位置を特定可能な複数の座標を含む情報）である。
　ここでは、説明の便宜上、アノテーション１０６Ｂの一例として、スケール調整画像１０２Ｂ内での病変領域１１０Ｂの位置を特定可能な情報を例示しているが、これは、あくまでも一例に過ぎない。例えば、アノテーション１０６Ｂには、スケール調整画像１０２Ｂに写っている病変の種類を特定可能な情報等のように、スケール調整画像１０２Ｂに写っている病変を特定する他種類の情報が含まれていてもよい。
　詳しくは後述するが、回転画像１０２Ｃは、コンベックス型超音波画像１０４Ｄに基づいて生成された画像である。回転画像１０２Ｃには病変が写っている。すなわち、回転画像１０２Ｃは、病変に相当する箇所である病変領域１１０Ｃを有する。回転画像１０２Ｃには、アノテーション１０６Ｃが付与されている。アノテーション１０６Ｃは、回転画像１０２Ｃ内での病変領域１１０Ｃの位置を特定可能な情報（例えば、病変領域１１０Ｃに外接する矩形枠の位置を特定可能な複数の座標を含む情報）である。
　ここでは、説明の便宜上、アノテーション１０６Ｃの一例として、回転画像１０２Ｃ内での病変領域１１０Ｃの位置を特定可能な情報を例示しているが、これは、あくまでも一例に過ぎない。例えば、アノテーション１０６Ｃには、回転画像１０２Ｃに写っている病変の種類を特定可能な情報等のように、回転画像１０２Ｃに写っている病変を特定する他種類の情報が含まれていてもよい。
　詳しくは後述するが、ラジアル型超音波画像１０２Ｄは、実際のラジアル型超音波内視鏡検査で得られた超音波画像である。ラジアル型超音波画像１０２Ｄには病変が写っている。すなわち、ラジアル型超音波画像１０２Ｄは、病変に相当する箇所である病変領域１１０Ｄを有する。ラジアル型超音波画像１０２Ｄには、アノテーション１０６Ｄが付与されている。アノテーション１０６Ｄは、ラジアル型超音波画像１０２Ｄ内での病変領域１１０Ｄの位置を特定可能な情報（例えば、病変領域１１０Ｄに外接する矩形枠の位置を特定可能な複数の座標を含む情報）である。
　ここでは、説明の便宜上、アノテーション１０６Ｄの一例として、ラジアル型超音波画像１０２Ｄ内での病変領域１１０Ｄの位置を特定可能な情報を例示しているが、これは、あくまでも一例に過ぎない。例えば、アノテーション１０６Ｄには、ラジアル型超音波画像１０２Ｄに写っている病変の種類を特定可能な情報等のように、ラジアル型超音波画像１０２Ｄに写っている病変を特定する他種類の情報が含まれていてもよい。
　詳しくは後述するが、仮想画像１０２Ｅは、ラジアル型超音波画像を模した態様の仮想超音波画像である。仮想画像１０２Ｅには病変が写っている。すなわち、仮想画像１０２Ｅは、病変に相当する箇所である病変領域１１０Ｅを有する。仮想画像１０２Ｅには、アノテーション１０６Ｅが付与されている。アノテーション１０６Ｅは、仮想画像１０２Ｅ内での病変領域１１０Ｅの位置を特定可能な情報（例えば、病変領域１１０Ｅに外接する矩形枠の位置を特定可能な複数の座標を含む情報）である。
　ここでは、説明の便宜上、アノテーション１０６Ｅの一例として、仮想画像１０２Ｅ内での病変領域１１０Ｅの位置を特定可能な情報を例示しているが、これは、あくまでも一例に過ぎない。例えば、アノテーション１０６Ｅには、仮想画像１０２Ｅに写っている病変の種類を特定可能な情報等のように、仮想画像１０２Ｅに写っている病変を特定する他種類の情報が含まれていてもよい。
　なお、以下では、説明の便宜上、円形状画像１０２Ａ、スケール調整画像１０２Ｂ、回転画像１０２Ｃ、ラジアル型超音波画像１０２Ｄ、及び仮想画像１０２Ｅを区別して説明する必要がない場合、「医用画像１０２」と称する。また、以下では、説明の便宜上、アノテーション１０６Ａ～１０６Ｅを区別して説明する必要がない場合、「アノテーション１０６」と称する。また、以下では、説明の便宜上、病変領域１１０Ａ～１１０Ｅを区別して説明する必要がない場合、「病変領域１１０」と称する。アノテーション１０６は、本開示の技術に係る「アノテーション」の一例である。
　取得部９２Ａは、ＮＶＭ９６から複数の医用画像１０２を取得する。例えば、取得部９２Ａは、モデル９８の学習に未だに用いられていない医用画像１０２を１フレームずつＮＶＭ９６から取得する。学習実行部９２Ｂは、取得部９２Ａによって取得された医用画像１０２をモデル９８に学習させる。なお、以下では、説明の便宜上、学習実行部９２Ｂによって行われる処理の理解を容易にするために、学習実行部９２Ｂがモデル９８に従って行う処理の一部については、モデル９８が主体となって能動的に行う処理として説明する。すなわち、説明の便宜上、モデル９８を、入力された情報（例えば、画像を含む情報）に対して処理（例えば、画像認識処理を含む処理）を行って処理結果を出力する機能と見立てて説明する。
　取得部９２Ａは、医用画像１０２のうちのアノテーション１０６以外の部分（すなわち、医用画像１０２の本体）である学習用画像１１２をモデル９８に入力する。モデル９８は、学習用画像１１２が入力されると、モデル９８は、病変領域１１０の位置を予測して予測結果１１６を出力する。予測結果１１６は、学習用画像１１２内での病変領域１１０の位置としてモデル９８によって予測された位置を特定可能な情報である。モデル９８によって予測された位置を特定可能な情報の一例としては、例えば、病変領域１１０が存在する領域として予測された領域を取り囲むバウンディングボックスの位置（すなわち、学習用画像１１２内でのバウンディングボックスの位置）を特定可能な複数の座標を含む情報が挙げられる。
　学習実行部９２Ｂは、予測結果１１６と、予測結果１１６に対応するアノテーション１０６（すなわち、予測結果１１６の出力のためにモデル９８に入力された学習用画像１１２に付与されていたアノテーション１０６）との誤差を算出する。そして、学習実行部９２Ｂは、算出した誤差に応じた調整をモデル９８に対して行う。すなわち、学習実行部９２Ｂは、算出した誤差が最小となるようにモデル９８内の複数の最適化変数（例えば、複数の結合荷重及び複数のオフセット値等）を調整する。
　取得部９２Ａ及び学習実行部９２Ｂは、学習用画像１１２のモデル９８への入力、誤差の算出、及び複数の最適化変数の調整という一連の処理である学習処理を、ＮＶＭ９６に格納されている複数の医用画像１０２（例えば、全ての医用画像１０２）の各々について繰り返し行うことでモデル９８を最適化する。例えば、誤差が最小になるようにモデル９８内の複数の最適化変数が調整されることによってモデル９８が最適化されて学習済みモデル７８が生成される。すなわち、学習済みモデル７８のデータ構造は、アノテーション１０６が付与された複数の医用画像１０２をモデル９８に学習させることによって得られる。
　学習実行部９２Ｂは、通信モジュール９０（図４参照）を介して、処理装置１８に学習済みモデル７８を送信する。処理装置１８では、プロセッサ６２が通信モジュール６０（図３参照）を介して学習済みモデル７８を受信し、受信した学習済みモデル７８をＮＶＭ６６に格納する。
　一例として図６に示すように、コンベックス型超音波画像１０４は、コンベックス型の超音波プローブ１１８Ａを有するコンベックス型超音波内視鏡装置１１８によって特定の画像モード下で生成される。コンベックス型超音波画像１０４は、複数存在しており、複数の被検体のそれぞれに対して行われるコンベックス超音波内視鏡検査（例えば、１台以上のコンベックス型超音波内視鏡装置１１８を用いた検査）から得られる。複数の被検体は、被検体２２とは異なる被検体である。なお、複数の被検体には、被検体２２が含まれていてもよい。
　円形状画像１０２Ａは、コンベックス型超音波画像１０４Ａ及び１０４Ｂが合成されることによって生成された画像である。図６に示す例では、コンベックス型超音波画像１０４Ｂに病変領域１１０Ａが含まれている。なお、これは、あくまでも一例に過ぎず、コンベックス型超音波画像１０４Ａに病変が写っていたり、コンベックス型超音波画像１０４Ａ及び１０４Ｂの両方に病変が写っていたりする場合もあり得る。
　コンベックス型超音波画像１０４Ａとコンベックス型超音波画像１０４Ｂは、超音波プローブ１１８Ａによって相反する方向に向けて超音波が放射されることによって得られた超音波画像であり、線対象の位置関係にある。また、コンベックス型超音波画像１０４Ａ及び１０４Ｂのスケールは、ラジアル型超音波画像２４のスケールに基づいて調整されている。すなわち、ラジアル型超音波画像２４のスケールは、コンベックス型超音波画像１０４Ａ及び１０４Ｂのスケールよりも小さいため、コンベックス型超音波画像１０４Ａ及び１０４Ｂのスケールとラジアル型超音波画像２４のスケールとを一致させるように、コンベックス型超音波画像１０４Ａ及び１０４Ｂは縮小されている。そして、縮小されたコンベックス型超音波画像１０４Ａ及び１０４Ｂは、線対象の位置関係が維持された状態で結合される。
　このようにコンベックス型超音波画像１０４Ａ及び１０４Ｂが縮小され、縮小されたコンベックス型超音波画像１０４Ａ及び１０４Ｂが線対象の位置関係を維持したままで結合されることによって得られた画像が円形状画像１０２Ａである。円形状画像１０２Ａには、病変領域１１０Ａに対応するアノテーション１０６Ａが付与される。
　なお、図６に示す例では、コンベックス型超音波画像１０４Ａ及び１０４Ｂが上下方向で線対象に配置されているが、これは、あくまでも一例に過ぎず、横方向又は斜め方向で一対のコンベックス型超音波画像が線対象に配置されていてもよい。
　また、ここでは、一対のコンベックス型超音波画像が線対象に配置されて結合される形態例を挙げて説明しているが、これは、あくまでも一例に過ぎない。例えば、異なる向き（例えば、３つ以上の向き）でコンベックス走査が行われることによって得られた３フレーム以上のコンベックス型超音波画像を結合させてもよい。この場合、隣接するコンベックス型超音波画像間で画像領域が重複する場合には、隣接するコンベックス型超音波画像のうちの一方から重複する画像領域を削って、隣接するコンベックス型超音波画像を結合させるようにすればよい。
　また、ここでは、一対のコンベックス型超音波画像がスケールの調整後に結合される形態例を挙げて説明したが、これは、あくまでも一例に過ぎず、一対のコンベックス型超音波画像が結合されてからスケールの調整が行われるようにしてもよい。
　スケール調整画像１０２Ｂは、病変領域１１０Ｂを含むコンベックス型超音波画像１０４Ｃのスケールがラジアル型超音波画像２４のスケールに基づいて調整されることによって得られた画像である。すなわち、ラジアル型超音波画像２４のスケールは、コンベックス型超音波画像１０４Ｃのスケールよりも小さいため、コンベックス型超音波画像１０４Ｃのスケールとラジアル型超音波画像２４のスケールとを一致させるようにコンベックス型超音波画像１０４Ｃが縮小される。このようにコンベックス型超音波画像１０４Ｃが縮小された画像がスケール調整画像１０２Ｂである。スケール調整画像１０２Ｂには、病変領域１１０Ｂに対応するアノテーション１０６Ｂが付与される。
　回転画像１０２Ｃは、病変領域１１０Ｃを含むコンベックス型超音波画像１０４Ｄを回転させた画像である。回転角度は、例えば、事前に指定された回転角度である。回転角度は複数存在しており、回転画像１０２Ｃは、回転角度毎に存在している。回転角度は、例えば、０度以上３６０度未満の範囲で既定角度（例えば１度単位）毎に定められている。すなわち、１つのコンベックス型超音波画像１０４Ｄにつき、回転角度の個数分だけ回転画像１０２Ｃが生成される。
　また、回転画像１０２Ｃも、円形状画像１０２Ａ及びスケール調整画像１０２Ｂと同様に、ラジアル型超音波画像２４のスケールに基づいて調整されている。すなわち、コンベックス型超音波画像１０４Ｄのスケールとラジアル型超音波画像２４のスケールとを一致させるようにコンベックス型超音波画像１０４Ｄが縮小される。このようにコンベックス型超音波画像１０４Ｄを指定された回転角度で回転させ、回転させたコンベックス型超音波画像１０４Ｄが縮小された画像が回転画像１０２Ｃである。回転画像１０２Ｃには、病変領域１１０Ｃに対応するアノテーション１０６Ｃが付与される。
　なお、ここでは、コンベックス型超音波画像１０４Ｄを回転させてからスケールが調整される形態例を挙げているが、これは、あくまでも一例に過ぎず、スケールが調整されたコンベックス型超音波画像１０４Ｄを回転させることによって回転画像１０２Ｃが生成されるようにしてもよい。
　ラジアル型超音波画像１０２Ｄは、被検体２２とは異なる被検体（図１参照）に対するラジアル型超音波内視鏡検査によって得られたラジアル型超音波画像である。ラジアル型超音波画像１０２Ｄは、複数存在しており、被検体２２とは異なる複数の被検体のそれぞれについて複数生成される。なお、複数の被検体には、被検体２２が含まれていてもよい。
　ラジアル型超音波内視鏡検査では、例えば、ラジアル型超音波内視鏡装置１２０が用いられる。ラジアル型超音波内視鏡装置１２０は、例えば、超音波内視鏡装置１２と同一の仕様の装置であることが好ましい。また、ラジアル型超音波内視鏡装置１２０には、画質を司るパラメータとして超音波内視鏡装置１２に設定されている各種パラメータと同一のパラメータが設定されていることが好ましい。
　ラジアル型超音波画像１０２Ｄは、ラジアル型超音波内視鏡装置１２０によって特定の画像モード下で得られたラジアル型超音波画像である。また、ラジアル型超音波画像１０２Ｄは、ラジアル型超音波画像２４（図１参照）よりも過去に得られたラジアル型超音波画像である。すなわち、ラジアル型超音波画像１０２Ｄは、図１に示すラジアル型超音波内視鏡検査よりも過去に行われたラジアル型超音波内視鏡検査から得られたラジアル型超音波画像である。ラジアル型超音波画像１０２Ｄに写っている観察対象領域は、ラジアル型超音波画像２４（図１参照）に写っている観察対象領域と解剖的に同一の領域である。ラジアル型超音波画像１０２Ｄには、病変領域１１０Ｄが含まれており、病変領域１１０Ｄに対応するアノテーション１０６Ｄが付与される。
　仮想画像１０２Ｅは、被検体を示すボリュームデータ１２２に基づいて生成され、かつ、ラジアル型超音波画像を模した態様の仮想超音波画像である。仮想画像１０２Ｅは、複数存在しており、複数の被検体のそれぞれを示すボリュームデータ１２２毎に生成される。なお、複数の被検体には、被検体２２が含まれていてもよい。
　ボリュームデータ１２２は、モダリティによって被検体の全身又は一部（例えば、腹部）が撮像されることで得られた複数の２次元スライス画像１２４が積み重ねられてボクセルで規定された３次元画像である。各ボクセルの位置は３次元座標によって特定される。モダリティの一例としては、ＣＴ装置が挙げられる。ＣＴ装置は、一例に過ぎず、モダリティの他の例としては、ＭＲＩ装置又は超音波診断装置等が挙げられる。
　仮想画像１０２Ｅには、病変領域１１０Ｅが含まれており、病変領域１１０Ｅに対応するアノテーション１０６Ｅが付与される。
　一例として図７に示すように、超音波内視鏡装置１２では、生成部６２Ａが、送受信回路５８から反射波信号７４を取得し、取得した反射波信号７４に基づいてラジアル型超音波画像２４を生成する。図７に示す例では、病変に相当する箇所である病変領域１２６を含むラジアル型超音波画像２４が生成部６２Ａによって生成される例が示されているが、勿論、病変が写っていないラジアル型超音波画像２４が生成部６２Ａによって生成されることもある。
　検出部６２Ｂは、ＮＶＭ６６から学習済みモデル７８を取得する。そして、検出部６２Ｂは、取得した学習済みモデル７８に従って、生成部６２Ａによって生成されたラジアル型超音波画像２４から病変を検出する。すなわち、検出部６２Ｂは、学習済みモデル７８に従って、ラジアル型超音波画像２４内の病変領域１２６の有無を判定し、ラジアル型超音波画像２４に病変領域１２６が存在している場合に病変領域１２６の位置を特定する位置特定情報１２８（例えば、病変領域１２６の位置を特定する複数の座標を含む情報）を生成する。なお、以下では、説明の便宜上、検出部６２Ｂによって行われる処理の理解を容易にするために、検出部６２Ｂが学習済みモデル７８に従って行う処理の一部については、学習済みモデル７８が主体となって能動的に行う処理として説明する。すなわち、説明の便宜上、学習済みモデル７８を、入力された情報（例えば、画像を含む情報）に対して処理（例えば、画像認識処理を含む処理）を行って処理結果を出力する機能と見立てて説明する。
　検出部６２Ｂは、生成部６２Ａによって生成されたラジアル型超音波画像２４を学習済みモデル７８に入力する。学習済みモデル７８は、ラジアル型超音波画像２４が入力されると、ラジアル型超音波画像２４内の病変領域１２６の有無を判定する。ここで、学習済みモデル７８は、ラジアル型超音波画像２４内に病変領域１２６が存在すると判定した場合（すなわち、ラジアル型超音波画像２４に写っている病変を検出した場合）、位置特定情報１２８を出力する。検出部６２Ｂは、学習済みモデル７８から出力された位置特定情報１２８に基づいて検出枠１２８Ａを生成する。検出枠１２８Ａは、学習済みモデル７８がラジアル型超音波画像２４から病変領域１２６を検出する場合に用いるバウンディングボックス（例えば、信頼度スコアが最も高いバウンディングボックス）に対応する矩形枠である。すなわち、検出枠１２８Ａは、学習済みモデル７８によって検出された病変領域１２６を取り囲む枠である。
　検出部６２Ｂは、位置特定情報１２８に従って、学習済みモデル７８から出力された位置特定情報１２８に対応するラジアル型超音波画像２４（すなわち、位置特定情報１２８の出力のために学習済みモデル７８に入力されたラジアル型超音波画像２４）に対して検出枠１２８Ａを付与する。すなわち、検出部６２Ｂは、学習済みモデル７８から出力された位置特定情報１２８に対応するラジアル型超音波画像２４に対して、病変領域１２６を取り囲むように検出枠１２８Ａを重畳させることによりラジアル型超音波画像２４に検出枠１２８Ａを付与する。検出部６２Ｂは、ラジアル型超音波画像２４内に病変領域１２６が存在すると学習済みモデル７８によって判定された場合、検出枠１２８Ａが付与されたラジアル型超音波画像２４を制御部６２Ｃに出力する。また、検出部６２Ｂは、ラジアル型超音波画像２４内に病変領域１２６が存在しないと学習済みモデル７８によって判定された場合、検出枠１２８Ａが付与されていないラジアル型超音波画像２４を制御部６２Ｃに出力する。
　制御部６２Ｃは、検出部６２Ｂから入力されたラジアル型超音波画像２４（すなわち、検出部６２Ｂの検出結果が反映されたラジアル型超音波画像２４）を表示装置１４の画面２６に表示する。ラジアル型超音波画像２４に病変が写っている場合には、病変領域１２６を取り囲む検出枠１２８Ａが付与されたラジアル型超音波画像２４（すなわち、検出枠１２８Ａが重畳されたラジアル型超音波画像２４）が画面２６に表示される。一方、ラジアル型超音波画像２４に病変が写っていない場合には、検出枠１２８Ａが付与されていないラジアル型超音波画像２４（すなわち、学習済みモデル７８から出力されたラジアル型超音波画像２４）が画面２６に表示される。
　次に、学習装置８０の作用について図８を参照しながら説明する。
　図８には、学習装置８０のプロセッサ９２によって行われる学習実行処理の流れの一例が示されている。図８に示す学習実行処理の流れは、本開示の技術に係る「学習方法」の一例である。
　図８に示す学習実行処理では、先ず、ステップＳＴ１０で、取得部９２Ａは、モデル９８の学習に未だに用いられていない１フレーム分の医用画像１０２をＮＶＭ９６から取得する。ステップＳＴ１０の処理が実行された後、学習実行処理はステップＳＴ１２へ移行する。
　ステップＳＴ１２で、学習実行部９２Ｂは、ステップＳＴ１０で取得された医用画像１０２から得た学習用画像１１２をモデル９８に入力する。ステップＳＴ１２の処理が実行された後、学習実行処理はステップＳＴ１４へ移行する。
　ステップＳＴ１４で、学習実行部９２Ｂは、ステップＳＴ１０で取得された医用画像１０２に付与されているアノテーション１０６と、ステップＳＴ１２の処理が実行されることによってモデル９８から出力された予測結果１１６との誤差を算出する。ステップＳＴ１４の処理が実行された後、学習実行処理はステップＳＴ１６へ移行する。
　ステップＳＴ１６で、学習実行部９２Ｂは、モデル９８に対して、ステップＳＴ１４で算出した誤差に応じた調整を実行する。ステップＳＴ１４の処理が実行された後、学習実行処理はステップＳＴ１８へ移行する。
　ステップＳＴ１８で、学習実行部９２Ｂは、学習実行処理が終了する条件（以下、「学習終了条件」と称する）を満足したか否かを判定する。学習終了条件の第１例としては、ＮＶＭ９６内の全ての医用画像１０２がモデル９８の学習に用いられた、という条件が挙げられる。学習終了条件の第２例としては、学習実行処理を終了させる指示が受付装置８６によって受け付けられた、という条件が挙げられる。
　ステップＳＴ１８において、学習終了条件を満足してない場合は、判定が否定されて、学習実行処理はステップＳＴ１０へ移行する。ステップＳＴ１８において、学習終了条件を満足した場合は、判定が肯定されて、学習実行処理が終了する。
　ステップＳＴ１０～ステップＳＴ１８の処理が繰り返し実行されることによってモデル９８は最適化されて学習済みモデル７８が生成される。このようにして生成された学習済みモデル７８は、ＮＶＭ６６に格納される（図３及び図５参照）。
　次に、内視鏡システム１０の作用について図９を参照しながら説明する。
　図９には、処理装置１８のプロセッサ６２によって行われる病変検出処理の流れの一例が示されている。
　図９に示す病変検出処理では、先ず、ステップＳＴ５０で、生成部６２Ａは、送受信回路５８から反射波信号７４を取得し、取得した反射波信号７４に基づいて１フレーム分のラジアル型超音波画像２４を生成する。ステップＳＴ５０の処理が実行された後、病変検出処理はステップＳＴ５２へ移行する。
　ステップＳＴ５２で、検出部６２Ｂは、ステップＳＴ５０で生成されたラジアル型超音波画像２４を学習済みモデル７８に入力する。ステップＳＴ５２の処理が実行された後、病変検出処理はステップＳＴ５４へ移行する。
　ステップＳＴ５４で、検出部６２Ｂは、ステップＳＴ５２で学習済みモデル７８に入力したラジアル型超音波画像２４に病変が写っているか否かを、学習済みモデル７８を用いて判定する。ラジアル型超音波画像２４に病変が写っている場合、学習済みモデル７８は、位置特定情報１２８を出力する。
　ステップＳＴ５４において、ラジアル型超音波画像２４に病変が写っていない場合は、判定が否定されて、病変検出処理はステップＳＴ５８へ移行する。ステップＳＴ５４において、ラジアル型超音波画像２４に病変が写っている場合は、判定が肯定されて、病変検出処理はステップＳＴ５６へ移行する。
　ステップＳＴ５４において判定が肯定された場合、検出部６２Ｂは、学習済みモデル７８から出力された位置特定情報１２８に基づいて検出枠１２８Ａを生成し、ステップＳＴ５０で生成されたラジアル型超音波画像２４に対して、病変領域１２６を取り囲むように検出枠１２８Ａを重畳させる。そして、ステップＳＴ５６で、制御部６２Ｃは、検出枠１２８Ａによって病変領域１２６が取り囲まれたラジアル型超音波画像２４を表示装置１４の画面２６に表示する。ラジアル型超音波画像２４内の病変領域１２６は検出枠１２８Ａによって取り囲まれているので、医師２０は、ラジアル型超音波画像２４内の何れの位置に病変が写っているかを視覚的に把握することが可能となる。ステップＳＴ５６の処理が実行された後、病変検出処理はステップＳＴ６０へ移行する。
　ステップＳＴ５８で、制御部６２Ｃは、ステップＳＴ５０で生成されたラジアル型超音波画像２４を表示装置１４の画面２６に表示する。この場合、ラジアル型超音波画像２４には検出枠１２８Ａが付与されていないので、医師２０は、ラジアル型超音波画像２４に病変が写っていないことを視覚的に認識することが可能となる。ステップＳＴ５８の処理が実行された後、病変検出処理はステップＳＴ６０へ移行する。
　ステップＳＴ６０で、制御部６２Ｃは、病変検出処理が終了する条件（以下、「病変検出終了条件」と称する）を満足したか否かを判定する。病変検出終了条件の一例としては、病変検出処理を終了させる指示が受付装置５２によって受け付けられた、という条件が挙げられる。ステップＳＴ６０において、病変検出終了条件を満足していない場合は、判定が否定されて、病変検出処理はステップＳＴ５０へ移行する。ステップＳＴ６０において、病変検出終了条件を満足した場合は、判定が肯定されて、病変検出処理が終了する。
　以上説明したように、学習装置８０のＮＶＭ９６に格納されている複数の医用画像１０２のそれぞれにはアノテーション１０６が付与されている。アノテーション１０６は、医用画像１０２内での病変領域１１０の位置を特定可能な情報である。医用画像１０２は、少なくとも１つのコンベックス型超音波画像１０４に基づいて生成され、かつ、ラジアル型超音波画像の少なくとも一部を模した態様の画像である。そして、このように構成された複数の医用画像１０２はモデル９８の学習に用いられる。すなわち、医用画像１０２の本体である学習用画像１１２のモデル９８への入力、誤差の算出、及び複数の最適化変数の調整という学習処理が、ＮＶＭ９６に格納されている複数の医用画像１０２の各々について繰り返し行われることでモデル９８が最適化される。モデル９８が最適化されることによって学習済みモデル７８が生成され、学習済みモデル７８は、ラジアル型超音波画像２４に写っている病変の検出に用いられる。このように、学習装置８０によれば、モデル９８に対してラジアル型超音波画像（例えば、図５及び図６に示すラジアル型超音波画像１０２Ｄ）のみを学習させなくても、ラジアル型超音波画像２４に写っている病変の特定に寄与する学習済みモデル７８を得ることができる。
　学習装置８０のＮＶＭ９６に格納されている複数の医用画像１０２には、円形状画像１０２Ａが含まれている。円形状画像１０２Ａは、コンベックス型超音波画像１０４Ａ及び１０４Ｂが合成されることによって生成された画像である。ラジアル型超音波画像２４の外形も円形状なので、外形が同形状の円形状画像１０２Ａをモデル９８に学習させることによって得られた学習済みモデル７８は、ラジアル型超音波画像２４に写っている病変の高精度な特定に寄与することができる。
　円形状画像１０２Ａの基になるコンベックス型超音波画像１０４Ａ及び１０４Ｂのスケールはラジアル型超音波画像２４のスケールと異なっている。そこで、学習装置８０は、ラジアル型超音波画像２４のスケールに基づいてスケールを調整したコンベックス型超音波画像１０４Ａ及び１０４Ｂ（例えば、スケールをラジアル型超音波画像２４のスケールに一致させたコンベックス型超音波画像１０４Ａ及び１０４Ｂ）を結合させることによって円形状画像１０２Ａを生成してモデル９８に学習させている。これにより、コンベックス型超音波画像１０４Ａ及び１０４Ｂのスケールと同じスケールの円形状画像１０２Ａをモデル９８に学習させた場合に比べ、ラジアル型超音波画像２４から学習済みモデル７８に従って病変を特定する精度を高めることができる。
　学習装置８０のＮＶＭ９６には、互いに異なる複数の円形状画像１０２Ａが予め格納されている。そして、プロセッサ９２は、ＮＶＭ９６から円形状画像１０２Ａを取得し、取得した円形状画像１０２Ａをモデル９８に学習させる。従って、学習装置８０は、モデル９８を学習させるたびにプロセッサ９２に円形状画像１０２Ａを生成させなくても、円形状画像１０２Ａをモデル９８に学習させることができる。
　ラジアル走査で超音波が放射される方位は、コンベックス走査で超音波が放射される方位よりも多い。そこで、コンベックス走査では超音波が放射されない方位に対応する領域の病変を検出可能にするため、学習装置８０のＮＶＭ９６に格納されている複数の医用画像１０２には、回転画像１０２Ｃが含まれている。回転画像１０２Ｃは、コンベックス型超音波画像１０４Ｄを回転させた画像である。従って、回転画像１０２Ｃをモデル７８に学習させることによって、診断に用いられるラジアル型超音波画像２４内の様々な位置に病変が写っていたとしても、ラジアル型超音波画像２４から、学習済みモデル９８に従って、病変を特定する精度を高めることができる。
　回転画像１０２Ｃの基になるコンベックス型超音波画像１０４Ｄのスケールはラジアル型超音波画像２４のスケールと異なっている。そこで、学習装置８０は、回転させたコンベックス型超音波画像１０４Ｄのスケールをラジアル型超音波画像２４のスケールに基づいて調整する（例えば、回転させたコンベックス型超音波画像１０４Ｄのスケールをラジアル型超音波画像２４のスケールに一致させる）ことで回転画像１０２Ｃを生成し、生成した回転画像１０２Ｃをモデル９８に学習させている。これにより、コンベックス型超音波画像１０４Ｄのスケールと同じスケールの回転画像１０２Ｃをモデル９８に学習させた場合に比べ、ラジアル型超音波画像２４から学習済みモデル７８に従って病変を特定する精度を高めることができる。
　学習装置８０のＮＶＭ９６には、互いに異なる複数の回転画像１０２Ｃが予め格納されている。そして、プロセッサ９２は、ＮＶＭ９６から回転画像１０２Ｃを取得し、取得した回転画像１０２Ｃをモデル９８に学習させる。従って、学習装置８０は、モデル９８を学習させるたびにプロセッサ９２に回転画像１０２Ｃを生成させなくても、回転画像１０２Ｃをモデル９８に学習させることができる。
　コンベックス型超音波画像１０４Ｃのスケールはラジアル型超音波画像２４のスケールと異なっている。そこで、学習装置８０は、ラジアル型超音波画像２４のスケールに基づいてコンベックス型超音波画像１０４Ｃのスケールを調整する（例えば、コンベックス型超音波画像１０４Ｃのスケールをラジアル型超音波画像２４のスケールに一致させる）ことでスケール調整画像１０２Ｂを生成してモデル９８に学習させている。これにより、コンベックス型超音波画像１０４Ｃのスケールを調整することなくコンベックス型超音波画像１０４Ｃをモデル９８に学習させた場合に比べ、ラジアル型超音波画像２４から学習済みモデル７８に従って病変を特定する精度を高めることができる。
　学習装置８０のＮＶＭ９６には、互いに異なる複数のスケール調整画像１０２Ｂが予め格納されている。そして、プロセッサ９２は、ＮＶＭ９６からスケール調整画像１０２Ｂを取得し、取得したスケール調整画像１０２Ｂをモデル９８に学習させる。従って、学習装置８０は、モデル９８を学習させるたびにプロセッサ９２にスケール調整画像１０２Ｂを生成させなくても、スケール調整画像１０２Ｂをモデル９８に学習させることができる。
　学習装置８０において、プロセッサ９２は、ＮＶＭ９６からラジアル型超音波画像１０２Ｄを取得し、取得したラジアル型超音波画像１０２Ｄをモデル９８に学習させている。従って、ラジアル型超音波画像１０２Ｄをモデル９８に学習させない場合に比べ（すなわち、コンベックス型超音波画像１０４に基づいて生成された画像のみをモデル９８に学習させる場合に比べ）、ラジアル型超音波画像２４からの病変の高精度な検出に寄与する学習済みモデル７８を得ることができる。
　学習装置８０のＮＶＭ９６には仮想画像１０２Ｅが格納されている。仮想画像１０２Ｅは、ボリュームデータ１２２に基づいて生成され、かつ、ラジアル型超音波画像を模した態様の仮想超音波画像である。プロセッサ９２は、ＮＶＭ９６から仮想画像１０２Ｅを取得し、取得した仮想画像１０２Ｅをモデル９８に学習させる。従って、モデル９８に学習させるために用いられる実際の超音波画像（例えば、コンベックス型超音波画像１０４及び／又はラジアル型超音波画像１０２Ｄ）が不足していたとしても、不足分を仮想画像１０２Ｅで賄うことができる。
　［第１変形例］
　上記実施形態では、ＮＶＭ９６に予め格納されている複数の医用画像１０２が取得部９２Ａによって取得され、取得された複数の医用画像１０２をモデル９８に学習させる形態例を挙げて説明したが、複数の医用画像１０２がＮＶＭ９６に予め格納されていなくても本開示の技術は成立する。例えば、図１０に示すように、取得部９２Ａは、少なくとも１つのコンベックス型超音波画像１０４に基づいて医用画像１０２を生成する複数の生成方法１２９から１つの生成方法１２９をランダムに選択し、選択した生成方法１２９に従って医用画像１０２を生成することで医用画像１０２を取得するようにしてもよい。そして、この場合も、取得部９２Ａによって取得された医用画像１０２を上記実施形態と同様の要領でモデル９８に学習させるようにすればよい。
　図１０に示す例では、複数の生成方法１２９の一例として、第１生成方法１２９Ａ、第２生成方法１２９Ｂ、及び第３生成方法１２９Ｃが示されている。第１生成方法１２９Ａは、複数のコンベックス型超音波画像１０４を合成することで円形状画像１０２Ａを医用画像１０２として生成すること、及び円形状画像１０２Ａのスケールをラジアル型超音波画像２４のスケールに基づいて調整することを含む方法である。第２生成方法１２９Ｂは、コンベックス型超音波画像１０４を回転させた回転画像１０２Ｃを医用画像１０２として生成すること、及び回転画像１０２Ｃのスケールをラジアル型超音波画像２４のスケールに基づいて生成することを含む方法である。第３生成方法１２９Ｃは、コンベックス型超音波画像１０４のスケールをラジアル型超音波画像２４のスケールに基づいて調整することによりスケール調整画像１０２Ｂを医用画像１０２として生成することを含む方法である。
　ＮＶＭ９６には、サンプル画像群１３０が格納されている。サンプル画像群１３０は、複数のコンベックス型超音波画像１０４からなる。サンプル画像群１３０を構成する複数のコンベックス型超音波画像１０４は、医用画像１０２（例えば、円形状画像１０２Ａ、スケール調整画像１０２Ｂ、及び回転画像１０２Ｃ）の基になる画像である。すなわち、サンプル画像群１３０には、図６に示すコンベックス型超音波画像１０４Ａ、１０４Ｂ、１０４Ｃ及び１０４Ｄが含まれている。また、サンプル画像群１３０を構成する複数のコンベックス型超音波画像１０４には、病変領域１１０を有し、かつ、病変領域１１０に対応するアノテーション１０６が付与されたコンベックス型超音波画像１０４が含まれている。
　取得部９２Ａは、第１生成方法１２９Ａ、第２生成方法１２９Ｂ、及び第３生成方法１２９Ｃから１つの生成方法１２９をランダムに選択し、選択した生成方法１２９で用いる少なくとも１つのコンベックス型超音波画像１０４をサンプル画像群１３０から取得する。
　取得部９２Ａは、第１生成方法１２９Ａを選択した場合、コンベックス型超音波画像１０４Ａ及び１０４Ｂをサンプル画像群１３０から取得する。取得部９２Ａは、第１生成方法１２９Ａを選択する毎に、サンプル画像群１３０から、異なる組み合わせのコンベックス型超音波画像１０４Ａ及び１０４Ｂを取得する。この場合、コンベックス型超音波画像１０４Ａ及び１０４Ｂのうちの少なくとも一方は、病変領域１１０を有する。すなわち、コンベックス型超音波画像１０４Ａ及び１０４Ｂのうちの少なくとも一方にはアノテーション１０６が付与されている。取得部９２Ａは、サンプル画像群１３０から取得したコンベックス型超音波画像１０４Ａ及び１０４Ｂを用いて、図６に示す例と同様の要領で円形状画像１０２Ａを生成する。
　取得部９２Ａは、第２生成方法１２９Ｂを選択した場合、コンベックス型超音波画像１０４Ｄをサンプル画像群１３０から取得する。取得部９２Ａは、第２生成方法１２９Ｂを選択する毎に、サンプル画像群１３０から、ランダムにコンベックス型超音波画像１０４Ｄを取得し、かつ、コンベックス型超音波画像１０４Ｄを回転させる回転角度をランダムに決定する。そして、取得部９２Ａは、サンプル画像群１３０から取得したコンベックス型超音波画像１０４Ｄを用いて、図６に示す例と同様の要領で回転画像１０２Ｃを生成する。
　取得部９２Ａは、第３生成方法１２９Ｃを選択した場合、スケール調整画像１０２Ｂの生成に未だに用いられていないコンベックス型超音波画像１０４Ｃをサンプル画像群１３０から取得する。そして、取得部９２Ａは、サンプル画像群１３０から取得したコンベックス型超音波画像１０４Ｃを用いて、図６に示す例と同様の要領でスケール調整画像１０２Ｂを生成する。
　図１１には、第１変形例に係る学習実行処理の流れの一例が示されている。図１１に示すフローチャートは、図８に示すフローチャートに比べ、ステップＳＴ１０の処理に代えてステップＳＴ１０Ａの処理及びステップＳＴ１０Ｂの処理を有する点が異なる。
　図１１に示す学習実行処理では、ステップＳＴ１０Ａで、取得部９２Ａは、複数の生成方法１２９（例えば、第１～第３生成方法１２９Ａ～１２９Ｃ）から１つの生成方法１２９を選択する。ステップＳＴ１０Ａの処理が実行された後、学習実行処理はステップＳＴ１０Ｂへ移行する。
　ステップＳＴ１０Ｂで、取得部９２Ａは、ステップＳＴ１０Ｂで選択した生成方法１２９（例えば、第１～第３生成方法１２９Ａ～１２９Ｃの何れか）に従って医用画像１０２（例えば、円形状画像１０２Ａ、スケール調整画像１０２Ｂ、又は回転画像１０２Ｃ）を生成する。
　ステップＳＴ１２では、ステップＳＴ１０Ｂで生成された医用画像１０２から得られる学習用画像１１２（図５参照）がモデル９８に入力される。なお、モデル９８には、上記実施形態と同様の要領で、ラジアル型超音波画像１０２Ｄ及び／又は仮想画像１０２Ｅが入力されるようにしてもよい。
　以上説明したように、第１変形例では、取得部９２Ａが、複数の生成方法１２９から１つの生成方法１２９をランダムに選択し、選択した生成方法１２９に従って医用画像１０２を生成することで医用画像１０２を取得する。そして、取得部９２Ａによって取得された医用画像１０２を上記実施形態と同様の要領でモデル９８に学習させる。これにより、常に１つの生成方法１２９のみによって生成された医用画像１０２をモデル９８に学習させる場合に比べ、モデル９８に対する学習の偏りを抑制することができる。また、医用画像１０２をＮＶＭ９６等のメモリに予め格納させておく必要がないので、メモリが容量不足に陥ることを抑制することができる。
　複数の生成方法１２９には、第１生成方法１２９Ａ、第２生成方法１２９Ｂ、及び第３生成方法１２９Ｃが含まれている。第１生成方法１２９Ａは、円形状画像１０２Ａを生成することを含む方法であり、第２生成方法１２９Ｂは、回転画像１０２Ｃを生成することを含む方法であり、第３生成方法１２９Ｃは、スケール調整画像１０２Ｂを生成することを含む方法である。そして、第１生成方法１２９Ａ、第２生成方法１２９Ｂ、及び第３生成方法１２９Ｃは、取得部９２Ａによってランダムに選択され、選択された生成方法１２９によって円形状画像１０２Ａ、スケール調整画像１０２Ｂ、又は回転画像１０２Ｃがランダムに生成される。従って、モデル９８に対して円形状画像１０２Ａ、スケール調整画像１０２Ｂ、及び回転画像１０２Ｃをランダムに学習させることができる。この結果、常に１つの生成方法１２９のみによって生成された医用画像１０２をモデル９８に学習させる場合に比べ、モデル９８に対する学習の偏りを抑制することができる。また、医用画像１０２をＮＶＭ９６等のメモリに予め格納させておく必要がないので、メモリが容量不足に陥ることを抑制することができる。
　また、第１生成方法１２９Ａでは、図６に示す例と同様に、円形状画像１０２Ａのスケールがラジアル型超音波画像２４のスケールに基づいて調整される。例えば、円形状画像１０２Ａのスケールがラジアル型超音波画像２４のスケールと一致するように、円形状画像１０２Ａは縮小される。よって、円形状画像１０２Ａのスケールがコンベックス型超音波画像１０４Ａ及び１０４Ｂのスケールと同じままの場合に比べ、ラジアル型超音波画像２４から学習済みモデル７８に従って病変を特定する精度を高めることができる。
　また、第３生成方法１２９Ｃでも、図６に示す例と同様に、回転画像１０２Ｃのスケールがラジアル型超音波画像２４のスケールに基づいて調整される。例えば、回転画像１０２Ｃのスケールがラジアル型超音波画像２４のスケールと一致するように、回転画像１０２Ｃは縮小される。よって、回転画像１０２Ｃのスケールがコンベックス型超音波画像１０４Ｄのスケールと同じままの場合に比べ、ラジアル型超音波画像２４から学習済みモデル７８に従って病変を特定する精度を高めることができる。
　本第１変形例では、第１生成方法１２９Ａ、第２生成方法１２９Ｂ、及び第３生成方法１２９Ｃを例示したが、複数の生成方法１２９には、第１生成方法１２９Ａ、第２生成方法１２９Ｂ、及び第３生成方法１２９Ｃ以外の生成方法１２９が含まれていてもよい。第１生成方法１２９Ａ、第２生成方法１２９Ｂ、及び第３生成方法１２９Ｃ以外の生成方法１２９としては、例えば、コンベックス型超音波画像１０４内の一部領域に相当する画像（以下、「一部画像」と称する）を医用画像１０２として生成する方法が挙げられる。一部領域に相当する画像の一例としては、コンベックス型超音波画像１０４が分割されることで得られた複数の分割画像のうちの病変領域１１０が含まれる分割画像が挙げられる。また、生成方法１２９の他の例としては、円形状画像１０２Ａを回転させた画像（以下、「回転円形状画像」と称する）を生成する方法が挙げられる。
　なお、一部画像及び／又は回転円形状画像は、図５に示すＮＶＭ９６に医用画像１０２として予め格納されていてもよい。この場合、一部画像及び／又は回転円形状画像は、他の医用画像１０２と同様に、取得部９２ＡによってＮＶＭ９６から取得され、モデル９８の学習に用いられる。
　［その他の変形例］
　上記実施形態では、処理装置１８によって生成されたラジアル型超音波画像２４と検出枠１２８Ａが表示装置１４の画面２６に表示される形態例を挙げたが、検出枠１２８Ａが付与されたラジアル型超音波画像２４がサーバ、ＰＣ、及び／又はタブレット端末等の各種装置に送信されて各種装置のメモリに格納されてもよい。また、検出枠１２８Ａが付与されたラジアル型超音波画像２４がレポートに記録されてもよい。また、位置特定情報１２８も各種装置のメモリに格納されてもよいし、レポートに記録されてもよい。ラジアル型超音波画像２４、検出枠１２８Ａ、及び／又は位置特定情報１２８は、被検体２２毎に、メモリに格納されたり、レポートに記録されたりすることが好ましい。
　上記実施形態では、コンベックス型超音波画像１０４のスケールをラジアル型超音波画像２４のスケールに一致させるようにコンベックス型超音波画像１０４を縮小させる形態例を挙げたが、仮に、ラジアル型超音波画像２４のスケールがコンベックス型超音波画像１０４のスケールよりも大きい場合、コンベックス型超音波画像１０４のスケールをラジアル型超音波画像２４のスケールに一致させるようにコンベックス型超音波画像１０４を拡大させるようにしてもよい。
　上記実施形態では、処理装置１８によって病変検出処理が行われ、学習装置８０によって学習実行処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。病変検出処理は、処理装置１８と処理装置１８の外部に設けられた少なくとも１つの装置とによって行われるようにしてもよいし、処理装置１８の外部に設けられた少なくとも１つの装置（例えば、処理装置１８に接続されており、処理装置１８が有する機能を拡張させるために用いられる補助的な処理装置）のみによって行われるようにしてもよい。また、学習実行処理は、学習装置８０と学習装置８０の外部に設けられた少なくとも１つの装置とによって行われるようにしてもよいし、学習装置８０の外部に設けられた少なくとも１つの装置のみによって行われるようにしてもよい。
　処理装置１８の外部に設けられた少なくとも１つの装置、及び学習装置８０の外部に設けられた少なくとも１つの装置の一例としては、サーバが挙げられる。サーバは、クラウドコンピューティングによって実現されるようにしてもよい。クラウドコンピューティングは、あくまでも一例に過ぎず、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングであってもよい。また、処理装置１８の外部に設けられた少なくとも１つの装置、及び学習装置８０の外部に設けられた少なくとも１つの装置として挙げたサーバは、あくまでも一例に過ぎず、サーバに代えて、少なくとも１台のＰＣ及び／又は少なくとも１台のメインフレーム等であってもよいし、少なくとも１台のサーバ、少なくとも１台のＰＣ、及び／又は少なくとも１台のメインフレーム等であってもよい。
　上記実施形態では、表示装置１４の画面２６に、検出枠１２８Ａが重畳されたラジアル型超音波画像２４が表示される形態例を挙げたが、これは、あくまでも一例に過ぎない。例えば、検出枠１２８Ａが重畳されたラジアル型超音波画像２４と、検出枠１２８Ａが重畳されていないラジアル型超音波画像２４（すなわち、病変領域１２６を検出した結果が可視化されていないラジアル型超音波画像２４）とが別々の画面に表示されるようにしてもよい。
　上記実施形態では、検出枠１２８Ａをラジアル型超音波画像２４に重畳させた状態で表示させることによって病変の有無及び病変の位置が医師２０によって視覚的に認識されるようにしているが、検出枠１２８Ａ以外の報知方法（例えば、テキスト画像又は音声情報等）を用いて病変の有無及び病変の位置が報知されるようにしてもよい。
　上記実施形態では、病変の有無及び病変の位置を医師２０に対して知覚させるようにしているが、病変の種類及び／病変の進行度等を医師２０に対して知覚させるようにしてもよい。この場合、アノテーション１０６に、病変の種類及び／病変の進行度等を特定可能な情報を含めた状態で医用画像１０２を教師データとしてモデル９８の学習に用いるようにすればよい。
　上記実施形態では、ＮＶＭ９６に学習実行プログラム１００が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、学習実行プログラム１００がＳＳＤ又はＵＳＢメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的なコンピュータ読取可能な記憶媒体である。記憶媒体に記憶されている学習実行プログラム１００は、コンピュータ８２にインストールされる。プロセッサ９２は、学習実行プログラム１００に従って学習実行処理を実行する。
　上記実施形態では、ＮＶＭ６６に病変検出プログラム７６が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、病変検出プログラム７６がＳＳＤ又はＵＳＢメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的なコンピュータ読取可能な記憶媒体である。記憶媒体に記憶されている病変検出プログラム７６は、コンピュータ５４にインストールされる。プロセッサ６２は、病変検出プログラム７６に従って病変検出処理を実行する。
　上記実施形態では、コンピュータ５４及び８２が例示されているが、本開示の技術はこれに限定されず、コンピュータ５４及び／又は８２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ５４及び／又は８２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
　上記実施形態で説明した各種処理（すなわち、学習実行処理及び病変検出処理）を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるプロセッサが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電子回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。
　各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はプロセッサとＦＰＧＡとの組み合わせ）で構成されてもよい。また、各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。
　１つのプロセッサで構成する例としては、第１に、１つ以上のプロセッサとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (21)

  1. 　第１プロセッサを備え、
    　前記第１プロセッサは、
    　病変を特定するアノテーションが付与された複数の医用画像を取得し、
    　取得した前記複数の医用画像をモデルに学習させ、
    　前記医用画像は、少なくとも１つのコンベックス型超音波画像に基づいて生成され、かつ、ラジアル型超音波画像の少なくとも一部を模した態様の画像である
    　学習装置。
  2. 　前記複数の医用画像には、複数の前記コンベックス型超音波画像が合成されることによって生成された円形状画像が含まれている
    　請求項１に記載の学習装置。
  3. 　前記円形状画像のスケールは、前記ラジアル型超音波画像のスケールに基づいて調整されている
    　請求項２に記載の学習装置。
  4. 　前記円形状画像は、第１メモリに予め格納されており、
    　前記第１プロセッサは、
    　前記第１メモリから前記円形状画像を取得し、
    　取得した前記円形状画像を前記モデルに学習させる
    　請求項２に記載の学習装置。
  5. 　前記複数の医用画像には、前記コンベックス型超音波画像を回転させた回転画像が含まれている
    　請求項１に記載の学習装置。
  6. 　前記回転画像のスケールは、前記ラジアル型超音波画像のスケールに基づいて調整されている
    　請求項５に記載の学習装置。
  7. 　前記回転画像は、第２メモリに予め格納されており、
    　前記第１プロセッサは、
    　前記第２メモリから前記回転画像を取得し、
    　取得した前記回転画像を前記モデルに学習させる
    　請求項５に記載の学習装置。
  8. 　前記複数の医用画像には、前記コンベックス型超音波画像のスケールが前記ラジアル型超音波画像のスケールに基づいて調整されることによって得られたスケール調整画像が含まれている
    　請求項１に記載の学習装置。
  9. 　前記スケール調整画像は、第３メモリに予め格納されており、
    　前記第１プロセッサは、
    　前記第３メモリから前記スケール調整画像を取得し、
    　取得した前記スケール調整画像を前記モデルに学習させる
    　請求項８に記載の学習装置。
  10. 　前記第１プロセッサは、
    　前記少なくとも１つのコンベックス型超音波画像に基づいて前記医用画像を生成する複数の生成方法から１つの生成方法をランダムに選択し、
    　選択した生成方法に従って前記医用画像を生成することで取得し、
    　取得した前記医用画像を前記モデルに学習させる
    　請求項１に記載の学習装置。
  11. 　前記複数の生成方法は、第１生成方法、第２生成方法、及び第３生成方法を含み、
    　前記第１生成方法は、複数の前記コンベックス型超音波画像を合成することで円形状画像を前記医用画像として生成することを含み、
    　前記第２生成方法は、前記コンベックス型超音波画像を回転させた回転画像を前記医用画像として生成することを含み、
    　前記第３生成方法は、前記コンベックス型超音波画像のスケールを前記ラジアル型超音波画像のスケールに基づいて調整することによりスケール調整画像を前記医用画像として生成することを含む
    　請求項１０に記載の学習装置。
  12. 　前記第１生成方法は、前記円形状画像のスケールを前記ラジアル型超音波画像のスケールに基づいて調整することを含む
    　請求項１１に記載の学習装置。
  13. 　前記第２生成方法は、前記回転画像のスケールを前記ラジアル型超音波画像のスケールに基づいて調整することを含む
    　請求項１１に記載の学習装置。
  14. 　前記第１プロセッサは、
    　第１ラジアル型超音波内視鏡によって得られた少なくとも１つの第１超音波画像を取得し、
    　取得した前記第１超音波画像を前記モデルに学習させる
    　請求項１に記載の学習装置。
  15. 　前記第１プロセッサは、
    　被検体を示すボリュームデータに基づいて生成され、かつ、前記ラジアル型超音波画像の少なくとも一部を模した態様の仮想超音波画像を取得し、
    　取得した前記仮想超音波画像を前記モデルに学習させる
    　請求項１に記載の学習装置。
  16. 　請求項１に記載の学習装置が前記モデルに対して前記複数の医用画像を学習させることで得られた学習済みモデル。
  17. 　第２ラジアル型超音波内視鏡によって得られた第２超音波画像から病変を特定する処理に用いられるデータ構造を有する学習済みモデルであって、
    　前記データ構造は、前記病変を特定するアノテーションが付与された複数の医用画像をモデルに学習させることによって得られ、
    　前記医用画像は、少なくとも１つのコンベックス型超音波画像に基づいて生成され、かつ、ラジアル型超音波画像の少なくとも一部を模した態様の画像である
    　学習済みモデル。
  18. 　請求項１７に記載の学習済みモデルと、
    　第２プロセッサと、を備え、
    　前記第２プロセッサは、
    　第３ラジアル型超音波内視鏡によって得られた第３超音波画像を取得し、
    　取得した前記第３超音波画像から、前記学習済みモデルに従って、前記病変に相当する箇所を検出する
    　医用診断装置。
  19. 　請求項１７に記載の学習済みモデルと、
    　第４ラジアル型超音波内視鏡と、
    　第３プロセッサと、を備え、
    　前記第３プロセッサは、
    　前記第４ラジアル型超音波内視鏡によって得られた第４超音波画像を取得し、
    　取得した前記第４超音波画像から、前記学習済みモデルに従って、前記病変に相当する箇所を検出する
    　超音波内視鏡装置。
  20. 　病変を特定するアノテーションが付与された複数の医用画像を取得すること、及び
    　取得した前記複数の医用画像をモデルに学習させること、を含み、
    　前記医用画像は、少なくとも１つのコンベックス型超音波画像に基づいて生成され、かつ、ラジアル型超音波画像の少なくとも一部を模した態様の画像である
    　学習方法。
  21. 　コンピュータに処理を実行させるためのプログラムであって、
    　前記処理は、
    　病変を特定するアノテーションが付与された複数の医用画像を取得すること、及び
    　取得した前記複数の医用画像をモデルに学習させること、を含み、
    　前記医用画像は、少なくとも１つのコンベックス型超音波画像に基づいて生成され、かつ、ラジアル型超音波画像の少なくとも一部を模した態様の画像である
    　プログラム。
PCT/JP2023/021602 2022-06-29 2023-06-09 学習装置、学習済みモデル、医用診断装置、超音波内視鏡装置、学習方法、及びプログラム WO2024004597A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-105153 2022-06-29
JP2022105153 2022-06-29

Publications (1)

Publication Number Publication Date
WO2024004597A1 true WO2024004597A1 (ja) 2024-01-04

Family

ID=89382047

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021602 WO2024004597A1 (ja) 2022-06-29 2023-06-09 学習装置、学習済みモデル、医用診断装置、超音波内視鏡装置、学習方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2024004597A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190340800A1 (en) * 2018-05-02 2019-11-07 Covidien Lp System and method for constructing virtual radial ultrasound images from ct data and performing a surgical navigation procedure using virtual ultrasound images
JP2021137116A (ja) * 2020-03-02 2021-09-16 キヤノン株式会社 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置
WO2022071326A1 (ja) * 2020-09-29 2022-04-07 テルモ株式会社 情報処理装置、学習済モデルの生成方法および訓練データ生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190340800A1 (en) * 2018-05-02 2019-11-07 Covidien Lp System and method for constructing virtual radial ultrasound images from ct data and performing a surgical navigation procedure using virtual ultrasound images
JP2021137116A (ja) * 2020-03-02 2021-09-16 キヤノン株式会社 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置
WO2022071326A1 (ja) * 2020-09-29 2022-04-07 テルモ株式会社 情報処理装置、学習済モデルの生成方法および訓練データ生成方法

Similar Documents

Publication Publication Date Title
US11653897B2 (en) Ultrasonic diagnostic apparatus, scan support method, and medical image processing apparatus
US10499881B2 (en) Ultrasound diagnosis apparatus and method of displaying ultrasound image
JP6873647B2 (ja) 超音波診断装置および超音波診断支援プログラム
MX2014007601A (es) Metodo y aparato para la presentacion interactiva de imagenes ultrasonicas tridimensionales.
EP3017765B1 (en) Ultrasound diagnosis apparatus and method
JP2005312770A5 (ja)
KR102545008B1 (ko) 초음파 영상 장치 및 그 제어 방법
US11830189B2 (en) Systems and methods to process ultrasound images for musculoskeletal conditions
BR112020014733A2 (pt) Método implementado por computador para a obtenção de medições anatômicas em uma imagem de ultrassom, meios de programa de computador, dispositivo de análise de imagem e método de imageamento por ultrassom
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
KR20160051161A (ko) 의료 영상 장치 및 그에 따른 의료 영상을 디스플레이 하는 방법
JP6720001B2 (ja) 超音波診断装置、及び医用画像処理装置
JP2013051998A (ja) 超音波診断装置及び超音波診断装置の制御プログラム
JP5527841B2 (ja) 医療画像処理システム
JP2023525741A (ja) 超音波プロトコルツリーの自動評価
WO2021034981A1 (en) Ultrasound guidance dynamic mode switching
KR20160071227A (ko) 초음파 진단 장치 및 그 동작 방법
JP2021122739A (ja) 呼吸モードに応じた超音波画像取得の最適化
WO2024004597A1 (ja) 学習装置、学習済みモデル、医用診断装置、超音波内視鏡装置、学習方法、及びプログラム
US20220361852A1 (en) Ultrasonic diagnostic apparatus and diagnosis assisting method
WO2024004542A1 (ja) 診断支援装置、超音波内視鏡、診断支援方法、及びプログラム
WO2023188903A1 (ja) 画像処理装置、医療診断装置、超音波内視鏡装置、画像処理方法、及びプログラム
WO2024004524A1 (ja) 診断支援装置、超音波内視鏡、診断支援方法、及びプログラム
US20240079100A1 (en) Medical support device, medical support method, and program
US20230363622A1 (en) Information processing apparatus, bronchoscope apparatus, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23831046

Country of ref document: EP

Kind code of ref document: A1