WO2025220152A1 - 機械学習用画像生成方法、機械学習方法、内視鏡プロセッサ、機械学習用画像生成プログラム及び機械学習用画像生成プログラムを記憶した不揮発性記憶媒体 - Google Patents

機械学習用画像生成方法、機械学習方法、内視鏡プロセッサ、機械学習用画像生成プログラム及び機械学習用画像生成プログラムを記憶した不揮発性記憶媒体

Info

Publication number
WO2025220152A1
WO2025220152A1 PCT/JP2024/015283 JP2024015283W WO2025220152A1 WO 2025220152 A1 WO2025220152 A1 WO 2025220152A1 JP 2024015283 W JP2024015283 W JP 2024015283W WO 2025220152 A1 WO2025220152 A1 WO 2025220152A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
convex
ultrasound
images
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/015283
Other languages
English (en)
French (fr)
Inventor
淳 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to PCT/JP2024/015283 priority Critical patent/WO2025220152A1/ja
Publication of WO2025220152A1 publication Critical patent/WO2025220152A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • the present invention relates to a machine learning image generation method, a machine learning method, an endoscope processor, a machine learning image generation program, and a non-volatile storage medium storing a machine learning image generation program, suitable for building an image recognition processing model for ultrasound images.
  • radial endoscopes which are primarily used for screening purposes
  • convex endoscopes which allow observation and simultaneous cell collection with a biopsy needle for patients suspected of having a disease.
  • the appearance of the images obtained (ultrasound images) varies, including the shape and position of the ultrasound transducer shadow and the range of the displayed ultrasound image.
  • radial endoscopes are suited to depicting wide areas
  • convex endoscopes are often used when a biopsy target is present, as it is easier to grasp the relative position of the biopsy needle than radial endoscopes.
  • images taken with convex endoscopes (hereinafter referred to as convex images) generally contain lesions
  • images taken with radial endoscopes hereinafter referred to as radial images) often do not contain lesions.
  • CAD Computer-aided diagnosis
  • Patent Document 1 JP 2024-004597 A discloses technology for developing an image recognition processing model specifically for radial images by machine learning images that mimic radial images created from convex images.
  • the present invention aims to provide an image generation method for machine learning, a machine learning method, an endoscope processor, an image generation program for machine learning, and a non-volatile storage medium storing an image generation program for machine learning, which are capable of constructing a highly accurate image recognition processing model by enabling conversion of images obtained by an ultrasonic endoscope.
  • One aspect of the present invention is a method for generating an image for machine learning, which processes a first ultrasound image captured by a first type of ultrasound imaging device to change at least the shape and position of the transducer region of the first ultrasound image, thereby generating a simulated image as an image for machine learning that simulates a second ultrasound image captured by a second type of ultrasound imaging device whose transducer arrangement direction is different from that of the first type.
  • a machine learning method uses, as training images, a radial image that is the first ultrasound image, a simulated convex image that is the simulated image, a convex image that shows at least one of a biological part and a lesion, and a simulated radial image that is the simulated image.
  • Another aspect of the present invention is an endoscope processor that can access artificial intelligence trained by the machine learning method, receives captured images transmitted from an ultrasonic endoscope, inputs the received captured images into the artificial intelligence, receives output results from the artificial intelligence, and outputs the received output results to a monitor.
  • a machine learning image generation program causes a computer to execute a procedure for processing a first ultrasound image captured by a first type of ultrasound imaging device, thereby changing at least the shape and position of the transducer region of the first ultrasound image, and generating, as an image for machine learning, a simulated image that simulates a second ultrasound image captured by a second type of ultrasound imaging device having a transducer array direction different from that of the first type.
  • a non-volatile storage medium storing an image generation program for machine learning stores the program for causing a computer to execute a procedure for processing a first ultrasound image captured by a first type of ultrasound imaging device to change at least the shape and position of the transducer region of the first ultrasound image, thereby generating, as an image for machine learning, a simulated image that simulates a second ultrasound image captured by a second type of ultrasound imaging device having a transducer array direction different from that of the first type.
  • the present invention has the advantage of enabling the conversion of images obtained by an ultrasonic endoscope, thereby enabling the construction of a highly accurate image recognition processing model.
  • 1 is a block diagram illustrating an image processing device that realizes a machine learning image generation method according to an embodiment of the present invention.
  • 1A and 1B are explanatory diagrams for explaining the appearance of a convex type ultrasonic endoscope 31 and a radial type ultrasonic endoscope 32, and a convex image from the convex type ultrasonic endoscope 31 and a radial image from the radial type ultrasonic endoscope 32.
  • 10A and 10B are explanatory diagrams showing examples of a convex image and a radial image displayed on a display screen 22.
  • FIG. 10 is an explanatory diagram illustrating an example of processing a convex image into a simulated radial image.
  • 10A and 10B are explanatory diagrams for explaining another example of processing from a convex image to a simulated radial image.
  • 10A and 10B are explanatory diagrams for explaining another example of processing from a convex image to a simulated radial image.
  • 10A and 10B are explanatory diagrams for explaining another example of processing from a convex image to a simulated radial image.
  • FIG. 10 is an explanatory diagram illustrating an example of processing from a radial image to a simulated convex image.
  • FIG. 10 is an explanatory diagram illustrating an example of processing from a radial image to a simulated convex image.
  • FIG. 10 is an explanatory diagram illustrating an example of processing from a radial image to a simulated convex image.
  • FIG. 10 is an explanatory diagram illustrating an example of processing from a radial image to a simulated convex image.
  • FIG. 2 is a block diagram showing an example of a specific configuration of a learning circuit 19 in FIG. 1 .
  • 10 is a flowchart illustrating machine learning for generating an image recognition processing model in an embodiment.
  • 13 is a flowchart for explaining the generation of images for machine learning in S2 in FIG. 12.
  • FIG. 1 is a block diagram illustrating an endoscope processor that utilizes an image recognition processing model.
  • (Embodiment) 1 is a block diagram illustrating an image processing device that realizes a machine learning image generation method according to one embodiment of the present invention.
  • This embodiment processes convex images obtained by a convex-type ultrasonic endoscope to generate simulated radial images similar to radial images obtained by a radial-type ultrasonic endoscope, or processes radial images obtained by a radial-type ultrasonic endoscope to generate simulated convex images similar to convex images obtained by a convex-type ultrasonic endoscope.
  • simulated radial images and simulated convex images are generated by changing the shape and position of transducer regions included in ultrasound images obtained from the ultrasonic endoscope.
  • an ultrasound endoscope is used as an example of a device for acquiring ultrasound images, but various ultrasound imaging devices may be used, not just ultrasound endoscopes. Furthermore, while convex and radial types of ultrasound endoscopes are used as examples, the present invention is not limited to these types and can also be applied to ultrasound images acquired by ultrasound imaging devices such as sector and linear types.
  • an ultrasound image obtained by a convex ultrasound endoscope (hereinafter referred to as a convex image) or a radial ultrasound endoscope (hereinafter referred to as a radial image) is input to the image processing device 10.
  • Ultrasound endoscopes such as convex ultrasound endoscopes and radial ultrasound endoscopes are inserted into the body, transmit ultrasound beams toward the area to be observed, and receive reflected waves from the acoustic impedance boundary of the area to be observed to obtain echo signals. An ultrasound image is generated based on these echo signals.
  • Figure 2 shows the appearance of a convex-type ultrasonic endoscope 31 and a radial-type ultrasonic endoscope 32 as examples of ultrasonic endoscopes, and is an explanatory diagram illustrating the convex image obtained by the convex-type ultrasonic endoscope 31 and the radial image obtained by the radial-type ultrasonic endoscope 32.
  • the convex-type ultrasonic endoscope 31 comprises a long, slender probe 33 that is inserted into the body, etc., and a transducer 34 that is attached to the tip of the probe 33 (the tip of the endoscope) and transmits and receives ultrasonic beams.
  • the transducer 34 is configured as a transducer array in which multiple elements are arranged.
  • the tip of the probe 33 is provided with an opening 35a for a forceps channel provided within the probe 33, and a biopsy needle 35 protrudes from this opening 35a.
  • the radial-type ultrasonic endoscope 32 comprises a long, slender probe 36 that is inserted into the body, etc., and a transducer 37 that is attached to the tip of the probe 36 (the tip of the endoscope) and transmits and receives ultrasonic beams.
  • the transducer 37 is configured as a transducer array in which multiple ultrasonic elements are arranged.
  • the ultrasonic elements of the transducer 34 are arranged in the shape of a convex curved surface, and generate ultrasonic waves by scanning an object in an arc.
  • the transducer 34 of the convex-type ultrasonic endoscope 31 scans in a sector shape within a plane parallel to the probe axis, as shown by the convex scanning surface 34a.
  • the ultrasonic elements of the transducer 37 are arranged circumferentially around the axis of the probe 36, and generate ultrasonic waves by scanning an object circumferentially. That is, the transducer 37 of the radial type ultrasonic endoscope 32 scans in an arc in a plane perpendicular to the probe axis, as shown in the radial scanning plane 37a.
  • transducers 34 and 37 perform scanning by, for example, electronically driving each ultrasonic element.
  • the purpose is to increase the number of images used as training data while suppressing uneven distribution of lesions, etc. in ultrasound images
  • the images used as training data are not limited to convex images or radial images.
  • ultrasound images obtained by a transducer that uses a single ultrasound element to mechanically change the direction of transmission and reception of ultrasound may be used as training data, or ultrasound images obtained by a sector-type transducer or a linear-type transducer in which transducers are arranged in a straight line may also be used.
  • convex-type, sector-type, and linear-type ultrasound endoscopes are also referred to as non-radial-type ultrasound endoscopes.
  • the bottom section of Figure 2 shows a convex image Pc and a radial image Pr displayed on the display screen.
  • the convex image Pc obtained by the convex ultrasound endoscope 31 has a fan-shaped image portion at the top of the screen. This image portion is a transducer image P34 that represents the transducer 34 of the convex ultrasound endoscope 31.
  • the multiple semicircular patterns spreading out from the transducer image P34 in the convex image Pc indicate that scanning is performed in a semicircular (fan-shaped) manner centered on the transducer 34.
  • an ultrasound balloon may be provided to bring the transducer image P34 into close contact with the organ, and a balloon image P34a of the ultrasound balloon is present around the transducer image P34. While Figure 2 shows the fan as being 180 degrees open, the present invention is not limited to this and any angle smaller than 360 degrees will suffice.
  • the radial image Pr obtained by the radial type ultrasonic endoscope 32 has a circular image portion in the center of the screen.
  • This image portion is the transducer image P37, which shows the transducer 37 of the radial type ultrasonic endoscope 32.
  • the multiple circular patterns spreading out from the transducer image P37 in the radial image Pr indicate that scanning is being performed concentrically around the transducer 37.
  • a balloon image P37a of an ultrasound balloon is present around the transducer image P37. Note that the transducer images P34, P37 and the balloon images P34a, P37a are generally displayed in a uniform black with a predetermined pixel value.
  • the image processing device 10 includes a control unit 11.
  • the control unit 11 may be configured with a processor using a CPU (Central Processing Unit), GPU (Graphics Processing Unit), FPGA (Field Programmable Gate Array), etc.
  • the control unit 11 may operate in accordance with a program stored in memory (not shown) to control each unit, or may realize some or all of its functions using hardware electronic circuits.
  • the control unit 11 comprehensively controls each unit of the image processing device 10 based on user operations on the operation input unit 16.
  • the operation input unit 16 is configured with various interfaces such as a touch panel and keyboard, and outputs operation signals based on user operations to the control unit 11.
  • the image acquisition unit 12 of the image processing device 10 is controlled by the control unit 11 to receive convex images and radial images.
  • the image processing device 10 may be equipped with a convex image memory 13 that stores convex images and a radial image memory 14 that stores radial images, or may be configured to input images acquired by the image acquisition unit 12 to the image processing unit 15 without going through a memory.
  • the image acquisition unit 12 is controlled by the control unit 11 to provide convex images to the convex image memory 13 and provide radial images to the radial image memory 14.
  • Figure 1 shows an example in which two memories are used, different memory areas of a single memory may also be used. Also, Figure 1 shows an example in which both a convex image and a radial image are handled simultaneously; if only one of them is to be handled, a single memory or a single memory area may be provided.
  • the ultrasound images stored in the convex image memory 13 and the radial image memory 14 are supplied to the image processing unit 15.
  • the image processing unit 15 is controlled by the control unit 11 and performs image processing on at least one of the convex image and the radial image.
  • the image processing unit 15 may have a working memory for image processing.
  • the control unit 11 sets the image processing process for generating a simulated convex image or a simulated radial image in the image processing unit 15.
  • the image processing unit 15 generates a simulated image by image processing on the ultrasound image.
  • the image processing unit 15 may include a configuration for automatically processing an input image into an arbitrary simulated image, or may be a component that includes a program for manually processing images, such as Adobe (registered trademark). The image processing method of the image processing unit 15 will be described later.
  • the processed simulated image output from the image processing unit 15 is supplied to the recording device 25.
  • the convex image and radial image recorded in the convex image memory 13 and radial image memory 14 are also supplied to the recording device 25.
  • a recording device 25 may be connectable to the image processing device 10.
  • the recording device 25 is composed of a specified recording medium (not shown) and records images before processing by the image processing unit 15 and simulated images generated by processing by the image processing unit 15.
  • the images recorded in the recording device 25 are used as training data for learning the image recognition processing model.
  • Examples of the recording device 25 include storage media such as an SD card or USB memory.
  • the simulated images generated by the image processing device 10 are input to the learning device 19 as training data.
  • the simulated images may be input to the learning device 19 via the recording device 25, or may be input directly from the image processing device 10 to the learning device 19 using a known method such as a cable or wireless communication.
  • the image processing device 10 and the learning device 19 may also be integrated.
  • a learning circuit serving as the learning device 19 is disposed within the image processing device 10, and the learning circuit is controlled by the control unit 11 to perform machine learning using images recorded in the recording device 25 as training data to generate an image recognition processing model.
  • the learning circuit may also independently perform machine learning using images recorded in the recording device 25 to construct an image recognition processing model without being controlled by the control unit 11.
  • the display device 21 is a display device such as an LCD (liquid crystal display device), and is capable of displaying various types of information, such as menus, according to display control by the control unit 11.
  • the display device 21 is also capable of displaying, on the display screen 22, images processed by the image processing unit 15 and images before processing by the image processing unit 15.
  • Figure 3 is an explanatory diagram showing examples of convex and radial images.
  • the observation area of a convex ultrasound endoscope is fan-shaped, and the convex image Pc1 shown on the left side of Figure 3 has a transducer image IcV1 at the top of the screen.
  • the convex image Pc1 also shows a tissue image IcT1 showing tissue (biological parts) such as blood vessels and organs, and a lesion image IcL1 showing a lesion.
  • the bottom of the screen is a blind area PcB that does not include any images.
  • Lesions include, for example, cancer, tumors, masses, pancreatitis, inflammation, liposarcoma, lymphoma, or fibrosis
  • biological sites include the upper gastrointestinal tract (stomach, esophagus, duodenum), large intestine, lung, pancreas, liver, gallbladder, bile duct, pancreatic duct, prostate, blood vessels, lymph nodes, muscle layer, fat layer, or bone.
  • the observation area of a radial ultrasound endoscope is concentric, and the radial image Pr1 shown on the right side of Figure 3 has a transducer image IrV1 in the center of the screen.
  • tissue images IrT1 to IrT3 showing tissue are also captured in radial image Pr1.
  • lesions are often not captured in radial image Pr1, and conventionally, due to the uneven distribution of lesions, etc., image recognition processing models generated by learning using ultrasound images such as those in Figure 3 as training data can sometimes erroneously learn to identify lesions based on the shape and position of the transducer shadow.
  • one of the convex and radial images is processed to generate a simulated image that simulates the other image.
  • the generated simulated image is processed to generate a simulated image that simulates the other image.
  • first type ultrasonic endoscope one specific type of endoscope among the convex type, radial type, sector type, and linear type ultrasonic endoscopes
  • second type ultrasonic endoscope the ultrasound images obtained by the first and second ultrasonic endoscopes
  • this embodiment applies image processing to the first ultrasound image obtained by the first type ultrasonic endoscope, thereby generating a simulated image (hereinafter sometimes simply referred to as the other simulated image) that simulates one of the first and second ultrasound images from the other ultrasound image.
  • this embodiment not only describes a processing method for generating a simulated image from one ultrasound image, but also generates a simulated image (hereinafter sometimes simply referred to as the one simulated image) that simulates one ultrasound image from one ultrasound image.
  • simulated images such as simulated radial images and simulated convex images are generated by changing the shape and position of the transducer region contained in the radial image or convex image.
  • FIG. 4 is an explanatory diagram for explaining an example of processing from a convex image to a simulated radial image.
  • the left side of Fig. 4 shows the convex image stored in the convex image memory 13, the center of Fig. 4 shows the image processing process, and the right side of Fig. 4 shows the simulated radial image.
  • control unit 11 performs control to process the image so that the shape and position of the shadow of the transducer of the convex ultrasonic endoscope on the convex image Pc1 resembles the shape and position of the shadow of the tip of the transducer on the radial image.
  • control unit 11 controls the image processing unit 15 to process the shape and position of the transducer image IcV1 on the convex image so that it becomes circular in the center of the screen, similar to the radial image.
  • Figure 4 shows this processing, in which the image processing unit 15 creates an inverted convex image PcR1 by vertically inverting the convex image Pc1 read from the convex image memory 13, and generates a simulated convex image PrS1 by combining the original convex image Pc1 and the inverted convex image PcR1.
  • the inverted convex image PcR1 includes a transducer image IcVR1, a tissue image IcTR1, a lesion image IcLR1, and a blind area PcBR, which are obtained by vertically inverting the transducer image IcV1, tissue image IcT1, lesion image IcL1, and blind area PcB of the convex image Pc1, respectively.
  • the image processing unit 15 synthesizes (connects) the convex image Pc1 and the inverted convex image PcR1 by synthesizing (connecting) the fan-shaped transducer image IcV1 of the original convex image Pc1 with the fan-shaped transducer image IcVR1 included in the inverted convex image PcR1 to obtain a circular simulated transducer image IrVS1 (IcV1 + IcVR1).
  • the image processing unit 15 clips the top and bottom edges of the synthesized image to adjust it to the size of the display screen, thereby obtaining a simulated radial image PrS1 in which the circular simulated transducer image IrVS1 is positioned at the center of the screen.
  • the simulated radial image PrS1 has a circular simulated transducer image IcVS1 at the center of the screen, and also includes a lesion image IcL1 and a simulated lesion image IcLR1 of the lesion area.
  • convex images and radial images are examples of ultrasound images, and when the images are generalized, (Example C-R1) is a simulated image that simulates a second ultrasound image captured by a second type ultrasound imaging device, whose transducer arrangement direction differs from that of the first type, by processing a first ultrasound image captured by a first type ultrasound imaging device, thereby changing at least the shape and position of the transducer region of the first ultrasound image.
  • one of the first and second ultrasound imaging devices is a radial type ultrasound endoscope in which transducers are arranged around the entire circumference of the axis, and the other is a non-radial type ultrasound endoscope in which transducers are not arranged around the entire circumference of the axis.
  • a non-radial type ultrasound endoscope is, for example, a convex type ultrasound endoscope or a sector type ultrasound endoscope.
  • the image processing unit 15 provides the simulated radial image PrS1 to the recording device 25 for recording.
  • the image processing unit 15 generates a simulated radial image that mimics the difficult-to-obtain image of a lesion captured by a radial ultrasound endoscope, by combining the original convex image and an inverted convex image so that the shape and position of the transducer shadow are similar to the easily obtainable convex image captured by a convex ultrasound endoscope, which captures the lesion.
  • an ultrasound image that eliminates bias in the distribution of lesions, etc. can be obtained.
  • Figure 5 is an explanatory diagram for explaining another example of processing from a convex image to a simulated radial image.
  • the left side of Figure 5 shows the convex image stored in the convex image memory 13, the center of Figure 5 shows the image processing process, and the right side of Figure 5 shows the simulated radial image.
  • the same components as in Figure 4 are assigned the same reference numerals.
  • the example in Figure 5 differs from the example in Figure 4 only in that the image processing unit 15 is controlled by the control unit 11 to generate a simulated radial image PrSs1 by scrolling the display area of the simulated radial image PrS1 in Figure 4.
  • the screen can be scrolled when observing an ultrasound image, and this example corresponds to this.
  • Figure 5 shows an example of a simulated radial image scrolled vertically, but it is also possible to scroll horizontally or diagonally. In this way, in example C-R2 as well, an ultrasound image can be obtained that eliminates uneven distribution of lesions, etc.
  • Figure 6 is an explanatory diagram for explaining another example of processing from a convex image to a simulated radial image.
  • the left side of Figure 6 shows two convex images stored in the convex image memory 13, the center of Figure 6 shows the image processing process, and the right side of Figure 6 shows the simulated radial image.
  • the same components as in Figure 4 are assigned the same reference numerals.
  • the image processing unit 15 is controlled by the control unit 11 to create a simulated radial image PrS2 by image processing using two convex images Pc2 and Pc3.
  • Figure 6 shows this processing, in which the image processing unit 15 is controlled by the control unit 11 to read the convex images Pc2 and Pc3 from the convex image memory 13, create an inverted convex image PcR3 (center column of Figure 6) by flipping the convex image Pc3 upside down, and generate a simulated convex image PrS2 (right column of Figure 6) by combining the convex image Pc2 and the inverted convex image PcR3.
  • convex image Pc2 includes transducer image IcV2, lesion image IcL2, tissue images IcT2a and IcT2b, and blind region PcB
  • convex image Pc3 includes transducer image IcV3, lesion image IcL3, tissue image IcT3, and blind region PcB
  • inverted convex image PcR3 includes transducer image IcVR3, lesion image IcLR3, tissue image IcTR3, and blind region PcBR.
  • the image processing unit 15 combines (links) the convex image Pc2 and the inverted convex image PcR3 to obtain a circular simulated oscillator image IrVS2 (IcV2 + IcVR3) by combining the oscillator image IcV2 of the convex image Pc2 with the oscillator image IcVR3 included in the inverted convex image PcR3.
  • the image processing unit 15 then clips the top and bottom edges of the combined image to obtain a simulated radial image PrS2 adjusted to the size of the display screen.
  • the simulated radial image PrS2 has a circular simulated oscillator image IcVS2 in the center of the screen, and also includes lesion images IcL2 and IcLR3 of the lesion area.
  • Example C-R3 also processes a first ultrasound image captured by a first type of ultrasound imaging device to change at least the shape and position of the transducer region of the first ultrasound image, thereby generating a simulated image that simulates a second ultrasound image captured by a second type of ultrasound imaging device with a transducer array direction different from that of the first type.
  • Example C-R3 uses a convex type ultrasound endoscope as the first type of ultrasound imaging device and a radial type ultrasound endoscope as the second type of ultrasound imaging device.
  • the multiple first ultrasound images include a first convex image captured by a convex type ultrasound endoscope and a second convex image captured by this convex type ultrasound endoscope that is different from the first convex image.
  • the image processing unit 15 provides the simulated radial image PrS1 to the recording device 25 and records it. In this way, even in example C-R3, a simulated radial image can be obtained to eliminate uneven distribution of lesions, etc.
  • Figure 7 is an explanatory diagram for explaining another example of processing from a convex image to a simulated radial image.
  • the left side of Figure 7 shows the convex image stored in the convex image memory 13, the center of Figure 7 shows the image processing process, and the right side of Figure 7 shows the simulated radial image.
  • the same components as in Figure 4 are assigned the same reference numerals.
  • the example in Figure 7 differs from the example in Figure 4 only in that the image processing unit 15, under the control of the control unit 11, performs processing to add a balloon image IB showing an ultrasound balloon to the simulated radial image PrS1 of Figure 4.
  • a balloon image IB showing an ultrasound balloon
  • PrS1 the simulated radial image
  • Figure 7 shows an example in which processing is performed to add a balloon image IB to the simulated radial image PrS1, but conversely, processing may be performed to delete the balloon image if an ultrasound image is displayed in the simulated radial image PrS1.
  • Example R-C1 is an explanatory diagram for explaining an example of processing from a radial image to a simulated convex image.
  • the left side of Fig. 8 shows the radial image stored in the radial image memory 14, the center of Fig. 8 shows the image processing process, and the right side of Fig. 8 shows the simulated convex image.
  • control unit 11 controls the image processing unit 15 to process the image so that the shape and position of the shadow of the transducer of the probe 33 on the radial image Pr1 resembles the shape and position of the shadow of the tip of the convex image.
  • control unit 11 controls the image processing unit 15 to process the shape and position of the transducer image IrV1 on the radial image on the screen so that it becomes semicircular at the edge of the screen, similar to the convex image.
  • Radial image Pr1 includes transducer image IrV1 and tissue images IrT1a, IrT1b, and IrT1c.
  • the image processing unit 15 detects the transducer image IrV1 included in the radial image Pr1 read from the radial image memory 14. For example, the image processing unit 15 detects the transducer image IrV1 located at the center of the screen based on brightness and circularity.
  • the center column of Figure 8 shows the detection area IrVD1 of the transducer image IrV1 detected by the image processing unit 15.
  • the image processing unit 15 deletes the portion of the radial image Pr1 above the horizontal line passing through the center of the detection area IrVD1 to cut out a portion of the radial image. Then, the image processing unit 15 provides a black blind area PcBS with a predetermined pixel value at the bottom of the cut-out radial image Pr1 to fit the size of the display screen, thereby creating a simulated convex image PcS1.
  • the simulated convex image PcS1 has a semicircular simulated transducer image IrVH1 at the top of the screen, and also includes tissue images IrT1b and IrT1c and a blind area PcBS.
  • a first ultrasound image captured by a first type of ultrasound imaging device is processed to change at least the shape and position of the transducer region of the first ultrasound image, thereby generating a simulated image that simulates a second ultrasound image captured by a second type of ultrasound imaging device with a transducer array direction different from that of the first type.
  • the first type of ultrasound imaging device is a radial type ultrasound endoscope
  • the second type of ultrasound imaging device is a convex type ultrasound endoscope
  • the circular transducer region at the tip of the endoscope located in the center of the first ultrasound image becomes fan-shaped, and processing is performed to partially remove the first ultrasound image so that this fan-shaped region is located at the edge of the image.
  • the image processing unit 15 provides the simulated convex image PcS1 to the recording device 25 for recording.
  • the image processing unit 15 generates a simulated convex image that mimics the difficult-to-obtain image captured by a convex ultrasound endoscope that does not show lesions, by performing image processing on a radial image that is easy to obtain and does not show lesions, taken with a radial ultrasound endoscope, by removing the upper part of the original radial image and providing a blind area so that the shape and position of the transducer shadow are similar.
  • an ultrasound image that eliminates bias in the distribution of lesions, etc. can be obtained.
  • the position is often adjusted so that the lesion is displayed at the bottom right of the transducer for biopsy purposes. Therefore, when generating a simulated convex image using a radial image showing the lesion, the image is shifted and inverted to adjust the lesion position to the bottom right of the transducer. This makes it possible to generate a simulated convex image that is close to the images that frequently appear in actual examination situations.
  • the transducer may not be located in the center of the screen, but rather on the upper or lower side.
  • the image is processed so that the transducer's fan shape is positioned at the edge of the image by removing the smaller area on the side of the transducer. This makes it possible to generate a simulated convex image using an image that captures a wider ultrasound image area.
  • Figure 9 is an explanatory diagram for explaining another example of processing from a radial image to a simulated convex image.
  • the left side of Figure 9 shows the radial image stored in the radial image memory 14, the center of Figure 9 shows the image processing process, and the right side of Figure 9 shows the simulated convex image.
  • the same components as in Figure 8 are assigned the same reference numerals.
  • the example in Figure 9 differs from the example in Figure 8 only in that the image processing unit 15 is controlled by the control unit 11 to generate a simulated convex image PcSF1 in which the effective observation range of the simulated convex image PcS1 in Figure 8 is restricted to a fan shape.
  • the scanning range of the transducer is relatively narrow, and a convex image with a narrow effective observation range may be obtained depending on the central angle of the fan shape of the scanning range.
  • the image processing unit 15 provides black mask areas PcM1 and PcM2 with specified pixel values so that a fan-shaped effective observation range can be obtained from both ends of the transducer image IrVH1 at the top of the screen. In this way, in example R-C2, an ultrasound image that eliminates uneven distribution of lesions, etc. is also obtained.
  • Figure 10 is an explanatory diagram for explaining another example of processing from a radial image to a simulated convex image.
  • the left side of Figure 10 shows the radial image stored in the radial image memory 14, the center of Figure 10 shows the image processing process, and the right side of Figure 10 shows the simulated convex image.
  • the same components as in Figure 8 are assigned the same reference numerals.
  • the example of FIG. 10 differs from the example of FIG. 8 only in that the image processing unit 15, under control of the control unit 11, generates a simulated convex image PcSA1 by adding a multiple reflection image IcA1 indicating multiple reflections to the simulated convex image PcS1 of FIG. 8.
  • the image processing unit 15 creates a semicircular black multiple reflection image IcA1 with a specified pixel value around the transducer image IrVH1 at the top of the screen.
  • the image processing unit 15 may perform processing to remove the multiple reflection image from the simulated convex image. In this way, in example R-C3, an ultrasound image is obtained that eliminates the bias of the multiple reflection image.
  • image processing is performed to make the number of various images equal. For example, it is best to use as training data (learning images) an equal number of ultrasound images regarding the presence or absence of a lesion. It is also best to create training data that is as equal as possible in number, ranging from images that are not affected by multiple reflections to images that are heavily affected by multiple reflections, as in the example of Figure 10.
  • a simulated image of one ultrasound image is generated from the other ultrasound image by performing image processing so that the shape and position of the shadow of the transducer in one of the ultrasound images, either the convex image or the radial image, resembles the shape and position of the shadow of the tip in the other ultrasound image.
  • a simulated radial image is generated by concatenating and clipping a convex image and an inverted convex image.
  • two images of the same lesion or tissue may be displayed in the simulated radial image, or one of the two corresponding images may be deleted by filling in the background color, for example.
  • the simulated radial image PrS1 includes images IcT1 and IcTR1 of the same tissue and lesion images IcL1 and IcLR1 of the same lesion.
  • one of the images IcT1 and IcTR1 may be deleted, and one of the lesion images IcL1 and IcLR1 may be deleted.
  • the simulated radial image may be generated by combining an original convex image with a rotated convex image obtained by rotating the original convex image by 180 degrees.
  • two images of the same tissue or two images of the same lesion may be displayed as they are in the generated simulated radial image, or one of the images corresponding to the same lesion or the same tissue may be deleted.
  • a simulated radial image may be generated by combining a convex image with a half-split radial image obtained by dividing the original radial image in half along a horizontal line passing through the center of the transducer image. Even in this case, two images of the same tissue or two lesion images of the same lesion may be displayed as is in the generated simulated radial image, or one of the images corresponding to the same lesion or tissue may be deleted. Furthermore, a convex image showing a lesion image may be combined with a half-split radial image showing no lesion image.
  • Example E4 Convex + another convex image
  • a simulated radial image is generated by connecting a convex image with another convex image and clipping it, as in the example of Fig. 6.
  • Fig. 6 describes an example in which two images of the same lesion or tissue may appear as they are in the simulated radial image, one of the two corresponding images may be deleted.
  • Example E5 Splitting a radial image in half
  • a half radial image obtained by dividing the radial image in half along a horizontal line passing through the center of the transducer image may be used as the simulated convex image.
  • the simulated convex image may be formed by combining two quadrant radial images obtained by dividing the radial image into four parts by horizontal and vertical lines passing through the center of the transducer image.
  • a simulated radial image may be generated by combining three images: a convex image, a half convex image obtained by dividing the convex image in half along a vertical line passing through the center of the transducer image, and the half convex image.
  • FIG. 11 is a block diagram showing an example of a specific configuration of the learning circuit 19 in FIG.
  • the learning circuit 19 in FIG. 11 is composed of a neural network (NN) 40, a neural network control circuit (hereinafter referred to as the NN control circuit) 50, and a learning loss calculation unit 55. All or each of the learning loss calculation unit 55 and the NN control circuit 50 may be composed of one or more processors using a CPU, GPU, FPGA, or the like. These one or more processors may operate in accordance with a program stored in memory (not shown) to control each unit, or may implement some or all of the functions using hardware electronic circuits. Furthermore, the neural network 40 may be composed of hardware, or the functions of the neural network 40 may be implemented by a program. The NN control circuit 50 is controlled by the control unit 11.
  • the recording device 25 records the convex images and radial images recorded in the convex image memory 13 and radial image memory 14 as training data (learning images), and also records the simulated convex images and simulated radial images obtained by image processing by the image processing unit 15 as training data (learning images). Furthermore, each image recorded in the recording device 25 is annotated. For example, each image recorded in the recording device 25 is provided with information indicating the position (area) of the lesion, such as information such as a mask image indicating the lesion area, and information on the lesion differentiation results, as correct answer information.
  • the simulated radial images generated from convex images contain lesion images, while many of the simulated convex images generated from radial images do not contain lesion images.
  • the distribution of lesion images is approximately uniform, and when convex images and simulated convex images are combined, the distribution of lesion images is approximately uniform. It is preferable that the total number of radial images and simulated radial images is approximately equal to the total number of convex images and simulated convex images.
  • the ratio of the number of radial images, pseudo-convex images, convex images, and pseudo-radial images is such that the number of images with the most number is within twice the number of images with the least number, and more preferably, all numbers are equal.
  • the neural network 40 is composed of an input layer, an intermediate layer (hidden layer), and an output layer, each consisting of multiple nodes indicated by circles. Each node is connected to nodes in the previous and next layers, and each connection is assigned a parameter called a weighting coefficient. Learning is the process of updating parameters to minimize the learning loss, which will be described later.
  • a convolutional neural network CNN may be used as the neural network 40.
  • the NN control circuit 50 is composed of an input control unit 51, an initialization unit 52, an NN application unit 53, and an update unit 54.
  • the input control unit 51 controls the input of training data recorded in the recording device 25 and teacher data including correct answer information.
  • the initialization unit 52 initializes the parameters of the neural network 40.
  • the NN application unit 53 applies the training data read from the recording device 25 to the neural network 40, causing the neural network 40 to output a classification output.
  • the update unit 54 updates the parameters of the neural network 40 based on the learning loss.
  • the neural network 40 is controlled by the NN control circuit 50 and outputs, as a classification output, a probability value (hereinafter referred to as a score) indicating which classification each input image has a high probability of belonging to.
  • This classification output is provided to the learning loss calculation unit 55.
  • the learning loss calculation unit 55 is provided with correct answer information assigned to each image corresponding to each classification output from the recording device 25, and calculates the error between each classification output and each correct answer information as the learning loss. This learning loss is supplied to the NN control circuit 50.
  • the update unit 54 of the NN control circuit 50 updates the parameters of the neural network 40 so as to reduce the received learning loss.
  • the update unit 54 may update the parameters in accordance with an existing SGD (Stochastic Gradient Descent) algorithm.
  • the update formula for this SGD is publicly known, and each parameter of the neural network 40 is calculated by substituting the learning loss value into the SGD update formula.
  • the neural network 40 classifies the input image using the updated parameters. Thereafter, similar operations are repeated to perform learning.
  • results such as the differentiation of lesions in the input ultrasound image can be obtained.
  • Figure 12 is a flowchart explaining the machine learning for generating an image recognition processing model in the embodiment
  • Figure 13 is a flowchart explaining the generation of images for machine learning in S2 in Figure 12.
  • Figure 14 is a block diagram showing an endoscope processor that uses the image recognition processing model.
  • the initialization unit 52 of the NN control circuit 50 initializes the parameters of the neural network 40.
  • the initialization unit 52 is not a required component, and parameter initialization is not a required step.
  • the NN is initialized after startup, but the present invention is not limited to this.
  • the present invention can also be applied to NNs constructed using other learning methods without initialization.
  • an image for machine learning is generated. That is, in S11 of FIG. 13, the control unit 11 acquires a processing method and controls the image processing unit 15 in accordance with the acquired processing method. As a result, the image processing unit 15 reads an image corresponding to the processing method from the convex image memory 13 or the radial image memory 14 (S12).
  • the image processing unit 15 processes the read image according to the set processing method (S13). For example, if the image processing method described above (Example C-R1) is specified, the image processing unit 15 reads the convex image from the convex image memory 13, creates an inverted convex image by flipping the read convex image upside down, and combines (links) the original convex image with the inverted convex image. During this combination, the image processing unit 15 combines the images so that the vibrator image in the combined image has the same shape, position, and brightness as the vibrator image in the radial image. The image processing unit 15 clips the combined image to fit the size of the display screen and generates a simulated image (simulated radial image) (S14).
  • the image processing unit 15 processes a first ultrasound image captured by a first type of ultrasound imaging device to change at least the shape and position of the transducer region of the first ultrasound image, thereby generating a simulated image that simulates a second ultrasound image captured by a second type of ultrasound imaging device whose transducer arrangement direction is different from that of the first type. Furthermore, the image processing unit 15 may also generate a simulated image by combining each of the above examples.
  • the first ultrasound image may be a convex image Pc1 showing at least one of tissue (biological part) and lesion, or an inverted convex image PcR1 obtained by inverting this convex image Pc1.
  • the first ultrasound image may be a rotated convex image (Example E2) obtained by rotating the convex image Pc1, or a first radial image (Example R-C1) obtained by cutting out a part of an image captured with a radial ultrasound endoscope that does not show a lesion.
  • the lesion or tissue (biological part) shown in either the convex image Pc1 or the inverted convex image may be removed.
  • the image processing unit 15 may perform processing to add an ultrasound balloon to the image. Conversely, if an ultrasound balloon is visible in the first ultrasound image, the image processing unit 15 may perform processing to remove the image of the ultrasound balloon.
  • the image processing unit 15 may perform processing to add multiple reflection images. Conversely, if multiple reflection images are visible in the first ultrasound image, the image processing unit 15 may perform processing to remove these multiple reflection images.
  • the image processing unit 15 employs various techniques to generate simulated convex images and simulated radial images.
  • the control unit 11 controls the image processing unit 15 so that the ratio of the number of radial images, simulated convex images, convex images, and simulated radial images recorded in the recording device 25 is within two times the number of the most numerous images relative to the least numerous images.
  • images are processed manually, they should be processed so that the ratio of radial images to simulated convex images to convex images to simulated radial images is within two times the number of the least numerous images.
  • the image processing unit 15 determines whether the required types and number of simulated images have been generated in S15 (S15). If the termination condition is not met, the image processing unit 15 returns to S11 and repeats S11 to S15; if the termination condition is met, the processing ends.
  • annotation is performed. For example, information indicating the position of the lesion image and correct information such as the differentiation result are added to the convex image, simulated convex image, radial image, and simulated radial image. Note that annotations corresponding to the simulated image may be automatically added by performing the same processing as when generating the simulated image on an annotated image obtained by adding annotations to an unprocessed image.
  • the input control unit 51 of the NN control circuit 50 inputs images that are training data stored in the recording device 25 to the neural network 40 (S4). The input control unit 51 also inputs the correct information stored in the recording device 25 to the learning loss calculation unit 55 (S4).
  • the neural network extracts a predetermined number of images (hereinafter referred to as a mini-batch) from a large number of images, and performs learning on the extracted mini-batch images.
  • This mini-batch learning is performed for the number of data items to perform one unit of learning (hereinafter referred to as an epoch).
  • the number of epochs performed in learning may be predetermined.
  • the NN application unit 53 applies this mini-batch to the neural network 40 (S5). This causes the neural network 40 to output a classification output.
  • the classification output of the neural network 40 is provided to the learning loss calculation unit 55, which calculates the learning loss (S6).
  • the learning loss calculation unit 55 outputs the calculated learning loss to the NN control circuit 50 (backpropagation of error) (S7).
  • the update unit 54 of the neural network 40 updates the parameters of the neural network 40 based on the input learning loss, for example using the SGD method (S8).
  • the NN application unit 53 determines whether the learning termination conditions are met (S9). As described above, the process of extracting mini-batch training data and performing learning is repeated the number of times equal to the number of data items, and learning continues until the specified number of epochs is reached. The NN application unit 53 determines whether the specified number of epochs has been reached, and if not (NO determination in S9), the process returns to S4 and S4 to S9 are repeated. Furthermore, if the specified number of epochs has been reached (YES determination in S9), the NN application unit 53 terminates processing.
  • image generation for machine learning and annotation are performed outside the repeated process consisting of S4 to S9, but these can also be performed one by one for the number of mini-batch images within the repeated process after image input. In this case, it is possible to save memory and HDD (hard disk) capacity for storing simulated images.
  • the image recognition processing model obtained through learning by the learning device 19 is used to obtain artificial intelligence that enables diagnosis of ultrasound images, etc.
  • This image recognition processing model uses training data that is not biased in the distribution of lesions, etc., during learning, making it less likely to erroneously learn by using only the shape and position of the transducer or the area of the displayed ultrasound image as criteria for determining lesions, enabling highly accurate inference.
  • Figure 14 is a block diagram showing an endoscope processor that utilizes such artificial intelligence.
  • An ultrasound endoscope 71 such as a convex ultrasound endoscope 71a or a radial ultrasound endoscope 71b, is connected to the endoscope processor 60.
  • the endoscope processor 60 is equipped with a control unit 61.
  • the control unit 61 may be configured with a processor using a CPU, GPU, FPGA, or the like.
  • the control unit 61 may operate in accordance with a program stored in memory (not shown) to control each unit, or may realize some or all of its functions using hardware electronic circuits.
  • the control unit 61 comprehensively controls each unit of the endoscope processor 60 based on user operations on the operation input unit 65.
  • the transmission/reception processing unit 62 of the endoscope processor 60 is controlled by the control unit 61 to drive the ultrasound endoscope 71 and perform ultrasound scanning.
  • the transmission/reception processing unit 62 receives echo signals obtained by the ultrasound endoscope 71 and performs predetermined signal processing such as detection.
  • the image generation unit 63 generates convex images, radial images, etc. from the data obtained by the transmission/reception processing unit 62. Under the control of the control unit 61, the ultrasound images from the image generation unit 63 are supplied to the image recognition unit 64 and also to the artificial intelligence 70.
  • the artificial intelligence 70 performs image recognition processing on the input images to perform inferences such as determining the location and differentiation of lesions, and outputs the inference results to the image recognition unit 64.
  • the image recognition unit 64 provides the inference results of the artificial intelligence 70, along with radial and convex images, to the display device 66 as a monitor, and displays them on the display screen 67.
  • the display device 66 is a display device such as an LCD (liquid crystal display), and displays the ultrasound image from the image recognition unit 64 and the inference results of the artificial intelligence 70 on the display screen 67. In this way, the surgeon can confirm from the display on the display screen 67 the diagnostic results for the ultrasound image obtained by the ultrasound endoscope 71, which are highly accurate diagnostic results that are less likely to result in erroneous learning.
  • LCD liquid crystal display
  • simulated images such as simulated radial images and simulated convex images are generated by, for example, changing the shape and position of the transducer regions contained in the ultrasound images of images obtained using various types of ultrasound endoscopes, such as convex and radial types.
  • This makes it possible to obtain training data that suppresses bias in the distribution of lesions and other features in ultrasound images used for machine learning, and to build a highly accurate image recognition processing model.
  • the present invention is not limited to the above-described embodiments, and can be embodied by modifying the components in the implementation stage without departing from the spirit of the invention. Furthermore, various inventions can be created by appropriately combining the multiple components disclosed in the above-described embodiments. For example, some of the components shown in the embodiments may be deleted. Furthermore, components from different embodiments may be combined as appropriate.
  • many of the controls and functions can be set by a program, and the above-mentioned controls and functions can be realized by a computer reading and executing the program.
  • the program can be recorded or stored, in whole or in part, as a computer program product on portable media such as flexible disks, CD-ROMs, non-volatile memory, or storage media such as hard disks and volatile memory, and can be distributed or provided at the time of product shipment, on portable media, or via communications lines.

Landscapes

  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Processing (AREA)

Abstract

機械学習用画像生成方法は、第１の型の超音波撮像装置により撮像された第１超音波画像を加工することで、少なくとも前記第１超音波画像の振動子領域の形状および振動子領域の位置を変えて、機械学習用画像として第１の型とは振動子の配列方向が異なる第２の型の超音波撮像装置により撮像された第２超音波画像を模擬した模擬画像を生成する。

Description

機械学習用画像生成方法、機械学習方法、内視鏡プロセッサ、機械学習用画像生成プログラム及び機械学習用画像生成プログラムを記憶した不揮発性記憶媒体
　本発明は、超音波画像の画像認識処理モデルの構築に適した機械学習用画像生成方法、機械学習方法、内視鏡プロセッサ、機械学習用画像生成プログラム及び機械学習用画像生成プログラムを記憶した不揮発性記憶媒体に関する。
　超音波内視鏡には、主にスクリーニング目的で用いられるラジアル型内視鏡と、病気が疑われる患者向けに観察と同時に生検針による細胞採取が可能なコンベックス型内視鏡がある。これらの内視鏡は、内視鏡の型に応じて超音波の送受信方向が異なるため、超音波振動子の影の形、位置、表示される超音波画像の範囲など得られる画像（超音波画像）の見た目が異なる。例えば、ラジアル型は、広い領域の描出に向いており、コンベックス型は、ラジアル型よりも生検針との相対位置を掴みやすく生検対象がある時に使用されることが多い。このため、一般的には、コンベックス型の超音波内視鏡で撮られた画像（以下、コンベックス画像という）中には病変が含まれていることが多く、ラジアル型超音波内視鏡で撮られた画像（以下、ラジアル画像という）中には病変が含まれていないことが多い。
　また、超音波内視鏡により得られた画像に対して、病変部の鑑別等の識別結果を支援情報として提供するコンピュータ診断支援（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｉａｇｎｏｓｉｓ：ＣＡＤ）も開発されている。このような超音波内視鏡用のＣＡＤに用いる画像認識処理モデルを深層学習技術によって構築する場合には、多くの超音波画像を訓練データとして用いることが望ましく、更に、病変が映っている超音波画像や病変が映っていない超音波画像を均等に含む訓練データを用いることが望ましい。しかしながら、超音波内視鏡の型に応じた用途の違いから、画像の入手し易さに差が生じやすい。上述したように、病変が映っていないラジアル画像や病変が映っているコンベックス画像は入手しやすい。逆に、病変が映っているラジアル画像や病変が映っていないコンベックス画像については入手しにくい、という問題がある。
　特表２０２４－００４５９７号公報（以下、特許文献１という）では、コンベックス画像から作成したラジアル画像を模した画像を機械学習させることにより、ラジアル画像専用の画像認識処理モデルを育成する技術を開示している。
特表２０２４－００４５９７号公報
　例えば一つのモデルでラジアル画像およびコンベックス画像の両方のＣＡＤを可能とする画像認識処理モデルを育成しようとした場合、訓練データの数に偏りがあると画像認識処理モデルを構築するための学習に悪影響を及ぼすことがある。
　本発明は、超音波内視鏡により得られる画像の変換を行うことを可能にすることにより、高精度の画像認識処理モデルを構築することができる機械学習用画像生成方法、機械学習方法、内視鏡プロセッサ、機械学習用画像生成プログラム及び機械学習用画像生成プログラムを記憶した不揮発性記憶媒体を提供することを目的とする。
　本発明の一態様の機械学習用画像生成方法は、第１の型の超音波撮像装置により撮像された第１超音波画像を加工することで、少なくとも前記第１超音波画像の振動子領域の形状および振動子領域の位置を変えて、機械学習用画像として第１の型とは振動子の配列方向が異なる第２の型の超音波撮像装置により撮像された第２超音波画像を模擬した模擬画像を生成する。
　また、本発明の一態様の機械学習方法は、前記第１超音波画像であるラジアル画像と、前記模擬画像である模擬コンベックス画像と、生体部位および病変の少なくとも一方が映っているコンベックス画像と、前記模擬画像である模擬ラジアル画像と、を学習画像として用いる。
　また、本発明の他の態様の内視鏡プロセッサは、前記機械学習方法により学習した人工知能にアクセス可能な内視鏡プロセッサであって、超音波内視鏡から送信された撮像画像を受信し、受信した前記撮像画像を前記人工知能に入力し、前記人工知能の出力結果を受信し、受信した前記出力結果をモニターに出力する。
　本発明の一態様の機械学習用画像生成プログラムは、コンピュータに、第１の型の超音波撮像装置により撮像された第１超音波画像を加工することで、少なくとも前記第１超音波画像の振動子領域の形状および振動子領域の位置を変えて、機械学習用画像として第１の型とは振動子の配列方向が異なる第２の型の超音波撮像装置により撮像された第２超音波画像を模擬した模擬画像を生成する手順を実行させる。
　本発明の一態様の機械学習用画像生成プログラムを記憶した不揮発性記憶媒体は、コンピュータに、第１の型の超音波撮像装置により撮像された第１超音波画像を加工することで、少なくとも前記第１超音波画像の振動子領域の形状および振動子領域の位置を変えて、機械学習用画像として第１の型とは振動子の配列方向が異なる第２の型の超音波撮像装置により撮像された第２超音波画像を模擬した模擬画像を生成する手順を実行させるための機械学習用画像生成プログラムを記憶する。
　本発明によれば、超音波内視鏡により得られる画像の変換を行うことを可能にすることにより、高精度の画像認識処理モデルを構築することができるという効果を有する。
本発明の一実施形態に係る機械学習用画像生成方法を実現する画像処理装置を示すブロック図である。 コンベックス型超音波内視鏡３１及びラジアル型超音波内視鏡３２の外観と、コンベックス型超音波内視鏡３１からのコンベックス画像及びラジアル型超音波内視鏡３２からのラジアル画像とを説明するための説明図である。 表示画面２２上に表示されるコンベックス画像及びラジアル画像の一例を示す説明図である。 コンベックス画像から模擬ラジアル画像への加工の一例を説明するための説明図である。 コンベックス画像から模擬ラジアル画像への加工の他の例を説明するための説明図である。 コンベックス画像から模擬ラジアル画像への加工の他の例を説明するための説明図である。 コンベックス画像から模擬ラジアル画像への加工の他の例を説明するための説明図である。 ラジアル画像から模擬コンベックス画像への加工の例を説明するための説明図である。 ラジアル画像から模擬コンベックス画像への加工の例を説明するための説明図である。 ラジアル画像から模擬コンベックス画像への加工の例を説明するための説明図である。 図１中の学習回路１９の具体的な構成の一例を示すブロック図である。 実施形態における画像認識処理モデルを生成するための機械学習を説明するためのフローチャートである。 図１２中のＳ２の機械学習用画像生成を説明するためのフローチャートである。 画像認識処理モデルを利用する内視鏡プロセッサを示すブロック図である。
　以下、図面を参照して本発明の実施形態について詳細に説明する。
（実施形態）
　図１は本発明の一実施形態に係る機械学習用画像生成方法を実現する画像処理装置を示すブロック図である。本実施形態はコンベックス型の超音波内視鏡により得られるコンベックス画像を加工して、ラジアル型の超音波内視鏡により得られるラジアル画像と同様の模擬ラジアル画像を生成したり、ラジアル型の超音波内視鏡により得られるラジアル画像を加工して、コンベックス型の超音波内視鏡により得られるコンベックス画像と同様の模擬コンベックス画像を生成したりすることで、画像数を増やすだけでなく、超音波画像中の病変等の分布の偏りを抑制し、より高精度の画像認識処理モデルの構築を可能にする機械学習用画像（訓練データ）の生成を可能にするものである。本実施形態においては、超音波内視鏡から得られる超音波画像に含まれる振動子領域の形状及び振動子領域の位置を変更することで、模擬ラジアル画像や模擬コンベックス画像（以下、これらを単に模擬画像ということがある）を生成する。
　なお、本実施形態では、超音波画像を取得する装置として超音波内視鏡を例に説明するが、超音波内視鏡に限らず各種超音波撮像装置を採用してもよい。また、超音波内視鏡の型としてコンベックス型とラジアル型を例に説明するが、これに限定されるものではなく、例えばセクタ型やリニア型等の超音波撮像装置により取得した超音波画像に適用することも可能である。
　図１において、画像処理装置１０には、コンベックス型超音波内視鏡により得られた超音波画像（以下、コンベックス画像という）やラジアル型超音波内視鏡により得られた超音波画像（以下、ラジアル画像という）が入力される。コンベックス型超音波内視鏡及びラジアル型超音波内視鏡等の超音波内視鏡は、体内等に挿入され、観察対象部位へ向けて超音波ビ－ムを送波し、観察対象部位の音響インピ－ダンスの境界から反射される反射波を受波してエコー信号を得る。このエコー信号に基づいて、超音波画像が生成される。
　図２は超音波内視鏡の例としてコンベックス型超音波内視鏡３１及びラジアル型超音波内視鏡３２の外観を示すと共に、コンベックス型超音波内視鏡３１により得られるコンベックス画像及びラジアル型超音波内視鏡３２により得られるラジアル画像を説明するための説明図である。
　コンベックス型超音波内視鏡３１は、体内等に挿入される細長のプロ－ブ３３と、このプロ－ブ３３の先端部（内視鏡先端部）に設けられ、超音波ビ－ムを送受波する振動子３４を備える。なお、振動子３４は、複数のエレメントが配列された振動子アレイとして構成される。また、プローブ３３の先端にはプローブ３３内に設けられた鉗子チャネルの開口部３５ａが設けられ、この開口部３５ａからは生検針３５が突出している。また、ラジアル型超音波内視鏡３２は、体内等に挿入する細長のプロ－ブ３６と、このプロ－ブ３６の先端部（内視鏡先端部）に設けられ、超音波ビ－ムを送受波する振動子３７を備える。なお、振動子３７は、複数の超音波エレメントが配列された振動子アレイとして構成される。
　コンベックス型超音波内視鏡３１においては、振動子３４の超音波エレメントは凸曲面の形状に配置され、物体を円弧状に走査して超音波を発生させる。即ち、コンベックス型超音波内視鏡３１の振動子３４は、コンベックス走査面３４ａに示すように、プロ－ブ軸に平行な面内を扇形に走査する。
　一方、ラジアル型超音波内視鏡３２は、振動子３７の超音波エレメントがプローブ３６の軸回りに円周状に配置され、物体を円周状に走査して超音波を発生させる。即ち、ラジアル型超音波内視鏡３２の振動子３７は、ラジアル走査面３７ａに示すように、プロ－ブ軸に垂直な面内を円弧状に走査する。
　なお、振動子３４，３７は、各超音波エレメントが例えば電子的に駆動されることで走査を行う。本実施形態においては、超音波画像中の病変等の分布の偏りを抑制しながら、訓練データとして用いる画像数を増やすことを目的としており、訓練データとして用いる画像をコンベックス画像やラジアル画像に限定するものではない。例えば、訓練データとして、単一の超音波エレメントを用いて機械的に超音波を送受波する方向を変化させる振動子により得られる超音波画像を採用してもよく、セクタ型の振動子によって得られる超音波画像や、直線的に振動子が配置されるリニア型の振動子により得られる超音波画像を採用してもよい。なお、ラジアル型超音波内視鏡に対して、コンベックス型、セクタ型、リニア型の各超音波内視鏡を、非ラジアル型超音波内視鏡ともいう。
　図２の下欄には表示画面上に表示されるコンベックス画像Ｐｃ及びラジアル画像Ｐｒを示している。コンベックス型超音波内視鏡３１によって得られるコンベックス画像Ｐｃは、画面上端に扇形の像部分を有する。この像部分は、コンベックス型超音波内視鏡３１の振動子３４を示す振動子像Ｐ３４である。また、コンベックス画像Ｐｃ中の振動子像Ｐ３４を中心に広がる半円状の複数の模様は、走査が振動子３４を中心に半円状（扇状）に行われていることを示している。また、良好な超音波画像を得るために振動子像Ｐ３４を臓器に密着させるための超音波バルーンが設けられることもあり、振動子像Ｐ３４の周囲には、超音波バルーンのバルーン像Ｐ３４ａがある。図２では扇を１８０度開いた形状で描かれているが本発明はこれに限定されず、３６０度よりも小さな角度であればよい。
　ラジアル型超音波内視鏡３２によって得られるラジアル画像Ｐｒは、画面中央に円形の像部分を有する。この像部分は、ラジアル型超音波内視鏡３２の振動子３７を示す振動子像Ｐ３７である。また、ラジアル画像Ｐｒ中の振動子像Ｐ３７を中心に広がる円形状の複数の模様は、走査が振動子３７を中心に同心円状に行われていることを示している。また、振動子像Ｐ３７の周囲には、超音波バルーンのバルーン像Ｐ３７ａがある。なお、振動子像Ｐ３４，Ｐ３７及びバルーン像Ｐ３４ａ，Ｐ３７ａは、一般的には所定の画素値をもつムラの無い黒色で表示される。
　図１において、画像処理装置１０は、制御部１１を備える。制御部１１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）等を用いたプロセッサによって構成されていてもよい。制御部１１は、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。制御部１１は、操作入力部１６に対するユーザ操作に基づいて、画像処理装置１０の各部を統括的に制御する。なお、操作入力部１６は、タッチパネルやキーボード等の各種インタフェースにより構成されて、ユーザ操作に基づく操作信号を制御部１１に出力する。
　画像処理装置１０の画像取得部１２は、制御部１１に制御されて、コンベックス画像やラジアル画像を受信する。画像処理装置１０は、コンベックス画像を記憶するコンベックス画像メモリ１３及びラジアル画像を記憶するラジアル画像メモリ１４を備えていてもよいし、画像取得部１２が取得した画像を、メモリを介さずに画像加工部１５に入力する構成であってもよい。画像取得部１２は、制御部１１に制御されて、コンベックス画像をコンベックス画像メモリ１３に与え、ラジアル画像をラジアル画像メモリ１４に与える。
　なお、図１では、２つのメモリを用いる例を示したが、単一のメモリの異なるメモリ領域を用いるようになっていてもよい。また、図１では、コンベックス画像及びラジアル画像の両方を同時に扱う場合の例を示しており、いずれか一方のみを扱う場合には、単一のメモリ又は単一のメモリ領域を設ければよい。
　コンベックス画像メモリ１３やラジアル画像メモリ１４に記憶された超音波画像は、画像加工部１５に供給される。画像加工部１５は、制御部１１に制御されて、コンベックス画像及びラジアル画像の少なくとも一方に対して画像加工を行う。なお、画像加工部１５は、画像加工のための作業用のメモリを有していてもよい。制御部１１は、模擬コンベックス画像や模擬ラジアル画像を生成するための画像加工処理を画像加工部１５に設定する。画像加工部１５は、超音波画像に対する画像加工によって、模擬画像を生成する。画像加工部１５には、入力された画像を自動で任意の模擬画像に加工するための構成を含んでいてもよいし、Ａｄｏｂｅ（登録商標）などの人の手で画像を加工するためのプログラムを含む部位であってもよい。なお、画像加工部１５の画像加工の方法については後述する。
　画像加工部１５から出力される加工後の模擬画像は記録装置２５に供給される。なお、記録装置２５には、コンベックス画像メモリ１３及びラジアル画像メモリ１４に記録されたコンベックス画像及びラジアル画像も供給される。
　画像処理装置１０には記録装置２５を接続可能であってもよく、記録装置２５は、図示しない所定の記録媒体により構成され、画像加工部１５による加工前の画像及び画像加工部１５が加工して生成した模擬画像を記録する。記録装置２５に記録された画像が画像認識処理モデルの学習のための訓練データとして用いられる。記録装置２５としては、例えばＳＤカード、ＵＳＢメモリなどの記憶媒体を挙げることができる。
　画像処理装置１０により生成された模擬画像は、訓練データとして学習装置１９に入力される。この場合に、記録装置２５を介して模擬画像を学習装置１９に入力してもよいし、優先ケーブルまたは無線通信などの公知の方法により直接、画像処理装置１０から学習装置１９に入力してもよい。また、画像処理装置１０と学習装置１９とが一体であってもよい。この場合、例えば画像処理装置１０内に、学習装置１９としての学習回路が配置され、学習回路は、制御部１１に制御されて、記録装置２５に記録された画像を訓練データとして用いて機械学習を行うことで、画像認識処理モデルを生成する。なお、学習回路は、制御部１１に制御されることなく、記録装置２５に記録された画像を用いて、独自に機械学習を行って、画像認識処理モデルを構築してもよい。
　表示装置２１は、ＬＣＤ（液晶表示装置）等の表示機器であり、制御部１１による表示制御に従って、メニュー表示等の各種表示が可能である。また、表示装置２１は、画像加工部１５により加工された画像や、画像加工部１５による画像加工前の画像を表示画面２２上に表示可能である。
　図３はコンベックス画像及びラジアル画像の一例を示す説明図である。
　コンベックス型超音波内視鏡の観察領域は扇形であり、図３の左側に示すコンベックス画像Ｐｃ１は、画面上端に、振動子像ＩｃＶ１を有する。図３の例では、コンベックス画像Ｐｃ１中には、血管や臓器の部分等の組織（生体部位）を示す組織像ＩｃＴ１及び病変を示す病変像ＩｃＬ１も映っている。画面下端は、像を含まないブラインド領域ＰｃＢである。
　なお、病変としては、例えば、癌、腫瘍、腫瘤、膵炎、炎症、脂肪肉腫、リンパ腫、または線維化等があり、生体部位として上部消化管（胃、食道、十二指腸）、大腸、肺、膵臓、肝臓、胆嚢、胆管、膵管、前立腺、血管、リンパ節、筋層、脂肪層、または骨等がある。
　一方、ラジアル型超音波内視鏡の観察領域は同心円状であり、図３の右側に示すラジアル画像Ｐｒ１は、画面中央に、振動子像ＩｒＶ１を有する。図３の例では、ラジアル画像Ｐｒ１中には、組織を示す組織像ＩｒＴ１～ＩｒＴ３も映っている。上述したように、ラジアル画像Ｐｒ１には、病変が映っていないことが多々あり、従来、病変等の分布の偏りから、図３のような超音波画像を訓練データとする学習により生成された画像認識処理モデルでは、例えば振動子の影の形と位置によって病変を判断する誤った学習が生じることがある。
　そこで、本実施形態においては、コンベックス画像及びラジアル画像の一方の画像を加工して他方の画像を模擬した模擬画像を生成する。生成した模擬画像を訓練データに用いることで、病変分布の偏りをなくし誤った学習の発生を防止するようになっている。
　以下、コンベックス型超音波内視鏡、ラジアル型超音波内視鏡、セクタ型超音波内視鏡及びリニア型超音波内視鏡のうち、特定の１つの型の内視鏡を第１の型の超音波内視鏡といい、その他の１つの型の内視鏡を第２の型の超音波内視鏡といい、第１及び第２の超音波内視鏡により得られる超音波画像をそれぞれ第１超音波画像又は第２超音波画像というものとする。即ち、本実施形態は、第１の型の超音波内視鏡により得られる第１超音波画像に画像加工を施すことで、第１及び第２超音波画像のうちの一方の超音波画像から他方の超音波画像を模擬した模擬画像（以下、単に他方の模擬画像ということもある）を生成するものである。更に、本実施形態においては、一方の超音波画像から他方の模擬画像を生成する加工方法だけでなく、一方の超音波画像から一方の超音波画像を模擬した模擬画像（以下、一方の模擬画像ということもある）を生成することもある。
　本実施形態においては、他方の模擬画像を生成する場合に、第１超音波画像中の振動子の影の形と位置を、第２超音波画像中の先端部の影の形と位置に似るように画像加工を施す。例えば、本実施形態においては、ラジアル画像又はコンベックス画像に含まれる振動子領域の形状及び振動子領域の位置を変更することで、模擬ラジアル画像や模擬コンベックス画像等の模擬画像を生成する。
（コンベックス画像から模擬ラジアル画像を生成）
（例Ｃ－Ｒ１）
　図４はコンベックス画像から模擬ラジアル画像への加工の一例を説明するための説明図である。図４の左側はコンベックス画像メモリ１３に記憶されたコンベックス画像を示し、図４の中央は画像加工の過程を示し、図４の右側は模擬ラジアル画像を示している。
　本実施形態においては、制御部１１は、コンベックス画像Ｐｃ１上におけるコンベックス型超音波内視鏡の振動子の影の形と位置を、ラジアル画像の先端部の影の形と位置に似るように画像加工を施す制御を行う。即ち、制御部１１は、コンベックス画像の振動子像ＩｃＶ１の画面上の形及び位置をラジアル画像と同様に、画面の中央に円形状となるように画像加工を施すように画像加工部１５を制御する。
　図４はこの加工を示しており、画像加工部１５は、コンベックス画像メモリ１３から読み出したコンベックス画像Ｐｃ１を上下反転した反転コンベックス画像ＰｃＲ１を作成し、元のコンベックス画像Ｐｃ１と反転コンベックス画像ＰｃＲ１とを合成した模擬コンベックス画像ＰｒＳ１を生成する。反転コンベックス画像ＰｃＲ１は、コンベックス画像Ｐｃ１の振動子像ＩｃＶ１、組織像ＩｃＴ１、病変像ＩｃＬ１及びブラインド領域ＰｃＢをそれぞれ上下反転させた振動子像ＩｃＶＲ１、組織像ＩｃＴＲ１、病変像ＩｃＬＲ１及びブラインド領域ＰｃＢＲを含む。
　図４の右欄に示すように、画像加工部１５は、元のコンベックス画像Ｐｃ１の扇形の振動子像ＩｃＶ１と反転コンベックス画像ＰｃＲ１に含まれる扇形の振動子像ＩｃＶＲ１とを合成して（つなぎ合わせて）円形状の模擬振動子像ＩｒＶＳ１（ＩｃＶ１＋ＩｃＶＲ１）が得られるように、コンベックス画像Ｐｃ１と反転コンベックス画像ＰｃＲ１とを合成（連結）する。画像加工部１５は、合成した画像の上端及び下端をクリッピングして表示画面のサイズに調整して円形状の模擬振動子像ＩｒＶＳ１が画面中央に位置するようにした模擬ラジアル画像ＰｒＳ１を得る。模擬ラジアル画像ＰｒＳ１は、ラジアル画像と同様に、画面中央に円形状の模擬振動子像ＩｃＶＳ１を有していると共に、病変部の病変像ＩｃＬ１及び模擬病変像ＩｃＬＲ１を含む。
　上述したように、コンベックス画像及びラジアル画像は超音波画像の例示であり、画像を一般化した場合、（例Ｃ－Ｒ１）は、第１の型の超音波撮像装置により撮像された第１超音波画像を加工することで、少なくとも第１超音波画像の振動子領域の形状および振動子領域の位置を変えて、第１の型とは振動子の配列方向が異なる第２の型の超音波撮像装置により撮像された第２超音波画像を模擬した模擬画像を生成するものである。なお、第１及び第２の超音波撮像装置のうち、一方は振動子を軸の全周に配置したラジアル型超音波内視鏡であり、他方は振動子を軸の全周に配置していない非ラジアル型超音波内視鏡である。そして、非ラジアル型超音波内視鏡は、例えばコンベックス型超音波内視鏡またはセクタ型超音波内視鏡である。
　画像加工部１５は、模擬ラジアル画像ＰｒＳ１を記録装置２５に与えて記録する。このように、画像加工部１５は、病変が映っているコンベックス型の超音波内視鏡で撮られた入手しやすいコンベックス画像を、振動子の影の形と位置が似るように、元のコンベックス画像と反転コンベックス画像とを合成することで、ラジアル型超音波内視鏡で撮られる病変が映っている入手しにくい画像を模した模擬ラジアル画像を生成する。こうして、病変等の分布の偏りを解消する超音波画像が得られる。
（例Ｃ－Ｒ２）
　図５はコンベックス画像から模擬ラジアル画像への加工の他の例を説明するための説明図である。図５の左側はコンベックス画像メモリ１３に記憶されたコンベックス画像を示し、図５の中央は画像加工の過程を示し、図５の右側は模擬ラジアル画像を示している。図５において図４と同一の構成要素には同一符号を付してある。
　図５の例は、画像加工部１５が、制御部１１に制御されて、図４の模擬ラジアル画像ＰｒＳ１の表示領域をスクロールした模擬ラジアル画像ＰｒＳｓ１を生成する点が図４の例と異なるのみである。超音波画像の観察時に画面をスクロール可能である場合があり、本例はこれに対応したものである。なお、図５では垂直方向にスクロールした模擬ラジアル画像が例示されているが、水平方向、または斜め方向にスクロールすることもありうる。このように、例Ｃ－Ｒ２においても、病変等の分布の偏りを解消する超音波画像が得られる。
（例Ｃ－Ｒ３）
　図６はコンベックス画像から模擬ラジアル画像への加工の他の例を説明するための説明図である。図６の左側はコンベックス画像メモリ１３に記憶された２枚のコンベックス画像を示し、図６の中央は画像加工の過程を示し、図６の右側は模擬ラジアル画像を示している。図６において図４と同一の構成要素には同一符号を付してある。
　図６の例は、画像加工部１５が、制御部１１に制御されて、２つのコンベックス画像Ｐｃ２、Ｐｃ３を用いた画像加工により模擬ラジアル画像ＰｒＳ２を作成するものである。図６はこの加工を示しており、画像加工部１５は、制御部１１に制御されて、コンベックス画像メモリ１３からコンベックス画像Ｐｃ２，Ｐｃ３を読み出し、コンベックス画像Ｐｃ３を上下反転した反転コンベックス画像ＰｃＲ３（図６の中央欄）を作成し、コンベックス画像Ｐｃ２と反転コンベックス画像ＰｃＲ３とを合成した模擬コンベックス画像ＰｒＳ２（図６の右欄）を生成する。なお、コンベックス画像Ｐｃ２は、振動子像ＩｃＶ２、病変像ＩｃＬ２、組織像ＩｃＴ２ａ，ＩｃＴ２ｂ及びブラインド領域ＰｃＢを含み、コンベックス画像Ｐｃ３は、振動子像ＩｃＶ３、病変像ＩｃＬ３、組織像ＩｃＴ３及びブラインド領域ＰｃＢを含む。反転コンベックス画像ＰｃＲ３は、振動子像ＩｃＶＲ３、病変像ＩｃＬＲ３、組織像ＩｃＴＲ３及びブラインド領域ＰｃＢＲを含む。
　即ち、画像加工部１５は、コンベックス画像Ｐｃ２の振動子像ＩｃＶ２と反転コンベックス画像ＰｃＲ３に含まれる振動子像ＩｃＶＲ３とを合成して円形状の模擬振動子像ＩｒＶＳ２（ＩｃＶ２＋ＩｃＶＲ３）が得られるように、コンベックス画像Ｐｃ２と反転コンベックス画像ＰｃＲ３とを合成（連結）する。画像加工部１５は、合成した画像の上端及び下端をクリッピングして表示画面のサイズに調整した模擬ラジアル画像ＰｒＳ２を得る。模擬ラジアル画像ＰｒＳ２は、ラジアル画像と同様に、画面中央に円形状の模擬振動子像ＩｃＶＳ２を有していると共に、病変部の病変像ＩｃＬ２及び病変像ＩｃＬＲ３を含む。
　このように、（例Ｃ－Ｒ３）においても、第１の型の超音波撮像装置により撮像された第１超音波画像を加工することで、少なくとも第１超音波画像の振動子領域の形状および振動子領域の位置を変えて、第１の型とは振動子の配列方向が異なる第２の型の超音波撮像装置により撮像された第２超音波画像を模擬した模擬画像を生成するものである。なお、（例Ｃ－Ｒ３）は、第１の型の超音波撮像装置がコンベックス型超音波内視鏡であり、第２の型の超音波撮像装置がラジアル型超音波内視鏡であって、第１超音波画像を複数枚用意し、第１超音波画像の端に位置する内視鏡先端部の扇形の振動子領域が円形となり、更に前記円形が中央に位置する様に複数の第１超音波画像をつなぎ合わせる加工を行うものである。この場合に、複数の第１超音波画像は、コンベックス型超音波内視鏡により撮像された第１コンベックス画像、およびこのコンベックス型超音波内視鏡により撮像され、第１コンベックス画像とは異なる第２コンベックス画像を含むものである。
　画像加工部１５は、模擬ラジアル画像ＰｒＳ１を記録装置２５に与えて記録する。このように、例Ｃ－Ｒ３においても、病変等の分布の偏りを解消するための模擬ラジアル画像が得られる。
（例Ｃ－Ｒ４）
　図７はコンベックス画像から模擬ラジアル画像への加工の他の例を説明するための説明図である。図７の左側はコンベックス画像メモリ１３に記憶されたコンベックス画像を示し、図７の中央は画像加工の過程を示し、図７の右側は模擬ラジアル画像を示している。図７において図４と同一の構成要素には同一符号を付してある。
　図７の例は、画像加工部１５が、制御部１１に制御されて、図４の模擬ラジアル画像ＰｒＳ１に超音波バルーンを示すバルーン画像ＩＢを追加する加工を行った点が図４の例と異なるのみである。このように、例Ｃ－Ｒ４においても、病変等の分布の偏りを解消する超音波画像が得られる。なお、図７では、模擬ラジアル画像ＰｒＳ１にバルーン画像ＩＢを追加する加工を行った例を示したが、逆に、模擬ラジアル画像ＰｒＳ１に超音波画像が映っている場合に、バルーン画像を削除する加工を行うようになっていてもよい。
（ラジアル画像から模擬コンベックス画像を生成）
（例Ｒ－Ｃ１）
　図８はラジアル画像から模擬コンベックス画像への加工の例を説明するための説明図である。図８の左側はラジアル画像メモリ１４に記憶されたラジアル画像を示し、図８の中央は画像加工の過程を示し、図８の右側は模擬コンベックス画像を示している。
　本実施形態においては、制御部１１は、ラジアル画像Ｐｒ１上におけるプローブ３３の振動子の影の形と位置を、コンベックス画像の先端部の影の形と位置に似るように画像加工を施す制御を画像加工部１５に対して行う。即ち、制御部１１は、ラジアル画像の振動子像ＩｒＶ１の画面上の形及び位置をコンベックス画像と同様に、画面端部に半円状となるように画像加工を施すように画像加工部１５を制御する。
　図８はこの加工を示している。ラジアル画像Ｐｒ１は、振動子像ＩｒＶ１、組織像ＩｒＴ１ａ，ＩｒＴ１ｂ，ＩｒＴ１ｃを含む。画像加工部１５は、ラジアル画像メモリ１４から読み出したラジアル画像Ｐｒ１に含まれる振動子像ＩｒＶ１を検出する。例えば、画像加工部１５は、明るさ及び円形度に基づいて画面中央に位置する振動子像ＩｒＶ１を検出する。図８の中央欄は、画像加工部１５により検出された振動子像ＩｒＶ１の検出領域ＩｒＶＤ１を示している。画像加工部１５は、検出領域ＩｒＶＤ１の中心を通る水平線よりも上方のラジアル画像Ｐｒ１の部分を削除して、一部のラジアル画像を切り出す。そして、画像加工部１５は、表示画面のサイズに合わせて、切り出したラジアル画像Ｐｒ１の下端に所定の画素値をもつ黒色のブラインド領域ＰｃＢＳを設けて、模擬コンベックス画像ＰｃＳ１とする。
　模擬コンベックス画像ＰｃＳ１には、コンベックス画像と同様に、画面上端に半円形状の模擬振動子像ＩｒＶＨ１を有していると共に、組織像ＩｒＴ１ｂ，ＩｒＴ１ｃ及びブラインド領域ＰｃＢＳを含む。
　このように、（例Ｒ－Ｃ１）においても、第１の型の超音波撮像装置により撮像された第１超音波画像を加工することで、少なくとも第１超音波画像の振動子領域の形状および振動子領域の位置を変えて、第１の型とは振動子の配列方向が異なる第２の型の超音波撮像装置により撮像された第２超音波画像を模擬した模擬画像を生成するものである。なお、（例Ｒ－Ｃ１）は、第１の型の超音波撮像装置がラジアル型超音波内視鏡であり、第２の型の超音波撮像装置がコンベックス型超音波内視鏡であって、第１超音波画像の中央に位置する内視鏡先端部の円形の振動子領域が扇形となり、この扇形が画像の端に位置するように第１超音波画像を部分的に除去する加工を行うものである。
　画像加工部１５は、模擬コンベックス画像ＰｃＳ１を記録装置２５に与えて記録する。このように、画像加工部１５は、病変が映っていないラジアル型の超音波内視鏡で撮られた入手しやすいラジアル画像を、振動子の影の形と位置が似るように、元のラジアル画像の上部を削除すると共にブラインド領域を設ける画像加工を施すことで、コンベックス型超音波内視鏡で撮られる病変が映っていない入手しにくい画像を模した模擬コンベックス画像を生成する。こうして、病変等の分布の偏りを解消する超音波画像が得られる。
　ここで、コンベックス型スコープでの検査では、生検を行う都合で病変が振動子の右下に表示されるように位置の調整を行うが多い。そこで、病変が映っているラジアル画像を用いて模擬コンベックス画像を生成する場合は、画像のシフト、反転を行うことで病変位置が振動子の右下になるように調整を行う。こうすることで、実際の検査場面で頻繁に登場する画像に近い模擬コンベックス画像を生成することが可能となる。
　また、ラジアル画像には、振動子の位置が画面中心ではなく、より上側もしくは下側にあることがある。その場合、振動子を境としてより面積が小さい側を除去することで振動子の扇形が画像の端に位置するように加工を行う。こうすることで、より広い超音波画像領域が映った画像を用いた模擬コンベックス画像を生成することが可能となる。
（例Ｒ－Ｃ２）
　図９はラジアル画像から模擬コンベックス画像への加工の他の例を説明するための説明図である。図９の左側はラジアル画像メモリ１４に記憶されたラジアル画像を示し、図９の中央は画像加工の過程を示し、図９の右側は模擬コンベックス画像を示している。図９において図８と同一の構成要素には同一符号を付してある。
　図９の例は、画像加工部１５が、制御部１１に制御されて、図８の模擬コンベックス画像ＰｃＳ１の有効な観察範囲を扇型に制限した模擬コンベックス画像ＰｃＳＦ１を生成する点が図８の例と異なるのみである。コンベックス型の超音波内視鏡では、振動子の走査範囲が比較的狭く、有効な観察範囲が走査範囲の扇型の中心角に応じて狭いコンベックス画像が得られることがある。本例はこれに対応したものであり、画面上端の振動子像ＩｒＶＨ１の両端から扇型の有効観察範囲が得られるように、画像加工部１５によって、所定の画素値をもつ黒色のマスク領域ＰｃＭ１，ＰｃＭ２が設けられる。このように、例Ｒ－Ｃ２においても、病変等の分布の偏りを解消する超音波画像が得られる。
（例Ｒ－Ｃ３）
　図１０はラジアル画像から模擬コンベックス画像への加工の他の例を説明するための説明図である。図１０の左側はラジアル画像メモリ１４に記憶されたラジアル画像を示し、図１０の中央は画像加工の過程を示し、図１０の右側は模擬コンベックス画像を示している。図１０において図８と同一の構成要素には同一符号を付してある。
　図１０の例は、画像加工部１５が、制御部１１に制御されて、図８の模擬コンベックス画像ＰｃＳ１に多重反射を示す多重反射像ＩｃＡ１を付加した模擬コンベックス画像ＰｃＳＡ１を生成する点が図８の例と異なるのみである。超音波内視鏡では、超音波の伝播経路において反射された超音波波束が干渉することによる多重反射によって多重反射像（リングアーチファクト）が生じることがある。本例はこれに対応したものであり、画面上端の振動子像ＩｒＶＨ１の周囲に、画像加工部１５によって、半円状の所定の画素値をもつ黒色の多重反射像ＩｃＡ１が設けられる。なお、画像加工部１５は、模擬コンベックス画像に多重反射像が映っている場合に、この模擬コンベックス画像から多重反射像を除去する加工を行うようになっていてもよい。このように、例Ｒ－Ｃ３においては、多重反射像の偏りを解消する超音波画像が得られる。
　このように、各種の画像加工によって、機械学習における訓練データとして適切な調整が行われる。上述したように、学習画像に偏りがあると、異なる様相の画像に対して誤判定する可能性がある。例えば、学習時の画像と病院で実際に診断する際に取られた画像とに差異があると画像認識処理モデルは誤判定してしまう可能性がある。そこで、適切な調整のために、各種の画像を数的に均等にする画像加工が行われる。例えば、病変の有無についてなるべく均等な数の超音波画像を訓練データ（学習画像）とした方がよく、また、例えば図１０の例のように、多重反射の影響が無い画像から、多重反射の影響が沢山ある画像まで数的にできるだけ等しくなるように訓練データを作成した方がよい。
（その他の例）
　以下の各例においても、コンベックス画像及びラジアル画像のうちの一方の超音波画像中の振動子の影の形と位置を、他方の超音波画像中の先端部の影の形と位置に似るように画像加工を施すことで、一方の超音波画像から他方の模擬画像を生成する。
（例Ｅ１：コンベックス＋コンベックス反転）
　図４の例と同様にコンベックス画像と反転コンベックス画像とを連結してクリッピングすることで、模擬ラジアル画像を生成する。この場合には、模擬ラジアル画像中に、同一の病変または組織の２つの像がそのまま映っていてもよく、対応する２つの像のうち一方を背景色で塗りつぶす等の方法で削除してもよい。例えば、図４の例では、模擬ラジアル画像ＰｒＳ１に、同一の組織の像ＩｃＴ１，ＩｃＴＲ１と同一の病変の病変像ＩｃＬ１，ＩｃＬＲ１を含む例を説明したが、像ＩｃＴ１，ＩｃＴＲ１の一方を削除し、病変像ＩｃＬ１，ＩｃＬＲ１の一方を削除するようになっていてもよい。
（例Ｅ２：コンベックス＋コンベックス回転）
　元のコンベックス画像と元のコンベックス画像を１８０度回転させて得た回転コンベックス画像とを合成して模擬ラジアル画像を生成するようになっていてもよい。この場合においても、生成した模擬ラジアル画像中に、同一の組織の２つの像や同一の病変の２つの病変像がそのまま映っていてもよく、また、同一の病変や同一の組織に対応する像のいずれか一方を削除するようになっていてもよい。
（例Ｅ３：コンベックス＋ラジアル半割）
　元のラジアル画像の振動子像の中心を通り水平線により半分に分割して得た半割ラジアル画像とコンベックス画像とを合成することで模擬ラジアル画像を生成するようになっていてもよい。この場合においても、生成した模擬ラジアル画像中に、同一の組織の２つの像や同一の病変の２つの病変像がそのまま映っていてもよく、また、同一の病変や同一の組織に対応する像のいずれか一方を削除するようになっていてもよい。更に、病変像が映っているコンベックス画像と病変像が映っていない半割ラジアル画像とを合成するようになっていてもよい。
（例Ｅ４：コンベックス＋別のコンベックス画像）
　図６の例と同様にコンベックス画像と別のコンベックス画像とを連結してクリッピングすることで、模擬ラジアル画像を生成する。この場合において、図６では模擬ラジアル画像中に、同一の病変または組織の２つの像がそのまま映っていてもよい例を説明したが、対応する２つの像のうち一方を削除してもよい。
（例Ｅ５：ラジアル画像の半割）
　ラジアル画像の振動子像の中心を通り水平線により半分に分割して得た半割ラジアル画像を模擬コンベックス画像としてもよい。
（例Ｅ６：ラジアル画像の４分割）
　ラジアル画像の振動子像の中心を通り水平及び垂直線により４分割に分割して得た４分割ラジアル画像を２つ組み合わせて模擬コンベックス画像としてもよい。
（例Ｅ７：コンベックス画像＋半割コンベックス画像×２）
　コンベックス画像と、コンベックス画像の振動子像の中心を通り垂直線により半分に分割して得た半割コンベックス画像と半割コンベックス画像の３つの画像を合成して模擬ラジアル画像を生成してもよい。
　以上のように、第１の型の超音波内視鏡により得られる第１超音波画像中の振動子の影の形と位置を、第２の型の超音波内視鏡により得られる第２超音波画像中の先端部の影の形と位置に似るように画像加工を施すことで、一方の超音波画像から他方の模擬画像を生成するだけでなく、一方の超音波画像から他方の模擬画像を生成することも可能である。更に、上記（例Ｃ－Ｒ１～例Ｃ－Ｒ４、例Ｒ－Ｃ１～例Ｃ３、例Ｅ１～例Ｅ７）で用いられる各超音波画像及びその加工途中に得られる各超音波画像を用いた画像加工により、一方の超音波画像から一方又は他方の模擬画像を生成することも可能である。
（学習）
　図１１は図１中の学習回路１９の具体的な構成の一例を示すブロック図である。
　図１１の学習回路１９は、ニューラルネットワーク（ＮＮ）４０、ニューラルネットワーク制御回路（以下、ＮＮ制御回路という）５０及び学習損失計算部５５により構成される。なお、学習損失計算部５５及びＮＮ制御回路５０の全て又は各々は、ＣＰＵ、ＧＰＵ又はＦＰＧＡ等を用いた１つ以上のプロセッサによって構成されていてもよい。この１つ以上のプロセッサは、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。また、ニューラルネットワーク４０をハードウェアによって構成してもよく、ニューラルネットワーク４０の機能をプログラムによって実現してもよい。ＮＮ制御回路５０は、制御部１１によって制御される。
　記録装置２５には、上述したように、コンベックス画像メモリ１３及びラジアル画像メモリ１４に記録されたコンベックス画像及びラジアル画像が訓練データ（学習画像）として記録されると共に、画像加工部１５の画像加工によって得られた模擬コンベックス画像及び模擬ラジアル画像が訓練データ（学習画像）として記録される。更に、記録装置２５に記録された各画像には、それぞれアノテーションが施されている。例えば、記録装置２５に記録された各画像には、病変部の位置（領域）を示す情報、例えば、病変部領域を示すマスク画像等の情報及び病変部の鑑別結果の情報が正解情報として付与されている。上述したように、コンベックス画像を元に生成した模擬ラジアル画像の多くには病変像が含まれており、ラジアル画像を元に生成した模擬コンベックス画像の多くは病変像が含まれていない。これにより、ラジアル画像及び模擬ラジアル画像を合わせると、病変像の分布は略均等であり、また、コンベックス画像及び模擬コンベックス画像を合わせると、病変像の分布は略均等である。なお、ラジアル画像及び模擬ラジアル画像の総数と、コンベックス画像及び模擬コンベックス画像の総数とは略々等しい方が好ましい。
　例えば、ラジアル画像と、疑似コンベックス画像と、コンベックス画像と、疑似ラジアル画像との枚数比率は、最も枚数の少ない画像に対して、最も多い画像の枚数が２倍以内となっていることが好ましく、更に好ましくは全ての枚数が等しい。
　ニューラルネットワーク４０は、丸印にて示す複数のノードから成る入力層、中間層(隠れ層)、及び出力層から構成される。各ノードは前後の層のノードと連結しており、連結の１つ１つには重み係数と呼ばれるパラメータが与えられる。学習は、後述する学習損失を最小にするようにパラメータを更新する処理である。ニューラルネットワーク４０としては、例えば、コンボリューショナル(畳み込み、Convolutional)ニューラルネットワーク（ＣＮＮ）を採用してもよい。
　ＮＮ制御回路５０は、入力制御部５１、初期化部５２、ＮＮ適用部５３及び更新部５４により構成される。入力制御部５１は、記録装置２５に記録されている訓練データ及び正解情報を含む教師データの入力を制御する。初期化部５２は、ニューラルネットワーク４０のパラメータを初期化する。ＮＮ適用部５３は、記録装置２５から読みした訓練データをニューラルネットワーク４０に適用して、ニューラルネットワーク４０から分類出力を出力させる。更新部５４は、学習損失に基づいて、ニューラルネットワーク４０のパラメータを更新する。
　ニューラルネットワーク４０は、ＮＮ制御回路５０に制御されて、入力された画像毎に、各画像がいずれの分類の確率が高いかを示す確率値（以下、スコアという）を分類出力として出力する。この分類出力は、学習損失計算部５５に与えられる。学習損失計算部５５は、各分類出力に対応する各画像にそれぞれ割り当てられた正解情報が記録装置２５から与えられており、各分類出力と各正解情報との誤差を学習損失として求める。この学習損失は、ＮＮ制御回路５０に供給される。
　ＮＮ制御回路５０の更新部５４は、受信した学習損失を小さくするように、ニューラルネットワーク４０のパラメータを更新する。例えば、更新部５４は、既存のＳＧＤ（確率的勾配降下法）のアルゴリズムに従って、パラメータの更新を行ってもよい。このＳＧＤにおける更新式は公知であり、学習損失の値をＳＧＤの更新式に代入することで、ニューラルネットワーク４０の各パラメータが算出される。ニューラルネットワーク４０は、ＮＮ制御回路５０に制御されて、更新されたパラメータにより入力画像を分類する。以後、同様の動作が繰り返されて、学習が行われる。
　このような学習によって得られたニューラルネットワーク４０（画像認識処理モデル）に、未知の超音波画像を入力することにより、入力された超音波画像の病変の鑑別等の結果（分類出力）が得られる。
　次に、このように構成された実施の形態の動作について図１２から図１４を参照して説明する。図１２は実施形態における画像認識処理モデルを生成するための機械学習を説明するためのフローチャートであり、図１３は図１２中のＳ２の機械学習用画像生成を説明するためのフローチャートである。また、図１４は画像認識処理モデルを利用する内視鏡プロセッサを示すブロック図である。
　図１２のＳ１において、ＮＮ制御回路５０の初期化部５２は、ニューラルネットワーク４０のパラメータを初期化する。ただし、初期化部５２は必須の構成ではなく、パラメータの初期化は必須の工程ではない。図３では開始後NNの初期化を行っているが本発明はこれに限定されず、例えば、他の学習方法で構築したNNに対して初期化せず本発明を適用することも可能である。
　次に、Ｓ２において、機械学習用画像生成を行う。即ち、図１３のＳ１１において、制御部１１は、加工方法を取得し、取得した加工方法に従って画像加工部１５を制御する。これにより、画像加工部１５は、加工方法に対応する画像をコンベックス画像メモリ１３やラジアル画像メモリ１４から読み込む（Ｓ１２）。
　画像加工部１５は、設定された加工方法に従って、読み込んだ画像に対する画像加工を行う（Ｓ１３）。例えば、上記（例Ｃ－Ｒ１）の画像加工方法が指定された場合には、画像加工部１５は、コンベックス画像メモリ１３からコンベックス画像を読み出し、読み出したコンベックス画像を上下反転した反転コンベックス画像を作成し、元のコンベックス画像と反転コンベックス画像とを合成（連結）する。この合成に際して、画像加工部１５は、合成した画像の振動子像がラジアル画像の振動子像と同様の形状、位置及び明るさとなるように、画像合成する。画像加工部１５は、合成画像を表示画面のサイズに合わせてクリッピングして模擬画像（模擬ラジアル画像）を生成する（Ｓ１４）。
　このように、画像加工部１５は、第１の型の超音波撮像装置により撮像された第１超音波画像を加工することで、少なくとも第１超音波画像の振動子領域の形状および振動子領域の位置を変えて、第１の型とは振動子の配列方向が異なる第２の型の超音波撮像装置により撮像された第２超音波画像を模擬した模擬画像を生成するものであるが、更に、画像加工部１５は、上記各例を組み合わせて模擬画像を生成してもよい。
　例えば、（例Ｃ－Ｒ１）に示すように、組織（生体部位）及び病変の少なくとも一方が映っているコンベックス画像Ｐｃ１及びこのコンベックス画像Ｐｃ１を反転させた反転コンベックス画像ＰｃＲ１を第１超音波画像としてもよく、また、コンベックス画像Ｐｃ１を回転させた回転コンベックス画像（例Ｅ２）又はラジアル型超音波内視鏡により撮像された画像から病変が映っていない部位を切り出した第１ラジアル画像（例Ｒ－Ｃ１）を第１超音波画像としてもよい。この場合において、反転コンベックス画像又は回転コンベックス画像を使用するときには、コンベックス画像Ｐｃ１及び反転コンベックス画像の一方に映る病変または組織（生体部位）が除去されていてもよい。
　また、画像加工部１５は、第１超音波画像に、超音波バルーンが映っていない場合に、画像に超音波バルーンを付与する加工を行ってもよい。また逆に、画像加工部１５は、第１超音波画像に超音波バルーンが映っている場合に、この超音波バルーンの画像を除去する加工を行ってもよい。
　更に、画像加工部１５は、第１超音波画像中に多重反射の影響による多重反射線が映っていない場合に、多重反射像を追加する加工を行ってもよい。また逆に、画像加工部１５は、第１超音波画像に多重反射像が映っている場合に、この多重反射像を除去する加工を行ってもよい。
　このように画像加工部１５は、各種手法を採用して、模擬コンベックス画像及び模擬ラジアル画像を生成する。制御部１１は、記録装置２５に記録されるラジアル画像と、模擬コンベックス画像と、コンベックス画像と、模擬ラジアル画像と、の枚数比率が、最も枚数の少ない画像に対して、最も多い画像の枚数が２倍以内となるように、画像加工部１５を制御する。
　なお、人の手で画像加工する場合は、ラジアル画像と、模擬コンベックス画像と、コンベックス画像と、模擬ラジアル画像と、の枚数比率が、最も枚数の少ない画像に対して、最も多い画像の枚数が２倍以内となるように、画像加工する。
　画像加工部１５は、Ｓ１５において必要な種類及び枚数の模擬画像を生成した否かという終了条件の判定を行う（Ｓ１５）。画像加工部１５は、終了条件を満足していない場合には、処理をＳ１１に戻してＳ１１～Ｓ１５を繰り返し、終了条件を満足した場合には、処理を終了する。
　図１２のＳ３において、アノテーションが行われる。例えば、コンベックス画像、模擬コンベックス画像、ラジアル画像及び模擬ラジアル画像に対して、病変像の位置を示す情報及び鑑別結果等の正解情報を付加する。なお、模擬画像に対応するアノテーションは、加工前画像にアノテーションを付与したアノテーション画像に、模擬画像を生成する際と同様の加工を行うことで自動付与してもよい。ＮＮ制御回路５０の入力制御部５１は、記録装置２５に記憶されている訓練データである画像をニューラルネットワーク４０に入力する（Ｓ４）。また、入力制御部５１は、記録装置２５に記憶されている正解情報を学習損失計算部５５に入力する（Ｓ４）。なお、ニューラルネットワークにおいては、多数の画像のうち所定数単位（以下、ミニバッチという）の画像を抽出し、抽出したミニバッチ単位の画像について学習を実施する。このミニバッチの学習をデータ件数分実施して１単位（以下、エポックという）の学習が行われる。例えば、学習において実施されるエポック数は予め決められていることがある。
　ＮＮ適用部５３は、このようなミニバッチをニューラルネットワーク４０に適用する（Ｓ５）。これにより、ニューラルネットワーク４０は分類出力を出力する。ニューラルネットワーク４０の分類出力は学習損失計算部５５に与えられて学習損失が算出される（Ｓ６）。学習損失計算部５５は、算出した学習損失をＮＮ制御回路５０に出力する（誤差の逆伝搬）（Ｓ７）。ニューラルネットワーク４０の更新部５４は、例えばＳＧＤ法により、入力された学習損失に基づいてニューラルネットワーク４０のパラメータを更新する（Ｓ８）。
　次に、ＮＮ適用部５３は、学習の終了条件を満たすか否かを判定する（Ｓ９）。上述したように、ミニバッチの訓練データを抽出して学習を行う処理をデータ件数分繰り返し、規定されたエポック数に到達するまで学習が行われる。ＮＮ適用部５３は、規定のエポック数に到達したか否かを判断し、到達していない場合（Ｓ９のＮＯ判定）には、処理をＳ４に戻してＳ４～Ｓ９を繰り返す。また、ＮＮ適用部５３は、規定のエポック数に到達した場合（Ｓ９のＹＥＳ判定）には、処理を終了する。
　なお、図１２では機械学習用画像生成、アノテーションをＳ４～Ｓ９で構成される繰り返し処理の外で行っているが、これらを繰り返し処理の内、画像の入力の後にミニバッチ画像の数だけ逐一行ってもよい。この場合、模擬画像を保存するメモリ、ＨＤＤ（ハードディスク）の容量の節約を可能とする。
　学習装置１９の学習によって得られた画像認識処理モデルを用いて、超音波画像に対する診断等を可能にする人工知能が得られる。この画像認識処理モデルは、学習に際して病変等の分布に偏りがない訓練データが用いられており、振動子の形状や位置、表示される超音波画像の範囲のみを病変の判断材料とするような誤った学習が生じにくく高精度の推論を可能にする。
　図１４はこのような人工知能を利用する内視鏡プロセッサを示すブロック図である。
　内視鏡プロセッサ６０には、例えば、コンベックス型超音波内視鏡７１ａやラジアル型超音波内視鏡７１ｂ等の超音波内視鏡７１が接続される。内視鏡プロセッサ６０は、制御部６１を備える。制御部６１は、ＣＰＵやＧＰＵやＦＰＧＡ等を用いたプロセッサによって構成されていてもよい。制御部６１は、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。制御部６１は、操作入力部６５に対するユーザ操作に基づいて、内視鏡プロセッサ６０の各部を統括的に制御する。
　内視鏡プロセッサ６０の送受信処理部６２は、制御部６１に制御されて、超音波内視鏡７１を駆動して、超音波による走査を実行させる。送受信処理部６２は、超音波内視鏡７１によって得られたエコー信号を受信して検波等の所定の信号処理を行う。画像生成部６３は、送受信処理部６２で得られたデ－タからコンベックス画像やラジアル画像等を生成する。画像生成部６３からの超音波画像は、制御部６１の制御により、画像認識部６４に供給されると共に人工知能７０にも供給される。
　人工知能７０は、入力された画像に対する画像認識処理によって、病変の位置や鑑別等の推論を行い、推論結果を画像認識部６４に出力する。画像認識部６４は、制御部６１に制御されて、ラジアル画像やコンベックス画像と共に、人工知能７０の推論結果をモニターとしての表示装置６６に与えて表示画面６７上に表示させる。
　表示装置６６は、ＬＣＤ（液晶表示装置）等の表示機器であり、画像認識部６４からの超音波画像と人工知能７０の推論結果とを表示画面６７上に表示する。こうして、術者は、表示画面６７上の表示から、超音波内視鏡７１により得られた超音波画像に対する診断結果であって、誤った学習が生じにくい高精度の診断結果を確認することができる。
　このように本実施形態においては、コンベックス型やラジアル型等の各種超音波内視鏡により得られる画像について、例えば超音波画像に含まれる振動子領域の形状及び振動子領域の位置を変更することで、模擬ラジアル画像や模擬コンベックス画像等の模擬画像を生成する。これにより、機械学習に用いる超音波画像の病変等の分布の偏りを抑制した訓練データを得ることができ、高精度の画像認識処理モデルを構築することが可能となる。
　本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
　また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることで、容易に本実施の形態の機械学習用画像生成方法、機械学習方法、内視鏡プロセッサ、機械学習用画像生成プログラム及び機械学習用画像生成プログラムを記憶した不揮発性記憶媒体を実現することができる。

Claims (17)

  1. 　第１の型の超音波撮像装置により撮像された第１超音波画像を加工することで、
    　少なくとも前記第１超音波画像の振動子領域の形状および振動子領域の位置を変えて、
    　機械学習用画像として
    　第１の型とは振動子の配列方向が異なる第２の型の超音波撮像装置により撮像された第２超音波画像を模擬した模擬画像を生成する
    　機械学習用画像生成方法。
  2. 　前記第２の型の超音波撮像装置により撮像された前記第２超音波画像を加工することで、
    　少なくとも前記第２超音波画像の振動子領域の形状および振動子領域の位置を変えて、
    　機械学習用画像として
    　前記第２の型とは振動子の配列方向が異なる前記第１の型の超音波撮像装置により撮像された第１超音波画像を模擬した模擬画像を生成する
    　請求項１に記載の機械学習用画像生成方法。
  3. 　前記第１超音波画像と、
    　前記第１模擬画像と、
    　前記第２超音波画像と、
    　前記第２模擬画像と、
    の枚数比率が、最も枚数の少ない画像に対して、最も多い画像の枚数が２倍以内となるように、画像加工する
    　請求項２に記載の機械学習用画像生成方法。
  4. 　前記第１の型の超音波撮像装置および前記第２の型の超音波撮像装置は、
    　一方が、振動子を軸の全周に配置したラジアル型超音波内視鏡であり、
    　他方が、振動子を軸の全周に配置していない非ラジアル型超音波内視鏡である
    　請求項１に記載の機械学習用画像生成方法。
  5. 　前記非ラジアル型超音波内視鏡はコンベックス型超音波内視鏡またはセクタ型超音波内視鏡である
    　請求項４に記載の機械学習用画像生成方法。
  6. 　前記第１の型の超音波撮像装置が前記ラジアル型超音波内視鏡であり、
    　前記第２の型の超音波撮像装置がコンベックス型超音波内視鏡の場合、
    　前記加工として、
    　前記第１超音波画像の中央に位置する内視鏡先端部の円形の振動子領域が扇形となり、前記扇形が画像の端に位置するように前記第１超音波画像を部分的に除去する、
    　請求項４に記載の機械学習用画像生成方法。
  7. 　前記第１の型の超音波撮像装置がコンベックス型超音波内視鏡であり、
    　前記第２の型の超音波撮像装置が前記ラジアル型超音波内視鏡の場合、
    　前記加工として、
    　前記第１超音波画像を複数枚用意し、
    　前記第１超音波画像の端に位置する内視鏡先端部の扇形の振動子領域が円形となり、更に前記円形が中央に位置する様に前記複数の第１超音波画像をつなぎ合わせる、
    　請求項４に記載の機械学習用画像生成方法。
  8. 　前記複数の第１超音波画像は、
    　前記コンベックス型超音波内視鏡により撮像された第１コンベックス画像、および
    　前記コンベックス型超音波内視鏡により撮像され、前記第１コンベックス画像とは異なる第２コンベックス画像を含む
    　請求項７に記載の機械学習用画像生成方法。
  9. 　前記複数の第１超音波画像は、
    　生体部位および病変の少なくとも一方が映っている第３コンベックス画像、および
    　前記３コンベックス画像を反転させた第４コンベックス画像、
    　前記３コンベックス画像を回転させた第５コンベックス画像、またはラジアル型超音波内視鏡により撮像された画像から病変が映っていない部位を切り出した第１ラジアル画像であり、
    　前記第４コンベックス画像または第５コンベックス画像を使用する場合は、
    　前記第３コンベックス画像および前記第４コンベックス画像の一方に映る病変または生体部位が除去されている
    　請求項８に記載の機械学習用画像生成方法。
  10. 　前記病変は癌、腫瘍、腫瘤、膵炎、炎症、脂肪肉腫、リンパ腫、または線維化であり、
    　前記生体部位は胃、食道、十二指腸、肺、膵臓、肝臓、胆嚢、胆管、膵管、前立腺、血管、リンパ節、筋層、脂肪層、または骨である
    　請求項９に記載の機械学習用画像生成方法。
  11. 　前記加工に加えて、
    　画像に超音波バルーンが映っていない場合に、画像に超音波バルーンを付与する加工を行うか、または
    　画像に超音波バルーンが映っている場合に、画像から超音波バルーンを除去する加工を行う
    　請求項１に記載の機械学習用画像生成方法。
  12. 　前記加工に加えて、
    　画像に多重反射像が映っていない場合に、画像に多重反射像を付与する加工を行うか、または
    　画像に多重反射像が映っている場合に、画像から多重反射像を除去する加工を行う
    　請求項１に記載の機械学習用画像生成方法。
  13. 　請求項６に記載の第１超音波画像であるラジアル画像と、
    　請求項６に記載の模擬画像である模擬コンベックス画像と、
    　請求項９に記載の第３コンベックス画像であるコンベックス画像と、
    　請求項９に記載の模擬画像である模擬ラジアル画像と、
    　を学習画像として用いる機械学習方法。
  14. 　前記ラジアル画像と、前記模擬コンベックス画像と、前記コンベックス画像と、前記模擬ラジアル画像と、の枚数比率は、
    　最も枚数の少ない画像に対して、最も多い画像の枚数が２倍以内となっている
    　請求項１３に記載の機械学習方法。
  15. 　請求項１３の機械学習方法により学習した人工知能にアクセス可能な内視鏡プロセッサであって、
    　超音波内視鏡から送信された撮像画像を受信し、
    　受信した前記撮像画像を前記人工知能に入力し、
    　前記人工知能の出力結果を受信し、
    　受信した前記出力結果をモニターに出力する
    内視鏡プロセッサ。
  16. 　コンピュータに、
    　第１の型の超音波撮像装置により撮像された第１超音波画像を加工することで、
    　少なくとも前記第１超音波画像の振動子領域の形状および振動子領域の位置を変えて、
    　機械学習用画像として
    　第１の型とは振動子の配列方向が異なる第２の型の超音波撮像装置により撮像された第２超音波画像を模擬した模擬画像を生成する
    　手順を実行させるための機械学習用画像生成プログラム。
  17. 　コンピュータに、
    　第１の型の超音波撮像装置により撮像された第１超音波画像を加工することで、
    　少なくとも前記第１超音波画像の振動子領域の形状および振動子領域の位置を変えて、
    　機械学習用画像として
    　第１の型とは振動子の配列方向が異なる第２の型の超音波撮像装置により撮像された第２超音波画像を模擬した模擬画像を生成する
    　手順を実行させるための機械学習用画像生成プログラムを記憶した不揮発性記憶媒体。
PCT/JP2024/015283 2024-04-17 2024-04-17 機械学習用画像生成方法、機械学習方法、内視鏡プロセッサ、機械学習用画像生成プログラム及び機械学習用画像生成プログラムを記憶した不揮発性記憶媒体 Pending WO2025220152A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/015283 WO2025220152A1 (ja) 2024-04-17 2024-04-17 機械学習用画像生成方法、機械学習方法、内視鏡プロセッサ、機械学習用画像生成プログラム及び機械学習用画像生成プログラムを記憶した不揮発性記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/015283 WO2025220152A1 (ja) 2024-04-17 2024-04-17 機械学習用画像生成方法、機械学習方法、内視鏡プロセッサ、機械学習用画像生成プログラム及び機械学習用画像生成プログラムを記憶した不揮発性記憶媒体

Publications (1)

Publication Number Publication Date
WO2025220152A1 true WO2025220152A1 (ja) 2025-10-23

Family

ID=97403053

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/015283 Pending WO2025220152A1 (ja) 2024-04-17 2024-04-17 機械学習用画像生成方法、機械学習方法、内視鏡プロセッサ、機械学習用画像生成プログラム及び機械学習用画像生成プログラムを記憶した不揮発性記憶媒体

Country Status (1)

Country Link
WO (1) WO2025220152A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024004597A1 (ja) * 2022-06-29 2024-01-04 富士フイルム株式会社 学習装置、学習済みモデル、医用診断装置、超音波内視鏡装置、学習方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024004597A1 (ja) * 2022-06-29 2024-01-04 富士フイルム株式会社 学習装置、学習済みモデル、医用診断装置、超音波内視鏡装置、学習方法、及びプログラム

Similar Documents

Publication Publication Date Title
Allman et al. Photoacoustic source detection and reflection artifact removal enabled by deep learning
US9468418B2 (en) Ultrasonic diagnostic apparatus, ultrasonic image display apparatus, and ultrasonic image display method
JP5701857B2 (ja) 埋め込み可能な医療装置の超音波計画及びガイド
JP6367425B2 (ja) 超音波診断装置
US20180137784A1 (en) System and Method for Teaching Basic Ultrasound Skills
EP2538398B1 (en) System and method for transesophageal echocardiography simulations
CN110087550B (zh) 一种超声图像显示方法、设备及存储介质
CN1771517B (zh) 实现虚拟内镜检查的系统和方法
US9226728B2 (en) Ultrasonic diagnostic apparatus and control method thereof
CN110432986B (zh) 用于从ct数据构建虚拟径向超声图像的系统和方法
JP6513220B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
CN107072640B (zh) 超声波观测系统
CN114554970B (zh) 诊断支援装置、诊断支援系统及诊断支援方法
CN117409151B (zh) 一种二维心内超声导管图像的三维表面重建方法及装置
CN109069110A (zh) 具有简化的3d成像控制的超声成像系统
JP6509374B2 (ja) 超音波観測装置、処理装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP7803922B2 (ja) 機械学習システム、学習方法、学習済みモデル、プログラム及び記録媒体
Berber et al. Laparoscopic ultrasound
CN112638279A (zh) 超声波诊断系统
US20210295729A1 (en) Training system for endoscope medium
EP4146082B1 (en) Boundary correction in ultrasound imaging and associated devices, systems, and methods
Chevrie Flexible needle steering using ultrasound visual servoing
US12575808B1 (en) Systems and methods for guiding ultrasonic probe positioning using scoring-based canonical view simulation model
Selladurai et al. Towards 3d-denser ultrasound image simulation from 2d ct-scan for ultrasound-guided percutaneous nephrolithotomy training
US12521086B1 (en) System and method for sweep trajectory guidance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24935880

Country of ref document: EP

Kind code of ref document: A1