WO2020174778A1 - 超音波内視鏡システムおよび超音波内視鏡システムの作動方法 - Google Patents

超音波内視鏡システムおよび超音波内視鏡システムの作動方法 Download PDF

Info

Publication number
WO2020174778A1
WO2020174778A1 PCT/JP2019/045429 JP2019045429W WO2020174778A1 WO 2020174778 A1 WO2020174778 A1 WO 2020174778A1 JP 2019045429 W JP2019045429 W JP 2019045429W WO 2020174778 A1 WO2020174778 A1 WO 2020174778A1
Authority
WO
WIPO (PCT)
Prior art keywords
ultrasonic
image
displayed
organ
endoscope
Prior art date
Application number
PCT/JP2019/045429
Other languages
English (en)
French (fr)
Inventor
匡信 内原
俊積 田中
森本　康彦
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201980093155.5A priority Critical patent/CN113490455A/zh
Priority to EP19917336.0A priority patent/EP3932323A4/en
Priority to JP2021501574A priority patent/JP7218425B2/ja
Publication of WO2020174778A1 publication Critical patent/WO2020174778A1/ja
Priority to US17/399,837 priority patent/US20210369238A1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/445—Details of catheter construction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4461—Features of the scanning mechanism, e.g. for moving the transducer within the housing of the probe

Definitions

  • the present invention relates to an ultrasonic endoscope system for observing a state of an observation target site in a body of a subject using ultrasonic waves and a method for operating the ultrasonic endoscope system.
  • An ultrasonic endoscopy system is mainly used for observation of a spleen, gallbladder, or the like by a trans-gastrointestinal tract, and an ultrasonic endoscope having an endoscope observation section and an ultrasonic observation section at the tip is covered.
  • the specimen is inserted into the digestive tract, and an endoscopic image of the digestive tract and an ultrasonic image of a site outside the digestive tract wall are taken.
  • an illumination unit at the tip of the ultrasonic endoscope irradiates illumination light to a site adjacent to an observation target in the digestive tract, and the reflected light is directed to the front end of the ultrasonic endoscope.
  • An endoscopic image is generated from the image pickup signal of the reflected light received by the image pickup unit.
  • multiple ultrasonic transducers at the tip of the ultrasonic endoscope transmit and receive ultrasonic waves to the observation target site such as an organ outside the wall of the erase tube, and the ultrasonic image is received from the ultrasonic signal. Is generated.
  • Patent Document 1 a target site in an image of a diagnostic site in a subject is roughly extracted, global information for recognizing the target site is predicted using a neural network, and the global information is used. It describes that the contour of the target area is recognized and the recognition result is displayed together with the original image.
  • position/orientation data of the tip of an ultrasonic endoscope is generated based on an electric signal from a coil, and the insertion shape of the ultrasonic endoscope is generated from this position/orientation data.
  • Insertion shape data to show the above is generated, and a guide image is generated by combining it with 3D biological tissue model data of the tissue structure such as the organ group of the subject, and the ultrasonic image and the guide image are combined. It describes that a video signal of a composite image is generated and displayed on a monitor.
  • Patent Document 2 describes that a three-dimensional guide image and a cross-sectional guide image are arranged in a left area of the screen, and an ultrasonic image is displayed while being arranged in a right area of the screen.
  • Patent Document 2 describes a button for enlarging or reducing the display range of an ultrasonic image.
  • Patent Document 3 describes that an ultrasonic tomographic image of a subject and its optical image are displayed adjacently at one location on the screen of a display device so that both images can be observed simultaneously. ing.
  • Patent Document 4 an ultrasonic image and a schematic diagram are displayed on the same screen, and the schematic diagram is a Schiemer diagram or an actual optical image of the human body. It is described that the scanning surface and the insertion shape are displayed together. Further, in Patent Document 4, the region of the scanning position of the ultrasonic endoscope is detected from the signals of the position and direction of the ultrasonic endoscope detected by using the coil to detect the ultrasonic scanning region. ⁇ 2020/174778 3 ⁇ (: 170?2019/045429
  • the region data is output, the region name data corresponding to the ultrasonic scanning region data is read out from the region name storage unit, and the region name is superimposed and displayed on the ultrasonic image.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 06-2 3 3 7 61
  • Patent Document 2 JP 2 0 1 0 _ 0 6 9 0 1 8
  • Patent Document 3 Japanese Patent Laid-Open No. 02-045500
  • Patent Document 4 JP 2 0 0 4 _ 1 1 3 6 2 9 Publication
  • Patent Document 1 describes recognizing the contour of the target site in the image of the diagnostic site, but does not describe recognizing the name of the target site from the image.
  • Patent Documents 2 and 4 describe that a coil is used to detect the position and orientation of the tip of an ultrasonic endoscope, but it does not require additional parts such as a coil and However, there is no description of detecting the position and orientation of the tip of an ultrasonic endoscope.
  • Patent Documents 2 to 4 describe combining and displaying a guide image such as a schema diagram, an endoscopic image, and an ultrasonic image, but according to instructions from the user, these images are displayed. It does not describe how to switch the combination of images to make them easier to see. In addition, there is no description of combining and displaying a guide image such as a schema diagram, an endoscopic image, and an ultrasonic image. Patent Document 4 describes that the site name is superimposed and displayed on the ultrasonic image, but without using additional data such as site name data, the ultrasonic image can be used to display the ultrasonic image. It does not describe how to recognize and display the names of the parts displayed in. ⁇ 2020/174778 ⁇ (: 170?2019/045429
  • Patent Documents 1 to 4 the name of the organ and the range of the organ displayed in the ultrasonic image are displayed at the same time, the position of the tip of the ultrasonic endoscope, and the direction and the range of the organ are displayed. Simultaneously, the name of the organ displayed on the ultrasound image, the position and orientation of the tip of the ultrasound endoscope, and the range of the organs displayed on the ultrasound image are displayed at the same time. There is no mention of displaying it.
  • a first object of the present invention is to determine, from an ultrasonic image, the name of the organ displayed in the ultrasonic image, the range of the organ, and the position of the tip of the ultrasonic endoscope.
  • An object of the present invention is to provide an ultrasonic endoscopic system capable of recognizing the orientation and the like and displaying the same on a monitor, and a method of operating the ultrasonic endoscopic system.
  • a second object of the present invention is to provide an ultrasonic endoscopic system and an ultrasonic endoscopic system capable of switching and displaying an endoscopic image, an ultrasonic image, and an anatomical schema diagram in accordance with a user's instruction.
  • An object of the present invention is to provide a method of operating a sonic endoscope system.
  • the present invention provides an ultrasonic endoscope having an ultrasonic transducer at its tip
  • An ultrasonic observation device that transmits and receives ultrasonic waves using an ultrasonic transducer and generates a diagnostic ultrasonic image from the received ultrasonic signals
  • the relationship between the ultrasound image for learning and the name of the organ displayed in the ultrasound image for learning, and the position of the tip of the ultrasound endoscope when the ultrasound image for learning and the ultrasound image for learning are captured.
  • at least one of the above is learned in advance for a plurality of learning ultrasonic images, and based on the learning result, from the diagnostic ultrasonic image to the name of the organ displayed in the diagnostic ultrasonic image.
  • An ultrasonic image recognition unit that recognizes at least one of the position of the tip of the ultrasonic endoscope,
  • An ultrasonic endoscope system comprising: a display control unit that displays at least one of the name of the organ recognized by the ultrasonic image recognition unit and the position of the distal end portion of the ultrasonic endoscope on a monitor. .. ⁇ 2020/174778 5 ⁇ (: 170?2019/045429
  • the display control unit further includes an instruction acquisition unit that acquires an instruction input from the user, and the display control unit displays the name of the organ on the diagnostic ultrasound image in a superimposed manner in accordance with the instruction from the user. It is preferable to display the position of the tip of the ultrasonic endoscope by superimposing it on the anatomical schema.
  • the display control unit in response to an instruction from the user, the diagnostic ultrasound image in which the name of the organ is not displayed, the diagnostic ultrasound image in which the name of the organ is overlaid, and the ultrasonic wave are displayed.
  • the names of the organs are overlapped in the anatomical diagram that does not show the position of the tip of the endoscope and in the anatomical diagram that shows the position of the tip of the ultrasound endoscope in a superimposed manner. It is possible to display two or more images, including at least one of the displayed diagnostic ultrasound image and the anatomical schematic diagram in which the position of the tip of the ultrasound endoscope is superimposed, side by side on the monitor screen. preferable.
  • the ultrasonic endoscope further has an illumination unit and an imaging unit at the tip,
  • the imaging unit receives the reflected light of the illumination light emitted from the illuminating unit, and acquires an endoscope processor that generates a diagnostic endoscopic image from the image signal of the reflected light and an instruction input by the user.
  • the display control unit includes an instruction acquisition unit, and displays the diagnostic endoscopic image on the screen of the monitor in response to an instruction from the user.
  • an endoscopic image recognition unit for recognizing a lesion area displayed on the diagnostic endoscopic image from the diagnostic endoscopic image is provided.
  • the display control unit causes the monitor to display the diagnostic endoscopic image in which the lesion area is superimposed and displayed in response to an instruction from the user.
  • the display control unit in response to an instruction from the user, the diagnostic endoscopic image in which the lesion area is not displayed, the diagnostic endoscopic image in which the lesion area is superimposed, and the name of the organ. Is not displayed, the diagnostic ultrasound image is displayed with the names of the organs superimposed, the position of the tip of the ultrasound endoscope is not displayed, the anatomical diagram, and the ultrasound image. From the anatomical schematic diagram in which the position of the tip of the endoscope is overlaid, the diagnostic ultrasound image in which the name of the organ is overlaid is displayed. ⁇ 2020/174778 6 ⁇ (: 170?2019/045429
  • one of the two or more images displayed on the monitor is set as a target image and is displayed larger than the other images.
  • the display control unit switches the image of interest from one image to one of the other images and displays the image in accordance with an instruction from the user.
  • the display control unit in response to an instruction from the user, the diagnostic ultrasound image in which the name of the organ is not displayed, the diagnostic ultrasound image in which the name of the organ is overlaid, and the ultrasound image. It is preferable to display the anatomical schema diagrams in which the positions of the tip portions of the sonic endoscopes are overlapped and displayed side by side on the screen of the monitor.
  • the ultrasonic image recognition unit operates and the diagnostic endoscopic image is displayed on the screen of the monitor. In this case, it is preferable that the endoscopic image recognition unit operates.
  • the ultrasonic image recognition unit determines the relationship between the learning ultrasonic image and the names of the organs displayed in the learning ultrasonic image, and when the learning ultrasonic image and the learning ultrasonic image are captured.
  • the relationship between the position and orientation of the distal end of the ultrasonic endoscope of, and at least one of is learned in advance for a plurality of learning ultrasonic images, and based on the learning result, from the diagnostic ultrasonic image, Recognizing at least one of the name of the organ displayed on the diagnostic ultrasound image and the position and orientation of the tip of the ultrasound endoscope,
  • the display control unit monitors at least one of the name of the organ recognized by the ultrasonic image recognition unit and the position and orientation of the tip of the ultrasonic endoscope recognized by the ultrasonic image recognition unit. It is preferable to display it.
  • an instruction acquisition unit for acquiring an instruction input from the user is provided.
  • the display control unit preferably causes the monitor to display an anatomical schema diagram in which the position and orientation of the distal end portion of the ultrasonic endoscope are displayed in an overlapping manner in response to an instruction from the user.
  • the ultrasonic image recognition unit further preliminarily learns the relationship between the learning ultrasonic image and the range of organs displayed in the learning ultrasonic image for a plurality of learning ultrasonic images. , Based on the learning result, recognize the range of organs displayed in the diagnostic ultrasound image from the diagnostic ultrasound image,
  • the display control unit further causes the monitor to display the range of the organ recognized by the ultrasonic image recognition unit.
  • the display control unit colors the inner region of the range of the organ recognized by the ultrasonic image recognition unit and causes the monitor to display the range of the organ having the colored inner region, or It is preferable that a frame indicating the range of the organ recognized by the recognition unit is provided and the frame is colored, and the range of the organ with the colored frame is displayed on the monitor.
  • the display control unit color the internal region or the frame with a different color for each type of the organ whose range is recognized by the ultrasonic image recognition unit.
  • an instruction acquisition unit that acquires an instruction input by the user
  • a color registration unit for registering the relationship between the type of organ and the color of the internal region or frame according to an instruction from the user
  • the display control unit should color the internal area or frame with the color specified by the user's instruction, or with the color of the internal area or frame corresponding to the type of organ registered in the color registration unit. Is preferred.
  • the ultrasonic image recognition unit further calculates a certainty factor of the name of the organ recognized by the ultrasonic image recognition unit,
  • the display control unit determines at least one of a display method of the name of the organ to be displayed on the monitor and a coloring method of the internal region or the frame according to the certainty factor.
  • the display control unit determines the brightness of the diagnostic ultrasound image displayed behind the display area of the name of the organ. It is preferable to determine at least one of the color of the name of the organ and the color of the internal region or the frame. ⁇ 2020/174 778 8 ⁇ (: 170?2019/045429
  • an instruction acquisition unit that acquires an instruction input by the user is provided.
  • the display control unit displays only the name of the organ recognized by the ultrasonic image recognition unit and the inner region or the range of the organ whose frame is colored, or both according to the instruction from the user. It is preferable to switch between displaying or not displaying both.
  • the display control unit determines the position where the name of the organ recognized by the ultrasonic image recognition unit is displayed on the monitor according to the range of the organ recognized by the ultrasonic image recognition unit. ..
  • the display control unit determines whether to display the name of the organ recognized by the ultrasonic image recognition unit on the monitor according to the range of the organ recognized by the ultrasonic image recognition unit. Is preferred.
  • an instruction acquisition unit that acquires an instruction input by the user
  • an organ registration unit that registers the type of organ whose range is to be displayed
  • the display control unit displays the range of the organ recognized by the ultrasonic image recognition unit on the monitor when the organ whose range is recognized by the ultrasonic image recognition unit is the organ registered in the organ registration unit. It is preferable.
  • an instruction acquisition unit for acquiring an instruction input by the user is provided,
  • the display control unit sequentially switches the types of organs for which the range is displayed, according to an instruction from the user.
  • the ultrasonic image recognition unit is incorporated in the ultrasonic observation apparatus.
  • the ultrasonic endoscope further includes an illumination unit and an imaging unit at the tip,
  • the imaging unit is provided with the reflected light of the illumination light emitted from the illumination unit, and an endoscope processor for generating a diagnostic endoscopic image from the image signal of the reflected light is provided.
  • the ultrasonic image recognition unit is preferably built in the endoscope processor.
  • the ultrasonic endoscope further has an illumination section and an imaging section at the tip, ⁇ 2020/174778 9 ⁇ (:170?2019/045429
  • the imaging unit is provided with the reflected light of the illumination light emitted from the illumination unit, and an endoscope processor for generating a diagnostic endoscopic image from the image signal of the reflected light is provided.
  • the ultrasonic image recognition unit is preferably provided outside the ultrasonic observation device and the endoscope processor.
  • the ultrasonic image recognition unit the relationship between the learning ultrasonic image and the name of the organ displayed in the learning ultrasonic image, the learning ultrasonic image and the learning ultrasonic image, The relationship between the position of the tip of the ultrasonic endoscope at the time of capturing the image and the step of learning at least one of the plural ultrasonic images for learning in advance; A step of transmitting and receiving ultrasonic waves by the ultrasonic transducer at the tip of the mirror and generating a diagnostic ultrasonic image from the received ultrasonic signals,
  • the ultrasonic image recognition unit selects at least one of the name of the organ displayed in the diagnostic ultrasonic image and the position of the tip of the ultrasonic endoscope from the diagnostic ultrasonic image.
  • the display control unit causes a monitor to display at least one of the name of the organ recognized by the ultrasonic image recognition unit and the position of the tip of the ultrasonic endoscope, and the step of: Provide a method of operation.
  • the name of the organ is displayed by being superimposed on the diagnostic ultrasonic image
  • the position of the tip of the ultrasonic endoscope is displayed by being superimposed on the anatomical schema. It is preferable.
  • a diagnostic ultrasonic image in which the name of the organ is not displayed a diagnostic ultrasonic image in which the name of the organ is displayed in an overlapping manner, and the tip of the ultrasonic endoscope are displayed.
  • the anatomical schema diagram where the positions of the organs are not displayed and the anatomical schema diagram where the position of the tip of the ultrasound endoscope is superimposed are displayed. It is preferable to display two or more images including at least one of the anatomical schema diagram in which the position of the ultrasonic wave image and the position of the tip of the ultrasonic endoscope are overlapped and displayed side by side on the screen of the monitor. ⁇ 2020/174778 10 ⁇ (:170?2019/045429
  • one of the two or more images displayed on the monitor is set as a target image and is displayed larger than the other images.
  • the image of interest is switched from one image to one of the other images and displayed in response to an instruction from the user.
  • the relationship between the learning ultrasonic image and the names of the organs displayed in the learning ultrasonic image, and the ultrasonic endoscope at the time of capturing the learning ultrasonic image and the learning ultrasonic image At least one of the relationship between the position and orientation of the tip is learned in advance for multiple ultrasound images for learning,
  • At least one of the name of the organ displayed in the diagnostic ultrasonic image and the position and orientation of the tip of the ultrasonic endoscope is recognized from the diagnostic ultrasonic image.
  • the ultrasonic image recognition unit preliminarily learns the relationship between the learning ultrasonic image and the range of the organs shown in the learning ultrasonic image for a plurality of learning ultrasonic images. Steps,
  • the ultrasonic image recognition unit recognizes the range of the organ displayed in the diagnostic ultrasonic image from the diagnostic ultrasonic image based on the learning result;
  • the display control unit includes a step of displaying the range of the organ recognized by the ultrasonic image recognition unit on a monitor.
  • the ultrasonic image recognition unit, the display control unit, the instruction acquisition unit, and the endoscope image recognition unit are preferably hardware or a processor that executes a program, and a color registration unit and an organ registration unit. Is preferably hardware or memory.
  • the present invention since the name of the organ displayed in the diagnostic ultrasound image and the range of the organ are displayed on the monitor, even a user unfamiliar with the ultrasound image ⁇ 2020/174778 1 1 ⁇ (: 170?2019/045429
  • the endoscopic image, the ultrasonic image, and the anatomical schema diagram can be switched and displayed in an easy-to-see manner.
  • the image of interest that the user is interested in changes from time to time, but since the user can switch the image of interest at any time, the image of interest can be selected as the image of interest at any given time, and the Can also be displayed in large size for viewing.
  • Fig. 1 is a diagram showing a schematic configuration of an ultrasonic endoscope system according to a first embodiment of the present invention.
  • Fig. 2 is a plan view showing the distal end portion of the insertion section of the ultrasonic endoscope and its periphery.
  • Fig. 3 is a view showing a cross section of the tip of the insertion section of the ultrasonic endoscope, taken along the line I_I shown in Fig. 2.
  • FIG. 4 is a block diagram of an embodiment showing a configuration of an endoscopic image recognition unit.
  • FIG. 5 A block diagram showing a configuration of an ultrasonic observation apparatus.
  • FIG. 6 is a block diagram of an embodiment showing a configuration of an ultrasonic image recognition unit.
  • FIG. 78 is an anatomical schematic diagram of an embodiment showing the confluence of the aorta, celiac artery, and superior mesenteric artery.
  • FIG. 78 is a conceptual diagram of an embodiment showing an ultrasonic image of the confluence of the aorta, celiac artery, and superior mesenteric artery shown in FIG. 7.
  • FIG. 88 is an anatomical schema diagram of one embodiment showing the tail.
  • Fig. 88 is a conceptual diagram of an embodiment showing an ultrasonic image of the tail shown in Fig. 8.
  • FIG. 98 Representation of confluence of splenic vein, superior mesenteric vein, and portal vein _ Anatomy of embodiment ⁇ 2020/174778 12 ⁇ (: 170?2019/045429
  • FIG. 1 A first figure.
  • FIG. 98 is a conceptual diagram of an embodiment showing an ultrasonic image of a confluence of splenic vein, superior mesenteric vein, and portal vein shown in FIG. 9.
  • FIG. 10 is an anatomical schema diagram of one embodiment showing the stem head.
  • Fig. 108 is a conceptual diagram of one embodiment showing an ultrasonic image of the head of the head shown in Fig. 10.
  • Fig. 11 is a diagram showing a flow of a diagnostic process using the ultrasonic endoscope system.
  • FIG. 12 is a diagram showing a procedure of a diagnostic step during a diagnostic process.
  • Fig. 13 is a conceptual diagram of one embodiment showing a display position of a diagnostic ultrasonic image and an anatomical schema diagram.
  • FIG. 138 is a conceptual diagram of an embodiment showing a diagnostic ultrasonic image and an anatomical schema diagram shown in FIG.
  • FIG. 14A is a conceptual diagram of an embodiment showing the display positions of the first diagnostic ultrasound image, the second diagnostic ultrasound image, and the anatomical schema diagram.
  • FIG. 148 is a conceptual diagram of an embodiment showing the first diagnostic ultrasonic image, the second diagnostic ultrasonic image, and the anatomical schema diagram shown in FIG.
  • FIG. 15 is a conceptual diagram of one embodiment showing the display positions of an endoscopic image, a diagnostic ultrasonic image, and an anatomical schema diagram.
  • the endoscopic image is a conceptual diagram of _ an embodiment representing an ultrasonic image and anatomical Shie Ma diagram for diagnostics.
  • FIG. 16 A conceptual diagram of one embodiment showing a state in which an image of interest is switched from one image to one of other images and displayed from the images displayed on the monitor. is there.
  • FIG. 17 is a block diagram of an embodiment showing a configuration of an ultrasonic endoscope system in the case where the ultrasonic image recognition unit is built in the ultrasonic observation device.
  • FIG. 18 is a block diagram of an embodiment showing the configuration of an ultrasonic endoscope system when the ultrasonic image recognition unit is built in the endoscope processor.
  • Ultrasonic image recognition unit is located outside the ultrasonic observation device and endoscope processor. ⁇ 2020/174 778 13 ⁇ (: 170?2019/045429
  • FIG. 3 is a block diagram of an embodiment showing a configuration of an ultrasonic endoscope system when provided.
  • FIG. 20 A block diagram showing a configuration of an ultrasonic observation apparatus of a second embodiment.
  • FIG. 21 A block diagram showing the configuration of an ultrasonic image recognition section of the second embodiment.
  • FIG. 228 without displaying the name of the organ, is a conceptual diagram of _ an embodiment representing an ultrasonic image with colored only range of organs.
  • FIG. 1 is a diagram of a first embodiment showing a schematic configuration of an ultrasonic endoscope system 10.
  • the ultrasonic endoscope system 10 is used for observing the state of an observation target site in the body of a patient who is a subject (hereinafter, also referred to as ultrasonic diagnosis) using ultrasonic waves.
  • the site to be observed is a site that is difficult to inspect from the body surface side of the patient, such as the spleen or gallbladder.
  • the ultrasound endoscopy system 10 the state of the observation target site and the presence or absence of abnormality are ultrasonically detected through the digestive tracts of the patient's body cavity such as the esophagus, stomach, duodenum, small intestine, and large intestine. It is possible to diagnose.
  • the ultrasonic endoscope system 10 acquires an ultrasonic image and an endoscopic image. As shown in Fig. 1, the ultrasonic endoscope 12 and the ultrasonic observation device 14 , Endoscope processor 16; light source device 18; monitor 20; water tank 2 ⁇ 2020/174778 14 ⁇ (: 170?2019/045429
  • the ultrasonic endoscope 12 includes a insertion section 22 inserted into a body cavity of a patient, an operation section 24 operated by an operator (user) such as a doctor or a technician, and an insertion section 2 2 Ultrasonic transducer unit 4 6 (see FIGS. 2 and 3) attached to the front end 40 of the.
  • the ultrasonic endoscope 12 has, as an ultrasonic observation section 36, a plurality of ultrasonic transducers 48 provided in the ultrasonic transducer unit 46 (see FIGS. 2 and 3).
  • the ultrasonic endoscope 12 includes an illumination section including an illumination window 8 8 as an endoscope observation section 38, an imaging section including an observation window 8 2, an objective lens 8 4 and a solid-state imaging device 8 6 etc. Part and has at the tip (see Fig. 2 and Fig. 3). The operator acquires an endoscopic image and an ultrasonic image by the function of the ultrasonic endoscope 12.
  • the “endoscopic image” is an image obtained by photographing the inner wall of the body cavity of the patient by an optical method.
  • An “ultrasound image” is an image obtained by receiving a reflected wave (echo) of an ultrasonic wave transmitted from the body cavity of a patient toward an observation target site and imaging the received signal. ..
  • the ultrasonic endoscope 12 will be described in detail in a later section.
  • ultrasonic observation apparatus 1 4 is connected to the universal cord 2 6 and its ultrasonic connector provided at an end portion 3 2 3 ultrasound endoscope 1 2 via.
  • the ultrasonic observation device 14 controls the ultrasonic transducer unit 46 of the ultrasonic endoscope 12 to transmit ultrasonic waves. Further, the ultrasonic observation apparatus 14 images the received signal when the ultrasonic transducer unit 46 receives the reflected wave (echo) of the transmitted ultrasonic wave and generates an ultrasonic image.
  • the ultrasonic observation apparatus 14 transmits and receives ultrasonic waves by the plural ultrasonic transducers 48 provided in the ultrasonic transducer unit 46, and the ultrasonic signals for diagnostics (hereinafter , Also called an ultrasonic image).
  • the ultrasonic observation device 14 will be described in detail in a later section.
  • the endoscope processor 16 is connected to the ultrasonic endoscope 12 via the universal cord 26 and the endoscope connector 3 2 provided at the end thereof.
  • the mirror processor 16 acquires image data of the observation target adjacent region imaged by the ultrasonic endoscope 12 (specifically, a solid-state image sensor 86 described later), and a predetermined image data is acquired from the acquired image data. Image processing is performed to generate an endoscopic image.
  • the endoscope processor 16 has the reflected light of the illumination light emitted from the illumination unit provided at the tip of the ultrasonic endoscope 12 at the tip of the ultrasonic endoscope 12 as well.
  • the image is received by the imaging unit, and a diagnostic endoscopic image (hereinafter, also simply referred to as an endoscopic image) is generated from the image signal of the reflected light.
  • observation-adjacent part is a part of the inner wall of the body cavity of the patient, which is adjacent to the observation part.
  • the ultrasonic observation apparatus 14 and the endoscope processor 16 are configured by two devices (computers) provided separately.
  • the present invention is not limited to this, and both the ultrasonic observation device 14 and the endoscope processor 16 may be configured by one device.
  • the light source device 18 is connected to the ultrasonic endoscope 12 via a universal cord 26 and a light source connector 320 provided at the end thereof.
  • the light source device 18 emits white light or light of a specific wavelength composed of the three primary color lights of red light, green light, and blue light when imaging the site adjacent to the observation target using the ultrasonic endoscope 12.
  • the light emitted from the light source device 18 propagates inside the ultrasonic endoscope 12 through a light guide (not shown) included in the universal cord 26, and the ultrasonic endoscope 1 2 (for details, see later). Light is emitted from the lighting window 8 8). As a result, the adjacent region to be observed is illuminated with the light from the light source device 18.
  • the monitor 20 is connected to the ultrasonic observation apparatus 14 and the endoscope processor 16 and generates an ultrasonic image generated by the ultrasonic observation apparatus 14 and an endoscope processor 16 generated.
  • the anatomical schema diagram etc. are displayed.
  • the ultrasound image and endoscopic image may be displayed by switching one image to one of the other images and displaying it on the monitor 20, or by displaying two or more images side by side. Good.
  • the ultrasonic image and the endoscopic image are displayed on one monitor 20.
  • a monitor for displaying an ultrasonic image a monitor for displaying an endoscopic image, and a monitor for displaying an anatomical schema diagram may be separately provided.
  • the ultrasonic image and the endoscopic image may be displayed in a display form other than the monitor 20, for example, in a form displayed on the display of the terminal carried by the operator.
  • the operator console 100 is an example of an instruction acquisition unit that acquires an instruction input from the operator (user). The operator inputs information necessary for ultrasonic diagnosis and ultrasonic observation. This is a device provided for instructing the device 14 to start ultrasonic diagnosis.
  • the console 100 is composed of, for example, a keyboard, a mouse, a trackball, a touch pad, a touch panel, and the like.
  • the ⁇ PU (control circuit) 1 5 2 (see Fig. 5) of the ultrasonic observation device 14 is operated according to the contents of the operation. 4 2 and transmitter circuit 1 4 4).
  • the operator before starting the ultrasonic diagnosis, has the following items of examination information (for example, examination order information including date, order number, etc., and patient mouth and patient name). (Patient information including) is input on the console 100. After completing the input of the inspection information, when the operator gives an instruction to start the ultrasonic diagnosis through the console 100, the ultrasonic observation device 14 ⁇ 1 5 2 will detect the ultrasonic wave based on the input inspection information. Control each part of the ultrasonic observation device 1 4 so that diagnosis is performed.
  • examination information for example, examination order information including date, order number, etc., and patient mouth and patient name.
  • control parameters include, for example, the selection result of the live mode and the freeze mode, the set value of the display depth (depth), and the selection result of the ultrasonic image generation mode.
  • the "live mode” is a mode in which ultrasonic images (moving images) obtained at a predetermined frame rate are sequentially displayed (real-time display).
  • the “freeze mode” is a mode in which a one-frame image (still image) of an ultrasonic image (moving image) generated in the past is read from the cine memory 150, which will be described later, and displayed.
  • B B r i g h t n e s s
  • C F Co r o r F l ow
  • PW P u l se e Wa v e
  • the B mode is a mode in which the amplitude of the ultrasonic echo is converted into luminance and a tomographic image is displayed.
  • C F mode is a mode in which the average blood flow velocity, flow fluctuation, flow signal strength or flow power, etc. are matted in various colors and displayed on the B mode image in an overlapping manner.
  • the PW mode is a mode for displaying the speed of the ultrasonic echo source (for example, the speed of blood flow) detected based on the transmission and reception of pulse waves.
  • the ultrasonic image generation mode described above is merely an example, and modes other than the three types of modes described above, such as A (Amp p itude) mode, M (Motion) mode, and contrast mode, are further added. May be included.
  • FIG. 1 is a plan view showing, in an enlarged manner, the distal end portion of the insertion portion 22 of the ultrasonic endoscope 1 2 and the vicinity thereof.
  • FIG. 3 is a cross-sectional view showing a cross section of the distal end portion 40 of the insertion portion 22 of the ultrasonic endoscope 12 taken along the __ cross section shown in FIG.
  • the ultrasonic endoscope 12 has the insertion section 22 and the operation section 24 as described above.
  • the kneading portion 22 includes a tip portion 40, a bending portion 42, and a flexible portion 43 in order from the tip side (free end side).
  • an ultrasonic observation section 36 and an endoscope observation section 38 are provided at the tip section 40.
  • the ultrasonic observation unit 36 is provided with an ultrasonic vibrator unit 46 including a plurality of ultrasonic vibrators 48.
  • the distal end portion 40 is provided with a treatment instrument lead-out port 44.
  • the treatment instrument outlet 44 serves as an outlet for a treatment instrument (not shown) such as forceps, a puncture needle, or a high-frequency knife. Further, the treatment instrument outlet port 44 also serves as a suction port when sucking a suctioned substance such as blood and body dirt.
  • the bending portion 42 is a portion continuously connected to the base end side (the side opposite to the side where the ultrasonic transducer unit 46 is provided) with respect to the tip end portion 40, and is bendable. Soft ⁇ 2020/174 778 18 ⁇ (: 170?2019/045429
  • the flexible portion 43 is a portion that connects the bending portion 42 and the operating portion 24, has flexibility, and is provided in a state of being elongated and elongated.
  • a plurality of gas supply/water supply conduits and a plurality of suction conduits are formed inside each of the charging section 22 and the operating section 24.
  • the charging section 22 and the operating section are formed inside each of the charging section 22 and the operating section 24.
  • a treatment instrument channel 45 having one end communicating with the treatment instrument outlet 44 is formed inside each of the 24.
  • the ultrasonic observation section 36 is a section provided to acquire an ultrasonic image, and is arranged on the tip side of the tip section 40 of the insertion section 22. Ultrasound observation section
  • the 36 includes an ultrasonic transducer unit 46, a plurality of coaxial cables 56, and an FPC (Fle x i b l e P r i n t e d C i r c u i t) 60.
  • the ultrasonic transducer unit 46 corresponds to an ultrasonic probe (probe), and is an ultrasonic transducer array 50 in which a plurality of ultrasonic transducers 48 described later are arranged in a body cavity of a patient.
  • the ultrasonic wave is transmitted using, and the reflected wave (echo) of the ultrasonic wave reflected at the observation target site is received and a reception signal is output.
  • the ultrasonic transducer unit 46 according to the present embodiment is a convex type and transmits ultrasonic waves in a radial (circular) shape.
  • the type (model) of the ultrasonic transducer unit 46 is not particularly limited to this, and other types may be used as long as they can transmit and receive ultrasonic waves, such as radial type and linear type. May exist
  • the ultrasonic transducer unit 46 is configured by stacking a backing material layer 54, an ultrasonic transducer array 50, an acoustic matching layer 74, and an acoustic lens 76 as shown in Fig. 3. ing.
  • the ultrasonic transducer array 50 includes a plurality of ultrasonic vibrators arranged in a one-dimensional array. ⁇ 2020/174 778 19 ⁇ (: 170?2019/045429
  • the ultrasonic transducer array 50 may be configured by arranging a plurality of ultrasonic transducers 48 in a two-dimensional array.
  • Each of the ultrasonic transducers 48 is configured by disposing electrodes on both surfaces of a piezoelectric element (piezoelectric body).
  • a piezoelectric element piezoelectric body.
  • Barium titanate ( ⁇ 1 ⁇ 0 3 ), lead zirconate titanate nowadays), potassium niobate ⁇ ⁇ 0 3 ) etc. are used as the piezoelectric element.
  • the electrodes are composed of individual electrodes (not shown) individually provided for each of the plurality of ultrasonic transducers 48, and a transducer ground (not shown) common to the plurality of ultrasonic transducers 48. Become.
  • the electrode is electrically connected to the ultrasonic observation device 14 via the coaxial cables 56 and 060.
  • a pulsed drive voltage is supplied to each ultrasonic transducer 48 as an input signal (transmission signal) from the ultrasonic observation device 14 through the coaxial cable 5 6.
  • this driving voltage is applied to the electrodes of the ultrasonic transducer 48, the piezoelectric element expands and contracts to drive (vibrate) the ultrasonic transducer 48.
  • pulsed ultrasonic waves are output from the ultrasonic transducer 48.
  • the amplitude of the ultrasonic wave output from the ultrasonic oscillator 48 is a magnitude corresponding to the intensity (output intensity) when the ultrasonic oscillator 48 outputs the ultrasonic wave.
  • the output intensity is defined as the magnitude of the sound pressure of the ultrasonic wave output from the ultrasonic transducer 48.
  • each ultrasonic transducer 48 When each ultrasonic transducer 48 receives a reflected wave (echo) of ultrasonic waves, it vibrates (drives) accordingly, and the piezoelectric element of each ultrasonic transducer 48 outputs an electric signal. appear. This electrical signal is output from each ultrasonic transducer 48 as an ultrasonic reception signal toward the ultrasonic observation device 14. At this time, the magnitude (voltage value) of the electric signal output from the ultrasonic transducer 48 becomes a magnitude according to the receiving sensitivity when the ultrasonic transducer 48 receives the ultrasonic wave. There is. Where the reception sensitivity ⁇ 2020/174 778 20 ⁇ (: 170?2019/045429
  • Is defined as the ratio of the amplitude of the electrical signal that the ultrasonic transducer 48 receives and outputs to the amplitude of the ultrasonic wave transmitted by the ultrasonic transducer 48.
  • the ultrasonic transducer array 50 is arranged by sequentially driving 1 ⁇ 1 ultrasonic transducers 48 by electronic switches such as a multiplexer 140 (see FIG. 5). Scanning range along a curved surface, eg a few + from the center of curvature of the curved surface The ultrasonic waves are scanned in a range of degrees. More specifically, when acquiring the Mitsumi mode image (tomographic image) as the ultrasonic image, by selecting the open channel of the multiplexer 1 40, one of the 1 ⁇ 1 ultrasonic transducers 4 8 can be continuously connected. The driving voltage is supplied to the ultrasonic transducers 4 8 (for example, the transducer to be driven in the following) arranged in parallel (for example, ⁇ !
  • the position of the transducer to be driven in 1 ⁇ 1 ultrasonic transducer 48 is set to 1 It is repeated by shifting each one (each ultrasonic transducer 48). More specifically, the above series of steps is performed by driving the 1 ⁇ ! ultrasonic transducers 4 8 with the ultrasonic transducers 4 8 located at one end as the center and driving the ultrasonic transducers 4 8 on both sides. It starts from the target oscillator. Then, the above-described series of steps is repeated every time the position of the driven oscillator shifts due to the switching of the open channel by the multiplexer 140. Finally, in the above series of steps, the ultrasonic transducer 48 located at the other end of the 1 ⁇ 1 ultrasonic transducer 48 is the center of the transducer to be driven on both sides. It will be repeated a total number of times.
  • the backing material layer 54 supports the ultrasonic transducers 48 of the ultrasonic transducer array 50 from the back surface side.
  • the backing material layer 54 is an ultrasonic wave emitted from the ultrasonic transducer 48 or an ultrasonic wave (echo) reflected at the observation target site. ⁇ 2020/174778 21 ⁇ (: 170?2019/045429
  • the backing material is made of a material having rigidity such as hard rubber, and ultrasonic attenuating materials (ferrite, ceramics, etc.) are added as necessary.
  • the acoustic matching layer 74 is laid on the ultrasonic transducer array 50, and is provided to achieve acoustic impedance matching between the human body of the patient and the ultrasonic transducer 48. There is.
  • the provision of the acoustic matching layer 74 makes it possible to increase the transmittance of ultrasonic waves.
  • As the material of the acoustic matching layer 74 various organic materials whose acoustic impedance value is closer to that of the human body of the patient compared to the piezoelectric element of the ultrasonic transducer 48 are used. it can.
  • Specific examples of the material of the acoustic matching layer 74 include epoxy resin, silicone rubber, polyimide and polyethylene.
  • the acoustic lens 7 6 laminated on the acoustic matching layer 7 4 is formed by the ultrasonic transducer array 5
  • the acoustic lens 76 is made of, for example, silicone resin (millable silicone rubber (1 to 1 rubber), liquid silicone rubber ([3 ⁇ 4 rubber), etc.), butadiene resin, polyurethane resin, etc. If necessary, powders of titanium oxide, aluminum, silica or the like are mixed.
  • Each of the plurality of coaxial cables 5 6 is wired at 900 6 0 at one end thereof. Then, when the ultrasonic endoscope 12 is connected to the ultrasonic observation device 14 through the ultrasonic connector 3 2 3 , each of the plurality of coaxial cables 5 6 is connected to the other end ( ⁇ 60 side). On the opposite side) and is electrically connected to the ultrasonic observation device 14.
  • the endoscopic observation section 38 is a section provided to acquire an endoscopic image, and is arranged on the proximal side of the ultrasonic observation section 36 at the tip section 40 of the insertion section 22. ing. As shown in FIGS. 2 and 3, the endoscope observation section 38 includes an observation window 82, an objective lens 84, a solid-state imaging device 86, an illumination window 88, a cleaning nozzle 90, a wiring cable 92, and the like. It is configured. ⁇ 2020/174778 22 ⁇ (: 170?2019/045429
  • the observation window 82 is attached to the tip end portion 40 of the insertion portion 22 in a state of being inclined with respect to the axial direction (the longitudinal axis direction of the insertion portion 22).
  • the light reflected by the adjacent portion to the observation target and incident from the observation window 82 is imaged on the imaging surface of the solid-state imaging device 86 by the objective lens 84.
  • the solid-state image sensor 86 photoelectrically converts the reflected light of the adjacent portion of the observation target that has passed through the observation window 82 and the objective lens 84 and formed an image on the image pickup surface, and outputs an image pickup signal.
  • a CCD Charge Coupled Device
  • CM 0 S Compact Metal Metal ⁇ xide Semiconductor: complementary metal oxide film semiconductor
  • the picked-up image signal output from the solid-state image pickup device 86 is transmitted to the endoscope processor 16 by the universal code 26 via the wiring cable 92 extending from the insertion section 22 to the operation section 24.
  • the illumination windows 88 are provided on both sides of the observation window 82.
  • the illumination window 88 is connected to the emission end of a light guide (not shown).
  • the light guide is extended from the insertion section 22 to the operation section 24, and its incident end is connected to the light source device 18 connected via the universal cord 26.
  • the illumination light emitted from the light source device 18 travels through the light guide and is emitted from the illumination window 88 toward the adjacent portion of the observation target.
  • the cleaning nozzle 90 is an ejection hole formed in the tip portion 40 of the coining portion 22 for cleaning the surfaces of the observation window 82 and the illumination window 88, and air or cleaning liquid is discharged from the cleaning nozzle 90. It is ejected toward the observation window 82 and the illumination window 88.
  • the cleaning liquid ejected from the cleaning nozzle 90 is water, particularly degassed water.
  • the cleaning liquid is not particularly limited, and other liquids such as normal water (water that has not been deaerated) may be used.
  • the water supply tank 21a is a tank for storing degassed water, and is connected to the light source connector 32c by the air supply/water supply tube 34a.
  • degassed water is ⁇ 2020/174778 23 ⁇ (: 170?2019/045429
  • the suction pump 21 suctions the suctioned substance (including deaerated water supplied for cleaning) in the body cavity through the treatment instrument outlet port 44.
  • Suction pump 2 1 Suction tube 3 4 Is connected to the light source connector 320.
  • the ultrasonic endoscope system 10 may be equipped with an air supply pump that supplies air to a predetermined destination.
  • a treatment tool channel 45 and an air/water supply conduit are provided in the insertion section 22 and the operation section 24.
  • the treatment instrument channel 45 communicates between the treatment instrument ladle inlet 30 and the treatment instrument outlet port 4 4 provided in the operation section 24. Further, the treatment instrument channel 45 is connected to the suction button 28 provided on the operation portion 24.
  • the suction button 2 8 is connected to the suction pump 21 13 in addition to the treatment instrument channel 45.
  • One end of the air/water supply line communicates with the cleaning nozzle 90, and the other end of the air/water supply line is connected to the air/water supply button 2 8 3 provided on the operation unit 24.
  • the air supply/water supply button 2 8 3 is connected to the water supply tank 2 1 3 in addition to the air supply/water supply pipeline.
  • the operation section 24 is a section that is operated by an operator at the time of starting ultrasonic diagnosis, during diagnosis, and at the end of diagnosis, and one end of the universal cord 26 is connected to one end thereof. Further, as shown in FIG. 1, the operation unit 24 has an air/water supply button 2 83, a suction button 28, a pair of angle knobs 29, and a treatment instrument knot inlet (forceps port) 30.
  • the treatment instrument ladle inlet 30 is a hole formed for letting through a treatment instrument (not shown) such as forceps, and communicates with the treatment instrument outlet port 4 4 through the treatment instrument channel 45. ⁇ 2020/174 778 24 ⁇ (: 170?2019/045429
  • the treatment instrument inserted in the treatment instrument insertion port 30 is introduced into the body cavity from the treatment instrument outlet port 4 4 after passing through the treatment instrument channel 45.
  • the air supply/water supply button 2 8 3 and the suction button 2 8 are two-step switch type push buttons, which open the pipe lines provided inside each of the ladle section 2 2 and the operation section 2 4. Operated to switch between closed.
  • the recognition unit 1700 is provided.
  • the endoscopic image recognition unit 170 determines the relationship between the learning endoscopic image and the lesion area displayed in the learning endoscopic image for the plurality of learning endoscopic images. Based on the learning result, the lesion area displayed in the diagnostic endoscopic image is recognized from the diagnostic endoscopic image generated by the endoscopic processor 16 based on the learning result.
  • the endoscopic image for learning uses the existing endoscopic image recognition unit 170 for learning the relationship between the endoscopic image and the lesion area displayed in the endoscopic image. It is an image, and for example, various endoscopic images taken in the past can be used.
  • the endoscopic image recognition unit 170 includes a lesion region detection unit 10 2, a position information acquisition unit 10 4, a selection unit 10 6, and a lesion region detection control. Parts 108 and.
  • the lesion area detection unit 102 detects a disease area from the diagnostic endoscopic image based on the learning result.
  • the lesion area detection unit 102 includes a plurality of detection units corresponding to a plurality of positions inside the body cavity.
  • the first to 11th detection units 1028 to 1022 ⁇ are provided.
  • the first detection unit 10 20 is in the rectum
  • the second detection unit 10 2 is in the 3 letter colon
  • the third detection unit 10 20 is in the descending colon
  • the 4th detection unit is in the transverse colon.
  • the 5th detection part 102 is in the ascending colon
  • the 6th detection part 10 2 is in the cecum
  • the 7th detection part 100 2 is in the ileum
  • ⁇ 0 2020/174 778 25 ⁇ (: 17 2019/045429
  • Detection section 10 2 H is in the jejunum
  • 9th detection section 10 2 ⁇ is in the duodenum
  • 10th detection section P 1 0 2 J is in the stomach
  • 11th detection section 10 2 K is in the esophagus
  • the 1st to 11th detectors 10 2 A to 10 2 are trained models, respectively.
  • the plurality of trained models are trained using a data set consisting of different endoscopic images for learning. Specifically, multiple trained models are displayed on the learning endoscopic image and the learning endoscopic image using a dataset consisting of the learning endoscopic images obtained by capturing different positions in the body cavity. This is a model in which the relationship between the lesion area being touched and
  • the first detection unit 102 A is a data set consisting of a rectal learning endoscopic image
  • the second detection unit 10 2 B is a data consisting of an S-shaped colon learning endoscopic image
  • the third detection unit 102 C is a data set consisting of a learning endoscopic image of the descending colon
  • the fourth detection unit 10 2 D is a data set consisting of a learning endoscopic image of the transverse colon.
  • 5th detection unit 102 E is a data set consisting of an endoscopic image for learning of the ascending colon
  • 6th detection unit 10 2 F is a data set consisting of an endoscopic image for learning of the cecum
  • 7th detection unit Part 10 2 G is a data set consisting of an endoscopic image for learning of the ileum
  • 8th detection unit 10 2 H is a data set consisting of an endoscopic image for learning of the jejunum
  • 9th detection unit 10 2 I is Data set consisting of endoscopic images for learning of the duodenum
  • 1st detection section 10 2 J is data set consisting of endoscopic images for learning of stomach
  • 1st detection section 1 0 2 K is learning of esophagus It is a model learned by using a data set consisting of endoscopic images.
  • the learning method is not particularly limited as long as it can learn the relationship between the endoscopic image and the lesion area from a plurality of learning endoscopic images and generate a learned model.
  • machine learning which is one of the technologies of artificial intelligence (AI). Etc. can be used. ⁇ 2020/174 778 26 ⁇ (: 170?2019/045429
  • machine learning other than deblurring may be used, an artificial intelligence technique other than machine learning may be used, or a learning method other than the artificial intelligence technique may be used.
  • the learned model may be generated using only the endoscopic image for learning.
  • the trained model is not updated and the same trained model can always be used.
  • the endoscopic image for diagnosis may be used to generate the learned model.
  • the learned model is updated as needed by learning the relationship between the diagnostic endoscopic image and the lesion area displayed in the diagnostic endoscopic image.
  • the position information acquisition unit 104 acquires information on the position in the body cavity of the endoscopic image.
  • an operator such as a doctor inputs position information using the console 100.
  • the position information acquisition unit 104 acquires the position information input from the operator console 100.
  • the selection unit 106 selects the location information acquisition unit 1 from the lesion area detection unit 10 2.
  • the selection unit 106 detects the first detection unit 102 when the position information is rectal, the second detection unit 102 when the position information is three-fold colon, and the third detection unit when the position information is descending colon.
  • Section 10 2 ( 3, the 4th detection section 10 20 in the case of the transverse colon, the 5th detection section 10 2 in the case of the ascending colon, the 6th detection section 10 2 in the case of the cecum.
  • the 7th detector 100 2 In the case of the ileum, the 7th detector 100 2 0, in the case of the jejunum, the 8th detector 10 2 1!, in the case of the duodenum, the 9th detector 10 2 I, and in the case of the stomach, the 9th detector 10 Detecting unit 10 2”, and for the esophagus, select No. 1 1 detecting unit 10 2.
  • the lesion area detection control unit 108 sets the detection unit selected by the selection unit 106. ⁇ 2020/174 778 27 ⁇ (: 170?2019/045429
  • the lesion area is detected from the endoscopic image.
  • the lesion area here is not limited to the one caused by the disease, and includes an area in a state different from the normal state in appearance.
  • Examples of the lesion area include polyps, cancer, large intestine diverticulum, inflammation, EMR (Endoscopic Mucosa I Resection) scars or treatment marks such as ESD (Endoscopic Submucosal Dissection) scars, clip points, hemorrhages, perforations, and blood vessels Atypicality and the like can be exemplified.
  • the position information acquisition unit 104 acquires information on the position of the endoscopic image in the body cavity.
  • the selection unit 106 selects the detection unit corresponding to the position information acquired by the position information acquisition unit 104 from the lesion area detection unit 102.
  • the lesion area detection control unit 108 controls the detection unit selected by the selection unit 106 so as to detect the lesion area from the diagnostic endoscopic image based on the learning result.
  • the ultrasonic observation device 14 transmits and receives ultrasonic waves to and from the ultrasonic transducer unit 46, and at the time of receiving ultrasonic waves, images the received signal output from the ultrasonic transducer 48 (specifically, the element to be driven) to generate ultrasonic waves. Generate a sonic image. In addition to the generated ultrasonic image, the ultrasonic observation device 14 displays on the monitor 20 the endoscopic image transferred from the endoscope processor 16 and the anatomical schema.
  • the ultrasonic observation apparatus 14 includes a multiplexer 140, a reception circuit 142, a transmission circuit 144, an A/D converter 146, an AS IC (A pp I ication Specific Integrated).
  • the reception circuit 144 and the transmission circuit 144 are electrically connected to the ultrasonic transducer array 50 of the ultrasonic endoscope 12.
  • Multiplexer 140 selects up to m transducers to be driven from N ultrasonic oscillators 48 and opens its channel. ⁇ 2020/174 778 28 ⁇ (: 170?2019/045429
  • Transmitting circuit 1 4 4 is a 08 (field programmable gate array)
  • Pulsar Pulse generation circuit 1 5 8
  • Switch Switch
  • 8 3 I 0 integrated circuit for a specific application
  • the transmitting circuit 1 4 4 is selected by the multiplexer 1 4 0 according to the control signal sent from 0 II 1 5 2 in order to transmit the ultrasonic wave from the ultrasonic transducer unit 4 6.
  • This is a circuit that supplies a drive voltage for ultrasonic transmission to the driven oscillator.
  • the drive voltage is a pulsed voltage signal (transmission signal), and is applied to the electrode of the vibrator to be driven via the universal cable 26 and the coaxial cable 56.
  • the transmission circuit 1 4 4 has a pulse generation circuit 1 5 8 that generates a transmission signal based on a control signal.
  • the pulse generation circuit 158 is used to drive the plurality of ultrasonic transducers 48 to generate a transmission signal for generating ultrasonic waves and supply the transmission signals to the plurality of ultrasonic transducers 48. More specifically, the transmitter circuit 1 4 4 When the ultrasonic diagnosis is performed under the control of 52, the pulse generation circuit 158 is used to generate a transmission signal having a drive voltage for performing the ultrasonic diagnosis.
  • the reception circuit 1 42 is a circuit that receives an electric signal output from the transducer to be driven that has received an ultrasonic wave (echo), that is, a reception signal.
  • the receiving circuit 1 4 2 amplifies the received signal received from the ultrasonic transducer 4 8 according to the control signal sent from CP [J ⁇ 5 2 and outputs the amplified signal to the 8/O converter 1 4 2. Hand over to 6.
  • the 8/ ⁇ converter 1 46 is connected to the receiving circuit 1 4 2 and converts the received signal received from the receiving circuit 1 4 2 from an analog signal to a digital signal and converts the converted digital signal.
  • the 8 3 ⁇ 1 448 is connected to the 8/ ⁇ comparator 1 4 6 and, as shown in FIG. 5, the phase matching section 1 6 0, the Mitsu mode image generation section 1 6 2 and the mode.
  • Image generation unit 1 64, ⁇ Mode image generation unit 1 6 6 and memory controller 1 5 1 ⁇ 2020/174778 29 ⁇ (:170?2019/045429
  • a hardware circuit such as the AS IC 148 provides the functions described above (specifically, the phase matching unit 160, the B mode image generation unit 162, and the PW mode image generation unit 1 64).
  • the CF mode image generation unit 166 and the memory controller 1 51) are realized, but the present invention is not limited to this.
  • the above functions may be realized by cooperating a central processing unit (CPU) and software (computer program) for executing various data processing.
  • the phase matching unit 160 provides a delay time to the received signal (received data) digitized by the A/D converter 1 46 and performs phasing addition (matching the phases of the received data). Add from) Execute the process. By the phasing addition process, a sound ray signal in which the ultrasonic echoes are focused is generated.
  • the B-mode image generation unit 162, the PW-mode image generation unit 1 64, and the CF-mode image generation unit 166 are composed of a plurality of ultrasonic transducers when the ultrasonic transducer unit 46 receives ultrasonic waves.
  • An ultrasonic image is generated based on the electrical signal (strictly speaking, the sound ray signal generated by phasing addition of the received data) output from the driven oscillator out of 48.
  • the B-mode image generation unit 162 is an image generation unit that generates a B-mode image that is a tomographic image inside the patient (in the body cavity).
  • the B-mode image generation unit 162 uses STC (Sensitivity Time Gain Control) to reduce the attenuation due to the propagation distance according to the depth of the reflection position of the ultrasonic wave for the sound ray signals that are sequentially generated. Apply correction.
  • the B-mode image generation unit 162 generates a B-mode image (image signal) by performing envelope detection processing and L o g (logarithm) compression processing on the corrected sound ray signal.
  • the PW mode image generation unit 164 is an image generation unit that generates an image that displays the velocity of blood flow in a predetermined direction.
  • the PW mode image generation unit 164 extracts a frequency component by performing a fast Fourier transform on a plurality of sound ray signals in the same direction among the sound ray signals sequentially generated by the phase matching unit 160. ⁇ 2020/174 778 30 ⁇ (: 170?2019/045429
  • the mode image generation unit 164 calculates the velocity of blood flow from the extracted frequency components and displays the calculated velocity of blood flow.
  • Image image signal
  • the 0-mode image generation unit 1666 is an image generation unit that generates an image displaying information on blood flow in a predetermined direction.
  • the 0-mode image generation unit 1666 shows information about blood flow by obtaining the autocorrelation of a plurality of sound ray signals in the same direction among the sound ray signals sequentially generated by the phase matching unit 1660. Generate an image signal. Then, based on the above image signal, the mode image generation unit 1666 generates a color image by superimposing information on blood flow on the Mitsu mode image signal generated by the mode image generation unit 1 62. 0 Mode image (image signal) is generated.
  • the memory controller 1 5 1 stores the image signal generated by the Mitsu mode image generation unit 1 6 2, the mode image generation unit 1 6 4 or the 0 mode image generation unit 1 6 6 in the cine memory 1 5 0. ..
  • Mode image generation unit 1 6 4 or 0 The image signal generated by the mode image generation unit 1 6 6 is converted (raster conversion) into an image signal in accordance with the scanning method of a normal television signal, and the image signal is converted. After performing various necessary image processing such as gradation processing, the image is output to the ultrasonic image recognition unit 168.
  • the ultrasonic image recognizing unit 1 6 8 determines the relationship between the learning ultrasonic image and the name of the organ (name of the observation target part) displayed in the learning ultrasonic image and the learning ultrasonic image. And the relationship between the position and orientation of the distal end 40 of the ultrasonic endoscope at the time of capturing the learning ultrasonic image, and at least one of Based on the result, from the diagnostic ultrasonic image generated by the ultrasonic observation device 14, the name of the organ displayed in this diagnostic ultrasonic image and the tip portion 40 of the ultrasonic endoscope 12 are displayed. Recognize at least one of the position and orientation of and.
  • the ultrasonic image for learning is obtained by the ultrasonic image recognition unit 1668, ⁇ 2020/174778 31 ⁇ (: 170?2019/045429
  • the ultrasonic image recognition unit 1 6 8 includes an organ name detection unit 1 1 2, a position and orientation detection unit 1 1 4, a selection unit 1 1 6, and an organ name detection control. Parts 1 18 and.
  • the organ name detection unit 1 1 1 2 detects the name of the organ displayed in the diagnostic ultrasonic image from the diagnostic ultrasonic image based on the learning result.
  • the organ name detection unit 11 12 is provided with a plurality of detection units corresponding to a plurality of positions to be observed in the body of the subject.
  • the first to 11th detection units 1 1 1 1 to 1 1 2 are provided.
  • the first detection unit 1 1 1 2 is at the confluence of the aorta, the celiac artery, and the superior mesenteric artery, the second detection unit 1 1 2 is at the stem part, and the third detection unit 1 1 2 ( 3 is the pedicle part).
  • the 4th detection section 1120 is at the confluence of the splenic vein, superior mesenteric vein, and portal vein
  • the 5th detection section 1 1 2 is at the stem head
  • the 6th detection section 1 1 2 to the gallbladder 7th detector 1 1 2 0 to the portal vein
  • 9th detector 1 1 12 I to the gallbladder 1 0 detector "1 1 2" corresponds to the hook and hook
  • the 1st 1st detecting portion 1 1 2 corresponds to the nipple.
  • each is a trained model.
  • the plurality of trained models are trained using a data set consisting of different learning ultrasonic images. Specifically, the plurality of trained models use a training ultrasound image and a training ultrasound image by using a dataset consisting of training ultrasound images obtained by imaging different positions of the observation target region in the body of the subject. This is a model in which the relationship between the name of the organ displayed in the sound wave image and was previously learned.
  • the first detection unit 1 1 1 2 is a data set consisting of ultrasonic images for learning of the confluence of the aorta, the celiac artery, and the superior mesenteric artery
  • the second detection unit 1 1 2 is the body part.
  • Data set consisting of learning ultrasound images of the 3rd detection section 1 1 2 ( 3 is the data set consisting of ultrasound images for learning of the tail section, 4th detection section 1 1 2 0 is the splenic vein, ⁇ 2020/174 778 32 ⁇ (: 170?2019/045429
  • 5th detection section 1 1 2 is a data set consisting of learning ultrasonic images of the stem section
  • 6th detection section 1 1 2 is a data set consisting of ultrasound images for learning of the gallbladder
  • 7th detection part 1 120 is a data set consisting of ultrasound images for learning portal vein
  • 8th detection part 1 1 2 !! is the common bile duct.
  • 9th detection section 1 1 2 1 is data set consisting of ultrasound image for learning of gallbladder
  • 10th detection section 1 1 2” is ultrasound image for learning of peduncle part
  • the 1st detection section 1 1 1 2 ⁇ is a model that was learned using a dataset that is composed of ultrasound images for learning of the nipple.
  • Typical observation points in the body include, for example, the following (1) to (1 1).
  • observation points (1) aorta, celiac artery, superior mesenteric artery confluence, (3) pedicle, (4) splenic vein, superior mesenteric vein, and portal confluence , And (5) explain the observation procedure when observing in the order of the head of the stem.
  • FIG. 7 is an anatomical schematic diagram of an embodiment showing the confluence of the aorta, the celiac artery, and the superior mesenteric artery, and Fig. 7 is an outline of the embodiment showing the ultrasonic image. It is a figure.
  • FIG. 8 is an anatomical schema diagram of an embodiment showing the tail portion, and FIG. 8 is a conceptual diagram of an embodiment showing an ultrasonic image thereof.
  • FIG. 9 is an anatomical schematic diagram of an embodiment showing a confluence of splenic vein, superior mesenteric vein, and portal vein, and FIG. 9 is a concept of the embodiment showing an ultrasonic image thereof. It is a figure.
  • FIG. 108 is an anatomical schema diagram of one embodiment showing a stem head, and FIG. 108 is a conceptual diagram of one embodiment showing an ultrasonic image thereof.
  • FIG. 8 and FIG. Is splenic vein 3 is spleen, 3 1 ⁇ 2020/174 778 34 ⁇ (: 170?2019/045429
  • Fig. 9 and Fig. 9 Is the splenic vein, Is the superior mesenteric vein, V is the portal vein, and X is the canal.
  • Fig. 10 and Fig. 10 Is a tube, Represents the common bile duct and 3 represents the spleen.
  • the position/orientation detection unit 1 14 detects the position and orientation of the distal end portion 40 of the ultrasonic endoscope 12 from the diagnostic ultrasonic image based on the learning result.
  • the position of the distal end portion 40 of the ultrasonic endoscope 12 for example, the above observation points, that is, (1) the aorta, the abdominal artery, and the confluence of the superior mesenteric artery, (2) the stem ⁇ 2020/174 778 35 ⁇ (: 170?2019/045429
  • Body part (3) cauda caudal part, (4) splenic vein, superior mesenteric vein, and confluence of portal vein, (5) cavernous head and (6) gallbladder (typical observation point from the stomach) , (7) portal vein, (8) common bile duct and (9) gallbladder (a typical observation point of the duodenal bulb), (10) pyelus and (11) papilla (representative of descending duodenum) Observing points) etc. are detected.
  • the orientation of the distal end portion 40 of the ultrasonic endoscope 12 is To be detected.
  • the position/orientation detection unit 1 1 1 4 is a learned model.
  • a learning ultrasound image and a learning ultrasound image are created by using a dataset consisting of learning endoscopic images obtained by photographing different positions of the subject to be observed.
  • This is a model in which the relationship between the position and the orientation of the distal end portion 40 of the ultrasonic endoscope at the time of shooting is learned in advance for a plurality of learning ultrasonic images.
  • the learning method learns the relationship between the ultrasonic image, the name of the organ, and the position and orientation of the distal end portion 40 of the ultrasonic endoscope 12 from a plurality of learning ultrasonic images, There is no particular limitation as long as it can generate a learned model.
  • a deep learning (deep learning) using a hierarchical neural network as an example of machine learning (machine learning), which is one of the techniques of artificial intelligence (AI). Etc. can be used.
  • machine learning other than deblurring may be used, an artificial intelligence technique other than machine learning may be used, or a learning method other than the artificial intelligence technique may be used.
  • the learned model may be generated using only the learning ultrasonic image. In this case, the trained model is not updated and the same trained model can always be used.
  • a diagnostic ultrasonic image may be used to generate the trained model.
  • the diagnostic ultrasound image ⁇ 2020/174 778 36 ⁇ (: 170?2019/045429
  • the learned model is updated from time to time by learning the relationship.
  • the ultrasonic image recognition unit 168 more specifically, the position and orientation detection unit 1 14 detect the orientation of the distal end portion 40 of the ultrasonic endoscope 12 2.
  • the ultrasonic transducer unit 46 is a convex type as in the present embodiment, the ultrasonic transmission direction changes depending on the direction of the distal end portion 40 of the ultrasonic endoscope 12. It is desirable to detect the orientation of the tip portion 40 of the sonic endoscope 12.
  • the ultrasonic transducer unit 46 when the ultrasonic transducer unit 46 is of the radial type, the ultrasonic waves are emitted over the entire circumference in the radial direction of the ultrasonic endoscope 12 regardless of the orientation of the tip portion 40 of the ultrasonic endoscope 12. It is not necessary to detect the orientation of the tip portion 40 of the ultrasonic endoscope 12 because it is transmitted over the entire length.
  • the selection unit 1 16 corresponds to the position of the distal end portion 40 of the ultrasonic endoscope 12 detected by the position and orientation detection unit 1 1 4 from the organ name detection unit 1 1 2. Select the detector.
  • the selection unit 1 16 has the first detection unit 1 1 2 8; (2) 2nd detection section 1 1 2 for the body part; (3) 3rd detection section 1 1 2 (3, (4) splenic vein; For the mesenteric vein and the confluence of the portal vein, the 4th detection unit 1 1 2 0, (5) For the stem head, the 5th detection unit 1 1 2M, (6) For the gallbladder 6th detection section 1 1 2 (7) 7th detection section 1 1 2 0 for portal vein, (8) 8th detection section 1 1 2 1 to 1 for common bile duct, (9 ) For gallbladder, 9th detector 1 1 1 2 I, (1 0) 1st detector 1 1 2” for ligament, (1 1) 1st 1 detector 1 for nipple. Select 1 2.
  • the organ name detection control unit 1 18 determines the name of the organ displayed in the diagnostic ultrasound image from the diagnostic ultrasound image by the detection unit selected by the selection unit 1 16. Let it be detected.
  • the names of organs include all observation target parts in the body of the subject that can be observed using the ultrasonic observation device 14, for example, liver, ⁇ 2020/174 778 37 ⁇ (: 170?2019/045429
  • the position/orientation detection unit 1 1 4 is used to detect the ultrasonic image for diagnosis based on the learning result from the distal end portion 40 of the ultrasonic endoscope 1 2. The position and orientation are detected.
  • the selection unit 1 16 detects from the organ name detection unit 1 1 2 the detection unit corresponding to the position of the distal end 4 0 of the ultrasonic endoscope 1 2 detected by the position and orientation detection unit 1 1 4. Is selected.
  • the detection unit selected by the selection unit 1 16 is selected by the organ name detection control unit 1 18 from the diagnostic ultrasound image based on the learning result, and the organs displayed in the diagnostic ultrasound image are displayed. Controlled to detect the name of.
  • the display control unit 1 7 2 monitors at least one of the name of the organ recognized by the ultrasonic image recognition unit 1 6 8 and the position of the distal end portion 40 of the ultrasonic endoscope 1 2. Display on 20.
  • the display control unit 1 7 2 may display the name of the organ recognized by the ultrasonic image recognition unit 1 6 8 and the tip of the ultrasonic endoscope 1 2 similarly recognized by the ultrasonic image recognition unit 1 6 8. Display at least one of position and orientation of part 40 on monitor 20.
  • the display control unit 17 2 displays the lesion area overlaid on the endoscopic image or the organ name overlaid on the ultrasound image in response to an instruction from the operator.
  • the position and orientation of the distal end 40 of the ultrasonic endoscope 1 2 may be superimposed and displayed on the anatomy schema diagram.
  • the display control unit 172 displays the endoscopic image in which the lesion area is not displayed, the endoscopic image in which the lesion area is superimposed, and the name of the organ in response to the instruction from the operator.
  • the display control unit 172 is configured to display at least an ultrasonic image in which the names of organs are displayed in superimposition and an anatomical schematic diagram in which the position of the distal end portion 40 of the ultrasonic endoscope 12 is displayed in superposition. Two or more images including one are displayed side by side on the screen of monitor 20.
  • the name of the organ is displayed, for example, on the ultrasonic image in the vicinity of the organ, for example, on the organ, and the position and orientation of the distal end portion 40 of the ultrasonic endoscope 12 are, for example, It is displayed overlaid on the anatomical diagram.
  • the lesion area is displayed, for example, by overlaying it on the endoscopic image and enclosing the lesion area with a frame line.
  • the cine memory 150 has a capacity for accumulating image signals for one frame or several frames.
  • the image signal generated by the 3148 is output to the 0301 5 4 and also stored in the cine memory 1 5 0 by the memory controller 1 5 1.
  • the memory controller 1 5 1 causes the cine memory 1 5 1 to be stored.
  • the image signal stored in 50 is read out and output to 0301 54. This allows the monitor 20 to display an ultrasonic image (still image) based on the image signal read out from the cine memory 150. Become.
  • CP [J ⁇ 52 functions as a control unit that controls each unit of the ultrasonic observation apparatus 14, and includes a receiving circuit 1 42, a transmitting circuit 1 44, an 8/ ⁇ comparator 1 46, and an 8 3 I ⁇ 1 It is connected to 48 etc. and controls these devices.
  • the 0911 ⁇ 52 is connected to the console 100, and controls each part of the ultrasonic observation device 14 according to the inspection information, control parameters, etc. input at the console 100.
  • ⁇ 111 52 when the ultrasonic endoscope 1 2 is connected through an ultrasonic connector 32 3 to the ultrasonic observation device 1 4, P n P (PI U gand 1 3 V ) Etc., the ultrasonic endoscopes 1 and 2 are automatically recognized.
  • FIG. 11 is a diagram showing a flow of a diagnostic process using the ultrasonic endoscope system 10.
  • FIG. 12 is a diagram showing a procedure of a diagnostic step during the diagnostic process.
  • the ultrasonic endoscope system 1 is turned on with the ultrasonic endoscope 12 being connected to the ultrasonic observation device 14, the endoscope processor 16 and the light source device 18. Then, the diagnostic process is started by using it as a trigger.
  • the input step is first performed (3001). At the input step, the operator inputs the inspection information and control parameters, etc. through the console 100. When the input step is completed, the waiting step is executed until the start of diagnosis is instructed (302).
  • the diagnostic step proceeds according to the flow shown in FIG. 12 and, if the specified image generation mode is the normal mode (3 0 3 1 to 6 3), generates the normal mode image.
  • Ultrasonic observation device 1 4 Control each part (3 0 3 2). Also, if the specified image generation mode is not the Mitsumi mode (N 0 in 3 0 3 1) ⁇ mode (6 0 in 3 0 3 3), it is super-sensitive to generate a ⁇ mode image. Sound wave observation device 1 4 Controls each part (3 0 3 4).
  • the ultrasonic observation is performed to generate the mode image.
  • Device 1 4 Controls each part (3 0 3 6). If the designated image generation mode is not the mode (1 ⁇ 10 in 305), proceed to step 370.
  • ⁇ II 15 2 determines whether or not the ultrasonic diagnosis is completed (3 0
  • diagnosis end condition is that the operator gives an instruction to end the diagnosis through the operator console 100. ⁇ 2020/174 778 40 ⁇ (: 170?2019/045429
  • the operator operates the console 100 to give an instruction to display at least one of an endoscopic image, an ultrasonic image, and an anatomical schema diagram on the screen of the monitor 20. be able to.
  • the display control unit 1 7 2 causes the endoscopic image (with/without display of lesion area) and the ultrasonic image (with/without display of organ name) according to the instruction from the operator.
  • anatomical schema (with/without indication of the position and orientation of the tip 40 of the ultrasonic endoscope 12)
  • 1 image or 2 or more images are displayed on the screen of the monitor 20. It is displayed side by side inside.
  • the display control unit 172 displays one of the two or more images displayed on the monitor 20 as the target image, which is larger than the other images.
  • the ultrasound image recognition unit 168 operates and the endoscope
  • the endoscopic image recognition unit 170 operates when an image is displayed on the screen of the monitor 20.
  • an endoscopic image with the lesion area superimposed on it is displayed on the monitor 20, or the name of the organ is superposed on it.
  • the anatomical schematic diagram is displayed with the ultrasonic image displayed on the monitor 20 and the position and orientation of the tip 40 of the ultrasonic endoscope 12 superimposed on it.
  • the name of the organ may be displayed on the ultrasonic image in a superimposed manner, or the position and orientation of the distal end portion 40 of the ultrasonic endoscope 12 may be displayed in a superimposed manner on the anatomical schematic diagram. It is not essential to do.
  • the name of the organ may be displayed on the monitor 20 separately from the ultrasound image, or the position and orientation of the tip 40 of the ultrasound endoscope 1 2 may be monitored separately from the anatomical schema diagram. It may be displayed at 0.
  • the ultrasonic endoscopic system 10 for example, since the name of the organ displayed in the ultrasonic image is displayed on the monitor 20 by superimposing it on the ultrasonic image, Even an operator unfamiliar with the image can correctly recognize what is displayed on the ultrasonic image.
  • the position and orientation of the tip 40 of the ultrasonic endoscope 12 are displayed on the monitor 20 by superimposing it on the anatomical schematic diagram, even if the operator is unfamiliar with ultrasonic images.
  • the lesion area is displayed on the monitor 20 so as to be superimposed on the endoscopic image, the lesion area can be correctly recognized.
  • the operator can display the ultrasonic image and the anatomical schema diagram side by side on the screen of the monitor 20.
  • the display control unit 17 2 responds to an instruction from the operator, for example, an ultrasonic image on which the name of the organ is displayed in a superimposed manner, and an ultrasonic endoscope on the ultrasonic image.
  • An anatomical schema diagram with the position and orientation of the tip 40 of 1 2 superimposed is displayed side by side on the screen of monitor 20. Further, from the ultrasonic image and the anatomical schema diagram displayed on the monitor 20, the image 1 is displayed as the image of interest larger than the other images.
  • FIG. 1 trioctahedral is a conceptual diagram of an embodiment representing the display position of the ultrasonic image and the anatomical Shiema view, FIG. 1 3 seen, _ carried representing the ultrasound images and anatomical Shiema view It is a conceptual diagram of a form.
  • An anatomical schematic diagram in which the position and orientation of the tip 40 of the ultrasonic endoscope 12 are displayed in an overlapping manner is displayed in the upper left part of the screen of the monitor 20 and the name of the organ is displayed over it.
  • the acquired ultrasonic image is displayed on the right side of the screen of the monitor 20.
  • an ultrasound image is displayed larger than the anatomical schema.
  • the surgeon has the ultrasonic image (first diagnostic ultrasonic image) on which the name of the organ is superimposed and displayed, and the same ultrasonic image as the first diagnostic ultrasonic image.
  • the ultrasonic image in which the name of the organ is not displayed (the second ultrasonic image for diagnosis), and the position and orientation of the distal end portion 40 of the ultrasonic endoscope 12 are displayed on the ultrasonic image.
  • An anatomical schema diagram can be displayed on the screen of the monitor 20.
  • the display control unit 172 responds to an instruction from the operator to, for example,
  • the diagnostic ultrasound image of 1 and the diagnostic ultrasound image of 2 and the position and orientation of the tip 40 of the ultrasonic endoscope 1 2 are superimposed on it, and the anatomical schema image is displayed on the monitor 2 It is displayed side by side on the screen of 0.
  • one image is the image of interest and is larger than the other images. Is displayed
  • FIG. 14 is a conceptual diagram of one embodiment showing the display positions of the first diagnostic ultrasonic image, the second diagnostic ultrasonic image, and the anatomical chemist diagram
  • FIG. the first diagnostic ultrasound image is a conceptual view of a second diagnostic ultrasound images and _ embodiment representing the anatomy Shiema view.
  • an initial screen for example, an anatomical schema diagram with the position and orientation of the tip 40 of the ultrasonic endoscope 12 superimposed on it is displayed.
  • the first diagnostic ultrasound image is displayed in the lower left part of the monitor 20 screen
  • the second diagnostic ultrasound image is displayed in the upper left part of the monitor 20 screen. Displayed on the right.
  • the second diagnostic ultrasonic image is displayed larger than the anatomical schema and the first diagnostic ultrasonic image.
  • the operator also monitors endoscopic images, ultrasound images, and anatomical schematic diagrams.
  • the display control unit 1 7 2 causes, for example, an endoscopic image, an ultrasonic image on which the name of the organ is displayed to be superposed, and an ultrasonic image to be displayed on the endoscopic image according to an instruction from the operator.
  • the anatomical chemist diagram in which the position and orientation of the tip portion 40 of the sonic endoscope 12 are displayed in an overlapping manner is displayed side by side on the screen of the monitor 20.
  • the endoscopic image, ultrasonic image, and anatomical schematic diagram displayed on the monitor 20 is displayed side by side on the screen of the monitor 20.
  • One image is displayed as the image of interest larger than the other images.
  • Fig. 15 is a conceptual diagram of one embodiment showing the display positions of an endoscopic image, an ultrasonic image, and an anatomical schema diagram, and Fig. 15 Fig. 15 shows an endoscopic image, an ultrasonic image, and an ultrasonic image.
  • FIG. 6 is a conceptual diagram of an embodiment showing an anatomical schema diagram.
  • the initial screen is, for example, an anatomical diagram showing the position and orientation of the tip 40 of the ultrasonic endoscope 12 superimposed on it.
  • the endoscopic image that is displayed in the upper left part of the screen of 20 and does not show the lesion area is displayed in the lower left part of the screen of monitor 20 and the name of the organ is displayed on top of it.
  • An ultrasonic image is displayed on the right side of the screen of monitor 20.
  • an initial screen for example, an ultrasonic image is displayed larger than the anatomical schema and endoscopic image.
  • the present invention is not limited to this, and one image, or two or more images can be arbitrarily combined and displayed on the monitor 2 0. Can be displayed side by side on the screen.
  • the endoscopic image, the ultrasonic image, and the anatomical schema diagram are arranged at which position, and among the images displayed on the monitor 20, which image is larger than the other images. It can be arbitrarily set whether to display.
  • the first diagnostic ultrasonic image and the second diagnostic ultrasonic image shown in FIGS. 14A and 14B may be switched and displayed.
  • the operator can switch and display the image of interest from among the images displayed on the monitor 20. ⁇ 2020/174 778 44 ⁇ (: 170?2019/045429
  • an endoscopic image, an ultrasonic image, and an anatomical schema diagram are displayed on the screen of the monitor 20.
  • the display controller 1 7 2 responds to the operator's instruction to select the target image 1 from the endoscopic image, the ultrasonic image, and the anatomical schematic diagram displayed on the monitor 20. Switch from image to one of the other images to display.
  • the anatomical schema diagram is displayed in the upper left part of the monitor 20 screen, and the endoscopic image is displayed in the left part of the monitor 20 screen. It is assumed that the ultrasound image is displayed at the bottom and the ultrasound image is displayed on the right side of the screen of the monitor 20. In addition, it is assumed that the ultrasound image is displayed as the attention image in a larger size than the anatomy schema diagram and the endoscopic image as the initial screen.
  • the anatomical schema image is displayed on the monitor 2 as shown in the upper right portion of Fig. 16. It is displayed in the upper left part of the screen of 0, the ultrasonic image is displayed in the lower left part of the screen of the monitor 20, and the endoscopic image is displayed in the right part of the screen of the monitor 20. In addition, the endoscopic image is displayed larger than the anatomical schematic diagram and the ultrasonic image.
  • the endoscopic image is displayed as shown in the lower part of Fig. 16. It is displayed in the upper left part of the screen of 0, the ultrasonic image is displayed in the lower left part of the screen of the monitor 20, and the anatomical schema diagram is displayed in the right part of the screen of the monitor 20. Also, the anatomical schema is shown larger than the endoscopic and ultrasonic images.
  • the ultrasound image is displayed as an anatomical schema diagram and It is displayed larger than the endoscopic image.
  • the endoscopic image, the ultrasonic image, and the anatomical chemist diagram can be switched and displayed in an easy-to-see manner.
  • the image of interest that the surgeon is interested in changes from time to time, but the operator can switch the image of interest at any time.
  • the ultrasonic image recognition unit 168 is contained in the ultrasonic observation device 14, but the present invention is not limited to this.
  • the ultrasonic image recognition unit 168 may be incorporated in the endoscope processor 16; Alternatively, it may be provided outside the ultrasonic observation device 14 and the endoscope processor 16.
  • the ultrasonic image recognition unit 1 6 8 is housed in the ultrasonic observation device 14 as in the present embodiment, as shown in Fig. 17, the endoscopic image is Transferred from the processor 16 to the ultrasonic observation device 14.
  • the ultrasonic image recognition unit 1 6 8 is used by the ultrasonic observation device 1 4 and the endoscope processor 1
  • the endoscopic image is ⁇ 2020/174778 46 ⁇ (: 170?2019/045429 is transferred from the mirror processor 16 to the ultrasonic observation device 14 and the endoscopic image and the ultrasonic image are transmitted from the ultrasonic observation device 14 to the ultrasonic wave. It is transferred to the image recognition unit 168.
  • the ultrasonic image is transferred from the ultrasonic observation device 14 to the endoscope processor 16 and the endoscopic image and the ultrasonic image are further transferred from the endoscope processor 16 to the ultrasonic image recognition unit 1 May be forwarded to 6 8.
  • the ultrasonic image is transferred from the ultrasonic observation device 14 to the endoscope processor 16 and the endoscopic image and the ultrasonic image are further transferred from the endoscope processor 16 to the ultrasonic image recognition unit 1 May be forwarded to 6 8.
  • the data may be transferred from the endoscope processor 16 to the ultrasonic image recognition unit 168.
  • the display control section 17 2 is arranged between the final image signal output to the monitor 20 and the monitor 20.
  • the display control unit 1 7 2 is built in the ultrasonic observation device 14 or It can be provided between the sound wave observation device 14 and the monitor 20.
  • the ultrasonic image recognition unit 1 6 8 is built in the endoscope processor 16 6, for example, the display control unit 1 7 2 is built in the endoscope processor 16 or It can be provided between the processor 16 and the monitor 20. Further, in the display control unit 17 2, the ultrasonic image recognition unit 1 6 8 is provided outside the ultrasonic observation device 1 4 and the endoscope processor 1 6. If provided, it can be provided, for example, outside the ultrasonic observation device 14 and the endoscope processor 16.
  • the display control unit 1 7 2 responds to an instruction from the operator to provide an endoscopic image (with/without display of lesion area), an ultrasonic image (with/without display of organ name), And anatomical schema (with/without display of the position and orientation of the tip 40 of the ultrasound endoscope 12), 1 or 2 or more images are displayed side by side on the monitor 20. Display it on the screen.
  • the location of the endoscopic image recognition unit 170 can also be determined in the same manner as the location of the ultrasonic image recognition unit 168. That is, the endoscope image recognition unit 170 ⁇ 2020/174 778 47 ⁇ (: 170?2019/045429
  • the endoscope processor 16 it is built in the endoscope processor 16, but not limited to this, it may be built in, for example, the ultrasonic observation apparatus 14 or, alternatively, the ultrasonic observation apparatus 14 and the endoscope. It may be provided outside the mirror processor 16.
  • the ultrasonic image recognition unit 16 As described above, in the ultrasonic endoscope system 10, the ultrasonic image recognition unit 16
  • the ultrasonic image recognition unit 1668 and the endoscopic image recognition unit 170 are not fixedly arranged, and the ultrasonic image recognition unit 1668 and the endoscopic image recognition unit 170 can be provided at arbitrary positions.
  • FIG. 20 is a block diagram showing the configuration of the ultrasonic observation apparatus 14M of the second embodiment
  • FIG. 21 shows the configuration of the ultrasonic image recognition unit 1668 of the second embodiment. It is a block diagram.
  • the configuration of the ultrasonic endoscope system of the second embodiment is such that an ultrasonic observation device 14 is provided instead of the ultrasonic observation device 14 provided in the ultrasonic endoscope system 10 of the first embodiment.
  • the ultrasonic endoscope system 10 of the first embodiment is the same as the ultrasonic endoscope system 10 of the first embodiment.
  • the explanation of the ultrasonic observation apparatus 14 will be continued.
  • the configuration of the ultrasonic observation apparatus 14 shown in FIG. 20 is the same as the ultrasonic image recognition section 1 6 8 and the display control section 1 7 2 provided in the ultrasonic observation apparatus 14 of the first embodiment.
  • the ultrasonic observation apparatus according to the first embodiment except that the image recognition unit 168 and the display control unit 172 are provided, and the color registration unit 174 and the organ registration unit 176 are further provided. Since it is the same as that of 14, the same components are given the same reference numerals, and detailed description thereof will be omitted.
  • the ultrasonic image recognizing unit 166 Mami learns about the name of the organ displayed in the diagnostic ultrasonic image and the position and orientation of the distal end 40 of the ultrasonic endoscope 1 2. Regarding recognition, it functions in the same manner as the ultrasonic image recognition unit 1668 of the first embodiment. ⁇ 2020/174 778 48 ⁇ (: 170?2019/045429
  • the ultrasonic image recognition unit 168 sets the relationship between the learning ultrasonic image and the range of the organs (organ regions) displayed in the learning ultrasonic image into a plurality of learning ultrasonic images.
  • the training ultrasound image is the ultrasound image recognition unit.
  • 1680 is an existing ultrasonic image for learning the relationship between the ultrasonic image and the range of an organ. For example, various ultrasonic images taken in the past can be used.
  • the configuration of the ultrasonic image recognition unit 1 6 8 shown in Fig. 21 includes a selection unit 1 1 6 provided in the ultrasonic image recognition unit 1 6 8 of the first embodiment and an organ name detection control unit 1 1 8 is replaced with a selection unit 1116 and an organ name and range detection control unit 1 11.8, and an organ range detection unit 1120 is provided. Since it is the same as the ultrasonic image recognizing unit 168 in the form, the same reference numerals are given to the other same components, and detailed description thereof will be omitted.
  • the organ range detection unit 120 detects the range of the organ displayed in the diagnostic ultrasonic image from the diagnostic ultrasonic image based on the learning result.
  • the organ range detection unit 120 includes a plurality of detection units corresponding to a plurality of positions that are observation target sites in the body of the subject.
  • the first to 11th detectors 120 to 120 are provided.
  • the first detector 120 is at the confluence of the aorta, the celiac artery, and the superior mesenteric artery, the second detector 120 is at the stalk, and the third detector 120 (3 is the tail).
  • the 4th detection part 1 200 is at the confluence of the splenic vein, the superior mesenteric vein, and the portal vein, the 5th detection part 1 2 0 is at the stem head, and the 6th detection part 1 20 is in the gallbladder, 7th detector 120 0 0 in the portal vein, 8th detector 120 0 !! in the common bile duct, 9th detector 120 I in the gallbladder, 10th detector "120" corresponds to the hook and hook, and the 1st detector 1120 corresponds to the nipple.
  • the 1st to 11th detectors 120 to 120 are trained models.
  • the plurality of trained models are trained using a data set consisting of different learning ultrasonic images. For more information, see Multiple Learned ⁇ 2020/174 778 49 ⁇ (: 170?2019/045429
  • the model is displayed on the learning ultrasonic image and the learning ultrasonic image using a data set consisting of the learning ultrasonic images obtained by imaging different positions that are the observation target parts in the body of the subject. It is a model in which the relationship between the organ range and
  • the first detection unit 120 is a data set consisting of ultrasonic images for learning of the confluence of the aorta, the celiac artery, and the superior mesenteric artery, and the second detection unit 120 is the body part.
  • 3rd detection section 120 3 is the data set consisting of ultrasonic images for learning of the tail
  • 4th detection section 1200 is splenic vein
  • superior mesentery Data set consisting of ultrasound images for learning of the confluence of veins and portal veins
  • 5th detection unit 1 2 0 is a data set consisting of ultrasound images for learning of the stem section
  • 6th detection unit 1 2 0 is The data set consisting of ultrasound images for gallbladder learning
  • the 7th detection part 1 200 0 is the data set consisting of ultrasound images for portal vein learning
  • the 8th detection part 1 2 0 !!
  • 9th detection section 1 201 is a data set consisting of ultrasonic images for learning of the gallbladder
  • 1 0 detection section 1 2 0 ” is consisting of learning ultrasonic images of the barbs
  • the dataset, 1st detection unit 1 2 0 ⁇ is a model learned using a dataset consisting of ultrasound images for learning of the teat.
  • the observation route inside the body and a typical observation point when an ultrasonic image is taken are generally determined. Therefore, it is possible to learn by associating the ultrasonic image at a typical observation point with the range of the organ shown in the ultrasonic image.
  • the learning method is not particularly limited as long as it can learn the relationship between the ultrasonic image and the range of the organ from a plurality of learning ultrasonic images and generate a learned model.
  • the learning method and the method of updating the learned model are as described above.
  • the selecting unit 1 16 functions in the same manner as the selecting unit 1 16 of the first embodiment in selecting the detecting unit from the organ name detecting unit 1 1 2.
  • the selection unit 1116 is connected with the position and orientation from the organ range detection unit 120. ⁇ 2020/174778 50 ⁇ (:170?2019/045429
  • the detection unit corresponding to the position of the tip portion 40 of the ultrasonic endoscope 12 detected by the detection unit 1 14 is selected.
  • the first detector 120 For the confluence of the aorta, the celiac artery, and the superior mesenteric artery, the first detector 120, (2) For the stalk, the second detector 120, and (3 ) In the case of the caudal part, the third detection unit 120 (3, (4) In the case of confluence of splenic vein, superior mesenteric vein, and portal vein, the fourth detection unit 120 0, ( 5) In case of the head of the head, the 5th detection part 120 0, (6) In case of the gallbladder, the 6th detection part 120, (7) In case of the portal vein, the 7th detection part 1 2 0 0 (8) In the case of the common bile duct, the 8th detection section 120 0! ⁇ !, (9) In the case of the gallbladder, the 9th detection section 120 I, and (10) In the case of the barb 1st detection section 1 2 0", and (1 1) 1st detection section 1 2 0 ⁇ for nipples.
  • the organ name and range detection control unit 1 18 functions in the same manner as the organ name detection control unit 1 1 1 8 of the first embodiment regarding the control of the organ name detection unit 1 1 1.
  • the organ name and range detection control unit 1 1 8 M is selected from the diagnostic ultrasound image by the detection unit selected by the selection unit 1 1 6 from the organ range detection unit 1 20. The range of the organ displayed in the image is detected.
  • the organs whose range is detected by the organ range detection unit 120 include all observation target sites in the body of the subject that can be observed using the ultrasonic observation apparatus 14.
  • the position/orientation detecting unit 1 14 causes the distal end portion 4 0 of the ultrasonic endoscope 1 2 to be detected from the diagnostic ultrasonic image based on the learning result. The position and orientation of is detected.
  • the selection unit 1 1 6 sets the distal end of the ultrasonic endoscope 1 2 detected by the position and orientation detection unit 1 1 4 from the organ name detection unit 1 1 2 and the organ range detection unit 1 2 0. The detection unit corresponding to the position of 40 is selected.
  • the detection unit selected by the selection unit 1 1 6 by the organ name and range detection control unit 1 1 8 is displayed on the diagnostic ultrasound image from the diagnostic ultrasound image based on the learning result. Control to detect the name and range of internal organs. ⁇ 2020/174778 51 ⁇ (: 170?2019/045429
  • the name of the organ displayed in the ultrasonic image and the range of the organ are displayed on the monitor 20 in an overlapping manner on the ultrasonic image. Then, the position and orientation of the distal end portion 40 of the ultrasonic endoscope 12 is displayed on the monitor 20 so as to be superimposed on the anatomical schema diagram. Therefore, even an operator unfamiliar with an ultrasound image can correctly recognize what is displayed on the ultrasound image and the range of the organ displayed on the ultrasound image. In addition, as of now, it is possible to correctly recognize where the tip portion 40 of the ultrasonic endoscope 12 is located, in which direction, and which part is being observed. No more getting lost in your body.
  • the display control unit 1 7 2 is the display control unit 17 of the first embodiment.
  • the display control unit 172 causes the monitor 20 to display the range of the organ recognized by the ultrasonic image recognition unit 168.
  • the color registration unit 1774 registers the relationship between the type of organ and the color of the range of the organ in response to an instruction from the operator. More specifically, the relationship between the type of organ and the color of the inner region of the organ range or the frame indicating the organ range is registered. The relationship between the type of organ registered in the color registration unit 1 7 4 and the color of the internal region or frame of the organ is output to the display control unit 1 7 2.
  • the frame indicating the range of an organ (hereinafter, also referred to as the frame of an organ) is the outline of the organ and also the boundary line with other organs.
  • the internal area within the range of an organ (hereinafter also referred to as the internal area of an organ) is an area within a closed space surrounded by the frame of the organ.
  • the organ registration unit 176 registers the type of the organ whose range is to be displayed, in response to an instruction from the operator.
  • the types of organs for which the range registered in the organ registration unit 1 76 is displayed are output to the display control unit 1 7 2.
  • the operator can specify whether to display the range of the organ displayed in the ultrasonic image.
  • the display control unit 1 72 2 displays, for example, the ultrasonic image recognition unit 1 6 8
  • the internal region of the range of the organ recognized by is colored in a predetermined color, and the range of the organ whose internal region is colored is displayed on the monitor 20.
  • a frame indicating the range of the organ recognized by the ultrasonic image recognition unit 1680 is provided, and this frame is colored in a predetermined color, and the range of the organ colored in the frame is monitored. Displayed at 20.
  • the display control unit 172 will not display the organ range.
  • the predetermined color is a color preset in the display control unit 1722 and is not particularly limited, but it is white or white so that the operator can easily recognize the range of the organ in the ultrasonic image. A color other than black is desirable.
  • the display control section 1 72 and 9 should color the internal region or frame of the organ in a different color for each type of organ whose range is recognized by the ultrasonic image recognition section 1 6 and 8 ..
  • the display control unit 1 7 2 sets the internal areas or frames of two or more organs adjacent to each other so that the operator can easily distinguish the difference in color, and the colors or hues that are evenly separated It is possible to color in a defined hue range, including evenly spaced colors.
  • the display control unit 172 also sets the internal region or frame of the blood vessel, the internal region or frame of the blood vessel through which body fluid other than blood flows, and the internal region or frame of the blood vessel or organs other than the blood vessel. Further, it is possible to color in a predetermined hue range including a color having an evenly separated hue or a color having an evenly separated hue.
  • the internal area or frame of one organ ⁇ 2020/174 778 53 ⁇ (: 170?2019/045429
  • the color of the internal area or frame of these three organs is (Red), ⁇ (Green), and Tsubumi (Blue).
  • the operator can color the range of the organ in a color designated by the operator or can be colored in a color registered in advance by the operator.
  • the display control unit 1 7 2 specifies the internal area or frame of the organ according to the instruction from the operator. It is colored. Alternatively, if the relationship between the type of organ and the color of the internal region or frame of the organ is registered in the color registration unit 1 74, the display control unit 1 7 2 will cause the internal region or frame of the organ to be colored. It is colored in the color of the internal area or frame of the organ corresponding to the type of organ registered in the registration section 174.
  • the operator can color the area of the organ to the desired color of the operator, so that it is possible to easily identify the type of organ by color, for example, red is the liver. it can.
  • the organ name detection unit 1 1 2 of the ultrasonic image recognition unit 1 6 8 uses the organ name detection unit 1 1 2 when detecting the name of the organ displayed in the diagnostic ultrasound image. It is possible to calculate the certainty factor of the name of the organ recognized by 2.
  • the confidence level of the name of the organ represents the probability that the name of the organ recognized by the organ name detection unit 1 12 is a correct name. For example, when it is detected that the name of the organ is liver, the probability that the name of the organ displayed in the diagnostic ultrasound image is liver is 90%.
  • the display control unit 1 72 2 displays the name of the organ to be displayed on the monitor 20 according to the certainty factor calculated by the ultrasonic image recognition unit 1 6 8 , At least one of the coloring method of the internal region or the frame of the organ can be determined. ⁇ 2020/174 778 54 ⁇ (: 170?2019/045429
  • the display control unit 1 7 2 determines the size of the name of the organ to be displayed on the monitor 20 according to the certainty level, and sets the internal region or frame of the organ. At least one of determining a color to be colored and deciding whether or not to display a specific character can be performed.
  • the display control unit 172 makes the name of the organ smaller or colors the internal region or frame of the organ than when the certainty factor is relatively high.
  • the probability that an organ name is liver is relatively low, such as "liver?" Display specific characters such as "?”.
  • the display control unit 172 can determine, for example, the density of the color that colors the internal region or the frame of the organ according to the certainty factor.
  • the density of the color that colors the internal region or the frame of the organ is reduced, and when the certainty is relatively high, the color of the internal region or the frame of the organ is colored. Increase the concentration.
  • the operator can recognize the organ recognized by the ultrasonic image recognition unit 1680. It is possible to judge whether the name is correct.
  • the display control unit 172 sets the diagnostic ultrasound image displayed behind the display area of the name of the organ. It is desirable to determine at least one of the color of the name of the organ and the color of the internal region or frame of the organ according to the brightness.
  • the display control unit 1 7 2 increases the density of the color of the organ name, or the internal area or frame of the organ. Decrease the color density.
  • the operator can specify whether to display the name of the organ and whether to color the range of the organ.
  • the display control unit 1 7 2 seen, in response to an instruction from the operator, organs recognized by the ultrasound image recognition unit 1 6 8 snake names, and, in an organ in which the internal region or frame is colored range of _ Switch between displaying only one, displaying both, or not displaying both.
  • the display control unit 1 72 2 causes the range of the organ to be colored as shown in FIG. If only the name of the organ is displayed and only the range of the organ is colored, as shown in Fig. 22, the name of the organ is not displayed and only the range of the organ is displayed. To color. If it is specified to color both the name of the organ and the range of the organ, the name of the organ is displayed and the range of the organ is colored. On the other hand , if it is specified that neither the organ name nor the organ range is colored, the organ name is not displayed and the organ range is not colored.
  • the display control unit 1 7 2 m is a device recognized by the ultrasonic image recognition unit 1 6 8 m according to the range of the organ recognized by the ultrasonic image recognition unit 1 6 8 m. It is possible to determine the position where the name of is displayed on the monitor 20 and whether to display it on the monitor 20.
  • the display control unit 1722 does not display the name of the organ and the range of the organ is relatively large. In this case, display the name of the organ.
  • the name of the organ is displayed in the vicinity of the range of the organ instead of within the range of the organ, and when the range of the organ is relatively large, the name of the organ is displayed in the range of the organ.
  • the operator can display the range of only the organ of the type registered by the operator in advance.
  • the display control unit 172 B displays the range of the organ recognized by the ultrasonic image recognition unit 168 B on the monitor 20.
  • the operator can display the range of only the desired type of organ, and thus can easily recognize the desired type of organ.
  • the operator can also specify the type of organ for which the range is displayed.
  • the type of organs whose range is to be displayed is sequentially specified in response to the operator's instructions, the type of organs whose range is to be displayed is sequentially switched by the display control unit 172 B.
  • the endoscopic image recognition unit 170 (lesion region detection unit 10 2, position information acquisition unit 10 4, selection unit 10 6 and lesion region detection control unit 1 0 8), Ultrasound image recognition section 1 6 8, 1 6 8 B (Organ name detection section 1 1 2, Organ range detection section 1 2 0, Position and orientation detection section 1 1 4, Selection section 1 1 6, Selection Section 1 16 B, organ name detection control section 1 18 and organ name and range detection control section 1 18 B), display control section 1 7 2, 1 7 2 B, and console (instruction acquisition section) 1
  • the hardware configuration of the processing unit (Process Input Unit) that executes various processes such as 0 0 may be dedicated hardware, or may be various types of processors or computers that execute programs. May be. Further, the hardware configuration of the cine memory 150, the color registration unit 174, and the organ registration unit 176 may be dedicated hardware, or may be a memory such as a semiconductor memory. Good.
  • processors include a general-purpose processor that executes software (program) and functions as various processing units, such as a CPU (Central Process Engine), an FPGA (Field Prog rammab). Le Gate Ar ray) etc. circuit configuration after manufacturing ⁇ 2020/174 778 57 ⁇ (: 170?2019/045429
  • a programmable logic device that is a processor that can change the processor, and a processor that has a circuit configuration specifically designed to perform specific processing such as AS IC (Application Specific Integrated Circuit). Includes dedicated electrical circuits.
  • a processor may consist of one of these various processors, or a combination of two or more processors of the same or different type, eg a combination of multiple F PGAs or an FPGA. It may be configured by a combination of CPU and CPU. Further, the plurality of processing units may be configured by one of various processors, or two or more of the plurality of processing units may be collectively configured by using one processor.
  • a computer such as a server and a client
  • one processor is configured by a combination of one or more CPUs and software, and the processor functions as a plurality of processing units.
  • S ⁇ C System on Chip
  • circuitry an electric circuit in which circuit elements such as semiconductor elements are combined.
  • the method of the present invention can be implemented by, for example, a program for causing a computer to execute each of the steps. It is also possible to provide a computer-readable recording medium in which this program is recorded.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Endoscopes (AREA)

Abstract

本発明の超音波内視鏡システムおよび超音波内視鏡システムの作動方法においては、超音波画像認識部が、学習用超音波画像と学習用超音波画像に表示されている臓器の名称との関係と、学習用超音波画像と学習用超音波画像の撮影時の超音波内視鏡の先端部の位置と、の関係と、の少なくとも一方を複数の学習用超音波画像について予め学習しておく。超音波画像認識部が、学習結果に基づいて、診断用超音波画像から、診断用超音波画像に表示されている臓器の名称と、超音波内視鏡の先端部の位置と、の少なくとも一方を認識し、表示制御部が、臓器の名称および超音波内視鏡の先端部の位置の少なくとも１つをモニタに表示させる。

Description

\¥0 2020/174778 1 卩（：17 2019/045429 明 細 書
発明の名称 ：
超音波内視鏡システムおよび超音波内視鏡システムの作動方法
技術分野
[0001 ] 本発明は、 超音波を用いて、 被検体の体内の観察対象部位の状態を観察す る超音波内視鏡システムおよび超音波内視鏡システムの作動方法に関する。 背景技術
[0002] 超音波内視鏡システムは、 経消化管による脖臓又は胆嚢等の観察を主な目 的として、 内視鏡観察部および超音波観察部を先端に有する超音波内視鏡を 被検体の消化管内へ挿入し、 消化管内の内視鏡画像、 および消化管壁の外側 にある部位の超音波画像を撮像する。
[0003] 超音波内視鏡システムでは、 超音波内視鏡の先端に有する照明部から消化 管内の観察対象隣接部位に照明光を照射し、 その反射光を超音波内視鏡の先 端に有する撮像部によって受信し、 反射光の撮像信号から内視鏡画像が生成 される。 また、 超音波内視鏡の先端に有する複数の超音波振動子により、 消 化管壁の外側にある臓器等の観察対象部位に超音波を送受信し、 超音波の受 信信号から超音波画像が生成される。
[0004] 内視鏡画像を観察する場合、 超音波内視鏡を被検体の消化管内に挿入する と、 例えば食道の内壁が見えてきて、 さらに超音波内視鏡の先端部を押し進 めると、 胃の内壁が見えてくるというように、 術者 （超音波内視鏡システム のユーザ） は、 今現在、 超音波内視鏡の先端部が被検体の消化器内のどの位 置にあって、 どの方向を向いていて、 どの部位を観察しているのかが比較的 分かりやすい。
[0005] これに対し、 超音波画像に不慣れな術者は、 超音波画像に何が表示されて いるのか、 例えば脖臓なのか胆嚢なのか、 あるいは血管なのか胆管なのか脖 管なのか、 さらに、 超音波画像に表示されている脖臓および胆嚢等の臓器の 範囲がどこなのか等が非常に分かりづらいという問題がある。 また、 超音波 〇 2020/174778 2 卩（：170?2019/045429
画像に不慣れな術者は、 超音波画像の観察中に、 今現在、 超音波内視鏡の先 端部がどの位置にあって、 どの方向を向いていて、 どの部位を観察している のかが分からなくなり、 被検体の体内において迷うという問題がある。
[0006] ここで、 本発明に関連性のある先行技術文献として、 特許文献 1〜 4があ る。
[0007] 特許文献 1 には、 被検体内の診断部位の画像中の目的部位を大まかに抽出 し、 ニユーラルネッ トワークを用いて目的部位を認識するための大局情報を 予測し、 大局情報を用いて目的部位の輪郭を認識し、 原画像と共にその認識 結果を表示することが記載されている。
[0008] 特許文献 2には、 コイルからの電気信号に基づいて、 超音波内視鏡の先端 部の位置 ·配向データを生成し、 この位置 ·配向データから、 超音波内視鏡 の挿入形状を示すための挿入形状データを生成し、 被検者の臓器群等の組織 構造の 3次元生体組織モデルデータと組み合わせることによりガイ ド画像を 生成し、 超音波画像とガイ ド画像とを合成した合成画像の映像信号を生成し てモニタに表示することが記載されている。
また、 特許文献 2には、 立体ガイ ド画像及び断面ガイ ド画像が画面の左側 の領域に配置され、 超音波画像が画面の右側の領域に配置されつつ表示され ることが記載されている。
さらに、 特許文献 2には、 超音波画像の表示レンジを拡大または縮小する ためのボタンが記載されている。
[0009] 特許文献 3には、 表示装置の画面内に被検体の超音波断層像とその光学的 画像とを一箇所に隣接表示し、 両画像を同時に観察しうるようにすることが 記載されている。
[0010] 特許文献 4には、 超音波画像と、 模式図とが同一画面に表示され、 模式図 が、 シエーマ図もしくは人体の実際の光学画像であり、 模式図において、 超 音波内視鏡の走査面と揷入形状をあわせて表示することが記載されている。 また、 特許文献 4には、 コイルを用いて検出された超音波内視鏡の位置及 び方向の信号から、 超音波内視鏡の走査位置の領域を検出して超音波走査領 〇 2020/174778 3 卩（：170?2019/045429
域データを出力し、 部位名記憶部から超音波走査領域データに対応した部位 名データを読み出し、 超音波画像上に部位名を重畳して表示することが記載 されている。
先行技術文献
特許文献
[001 1 ] 特許文献 1 :特開平 0 6— 2 3 3 7 6 1号公報
特許文献 2 :特開 2 0 1 0 _ 0 6 9 0 1 8号公報
特許文献 3 :特開平 0 2 - 0 4 5 0 4 5号公報
特許文献 4 :特開 2 0 0 4 _ 1 1 3 6 2 9号公報
発明の概要
発明が解決しようとする課題
[0012] 特許文献 1 には、 診断部位の画像中の目的部位の輪郭を認識することが記 載されているが、 画像から、 目的部位の名称を認識することは記載されてい ない。
特許文献 2、 4には、 コイルを用いて超音波内視鏡の先端部の位置および 向きを検出することが記載されているが、 コイル等の追加の部品を必要とせ ず、 超音波画像から、 超音波内視鏡の先端部の位置および向きを検出するこ とは記載されていない。
特許文献 2〜 4には、 シエーマ図等のガイ ド画像、 内視鏡画像、 及び超音 波画像を組み合わせて表示させることが記載されているが、 ユーザからの指 示に応じて、 これらの画像の組み合わせを切り替えて見やすく表示させるこ とは記載されていない。 また、 例えばシエーマ図等のガイ ド画像、 内視鏡画 像、 及び超音波画像を組み合わせて表示させることは記載されていない。 特許文献 4には、 超音波画像上に部位名を重畳して表示することが記載さ れているが、 部位名データ等の追加のデータを用いることなく、 超音波画像 から、 その超音波画像に表示されている部位の名称を認識して表示させるこ とは記載されていない。 〇 2020/174778 卩（：170?2019/045429
さらに、 特許文献 1〜 4には、 超音波画像に表示されている臓器の名称と 臓器の範囲とを同時に表示させたり、 超音波内視鏡の先端部の位置さらには 向きと臓器の範囲とを同時に表示させたり、 超音波画像に表示されている臓 器の名称と、 超音波内視鏡の先端部の位置さらには向きと、 超音波画像に表 示されている臓器の範囲とを同時に表示させたりすることは記載されていな い。
[0013] 従って、 本発明の第 1の目的は、 超音波画像から、 超音波画像に表示され ている臓器の名称さらには臓器の範囲と、 超音波内視鏡の先端部の位置さら には向きと、 を認識し、 モニタに表示させることができる超音波内視鏡シス テムおよび超音波内視鏡システムの作動方法を提供することにある。
また、 本発明の第 2の目的は、 ユーザからの指示に応じて、 内視鏡画像、 超音波画像、 及び解剖学シエーマ図を切り替えて見やすく表示させることが できる超音波内視鏡システムおよび超音波内視鏡システムの作動方法を提供 することにある。
課題を解決するための手段
[0014] 上記目的を達成するために、 本発明は、 超音波振動子を先端に有する超音 波内視鏡と、
超音波振動子により超音波を送受信させ、 超音波の受信信号から診断用超 音波画像を生成する超音波観測装置と、
学習用超音波画像と学習用超音波画像に表示されている臓器の名称との関 係と、 学習用超音波画像と学習用超音波画像の撮影時の超音波内視鏡の先端 部の位置との関係と、 の少なくとも一方を複数の学習用超音波画像について 予め学習しておき、 学習結果に基づいて、 診断用超音波画像から、 診断用超 音波画像に表示されている臓器の名称と、 超音波内視鏡の先端部の位置と、 の少なくとも一方を認識する超音波画像認識部と、
超音波画像認識部によって認識された臓器の名称および超音波内視鏡の先 端部の位置の少なくとも 1つをモニタに表示させる表示制御部と、 を備える 、 超音波内視鏡システムを提供する。 〇 2020/174778 5 卩（：170?2019/045429
[0015] ここで、 さらに、 ユーザから入力される指示を取得する指示取得部を備え 表示制御部は、 ユーザからの指示に応じて、 診断用超音波画像に臓器の名 称を重ねて表示し、 解剖学シエーマ図に超音波内視鏡の先端部の位置を重ね て表示することが好ましい。
[0016] また、 表示制御部は、 ユーザからの指示に応じて、 臓器の名称が表示され ていない診断用超音波画像、 臓器の名称が重ねて表示された診断用超音波画 像、 超音波内視鏡の先端部の位置が表示されていない解剖学シエーマ図、 お よび超音波内視鏡の先端部の位置が重ねて表示された解剖学シエーマ図の中 から、 臓器の名称が重ねて表示された診断用超音波画像および超音波内視鏡 の先端部の位置が重ねて表示された解剖学シエーマ図の少なくとも一方を含 む 2以上の画像をモニタの画面内に並べて表示させることが好ましい。
[0017] 超音波内視鏡が、 さらに照明部および撮像部を先端に有し、
さらに、 照明部から照射される照明光の反射光を撮像部によって受信させ 、 反射光の撮像信号から診断用内視鏡画像を生成する内視鏡プロセッサと、 ユーザから入力される指示を取得する指示取得部と、 を備え、 表示制御部は、 ユーザからの指示に応じて、 診断用内視鏡画像をモニタの 画面内に表示させることが好ましい。
[0018] さらに、 診断用内視鏡画像から、 診断用内視鏡画像に表示されている病変 領域を認識する内視鏡画像認識部を備え、
表示制御部は、 ユーザからの指示に応じて、 病変領域が重ねて表示された 診断用内視鏡画像をモニタに表示させることが好ましい。
[0019] また、 表示制御部は、 ユーザからの指示に応じて、 病変領域が表示されて いない診断用内視鏡画像、 病変領域が重ねて表示された診断用内視鏡画像、 臓器の名称が表示されていない診断用超音波画像、 臓器の名称が重ねて表示 された診断用超音波画像、 超音波内視鏡の先端部の位置が表示されていない 解剖学シエーマ図、 および超音波内視鏡の先端部の位置が重ねて表示された 解剖学シエーマ図の中から、 臓器の名称が重ねて表示された診断用超音波画 〇 2020/174778 6 卩（：170?2019/045429
像および超音波内視鏡の先端部の位置が重ねて表示された解剖学シエーマ図 の少なくとも一方を含む 2以上の画像をモニタの画面内に並べて表示させる ことが好ましい。
[0020] また、 モニタに表示された 2以上の画像の中から、 1の画像を注目画像と して他の画像よりも大きく表示させることが好ましい。
[0021 ] また、 表示制御部は、 ユーザからの指示に応じて、 注目画像を 1の画像か ら他の画像のうちの 1つに切り替えて表示させることが好ましい。
[0022] また、 表示制御部は、 ユーザからの指示に応じて、 臓器の名称が表示され ていない診断用超音波画像、 臓器の名称が重ねて表示された診断用超音波画 像、 および超音波内視鏡の先端部の位置が重ねて表示された解剖学シエーマ 図をモニタの画面内に並べて表示させることが好ましい。
[0023] また、 診断用超音波画像または解剖学シエーマ図がモニタの画面内に表示 される場合に超音波画像認識部が動作し、 診断用内視鏡画像がモニタの画面 内に表示される場合に内視鏡画像認識部が動作することが好ましい。
[0024] また、 超音波画像認識部は、 学習用超音波画像と学習用超音波画像に表示 されている臓器の名称との関係と、 学習用超音波画像と学習用超音波画像の 撮影時の超音波内視鏡の先端部の位置および向きとの関係と、 の少なくとも 一方を複数の学習用超音波画像について予め学習しておき、 学習結果に基づ いて、 診断用超音波画像から、 診断用超音波画像に表示されている臓器の名 称と、 超音波内視鏡の先端部の位置および向きと、 の少なくとも一方を認識 し、
表示制御部は、 超音波画像認識部によって認識された臓器の名称と、 超音 波画像認識部によって認識された超音波内視鏡の先端部の位置および向きと 、 の少なくとも 1つをモニタに表示させることが好ましい。
[0025] さらに、 ユーザから入力される指示を取得する指示取得部を備え、
表示制御部は、 ユーザからの指示に応じて、 超音波内視鏡の先端部の位置 および向きが重ねて表示された解剖学シエーマ図をモニタに表示させること が好ましい。 〇 2020/174778 7 卩（：170?2019/045429
[0026] 超音波画像認識部は、 さらに、 学習用超音波画像と学習用超音波画像に表 示されている臓器の範囲との関係を複数の学習用超音波画像について予め学 習しておき、 学習結果に基づいて、 診断用超音波画像から、 診断用超音波画 像に表示されている臓器の範囲を認識し、
表示制御部は、 さらに、 超音波画像認識部によって認識された臓器の範囲 をモニタに表示させることが好ましい。
[0027] また、 表示制御部は、 超音波画像認識部によって認識された臓器の範囲の 内部領域を着色し、 内部領域が着色された臓器の範囲をモニタに表示させる か、 または、 超音波画像認識部によって認識された臓器の範囲を示す枠を設 けて枠を着色し、 枠が着色された臓器の範囲をモニタに表示させることが好 ましい。
[0028] また、 表示制御部は、 超音波画像認識部によって範囲が認識された臓器の 種類毎に、 内部領域または枠を異なる色に着色することが好ましい。
[0029] さらに、 ユーザから入力される指示を取得する指示取得部と、
ユーザからの指示に応じて、 臓器の種類と内部領域または枠の色との関係 を登録する色登録部と、 を備え、
表示制御部は、 内部領域または枠を、 ユーザからの指示によって指定され た色に着色するか、 あるいは、 色登録部に登録された臓器の種類に対応する 内部領域または枠の色に着色することが好ましい。
[0030] 超音波画像認識部は、 さらに、 超音波画像認識部によって認識された臓器 の名称の確信度を算出し、
表示制御部は、 確信度に応じて、 モニタに表示させる臓器の名称の表示方 法、 および、 内部領域または枠の着色方法の少なくとも一方を決定すること が好ましい。
[0031 ] また、 表示制御部は、 診断用超音波画像に臓器の名称を重ねて表示させる 場合、 臓器の名称の表示領域の背後に表示されている診断用超音波画像の輝 度に応じて、 臓器の名称の色、 および、 内部領域または枠の色の少なくとも —方を決定することが好ましい。 〇 2020/174778 8 卩（：170?2019/045429
[0032] さらに、 ユーザから入力される指示を取得する指示取得部を備え、
表示制御部は、 ユーザからの指示に応じて、 超音波画像認識部によって認 識された臓器の名称、 および、 内部領域または枠が着色された臓器の範囲の —方のみを表示させるか、 両方を表示させるか、 両方とも表示させないか、 を切り替えることが好ましい。
[0033] また、 表示制御部は、 超音波画像認識部によって認識された臓器の範囲に 応じて、 超音波画像認識部によって認識された臓器の名称をモニタに表示さ せる位置を決めることが好ましい。
[0034] また、 表示制御部は、 超音波画像認識部によって認識された臓器の範囲に 応じて、 超音波画像認識部によって認識された臓器の名称をモニタに表示さ せるか否かを決めることが好ましい。
[0035] さらに、 ユーザから入力される指示を取得する指示取得部と、
ユーザからの指示に応じて、 範囲を表示させる臓器の種類を登録する臓器 登録部と、 を備え、
表示制御部は、 超音波画像認識部によって範囲が認識された臓器が、 臓器 登録部に登録されている臓器である場合に、 超音波画像認識部によって認識 された臓器の範囲をモニタに表示させることが好ましい。
[0036] さらに、 ユーザから入力される指示を取得する指示取得部を備え、
表示制御部は、 ユーザからの指示に応じて、 範囲を表示させる臓器の種類 を順次切り替えることが好ましい。
[0037] また、 超音波画像認識部は、 超音波観測装置に内蔵されていることが好ま しい。
[0038] 超音波内視鏡が、 さらに照明部および撮像部を先端に有し、
さらに、 照明部から照射される照明光の反射光を撮像部によって受信させ 、 反射光の撮像信号から診断用内視鏡画像を生成する内視鏡プロセッサを備 え、
超音波画像認識部は、 内視鏡プロセッサに内蔵されていることが好ましい。
[0039] 超音波内視鏡が、 さらに照明部および撮像部を先端に有し、 〇 2020/174778 9 卩（：170?2019/045429
さらに、 照明部から照射される照明光の反射光を撮像部によって受信させ 、 反射光の撮像信号から診断用内視鏡画像を生成する内視鏡プロセッサを備 え、
超音波画像認識部は、 超音波観測装置および内視鏡プロセッサの外部に設け られていることが好ましい。
[0040] また、 本発明は、 超音波画像認識部が、 学習用超音波画像と学習用超音波 画像に表示されている臓器の名称との関係と、 学習用超音波画像と学習用超 音波画像の撮影時の超音波内視鏡の先端部の位置との関係と、 の少なくとも 一方を複数の学習用超音波画像について予め学習しておくステップと、 超音波観測装置が、 超音波内視鏡の先端に有する超音波振動子により超音 波を送受信させ、 超音波の受信信号から診断用超音波画像を生成するステッ プと、
超音波画像認識部が、 学習結果に基づいて、 診断用超音波画像から、 診断 用超音波画像に表示されている臓器の名称と、 超音波内視鏡の先端部の位置 と、 の少なくとも一方を認識するステップと、
表示制御部が、 超音波画像認識部によって認識された臓器の名称および超 音波内視鏡の先端部の位置の少なくとも 1つをモニタに表示させるステップ と、 を含む、 超音波内視鏡システムの作動方法を提供する。
[0041 ] ここで、 ユーザからの指示に応じて、 診断用超音波画像に臓器の名称を重 ねて表示し、 解剖学シエーマ図に超音波内視鏡の先端部の位置を重ねて表示 することが好ましい。
[0042] また、 ユーザからの指示に応じて、 臓器の名称が表示されていない診断用 超音波画像、 臓器の名称が重ねて表示された診断用超音波画像、 超音波内視 鏡の先端部の位置が表示されていない解剖学シエーマ図、 および超音波内視 鏡の先端部の位置が重ねて表示された解剖学シエーマ図の中から、 臓器の名 称が重ねて表示された診断用超音波画像および超音波内視鏡の先端部の位置 が重ねて表示された解剖学シエーマ図の少なくとも一方を含む 2以上の画像 をモニタの画面内に並べて表示させることが好ましい。 〇 2020/174778 10 卩（：170?2019/045429
[0043] また、 モニタに表示された 2以上の画像の中から、 1の画像を注目画像と して他の画像よりも大きく表示させることが好ましい。
[0044] また、 ユーザからの指示に応じて、 注目画像を 1の画像から他の画像のう ちの 1つに切り替えて表示させることが好ましい。
[0045] また、 学習用超音波画像と学習用超音波画像に表示されている臓器の名称 との関係と、 学習用超音波画像と学習用超音波画像の撮影時の超音波内視鏡 の先端部の位置および向きとの関係と、 の少なくとも一方を複数の学習用超 音波画像について予め学習しておき、
学習結果に基づいて、 診断用超音波画像から、 診断用超音波画像に表示さ れている臓器の名称と、 超音波内視鏡の先端部の位置および向きと、 の少な くとも一方を認識し、
超音波画像認識部によって認識された臓器の名称と、 超音波画像認識部に よって認識された超音波内視鏡の先端部の位置および向きと、 の少なくとも 1つをモニタに表示させることが好ましい。
[0046] さらに、 超音波画像認識部が、 学習用超音波画像と学習用超音波画像に表 示されている臓器の範囲との関係を複数の学習用超音波画像について予め学 習しておくステップと、
超音波画像認識部が、 学習結果に基づいて、 診断用超音波画像から、 診断 用超音波画像に表示されている臓器の範囲を認識するステップと、
表示制御部が、 超音波画像認識部によって認識された臓器の範囲をモニタ に表示させるステップと、 を含むことが好ましい。
[0047] また、 超音波画像認識部、 表示制御部、 指示取得部および内視鏡画像認識 部は、 ハードウエア、 または、 プログラムを実行するプロセッサであること が好ましく、 色登録部および臓器登録部は、 ハードウエア、 または、 メモリ であるのが好ましい。
発明の効果
[0048] 本発明によれば、 診断用超音波画像に表示されている臓器の名称さらには 臓器の範囲がモニタに表示されるため、 たとえ超音波画像に不慣れなユーザ 〇 2020/174778 1 1 卩（：170?2019/045429
であっても、 超音波画像に何が表 され、 超音波画像に表/」、されている臓器 の範囲がどこなのかを正しく認識することができる。 また、 超音波内視鏡の 先端部の位置および向きがモニタに表示されるため、 たとえ超音波画像に不 慣れなユーザであっても、 今現在、 超音波内視鏡の先端部がどの位置にあっ て、 どの方向を向いていて、 どの部位を観察しているのかを正しく認識する ことができ、 被検体の体内において迷うことがなくなる。
また、 本発明によれば、 内視鏡画像、 超音波画像および解剖学シエーマ図 を切り替えて見やすく表示させることができる。 ユーザが関心のある注目画 像は、 その時々によって変化するが、 ユーザは、 注目画像を任意のタイミン グで切り替えることができるため、 その時々に関心のある画像を注目画像し て他の画像よりも大きく表示させて閲覧することができる。
図面の簡単な説明
［0049］ ［図 1］本発明の第 1実施形態に係る超音波内視鏡システムの概略構成を示す図 である。
［図 2］超音波内視鏡の揷入部の先端部及びその周辺を示す平面図である。
［図 3］超音波内視鏡の揷入部の先端部を図 2に図示の I _ I断面にて切断した ときの断面を示す図である。
［図 4］内視鏡画像認識部の構成を表す一実施形態のブロック図である。
［図 5］超音波観測装置の構成を示すブロック図である。
［図 6］超音波画像認識部の構成を表す一実施形態のブロック図である。
［図 7八］大動脈、 腹腔動脈、 上腸間膜動脈の合流部を表す一実施形態の解剖学 シエーマ図である。
［図 78］図 7 に示す、 大動脈、 腹腔動脈、 上腸間膜動脈の合流部の超音波画 像を表す一実施形態の概念図である。
［図 8八］脖尾部を表す一実施形態の解剖学シエーマ図である。
［図 88］図 8 に示す、 脖尾部の超音波画像を表す一実施形態の概念図である
［図 9八］脾静脈、 上腸間膜静脈、 及び門脈の合流部を表す _実施形態の解剖学 〇 2020/174778 12 卩（：170?2019/045429
シエーマ図である。
［図 98］図 9 に示す、 脾静脈、 上腸間膜静脈、 及び門脈の合流部の超音波画 像を表す一実施形態の概念図である。
［図 10八］脖頭部を表す一実施形態の解剖学シエーマ図である。
［図 108］図 1 0 に示す、 脖頭部の超音波画像を表す一実施形態の概念図であ る。
［図 1 1］超音波内視鏡システムを用いた診断処理の流れを示す図である。
［図 12］診断処理中の診断ステップの手順を示す図である。
［図 13八］診断用超音波画像および解剖学シエーマ図の表示位置を表す一実施形 態の概念図である。
［図 138］図 1 3八に示す、 診断用超音波画像および解剖学シエーマ図を表す一 実施形態の概念図である。
［図 14八］第 1の診断用超音波画像、 第 2の診断用超音波画像および解剖学シエ ーマ図の表示位置を表す一実施形態の概念図である。
［図 148］図 1 4八に示す、 第 1の診断用超音波画像、 第 2の診断用超音波画像 および解剖学シエーマ図を表す一実施形態の概念図である。
［図 15八］内視鏡画像、 診断用超音波画像および解剖学シエーマ図の表示位置を 表す一実施形態の概念図である。
［図 158］図 1 5 に示す、 内視鏡画像、 診断用超音波画像および解剖学シエー マ図を表す _実施形態の概念図である。
［図 16］モニタに表示された画像の中から、 注目画像が、 1の画像から他の画 像のうちの 1つに切り替えられて表示される場合の様子を表す一実施形態の 概念図である。
［図 17］超音波画像認識部が超音波観測装置に内蔵されている場合の超音波内 視鏡システムの構成を表す一実施形態のブロック図である。
［図 18］超音波画像認識部が内視鏡プロセッサに内蔵されている場合の超音波 内視鏡システムの構成を表す一実施形態のブロック図である。
［図 19］超音波画像認識部が超音波観測装置および内視鏡プロセッサの外部に 〇 2020/174778 13 卩（：170?2019/045429
設けられている場合の超音波内視鏡システムの構成を表す一実施形態のブロ ック図である。
［図 20］第 2実施形態の超音波観測装置の構成を示すブロック図である。
［図 21］第 2実施形態の超音波画像認識部の構成を表すブロック図である。
［図 22八］臓器の範囲を着色させずに、 臓器の名称のみを表示させた超音波画像 を表す _実施形態の概念図である。
［図 228］臓器の名称を表示させずに、 臓器の範囲のみを着色させた超音波画像 を表す _実施形態の概念図である。
発明を実施するための形態
［0050］ 本発明の一実施形態 （本実施形態） に係る超音波内視鏡システムについて 、 添付の図面に示す好適な実施形態を参照しながら、 以下に詳細に説明する なお、 本実施形態は、 本発明の代表的な実施態様であるが、 あくまでも一 例に過ぎず、 本発明を限定するものではない。
［0051］ «超音波内視鏡システムの概要»
本実施形態に係る超音波内視鏡システム 1 0について、 図 1 を参照しなが ら、 その概要を説明する。 図 1は、 超音波内視鏡システム 1 〇の概略構成を 示す第 1実施形態の図である。
［0052］ 超音波内視鏡システム 1 0は、 超音波を用いて、 被検体である患者の体内 の観察対象部位の状態を観察 （以下、 超音波診断ともいう） するために用い られる。 ここで、 観察対象部位は、 患者の体表側からは検査が困難な部位で あり、 例えば脖臓又は胆嚢等である。 超音波内視鏡システム 1 0を用いるこ とにより、 患者の体腔である食道、 胃、 十二指腸、 小腸、 及び大腸等の消化 管を経由して、 観察対象部位の状態及び異常の有無を超音波診断することが 可能である。
［0053］ 超音波内視鏡システム 1 0は、 超音波画像および内視鏡画像を取得するも のであり、 図 1 に示すように、 超音波内視鏡 1 2と、 超音波観測装置 1 4と 、 内視鏡プロセッサ 1 6と、 光源装置 1 8と、 モニタ 2 0と、 送水タンク 2 〇 2020/174778 14 卩（：170?2019/045429
1 3と、 吸引ポンプ 2 1 匕と、 操作卓 1 0 0と、 を有する。
[0054] 超音波内視鏡 1 2は、 患者の体腔内に挿入される揷入部 2 2と、 医師又は 技師等の術者 （ユーザ） によって操作される操作部 2 4と、 揷入部 2 2の先 端部 4 0に取り付けられた超音波振動子ユニッ ト 4 6 （図 2および図 3を参 照） と、 を備える。 超音波内視鏡 1 2は、 超音波観察部 3 6として、 超音波 振動子ユニッ ト 4 6が備える複数の超音波振動子 4 8を先端に有する （図 2 および図 3参照） 。 また、 超音波内視鏡 1 2は、 内視鏡観察部 3 8として、 照明窓 8 8等を含む照明部と、 観察窓 8 2、 対物レンズ 8 4および固体撮像 素子 8 6等を含む撮像部と、 を先端に有する （図 2および図 3参照） 。 術者 は、 超音波内視鏡 1 2の機能によって、 内視鏡画像および超音波画像を取得 する。
[0055] ここで、 「内視鏡画像」 は、 患者の体腔内壁を光学的手法によって撮影す ることで得られる画像である。 また、 「超音波画像」 は、 患者の体腔内から 観察対象部位に向かって送信された超音波の反射波 （エコー） を受信し、 そ の受信信号を画像化することで得られる画像である。
なお、 超音波内視鏡 1 2については、 後の項で詳しく説明する。
[0056] 超音波観測装置 1 4は、 ユニバーサルコード 2 6及びその端部に設けられ た超音波用コネクタ 3 2 3を介して超音波内視鏡 1 2に接続される。 超音波 観測装置 1 4は、 超音波内視鏡 1 2の超音波振動子ユニッ ト 4 6を制御して 超音波を送信させる。 また、 超音波観測装置 1 4は、 送信された超音波の反 射波 （エコー） を超音波振動子ユニッ ト 4 6が受信したときの受信信号を画 像化して超音波画像を生成する。 言い換えると、 超音波観測装置 1 4は、 超 音波振動子ユニッ ト 4 6が備える複数の超音波振動子 4 8により超音波を送 受信させ、 超音波の受信信号から診断用超音波画像 （以下、 単に超音波画像 ともいう） を生成する。
なお、 超音波観測装置 1 4については、 後の項で詳しく説明する。
[0057] 内視鏡プロセッサ 1 6は、 ユニバーサルコード 2 6及びその端部に設けら れた内視鏡用コネクタ 3 2 を介して超音波内視鏡 1 2に接続される。 内視 〇 2020/174778 1 5 卩（：170?2019/045429
鏡プロセッサ 1 6は、 超音波内視鏡 1 2 （詳しくは、 後述する固体撮像素子 8 6） によって撮像された観察対象隣接部位の画像データを取得し、 取得し た画像データに対して所定の画像処理を施して内視鏡画像を生成する。 言い 換えると、 内視鏡プロセッサ 1 6は、 超音波内視鏡 1 2の先端に有する照明 部から照射される照明光の反射光を、 同じく超音波内視鏡 1 2の先端に有す る撮像部によって受信させ、 反射光の撮像信号から診断用内視鏡画像 （以下 、 単に内視鏡画像ともいう） を生成する。
ここで、 「観察対象隣接部位」 とは、 患者の体腔内壁のうち、 観察対象部 位と隣り合う位置にある部分である。
[0058] なお、 本実施形態では、 超音波観測装置 1 4及び内視鏡プロセッサ 1 6が 、 別々に設けられた 2台の装置 （コンピュータ） によって構成されている。 ただし、 これに限定されるものではなく、 1台の装置によって超音波観測装 置 1 4及び内視鏡プロセッサ 1 6の双方が構成されてもよい。
[0059] 光源装置 1 8は、 ユニバーサルコード 2 6及びその端部に設けられた光源 用コネクタ 3 2〇を介して超音波内視鏡 1 2に接続される。 光源装置 1 8は 、 超音波内視鏡 1 2を用いて観察対象隣接部位を撮像する際に、 赤光、 緑光 及び青光の 3原色光からなる白色光又は特定波長光を照射する。 光源装置 1 8が照射した光は、 ユニバーサルコード 2 6に内包されたライ トガイ ド （不 図示） を通じて超音波内視鏡 1 2内を伝搬し、 超音波内視鏡 1 2 （詳しくは 、 後述する照明窓 8 8） から出射される。 これにより、 観察対象隣接部位が 光源装置 1 8からの光によって照らされる。
[0060] モニタ 2 0は、 超音波観測装置 1 4及び内視鏡プロセッサ 1 6に接続され ており、 超音波観測装置 1 4により生成された超音波画像、 内視鏡プロセッ サ 1 6により生成された内視鏡画像の他、 解剖学シエーマ図等を表示する。 超音波画像及び内視鏡画像の表示方式としては、 1の画像を他の画像のう ちの 1つに切り替えてモニタ 2 0に表示する方式でもよく、 2以上の画像を 同時に並べて表示する方式でもよい。
なお、 本実施形態では、 一台のモニタ 2 0に超音波画像及び内視鏡画像を 〇 2020/174778 16 卩（：170?2019/045429
表示するが、 超音波画像表示用のモニタと、 内視鏡画像表示用のモニタと、 解剖学シエーマ図用のモニタと、 が別々に設けられてもよい。 また、 モニタ 2 0以外の表示形態、 例えば、 術者が携帯する端末のディスプレイに表示す る形態にて超音波画像及び内視鏡画像を表示してもよい。
[0061 ] 操作卓 1 0 0は、 術者 （ユーザ） から入力される指示を取得する指示取得 部の一例であり、 超音波診断に際して術者が必要な情報を入力したり、 超音 波観測装置 1 4に対して超音波診断の開始指示を行ったりするためなどに設 けられた装置である。 操作卓 1 〇〇は、 例えば、 キーボード、 マウス、 トラ ックボール、 タッチパッ ド及びタッチパネル等によって構成されている。 操 作卓 1 0 0が操作されると、 その操作内容に応じて超音波観測装置 1 4の〇 P U （制御回路） 1 5 2 （図 5参照） が装置各部 （例えば、 後述の受信回路 1 4 2及び送信回路 1 4 4） を制御する。
[0062] 具体的に説明すると、 術者は、 超音波診断を開始する前段階で、 検査情報 （例えば、 年月日及びオーダ番号等を含む検査オーダ情報、 及び、 患者丨 口 及び患者名等を含む患者情報） を操作卓 1 〇〇にて入力する。 検査情報の入 力完了後、 術者が操作卓 1 〇〇を通じて超音波診断の開始を指示すると、 超 音波観測装置 1 4の〇 リ 1 5 2が、 入力された検査情報に基づいて超音波 診断が実施されるように超音波観測装置 1 4各部を制御する。
[0063] また、 術者は、 超音波診断の実施に際して、 各種の制御パラメータを操作 卓 1 0 0にて設定することが可能である。 制御パラメータとしては、 例えば 、 ライブモード及びフリーズモードの選択結果、 表示深さ （深度） の設定値 、 及び、 超音波画像生成モードの選択結果等が挙げられる。
ここで、 「ライブモード」 は、 所定のフレームレートにて得られる超音波 画像 （動画像） を逐次表示 （リアルタイム表示） するモードである。 「フリ —ズモード」 は、 過去に生成された超音波画像 （動画像） の 1 フレームの画 像 （静止画像） を、 後述のシネメモリ 1 5 0から読み出して表示するモード である。
[0064] 本実施形態において選択可能な超音波画像生成モードは、 複数存在し、 具 〇 2020/174778 17 卩（：170?2019/045429
体的には、 B (B r i g h t n e s s) モード、 C F (Co l o r F l ow ) モード及び PW (P u l s e Wa v e) モードである。 Bモードは、 超音 波エコーの振幅を輝度に変換して断層画像を表示するモードである。 C Fモ —ドは、 平均血流速度、 フロー変動、 フロー信号の強さ又はフローパワー等 を様々な色にマツビングして Bモード画像に重ねて表示するモードである。 PWモードは、 パルス波の送受信に基づいて検出される超音波エコー源の速 度 (例えば、 血流の速度) を表示するモードである。
なお、 上述した超音波画像生成モードは、 あくまでも一例であり、 上述し た 3種類のモード以外のモード、 例えば、 A (Am p 丨 i t u d e) モード 、 M (Mo t i o n) モード及び造影モード等が更に含まれてもよい。
[0065] «超音波内視鏡 1 2の構成》
次に、 超音波内視鏡 1 2の構成について、 既出の図 1、 および図 2、 図 3 および図 5を参照しながら説明する。 図 2は、 超音波内視鏡 1 2の揷入部 2 2の先端部及びその周辺を拡大して示した平面図である。 図 3は、 超音波内 視鏡 1 2の揷入部 22の先端部 40を図 2に図示の丨 _ 丨断面にて切断した ときの断面を示す断面図である。
[0066] 超音波内視鏡 1 2は、 前述したように揷入部 22及び操作部 24を有する 。 揷入部 22は、 図 1 に示すように先端側 (自由端側) から順に、 先端部 4 0、 湾曲部 42及び軟性部 43を備える。 先端部 40には、 図 2に示すよう に超音波観察部 36及び内視鏡観察部 38が設けられている。 超音波観察部 36には、 図 3に示すように、 複数の超音波振動子 48を備える超音波振動 子ユニツ ト 46が配置されている。
[0067] また、 図 2に示すように先端部 40には処置具導出口 44が設けられてい る。 処置具導出口 44は、 鉗子、 穿刺針、 若しくは高周波メス等の処置具 ( 不図示) の出口となる。 また、 処置具導出口 44は、 血液及び体内汚物等の 吸引物を吸引する際の吸引口にもなる。
[0068] 湾曲部 42は、 先端部 40よりも基端側 (超音波振動子ュニッ ト 46が設 けられている側とは反対側) に連設された部分であり、 湾曲自在である。 軟 〇 2020/174778 18 卩（：170?2019/045429
性部 43は、 湾曲部 42と操作部 24との間を連結している部分であり、 可 撓性を有し、 細長く延びた状態で設けられている。
[0069] 揷入部 22及び操作部 24の各々の内部には、 送気送水用の管路及び吸引 用の管路が、 それぞれ複数形成されている。 さらに、 揷入部 22及び操作部
24の各々の内部には、 一端が処置具導出口 44に通じる処置具チャンネル 45が形成されている。
[0070] 次に、 超音波内視鏡 1 2の構成要素のうち、 超音波観察部 36、 内視鏡観 察部 38、 送水タンク 2 1 a及び吸引ポンプ 2 1 b、 並びに操作部 24に関 して詳しく説明する。
[0071] （超音波観察部 36）
超音波観察部 36は、 超音波画像を取得するために設けられた部分であり 、 揷入部 22の先端部 40において先端側に配置されている。 超音波観察部
36は、 図 3に示すように超音波振動子ユニッ ト 46と、 複数の同軸ケーブ ル 56と、 F PC （F l e x i b l e P r i n t e d C i r c u i t） 6 0とを備える。
[0072] 超音波振動子ユニッ ト 46は、 超音波探触子 （プローブ） に相当し、 患者 の体腔内において、 後述する複数の超音波振動子 48が配列された超音波振 動子アレイ 50を用いて超音波を送信し、 且つ、 観察対象部位にて反射した 超音波の反射波 （エコー） を受信して受信信号を出力する。 本実施形態に係 る超音波振動子ユニッ ト 46は、 コンベックス型であり、 放射状 （円弧状） に超音波を送信する。 ただし、 超音波振動子ユニッ ト 46の種類 （型式） に ついては特にこれに限定されるものではなく、 超音波を送受信できるもので あれば他の種類でもよく、 例えば、 ラジアル型、 リニア型等であってもよい
[0073] 超音波振動子ユニッ ト 46は、 図 3に示すようにバッキング材層 54と、 超音波振動子アレイ 50と、 音響整合層 74と、 音響レンズ 76とを積層さ せることで構成されている。
[0074] 超音波振動子アレイ 50は、 一次元アレイ状に配列された複数の超音波振 〇 2020/174778 19 卩（：170?2019/045429
動子 4 8 （超音波トランスデューサ） からなる。 より詳しく説明すると、 超 音波振動子アレイ 5 0は、 1\1個 （例えば N = 1 2 8） の超音波振動子 4 8が 先端部 4 0の軸線方向 （揷入部 2 2の長手軸方向） に沿って凸湾曲状に等間 隔で配列されることで構成されている。 なお、 超音波振動子アレイ 5 0は、 複数の超音波振動子 4 8を二次元アレイ状に配置して構成されたものであっ てもよい。
[0075] 個の超音波振動子 4 8の各々は、 圧電素子 （圧電体） の両面に電極を配 置することで構成されている。 圧電素子としては、 チタン酸バリウム （^1 \ 03 ） 、 チタン酸ジルコン酸鉛 ?!） 、 ニオブ酸カリウム 〇＜ 03） 等が用いら れる。
電極は、 複数の超音波振動子 4 8の各々に対して個別に設けられた個別電 極 （不図示） と、 複数の超音波振動子 4 8に共通の振動子グランド （不図示 ） とからなる。 また、 電極は、 同軸ケーブル 5 6及び 〇 6 0を介して超 音波観測装置 1 4と電気的に接続される。
[0076] 各超音波振動子 4 8には、 パルス状の駆動電圧が、 入力信号 （送信信号） として超音波観測装置 1 4から同軸ケーブル 5 6を通じて供給される。 この 駆動電圧が超音波振動子 4 8の電極に印加されると、 圧電素子が伸縮して超 音波振動子 4 8が駆動 （振動） する。 この結果、 超音波振動子 4 8からパル ス状の超音波が出力される。 このとき、 超音波振動子 4 8から出力される超 音波の振幅は、 その超音波振動子 4 8が超音波を出力した際の強度 （出力強 度） に応じた大きさとなっている。 ここで、 出力強度は、 超音波振動子 4 8 から出力された超音波の音圧の大きさとして定義される。
[0077] また、 各超音波振動子 4 8は、 超音波の反射波 （エコー） を受信すると、 これに伴って振動 （駆動） し、 各超音波振動子 4 8の圧電素子が電気信号を 発生する。 この電気信号は、 超音波の受信信号として各超音波振動子 4 8か ら超音波観測装置 1 4に向けて出力される。 このとき、 超音波振動子 4 8か ら出力される電気信号の大きさ （電圧値） は、 その超音波振動子 4 8が超音 波を受信した際の受信感度に応じた大きさとなっている。 ここで、 受信感度 〇 2020/174778 20 卩（：170?2019/045429
は、 超音波振動子 4 8が送信する超音波の振幅に対する、 その超音波振動子 4 8が超音波を受信して出力した電気信号の振幅の比として定義される。
[0078] 本実施形態では、 1\1個の超音波振動子 4 8をマルチプレクサ 1 4 0 （図 5 参照） などの電子スイッチで順次駆動させることで、 超音波振動子アレイ 5 0が配された曲面に沿った走査範囲、 例えば曲面の曲率中心から数 +
Figure imgf000022_0001
度の範囲で超音波が走査される。 より詳しく説明すると、 超音波画像として 巳モード画像 （断層画像） を取得する場合には、 マルチプレクサ 1 4 0の開 ロチャンネル選択により、 1\1個の超音波振動子 4 8のうち、 連続して並ぶ 個 （例えば、 〇! = 1\1 / 2） の超音波振動子 4 8 （以下では、 駆動対象振動子 と言う） に駆動電圧が供給される。 これにより、 〇!個の駆動対象振動子が駆 動され、 開ロチャンネルの各駆動対象振動子から超音波が出力される。 個 の駆動対象振動子から出力された超音波は、 直後に合成され、 その合成波 （ 超音波ビーム） が観察対象部位に向けて送信される。 その後、 個の駆動対 象振動子の各々は、 観察対象部位にて反射された超音波 （エコー） を受信し 、 その時点での受信感度に応じた電気信号 （受信信号） を出力する。
[0079] そして、 上記一連の工程 （すなわち、 駆動電圧の供給、 超音波の送受信、 及び電気信号の出力） は、 1\1個の超音波振動子 4 8における駆動対象振動子 の位置を 1つずつ （1個の超音波振動子 4 8ずつ） ずらして繰り返し行われ る。 具体的に説明すると、 上記一連の工程は、 1\!個の超音波振動子 4 8のう ち、 一方の端に位置する超音波振動子 4 8を中心とする、 その両側の 個の 駆動対象振動子から開始される。 そして、 上記一連の工程は、 マルチプレク サ 1 4 0による開ロチャンネルの切り替えによって駆動対象振動子の位置が ずれる度に繰り返される。 最終的に、 上記一連の工程は、 1\1個の超音波振動 子 4 8のうち、 他端に位置する超音波振動子 4 8を中心とする、 その両側の 個の駆動対象振動子に至るまで、 計 回繰り返して実施される。
[0080] バッキング材層 5 4は、 超音波振動子アレイ 5 0の各超音波振動子 4 8を 裏面側から支持する。 また、 バッキング材層 5 4は、 超音波振動子 4 8から 発せられた超音波、 若しくは観察対象部位にて反射された超音波 （エコー） 〇 2020/174778 21 卩（：170?2019/045429
のうち、 バッキング材層 5 4側に伝播した超音波を減衰させる機能を有する 。 なお、 バッキング材は、 硬質ゴム等の剛性を有する材料からなり、 超音波 減衰材 （フェライ ト及びセラミックス等） が必要に応じて添加されている。
[0081 ] 音響整合層 7 4は、 超音波振動子アレイ 5 0の上に重ねられており、 患者 の人体と超音波振動子 4 8との間の音響インピーダンス整合をとるために設 けられている。 音響整合層 7 4が設けられていることにより、 超音波の透過 率を高めることが可能となる。 音響整合層 7 4の材料としては、 音響インピ —ダンスの値が超音波振動子 4 8の圧電素子に比して、 より患者の人体のも のの値に近い様々な有機材料を用いることができる。 音響整合層 7 4の材料 としては、 具体的にはエポキシ系樹脂、 シリコンゴム、 ポリイミ ド及びポリ エチレン等が挙げられる。
[0082] 音響整合層 7 4上に重ねられた音響レンズ 7 6は、 超音波振動子アレイ 5
0から発せられる超音波を観察対象部位に向けて収束させるためのものであ る。 なお、 音響レンズ 7 6は、 例えば、 シリコン系樹脂 （ミラブル型シリコ ンゴム （1~1丁 ゴム） 、 液状シリコンゴム （[¾丁 ゴム） 等） 、 ブタジエン 系樹脂、 及びポリウレタン系樹脂等からなり、 必要に応じて酸化チタン、 ア ルミナ若しくはシリカ等の粉末が混合される。
[0083] 〇6 0は、 各超音波振動子 4 8が備える電極と電気的に接続される。
複数の同軸ケーブル 5 6の各々は、 その一端にて 9 0 6 0に配線されてい る。 そして、 超音波内視鏡 1 2が超音波用コネクタ 3 2 3を介して超音波観 測装置 1 4に接続されると、 複数の同軸ケーブル 5 6の各々は、 その他端 （ 〇 6 0側とは反対側） にて超音波観測装置 1 4と電気的に接続される。
[0084] （内視鏡観察部 3 8）
内視鏡観察部 3 8は、 内視鏡画像を取得するために設けられた部分であり 、 揷入部 2 2の先端部 4 0において超音波観察部 3 6よりも基端側に配置さ れている。 内視鏡観察部 3 8は、 図 2および図 3に示すように観察窓 8 2、 対物レンズ 8 4、 固体撮像素子 8 6、 照明窓 8 8、 洗浄ノズル 9 0及び配線 ケーブル 9 2等によって構成されている。 〇 2020/174778 22 卩（：170?2019/045429
[0085] 観察窓 82は、 揷入部 22の先端部 40において軸線方向 （揷入部 22の 長手軸方向） に対して斜めに傾けられた状態で取り付けられている。 観察対 象隣接部位にて反射されて観察窓 82から入射された光は、 対物レンズ 84 で固体撮像素子 86の撮像面に結像される。
[0086] 固体撮像素子 86は、 観察窓 82及び対物レンズ 84を透過して撮像面に 結像された観察対象隣接部位の反射光を光電変換して、 撮像信号を出力する 。 固体撮像素子 86としては、 CCD （C h a r g e Co u p l e d D e v i c e :電荷結合素子） 、 及び C M 0 S （Com p l e me n t a r y M e t a l 〇 x i d e S e m i c o n d u c t o r :相補形金属酸化膜半導体 ） 等が利用可能である。 固体撮像素子 86で出力された撮像画像信号は、 揷 入部 22から操作部 24まで延設された配線ケーブル 92を経由して、 ユニ バーサルコード 26により内視鏡プロセッサ 1 6に伝送される。
[0087] 照明窓 88は、 観察窓 82の両脇位置に設けられている。 照明窓 88には 、 ライ トガイ ド （不図示） の出射端が接続されている。 ライ トガイ ドは、 揷 入部 22から操作部 24まで延設され、 その入射端は、 ユニバーサルコード 26を介して接続された光源装置 1 8に接続されている。 光源装置 1 8で発 せられた照明光は、 ライ トガイ ドを伝わり、 照明窓 88から観察対象隣接部 位に向けて照射される。
[0088] 洗浄ノズル 90は、 観察窓 82及び照明窓 88の表面を洗浄するために揷 入部 22の先端部 40に形成された噴出孔であり、 洗浄ノズル 90からは、 空気又は洗浄用液体が観察窓 82及び照明窓 88に向けて噴出される。 なお 、 本実施形態において、 洗浄ノズル 90から噴出される洗浄用液体は、 水、 特に脱気水である。 ただし、 洗浄用液体については、 特に限定されるもので はなく、 他の液体、 例えば、 通常の水 （脱気されていない水） であってもよ い。
[0089] （送水タンク 2 1 a及び吸引ポンプ 2 1 b）
送水タンク 2 1 aは、 脱気水を貯留するタンクであり、 送気送水用チュー ブ 34 aにより光源用コネクタ 32 cに接続されている。 なお、 脱気水は、 〇 2020/174778 23 卩（：170?2019/045429
洗浄ノズル 9 0から噴出される洗浄用液体として用いられる。
[0090] 吸引ポンプ 2 1 匕は、 処置具導出口 4 4を通じて体腔内の吸引物 （洗浄用 に供給された脱気水を含む） を吸引する。 吸引ポンプ 2 1 匕は、 吸引用チユ —ブ 3 4
Figure imgf000025_0001
により光源用コネクタ 3 2〇に接続されている。 なお、 超音波内 視鏡システム 1 〇は、 所定の送気先に空気を送気する送気ポンプなどを備え ていてもよい。
[0091 ] 揷入部 2 2及び操作部 2 4内には、 処置具チャンネル 4 5と送気送水管路 （不図示） が設けられている。
[0092] 処置具チャンネル 4 5は、 操作部 2 4に設けられた処置具揷入口 3 0と処 置具導出口 4 4との間を連絡している。 また、 処置具チャンネル 4 5は、 操 作部 2 4に設けられた吸引ボタン 2 8匕に接続している。 吸引ボタン 2 8匕 は、 処置具チャンネル 4 5のほかに、 吸引ポンプ 2 1 13に接続されている。 送気送水管路は、 その一端側で洗浄ノズル 9 0に通じており、 他端側では 、 操作部 2 4に設けられた送気送水ボタン 2 8 3に接続している。 送気送水 ボタン 2 8 3は、 送気送水管路のほかに、 送水タンク 2 1 3に接続されてい る。
[0093] （操作部 2 4）
操作部 2 4は、 超音波診断の開始時、 診断中及び診断終了時等において術 者によって操作される部分であり、 その一端にはユニバーサルコード 2 6の 一端が接続されている。 また、 操作部 2 4は、 図 1 に示すように、 送気送水 ボタン 2 8 3、 吸引ボタン 2 8匕、 一対のアングルノブ 2 9、 並びに処置具 揷入口 （鉗子口） 3 0を有する。
[0094] 一対のアングルノブ 2 9の各々を回動すると、 湾曲部 4 2が遠隔的に操作 されて湾曲変形する。 この変形操作により、 超音波観察部 3 6及び内視鏡観 察部 3 8が設けられた揷入部 2 2の先端部 4 0を所望の方向に向けることが 可能となる。
処置具揷入口 3 0は、 鉗子等の処置具 （不図示） を揷通するために形成さ れた孔であり、 処置具チャンネル 4 5を介して処置具導出口 4 4と連絡して 〇 2020/174778 24 卩（：170?2019/045429
いる。 処置具挿入口 3 0に挿入された処置具は、 処置具チャンネル 4 5を通 過した後に処置具導出口 4 4から体腔内に導入される。
[0095] 送気送水ボタン 2 8 3及び吸引ボタン 2 8匕は、 2段切り替え式の押しボ タンであり、 揷入部 2 2及び操作部 2 4の各々の内部に設けられた管路の開 閉を切り替えるために操作される。
[0096] «内視鏡プロセッサ 1 6の概略構成》
ここでは、 内視鏡プロセッサ 1 6の詳細構成の説明は省略するが、 内視鏡 プロセッサ 1 6は、 内視鏡画像を撮像する従来公知の一般的な構成要素に加 えて、 内視鏡画像認識部 1 7 0を備えている。
[0097] 内視鏡画像認識部 1 7 0は、 学習用内視鏡画像と、 学習用内視鏡画像に表 示されている病変領域と、 の関係を複数の学習用内視鏡画像について予め学 習しておき、 学習結果に基づいて、 内視鏡プロセッサ 1 6によって生成され た診断用内視鏡画像から、 この診断用内視鏡画像に表示されている病変領域 を認識する。
学習用内視鏡画像は、 内視鏡画像認識部 1 7 0が、 内視鏡画像と、 内視鏡 画像に表示されている病変領域と、 の関係を学習するための既存の内視鏡画 像であり、 例えば過去に撮影された各種の内視鏡画像を利用することができ る。
[0098] 内視鏡画像認識部 1 7 0は、 図 4に示すように、 病変領域検出部 1 0 2と 、 位置情報取得部 1 0 4と、 選択部 1 0 6と、 病変領域検出制御部 1 0 8と 、 を備えている。
[0099] 病変領域検出部 1 0 2は、 学習結果に基づいて、 診断用内視鏡画像から病 変領域を検出する。 病変領域検出部 1 0 2は、 体腔内の複数の位置にそれぞ れ対応した複数の検出部を備えている。 ここでは、 一例として、 図 4に示す ように、 第 1〜第 1 1検出部 1 0 2八~ 1 0 2＜を備えている。 第 1検出部 1 0 2八は直腸に、 第 2検出部 1 0 2巳は3字結腸に、 第 3検出部 1 0 2〇 は下行結腸に、 第 4検出部 1 0 2 0は横行結腸に、 第 5検出部 1 0 2巳は上 行結腸に、 第 6検出部 1 0 2 は盲腸に、 第 7検出部 1 0 2〇は回腸に、 第 \¥0 2020/174778 25 卩（：17 2019/045429
8検出部 1 0 2 Hは空腸に、 第 9検出部 1 0 2 丨 は十二指腸に、 第 1 0検出 咅 P 1 0 2 Jは胃に、 第 1 1検出部 1 0 2 Kは食道に、 それぞれ対応している
[0100] 第 1〜第 1 1検出部 1 0 2 A〜 1 0 2 は、 それぞれ学習済みモデルであ る。 この複数の学習済みモデルは、 それぞれ異なる学習用内視鏡画像からな るデータセッ トを用いて学習したモデルである。 詳しくは、 複数の学習済み モデルは、 それぞれ体腔内の異なる位置を撮影した学習用内視鏡画像からな るデータセッ トを用いて、 学習用内視鏡画像と、 学習用内視鏡画像に表示さ れている病変領域と、 の関係を予め学習したモデルである。
[0101 ] すなわち、 第 1検出部 1 0 2 Aは直腸の学習用内視鏡画像からなるデータ セッ ト、 第 2検出部 1 0 2 Bは S字結腸の学習用内視鏡画像からなるデータ セッ ト、 第 3検出部 1 0 2 Cは下行結腸の学習用内視鏡画像からなるデータ セッ ト、 第 4検出部 1 0 2 Dは横行結腸の学習用内視鏡画像からなるデータ セッ ト、 第 5検出部 1 0 2 Eは上行結腸の学習用内視鏡画像からなるデータ セッ ト、 第 6検出部 1 0 2 Fは盲腸の学習用内視鏡画像からなるデータセッ 卜、 第 7検出部 1 0 2 Gは回腸の学習用内視鏡画像からなるデータセッ ト、 第 8検出部 1 0 2 Hは空腸の学習用内視鏡画像からなるデータセッ ト、 第 9 検出部 1 0 2 I は十二指腸の学習用内視鏡画像からなるデータセッ ト、 第 1 0検出部 1 0 2 Jは胃の学習用内視鏡画像からなるデータセッ ト、 第 1 1検 出部 1 0 2 Kは食道の学習用内視鏡画像からなるデータセッ トを用いて学習 したモデルである。
[0102] 学習方法は、 複数の学習用内視鏡画像から、 内視鏡画像と、 病変領域と、 の関係を学習し、 学習済みモデルを生成することができるものであれば特に 限定されない。
学習方法としては、 例えば人工知能 （AI : Art i f i c i a l Inte l l i gence） の技 術の 1つである機械学習 （マシンラーニング） の一例としての、 階層構造型 のニユーラルネッ トワークを用いるディーブラーニング （深層学習） 等を利 用することができる。 〇 2020/174778 26 卩（：170?2019/045429
なお、 ディーブラーニング以外の機械学習を利用してもよいし、 機械学習 以外の人工知能の技術を利用してもよいし、 人工知能の技術以外の学習方法 を利用してもよい。
[0103] また、 学習用内視鏡画像だけを使用して学習済みモデルを生成してもよい 。 この場合、 学習済みモデルは更新されず、 常に同じ学習済みモデルを使用 することができる。
あるいは、 学習用内視鏡画像に加えて、 診断用内視鏡画像を使用して学習 済みモデルを生成するように構成してもよい。 この場合、 診断用内視鏡画像 と、 この診断用内視鏡画像に表示されている病変領域と、 の関係を学習して 学習済みモデルが随時更新される。
[0104] 続いて、 位置情報取得部 1 0 4は、 内視鏡画像の体腔内の位置の情報を取 得する。 ここでは、 医師等の術者が操作卓 1 0 0を用いて位置の情報を入力 する。 位置情報取得部 1 0 4は、 操作卓 1 0 0から入力された位置の情報を 取得する。
[0105] 画像の体腔内の位置の情報として、 直腸、 3字結腸、 下行結腸、 横行結腸 、 上行結腸、 盲腸、 回腸、 空腸、 十二指腸、 胃、 及び食道等の情報が入力さ れる。 これらの位置候補を選択可能にモニタ 2 0に表示し、 医師等の術者が 操作卓 1 0 0を用いて選択するように構成してもよい。
[0106] 続いて、 選択部 1 0 6は、 病変領域検出部 1 0 2から、 位置情報取得部 1
0 4が取得した位置の情報に対応した検出部を選択する。 即ち、 選択部 1 0 6は、 位置の情報が直腸の場合は第 1検出部 1 0 2 を、 3字結腸の場合は 第 2検出部 1 0 2巳を、 下行結腸の場合は第 3検出部 1 0 2 (3を、 横行結腸 の場合は第 4検出部 1 0 2 0を、 上行結腸の場合は第 5検出部 1 0 2巳を、 盲腸の場合は第 6検出部 1 0 2 を、 回腸の場合は第 7検出部 1 0 2 0を、 空腸の場合は第 8検出部 1 0 2 1·!を、 十二指腸の場合は第 9検出部 1 0 2 I を、 胃の場合は第 1 〇検出部 1 0 2」を、 食道の場合は第 1 1検出部 1 0 2 を選択する。
[0107] 続いて、 病変領域検出制御部 1 0 8は、 選択部 1 0 6が選択した検出部に 〇 2020/174778 27 卩（：170?2019/045429
よって、 内視鏡画像から病変領域を検出させる。 ここでの病変領域とは、 病 気が原因のものに限定されず、 外観上正常な状態とは異なる状態の領域を含 んでいる。 病変領域としては、 例えば、 ポリープ、 癌、 大腸憩室、 炎症、 E MR (Endoscopic Mucosa I Resection) 瘢痕又は ES D (Endoscopic Submuc osal Dissection) 瘢痕等の治療痕、 クリップ箇所、 出血点、 穿孔、 及び血管 異型性等を例示することができる。
[0108] 内視鏡画像認識部 1 70においては、 位置情報取得部 1 04により、 内視 鏡画像の体腔内の位置の情報が取得される。
続いて、 選択部 1 06により、 病変領域検出部 1 02から、 位置情報取得 部 1 04が取得した位置の情報に対応した検出部が選択される。
続いて、 病変領域検出制御部 1 08により、 選択部 1 06が選択した検出 部が、 学習結果に基づいて、 診断用内視鏡画像から病変領域を検出するよう に制御される。
[0109] «超音波観測装置 1 4の構成》
超音波観測装置 1 4は、 超音波振動子ユニッ ト 46に超音波を送受信させ 、 且つ、 超音波受信時に超音波振動子 48 (詳しくは駆動対象素子) が出力 した受信信号を画像化して超音波画像を生成する。 また、 超音波観測装置 1 4は、 生成した超音波画像に加え、 内視鏡プロセッサ 1 6から転送される内 視鏡画像、 および解剖学シエーマ図等をモニタ 20に表示する。
[0110] 超音波観測装置 1 4は、 図 5に示すように、 マルチプレクサ 1 40、 受信 回路 1 42、 送信回路 1 44、 A/Dコンパータ 1 46、 AS I C (A p p I i c a t i o n S p e c i f i c I n t e g r a t e d C i r c u i t ) 1 48、 シネメモリ 1 50、 C P U (Ce n t r a l P r o c e s s i n g U n i t ) 1 52、 DSC (D i g i t a l S c a n Co n v e r t e r) 1 54、 超音波画像認識部 1 68、 及び表示制御部 1 72を有する。
[0111] 受信回路 1 42及び送信回路 1 44は、 超音波内視鏡 1 2の超音波振動子 アレイ 50と電気的に接続する。 マルチプレクサ 1 40は、 N個の超音波振 動子 48の中から最大 m個の駆動対象振動子を選択し、 そのチャンネルを開 〇 2020/174778 28 卩（：170?2019/045429
口させる。
送信回路 1 4 4は、 〇八 （フィールドプログラマブルゲートアレイ）
、 パルサー （パルス発生回路 1 5 8） 、
Figure imgf000030_0001
（スイッチ） 等からなり、 1\/1 11乂 （マルチプレクサ 1 4 0） に接続される。 なお、 〇八の代わりに 八3 I 0 （特定用途向け集積回路） を用いても良い。
[01 12] 送信回路 1 4 4は、 超音波振動子ユニッ ト 4 6から超音波を送信するため に、 0 II 1 5 2から送られてくる制御信号に従って、 マルチプレクサ 1 4 0により選択された駆動対象振動子に対して超音波送信用の駆動電圧を供給 する回路である。 駆動電圧は、 パルス状の電圧信号 （送信信号） であり、 ユ ニパーサルコード 2 6及び同軸ケーブル 5 6を介して駆動対象振動子の電極 に印加される。
[01 13] 送信回路 1 4 4は、 制御信号に基づいて送信信号を生成するパルス発生回 路 1 5 8を有しており、
Figure imgf000030_0002
の制御により、 パルス発生回路 1 5 8 を用いて、 複数の超音波振動子 4 8を駆動して超音波を発生させる送信信号 を生成して複数の超音波振動子 4 8に供給する。 より詳しくは、 送信回路 1 4 4は、
Figure imgf000030_0003
] 5 2の制御により、 超音波診断を行う場合に、 パルス発生 回路 1 5 8を用いて、 超音波診断を行うための駆動電圧を有する送信信号を 生成する。
[01 14] 受信回路 1 4 2は、 超音波 （エコー） を受信した駆動対象振動子から出力 される電気信号、 すなわち受信信号を受信する回路である。 また、 受信回路 1 4 2は、 C P [J ^ 5 2から送られてくる制御信号に従って、 超音波振動子 4 8から受信した受信信号を増幅し、 増幅後の信号を八/〇コンバータ 1 4 6に引き渡す。 八/〇コンバータ 1 4 6は、 受信回路 1 4 2と接続しており 、 受信回路 1 4 2から受け取った受信信号をアナログ信号からデジタル信号 に変換し、 変換後のデジタル信号を
Figure imgf000030_0004
[01 15] 八3 丨 〇 1 4 8は、 八/〇コンパータ 1 4 6と接続しており、 図 5に示す ように、 位相整合部 1 6 0、 巳モード画像生成部 1 6 2、 モード画像生 成部 1 6 4、 〇 モード画像生成部 1 6 6及びメモリコントローラ 1 5 1 を 〇 2020/174778 29 卩（：170?2019/045429
構成している。
なお、 本実施形態では、 AS I C 1 48のようなハードウエア回路によっ て上述の機能 （具体的には、 位相整合部 1 60、 Bモード画像生成部 1 62 、 PWモード画像生成部 1 64、 C Fモード画像生成部 1 66及びメモリコ ントローラ 1 5 1） を実現しているが、 これに限定されるものではない。 中 央演算装置 （C P U） と各種データ処理を実行させるためのソフトウヱア （ コンピュータプログラム） とを協働させることで上記の機能を実現させても よい。
[0116] 位相整合部 1 60は、 A/Dコンバータ 1 46によりデジタル信号化され た受信信号 （受信データ） に対して遅延時間を与えて整相加算する （受信デ —夕の位相を合わせてから加算する） 処理を実行する。 整相加算処理により 、 超音波エコーの焦点が絞り込まれた音線信号が生成される。
[0117] Bモード画像生成部 1 62、 PWモード画像生成部 1 64及び C Fモード 画像生成部 1 66は、 超音波振動子ュニッ ト 46が超音波を受信した際に複 数の超音波振動子 48のうちの駆動対象振動子が出力する電気信号 （厳密に は、 受信データを整相加算することで生成された音線信号） に基づいて、 超 音波画像を生成する。
[0118] Bモード画像生成部 1 62は、 患者の内部 （体腔内） の断層画像である B モード画像を生成する画像生成部である。 Bモード画像生成部 1 62は、 順 次生成される音線信号に対し、 STC （S e n s i t i v i t y T i me g a i n Co n t r o l） によって、 超音波の反射位置の深度に応じて伝搬 距離に起因する減衰の補正を施す。 また、 Bモード画像生成部 1 62は、 補 正後の音線信号に対して包絡線検波処理及び L〇 g （対数） 圧縮処理を施し て、 Bモード画像 （画像信号） を生成する。
[0119] PWモード画像生成部 1 64は、 所定方向における血流の速度を表示する 画像を生成する画像生成部である。 PWモード画像生成部 1 64は、 位相整 合部 1 60によって順次生成される音線信号のうち、 同一方向における複数 の音線信号に対して高速フーリエ変換を施すことで周波数成分を抽出する。 〇 2020/174778 30 卩（：170?2019/045429
その後、 モード画像生成部 1 6 4は、 抽出した周波数成分から血流の速 度を算出し、 算出した血流の速度を表示する
Figure imgf000032_0001
ド画像 （画像信号） を 生成する。
[0120] 0 モード画像生成部 1 6 6は、 所定方向における血流の情報を表示する 画像を生成する画像生成部である。 0 モード画像生成部 1 6 6は、 位相整 合部 1 6 0によって順次生成される音線信号のうち、 同一方向における複数 の音線信号の自己相関を求めることで、 血流に関する情報を示す画像信号を 生成する。 その後、 〇 モード画像生成部 1 6 6は、 上記の画像信号に基づ き、 巳モード画像生成部 1 6 2によって生成される巳モード画像信号に血流 に関する情報を重畳させたカラー画像としての 0 モード画像 （画像信号） を生成する。
[0121 ] メモリコントローラ 1 5 1は、 巳モード画像生成部 1 6 2、 モード画 像生成部 1 6 4又は 0 モード画像生成部 1 6 6が生成した画像信号をシネ メモリ 1 5 0に格納する。
[0122]
Figure imgf000032_0002
八 3 丨 〇 1 4 8に接続されており、 巳モ_ド画像生成部
1 6 2、 モード画像生成部 1 6 4又は 0 モード画像生成部 1 6 6が生 成した画像の信号を通常のテレビジョン信号の走査方式に従う画像信号に変 換 （ラスター変換） し、 画像信号に階調処理等の各種の必要な画像処理を施 した後に超音波画像認識部 1 6 8に出力する。
[0123] 超音波画像認識部 1 6 8は、 学習用超音波画像と学習用超音波画像に表示 されている臓器の名称 （観察対象部位の名称） との関係と、 学習用超音波画 像と学習用超音波画像の撮影時の超音波内視鏡の先端部 4 0の位置および向 きとの関係と、 の少なくとも一方を複数の学習用超音波画像について予め学 習しておき、 学習結果に基づいて、 超音波観測装置 1 4によって生成される 診断用超音波画像から、 この診断用超音波画像に表示されている臓器の名称 と、 超音波内視鏡 1 2の先端部 4 0の位置および向きと、 の少なくとも一方 を認識する。
学習用超音波画像は、 超音波画像認識部 1 6 8が、 超音波画像と、 臓器の 〇 2020/174778 31 卩（：170?2019/045429
名称と、 超音波内視鏡 1 2の先端部 4 0の位置および向きと、 の関係を学習 するための既存の超音波画像であり、 例えば過去に撮影された各種の超音波 画像を利用することができる。
[0124] 超音波画像認識部 1 6 8は、 図 6に示すように、 臓器名称検出部 1 1 2と 、 位置及び向き検出部 1 1 4と、 選択部 1 1 6と、 臓器名称検出制御部 1 1 8と、 を備えている。
[0125] 臓器名称検出部 1 1 2は、 学習結果に基づいて、 診断用超音波画像から、 診断用超音波画像に表示されている臓器の名称を検出する。 臓器名称検出部 1 1 2は、 被検体の体内の観察対象部位となる複数の位置にそれぞれ対応し た複数の検出部を備えている。 ここでは、 一例として、 第 1〜第 1 1検出部 1 1 2 ~ 1 1 2 を備えている。 第 1検出部 1 1 2 は大動脈、 腹腔動脈 、 及び上腸間膜動脈の合流部に、 第 2検出部 1 1 2巳は脖体部に、 第 3検出 部 1 1 2 (3は脖尾部に、 第 4検出部 1 1 2 0は脾静脈、 上腸間膜静脈、 及び 門脈の合流部 (コンフルエンス) に、 第 5検出部 1 1 2巳は脖頭部に、 第 6 検出部 1 1 2 は胆嚢に、 第 7検出部 1 1 2 0は門脈に、 第 8検出部 1 1 2 ! !は総胆管に、 第 9検出部 1 1 2 I は胆嚢に、 第 1 0検出部 1 1 2」は脖鉤 部に、 第 1 1検出部 1 1 2 は乳頭に、 それぞれ対応している。
[0126] 第 1〜第 1 1検出部 1 1 2八~ 1
Figure imgf000033_0001
それぞれ学習済みモデルであ る。 この複数の学習済みモデルは、 それぞれ異なる学習用超音波画像からな るデータセッ トを用いて学習したモデルである。 詳しくは、 複数の学習済み モデルは、 それぞれ被検体の体内の観察対象部位となる異なる位置を撮影し た学習用超音波画像からなるデータセッ トを用いて、 学習用超音波画像と、 学習用超音波画像に表示されている臓器の名称と、 の関係を予め学習したモ デルである。
[0127] 即ち、 第 1検出部 1 1 2 は大動脈、 腹腔動脈、 及び上腸間膜動脈の合流 部の学習用超音波画像からなるデータセッ ト、 第 2検出部 1 1 2巳は脖体部 の学習用超音波画像からなるデータセッ ト、 第 3検出部 1 1 2 (3は脖尾部の 学習用超音波画像からなるデータセッ ト、 第 4検出部 1 1 2 0は脾静脈、 上 〇 2020/174778 32 卩（：170?2019/045429
腸間膜静脈、 及び門脈の合流部の学習用超音波画像からなるデータセッ ト、 第 5検出部 1 1 2巳は脖頭部の学習用超音波画像からなるデータセッ ト、 第 6検出部 1 1 2 は胆嚢の学習用超音波画像からなるデータセッ ト、 第 7検 出部 1 1 20は門脈の学習用超音波画像からなるデータセッ ト、 第 8検出部 1 1 2 !!は総胆管の学習用超音波画像からなるデータセッ ト、 第 9検出部 1 1 2 1 は胆嚢の学習用超音波画像からなるデータセッ ト、 第 1 0検出部 1 1 2」は脖鉤部の学習用超音波画像からなるデータセッ ト、 第 1 1検出部 1 1 2＜は乳頭の学習用超音波画像からなるデータセッ トを用いて学習したモデ ルである。
[0128] 超音波画像を撮像する場合の体内の観察ルート (超音波内視鏡 1 2の先端 部 40の移動経路) 、 及び代表的な観察ポイント (超音波内視鏡 1 2の先端 部 40の位置および向き) は大体決められている。 そのため、 代表的な観察 ポイントにおける超音波画像と、 その超音波画像に表示されている臓器の名 称と、 その観察ポイントにおける超音波内視鏡 1 2の先端部 40の位置およ び向きと、 を関連付けて学習することができる。
[0129] 以下、 超音波画像を撮像する場合の体内の代表的な観察ポイント (超音波 内視鏡 1 2の先端部 40の位置および向き) について説明する。
[0130] 体内の代表的な観察ポイントとしては、 例えば以下の (1 ) 〜 (1 1 ) な どがある。
( 1 ) 大動脈、 腹腔動脈、 上腸間膜動脈の合流部
(2) 脖体部
(3) 脖尾部
(4) 脾静脈、 上腸間膜静脈、 及び門脈の合流部 (コンフルエンス)
(5) 脖頭部
(6) 胆嚢
(7) 門脈
(8) 総胆管
(9) 胆嚢 〇 2020/174778 33 卩（：170?2019/045429
（1 0） 脖鉤部
（1 1） 乳頭
ここで、 （1） 大動脈、 腹腔動脈、 上腸間膜動脈の合流部、 （2） 脖体部 、 （3） 脖尾部、 （4） 脾静脈、 上腸間膜静脈、 及び門脈の合流部、 （5） 脖頭部および （6） 胆嚢は、 胃内からの代表的な観察ポイントであり、 （7 ） 門脈、 （8） 総胆管および （9） 胆嚢は、 十二指腸球部からの代表的な観 察ポイントであり、 （1 0） 脖鉤部および （1 1） 乳頭は、 十二指腸下行部 からの代表的な観察ボイントである。
[0131 ] 例えば、 観察ポイントとして、 （1） 大動脈、 腹腔動脈、 上腸間膜動脈の 合流部、 （3） 脖尾部、 （4） 脾静脈、 上腸間膜静脈、 及び門脈の合流部、 および （5） 脖頭部の順に観察を行う場合の観察手順を説明する。
[0132] 図 7 は、 大動脈、 腹腔動脈、 上腸間膜動脈の合流部を表す一実施形態の 解剖学シエーマ図であり、 図 7巳は、 その超音波画像を表す一実施形態の概 念図である。 図 8八は、 脖尾部を表す一実施形態の解剖学シエーマ図であり 、 図 8巳は、 その超音波画像を表す一実施形態の概念図である。 図 9八は、 脾静脈、 上腸間膜静脈、 及び門脈の合流部を表す一実施形態の解剖学シエー マ図であり、 図 9巳は、 その超音波画像を表す一実施形態の概念図である。 図 1 〇八は、 脖頭部を表す一実施形態の解剖学シエーマ図であり、 図 1 〇巳 は、 その超音波画像を表す一実施形態の概念図である。
[0133] 図 7八および図 7巳において、 は肝静脈、
Figure imgf000035_0001
は下大静脈、 八〇は大動脈、 〇八は腹腔動脈、
Figure imgf000035_0002
は上腸間膜動脈、
Figure imgf000035_0003
は脾静脈を表す。
（1） 大動脈、 腹腔動脈、 上腸間膜動脈の合流部を観察する場合、 肝静脈 を追いながら、 超音波内視鏡 1 2の揷入部 2 2の先端部 4 0を時計回りに回 転させると、 下大静脈が描出される。 さらに、 先端部 4 0を時計回りに回転 させると、 大動脈が描出される。 大動脈に沿って先端部 4 0を押し進めると 、 図 7 および図 7巳に示すように、 腹腔動脈、 及び上腸間膜動脈が抽出さ れる。
[0134] 図 8 および図 8巳において、 は脾動脈、
Figure imgf000035_0004
は脾静脈、 3 は脖臓、 3 1 〇 2020/174778 34 卩（：170?2019/045429
66门は脾臓を表す 0
続いて、 （3） 脖尾部を観察する場合、 さらに、 先端部 4 0を時計回りに 回転させると、 脖体部、 脾動脈、 及び脾静脈が描出される。 さらに、 先端部 4 0を時計回りに回転させると、 脖体尾部、 及び左腎臓が描出される。 脾動 脈、 及び脾静脈を追いながら、 先端部 4 0を時計回りに回転させ、 アップア ングルにすると、 図 8八および図 8巳に示すように、 脖尾部から脾門部まで が描出される。
[0135] 図 9 および図 9巳において、
Figure imgf000036_0001
は脾静脈、
Figure imgf000036_0002
は上腸間膜静脈、 Vは門脈 、 卩〇は脖管を表す。
続いて、 （4） 脾静脈、 上腸間膜静脈、 及び門脈の合流部を観察する場合 、 アップアングルをかけた状態で先端部 4 0を反時計回りに回転させると、 左副腎が描出される。 脖尾部から脾静脈を追って先端部 4 0を反時計回りに 配点させると、 脖体部までが描出される。 さらに脾静脈を追っていくと、 図 9八および図 9巳に示すように、 脾静脈、 上腸間膜静脈、 及び門脈の合流部 が描出される。
[0136] 図 1 〇 および図 1 0巳において、
Figure imgf000036_0003
は脖管、
Figure imgf000036_0004
は総胆管、 3 は脖臓を 表す。
続いて、 （5） 脖頭部を観察する場合、 先端部 4 0を反時計回りに回転さ せながら押し進めて、 脾静脈、 上腸間膜静脈、 及び門脈の合流部から脖管を 追っていくと、 図 1 〇 および図 1 0巳に示すように、 脖頭体移行部、 主脖 管、 及び総胆管が描出される。
[0137] なお、 観察を行う場合の観察ポイントの一例を挙げて説明したが、 これに 限定されず、 術者は、 所望の観察ポイントを所望の順序で観察することがで きる。
[0138] 続いて、 位置及び向き検出部 1 1 4は、 学習結果に基づいて、 診断用超音 波画像から、 超音波内視鏡 1 2の先端部 4 0の位置および向きを検出する。 超音波内視鏡 1 2の先端部 4 0の位置として、 例えば上記の観察ポイント 、 つまり、 （1） 大動脈、 腹腔動脈、 及び上腸間膜動脈の合流部、 （2） 脖 〇 2020/174778 35 卩（：170?2019/045429
体部、 （3） 脖尾部、 （4） 脾静脈、 上腸間膜静脈、 及び門脈の合流部、 （ 5） 脖頭部および （6） 胆嚢 （胃内からの代表的な観察ポイント） 、 （7） 門脈、 （8） 総胆管および （9） 胆嚢 （十二指腸球部の代表的な観察ポイン 卜） 、 （1 〇） 脖鉤部および （1 1） 乳頭 （十二指腸下行部からの代表的な 観察ポイント） 等が検出される。
また、 超音波内視鏡 1 2の先端部 4 0の向きとして、 上記の （1） 〜 （1 1） の部位を観察する場合の超音波内視鏡 1 2の先端部 4 0の向きが検出さ れる。
[0139] 位置及び向き検出部 1 1 4は、 学習済みモデルである。 この学習済みモデ ルは、 それぞれ被検体の体内の観察対象部位となる異なる位置を撮影した学 習用内視鏡画像からなるデータセッ トを用いて、 学習用超音波画像と、 学習 用超音波画像の撮影時の超音波内視鏡の先端部 4 0の位置および向きと、 の 関係を複数の学習用超音波画像について予め学習したモデルである。
[0140] 学習方法は、 複数の学習用超音波画像から、 超音波画像と、 臓器の名称と 、 超音波内視鏡 1 2の先端部 4 0の位置および向きと、 の関係を学習し、 学 習済みモデルを生成することができるものであれば特に限定されない。
学習方法としては、 例えば人工知能 （AI : Art i f i c i a l Inte l l i gence） の技 術の 1つである機械学習 （マシンラーニング） の一例としての、 階層構造型 のニユーラルネッ トワークを用いるディーブラーニング （深層学習） 等を利 用することができる。
なお、 ディーブラーニング以外の機械学習を利用してもよいし、 機械学習 以外の人工知能の技術を利用してもよいし、 人工知能の技術以外の学習方法 を利用してもよい。
[0141 ] また、 学習用超音波画像だけを使用して学習済みモデルを生成してもよい 。 この場合、 学習済みモデルは更新されず、 常に同じ学習済みモデルを使用 することができる。
あるいは、 学習用超音波画像に加えて、 診断用超音波画像を使用して学習 済みモデルを生成するように構成してもよい。 この場合、 診断用超音波画像 〇 2020/174778 36 卩（：170?2019/045429
と、 この診断用超音波画像に表示されている臓器の名称と、 この診断用超音 波画像が撮影された時の超音波内視鏡 1 2の先端部 4 0の位置および向きと 、 の関係を学習して学習済みモデルが随時更新される。
[0142] なお、 超音波画像認識部 1 6 8、 さらに言えば、 位置及び向き検出部 1 1 4が超音波内視鏡 1 2の先端部 4 0の向きを検出することは必須ではない。 本実施形態のように、 超音波振動子ユニッ ト 4 6がコンベックス型である 場合、 超音波内視鏡 1 2の先端部 4 0の向きに応じて超音波の送信方向が変 わるため、 超音波内視鏡 1 2の先端部 4 0の向きを検出するのが望ましい。 一方、 超音波振動子ユニッ ト 4 6がラジアル型である場合、 超音波内視鏡 1 2の先端部 4 0の向きに関わらず超音波が超音波内視鏡 1 2の径方向の全 周にわたって送信されるため、 超音波内視鏡 1 2の先端部 4 0の向きを検出 する必要はない。
[0143] 続いて、 選択部 1 1 6は、 臓器名称検出部 1 1 2から、 位置及び向き検出 部 1 1 4が検出した超音波内視鏡 1 2の先端部 4 0の位置に対応した検出部 を選択する。
すなわち、 選択部 1 1 6は、 超音波内視鏡 1 2の先端部 4 0の位置が、 （ 1） 大動脈、 腹腔動脈、 及び上腸間膜動脈の合流部の場合は第 1検出部 1 1 2八を、 （2） 脖体部の場合は第 2検出部 1 1 2巳を、 （3） 脖尾部の場合 は第 3検出部 1 1 2（3を、 （4） 脾静脈、 上腸間膜静脈、 及び門脈の合流部 の場合は第 4検出部 1 1 2 0を、 （5） 脖頭部の場合は第 5検出部 1 1 2巳 を、 （6） 胆嚢の場合は第 6検出部 1 1 2 を、 （7） 門脈の場合は第 7検 出部 1 1 2 0を、 （8） 総胆管の場合は第 8検出部 1 1 2 1~1を、 （ 9） 胆嚢 の場合は第 9検出部 1 1 2 I を、 （1 0） 脖鉤部の場合は第 1 0検出部 1 1 2」を、 （1 1） 乳頭の場合は第 1 1検出部 1 1 2 を選択する。
[0144] 続いて、 臓器名称検出制御部 1 1 8は、 選択部 1 1 6が選択した検出部に よって、 診断用超音波画像から、 診断用超音波画像に表示されている臓器の 名称を検出させる。 臓器の名称としては、 超音波観測装置 1 4を用いて観測 可能な被検体の体内のあらゆる観察対象部位が含まれるが、 例えば、 肝臓、 〇 2020/174778 37 卩（：170?2019/045429
脖臓、 脾臓、 腎臓、 副腎、 大動脈、 腹腔動脈、 脾動脈、 上腸間膜動脈、 下大 静脈、 肝静脈、 門脈、 脾静脈、 上腸間膜静脈、 胆嚢、 総胆管、 脖管、 乳頭等 を例示することができる。
[0145] 超音波画像認識部 1 6 8においては、 位置及び向き検出部 1 1 4により、 学習結果に基づいて、 診断用超音波画像から、 超音波内視鏡 1 2の先端部 4 0の位置および向きが検出される。
続いて、 選択部 1 1 6により、 臓器名称検出部 1 1 2から、 位置及び向き 検出部 1 1 4が検出した超音波内視鏡 1 2の先端部 4 0の位置に対応した検 出部が選択される。
続いて、 臓器名称検出制御部 1 1 8により、 選択部 1 1 6が選択した検出 部が、 学習結果に基づいて、 診断用超音波画像から、 診断用超音波画像に表 示されている臓器の名称を検出するように制御される。
[0146] 続いて、 表示制御部 1 7 2は、 超音波画像認識部 1 6 8によって認識され た臓器の名称および超音波内視鏡 1 2の先端部 4 0の位置の少なくとも 1つ をモニタ 2 0に表示させる。 あるいは、 表示制御部 1 7 2は、 超音波画像認 識部 1 6 8によって認識された臓器の名称と、 同じく超音波画像認識部 1 6 8によって認識された超音波内視鏡 1 2の先端部 4 0の位置および向きと、 の少なくとも 1つをモニタ 2 0に表示させる。
[0147] また、 表示制御部 1 7 2は、 術者からの指示に応じて、 内視鏡画像に病変 領域を重ねて表示したり、 超音波画像に臓器の名称を重ねて表示したり、 解 剖学シヱーマ図に超音波内視鏡 1 2の先端部 4 0の位置および向きを重ねて 表示したりする。
言い換えると、 表示制御部 1 7 2は、 術者からの指示に応じて、 病変領域 が表示されていない内視鏡画像、 病変領域が重ねて表示された内視鏡画像、 臓器の名称が表 されていない超音波画像、 臓器の名称が重ねて表 された 超音波画像、 超音波内視鏡 1 2の先端部 4 0の位置が表示されていない解剖 学シエーマ図、 および超音波内視鏡 1 2の先端部 4 0の位置が重ねて表示さ れた解剖学シエーマ図の中から、 1の画像または 2以上の画像をモニタ 2 0 〇 2020/174778 38 卩（：170?2019/045429
の画面内に並べて表示させる。
表示制御部 1 72は、 一実施形態として、 臓器の名称が重ねて表示された 超音波画像および超音波内視鏡 1 2の先端部 40の位置が重ねて表示された 解剖学シエーマ図の少なくとも一方を含む 2以上の画像をモニタ 20の画面 内に並べて表示させる。
[0148] 臓器の名称は、 例えば超音波画像の上に重ねてその臓器の近傍、 例えばそ の臓器の上に表示され、 超音波内視鏡 1 2の先端部 40の位置および向きは 、 例えば解剖学シエーマ図の上に重ねて表示される。 病変領域は、 例えば内 視鏡画像の上に重ねて病変領域を枠線で囲んで表示される。
[0149] シネメモリ 1 50は、 1 フレーム分又は数フレーム分の画像信号を蓄積す るための容量を有する。
Figure imgf000040_0001
丨 （31 48が生成した画像信号は、 0301 5 4に出力される一方で、 メモリコントローラ 1 5 1 によってシネメモリ 1 5 〇にも格納される。 フリーズモード時には、 メモリコントローラ 1 5 1がシ ネメモリ 1 50に格納された画像信号を読み出し、 0301 54に出力する 。 これにより、 モニタ 20には、 シネメモリ 1 50から読み出された画像信 号に基づく超音波画像 （静止画像） が表示されるようになる。
[0150] C P [J ^ 52は、 超音波観測装置 1 4の各部を制御する制御部として機能 し、 受信回路 1 42、 送信回路 1 44、 八/〇コンパータ 1 46、 及び八 3 I 〇 1 48等と接続しており、 これらの機器を制御する。 具体的に説明する と、 0911 ^ 52は、 操作卓 1 00と接続しており、 操作卓 1 00にて入力 された検査情報および制御パラメータ等に従って超音波観測装置 1 4各部を 制御する。
[0151] また、 〇 111 52は、 超音波内視鏡 1 2が超音波用コネクタ 323を介 して超音波観測装置 1 4に接続されると、 P n P （P I U g a n d 1 3 V） 等の方式により超音波内視鏡 1 2を自動認識する。
[0152] «超音波内視鏡システム 1 0の動作例について》
次に、 超音波内視鏡システム 1 〇の動作例として、 超音波診断に関する一 連の処理 （以下、 診断処理とも言う） の流れを、 図 1 1および図 1 2を参照 〇 2020/174778 39 卩（：170?2019/045429
しながら説明する。 図 1 1は、 超音波内視鏡システム 1 0を用いた診断処理 の流れを示す図である。 図 1 2は、 診断処理中の診断ステップの手順を示す 図である。
[0153] 超音波内視鏡 1 2が超音波観測装置 1 4、 内視鏡プロセッサ 1 6及び光源 装置 1 8に接続された状態で超音波内視鏡システム 1 0各部の電源が投入さ れると、 それをトリガとして診断処理が開始される。 診断処理では、 図 1 1 に示すように、 先ず入カステップが実施される （3 0 0 1） 。 入カステップ では、 術者が操作卓 1 〇〇を通じて検査情報及び制御パラメータ等を入力す る。 入カステップが完了すると、 診断開始の指示があるまで、 待機ステップ が実施される （3 0 0 2） 。
[0154] 続いて、 術者からの診断開始指示があると （3 0 0 3で丫6 3） 、 0 9 11
1 5 2が超音波観測装置 1 4各部を制御して診断ステップを実施する （3 0 0 4） 。 診断ステップは、 図 1 2に図示の流れに沿って進行し、 指定された 画像生成モードが巳モードである場合には （3 0 3 1で丫6 3） 、 巳モード 画像を生成するように超音波観測装置 1 4各部を制御する （3 0 3 2） 。 ま た、 指定された画像生成モードが巳モードではなく （3 0 3 1で N 0） 〇 モードである場合には （3 0 3 3で丫 6 3） 、 〇 モード画像を生成するよ うに超音波観測装置 1 4各部を制御する （3 0 3 4） 。 さらに、 指定された 画像生成モードが〇 モードではなく （3 0 3 3で N 0） モードである 場合には （3 0 3 5で丫 6 3） 、 モード画像を生成するように超音波観 測装置 1 4各部を制御する （3 0 3 6） 。 なお、 指定された画像生成モード が モードではない場合には （3 0 3 5で1\1〇） 、 ステップ 3 0 3 7へ進 む。
[0155] 続いて、 〇 II 1 5 2は、 超音波診断が終了したか否かを判定する （3 0
3 7） 。 超音波診断が終了していない場合 （3 0 3 7で1\1〇） 、 診断ステッ プ3 0 3 1へ戻り、 各画像生成モードによる超音波画像の生成は、 診断終了 条件が成立するまで繰り返し実施される。 診断終了条件としては、 例えば、 術者が操作卓 1 〇〇を通じて診断終了を指示すること等が挙げられる。 〇 2020/174778 40 卩（：170?2019/045429
[0156] 一方、 診断終了条件が成立して超音波診断が終了すると （3 0 3 7で丫 6
3） 、 診断ステップが終了する。
続いて、 図 1 1 に戻って、 超音波内視鏡システム 1 0各部の電源がオフと なると （3 0 0 6で丫
Figure imgf000042_0001
、 診断処理が終了する。 一方で、 超音波内視鏡 システム 1 0各部の電源がオン状態で維持される場合には （3 0 0 5で 1\1〇 ） 、 入カステップ 3 0 0 1 に戻り、 上述した診断処理の各ステップを繰り返 すことになる。
[0157] «内視鏡画像、 超音波画像および解剖学シエーマ図の表示方法》
次に、 内視鏡画像、 超音波画像および解剖学シヱーマ図の表示方法につい て説明する。
[0158] 術者は、 操作卓 1 0 0を操作して指示を与えることにより、 内視鏡画像、 超音波画像、 及び解剖学シエーマ図の少なくとも 1 つをモニタ 2 0の画面内 に表示させることができる。
この場合、 表示制御部 1 7 2により、 術者からの指示に応じて、 内視鏡画 像 （病変領域の表示のあり/なし） 、 超音波画像 （臓器の名称の表示のあり /なし） 、 及び解剖学シエーマ図 （超音波内視鏡 1 2の先端部 4 0の位置お よび向きの表示のあり/なし） の中から、 1の画像、 もしくは 2以上の画像 がモニタ 2 0の画面内に並べて表示される。 また、 表示制御部 1 7 2により 、 モニタ 2 0に表示された 2以上の画像の中から、 1の画像が注目画像とし て他の画像よりも大きく表示される。
[0159] 超音波内視鏡システム 1 0では、 超音波画像または解剖学シエーマ図がモ ニタ 2 0の画面内に表示される場合に超音波画像認識部 1 6 8が動作し、 内 視鏡画像がモニタ 2 0の画面内に表示される場合に内視鏡画像認識部 1 7 0 が動作する。
これにより、 術者からの指示に応じて、 その上に病変領域が重ねて表示さ れた内視鏡画像をモニタ 2 0に表示させたり、 その上に臓器の名称が重ねて 表示された超音波画像をモニタ 2 0に表示させたり、 その上に超音波内視鏡 1 2の先端部 4 0の位置および向きが重ねて表示された解剖学シエーマ図を 〇 2020/174778 41 卩（：170?2019/045429
モニタ 2 0に表示させることができる。
[0160] なお、 超音波画像の上に臓器の名称を重ねて表示したり、 解剖学シエーマ 図の上に超音波内視鏡 1 2の先端部 4 0の位置および向きを重ねて表示した りすることは必須ではない。 例えば、 超音波画像とは別に臓器の名称をモニ 夕 2 0に表示させてもよいし、 解剖学シエーマ図とは別に超音波内視鏡 1 2 の先端部 4 0の位置および向きをモニタ 2 0に表示させてもよい。
[0161 ] 超音波内視鏡システム 1 0においては、 例えば超音波画像の上に重ねて、 超音波画像に表示されている臓器の名称がモニタ 2 0に表示されるため、 た とえ超音波画像に不慣れな術者であっても、 超音波画像に何が表示されてい るのかを正しく認識することができる。 また、 例えば解剖学シエーマ図の上 に重ねて、 超音波内視鏡 1 2の先端部 4 0の位置および向きがモニタ 2 0に 表示されるため、 たとえ超音波画像に不慣れな術者であっても、 今現在、 超 音波内視鏡 1 2の先端部 4 0がどの位置にあって、 どの方向を向いていて、 どの部位を観察しているのかを正しく認識することができ、 被検体の体内に おいて迷うことがなくなる。 さらに、 内視鏡画像の上に重ねて、 病変領域が モニタ 2 0に表示されるため、 病変領域を正しく認識することができる。
[0162] 例えば、 術者は、 超音波画像および解剖学シエーマ図をモニタ 2 0の画面 内に並べて表示させることができる。
[0163] この場合、 表示制御部 1 7 2により、 術者からの指示に応じて、 例えばそ の上に臓器の名称が重ねて表示された超音波画像、 およびその上に超音波内 視鏡 1 2の先端部 4 0の位置および向きが重ねて表示された解剖学シエーマ 図がモニタ 2 0の画面内に並べて表示される。 また、 モニタ 2 0に表示され た超音波画像および解剖学シエーマ図の中から、 1の画像が注目画像として 他の画像よりも大きく表示される。
[0164] 図 1 3八は、 超音波画像および解剖学シエーマ図の表示位置を表す一実施 形態の概念図であり、 図 1 3巳は、 その超音波画像および解剖学シエーマ図 を表す _実施形態の概念図である。
図 1 3八および図 1 3巳に示すように、 初期画面として、 例えばその上に 〇 2020/174778 42 卩（：170?2019/045429
超音波内視鏡 1 2の先端部 4 0の位置および向きが重ねて表示された解剖学 シエーマ図がモニタ 2 0の画面内の左上部に表示され、 その上に臓器の名称 が重ねて表示された超音波画像がモニタ 2 0の画面内の右部に表示される。 また、 初期画面として、 例えば超音波画像が解剖学シエーマ図よりも大きく 表^^される。
[0165] また、 術者は、 その上に臓器の名称が重ねて表示された超音波画像 （第 1 の診断用超音波画像） 、 第 1の診断用超音波画像と同じ超音波画像であり、 臓器の名称が表示されていない超音波画像 （第 2の診断用超音波画像） 、 お よびその上に超音波内視鏡 1 2の先端部 4 0の位置および向きが重ねて表示 された解剖学シエーマ図をモニタ 2 0の画面内に表示させることができる。
[0166] この場合、 表示制御部 1 7 2により、 術者からの指示に応じて、 例えば第
1の診断用超音波画像、 第 2の診断用超音波画像、 およびその上に超音波内 視鏡 1 2の先端部 4 0の位置および向きが重ねて表示された解剖学シエーマ 図がモニタ 2 0の画面内に並べて表示される。 また、 モニタ 2 0に表示され た第 1 の診断用超音波画像、 第 2の診断用超音波画像、 および解剖学シエー マ図の中から、 1の画像が注目画像として他の画像よりも大きく表示される
[0167] 図 1 4八は、 第 1の診断用超音波画像、 第 2の診断用超音波画像および解 剖学シエーマ図の表示位置を表す一実施形態の概念図であり、 図 1 4巳は、 第 1の診断用超音波画像、 第 2の診断用超音波画像および解剖学シエーマ図 を表す _実施形態の概念図である。
図 1 4八および図 1 4巳に示すように、 初期画面として、 例えばその上に 超音波内視鏡 1 2の先端部 4 0の位置および向きが重ねて表示された解剖学 シエーマ図がモニタ 2 0の画面内の左上部に表示され、 第 1の診断用超音波 画像がモニタ 2 0の画面内の左下部に表示され、 第 2の診断用超音波画像が モニタ 2 0の画面内の右部に表示される。 また、 初期画面として、 例えば第 2の診断用超音波画像が解剖学シエーマ図および第 1の診断用超音波画像よ りも大きく表示される。 〇 2020/174778 43 卩（：170?2019/045429
[0168] また、 術者は、 内視鏡画像、 超音波画像および解剖学シエーマ図をモニタ
2 0の画面内に表示させることができる。
[0169] この場合、 表示制御部 1 7 2により、 術者からの指示に応じて、 例えば内 視鏡画像、 その上に臓器の名称が重ねて表示された超音波画像、 およびその 上に超音波内視鏡 1 2の先端部 4 0の位置および向きが重ねて表示された解 剖学シエーマ図がモニタ 2 0の画面内に並べて表示される。 また、 モニタ 2 0に表示された内視鏡画像、 超音波画像および解剖学シエーマ図の中から、
1の画像が注目画像として他の画像よりも大きく表示される。
[0170] 図 1 5 は、 内視鏡画像、 超音波画像および解剖学シエーマ図の表示位置 を表す一実施形態の概念図であり、 図 1 5巳は、 内視鏡画像、 超音波画像お よび解剖学シエーマ図を表す一実施形態の概念図である。
図 1 5八および図 1 5巳に示すように、 初期画面として、 例えばその上に 超音波内視鏡 1 2の先端部 4 0の位置および向きが重ねて表示された解剖学 シエーマ図がモニタ 2 0の画面内の左上部に表示され、 病変領域が表示され ていない内視鏡画像がモニタ 2 0の画面内の左下部に表示され、 その上に臓 器の名称が重ねて表示された超音波画像がモニタ 2 0の画面内の右部に表示 される。 また、 初期画面として、 例えば超音波画像が解剖学シエーマ図およ び内視鏡画像よりも大きく表示される。
[0171 ] なお、 内視鏡画像、 超音波画像および解剖学シエーマ図の表示方法につい て説明したが、 これに限定されず、 1の画像、 または 2以上の画像を任意に 組み合わせてモニタ 2 0の画面内に並べて表示させることができる。
また、 初期画面として、 内視鏡画像、 超音波画像および解剖学シエーマ図 をどの位置に配置し、 モニタ 2 0に表示されている画像のうち、 どの 1の画 像を他の画像よりも大きく表示するのかは任意に設定することができる。 例 えば、 初期画像として、 図 1 4八および図 1 4巳に示す、 第 1の診断用超音 波画像と、 第 2の診断用超音波画像と、 を入替えて表示させてもよい。
[0172] また、 術者は、 モニタ 2 0に表示されている画像の中から、 注目画像を切 り替えて表示させることができる。 〇 2020/174778 44 卩（：170?2019/045429
例えば、 内視鏡画像、 超音波画像および解剖学シエーマ図がモニタ 2 0の 画面内に表示されているとする。
この場合、 表示制御部 1 7 2により、 術者からの指示に応じて、 モニタ 2 0に表示された内視鏡画像、 超音波画像および解剖学シエーマ図の中から、 注目画像が、 1の画像から他の画像のうちの 1つに切り替えて表示される。
[0173] 図 1 6の左上部に示すように、 初期画面として、 解剖学シエーマ図がモニ 夕 2 0の画面内の左上部に表示され、 内視鏡画像がモニタ 2 0の画面内の左 下部に表示され、 超音波画像がモニタ 2 0の画面内の右部に表示されている とする。 また、 初期画面として、 超音波画像が注目画像として解剖学シエー マ図および内視鏡画像よりも大きく表示されているとする。
[0174] 例えば、 図 1 6の左上部の状態から、 術者により、 内視鏡画像が注目画像 として選択された場合、 図 1 6の右上部に示すように、 解剖学シエーマ図が モニタ 2 0の画面内の左上部に表示され、 超音波画像がモニタ 2 0の画面内 の左下部に表示され、 内視鏡画像がモニタ 2 0の画面内の右部に表示される 。 また、 内視鏡画像が解剖学シエーマ図および超音波画像よりも大きく表示 される。
[0175] また、 図 1 6の左上部の状態から、 術者により、 解剖学シエーマ図が注目 画像として選択された場合、 図 1 6の下部に示すように、 内視鏡画像がモニ 夕 2 0の画面内の左上部に表示され、 超音波画像がモニタ 2 0の画面内の左 下部に表示され、 解剖学シエーマ図がモニタ 2 0の画面内の右部に表示され る。 また、 解剖学シエーマ図が内視鏡画像および超音波画像よりも大きく表 される。
[0176] 図 1 6の右上部の状態から、 術者により、 解剖学シエーマ図が注目画像と して選択された場合の動作も、 図 1 6の左上部の状態から、 解剖学シエーマ 図が注目画像として選択された場合の動作と同様である。
[0177] 図 1 6の右上部の状態から、 術者により、 超音波画像が注目画像として選 択された場合、 図 1 6の左上部に示すように、 超音波画像が解剖学シエーマ 図および内視鏡画像よりも大きく表示される。 〇 2020/174778 45 卩（：170?2019/045429
[0178] 図 1 6の下部の状態から、 術者により、 超音波画像が注目画像として選択 された場合の動作も、 図 1 6の右上部の状態から、 超音波画像が注目画像と して選択された場合の動作と同様である。
[0179] 超音波内視鏡システム 1 0においては、 内視鏡画像、 超音波画像および解 剖学シエーマ図を切り替えて見やすく表示させることができる。 術者が関心 のある注目画像は、 その時々によって変化するが、 術者は、 注目画像を任意 のタイミングで切り替えることができるため、 その時々に関心のある画像を 注目画像して他の画像よりも大きく表示させて閲覧することができる。
[0180] なお、 モニタ 2 0に表示された内視鏡画像、 超音波画像および解剖学シエ —マ図の中から注目画像を切り替える場合を例に挙げて説明したが、 これに 限定されず、 モニタ 2 0に表示された 2以上の画像の中から注目画像を切り 替える場合も同様に動作する。
[0181 ] «超音波画像認識部 1 6 8および内視鏡画像認識部 1 7 0の配置場所 >
>
次に、 超音波画像認識部 1 6 8および内視鏡画像認識部 1 7 0の配置場所 について説明する。
[0182] 超音波画像認識部 1 6 8は、 本実施形態の場合、 超音波観測装置 1 4に内 蔵されているが、 これに限らず、 例えば内視鏡プロセッサ 1 6に内蔵されて いてもよいし、 あるいは、 超音波観測装置 1 4および内視鏡プロセッサ 1 6 の外部に設けられていてもよい。
[0183] 本実施形態のように、 超音波画像認識部 1 6 8が超音波観測装置 1 4に内 蔵されている場合、 図 1 7に示すように、 内視鏡画像が、 内視鏡プロセッサ 1 6から、 超音波観測装置 1 4へ転送される。
[0184] また、 超音波画像認識部 1 6 8が内視鏡プロセッサ 1 6に内蔵されている 場合、 図 1 8に示すように、 超音波画像が、 超音波観測装置 1 4から、 内視 鏡プロセッサ 1 6へ転送される。
[0185] 超音波画像認識部 1 6 8が超音波観測装置 1 4および内視鏡プロセッサ 1
6の外部に設けられている場合、 図 1 9に示すように、 内視鏡画像が、 内視 〇 2020/174778 46 卩（：170?2019/045429 鏡プロセッサ 1 6から超音波観測装置 1 4へ転送され、 さらに、 内視鏡画像 および超音波画像が、 超音波観測装置 1 4から、 超音波画像認識部 1 6 8へ 転送される。
この場合、 超音波画像を、 超音波観測装置 1 4から内視鏡プロセッサ 1 6 へ転送し、 さらに、 内視鏡画像および超音波画像を、 内視鏡プロセッサ 1 6 から超音波画像認識部 1 6 8へ転送してもよい。 あるいは、 内視鏡画像を、 内視鏡プロセッサ 1 6から超音波観測装置 1 4へ転送し、 さらに、 超音波観 測装置 1 4から超音波画像認識部 1 6 8へ転送するのではなく、 内視鏡プロ セッサ 1 6から超音波画像認識部 1 6 8へ転送してもよい。
[0186] 表示制御部 1 7 2は、 モニタ 2 0へ出力される最終的な画像信号と、 モニ 夕 2 0と、 の間に配置される。
[0187] 表示制御部 1 7 2は、 超音波画像認識部 1 6 8が超音波観測装置 1 4に内 蔵されている場合、 例えば超音波観測装置 1 4に内蔵されるか、 あるいは、 超音波観測装置 1 4とモニタ 2 0との間に設けることができる。
また、 表示制御部 1 7 2は、 超音波画像認識部 1 6 8が内視鏡プロセッサ 1 6に内蔵されている場合、 例えば内視鏡プロセッサ 1 6に内蔵されるか、 あるいは、 内視鏡プロセッサ 1 6とモニタ 2 0との間に設けることができる さらに、 表示制御部 1 7 2は、 超音波画像認識部 1 6 8が超音波観測装置 1 4および内視鏡プロセッサ 1 6の外部に設けられている場合、 例えば超音 波観測装置 1 4および内視鏡プロセッサ 1 6の外部に設けることができる。
[0188] 表示制御部 1 7 2は、 術者からの指示に応じて、 内視鏡画像 （病変領域の 表示のあり/なし） 、 超音波画像 （臓器の名称の表示のあり/なし） 、 およ び解剖学シエーマ図 （超音波内視鏡 1 2の先端部 4 0の位置および向きの表 示のあり/なし） の中から、 1の画像または 2以上の画像を並べてモニタ 2 0の画面内に表示させる。
[0189] 内視鏡画像認識部 1 7 0の配置場所も、 超音波画像認識部 1 6 8の配置場 所と同様に決定することができる。 つまり、 内視鏡画像認識部 1 7 0は、 本 〇 2020/174778 47 卩（：170?2019/045429
実施形態の場合、 内視鏡プロセッサ 1 6に内蔵されているが、 これに限らず 、 例えば超音波観測装置 1 4に内蔵されていてもよいし、 あるいは、 超音波 観測装置 1 4および内視鏡プロセッサ 1 6の外部に設けられていてもよい。
[0190] このように、 超音波内視鏡システム 1 0において、 超音波画像認識部 1 6
8および内視鏡画像認識部 1 7 0の配置場所は固定的ではなく、 超音波画像 認識部 1 6 8および内視鏡画像認識部 1 7 0を任意の配置場所に設けること ができる。
[0191 ] 次に、 図 2 0および図 2 1 を参照しながら、 第 2実施形態に係る超音波内 視鏡システムについて説明する。 図 2 0は、 第 2実施形態の超音波観測装置 1 4巳の構成を示すブロック図であり、 図 2 1は、 第 2実施形態の超音波画 像認識部 1 6 8巳の構成を示すブロック図である。
[0192] «超音波内視鏡システムの概要》
第 2実施形態の超音波内視鏡システムの構成は、 第 1実施形態の超音波内 視鏡システム 1 〇が備える超音波観測装置 1 4の代わりに、 超音波観測装置 1 4巳を備えていること以外、 第 1実施形態の超音波内視鏡システム 1 0と 同じであるから、 これ以外の同一の構成要素の詳細な説明を省略する。 以下、 超音波観測装置 1 4巳について説明を続ける。
[0193] «超音波観測装置 1 4巳の構成》
図 2 0に示す超音波観測装置 1 4巳の構成は、 第 1実施形態の超音波観測 装置 1 4が備える超音波画像認識部 1 6 8および表示制御部 1 7 2の代わり に、 超音波画像認識部 1 6 8巳および表示制御部 1 7 2巳を備え、 さらに、 色登録部 1 7 4および臓器登録部 1 7 6を備えていること以外、 第 1実施形 態の超音波観測装置 1 4と同じであるから、 これ以外の同一の構成要素には 同一の符号を付与して、 その詳細な説明を省略する。
[0194] 超音波画像認識部 1 6 8巳は、 診断用超音波画像に表示されている臓器の 名称と、 超音波内視鏡 1 2の先端部 4 0の位置および向きと、 に関する学習 および認識に関して、 第 1実施形態の超音波画像認識部 1 6 8と同様に機能 する。 〇 2020/174778 48 卩（：170?2019/045429
これに加え、 超音波画像認識部 1 6 8巳は、 学習用超音波画像と学習用超 音波画像に表示されている臓器の範囲 （臓器の領域） との関係を複数の学習 用超音波画像について予め学習しておき、 学習結果に基づいて、 診断用超音 波画像から、 この診断用超音波画像に表示されている臓器の範囲を認識する 学習用超音波画像は、 超音波画像認識部 1 6 8巳が、 超音波画像と、 臓器 の範囲と、 の関係を学習するための既存の超音波画像であり、 例えば過去に 撮影された各種の超音波画像を利用することができる。
[0195] 図 2 1 に示す超音波画像認識部 1 6 8巳の構成は、 第 1実施形態の超音波 画像認識部 1 6 8が備える選択部 1 1 6と、 臓器名称検出制御部 1 1 8と、 の代わりに、 選択部 1 1 6巳と、 臓器名称及び範囲検出制御部 1 1 8巳と、 を備え、 さらに、 臓器範囲検出部 1 2 0を備えていること以外、 第 1実施形 態の超音波画像認識部 1 6 8と同じであるから、 これ以外の同一の構成要素 には同一の符号を付与して、 その詳細な説明を省略する。
[0196] 臓器範囲検出部 1 2 0は、 学習結果に基づいて、 診断用超音波画像から、 診断用超音波画像に表示されている臓器の範囲を検出する。 臓器範囲検出部 1 2 0は、 被検体の体内の観察対象部位となる複数の位置にそれぞれ対応し た複数の検出部を備えている。 ここでは、 一例として、 第 1〜第 1 1検出部 1 2 0 ~ 1 2 0 を備えている。 第 1検出部 1 2 0 は大動脈、 腹腔動脈 、 及び上腸間膜動脈の合流部に、 第 2検出部 1 2 0巳は脖体部に、 第 3検出 部 1 2 0（3は脖尾部に、 第 4検出部 1 2 0 0は脾静脈、 上腸間膜静脈、 及び 門脈の合流部 （コンフルエンス） に、 第 5検出部 1 2 0巳は脖頭部に、 第 6 検出部 1 2 0 は胆嚢に、 第 7検出部 1 2 0〇は門脈に、 第 8検出部 1 2 0 ! !は総胆管に、 第 9検出部 1 2 0 I は胆嚢に、 第 1 0検出部 1 2 0」は脖鉤 部に、 第 1 1検出部 1 2 0 は乳頭に、 それぞれ対応している。
[0197] 第 1〜第 1 1検出部 1 2 0八~ 1 2 0 は、 それぞれ学習済みモデルであ る。 この複数の学習済みモデルは、 それぞれ異なる学習用超音波画像からな るデータセッ トを用いて学習したモデルである。 詳しくは、 複数の学習済み 〇 2020/174778 49 卩（：170?2019/045429
モデルは、 それぞれ被検体の体内の観察対象部位となる異なる位置を撮影し た学習用超音波画像からなるデータセッ トを用いて、 学習用超音波画像と、 学習用超音波画像に表示されている臓器の範囲と、 の関係を予め学習したモ デルである。
[0198] 即ち、 第 1検出部 1 2 0 は大動脈、 腹腔動脈、 及び上腸間膜動脈の合流 部の学習用超音波画像からなるデータセッ ト、 第 2検出部 1 2 0巳は脖体部 の学習用超音波画像からなるデータセッ ト、 第 3検出部 1 2 0 (3は脖尾部の 学習用超音波画像からなるデータセッ ト、 第 4検出部 1 2 0 0は脾静脈、 上 腸間膜静脈、 及び門脈の合流部の学習用超音波画像からなるデータセッ ト、 第 5検出部 1 2 0巳は脖頭部の学習用超音波画像からなるデータセッ ト、 第 6検出部 1 2 0 は胆嚢の学習用超音波画像からなるデータセッ ト、 第 7検 出部 1 2〇〇は門脈の学習用超音波画像からなるデータセッ ト、 第 8検出部 1 2 0 ! !は総胆管の学習用超音波画像からなるデータセッ ト、 第 9検出部 1 2 0 1 は胆嚢の学習用超音波画像からなるデータセッ ト、 第 1 0検出部 1 2 〇」は脖鉤部の学習用超音波画像からなるデータセッ ト、 第 1 1検出部 1 2 0＜は乳頭の学習用超音波画像からなるデータセッ トを用いて学習したモデ ルである。
[0199] 前述のように、 超音波画像を撮像する場合の体内の観察ルート、 及び代表 的な観察ポイントは大体決められている。 そのため、 代表的な観察ポイント における超音波画像と、 その超音波画像に表 されている臓器の範囲と、 を 関連付けて学習することができる。
[0200] 学習方法は、 複数の学習用超音波画像から、 超音波画像と、 臓器の範囲と 、 の関係を学習し、 学習済みモデルを生成することができるものであれば特 に限定されない。 学習方法および学習済みモデルの更新方法等は、 前述の通 りである。
[0201 ] 選択部 1 1 6巳は、 臓器名称検出部 1 1 2からの検出部の選択に関して、 第 1実施形態の選択部 1 1 6と同様に機能する。
これに加え、 選択部 1 1 6巳は、 臓器範囲検出部 1 2 0から、 位置及び向 〇 2020/174778 50 卩（：170?2019/045429
き検出部 1 1 4が検出した超音波内視鏡 1 2の先端部 4 0の位置に対応した 検出部を選択する。
すなわち、 選択部 1 1 6巳は、 超音波内視鏡 1 2の先端部 4 0の位置が、
（ 1） 大動脈、 腹腔動脈、 及び上腸間膜動脈の合流部の場合は第 1検出部 1 2 0 を、 （ 2） 脖体部の場合は第 2検出部 1 2 0巳を、 （ 3） 脖尾部の場 合は第 3検出部 1 2 0（3を、 （4） 脾静脈、 上腸間膜静脈、 及び門脈の合流 部の場合は第 4検出部 1 2 0 0を、 （ 5） 脖頭部の場合は第 5検出部 1 2 0 巳を、 （ 6） 胆嚢の場合は第 6検出部 1 2 0 を、 （ 7） 門脈の場合は第 7 検出部 1 2 0 0を、 （8） 総胆管の場合は第 8検出部 1 2 0 !·!を、 （9） 胆 嚢の場合は第 9検出部 1 2 0 I を、 （1 0） 脖鉤部の場合は第 1 0検出部 1 2 0」を、 （1 1） 乳頭の場合は第 1 1検出部 1 2 0 <を選択する。
[0202] 臓器名称及び範囲検出制御部 1 1 8巳は、 臓器名称検出部 1 1 2の制御に 関して、 第 1実施形態の臓器名称検出制御部 1 1 8と同様に機能する。 これに加え、 臓器名称及び範囲検出制御部 1 1 8巳は、 選択部 1 1 6巳が 臓器範囲検出部 1 2 0から選択した検出部によって、 診断用超音波画像から 、 この診断用超音波画像に表示されている臓器の範囲を検出させる。
なお、 臓器範囲検出部 1 2 0によって範囲が検出される臓器としては、 超 音波観測装置 1 4を用いて観測可能な被検体の体内のあらゆる観察対象部位 が含まれる。
[0203] 超音波画像認識部 1 6 8巳においては、 位置及び向き検出部 1 1 4により 、 学習結果に基づいて、 診断用超音波画像から、 超音波内視鏡 1 2の先端部 4 0の位置および向きが検出される。
続いて、 選択部 1 1 6巳により、 臓器名称検出部 1 1 2および臓器範囲検 出部 1 2 0から、 位置及び向き検出部 1 1 4が検出した超音波内視鏡 1 2の 先端部 4 0の位置に対応した検出部が選択される。
続いて、 臓器名称及び範囲検出制御部 1 1 8巳により、 選択部 1 1 6巳が 選択した検出部が、 学習結果に基づいて、 診断用超音波画像から、 診断用超 音波画像に表示されている臓器の名称および臓器の範囲を検出するように制 〇 2020/174778 51 卩（：170?2019/045429
御される。
[0204] 第 2実施形態の超音波内視鏡システムにおいては、 例えば超音波画像の上 に重ねて、 超音波画像に表示されている臓器の名称さらには臓器の範囲がモ ニタ 2 0に表示され、 解剖学シエーマ図の上に重ねて、 超音波内視鏡 1 2の 先端部 4 0の位置および向きがモニタ 2 0に表示される。 このため、 たとえ 超音波画像に不慣れな術者であっても、 超音波画像に何が表示され、 超音波 画像に表示されている臓器の範囲がどこなのかを正しく認識することができ る。 また、 今現在、 超音波内視鏡 1 2の先端部 4 0がどの位置にあって、 ど の方向を向いていて、 どの部位を観察しているのかを正しく認識することが でき、 被検体の体内において迷うことがなくなる。
[0205] 図 2 0に戻って、 表示制御部 1 7 2巳は、 第 1実施形態の表示制御部 1 7
2と同様に機能する。
これに加え、 表示制御部 1 7 2巳は、 超音波画像認識部 1 6 8巳によって 認識された臓器の範囲をモニタ 2 0に表示させる。
[0206] 色登録部 1 7 4は、 術者からの指示に応じて、 臓器の種類と、 臓器の範囲 の色との関係を登録する。 さらに詳しくは、 臓器の種類と、 臓器の範囲の内 部領域または臓器の範囲を示す枠の色との関係を登録する。 色登録部 1 7 4 に登録された臓器の種類と臓器の内部領域または枠の色との関係は、 表示制 御部 1 7 2巳へ出力される。
臓器の範囲を示す枠 （以下、 臓器の枠ともいう） とは、 臓器の輪郭であり 、 他の臓器との境界線でもある。
臓器の範囲の内部領域 （以下、 臓器の内部領域ともいう） とは、 臓器の枠 によって囲まれた閉空間内の領域である。
[0207] 臓器登録部 1 7 6は、 術者からの指示に応じて、 範囲を表示させる臓器の 種類を登録する。 臓器登録部 1 7 6に登録された範囲を表示させる臓器の種 類は、 表示制御部 1 7 2巳へ出力される。
[0208] «臓器の名称および臓器の範囲の表示方法》
次に、 臓器の名称および臓器の範囲の表示方法について説明する。 〇 2020/174778 52 卩（：170?2019/045429
[0209] 術者は、 超音波画像において表示されている臓器の範囲を表示させるか否 かを指定することができる。
術者からの指示に応じて、 臓器の範囲を表示させることが指定されると、 図 2 2巳に示すように、 表示制御部 1 7 2巳により、 例えば超音波画像認識 部 1 6 8巳によって認識された臓器の範囲の内部領域が定められた色に着色 され、 この内部領域が着色された臓器の範囲がモニタ 2 0に表示される。 あ るいは、 超音波画像認識部 1 6 8巳によって認識された臓器の範囲を示す枠 が設けられて、 この枠が定められた色に着色され、 枠が着色された臓器の範 囲がモニタ 2 0に表示される。
一方、 術者からの指示に応じて、 臓器の範囲を表示させないことが指定さ れると、 表示制御部 1 7 2巳により、 臓器の範囲は表示されない。
臓器の内部領域または枠を着色して表示させることにより、 術者は、 臓器 の範囲を明確に認識することができる。
なお、 定められた色は、 表示制御部 1 7 2巳に予め設定されている色であ り、 特に限定されないが、 術者が超音波画像において臓器の範囲を認識しや すいように白または黒以外の色であることが望ましい。
[0210] また、 表示制御部 1 7 2巳は、 超音波画像認識部 1 6 8巳によって範囲が 認識された臓器の種類毎に、 臓器の内部領域または枠を異なる色に着色する ことが望ましい。
表示制御部 1 7 2巳は、 術者が色の違いを識別しやすいように、 例えば互 いに隣接する 2以上の臓器の内部領域または枠を、 色相が均等に離れている 色ないし色相が均等に離れている色を含む定められた色相範囲の色に着色す ることができる。 また、 表示制御部 1 7 2巳は、 血管の内部領域または枠と 、 血液以外の体液が流れる脈管の内部領域または枠と、 血管および脈管以外 の臓器の内部領域または枠とを、 同様に色相が均等に離れている色ないし色 相が均等に離れている色を含む定められた色相範囲の色に着色することがで きる。
例えば、 2つの臓器が隣接している場合、 一方の臓器の内部領域または枠 〇 2020/174778 53 卩（：170?2019/045429
の色を、 他方の臓器の内部領域または枠の色の補色またはこの補色を含む定 められた色相範囲の色に着色する。 また、 3つの臓器が隣接している場合、 これら 3つの臓器の内部領域または枠の色を、
Figure imgf000055_0001
（赤） 、 ◦ （緑） および巳 （青） のように、 色相が均等に離れている色に着色する。
これにより、 術者は、 たとえ 2以上の臓器が隣接している場合であっても 、 各々の臓器の範囲を色の違いによって明確に認識することができる。
[021 1 ] また、 術者は、 臓器の範囲を術者が指定した色に着色したり、 術者が予め 登録した色に着色したりすることができる。
術者からの指示に応じて、 臓器の範囲を着色する色が指定されると、 表示 制御部 1 7 2巳により、 臓器の内部領域または枠が、 術者からの指示によっ て指定された色に着色される。 あるいは、 臓器の種類と臓器の内部領域また は枠の色との関係が色登録部 1 7 4に登録されている場合、 表示制御部 1 7 2巳により、 臓器の内部領域または枠が、 色登録部 1 7 4に登録された臓器 の種類に対応する臓器の内部領域または枠の色に着色される。
このように、 術者は、 臓器の範囲を術者の所望の色に着色することができ るため、 例えば赤色は肝臓であるというように、 色によって臓器の種類を容 易に識別することができる。
[0212] また、 超音波画像認識部 1 6 8巳の臓器名称検出部 1 1 2は、 診断用超音 波画像に表示されている臓器の名称を検出する場合に、 臓器名称検出部 1 1 2によって認識された臓器の名称の確信度を算出することができる。
臓器の名称の確信度とは、 臓器名称検出部 1 1 2によって認識された臓器 の名称が正しい名称である確率を表す。 例えば、 臓器の名称が肝臓であるこ とが検出された場合、 診断用超音波画像に表示されている臓器の名称が肝臓 である確率が 9 0 %であるというように、 臓器の名称の確信度が算出される この場合、 表示制御部 1 7 2巳は、 超音波画像認識部 1 6 8巳によって算 出された確信度に応じて、 モニタ 2 0に表示させる臓器の名称の表示方法、 および、 臓器の内部領域または枠の着色方法の少なくとも一方を決定するこ 〇 2020/174778 54 卩（：170?2019/045429
とができる。
[0213] 臓器の名称を表示させる場合、 表示制御部 1 7 2巳は、 確信度に応じて、 例えばモニタ 2 0に表示させる臓器の名称の大きさを決定する、 臓器の内部 領域または枠を着色する色を決定する、 および、 特定の文字を表示させるか 否かを決定するの少なくとも 1つを行うことができる。
表示制御部 1 7 2巳は、 例えば確信度が比較的低い場合には、 確信度が比 較的高い場合よりも、 臓器の名称の大きさを小さく したり、 臓器の内部領域 または枠を着色する色の濃度を薄く したり、 あるいは、 臓器の名称が肝臓で あるとすると、 「肝臓？」 というように、 臓器の名称が肝臓である確率が比 較的低いことを表現するために、 「？」 のような特定の文字を表示させたり する。
[0214] 臓器の内部領域または枠を着色する場合、 表示制御部 1 7 2巳は、 確信度 に応じて、 例えば臓器の内部領域または枠を着色する色の濃度を決定するこ とができる。
例えば確信度が比較的低い場合には、 臓器の内部領域または枠を着色する 色の濃度を薄く したり、 確信度が比較的高い場合には、 臓器の内部領域また は枠を着色する色の濃度を濃く したりする。
このように、 臓器の名称の表示方法、 および、 臓器の内部領域または枠の 着色方法を決定することにより、 術者は、 超音波画像認識部 1 6 8巳によつ て認識された臓器の名称が正しいのか否かを判断することができる。
[0215] また、 表示制御部 1 7 2巳は、 診断用超音波画像に臓器の名称を重ねて表 示させる場合、 臓器の名称の表示領域の背後に表示されている診断用超音波 画像の輝度に応じて、 臓器の名称の色、 および、 臓器の内部領域または枠の 色の少なくとも一方を決定することが望ましい。
表示制御部 1 7 2巳は、 臓器の名称の表示領域の背後の超音波画像の輝度 が比較的高い場合、 臓器の名称の色の濃度を高く したり、 臓器の内部領域ま たは枠の色の濃度を低く したりする。
これにより、 臓器の名称と、 その背景の超音波画像とが重ね合わされたり 〇 2020/174778 55 卩（：170?2019/045429
、 臓器の名称と、 その背景の着色された臓器の内部領域または枠とが重ね合 わされたりした場合であっても、 術者が臓器の名称を見やすくすることがで きる。
[0216] また、 術者は、 臓器の名称を表示させるか否か、 および、 臓器の範囲を着 色するか否かを指定することができる。
表示制御部 1 7 2巳は、 術者からの指示に応じて、 超音波画像認識部 1 6 8巳によって認識された臓器の名称、 および、 内部領域または枠が着色され た臓器の範囲の _方のみを表示させるか、 両方を表示させるか、 両方とも表 示させないか、 を切り替える。
例えば、 術者からの指示に応じて、 臓器の名称のみを表示させることが指 定されると、 表示制御部 1 7 2巳は、 図 2 2八に示すように、 臓器の範囲を 着色させずに、 臓器の名称のみを表示させ、 臓器の範囲の着色のみを行うこ とが指定されると、 図 2 2巳に示すように、 臓器の名称を表示させずに、 臓 器の範囲のみを着色させる。 また、 臓器の名称および臓器の範囲の着色の両 方を行うことが指定されると、 臓器の名称を表示させ、 かつ臓器の範囲を着 色させる。 _方、 臓器の名称および臓器の範囲の着色の両方とも行わないこ とが指定されると、 臓器の名称を表示させず、 かつ臓器の範囲を着色させな い。
[0217] また、 表示制御部 1 7 2巳は、 超音波画像認識部 1 6 8巳によって認識さ れた臓器の範囲に応じて、 超音波画像認識部 1 6 8巳によって認識された臓 器の名称をモニタ 2 0に表示させる位置を決めたり、 モニタ 2 0に表示させ るか否かを決めたりすることができる。
表示制御部 1 7 2巳は、 例えば超音波画像認識部 1 6 8巳によって認識さ れた臓器の範囲が比較的小さい場合には、 臓器の名称を表示させず、 臓器の 範囲が比較的大きい場合には、 臓器の名称を表示させる。 また、 臓器の範囲 が比較的小さい場合には、 臓器の名称を臓器の範囲の範囲内ではなくその近 傍に表示させ、 臓器の範囲が比較的大きい場合には、 臓器の名称を臓器の範 囲内に表^^させる。 〇 2020/174778 56 卩（：170?2019/045429
[0218] また、 術者は、 予め術者が登録した種類の臓器のみの範囲を表示させるこ とができる。
範囲を表示させる臓器の種類が臓器登録部 1 7 6に登録されている場合、 超音波画像認識部 1 6 8 Bによって範囲が認識された臓器が、 臓器登録部 1 7 6に登録されている臓器である場合に限り、 表示制御部 1 7 2 Bにより、 超音波画像認識部 1 6 8 Bによって認識された臓器の範囲がモニタ 2 0に表 される。
このように、 術者は、 所望の種類の臓器のみの範囲を表示させることがで きるため、 この所望の種類の臓器を容易に認識することができる。
[0219] また、 術者は、 範囲を表示させる臓器の種類を指定することができる。
例えば、 術者からの指示に応じて、 範囲を表示させる臓器の種類が順次指 定されると、 これに応じて、 表示制御部 1 7 2 Bにより、 範囲を表示させる 臓器の種類が順次切り替えられる。
[0220] 本発明の装置において、 例えば、 内視鏡画像認識部 1 7 0 （病変領域検出 部 1 0 2、 位置情報取得部 1 0 4、 選択部 1 0 6、 および病変領域検出制御 部 1 0 8） 、 超音波画像認識部 1 6 8、 1 6 8 B （臓器名称検出部 1 1 2、 臓器範囲検出部 1 2 0、 位置及び向き検出部 1 1 4、 選択部 1 1 6、 選択部 1 1 6 B、 臓器名称検出制御部 1 1 8、 および臓器名称及び範囲検出制御部 1 1 8 B） 、 表示制御部 1 7 2、 1 7 2 B、 および操作卓 （指示取得部） 1 0 0等の各種の処理を実行する処理部 （Process i ng Un i t） のハードウェア的 な構成は、 専用のハードウェアであってもよいし、 プログラムを実行する各 種のプロセッサまたはコンピュータであってもよい。 また、 シネメモリ 1 5 0、 色登録部 1 7 4、 および臓器登録部 1 7 6のハードウェア的な構成は、 専用のハードウェアであってもよいし、 あるいは半導体メモリ等のメモリで あってもよい。
[0221 ] 各種のプロセッサには、 ソフトウェア （プログラム） を実行して各種の処 理部として機能する汎用的なプロセッサである C P U （Cent ra l Process i ng Un i t） 、 F P G A （F i e ld Prog rammab le Gate Ar ray） 等の製造後に回路構成 〇 2020/174778 57 卩（：170?2019/045429
を変更可能なプロセッサであるプログラマブルロジックデバイス (Programma ble Logic Device : P L D) 、 AS I C (Application Specific Integrated Circuit) 等の特定の処理をさせるために専用に設計された回路構成を有す るプロセッサである専用電気回路等が含まれる。
[0222] 1つの処理部を、 これら各種のプロセッサのうちの 1つで構成してもよい し、 同種または異種の 2つ以上のプロセッサの組み合わせ、 例えば、 複数の F PGAの組み合わせ、 または、 F P G Aおよび C P Uの組み合わせ等によ つて構成してもよい。 また、 複数の処理部を、 各種のプロセッサのうちの 1 つで構成してもよいし、 複数の処理部のうちの 2以上をまとめて 1つのプロ セッサを用いて構成してもよい。
[0223] 例えば、 サーバおよびクライアント等のコンビュータに代表されるように 、 1つ以上の C P Uとソフトウェアの組み合わせで 1つのプロセッサを構成 し、 このプロセッサが複数の処理部として機能する形態がある。 また、 シス テムオンチップ (System on Chip : S〇 C) 等に代表されるように、 複数の 処理部を含むシステム全体の機能を 1つの丨 C (Integrated Circuit) チッ プで実現するプロセッサを使用する形態がある。
[0224] さらに、 これらの各種のプロセッサのハードウェア的な構成は、 より具体 的には、 半導体素子などの回路素子を組み合わせた電気回路 (Circuitry) で ある。
[0225] また、 本発明の方法は、 例えば、 その各々のステップをコンビュータに実 行させるためのプログラムにより実施することができる。 また、 このプログ ラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもで きる。
[0226] 以上、 本発明について詳細に説明したが、 本発明は上記実施形態に限定さ れず、 本発明の主旨を逸脱しない範囲において、 種々の改良および変更をし てもよいのはもちろんである。
符号の説明
[0227] 1 0 超音波内視鏡システム 〇 2020/174778 58 卩（：170?2019/045429
1 2 超音波内視鏡
1 4、 1 4巳 超音波観測装置
1 6 内視鏡プロセッサ
1 8 光源装置
20 モニタ
2 1 3 送水タンク
2 1 匕 吸引ポンプ
22 揷入部
24 操作部
26 ユニバーサルコード
283 送気送水ボタン
28匕 吸引ボタン
29 アングルノブ
30 処置具揷入口
323 超音波用コネクタ
32匕 内視鏡用コネクタ
32〇 光源用コネクタ
343 送気送水用チュ_ブ
34匕 吸引用チューブ
36 超音波観察部
38 内視鏡観察部
40 先端部
42 湾曲部
43 軟性部
44 処置具導出口
45 処置具チャンネル
46 超音波振動子ユニッ ト
48 超音波振動子 \¥02020/174778 59 卩（：170?2019/045429
50 超音波振動子アレイ
54 バッキング材層
56 同軸ケーブル
60 F P C
74 音響整合層
76 音響レンズ
82 観察窓
84 対物レンズ
86 固体撮像素子
88 照明窓
90 洗浄ノズル
92 配線ケーブル
1 00 操作卓
1 02 病変領域検出部
1 04 位置情報取得部
1 06、 1 1 6 選択部
1 08 病変領域検出制御部
1 02A〜 1 02 K 第 1〜第 1 1検出部
1 1 2 臓器名称検出部
1 1 4 位置及び向き検出部
1 1 8 臓器名称検出制御部
1 1 2 A〜 1 1 2 K 第 1〜第 1 1検出部
1 40 マルチプレクサ
1 42 受信回路
1 44 送信回路
1 46 A/Dコンバータ
1 48 AS I C
1 50 シネメモリ \¥02020/174778 60 ?€1/^2019/045429
1 5 1 メモリコントローラ
1 52 091\
1 54 030
1 58 パルス発生回路
1 60 位相整合部
1 62 巳モード画像生成部
1 64 モード画像生成部
1 66 0 モード画像生成部
1 68、 1 68巳 超音波画像認識部
1 70 内視鏡画像認識部
1 72、 1 726 表示制御部
1 74 色登録部
1 76 臓器登録部

Claims

\¥0 2020/174778 61 卩（：17 2019/045429 請求の範囲
[請求項 1 ] 超音波振動子を先端に有する超音波内視鏡と、
前記超音波振動子により超音波を送受信させ、 前記超音波の受信信 号から診断用超音波画像を生成する超音波観測装置と、
学習用超音波画像と前記学習用超音波画像に表示されている臓器の 名称との関係と、 前記学習用超音波画像と前記学習用超音波画像の撮 影時の前記超音波内視鏡の先端部の位置との関係と、 の少なくとも一 方を複数の前記学習用超音波画像について予め学習しておき、 学習結 果に基づいて、 前記診断用超音波画像から、 前記診断用超音波画像に 表示されている臓器の名称と、 前記超音波内視鏡の先端部の位置と、 の少なくとも一方を認識する超音波画像認識部と、 前記超音波画像認識部によって認識された前記臓器の名称および前 記超音波内視鏡の先端部の位置の少なくとも 1つをモニタに表示させ る表示制御部と、 を備える、 超音波内視鏡システム。
[請求項 2] さらに、 ユーザから入力される指示を取得する指示取得部を備え、 前記表示制御部は、 前記ユーザからの指示に応じて、 前記診断用超 音波画像に前記臓器の名称を重ねて表示し、 解剖学シエーマ図に前記 超音波内視鏡の先端部の位置を重ねて表示する、 請求項 1 に記載の超 音波内視鏡システム。
[請求項 3] 前記表示制御部は、 前記ユーザからの指示に応じて、 前記臓器の名 称が表示されていない前記診断用超音波画像、 前記臓器の名称が重ね て表示された前記診断用超音波画像、 前記超音波内視鏡の先端部の位 置が表示されていない解剖学シエーマ図、 および前記超音波内視鏡の 先端部の位置が重ねて表示された解剖学シエーマ図の中から、 前記臓 器の名称が重ねて表示された前記診断用超音波画像および前記超音波 内視鏡の先端部の位置が重ねて表示された解剖学シエーマ図の少なく とも一方を含む 2以上の画像を前記モニタの画面内に並べて表示させ る、 請求項 2に記載の超音波内視鏡システム。 〇 2020/174778 62 卩（：170?2019/045429
[請求項 4] 前記超音波内視鏡が、 さらに照明部および撮像部を先端に有し、 さらに、 前記照明部から照射される照明光の反射光を前記撮像部に よって受信させ、 前記反射光の撮像信号から診断用内視鏡画像を生成 する内視鏡プロセッサと、
ユーザから入力される指示を取得する指示取得部と、 を備え、 前記表示制御部は、 前記ユーザからの指示に応じて、 前記診断用内 視鏡画像を前記モニタの画面内に表示させる、 請求項 1 ないし 3のい ずれか一項に記載の超音波内視鏡システム。
[請求項 5] さらに、 前記診断用内視鏡画像から、 前記診断用内視鏡画像に表示 されている病変領域を認識する内視鏡画像認識部を備え、
前記表示制御部は、 前記ユーザからの指示に応じて、 前記病変領域 が重ねて表示された前記診断用内視鏡画像を前記モニタに表示させる 、 請求項 4に記載の超音波内視鏡システム。
[請求項 6] 前記表示制御部は、 前記ユーザからの指示に応じて、 前記病変領域 が表示されていない前記診断用内視鏡画像、 前記病変領域が重ねて表 示された前記診断用内視鏡画像、 前記臓器の名称が表示されていない 前記診断用超音波画像、 前記臓器の名称が重ねて表示された前記診断 用超音波画像、 前記超音波内視鏡の先端部の位置が表示されていない 解剖学シエーマ図、 および前記超音波内視鏡の先端部の位置が重ねて 表示された解剖学シエーマ図の中から、 前記臓器の名称が重ねて表示 された前記診断用超音波画像および前記超音波内視鏡の先端部の位置 が重ねて表示された解剖学シエーマ図の少なくとも一方を含む 2以上 の画像を前記モニタの画面内に並べて表示させる、 請求項 5に記載の 超音波内視鏡システム。
[請求項 7] 前記モニタに表示された 2以上の画像の中から、 1の画像を注目画 像として他の画像よりも大きく表示させる、 請求項 3または 6に記載 の超音波内視鏡システム。
[請求項 8] 前記表示制御部は、 前記ユーザからの指示に応じて、 前記注目画像 〇 2020/174778 63 卩（：170?2019/045429
を前記 1の画像から前記他の画像のうちの 1つに切り替えて表示させ る、 請求項 7に記載の超音波内視鏡システム。
[請求項 9] 前記表示制御部は、 前記ユーザからの指示に応じて、 前記臓器の名 称が表示されていない前記診断用超音波画像、 前記臓器の名称が重ね て表示された前記診断用超音波画像、 および前記超音波内視鏡の先端 部の位置が重ねて表示された前記解剖学シエーマ図を前記モニタの画 面内に並べて表示させる、 請求項 3、 6ないし 8のいずれか一項に記 載の超音波内視鏡システム。
[請求項 10] 前記診断用超音波画像または解剖学シエーマ図が前記モニタの画面 内に表示される場合に前記超音波画像認識部が動作し、 前記診断用内 視鏡画像が前記モニタの画面内に表示される場合に前記内視鏡画像認 識部が動作する、 請求項 5または 6に記載の超音波内視鏡システム。
[請求項 1 1 ] 前記超音波画像認識部は、 前記学習用超音波画像と前記学習用超音 波画像に表示されている臓器の名称との関係と、 前記学習用超音波画 像と前記学習用超音波画像の撮影時の前記超音波内視鏡の先端部の位 置および向きとの関係と、 の少なくとも一方を前記複数の学習用超音 波画像について予め学習しておき、 学習結果に基づいて、 前記診断用 超音波画像から、 前記診断用超音波画像に表示されている臓器の名称 と、 前記超音波内視鏡の先端部の位置および向きと、 の少なくとも一 方を認識し、
前記表示制御部は、 前記超音波画像認識部によって認識された前記 臓器の名称と、 前記超音波画像認識部によって認識された前記超音波 内視鏡の先端部の位置および向きと、 の少なくとも 1つを前記モニタ に表示させる、 請求項 1ないし 1 〇のいずれか _項に記載の超音波内 視鏡システム。
[請求項 12] さらに、 ユーザから入力される指示を取得する指示取得部を備え、 前記表示制御部は、 前記ユーザからの指示に応じて、 前記超音波内 視鏡の先端部の位置および向きが重ねて表示された解剖学シエーマ図 〇 2020/174778 64 卩（：170?2019/045429
を前記モニタに表示させる、 請求項 1 1 に記載の超音波内視鏡システ ム〇
[請求項 13] 前記超音波画像認識部は、 さらに、 前記学習用超音波画像と前記学 習用超音波画像に表示されている臓器の範囲との関係を前記複数の学 習用超音波画像について予め学習しておき、 学習結果に基づいて、 前 記診断用超音波画像から、 前記診断用超音波画像に表示されている臓 器の範囲を認識し、
前記表示制御部は、 さらに、 前記超音波画像認識部によって認識さ れた前記臓器の範囲をモニタに表示させる、 請求項 1ないし 1 2のい ずれか一項に記載の超音波内視鏡システム。
[請求項 14] 前記表示制御部は、 前記超音波画像認識部によって認識された前記 臓器の範囲の内部領域を着色し、 前記内部領域が着色された前記臓器 の範囲を前記モニタに表示させるか、 または、 前記超音波画像認識部 によって認識された前記臓器の範囲を示す枠を設けて前記枠を着色し 、 前記枠が着色された前記臓器の範囲を前記モニタに表示させる、 請 求項 1 3に記載の超音波内視鏡システム。
[請求項 15] 前記表示制御部は、 前記超音波画像認識部によって範囲が認識され た臓器の種類毎に、 前記内部領域または前記枠を異なる色に着色する 、 請求項 1 4に記載の超音波内視鏡システム。
[請求項 16] さらに、 ユーザから入力される指示を取得する指示取得部と、 前記ユーザからの指示に応じて、 前記臓器の種類と前記内部領域ま たは前記枠の色との関係を登録する色登録部と、 を備え、
前記表示制御部は、 前記内部領域または前記枠を、 前記ユーザから の指示によって指定された色に着色するか、 あるいは、 前記色登録部 に登録された前記臓器の種類に対応する前記内部領域または前記枠の 色に着色する、 請求項 1 5に記載の超音波内視鏡システム。
[請求項 17] 前記超音波画像認識部は、 さらに、 前記超音波画像認識部によって 認識された前記臓器の名称の確信度を算出し、 〇 2020/174778 65 卩（：170?2019/045429
前記表示制御部は、 前記確信度に応じて、 前記モニタに表示させる 前記臓器の名称の表示方法、 および、 前記内部領域または前記枠の着 色方法の少なくとも一方を決定する、 請求項 1 4ないし 1 6のいずか —項に記載の超音波内視鏡システム。
[請求項 18] 前記表示制御部は、 前記診断用超音波画像に前記臓器の名称を重ね て表示させる場合、 前記臓器の名称の表示領域の背後に表示されてい る前記診断用超音波画像の輝度に応じて、 前記臓器の名称の色、 およ び、 前記内部領域または前記枠の色の少なくとも一方を決定する、 請 求項 1 4ないし 1 7のいずれか一項に記載の超音波内視鏡システム。
[請求項 19] さらに、 ユーザから入力される指示を取得する指示取得部を備え、 前記表示制御部は、 前記ユーザからの指示に応じて、 前記超音波画 像認識部によって認識された前記臓器の名称、 および、 前記内部領域 または前記枠が着色された前記臓器の範囲の一方のみを表示させるか 、 両方を表示させるか、 両方とも表示させないか、 を切り替える、 請 求項 1 4ないし 1 8のいずれか一項に記載の超音波内視鏡システム。
[請求項 20] 前記表示制御部は、 前記超音波画像認識部によって認識された前記 臓器の範囲に応じて、 前記超音波画像認識部によって認識された前記 臓器の名称を前記モニタに表示させる位置を決める、 請求項 1 3ない し 1 9のいずれか一項に記載の超音波内視鏡システム。
[請求項 21 ] 前記表示制御部は、 前記超音波画像認識部によって認識された前記 臓器の範囲に応じて、 前記超音波画像認識部によって認識された前記 臓器の名称を前記モニタに表示させるか否かを決める、 請求項 1 3な いし 2 0のいずれか一項に記載の超音波内視鏡システム。
[請求項 22] さらに、 ユーザから入力される指示を取得する指示取得部と、 前記ユーザからの指示に応じて、 範囲を表示させる臓器の種類を登 録する臓器登録部と、 を備え、
前記表示制御部は、 前記超音波画像認識部によって範囲が認識され た臓器が、 前記臓器登録部に登録されている臓器である場合に、 前記 〇 2020/174778 66 卩（：170?2019/045429
超音波画像認識部によって認識された臓器の範囲を前記モニタに表示 させる、 請求項 1 3ないし 2 1のいずれか一項に記載の超音波内視鏡 システム。
[請求項 23] さらに、 ユーザから入力される指示を取得する指示取得部を備え、 前記表示制御部は、 前記ユーザからの指示に応じて、 範囲を表示さ せる臓器の種類を順次切り替える、 請求項 1 3ないし 2 2のいずれか —項に記載の超音波内視鏡システム。
[請求項 24] 前記超音波画像認識部は、 前記超音波観測装置に内蔵されている、 請求項 1ないし 2 3のいずれか一項に記載の超音波内視鏡システム。
[請求項 25] 前記超音波内視鏡が、 さらに照明部および撮像部を先端に有し、 さらに、 前記照明部から照射される照明光の反射光を前記撮像部に よって受信させ、 前記反射光の撮像信号から診断用内視鏡画像を生成 する内視鏡プロセッサを備え、
前記超音波画像認識部は、 前記内視鏡プロセッサに内蔵されている 、 請求項 1ないし 2 3のいずれか一項に記載の超音波内視鏡システム
[請求項 26] 前記超音波内視鏡が、 さらに照明部および撮像部を先端に有し、 さらに、 前記照明部から照射される照明光の反射光を前記撮像部に よって受信させ、 前記反射光の撮像信号から診断用内視鏡画像を生成 する内視鏡プロセッサを備え、
前記超音波画像認識部は、 前記超音波観測装置および前記内視鏡プ ロセッサの外部に設けられている、 請求項 1ないし 2 3のいずれか一 項に記載の超音波内視鏡システム。
[請求項 27] 超音波画像認識部が、 学習用超音波画像と前記学習用超音波画像に 表示されている臓器の名称との関係と、 前記学習用超音波画像と前記 学習用超音波画像の撮影時の超音波内視鏡の先端部の位置との関係と 、 の少なくとも一方を複数の前記学習用超音波画像について予め学習 しておくステツプと、 〇 2020/174778 67 卩（：170?2019/045429
超音波観測装置が、 前記超音波内視鏡の先端に有する超音波振動子 により超音波を送受信させ、 前記超音波の受信信号から診断用超音波 画像を生成するステップと、
前記超音波画像認識部が、 学習結果に基づいて、 前記診断用超音波 画像から、 前記診断用超音波画像に表示されている臓器の名称と、 前 記超音波内視鏡の先端部の位置と、 の少なくとも一方を認識するステ ップと、
表示制御部が、 前記超音波画像認識部によって認識された前記臓器 の名称および前記超音波内視鏡の先端部の位置の少なくとも 1つをモ 二夕に表示させるステップと、 を含む、 超音波内視鏡システムの作動 方法。
[請求項 28] ユーザからの指示に応じて、 前記診断用超音波画像に前記臓器の名 称を重ねて表示し、 解剖学シエーマ図に前記超音波内視鏡の先端部の 位置を重ねて表示する、 請求項 2 7に記載の超音波内視鏡システムの 作動方法。
[請求項 29] 前記ユーザからの指示に応じて、 前記臓器の名称が表示されていな い前記診断用超音波画像、 前記臓器の名称が重ねて表示された前記診 断用超音波画像、 前記超音波内視鏡の先端部の位置が表示されていな い解剖学シエーマ図、 および前記超音波内視鏡の先端部の位置が重ね て表示された解剖学シエーマ図の中から、 前記臓器の名称が重ねて表 示された前記診断用超音波画像および前記超音波内視鏡の先端部の位 置が重ねて表示された解剖学シエーマ図の少なくとも一方を含む 2以 上の画像を前記モニタの画面内に並べて表示させる、 請求項 2 8に記 載の超音波内視鏡システムの作動方法。
[請求項 30] 前記モニタに表示された 2以上の画像の中から、 1の画像を注目画 像として他の画像よりも大きく表示させる、 請求項 2 9に記載の超音 波内視鏡システムの作動方法。
[請求項 31 ] 前記ユーザからの指示に応じて、 前記注目画像を前記 1の画像から 〇 2020/174778 68 卩（：170?2019/045429
前記他の画像のうちの 1つに切り替えて表示させる、 請求項 3 0に記 載の超音波内視鏡システムの作動方法。
[請求項 32] 前記学習用超音波画像と前記学習用超音波画像に表示されている臓 器の名称との関係と、 前記学習用超音波画像と前記学習用超音波画像 の撮影時の前記超音波内視鏡の先端部の位置および向きとの関係と、 の少なくとも一方を前記複数の学習用超音波画像について予め学習し ておき、
学習結果に基づいて、 前記診断用超音波画像から、 前記診断用超音 波画像に表示されている臓器の名称と、 前記超音波内視鏡の先端部の 位置および向きと、 の少なくとも一方を認識し、
前記超音波画像認識部によって認識された前記臓器の名称と、 前記 超音波画像認識部によって認識された前記超音波内視鏡の先端部の位 置および向きと、 の少なくとも 1つを前記モニタに表示させる、 請求 項 2 7ないし 3 0のいずれか一項に記載の超音波内視鏡システムの作 動方法。
[請求項 33] さらに、 前記超音波画像認識部が、 前記学習用超音波画像と前記学 習用超音波画像に表示されている臓器の範囲との関係を前記複数の学 習用超音波画像について予め学習しておくステップと、
前記超音波画像認識部が、 学習結果に基づいて、 前記診断用超音波 画像から、 前記診断用超音波画像に表示されている臓器の範囲を認識 するステップと、
前記表示制御部が、 前記超音波画像認識部によって認識された前記 臓器の範囲をモニタに表示させるステップと、 を含む、 請求項 2 7な いし 3 2のいずれか一項に記載の超音波内視鏡システムの作動方法。
PCT/JP2019/045429 2019-02-28 2019-11-20 超音波内視鏡システムおよび超音波内視鏡システムの作動方法 WO2020174778A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980093155.5A CN113490455A (zh) 2019-02-28 2019-11-20 超声波内窥镜系统及超声波内窥镜系统的工作方法
EP19917336.0A EP3932323A4 (en) 2019-02-28 2019-11-20 ULTRASOUND ENDOSCOPY SYSTEM AND OPERATING PROCEDURES FOR AN ULTRASOUND ENDOSCOPY SYSTEM
JP2021501574A JP7218425B2 (ja) 2019-02-28 2019-11-20 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
US17/399,837 US20210369238A1 (en) 2019-02-28 2021-08-11 Ultrasound endoscope system and method of operating ultrasound endoscope system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019035846 2019-02-28
JP2019-035846 2019-02-28
JP2019156614 2019-08-29
JP2019-156614 2019-08-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/399,837 Continuation US20210369238A1 (en) 2019-02-28 2021-08-11 Ultrasound endoscope system and method of operating ultrasound endoscope system

Publications (1)

Publication Number Publication Date
WO2020174778A1 true WO2020174778A1 (ja) 2020-09-03

Family

ID=72239944

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045429 WO2020174778A1 (ja) 2019-02-28 2019-11-20 超音波内視鏡システムおよび超音波内視鏡システムの作動方法

Country Status (5)

Country Link
US (1) US20210369238A1 (ja)
EP (1) EP3932323A4 (ja)
JP (1) JP7218425B2 (ja)
CN (1) CN113490455A (ja)
WO (1) WO2020174778A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181748A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
WO2023080170A1 (ja) * 2021-11-04 2023-05-11 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、及び情報処理装置
WO2024095674A1 (ja) * 2022-11-04 2024-05-10 富士フイルム株式会社 医療支援装置、内視鏡、医療支援方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114569043A (zh) * 2022-01-29 2022-06-03 重庆天如生物科技有限公司 一种基于人工智能的内窥镜辅助检查方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0245045A (ja) 1988-08-04 1990-02-15 Hitachi Medical Corp 内視鏡付超音波診断装置
JPH06233761A (ja) 1993-02-09 1994-08-23 Hitachi Medical Corp 医用画像診断装置
JP2004113629A (ja) 2002-09-27 2004-04-15 Olympus Corp 超音波診断装置
JP2010069018A (ja) 2008-09-18 2010-04-02 Olympus Medical Systems Corp 医用ガイドシステム
JP2011206428A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 体腔内挿入型超音波検査装置
WO2017195540A1 (ja) * 2016-05-12 2017-11-16 株式会社日立製作所 超音波撮像装置、画像処理装置、及びその方法
WO2018225448A1 (ja) * 2017-06-09 2018-12-13 智裕 多田 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5454875B2 (ja) * 2009-06-25 2014-03-26 株式会社東芝 画像診断支援システム
JP6270026B2 (ja) * 2013-12-05 2018-01-31 国立大学法人名古屋大学 内視鏡観察支援装置
CN106796460B (zh) * 2014-10-10 2019-10-11 Nec显示器解决方案株式会社 显示系统、输入装置、显示装置及显示方法
JP6956483B2 (ja) * 2016-11-16 2021-11-02 キヤノンメディカルシステムズ株式会社 超音波診断装置、及び走査支援プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0245045A (ja) 1988-08-04 1990-02-15 Hitachi Medical Corp 内視鏡付超音波診断装置
JPH06233761A (ja) 1993-02-09 1994-08-23 Hitachi Medical Corp 医用画像診断装置
JP2004113629A (ja) 2002-09-27 2004-04-15 Olympus Corp 超音波診断装置
JP2010069018A (ja) 2008-09-18 2010-04-02 Olympus Medical Systems Corp 医用ガイドシステム
JP2011206428A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 体腔内挿入型超音波検査装置
WO2017195540A1 (ja) * 2016-05-12 2017-11-16 株式会社日立製作所 超音波撮像装置、画像処理装置、及びその方法
WO2018225448A1 (ja) * 2017-06-09 2018-12-13 智裕 多田 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3932323A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181748A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
WO2023080170A1 (ja) * 2021-11-04 2023-05-11 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、及び情報処理装置
JP7311936B1 (ja) * 2021-11-04 2023-07-20 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、及び情報処理装置
WO2024095674A1 (ja) * 2022-11-04 2024-05-10 富士フイルム株式会社 医療支援装置、内視鏡、医療支援方法、及びプログラム

Also Published As

Publication number Publication date
JP7218425B2 (ja) 2023-02-06
JPWO2020174778A1 (ja) 2021-12-16
US20210369238A1 (en) 2021-12-02
EP3932323A1 (en) 2022-01-05
CN113490455A (zh) 2021-10-08
EP3932323A4 (en) 2022-04-13

Similar Documents

Publication Publication Date Title
WO2020174778A1 (ja) 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
US11737731B2 (en) Ultrasound diagnostic apparatus and operation method of ultrasound diagnostic apparatus
US20180161063A1 (en) Ultrasound observation apparatus, method of operating ultrasound observation apparatus, and computer readable recording medium
US20150173721A1 (en) Ultrasound diagnostic apparatus, medical image processing apparatus and image processing method
US20170209126A1 (en) Ultrasound observation system
JP7157710B2 (ja) 計測装置、超音波診断装置、計測方法、計測プログラム
US20120095341A1 (en) Ultrasonic image processing apparatus and ultrasonic image processing method
JP2007268148A (ja) 超音波診断装置
JP7158596B2 (ja) 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
JP2021035442A (ja) 超音波診断システムおよび超音波診断システムの作動方法
US20200305834A1 (en) Ultrasound observation apparatus and ultrasonic endoscope system
JP2020121040A (ja) 超音波内視鏡装置の故障診断システム、超音波内視鏡装置の故障診断方法、及び超音波内視鏡装置の故障診断プログラム
US20200289095A1 (en) Ultrasound diagnostic system and method of operating ultrasound diagnostic system
JP2000116655A (ja) 診断装置
JP7292184B2 (ja) 学習装置、学習方法および学習済みモデル
CN102008322B (zh) 具有彩色多普勒超声扫描功能的胆囊镜系统
JPH1133028A (ja) 超音波診断装置用穿刺システム
JP7253058B2 (ja) 計測装置、超音波診断装置、計測方法、計測プログラム
US20230394780A1 (en) Medical image processing apparatus, method, and program
US20240215947A1 (en) Ultrasonic endoscope system and method of operating ultrasonic endoscope system
WO2022186110A1 (ja) 機械学習システム、認識器、学習方法、及びプログラム
WO2022239529A1 (ja) 医療画像処理装置、医療画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19917336

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021501574

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019917336

Country of ref document: EP

Effective date: 20210928