WO2022195699A1 - 画像生成装置、内視鏡システムおよび画像生成方法 - Google Patents

画像生成装置、内視鏡システムおよび画像生成方法 Download PDF

Info

Publication number
WO2022195699A1
WO2022195699A1 PCT/JP2021/010515 JP2021010515W WO2022195699A1 WO 2022195699 A1 WO2022195699 A1 WO 2022195699A1 JP 2021010515 W JP2021010515 W JP 2021010515W WO 2022195699 A1 WO2022195699 A1 WO 2022195699A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
photoacoustic
ultrasonic
ultrasound
generates
Prior art date
Application number
PCT/JP2021/010515
Other languages
English (en)
French (fr)
Inventor
延好 浅岡
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to PCT/JP2021/010515 priority Critical patent/WO2022195699A1/ja
Publication of WO2022195699A1 publication Critical patent/WO2022195699A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography

Definitions

  • the present invention relates to an image generation device, an endoscope system, and an image generation method.
  • Photoacoustic imaging which uses the photoacoustic effect to image a cross section of a living body.
  • Photoacoustic imaging detects photoacoustic waves (pressure waves) induced by irradiating a living body with light under certain conditions, and generates a photoacoustic image, which is a cross-sectional image of the living body, based on the photoacoustic waves.
  • Photoacoustic imaging makes it easy to visualize the blood vessels of living organisms in photoacoustic images.
  • Photoacoustic imaging can generate cross-sectional images of living organisms with higher resolution and contrast than ultrasound imaging that uses ultrasound echoes.
  • photoacoustic imaging can obtain functional information, such as blood oxygen concentration, in addition to morphological information.
  • the living body absorbs the energy of the irradiated light, and the absorbed energy induces photoacoustic waves. Therefore, in photoacoustic imaging, it is difficult to visualize treatment tools made of metal or the like that do not absorb light in the photoacoustic image.
  • Patent Document 1 Cited Document 2, and Cited Document 3 describe an apparatus for observing a living body by combining photoacoustic observation by photoacoustic imaging and ultrasonic observation by ultrasonic imaging.
  • a user can observe a living body by combining a photoacoustic image that easily visualizes a cross section of the living body with high resolution and an ultrasonic image that easily visualizes a treatment tool or the like.
  • the present invention provides an image generating apparatus capable of easily generating a composite image obtained by synthesizing a photoacoustic image generated by photoacoustic imaging and an ultrasonic image generated by ultrasonic imaging, an endoscope system and an image
  • the object is to provide a generation method.
  • An image generating apparatus is an image generating apparatus that generates an image of a subject, and includes an ultrasonic image generating unit that generates an ultrasonic image based on a reflected ultrasonic signal, a photoacoustic A photoacoustic image generating unit that generates a photoacoustic image based on a wave signal, and an image synthesizing unit that generates a synthesized image based on the photoacoustic image and the ultrasonic image, wherein the ultrasonic image
  • the generating unit generates a first ultrasonic image and a second ultrasonic image that makes it easier to visualize moving biological tissue than the first ultrasonic image, and the image synthesizing unit generates the first ultrasonic image, the The composite image is generated based on the second ultrasound image and the photoacoustic image.
  • a composite image can be easily generated by synthesizing a photoacoustic image generated by photoacoustic imaging and an ultrasound image generated by ultrasound imaging.
  • FIG. 1st embodiment It is a figure which shows the endoscope system which concerns on 1st embodiment. It is a functional block diagram of the same endoscope system. It is a functional block diagram of an image generation device of the same endoscope system. It is a figure explaining operation
  • FIG. 1 An endoscope system 100 according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 5.
  • FIG. 1 An endoscope system 100 according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 5.
  • FIG. 1 An endoscope system 100 according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 5.
  • FIG. 1 An endoscope system 100 according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 5.
  • FIG. 1 is a diagram showing an endoscope system 100.
  • the endoscope system 100 is a system capable of performing photoacoustic observation, ultrasonic observation, and optical observation of a subject (living body).
  • the endoscope system 100 includes an ultrasonic endoscope 1 , a control device 2 , an image generation device 3 and a display device 8 .
  • the display device 8 displays an image generated by the ultrasonic endoscope 1, various information about the endoscope system 100, and the like.
  • An ultrasonic endoscope (ultrasonic medical device) 1 includes an elongated insertion section 10 to be inserted into the body, an operation section 18 connected to the proximal end of the insertion section 10, and a universal cord extending from the operation section 18. 19 and.
  • the insertion portion 10 has a distal end rigid portion 11, a bendable bending portion 12, and a thin, long and flexible flexible tube portion 13.
  • the distal end rigid portion 11, the bending portion 12, and the flexible tube portion 13 are connected in order from the distal end side.
  • the flexible tube portion 13 is connected to the operating portion 18 .
  • the ultrasonic endoscope (ultrasonic medical device) 1 includes, for example, a mode in which an ultrasonic probe can be inserted into a forceps channel of a normal endoscope to exhibit the same function as the ultrasonic endoscope 1 .
  • FIG. 2 is a functional block diagram of the endoscope system.
  • the distal end rigid section 11 has an imaging section 14 , an illumination light irradiation section 15 , a laser light irradiation section 16 and an ultrasonic probe 17 .
  • the imaging unit 14 has an optical system and an imaging element such as a CMOS image sensor.
  • the imaging unit 14 images a subject and generates an imaging signal.
  • the imaging signal is transmitted to the image generation device 3 via the signal cable 14a.
  • the illumination light irradiation unit 15 irradiates the subject with the illumination light transmitted by the fiber cable 15a.
  • the fiber cable 15 a is inserted through the insertion portion 10 , the operation portion 18 and the universal cord 19 to connect the illumination light irradiation portion 15 and the control device 2 .
  • the laser light irradiation unit 16 emits photoacoustic laser light transmitted by the fiber cable 16a.
  • the fiber cable 16 a is inserted through the insertion section 10 , the operation section 18 and the universal cord 19 to connect the laser beam irradiation section 16 and the control device 2 .
  • the ultrasonic probe (probe) 17 generates ultrasonic waves.
  • the ultrasonic probe 17 also receives photoacoustic waves and ultrasonic echoes and converts them into electric signals.
  • the converted electric signal is transmitted to the control device 2 via the signal cable 17a.
  • the ultrasonic probe 17 is an electroacoustic transducer in which a plurality of ultrasonic transducers are regularly arranged on a substrate. Each ultrasonic transducer has a piezoelectric element, an acoustic matching layer, an acoustic lens and a backing layer.
  • the ultrasonic probe 17 is a mechanism appropriately selected from known electroacoustic conversion mechanisms such as those described in Patent Document 2, for example.
  • the ultrasonic probe 17 has at least two ultrasonic wave generation modes.
  • the ultrasonic wave generation modes of the ultrasonic probe 17 are B mode (also called Brightness mode) and Doppler mode.
  • B mode also called Brightness mode
  • Doppler mode The ultrasonic probe 17 generates ultrasonic waves in a known B mode and a known Doppler mode by a known ultrasonic wave generating method.
  • the operation unit 18 accepts operations for the ultrasonic endoscope 1 .
  • a universal cord 19 connects the operation unit 18 and the control device 2 .
  • the control device 2 is a device that controls the entire endoscope system 100 .
  • the control device 2 includes an illumination light source unit 21 , a photoacoustic laser light source unit 22 , a transmission/reception unit 23 , a control unit 24 and a recording unit 25 .
  • the illumination light source unit 21 supplies illumination light emitted by the illumination light emitting unit 15 via the fiber cable 15a.
  • the illumination light source unit 21 has, for example, a halogen lamp or an LED.
  • the photoacoustic laser light source unit 22 generates a laser beam that produces a photoacoustic effect when the subject is irradiated, and makes the laser beam enter the fiber cable 16a.
  • the laser light for generating the photoacoustic effect generated by the photoacoustic laser light source unit 22 is referred to as photoacoustic laser light regardless of the wavelength.
  • a photoacoustic wave (pressure wave) is induced by irradiating a subject with photoacoustic laser light.
  • the transmitting/receiving unit 23 drives the ultrasonic probe 17 to generate ultrasonic waves.
  • the ultrasonic probe 17 receives ultrasonic echoes generated by reflection of the transmitted ultrasonic waves on a subject.
  • the transmitting/receiving unit 23 receives an electric signal (hereinafter referred to as a “reflected ultrasonic signal”) obtained by converting an ultrasonic echo from the ultrasonic probe 17 and outputs the signal to the image generation device 3 .
  • the transmitting/receiving unit 23 also receives an electric signal (hereinafter referred to as “photoacoustic wave signal”) obtained by converting a photoacoustic wave from the ultrasound probe 17 and outputs the signal to the image generation device 3 .
  • the control unit 24 is a program-executable processing circuit (computer) having a processor and a program-readable memory.
  • the control unit 24 controls the endoscope system 100 by executing an endoscope control program.
  • Control unit 24 may include a dedicated circuit.
  • a dedicated circuit is a processor separate from the processor of the control unit 24, a logic circuit implemented in an ASIC or FPGA, or a combination thereof.
  • the control unit 24 controls the illumination light source unit 21 , the photoacoustic laser light source unit 22 , and the transmission/reception unit 23 .
  • the control unit 24 also controls operation parameters and the like of the imaging unit 14 , the illumination light irradiation unit 15 , the laser light irradiation unit 16 and the ultrasonic probe 17 provided in the distal end rigid portion 11 .
  • the control unit 24 also instructs the image generation device 3 to generate an image and the display device 8 to display an image.
  • the recording unit 25 is a non-volatile recording medium that stores the above-described programs and necessary data.
  • the recording unit 25 is composed of, for example, a flexible disk, a magneto-optical disk, a writable non-volatile memory such as a ROM or flash memory, a portable medium such as a CD-ROM, or a storage device such as a hard disk built into a computer system. be.
  • the recording unit 25 may be a storage device or the like provided on a cloud server connected to the control device 2 via the Internet.
  • the image generation device 3 is a device that generates an image based on data received from the imaging unit 14 and the ultrasonic probe 17 based on instructions from the control unit 24 of the control device 2 .
  • the image generation device 3 is a program-executable processing circuit (computer) having a processor and a program-readable memory or the like, a logic circuit implemented in an ASIC or FPGA, or a combination thereof.
  • the image generation device 3 may be configured as a device integrated with the control device 2 . Further, the image generation device 3 may be an arithmetic device provided on a cloud server connected to the control device 2 via the Internet.
  • FIG. 3 is a functional block diagram of the image generation device 3. As shown in FIG.
  • the image generation device 3 has an optical observation image generation unit 31 , an ultrasound image generation unit 32 , a photoacoustic image generation unit 33 , and an image synthesis unit 34 .
  • the optical observation image generating section 31 processes the imaging signal received from the imaging section 14 to generate a captured image Ic .
  • the optical observation image generator 31 transmits the generated captured image Ic to the display device 8 .
  • the ultrasound image generation unit 32 processes the reflected ultrasound signal received from the transmission/reception unit 23 to generate an ultrasound image IU .
  • the ultrasound image generation unit 32 transmits the generated ultrasound image IU to the image synthesizing unit 34 .
  • the ultrasound images IU generated by the ultrasound image generator 32 are a B -mode image (first ultrasound image) IB and a Doppler mode image (second ultrasound image) ID .
  • the B -mode image IB is a two-dimensional image generated from reflected ultrasound signals received from the ultrasound probe 17 whose ultrasound generation mode is the B mode.
  • the B -mode image IB facilitates visualization of the shapes of the living tissue T, the biopsy needle N, and the like, and is often used in ultrasonic image diagnosis.
  • the Doppler mode image ID is an image generated from reflected ultrasound signals received from the ultrasound probe 17 whose ultrasound generation mode is the Doppler mode. Compared with the B -mode image IB , the Doppler-mode image ID makes it easier to visualize a moving body tissue T such as blood flow because it utilizes the Doppler effect. On the other hand, the Doppler mode image ID has difficulty in visualizing non-moving objects, such as a biopsy needle N that is stationary to locate the puncture site, and relatively slow-moving objects, such as a biopsy needle N that is moved relatively slowly. .
  • the photoacoustic image generator 33 processes the photoacoustic wave signal received from the transmitter/receiver 23 to generate a photoacoustic image IL.
  • the photoacoustic image generator 33 transmits the generated photoacoustic image IL to the image synthesizing unit 34 .
  • the photoacoustic image I L utilizes the photoacoustic effect, the resolution and contrast of the living tissue T are improved in comparison with the ultrasonic image I U (B-mode image I B and Doppler mode image I D ) that utilizes ultrasonic echoes. is high and easy to visualize. Furthermore, information on functions such as blood oxygen level can be obtained as needed.
  • a surgical instrument such as a biopsy needle N made of metal.
  • the image combining unit 34 generates a combined image S based on the B-mode image I B , the Doppler mode image I D and the photoacoustic image IL.
  • FIG. 4 is a diagram for explaining the operation of the image generation device 3.
  • the ultrasonic image generation unit 32 generates an ultrasonic image IU based on reflected ultrasonic signals obtained by observing a subject by the ultrasonic probe 17 whose ultrasonic wave generation mode is set to the B mode at the first ultrasonic time TU1 . (hereinafter referred to as “first B-mode image I B1 ”).
  • the ultrasonic image generation unit 32 generates an ultrasonic image IU based on the reflected ultrasonic signal obtained by observing the subject by the ultrasonic probe 17 whose ultrasonic wave generation mode is set to the Doppler mode at the second ultrasonic time TU2 .
  • first Doppler mode image I D1 The second ultrasonic time TU2 is preferably closer to the first ultrasonic time TU1 .
  • the order of generating the first B -mode image IB1 and the first Doppler mode image ID1 is not limited.
  • the ultrasonic image generation unit 32 generates a first Doppler mode image based on reflected ultrasonic signals obtained by observing a subject by the ultrasonic probe 17 whose ultrasonic generation mode is set to the Doppler mode at the first ultrasonic time TU1 . ID1 may be generated. In this case, the ultrasonic image generation unit 32 generates the first A B-mode image I B1 is generated.
  • the ultrasonic image generation unit 32 observes the subject with the ultrasonic probe 17 whose ultrasonic wave generation mode is set to the B mode at the third ultrasonic time TU3 after a predetermined lapse from the first ultrasonic time TU1 .
  • An ultrasound image I U (hereinafter referred to as a “second B-mode image I B2 ”) is generated based on the reflected ultrasound signal.
  • the ultrasonic image generation unit 32 observes the subject with the ultrasonic probe 17 whose ultrasonic wave generation mode is set to the Doppler mode at a fourth ultrasonic time TU4 after a predetermined lapse from the second ultrasonic time TU2 .
  • An ultrasound image I U (hereinafter referred to as a “second Doppler mode image I D2 ”) is generated based on the reflected ultrasound signal.
  • the fourth ultrasonic time TU4 is preferably closer to the third ultrasonic time TU3 .
  • the photoacoustic image generating unit 33 generates a photoacoustic image I L (hereinafter referred to as “first photoacoustic image IL1 ”) based on the photoacoustic wave signal obtained by observing the subject at the first photoacoustic time T L1 .
  • the photoacoustic image generation unit 33 Since the amount of information on the photoacoustic wave detected by the photoacoustic image generation unit 33 is enormous, it takes a certain amount of time to generate the photoacoustic image IL from the photoacoustic wave signal. As shown in FIG. 4, the time P L required for the photoacoustic image generator 33 to generate the photoacoustic image IL is equal to the time P L required for the ultrasonic image generator 32 to generate the ultrasonic image IU . Time PU is long compared to U.
  • the image synthesizing unit 34 At the first synthesis time TS1 , the image synthesizing unit 34 generates a synthesized image S (hereinafter referred to as "A first composite image S 1 '') is generated.
  • the image combining unit 34 at the first combining time TS , based on the second B -mode image IB2, the second Doppler mode image ID2 , and the first photoacoustic image IL1 to generate a first composite image S1.
  • the B -mode image IB is an image in which the living tissue T, the biopsy needle N, and the like are visualized.
  • the Doppler mode image ID is an image in which a moving body tissue T such as blood flow is visualized, but a non-moving object such as a stationary biopsy needle N or an object that moves relatively slowly is difficult to visualize.
  • the photoacoustic image IL is an image with higher resolution and contrast than the B -mode image IB and the Doppler mode image ID . Information is also available as needed.
  • an ultrasound image IU that facilitates visualization of treatment tools such as a biopsy needle N and the resolution and contrast of the cross section of the living body can be obtained. It is possible to utilize the merits of both the photoacoustic image IL that can be highly visualized and that information related to functions such as blood oxygen concentration can be obtained as necessary.
  • the first photoacoustic image IL1 is the first Since this image is delayed compared to the two- B -mode image IB2, it is difficult to perform accurate registration with a simple synthesis process.
  • FIG. 5 is a diagram for explaining a method of generating the synthetic image S by the image generation device 3.
  • the image synthesizing unit 34 synthesizes the second B -mode image IB2 and the first photoacoustic image IL1 with reference to the biological tissue T visualized in the second Doppler mode image ID2 . 1 is generated.
  • the image synthesizing unit 34 creates an intermediate image M by aligning the first photoacoustic image IL1 with the second Doppler mode image ID2 with the shape of the living tissue T as a reference.
  • the image synthesizing unit 34 compares the living tissue T visualized in the second Doppler mode image ID2 and the first photoacoustic image IL1 to obtain the difference information of the living tissue T necessary for creating the intermediate image M. After estimating (such as a motion vector), the first photoacoustic image IL1 is aligned.
  • the living tissue T used as a reference for alignment is at least part of a blood vessel, a lymphatic vessel, a lesion, or the like.
  • the living tissue T used as a reference for alignment may be any other tissue as long as it can be visualized in the Doppler mode image ID and the photoacoustic image IL.
  • the third ultrasound time TU3 at which the reflected ultrasound signal was observed which was used to generate the second B -mode image IB2, and the time TU3 used to generate the second Doppler mode image ID2 .
  • the fourth ultrasound time TU4 at which the reflected ultrasound signal was observed is close to the time. Therefore, the second B -mode image IB2 and the second Doppler mode image ID2 are images obtained by visualizing the subject at approximately the same time.
  • the intermediate image M is an image obtained by registering the first photoacoustic image IL1 with the second Doppler mode image ID2 .
  • the second B -mode image IB2 and the second Doppler mode image ID2 are images obtained by visualizing the subject at approximately the same time. Therefore, it can be said that the intermediate image M is an image obtained by registering the first photoacoustic image IL1 with the second B -mode image IB2.
  • the image synthesizing unit 34 synthesizes the second B -mode image IB2 and the intermediate image M to generate a first synthesized image S1.
  • the image synthesizing unit 34 extracts, for example, a biological tissue T such as a thin blood vessel image that is easier to observe in the intermediate image M, and generates a first synthesized image S1 superimposed on the second B -mode image IB2. .
  • the image synthesizer 34 outputs the generated first synthesized image S1 to the display device 8 .
  • the image synthesizing unit 34 can generate a more accurate first synthesized image S1. If the above-described deviation is large, the image synthesizing unit 34 may align the Doppler mode image ID and the B mode image IB before generating the first synthesized image S1. The image synthesizing unit 34 performs alignment using at least part of an object, for example, a living tissue T, which appears in both the Doppler mode image ID and the B mode image IB .
  • the user can confirm the latest information on the treatment tools such as the biopsy needle N.
  • the first synthesized image S1 can easily visualize the cross section of the living body with high resolution and high contrast, and the biological tissue T extracted from the photoacoustic image IL, which can obtain information on functions such as blood oxygen concentration as necessary, is shown. Since they are aligned and visualized, the user can easily grasp the condition of the living tissue T.
  • the image generation device 3 periodically generates a synthetic image S in the same way thereafter.
  • the image generation device 3 outputs the synthesized image S generated periodically to the display device 8 .
  • a composite image obtained by synthesizing the B -mode image IB and the photoacoustic image IL by using the living tissue T visualized in the Doppler mode image ID as a reference. S can be easily generated.
  • the image generation device 3 generates a composite image S by combining the B -mode image IB and the photoacoustic image IL with reference to the living tissue T visualized in the Doppler mode image ID .
  • the composition source image used for composition by the image generation device 3 is not limited to this.
  • the image generation device 3 may use another image generated from reflected ultrasound signals received from the ultrasound probe 17 in another ultrasound generation mode as a synthesis source image.
  • the image generation device 3 also uses the living tissue T visualized in the Doppler mode image (second ultrasonic image) ID as a reference when synthesizing the other image (first ultrasonic image) and the photoacoustic image IL.
  • a composite image can be generated as
  • the image synthesizing unit 34 creates the intermediate image M by aligning the first photoacoustic image IL1 with the second Doppler mode image ID2 with the shape of the living tissue T as a reference.
  • the method of generating the intermediate image M is not limited to this.
  • 6A and 6B are diagrams for explaining another method of generating the synthetic image S.
  • the image synthesizing unit 34 uses the first Doppler mode image ID1 in addition to the second Doppler mode image ID2 to create an intermediate image obtained by registering the first photoacoustic image IL1 with the second Doppler mode image ID2 . You can create M.
  • the image synthesizing unit 34 compares the living tissue T visualized in the first Doppler mode image ID1 and the second Doppler mode image ID2 to obtain difference information of the living tissue T necessary for creating the intermediate image M. After calculating (such as a motion vector), the first photoacoustic image IL1 can be aligned more accurately.
  • the second ultrasound time TU2 at which the reflected ultrasound signal used to generate the first Doppler mode image ID1 is used to generate the first photoacoustic image IL1 . It is desirable that the time be closer to the first photoacoustic time TL1 at which the reflected ultrasound signal was observed. If the first Doppler mode image I D1 and the first photoacoustic image I L1 are images of the subject visualized at approximately the same time, the image synthesizing unit 34 determines whether the biological tissue T necessary to create the intermediate image M Difference information (such as motion vectors) can be calculated more accurately.
  • the biological tissue T necessary to create the intermediate image M Difference information such as motion vectors
  • the image synthesizing unit 34 generates the synthesized image S based on the latest photoacoustic image IL.
  • the mode of generating the synthetic image S is not limited to this.
  • the image synthesizing unit 34 once generates a photoacoustic image IL in which the treatment tool or the like is not visualized and the living tissue T is mainly visualized, and repeats and synthesizes the photoacoustic image IL.
  • the image S may be generated periodically.
  • the image synthesizing unit 34 When generating the first synthesized image S1 by synthesizing the second B-mode image IB2 and the intermediate image M, the image synthesizing unit 34 generates an image related to the living body that is not used for alignment in the second B -mode image IB2. Do not use for synthesis. As a result, the image synthesizing unit 34 can further shorten the time required for synthesizing the first synthetic image S1.
  • the image synthesizing unit 34 may extract only the image of the treatment tool in the second B -mode image IB2 and use it for synthesizing the first synthetic image S1.
  • the image of the living body of the first synthesized image S1 is composed only of the intermediate image M.
  • the image synthesizing unit 34 acquires a B-mode image IB in which the treatment tool is visualized before puncturing the living body, and preliminarily obtains the shape information of the treatment tool to be extracted from the second B -mode image IB2 . You may make it memorize
  • FIG. The image synthesizing unit 34 can synthesize the first synthesized image S1 more efficiently.
  • the second Doppler mode image ID2 may be a partially visualized image. As for the second Doppler mode image ID2 , it is sufficient that the biological tissue or the like minimally required for alignment is visualized. Further, if the marking information required for alignment can be extracted from the second Doppler mode image ID2 , the second Doppler mode image itself is unnecessary. The image synthesizing unit 34 can shorten the time required to generate the intermediate image M by using the extracted marking information.
  • the image synthesizing unit 34 may delete the Doppler mode image ID from the synthesized image S when the alignment of the B -mode image IB and the photoacoustic image IL is completed. That is, the Doppler mode image ID may be used only for alignment between the B -mode image IB and the photoacoustic image IL.
  • the image synthesizing unit 34 generates the first synthesized image S1 by synthesizing the second B -mode image IB2 and the intermediate image M.
  • the aspect of image composition performed by the image composition unit 34 is not limited to this.
  • the image synthesizing unit 34 generates a synthetic ultrasound image by synthesizing the Doppler mode image ID and the B mode image IB , and then generates a synthetic image S by synthesizing the synthetic ultrasound image and the intermediate image M.
  • An endoscope system 100B according to a second embodiment of the present invention will be described with reference to FIG. In the following description, the same reference numerals are given to the same configurations as those already described, and redundant descriptions will be omitted.
  • the endoscope system 100B differs from the endoscope system 100 according to the first embodiment in the image synthesizing method.
  • the endoscope system 100B includes an ultrasonic endoscope 1, a control device 2, an image generation device 3B, and a display device 8.
  • the image generation device 3B has the same configuration as the image generation device 3 of the first embodiment, and differs only in the method of generating the synthetic image S.
  • FIG. 7 is a diagram for explaining a method of generating the synthetic image S by the image generating device 3B.
  • the image synthesizing unit 34 synthesizes the second B-mode image I B2 and the first photoacoustic image I L1 based on the living tissue T visualized in the second Doppler mode image I D2 .
  • a first composite image S1 is generated.
  • the image synthesizing unit 34 creates a second intermediate image M2 by aligning the first photoacoustic image IL1 with the second Doppler mode image ID2 with the shape of the living tissue T as a reference.
  • the image synthesizing unit 34 compares the living tissue T visualized in the second Doppler mode image I D2 and the first photoacoustic image I L1 to obtain the living tissue T required to create the second intermediate image M2. After estimating difference information (such as motion vectors), the first photoacoustic image IL1 is aligned.
  • the image synthesizing unit 34 When generating the second intermediate image M2, the image synthesizing unit 34 deletes objects other than the living body visualized in the first photoacoustic image IL1 that can absorb light and emit photoacoustic waves.
  • the second intermediate image M2 generated by the image synthesizing unit 34 in the second embodiment is different from the intermediate image M in the first embodiment. Objects that can absorb light and emit photoacoustic waves have been removed.
  • the image synthesizing unit 34 acquires a photoacoustic image IL in which the sheath or the like is visualized before puncturing the living body, and obtains the shape information of the object to be removed from the first photoacoustic image IL1 in advance. You may make it memorize
  • FIG. The image synthesizing unit 34 can efficiently perform image processing for deleting the object. In addition, instead of deleting the object from the first photoacoustic image IL1 , if the image of the object is not generated when generating the first photoacoustic image IL1 , the time required to generate the synthesized image S can be shortened.
  • the image synthesizing unit 34 generates a first synthesized image S1 by synthesizing the second B -mode image IB2 and the second intermediate image M2.
  • the image synthesizer 34 outputs the generated first synthesized image S1 to the display device 8 .
  • the second intermediate image M2 from which non-moving objects such as the biopsy needle N have been deleted and the B -mode image IB are combined to obtain the biopsy needle N It is possible to suppress double visualization of non-moving objects such as
  • the treatment tool having a metal portion that is less likely to emit photoacoustic waves
  • the image is composed of a B -mode image IB
  • the biological image is composed of a photoacoustic image IL having high resolution and contrast, and including information on functions such as blood oxygen concentration as necessary.
  • the program in each embodiment may be recorded in a computer-readable recording medium, and the program recorded in this recording medium may be read into a computer system and executed.
  • the “computer system” includes hardware such as an OS and peripheral devices.
  • the term "computer-readable recording medium” refers to portable media such as flexible discs, magneto-optical discs, ROMs and CD-ROMs, and storage devices such as hard discs incorporated in computer systems.
  • “computer-readable recording medium” means a medium that dynamically retains a program for a short period of time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line.
  • the program may also include something that holds the program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or client in that case.
  • the program may be for realizing part of the functions described above, or may be capable of realizing the functions described above in combination with a program already recorded in the computer system.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Hematology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

画像生成装置は、被写体に関する画像を生成する画像生成装置であって、反射超音波信号に基づいて、超音波画像を生成する超音波画像生成部（３２）と、光音響波信号に基づいて、光音響画像を生成する光音響画像生成部（３３）と、前記光音響画像と前記超音波画像とに基づいて、合成画像を生成する画像合成部（３４）と、を備え、前記超音波画像生成部（３２）は、第一超音波画像と、前記第一超音波画像より動く生体組織を可視化しやすい第二超音波画像と、を生成し、前記画像合成部（３４）は、前記第一超音波画像、前記第二超音波画像および前記光音響画像に基づいて前記合成画像を生成する。

Description

画像生成装置、内視鏡システムおよび画像生成方法
　本発明は、画像生成装置、内視鏡システムおよび画像生成方法に関する。
　従来、光音響効果を利用して生体の断面を画像化する光音響イメージングが知られている。光音響イメージングは、生体に一定条件の光を照射することにより誘起される光音響波（圧力波）を検出して、光音響波に基づいて生体の断面画像である光音響画像を生成する。
　光音響イメージングは、生体の血管等を光音響画像において可視化しやすい。光音響イメージングは、超音波エコーを用いる超音波イメージングと比較して、分解能やコントラストが高い生体の断面画像を生成できる。さらに光音響イメージングは、形態に関する情報に加えて血中酸素濃度など機能に関する情報も必要に応じて得られる。一方、光音響イメージングでは、生体が照射された光のエネルギーを吸収し、吸収されたエネルギーが光音響波を誘起させる。そのため、光音響イメージングは、光を吸収しない金属製等の処置具等を光音響画像において可視化しにくい。
　特許文献１、引用文献２および引用文献３には、光音響イメージングによる光音響観察と、超音波イメージングによる超音波観察と、を組み合わせて生体を観察する装置が記載されている。使用者は、生体の断面を分解能高く可視化しやすい光音響画像と、処置具等を可視化しやすい超音波画像と、を組み合わせて生体を観察できる。
特開２０１９－１０７０８４号公報 特開２０１５－１５０２３８号公報 特開２０１８－０８９４０６号公報
　しかしながら、特許文献１等に記載の装置においては、光音響イメージングにおいて検出する光音響波の情報が膨大な量であるため、検出した光音響波から信号処理より光音響画像を生成するまでに一定の時間を要する。光音響イメージングによって光音響画像を生成するために必要な時間は、超音波イメージングによって超音波画像を生成するために必要な時間と比較して長い。そのため、光音響画像と超音波画像とを合成した合成画像を生成する場合、超音波画像と、超音波画像に対して遅延する光音響画像と、を容易に合成でできない場合があった。
　上記事情を踏まえ、本発明は、光音響イメージングにより生成した光音響画像と超音波イメージングにより生成した超音波画像とを合成した合成画像を容易に生成可能な画像生成装置、内視鏡システムおよび画像生成方法を提供することを目的とする。
　上記課題を解決するために、この発明は以下の手段を提案している。
　本発明の第一の態様に係る画像生成装置は、被写体に関する画像を生成する画像生成装置であって、反射超音波信号に基づいて、超音波画像を生成する超音波画像生成部と、光音響波信号に基づいて、光音響画像を生成する光音響画像生成部と、前記光音響画像と前記超音波画像とに基づいて、合成画像を生成する画像合成部と、を備え、前記超音波画像生成部は、第一超音波画像と、前記第一超音波画像より動く生体組織を可視化しやすい第二超音波画像と、を生成し、前記画像合成部は、前記第一超音波画像、前記第二超音波画像および前記光音響画像に基づいて前記合成画像を生成する。
　本発明の画像生成装置、内視鏡システムおよび画像生成方法によれば、光音響イメージングにより生成した光音響画像と超音波イメージングにより生成した超音波画像とを合成した合成画像を容易に生成できる。
第一実施形態に係る内視鏡システムを示す図である。 同内視鏡システムの機能ブロック図である。 同内視鏡システムの画像生成装置の機能ブロック図である。 同画像生成装置の動作を説明する図である。 同画像生成装置による合成画像の生成方法を説明する図である。 同画像生成装置による合成画像の他の生成方法を説明する図である。 第二実施形態に係る内視鏡システムの画像生成装置による合成画像の生成方法を説明する図である。
（第一実施形態）
　本発明の第一実施形態に係る内視鏡システム１００について、図１から図５を参照して説明する。
[内視鏡システム１００]
　図１は内視鏡システム１００を示す図である。
　内視鏡システム１００は、被写体（生体）の光音響観察と超音波観察と光学観察とを実施可能なシステムである。内視鏡システム１００は、超音波内視鏡１と、制御装置２と、画像生成装置３と、表示装置８と、を備える。表示装置８は、超音波内視鏡１により生成された画像や、内視鏡システム１００に関する各種情報等を表示する。
[超音波内視鏡１]
　超音波内視鏡（超音波医療装置）１は、体内に挿入される細長の挿入部１０と、挿入部１０の基端に接続された操作部１８と、操作部１８から延出するユニバーサルコード１９と、を備える。
　挿入部１０は、先端硬質部１１と、湾曲自在な湾曲部１２と、細径でかつ長尺で可撓性を有する可撓管部１３と、を有する。先端硬質部１１と、湾曲部１２と、可撓管部１３と、は先端側から順に接続されている。可撓管部１３は、操作部１８に接続されている。なお、超音波内視鏡（超音波医療装置）１は、例えば超音波プローブを通常内視鏡の鉗子チャンネルに挿通して超音波内視鏡１と同じ機能を発揮できる態様等も含まれる。
　図２は内視鏡システムの機能ブロック図である。
　先端硬質部１１は、撮像部１４と、照明光照射部１５と、レーザ光照射部１６と、超音波探触子１７と、を有する。
　撮像部１４は、光学系と、ＣＭＯＳイメージセンサ等の撮像素子と、を有する。撮像部１４は、被写体を撮像して撮像信号を生成する。撮像信号は、信号ケーブル１４ａを経由して画像生成装置３に送信される。
　照明光照射部１５は、ファイバケーブル１５ａによって伝送された照明光を被写体に照射する。ファイバケーブル１５ａは、挿入部１０、操作部１８およびユニバーサルコード１９を挿通して、照明光照射部１５と制御装置２とを接続する。
　レーザ光照射部１６は、ファイバケーブル１６ａによって伝送された光音響用レーザ光を出射する。ファイバケーブル１６ａは、挿入部１０、操作部１８およびユニバーサルコード１９を挿通して、レーザ光照射部１６と制御装置２とを接続する。
　超音波探触子（プローブ）１７は、超音波を発生する。また、超音波探触子１７は、光音響波および超音波エコーを受信して電気信号に変換する。変換された電気信号は、信号ケーブル１７ａを経由して制御装置２に送信される。
　超音波探触子１７は、複数の超音波振動子が基板上に規則的に配列した電気音響変換部である。各超音波振動子は、圧電素子、音響整合層、音響レンズおよびバッキング層を有する。超音波探触子１７は、例えば特許文献２に記載されているような公知の電気音響変換機構から適宜選択した機構である。
　超音波探触子１７は、少なくとも２種類の超音波発生モードを備える。超音波探触子１７が備える超音波発生モードは、Ｂモード（Brightnessモードともいう）と、ドプラモードと、である。超音波探触子１７は、公知の超音波発生方法により、公知のＢモードと公知のドプラモードにおける超音波を発生する。
　操作部１８は、超音波内視鏡１に対する操作を受け付ける。ユニバーサルコード１９は、操作部１８と制御装置２とを接続する。
［制御装置２］
　制御装置２は、内視鏡システム１００全体を制御する装置である。制御装置２は、照明光源部２１と、光音響用レーザ光源部２２と、送受信部２３と、制御部２４と、記録部２５と、を備える。
　照明光源部２１は、照明光照射部１５が照射する照明光をファイバケーブル１５ａを経由して供給する。照明光源部２１は、例えばハロゲンランプやＬＥＤを有する。
　光音響用レーザ光源部２２は、被写体に照射された際に光音響効果を生じさせるレーザ光を発生して、ファイバケーブル１６ａに入射させる。以降の説明において、光音響用レーザ光源部２２が発生した光音響効果を生じさせるためのレーザ光を、波長によらず、光音響用レーザ光という。被写体に光音響用レーザ光を照射することにより光音響波（圧力波）が誘起される。
　送受信部２３は、超音波探触子１７を駆動させて、超音波を発生させる。超音波探触子１７は、送信された超音波が被写体に反射することによって生じる超音波エコーを受信する。送受信部２３は、超音波探触子１７から超音波エコーを変換した電気信号（以降、「反射超音波信号」という）を受信して、画像生成装置３に出力する。また、送受信部２３は、超音波探触子１７から光音響波を変換した電気信号（以降、「光音響波信号」という）を受信して、画像生成装置３に出力する。
　制御部２４は、プロセッサとプログラムを読み込み可能なメモリ等を有するプログラム実行可能な処理回路（コンピュータ）である。制御部２４は、内視鏡制御プログラムを実行することにより内視鏡システム１００の制御を実施する。制御部２４は、専用回路を含んでもよい。専用回路とは、制御部２４が有するプロセッサとは別体のプロセッサ、ＡＳＩＣやＦＰＧＡに実装された論理回路、またはそれらの組み合わせである。
　制御部２４は、照明光源部２１、光音響用レーザ光源部２２、および送受信部２３を制御する。また、制御部２４は、先端硬質部１１に備えられた撮像部１４、照明光照射部１５、レーザ光照射部１６、および超音波探触子１７の動作パラメータ等を制御する。また、制御部２４は、画像生成装置３に対する画像生成の指示や表示装置８への表示の指示を実施する。
　記録部２５は、上述したプログラムや必要なデータを記憶する不揮発性の記録媒体である。記録部２５は、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置等で構成される。また、記録部２５は、インターネットを経由して制御装置２と接続されるクラウドサーバ上に設けられた記憶装置等であってもよい。
［画像生成装置３］
　画像生成装置３は、制御装置２の制御部２４の指示に基づいて、撮像部１４と超音波探触子１７から受信したデータに基づいて画像を生成する装置である。画像生成装置３は、プロセッサとプログラムを読み込み可能なメモリ等を有するプログラム実行可能な処理回路（コンピュータ）、ＡＳＩＣやＦＰＧＡに実装された論理回路、またはそれらの組み合わせである。
　画像生成装置３は、制御装置２と一体の装置として構成されてもよい。また、画像生成装置３は、インターネットを経由して制御装置２と接続されるクラウドサーバ上に設けられた演算装置であってもよい。
　図３は、画像生成装置３の機能ブロック図である。
　画像生成装置３は、光学観察画像生成部３１と、超音波画像生成部３２と、光音響画像生成部３３と、画像合成部３４と、を有する。
　光学観察画像生成部３１は、撮像部１４から受信した撮像信号を処理して撮像画像Ｉｃを生成する。光学観察画像生成部３１は、生成した撮像画像Ｉｃを表示装置８に送信する。
　超音波画像生成部３２は、送受信部２３から受信した反射超音波信号を処理して超音波画像ＩＵを生成する。超音波画像生成部３２は、生成した超音波画像ＩＵを画像合成部３４に送信する。
　超音波画像生成部３２が生成する超音波画像ＩＵは、Ｂモード画像（第一超音波画像）ＩＢと、ドプラモード画像（第二超音波画像）ＩＤと、である。
　Ｂモード画像ＩＢは、超音波発生モードがＢモードである超音波探触子１７から受信した反射超音波信号から生成した二次元画像である。Ｂモード画像ＩＢは、生体組織Ｔや生検針Ｎなどの形状を可視化しやすく、超音波画像診断でよく使用される。
　ドプラモード画像ＩＤは、超音波発生モードがドプラモードである超音波探触子１７から受信した反射超音波信号から生成した画像である。ドプラモード画像ＩＤは、Ｂモード画像ＩＢと比較して、ドプラ効果を利用するため血流などの動く生体組織Ｔを可視化しやすい。一方、ドプラモード画像ＩＤは、穿刺位置を見定めるために静止させている生検針Ｎなどの動いていない物体や、比較的ゆっくり動かした生検針Ｎなどの比較的動きの遅い物体を可視化しにくい。
　光音響画像生成部３３は、送受信部２３から受信した光音響波信号を処理して光音響画像ＩＬを生成する。光音響画像生成部３３は、生成した光音響画像ＩＬを画像合成部３４に送信する。
　光音響画像ＩＬは、光音響効果を利用するため、超音波エコーを利用する超音波画像ＩＵ（Ｂモード画像ＩＢおよびドプラモード画像ＩＤ）と比較して生体組織Ｔを分解能やコントラストが高く可視化しやすい。更に血中酸素濃度など機能に関する情報も必要に応じて得られる。一方、光音響画像ＩＬでは、光を吸収しない物体、例えば金属製の生検針Ｎ等の処置具等を可視化しにくい。
　画像合成部３４は、Ｂモード画像ＩＢ、ドプラモード画像ＩＤおよび光音響画像ＩＬに基づいて、合成画像Ｓを生成する。
　図４は、画像生成装置３の動作を説明する図である。
　超音波画像生成部３２は、第一超音波時刻ＴＵ１において超音波発生モードがＢモードに設定された超音波探触子１７が被写体を観測した反射超音波信号に基づいて超音波画像ＩＵ（以降、「第一Ｂモード画像ＩＢ１」という）を生成する。
　超音波画像生成部３２は、第二超音波時刻ＴＵ２において超音波発生モードがドプラモードに設定された超音波探触子１７が被写体を観測した反射超音波信号に基づいて超音波画像ＩＵ（以降、「第一ドプラモード画像ＩＤ１」という）を生成する。第二超音波時刻ＴＵ２は、第一超音波時刻ＴＵ１により近い時刻であることが望ましい。
　なお、第一Ｂモード画像ＩＢ１と第一ドプラモード画像ＩＤ１の生成順序は限定されない。超音波画像生成部３２は、第一超音波時刻ＴＵ１において超音波発生モードがドプラモードに設定された超音波探触子１７が被写体を観測した反射超音波信号に基づいて第一ドプラモード画像ＩＤ１を生成してもよい。この場合、超音波画像生成部３２は、第二超音波時刻ＴＵ２において超音波発生モードがＢモードに設定された超音波探触子１７が被写体を観測した反射超音波信号に基づいて第一Ｂモード画像ＩＢ１を生成する。
　超音波画像生成部３２は、第一超音波時刻ＴＵ１より所定経過後の第三超音波時刻ＴＵ３において超音波発生モードがＢモードに設定された超音波探触子１７が被写体を観測した反射超音波信号に基づいて超音波画像ＩＵ（以降、「第二Ｂモード画像ＩＢ２」という）を生成する。
　超音波画像生成部３２は、第二超音波時刻ＴＵ２より所定経過後の第四超音波時刻ＴＵ４において超音波発生モードがドプラモードに設定された超音波探触子１７が被写体を観測した反射超音波信号に基づいて超音波画像ＩＵ（以降、「第二ドプラモード画像ＩＤ２」という）を生成する。第四超音波時刻ＴＵ４は、第三超音波時刻ＴＵ３により近い時刻であることが望ましい。
　光音響画像生成部３３は、第一光音響時刻ＴＬ１に被写体を観測した光音響波信号に基づいて光音響画像ＩＬ（以降、「第一光音響画像ＩＬ１」という）を生成する。
　光音響画像生成部３３において検出する光音響波の情報が膨大な量であるため、光音響波信号から光音響画像ＩＬを生成するまでに一定の時間を要する。図４に示すように、光音響画像生成部３３が光音響画像ＩＬを生成するために必要な時間ＰＬは、超音波画像生成部３２が超音波画像ＩＵを生成するために必要な時間ＰＵと比較して長い。
　画像合成部３４は、第一合成時刻ＴＳ１において、生成済みの画像のうち最も新しいＢモード画像ＩＢ、ドプラモード画像ＩＤおよび光音響画像ＩＬに基づいて、合成画像Ｓ（以降、「第一合成画像Ｓ１」という）を生成する。図４に示す例においては、画像合成部３４は、第一合成時刻ＴＳにおいて、第二Ｂモード画像ＩＢ２と、第二ドプラモード画像ＩＤ２と、第一光音響画像ＩＬ１とに基づいて、第一合成画像Ｓ１を生成する。
　Ｂモード画像ＩＢは、生体組織Ｔや生検針Ｎなどが可視化された画像である。ドプラモード画像ＩＤは、血流などの動く生体組織Ｔが可視化された画像であるが、静止状態の生検針Ｎなどの動いていない物体や比較的動きの遅い物体は可視化されにくい。光音響画像ＩＬは、Ｂモード画像ＩＢおよびドプラモード画像ＩＤと比較して分解能やコントラストが高い画像であり、生体組織Ｔがより鮮明に可視化され、加えて血中酸素濃度など機能に関する情報も必要に応じて得られる。
　ここで、Ｂモード画像ＩＢと光音響画像ＩＬとを合成した合成画像Ｓを生成できれば、生検針Ｎ等の処置具を可視化しやすい超音波画像ＩＵと、生体の断面を分解能やコントラストを高く可視化しやすいうえに血中酸素濃度など機能に関する情報も必要に応じて得られる光音響画像ＩＬと、の両方のメリットを活用できる。しかしながら、第一合成時刻ＴＳ１において最も新しい画像である第二Ｂモード画像ＩＢ２と第一光音響画像ＩＬ１と選択して合成画像Ｓを生成する場合、第一光音響画像ＩＬ１が第二Ｂモード画像ＩＢ２と比較して遅延した画像であるため、単純な合成処理では正確な位置合わせが難しい。
　図５は、画像生成装置３による合成画像Ｓの生成方法を説明する図である。
　そこで、画像合成部３４は、第二ドプラモード画像ＩＤ２において可視化された生体組織Ｔを基準として、第二Ｂモード画像ＩＢ２と第一光音響画像ＩＬ１とを合成した第一合成画像Ｓ１を生成する。
　初めに、画像合成部３４は、生体組織Ｔの形状を基準として第一光音響画像ＩＬ１を第二ドプラモード画像ＩＤ２に対して位置合わせした中間画像Ｍを作成する。画像合成部３４は、第二ドプラモード画像ＩＤ２および第一光音響画像ＩＬ１において可視化された生体組織Ｔを比較することにより、中間画像Ｍを作成するために必要な生体組織Ｔの差分情報（動きベクトルなど）を推定したうえで、第一光音響画像ＩＬ１を位置合わせする。
　位置合わせの基準として用いる生体組織Ｔは、血管やリンパ管や病巣部などの少なくとも一部である。位置合わせの基準として用いる生体組織Ｔは、ドプラモード画像ＩＤおよび光音響画像ＩＬにおいて可視化されるものであれば他のものであってもよい。
　図４に示すように、第二Ｂモード画像ＩＢ２を生成する際に使用した反射超音波信号を観測した第三超音波時刻ＴＵ３と、第二ドプラモード画像ＩＤ２を生成する際に使用した反射超音波信号を観測した第四超音波時刻ＴＵ４と、は近い時刻である。そのため、第二Ｂモード画像ＩＢ２と第二ドプラモード画像ＩＤ２とは、略同時刻の被写体を可視化した画像である。
　中間画像Ｍは、第一光音響画像ＩＬ１を第二ドプラモード画像ＩＤ２に対して位置合わせした画像である。上述のように、第二Ｂモード画像ＩＢ２と第二ドプラモード画像ＩＤ２は、略同時刻の被写体を可視化した画像である。そのため、中間画像Ｍは、第一光音響画像ＩＬ１を第二Ｂモード画像ＩＢ２に対して位置合わせした画像であるともいえる。
　次に、画像合成部３４は、第二Ｂモード画像ＩＢ２と中間画像Ｍとを合成した第一合成画像Ｓ１を生成する。画像合成部３４は、例えば、中間画像Ｍにおいてより観察しやすい細い血管画像などの生体組織Ｔを抽出して、第二Ｂモード画像ＩＢ２に重畳表示させた第一合成画像Ｓ１を生成する。画像合成部３４は、生成した第一合成画像Ｓ１を表示装置８に出力する。
　なお、第三超音波時刻ＴＵ３に対する第四超音波時刻ＴＵ４のズレを考慮することで、画像合成部３４はより正確な第一合成画像Ｓ１を生成できる。上述のズレが大きい場合、画像合成部３４は、第一合成画像Ｓ１を生成する前にドプラモード画像ＩＤとＢモード画像ＩＢの位置合わせを行ってもよい。画像合成部３４は、ドプラモード画像ＩＤとＢモード画像ＩＢのどちらにも写り込んでいる物体、例えば生体組織Ｔの少なくとも一部を用いて位置合わせを行う。
　第一合成画像Ｓ１は最も新しいＢモード画像ＩＢに基づいて作成されているために、使用者は生検針Ｎなどの処置具の最新の情報を確認できる。また、第一合成画像Ｓ１は生体の断面を分解能やコントラスト高く可視化しやすいうえに血中酸素濃度など機能に関する情報も必要に応じて得られる光音響画像ＩＬから抽出された生体組織Ｔが位置合わせされて可視化されているため、使用者は生体組織Ｔの状況を把握しやすい。
　画像生成装置３は、以降同様に、周期的に合成画像Ｓを生成する。画像生成装置３は、周期的に生成した合成画像Ｓを表示装置８に出力する。
　本実施形態に係る内視鏡システム１００によれば、ドプラモード画像ＩＤにおいて可視化された生体組織Ｔを基準とすることにより、Ｂモード画像ＩＢと光音響画像ＩＬとを合成した合成画像Ｓを容易に生成できる。
　以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示す構成要素は適宜に組み合わせて構成することが可能である。
（変形例１）
　上記実施形態において、画像生成装置３は、ドプラモード画像ＩＤにおいて可視化された生体組織Ｔを基準として、Ｂモード画像ＩＢと光音響画像ＩＬとを合成した合成画像Ｓを生成する。しかしながら、画像生成装置３が合成に使用する合成元画像はこれに限定されない。画像生成装置３は、Ｂモード画像ＩＢの代わりに、他の超音波発生モードである超音波探触子１７から受信した反射超音波信号から生成した他の画像を合成元画像としてもよい。画像生成装置３は、他の画像（第一超音波画像）と光音響画像ＩＬとを合成する場合も、ドプラモード画像（第二超音波画像）ＩＤにおいて可視化された生体組織Ｔを基準として合成画像を生成すればよい。
（変形例２）
　上記実施形態において、画像合成部３４は生体組織Ｔの形状を基準として第一光音響画像ＩＬ１を第二ドプラモード画像ＩＤ２に対して位置合わせした中間画像Ｍを作成する。しかしながら、中間画像Ｍの生成方法はこれに限定されない。図６は、合成画像Ｓの他の生成方法を説明する図である。画像合成部３４は、第二ドプラモード画像ＩＤ２に加えて第一ドプラモード画像ＩＤ１を用いて、第一光音響画像ＩＬ１を第二ドプラモード画像ＩＤ２に対して位置合わせした中間画像Ｍを作成してもよい。
　画像合成部３４は、第一ドプラモード画像ＩＤ１と第二ドプラモード画像ＩＤ２において可視化された生体組織Ｔを比較することにより、中間画像Ｍを作成するために必要な生体組織Ｔの差分情報（動きベクトルなど）を算出したうえで、第一光音響画像ＩＬ１をより正確に位置合わせできる。
　図４に示すように、第一ドプラモード画像ＩＤ１を生成する際に使用した反射超音波信号を観測した第二超音波時刻ＴＵ２が、第一光音響画像ＩＬ１を生成する際に使用した反射超音波信号を観測した第一光音響時刻ＴＬ１により近い時刻であることが望ましい。第一ドプラモード画像ＩＤ１と第一光音響画像ＩＬ１とが略同時刻の被写体を可視化した画像であれば、画像合成部３４は、中間画像Ｍを作成するために必要な生体組織Ｔの差分情報（動きベクトルなど）をより正確に算出できる。
（変形例３）
　上記実施形態において、画像合成部３４は最も新しい光音響画像ＩＬに基づいて、合成画像Ｓを生成する。しかしながら、合成画像Ｓの生成態様はこれに限定されない。例えば、被写体に対するレーザ光照射部１６の位置が固定されている場合、光音響画像ＩＬは経時的に変化しない場合が多い。この場合、画像合成部３４は、処置具等が可視化されておらず生体組織Ｔが主に可視化された光音響画像ＩＬを一度生成し、当該光音響画像ＩＬを繰り返して使用して合成画像Ｓを周期的に生成してもよい。
（変形例４）
　画像合成部３４は、第二Ｂモード画像ＩＢ２と中間画像Ｍとを合成した第一合成画像Ｓ１を生成する際に、第二Ｂモード画像ＩＢ２における位置合わせに用いない生体に関する画像を合成に使用しなくてもよい。これにより、画像合成部３４は第一合成画像Ｓ１の合成にかかる時間をより短縮できる。
　画像合成部３４は、第二Ｂモード画像ＩＢ２における処置具の画像のみを抽出して第一合成画像Ｓ１の合成に使用してもよい。この場合、第一合成画像Ｓ１の生体に関する画像は中間画像Ｍのみで構成される。画像合成部３４は、例えば生体に穿刺する前に処置具が可視化されたＢモード画像ＩＢを取得しておいて、第二Ｂモード画像ＩＢ２から抽出すべき処置具の形状情報をあらかじめ画像合成部３４に記憶させておいてもよい。画像合成部３４は、より効率良く第一合成画像Ｓ１の合成を行える。
（変形例５）
　第二ドプラモード画像ＩＤ２は、一部分のみが可視化された画像であったてもよい。第二ドプラモード画像ＩＤ２は、位置合わせに最低限必要な生体組織等が可視化されていればよい。また、第二ドプラモード画像ＩＤ２から位置合わせに必要なマーキング情報を抽出できれば、第二ドプラモード画像自体は不要である。画像合成部３４は、抽出したマーキング情報により中間画像Ｍの生成時間をより短縮できる。
（変形例６）
　画像合成部３４は、Ｂモード画像ＩＢと光音響画像ＩＬの位置合わせが完了したらドプラモード画像ＩＤを合成画像Ｓから削除しても良い。すなわち、ドプラモード画像ＩＤは、Ｂモード画像ＩＢと光音響画像ＩＬの位置合わせのためのみに用いても良い。
（変形例７）
　上記実施形態において、画像合成部３４は第二Ｂモード画像ＩＢ２と中間画像Ｍとを合成した第一合成画像Ｓ１を生成する。しかしながら、画像合成部３４が行う画像合成の態様はこれに限定されない。例えば、画像合成部３４は、ドプラモード画像ＩＤとＢモード画像ＩＢとを合成した合成超音波画像を生成した後、合成超音波画像と中間画像Ｍとを合成した合成画像Ｓを生成してもよい。
（第二実施形態）
　本発明の第二実施形態に係る内視鏡システム１００Ｂについて、図７を参照して説明する。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。内視鏡システム１００Ｂは、第一実施形態に係る内視鏡システム１００と比較して、画像合成方法が異なる。
　内視鏡システム１００Ｂは、超音波内視鏡１と、制御装置２と、画像生成装置３Ｂと、表示装置８と、を備える。
　画像生成装置３Ｂは、第一実施形態の画像生成装置３と同様の構成を有しており、合成画像Ｓの生成方法のみが異なる。
　図７は、画像生成装置３Ｂによる合成画像Ｓの生成方法を説明する図である。
　画像合成部３４は、第一実施形態と同様に、第二ドプラモード画像ＩＤ２において可視化された生体組織Ｔを基準として、第二Ｂモード画像ＩＢ２と第一光音響画像ＩＬ１とを合成した第一合成画像Ｓ１を生成する。
　初めに、画像合成部３４は、生体組織Ｔの形状を基準として第一光音響画像ＩＬ１を第二ドプラモード画像ＩＤ２に対して位置合わせした第二中間画像Ｍ２を作成する。画像合成部３４は、第二ドプラモード画像ＩＤ２および第一光音響画像ＩＬ１において可視化された生体組織Ｔを比較することにより、第二中間画像Ｍ２を作成するために必要な生体組織Ｔの差分情報（動きベクトルなど）を推定したうえで、第一光音響画像ＩＬ１を位置合わせする。
　画像合成部３４は、第二中間画像Ｍ２を生成する際、第一光音響画像ＩＬ１において可視化されている生体以外の光を吸収し光音響波を放出し得る物体を削除する。すなわち、第二実施形態において画像合成部３４が生成する第二中間画像Ｍ２は、第一実施形態の中間画像Ｍと比較すると、例えば生検針Ｎに付随する高分子材料製のシース等生体以外の光を吸収し光音響波を放出し得る物体が削除されている。
　画像合成部３４は、例えば生体に穿刺する前に当該シース等が可視化された光音響画像ＩＬを取得しておいて、第一光音響画像ＩＬ１から除去すべき物体の形状情報をあらかじめ画像合成部３４に記憶させておいてもよい。画像合成部３４は、効率良く当該物体を削除する画像処理を行える。なお、第一光音響画像ＩＬ１から当該物体を削除する替わりに、第一光音響画像ＩＬ１を生成する際に当該物体の画像を生成しない様にすると、合成画像Ｓの生成に係る時間を短縮できる。
　次に、画像合成部３４は、第二Ｂモード画像ＩＢ２と第二中間画像Ｍ２とを合成した第一合成画像Ｓ１を生成する。画像合成部３４は、生成した第一合成画像Ｓ１を表示装置８に出力する。
　本実施形態に係る内視鏡システム１００Ｂによれば、生検針Ｎなどの動いていない物体が削除された第二中間画像Ｍ２と、Ｂモード画像ＩＢと、を合成することにより、生検針Ｎなどの動いていない物体が二重に可視化されることを抑制できる。
　以上、本発明の第二実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示す構成要素は適宜に組み合わせて構成することが可能である。
　例えば、第一実施形態の変形例４－６と第二実施形態とを適宜組み合わせて実施することで、第一合成画像Ｓ１において、光音響波を放出しにくい金属製部分を有する処置具の画像はＢモード画像ＩＢにより構成され、生体画像は分解能やコントラストが高く血中酸素濃度等の機能に関する情報も必要に応じて備える光音響画像ＩＬにより構成される。
　各実施形態におけるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
１００，１００Ｂ　内視鏡システム
１　超音波内視鏡
１０　挿入部
１１　先端硬質部
１２　湾曲部
１３　可撓管部
１４　撮像部
１４ａ　信号ケーブル
１５　照明光照射部
１５ａ　ファイバケーブル
１６　レーザ光照射部
１７　超音波探触子（プローブ）
１８　操作部
１９　ユニバーサルコード
２　制御装置
２１　照明光源部
２２　光音響用レーザ光源部
２３　送受信部
２４　制御部
２５　記録部
３，３Ｂ　画像生成装置
３１　光学観察画像生成部
３２　超音波画像生成部
３３　光音響画像生成部
３４　画像合成部
８　表示装置

Claims (10)

  1. 　被写体に関する画像を生成する画像生成装置であって、
    　反射超音波信号に基づいて、超音波画像を生成する超音波画像生成部と、
    　光音響波信号に基づいて、光音響画像を生成する光音響画像生成部と、
    　前記光音響画像と前記超音波画像とに基づいて、合成画像を生成する画像合成部と、
    　を備え、
    　前記超音波画像生成部は、第一超音波画像と、前記第一超音波画像より動く生体組織を可視化しやすい第二超音波画像と、を生成し、
    　前記画像合成部は、前記第一超音波画像、前記第二超音波画像および前記光音響画像に基づいて前記合成画像を生成する、
    　画像生成装置。
  2. 　前記画像合成部は、前記第二超音波画像において可視化された前記生体組織を基準として、前記第一超音波画像と前記光音響画像とを合成した前記合成画像を生成する、
    　請求項１に記載の画像生成装置。
  3. 　前記第一超音波画像は、Ｂモードにより取得した前記超音波画像であり、
    　前記第二超音波画像は、ドプラモードにより取得した前記超音波画像である、
    　請求項１に記載の画像生成装置。
  4. 　前記生体組織は、血管である、
    　請求項１に記載の画像生成装置。
  5. 　前記画像合成部は、前記第二超音波画像において可視化された血管を基準として、前記第一超音波画像と前記光音響画像とを合成した前記合成画像を生成する、
    　請求項１に記載の画像生成装置。
  6. 　前記画像合成部は、前記第二超音波画像において可視化された前記生体組織を基準として、前記第一超音波画像と、処置具が可視化されていない前記光音響画像と、を合成した前記合成画像を生成する、
    　請求項１に記載の画像生成装置。
  7. 前記画像合成部は、前記第二超音波画像において可視化された前記生体組織を基準として、前記第一超音波画像により生成された処置具の画像と、前記光音響画像により生成された前記生体組織の画像と、を合成した前記合成画像を生成する、
    　請求項１に記載の画像生成装置。
  8. 　請求項１から請求項７のいずれか一項に記載の画像生成装置と、
    　レーザ光照射部を有する超音波内視鏡と、
    　を備えた、
    　内視鏡システム。
  9. 　被写体に関する画像を生成する画像生成方法であって、
    　反射超音波信号に基づいて、超音波画像を生成する超音波画像生成工程と、
    　光音響波信号に基づいて、光音響画像を生成する光音響画像生成工程と、
    　前記光音響画像と前記超音波画像とに基づいて、合成画像を生成する画像合成工程と、
    　を備え、
    　前記超音波画像生成工程は、第一超音波画像と、前記第一超音波画像より動く生体組織を可視化しやすい第二超音波画像と、を生成し、
    　前記画像合成工程は、前記第一超音波画像、前記第二超音波画像および前記光音響画像に基づいて前記合成画像を生成する
    　画像生成方法。
  10. 　前記画像合成工程は、前記第二超音波画像において可視化された前記生体組織を基準として、前記第一超音波画像と前記光音響画像とを合成した前記合成画像を生成する、
    　請求項９に記載の画像生成方法。
PCT/JP2021/010515 2021-03-16 2021-03-16 画像生成装置、内視鏡システムおよび画像生成方法 WO2022195699A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/010515 WO2022195699A1 (ja) 2021-03-16 2021-03-16 画像生成装置、内視鏡システムおよび画像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/010515 WO2022195699A1 (ja) 2021-03-16 2021-03-16 画像生成装置、内視鏡システムおよび画像生成方法

Publications (1)

Publication Number Publication Date
WO2022195699A1 true WO2022195699A1 (ja) 2022-09-22

Family

ID=83320097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010515 WO2022195699A1 (ja) 2021-03-16 2021-03-16 画像生成装置、内視鏡システムおよび画像生成方法

Country Status (1)

Country Link
WO (1) WO2022195699A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017145992A1 (ja) * 2016-02-22 2017-08-31 富士フイルム株式会社 音響波画像の表示装置および表示方法
JP2018011928A (ja) * 2016-07-08 2018-01-25 キヤノン株式会社 制御装置、制御方法、制御システム及びプログラム
JP2018011927A (ja) * 2016-07-08 2018-01-25 キヤノン株式会社 制御装置、制御方法、制御システム及びプログラム
JP2019093140A (ja) * 2017-11-24 2019-06-20 キヤノンメディカルシステムズ株式会社 光超音波診断装置、医用画像処理装置、医用画像処理プログラム、及び超音波診断装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017145992A1 (ja) * 2016-02-22 2017-08-31 富士フイルム株式会社 音響波画像の表示装置および表示方法
JP2018011928A (ja) * 2016-07-08 2018-01-25 キヤノン株式会社 制御装置、制御方法、制御システム及びプログラム
JP2018011927A (ja) * 2016-07-08 2018-01-25 キヤノン株式会社 制御装置、制御方法、制御システム及びプログラム
JP2019093140A (ja) * 2017-11-24 2019-06-20 キヤノンメディカルシステムズ株式会社 光超音波診断装置、医用画像処理装置、医用画像処理プログラム、及び超音波診断装置

Similar Documents

Publication Publication Date Title
JP3772002B2 (ja) 被検体内断層イメージング装置
US11123141B2 (en) Systems and methods for navigating a catheter and delivering a needle
JP2000201925A (ja) ３次元超音波診断装置
JP7392093B2 (ja) 超音波診断装置、及び制御プログラム
US20130204138A1 (en) Steerable catheter navigation with the use of interference ultrasonography
JP2007175431A (ja) 超音波診断装置
US20090292204A1 (en) Method and device for recognizing tissue structure using doppler effect
EP3420914A1 (en) Ultrasound system and method
WO2004028374A1 (ja) 超音波診断装置
JP5683383B2 (ja) 光音響撮像装置およびその作動方法
JP2001299756A (ja) カテーテルまたは細径プローブの位置を検出可能な超音波診断装置
JP2019093123A (ja) 医用画像診断装置及び医用画像処理装置
US20120095341A1 (en) Ultrasonic image processing apparatus and ultrasonic image processing method
JP2010088699A (ja) 医療画像処理システム
WO2022195699A1 (ja) 画像生成装置、内視鏡システムおよび画像生成方法
CN102068285B (zh) 具有彩色多普勒超声扫描功能的食管镜系统
WO2019239647A1 (ja) 超音波撮像装置
JP4820565B2 (ja) 超音波診断装置
JP2009297346A (ja) 超音波観測装置、超音波内視鏡装置、画像処理方法及び画像処理プログラム
WO2022195702A1 (ja) 画像生成装置、内視鏡システムおよび画像生成方法
CN102008322B (zh) 具有彩色多普勒超声扫描功能的胆囊镜系统
JP2010082268A (ja) 超音波診断装置
CN102028502B (zh) 具有彩色多普勒超声扫描功能的电子喉镜系统
CN201996577U (zh) 具有彩色多普勒超声扫描功能的电子喉镜系统
US20240299009A1 (en) Spectroscopic photoacoustic imaging probe

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21931451

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21931451

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP