WO2020039639A1 - 画像処理装置、画像処理方法、プログラム - Google Patents

画像処理装置、画像処理方法、プログラム Download PDF

Info

Publication number
WO2020039639A1
WO2020039639A1 PCT/JP2019/013940 JP2019013940W WO2020039639A1 WO 2020039639 A1 WO2020039639 A1 WO 2020039639A1 JP 2019013940 W JP2019013940 W JP 2019013940W WO 2020039639 A1 WO2020039639 A1 WO 2020039639A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
contrast agent
information
photoacoustic
image processing
Prior art date
Application number
PCT/JP2019/013940
Other languages
English (en)
French (fr)
Inventor
翔也 佐々木
長永 兼一
大樹 梶田
宣晶 今西
貞和 相磯
Original Assignee
キヤノン株式会社
学校法人慶應義塾
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社, 学校法人慶應義塾 filed Critical キヤノン株式会社
Priority to EP19850962.2A priority Critical patent/EP3841982A4/en
Priority to CN201980054755.0A priority patent/CN112584775A/zh
Publication of WO2020039639A1 publication Critical patent/WO2020039639A1/ja
Priority to US17/178,403 priority patent/US20210177268A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0091Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/481Diagnostic techniques involving the use of contrast agent, e.g. microbubbles introduced into the bloodstream
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data

Definitions

  • the present invention relates to image processing on an image generated by photoacoustic imaging.
  • Patent Literature 1 discloses a photoacoustic image generation device that evaluates a contrast agent used for imaging lymph nodes, lymph vessels, and the like, and emits light having a wavelength that generates a photoacoustic wave when the contrast agent is absorbed. Is described.
  • an object of the present invention is to provide an image processing apparatus that generates a display image in which the structure of a contrast target can be easily grasped by photoacoustic imaging.
  • the image processing apparatus is based on a photoacoustic wave generated by irradiating a plurality of wavelengths different from each other to a subject into which a contrast agent has been introduced, to each of the plurality of wavelengths.
  • the image processing apparatus includes an area determining unit that determines an area corresponding to the contrast agent, and a display control unit that displays a spectral image so that the area corresponding to the contrast agent and an area other than the area can be identified.
  • an image processing apparatus that generates a display image in which the structure of a contrast target can be easily grasped by photoacoustic imaging.
  • FIG. 1 is a block diagram of a system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a specific example of an image processing apparatus according to an embodiment of the present invention and its peripheral configuration.
  • FIG. 3 is a detailed block diagram of the photoacoustic apparatus according to one embodiment of the present invention.
  • FIG. 4 is a schematic diagram of a probe according to one embodiment of the present invention.
  • FIG. 5 is a flowchart of an image processing method according to an embodiment of the present invention.
  • FIG. 6 is a graph showing an absorption coefficient spectrum when the concentration of ICG is changed.
  • FIGS. 7A to 7D are contour graphs of the calculated value of Expression (1) corresponding to the contrast agent when the combination of wavelengths is changed.
  • FIG. 8 is a line graph showing the calculated values of equation (1) corresponding to the contrast agent when the concentration of ICG is changed.
  • FIG. 9 is a graph showing a molar absorption coefficient spectrum of oxyhemoglobin and deoxyhemoglobin.
  • FIG. 10 is a diagram illustrating a GUI according to an embodiment of the present invention.
  • FIG. 11A and FIG. 11B are spectral images on the right forearm extension side when the density of ICG is changed.
  • 12A and 12B are spectral images on the left forearm extension side when the density of ICG is changed.
  • 13A and 13B are spectral images of the inside of the right lower leg and the inside of the left lower leg when the concentration of ICG is changed.
  • the photoacoustic image obtained by the system according to the present invention reflects the absorption amount and absorption rate of light energy.
  • the photoacoustic image is an image representing a spatial distribution of at least one object information such as a generated sound pressure (initial sound pressure) of a photoacoustic wave, a light absorption energy density, and a light absorption coefficient.
  • the photoacoustic image may be an image representing a two-dimensional spatial distribution or an image (volume data) representing a three-dimensional spatial distribution.
  • the system according to the present embodiment generates a photoacoustic image by photographing a subject into which a contrast agent has been introduced. In order to grasp the three-dimensional structure of the contrast target, the photoacoustic image may be an image representing a two-dimensional spatial distribution or a three-dimensional spatial distribution in a depth direction from the subject surface.
  • the system according to the present invention can generate a spectral image of the subject using a plurality of photoacoustic images corresponding to a plurality of wavelengths.
  • the spectral image of the present invention is based on a photoacoustic wave generated by irradiating a subject with light of a plurality of different wavelengths, and is an image generated using a photoacoustic signal corresponding to each of the plurality of wavelengths. is there.
  • the spectral image may be an image generated using the photoacoustic signals corresponding to each of the plurality of wavelengths and indicating the concentration of the specific substance in the subject.
  • the image value of the contrast agent in the spectral image and the image value of the specific substance in the spectral image are different. Therefore, the region of the contrast agent and the region of the specific substance can be distinguished according to the image value of the spectral image.
  • a substance constituting the subject such as hemoglobin, glucose, collagen, melanin, fat and water, may be mentioned. Also in this case, it is necessary to select a contrast agent having a light absorption spectrum different from the light absorption coefficient spectrum of the specific substance. Further, the spectral image may be calculated by a different calculation method according to the type of the specific substance.
  • an image calculated using the oxygen saturation calculation formula (1) will be described as a spectral image.
  • the present inventors have calculated the optical saturation of blood hemoglobin based on the photoacoustic signal corresponding to each of the plurality of wavelengths (or an index having a correlation with the oxygen saturation).
  • I (r) of a photoacoustic signal obtained with a contrast agent whose wavelength dependence of the absorption coefficient is different from that of oxyhemoglobin and deoxyhemoglobin is substituted, the numerical range in which the oxygen saturation of hemoglobin can be taken From the calculated value Is (r).
  • Is (r) is a measurement value based on a photoacoustic wave generated by light irradiation of the first wavelength ⁇ 1
  • I ⁇ 2 (r) is generated by light irradiation of the second wavelength ⁇ 2 This is a measurement value based on a photoacoustic wave.
  • ⁇ Hb ⁇ 1 is a molar absorption coefficient of deoxyhemoglobin corresponding to the first wavelength ⁇ 1 [mm ⁇ 1 mol ⁇ 1 ]
  • ⁇ Hb ⁇ 2 is a molar absorption coefficient of deoxy hemoglobin corresponding to the second wavelength ⁇ 2 [ mm -1 mol -1 ].
  • ⁇ HbO ⁇ 1 is the molar absorption coefficient of oxyhemoglobin corresponding to the first wavelength ⁇ 1 [mm ⁇ 1 mol ⁇ 1 ]
  • ⁇ HbO ⁇ 2 is the molar absorption coefficient of oxyhemoglobin corresponding to the second wavelength ⁇ 2 [ mm -1 mol -1 ].
  • r is a position.
  • the absorption coefficients ⁇ a ⁇ 1 (r) and ⁇ a ⁇ 2 (r) may be used, or the initial sound pressure P 0 ⁇ 1 (r) and P 0 ⁇ 2 (r) may be used.
  • the numerical value of the molar absorption coefficient of hemoglobin may be used as it is in Expression (1).
  • the spectral image Is (r) obtained in this manner is in a state where both the hemoglobin existing region (blood vessel) and the contrast agent existing region (for example, lymphatic vessel) inside the subject are separable from each other (can be distinguished). The image is rendered.
  • the image value of the spectral image is calculated using Expression (1) for calculating the oxygen saturation.
  • Expression (1) for calculating the oxygen saturation.
  • the expression A calculation method other than (1) may be used.
  • the index and the method for calculating the index known ones can be used, and a detailed description thereof will be omitted here.
  • the system according to the present invention was based on the photoacoustic wave generated by the first light irradiation of the photoacoustic image and the second wavelength lambda 2, based on the photoacoustic wave generated by light irradiation of the first wavelength lambda 1
  • An image indicating the ratio of the two photoacoustic images may be used as the spectral image. That is, the ratio of the second photoacoustic image based on the photoacoustic wave generated by light irradiation of the first photoacoustic image and the second wavelength lambda 2, based on the photoacoustic wave generated by light irradiation of the first wavelength lambda 1
  • the image based on this may be a spectral image.
  • an image generated according to the modified expression of Expression (1) can also be expressed by the ratio between the first photoacoustic image and the second photoacoustic image.
  • Image (spectral image) can also be expressed by the ratio between the first photoacoustic image and the
  • the spectral image may be an image representing a two-dimensional spatial distribution in the depth direction from the surface of the subject or an image representing a three-dimensional spatial distribution.
  • FIG. 1 is a block diagram illustrating a configuration of a system according to the present embodiment.
  • the system according to the present embodiment includes a photoacoustic device 1100, a storage device 1200, an image processing device 1300, a display device 1400, and an input device 1500. Transmission and reception of data between the devices may be performed by wire or wirelessly.
  • the photoacoustic apparatus 1100 generates a photoacoustic image by capturing an image of a subject into which a contrast agent is introduced, and outputs the photoacoustic image to the storage device 1200.
  • the photoacoustic device 1100 is a device that generates information of characteristic values corresponding to each of a plurality of positions in a subject using a reception signal obtained by receiving a photoacoustic wave generated by light irradiation. That is, the photoacoustic apparatus 1100 is an apparatus that generates a spatial distribution of characteristic value information derived from a photoacoustic wave as medical image data (photoacoustic image).
  • the storage device 1200 may be a storage medium such as a ROM (Read Only Memory), a magnetic disk, or a flash memory. Further, the storage device 1200 may be a storage server via a network such as a PACS (Picture Archiving and Communication System).
  • a storage medium such as a ROM (Read Only Memory), a magnetic disk, or a flash memory. Further, the storage device 1200 may be a storage server via a network such as a PACS (Picture Archiving and Communication System).
  • PACS Picture Archiving and Communication System
  • the image processing device 1300 is a device that processes information such as a photoacoustic image and incidental information of the photoacoustic image stored in the storage device 1200.
  • a unit having an arithmetic function of the image processing apparatus 1300 can be configured by an arithmetic circuit such as a CPU, a processor such as a GPU (Graphics Processing Unit), or an FPGA (Field Programmable Gate Array) chip. These units may be configured not only from a single processor or arithmetic circuit, but also from a plurality of processors or arithmetic circuits.
  • a unit having a storage function of the image processing apparatus 1300 can be configured by a non-temporary storage medium such as a ROM (Read Only Memory), a magnetic disk, or a flash memory.
  • the unit having the storage function may be a volatile medium such as a RAM (Random Access Memory).
  • the storage medium on which the program is stored is a non-temporary storage medium.
  • the unit having the storage function is not limited to a single storage medium, and may be configured from a plurality of storage media.
  • a unit having a control function of the image processing apparatus 1300 is configured by an arithmetic element such as a CPU.
  • a unit having a control function controls the operation of each component of the system.
  • the unit having the control function may control each component of the system in response to an instruction signal from various operations such as the start of measurement from the input unit. Further, the unit having the control function may read out the program code stored in the computer 150 and control the operation of each component of the system.
  • the display device 1400 is a display such as a liquid crystal display or an organic EL (Electro Luminescence).
  • the display device 1400 may display an image or a GUI for operating the device.
  • an operation console that can be operated by a user and includes a mouse, a keyboard, and the like can be employed.
  • the display device 1400 may be configured with a touch panel, and the display device 1400 may be used as the input device 1500.
  • FIG. 2 shows a specific configuration example of the image processing apparatus 1300 according to the present embodiment.
  • the image processing apparatus 1300 according to the present embodiment includes a CPU 1310, a GPU 1320, a RAM 1330, a ROM 1340, and an external storage device 1350.
  • a liquid crystal display 1410 as a display device 1400, a mouse 1510 as an input device 1500, and a keyboard 1520 are connected to the image processing device 1300.
  • the image processing apparatus 1300 is connected to an image server 1210 as a storage device 1200 such as a PACS (Picture Archiving and Communication System).
  • the image data can be stored on the image server 1210 or the image data on the image server 1210 can be displayed on the liquid crystal display 1410.
  • FIG. 3 is a schematic block diagram of devices included in the system according to the present embodiment.
  • the photoacoustic apparatus 1100 includes a drive unit 130, a signal collection unit 140, a computer 150, a probe 180, and an introduction unit 190.
  • the probe 180 has a light irradiation unit 110 and a reception unit 120.
  • FIG. 4 is a schematic diagram of the probe 180 according to the present embodiment.
  • the measurement target is the subject 100 into which the contrast agent has been introduced by the introduction unit 190.
  • the drive unit 130 drives the light irradiation unit 110 and the reception unit 120 to perform mechanical scanning.
  • the light irradiation unit 110 irradiates the subject 100 with light, and an acoustic wave is generated in the subject 100.
  • An acoustic wave generated by the photoacoustic effect due to light is also called a photoacoustic wave.
  • the receiving unit 120 outputs an electric signal (photoacoustic signal) as an analog signal by receiving the photoacoustic wave.
  • the signal collecting unit 140 converts the analog signal output from the receiving unit 120 into a digital signal, and outputs the digital signal to the computer 150.
  • the computer 150 stores the digital signal output from the signal collection unit 140 as signal data derived from a photoacoustic wave.
  • the computer 150 generates a photoacoustic image by performing signal processing on the stored digital signal.
  • the computer 150 outputs the photoacoustic image to the display unit 160 after performing image processing on the obtained photoacoustic image.
  • the display unit 160 displays an image based on the photoacoustic image.
  • the display image is stored in a memory in the computer 150 or a storage device 1200 such as a data management system connected to the modality via a network based on a storage instruction from the user or the computer 150.
  • the computer 150 also performs drive control of components included in the photoacoustic device.
  • the display unit 160 may display a GUI or the like in addition to the image generated by the computer 150.
  • the input unit 170 is configured to allow a user to input information. The user can use the input unit 170 to perform operations such as start and end of measurement, and an instruction to save a created image.
  • details of each configuration of the photoacoustic apparatus 1100 according to the present embodiment will be described.
  • the light irradiation unit 110 includes a light source 111 that emits light, and an optical system 112 that guides light emitted from the light source 111 to the subject 100.
  • the light includes pulse light such as a so-called rectangular wave and a triangular wave.
  • the pulse width of the light emitted from the light source 111 is preferably 100 ns or less in consideration of the thermal confinement condition and the stress confinement condition. Further, the wavelength of the light may be in the range of about 400 nm to 1600 nm. When imaging a blood vessel with high resolution, a wavelength (400 nm or more and 700 nm or less) at which absorption in the blood vessel is large may be used. When imaging a deep part of a living body, light having a wavelength (700 nm or more and 1100 nm or less) that typically absorbs little in a background tissue (water or fat) of the living body may be used.
  • a laser or a light emitting diode can be used.
  • a light source whose wavelength can be changed may be used.
  • a plurality of light sources are used, they are collectively expressed as a light source.
  • Various lasers such as a solid-state laser, a gas laser, a dye laser, and a semiconductor laser can be used as the laser.
  • a pulsed laser such as an Nd: YAG laser or an alexandrite laser may be used as a light source.
  • a Ti: sa laser using Nd: YAG laser light as excitation light or an OPO (Optical Parametric Oscillators) laser may be used as a light source.
  • a flash lamp or a light emitting diode may be used as the light source 111.
  • a microwave source may be used as the light source 111.
  • Optical elements such as lenses, mirrors, and optical fibers can be used for the optical system 112.
  • the light emitting unit of the optical system may be configured with a diffusion plate or the like that diffuses light in order to irradiate the pulsed light with a wider beam diameter.
  • the light emitting portion of the optical system 112 may be configured by a lens or the like, and the beam may be focused and irradiated.
  • the light irradiating unit 110 may directly irradiate the subject 100 with light from the light source 111 without including the optical system 112.
  • the receiving unit 120 includes a transducer 121 that outputs an electric signal by receiving an acoustic wave, and a support 122 that supports the transducer 121. Further, the transducer 121 may be a transmitting unit that transmits an acoustic wave.
  • the transducer as the receiving means and the transducer as the transmitting means may be a single (common) transducer or may have different configurations.
  • a piezoelectric ceramic material represented by PZT lead zirconate titanate
  • a polymer piezoelectric film material represented by PVDF polyvinylidene fluoride
  • an element other than the piezoelectric element may be used.
  • a transducer using a capacitance type micro-machined Ultrasonic Transducers (CMUT) can be used. Note that any transducer may be employed as long as an electrical signal can be output by receiving an acoustic wave. The signal obtained by the transducer is a time-resolved signal.
  • the amplitude of the signal obtained by the transducer indicates a value based on the sound pressure received by the transducer at each time (for example, a value proportional to the sound pressure).
  • the frequency component constituting the photoacoustic wave is typically 100 KHz to 100 MHz, and a transducer that can detect these frequencies may be employed as the transducer 121.
  • the support 122 may be made of a metal material having high mechanical strength. In order to cause a large amount of irradiation light to enter the subject, the surface of the support 122 on the subject 100 side may be subjected to mirror finishing or light scattering.
  • the support 122 has a hemispherical shell shape, and is configured to be able to support the plurality of transducers 121 on the hemispherical shell. In this case, the directional axes of the transducers 121 disposed on the support body 122 gather near the center of curvature of the hemisphere. Then, when an image is formed using the signals output from the plurality of transducers 121, the image quality near the center of curvature becomes high.
  • the support 122 may have any configuration as long as it can support the transducer 121.
  • the support 122 may arrange a plurality of transducers in a plane or a curved surface such as a 1D array, a 1.5D array, a 1.75D array, and a 2D array.
  • the plurality of transducers 121 correspond to a plurality of receiving units.
  • the support 122 may function as a container for storing the acoustic matching material. That is, the support 122 may be a container for disposing the acoustic matching material between the transducer 121 and the subject 100.
  • the receiving unit 120 may include an amplifier that amplifies a time-series analog signal output from the transducer 121. Further, the receiving unit 120 may include an A / D converter that converts a time-series analog signal output from the transducer 121 into a time-series digital signal. That is, the receiving unit 120 may include a signal collecting unit 140 described later.
  • the space between the receiving unit 120 and the subject 100 is filled with a medium through which a photoacoustic wave can propagate.
  • a medium a material that can transmit an acoustic wave, has matching acoustic characteristics at the interface with the subject 100 and the transducer 121, and has the highest possible transmittance of the photoacoustic wave is used.
  • water, an ultrasonic gel, or the like can be used as the medium.
  • FIG. 4 shows a side view of the probe 180.
  • the probe 180 according to the present embodiment has a receiving unit 120 in which a plurality of transducers 121 are three-dimensionally arranged on a hemispherical support body 122 having an opening.
  • a light emitting portion of the optical system 112 is disposed at the bottom of the support 122.
  • the shape of the subject 100 is held by contacting the holding unit 200.
  • the space between the receiving unit 120 and the holding unit 200 is filled with a medium through which a photoacoustic wave can propagate.
  • a medium a material that can transmit a photoacoustic wave, matches acoustic characteristics at the interface with the subject 100 and the transducer 121, and has a transmittance of the photoacoustic wave as high as possible is used.
  • water, an ultrasonic gel, or the like can be used as the medium.
  • the holding unit 200 as a holding unit is used to hold the shape of the subject 100 during measurement. By holding the subject 100 by the holding unit 200, the movement of the subject 100 can be suppressed and the position of the subject 100 can be kept in the holding unit 200.
  • a resin material such as polycarbonate, polyethylene, or polyethylene terephthalate can be used as the material of the holding section 200.
  • the holding unit 200 is attached to the attachment unit 201.
  • the attachment unit 201 may be configured so that a plurality of types of holding units 200 can be exchanged according to the size of the subject.
  • the mounting portion 201 may be configured to be exchangeable with a different holding portion such as a radius of curvature or a center of curvature.
  • the driving unit 130 is a unit that changes the relative position between the subject 100 and the receiving unit 120.
  • the driving unit 130 includes a motor such as a stepping motor that generates a driving force, a driving mechanism that transmits the driving force, and a position sensor that detects position information of the receiving unit 120.
  • a motor such as a stepping motor that generates a driving force
  • a driving mechanism that transmits the driving force
  • a position sensor that detects position information of the receiving unit 120.
  • As the driving mechanism a lead screw mechanism, a link mechanism, a gear mechanism, a hydraulic mechanism, or the like can be used.
  • As the position sensor a potentiometer using an encoder, a variable resistor, a linear scale, a magnetic sensor, an infrared sensor, an ultrasonic sensor, or the like can be used.
  • the driving unit 130 is not limited to changing the relative position between the subject 100 and the receiving unit 120 in the XY directions (two-dimensional), and may change the relative position to one-dimensional or three-dimensional.
  • the drive unit 130 may fix the receiving unit 120 and move the subject 100 as long as the relative position between the subject 100 and the receiving unit 120 can be changed.
  • the drive unit 130 may move the relative position continuously, or may move the relative position by step and repeat.
  • the drive unit 130 may be an electric stage that moves along a programmed trajectory, or may be a manual stage.
  • the driving unit 130 scans by simultaneously driving the light irradiation unit 110 and the reception unit 120.
  • the drive unit 130 drives only the light irradiation unit 110 or drives only the reception unit 120. You may.
  • the photoacoustic device 1100 may not include the driving unit 130.
  • the signal collection unit 140 includes an amplifier that amplifies an electric signal that is an analog signal output from the transducer 121, and an A / D converter that converts an analog signal output from the amplifier into a digital signal.
  • the digital signal output from the signal collection unit 140 is stored in the computer 150.
  • the signal collection unit 140 is also called a Data Acquisition System (DAS).
  • DAS Data Acquisition System
  • the electric signal is a concept including both an analog signal and a digital signal.
  • a light detection sensor such as a photodiode may detect light emission from the light irradiation unit 110, and the signal collection unit 140 may start the above process in synchronization with the detection result in response to a trigger.
  • the computer 150 as the information processing device is configured by the same hardware as the image processing device 1300. That is, the unit having the arithmetic function of the computer 150 can be configured by an arithmetic circuit such as a processor such as a CPU or a GPU (Graphics Processing Unit) or an FPGA (Field Programmable Gate Array) chip. These units may be configured not only from a single processor or arithmetic circuit, but also from a plurality of processors or arithmetic circuits.
  • the unit that performs the storage function of the computer 150 may be a volatile medium such as a RAM (Random Access Memory).
  • the storage medium on which the program is stored is a non-temporary storage medium. It should be noted that the unit having the storage function of the computer 150 may not only be constituted by one storage medium, but also constituted by a plurality of storage media.
  • the unit that performs the control function of the computer 150 is composed of an arithmetic element such as a CPU.
  • a unit having a control function of the computer 150 controls the operation of each component of the photoacoustic apparatus.
  • a unit having a control function of the computer 150 may control each component of the photoacoustic apparatus by receiving an instruction signal from the input unit 170 through various operations such as a start of measurement. Further, the unit having the control function of the computer 150 reads out the program code stored in the unit having the storage function, and controls the operation of each component of the photoacoustic apparatus. That is, the computer 150 can function as a control device of the system according to the present embodiment.
  • the computer 150 and the image processing device 1300 may be configured by the same hardware.
  • One piece of hardware may perform the functions of both the computer 150 and the image processing device 1300. That is, the computer 150 may perform the function of the image processing apparatus 1300. Further, the image processing device 1300 may have the function of the computer 150 as the information processing device.
  • the display unit 160 is a display such as a liquid crystal display and an organic EL (Electro Luminescence).
  • the display unit 160 may display an image or a GUI for operating the apparatus. Note that the display unit 160 and the display device 1400 may be the same display. That is, one display may have the functions of both the display unit 160 and the display device 1400.
  • Input unit 170 As the input unit 170, an operation console that can be operated by a user and includes a mouse and a keyboard can be employed. Further, the display unit 160 may be configured by a touch panel, and the display unit 160 may be used as the input unit 170. Note that the input unit 170 and the input device 1500 may be the same device. That is, one device may perform both functions of the input unit 170 and the input device 1500.
  • the introduction unit 190 is configured to be able to introduce a contrast agent from outside the subject 100 into the inside of the subject 100.
  • the introducer 190 can include a container for the contrast agent and a needle for piercing the subject.
  • the present invention is not limited to this, and various types can be applied to the introduction unit 190 as long as the contrast agent can be introduced into the subject 100.
  • the introduction unit 190 may be, for example, a known injection system, an injector, or the like.
  • the contrast agent may be introduced into the subject 100 by controlling the operation of the introduction unit 190 by the computer 150 as a control device. Further, the contrast agent may be introduced into the subject 100 by operating the introduction unit 190 by the user.
  • the subject 100 does not constitute a system, but will be described below.
  • the system according to the present embodiment can be used for the purpose of diagnosing malignant tumors and vascular diseases of humans and animals, monitoring the progress of chemotherapy and the like. Therefore, the subject 100 is assumed to be a body to be diagnosed, specifically, a living body, specifically, a breast or each organ of a human body or an animal, a vascular network, a head, a neck, an abdomen, a limb including a finger or a toe. You.
  • the human body is a measurement target
  • oxyhemoglobin or deoxyhemoglobin a blood vessel containing many of them, a new blood vessel formed near a tumor, or the like may be the target of the light absorber.
  • plaque of the carotid artery wall or the like may be a target of the light absorber.
  • melanin, collagen, lipids, and the like contained in the skin and the like may be targeted for the light absorber.
  • the contrast agent introduced into the subject 100 can be a light absorber.
  • a dye such as indocyanine green (ICG) or methylene blue (MB), a fine gold particle, a mixture thereof, or a substance which is integrated or chemically modified and externally introduced is used. May be. Further, a phantom imitating a living body may be used as the subject 100.
  • Each configuration of the photoacoustic device may be configured as a separate device, or may be configured as one integrated device. Further, at least a part of the configuration of the photoacoustic apparatus may be configured as one integrated apparatus.
  • Each device constituting the system according to the present embodiment may be constituted by separate hardware, or all devices may be constituted by one piece of hardware. The function of the system according to the present embodiment may be configured by any hardware.
  • the flowchart shown in FIG. 5 includes a step indicating the operation of the system according to the present embodiment and a step indicating the operation of a user such as a doctor.
  • the computer 150 of the photoacoustic apparatus 1100 obtains examination order information transmitted from an in-hospital information system such as a Hospital Information System (HIS) or a Radiology Information System (RIS).
  • the examination order information includes information such as the type of the modality used for the examination and the contrast agent used for the examination.
  • the computer 150 as a contrast agent information acquisition unit acquires information on a contrast agent.
  • the user may use the input unit 170 to specify the type of the contrast agent to be used for the examination and the concentration of the contrast agent.
  • the computer 150 can acquire information on the contrast agent via the input unit 170.
  • the examination order information acquired in S100 includes information on the contrast agent
  • the computer 150 may acquire the information by reading out the information on the contrast agent from the examination order information.
  • the computer 150 may acquire information on the contrast agent based on at least one of a user instruction and examination order information.
  • the information on the contrast agent indicating the condition of the contrast agent includes the type of the contrast agent, the concentration of the contrast agent, and the like.
  • FIG. 10 shows an example of a GUI displayed on the display unit 160.
  • examination order information such as a patient ID, an examination ID, and an imaging date and time is displayed.
  • the item 2500 may have a display function of displaying inspection order information acquired from an external device such as a HIS or RIS, or an input function of allowing a user to input inspection order information using the input unit 170.
  • the GUI item 2600 displays information on the contrast agent such as the type of the contrast agent and the concentration of the contrast agent.
  • the item 2600 may have a display function of displaying information on a contrast agent acquired from an external device such as an HIS or RIS, or an input function that allows a user to input information on a contrast agent using the input unit 170. Good.
  • information on the contrast agent such as the type and concentration of the contrast agent may be input from a plurality of options by a method such as pull-down. Note that the GUI shown in FIG. 10 may be displayed on the display device 1400.
  • the information on the contrast agent set by default may be acquired from the information on the plurality of contrast agents.
  • ICG is set as the type of the contrast agent
  • 1.0 mg / mL is set as the concentration of the contrast agent by default.
  • the type and density of the contrast agent set by default are displayed in the item 2600 of the GUI, but the information on the contrast agent may not be set by default. In this case, the information about the contrast agent may not be displayed on the GUI item 2600 on the initial screen.
  • the introduction unit 190 introduces a contrast agent into the subject.
  • the user operates the input unit 170 to send a signal indicating that the contrast agent has been introduced from the input unit 170 to the control device. It may be transmitted to the computer 150. Further, the introduction unit 190 may transmit a signal indicating that the contrast agent has been introduced into the subject 100 to the computer 150.
  • the contrast agent may be administered to the subject without using the introduction unit 190.
  • the contrast medium may be administered by aspirating the sprayed contrast medium onto a living body as a subject.
  • S400 which will be described later, may be executed after a period of time until the contrast agent reaches the contrast target in the subject 100.
  • the computer 150 as the wavelength determining means determines the wavelength of the irradiation light based on the information on the contrast agent acquired in S200. In this embodiment, in order to generate a spectral image, the computer 150 determines a plurality of wavelengths based on information about a contrast agent.
  • a combination of wavelengths for facilitating identification of a region corresponding to a contrast agent in a spectral image will be described.
  • an image according to Expression (1) is generated as a spectral image in S800 described below.
  • equation (1) for a blood vessel region in the spectral image, an image value corresponding to the actual oxygen saturation is calculated.
  • the image value greatly changes depending on the wavelength used.
  • the image value greatly varies depending on the absorption coefficient spectrum of the contrast agent.
  • the image value of the contrast agent region in the spectral image may be a value that cannot be distinguished from the image value of the blood vessel region.
  • the image value of the region of the contrast agent in the spectral image be a value that can be distinguished from the image value of the region of the blood vessel.
  • the present inventors have conceived of controlling the image value of the region of the contrast agent in the spectral image by adaptively changing the wavelength of the irradiation light according to the condition of the contrast agent used for the inspection. . That is, the inventor has devised that the information processing apparatus determines the wavelength of the irradiation light that can identify the region of the contrast agent and the region of the blood vessel in the spectral image based on the information on the contrast agent.
  • the wavelength of the irradiation light is determined by utilizing that the oxygen saturation of the artery and vein falls within approximately 60% to 100% in percent display. May be. That is, the computer 150 serving as the information processing apparatus determines that the value of the expression (1) corresponding to the contrast agent in the spectral image is smaller than 60% or larger than 100% based on the information regarding the contrast agent. Two wavelengths may be determined. Also, the computer 150 determines two wavelengths based on the information on the contrast agent such that the signs of the image values of the region corresponding to the contrast agent in the spectral image and the image values of the other regions are reversed. Is also good.
  • FIG. 6 is a spectrum diagram showing a change in the absorption coefficient spectrum when the concentration of ICG as a contrast agent is changed.
  • FIG. 6 shows spectrum diagrams in the case where the concentration of ICG is 5.04 ⁇ g / mL, 50.4 ⁇ g / mL, 0.5 mg / mL, and 1.0 mg / mL in order from the bottom. As shown in FIG. 6, it is understood that the light absorption degree increases as the concentration of the contrast agent increases.
  • the ratio of the absorption coefficients corresponding to the two wavelengths changes according to the concentration of the contrast agent
  • the image value corresponding to the contrast agent in the spectral image changes according to the concentration of the contrast agent. Is done.
  • the ratio of the absorption coefficients corresponding to the two wavelengths also changes when the type of the contrast agent changes. Therefore, it is understood that the image value corresponding to the contrast agent in the spectral image changes even according to the type of the contrast agent.
  • FIGS. 11A to 13B show spectral images obtained by photographing when ICG is introduced while changing the density.
  • 0.1 mL of ICG was introduced subcutaneously or intradermally on the hand or foot at each location.
  • the ICG introduced subcutaneously or intradermally is selectively taken up by the lymphatic vessels, so that the lumen of the lymphatic vessels is imaged.
  • the images were taken within 5 to 60 minutes after the introduction of ICG.
  • Each of the spectral images is a spectral image generated from a photoacoustic image obtained by irradiating a living body with light having a wavelength of 797 nm and light having a wavelength of 835 nm.
  • FIG. 11A shows a spectral image on the right forearm extension side when ICG is not introduced.
  • FIG. 11B shows a spectral image on the right forearm extension side when ICG having a concentration of 2.5 mg / mL was introduced.
  • the lymphatic vessels are depicted in the area indicated by the broken line and the arrow in FIG. 11B.
  • FIG. 12A shows a spectral image of the left forearm extension when ICG having a concentration of 1.0 mg / mL is introduced.
  • FIG. 12B shows a spectral image of the left forearm extension when ICG having a concentration of 5.0 mg / mL was introduced. Lymph vessels are depicted in the area indicated by the broken line and the arrow in FIG.
  • FIG. 13A shows a spectral image of the inside of the right lower leg when ICG having a concentration of 0.5 mg / mL is introduced.
  • FIG. 13B shows a spectral image of the inside of the left lower leg when ICG having a concentration of 5.0 mg / mL is introduced. Lymph vessels are depicted in the area indicated by the broken line and the arrow in FIG. 13B.
  • the visibility of the lymphatic vessels in the spectral images is improved when the concentration of ICG is increased.
  • the lymph vessels can be favorably visualized when the concentration of ICG is 2.5 mg / mL or more. That is, when the concentration of ICG is 2.5 mg / mL or more, the lymph vessels on the line can be clearly recognized. Therefore, when ICG is used as a contrast agent, the concentration may be 2.5 mg / mL or more. In consideration of the dilution of ICG in a living body, the concentration of ICG may be higher than 5.0 mg / mL.
  • the concentration of ICG to be introduced into a living body is preferably 2.5 mg / mL or more and 10.0 mg / mL or less, and more preferably 5.0 mg / mL or more and 10.0 mg / mL or less.
  • the computer 150 is configured to selectively receive an instruction from the user indicating the concentration of ICG in the above numerical range when ICG is input as the type of the contrast agent in the item 2600 of the GUI shown in FIG. May be. That is, in this case, the computer 150 may be configured not to receive an instruction from the user indicating the ICG concentration outside the above numerical range. Therefore, when acquiring information indicating that the type of the contrast agent is ICG, the computer 150 issues an instruction from a user indicating a concentration of ICG smaller than 2.5 mg / mL or larger than 10.0 mg / mL. May not be accepted.
  • the computer 150 when acquiring information indicating that the type of the contrast agent is ICG, the computer 150 receives an instruction from the user indicating a concentration of ICG smaller than 5.0 mg / mL or larger than 10.0 mg / mL. You may be comprised so that it may not accept.
  • the computer 150 may configure the GUI so that the user cannot specify the ICG concentration outside the above numerical range on the GUI. That is, the computer 150 may display the GUI so that the user cannot specify the ICG concentration outside the numerical range on the GUI. For example, the computer 150 may display a pull-down on the GUI that can selectively indicate the concentration of ICG in the above numerical range. The computer 150 may display the density of the ICG outside the numerical range in the pull-down by graying out the density, and may configure the GUI so that the grayed-out density cannot be selected.
  • the computer 150 may notify an alert when a user specifies an ICG concentration outside the above numerical range on the GUI.
  • the notification method any method such as displaying an alert on the display unit 160 and lighting a sound or a lamp can be adopted.
  • the computer 150 may cause the display unit 160 to display the above numerical range as the concentration of ICG to be introduced into the subject.
  • the concentration of the contrast agent to be introduced into the subject is not limited to the numerical range shown here, and a suitable concentration according to the purpose can be adopted. Further, here, an example in which the type of the contrast agent is ICG has been described, but the above configuration can be similarly applied to other contrast agents. By configuring the GUI in this manner, it is possible to support the user to introduce an appropriate contrast agent concentration into the subject according to the type of the contrast agent to be introduced into the subject.
  • 7A to 7D show simulation results of image values (oxygen saturation values) corresponding to the contrast agent in the spectral image in each of the two wavelength combinations.
  • 7A to 7D represent the first wavelength and the second wavelength, respectively.
  • 7A to 7D show contour lines of image values corresponding to the contrast agent in the spectral images.
  • 7A to 7D show image values corresponding to a contrast agent in a spectral image when the concentration of ICG is 5.04 ⁇ g / mL, 50.4 ⁇ g / mL, 0.5 mg / mL, and 1.0 mg / mL, respectively. Show.
  • the image value corresponding to the contrast agent in the spectral image may be 60% to 100% depending on the combination of the selected wavelengths. As described above, if such a combination of wavelengths is selected, it becomes difficult to distinguish a blood vessel region and a contrast agent region in a spectral image. Therefore, in the wavelength combinations shown in FIGS. 7A to 7D, it is preferable to select a wavelength combination such that the image value corresponding to the contrast agent in the spectral image is smaller than 60% or larger than 100%. . Further, it is preferable to select a combination of wavelengths such that the image value corresponding to the contrast agent in the spectral image has a negative value in the combination of wavelengths shown in FIGS. 7A to 7D.
  • FIG. 8 shows the relationship between the concentration of ICG and the image value (the value of equation (1)) corresponding to the contrast agent in the spectral image when 797 nm is selected as the first wavelength and 835 nm is selected as the second wavelength.
  • FIG. 8 shows the relationship between the concentration of ICG and the image value (the value of equation (1)) corresponding to the contrast agent in the spectral image when 797 nm is selected as the first wavelength and 835 nm is selected as the second wavelength.
  • the contrast in the spectral image is increased regardless of the concentration of 5.04 ⁇ g / mL to 1.0 mg / mL.
  • the image value corresponding to the agent is a negative value. Therefore, according to the spectral image generated by such a combination of wavelengths, since the oxygen saturation value of the blood vessel does not take a negative value in principle, the blood vessel region and the contrast agent region are clearly distinguished. be able to.
  • the wavelength is determined based on the information on the contrast agent.
  • the absorption coefficient of hemoglobin may be considered in determining the wavelength.
  • FIG. 9 shows the spectrum of the molar absorption coefficient of oxyhemoglobin (dashed line) and the molar absorption coefficient of deoxyhemoglobin (solid line).
  • the magnitude relationship between the molar absorption coefficient of oxyhemoglobin and the molar absorption coefficient of deoxyhemoglobin is reversed at the boundary of 797 nm. That is, it can be said that it is easy to grasp the vein at a wavelength shorter than 797 nm, and it is easy to grasp the artery at a wavelength longer than 797 nm.
  • lymphatic venule anastomosis for creating a bypass between lymphatic vessels and veins is used.
  • photoacoustic imaging to image both the veins and the lymph vessels in which the contrast agent has accumulated.
  • at least one of the plurality of wavelengths is set to a wavelength at which the molar absorption coefficient of deoxyhemoglobin is larger than the molar absorption coefficient of oxyhemoglobin.
  • the vein is imaged by setting the wavelength at which the molar absorption coefficient of deoxyhemoglobin is larger than the molar absorption coefficient of oxyhemoglobin at any of the two wavelengths. This is advantageous. By selecting these wavelengths, in the preoperative examination of the lymphatic venule anastomosis, it is possible to accurately image both the lymphatic vessels and the veins into which the contrast agent has been introduced.
  • any of the plurality of wavelengths is a wavelength at which the absorption coefficient of the contrast agent is larger than that of blood, the oxygen saturation accuracy of the blood decreases due to artifacts derived from the contrast agent. Therefore, in order to reduce artifacts derived from the contrast agent, at least one of the plurality of wavelengths may be a wavelength at which the absorption coefficient of the contrast agent is smaller than the absorption coefficient of blood.
  • the light irradiation unit 110 sets the wavelength determined in S400 to the light source 111.
  • the light source 111 emits light having the wavelength determined in S400.
  • Light generated from the light source 111 is applied to the subject 100 as pulse light via the optical system 112. Then, the pulse light is absorbed inside the subject 100, and a photoacoustic wave is generated by the photoacoustic effect. At this time, the introduced contrast agent also absorbs the pulse light and generates a photoacoustic wave.
  • the light irradiation unit 110 may transmit a synchronization signal to the signal collection unit 140 together with the transmission of the pulse light.
  • the light irradiating unit 110 similarly irradiates each of a plurality of wavelengths with light.
  • the user may specify the control parameters such as the irradiation condition (the repetition frequency and wavelength of irradiation light) of the light irradiation unit 110 and the position of the probe 180 by using the input unit 170.
  • the computer 150 may set a control parameter determined based on a user's instruction. Further, the computer 150 may move the probe 180 to a specified position by controlling the driving unit 130 based on the specified control parameter.
  • the drive unit 130 When imaging at a plurality of positions is designated, the drive unit 130 first moves the probe 180 to the first designated position. Note that the drive unit 130 may move the probe 180 to a position programmed in advance when a measurement start instruction is issued.
  • signal collecting section 140 When receiving the synchronization signal transmitted from light irradiating section 110, signal collecting section 140 starts the signal collecting operation. That is, the signal collecting unit 140 generates an amplified digital electric signal by amplifying and AD converting the analog electric signal derived from the photoacoustic wave output from the receiving unit 120, and outputs the amplified digital electric signal to the computer 150. .
  • the computer 150 stores the signal transmitted from the signal collecting unit 140. When imaging at a plurality of scanning positions is designated, the processes of S500 and S600 are repeatedly executed at the designated scanning positions, and irradiation of pulse light and generation of digital signals derived from acoustic waves are repeated. Note that the computer 150 may acquire and store the position information of the receiving unit 120 at the time of light emission based on the output from the position sensor of the drive unit 130 with the light emission as a trigger.
  • each of a plurality of wavelengths of light is radiated in a time-division manner.
  • the computer 150 as a photoacoustic image acquisition unit generates a photoacoustic image based on the stored signal data.
  • the computer 150 outputs the generated photoacoustic image to the storage device 1200 and stores it.
  • Reconstruction algorithms for converting signal data into a two-dimensional or three-dimensional spatial distribution include analytic reconstruction methods such as backprojection in the time domain and backprojection in the Fourier domain, and model-based methods (repetitive computations). Law) can be adopted.
  • a back-projection method in the time domain includes Universal back-projection (UBP), Filtered back-projection (FBP), or delay-and-sum (Delay-and-Sum).
  • the computer 150 generates initial sound pressure distribution information (sound pressures generated at a plurality of positions) as a photoacoustic image by performing a reconstruction process on the signal data. Further, the computer 150 calculates the optical fluence distribution of the light radiated on the subject 100 inside the subject 100, and divides the initial sound pressure distribution by the light fluence distribution to obtain the absorption coefficient distribution information by photoacoustic. It may be obtained as an image. A known method can be applied to the calculation method of the light fluence distribution. In addition, the computer 150 can generate a photoacoustic image corresponding to each of the light of a plurality of wavelengths.
  • the computer 150 can generate a first photoacoustic image corresponding to the first wavelength by performing a reconstruction process on signal data obtained by irradiating light of the first wavelength. Further, the computer 150 can generate a second photoacoustic image corresponding to the second wavelength by performing a reconstruction process on the signal data obtained by irradiating the second wavelength light. As described above, the computer 150 can generate a plurality of photoacoustic images corresponding to lights of a plurality of wavelengths.
  • the computer 150 acquires absorption coefficient distribution information corresponding to each of light of a plurality of wavelengths as a photoacoustic image.
  • the absorption coefficient distribution information corresponding to the first wavelength is defined as a first photoacoustic image
  • the absorption coefficient distribution information corresponding to the second wavelength is defined as a second photoacoustic image.
  • the present invention is also applicable to a system that does not include the photoacoustic apparatus 1100.
  • the present invention can be applied to any system as long as the image processing apparatus 1300 as a photoacoustic image acquisition unit can acquire a photoacoustic image.
  • the present invention can be applied to a system that does not include the photoacoustic device 1100 but includes the storage device 1200 and the image processing device 1300.
  • the image processing device 1300 as the photoacoustic image acquisition unit can acquire the photoacoustic image by reading out the specified photoacoustic image from the photoacoustic image group stored in the storage device 1200 in advance. it can.
  • the computer 150 as a spectral image acquisition unit generates a spectral image based on a plurality of photoacoustic images corresponding to a plurality of wavelengths.
  • the computer 150 outputs the spectral image to the storage device 1200 and causes the storage device 1200 to store the spectral image.
  • the computer 150 may generate, as a spectral image, an image indicating information corresponding to the concentration of a substance constituting the subject, such as glucose concentration, collagen concentration, melanin concentration, and volume fraction of fat and water. Good.
  • the computer 150 may generate, as a spectral image, an image representing a ratio between the first photoacoustic image corresponding to the first wavelength and the second photoacoustic image corresponding to the second wavelength.
  • a spectral image an image representing a ratio between the first photoacoustic image corresponding to the first wavelength and the second photoacoustic image corresponding to the second wavelength.
  • the computer 150 generates an oxygen saturation image as a spectral image according to Expression (1) using the first photoacoustic image and the second photoacoustic image.
  • the image processing apparatus 1300 as the spectral image acquisition unit may acquire a spectral image by reading out a specified spectral image from a group of spectral images stored in the storage device 1200 in advance.
  • the image processing apparatus 1300 as a photoacoustic image acquisition unit includes at least one of a plurality of photoacoustic images used to generate the read spectral image from a group of photoacoustic images stored in the storage device 1200 in advance. May be read to obtain a photoacoustic image.
  • the image processing device 1300 as a contrast agent information acquiring unit reads out a photoacoustic image or a spectral image from the storage device 1200 and acquires information about the contrast agent based on the photoacoustic image or the spectral image.
  • the image processing apparatus 1300 may execute image processing on the photoacoustic image or the spectral image, and calculate information on the contrast agent from the photoacoustic image or the spectral image. This makes it possible to acquire information on the contrast agent spread in the subject 100 from an image of the subject 100 with the contrast agent introduced into the subject 100.
  • the density of the contrast agent is estimated by image processing on the photoacoustic image when the absorption coefficient distribution image is a photoacoustic image and the image of the value of Expression (1) is a spectral image.
  • the user specifies the position of the desired contrast agent concentration in the photoacoustic image or the spectral image.
  • the image processing device 1300 acquires the image value of the photoacoustic image at the specified position.
  • the image processing apparatus 1300 refers to the absorption coefficient spectrum shown in FIG. 6 and acquires the absorption coefficient of each concentration of the contrast agent corresponding to the wavelength of the irradiation light.
  • the image processing apparatus 1300 can determine which type of contrast agent absorption coefficient to acquire based on the type of contrast agent acquired in S200. Then, the image processing apparatus 1300 compares the absorption coefficient of the contrast agent of each density with the image value of the photoacoustic image, and acquires the density of the contrast agent when the difference is small as information on the contrast agent. Note that the image processing apparatus 1300 calculates, as the information on the contrast agent, the density when the norm indicating the difference between the absorption coefficient of the contrast agent and the image value of the photoacoustic image becomes smaller than a predetermined value by the least square method. You may.
  • the image processing apparatus 1300 acquires an image value of a spectral image at a specified position.
  • the image processing apparatus 1300 refers to the absorption coefficient spectrum shown in FIG. 6 and acquires the absorption coefficient of each concentration of the contrast agent corresponding to two wavelengths of the irradiation light. Further, the image processing apparatus 1300 calculates a value corresponding to each density according to the equation (1) based on the absorption coefficient corresponding to each density. Then, the image processing apparatus 1300 compares the value of Expression (1) corresponding to each density with the image value of the spectral image, and acquires the density of the contrast agent when the difference is small as information on the contrast agent. . Note that the image processing apparatus 1300 uses the density when the norm indicating the difference between the calculated value of the equation (1) and the image value of the spectral image becomes smaller than a predetermined value by the least square method as information on the contrast agent. It may be calculated.
  • the computer 150 may read out information on the contrast agent stored as incidental information associated with the photoacoustic image or the spectral image and acquire information on the contrast agent.
  • the computer 150 can read the information about the contrast agent by reading the information about the contrast agent stored in the tag of the photoacoustic image or the spectral image as the DICOM image.
  • the image processing apparatus 1300 reads the image from the storage device 1200 such as the PACS and reads the image according to the condition of the contrast agent linked to the image. Display settings and wavelength settings can be made.
  • the image processing apparatus 1300 may read the type of the contrast agent from the supplementary information associated with the image, and calculate the density of the contrast agent by performing image processing on the image. As described above, the image processing apparatus 1300 may acquire a plurality of pieces of information on the contrast agent by a combination of different methods.
  • the image processing apparatus 1300 determines whether to reset the wavelength. If the image processing apparatus 1300 determines to reset the wavelength, the process returns to S400. If the image processing apparatus 1300 determines not to reset the wavelength, the process proceeds to S1100.
  • the image processing apparatus 1300 determines to reset the wavelength.
  • the image processing device 1300 may cause the display device 1400 to display information on the contrast agent acquired in S900.
  • the user may check the information displayed on the display device 1400 and, when it is determined that the wavelength needs to be reset, use the input device 1500 to give an instruction to reset the wavelength.
  • the image processing apparatus 1300 may determine that the wavelength is to be reset, and may cause the computer 150 to execute the wavelength reset.
  • the user may instruct the wavelength of the irradiation light itself as an instruction to reset the wavelength.
  • the image processing apparatus 1300 may compare the information on the contrast agent acquired in S200 with the information on the contrast agent acquired in S900, and determine that the wavelength is reset when there is a difference in the information.
  • the image processing apparatus 1300 may compare the information on the contrast agent acquired in S200 with the information on the contrast agent acquired in S900, and, if there is a difference in the information, display the fact on the display device 1400. In addition, the image processing apparatus 1300 may display what information about the contrast agent has what difference. The user may check the information displayed on the display device 1400 and, when determining that the wavelength needs to be reset, use the input device 1500 to give an instruction to reset the wavelength. That is, the image processing device 1300 may cause the display device 1400 to display information based on the information on the contrast agent acquired in S900.
  • the process advances to step S1100.
  • the image processing apparatus 1300 may determine that the wavelength has not been reset when an instruction to reset the wavelength is not received from the user for a certain period of time. Further, when receiving from the user an instruction indicating that the wavelength is not to be reset, the image processing apparatus 1300 may determine that the wavelength has not been reset. The image processing apparatus 1300 also determines that the wavelength has not been reset when there is no difference between the information on the contrast agent acquired in S200 and the information on the contrast agent acquired in S900. Good. If at least one of these conditions is received, the image processing apparatus 1300 may determine that the wavelength has not been reset.
  • the image processing apparatus 1300 as a display control unit displays the spectral image on the display device 1400 based on the information on the contrast agent acquired in S200 or S900 so that the region corresponding to the contrast agent and the other region can be identified. Let it.
  • a rendering method any method such as a maximum intensity projection (MIP), a volume rendering, and a surface rendering can be adopted.
  • MIP maximum intensity projection
  • volume rendering a volume rendering
  • surface rendering any method such as a maximum intensity projection (MIP), a volume rendering, and a surface rendering.
  • setting conditions such as a display area and a line-of-sight direction when rendering a three-dimensional image in two dimensions can be arbitrarily specified according to the observation target.
  • the image processing apparatus 1300 causes the GUI to display a color bar 2400 as a color scale indicating the relationship between the image value of the spectral image and the display color.
  • the image processing apparatus 1300 determines a numerical range of image values to be assigned to the color scale based on information on the contrast agent (for example, information indicating that the type of the contrast agent is ICG) and information indicating the wavelength of irradiation light. You may decide.
  • the image processing apparatus 1300 may determine a numerical range including a negative image value corresponding to an arterial oxygen saturation, a vein oxygen saturation, and a contrast agent according to equation (1).
  • the image processing apparatus 1300 may determine a numerical range of -100% to 100% and set a color bar 2400 in which -100% to 100% is assigned to a color gradation that changes from blue to red. With such a display method, in addition to the identification of the artery and vein, it is also possible to identify the area corresponding to the negative contrast agent. In addition, the image processing apparatus 1300 may cause the indicator 2410 indicating the numerical value range of the image value corresponding to the contrast agent to be displayed based on the information regarding the contrast agent and the information indicating the wavelength of the irradiation light.
  • a negative value area is indicated by an indicator 2410 as a numerical value range of an image value corresponding to ICG.
  • the image processing apparatus 1300 as the region determining means may determine a region corresponding to the contrast agent in the spectral image based on the information on the contrast agent and the information indicating the wavelength of the irradiation light. For example, the image processing apparatus 1300 may determine a region having a negative image value in the spectral image as a region corresponding to the contrast agent. Then, the image processing device 1300 may display the spectral image on the display device 1400 so that the region corresponding to the contrast agent and the other region can be identified.
  • the image processing apparatus 1300 displays an indicator (for example, a frame) indicating a region corresponding to the contrast agent, causing the display color of the region corresponding to the contrast agent to be different from that of the other region, blinking the region corresponding to the contrast agent, and the like.
  • An identification display such as display may be employed.
  • the display mode may be switched to a display mode for selectively displaying an image value corresponding to the ICG.
  • the image processing apparatus 1300 selects a voxel having a negative image value from the spectral image and selectively renders the selected voxel,
  • the ICG area may be selectively displayed.
  • the user may select an item 2710 corresponding to an artery display or an item 2720 corresponding to a vein display.
  • the image processing apparatus 1300 Based on a user's instruction, the image processing apparatus 1300 selectively selects an image value corresponding to an artery (for example, 90% or more and 100% or less) or an image value corresponding to a vein (for example, 60% or more and less than 90%).
  • the display mode may be switched to the display mode.
  • the numerical value range of the image value corresponding to the artery or the image value corresponding to the vein may be changeable based on a user's instruction.
  • hue, lightness, and saturation is assigned to the image value of the spectral image
  • an image in which the remaining parameters of hue, lightness, and saturation are assigned to the image value of the photoacoustic image is displayed as a spectral image.
  • an image in which hue and saturation are assigned to image values of a spectral image and brightness is assigned to image values of a photoacoustic image may be displayed as a spectral image.
  • the conversion table from the image value of the photoacoustic image to the brightness may be changed according to the image value of the spectral image. For example, when the image value of the spectral image is included in the numerical value range of the image value corresponding to the contrast agent, the brightness corresponding to the image value of the photoacoustic image may be smaller than that corresponding to the blood vessel.
  • the conversion table is a table indicating the brightness corresponding to each of the plurality of image values.
  • the image value of the spectral image is included in the numerical value range of the image value corresponding to the contrast agent, the brightness corresponding to the image value of the photoacoustic image may be larger than that corresponding to the blood vessel. That is, when the contrast agent region is compared with the blood vessel region, if the image value of the photoacoustic image is the same, the brightness of the contrast agent region may be greater than that of the blood vessel region.
  • the numerical value range of the image value of the photoacoustic image that does not convert the image value of the photoacoustic image into the brightness may differ depending on the image value of the spectral image.
  • the conversion table may be changed to a table suitable for the type and concentration of the contrast agent and the wavelength of the irradiation light. Therefore, the image processing apparatus 1300 may determine the conversion table from the image value of the photoacoustic image to the brightness based on the information regarding the contrast agent and the information indicating the wavelength of the irradiation light. If it is estimated that the image value of the photoacoustic image corresponding to the contrast agent is larger than that corresponding to the blood vessel, the image processing apparatus 1300 sets the brightness corresponding to the image value of the photoacoustic image corresponding to the contrast agent to the blood vessel. It may be smaller than the corresponding one.
  • the image processing apparatus 1300 may determine the brightness corresponding to the image value of the photoacoustic image corresponding to the contrast agent. May be larger than that corresponding to a blood vessel.
  • the GUI shown in FIG. 10 includes an absorption coefficient image (first photoacoustic image) 2100 corresponding to a wavelength of 797 nm, an absorption coefficient image (second photoacoustic image) 2200 corresponding to a wavelength of 835 nm, and an oxygen saturation image (spectral image) 2300. Is displayed.
  • the GUI may display which wavelength is generated by each image. In the present embodiment, both the photoacoustic image and the spectral image are displayed, but only the spectral image may be displayed.
  • the image processing device 1300 may switch between displaying a photoacoustic image and displaying a spectral image based on a user's instruction.
  • the display unit 160 may be capable of displaying a moving image.
  • the image processing apparatus 1300 generates at least one of the first photoacoustic image 2100, the second photoacoustic image 2200, and the spectral image 2300 in time series, and generates moving image data based on the generated time-series image. It may be configured to generate and output to the display unit 160.
  • the moving image display it is possible to repeatedly display a state in which lymph flows.
  • the speed of the moving image may be a predetermined speed specified in advance or a predetermined speed specified by the user.
  • the frame rate of the moving image be variable in the display unit 160 that can display the moving image.
  • a window for the user to manually input the frame rate, a slide bar for changing the frame rate, and the like may be added to the GUI of FIG.
  • the lymph fluid flows intermittently in the lymphatic vessels, only part of the acquired time-series volume data that can be used to confirm the lymph flow is used. Therefore, if real-time display is performed when checking the flow of lymph, efficiency may decrease. Therefore, by making the frame rate of the moving image displayed on the display unit 160 variable, the fast-moving display of the displayed moving image becomes possible, so that the user can confirm the state of the fluid in the lymphatic vessel in a short time. Become.
  • the display unit 160 may be capable of repeatedly displaying a moving image within a predetermined time range. At this time, it is also preferable to add a GUI such as a window or a slide bar for enabling the user to specify a range in which repeated display is performed, to FIG. This makes it easier for the user to grasp, for example, how the fluid flows in the lymphatic vessels.
  • a GUI such as a window or a slide bar
  • At least one of the image processing apparatus 1300 and the computer 150 as the information processing apparatus includes a spectral image acquisition unit, a contrast agent information acquisition unit, an area determination unit, a photoacoustic image acquisition unit, and a display control unit. It functions as a device having at least one.
  • each means may be comprised by mutually different hardware, and may be comprised by one hardware.
  • a plurality of units may be configured by one piece of hardware.
  • the blood vessel and the contrast agent can be distinguished by selecting a wavelength at which the value according to the formula (1) corresponding to the contrast agent is negative, but the image value corresponding to the contrast agent is a blood vessel.
  • the image value corresponding to the contrast agent may be any value as long as the image agent and the contrast agent can be identified.
  • the image processing described in this step can be applied to a case where the image value of the spectral image (oxygen saturation image) corresponding to the contrast agent becomes smaller than 60% or larger than 100%. .
  • the image processing according to the present embodiment may be applied to any contrast agent other than ICG. Further, the image processing apparatus 1300 may execute image processing according to the type of the contrast agent based on information on the type of the contrast agent introduced into the subject 100 among the plurality of types of contrast agents.
  • the case where the image processing method is determined based on the acquired information on the contrast agent among the information on the plurality of contrast agents has been described.
  • image processing corresponding to the condition of the contrast agent may be set in advance. Also in this case, the above-described image processing according to the present embodiment can be applied.
  • the image processing according to the present embodiment is applied to a photoacoustic image corresponding to one wavelength. May be. That is, the image processing apparatus 1300 determines a region corresponding to the contrast agent in the photoacoustic image based on the information regarding the contrast agent, and identifies the region corresponding to the contrast agent and the region other than the region. A photoacoustic image may be displayed. In addition, the image processing apparatus 1300 may display a spectral image or a photoacoustic image so that a region having a numerical value range of an image value corresponding to a preset contrast agent can be distinguished from other regions. .
  • the wavelength may be determined by the wavelength determining method according to the present embodiment. That is, the computer 150 may determine the wavelength of the irradiation light based on the information regarding the contrast agent. In this case, the computer 150 preferably determines a wavelength at which the image value of the region of the contrast agent in the photoacoustic image can be distinguished from the image value of the region of the blood vessel.
  • the light irradiating unit 110 may irradiate the subject 100 with light having a wavelength set in advance so that the image value of the contrast agent region in the photoacoustic image and the image value of the blood vessel region can be identified. Good. Further, the light irradiating unit 110 irradiates the subject 100 with light of a plurality of wavelengths set in advance so that the image value of the region of the contrast agent in the spectral image and the image value of the region of the blood vessel can be identified. Good.
  • the present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program and reads the program. This is the process to be performed.
  • Photoacoustic device 1200 Storage device 1300 Image processing device 1400 Display device 1500 Input device

Abstract

画像処理装置は、造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、前記複数の波長のそれぞれに対応する光音響信号を用いて生成された画像である、分光画像を取得する分光画像取得手段、造影剤に関する情報を取得する造影剤情報取得手段、造影剤に関する情報に基づいて、分光画像中の造影剤に対応する領域を決定する領域決定手段、および造影剤に対応する領域と当該領域以外の領域とを識別できるように、分光画像を表示させる表示制御手段を有する。

Description

画像処理装置、画像処理方法、プログラム
 本発明は、光音響イメージングにより生成された画像に対する画像処理に関する。
 血管やリンパ管等の検査において、造影剤を利用した光音響イメージング(「光超音波イメージング」ともよぶ。)が知られている。特許文献1には、リンパ節やリンパ管などの造影のために用いられる造影剤を評価対象とし、その造影剤が吸収して光音響波を発生する波長の光を出射する光音響画像生成装置が記載されている。
国際公開第2017/002337号
 しかしながら、特許文献1に記載の光音響イメージングでは、被検体内部の造影対象の構造(例えば、血管やリンパ管等の走行)を把握しにくい場合がある。
 そこで本発明は、光音響イメージングによって造影対象の構造を把握しやすい表示画像を生成する画像処理装置を提供することを目的とする。
 本発明の一実施形態に係る画像処理装置は、造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、前記複数の波長のそれぞれに対応する光音響信号を用いて生成された画像である、分光画像を取得する分光画像取得手段、造影剤に関する情報を取得する造影剤情報取得手段、造影剤に関する情報に基づいて、分光画像中の造影剤に対応する領域を決定する領域決定手段、および造影剤に対応する領域と当該領域以外の領域とを識別できるように、分光画像を表示させる表示制御手段を有する。
 本発明によれば、光音響イメージングによって造影対象の構造を把握しやすい表示画像を生成する画像処理装置を提供することができる。
図1は、本発明の一実施形態に係るシステムのブロック図である。 図2は、本発明の一実施形態に係る画像処理装置とその周辺構成の具体例を示すブロック図である。 図3は、本発明の一実施形態に係る光音響装置の詳細なブロック図である。 図4は、本発明の一実施形態に係るプローブの模式図である。 図5は、本発明の一実施形態に係る画像処理方法のフロー図である。 図6は、ICGの濃度を変化させたときの吸収係数スペクトルを示すグラフである。 図7A~図7Dは、波長の組み合わせを変化させたときの、造影剤に対応する式(1)の計算値の等高線グラフである。 図8は、ICGの濃度を変化させたときの、造影剤に対応する式(1)の計算値を示す折れ線グラフである。 図9は、オキシヘモグロビンとデオキシヘモグロビンのモラー吸収係数スペクトルを示すグラフである。 図10は、本発明の一実施形態に係るGUIを示す図である。 図11A、図11Bは、ICGの濃度を変化させたときの右前腕伸側の分光画像である。 図12A、図12Bは、ICGの濃度を変化させたときの左前腕伸側の分光画像である。 図13A、図13Bは、ICGの濃度を変化させたときの右下腿内側および左下腿内側の分光画像である。
 以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものである。よって、この発明の範囲を以下の記載に限定する趣旨のものではない。
 本発明に係るシステムにより得られる光音響画像は、光エネルギーの吸収量や吸収率を反映している。光音響画像は、光音響波の発生音圧(初期音圧)、光吸収エネルギー密度、及び光吸収係数などの少なくとも1つの被検体情報の空間分布を表す画像である。光音響画像は、2次元の空間分布を表す画像であってもよいし、3次元の空間分布を表す画像(ボリュームデータ)であってもよい。本実施形態に係るシステムは、造影剤が導入された被検体を撮影することにより光音響画像を生成する。なお、造影対象の立体構造を把握するために、光音響画像は、被検体表面から深さ方向の2次元の空間分布を表す画像または3次元の空間分布を表す画像であってもよい。
 また、本発明に係るシステムは、複数の波長に対応する複数の光音響画像を用いて被検体の分光画像を生成することができる。本発明の分光画像は、被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、複数の波長のそれぞれに対応する光音響信号を用いて生成された画像である。
 なお、分光画像は、複数の波長のそれぞれに対応する光音響信号を用いて生成された、被検体中の特定物質の濃度を示す画像であってもよい。使用する造影剤の光吸収係数スペクトルと、特定物質の光吸収係数スペクトルとが異なる場合、分光画像中の造影剤の画像値と分光画像中の特定物質の画像値とは異なる。よって、分光画像の画像値に応じて造影剤の領域と特定物質の領域とを区別することができる。なお、特定物質としては、ヘモグロビン、グルコース、コラーゲン、メラニン、脂肪や水など、被検体を構成する物質が挙げられる。この場合にも、特定物質の光吸収係数スペクトルとは異なる光吸収スペクトルを有する造影剤を選択する必要がある。また、特定物質の種類に応じて、異なる算出方法で分光画像を算出してもよい。
 以下に述べる実施形態では、酸素飽和度の計算式(1)を用いて算出された画像を分光画像として説明する。本発明者らは、複数の波長のそれぞれに対応する光音響信号に基づいて血中ヘモグロビンの酸素飽和度(酸素飽和度に相関をもつ指標でもよい)を計算する式(1)に対し、光吸収係数の波長依存性がオキシヘモグロビンおよびデオキシヘモグロビンとは異なる傾向を示す造影剤で得られた光音響信号の計測値I(r)を代入した場合に、ヘモグロビンの酸素飽和度が取り得る数値範囲から大きくずれた計算値Is(r)が得られる、ということを見出した。それゆえ、この計算値Is(r)を画像値としてもつ分光画像を生成すれば、被検体内部におけるヘモグロビンの領域(血管領域)と造影剤の存在領域(例えばリンパ管に造影剤が導入された場合であればリンパ管の領域)とを画像上で分離(区別)することが容易となる。
Figure JPOXMLDOC01-appb-M000002

 ここで、Iλ (r)は第1波長λの光照射により発生した光音響波に基づいた計測値であり、Iλ (r)は第2波長λの光照射により発生した光音響波に基づいた計測値である。εHb λ は第1波長λに対応するデオキシヘモグロビンのモラー吸収係数[mm-1mol-1]であり、εHb λ は第2波長λに対応するデオキシヘモグロビンのモラー吸収係数[mm-1mol-1]である。εHbO λ は第1波長λに対応するオキシヘモグロビンのモラー吸収係数[mm-1mol-1]であり、εHbO λ は第2波長λに対応するオキシヘモグロビンのモラー吸収係数[mm-1mol-1]である。rは位置である。なお、計測値Iλ (r)、Iλ (r)としては、吸収係数μ λ (r)、μ λ (r)を用いてもよいし、初期音圧P λ (r)、P λ (r)を用いてもよい。
 ヘモグロビンの存在領域(血管領域)から発生した光音響波に基づいた計測値を式(1)に代入すると、計算値Is(r)として、ヘモグロビンの酸素飽和度(または酸素飽和度に相関をもつ指標)が得られる。一方、造影剤を導入した被検体において、造影剤の存在領域(例えばリンパ管領域)から発生した音響波に基づいた計測値を式(1)に代入すると、計算値Is(r)として、擬似的な造影剤の濃度分布が得られる。なお、造影剤の濃度分布を計算する場合でも、式(1)ではヘモグロビンのモラー吸収係数の数値をそのまま用いればよい。このようにして得られた分光画像Is(r)は、被検体内部のヘモグロビンの存在領域(血管)と造影剤の存在領域(例えばリンパ管)の両方が互いに分離可能(区別可能)な状態で描出された画像となる。
 なお、本実施形態では、酸素飽和度を計算する式(1)を用いて分光画像の画像値を計算するが、酸素飽和度以外の指標を分光画像の画像値として計算する場合には、式(1)以外の算出方法を用いればよい。指標およびその算出方法としては、公知のものを利用可能であるため、ここでは詳しい説明を割愛する。
 また、本発明に係るシステムは、第1波長λの光照射により発生した光音響波に基づいた第1光音響画像および第2波長λの光照射により発生した光音響波に基づいた第2光音響画像の比を示す画像を分光画像としてもよい。すなわち、第1波長λの光照射により発生した光音響波に基づいた第1光音響画像および第2波長λの光照射により発生した光音響波に基づいた第2光音響画像の比に基づいた画像を分光画像としてよい。なお、式(1)の変形式にしたがって生成される画像も、第1光音響画像および第2光音響画像の比によって表現できるため、第1光音響画像および第2光音響画像の比に基づいた画像(分光画像)といえる。
 なお、造影対象の立体構造を把握するために、分光画像は、被検体表面から深さ方向の2次元の空間分布を表す画像または3次元の空間分布を表す画像であってもよい。
 以下、本実施形態のシステムの構成及び画像処理方法について説明する。
 図1を用いて本実施形態に係るシステムを説明する。図1は、本実施形態に係るシステムの構成を示すブロック図である。本実施形態に係るシステムは、光音響装置1100、記憶装置1200、画像処理装置1300、表示装置1400、及び入力装置1500を備える。装置間のデータの送受信は有線で行われてもよいし、無線で行われてもよい。
 光音響装置1100は、造影剤が導入された被検体を撮影することにより光音響画像を生成し、記憶装置1200に出力する。光音響装置1100は、光照射により発生した光音響波を受信することにより得られる受信信号を用いて、被検体内の複数位置のそれぞれに対応する特性値の情報を生成する装置である。すなわち、光音響装置1100は、光音響波に由来した特性値情報の空間分布を医用画像データ(光音響画像)として生成する装置である。
 記憶装置1200は、ROM(Read only memory)、磁気ディスクやフラッシュメモリなどの記憶媒体であってもよい。また、記憶装置1200は、PACS(Picture Archiving and Communication System)等のネットワークを介した記憶サーバであってもよい。
 画像処理装置1300は、記憶装置1200に記憶された光音響画像や光音響画像の付帯情報等の情報を処理する装置である。
 画像処理装置1300の演算機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
 画像処理装置1300の記憶機能を担うユニットは、ROM(Read only memory)、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶機能を担うユニットは、RAM(Random Access Memory)などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶機能を担うユニットは、1つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
 画像処理装置1300の制御機能を担うユニットは、CPUなどの演算素子で構成される。制御機能を担うユニットは、システムの各構成の動作を制御する。制御機能を担うユニットは、入力部からの測定開始などの各種操作による指示信号を受けて、システムの各構成を制御してもよい。また、制御機能を担うユニットは、コンピュータ150に格納されたプログラムコードを読み出し、システムの各構成の作動を制御してもよい。
 表示装置1400は、液晶ディスプレイや有機EL(Electro Luminescence)などのディスプレイである。また、表示装置1400は、画像や装置を操作するためのGUIを表示してもよい。
 入力装置1500としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示装置1400をタッチパネルで構成し、表示装置1400を入力装置1500として利用してもよい。
 図2は、本実施形態に係る画像処理装置1300の具体的な構成例を示す。本実施形態に係る画像処理装置1300は、CPU1310、GPU1320、RAM1330、ROM1340、外部記憶装置1350から構成される。また、画像処理装置1300には、表示装置1400としての液晶ディスプレイ1410、入力装置1500としてのマウス1510、キーボード1520が接続されている。さらに、画像処理装置1300は、PACS(Picture Archiving and Communication System)などの記憶装置1200としての画像サーバ1210と接続されている。これにより、画像データを画像サーバ1210上に保存したり、画像サーバ1210上の画像データを液晶ディスプレイ1410に表示したりすることができる。
 次に、本実施形態に係るシステムに含まれる装置の構成例を説明する。図3は、本実施形態に係るシステムに含まれる装置の概略ブロック図である。
 本実施形態に係る光音響装置1100は、駆動部130、信号収集部140、コンピュータ150、プローブ180、及び導入部190を有する。プローブ180は、光照射部110、及び受信部120を有する。図4は、本実施形態に係るプローブ180の模式図を示す。測定対象は、導入部190により造影剤が導入された被検体100である。駆動部130は、光照射部110と受信部120を駆動し、機械的な走査を行う。光照射部110が光を被検体100に照射し、被検体100内で音響波が発生する。光に起因して光音響効果により発生する音響波を光音響波とも呼ぶ。受信部120は、光音響波を受信することによりアナログ信号としての電気信号(光音響信号)を出力する。
 信号収集部140は、受信部120から出力されたアナログ信号をデジタル信号に変換し、コンピュータ150に出力する。コンピュータ150は、信号収集部140から出力されたデジタル信号を、光音響波に由来する信号データとして記憶する。
 コンピュータ150は、記憶されたデジタル信号に対して信号処理を行うことにより、光音響画像を生成する。また、コンピュータ150は、得られた光音響画像に対して画像処理を施した後に、光音響画像を表示部160に出力する。表示部160は、光音響画像に基づいた画像を表示する。表示画像は、ユーザーやコンピュータ150からの保存指示に基づいて、コンピュータ150内のメモリや、モダリティとネットワークで接続されたデータ管理システムなどの記憶装置1200に保存される。
 また、コンピュータ150は、光音響装置に含まれる構成の駆動制御も行う。また、表示部160は、コンピュータ150で生成された画像の他にGUIなどを表示してもよい。入力部170は、ユーザーが情報を入力できるように構成されている。ユーザーは、入力部170を用いて測定開始や終了、作成画像の保存指示などの操作を行うことができる。
 以下、本実施形態に係る光音響装置1100の各構成の詳細を説明する。
 (光照射部110)
 光照射部110は、光を発する光源111と、光源111から射出された光を被検体100へ導く光学系112とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。
 光源111が発する光のパルス幅としては、熱閉じ込め条件および応力閉じ込め条件を考慮すると、100ns以下のパルス幅であることが好ましい。また、光の波長として400nmから1600nm程度の範囲の波長であってもよい。血管を高解像度でイメージングする場合は、血管での吸収が大きい波長(400nm以上、700nm以下)を用いてもよい。生体の深部をイメージングする場合には、生体の背景組織(水や脂肪など)において典型的に吸収が少ない波長(700nm以上、1100nm以下)の光を用いてもよい。
 光源111としては、レーザーや発光ダイオードを用いることができる。また、複数波長の光を用いて測定する際には、波長の変更が可能な光源であってもよい。なお、複数波長を被検体に照射する場合、互いに異なる波長の光を発生する複数台の光源を用意し、それぞれの光源から交互に照射することも可能である。複数台の光源を用いた場合もそれらをまとめて光源として表現する。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。例えば、Nd:YAGレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源として用いてもよい。また、Nd:YAGレーザー光を励起光とするTi:saレーザーやOPO(Optical Parametric Oscillators)レーザーを光源として用いてもよい。また、光源111としてフラッシュランプや発光ダイオードを用いてもよい。また、光源111としてマイクロウェーブ源を用いてもよい。
 光学系112には、レンズ、ミラー、光ファイバ等の光学素子を用いることができる。乳房等を被検体100とする場合、パルス光のビーム径を広げて照射するために、光学系の光出射部は光を拡散させる拡散板等で構成されていてもよい。一方、光音響顕微鏡においては、解像度を上げるために、光学系112の光出射部はレンズ等で構成し、ビームをフォーカスして照射してもよい。
 なお、光照射部110が光学系112を備えずに、光源111から直接被検体100に光を照射してもよい。
 (受信部120)
 受信部120は、音響波を受信することにより電気信号を出力するトランスデューサ121と、トランスデューサ121を支持する支持体122とを含む。また、トランスデューサ121は、音響波を送信する送信手段としてもよい。受信手段としてのトランスデューサと送信手段としてのトランスデューサとは、単一(共通)のトランスデューサでもよいし、別々の構成であってもよい。
 トランスデューサ121を構成する部材としては、PZT(チタン酸ジルコン酸鉛)に代表される圧電セラミック材料や、PVDF(ポリフッ化ビニリデン)に代表される高分子圧電膜材料などを用いることができる。また、圧電素子以外の素子を用いてもよい。例えば、静電容量型トランスデューサ(CMUT:Capacitive Micro-machined Ultrasonic Transducers)を用いたトランスデューサなどを用いることができる。なお、音響波を受信することにより電気信号を出力できる限り、いかなるトランスデューサを採用してもよい。また、トランスデューサにより得られる信号は時間分解信号である。つまり、トランスデューサにより得られる信号の振幅は、各時刻にトランスデューサで受信される音圧に基づく値(例えば、音圧に比例した値)を表したものである。
 光音響波を構成する周波数成分は、典型的には100KHzから100MHzであり、トランスデューサ121として、これらの周波数を検出することのできるものを採用してもよい。
 支持体122は、機械的強度が高い金属材料などから構成されていてもよい。照射光を被検体に多く入射させるために、支持体122の被検体100側の表面に、鏡面加工もしくは光散乱させる加工が行われていてもよい。本実施形態において支持体122は半球殻形状であり、半球殻上に複数のトランスデューサ121を支持できるように構成されている。この場合、支持体122に配置されたトランスデューサ121の指向軸は半球の曲率中心付近に集まる。そして、複数のトランスデューサ121から出力された信号を用いて画像化したときに曲率中心付近の画質が高くなる。なお、支持体122はトランスデューサ121を支持できる限り、いかなる構成であってもよい。支持体122は、1Dアレイ、1.5Dアレイ、1.75Dアレイ、2Dアレイと呼ばれるような平面又は曲面内に、複数のトランスデューサを並べて配置してもよい。複数のトランスデューサ121が複数の受信手段に相当する。
 また、支持体122は音響マッチング材を貯留する容器として機能してもよい。すなわち、支持体122をトランスデューサ121と被検体100との間に音響マッチング材を配置するための容器としてもよい。
 また、受信部120が、トランスデューサ121から出力される時系列のアナログ信号を増幅する増幅器を備えてもよい。また、受信部120が、トランスデューサ121から出力される時系列のアナログ信号を時系列のデジタル信号に変換するA/D変換器を備えてもよい。すなわち、受信部120が後述する信号収集部140を備えてもよい。
 受信部120と被検体100との間の空間は、光音響波が伝播することができる媒質で満たす。この媒質には、音響波が伝搬でき、被検体100やトランスデューサ121との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。
 図4は、プローブ180の側面図を示す。本実施形態に係るプローブ180は、開口を有する半球状の支持体122に複数のトランスデューサ121が3次元に配置された受信部120を有する。また、支持体122の底部には、光学系112の光射出部が配置されている。
 本実施形態においては、図4に示すように被検体100は、保持部200に接触することにより、その形状が保持される。
 受信部120と保持部200の間の空間は、光音響波が伝播することができる媒質で満たされる。この媒質には、光音響波が伝搬でき、被検体100やトランスデューサ121との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。
 保持手段としての保持部200は被検体100の形状を測定中に保持するために使用される。保持部200により被検体100を保持することによって、被検体100の動きの抑制および被検体100の位置を保持部200内に留めることができる。保持部200の材料には、ポリカーボネートやポリエチレン、ポリエチレンテレフタレート等、樹脂材料を用いることができる。
 保持部200は、取り付け部201に取り付けられている。取り付け部201は、被検体の大きさに合わせて複数種類の保持部200を交換可能に構成されていてもよい。例えば、取り付け部201は、曲率半径や曲率中心などの異なる保持部に交換できるように構成されていてもよい。
 (駆動部130)
 駆動部130は、被検体100と受信部120との相対位置を変更する部分である。駆動部130は、駆動力を発生させるステッピングモータなどのモータと、駆動力を伝達させる駆動機構と、受信部120の位置情報を検出する位置センサとを含む。駆動機構としては、リードスクリュー機構、リンク機構、ギア機構、油圧機構、などを用いることができる。また、位置センサとしては、エンコーダー、可変抵抗器、リニアスケール、磁気センサ、赤外線センサ、超音波センサなどを用いたポテンショメータなどを用いることができる。
 なお、駆動部130は被検体100と受信部120との相対位置をXY方向(二次元)に変更させるものに限らず、一次元または三次元に変更させてもよい。
 なお、駆動部130は、被検体100と受信部120との相対的な位置を変更できれば、受信部120を固定し、被検体100を移動させてもよい。被検体100を移動させる場合は、被検体100を保持する保持部を動かすことで被検体100を移動させる構成などが考えられる。また、被検体100と受信部120の両方を移動させてもよい。
 駆動部130は、相対位置を連続的に移動させてもよいし、ステップアンドリピートによって移動させてもよい。駆動部130は、プログラムされた軌跡で移動させる電動ステージであってもよいし、手動ステージであってもよい。
 また、本実施形態では、駆動部130は光照射部110と受信部120を同時に駆動して走査を行っているが、光照射部110だけを駆動したり、受信部120だけを駆動したりしてもよい。
 なお、プローブ180が、把持部が設けられたハンドヘルドタイプである場合、光音響装置1100は駆動部130を有していなくてもよい。
 (信号収集部140)
 信号収集部140は、トランスデューサ121から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するA/D変換器とを含む。信号収集部140から出力されるデジタル信号は、コンピュータ150に記憶される。信号収集部140は、Data Acquisition System(DAS)とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、フォトダイオードなどの光検出センサが、光照射部110から光射出を検出し、信号収集部140がこの検出結果をトリガーに同期して上記処理を開始してもよい。
 (コンピュータ150)
 情報処理装置としてのコンピュータ150は、画像処理装置1300と同様のハードウェアで構成されている。すなわち、コンピュータ150の演算機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
 コンピュータ150の記憶機能を担うユニットは、RAM(Random Access Memory)などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、コンピュータ150の記憶機能を担うユニットは、1つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
 コンピュータ150の制御機能を担うユニットは、CPUなどの演算素子で構成される。コンピュータ150の制御機能を担うユニットは、光音響装置の各構成の動作を制御する。コンピュータ150の制御機能を担うユニットは、入力部170からの測定開始などの各種操作による指示信号を受けて、光音響装置の各構成を制御してもよい。また、コンピュータ150の制御機能を担うユニットは、記憶機能を担うユニットに格納されたプログラムコードを読み出し、光音響装置の各構成の作動を制御する。すなわち、コンピュータ150は、本実施形態に係るシステムの制御装置として機能することができる。
 なお、コンピュータ150と画像処理装置1300は同じハードウェアで構成されていてもよい。1つのハードウェアがコンピュータ150と画像処理装置1300の両方の機能を担っていてもよい。すなわち、コンピュータ150が、画像処理装置1300の機能を担ってもよい。また、画像処理装置1300が、情報処理装置としてのコンピュータ150の機能を担ってもよい。
 (表示部160)
 表示部160は、液晶ディスプレイや有機EL(Electro Luminescence)などのディスプレイである。また、表示部160は、画像や装置を操作するためのGUIを表示してもよい。
 なお、表示部160と表示装置1400は同じディスプレイであってもよい。すなわち、1つのディスプレイが表示部160と表示装置1400の両方の機能を担っていてもよい。
 (入力部170)
 入力部170としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部160をタッチパネルで構成し、表示部160を入力部170として利用してもよい。
 なお、入力部170と入力装置1500は同じ装置であってもよい。すなわち、1つの装置が入力部170と入力装置1500の両方の機能を担っていてもよい。
 (導入部190)
 導入部190は、被検体100の外部から被検体100の内部へ造影剤を導入可能に構成されている。例えば、導入部190は造影剤の容器と被検体に刺す注射針とを含むことができる。しかしこれに限られず、導入部190は、造影剤を被検体100に導入することができる限り種々のものを適用可能である。導入部190は、この場合、例えば、公知のインジェクションシステムやインジェクタなどであってもよい。なお、制御装置としてのコンピュータ150が、導入部190の動作を制御することにより、被検体100に造影剤を導入してもよい。また、ユーザーが導入部190を操作することにより、被検体100に造影剤を導入してもよい。
 (被検体100)
 被検体100はシステムを構成するものではないが、以下に説明する。本実施形態に係るシステムは、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体100としては、生体、具体的には人体や動物の乳房や各臓器、血管網、頭部、頸部、腹部、手指または足指を含む四肢などの診断の対象部位が想定される。例えば、人体が測定対象であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管あるいは腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。また、頸動脈壁のプラークなどを光吸収体の対象としてもよい。また、皮膚等に含まれるメラニン、コラーゲン、脂質などを光吸収体の対象としてもよい。さらに、被検体100に導入する造影剤を光吸収体とすることができる。光音響イメージングに用いる造影剤としては、インドシアニングリーン(ICG)、メチレンブルー(MB)などの色素、金微粒子、及びそれらの混合物、またはそれらを集積あるいは化学的に修飾した外部から導入した物質を採用してもよい。また、生体を模したファントムを被検体100としてもよい。
 なお、光音響装置の各構成はそれぞれ別の装置として構成されてもよいし、一体となった1つの装置として構成されてもよい。また、光音響装置の少なくとも一部の構成が一体となった1つの装置として構成されてもよい。
 なお、本実施形態に係るシステムを構成する各装置は、それぞれが別々のハードウェアで構成されていてもよいし、全ての装置が1つのハードウェアで構成されていてもよい。本実施形態に係るシステムの機能は、いかなるハードウェアで構成されていてもよい。
 次に、図5に示すフローチャートを用いて、本実施形態に係る画像生成方法を説明する。なお、図5に示すフローチャートには、本実施形態に係るシステムの動作を示す工程も、医師等のユーザーの動作を示す工程も含まれている。
 (S100:検査オーダー情報を取得する工程)
 光音響装置1100のコンピュータ150は、HIS(Hospitai Information System)やRIS(Radiology Information System)などの院内情報システムから送信された検査オーダー情報を取得する。検査オーダー情報には、検査に用いるモダリティの種類や検査に使用する造影剤などの情報が含まれている。
 (S200:ユーザーの指示または検査オーダー情報に基づいて造影剤に関する情報を取得する工程)
 造影剤情報取得手段としてのコンピュータ150は、造影剤に関する情報を取得する。ユーザーは、入力部170を用いて、検査に使用する造影剤の種類や造影剤の濃度を指示してもよい。この場合、コンピュータ150は、入力部170を介して、造影剤に関する情報を取得することができる。また、コンピュータ150は、S100で取得した検査オーダー情報に造影剤に関する情報が含まれている場合、検査オーダー情報から造影剤に関する情報を読み出すことにより、取得してもよい。コンピュータ150は、ユーザーの指示と検査オーダー情報との少なくとも一つに基づいて、造影剤に関する情報を取得してもよい。例えば、造影剤の条件を示す造影剤に関する情報としては、造影剤の種類や造影剤の濃度などが挙げられる。
 図10は、表示部160に表示されるGUIの例を示す。GUIのアイテム2500には、患者ID、検査ID、撮影日時などの検査オーダー情報が表示されている。アイテム2500は、HISやRISなどの外部装置から取得した検査オーダー情報を表示する表示機能や、ユーザーが入力部170を用いて検査オーダー情報を入力することのできる入力機能を備えていてもよい。GUIのアイテム2600には、造影剤の種類、造影剤の濃度などの造影剤に関する情報が表示されている。アイテム2600は、HISやRISなどの外部装置から取得した造影剤に関する情報を表示する表示機能や、ユーザーが入力部170を用いて造影剤に関する情報を入力することのできる入力機能を備えていてもよい。アイテム2600においては、造影剤の種類や濃度などの造影剤に関する情報を複数の選択肢の中からプルダウンなどの方法で入力できてもよい。なお、表示装置1400に図10に示すGUIを表示してもよい。
 なお、画像処理装置1300が、ユーザーから造影剤に関する情報の入力指示を受信しなかった場合に、複数の造影剤に関する情報の中からデフォルトで設定された造影剤に関する情報を取得してもよい。本実施形態の場合、造影剤の種類としてICG、造影剤の濃度として1.0mg/mLがデフォルトで設定されている場合を説明する。本実施形態では、GUIのアイテム2600にはデフォルトで設定されている造影剤の種類と濃度が表示されているが、造影剤に関する情報がデフォルトで設定されていなくてもよい。この場合、初期画面ではGUIのアイテム2600に造影剤に関する情報が表示されていなくてもよい。
 (S300:造影剤を導入する工程)
 導入部190は、被検体に対して造影剤を導入する。ユーザーが、導入部190を用いて被検体に造影剤を導入したときに、ユーザーが入力部170を操作することにより、造影剤が導入されたことを表す信号を入力部170から制御装置としてのコンピュータ150に送信してもよい。また、導入部190が被検体100に造影剤が導入されたことを表す信号をコンピュータ150に送信してもよい。なお、導入部190を用いずに造影剤を被検体に投与してもよい。例えば、被検体としての生体が噴霧された造影剤を吸引することにより、造影剤が投与されてもよい。
 造影剤の導入後に被検体100内の造影対象に造影剤が行き渡るまで時間をおいてから後述するS400を実行してもよい。
 (S400:照射光の波長を決定する工程)
 波長決定手段としてのコンピュータ150は、S200で取得された造影剤に関する情報に基づいて、照射光の波長を決定する。本実施形態では、分光画像を生成するために、コンピュータ150が造影剤に関する情報に基づいて複数の波長を決定する。以下、分光画像中の造影剤に対応する領域を識別しやすくするための波長の組み合わせについて説明する。
 本実施形態では、後述するS800において、式(1)にしたがった画像を分光画像として生成する場合を考える。式(1)によれば、分光画像中の血管の領域については、実際の酸素飽和度に応じた画像値が算出される。しかし、分光画像中の造影剤の領域については、使用する波長によって大きく画像値が変化してしまう。さらに、分光画像中の造影剤の領域については、造影剤の吸収係数スペクトルによっても大きく画像値が変動してしまう。その結果、分光画像中の造影剤の領域の画像値が、血管の領域の画像値と識別できないような値となってしまう場合がある。一方、造影剤の三次元分布を把握するためには、分光画像中の造影剤の領域の画像値が、血管の領域の画像値と識別できるような値であることが好ましい。
 そこで、本発明者は、検査に使用する造影剤の条件に応じて、照射光の波長を適応的に変更することにより、分光画像中の造影剤の領域の画像値を制御することを着想した。すなわち、情報処理装置が、造影剤に関する情報に基づいて、分光画像中の造影剤の領域と血管の領域を識別できるような照射光の波長を決定することを本発明者は考案した。
 具体的には、分光画像として式(1)を用いた画像を生成する場合、動静脈の酸素飽和度が概ねパーセント表示で60%~100%に収まることを利用して照射光の波長を決定してもよい。すなわち、情報処理装置としてのコンピュータ150が、造影剤に関する情報に基づいて、分光画像中の造影剤に対応する式(1)の値が60%より小さくなる、または、100%より大きくなるような2波長を決定してもよい。また、コンピュータ150が、造影剤に関する情報に基づいて、分光画像中の造影剤に対応する領域の画像値とそれ以外の領域の画像値との符号が逆となるような2波長を決定してもよい。
 次に、造影剤に関する情報として造影剤の濃度を変化させたときの造影剤に対応する画像値の変化について説明する。図6は、造影剤としてのICGの濃度を変えたときの吸収係数スペクトルの変化を示したスペクトル図である。図6において下から順に、ICGの濃度が5.04μg/mL、50.4μg/mL、0.5mg/mL、1.0mg/mLの場合のスペクトル図を示している。図6に示すように、造影剤の濃度が高くなるにつれて光の吸収度合いが高くなることが理解される。また、造影剤の濃度に応じて2波長に対応する吸収係数の比が変化するため、造影剤の濃度に応じて、分光画像中の造影剤に対応する画像値が変化してしまうことが理解される。造影剤の濃度が変化したときと同様に、造影剤の種類が変化したときにも、2波長に対応する吸収係数の比が変化する。そのため、造影剤の種類に応じても、分光画像中の造影剤に対応する画像値が変化してしまうことが理解される。
 ここで、ICGを導入した生体に対して光音響装置を用いて撮影することにより得られた分光画像について説明する。図11A~図13Bは、濃度を変えてICGを導入した場合に撮影して得られた分光画像を示す。いずれの撮影においても、手もしくは足の皮下もしくは皮内にICGを1か所につき0.1mL導入した。皮下もしくは皮内に導入されたICGは、リンパ管に選択的に取り込まれるため、リンパ管の内腔が造影される。また、いずれの撮影においても、ICGの導入から5分~60分以内に撮影した。また、いずれの分光画像も、797nmの波長の光と835nmの波長の光とを生体に照射することにより得られた光音響画像から生成された分光画像である。
 図11Aは、ICGを導入しなかった場合の右前腕伸側の分光画像を示す。一方、図11Bは、2.5mg/mLの濃度のICGを導入したときの右前腕伸側の分光画像を示す。図11B中の破線および矢印で示した領域にリンパ管が描出されている。
 図12Aは、1.0mg/mLの濃度のICGを導入したときの左前腕伸側の分光画像を示す。図12Bは、5.0mg/mLの濃度のICGを導入したときの左前腕伸側の分光画像を示す。図12B中の破線および矢印で示した領域にリンパ管が描出されている。
 図13Aは、0.5mg/mLの濃度のICGを導入したときの右下腿内側の分光画像を示す。図13Bは、5.0mg/mLの濃度のICGを導入したときの左下腿内側の分光画像を示す。図13B中の破線および矢印で示した領域にリンパ管が描出されている。
 図11A~図13Bに示す分光画像によれば、ICGの濃度を高くすると、分光画像の中のリンパ管の視認性が向上することが理解される。また、図11A~図13Bによれば、ICGの濃度が2.5mg/mL以上の場合にリンパ管が良好に描出できることが理解される。すなわち、ICGの濃度が2.5mg/mL以上である場合に線上のリンパ管を明確に視認することができる。そのため、造影剤としてICGを採用する場合、その濃度は2.5mg/mL以上であってもよい。なお、生体内でのICGの希釈を考慮すると、ICGの濃度は5.0mg/mLより大きくてもよい。ただし、ジアグノグリーンの可溶性を鑑みると、10.0mg/mL以上の濃度で水溶液に溶かすことは困難である。
 以上より、生体に導入するICGの濃度としては、2.5mg/mL以上、10.0mg/mL以下がよく、好適には、5.0mg/mL以上、10.0mg/mL以下がよい。
 そこで、コンピュータ150は、図10に示すGUIのアイテム2600において造影剤の種類としてICGが入力された場合に、上記数値範囲のICGの濃度を示すユーザーからの指示を選択的に受け付けるように構成されていてもよい。すなわち、この場合、コンピュータ150は、上記数値範囲以外のICGの濃度を示すユーザーからの指示を受け付けないように構成されていてもよい。よって、コンピュータ150は、造影剤の種類がICGであることを示す情報を取得した場合に、2.5mg/mLより小さい、または、10.0mg/mLより大きいICGの濃度を示すユーザーからの指示を受け付けないように構成されていてもよい。また、コンピュータ150は、造影剤の種類がICGであることを示す情報を取得した場合に5.0mg/mLより小さい、または、10.0mg/mLより大きいICGの濃度を示すユーザーからの指示を受け付けないように構成されていてもよい。
 コンピュータ150は、ユーザーがGUI上で上記数値範囲以外のICGの濃度を指示できないようにGUIを構成してもよい。すなわち、コンピュータ150は、ユーザーがGUI上で上記数値範囲以外のICGの濃度を指示できないようにGUIを表示させてもよい。例えば、コンピュータ150は、GUI上で上記数値範囲のICGの濃度を選択的に指示できるプルダウンを表示させてもよい。コンピュータ150は、プルダウンの中の上記数値範囲以外のICGの濃度をグレーアウトさせて表示し、グレーアウトされた濃度を選択できないようにGUIを構成してもよい。
 また、コンピュータ150は、GUI上で上記数値範囲以外のICGの濃度がユーザーから指示された場合にアラートを通知してもよい。通知方法としては、表示部160へのアラートの表示や、音やランプの点灯などのあらゆる方法を採用することができる。
 また、コンピュータ150は、GUI上で造影剤の種類としてICGが選択された場合に、被検体に導入するICGの濃度として上記数値範囲を表示部160に表示させてもよい。
 なお、被検体に導入する造影剤の濃度は、ここで示した数値範囲に限らず、目的に応じた好適な濃度を採用することができる。また、ここでは造影剤の種類がICGである場合の例について説明したが、その他の造影剤においても同様に上記構成を適用することができる。
 このようにGUIを構成することにより、被検体に導入する予定の造影剤の種類に応じて、適当な造影剤の濃度をユーザーが被検体に導入するための支援を行うことができる。
 次に、波長の組み合わせを変更したときの分光画像中の造影剤に対応する画像値の変化について説明する。図7A~図7Dは、2波長の組み合わせのそれぞれにおける、分光画像中の造影剤に対応する画像値(酸素飽和度値)のシミュレーション結果を示す。図7A~図7Dの縦軸と横軸はそれぞれ第1波長と第2波長を表す。図7A~図7Dには、分光画像中の造影剤に対応する画像値の等値線が示されている。図7A~図7Dはそれぞれ、ICGの濃度が5.04μg/mL、50.4μg/mL、0.5mg/mL、1.0mg/mLのときの分光画像中の造影剤に対応する画像値を示す。図7A~図7Dに示すように、選択する波長の組み合わせによっては、分光画像中の造影剤に対応する画像値が60%~100%となってしまう場合がある。前述したように、このような波長の組み合わせを選択してしまうと、分光画像中の血管の領域と造影剤の領域とを識別することが困難となってしまう。そのため、図7A~図7Dに示す波長の組み合わせにおいて、分光画像中の造影剤に対応する画像値が60%より小さくなる、または、100%より大きくなるような波長の組み合わせを選択することが好ましい。さらには、図7A~図7Dに示す波長の組み合わせにおいて、分光画像中の造影剤に対応する画像値が負値となるような波長の組み合わせを選択することが好ましい。
 例えば、ここで第1波長として797nmを選択し、第2波長として835nmを選択した場合を考える。図8は、第1波長として797nmを選択し、第2波長として835nmを選択した場合に、ICGの濃度と分光画像中の造影剤に対応する画像値(式(1)の値)との関係を示すグラフである。図8によれば、第1波長として797nmを選択し、第2波長として835nmを選択した場合、5.04μg/mL~1.0mg/mLのいずれの濃度であっても、分光画像中の造影剤に対応する画像値は負値となる。そのため、このような波長の組み合わせにより生成された分光画像によれば、血管の酸素飽和度値は原理上負値をとることはないため、血管の領域と造影剤の領域とを明確に識別することができる。
 なお、これまで造影剤に関する情報に基づいて波長を決定することを説明したが、波長の決定においてヘモグロビンの吸収係数を考慮してもよい。図9は、オキシヘモグロビンのモラー吸収係数(破線)とデオキシヘモグロビンのモラー吸収係数(実線)のスペクトルを示す。図9に示す波長レンジにおいては、797nmを境にオキシヘモグロビンのモラー吸収係数とデオキシヘモグロビンのモラー吸収係数の大小関係が逆転している。すなわち、797nmよりも短い波長においては静脈を把握しやすく、797nmよりも長い波長においては動脈を把握しやすいといえる。ところで、リンパ浮腫の治療においては、リンパ管と静脈との間にバイパスを作製するリンパ管細静脈吻合術が利用されている。この術前検査のために、光音響イメージングによって静脈と造影剤が蓄積したリンパ管との両方を画像化することが考えられる。この場合に、複数の波長の少なくとも1つを797nmよりも小さい波長とすることにより、静脈をより明確に画像化することができる。また、複数の波長の少なくとも1つを、オキシヘモグロビンのモラー吸収係数よりもデオキシヘモグロビンのモラー吸収係数が大きくなる波長とすることが静脈を画像化するうえで有利である。また、2波長に対応する光音響画像から分光画像を生成する場合、2波長のいずれもオキシヘモグロビンのモラー吸収係数よりもデオキシヘモグロビンのモラー吸収係数が大きい波長とすることが、静脈を画像化するうえで有利である。これらの波長を選択することにより、リンパ管細静脈吻合術の術前検査において、造影剤が導入されたリンパ管と静脈との両方を精度良く画像化することができる。
 ところで、複数の波長のいずれも血液よりも造影剤の吸収係数が大きい波長であると、造影剤由来のアーチファクトにより血液の酸素飽和度精度が低下してしまう。そこで、造影剤由来のアーチファクトを低減するために、複数の波長の少なくとも1つの波長が、血液の吸収係数に対して造影剤の吸収係数が小さくなる波長であってもよい。
 ここでは、式(1)にしたがって分光画像を生成する場合の説明を行ったが、造影剤の条件や照射光の波長によって分光画像中の造影剤に対応する画像値が変化するような分光画像を生成する場合にも適用することができる。
 (S500:光を照射する工程)
 光照射部110は、S400で決定された波長を光源111に設定する。光源111は、S400で決定された波長の光を発する。光源111から発生した光は、光学系112を介してパルス光として被検体100に照射される。そして、被検体100の内部でパルス光が吸収され、光音響効果により光音響波が生じる。このとき、導入された造影剤もパルス光を吸収し、光音響波を発生する。光照射部110はパルス光の伝送と併せて信号収集部140へ同期信号を送信してもよい。また、光照射部110は、複数の波長のそれぞれについて、同様に光照射を行う。
 ユーザーが、光照射部110の照射条件(照射光の繰り返し周波数や波長など)やプローブ180の位置などの制御パラメータを、入力部170を用いて指定してもよい。コンピュータ150は、ユーザーの指示に基づいて決定された制御パラメータを設定してもよい。また、コンピュータ150が、指定された制御パラメータに基づいて、駆動部130を制御することによりプローブ180を指定の位置へ移動させてもよい。複数位置での撮影が指定された場合には、駆動部130は、まずプローブ180を最初の指定位置へ移動させる。なお、駆動部130は、測定の開始指示がなされたときに、あらかじめプログラムされた位置にプローブ180を移動させてもよい。
 (S600:光音響波を受信する工程)
 信号収集部140は、光照射部110から送信された同期信号を受信すると、信号収集の動作を開始する。すなわち、信号収集部140は、受信部120から出力された、光音響波に由来するアナログ電気信号を、増幅・AD変換することにより、増幅されたデジタル電気信号を生成し、コンピュータ150へ出力する。コンピュータ150は、信号収集部140から送信された信号を保存する。複数の走査位置での撮影を指定された場合には、指定された走査位置において、S500およびS600の工程を繰り返し実行し、パルス光の照射と音響波に由来するデジタル信号の生成を繰り返す。なお、コンピュータ150は、発光をトリガーとして、発光時の受信部120の位置情報を駆動部130の位置センサからの出力に基づいて取得し、記憶してもよい。
 なお、本実施形態では、複数の波長の光のそれぞれを時分割に照射する例を説明したが、複数の波長のそれぞれに対応する信号データを取得できる限り、光の照射方法はこれに限らない。例えば、光照射によって符号化を行う場合に、複数の波長の光がほぼ同時に照射されるタイミングが存在してもよい。
 (S700:光音響画像を生成する工程)
 光音響画像取得手段としてのコンピュータ150は、記憶された信号データに基づいて、光音響画像を生成する。コンピュータ150は、生成された光音響画像を記憶装置1200に出力し、記憶させる。
 信号データを2次元または3次元の空間分布に変換する再構成アルゴリズムとしては、タイムドメインでの逆投影法やフーリエドメインでの逆投影法などの解析的な再構成法やモデルベース法(繰り返し演算法)を採用することができる。例えば、タイムドメインでの逆投影法として、Universal back-projection(UBP)、Filtered back-projection(FBP)、または整相加算(Delay-and-Sum)などが挙げられる。
 コンピュータ150は、信号データに対して再構成処理することにより、初期音圧分布情報(複数の位置における発生音圧)を光音響画像として生成する。また、コンピュータ150は、被検体100に照射された光の被検体100の内部での光フルエンス分布を計算し、初期音圧分布を光フルエンス分布で除算することにより、吸収係数分布情報を光音響画像として取得してもよい。光フルエンス分布の計算手法については、公知の手法を適用することができる。また、コンピュータ150は、複数の波長の光のそれぞれに対応する光音響画像を生成することができる。具体的には、コンピュータ150は、第1波長の光照射により得られた信号データに対して再構成処理を行うことにより、第1波長に対応する第1光音響画像を生成することができる。また、コンピュータ150は、第2波長の光照射により得られた信号データに対して再構成処理を行うことにより、第2波長に対応する第2光音響画像を生成することができる。このように、コンピュータ150は、複数の波長の光に対応する複数の光音響画像を生成することができる。
 本実施形態では、コンピュータ150は、複数の波長の光のそれぞれに対応する吸収係数分布情報を光音響画像として取得する。第1波長に対応する吸収係数分布情報を第1光音響画像とし、第2波長に対応する吸収係数分布情報を第2光音響画像とする。
 なお、本実施形態では、システムが光音響画像を生成する光音響装置1100を含む例を説明したが、光音響装置1100を含まないシステムにも本発明は適用可能である。光音響画像取得手段としての画像処理装置1300が、光音響画像を取得できる限り、いかなるシステムであっても本発明を適用することができる。例えば、光音響装置1100を含まず、記憶装置1200と画像処理装置1300とを含むシステムであっても本発明を適用することができる。この場合、光音響画像取得手段としての画像処理装置1300は、記憶装置1200に予め記憶された光音響画像群の中から指定された光音響画像を読み出すことにより、光音響画像を取得することができる。
 (S800:分光画像を生成する工程)
 分光画像取得手段としてのコンピュータ150は、複数の波長に対応する複数の光音響画像に基づいて、分光画像を生成する。コンピュータ150は、分光画像を記憶装置1200に出力し、記憶装置1200に記憶させる。前述したように、コンピュータ150は、グルコース濃度、コラーゲン濃度、メラニン濃度、脂肪や水の体積分率など、被検体を構成する物質の濃度に相当する情報を示す画像を分光画像として生成してもよい。また、コンピュータ150は、第1波長に対応する第1光音響画像と第2波長に対応する第2光音響画像との比を表す画像を分光画像として生成してもよい。本実施形態では、コンピュータ150が、第1光音響画像と第2光音響画像とを用いて、式(1)にしたがって酸素飽和度画像を分光画像として生成する例を説明する。
 なお、分光画像取得手段としての画像処理装置1300は、記憶装置1200に予め記憶された分光画像群の中から指定された分光画像を読み出すことにより、分光画像を取得してもよい。また、光音響画像取得手段としての画像処理装置1300は、記憶装置1200に予め記憶された光音響画像群の中から、読み出した分光画像の生成に用いられた複数の光音響画像の少なくとも一つを読み出すことにより、光音響画像を取得してもよい。
 (S900:光音響画像または分光画像に基づいて造影剤に関する情報を取得する工程)
 造影剤情報取得手段としての画像処理装置1300は、記憶装置1200から光音響画像または分光画像を読み出し、光音響画像または分光画像に基づいて造影剤に関する情報を取得する。
 S200で取得した造影剤に関する情報と、実際に被検体100に導入され、被検体100内に拡がった造影剤の条件とが対応していない可能性がある。そこで、画像処理装置1300は、光音響画像または分光画像に対する画像処理を実行し、光音響画像または分光画像から造影剤に関する情報を算出してもよい。これにより、被検体100に造影剤が導入された状態の被検体100を撮影した画像から、被検体100内に拡がった造影剤に関する情報を取得することができる。
 吸収係数分布画像を光音響画像とし、式(1)の値の画像を分光画像とした場合に、光音響画像に対する画像処理により造影剤の濃度を推定する例を説明する。まずユーザーが光音響画像または分光画像中の求めたい造影剤濃度の位置を指示する。画像処理装置1300は、指定された位置の光音響画像の画像値を取得する。また、画像処理装置1300は、図6に示す吸収係数スペクトルを参照し、照射光の波長に対応する造影剤の各濃度の吸収係数を取得する。このとき、画像処理装置1300は、S200で取得した造影剤の種類の情報に基づいて、いずれの種類の造影剤の吸収係数を取得するのかを決定することができる。そして、画像処理装置1300は、各濃度の造影剤の吸収係数と光音響画像の画像値とを比較し、その違いが小さくなる場合の造影剤の濃度を、造影剤に関する情報として取得する。なお、画像処理装置1300は、最小二乗法により、造影剤の吸収係数と光音響画像の画像値との違いを示すノルムが所定値よりも小さくなる場合の濃度を、造影剤に関する情報として算出してもよい。
 また、分光画像に対する画像処理により造影剤の濃度を推定する例を説明する。画像処理装置1300は、指定された位置の分光画像の画像値を取得する。また、画像処理装置1300は、図6に示す吸収係数スペクトルを参照し、照射光の2波長に対応する造影剤の各濃度の吸収係数を取得する。また、画像処理装置1300は、各濃度に対応する吸収係数に基づいて、式(1)にしたがって各濃度に対応する値を算出する。そして、画像処理装置1300は、各濃度に対応する式(1)の値と分光画像の画像値とを比較し、その違いが小さくなる場合の造影剤の濃度を、造影剤に関する情報として取得する。なお、画像処理装置1300は、最小二乗法により、算出した式(1)の値と分光画像の画像値との違いを示すノルムが所定値よりも小さくなる場合の濃度を、造影剤に関する情報として算出してもよい。
 また、コンピュータ150は、光音響画像または分光画像に紐づけられた付帯情報として保存された造影剤に関する情報を読み出し、造影剤に関する情報を取得してもよい。例えば、コンピュータ150は、DICOM画像としての光音響画像または分光画像のタグに保存された造影剤に関する情報を読み出すことにより、造影剤に関する情報を読み出すことができる。この形態によれば、光音響波の測定を伴わない場合であっても、画像処理装置1300がPACS等の記憶装置1200から画像を読み出し、画像に紐づけられた造影剤の条件に応じた画像表示の設定や波長の設定を行うことができる。
 なお、画像処理装置1300は、造影剤の種類については画像に紐づけられた付帯情報から読み出し、造影剤の濃度については画像に対する画像処理によって算出してもよい。このように画像処理装置1300は、異なる方法の組み合わせで造影剤に関する複数の情報を取得してもよい。
 (S1000:波長を再設定するかどうかを判定する工程)
 画像処理装置1300は、波長を再設定するかどうかを判定する。画像処理装置1300が波長を再設定すると判定した場合、S400に戻り、波長を再設定しないと判定した場合、S1100に進む。
 例えば、画像処理装置1300は、ユーザーからの波長の再設定の指示を受け付けた場合に、波長を再設定すると判断する。このとき、画像処理装置1300は、S900で取得した造影剤に関する情報を表示装置1400に表示させてもよい。そして、ユーザーが表示装置1400に表示された情報を確認し、波長の再設定の必要があると判定した場合に、入力装置1500を用いて波長の再設定の指示を行ってもよい。画像処理装置1300は、入力装置1500を介して波長の再設定の指示を受け付けた場合に、波長の再設定を行うと判定し、コンピュータ150に波長の再設定を実行させてもよい。なお、ユーザーが波長の再設定の指示として照射光の波長自体を指示してもよい。
 また、画像処理装置1300は、S200で取得した造影剤に関する情報とS900で取得した造影剤に関する情報とを比較し、情報に差異がある場合に波長を再設定すると判定してもよい。
 また、画像処理装置1300は、S200で取得した造影剤に関する情報とS900で取得した造影剤に関する情報とを比較し、情報に差異がある場合に表示装置1400にその旨を表示させてもよい。また、画像処理装置1300は、造影剤に関するどの情報にどのような差異があるのかを表示させてもよい。ユーザーは表示装置1400に表示された情報を確認し、波長の再設定の必要があると判定した場合に、入力装置1500を用いて波長の再設定の指示を行ってもよい。すなわち、画像処理装置1300は、S900で取得した造影剤に関する情報に基づいた情報を表示装置1400に表示させてもよい。
 一方、画像処理装置1300が波長の再設定を行うと判定しない場合、S1100へと進む。例えば、画像処理装置1300は、ユーザーからの波長の再設定の指示を一定時間受け付けない場合に、波長の再設定が行われていないと判定してもよい。また、画像処理装置1300は、ユーザーから波長の再設定を行わないことを示す指示を受け付けた場合に、波長の再設定が行われていないと判定してもよい。また、画像処理装置1300は、S200で取得した造影剤に関する情報とS900で取得した造影剤に関する情報との間に差異が存在しない場合に、波長の再設定が行われていないと判定してもよい。画像処理装置1300は、これらの条件の少なくとも一つを受け付けた場合に、波長の再設定が行われていないと判定してもよい。
 (S1100:分光画像を表示する工程)
 表示制御手段としての画像処理装置1300は、S200またはS900で取得した造影剤に関する情報に基づいて、造影剤に対応する領域とそれ以外の領域とを識別できるように分光画像を表示装置1400に表示させる。なお、レンダリング手法としては、最大値投影法(MIP:Maximum Intensity Projection)、ボリュームレンダリング、及びサーフェイスレンダリングなどのあらゆる方法を採用することができる。ここで、三次元画像を二次元にレンダリングする際の表示領域や視線方向などの設定条件は、観察対象に合わせて任意に指定することができる。
 ここでは、S400で797nmと835nmを設定し、S800で式(1)にしたがって分光画像を生成する場合について説明する。図8で示したとおり、これらの2波長を選択した場合、ICGがいかなる濃度であっても、式(1)にしたがって生成される分光画像中の造影剤に対応する画像値は負値となる。
 図10に示すように、画像処理装置1300は、分光画像の画像値と表示色との関係を示すカラースケールとしてのカラーバー2400をGUIに表示させる。画像処理装置1300は、造影剤に関する情報(例えば、造影剤の種類がICGであることを示す情報)と、照射光の波長を示す情報とに基づいて、カラースケールに割り当てる画像値の数値範囲を決定してもよい。例えば、画像処理装置1300は、式(1)による動脈の酸素飽和度、静脈の酸素飽和度、および造影剤に対応する負値の画像値を含む数値範囲を決定してもよい。画像処理装置1300は、-100%~100%の数値範囲を決定し、青から赤に変化するカラーグラデーションに-100%~100%を割り当てたカラーバー2400を設定してもよい。このような表示方法により、動静脈の識別に加え、負値の造影剤に対応する領域も識別することができる。また、画像処理装置1300は、造影剤に関する情報と、照射光の波長を示す情報とに基づいて、造影剤に対応する画像値の数値範囲を示すインジケータ2410を表示させてもよい。ここでは、カラーバー2400において、ICGに対応する画像値の数値範囲として負値の領域をインジケータ2410で示している。このように造影剤に対応する表示色を識別できるようにカラースケールを表示することにより、分光画像中の造影剤に対応する領域を容易に識別することができる。
 領域決定手段としての画像処理装置1300は、造影剤に関する情報と、照射光の波長を示す情報とに基づいて、分光画像中の造影剤に対応する領域を決定してもよい。例えば、画像処理装置1300は、分光画像のうち、負値の画像値を有する領域を造影剤に対応する領域として決定してもよい。そして、画像処理装置1300は、造影剤に対応する領域とそれ以外の領域とを識別できるように分光画像を表示装置1400に表示させてもよい。画像処理装置1300は、造影剤に対応する領域とそれ以外の領域との表示色を異ならせる、造影剤に対応する領域を点滅させる、造影剤に対応する領域を示すインジケータ(例えば、枠)を表示させるなどの識別表示を採用することができる。
 なお、図10に示すGUIに表示されたICGの表示に対応するアイテム2730を指示することにより、ICGに対応する画像値を選択的に表示させる表示モードに切り替え可能であってもよい。例えば、ユーザーがICGの表示に対応するアイテム2730を選択した場合に、画像処理装置1300が分光画像から画像値が負値のボクセルを選択し、選択されたボクセルを選択的にレンダリングすることにより、ICGの領域を選択的に表示してもよい。同様に、ユーザーが動脈の表示に対応するアイテム2710や静脈の表示に対応するアイテム2720を選択してもよい。ユーザーの指示に基づいて、画像処理装置1300が、動脈に対応する画像値(例えば、90%以上100%以下)や静脈に対応する画像値(例えば、60%以上90%未満)を選択的に表示させる表示モードに切り替えてもよい。動脈に対応する画像値や静脈に対応する画像値の数値範囲については、ユーザーの指示に基づいて変更可能であってもよい。
 なお、分光画像の画像値に色相、明度、および彩度の少なくとも一つを割り当て、光音響画像の画像値に色相、明度、および彩度の残りのパラメータを割り当てた画像を分光画像として表示させてもよい。例えば、分光画像の画像値に色相および彩度を割り当て、光音響画像の画像値に明度を割り当てた画像を分光画像として表示させてもよい。このとき、造影剤に対応する光音響画像の画像値が、血管に対応する光音響画像の画像値よりも大きい場合や小さい場合、光音響画像の画像値に明度を割り当てると、血管と造影剤の両方を視認することが困難な場合がある。そこで、分光画像の画像値によって、光音響画像の画像値から明度への変換テーブルを変更してもよい。例えば、分光画像の画像値が造影剤に対応する画像値の数値範囲に含まれる場合、光音響画像の画像値に対応する明度を、血管に対応するそれよりも小さくしてもよい。すなわち、造影剤の領域と血管の領域を比べたときに、光音響画像の画像値が同じであれば、血管の領域よりも造影剤の領域の明度を小さくしてもよい。ここで変換テーブルとは、複数の画像値のそれぞれに対応する明度を示すテーブルである。また、分光画像の画像値が造影剤に対応する画像値の数値範囲に含まれる場合、光音響画像の画像値に対応する明度を、血管に対応するそれよりも大きくしてもよい。すなわち、造影剤の領域と血管の領域を比べたときに、光音響画像の画像値が同じであれば、血管の領域よりも造影剤の領域の明度を大きくしてもよい。また、分光画像の画像値によって、光音響画像の画像値を明度に変換しない光音響画像の画像値の数値範囲が異なっていてもよい。
 変換テーブルは、造影剤の種類や濃度、また照射光の波長によって適したものに変更してもよい。そこで、画像処理装置1300は、造影剤に関する情報と、照射光の波長を示す情報とに基づいて、光音響画像の画像値から明度への変換テーブルを決定してもよい。画像処理装置1300は、造影剤に対応する光音響画像の画像値が血管に対応するそれよりも大きくなると推定される場合、造影剤に対応する光音響画像の画像値に対応する明度を血管に対応するそれよりも小さくしてもよい。反対に、画像処理装置1300は、造影剤に対応する光音響画像の画像値が血管に対応するそれよりも小さくなると推定される場合、造影剤に対応する光音響画像の画像値に対応する明度を血管に対応するそれよりも大きくしてもよい。
 図10に示すGUIは、波長797nmに対応する吸収係数画像(第1光音響画像)2100、波長835nmに対応する吸収係数画像(第2光音響画像)2200、酸素飽和度画像(分光画像)2300を表示する。それぞれの画像がいずれの波長の光によって生成された画像であるかをGUIに表示してもよい。本実施形態では、光音響画像と分光画像の両方を表示しているが、分光画像だけを表示してもよい。また、画像処理装置1300は、ユーザーの指示に基づいて、光音響画像の表示と分光画像の表示とを切り替えてもよい。
 なお、表示部160は動画像を表示可能であってもよい。例えば、画像処理装置1300が、第1光音響画像2100、第2光音響画像2200および分光画像2300の少なくともいずれかを時系列に生成し、生成された時系列の画像に基づいて動画像データを生成して表示部160に出力する構成としてもよい。なお、リンパの流れる回数が比較的少ないことに鑑みて、ユーザーの判断時間を短縮するために、静止画または時間圧縮された動画像として表示することも好ましい。また、動画像表示において、リンパが流れる様子を繰り返し表示することもできる。動画像の速度は、予め規定された所定の速度やユーザーに指定された所定の速度であってもよい。
 また、動画像を表示可能な表示部160において、動画像のフレームレートを可変にすることも好ましい。フレームレートを可変にするために、図10のGUIに、ユーザーがフレームレートを手動で入力するためのウィンドウや、フレームレートを変更するためのスライドバーなどを追加してもよい。ここで、リンパ液はリンパ管内を間欠的に流れるため、取得された時系列のボリュームデータの中でも、リンパの流れの確認に利用できるのは一部だけである。そのため、リンパの流れの確認する際に実時間表示を行うと効率が低下する場合がある。そこで、表示部160に表示される動画像のフレームレートを可変にすることで、表示される動画像の早送り表示が可能になり、ユーザーがリンパ管内の流体の様子を短時間で確認できるようになる。
 また、表示部160は、所定の時間範囲内の動画像を繰り返し表示可能であってもよい。その際、繰り返し表示を行う範囲をユーザーが指定可能とするためのウィンドウやスライドバーなどのGUIを、図10に追加することも好ましい。これにより、例えばリンパ管内を流体が流れる様子をユーザーが把握しやすくなる。
 以上説明したように、画像処理装置1300および情報処理装置としてのコンピュータ150の少なくとも1つは、分光画像取得手段、造影剤情報取得手段、領域決定手段、光音響画像取得手段、および表示制御手段の少なくとも一つを有する装置として機能する。なお、それぞれの手段は、互いに異なるハードウェアで構成されていてもよいし、1つのハードウェアで構成されていてもよい。また、複数の手段が1つのハードウェアで構成されていてもよい。
 本実施形態では、造影剤に対応する式(1)による値が負値となる波長を選択することにより、血管と造影剤とを識別できるようにしたが、造影剤に対応する画像値が血管と造影剤とを識別できる限り、造影剤に対応する画像値がいかなる値であってもよい。例えば、造影剤に対応する分光画像(酸素飽和度画像)の画像値が、60%より小さくなるまたは100%より大きくとなる場合などにも、本工程で説明した画像処理を適用することができる。
 本実施形態では、造影剤としてICGを用いる場合の例を説明したが、ICG以外のいかなる造影剤に本実施形態に係る画像処理を適用してもよい。また、画像処理装置1300は、複数種類の造影剤のうち、被検体100に導入した造影剤の種類の情報に基づいて、造影剤の種類に応じた画像処理を実行してもよい。
 本実施形態では、複数の造影剤に関する情報のうち、取得された造影剤に関する情報に基づいて画像処理方法を決定する場合について説明した。ただし、撮影に使用される造影剤の条件が一意に決定されている場合は、その造影剤の条件に対応した画像処理が予め設定されていてもよい。この場合も、上述した本実施形態に係る画像処理を適用することができる。
 本実施形態では、複数の波長に対応する光音響画像に基づいた分光画像に画像処理を適用する例を説明したが、1つの波長に対応する光音響画像に本実施形態に係る画像処理を適用してもよい。すなわち、画像処理装置1300は、造影剤に関する情報に基づいて、光音響画像中の造影剤に対応する領域を決定し、造影剤に対応する領域とその領域以外の領域とを識別できるように、光音響画像を表示させてもよい。また、画像処理装置1300は、予め設定された造影剤に対応する画像値の数値範囲を有する領域と、それ以外の領域とを識別できるように、分光画像または光音響画像を表示させてもよい。
 本実施形態では、情報処理装置としてのコンピュータ150が複数の波長の光を照射して分光画像を生成する例を説明したが、1つの波長の光だけを照射して光音響画像を生成する場合に本実施形態に係る波長の決定方法で波長を決定してもよい。すなわち、コンピュータ150は、造影剤に関する情報に基づいて、照射光の波長を決定してもよい。この場合、コンピュータ150は、光音響画像中の造影剤の領域の画像値が、血管の領域の画像値と識別できるような波長を決定することが好ましい。
 なお、光照射部110は、光音響画像中の造影剤の領域の画像値と、血管の領域の画像値とを識別できるように予め設定された波長の光を被検体100に照射してもよい。また、光照射部110は、分光画像中の造影剤の領域の画像値と、血管の領域の画像値とを識別できるように予め設定された複数波長の光を被検体100に照射してもよい。
 (その他の実施例)
 また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
 本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から逸脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
 本願は、2018年8月21日提出の日本国特許出願特願2018-155033を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。
 1100 光音響装置
 1200 記憶装置
 1300 画像処理装置
 1400 表示装置
 1500 入力装置

Claims (25)

  1.  造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、前記複数の波長のそれぞれに対応する光音響信号を用いて生成された画像である、分光画像を取得する分光画像取得手段、
     前記造影剤に関する情報を取得する造影剤情報取得手段、
     前記造影剤に関する情報に基づいて、前記分光画像中の前記造影剤に対応する領域を決定する領域決定手段、および
     前記造影剤に対応する領域と当該領域以外の領域とを識別できるように、前記分光画像を表示させる表示制御手段
    を有することを特徴とする画像処理装置。
  2.  前記領域決定手段は、
     前記造影剤に関する情報に基づいて、前記分光画像の画像値に対する数値範囲を決定し、
     前記数値範囲に含まれる画像値を有する前記分光画像の領域を、前記造影剤に対応する領域として決定する
    ことを特徴とする請求項1に記載の画像処理装置。
  3.  前記領域決定手段は、前記造影剤に関する情報に基づいて、色を割り当てる前記分光画像の画像値の数値範囲を決定し、
     前記表示制御手段は、前記数値範囲に含まれる前記分光画像の画像値に色を割り当てて前記分光画像を表示させる
    ことを特徴とする請求項1に記載の画像処理装置。
  4.  前記造影剤に対応する領域の画像値と、前記造影剤に対応する領域以外の領域の画像値とは、符号が逆である
    ことを特徴とする請求項2または3に記載の画像処理装置。
  5.  前記領域決定手段は、前記造影剤に関する情報と前記複数の波長の情報とに基づいて、前記分光画像中の前記造影剤に対応する領域を決定する
    ことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
  6.  造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた分光画像を取得する分光画像取得手段、
     前記造影剤に関する情報を取得する造影剤情報取得手段、および
     前記造影剤に関する情報に基づいて、前記分光画像の画像値に色を割り当てて前記分光画像を表示させる表示制御手段
    を有することを特徴とする画像処理装置。
  7.  前記表示制御手段は、前記分光画像の負値の画像値にも色を割り当てて前記分光画像を表示させる
    ことを特徴とする請求項6に記載の画像処理装置。
  8.  前記表示制御手段は、前記造影剤に関する情報と前記複数の波長の情報とに基づいて、前記分光画像の画像値に色を割り当てて前記分光画像を表示させる
    ことを特徴とする請求項6または7に記載の画像処理装置。
  9.  前記表示制御手段は、
     前記分光画像の画像値と表示色との関係を示すカラースケールを表示させ、
     前記造影剤に対応する表示色を識別できるように前記カラースケールを表示させる
    ことを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
  10.  造影剤が導入された前記被検体に前記複数の波長の光を照射することにより発生した光音響波に基づいて生成された、前記複数の波長にそれぞれ対応する複数の光音響画像を取得する光音響画像取得手段を更に有し、
     前記表示制御手段は、
     前記複数の光音響画像の一つの光音響画像の画像値に基づいて前記分光画像の明度を決定し、
     前記分光画像の画像値に基づいて、前記光音響画像の画像値から明度への変換テーブルを決定する
    ことを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
  11.  前記造影剤情報取得手段は、前記分光画像に紐づけられた付帯情報から、前記造影剤に関する情報を取得する
    ことを特徴とする請求項1から10のいずれか1項に記載の画像処理装置。
  12.  前記造影剤に関する情報は、前記造影剤の種類または濃度の情報である
    ことを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。
  13.  第1波長の光照射により発生した光音響波に基づいた第1光音響画像、および、第2波長の光照射により発生した光音響波に基づいた第2光音響画像を取得する光音響画像取得手段を更に有し、
     前記分光画像取得手段は、前記第1光音響画像と前記第2光音響画像との比に基づいた画像を前記分光画像として生成する
    ことを特徴とする請求項1から12のいずれか1項に記載の画像処理装置。
  14.  第1波長λの光照射により発生した光音響波に基づいた計測値をIλ (r)とし、第2波長λの光照射により発生した光音響波に基づいた計測値をIλ (r)とし、第1波長λに対応するデオキシヘモグロビンのモラー吸収係数をεHb λ とし、第2波長λに対応するデオキシヘモグロビンのモラー吸収係数をεHb λ とし、第1波長λに対応するオキシヘモグロビンのモラー吸収係数をεHbO λ とし、第2波長λに対応するオキシヘモグロビンのモラー吸収係数をεHbO λ とし、rを位置とした場合に、
     前記分光画像取得手段は、下記式にしたがって、分光画像の計算値Is(r)を生成する
    Figure JPOXMLDOC01-appb-M000001

     
    ことを特徴とする請求項1から12のいずれか1項に記載の画像処理装置。
  15.  前記計測値は吸収係数または初期音圧である
    ことを特徴とする請求項14に記載の画像処理装置。
  16.  前記造影剤は、2.5mg/mL以上、10.0mg/mL以下の濃度のICGであることを特徴とする請求項1から15のいずれか1項に記載の画像処理装置。
  17.  前記造影剤情報取得手段は、
     ユーザーからの指示に基づいて、前記造影剤に関する情報として前記造影剤の濃度を示す情報を取得し、
     前記造影剤に関する情報として前記造影剤の種類がICGであることを示す情報を取得した場合に、2.5mg/mLより小さい、または、10.0mg/mLより大きいICGの濃度を示すユーザーからの指示を受け付けないように構成されている
    ことを特徴とする請求項1から16のいずれか1項に記載の画像処理装置。
  18.  前記複数の波長が、第1波長として797nm、第2波長として835nmを含む
    ことを特徴とする請求項16または17に記載の画像処理装置。
  19.  前記表示制御手段は、時系列に生成された複数の分光画像を動画像として表示させる
    ことを特徴とする請求項1から18のいずれか1項に記載の画像処理装置。
  20.  前記表示制御手段は、前記動画像を早送り表示可能である
    ことを特徴とする請求項19に記載の画像処理装置。
  21.  前記表示制御手段は、前記動画像を繰り返し表示可能である
    ことを特徴とする請求項19または20に記載の画像処理装置。
  22.  造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、前記複数の波長のそれぞれに対応する光音響信号を用いて生成された画像である、分光画像を取得し、
     前記造影剤に関する情報を取得し、
     前記造影剤に関する情報に基づいて、前記分光画像中の前記造影剤に対応する領域を決定し、
     前記造影剤に対応する領域と当該領域以外の領域とを識別できるように、前記分光画像を表示させる
    ことを特徴とする画像処理方法。
  23.  造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、前記複数の波長のそれぞれに対応する光音響信号を用いて生成された画像である、分光画像を取得し、
     前記造影剤に関する情報を取得し、
     前記造影剤に関する情報に基づいて、前記分光画像の画像値に色を割り当てて前記分光画像を表示させる
    ことを特徴とする画像処理方法。
  24.  前記造影剤がICGであり、前記複数の波長が、第1波長として797nm、第2波長として835nmを含む
    ことを特徴とする請求項22または23に記載の画像処理方法。
  25.  請求項22~24のいずれか1項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
PCT/JP2019/013940 2018-08-21 2019-03-29 画像処理装置、画像処理方法、プログラム WO2020039639A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19850962.2A EP3841982A4 (en) 2018-08-21 2019-03-29 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
CN201980054755.0A CN112584775A (zh) 2018-08-21 2019-03-29 图像处理装置、图像处理方法和程序
US17/178,403 US20210177268A1 (en) 2018-08-21 2021-02-18 Image processing apparatus, image processing method, and non-transitory computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-155033 2018-08-21
JP2018155033A JP7144805B2 (ja) 2018-08-21 2018-08-21 画像処理装置、画像処理方法、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/178,403 Continuation US20210177268A1 (en) 2018-08-21 2021-02-18 Image processing apparatus, image processing method, and non-transitory computer-readable medium

Publications (1)

Publication Number Publication Date
WO2020039639A1 true WO2020039639A1 (ja) 2020-02-27

Family

ID=69593101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/013940 WO2020039639A1 (ja) 2018-08-21 2019-03-29 画像処理装置、画像処理方法、プログラム

Country Status (5)

Country Link
US (1) US20210177268A1 (ja)
EP (1) EP3841982A4 (ja)
JP (1) JP7144805B2 (ja)
CN (1) CN112584775A (ja)
WO (1) WO2020039639A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017002337A1 (ja) 2015-06-30 2017-01-05 富士フイルム株式会社 光音響画像生成装置及び挿入物
JP2017202319A (ja) * 2016-05-10 2017-11-16 キヤノン株式会社 光音響装置および光音響装置の制御方法
JP2018057697A (ja) * 2016-10-07 2018-04-12 キヤノン株式会社 制御装置、制御方法、制御システム及びプログラム。
JP2018155033A (ja) 2017-03-17 2018-10-04 Toto株式会社 メインリモコン、サブリモコン及びリモコンシステム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006063048B3 (de) * 2006-02-01 2018-03-29 Siemens Healthcare Gmbh Fokus/Detektor-System einer Röntgenapparatur zur Erzeugung von Phasenkontrastaufnahmen
US20080221647A1 (en) * 2007-02-23 2008-09-11 The Regents Of The University Of Michigan System and method for monitoring photodynamic therapy
JP5566456B2 (ja) * 2009-06-29 2014-08-06 ヘルムホルツ・ツェントルム・ミュンヒェン・ドイチェス・フォルシュンクスツェントルム・フューア・ゲズントハイト・ウント・ウムベルト(ゲーエムベーハー) 被写体を熱音響撮像するための撮像装置及び撮像方法、コンピュータプログラム並びにコンピュータで読み取り可能な記憶媒体を備える装置
US20130225951A1 (en) * 2010-04-29 2013-08-29 Eye02 Scan Llc Determination of oxygen saturation in a tissue of visual system
US9733119B2 (en) * 2011-11-02 2017-08-15 Seno Medical Instruments, Inc. Optoacoustic component utilization tracking
KR101273585B1 (ko) * 2011-12-05 2013-06-11 삼성전자주식회사 초음파 영상 장치 및 초음파 영상 표시방법
EP2749209A1 (en) * 2012-12-28 2014-07-02 Canon Kabushiki Kaisha Object information acquisition apparatus, display method, and program
EP2754388B1 (en) * 2013-01-15 2020-09-09 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt GmbH System and method for quality-enhanced high-rate optoacoustic imaging of an object
JP6494364B2 (ja) * 2015-03-26 2019-04-03 キヤノン株式会社 光音響装置
WO2017014167A1 (en) * 2015-07-21 2017-01-26 Canon Kabushiki Kaisha Object information acquiring apparatus and object information acquiring method
JP6824636B2 (ja) * 2015-07-21 2021-02-03 キヤノン株式会社 被検体情報取得装置および被検体情報取得方法
WO2017079253A1 (en) * 2015-11-02 2017-05-11 Ji-Xin Cheng Method and device for in situ cancer margin detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017002337A1 (ja) 2015-06-30 2017-01-05 富士フイルム株式会社 光音響画像生成装置及び挿入物
JP2017202319A (ja) * 2016-05-10 2017-11-16 キヤノン株式会社 光音響装置および光音響装置の制御方法
JP2018057697A (ja) * 2016-10-07 2018-04-12 キヤノン株式会社 制御装置、制御方法、制御システム及びプログラム。
JP2018155033A (ja) 2017-03-17 2018-10-04 Toto株式会社 メインリモコン、サブリモコン及びリモコンシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3841982A4

Also Published As

Publication number Publication date
US20210177268A1 (en) 2021-06-17
CN112584775A (zh) 2021-03-30
EP3841982A4 (en) 2022-05-11
JP7144805B2 (ja) 2022-09-30
JP2020028389A (ja) 2020-02-27
EP3841982A1 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
JP6576424B2 (ja) 表示制御装置、画像表示方法、及びプログラム
JP2018202147A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6921782B2 (ja) 表示制御装置、画像表示方法、及びプログラム
WO2020040172A1 (ja) 画像処理装置、画像処理方法、プログラム
JP7144805B2 (ja) 画像処理装置、画像処理方法、プログラム
WO2020039640A1 (ja) 情報処理装置、システム、情報処理方法、プログラム
JP7013215B2 (ja) 情報処理装置、情報処理方法、プログラム
JP7125709B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7142832B2 (ja) 画像処理装置、画像処理方法、プログラム
JP7320221B2 (ja) 画像処理装置、画像処理方法、画像表示方法、および、プログラム
JP7205821B2 (ja) システム
JP7187336B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7226728B2 (ja) 画像処理装置、画像処理方法、プログラム
JP7314371B2 (ja) 被検体情報取得装置、被検体情報処理方法、およびプログラム
US20210169397A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
JP7118718B2 (ja) 被検体情報取得装置、被検体情報処理方法、およびプログラム
JP2020028670A (ja) 画像処理装置、システム、画像処理方法、プログラム
JP2019000387A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6882108B2 (ja) 画像生成装置、画像生成方法、及びプログラム
JP2020028668A (ja) 画像処理装置、画像処理方法、プログラム
JP2020162745A (ja) 画像処理装置、画像処理方法及びプログラム
JP2020162746A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018088998A (ja) 表示制御装置、表示方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19850962

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019850962

Country of ref document: EP

Effective date: 20210322