WO2018135005A1 - 信号処理装置、光音響波撮影装置および信号処理方法 - Google Patents

信号処理装置、光音響波撮影装置および信号処理方法 Download PDF

Info

Publication number
WO2018135005A1
WO2018135005A1 PCT/JP2017/002151 JP2017002151W WO2018135005A1 WO 2018135005 A1 WO2018135005 A1 WO 2018135005A1 JP 2017002151 W JP2017002151 W JP 2017002151W WO 2018135005 A1 WO2018135005 A1 WO 2018135005A1
Authority
WO
WIPO (PCT)
Prior art keywords
ultrasonic waveform
signal processing
waveform
detected
similarity
Prior art date
Application number
PCT/JP2017/002151
Other languages
English (en)
French (fr)
Inventor
オリンパス株式会社
義彰 村山
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/002151 priority Critical patent/WO2018135005A1/ja
Publication of WO2018135005A1 publication Critical patent/WO2018135005A1/ja
Priority to US16/517,627 priority patent/US11209532B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52085—Details related to the ultrasound signal acquisition, e.g. scan sequences
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52025—Details of receivers for pulse systems
    • G01S7/52026—Extracting wanted echo signals
    • G01S7/52028—Extracting wanted echo signals using digital techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements

Definitions

  • the present invention relates to a signal processing device, a photoacoustic wave imaging device, and a signal processing method.
  • a photoacoustic wave microscope in which photoacoustic waves are applied to imaging as detection signals is known (for example, see Patent Document 1).
  • a photoacoustic wave is a kind of ultrasonic wave generated by a thermoelastic process when a substance is irradiated with light in the absorption wavelength range.
  • a photoacoustic wave microscope has attracted attention as a means for imaging absorption characteristics.
  • Patent Document 1 proposes imaging of blood vessels using a photoacoustic wave microscope. Specifically, the photoacoustic microscope collects pulsed light in the absorption wavelength region of hemoglobin on a specimen, scans the spot of the pulsed light within the specimen, and uses a transducer or the like to generate photoacoustic waves generated at each position. The image is detected and generated based on the intensity (amplitude) of the photoacoustic wave.
  • hemoglobin there can be substances that generate photoacoustic waves when irradiated with pulsed light, and it is difficult to distinguish substances that generate photoacoustic waves based on the intensity of the photoacoustic waves. It is. Therefore, there is a problem that it is difficult to distinguish a blood vessel in the image from other blood vessels when the region to be imaged includes other than blood vessels, particularly those having a similar shape to the blood vessels.
  • the present invention has been made in view of the above-described circumstances, and provides a signal processing device, a photoacoustic wave imaging device, and a signal processing method capable of distinguishing whether or not it is a predetermined observation target. Objective.
  • a first aspect of the present invention is a signal processing device that processes data of a detected ultrasonic waveform that represents a temporal change in the intensity of an ultrasonic wave generated at a measurement position in a specimen, and includes a predetermined reference ultrasonic waveform and A comparison unit that compares the detected ultrasonic waveform at the measurement position to calculate a similarity between the predetermined reference ultrasonic waveform and the detected ultrasonic waveform, and based on the similarity calculated by the comparison unit
  • the signal processing apparatus includes a discrimination unit that discriminates whether or not the measurement position is a predetermined observation target.
  • the similarity between the detected ultrasonic waveform measured at the measurement position in the specimen and the predetermined reference ultrasonic waveform is calculated.
  • the detected ultrasonic waveform is determined according to the substance present at the measurement position. That is, when the substance at the measurement position is the same as the substance at the position where the reference ultrasonic waveform is measured, the similarity calculated by the comparison unit increases. On the other hand, when the substance at the measurement position is different from the substance at the position where the reference ultrasonic waveform is measured, the similarity calculated by the comparison unit is small. Therefore, by using the reference ultrasonic waveform measured from the observation object, it is possible to distinguish whether the measurement position is the predetermined observation object by the distinguishing unit.
  • the specimen may include a plurality of different observation objects, and the distinguishing unit may distinguish the plurality of different observation objects.
  • the similarity between the reference ultrasonic waveform and the detected ultrasonic waveform of each observation target is a value within a certain range, and the range varies depending on the observation target. Therefore, a plurality of observation objects can be distinguished from each other based on the difference in similarity.
  • the predetermined reference ultrasonic waveform is a detected ultrasonic waveform at a reference position selected from a plurality of the measurement positions, or an ultrasonic wave measured in advance before acquisition of the data. It may be a waveform.
  • the comparison unit moves the reference ultrasonic waveform and the detected ultrasonic waveform between the reference ultrasonic waveform and the detected ultrasonic waveform while relatively moving the reference ultrasonic waveform and the detected ultrasonic waveform in the time axis direction.
  • a correlation coefficient may be calculated, and the maximum value of the calculated correlation coefficient may be calculated as the similarity. In this way, the similarity can be calculated based on the overall shape of the waveform.
  • the comparison unit calculates a time difference between the reference ultrasonic waveform and the detected ultrasonic waveform when the correlation coefficient is maximized, and is calculated by the comparison unit. You may provide the depth calculation part which calculates the depth of the said measurement position based on the time difference and the velocity of the said ultrasonic wave. By doing in this way, the information of the depth of a measurement position can be acquired.
  • an image creation unit that creates an ultrasound image based on the intensity of the detected ultrasound waveform
  • the image creation unit is based on the depth calculated by the depth calculation unit.
  • the contrast of the ultrasonic image may be corrected.
  • the intensity (amplitude) of each detected ultrasonic waveform changes according to the depth of the measurement position.
  • the contrast of the ultrasonic image can be corrected so that the contrast appropriately reflects the intensity of the ultrasonic wave at the measurement position.
  • the comparison unit calculates a frequency component included in the reference ultrasonic waveform, calculates a frequency component included in the detected ultrasonic waveform, and calculates the calculated reference ultrasonic waveform.
  • the similarity may be calculated by comparing a frequency component with a frequency component of the detected ultrasonic waveform.
  • a light source for irradiating a specimen with excitation light, and a photoacoustic for detecting the ultrasonic wave generated at the measurement position in the specimen by the irradiation of the excitation light and acquiring the detected ultrasonic waveform.
  • a photoacoustic wave imaging device provided with a wave detection part and the signal processing apparatus in any one of the said which processes the data of the said detection ultrasonic waveform acquired by this photoacoustic wave detection part.
  • a signal processing method for processing data of a detected ultrasonic waveform representing a temporal change in the intensity of an ultrasonic wave generated by irradiation of excitation light at a measurement position in a specimen, and a predetermined reference Comparing the ultrasonic waveform and the detected ultrasonic waveform at the measurement position to calculate the similarity between the predetermined reference ultrasonic waveform and the detected ultrasonic waveform, based on the calculated similarity, It is a signal processing method for distinguishing whether or not the measurement position is a predetermined observation target.
  • FIG. 1 is an overall configuration diagram of a signal processing device and a photoacoustic wave imaging device according to a first embodiment of the present invention. It is a figure which shows an example of a sample. It is a figure which shows an example of the similarity map produced from the sample of FIG. 2A. It is a figure which shows an example of the reference
  • FIG. 2B is a diagram for explaining a waveform WF SP extracted from the reference ultrasonic waveform of FIG.
  • FIG. 4 is a diagram for explaining a waveform WF CP1 extracted from the detected ultrasonic waveform of FIG. 2B in calculating a correlation coefficient. It is a whole block diagram of the modification of the signal processing apparatus and photoacoustic wave imaging device of FIG. It is a graph which shows the correspondence of the intensity
  • the photoacoustic wave imaging apparatus 100 irradiates a specimen S with excitation light L and detects a photoacoustic wave (ultrasonic wave) U generated in the specimen S. 2 and a signal processing apparatus 1 that processes data of the photoacoustic wave U detected by the photoacoustic wave microscope 2 to create a two-dimensional image of the specimen S.
  • Reference numeral 3 denotes a display connected to the signal processing device 1 and displaying an image created by the signal processing device 1.
  • the photoacoustic wave microscope 2 includes a light source 4 that emits excitation light L, a stage 5 on which the specimen S is placed, and an objective lens 6 that irradiates the specimen S on the stage 5 with the excitation light L emitted from the light source 4. And a photoacoustic wave from the specimen S disposed between the objective lens 6 and the specimen S, and an optical scanning section 7 that scans the excitation light L applied to the specimen S in a direction orthogonal to the optical axis of the objective lens 6.
  • the control part 10 which controls this is provided.
  • the objective lens 6 condenses the excitation light L incident from the light source 4 via the optical scanning unit 7 at the focal point to form a spot at the focal point.
  • the objective lens 6 has a focal length such that the spot of the excitation light L is located in the sample S.
  • the optical scanning unit 7 includes, for example, two galvanometer mirrors, and the excitation light L is orthogonal to the optical axis of the objective lens 6 so that the spot of the excitation light L in the sample S is two-dimensionally scanned. Scan in the axial direction.
  • the configuration of the optical scanning unit 7 is not limited to this, and other configurations that can change the relative position between the spot of the excitation light L and the sample S in a direction orthogonal to the optical axis of the objective lens 6. It may be.
  • an optical scanning unit that moves the specimen S or the stage 5 in a direction orthogonal to the optical axis of the objective lens 6 may be employed.
  • the photoacoustic wave reflection unit 8 includes two prisms 8a and 8b that are arranged on the optical path of the excitation light L and are coupled to each other via a photoacoustic wave reflection member 8c.
  • the photoacoustic wave reflecting member 8c is made of a member that is transparent to the excitation light L and has a different acoustic impedance with respect to the prism 8b on the sample S side, for example, silicone oil or air.
  • the photoacoustic wave U generated at the spot of the excitation light L in the sample S enters the prism 8b, and is reflected in a direction different from the optical path of the excitation light L at the boundary surface between the prism 8b and the photoacoustic wave reflection member 8c.
  • a space between the specimen S and the prism 8b and between the prism 8b and the photoacoustic wave detection unit 9 is filled with a photoacoustic wave transmission medium such as water or glass through which the photoacoustic wave U easily propagates. Is preferred.
  • a photoacoustic lens (not shown) may be arranged on the sample S side of the prism 8b.
  • the photoacoustic wave detection unit 9 includes a transducer, for example, and detects a photoacoustic wave emitted from the sample S. 3A, 3B, and 3C show examples of time waveforms of the intensity (amplitude) of the photoacoustic wave U at the positions SP, CP1, and CP2 in FIG. 2A, respectively. As shown in FIGS. 3A to 3C, the intensity of the photoacoustic wave U excited by the pulsed excitation light L varies with time.
  • the photoacoustic wave detection unit 9 measures a detected ultrasonic waveform that is a waveform of an intensity change of the photoacoustic wave U with respect to a time change, and outputs the measured detected ultrasonic waveform to the signal processing device 1.
  • the control unit 10 controls the light emission timing of the light source 4 and controls the optical scanning unit 7 in synchronization with the light emission timing of the light source 4, so that the irradiation position of the excitation light L is secondarily within a predetermined imaging range of the image. Move. Thereby, the detected ultrasonic waveforms at a number of measurement positions corresponding to the respective pixels of the image are sequentially measured by the photoacoustic wave detection unit 9.
  • the signal processing apparatus 1 includes a storage unit 11 that stores data of a detected ultrasonic waveform received from the photoacoustic wave detection unit 9, and a detection ultrasonic waveform stored in the storage unit 11 and a predetermined reference ultrasonic waveform.
  • the comparison unit 12 that calculates the similarity
  • the discrimination unit 13 that discriminates whether each measurement position is the predetermined observation object A based on the similarity
  • the sample S based on the discrimination result by the discrimination unit 13
  • an image creating unit 14 for creating an image.
  • the storage unit 11 stores each detected ultrasonic waveform in association with its measurement position (two-dimensional coordinates in a plane orthogonal to the optical axis of the objective lens 6).
  • the storage unit 11 stores a predetermined reference ultrasonic waveform.
  • the predetermined reference ultrasonic waveform is an ultrasonic waveform measured by the photoacoustic wave detection unit 9 by irradiating the predetermined observation target with the excitation light L.
  • a detection ultrasonic waveform of the reference position SP in the predetermined observation target A selected from all measurement positions is used.
  • the reference position SP is designated by the observer using a pointing device such as a mouse.
  • the reference position SP may be automatically set to the measurement position where the high-intensity detected ultrasonic waveform is detected.
  • the comparison unit 12 reads the reference ultrasonic waveform and the detected ultrasonic waveform from the storage unit 11, and for each of all the detected ultrasonic waveforms including the reference ultrasonic waveform, between the detected ultrasonic waveform and the reference ultrasonic waveform. Is calculated as the similarity.
  • the reference position SP is selected from the measurement range, there is almost no difference in acquisition time between the reference ultrasonic waveform and each detected ultrasonic waveform. Therefore, even if there is a temporal change or individual difference of the sample S, it is possible to perform a correlation coefficient calculation that is not affected by this, and as a result, a more reliable similarity can be obtained.
  • the comparison unit 12 repeatedly calculates the correlation coefficient while relatively shifting the detected ultrasonic waveform and the reference ultrasonic waveform in the time axis direction, thereby calculating a plurality of correlation coefficients.
  • the maximum correlation coefficient is determined as the similarity.
  • the calculation method of the correlation coefficient will be described with reference to the reference ultrasonic waveform of FIG. 3A and the detected ultrasonic waveform of FIG. 3B as an example.
  • a part of the waveform WF SP used for calculating the number is extracted.
  • the period for extracting the waveform WF SP (the period surrounded by the broken line in FIG. 4A) is set to a period in which the absolute value of the intensity of the photoacoustic wave U exceeds the threshold value.
  • a search range for which a correlation coefficient is to be calculated is set.
  • a target period (a period surrounded by a broken line in FIG. 4B) for extracting a waveform used for calculating the correlation coefficient is set within the search range.
  • the length of the target period is preferably equal to the length of the period for extracting the waveform WF SP .
  • the target period is set at a time position where the start of the search range and the start of the target period coincide.
  • the time position is a coordinate on the time coordinate axis and indicates a specific time.
  • the waveform WF CP1 of the target period is extracted from the detected ultrasonic waveform.
  • a correlation coefficient between the waveform WF SP and the waveform WF CP1 is calculated.
  • the calculated correlation coefficient is stored in a working memory (not shown).
  • the time position of the target period is shifted backward by the unit time ⁇ t, and the waveform WF CP1 of the shifted target period is extracted.
  • a correlation coefficient between the waveform WF SP and the waveform WF CP1 is calculated.
  • the calculated correlation coefficient is stored in a working memory (not shown).
  • the time position of the target period is shifted backward by unit time ⁇ t, and the waveform WF CP1 and the extracted waveforms WF CP1 and WF SP of the target period are extracted.
  • the calculation of the correlation coefficient between and the storage of the correlation coefficient is repeated.
  • the comparison unit 12 determines the maximum correlation coefficient as the similarity among the correlation coefficients stored in the working memory.
  • the spot of the excitation light L has a spread around the focal point of the objective lens 6 in the depth direction (the optical axis direction of the objective lens 6), and the depth of the absorbing material that generates the photoacoustic wave U in the spot. That is, the depth of the measurement position varies. Therefore, the detected ultrasonic waveform can be shifted in the time axis direction with respect to the reference ultrasonic waveform according to the relative depth of the measurement positions CP1 and CP2 with respect to the reference position SP.
  • the maximum value of the correlation coefficient calculated at a plurality of time positions is the correlation coefficient between the reference ultrasonic waveform and the detected ultrasonic waveform in a state where there is no time lag.
  • the distinguishing unit 13 determines to which of the plurality of classes the similarity calculated by the comparing unit 12 belongs. Specifically, a plurality of threshold values that define the range of each class are set. The distinguishing unit 13 determines which class each similarity belongs to by comparing the similarity with a plurality of threshold values. Each similarity class is stored in the storage unit 11 in association with the detected ultrasonic waveform and the measurement position. As a result, data in which the detected ultrasonic waveform, the measurement position, and the class are associated with each other is generated in the storage unit 11.
  • the shape of the detected ultrasonic waveform depends on the substance present at the measurement positions CP1 and CP2 of the detected ultrasonic waveform. That is, at the measurement position where the same substance as the substance at the reference position SP exists, a detected ultrasonic waveform having the same or similar shape as the reference ultrasonic waveform is acquired, and a large similarity is obtained. On the other hand, at the measurement position where the same substance as the substance at the reference position SP does not exist, a detected ultrasonic waveform having a shape different from the shape of the reference ultrasonic waveform is acquired, and a small similarity is obtained. Therefore, whether or not each of the measurement positions CP1 and CP2 is the predetermined observation object A can be distinguished based on the similarity class.
  • a plurality of different observation objects A, B, and C can also be distinguished.
  • an observation target that generates a photoacoustic wave includes three types of blood vessels, phosphors, and metal nanoparticles.
  • the observation target that generates the reference ultrasonic waveform is a blood vessel
  • the correlation coefficient between the ultrasonic waveform of the blood vessel and the phosphor is 0.6 to 0.8
  • the portion with the correlation coefficient 0.8 to 1.0 is the blood vessel
  • the portion with the correlation coefficient 0.6 to 0.8 (FIG. 2B
  • the observation object B) can be distinguished from the phosphor
  • the portion having the correlation coefficient of 0.4 to 0.6 (observation object C in FIG. 2B) can be distinguished from the metal nanoparticles.
  • the image creation unit 14 stores the correspondence between classes and colors. The colors are set to be different from one class to another.
  • the image creation unit 14 reads the measurement position and class from the storage unit 11 and gives a color corresponding to the corresponding class to the pixel corresponding to each measurement position.
  • a similarity map color-coded by class of similarity between the detected ultrasonic waveform and the reference ultrasonic waveform is generated as an image.
  • the similarity is classified into five classes based on four threshold values (0.2, 0.4, 0.6, 0.8).
  • the difference in hatching direction and pitch represents the difference in color.
  • the created similarity map is output from the signal processing apparatus 1 to the display 3 and displayed on the display 3.
  • the pulsed excitation light L emitted from the light source 4 is incident on the objective lens 6 through the optical scanning unit 7, and from the objective lens 6 through the prism 8a, the photoacoustic wave reflecting member 8c, and the prism 8b, the specimen. S is irradiated to form a spot at the focal point in the specimen S. At the spot, a substance that absorbs at the wavelength of the excitation light L is excited, and a photoacoustic wave U is generated.
  • the photoacoustic wave U returning the optical path of the excitation light L is incident on the prism 8b, reflected by the photoacoustic wave reflecting member 8c, and detected by the photoacoustic wave detection unit 9.
  • the detection ultrasonic waveform in one measurement position is acquired.
  • the acquired detected ultrasonic waveform is transmitted from the photoacoustic wave detection unit 9 to the storage unit 11 in the signal processing device 1 and stored in the storage unit 11 in association with the measurement position.
  • control unit 10 controls the optical scanning unit 7 and the light source 4 to irradiate the next measurement position with the spot of the excitation light L, so that the detected ultrasonic waveform at the next measurement position becomes the photoacoustic wave detection unit 9. And the detected ultrasonic waveform is stored in the storage unit 11. Thereafter, similarly, the movement of the spot of the excitation light L and the acquisition of the detection ultrasonic waveform are repeated, and the detection ultrasonic waveforms at all measurement positions within the predetermined imaging range corresponding to all the pixels of the image are acquired. And stored in the storage unit 11.
  • the image creation unit 14 creates a similarity map of the sample S color-coded by the similarity class based on the measurement position and the similarity class stored in the storage unit 11.
  • the similarity map a position where the same substance as the reference position SP exists is displayed in the same color as the reference position SP, and other positions are displayed in a color different from the reference position SP.
  • the reference position SP is a position within the predetermined observation target A, whether or not the reference position SP is the predetermined observation target A is distinguished by the color. For example, when the predetermined observation target A is a blood vessel, all blood vessel regions are displayed in the same color, and regions other than the blood vessel are displayed in other colors.
  • the photoacoustic wave U When there is an absorbing substance that generates the photoacoustic wave U by the excitation light L other than the predetermined observation target A, the photoacoustic wave U is generated other than the observation target A, but the photoacoustic wave U is generated. It is difficult to distinguish the absorbing substance based on the intensity of the photoacoustic wave U. For this reason, it is difficult to distinguish whether or not it is the predetermined observation target A based on the luminance value of the image.
  • the absorbing substance generating the photoacoustic wave U is in the predetermined observation target A.
  • mapping the similarity has an advantage that an image can be provided to the observer in which whether or not the object is a predetermined observation object A is accurately distinguished by color.
  • the plurality of observation objects A are based on the similarity between the detected ultrasonic waveform and the reference ultrasonic waveform at each measurement position in the sample S. , B and C can also be distinguished accurately.
  • the image creation unit 14 creates a photoacoustic wave image (ultrasonic image) having a value based on the intensity (amplitude) of the detected ultrasonic waveform as a luminance value of each pixel in addition to the similarity map. May be.
  • the image creating unit 14 may remove noise in the photoacoustic wave image by removing pixels of a class with low similarity in the similarity map from the photoacoustic wave image. Since pixels other than the observation target are selectively removed by removing pixels with low similarity in this way, a photoacoustic wave image in which only the observation target is extracted can be obtained.
  • a depth calculation unit 15 that calculates the depth of each measurement position may be further provided.
  • the detected ultrasonic waveform is shifted in the time axis direction according to the depth of the measurement position CP1
  • the relative depth of the measurement position CP1 with respect to the reference position SP is a waveform that provides the maximum correlation coefficient. It can be calculated based on the time difference between the WF CP1 and the waveform WF SP of the reference ultrasonic waveform.
  • the depth calculation unit 15 determines the time position of the period in which the waveform WF SP is extracted from the reference ultrasonic waveform and the time position of the target period of the waveform WF CP1 from which the maximum correlation coefficient is obtained. Is calculated, and the relative depth of the measurement position CP1 with respect to the reference position SP is calculated by multiplying the calculated difference by the velocity of the photoacoustic wave U.
  • the image creation unit 14 corrects the contrast of the photoacoustic wave image based on the depth of each measurement position calculated by the depth calculation unit 15. Good.
  • the intensity (amplitude) of the photoacoustic wave U changes according to the intensity of the excitation light L irradiated to the absorbing material. Therefore, the intensity of the photoacoustic wave U becomes maximum at the focal position of the objective lens 6 where the intensity of the excitation light L is maximum, and decreases as the distance from the focal position increases. Specifically, a correspondence relationship as shown in FIG. 6 exists between the intensity of the excitation light L and the distance from the focal position.
  • the image creation unit 14 stores the correspondence shown in FIG. 6, calculates the intensity I of the excitation light L corresponding to the depth D of each measurement position from the correspondence, and the intensity of the excitation light L at the focal position. A correction coefficient is calculated by dividing by a strength I. Next, the image creation unit 14 corrects the luminance value by multiplying the luminance value of each pixel by a correction coefficient, and generates a photoacoustic wave image using the corrected luminance value. Thereby, the variation in the luminance value based on the variation in the depth of the measurement position is corrected so that the contrast is based on the difference in the intensity of the photoacoustic wave U when the excitation light L having the same intensity is irradiated on the absorbing material. The contrast of the photoacoustic wave image can be corrected.
  • the photoacoustic wave imaging apparatus includes a signal processing device 1 and a photoacoustic wave microscope 2.
  • the method of calculating the similarity by the comparison unit 12 is different from that of the first embodiment.
  • the comparison unit 12 performs frequency conversion on the reference ultrasonic waveform to calculate a frequency component included in the reference ultrasonic waveform. Further, the comparison unit 12 performs frequency conversion on all the detected ultrasonic waveforms including the reference ultrasonic waveform, and calculates a frequency component included in each detected ultrasonic waveform.
  • FIG. 7A shows an example of the frequency spectrum of the reference ultrasonic waveform at the reference position SP
  • FIGS. 7B and 7C show an example of the frequency spectrum of the detected ultrasonic waveform at the measurement positions CP1 and CP2.
  • the comparison unit 12 calculates the similarity between the reference ultrasonic waveform and the detected ultrasonic waveform based on the comparison between the frequency component of the reference ultrasonic waveform and the frequency component of each detected ultrasonic waveform.
  • the comparison between the frequency components is performed, for example, by calculating a correlation coefficient between the frequency spectrum waveform of the reference ultrasonic waveform and the frequency spectrum waveform of the detected ultrasonic waveform. In this case, the calculated correlation coefficient is used as the similarity.
  • the comparison of the frequency components of the reference ultrasonic waveform and the detected ultrasonic waveform may be performed over the entire frequency band, or may be performed only in a part of the band.
  • frequency spectra may be compared with each other only with a high frequency component, only a low frequency component, or only a specific frequency component.
  • peak frequencies may be compared, and frequency bands having an intensity equal to or higher than a threshold may be compared. Any combination of the above examples may be employed.
  • the image creation unit 14 may create a photoacoustic wave image, may distinguish a plurality of different observation targets based on the similarity map, and performs noise removal of the photoacoustic wave image. May be.
  • the ultrasonic waveform measured at an arbitrary reference position SP within the imaging range of the image is used as the reference ultrasonic waveform.
  • An ultrasonic waveform measured in advance before photographing may be used.
  • an ultrasonic waveform generated from a blood vessel by irradiation with the excitation light L is acquired in advance before imaging, and the acquired ultrasonic waveform is stored in the storage unit 11 as a reference ultrasonic waveform. This eliminates the need for the observer to designate the reference position SP and automatically select the reference position SP from a large number of measurement positions.
  • the excitation light L collected by the objective lens 6 is scanned two-dimensionally in order to detect photoacoustic waves U from a large number of measurement positions in a two-dimensional plane.
  • the photoacoustic wave detector 91 may be moved with respect to the sample S as shown in FIG.
  • the photoacoustic wave detection unit 91 includes a transducer array in which a plurality of transducers are arranged one-dimensionally, and is scanned in a direction crossing the transducer arrangement.
  • the excitation light L is also scanned with the movement of the photoacoustic wave detection unit 91.
  • the entire imaging range may be irradiated with the excitation light L.
  • a photoacoustic wave detection unit 92 including a transducer array in which a plurality of transducers are two-dimensionally arranged may be employed. In this case, the excitation light L is irradiated to the entire imaging range.
  • the sample S is a living body and the predetermined observation target A is a blood vessel has been described.
  • the sample S and the predetermined observation target A are not limited thereto. Instead, an arbitrary observation object in an arbitrary sample may be observed, or a sample S including a plurality of different observation objects may be observed.
  • the photoacoustic wave U generated by the irradiation of the excitation light L is detected.
  • the irradiation energy for generating an ultrasonic wave in the sample S is not limited to light.
  • other types of irradiation energy may be used.
  • the sample S may be irradiated with the ultrasonic wave, the reflected wave of the ultrasonic wave from the sample S may be detected, and the time waveform of the detected reflected wave may be processed by the signal processing device 1.
  • the signal processing apparatus 1 described above includes a CPU (Central Processing Unit) and an HDD that stores a program for causing the CPU to execute the processes of the comparison unit 12, the discrimination unit 13, the image creation unit 14, and the depth calculation unit 15.
  • a computer including such an auxiliary storage device and a main storage device such as a RAM or ROM for the CPU to load a program from the auxiliary storage device and execute processing.
  • the storage unit 11 may be realized by a main storage device or may be realized by another storage device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

本発明の信号処理装置（１）は、標本（Ｓ）内の測定位置において発生した超音波（Ｕ）の強度の時間変化を表す検出超音波波形のデータを処理する信号処理装置であって、所定の基準超音波波形と測定位置における検出超音波波形とを比較して所定の基準超音波波形と検出超音波波形との間の類似度を算出する比較部（１２）と、類似度に基づいて測定位置が所定の観察対象であるか否かを区別する区別部（１３）とを備える。

Description

信号処理装置、光音響波撮影装置および信号処理方法
　本発明は、信号処理装置、光音響波撮影装置および信号処理方法に関するものである。
　従来、光音響波を検出信号としてイメージングに適用した光音響波顕微鏡が知られている（例えば、特許文献１参照。）。光音響波とは、物質に吸収波長域の光を照射した際に熱弾性過程により発生する超音波の一種である。光音響波顕微鏡は、吸収特性をイメージングする手段として注目されている。
　特許文献１では、光音響波顕微鏡による血管のイメージングが提案されている。具体的には、光音響波顕微鏡は、ヘモグロビンの吸収波長域のパルス光を標本上に集光させ、パルス光のスポットを標本内で走査し、各位置で発生する光音響波をトランスデューサ等によって検出し、光音響波の強度（振幅）に基づいて画像を生成する。
特表２０１１－５１９２８１号公報
　標本には、ヘモグロビン以外にも、パルス光の照射によって光音響波を発生する物質が存在し得、光音響波を発生している物質を、光音響波の強度に基づいて区別することは困難である。したがって、イメージングする領域内に血管以外のもの、特に血管と類似の形状を有するものが含まれている場合に、画像内の血管とその他のものとを区別することが難しいという問題がある。
　本発明は、上述した事情に鑑みてなされたものであって、所定の観察対象であるか否かを区別することができる信号処理装置、光音響波撮影装置および信号処理方法を提供することを目的とする。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の第１の態様は、標本内の測定位置において発生した超音波の強度の時間変化を表す検出超音波波形のデータを処理する信号処理装置であって、所定の基準超音波波形と前記測定位置における前記検出超音波波形とを比較して前記所定の基準超音波波形と前記検出超音波波形との間の類似度を算出する比較部と、該比較部によって算出された類似度に基づいて、前記測定位置が所定の観察対象であるか否かを区別する区別部とを備える信号処理装置である。
　本発明の第１の態様によれば、標本内の測定位置において測定された検出超音波波形と所定の基準超音波波形との類似度が、算出される。検出超音波波形は、測定位置に存在する物質に応じて決まる。すなわち、測定位置における物質が、基準超音波波形が測定された位置における物質と同一である場合には、比較部によって算出される類似度が大きくなる。一方、測定位置における物質が、基準超音波波形が測定された位置における物質と異なる場合には、比較部によって算出される類似度が小さくなる。したがって、観察対象から測定された基準超音波波形を用いることで、測定位置が所定の観察対象であるか否かを、区別部によって区別することができる。
　上記第１の態様においては、前記標本が、複数の異なる観察対象を含み、前記区別部が、前記複数の異なる観察対象を区別してもよい。
　基準超音波波形と各観察対象の検出超音波波形との類似度は、一定の範囲内の値となり、観察対象に応じてその範囲は異なる。したがって、類似度の差異に基づいて、複数の観察対象を互いに区別することができる。
　上記第１の態様においては、前記所定の基準超音波波形が、複数の前記測定位置の中から選択された基準位置における検出超音波波形、または、前記データの取得前に予め測定された超音波波形であってもよい。
　上記第１の態様においては、前記比較部が、前記基準超音波波形および前記検出超音波波形を時間軸方向に相対的に移動させながら前記基準超音波波形と前記検出超音波波形との間の相関係数を算出し、算出された相関係数の最大値を前記類似度として算出してもよい。
　このようにすることで、波形の全体的な形状に基づいて類似度を算出することができる。
　上記第１の態様においては、前記比較部は、前記相関係数が最大となるときの前記基準超音波波形と前記検出超音波波形との間の時間差を算出し、前記比較部によって算出された時間差と前記超音波の速度とに基づいて、前記測定位置の深さを算出する深さ算出部を備えていてもよい。
　このようにすることで、測定位置の深さの情報を取得することができる。
　上記第１の態様においては、前記検出超音波波形の強度に基づく超音波画像を作成する画像作成部を備え、該画像作成部が、前記深さ算出部によって算出された深さに基づいて前記超音波画像のコントラストを補正してもよい。
　各検出超音波波形の強度（振幅）は、その測定位置の深さに応じて変化する。比較部によって算出された深さを用いることにより、コントラストが測定位置における超音波の強度を適切に反映するように、超音波画像のコントラストを補正することができる。
　上記第１の態様においては、前記比較部が、前記基準超音波波形に含まれる周波数成分を算出するとともに前記検出超音波波形に含まれる周波数成分を算出し、算出された前記基準超音波波形の周波数成分と前記検出超音波波形の周波数成分とを比較して前記類似度を算出してもよい。
　このようにすることで、基準超音波波形と検出超音波波形との間の相関係数を求める場合に比べて、類似度の算出に必要な計算量を低減することができる。また、類似度の算出基準として様々な基準を定義することができる。
　本発明の第２の態様は、標本に励起光を照射する光源と、前記励起光の照射によって前記標本内の測定位置において発生した超音波を検出して前記検出超音波波形を取得する光音響波検出部と、該光音響波検出部によって取得された前記検出超音波波形のデータを処理する上記いずれかに記載の信号処理装置とを備える光音響波撮影装置である。
　本発明の第３の態様は、標本内の測定位置において励起光の照射により発生した超音波の強度の時間変化を表す検出超音波波形のデータを処理する信号処理方法であって、所定の基準超音波波形と前記測定位置における前記検出超音波波形とを比較して前記所定の基準超音波波形と前記検出超音波波形との間の類似度を算出し、算出された類似度に基づいて、前記測定位置が所定の観察対象であるか否かを区別する信号処理方法である。
　本発明によれば、標本内の所定の観察対象であるか否かを区別することができるという効果を奏する。
本発明の第１の実施形態に係る信号処理装置および光音響波撮影装置の全体構成図である。 標本の一例を示す図である。 図２Ａの標本から作成された類似度マップの一例を示す図である。 図２Ａの基準位置ＳＰにおける基準超音波波形の一例を示す図である。 図２Ａの測定位置ＣＰ１における検出超音波波形の一例を示す図である。 図２Ａの測定位置ＣＰ２における検出超音波波形の一例を示す図である。 相関係数の算出において、図２Ａの基準超音波波形から抽出される波形ＷＦＳＰを説明する図である。 相関係数の算出において、図２Ｂの検出超音波波形から抽出される波形ＷＦＣＰ１を説明する図である。 図１の信号処理装置および光音響波撮影装置の変形例の全体構成図である。 励起光の強度と焦点位置からの距離との対応関係を示すグラフである。 本発明の第２の実施形態に係る信号処理装置および光音響波撮影装置において、比較部によって基準超音波波形から算出される周波数スペクトルの一例を示す図である。 本発明の第２の実施形態に係る信号処理装置および光音響波撮影装置において、比較部によって検出超音波波形から算出される周波数スペクトルの一例を示す図である。 本発明の第２の実施形態に係る信号処理装置および光音響波撮影装置において、比較部によって他の検出超音波波形から算出される周波数スペクトルの一例を示す図である。 光音響波検出部の変形例を示す図である。 光音響波検出部の他の変形例を示す図である。
（第１の実施形態）
　本発明の第１の実施形態に係る信号処理装置および光音響波撮影装置について、図１から図６を参照して以下に説明する。
　本実施形態に係る光音響波撮影装置１００は、図１に示されるように、標本Ｓに励起光Ｌを照射し標本Ｓにおいて発生した光音響波（超音波）Ｕを検出する光音響波顕微鏡２と、該光音響波顕微鏡２によって検出された光音響波Ｕのデータを処理して標本Ｓの２次元画像を作成する信号処理装置１とを備えている。符号３は、信号処理装置１に接続され、該信号処理装置１によって作成された画像を表示するディスプレイである。
　光音響波顕微鏡２は、励起光Ｌを射出する光源４と、標本Ｓが載置されるステージ５と、光源４から射出された励起光Ｌをステージ５上の標本Ｓに照射する対物レンズ６と、標本Ｓに照射される励起光Ｌを対物レンズ６の光軸に直交する方向に走査する光走査部７と、対物レンズ６と標本Ｓとの間に配置され標本Ｓからの光音響波Ｕを励起光Ｌの光路から分離する光音響波反射部８と、該光音響波反射部８によって分離された光音響波を検出する光音響波検出部９と、光源４および光走査部７を制御する制御部１０とを備えている。
　光源４は、励起光Ｌとしてパルス光を射出するパルス光源である。励起光Ｌは、標本Ｓ内の所定の観察対象の吸収波長を有する光である。例えば、図２Ａに示されるように、標本Ｓが生体であり、所定の観察対象Ａが血管である場合、ヘモグロビンの吸収波長の光が励起光Ｌとして用いられる。所定の観察対象は、蛍光体や金属ナノ粒子等の外因性物質であってもよい。標本Ｓ内に複数の吸収物質が存在する場合には、所定の観察対象Ａの吸収スペクトルの特徴的なピーク波長の励起光Ｌを用いることが好ましい。
　対物レンズ６は、光源４から光走査部７を介して入射した励起光Ｌを焦点に集光して該焦点にスポットを形成する。対物レンズ６は、標本Ｓ内に励起光Ｌのスポットが位置するような焦点距離を有するものが使用される。
　光走査部７は、例えば２個のガルバノミラーを有し、標本Ｓ内の励起光Ｌのスポットが２次元的に走査されるように、励起光Ｌを対物レンズ６の光軸に直交する２軸方向に走査する。
　なお、光走査部７の構成はこれに限定されるものではなく、励起光Ｌのスポットと標本Ｓとの相対位置を対物レンズ６の光軸に直交する方向に変化させることができる他の構成であってもよい。例えば、標本Ｓまたはステージ５を対物レンズ６の光軸に直交する方向に移動させる光走査部を採用してもよい。
　光音響波反射部８は、励起光Ｌの光路上にそれぞれ配置され光音響波反射部材８ｃを介して互いに結合された２個のプリズム８ａ，８ｂを備えている。光音響波反射部材８ｃは、励起光Ｌに対しては透明であり、かつ、標本Ｓ側のプリズム８ｂに対しては音響インピーダンスが異なる部材、例えばシリコーンオイルまたは空気からなる。標本Ｓ内の励起光Ｌのスポットにおいて発生した光音響波Ｕは、プリズム８ｂに入射し、プリズム８ｂと光音響波反射部材８ｃとの境界面で励起光Ｌの光路とは異なる方向に反射され、光音響波検出部９に入射するようになっている。
　標本Ｓとプリズム８ｂとの間、および、プリズム８ｂと光音響波検出部９との間には、光音響波Ｕが伝播し易い水やガラス等の光音響波伝達媒質が充填されていることが好ましい。プリズム８ｂの標本Ｓ側に、図示しない光音響波レンズが配置されていてもよい。
　光音響波検出部９は、例えばトランスデューサを備えており、標本Ｓから発せられた光音響波を検出する。図３Ａ、図３Ｂおよび図３Ｃは、図２Ａの位置ＳＰ，ＣＰ１，ＣＰ２における光音響波Ｕの強度（振幅）の時間波形の一例をそれぞれ示している。図３Ａから図３Ｃに示されるように、パルス状の励起光Ｌによって励起された光音響波Ｕの強度は時間変化する。光音響波検出部９は、時間変化に対する光音響波Ｕの強度変化の波形である検出超音波波形を測定し、測定された検出超音波波形を信号処理装置１に出力する。
　制御部１０は、光源４の発光タイミングを制御するとともに光源４の発光タイミングに同期して光走査部７を制御することで、励起光Ｌの照射位置を画像の所定の撮影範囲内で２次的に移動させる。これにより、画像の各画素にそれぞれ対応する多数の測定位置における検出超音波波形が光音響波検出部９によって順番に測定されるようになっている。
　信号処理装置１は、光音響波検出部９から受信した検出超音波波形のデータを記憶する記憶部１１と、該記憶部１１に記憶された検出超音波波形と所定の基準超音波波形との類似度を算出する比較部１２と、類似度に基づいて各測定位置が所定の観察対象Ａであるか否かを区別する区別部１３と、該区別部１３による区別結果に基づいて標本Ｓの画像を作成する画像作成部１４とを備えている。
　記憶部１１は、各検出超音波波形をその測定位置（対物レンズ６の光軸に直交する平面内での２次元座標）と対応付けて記憶する。
　また、記憶部１１は、所定の基準超音波波形を記憶する。所定の基準超音波波形とは、所定の観察対象に励起光Ｌを照射して光音響波検出部９によって測定された超音波波形である。このような所定の基準超音波波形として、全測定位置の中から選択された、所定の観察対象Ａにおける基準位置ＳＰの検出超音波波形を用いる。基準位置ＳＰは、観察者によってマウス等のポインティングデバイスを用いて指定される。あるいは、基準位置ＳＰは、高強度の検出超音波波形が検出された測定位置に自動的に設定されてもよい。
　比較部１２は、基準超音波波形と検出超音波波形とを記憶部１１から読み出し、基準超音波波形を含む全ての検出超音波波形の各々について、検出超音波波形と基準超音波波形との間の相関係数を類似度として算出する。なお、測定範囲の中から基準位置ＳＰを選択しているので、基準超音波波形と各検出超音波波形との間の取得時間差はほとんどない。したがって、標本Ｓの経時変化や固体差があったとしても、その影響を受けない相関係数演算を行うことができ、その結果、より信頼性の高い類似度を得ることができる。
　このときに、比較部１２は、検出超音波波形と基準超音波波形とを時間軸方向に相対的にずらしながら相関係数の算出を繰り返すことで、複数の相関係数を算出し、複数の相関係数の内、最大の相関係数を類似度に決定する。
　相関係数の算出方法について、図３Ａの基準超音波波形と図３Ｂの検出超音波波形とを例にとって説明すると、まず、基準超音波波形の中から、図４Ａに示されるように、相関係数の算出に用いられる一部の波形ＷＦＳＰが抽出される。波形ＷＦＳＰを抽出する期間（図４Ａにおいて破線で囲まれた期間）は、光音響波Ｕの強度の絶対値が閾値を超える期間に設定される。
　次に、検出超音波波形の内、相関係数の算出対象とする探索範囲が設定される。
　次に、図４Ｂに示されるように、探索範囲内に、相関係数の算出に用いる波形を抽出する対象期間（図４Ｂにおいて破線で囲まれた期間）が設定される。対象期間の長さは、波形ＷＦＳＰを抽出する期間の長さと等しいことが好ましい。このときに、最初の相関係数の算出時には、探索範囲の始期と対象期間の始期とが一致する時間位置に対象期間が設定される。時間位置とは、時間座標軸における座標であって、特定の時期を示す。次に、検出超音波波形の中から対象期間の波形ＷＦＣＰ１が抽出される。次に、波形ＷＦＳＰと波形ＷＦＣＰ１との間の相関係数が算出される。算出された相関係数は、図示しないワーキングメモリに保存される。
　次に、対象期間の時間位置が単位時間Δｔだけ後方にずらされ、ずらされた対象期間の波形ＷＦＣＰ１が抽出される。次に、波形ＷＦＳＰと波形ＷＦＣＰ１との間の相関係数が算出される。算出された相関係数は、図示しないワーキングメモリに保存される。
　以後、対象期間の終期が探索範囲の終期に達するまで、対象期間の時間位置を単位時間Δｔずつ後方にずらしながら、対象期間の波形ＷＦＣＰ１の抽出と、抽出された波形ＷＦＣＰ１と波形ＷＦＳＰとの間の相関係数の算出と、相関係数の保存とが繰り返される。
　比較部１２は、ワーキングメモリに記憶された相関係数の内、最大の相関係数を類似度に決定する。
　励起光Ｌのスポットは、対物レンズ６の焦点を中心とする広がりを深さ方向（対物レンズ６の光軸方向）に有し、スポット内で光音響波Ｕを発生する吸収物質の深さ、すなわち測定位置の深さには、ばらつきが生じる。したがって、検出超音波波形は、基準位置ＳＰに対する測定位置ＣＰ１，ＣＰ２の相対的な深さに応じて、基準超音波波形に対して時間軸方向にずれ得る。上記のように複数の時間位置で算出された相関係数の最大値は、時間のずれのない状態での基準超音波波形と検出超音波波形との相関係数である。このような最大の相関係数を類似度に決定することで、基準超音波波形と検出超音波波形との相関を正確に表す類似度を得ることができる。
　区別部１３は、比較部１２によって算出された類似度が複数のクラスのいずれに属するかを判定する。具体的には、各クラスの範囲を規定する複数の閾値が設定されている。区別部１３は、類似度を複数の閾値と比較することで各類似度がいずれのクラスに属するかを判定する。各類似度のクラスは、その検出超音波波形および測定位置と対応付けて記憶部１１に記憶される。これにより、記憶部１１には、検出超音波波形と測定位置とクラスとが互いに対応付けられたデータが生成される。
　検出超音波波形の形状は、該検出超音波波形の測定位置ＣＰ１，ＣＰ２に存在する物質に依存する。すなわち、基準位置ＳＰにおける物質と同一の物質が存在する測定位置では、基準超音波波形の形状と同一または類似の形状を有する検出超音波波形が取得され、大きな類似度が得られる。一方、基準位置ＳＰにおける物質と同一の物質が存在しない測定位置では、基準超音波波形の形状とは異なる形状を有する検出超音波波形が取得され、小さな類似度が得られる。したがって、各測定位置ＣＰ１，ＣＰ２が、所定の観察対象Ａであるか否かを、類似度のクラスに基づいて区別することができる。
　さらに、図２Ａに示されるように、標本Ｓ内に複数の異なる観察対象Ａ，Ｂ，Ｃが含まれる場合には、類似度や類似度のクラスに基づいて複数の異なる観察対象Ａ，Ｂ，Ｃを区別することもできる。
　例えば、撮影前提条件として、光音響波を発生する観察対象が血管、蛍光体、金属ナノ粒子の３種類を含むことが既知であるとする。また、基準超音波波形を発生する観察対象が血管であり、血管と蛍光体との超音波波形間の相関係数が０．６～０．８、血管と金属ナノ粒子との超音波波形間の相関係数が０．４～０．６であることが既知であるとする。この場合、図２Ｂのような撮影結果において、相関係数０．８～１．０の部分（図２Ｂの観察対象Ａ）が血管、相関係数０．６～０．８の部分（図２Ｂの観察対象Ｂ）が蛍光体、相関係数０．４～０．６の部分（図２Ｂの観察対象Ｃ）が金属ナノ粒子、と区別することができる。
　画像作成部１４は、クラスと色との対応関係を記憶している。色は、クラス間で互いに異なるように設定されている。画像作成部１４は、記憶部１１から測定位置とクラスとを読み出し、各測定位置に対応する画素に、対応するクラスに応じた色を与える。これにより、図２Ｂに示されるように、検出超音波波形と基準超音波波形との間の類似度のクラス別に色分けされた類似度マップが画像として生成される。図２Ｂにおいて、類似度は、４個の閾値（０．２，０．４，０．６，０．８）に基づいて５個のクラスに分類されている。ハッチングの向きおよびピッチの違いは、色の違いを表している。作成された類似度マップは、信号処理装置１からディスプレイ３に出力され該ディスプレイ３に表示される。
　次に、このように構成された光音響波撮影装置１００の作用について説明する。
　光源４から射出されたパルス状の励起光Ｌは、光走査部７を介して対物レンズ６に入射し、該対物レンズ６から、プリズム８ａ、光音響波反射部材８ｃおよびプリズム８ｂを介して標本Ｓに照射され、標本Ｓ内の焦点にスポットを形成する。スポットでは、励起光Ｌの波長において吸収を示す物質が励起されて光音響波Ｕが発生する。
　発生した光音響波Ｕの内、励起光Ｌの光路を戻る光音響波Ｕは、プリズム８ｂに入射し、光音響波反射部材８ｃによって反射され、光音響波検出部９によって検出される。これにより、１つの測定位置での検出超音波波形が取得される。取得された検出超音波波形は、光音響波検出部９から信号処理装置１内の記憶部１１に送信され、該記憶部１１に測定位置と対応付けて記憶される。
　次に、制御部１０が光走査部７および光源４を制御して次の測定位置に励起光Ｌのスポットを照射することで、次の測定位置における検出超音波波形が光音響波検出部９によって取得され、検出超音波波形が記憶部１１に記憶される。
　以後、同様にして、励起光Ｌのスポットの移動と検出超音波波形の取得とが繰り返され、画像の全て画素に対応する、所定の撮影範囲内の全ての測定位置における検出超音波波形が取得されて記憶部１１に記憶される。
　信号処理装置１では、以下の信号処理方法が実施される。
　まず、記憶部１１に記憶された各検出超音波波形について、基準超音波波形との相関係数の計算が比較部１２において実行され、最大の相関係数が類似度として算出される。次に、区別部１３において、各類似度が複数のクラスのいずれかに分類されることで、各測定位置が所定の観察対象Ａであるか否かが類似度のクラスによって区別される。標本Ｓ内に複数の観察対象が含まれる場合には、類似度のクラスに基づいて複数の異なる観察対象が区別される。各測定位置のクラスは、記憶部１１に記憶される。
　次に、画像作成部１４において、記憶部１１に記憶された測定位置および類似度のクラスに基づいて、類似度のクラスによって色分けされた標本Ｓの類似度マップが作成される。類似度マップにおいて、基準位置ＳＰと同一の物質が存在する位置は、基準位置ＳＰと同一の色で表示され、それ以外の位置は、基準位置ＳＰとは異なる色で表示される。ここで、基準位置ＳＰは、所定の観察対象Ａ内の位置であるので、所定の観察対象Ａであるか否かが色によって区別される。例えば、所定の観察対象Ａが血管である場合には、血管の領域は全て同一色で表示され、血管以外の領域は他の色で表示される。
　所定の観察対象Ａ以外に励起光Ｌによって光音響波Ｕを発生する吸収物質が存在する場合には、光音響波Ｕは観察対象Ａ以外でも発生するが、光音響波Ｕを発生している吸収物質を光音響波Ｕの強度に基づいて区別することは難しく、そのため、画像の輝度値に基づいて所定の観察対象Ａであるか否かを区別することが難しい。
　本実施形態によれば、標本Ｓ内の各測定位置における検出超音波波形の基準超音波波形との類似度に基づいて、光音響波Ｕを発生している吸収物質が所定の観察対象Ａにおける吸収物質と同一であるか否かを正確に判定することができ、各測定位置が所定の観察対象Ａであるか否かを正確に区別することができるという利点がある。また、類似度をマッピングすることで、所定の観察対象Ａであるか否かが色で正確に区別された画像を観察者に提供することができるという利点がある。また、標本Ｓ内に複数の観察対象Ａ，Ｂ，Ｃが含まれる場合は、標本Ｓ内の各測定位置における検出超音波波形の基準超音波波形との類似度に基づいて複数の観察対象Ａ、Ｂ，Ｃを正確に区別することができるという利点もある。
　本実施形態においては、画像作成部１４が、類似度マップに加えて、検出超音波波形の強度（振幅）に基づく値を各画素の輝度値とする光音響波画像（超音波画像）を作成してもよい。
　この場合、画像作成部１４は、類似度マップにおいて類似度の低いクラスの画素を光音響波画像から除去することで、光音響波画像内のノイズを除去してもよい。このように類似度の低い画素を除去することで観察対象以外が選択的に除去されるので、観察対象のみが抽出された光音響波画像を得ることができる。
　本実施形態においては、図５に示されるように、各測定位置の深さを算出する深さ算出部１５をさらに備えていてもよい。
　上述したように、検出超音波波形は、測定位置ＣＰ１の深さに応じて時間軸方向にずれ、基準位置ＳＰに対する測定位置ＣＰ１の相対的な深さは、最大の相関係数が得られる波形ＷＦＣＰ１と基準超音波波形の波形ＷＦＳＰとの間の時間差に基づいて算出することができる。具体的には、深さ算出部１５は、基準超音波波形の中から波形ＷＦＳＰが抽出される期間の時間位置と、最大の相関係数が得られる波形ＷＦＣＰ１の対象期間の時間位置との差分を算出し、算出された差分に光音響波Ｕの速度を乗じることで、基準位置ＳＰに対する測定位置ＣＰ１の相対的な深さを算出する。
　図５の深さ算出部１５を備える構成においては、画像作成部１４が、深さ算出部１５によって算出された各測定位置の深さに基づいて、光音響波画像のコントラストを補正してもよい。
　光音響波Ｕの強度（振幅）は、吸収物質に照射される励起光Ｌの強度に応じて変化する。したがって、光音響波Ｕの強度は、励起光Ｌの強度が最大となる対物レンズ６の焦点位置において最大となり、焦点位置からの距離が大きい程、低下する。具体的には、励起光Ｌの強度と焦点位置からの距離との間には、図６に示されるような対応関係が存在する。
　画像作成部１４は、図６に示される対応関係を記憶しており、各測定位置の深さＤに対応する励起光Ｌの強度Ｉを対応関係から算出し、焦点位置における励起光Ｌの強度を強度Ｉで除した補正係数を算出する。次に、画像作成部１４は、各画素の輝度値に補正係数を乗じることにより、輝度値を補正し、補正された輝度値を用いて光音響波画像を生成する。これにより、測定位置の深さのばらつきに基づく輝度値のばらつきを補正し、同一強度の励起光Ｌが吸収物質に照射された場合の光音響波Ｕの強度の差異に基づくコントラストとなるように、光音響波画像のコントラストを補正することができる。
（第２の実施形態）
　次に、本発明の第２の実施形態に係る信号処理装置および光音響波撮影装置について、図７Ａから図７Ｃを参照して説明する。
　本実施形態においては、第１の実施形態と異なる構成について説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
　本実施形態に係る光音響波撮影装置は、第１の実施形態の光音響波撮影装置１００と同様に、信号処理装置１と、光音響波顕微鏡２とを備えている。ただし、比較部１２による類似度の算出方法が、第１の実施形態とは異なっている。
　本実施形態において、比較部１２は、基準超音波波形を周波数変換して該基準超音波波形に含まれる周波数成分を算出する。また、比較部１２は、基準超音波波形を含む全ての検出超音波波形をそれぞれ周波数変換して各検出超音波波形に含まれる周波数成分を算出する。図７Ａは、基準位置ＳＰにおける基準超音波波形の周波数スペクトルの一例を示し、図７Ｂおよび図７Ｃは、測定位置ＣＰ１，ＣＰ２における検出超音波波形の周波数スペクトルの一例を示している。
　次に、比較部１２は、基準超音波波形の周波数成分と各検出超音波波形の周波数成分との比較に基づいて、基準超音波波形と検出超音波波形との間の類似度を算出する。
　周波数成分間の比較は、例えば、基準超音波波形の周波数スペクトルの波形と、検出超音波波形の周波数スペクトルの波形との間の相関係数の算出によって行われる。この場合、算出された相関係数が、類似度として用いられる。
　基準超音波波形と検出超音波波形との周波数成分の比較は、全周波数帯域にわたって行われてもよいが、一部の帯域においてのみ行われてもよい。例えば、高周波成分のみ、低周波成分のみ、または、特定の周波数成分のみにおいて、周波数スペクトル同士の比較が行われてもよい。あるいは、ピークの周波数同士を比較してもよく、閾値以上の強度を有する周波数帯域同士を比較してもよい。上記した例の任意の組み合わせを採用してもよい。
　このように、本実施形態によれば、類似度の算出に周波数成分を用いる場合には、基準超音波波形と検出超音波波形との間の類似度の算出基準として、様々な基準を設けることができる。これにより、各測定位置が所定の観察対象Ａであるか否かをさらに正確に区別することができるという利点がある。
　また、周波数成分間の比較に相関計算を用いる場合には、必要な相関計算の回数は１回で足りる。したがって、多数回の相関計算を必要とする第１の実施形態と比べて、計算量および計算時間を低減することができるという利点がある。特に、所定の観察対象Ａの深さ方向の分布が広いときには、第１の実施形態の方法では基準超音波波形と検出超音波波形との間の相関係数の計算回数が多くなるので、本実施形態の類似度の算出方法は計算量および計算時間の点で有利である。
　本実施形態においても、画像作成部１４が、光音響波画像を作成してもよく、類似度マップに基づいて複数の異なる観察対象を区別してもよく、光音響波画像のノイズ除去を実行してもよい。
　上記第１および第２の実施形態においては、基準超音波波形として、画像の撮影範囲内の任意の基準位置ＳＰにおいて測定された超音波波形を用いることとしたが、これに代えて、画像の撮影前に予め測定された超音波波形を用いてもよい。
　例えば、励起光Ｌの照射によって血管から発生する超音波波形を撮影前に予め取得し、取得された超音波波形を基準超音波波形として記憶部１１に記憶しておく。これにより、観察者による基準位置ＳＰの指定や、多数の測定位置から基準位置ＳＰを自動選択する処理が不要となる。
　本実施形態においては、２次元平面内の多数の測定位置からの光音響波Ｕを検出するために、対物レンズ６によって集光された励起光Ｌを２次元的に走査することとしたが、これに代えて、図８に示されるように、光音響波検出部９１を標本Ｓに対して移動させてもよい。光音響波検出部９１は、複数のトランスデューサが１次元的に配列されたトランスデューサアレイを備え、トランスデューサの配列に交差する方向に走査される。励起光Ｌも、光音響波検出部９１の移動と共に走査される。励起光Ｌを走査することに代えて、撮影範囲全体に励起光Ｌを照射してもよい。
　あるいは、図９に示されるように、複数のトランスデューサが２次元的に配列されたトランスデューサアレイを備える光音響波検出部９２を採用してもよい。この場合には、撮影範囲全体に励起光Ｌが照射される。
　上記第１および第２の実施形態においては、標本Ｓが生体であり、所定の観察対象Ａが血管である場合について説明したが、標本Ｓおよび所定の観察対象Ａはこれに限定されるものではなく、任意の標本内の任意の観察対象を観察してもよく、また、複数の異なる観察対象を含む標本Ｓを観察してもよい。
　上記第１および第２の実施形態においては、励起光Ｌの照射によって発生した光音響波Ｕを検出することとしたが、標本Ｓにおいて超音波を発生させる照射エネルギは光に限定されるものではなく、他の種類の照射エネルギを用いてもよい。例えば、超音波を標本Ｓに照射し、標本Ｓからの超音波の反射波を検出し、検出された反射波の時間波形を信号処理装置１によって処理してもよい。
　上述した信号処理装置１は、ＣＰＵ（中央演算処理装置）と、比較部１２、区別部１３、画像作成部１４および深さ算出部１５の処理をＣＰＵに実行させるためのプログラムを格納するＨＤＤのような補助記憶装置と、ＣＰＵが補助記憶装置からプログラムをロードして処理を実行するためのＲＡＭまたはＲＯＭのような主記憶装置とを備えるコンピュータによって実現される。記憶部１１は、主記憶装置によって実現されてもよく、他の記憶装置によって実現されてもよい。
１　信号処理装置
２　光音響波顕微鏡
３　ディスプレイ
４　光源
５　ステージ
６　対物レンズ
７　光走査部
８　光音響波反射部
９　光音響波検出部
１０　制御部
１１　記憶部
１２　比較部
１３　区別部
１４　画像作成部
１５　深さ算出部
１００　光音響波撮影装置
Ｌ　励起光
Ｕ　光音響波（超音波）

Claims (10)

  1. 　標本内の測定位置において発生した超音波の強度の時間変化を表す検出超音波波形のデータを処理する信号処理装置であって、
    　所定の基準超音波波形と前記測定位置における前記検出超音波波形とを比較して前記所定の基準超音波波形と前記検出超音波波形との間の類似度を算出する比較部と、
    　該比較部によって算出された類似度に基づいて、前記測定位置が所定の観察対象であるか否かを区別する区別部とを備える信号処理装置。
  2. 　前記標本が、複数の異なる観察対象を含み、
    　前記区別部が、前記複数の異なる観察対象を区別する請求項１に記載の信号処理装置。
  3. 　前記所定の基準超音波波形が、複数の前記測定位置の中から選択された基準位置における検出超音波波形である請求項１または請求項２に記載の信号処理装置。
  4. 　前記所定の基準超音波波形が、前記データの取得前に予め測定された超音波波形である請求項１または請求項２に記載の信号処理装置。
  5. 　前記比較部が、前記基準超音波波形および前記検出超音波波形を時間軸方向に相対的に移動させながら前記基準超音波波形と前記検出超音波波形との間の相関係数を算出し、算出された相関係数の最大値を前記類似度として算出する請求項１から請求項４のいずれかに記載の信号処理装置。
  6. 　前記比較部は、前記相関係数が最大となるときの前記基準超音波波形と前記検出超音波波形との間の時間差を算出し、
    　前記比較部によって算出された時間差と前記超音波の速度とに基づいて、前記測定位置の深さを算出する深さ算出部を備える請求項５に記載の信号処理装置。
  7. 　前記検出超音波波形の強度に基づく超音波画像を作成する画像作成部を備え、
    　該画像作成部が、前記深さ算出部によって算出された深さに基づいて前記超音波画像のコントラストを補正する請求項６に記載の信号処理装置。
  8. 　前記比較部が、前記基準超音波波形に含まれる周波数成分を算出するとともに前記検出超音波波形に含まれる周波数成分を算出し、算出された前記基準超音波波形の周波数成分と前記検出超音波波形の周波数成分とを比較して前記類似度を算出する請求項１から請求項４のいずれかに記載の信号処理装置。
  9. 　標本に励起光を照射する光源と、
    　前記励起光の照射によって前記標本内の測定位置において発生した超音波を検出して前記検出超音波波形を取得する光音響波検出部と、
    　該光音響波検出部によって取得された前記検出超音波波形のデータを処理する請求項１から請求項８のいずれかに記載の信号処理装置とを備える光音響波撮影装置。
  10. 　標本内の測定位置において発生した超音波の強度の時間変化を表す検出超音波波形のデータを処理する信号処理方法であって、
    　所定の基準超音波波形と前記測定位置における前記検出超音波波形とを比較して前記所定の基準超音波波形と前記検出超音波波形との間の類似度を算出し、
    　算出された類似度に基づいて、前記測定位置が所定の観察対象であるか否かを区別する信号処理方法。
PCT/JP2017/002151 2017-01-23 2017-01-23 信号処理装置、光音響波撮影装置および信号処理方法 WO2018135005A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/002151 WO2018135005A1 (ja) 2017-01-23 2017-01-23 信号処理装置、光音響波撮影装置および信号処理方法
US16/517,627 US11209532B2 (en) 2017-01-23 2019-07-21 Signal processing device, photoacoustic wave image-acquisition device, and signal processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/002151 WO2018135005A1 (ja) 2017-01-23 2017-01-23 信号処理装置、光音響波撮影装置および信号処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/517,627 Continuation US11209532B2 (en) 2017-01-23 2019-07-21 Signal processing device, photoacoustic wave image-acquisition device, and signal processing method

Publications (1)

Publication Number Publication Date
WO2018135005A1 true WO2018135005A1 (ja) 2018-07-26

Family

ID=62907921

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/002151 WO2018135005A1 (ja) 2017-01-23 2017-01-23 信号処理装置、光音響波撮影装置および信号処理方法

Country Status (2)

Country Link
US (1) US11209532B2 (ja)
WO (1) WO2018135005A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11209532B2 (en) * 2017-01-23 2021-12-28 Olympus Corporation Signal processing device, photoacoustic wave image-acquisition device, and signal processing method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297943B (zh) * 2021-05-18 2022-12-02 北京远舢智能科技有限公司 基于混合现实的设备辅助控制技术
CN116499975B (zh) * 2023-06-29 2023-09-22 之江实验室 一种用于光学表面波传感器的棱镜装置及其设计安装方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012075464A (ja) * 2010-09-30 2012-04-19 Fujifilm Corp 光音響画像診断装置、画像生成方法、及びプログラム
JP2015123098A (ja) * 2013-12-25 2015-07-06 オリンパス株式会社 光音響顕微鏡
JP5850633B2 (ja) * 2011-04-12 2016-02-03 キヤノン株式会社 被検体情報取得装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8454512B2 (en) 2007-10-25 2013-06-04 Washington University Confocal photoacoustic microscopy with optical lateral resolution
US20140142404A1 (en) 2008-10-23 2014-05-22 The Washington University Single-cell label-free photoacoustic flowoxigraphy in vivo
JP2010030281A (ja) * 2008-06-27 2010-02-12 Canon Inc 搬送装置及び記録装置
US9528966B2 (en) 2008-10-23 2016-12-27 Washington University Reflection-mode photoacoustic tomography using a flexibly-supported cantilever beam
WO2018135005A1 (ja) * 2017-01-23 2018-07-26 オリンパス株式会社 信号処理装置、光音響波撮影装置および信号処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012075464A (ja) * 2010-09-30 2012-04-19 Fujifilm Corp 光音響画像診断装置、画像生成方法、及びプログラム
JP5850633B2 (ja) * 2011-04-12 2016-02-03 キヤノン株式会社 被検体情報取得装置
JP2015123098A (ja) * 2013-12-25 2015-07-06 オリンパス株式会社 光音響顕微鏡

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11209532B2 (en) * 2017-01-23 2021-12-28 Olympus Corporation Signal processing device, photoacoustic wave image-acquisition device, and signal processing method

Also Published As

Publication number Publication date
US11209532B2 (en) 2021-12-28
US20190339372A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
US9974440B2 (en) Photoacoustic image generation device and method
JP6086718B2 (ja) 光音響顕微鏡
US11209532B2 (en) Signal processing device, photoacoustic wave image-acquisition device, and signal processing method
JP6411667B2 (ja) 光音響計測装置および光音響計測装置の信号処理方法
EP3287080B1 (en) Photoacoustic wave detecting device, and photoacoustic imaging device
US10309933B2 (en) Photoacoustic microscope
JP5719242B2 (ja) ドプラ画像表示方法および装置
JP6358735B2 (ja) 光音響顕微鏡装置
JP2013188310A (ja) 被検体情報取得装置に用いる信号処理装置および被検体情報取得方法
US9448100B2 (en) Signal processing apparatus
EP2378272B1 (en) Subject information analysis device and subject information analysis method
WO2009157229A1 (ja) 散乱体内部観察装置および散乱体内部観察方法
US20160058295A1 (en) Photoacoustic wave measurement apparatus and photoacoustic wave measurement method
JP6486085B2 (ja) 光音響波測定装置
US20190183347A1 (en) Photoacoustic apparatus and object information acquiring method
JP6598528B2 (ja) 被検体情報取得装置および被検体情報取得方法
US10429353B2 (en) Photoacoustic microscope and photoacoustic signal detection method
US20170332913A1 (en) Object information acquiring apparatus
US20190142277A1 (en) Photoacoustic apparatus and object information acquiring method
JP6086719B2 (ja) 光音響顕微鏡
KR101601171B1 (ko) 광음향 영상 생성 방법 및 장치
US10365252B2 (en) Method and apparatus for sensing a sample
JP2024009690A (ja) 情報処理装置、弾性体の情報取得装置、弾性体の情報取得システム、弾性体の情報取得方法、及び、弾性体の情報取得プログラム
JP2017136457A (ja) 処理装置、処理方法、及びプログラム
JP2010060330A (ja) 散乱体内部観察装置および散乱体内部観察方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17892921

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17892921

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP