WO2017163542A1 - 画像解析装置、画像解析方法 - Google Patents
画像解析装置、画像解析方法 Download PDFInfo
- Publication number
- WO2017163542A1 WO2017163542A1 PCT/JP2017/000570 JP2017000570W WO2017163542A1 WO 2017163542 A1 WO2017163542 A1 WO 2017163542A1 JP 2017000570 W JP2017000570 W JP 2017000570W WO 2017163542 A1 WO2017163542 A1 WO 2017163542A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- imaging
- speckle
- image analysis
- unit
- image
- Prior art date
Links
- 238000010191 image analysis Methods 0.000 title claims abstract description 115
- 238000003703 image analysis method Methods 0.000 title claims description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 33
- 230000001678 irradiating effect Effects 0.000 claims abstract description 5
- 238000003384 imaging method Methods 0.000 claims description 193
- 238000005096 rolling process Methods 0.000 claims description 16
- 239000004065 semiconductor Substances 0.000 claims description 14
- 238000000034 method Methods 0.000 abstract description 72
- 230000010349 pulsation Effects 0.000 abstract description 45
- 239000012530 fluid Substances 0.000 abstract description 31
- 238000005516 engineering process Methods 0.000 description 44
- 230000017531 blood circulation Effects 0.000 description 41
- 239000012472 biological sample Substances 0.000 description 16
- 210000004204 blood vessel Anatomy 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 230000007423 decrease Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 210000004369 blood Anatomy 0.000 description 6
- 239000008280 blood Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000001427 coherent effect Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000000149 argon plasma sintering Methods 0.000 description 4
- 210000000601 blood cell Anatomy 0.000 description 4
- CPBQJMYROZQQJC-UHFFFAOYSA-N helium neon Chemical compound [He].[Ne] CPBQJMYROZQQJC-UHFFFAOYSA-N 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 238000002583 angiography Methods 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- XKRFYHLGVUSROY-UHFFFAOYSA-N argon Substances [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 2
- 229910052786 argon Inorganic materials 0.000 description 2
- 210000002565 arteriole Anatomy 0.000 description 2
- 229910052743 krypton Inorganic materials 0.000 description 2
- DNNSSWSSYDEUBZ-UHFFFAOYSA-N krypton atom Chemical compound [Kr] DNNSSWSSYDEUBZ-UHFFFAOYSA-N 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/4788—Diffraction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/48—Laser speckle optics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/4788—Diffraction
- G01N2021/479—Speckle
Definitions
- This technology relates to an image analysis apparatus. More specifically, the present invention relates to an image analysis apparatus and an image analysis method that use speckles generated by light irradiation on an imaging target.
- speckle is a random interference / diffraction pattern due to scattering in the optical path.
- the magnitude of speckle is represented by an index called speckle contrast, which is a value obtained by dividing the standard deviation of the intensity distribution by the average of the intensity distribution.
- the speckle pattern changes every moment due to changes in the fine shape caused by the flow.
- an imaging device is installed on the image plane and the fluid is imaged with an exposure time sufficiently longer than the change in the speckle pattern, the speckle contrast of the blood flowing part, that is, the blood vessel part is time-averaged. It decreases by.
- Angiography can be performed by utilizing such a change in speckle contrast.
- Patent Document 1 As an image analysis technique using such speckles, a blood flow meter disclosed in Patent Document 1 is known (see Patent Document 1).
- This blood flow meter optically accumulates image information based on an irradiation system that irradiates blood cells of a living tissue with blood light and biological tissue reflected light, and continuously stores the light accumulated image information at predetermined time intervals.
- a solid-state imaging device for reading, and a blood flow meter for sequentially storing image information for a plurality of frames read from the solid-state imaging device and calculating the blood flow state of the blood cells based on the stored image signals
- the laser beam is irradiated intermittently at a time interval shorter than the predetermined time interval.
- Patent Document 2 a blood flow diagnostic apparatus disclosed in Patent Document 2 is known (see Patent Document 2).
- This blood flow diagnostic imaging apparatus includes a laser beam irradiation system that irradiates a laser beam to an observation region of a biological tissue having blood cells, and a light receiving unit that includes a plurality of pixels that detect reflected light from the observation region of the biological tissue.
- a light receiving system an image capturing unit that continuously captures a plurality of images in a predetermined time of one heartbeat or more based on a signal from the light receiving unit; an image storage unit that stores the plurality of images;
- a blood flow velocity image comprising a calculation unit that calculates a blood flow velocity in a living tissue from a temporal change of an output signal of each corresponding pixel of the image, and a display unit that displays a two-dimensional distribution of the calculation result as a blood flow map
- the calculation unit is configured to obtain a surface layer of the observation region of the biological tissue from a plurality of blood flow map data of one heartbeat or more Blood vessels (table) Blood flow in the blood vessel) and blood flow in the surrounding background region (background blood flow), and the display unit has a function of distinguishing and displaying the blood flow map of each region.
- the calculation unit has a function of calculating and comparing information on blood flow such as blood flow
- the main purpose is to provide an image analysis technique that can be performed.
- the present technology includes a light source that irradiates a laser beam whose wavelength is controlled to an imaging target, a modulation unit that modulates the intensity of the laser light emitted from the light source, and the imaging target that is illuminated by the laser light.
- a speckle image imaging unit that captures a speckle image obtained from scattered light, a synchronization unit that synchronizes irradiation by the light source and imaging by a speckle image imaging unit, and speckle imaged by the speckle image imaging unit
- An image analysis apparatus comprising: an analysis unit that analyzes an image.
- the image analysis apparatus may further include an exposure control unit that controls an exposure time of the imaging target.
- the said image analysis apparatus WHEREIN The structure which irradiates the said laser beam within the exposure time of the said imaging target may be sufficient.
- the exposure control unit may be a global shutter system.
- the exposure control unit may be a rolling shutter system.
- the exposure time of the imaging target may be 32.2 ms or less.
- the light source may be a distributed feedback semiconductor laser light source or a grating feedback semiconductor laser light source.
- the present technology also includes a light irradiation step of irradiating an imaging target with a laser beam whose wavelength is controlled, a modulation step of modulating the intensity of the laser light, and the laser light irradiation and speckle image capturing unit.
- a synchronization step of synchronizing the imaging, a speckle image imaging step of imaging a speckle image obtained from the scattered light of the imaging target illuminated with the laser light, and a speckle imaged by the speckle image imaging unit There is also provided an image analysis method including an analysis step of analyzing an image.
- the fluid is analyzed regardless of the movement of the imaging target. Therefore, the accuracy of the state analysis of the imaging target can be improved.
- the effect described here is not necessarily limited, and may be any effect described in the present technology.
- FIG. 7 It is a schematic diagram which shows the 1st modification of the image analysis apparatus of 2nd embodiment shown in FIG.
- It is a schematic diagram which shows the 2nd modification of the image analysis apparatus of 2nd embodiment shown in FIG. 8 is a first example of a timing chart of the image analysis apparatus shown in FIG. 7.
- 13 is a timing chart of the image analysis apparatus shown in FIG.
- Image Analysis Device According to First Embodiment (1) Light Source (2) Modulation Unit (3-1) Exposure Control Unit (3) Speckle Image Imaging Unit (4) Synchronization Unit (4-1) Modified Example of Synchronization Unit ( 5) Analysis unit (6) Storage unit (7) Display unit (8) Imaging target 2. Image analysis device according to second embodiment (1) Modification of image analysis device according to second embodiment 3. Image analysis apparatus according to third embodiment (1) Exposure time changing unit 4. Image analysis method according to first embodiment (1) Modulation process (2) Synchronization process (3) Light irradiation process (4) Speckle image imaging process (5) Analysis process (6) Storage process (7) Display process Image analysis method according to second embodiment (1) Exposure time changing step
- the image analysis apparatus 1 illustrated in FIGS. 1 and 2 includes at least a light source 11, a modulation unit 12, a speckle image imaging unit 13, a synchronization unit 14, and an analysis unit 15.
- the image analysis apparatus 1 can further include a storage unit 16, a display unit 17, and the like as necessary.
- a storage unit 16 a display unit 17, and the like as necessary.
- the light source 11 irradiates the imaging target O with coherent light.
- the coherent light emitted from the light source 11 is that the phase relationship of the light wave at any two points in the light beam is constant in time and constant, and is divided again by giving a large optical path difference after dividing the light beam by any method. Together, this refers to light that exhibits complete coherence.
- Laser light is preferable as the coherent light.
- the light source 11 that emits the laser light include an argon ion (Ar) laser, a helium-neon (He-Ne) laser, a die (dye) laser, a krypton (Cr) laser, and a distributed feedback type (Distributed Feedback: DFB).
- argon ion (Ar) laser a helium-neon (He-Ne) laser
- a die (dye) laser a krypton (Cr) laser
- DFB distributed feedback type
- the modulation frequency of the light intensity output from the light source 11 is not particularly limited, but needs to be suitable for speckle imaging.
- the frequency is 120 Hz or more so that the user can feel a sufficiently smooth moving image.
- the time during which the imaging object O is exposed by the light irradiation of the light source 11 can suppress, for example, pulsation / pulsation of the imaging object shown in the background of the fluid, and the fluid is analyzed. If you can.
- the speckle contrast changes depending on the presence or absence of movement of the imaging target O.
- the speckle contrast increases when the imaging target O is stationary, and the speckle contrast when the imaging target O is moving. Is known to be low. For this reason, as shown in FIG. 6, when the speed of the imaging target O is high and the exposure time value (for example, 66.6 ms) is high, the speckle contrast value is also low.
- the imaging target O is a biological sample such as a heart that pulsates and pulsates and the state of a blood vessel provided on the biological sample is analyzed using speckles
- the blood flow velocity is usually 50 mm for arterioles.
- the pulsation / pulsation is understood to be about 1 to 5 mm / s. Therefore, in the image analysis apparatus according to the present technology, the exposure time of the imaging object O is preferably 32 ms or less, more preferably 16.6 ms or less, and even more preferably 3.33 ms or less (FIG. 6). reference).
- the image analysis device 1 includes the modulation unit 12 that modulates the intensity of the laser light emitted from the light source 11.
- the method of intensity modulation by the modulation unit 12 is not particularly limited.
- a method of changing the magnitude of a current flowing through the light source using a semiconductor laser as the light source 11 is a method of externally modulating the laser light output from the semiconductor laser 11 (external modulation method).
- the image analysis apparatus shown in FIGS. 2 to 4 shows a configuration employing an external modulation system in which the modulation unit 12 is provided separately from the light source 11.
- the modulation unit 12 As a configuration of the modulation unit 12 according to the present technology, a configuration built in the light source 11 or a configuration provided outside the light source 11 can be considered. Examples of the configuration in which the light source 11 includes the modulation unit 12 include the above-described distributed feedback (DFB) and grating feedback type semiconductor lasers.
- the configuration for modulating the laser beam output from the light source 11 includes, for example, MEMS (Micro Electro Mechanical Systems), AOM (Acousto-Optic Modulator), EOM (Electro-Optic Modulator), liquid crystal shutter, mechanical shutter, Examples include choppers.
- speckle Image Imaging Unit 13 speckle images appearing on the surface of the imaging object O based on scattered light obtained from the imaging object O irradiated with the laser light of each light source 11. Imaging is performed.
- the speckle image capturing unit 13 includes an imaging optical system that forms an image of scattered light obtained from the imaging target O, and an imaging system that receives light imaged by the imaging optical system.
- the imaging optical system includes an imaging element such as a CCD sensor or a CMOS sensor, and an imaging lens.
- CMOS sensor a global shutter method and a rolling shutter method are known, and the image analysis apparatus 1 according to the present technology can employ either method.
- the speckle image imaging unit 13 includes an exposure control unit 113 that controls the exposure time of the imaging target O. Specifically, it has a configuration for adjusting the state in which all pixels in the image sensor are exposed when a speckle image is captured. More specifically, a global shutter type CMOS sensor and a rolling shutter type CMOS sensor can be used. In other words, in the present technology, the image sensor included in the speckle image imaging unit 13 corresponds to the exposure control unit 113.
- the imaging method performed by the speckle image imaging unit 13 is not particularly limited as long as the effect of the present technology is not impaired, and one or more known imaging methods can be selected and used in any combination. .
- the imaging method using the said image pick-up element can be mentioned.
- the speckle image capturing unit 13 for example, an image in which a pseudo blood vessel in which pseudo blood flows is mapped based on speckle is generated.
- speckle is a random interference / diffraction pattern. Therefore, when light scattering fluid such as blood moves or changes with time, the speckle also changes with time. For this reason, the boundary between the fluid and the other part can be observed.
- the speckle image capturing unit 13 has a configuration in which, for example, leveling is performed using a plurality of speckle images so as to reduce speckle image unevenness in order to clarify a portion where speckles are generated. It may be.
- the speckle image capturing unit 13 may include a filter that blocks external light so that scattered light from the imaging target O can be positively captured.
- the image analysis device 1 includes the synchronization unit 14.
- the synchronization unit 14 matches the irradiation time of the laser light from the light source 11 with the imaging time in the speckle image imaging unit.
- a signal is output to the light source 11 and the speckle image capturing unit 13.
- the light source 11 and the speckle image capturing unit 13 simultaneously perform laser light irradiation and speckle image capturing based on the input synchronization signal.
- the configuration of the synchronization unit is not limited to the configuration described above, and a known configuration can be employed. Further, in the image analysis apparatus 1 shown in FIGS. 1 and 2, the synchronization signal is output from the synchronization unit 14 to the light source 11 and the speckle image capturing unit 13. A method for acquiring the synchronization signal There is no particular limitation on the above. Other examples of the method will be described below with reference to FIGS.
- FIG. 3 is a schematic diagram showing a first modified example of the image analyzing apparatus according to the first embodiment shown in FIG.
- the synchronization unit 14 acquires a synchronization signal from the speckle image capturing unit 13, and the synchronization unit 14 outputs the synchronization signal to the light source 11. Yes.
- FIG. 4 is a schematic diagram showing a second modification of the image analysis apparatus of the first embodiment shown in FIG.
- the synchronization unit 14 acquires a synchronization signal from the modulation unit 12, and the synchronization unit 14 outputs the synchronization signal to the speckle image imaging unit 13.
- the synchronization unit 14 can match the irradiation time by the light source 11 and the imaging time by the speckle image imaging unit 13, thereby improving analysis accuracy using speckle. Can be increased.
- the image analysis device 1 includes an analysis unit 15 that analyzes the state of the imaging target O based on the speckle image captured by the speckle image imaging unit 13.
- the analysis unit 15 measures, for example, the speckle intensity distribution in the speckle image captured by the speckle image capturing unit 13.
- speckle contrast which is a value obtained by dividing the standard deviation of the intensity distribution by the average of the intensity distribution.
- the image analysis apparatus 1 as necessary, the speckle image captured by the speckle image imaging unit 13, the speckle contrast measured by the analysis unit 15, the analysis unit 15 It is possible to further include a storage unit 16 for storing the analysis result of the above.
- the storage unit 16 is not essential in the image analysis apparatus according to the present technology, and for example, an external storage device can be connected to store a speckle image or the like.
- the image analysis apparatus may further include a display unit 17 that displays a speckle image captured by the speckle image imaging unit 13, an analysis result by the analysis unit 15, and the like.
- the display unit 17 is not essential in the image analysis device according to the present technology, and an external monitor or the like can be used, for example.
- Imaging target O The image analysis apparatus according to the present technology can be used for various types of imaging targets, and can be suitably used for imaging using, for example, those including a fluid. Due to the nature of speckles, speckles are unlikely to be generated from the fluid. Therefore, when the image analysis apparatus 1 according to the present technology is used to image a fluid including a fluid, the boundary between the fluid and the other portion, the flow velocity of the fluid, and the like can be obtained.
- the imaging object O can be a biological sample, and the fluid can be blood.
- the image analysis apparatus 1 according to the present technology is mounted on a surgical microscope, a surgical endoscope, or the like, it is possible to perform a surgery while confirming the position of a blood vessel. Therefore, safer and more accurate surgery can be performed, which can contribute to further development of medical technology.
- the imaging object O is an organ such as a heart that pulsates and pulsates, and blood flowing through a blood vessel provided in the organ is analyzed using speckle
- fluid imaging using speckle is performed by organ imaging. Pulsation and pulsation may also be captured, and as a result, blood flow itself may not be captured.
- the configuration of the synchronization unit 14 can present fluid movement regardless of the pulsation / pulsation of the imaging target O.
- FIG. 5 shows the image analysis apparatus 1 shown in FIG. 1, specifically, an external modulation system in which the modulation unit 12 is provided separately from the light source 11, and the exposure control unit 113 is a global shutter system.
- 2 is a timing chart of the image analysis apparatus 1 which is a CMOS. 5, (a) shows the imaging time of the speckle image imaging unit 13, (b) shows the illumination intensity of the light source 11, (c) shows the intensity modulation time by the modulation unit 12, and (d). Indicates the laser light illumination intensity of the modulation result.
- the exposure start timing and the exposure end timing are the same for all the pixels, and there is a time during which exposure cannot be performed for a fixed time after the exposure ends (“Exposure not possible” time").
- the laser light is always irradiated from the light source 11 (b), and the intensity of the laser light is modulated using the modulation unit 12 (c ).
- the intensity-modulated laser light is irradiated within the time during which the imaging object O can be exposed, and at the same time, the speckle image imaging unit 13 performs imaging. Like to do.
- irradiation by the light source 11 and imaging by the speckle image imaging unit 13 are simultaneously performed by the configuration of the synchronization unit 14. For this reason, for example, even when the exposure time of the imaging target O is set short and the signal amount is reduced, sufficient luminance can be ensured. Furthermore, when the exposure time of the imaging object O is set to 32 ms or less, the pulsation of the biological sample is used even when the imaging object O is a biological sample showing pulsation and pulsation and blood flow is analyzed as a fluid. ⁇ It can capture only blood flow without capturing pulsation.
- the exposure time of the imaging object O is set to about 16.6 ms, although there is a decrease in speckle contrast due to movement (pulsation, vibration), it is not sufficiently decreased, so the contrast is decreased due to blood flow. Can be captured. More preferably, when the exposure time of the imaging object O is set to 3.33 ms or less, a speckle contrast decrease due to movement (pulsation, vibration) hardly occurs. Can be caught. Further, when a global shutter type CMOS is used as the exposure control unit 113, it is easy to ensure the timing when all the pixels are in an exposure state, and a uniform exposure amount can be ensured over the entire screen. it can.
- FIG. 7 is a schematic conceptual diagram schematically showing the concept of the image analysis apparatus of the second embodiment.
- 8 and 8 are schematic conceptual views showing a modification of the image analysis apparatus shown in FIG.
- the image analysis device according to the second embodiment includes a light source 11, a modulation unit 12, a speckle image imaging unit 13 having an exposure control unit 113, and a synchronization unit. 14 and an analysis unit 15.
- the configuration of the modulation unit 12 itself is the same as that of the image analysis devices 1, 101, 102 according to the first embodiment, but the modulation unit 12 is connected to the light source 11. It differs from the image analyzers 1, 101, 102 according to the first embodiment in that it is built-in, that is, the light source 11 is a modulated light source.
- the same components as those of the image analysis apparatuses 1, 101, and 102 according to the first embodiment are denoted by the same reference numerals and description thereof is omitted.
- the light source 11 incorporates the modulation unit 12 and constitutes a so-called modulation light source. Therefore, in the image analysis device 2 according to the second embodiment, the light source 11 emits laser light whose intensity is modulated.
- the synchronization signal acquired by the synchronization unit 14 is output to the modulation unit 12 in the light source 11.
- the method for acquiring the synchronization signal is not limited, and other examples of the method include the methods shown in FIGS.
- FIG. 8 is a schematic diagram showing a first modification of the image analysis device of the second embodiment shown in FIG.
- the image analysis apparatus 201 employs a configuration in which the synchronization unit 14 acquires a synchronization signal from the speckle image capturing unit 13.
- FIG. 9 is a schematic diagram showing a second modification of the image analysis apparatus of the second embodiment shown in FIG.
- the image analysis apparatus 202 according to the second modification employs a configuration in which the synchronization unit 14 acquires a synchronization signal from the modulation unit 12.
- the synchronization unit 14 can match the irradiation time by the light source 11 with the imaging time by the speckle image imaging unit 13, and thus Analysis accuracy using speckle can be improved.
- FIG. 10 is a timing chart of an image analysis apparatus 2 in which the exposure control unit 113 is a global shutter type CMOS in the image analysis apparatus 2 according to the second embodiment. 10, (a) shows the imaging time of the speckle image imaging unit 13, (b) shows the illumination intensity of the light source 1, and (c) shows the laser beam illumination intensity of the modulation result.
- the exposure control unit 113 is a global shutter type CMOS in the image analysis apparatus 2 according to the second embodiment. 10
- (a) shows the imaging time of the speckle image imaging unit 13
- (b) shows the illumination intensity of the light source 1
- (c) shows the laser beam illumination intensity of the modulation result.
- the synchronization unit 14 makes the irradiation time of the laser light from the light source 11 coincide with the imaging time of the speckle image imaging unit 13.
- FIG. 11 is a timing chart of the image analysis apparatus 2 in which the exposure control unit 113 is a rolling shutter type CMOS in the image analysis apparatus 2 according to the second embodiment.
- (a) shows the imaging time of the speckle image imaging unit 13
- (b) shows the illumination intensity of the light source 1
- (c) shows the laser beam illumination intensity of the modulation result.
- the exposure start timing of each pixel is slightly shifted within the frame. For this reason, the time A during which all the pixels are exposed is very short (see FIG. 11).
- the synchronization unit 14 can make the irradiation time by the light source 11 coincide with the imaging time by the speckle image imaging unit 13. Furthermore, the irradiation time by the light source 11 and the imaging time by the speckle image imaging unit 13 can be matched with the time A shown in FIG.
- the image analysis apparatus 2 configured as described above, irradiation by the light source 11 and imaging by the speckle image imaging unit 13 are performed simultaneously by the configuration of the synchronization unit 14. For this reason, for example, even when the exposure time of the imaging target O is set short and the signal amount is reduced, sufficient luminance can be ensured. Furthermore, when the exposure time of the imaging object O is set to 32 ms or less, the imaging object O is a biological sample that exhibits pulsation and pulsation, and the pulsation of the biological sample is used in situations where blood flow is analyzed as fluid. ⁇ It can capture only blood flow without capturing pulsation. Furthermore, by using a rolling shutter type CMOS as the exposure control unit 113, the time during which all pixels are in an exposure state is short. By illuminating within that short time, an image with uniform illumination intensity can be captured, and blood flow information can be captured correctly.
- CMOS rolling shutter type CMOS
- the image analysis apparatus 3 according to the third embodiment includes a light source 11, a modulation unit 12, a speckle image imaging unit 13, a synchronization unit 14, and an analysis unit 15. And comprising. Moreover, it is possible to further include a storage unit 16, a display unit 17, and the like as necessary.
- the image analysis device 3 according to the third embodiment is that the image analysis device 1 according to the first embodiment is provided with an exposure time changing unit 18 and the point that the exposure control unit 113 is a rolling shutter type CMOS. 101 and 102 are different.
- the same components as those of the image analysis apparatuses 1, 101, and 102 according to the first embodiment are denoted by the same reference numerals and description thereof is omitted.
- Exposure time changing unit As described above, when a rolling shutter type CMOS is used as the exposure control unit 113, the exposure start timing of each pixel is slightly shifted within the frame, so that all pixels are exposed. The time A in the state is very short (see FIG. 11). For this reason, the image analysis apparatus 3 according to the third embodiment includes an exposure time changing unit 18 that changes the exposure time of the imaging target O.
- the exposure time of the imaging object O is set to a long time so as to extend over two frames.
- the exposure control unit 113 is a rolling shutter type CMOS
- the time for exposing the imaging target O can be reduced to one frame.
- the change method of the exposure time by the said exposure time change part 18 is not specifically limited, A well-known method is employable.
- the synchronization unit 14 can match the irradiation time by the light source 11 with the imaging time by the speckle image imaging unit 13. It has become. More specifically, the exposure time changing unit 18 is configured to easily match the irradiation time by the light source 11 and the imaging time by the speckle image imaging unit 13 as the exposure time is extended.
- the configuration of the synchronization unit 14 allows the irradiation by the light source 11 and the imaging by the speckle image imaging unit 13 to be performed simultaneously. ing. For this reason, for example, even when the exposure time of the imaging target O is set short and the signal amount is reduced, sufficient luminance can be ensured. Furthermore, when the exposure time of the imaging object O is set to 32 ms or less, the pulsation of the biological sample is used even when the imaging object O is a biological sample showing pulsation and pulsation and blood flow is analyzed as a fluid. ⁇ It can capture only blood flow without capturing pulsation.
- the exposure time of the imaging object O is set to about 16.6 ms, although there is a decrease in speckle contrast due to movement (pulsation, vibration), it is not sufficiently decreased, so a decrease in contrast due to blood flow is captured. be able to. Further, when the exposure time of the imaging object O is set to 3.33 ms or less, speckle contrast decrease due to movement (pulsation, vibration) hardly occurs, so that speckle contrast decrease due to blood flow can be captured more firmly. Can do.
- the present technology also provides an image analysis method.
- the image analysis method according to the first embodiment includes a modulation process, a synchronization process, a light irradiation process, a speckle image imaging process, and an analysis process, and may include a storage process and a display process as necessary. Each step will be described in the actual order.
- the image analysis method includes a synchronization process of synchronizing the irradiation time by the light source and the imaging time of the speckle image. Specifically, a process of inputting a synchronization signal to a light source that emits laser light that is coherent light and an imaging unit that captures a speckle image is performed. Alternatively, a method of performing a process of acquiring a synchronization signal from the speckle image capturing unit and inputting the synchronization signal to the light source may be used. Alternatively, a method of performing a process of acquiring a synchronization signal from the light source and inputting the synchronization signal to the imaging unit may be mentioned.
- the image analysis method includes a modulation step of modulating the intensity of the laser light.
- the processing method performed by this modulation step is not limited.
- a method using a semiconductor laser as a light source to change the magnitude of a current flowing to the light source (direct intensity modulation method) or a semiconductor laser as the light source is used.
- a method of externally modulating the output laser light (external modulation method) and the like can be mentioned. Therefore, in FIG. 14, the modulation step is performed before the light irradiation step and is shown as a direct intensity modulation method, but the modulation step may be performed after the light irradiation step by an external modulation method. .
- the image analysis method includes a step of irradiating the imaging target with laser light from a light source.
- the light source used in this light irradiation process include, for example, an argon ion (Ar) laser, a helium-neon (He-Ne) laser, a die laser, a krypton (Cr) laser, and a distributed feedback type (Distributed Feedback).
- DFB distributed feedback type
- a grating feedback type semiconductor laser can be used, and among these, it is preferable to use a semiconductor laser whose output wavelength is controlled.
- the modulation frequency of the light intensity in the laser light irradiated by the light irradiation process it is necessary to be suitable for speckle imaging, for example, 24 Hz or more is preferable for showing speckle as a moving image, More preferably, the frequency is 120 Hz so that the user can feel a sufficiently smooth moving image.
- the exposure time of the imaging object O in the light irradiation process is not limited as long as, for example, the pulsation / pulsation of the imaging object shown in the background of the fluid can be suppressed and the fluid can be analyzed.
- the imaging target O is a biological sample such as a heart that pulsates and pulsates and the state of a blood vessel provided on the biological sample is analyzed using speckles
- the blood flow velocity is usually 50 mm for arterioles.
- the pulsation / pulsation is understood to be about 1 to 5 mm / s.
- the exposure time of the imaging target O is preferably 32 ms or less, more preferably 16.6 ms or less, and even more preferably 3.33 ms or less.
- the image analysis method includes a speckle image capturing step of capturing a speckle image based on the scattered light obtained by the light irradiation step.
- the imaging method in this speckle image imaging process is not particularly limited, and one or more known imaging methods can be selected and used in any combination.
- an imaging method using an imaging device such as a charge coupled device (CCD), a global shutter type CMOS sensor, or a rolling shutter type CMOS sensor can be given.
- the state in which all pixels in the image sensor are exposed can be adjusted. . That is, when a global shutter type CMOS sensor is used, the exposure start timing and the exposure end timing can be made simultaneously in all pixels. On the other hand, when a rolling shutter type CMOS sensor is used, the exposure start timing of each pixel is slightly shifted within the frame. For this reason, the time during which all the pixels are in the exposure state is shortened.
- the speckle intensity distribution is measured in the speckle image captured by the speckle imaging step.
- speckle contrast which is a value obtained by dividing the standard deviation of the intensity distribution by the average of the intensity distribution.
- the image analysis method according to the first embodiment may include a storage step as necessary.
- this storage step the speckle image captured in the speckle imaging step, the speckle contrast measured in the analysis step, the analysis result in the analysis step, and the like are stored.
- the image analysis method according to the first embodiment may include a display process as necessary.
- the speckle image captured in the speckle imaging step, the analysis result in the analysis step, and the like are displayed on, for example, a monitor.
- the image analysis method since the synchronization step is included, irradiation with a light source and imaging of the speckle image can be performed simultaneously. For this reason, for example, even when the exposure time of the imaging target O is set short and the signal amount is reduced, sufficient luminance can be ensured. Furthermore, when the exposure time of the imaging object O is set to 32 ms or less, the imaging object O is a biological sample that exhibits pulsation and pulsation, and the pulsation of the biological sample is used in situations where blood flow is analyzed as fluid. ⁇ It can capture only blood flow without capturing pulsation. In addition, when a global shutter CMOS is used, it is easy to ensure the timing when all the pixels are in an exposure state, and a uniform exposure amount can be ensured over the entire screen.
- the image analysis method according to the second embodiment includes a modulation process, a synchronization process, a light irradiation process, a speckle image imaging process, and an analysis process.
- a storage step and a display step may be included.
- the image analysis method according to the second embodiment is characterized in that a rolling shutter type CMOS is used as the imaging element in the speckle image imaging process, and an exposure time changing process for changing the exposure time of the imaging object O is included. This is different from the image analysis method according to the embodiment. In the following description, description of steps common to the image analysis method according to the first embodiment is omitted.
- Exposure time changing step In the image analysis method according to the second embodiment, an exposure time changing step of changing the exposure time of the imaging object O is performed after the laser irradiation is performed by the light irradiation step.
- the exposure start timing of each pixel is slightly shifted within the frame, so that the time during which all the pixels are in the exposure state is shortened. Therefore, in the exposure time changing step, for example, a process of setting the exposure time of the imaging target O to a long time so as to extend over two frames is performed. In this way, by increasing the exposure time, the time for exposing the imaging object O can be set to one frame.
- irradiation by the light source and imaging of the speckle image can be performed simultaneously by the synchronization step. For this reason, for example, even when the exposure time of the imaging target O is set short and the signal amount is reduced, sufficient luminance can be ensured. Furthermore, when the exposure time of the imaging object O is set to 32 ms or less, the pulsation of the biological sample is used even when the imaging object O is a biological sample showing pulsation and pulsation and blood flow is analyzed as a fluid. ⁇ It can capture only blood flow without capturing pulsation.
- the exposure time of the imaging object O is set to about 16.6 ms, although there is a decrease in speckle contrast due to movement (pulsation, vibration), it is not sufficiently decreased, so the contrast is decreased due to blood flow. Can be captured. More preferably, when the exposure time of the imaging object O is set to 3.33 ms or less, a speckle contrast decrease due to movement (pulsation, vibration) hardly occurs. Can be caught.
- the image analysis apparatus may also have the following configuration.
- a light source that irradiates a laser beam whose wavelength is controlled with respect to an imaging target;
- a modulator for modulating the intensity of the laser light emitted from the light source;
- a speckle image capturing unit that captures a speckle image obtained from the scattered light of the imaging target illuminated by the laser light;
- a synchronization unit that synchronizes irradiation by the light source and imaging by a speckle image capturing unit;
- An analysis unit for analyzing the speckle image captured by the speckle image capturing unit;
- An image analysis apparatus comprising: (2) The image analysis apparatus according to (1), further comprising an exposure control unit that controls an exposure time of the imaging target.
- the exposure control unit is a global shutter system.
- the light source is a distributed feedback semiconductor laser light source or a grating feedback semiconductor laser light source.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Hematology (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Vascular Medicine (AREA)
- Optics & Photonics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
流体を含み、脈動や拍動などの動きを示す撮像対象をスペックルを利用して解析する場合であっても、当該撮像対象の動きに関係なく、前記流体の解析を行うことができる画像解析技術を提供する。 撮像対象に対して波長が制御されたレーザ光を照射する光源と、前記光源から照射されるレーザ光の強度を変調する変調部と、前記レーザ光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像部と、前記光源による照射とスペックル画像撮像部による撮像とを同期させる同期部と、前記スペックル画像撮像部により撮像されたスペックル画像を解析する解析部と、を備える、画像解析装置。
Description
本技術は、画像解析装置に関する。より詳しくは、撮像対象への光の照射によって発生するスペックルを利用する画像解析装置及び画像解析方法に関する。
従来、血管や細胞などといった生体試料の形状や構造等を把握するため、光学的手法を用いた画像解析装置や画像解析方法が開発されている。
そして、血管等の流路を撮像対象とした、光学的手法を用いたイメージング技術においては、様々なノイズの発生が検出精度の低下をもたらすことが懸念されており、そのノイズの一つとして、スペックルが知られている。スペックルは、照射面の凹凸形状に応じて、照射面上に斑点状のパターンが出現する現象である。近年では、ノイズの一つであるスペックルを利用した血管等の流路を撮像する方法に関しても技術が開発されつつある。
そして、血管等の流路を撮像対象とした、光学的手法を用いたイメージング技術においては、様々なノイズの発生が検出精度の低下をもたらすことが懸念されており、そのノイズの一つとして、スペックルが知られている。スペックルは、照射面の凹凸形状に応じて、照射面上に斑点状のパターンが出現する現象である。近年では、ノイズの一つであるスペックルを利用した血管等の流路を撮像する方法に関しても技術が開発されつつある。
ところで、スペックルは、光路中の散乱等によるランダムな干渉・回折パターンである。また、スペックルの大小は、強度分布の標準偏差を強度分布の平均で割った値であるスペックルコントラストという指標で表される。コヒーレント光を用いて照明された撮像対象を、結像光学系を用いて観察すると、像面で撮像対象の散乱によるスペックルが観測される。そして、撮像対象が動いたり形状変化したりすると、それに応じたランダムなスペックルパターンが観測される。
血液のような光散乱流体を観察すると、流れによる微細形状の変化によってスペックルパターンは刻一刻と変化する。その際、像面に撮像素子を設置し、スペックルパターンの変化よりも十分長い露光時間で流体を撮影すると、血液の流れている部分、即ち血管の部分のスペックルコントラストは、時間平均化することにより減少する。このようなスペックルコントラストの変化を利用することで、血管造影を行うことができる。
このような前記スペックルを利用した画像解析技術としては、特許文献1に開示された血流計が知られている(特許文献1参照)。
この血流計は、レーザ光を生体組織の血球に照射する照射系と、生態組織からの反射光に基づく画像情報を光蓄積し、この光蓄積された画像情報を所定時間間隔で連続的に読み出すための固体撮像素子と、固体撮像素子から読み出された複数フレーム分の画像情報を順次記憶しこの記憶された各画像信号に基づいて前記血球の血流状態を演算するための血流計において、前記所定時間間隔より短い時間間隔で間欠的にレーザ光を照射するように構成したことを特徴とする。
この血流計は、レーザ光を生体組織の血球に照射する照射系と、生態組織からの反射光に基づく画像情報を光蓄積し、この光蓄積された画像情報を所定時間間隔で連続的に読み出すための固体撮像素子と、固体撮像素子から読み出された複数フレーム分の画像情報を順次記憶しこの記憶された各画像信号に基づいて前記血球の血流状態を演算するための血流計において、前記所定時間間隔より短い時間間隔で間欠的にレーザ光を照射するように構成したことを特徴とする。
更に、スペックルを利用した他の画像解析技術としては、特許文献2に開示された血流画像診断装置が知られている(特許文献2参照)。
この血流画像診断装置は、血球を有する生体組織の観察領域にレーザ光を照射するレーザ光照射系と、前記生体組織の観察領域からの反射光を検出する多数の画素からなる受光部を有する受光系と、前記受光部からの信号に基づき一心拍以上の所定時間で連続的に複数の画像を取り込む画像取込部と、前記複数の画像を記憶する画像記憶部と、該記憶された複数画像の対応する各画素の出力信号の時間的変化から生体組織内の血流速度を演算する演算部と、該演算結果の二次元分布を血流マップとして表示する表示部からなる血流速度画像化装置に、得られた血流マップを解析するための機能を付加した装置であって、前記演算部は、前記一心拍以上の複数の血流マップデータから、前記生体組織の観察領域の表層部位に見えている血管(表層血管)内の血流と、その周囲の背景部位にある血流(背景血流)を分離する機能を有し、前記表示部は、それぞれの部位の血流マップを区別して表示する機能を有し、かつ、前記演算部は、前記各部位の血流値、血流波形、血管径などの血流に関する情報を演算し比較する機能を有し、表示部には、それらの演算結果を表示する機能が付加されていることを特徴とする。
この血流画像診断装置は、血球を有する生体組織の観察領域にレーザ光を照射するレーザ光照射系と、前記生体組織の観察領域からの反射光を検出する多数の画素からなる受光部を有する受光系と、前記受光部からの信号に基づき一心拍以上の所定時間で連続的に複数の画像を取り込む画像取込部と、前記複数の画像を記憶する画像記憶部と、該記憶された複数画像の対応する各画素の出力信号の時間的変化から生体組織内の血流速度を演算する演算部と、該演算結果の二次元分布を血流マップとして表示する表示部からなる血流速度画像化装置に、得られた血流マップを解析するための機能を付加した装置であって、前記演算部は、前記一心拍以上の複数の血流マップデータから、前記生体組織の観察領域の表層部位に見えている血管(表層血管)内の血流と、その周囲の背景部位にある血流(背景血流)を分離する機能を有し、前記表示部は、それぞれの部位の血流マップを区別して表示する機能を有し、かつ、前記演算部は、前記各部位の血流値、血流波形、血管径などの血流に関する情報を演算し比較する機能を有し、表示部には、それらの演算結果を表示する機能が付加されていることを特徴とする。
しかし、特許文献1に記載された画像解析技術にあっては、実際にスペックル信号の変動を抑制するほどの短い露光時間にした場合、露光量が著しく小さくなるために現実的な撮影条件には見合わないとの課題があった。加えて、フレーム間隔を非常に短くするため、解像度の高い撮像素子では撮像が非常に難しいとの課題もある。更に言えば、短い時間内でレーザ光源の出力に強度変調を行った場合、レーザ発振波長が内部の温度変化により揺らぎ、これによりスペックルパターンのコントラストを全面で低下させることになるとの課題があった。
また、特許文献2に記載された画像解析技術にあっては、例えば、脈動・拍動を行う生体組織と当該生体組織に設けられた血管の血流を撮像対象とした場合、スペックルを用いた流体イメージングは生体組織の動きに対して非常に感度の高い方法である一方で、画面全体の揺れや生体組織の動きなども捉えてしまい、その結果血流自体を捉えることができないとの課題があった。
そこで、本技術では、流体を含み、脈動や拍動などの動きを示す撮像対象をスペックルを利用して解析する場合であっても、当該撮像対象の動きに関係なく、前記流体の解析を行うことができる画像解析技術を提供することを主目的とする。
本技術は、撮像対象に対して波長が制御されたレーザ光を照射する光源と、前記光源から照射されるレーザ光の強度を変調する変調部と、前記レーザ光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像部と、前記光源による照射とスペックル画像撮像部による撮像とを同期させる同期部と、前記スペックル画像撮像部により撮像されたスペックル画像を解析する解析部と、を備える、画像解析装置を提供する。
この画像解析装置は、更に、前記撮像対象の露光時間を制御する露光制御部と、を備えていてもよい。
また、前記画像解析装置において、前記光源は、前記撮像対象の露光時間内に前記レーザ光を照射する構成であってもよい。
更に、前記画像解析装置において、前記露光制御部は、グローバルシャッタ方式であってもよい。或いは、前記露光制御部がローリングシャッタ方式であってもよい。
また、前記画像解析装置において、前記撮像対象の露光時間は、32.2ms以下であってもよい。
更に、前記画像解析装置において、前記光源は、分布帰還型半導体レーザ光源、又は、グレーティングフィードバック型半導体レーザ光源であってもよい。
この画像解析装置は、更に、前記撮像対象の露光時間を制御する露光制御部と、を備えていてもよい。
また、前記画像解析装置において、前記光源は、前記撮像対象の露光時間内に前記レーザ光を照射する構成であってもよい。
更に、前記画像解析装置において、前記露光制御部は、グローバルシャッタ方式であってもよい。或いは、前記露光制御部がローリングシャッタ方式であってもよい。
また、前記画像解析装置において、前記撮像対象の露光時間は、32.2ms以下であってもよい。
更に、前記画像解析装置において、前記光源は、分布帰還型半導体レーザ光源、又は、グレーティングフィードバック型半導体レーザ光源であってもよい。
また、本技術は、撮像対象に対して波長が制御されたレーザ光を照射する光照射工程と、前記レーザ光の強度を変調する変調工程と、前記レーザ光の照射とスペックル画像撮像部による撮像とを同期させる同期工程と、前記レーザ光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像工程と、前記スペックル画像撮像部により撮像されたスペックル画像を解析する解析工程と、を含む、画像解析方法をも提供する。
本技術によれば、流体を含み、脈動や拍動などの動きを示す撮像対象をスペックルを利用して解析する場合であっても、当該撮像対象の動きに関係なく、前記流体の解析を行うことができ、もって撮像対象の状態解析の精度を向上させることができる。
なお、ここに記載された効果は、必ずしも限定されるものではなく、本技術中に記載されたいずれかの効果であってもよい。
なお、ここに記載された効果は、必ずしも限定されるものではなく、本技術中に記載されたいずれかの効果であってもよい。
以下、本技術を実施するための好適な形態について図面を参照しながら説明する。以下に説明する実施形態は、本技術の代表的な実施形態の一例を示したものであり、これにより本技術の範囲が狭く解釈されることはない。なお、説明は以下の順序で行う。
1.第一実施形態に係る画像解析装置
(1)光源
(2)変調部
(3-1)露光制御部
(3)スペックル画像撮像部
(4)同期部
(4-1)同期部の変形例
(5)解析部
(6)記憶部
(7)表示部
(8)撮像対象
2.第二実施形態に係る画像解析装置
(1)第二実施形態に係る画像解析装置の変形例
3.第三実施形態に係る画像解析装置
(1)露光時間変更部
4.第一実施形態に係る画像解析方法
(1)変調工程
(2)同期工程
(3)光照射工程
(4)スペックル画像撮像工程
(5)解析工程
(6)記憶工程
(7)表示工程
5.第二実施形態に係る画像解析方法
(1)露光時間変更工程
1.第一実施形態に係る画像解析装置
(1)光源
(2)変調部
(3-1)露光制御部
(3)スペックル画像撮像部
(4)同期部
(4-1)同期部の変形例
(5)解析部
(6)記憶部
(7)表示部
(8)撮像対象
2.第二実施形態に係る画像解析装置
(1)第二実施形態に係る画像解析装置の変形例
3.第三実施形態に係る画像解析装置
(1)露光時間変更部
4.第一実施形態に係る画像解析方法
(1)変調工程
(2)同期工程
(3)光照射工程
(4)スペックル画像撮像工程
(5)解析工程
(6)記憶工程
(7)表示工程
5.第二実施形態に係る画像解析方法
(1)露光時間変更工程
<1.第一実施形態に係る画像解析装置>
図1~6を用いて、本技術に係る画像解析装置の第一実施形態について説明する。
図1及び2に示す画像解析装置1は、光源11と、変調部12と、スペックル画像撮像部13と、同期部14と、解析部15と、を少なくとも備える。また、当該画像解析装置1は、必要に応じて、記憶部16、表示部17などを更に備えることも可能である。以下、各部について詳細に説明する。
図1~6を用いて、本技術に係る画像解析装置の第一実施形態について説明する。
図1及び2に示す画像解析装置1は、光源11と、変調部12と、スペックル画像撮像部13と、同期部14と、解析部15と、を少なくとも備える。また、当該画像解析装置1は、必要に応じて、記憶部16、表示部17などを更に備えることも可能である。以下、各部について詳細に説明する。
(1) 光源
光源11は、撮像対象Oに対してコヒーレント光を照射する。
当該光源11が発するコヒーレント光とは、光束内の任意の二点における光波の位相関係が時間的に不変で一定であり、任意の方法で光束を分割した後、大きな光路差を与えて再び重ねあわせても完全な干渉性を示す光をいう。
光源11は、撮像対象Oに対してコヒーレント光を照射する。
当該光源11が発するコヒーレント光とは、光束内の任意の二点における光波の位相関係が時間的に不変で一定であり、任意の方法で光束を分割した後、大きな光路差を与えて再び重ねあわせても完全な干渉性を示す光をいう。
コヒーレント光としてはレーザ光が好ましい。このレーザ光を発する光源11としては、例えば、アルゴンイオン(Ar)レーザ、ヘリウム-ネオン(He-Ne)レーザ、ダイ(dye)レーザ、クリプトン(Cr)レーザ、分布帰還型(Distributed Feedback : DFB)やグレーティングフィードバック型の半導体レーザ等を用いることができ、その中でも、出力される波長が制御される半導体レーザを用いることが好ましい。
また、前記光源11より出力される光強度の変調周波数としては特に限定されないものの、スペックルの撮像に適している必要があり、例えば、スペックルを動画として示す上では、24Hz以上が好ましく、より好ましくは、ユーザが十分な滑らかな動画を感じるため、120Hz以上である。
更に、前記光源11の光照射により前記撮像対象Oが露光される時間は、例えば流体の背景に示される撮像対象の脈動・拍動を抑制することができ、且つ、前記流体の解析を行うことができればよい。
ここで、スペックルコントラストは、撮像対象Oの動きの有無に応じて変化し、撮像対象Oが静止している状態ではスペックルコントラストが高くなり、撮像対象Oが動いている状態ではスペックルコントラストが低くなることが知られている。このため、図6に示すように、撮像対象Oの速度が速く、露光時間の数値(例えば、66.6ms)が高い場合には、スペックルコントラストの数値も低くなる。
例えば、撮像対象Oが脈動・拍動する心臓等の生体試料であって、スペックルを用いて当該生体試料に設けられた血管の状態を解析する場合、通常、血流速度は細動脈では50mm/s程度とされる一方、前記脈動・拍動は1~5mm/s程度と把握されている。
従って、本技術に係る画像解析装置において、前記撮像対象Oの露光時間は、32ms以下とすることが好ましく、より好ましくは16.6ms以下であり、更に好ましくは3.33ms以下である(図6参照)。
ここで、スペックルコントラストは、撮像対象Oの動きの有無に応じて変化し、撮像対象Oが静止している状態ではスペックルコントラストが高くなり、撮像対象Oが動いている状態ではスペックルコントラストが低くなることが知られている。このため、図6に示すように、撮像対象Oの速度が速く、露光時間の数値(例えば、66.6ms)が高い場合には、スペックルコントラストの数値も低くなる。
例えば、撮像対象Oが脈動・拍動する心臓等の生体試料であって、スペックルを用いて当該生体試料に設けられた血管の状態を解析する場合、通常、血流速度は細動脈では50mm/s程度とされる一方、前記脈動・拍動は1~5mm/s程度と把握されている。
従って、本技術に係る画像解析装置において、前記撮像対象Oの露光時間は、32ms以下とすることが好ましく、より好ましくは16.6ms以下であり、更に好ましくは3.33ms以下である(図6参照)。
(2)変調部
本技術に係る画像解析装置1は、前記光源11から発せられるレーザ光の強度を変調する変調部12を備える。
この変調部12による強度変調の方式としては特に限定されず、例えば、前記光源11として半導体レーザを用いて、当該光源に流す電流の大きさを変化させる方式(直接強度変調方式)や、前記光源11としての半導体レーザから出力されたレーザ光に対し、外部から変調を加える方式(外部変調方式)などが挙げられる。
尚、図2~図4に示す画像解析装置には、変調部12が光源11と別に設けられた外部変調方式を採用した構成を示されている。
本技術に係る画像解析装置1は、前記光源11から発せられるレーザ光の強度を変調する変調部12を備える。
この変調部12による強度変調の方式としては特に限定されず、例えば、前記光源11として半導体レーザを用いて、当該光源に流す電流の大きさを変化させる方式(直接強度変調方式)や、前記光源11としての半導体レーザから出力されたレーザ光に対し、外部から変調を加える方式(外部変調方式)などが挙げられる。
尚、図2~図4に示す画像解析装置には、変調部12が光源11と別に設けられた外部変調方式を採用した構成を示されている。
すなわち、本技術に係る変調部12の構成としては、前記光源11に内蔵される構成や、前記光源11の外部に設けられる構成が考えられる。
前記光源11に変調部12が内蔵された構成としては、例えば、前述の分布帰還型(Distributed Feedback : DFB)やグレーティングフィードバック型の半導体レーザが挙げられる。
一方、前記光源11から出力されたレーザ光を変調する構成としては、例えば、MEMS(Micro Electro Mechanical Systems)、AOM(Acousto-Optic Modulator)、EOM(Electro-Optic Modulator)、液晶シャッタ、メカニカルシャッタ、チョッパー等が挙げられる。
前記光源11に変調部12が内蔵された構成としては、例えば、前述の分布帰還型(Distributed Feedback : DFB)やグレーティングフィードバック型の半導体レーザが挙げられる。
一方、前記光源11から出力されたレーザ光を変調する構成としては、例えば、MEMS(Micro Electro Mechanical Systems)、AOM(Acousto-Optic Modulator)、EOM(Electro-Optic Modulator)、液晶シャッタ、メカニカルシャッタ、チョッパー等が挙げられる。
(3)スペックル画像撮像部
スペックル画像撮像部13では、各光源11のレーザ光が照射された前記撮像対象Oから得られる散乱光に基づいて、前記撮像対象Oの表面に現れるスペックルの撮像が行われる。
スペックル画像撮像部13では、各光源11のレーザ光が照射された前記撮像対象Oから得られる散乱光に基づいて、前記撮像対象Oの表面に現れるスペックルの撮像が行われる。
このスペックル画像撮像部13は、撮像対象Oから得られる散乱光を結像する結像光学系と、当該結像光学系により結像された光を受光する撮像系と、を備える。前記結像光学系は、例えばCCDセンサあるいはCMOSセンサ等の撮像素子と、結像レンズ等を備える。前記CMOSセンサでは、グローバルシャッタ方式と、ローリングシャッタ方式が知られ、本技術に係る画像解析装置1では、いずれの方式も採用することができる。
(3-1)露光制御部
本技術に係る画像解析装置1では、前記スペックル画像撮像部13が、前記撮像対象Oの露光時間を制御する露光制御部113を備える。具体的には、スペックル画像を撮像する際、撮像素子における全画素が露光している状態を調整する構成を有する。より具体的には、グローバルシャッタ方式のCMOSセンサや、ローリングシャッタ方式のCMOSセンサが挙げられる。
すなわち、本技術において、前記スペックル画像撮像部13が備える撮像素子が前記露光制御部113に相当する。
本技術に係る画像解析装置1では、前記スペックル画像撮像部13が、前記撮像対象Oの露光時間を制御する露光制御部113を備える。具体的には、スペックル画像を撮像する際、撮像素子における全画素が露光している状態を調整する構成を有する。より具体的には、グローバルシャッタ方式のCMOSセンサや、ローリングシャッタ方式のCMOSセンサが挙げられる。
すなわち、本技術において、前記スペックル画像撮像部13が備える撮像素子が前記露光制御部113に相当する。
前記スペックル画像撮像部13が行う撮像方法は、本技術の効果が損なわれない限り特に限定されず、公知の撮像方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。例えば、前記撮像素子を用いた撮像方法を挙げることができる。
このスペックル画像撮像部13では、例えば、疑似血液が流れている疑似血管をスペックルに基づいてマッピングした画像が生成される。前述の如く、スペックルはランダムな干渉・回折パターンであるため、血液などの光散乱流体が移動したり、時間的に変化すると、前記スペックルも時間的に変動する。このため、流体とそれ以外の部分の境界を観察することができる。
尚、前記スペックル画像撮像部13では、スペックルが生じている部分をより明確にするため、例えば複数のスペックル画像を用いて平準化を行い、スペックル画像のムラを低減させる構成を備えていてもよい。
また、前記スペックル画像撮像部13では、前記撮像対象Oからの散乱光を積極的に取り込むことができるよう、外部の光を遮断するフィルタを備えていてもよい。
尚、前記スペックル画像撮像部13では、スペックルが生じている部分をより明確にするため、例えば複数のスペックル画像を用いて平準化を行い、スペックル画像のムラを低減させる構成を備えていてもよい。
また、前記スペックル画像撮像部13では、前記撮像対象Oからの散乱光を積極的に取り込むことができるよう、外部の光を遮断するフィルタを備えていてもよい。
(4)同期部
本技術に係る画像解析装置1は、同期部14を備える。この同期部14では、前記光源11によるレーザ光の照射時間と、前記スペックル画像撮像部における撮像時間と、を合致させる。
具体的には、図1及び図2に示す画像解析装置1の同期部14では、前記光源11によるレーザ光の照射時間と、前記スペックル画像撮像部の撮像時間と、を合致させるための同期信号を前記光源11及びスペックル画像撮像部13に対して出力する。その結果、前記光源11及びスペックル画像撮像部13では、入力された同期信号に基づいて、レーザ光の照射とスペックル画像の撮像が同時に行われる。
本技術において、前記同期部の構成は前記構成に限定されず、公知の構成を採用することができる。更に、図1及び2に示す画像解析装置1では、前記同期部14から同期信号が前記光源11及びスペックル画像撮像部13に出力される構成となっているが、当該同期信号を取得する方法に関しても特に限定されない。当該方法の他の例に関しては、図3及び4を用いて以下に説明する。
本技術に係る画像解析装置1は、同期部14を備える。この同期部14では、前記光源11によるレーザ光の照射時間と、前記スペックル画像撮像部における撮像時間と、を合致させる。
具体的には、図1及び図2に示す画像解析装置1の同期部14では、前記光源11によるレーザ光の照射時間と、前記スペックル画像撮像部の撮像時間と、を合致させるための同期信号を前記光源11及びスペックル画像撮像部13に対して出力する。その結果、前記光源11及びスペックル画像撮像部13では、入力された同期信号に基づいて、レーザ光の照射とスペックル画像の撮像が同時に行われる。
本技術において、前記同期部の構成は前記構成に限定されず、公知の構成を採用することができる。更に、図1及び2に示す画像解析装置1では、前記同期部14から同期信号が前記光源11及びスペックル画像撮像部13に出力される構成となっているが、当該同期信号を取得する方法に関しても特に限定されない。当該方法の他の例に関しては、図3及び4を用いて以下に説明する。
(4-1) 同期部の変形例
図3は、図1に示す第一実施形態の画像解析装置の第一変形例を示す模式図である。図3から把握されるように、当該画像解析装置101では、前記同期部14が前記スペックル画像撮像部13から同期信号を取得し、更に同期部14が同期信号を前記光源11に出力している。
一方、図4は、図1に示す第一実施形態の画像解析装置の第二変形例を示す模式図である。この第二変形例に係る画像解析装置102では、前記同期部14が前記変調部12から同期信号を取得し、更に同期部14が同期信号を前記スペックル画像撮像部13に出力している。
本技術に係る画像解析装置では、前記同期部14により、前記光源11による照射時間と、前記スペックル画像撮像部13による撮像時間とを合致させることができ、もってスペックルを利用した解析精度を高めることができる。
図3は、図1に示す第一実施形態の画像解析装置の第一変形例を示す模式図である。図3から把握されるように、当該画像解析装置101では、前記同期部14が前記スペックル画像撮像部13から同期信号を取得し、更に同期部14が同期信号を前記光源11に出力している。
一方、図4は、図1に示す第一実施形態の画像解析装置の第二変形例を示す模式図である。この第二変形例に係る画像解析装置102では、前記同期部14が前記変調部12から同期信号を取得し、更に同期部14が同期信号を前記スペックル画像撮像部13に出力している。
本技術に係る画像解析装置では、前記同期部14により、前記光源11による照射時間と、前記スペックル画像撮像部13による撮像時間とを合致させることができ、もってスペックルを利用した解析精度を高めることができる。
(5)解析部
第一実施形態に係る画像解析装置1は、前記スペックル画像撮像部13によって撮像されたスペックル画像に基づいて、撮像対象Oの状態を解析する解析部15を備える。
この解析部15では、例えば、前記スペックル画像撮像部13により撮像されたスペックル画像において、スペックルの強度分布を測定する。
この測定結果を用いて、強度分布の標準偏差を強度分布の平均で割った値であるスペックルコントラストを測定する。このようにスペックルコントラストを測定することにより、撮像対象Oを光散乱流体である血管とした場合、スペックルコントラストの変化を利用することで、血管造影を行うことができる。更には、スペックルは時間的に変動するため、血流の速度を解析することもできる。
尚、斯かる場合、スペックルの強度分布やスペックルコントラストの測定方法は、本技術の効果が損なわれない限り特に限定されず、公知の測定方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。
第一実施形態に係る画像解析装置1は、前記スペックル画像撮像部13によって撮像されたスペックル画像に基づいて、撮像対象Oの状態を解析する解析部15を備える。
この解析部15では、例えば、前記スペックル画像撮像部13により撮像されたスペックル画像において、スペックルの強度分布を測定する。
この測定結果を用いて、強度分布の標準偏差を強度分布の平均で割った値であるスペックルコントラストを測定する。このようにスペックルコントラストを測定することにより、撮像対象Oを光散乱流体である血管とした場合、スペックルコントラストの変化を利用することで、血管造影を行うことができる。更には、スペックルは時間的に変動するため、血流の速度を解析することもできる。
尚、斯かる場合、スペックルの強度分布やスペックルコントラストの測定方法は、本技術の効果が損なわれない限り特に限定されず、公知の測定方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。
(6)記憶部
本技術に係る画像解析装置1は、必要に応じて、前記スペックル画像撮像部13によって撮像されたスペックル画像、解析部15で計測されたスペックルコントラスト、前記解析部15による解析結果などを記憶する記憶部16を更に備えることができる。
この記憶部16は、本技術に係る画像解析装置においては必須ではなく、例えば、外部の記憶装置を接続して、スペックル画像等を記憶することも可能である。
本技術に係る画像解析装置1は、必要に応じて、前記スペックル画像撮像部13によって撮像されたスペックル画像、解析部15で計測されたスペックルコントラスト、前記解析部15による解析結果などを記憶する記憶部16を更に備えることができる。
この記憶部16は、本技術に係る画像解析装置においては必須ではなく、例えば、外部の記憶装置を接続して、スペックル画像等を記憶することも可能である。
(7)表示部
本技術に係る画像解析装置は、スペックル画像撮像部13によって撮像されたスペックル画像、解析部15による解析結果などを表示する表示部17を更に備えることができる。この表示部17は、本技術に係る画像解析装置においては必須ではなく、例えば、外部のモニター等を用いることも可能である。
本技術に係る画像解析装置は、スペックル画像撮像部13によって撮像されたスペックル画像、解析部15による解析結果などを表示する表示部17を更に備えることができる。この表示部17は、本技術に係る画像解析装置においては必須ではなく、例えば、外部のモニター等を用いることも可能である。
(8)撮像対象O
本技術に係る画像解析装置は、様々なものを撮像対象とすることができるが、例えば、流体を含むものを撮像対象とするイメージングに、好適に用いることができる。スペックルの性質上、流体からはスペックルが発生しにくいという性質がある。そのため、本技術に係る画像解析装置1を用いて流体を含むものをイメージングとすると、流体とそれ以外の部分の境界や流体の流速等を、求めることができる。
本技術に係る画像解析装置は、様々なものを撮像対象とすることができるが、例えば、流体を含むものを撮像対象とするイメージングに、好適に用いることができる。スペックルの性質上、流体からはスペックルが発生しにくいという性質がある。そのため、本技術に係る画像解析装置1を用いて流体を含むものをイメージングとすると、流体とそれ以外の部分の境界や流体の流速等を、求めることができる。
より具体的には、撮像対象Oを生体試料とし、流体としては血液を挙げることができる。例えば、本技術に係る画像解析装置1を、手術用顕微鏡や手術用内視鏡などに搭載すれば、血管の位置を確認しながら手術を行うことが可能である。そのため、より安全で高精度な手術を行うことができ、医療技術の更なる発展にも貢献することができる。
ここで、前記撮像対象Oを脈動・拍動する心臓などの臓器とし、スペックルを利用して当該臓器に設けられた血管を流れる血液を解析する場合、スペックルを用いた流体イメージングは臓器の脈動・拍動なども捉えてしまい、その結果血流自体を捉えることができない可能性がある。
これに対して、本技術に係る画像解析装置1では、前記同期部14の構成により撮像対象Oの脈動・拍動に関係なく、流体の動きを提示することができる。
以下、図5を用いて、前記同期部14に基づいた本技術に係る画像解析装置1の駆動シーケンスの一例を説明する。
これに対して、本技術に係る画像解析装置1では、前記同期部14の構成により撮像対象Oの脈動・拍動に関係なく、流体の動きを提示することができる。
以下、図5を用いて、前記同期部14に基づいた本技術に係る画像解析装置1の駆動シーケンスの一例を説明する。
図5は、図1に示す画像解析装置1、具体的には、前記変調部12が前記光源11とは別に設けられた外部変調方式であって、且つ、前記露光制御部113がグローバルシャッタ方式のCMOSである画像解析装置1のタイミングチャートである。
尚、図5中、(a)は前記スペックル画像撮像部13の撮像時間を、(b)は光源11の照明強度を、(c)は前記変調部12による強度変調時間を、(d)は変調結果のレーザ光照明強度を示す。
尚、図5中、(a)は前記スペックル画像撮像部13の撮像時間を、(b)は光源11の照明強度を、(c)は前記変調部12による強度変調時間を、(d)は変調結果のレーザ光照明強度を示す。
ここで、露光制御部113としてグローバルシャッタ方式のCMOSを用いた場合、全画素で露光開始と露光終了のタイミングが同時となり、露光終了後一定時間露光できない時間が生じる(図5内の「露光不可時間」)。
このため、本技術に係る画像解析装置1では、例えば、前記光源11からレーザ光を常に照射させた状態としておき(b)、前記変調部12を用いて前記レーザ光の強度を変調させる(c)。その結果、図5に示されるように、前記撮像対象Oを露光することが可能な時間内に、強度変調させたレーザ光を照射し、且つ、それと同時に前記スペックル画像撮像部13による撮像を行うようにしている。
このように構成された本技術に係る画像解析装置1によれば、前記同期部14の構成により、前記光源11による照射と、前記スペックル画像撮像部13による撮像とが同時に行われる。このため、例えば、前記撮像対象Oの露光時間が短く設定され、信号量が低下してしまうような場合であっても、十分な輝度を確保することができる。
更に、前記撮像対象Oの露光時間を32ms以下に設定した場合、前記撮像対象Oとして脈動・拍動を示す生体試料とし、流体として血流を解析するような場面でも、前記生体試料の拍動・脈動を捉えることがなく、もって血流のみを捉えることができる。
より好ましくは、前記撮像対象Oの露光時間を16.6ms程度に設定すると、動き(拍動、振動)でのスペックルコントラスト低下はあるものの、十分に低下はしていないため血流によるコントラスト低下を捉えることができる。更に好ましくは、前記撮像対象Oの露光時間を3.33ms以下に設定すると、動き(拍動、振動)でのスペックルコントラスト低下はほとんど発生しないため、血流によるスペックルコントラスト低下をよりしっかりと捉えることができる。
また、露光制御部113としてグローバルシャッタ方式のCMOSを用いた場合、全画素が露光状態になっているタイミングを確保することが容易であり、且つ、画面全面で均一な露光量を確保することができる。
更に、前記撮像対象Oの露光時間を32ms以下に設定した場合、前記撮像対象Oとして脈動・拍動を示す生体試料とし、流体として血流を解析するような場面でも、前記生体試料の拍動・脈動を捉えることがなく、もって血流のみを捉えることができる。
より好ましくは、前記撮像対象Oの露光時間を16.6ms程度に設定すると、動き(拍動、振動)でのスペックルコントラスト低下はあるものの、十分に低下はしていないため血流によるコントラスト低下を捉えることができる。更に好ましくは、前記撮像対象Oの露光時間を3.33ms以下に設定すると、動き(拍動、振動)でのスペックルコントラスト低下はほとんど発生しないため、血流によるスペックルコントラスト低下をよりしっかりと捉えることができる。
また、露光制御部113としてグローバルシャッタ方式のCMOSを用いた場合、全画素が露光状態になっているタイミングを確保することが容易であり、且つ、画面全面で均一な露光量を確保することができる。
<2.第二実施形態に係る画像解析装置>
次に、図7~8を用いて、本技術に係る画像解析装置の第二実施形態について説明する。図7は、第二実施形態の画像解析装置の概念を模式的に示す模式概念図である。また、図8及び8は、図7に示す画像解析装置の変形例を示す模式概念図である。
この第二実施形態に係る画像解析装置は、第一実施形態に係る画像解析装置1と同様、光源11と、変調部12と、露光制御部113を有するスペックル画像撮像部13と、同期部14と、解析部15と、を備える。また、必要に応じて、記憶部16、表示部17などを更に備えることも可能である。
一方、第二実施形態に係る画像解析装置は、前記変調部12自体の構成は第一実施形態に係る画像解析装置1,101,102と同一であるが、当該変調部12が前記光源11に内蔵されている点、すなわち、前記光源11が変調光源である点が第一実施形態に係る画像解析装置1,101,102と異なる。
尚、以下の説明において、第一実施形態に係る画像解析装置1,101,102と同一の構成に関しては、同一の符号を付してその説明を割愛する。
次に、図7~8を用いて、本技術に係る画像解析装置の第二実施形態について説明する。図7は、第二実施形態の画像解析装置の概念を模式的に示す模式概念図である。また、図8及び8は、図7に示す画像解析装置の変形例を示す模式概念図である。
この第二実施形態に係る画像解析装置は、第一実施形態に係る画像解析装置1と同様、光源11と、変調部12と、露光制御部113を有するスペックル画像撮像部13と、同期部14と、解析部15と、を備える。また、必要に応じて、記憶部16、表示部17などを更に備えることも可能である。
一方、第二実施形態に係る画像解析装置は、前記変調部12自体の構成は第一実施形態に係る画像解析装置1,101,102と同一であるが、当該変調部12が前記光源11に内蔵されている点、すなわち、前記光源11が変調光源である点が第一実施形態に係る画像解析装置1,101,102と異なる。
尚、以下の説明において、第一実施形態に係る画像解析装置1,101,102と同一の構成に関しては、同一の符号を付してその説明を割愛する。
前述の如く、第二実施形態に係る画像解析装置2では、前記光源11が変調部12を内蔵し、いわゆる変調光源を構成している。従って、第二実施形態に係る画像解析装置2では、強度が変調されたレーザ光が前記光源11から照射される。
そして、図7に示す画像解析装置2では、前記同期部14が取得した同期信号は前記光源11内の変調部12に出力される。
更に、第一実施形態に係る画像解析装置1と同様、前記同期信号を取得する方法は限られず、当該方法の他の例としては、図8及び8に示す方法が考えられる。
そして、図7に示す画像解析装置2では、前記同期部14が取得した同期信号は前記光源11内の変調部12に出力される。
更に、第一実施形態に係る画像解析装置1と同様、前記同期信号を取得する方法は限られず、当該方法の他の例としては、図8及び8に示す方法が考えられる。
(1)第二実施形態に係る画像解析装置の変形例
すなわち、図8は、図7に示す第二実施形態の画像解析装置の第一変形例を示す模式図である。この図8から把握されるように、当該画像解析装置201では、前記同期部14が前記スペックル画像撮像部13から同期信号を取得する構成を採用している。
一方、図9は、図7に示す第二実施形態の画像解析装置の第二変形例を示す模式図である。この第二変形例に係る画像解析装置202では、前記同期部14が前記変調部12から同期信号を取得する構成を採用している。
これらの第二実施形態に係る画像解析装置2,201,202では、前記同期部14により、前記光源11による照射時間と、前記スペックル画像撮像部13による撮像時間を合致させることができ、もってスペックルを利用した解析精度を高めることができる。
すなわち、図8は、図7に示す第二実施形態の画像解析装置の第一変形例を示す模式図である。この図8から把握されるように、当該画像解析装置201では、前記同期部14が前記スペックル画像撮像部13から同期信号を取得する構成を採用している。
一方、図9は、図7に示す第二実施形態の画像解析装置の第二変形例を示す模式図である。この第二変形例に係る画像解析装置202では、前記同期部14が前記変調部12から同期信号を取得する構成を採用している。
これらの第二実施形態に係る画像解析装置2,201,202では、前記同期部14により、前記光源11による照射時間と、前記スペックル画像撮像部13による撮像時間を合致させることができ、もってスペックルを利用した解析精度を高めることができる。
以下、図10及び10を用いて、第二実施形態に係る画像解析装置2の駆動シーケンスの一例を説明する。
図10は、第二実施形態に係る画像解析装置2において、前記露光制御部113がグローバルシャッタ方式のCMOSである画像解析装置のタイミングチャートである。
尚、図10中、(a)は前記スペックル画像撮像部13の撮像時間を、(b)は光源1の照明強度を、(c)は変調結果のレーザ光照明強度を示す。
図10は、第二実施形態に係る画像解析装置2において、前記露光制御部113がグローバルシャッタ方式のCMOSである画像解析装置のタイミングチャートである。
尚、図10中、(a)は前記スペックル画像撮像部13の撮像時間を、(b)は光源1の照明強度を、(c)は変調結果のレーザ光照明強度を示す。
前述の如く、第二実施形態に係る画像解析装置2では、前記光源11が変調光源であるため、強度が変調されたレーザ光が照射される。そして、前記同期部14により、前記光源11によるレーザ光の照射時間を、前記スペックル画像撮像部13の撮像時間に合致させる。
一方、図11は、第二実施形態に係る画像解析装置2において、前記露光制御部113がローリングシャッタ方式のCMOSである画像解析装置のタイミングチャートである。
尚、図11中、(a)は前記スペックル画像撮像部13の撮像時間を、(b)は光源1の照明強度を、(c)は変調結果のレーザ光照明強度を示す。
ここで、露光制御部113としてローリングシャッタ方式のCMOSを用いた場合、フレーム内で各画素の露光開始タイミングが少しずつずれるようになっている。このため、全画素が露光状態となっている時間Aが非常に短い(図11参照)。
尚、図11中、(a)は前記スペックル画像撮像部13の撮像時間を、(b)は光源1の照明強度を、(c)は変調結果のレーザ光照明強度を示す。
ここで、露光制御部113としてローリングシャッタ方式のCMOSを用いた場合、フレーム内で各画素の露光開始タイミングが少しずつずれるようになっている。このため、全画素が露光状態となっている時間Aが非常に短い(図11参照)。
これに対し、第二実施形態に係る画像解析装置2では、前記同期部14により前記光源11による照射時間を、前記スペックル画像撮像部13による撮像時間に合致させることが可能となっている。更に言えば、前記光源11による照射時間及びスペックル画像撮像部13による撮像時間を、図11に示す時間Aに合致させることができる。
以上のように構成された本技術に係る画像解析装置2によれば、前記同期部14の構成により、前記光源11による照射と、前記スペックル画像撮像部13による撮像とが同時に行われる。このため、例えば、前記撮像対象Oの露光時間が短く設定され、信号量が低下してしまうような場合であっても、十分な輝度を確保することができる。
更に、前記撮像対象Oの露光時間を32ms以下に設定した場合、前記撮像対象Oとして脈動・拍動を示す生体試料とし、流体として血流を解析するような場面では、前記生体試料の拍動・脈動を捉えることがなく、もって血流のみを捉えることができる。
更に言えば、前記露光制御部113としてローリングシャッタ方式のCMOSを用いることにより、全画素が露光状態となっている時間は短い。その短い時間内で照明をすることで均一な照明強度の画像を捉えることができ、血流情報を正しく捉えることができる。
更に、前記撮像対象Oの露光時間を32ms以下に設定した場合、前記撮像対象Oとして脈動・拍動を示す生体試料とし、流体として血流を解析するような場面では、前記生体試料の拍動・脈動を捉えることがなく、もって血流のみを捉えることができる。
更に言えば、前記露光制御部113としてローリングシャッタ方式のCMOSを用いることにより、全画素が露光状態となっている時間は短い。その短い時間内で照明をすることで均一な照明強度の画像を捉えることができ、血流情報を正しく捉えることができる。
<3.第三実施形態に係る画像解析装置>
次に、図12及び12を用いて、本技術に係る画像解析装置の第三実施形態について説明する。第三実施形態に係る画像解析装置3は、第一実施形態に係る画像解析装置1と同様、光源11と、変調部12と、スペックル画像撮像部13と、同期部14と、解析部15と、を備える。また、必要に応じて、記憶部16、表示部17などを更に備えることも可能である。
一方、第三実施形態に係る画像解析装置3は、露光時間変更部18を備える点、及び前記露光制御部113がローリングシャッタ方式のCMOSである点が第一実施形態に係る画像解析装置1,101,102と異なる。
尚、以下の説明において、第一実施形態に係る画像解析装置1,101,102と同一の構成に関しては、同一の符号を付してその説明を割愛する。
次に、図12及び12を用いて、本技術に係る画像解析装置の第三実施形態について説明する。第三実施形態に係る画像解析装置3は、第一実施形態に係る画像解析装置1と同様、光源11と、変調部12と、スペックル画像撮像部13と、同期部14と、解析部15と、を備える。また、必要に応じて、記憶部16、表示部17などを更に備えることも可能である。
一方、第三実施形態に係る画像解析装置3は、露光時間変更部18を備える点、及び前記露光制御部113がローリングシャッタ方式のCMOSである点が第一実施形態に係る画像解析装置1,101,102と異なる。
尚、以下の説明において、第一実施形態に係る画像解析装置1,101,102と同一の構成に関しては、同一の符号を付してその説明を割愛する。
(1) 露光時間変更部
前述の如く、露光制御部113としてローリングシャッタ方式のCMOSを用いた場合、フレーム内で各画素の露光開始タイミングが少しずつずれるようになっているため、全画素が露光状態となっている時間Aが非常に短い(図11参照)
このため、第三実施形態に係る画像解析装置3では、前記撮像対象Oの露光時間を変更する露光時間変更部18を備える。
前述の如く、露光制御部113としてローリングシャッタ方式のCMOSを用いた場合、フレーム内で各画素の露光開始タイミングが少しずつずれるようになっているため、全画素が露光状態となっている時間Aが非常に短い(図11参照)
このため、第三実施形態に係る画像解析装置3では、前記撮像対象Oの露光時間を変更する露光時間変更部18を備える。
具体的には、図13に示されるように、撮像対象Oの露光時間を2フレームに跨るように長時間に設定する。このように、露光時間を長時間化することにより、前記露光制御部113がローリングシャッタ方式のCMOSであったとしても、撮像対象Oを露光する時間を1フレーム分とすることができる。
尚、前記露光時間変更部18による露光時間の変更方法は特に限定されず、公知の方法を採用することができる。
尚、前記露光時間変更部18による露光時間の変更方法は特に限定されず、公知の方法を採用することができる。
そして、図13に示すように、第三実施形態に係る画像解析装置3では、前記同期部14により、前記光源11による照射時間を前記スペックル画像撮像部13による撮像時間に合致させることが可能となっている。更に言えば、前記露光時間変更部18により、露光時間が長時間化されている分、前記光源11による照射時間と前記スペックル画像撮像部13による撮像時間を合致させやすく構成されている。
以上のような第三実施形態に係る画像解析装置3によれば、前記同期部14の構成により、前記光源11による照射と、前記スペックル画像撮像部13による撮像とが同時に行われるようになっている。このため、例えば、前記撮像対象Oの露光時間が短く設定され、信号量が低下してしまうような場合であっても、十分な輝度を確保することができる。
更に、前記撮像対象Oの露光時間を32ms以下に設定した場合、前記撮像対象Oとして脈動・拍動を示す生体試料とし、流体として血流を解析するような場面でも、前記生体試料の拍動・脈動を捉えることがなく、もって血流のみを捉えることができる。
また、前記撮像対象Oの露光時間を16.6ms程度に設定すると、動き(拍動、振動)でのスペックルコントラスト低下はあるものの、十分に低下はしていないため血流によるコントラスト低下を捉えることができる。
更に、前記撮像対象Oの露光時間を3.33ms以下に設定すると、動き(拍動、振動)でのスペックルコントラスト低下はほとんど発生しないため、血流によるスペックルコントラスト低下をよりしっかりと捉えることができる。
更に、前記撮像対象Oの露光時間を32ms以下に設定した場合、前記撮像対象Oとして脈動・拍動を示す生体試料とし、流体として血流を解析するような場面でも、前記生体試料の拍動・脈動を捉えることがなく、もって血流のみを捉えることができる。
また、前記撮像対象Oの露光時間を16.6ms程度に設定すると、動き(拍動、振動)でのスペックルコントラスト低下はあるものの、十分に低下はしていないため血流によるコントラスト低下を捉えることができる。
更に、前記撮像対象Oの露光時間を3.33ms以下に設定すると、動き(拍動、振動)でのスペックルコントラスト低下はほとんど発生しないため、血流によるスペックルコントラスト低下をよりしっかりと捉えることができる。
<4.第一実施形態に係る画像解析方法>
本技術は、画像解析方法をも提供する。
第一実施形態に係る画像解析方法は、変調工程、同期工程、光照射工程、スペックル画像撮像工程、解析工程、を含み、必要に応じて、記憶工程、表示工程を含んでいてもよい。各工程について、実際に行う順序に従って説明する。
本技術は、画像解析方法をも提供する。
第一実施形態に係る画像解析方法は、変調工程、同期工程、光照射工程、スペックル画像撮像工程、解析工程、を含み、必要に応じて、記憶工程、表示工程を含んでいてもよい。各工程について、実際に行う順序に従って説明する。
(1)同期工程
本技術に係る画像解析方法では、光源による照射時間とスペックル画像の撮像時間を同期させる同期工程を含む。
具体的には、コヒーレント光であるレーザ光を照射する光源と、スペックル画像を撮像する撮像部に対して同期信号を入力する処理を行う。
または、前記スペックル画像の撮像部から同期信号を取得し、当該同期信号を前記光源に入力する処理を行う方法も挙げられる。或いは、前記光源から同期信号を取得し、当該同期信号を前記撮像部に入力する処理を行う方法も挙げられる。
本技術に係る画像解析方法では、光源による照射時間とスペックル画像の撮像時間を同期させる同期工程を含む。
具体的には、コヒーレント光であるレーザ光を照射する光源と、スペックル画像を撮像する撮像部に対して同期信号を入力する処理を行う。
または、前記スペックル画像の撮像部から同期信号を取得し、当該同期信号を前記光源に入力する処理を行う方法も挙げられる。或いは、前記光源から同期信号を取得し、当該同期信号を前記撮像部に入力する処理を行う方法も挙げられる。
(2)変調工程
本技術に係る画像解析方法では、レーザ光の強度を変調する変調工程を含む。
この変調工程が行う処理方法としては限定されず、例えば、光源として半導体レーザを用いて、当該光源に流す電流の大きさを変化させる方式(直接強度変調方式)や、前記光源としての半導体レーザから出力されたレーザ光に対し、外部から変調を加える方式(外部変調方式)などが挙げられる。
従って、図14では、変調工程が光照射工程よりも前に行われ、直接強度変調方式として示されているが、外部変調方式により当該変調工程は光照射工程の後に行うようにしても差し支えない。
本技術に係る画像解析方法では、レーザ光の強度を変調する変調工程を含む。
この変調工程が行う処理方法としては限定されず、例えば、光源として半導体レーザを用いて、当該光源に流す電流の大きさを変化させる方式(直接強度変調方式)や、前記光源としての半導体レーザから出力されたレーザ光に対し、外部から変調を加える方式(外部変調方式)などが挙げられる。
従って、図14では、変調工程が光照射工程よりも前に行われ、直接強度変調方式として示されているが、外部変調方式により当該変調工程は光照射工程の後に行うようにしても差し支えない。
(3)光照射工程
第一実施形態に係る画像解析方法は、光源から前記撮像対象に対してレーザ光を照射する工程を含む。
この光照射工程にて用いる光源の例としては、例えば、アルゴンイオン(Ar)レーザ、ヘリウム-ネオン(He-Ne)レーザ、ダイ(dye)レーザ、クリプトン(Cr)レーザ、分布帰還型(Distributed Feedback : DFB)やグレーティングフィードバック型の半導体レーザ等を用いることができ、その中でも、出力される波長が制御される半導体レーザを用いることが好ましい。
第一実施形態に係る画像解析方法は、光源から前記撮像対象に対してレーザ光を照射する工程を含む。
この光照射工程にて用いる光源の例としては、例えば、アルゴンイオン(Ar)レーザ、ヘリウム-ネオン(He-Ne)レーザ、ダイ(dye)レーザ、クリプトン(Cr)レーザ、分布帰還型(Distributed Feedback : DFB)やグレーティングフィードバック型の半導体レーザ等を用いることができ、その中でも、出力される波長が制御される半導体レーザを用いることが好ましい。
光照射工程により照射されるレーザ光における光強度の変調周波数としては特に限定されないものの、スペックルの撮像に適している必要があり、例えば、スペックルを動画として示す上では、24Hz以上が好ましく、より好ましくは、ユーザが十分な滑らかな動画を感じるため、120Hzである。
更に、光照射工程による前記撮像対象Oの露光時間は、例えば流体の背景に示される撮像対象の脈動・拍動を抑制することができ、且つ、前記流体の解析を行うことができればよい。
例えば、撮像対象Oが脈動・拍動する心臓等の生体試料であって、スペックルを用いて当該生体試料に設けられた血管の状態を解析する場合、通常、血流速度は細動脈では50mm/s程度とされる一方、前記脈動・拍動は1~5mm/s程度と把握されている。このため、本技術に係る画像解析方法において、前記撮像対象Oの露光時間は、32ms以下とすることが好ましく、より好ましくは16.6ms以下であり、更に好ましくは3.33ms以下である。
例えば、撮像対象Oが脈動・拍動する心臓等の生体試料であって、スペックルを用いて当該生体試料に設けられた血管の状態を解析する場合、通常、血流速度は細動脈では50mm/s程度とされる一方、前記脈動・拍動は1~5mm/s程度と把握されている。このため、本技術に係る画像解析方法において、前記撮像対象Oの露光時間は、32ms以下とすることが好ましく、より好ましくは16.6ms以下であり、更に好ましくは3.33ms以下である。
(4)スペックル画像撮像工程
第一実施形態に係る画像解析方法では、前記光照射工程により得られた散乱光に基づいてスペックル画像を撮像するスペックル画像撮像工程を含む。
このスペックル画像撮像工程における撮像方法は特に限定されず、公知の撮像方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。例えば、CCD(Charge Coupled Device)や、グローバルシャッタ方式のCMOSセンサや、ローリングシャッタ方式のCMOSセンサ等の撮像素子を用いた撮像方法を挙げることができる。
第一実施形態に係る画像解析方法では、前記光照射工程により得られた散乱光に基づいてスペックル画像を撮像するスペックル画像撮像工程を含む。
このスペックル画像撮像工程における撮像方法は特に限定されず、公知の撮像方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。例えば、CCD(Charge Coupled Device)や、グローバルシャッタ方式のCMOSセンサや、ローリングシャッタ方式のCMOSセンサ等の撮像素子を用いた撮像方法を挙げることができる。
本技術に係る画像解析方法において、前記撮像素子として、グローバルシャッタ方式のCMOSセンサや、ローリングシャッタ方式のCMOSセンサを用いた場合、撮像素子における全画素が露光している状態を調整することができる。
すなわち、グローバルシャッタ方式のCMOSセンサを用いた場合には、全画素で露光開始と露光終了のタイミングを同時とすることができる。一方、ローリングシャッタ方式のCMOSセンサを用いた場合には、フレーム内で各画素の露光開始タイミングが少しずつずれるようになっている。このため、全画素が露光状態となっている時間が短くなる。
すなわち、グローバルシャッタ方式のCMOSセンサを用いた場合には、全画素で露光開始と露光終了のタイミングを同時とすることができる。一方、ローリングシャッタ方式のCMOSセンサを用いた場合には、フレーム内で各画素の露光開始タイミングが少しずつずれるようになっている。このため、全画素が露光状態となっている時間が短くなる。
(5)解析工程
第一実施形態に係る画像解析方法の解析工程では、例えば、前記スペックル撮像工程により撮像されたスペックル画像において、スペックルの強度分布を測定する。この測定結果を用いて、強度分布の標準偏差を強度分布の平均で割った値であるスペックルコントラストを測定する。
このようにスペックルコントラストを測定することにより、撮像対象Oを光散乱流体である血管とした場合、スペックルコントラストの変化を利用することで、血管造影を行うことができる。更には、スペックルは時間的に変動するため、血流の速度を解析することもできる。
尚、斯かる場合、スペックルの強度分布やスペックルコントラストの測定方法は、本技術の効果が損なわれない限り特に限定されず、公知の測定方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。
第一実施形態に係る画像解析方法の解析工程では、例えば、前記スペックル撮像工程により撮像されたスペックル画像において、スペックルの強度分布を測定する。この測定結果を用いて、強度分布の標準偏差を強度分布の平均で割った値であるスペックルコントラストを測定する。
このようにスペックルコントラストを測定することにより、撮像対象Oを光散乱流体である血管とした場合、スペックルコントラストの変化を利用することで、血管造影を行うことができる。更には、スペックルは時間的に変動するため、血流の速度を解析することもできる。
尚、斯かる場合、スペックルの強度分布やスペックルコントラストの測定方法は、本技術の効果が損なわれない限り特に限定されず、公知の測定方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。
(6)記憶工程
第一実施形態に係る画像解析方法は、必要に応じて、記憶工程を含んでいてもよい。
この記憶工程では、前記スペックル撮像工程にて撮像されたスペックル画像、前記解析工程により測定されたスペックルコントラストや前記解析工程による解析結果等を記憶する。
第一実施形態に係る画像解析方法は、必要に応じて、記憶工程を含んでいてもよい。
この記憶工程では、前記スペックル撮像工程にて撮像されたスペックル画像、前記解析工程により測定されたスペックルコントラストや前記解析工程による解析結果等を記憶する。
(7)表示工程
第一実施形態に係る画像解析方法は、必要に応じて、表示工程を含んでいてもよい。この表示工程では、前記スペックル撮像工程にて撮像されたスペックル画像、前記解析工程による解析結果等を例えばモニター等に表示する。
第一実施形態に係る画像解析方法は、必要に応じて、表示工程を含んでいてもよい。この表示工程では、前記スペックル撮像工程にて撮像されたスペックル画像、前記解析工程による解析結果等を例えばモニター等に表示する。
以上の工程を含む第一実施形態に係る画像解析方法によれば、前記同期工程を含むため、光源による照射と、前記スペックル画像の撮像とを同時に行うことができる。このため、例えば、前記撮像対象Oの露光時間が短く設定され、信号量が低下してしまうような場合であっても、十分な輝度を確保することができる。
更に、前記撮像対象Oの露光時間を32ms以下に設定した場合、前記撮像対象Oとして脈動・拍動を示す生体試料とし、流体として血流を解析するような場面では、前記生体試料の拍動・脈動を捉えることがなく、もって血流のみを捉えることができる。
また、グローバルシャッタ方式のCMOSを用いた場合、全画素が露光状態になっているタイミングを確保することが容易であり、且つ、画面全面で均一な露光量を確保することができる。
更に、前記撮像対象Oの露光時間を32ms以下に設定した場合、前記撮像対象Oとして脈動・拍動を示す生体試料とし、流体として血流を解析するような場面では、前記生体試料の拍動・脈動を捉えることがなく、もって血流のみを捉えることができる。
また、グローバルシャッタ方式のCMOSを用いた場合、全画素が露光状態になっているタイミングを確保することが容易であり、且つ、画面全面で均一な露光量を確保することができる。
<5.第二実施形態に係る画像解析方法>
第二実施形態に係る画像解析方法は、第一実施形態に係る画像解析方法と同様、変調工程、同期工程、光照射工程、スペックル画像撮像工程、解析工程、を含み、必要に応じて、記憶工程、表示工程を含んでいてもよい。
一方、第二実施形態に係る画像解析方法は、スペックル画像撮像工程において撮像素子としてローリングシャッタ方式のCMOSを用いる点、撮像対象Oの露光時間を変更する露光時間変更工程を含む点が、第一実施形態に係る画像解析方法と異なる。
以下の説明において、第一実施形態に係る画像解析方法と共通する工程に関してはその説明は省略する。
第二実施形態に係る画像解析方法は、第一実施形態に係る画像解析方法と同様、変調工程、同期工程、光照射工程、スペックル画像撮像工程、解析工程、を含み、必要に応じて、記憶工程、表示工程を含んでいてもよい。
一方、第二実施形態に係る画像解析方法は、スペックル画像撮像工程において撮像素子としてローリングシャッタ方式のCMOSを用いる点、撮像対象Oの露光時間を変更する露光時間変更工程を含む点が、第一実施形態に係る画像解析方法と異なる。
以下の説明において、第一実施形態に係る画像解析方法と共通する工程に関してはその説明は省略する。
(1)露光時間変更工程
第二実施形態に係る画像解析方法では、光照射工程によりレーザ光が照射された後、撮像対象Oの露光時間を変更する露光時間変更工程を行う。
ここで前述の如く、ローリングシャッタ方式のCMOSを用いた場合、フレーム内で各画素の露光開始タイミングが少しずつずれるようになっているため、全画素が露光状態となっている時間が短くなる。
従って、露光時間変更工程では、例えば、撮像対象Oの露光時間を2フレームに跨るように長時間に設定する処理を行う。このように、露光時間を長時間化することにより、撮像対象Oを露光する時間を1フレーム分とすることができる。
第二実施形態に係る画像解析方法では、光照射工程によりレーザ光が照射された後、撮像対象Oの露光時間を変更する露光時間変更工程を行う。
ここで前述の如く、ローリングシャッタ方式のCMOSを用いた場合、フレーム内で各画素の露光開始タイミングが少しずつずれるようになっているため、全画素が露光状態となっている時間が短くなる。
従って、露光時間変更工程では、例えば、撮像対象Oの露光時間を2フレームに跨るように長時間に設定する処理を行う。このように、露光時間を長時間化することにより、撮像対象Oを露光する時間を1フレーム分とすることができる。
以上のような第二実施形態に係る画像解析方法によれば、前記同期工程により、前記光源による照射と、前記スペックル画像の撮像とが同時に行うことができる。
このため、例えば、前記撮像対象Oの露光時間が短く設定され、信号量が低下してしまうような場合であっても、十分な輝度を確保することができる。
更に、前記撮像対象Oの露光時間を32ms以下に設定した場合、前記撮像対象Oとして脈動・拍動を示す生体試料とし、流体として血流を解析するような場面でも、前記生体試料の拍動・脈動を捉えることがなく、もって血流のみを捉えることができる。
より好ましくは、前記撮像対象Oの露光時間を16.6ms程度に設定すると、動き(拍動、振動)でのスペックルコントラスト低下はあるものの、十分に低下はしていないため血流によるコントラスト低下を捉えることができる。更に好ましくは、前記撮像対象Oの露光時間を3.33ms以下に設定すると、動き(拍動、振動)でのスペックルコントラスト低下はほとんど発生しないため、血流によるスペックルコントラスト低下をよりしっかりと捉えることができる。
このため、例えば、前記撮像対象Oの露光時間が短く設定され、信号量が低下してしまうような場合であっても、十分な輝度を確保することができる。
更に、前記撮像対象Oの露光時間を32ms以下に設定した場合、前記撮像対象Oとして脈動・拍動を示す生体試料とし、流体として血流を解析するような場面でも、前記生体試料の拍動・脈動を捉えることがなく、もって血流のみを捉えることができる。
より好ましくは、前記撮像対象Oの露光時間を16.6ms程度に設定すると、動き(拍動、振動)でのスペックルコントラスト低下はあるものの、十分に低下はしていないため血流によるコントラスト低下を捉えることができる。更に好ましくは、前記撮像対象Oの露光時間を3.33ms以下に設定すると、動き(拍動、振動)でのスペックルコントラスト低下はほとんど発生しないため、血流によるスペックルコントラスト低下をよりしっかりと捉えることができる。
なお、本技術に係る画像解析装置は、以下のような構成も取ることができる。
(1)
撮像対象に対して波長が制御されたレーザ光を照射する光源と、
前記光源から照射されるレーザ光の強度を変調する変調部と、
前記レーザ光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像部と、
前記光源による照射とスペックル画像撮像部による撮像とを同期させる同期部と、
前記スペックル画像撮像部により撮像されたスペックル画像を解析する解析部と、
を備える、画像解析装置。
(2)
更に、前記撮像対象の露光時間を制御する露光制御部と、を備える、(1)記載の画像解析装置。
(3)
前記光源は、前記撮像対象の露光時間内に前記レーザ光を照射する、(1)又は(2)に記載の画像解析装置。
(4)
前記露光制御部は、グローバルシャッタ方式である、(1)から(3)のいずれか一つに記載の画像解析装置。
(5)
前記露光制御部は、ローリングシャッタ方式である、(1)から(3)のいずれか一つに記載の画像解析装置。
(6)
前記撮像対象の露光時間は、32.2ms以下である、(1)から(5)のいずれか一つに記載の画像解析装置。
(7)
前記光源は、分布帰還型半導体レーザ光源、又は、グレーティングフィードバック型半導体レーザ光源である、(1)から(6)のいずれか一つに記載の画像解析装置。
(8)
撮像対象に対して波長が制御されたレーザ光を照射する光照射工程と、
前記レーザ光の強度を変調する変調工程と、
前記レーザ光の照射とスペックル画像撮像部による撮像とを同期させる同期工程と、
前記レーザ光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像工程と、
前記スペックル画像撮像部により撮像されたスペックル画像を解析する解析工程と、
を含む、画像解析方法。
(1)
撮像対象に対して波長が制御されたレーザ光を照射する光源と、
前記光源から照射されるレーザ光の強度を変調する変調部と、
前記レーザ光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像部と、
前記光源による照射とスペックル画像撮像部による撮像とを同期させる同期部と、
前記スペックル画像撮像部により撮像されたスペックル画像を解析する解析部と、
を備える、画像解析装置。
(2)
更に、前記撮像対象の露光時間を制御する露光制御部と、を備える、(1)記載の画像解析装置。
(3)
前記光源は、前記撮像対象の露光時間内に前記レーザ光を照射する、(1)又は(2)に記載の画像解析装置。
(4)
前記露光制御部は、グローバルシャッタ方式である、(1)から(3)のいずれか一つに記載の画像解析装置。
(5)
前記露光制御部は、ローリングシャッタ方式である、(1)から(3)のいずれか一つに記載の画像解析装置。
(6)
前記撮像対象の露光時間は、32.2ms以下である、(1)から(5)のいずれか一つに記載の画像解析装置。
(7)
前記光源は、分布帰還型半導体レーザ光源、又は、グレーティングフィードバック型半導体レーザ光源である、(1)から(6)のいずれか一つに記載の画像解析装置。
(8)
撮像対象に対して波長が制御されたレーザ光を照射する光照射工程と、
前記レーザ光の強度を変調する変調工程と、
前記レーザ光の照射とスペックル画像撮像部による撮像とを同期させる同期工程と、
前記レーザ光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像工程と、
前記スペックル画像撮像部により撮像されたスペックル画像を解析する解析工程と、
を含む、画像解析方法。
1、101、102、2、201、202、3 画像解析装置
11 光源
12 変調部
13 スペックル画像撮像部
14 同期部
15 解析部
16 記憶部
17 表示部
18 露光時間変更部
113 露光制御部
O 撮像対象
11 光源
12 変調部
13 スペックル画像撮像部
14 同期部
15 解析部
16 記憶部
17 表示部
18 露光時間変更部
113 露光制御部
O 撮像対象
Claims (8)
- 撮像対象に対して波長が制御されたレーザ光を照射する光源と、
前記レーザ光の強度を変調する変調部と、
前記レーザ光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像部と、
前記レーザ光の照射とスペックル画像撮像部による撮像とを同期させる同期部と、
前記スペックル画像撮像部により撮像されたスペックル画像を解析する解析部と、
を備える、画像解析装置。 - 更に、前記撮像対象の露光時間を制御する露光制御部と、を備える、請求項1記載の画像解析装置。
- 前記光源は、前記撮像対象の露光時間内に前記レーザ光を照射する、請求項2記載の画像解析装置。
- 前記露光制御部は、グローバルシャッタ方式である、請求項3記載の画像解析装置。
- 前記露光制御部は、ローリングシャッタ方式である、請求項3記載の画像解析装置。
- 前記撮像対象の露光時間は、32.2ms以下である、請求項4又は5に記載の画像解析装置。
- 前記光源は、分布帰還型半導体レーザ光源、又は、グレーティングフィードバック型半導体レーザ光源である、請求項6記載の画像解析装置。
- 撮像対象に対して波長が制御されたレーザ光を照射する光照射工程と、
前記レーザ光の強度を変調する変調工程と、
前記レーザ光の照射とスペックル画像撮像部による撮像とを同期させる同期工程と、
前記レーザ光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像工程と、
前記スペックル画像撮像部により撮像されたスペックル画像を解析する解析工程と、
を含む、画像解析方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201780018316.5A CN108882881B (zh) | 2016-03-25 | 2017-01-11 | 图像分析设备和图像分析方法 |
US16/085,850 US20190099089A1 (en) | 2016-03-25 | 2017-01-11 | Image analysis apparatus and image analysis method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-062751 | 2016-03-25 | ||
JP2016062751A JP2017170064A (ja) | 2016-03-25 | 2016-03-25 | 画像解析装置、画像解析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017163542A1 true WO2017163542A1 (ja) | 2017-09-28 |
Family
ID=59901052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/000570 WO2017163542A1 (ja) | 2016-03-25 | 2017-01-11 | 画像解析装置、画像解析方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190099089A1 (ja) |
JP (1) | JP2017170064A (ja) |
CN (1) | CN108882881B (ja) |
WO (1) | WO2017163542A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220022728A1 (en) * | 2018-12-04 | 2022-01-27 | Sony Group Corporation | Medical system, information processing device, and information processing method |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL267975B2 (en) * | 2017-02-15 | 2024-04-01 | Continuse Biometrics Ltd | remote sensing system and method |
US20200037896A1 (en) * | 2018-08-03 | 2020-02-06 | Guillermo Aguilar-Mendoza | Optical flow analysis method and detection device |
JPWO2020045014A1 (ja) * | 2018-08-28 | 2021-08-12 | ソニーグループ株式会社 | 医療システム、情報処理装置及び情報処理方法 |
JP7432134B2 (ja) | 2019-04-22 | 2024-02-16 | 大日本印刷株式会社 | 光学測定装置および光学測定方法 |
CN110505402B (zh) * | 2019-08-19 | 2021-03-23 | Oppo广东移动通信有限公司 | 控制方法、深度相机和电子装置 |
CN112229822B (zh) * | 2020-08-25 | 2022-05-13 | 西安电子科技大学 | 对流动液体内多目标的反射式单帧散射成像装置及方法 |
CN114459592A (zh) * | 2022-01-21 | 2022-05-10 | 厦门大学 | 一种基于卷帘快门式cmos的激光散斑微振动测量系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010532699A (ja) * | 2007-07-06 | 2010-10-14 | インダストリアル リサーチ リミテッド | レーザスペックル画像化システム及び方法 |
JP2012100835A (ja) * | 2010-11-09 | 2012-05-31 | Fujifilm Corp | 内視鏡装置 |
WO2014152753A1 (en) * | 2013-03-15 | 2014-09-25 | East Carolina University | Methods, systems and computer program products for non-invasive determination of blood flow distribution using speckle imaging techniques and hemodynamic modeling |
JP2015527096A (ja) * | 2012-06-13 | 2015-09-17 | コーニンクレッカ フィリップス エヌ ヴェ | 表面波の伝播速度の決定 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5988598B2 (ja) * | 2012-01-31 | 2016-09-07 | キヤノン株式会社 | 被検体情報取得装置および被検体情報取得方法 |
-
2016
- 2016-03-25 JP JP2016062751A patent/JP2017170064A/ja active Pending
-
2017
- 2017-01-11 CN CN201780018316.5A patent/CN108882881B/zh active Active
- 2017-01-11 WO PCT/JP2017/000570 patent/WO2017163542A1/ja active Application Filing
- 2017-01-11 US US16/085,850 patent/US20190099089A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010532699A (ja) * | 2007-07-06 | 2010-10-14 | インダストリアル リサーチ リミテッド | レーザスペックル画像化システム及び方法 |
JP2012100835A (ja) * | 2010-11-09 | 2012-05-31 | Fujifilm Corp | 内視鏡装置 |
JP2015527096A (ja) * | 2012-06-13 | 2015-09-17 | コーニンクレッカ フィリップス エヌ ヴェ | 表面波の伝播速度の決定 |
WO2014152753A1 (en) * | 2013-03-15 | 2014-09-25 | East Carolina University | Methods, systems and computer program products for non-invasive determination of blood flow distribution using speckle imaging techniques and hemodynamic modeling |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220022728A1 (en) * | 2018-12-04 | 2022-01-27 | Sony Group Corporation | Medical system, information processing device, and information processing method |
Also Published As
Publication number | Publication date |
---|---|
JP2017170064A (ja) | 2017-09-28 |
US20190099089A1 (en) | 2019-04-04 |
CN108882881A (zh) | 2018-11-23 |
CN108882881B (zh) | 2022-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017163542A1 (ja) | 画像解析装置、画像解析方法 | |
US10194803B2 (en) | Control apparatus, measurement apparatus, control method, and storage medium | |
WO2017168984A1 (ja) | 撮像装置、撮像方法 | |
CN109124615B (zh) | 一种可选区高动态激光散斑血流成像装置及方法 | |
JP6394367B2 (ja) | 流体分析装置、流体分析方法、プログラム及び流体分析システム | |
JP6798511B2 (ja) | 撮像装置及び撮像システム | |
US10362933B2 (en) | Ophthalmologic apparatus, tomographic image generation method, and program that determine an imaging region for capturing a plurality of tomographic images for generating an averaged tomographic image | |
EP3385723B1 (en) | Information processing device, speckle imaging system, and information processing method | |
US9095255B2 (en) | Method and device for locating function-supporting tissue areas in a tissue region | |
US11025812B2 (en) | Imaging apparatus, imaging method, and imaging system | |
JP2009008393A (ja) | 光画像計測装置 | |
WO2018207471A1 (ja) | 制御装置、制御システム、制御方法、及びプログラム | |
JP6507509B2 (ja) | 流路撮像装置及び流路撮像方法 | |
US20180321081A1 (en) | Speckle imaging device, speckle imaging system, and speckle imaging method | |
JPWO2018211982A1 (ja) | 画像処理装置および方法、並びに画像処理システム | |
JP2020086204A (ja) | 光画像計測装置、光画像計測方法 | |
Santorelli et al. | Multi-exposure speckle imaging for quantitative evaluation of cortical blood flow | |
WO2017134907A1 (ja) | 撮像システム、撮像装置、撮像方法 | |
JP2022044838A (ja) | 眼科装置及びデータ収集方法 | |
WO2023114124A1 (en) | Interferometer-based synthetic multi-exposure speckle imaging (symesi) method and system | |
KR102398853B1 (ko) | 광간섭 신호 기반 산란 매체의 체적 운동 측정 방법, oct 신호의 보상 방법, 및 이를 수행하는 oct 장치 | |
WO2024148009A2 (en) | System and methods for fiber-based laser speckle imaging | |
JP2021032708A (ja) | 生体組織の識別方法、生体組織識別装置、生体組織識別プログラムおよび記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17769589 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17769589 Country of ref document: EP Kind code of ref document: A1 |