WO2018211902A1 - 制御装置、制御方法、及びプログラム - Google Patents

制御装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2018211902A1
WO2018211902A1 PCT/JP2018/015959 JP2018015959W WO2018211902A1 WO 2018211902 A1 WO2018211902 A1 WO 2018211902A1 JP 2018015959 W JP2018015959 W JP 2018015959W WO 2018211902 A1 WO2018211902 A1 WO 2018211902A1
Authority
WO
WIPO (PCT)
Prior art keywords
speckle
size
image
contrast
observation
Prior art date
Application number
PCT/JP2018/015959
Other languages
English (en)
French (fr)
Inventor
藤田 五郎
哲朗 桑山
健 松井
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/611,516 priority Critical patent/US11050931B2/en
Priority to JP2019519140A priority patent/JP7156275B2/ja
Publication of WO2018211902A1 publication Critical patent/WO2018211902A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/815Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • A61B5/02014Determining aneurysm
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present technology relates to a control device, a control method, and a program that can be applied to observation of a living tissue.
  • Patent Document 1 describes a diffusion speckle contrast analysis (sDSCA) system in a spatial domain.
  • sDSCA diffusion speckle contrast analysis
  • laser light irradiated in a sample is scattered by the movement of a particle (blood flow) distributed in the sample, and a speckle pattern is generated on the sample surface.
  • a speckle pattern is photographed through a relay optical system directed to a predetermined photographing position on the sample surface.
  • the speckle contrast is calculated from the captured image, and the flow velocity of the blood flow flowing through the sample is calculated.
  • an object of the present technology is to provide a control device, a control method, and a program capable of observing a living tissue with high accuracy by performing optimal calculation processing even when imaging conditions of the camera change. It is to provide.
  • a control device includes an acquisition unit, a block control unit, and a calculation unit.
  • the acquisition unit acquires an image signal of a living tissue imaged by irradiation with laser light.
  • the block control unit controls the size of the pixel block based on an imaging condition for imaging the living tissue.
  • the calculation unit calculates speckle data based on the acquired image signal using the pixel block whose size is controlled.
  • an image signal of a living tissue imaged by irradiation with laser light is acquired.
  • the size of the pixel block is controlled based on the imaging condition of the living tissue, and speckle data is calculated from the image signal of the living tissue using this pixel block.
  • speckle data according to the imaging conditions can be calculated, and even when the imaging conditions of the camera are changed, the biological tissue can be observed with high accuracy by performing optimal calculation processing.
  • the control device may further include a generation unit that generates an observation image of the living tissue based on the speckle data. This makes it possible to observe the distribution and intensity of blood flow in the living tissue with high accuracy.
  • the speckle data may include speckle contrast.
  • the generation unit may generate the observation image based on the speckle contrast. This makes it possible to observe the blood flow and the like in the living tissue with high accuracy based on the speckle contrast.
  • the imaging condition may include a condition relating to at least one of an F value (aperture value) and an optical magnification of an imaging system that images the living tissue.
  • an F value aperture value
  • an optical magnification of an imaging system that images the living tissue As a result, the size of the pixel block can be appropriately controlled according to the magnification and brightness at which the living tissue is imaged, and high-precision observation can be realized.
  • the block control unit may calculate a speckle size predicted based on the imaging condition, and control the size of the pixel block based on the calculated speckle size. Thereby, the size of the pixel block can be controlled in accordance with the speckle size, and desired speckle data can be calculated.
  • the control device may further include a storage unit that stores a control table in which the imaging condition and the size of the pixel block are associated with each other.
  • the block control unit can easily control the size of the pixel block using the control table, and can reduce the load required for the processing.
  • the block control unit may control the size of the pixel block so that a predetermined display parameter related to display luminance of the observation image is maintained substantially constant. Thereby, for example, it becomes possible to observe the living tissue while keeping the brightness of the living tissue displayed in the observation image substantially constant, and the living tissue can be observed with high accuracy.
  • the control apparatus may further include a mode reception unit that receives selection of an image quality mode related to the image quality of the observation image.
  • the block control unit may control the size of the pixel block according to the selected image quality mode. For example, speckle contrast is calculated according to the image quality mode, and an observation image can be generated with a desired image quality. This makes it possible to observe the living tissue with high accuracy.
  • the mode reception unit may receive an image quality mode related to a display resolution of the observation image. Thereby, for example, an observation image can be generated at a display resolution level corresponding to the image quality mode. This makes it possible to observe the living tissue with high accuracy.
  • the mode receiving unit may receive each of a plurality of different image quality modes.
  • the block control unit adjusts the size of the pixel block so that a predetermined display parameter related to the display brightness of the observation image is maintained substantially constant in a different range for each of the plurality of image quality modes. You may control.
  • the display brightness of the observation image can be kept substantially constant within a desired display resolution range.
  • the living tissue can be observed with sufficiently high accuracy.
  • the plurality of image quality modes may include a first image quality mode that prioritizes the display luminance and a second image quality mode that prioritizes the display resolution among the display luminance and display resolution of the observation image.
  • the storage unit may store the control table that stores a correspondence relationship between the imaging condition, the size of the pixel block, and an image quality mode related to an image quality of the observation image.
  • the block control unit can easily control the size of the pixel block corresponding to the image quality mode using the control table, and the processing speed can be improved.
  • the control table may be generated using a predetermined calibration object. As a result, the control table can be properly calibrated, and the living tissue can be observed with sufficiently high accuracy.
  • the block control unit may control the size of the pixel block according to the thickness of a blood vessel in the imaging range of the living tissue. Thereby, for example, it is possible to generate an observation image with an image quality matching the thickness of the blood vessel. As a result, the burden on the user is reduced and the operability can be greatly improved.
  • the control device may be configured as an endoscope or a microscope. Thereby, it becomes possible to improve the observation accuracy of the living tissue using an endoscope, a microscope, or the like.
  • a control method is a control method executed by a computer system, and includes acquiring an image signal of a living tissue imaged by irradiation with a laser beam.
  • the size of the pixel block is controlled based on the imaging conditions for imaging the living tissue. Speckle data based on the acquired image signal is calculated using the pixel block whose size is controlled.
  • a program causes a computer system to execute the following steps. Obtaining an image signal of a living tissue imaged by irradiation with a laser beam; Controlling a size of a pixel block based on an imaging condition for imaging the living tissue. Calculating speckle data based on the acquired image signal using the pixel block of which the size is controlled;
  • FIG. 1 is a block diagram illustrating a configuration example of an observation system according to an embodiment of the present technology.
  • the observation system 100 is used for, for example, observation of an operative field in a surgical operation or observation of a patient's body in an internal medicine diagnosis.
  • this technique is applicable when observing an arbitrary living tissue.
  • the observation system 100 includes a laser irradiation unit 10, a camera 20, and a controller 30.
  • the laser irradiation unit 10 is arranged toward the observation site 2 of the patient 1 and irradiates the observation site 2 with the laser beam 11.
  • the laser beam 11 is scattered and reflected to form a bright and dark spot pattern called speckle.
  • FIG. 1 schematically shows a laser beam 11 irradiated toward the head (observation site 2) of the patient 1.
  • the observation site 2 of the patient 1 corresponds to a living tissue in this embodiment.
  • the laser irradiation unit 10 can irradiate the entire observation region 2 with a laser beam 11 having a predetermined wavelength generated by, for example, a laser light source (not shown). Accordingly, a speckle pattern is formed on the entire observation region 2.
  • the method of irradiating the laser beam 11 is not limited.
  • a beam expander that expands the light beam (beam) of the laser beam 11 or a refractive lens that expands the irradiation region may be used as appropriate.
  • the camera 20 includes a lens unit 21 and an imaging unit 22 connected to the lens unit 21.
  • the camera 20 is arranged so that the lens unit 21 faces the observation region 2 of the patient 1 and images the observation region 2 irradiated with the laser light 11.
  • the camera 20 is configured as a CHU (CameraUHead Unit), for example, and is connected to the controller 30 via a predetermined interface or the like. In the present embodiment, the camera 20 corresponds to an imaging system.
  • CHU CameraUHead Unit
  • the lens unit 21 has an optical zoom function.
  • the lens unit 21 generates an optical image of the observation region 2 optically enlarged or reduced by controlling imaging parameters such as an F value (aperture value) and an optical magnification.
  • imaging parameters such as an F value (aperture value) and an optical magnification.
  • a specific configuration for realizing the optical zoom function is not limited. For example, automatic zooming by electronic control, manual zooming, and the like may be appropriately executed.
  • the imaging unit 22 captures the optical image generated by the lens unit 21 and generates an image signal of the observation site 2.
  • the image signal is a signal that can form an image.
  • the image signal includes information such as a luminance value for each pixel.
  • the type and format of the image signal are not limited, and any format that can form a moving image or a still image may be used, for example.
  • an image sensor such as a CMOS (Complementary Metal-Oxide Semiconductor) sensor or a CCD (Charge Coupled Device) sensor is used.
  • the controller 30 has hardware necessary for the configuration of the computer, such as a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and an HDD (Hard Disk Drive).
  • the controller 30 corresponds to a control device.
  • Each function block shown in FIG. 1 is realized by the CPU loading and executing the program according to the present technology stored in the ROM or HDD into the RAM. And the control method which concerns on this technique is performed by these functional blocks.
  • the program is installed in the controller 30 through various recording media, for example.
  • the program may be installed via the Internet or the like.
  • the specific configuration of the controller 30 is not limited.
  • a device such as an FPGA (Field Programmable Gate Array), an image processing IC (Integrated Circuit), or an ASIC (Application Specific Integrated Circuit) may be used.
  • FPGA Field Programmable Gate Array
  • image processing IC Integrated Circuit
  • ASIC Application Specific Integrated Circuit
  • the controller 30 includes a light source control unit 31, an image acquisition unit 32, a camera control unit 33, a UI acquisition unit 34, a block control unit 35, and a speckle calculation unit 36 as functional blocks.
  • a processing size table 38 is stored in a storage unit 37 configured by a ROM or the like of the controller 30. In order to realize each functional block, dedicated hardware may be used as appropriate.
  • the light source control unit 31 controls the irradiation intensity of the laser beam 11 emitted from the laser irradiation unit 10.
  • the light source control unit 31 acquires information on the irradiation intensity of the laser light 11 specified by an operator who operates the observation system 100, for example.
  • the light source control unit 31 outputs an instruction to the laser irradiation unit 10 to output the laser light 11 with the specified irradiation intensity. This makes it possible to irradiate the laser beam 11 with the irradiation intensity desired by the operator.
  • the method for controlling the irradiation intensity of the laser beam 11 is not limited.
  • the irradiation intensity of the laser beam 11 may be appropriately controlled according to the exposure time of the camera 20 or the like.
  • the light source control unit 31 may appropriately control not only the irradiation intensity of the laser light 11 but also arbitrary parameters such as the wavelength of the laser light 11 and the irradiation region.
  • the image acquisition unit 32 acquires an image signal generated by the camera 20. That is, the image acquisition unit 32 acquires an image signal of the observation region 2 that is captured by being irradiated with the laser light 11.
  • the image signal acquired by the image acquisition unit 32 is output to the speckle calculation unit 36.
  • the image acquisition unit 32 corresponds to an acquisition unit.
  • the camera control unit 33 is connected to the camera 20 via an interface or the like, and controls the operation of the camera 20.
  • the camera control unit 33 outputs, for example, a signal for designating the zoom amount (optical magnification), aperture, or exposure time of the camera 20 to the camera 20.
  • the camera 20 images the observation region 2 based on the signal output from the camera control unit 33. As a result, the operation of the camera 20 can be electronically controlled.
  • the camera control unit 33 acquires imaging parameters for imaging with respect to the observation region 2.
  • the imaging parameters include the F value (aperture value) of the lens unit 21 (camera 20), the optical magnification, and the like. Imaging parameters acquired by the camera control unit 33 are output to the block control unit 35.
  • the imaging parameter corresponds to the imaging condition.
  • the camera control unit 33 acquires imaging parameters such as the optical magnification or the aperture after the change.
  • the timing for acquiring the imaging parameters is not limited, and for example, the imaging parameters of the camera 20 may be constantly monitored by the camera control unit 33.
  • the UI acquisition unit 34 acquires an instruction or the like input by an operator via a user interface (UI) (not shown).
  • UI user interface
  • a display device such as a display and an input device such as a mouse and a keyboard are used as appropriate.
  • the operator inputs an instruction using the input device while looking at the operation screen displayed on the display device, for example.
  • the type of the user interface is not limited, and for example, a display provided with a touch sensor, a foot switch, a control switch at hand, or the like may be used.
  • the UI acquisition unit 34 receives selection of an image quality mode related to the image quality of an observation image, which will be described later. That is, the UI acquisition unit 34 acquires information about which image quality mode is the image quality mode selected (instructed) by the operator. The instruction regarding the image quality mode acquired by the UI acquisition unit 34 is output to the block control unit 35. In the present embodiment, the UI acquisition unit 34 functions as a mode reception unit.
  • the content of the instruction acquired by the UI acquisition unit 34 is not limited.
  • an instruction regarding the irradiation intensity of the laser irradiation unit 10 described above, an instruction regarding the optical magnification of the camera 20, or the like may be appropriately acquired.
  • various instructions regarding the observation system 100 may be acquired by the UI acquisition unit 34.
  • the block control unit 35 includes a predicted speckle size calculation unit 40 and a processing size control unit 41.
  • the predicted speckle size calculation unit 40 calculates the speckle size based on the imaging parameter input from the camera control unit 33.
  • the speckle size is the size of each speckle forming the speckle.
  • the speckle size changes according to the imaging system that images the speckle pattern.
  • F # is the F value of the lens unit 21
  • M is the optical magnification M of the lens unit 21
  • is the wavelength of the irradiated laser beam 11.
  • this formula may be referred to as a speckle size calculation formula.
  • the speckle size calculation unit 40 calculates the speckle size d using the speckle size calculation formula based on the F value F # and the optical magnification M included in the imaging parameter. Therefore, the predicted speckle size calculation unit 40 can calculate the speckle size d in the speckle pattern being imaged.
  • the calculated speckle size d is output to the processing size control unit 41.
  • the speckle size to be calculated is a predicted value, it is confirmed that the speckle size almost matches the actually measured value as shown in FIG.
  • the method of calculating the speckle size d based on the imaging parameters is not limited, and the speckle size d may be calculated by other methods.
  • the speckle size d may be calculated by expressing the F value F # from the focal length based on the aperture size of the lens unit 21 at the stop position.
  • any method that can calculate the speckle size d may be used.
  • the processing size control unit 41 controls the size (cell size) of a cell that is a pixel block.
  • the cell is a rectangular block composed of, for example, m ⁇ n pixels, and is used when calculating speckle contrast from an image signal.
  • the number of pixels (m ⁇ n) in (horizontal ⁇ vertical) corresponds to the cell size.
  • the shape of the cell or the like is not limited, and for example, a cell having an arbitrary shape may be used. The cell and speckle contrast will be described in detail later.
  • the process size control unit 41 controls the cell size based on the speckle size d calculated by the predicted speckle size calculation unit 40.
  • the processing size control unit 41 controls the cell size according to the image quality mode acquired by the UI acquisition unit 34. Therefore, the cell size controlled by the processing size control unit 41 is a size corresponding to the speckle size d and the image quality mode.
  • the processing size table 38 when the cell size is controlled, the processing size table 38 stored in the storage unit 37 is used.
  • the processing size table 38 records the correspondence between the speckle size d, the image quality mode, and the cell size.
  • the processing size control unit 41 acquires the calculated speckle size d and the cell size value corresponding to the designated image quality mode from the processing size table 38. This makes it possible to easily control the cell size.
  • the processing size table 38 corresponds to a control table.
  • the block control unit 35 calculates the speckle size based on the imaging parameter, and controls the cell size based on the calculated speckle size. That is, the block control unit 35 controls the size of the cell based on the imaging parameters for imaging the observation region 2.
  • the speckle calculation unit 36 calculates speckle data based on the image signal acquired by the image acquisition unit 32 using the cell whose size is controlled by the processing size control unit 41 (block control unit 35).
  • the speckle data is data relating to the speckle pattern of the observation site 2.
  • the speckle data is calculated by appropriately processing information such as the luminance value of each pixel included in the image signal, for example.
  • the speckle calculation unit 36 calculates the speckle contrast as speckle data.
  • the average, variance, standard deviation, and the like of luminance values in the speckle pattern may be calculated as speckle data.
  • the calculated speckle data can be output to the processing size control unit 41 and the processing size table 38 and used for calibration of the processing size table 38 and the like.
  • the speckle calculation unit 36 generates an observation image of the observation region 2 based on the calculated speckle contrast.
  • the generated observation image is output to a display device such as a display (not shown).
  • the speckle calculation unit 36 functions as a calculation unit and a generation unit.
  • FIG. 2 and 3 are schematic diagrams for explaining an example of calculating speckle contrast.
  • the luminance values of the pixels 43 included in the 3 ⁇ 3 cells 42 are schematically illustrated by light and dark.
  • the speckle contrast Cs is given by the following equation using the standard deviation ⁇ and the average value A of the luminance value I (m, n) of each pixel 43 included in the cell 42.
  • Cs ⁇ / A
  • the standard deviation ⁇ and the average value A of the luminance value I (m, n) are given by the following equations.
  • Stdev (I (m, n)) Sqrt (( ⁇ [I (m, n) ⁇ Ave] ⁇ 2) / N)
  • the summation symbol ⁇ represents a sum related to the luminance values of all the pixels 43 in the cell 42.
  • a variance ⁇ ⁇ 2 of the luminance value I (m, n) may be used instead of the standard deviation ⁇ . Further, the difference (I max (m, n) ⁇ I min (m, n)) between the maximum value and the minimum value of the luminance value I (m, n) in the cell 42 may be used as the speckle contrast Cs. .
  • FIG. 3A shows an example of processing for calculating speckle contrast Cs using 3 ⁇ 3 cells 42.
  • the position of the upper left pixel 43 of the image 44 is set to coordinates (0, 0).
  • the speckle calculation unit 36 first sets a cell 42 a including the upper left pixel 43. In this case, the cell 42a centering on the pixel 43 at the coordinates (1, 1) is set (step 1A).
  • the speckle calculation unit 36 calculates the speckle contrast Cs (1, 1) in the cell 42a centered on the coordinates (1, 1). That is, Cs (1, 1) is calculated from the luminance values of the center pixel 43 and the eight pixels 43 around it. The calculated speckle contrast Cs (1, 1) is recorded as the speckle contrast Cs corresponding to the pixel 43 at the coordinates (1, 1) (step 1B).
  • the speckle calculation unit 36 sets the cell 42b centered on the coordinate (2, 1) moved by one pixel in the right direction from the coordinate (1, 1) (step 2A).
  • the speckle calculation unit 36 calculates the speckle contrast Cs (2, 1) in the cell 42b and records it as the speckle contrast Cs of the pixel 43 at the coordinates (2, 1) (step 2B).
  • the method for calculating the speckle contrast Cs using the cell 42 is not limited.
  • the calculated speckle contrast Cs may be assigned to another pixel 43 different from the central pixel 43 in the cell 42.
  • the amount, direction, order, and the like for moving the cell 42 are not limited, and may be appropriately changed according to, for example, the processing time required for image processing.
  • FIG. 3B schematically shows an overall image of the process for calculating the speckle contrast Cs.
  • the diagram on the left side of FIG. 3B is a schematic diagram of an image (camera input image 50) captured by the camera 20.
  • the speckle calculation unit 36 starts the speckle contrast Cs calculation process from the upper left of the camera input image 50.
  • the original image for calculating the speckle contrast Cs that is, the camera input image 50 is referred to as a speckle image 50.
  • the speckle calculation unit 36 generates a speckle contrast image 60 that becomes an observation image based on the calculated speckle contrast Cs.
  • the diagram on the right side of FIG. 3B is a schematic diagram of the speckle contrast image 60.
  • Speckle contrast image 60 is generated by converting the value of speckle contrast Cs into a luminance value.
  • a bright luminance value is set for a pixel having a high speckle contrast Cs value
  • a dark luminance value is set for a pixel having a low Cs value.
  • a method for converting the speckle contrast Cs into a luminance value is not limited, and an arbitrary method may be used. For example, a luminance value in which brightness is inverted with respect to the level of speckle contrast Cs may be set.
  • the range (effective area) of the pixels 43 used for display is smaller than that in the speckle image 50.
  • Effective area (1920 ⁇ (m ⁇ 1) / 2) ⁇ (1080 ⁇ (n ⁇ 1) / 2)
  • a predetermined luminance value is set and used as a margin.
  • FIG. 4 is a diagram for explaining the characteristics of the speckle pattern.
  • the image shown in the upper right of FIG. 4 is an original image (speckle image 50a) captured by irradiating the observation target in a stationary state with the laser beam 11.
  • the image shown in the upper left is an original image (speckle image 50b) captured by irradiating the observation target in a moving state with the laser beam 11.
  • the phase of the laser light 11 (reflected light) reflected by the observation target changes randomly.
  • Bright and dark speckle patterns are formed by the laser beams 11 whose phases are random interfering with each other.
  • the position where the interference occurs is stable, so that a clear speckle pattern is formed as shown in the right speckle image 50a.
  • the position where interference occurs changes, the speckle pattern light and dark patterns change, and as a result of integration during the exposure time, the light and dark contrast decreases.
  • the degree to which the contrast between light and darkness decreases is a value corresponding to the amount of movement of the camera 20 within the exposure time, for example. That is, a decrease in contrast between light and dark becomes an index reflecting the speed.
  • FIG. 4 is a graph showing the luminance distribution in the speckle images 50a and 50b in a stationary state and a moving state.
  • the horizontal axis of the graph is the luminance value
  • the vertical axis is the number of pixels (distribution) of each luminance value.
  • the luminance distributions in the speckle images 50a and 50b in the stationary state and the moving state are shown by dotted lines and solid lines, respectively.
  • the speckle image 50a in a stationary state is an image having a wide brightness difference between a bright pixel and a dark pixel and a large contrast between light and dark.
  • the speckle image 50b in the moving state is an image with a small brightness difference between a bright pixel and a dark pixel and a small contrast between light and dark.
  • is a normalization factor
  • the correlation time ⁇ is inversely proportional to the average blood flow velocity v ( ⁇ ⁇ 1 / v).
  • the contrast between light and dark decreases as the moving speed of the observation target increases.
  • the width of the luminance distribution at a site where blood flow is present in a biological tissue or the like corresponds to the blood flow velocity.
  • the blood flow velocity can also be expressed by speckle contrast calculated based on the standard deviation of the luminance distribution.
  • the average luminance (average reflectance) of the laser light 11 reflected by the observation target is substantially the same regardless of whether the observation target is in a moving state or a stationary state. Accordingly, the luminance distribution in each state is a distribution centered on substantially the same luminance value (average reflectance).
  • FIG. 5 is a schematic diagram showing an example of a speckle image.
  • FIG. 5 schematically shows a speckle image 50 of the blood vessel phantom 70 imaged by irradiating the laser beam 11.
  • the region where the blood flow inside the blood vessel phantom is fast and the region where the blood flow is slow are shown in different colors.
  • the right blood vessel 71a is branched into upper and lower blood vessels 71b and 71c at the branch point in the center of the image.
  • An aneurysm 72 is formed at the bifurcation point, and a blood flow 74 of the aneurysm 72 is blocked using a blood vessel clip 73.
  • a blood flow 74 flowing from the right side to the left side is schematically shown. Blood is accumulated inside the aneurysm 72.
  • FIG. 6 is a graph showing the luminance distribution of the speckle image 50 shown in FIG.
  • a graph representing the luminance distribution in the blood vessel (lower blood vessel 71b) through which blood flows is shown on the right side of FIG. 6, and a graph representing the luminance distribution in the aneurysm 72 is shown on the left side of FIG. Has been.
  • Each graph is a result of the luminance distribution in the partial regions 75 and 76 on the lower blood vessel 71 b and the aneurysm 72.
  • the lower blood vessel 71b is in a moving state because the blood moves inside. Therefore, as shown in the graph on the right side of FIG. 6, the width of the luminance distribution in the lower blood vessel 71b is narrowed, and the contrast between light and dark is suppressed.
  • the aneurysm 72 is in a stationary state where blood is accumulated. Therefore, as shown in the graph on the left side of FIG. 6, the width of the luminance distribution in the aneurysm 72 becomes wider and the contrast between light and dark becomes larger.
  • the lower blood vessel 71b and the aneurysm 72 are both made of the same material, and the average luminance (23.52) in the lower blood vessel 71b and the average luminance (23.82) in the aneurysm 72 are substantially the same. Similar value. As described above, the part in the moving state and the part in the stationary state have the same average luminance, but have a difference in the luminance distribution, that is, the contrast between the light and dark.
  • FIG. 7 is a schematic diagram showing an example of a speckle contrast image.
  • FIG. 7A schematically shows a speckle contrast image 60a generated using a 3 ⁇ 3 cell 42.
  • the speckle contrast image 60a is generated using, for example, the speckle image 50 described in FIG.
  • the speckle contrast image 60a a portion where blood flows in the blood vessel 71 has a dark luminance, and a portion where blood in the aneurysm 72 is accumulated has a luminance that is brighter than that of the blood flow portion. Therefore, the blood vessel 71 (blood flow portion) and the aneurysm 72 (reserved portion) are displayed with different brightness.
  • a speckle contrast image 60a in which the blood vessel 71 is displayed brightly and the aneurysm 72 is displayed darkly and the lightness and darkness are reversed may be generated.
  • the value of the speckle contrast Cs is a value proportional to the standard deviation ⁇ of the luminance value I (m, n) of each pixel 43 included in the cell 42.
  • the standard deviation ⁇ of the luminance value I (m, n) is large, and the value of the speckle contrast Cs is also large.
  • the value of speckle contrast Cs is also small.
  • the speckle contrast Cs is calculated according to the contrast of the surrounding light and dark (the width of the luminance distribution).
  • a speckle contrast image 60a is generated by converting the calculated speckle contrast Cs into a luminance value. Therefore, the brightness (luminance value) of each pixel 43 of the speckle contrast image 60a is a value corresponding to the contrast of light and dark surrounding each pixel 43.
  • a portion with a high contrast between light and dark (a portion where speckle is clear) and a portion with a low contrast (a portion where speckle is difficult to identify) are displayed with different brightness. That is, in the speckle contrast image 60a, the moving blood vessel 71 and the stationary aneurysm 72 can be visually expressed by the difference in brightness.
  • FIG. 7B schematically shows a speckle contrast image 60b generated using 31 ⁇ 31 cells.
  • the size of the cell 42 is increased, the value of the speckle contrast Cs calculated for each pixel is smoothed.
  • the speckle contrast Cs of each pixel 43 is calculated to be substantially equal to each other.
  • the speckle contrast Cs of each pixel 43 is also calculated to be substantially equal to each other in the aneurysm 72 (the portion where it has accumulated). Therefore, as compared with the left speckle contrast image 60a, each of the blood vessel 71 and the aneurysm 72 is displayed with substantially uniform brightness.
  • FIG. 8 is a graph showing the relationship between cell size and speckle contrast.
  • the relationship between the cell size and the value of the speckle contrast Cs calculated for each cell size is schematically shown.
  • the moving part (blood vessel 71) in the speckle image 50 having a low contrast between light and dark is referred to as a low contrast part 51.
  • a stationary portion (aneurysm 72) having a high contrast between light and dark is referred to as a high contrast portion 52.
  • the graph indicated by the dotted line is the maximum value 53a, the average value 53b, and the minimum value 53c of the speckle contrast Cs calculated by the low contrast portion 51.
  • a graph indicated by a solid line is the maximum value 54a, the average value 54b, and the minimum value 54c of the speckle contrast Cs calculated by the high contrast portion 52.
  • the spatial resolution 55 of the speckle contrast image corresponding to the cell size is schematically shown by a one-dot chain line.
  • the interval between the maximum value 54a and the minimum value 54b of the high contrast portion 52 is wide, and various speckle contrast Cs values are calculated.
  • the maximum value 54a gradually increases.
  • the minimum value 54b increases toward the maximum value 54a, and the interval between the minimum value 54b and the maximum value 54a decreases. Therefore, as the cell size increases, the speckle contrast Cs value calculated by the high contrast portion 52 converges to a value close to the maximum value 54a.
  • the luminance values of the pixels included in the high contrast portion 52 are close to each other, and the high contrast portion 52 is displayed with the same brightness as a whole. . Further, the luminance value of the high contrast portion 52 increases as the cell size increases.
  • the luminance value of the high contrast portion 52 is the brightness of the entire high contrast portion 52, for example, the average value of the luminance values of the pixels included in the high contrast portion 52.
  • the maximum value 53a decreases toward the minimum value 53b as the cell size increases. Therefore, as the cell size increases, the speckle contrast Cs value calculated by the low contrast portion 51 converges to a value close to the minimum value 53b. As a result, the luminance value of the low contrast portion 51 of the speckle contrast image 60b (for example, the average value of the luminance values of each pixel) decreases as the cell size increases.
  • the blood flow portion (low contrast portion 51) and the portion where the blood flow is accumulated (high contrast portion 52) are approximately uniform in brightness. Will be displayed.
  • the portion with blood flow is uniformly dark and the portion with low blood flow is displayed as a uniformly bright region.
  • the presence or absence of blood flow can be easily identified.
  • the speckle contrast Cs value is smoothed, and the spatial resolution 55 of the speckle contrast image 60 is lowered.
  • the spatial resolution 55 is higher in the image 60a generated with a small cell size (3 ⁇ 3).
  • the contrast and the spatial resolution 55 are in a trade-off relationship.
  • FIG. 9 is a schematic diagram for explaining the relationship between the cell size and the speckle contrast.
  • the speckle contrast Cs in each of the cells 42c to 42e is calculated using the first to third cell sizes different from each other.
  • a common speckle image 50d is used.
  • the speckle image 50d is, for example, an image of the high contrast portion 52 described with reference to FIG.
  • FIG. 9A shows a speckle image 50d (left side) divided by the first cell size, a luminance distribution (center) in each cell 42c, and a speckle contrast Cs (right side) calculated for each cell 42c.
  • a speckle image 50d left side divided by the first cell size
  • a luminance distribution center
  • a speckle contrast Cs right side
  • the first cell size is about the same size as the speckle size (speckle particle size) of the speckle image 50d.
  • each cell 42c dividing the speckle image 50d includes a cell 42c surrounding one speckle, a cell 42c partially including speckle, a cell 42c not including speckle, and the like. Is included.
  • the cell 42c located at the coordinates (4, 1) the cell 42c is substantially occupied by one speckle.
  • the cell 42c located at the coordinates (0, 2) does not include speckle.
  • the luminance distribution of each cell 42c divided by the first cell size shows a distribution according to the ratio of speckles included in each cell 42c.
  • the cell 42c occupied by speckles has a high average luminance and a narrow luminance distribution
  • the cells not including speckles have a low average luminance and a narrow luminance distribution.
  • the cell 42c partially including speckles has a wide luminance distribution.
  • each cell 42c divided by the first cell size is shown with brightness according to the speckle contrast Cs of each cell 42c.
  • Each cell 42c forms a random bright and dark pattern corresponding to the speckle pattern of the speckle image 50d.
  • the ratio of the cells 42c to be black that is, the ratio of the cells 42c having a narrow luminance distribution width is high, and the entire screen is dark.
  • a second cell size larger than the first cell size is used.
  • the second cell size is about four times the first cell size.
  • the luminance distribution of each cell 42d divided by the second cell size is a wider distribution as a whole than when the first cell size is used.
  • the speckle contrast Cs value of each cell 42d is increased as a whole.
  • the proportion of the brightly displayed cells 42d increases.
  • a third cell size larger than the second cell size is used.
  • all the cells 42e partitioned by the third cell size include speckles and peripheral areas around the speckles. For this reason, the luminance distribution of each cell 42e is similar to each other and wide. Therefore, as shown on the right side of FIG. 9C, the speckle contrast Cs of each cell 42e divided by the third cell size is a value (bright value) that is substantially equal to each other.
  • the speckle contrast Cs value of each cell 42c to 42e is a value corresponding to the ratio of the area of speckle included in each cell 42c to 42e. That is, the value of the speckle contrast Cs is determined according to the ratio between the speckle size in the speckle image 50d and the cell size. As a result, for example, by increasing the cell size, it is possible to calculate the speckle contrast Cs having a small variation and a large value.
  • FIG. 10 is a diagram for explaining the relationship between the cell size and the speckle contrast image.
  • FIGS. 10A to 10F show speckle contrast images 60c to 60h calculated with cell sizes of 3 ⁇ 3, 5 ⁇ 5, 7 ⁇ 7, 11 ⁇ 11, 21 ⁇ 21, and 31 ⁇ 31. Yes.
  • the original image (speckle image) in FIG. 10 is an image obtained by imaging the blood vessel phantom 70 described with reference to FIG. Note that the blood vessel clip 73 or the like is not used in the original image of FIG.
  • each of the line profiles 61c to 61h is a line profile along a straight line 45 that intersects the right blood vessel 71.
  • the low portion at the center corresponds to the region of the blood vessel 71, and the high portions on both sides thereof correspond to the region of the background 77.
  • the speckle contrast Cs is standardized so that the maximum value is 1.
  • a speckle contrast image 60c generated with a 3 ⁇ 3 cell size has a fine bright and dark spot pattern (glare).
  • the width of the speckle contrast value variation in the line profile 61d is smaller than the variation in the 3 ⁇ 3 cell size.
  • a region L corresponding to the blood vessel 71 and regions H1 and H2 corresponding to the background 77 on both sides of the blood vessel 71 are schematically illustrated by black lines.
  • speckle contrast Cs As the cell size increases, the variation in the value of speckle contrast Cs calculated for each pixel decreases. For example, in a speckle contrast image 60g generated with a cell size of 21 ⁇ 21, glare due to a speckled pattern becomes substantially invisible.
  • the resolution of the speckle contrast image decreases.
  • the fine structures that are visible in the 7 ⁇ 7 and 11 ⁇ 11 line profiles 61e and 61f and the like become invisible. Therefore, in the speckle contrast image 60h generated with the cell size of 31 ⁇ 31, it is difficult to identify the fine light and dark distribution in the blood vessel 71.
  • FIG. 11 is a diagram for explaining the characteristics of speckle contrast.
  • FIG. 11A is a graph showing the relationship between the cell size and the speckle contrast Cs in each of the line profiles 61c to 61h shown in FIG.
  • a square data point is an average value of the speckle contrast Cs in the region L corresponding to the blood vessel 71.
  • the diamond data points are the average values of the speckle contrast Cs in the regions H1 and H2 corresponding to the background 77.
  • the triangular data point is the difference in the average value of the speckle contrast Cs between the blood vessel 71 and the background 77.
  • the average value of the speckle contrast Cs of the blood vessel 71 does not change greatly as the cell size increases.
  • the average value of the speckle contrast Cs of the background 77 increases greatly from the cell size of 3 ⁇ 3 to the cell size of 7 ⁇ 7, and increases moderately at the cell size of 7 ⁇ 7 or more. Therefore, for example, the brightness difference (triangular data point) between the blood vessel 71 in which blood flows and the background 77 does not change greatly even if the cell size is 7 ⁇ 7 or more.
  • FIG. 11B is a graph showing the relationship between the cell size, the noise N of the speckle contrast Cs, and the signal noise ratio SNR (Signal-Noise Ratio) in each of the line profiles 61c to 61h shown in FIG.
  • the vertical axis on the left side of the graph corresponds to the signal-to-noise ratio of speckle contrast Cs
  • the vertical axis on the right side corresponds to the noise of speckle contrast Cs.
  • the noise N (L) square data point
  • the noise N (L) decreases from a cell size of 3 ⁇ 3 to a cell size of about 15 ⁇ 15.
  • (L) does not change substantially.
  • the signal-to-noise ratio SNR (L) data point indicated by X) in the blood vessel 71 increases by about 10 dB as the noise N (L) decreases.
  • the noise N (H) (diamond data point) of the speckle contrast Cs of the background 77 decreases from a 3 ⁇ 3 cell size to about 30 ⁇ 30 cell size, and the noise N is larger at a cell size larger than that. (L) does not change substantially.
  • the ratio of the speckle contrast Cs and the noise of the background 77 is SNR (H) (triangular data point)
  • the cell size the glare, brightness, resolution, etc. of the blood vessel 71 and the background 77 in the speckle contrast image change, and the appearance of the speckle contrast image changes. Therefore, by changing the cell size, the image quality of the observation image (speckle contrast image) can be changed for observation. For example, when it is desired to observe the observation region 2 in detail, it is possible to reduce the cell size and generate an observation image with high resolution. In addition, for example, when it is desired to roughly grasp a site where blood flow is present (blood vessel 71), the cell size may be increased so that a region where blood flow exists and a region where blood flow does not exist are displayed uniformly with each brightness. Is possible. However, there is a limit because it cannot be made larger than the width of the blood vessel to be observed.
  • FIG. 12 is a diagram for explaining the speckle size in the speckle image.
  • FIG. 12A shows a speckle image 50c (left side) captured with an F value of 5.6 of the lens unit 21 and a speckle image 50d (right side) captured with an F value of 16.
  • FIG. 12B is a graph showing the luminance distribution in the cell 42 in the speckle image 50c captured with an F value of 5.6.
  • a speckle image 50c having a spotted pattern with a small particle diameter is captured on the entire screen.
  • Each spot pattern corresponds to speckle.
  • the size of each speckle (speckle size) is larger as a whole than when the F value is 5.6.
  • spots corresponding to one speckle are schematically shown by dotted lines.
  • the speckle particle size distribution is a mountain-shaped distribution having a peak at the center particle size.
  • the minimum value of the speckle particle size is expressed by using a modulation transfer function (MTF) of the lens unit 21 or the like.
  • MTF modulation transfer function
  • the speckle center particle diameter in the speckle image 50 changes. For example, when the F value changes from 5.6 to 16, the size of speckles appearing in the speckle image 50 increases as a whole. As a result, the center particle size of the speckle increases, and the distribution of the speckle particle size shifts to the right as a whole. As described above, the size of the speckle included in the speckle image 50 changes according to the imaging parameter and the like.
  • the speckle contrast Cs is calculated based on the luminance distribution in the cell 42 according to the cell size and the speckle size. For example, when the same cell size is used, the luminance distribution in the cell 42 (see FIG. 12B) in the speckle image 50c captured with an F value of 5.6 and the speckle image 50d captured with an F value of 16 are used. The distribution is different from the luminance distribution in the cell 42. Accordingly, different speckle contrasts Cs are calculated for the speckle images 50c and 50d, respectively.
  • FIG. 13 is a diagram showing the relationship between speckle size and imaging parameters at an optical magnification of 1 ⁇ , a wavelength of 850 nm, and a pixel size of 5.8 microns.
  • FIG. 13A shows speckle images 50e, 50c, and 50d captured at F values of 2, 5.6, and 16. As shown in FIG. 13A, the speckle size that appears in each speckle image 50 increases as the F value increases.
  • FIG. 13B shows a graph representing the relationship between speckle size and F value.
  • the horizontal axis of the graph represents the F value when the speckle image 50 is captured.
  • the vertical axis represents the full width of speckle (speckle size) in the speckle image 50 imaged at each F value.
  • the full width of the speckle is, for example, the center particle diameter of the speckle described with reference to the graph of FIG. 13A.
  • an experimental value (diamond data point) and a calculated value (square data point) of the full width of the speckle are shown.
  • the experimental value of the full width of the speckle is calculated, for example, by taking a cross-correlation between the image where the speckle image 50 is shifted and the speckle image 50 before being shifted.
  • the calculated value of the full width of the speckle is calculated based on simulation or the like.
  • the method of calculating the experimental value and the calculated value of the full width of the speckle is not limited, and any method capable of calculating the particle size of the speckle may be used as appropriate.
  • the experimental value and the calculated value of the full width of the speckle are both about 1 pixel.
  • the speckle appearing in the speckle image 50 is smaller than one pixel.
  • both the experimental value and the calculated value of the full width of the speckle increase as the F value increases.
  • the increase in the total width of the speckle is substantially linear with respect to the increase in the F value.
  • the full width of the speckle may change. For example, when the optical magnification of the lens unit 21 increases, the full width of the speckle also increases substantially linearly.
  • the experimental value and the calculated value of the full width of the speckle coincide with each other with high accuracy. Therefore, for example, the speckle size (full width) in the captured speckle image 50 can be calculated with high accuracy from the F value used for imaging.
  • the imaging parameter used for calculating the size of the speckle is not limited to the F value, and other parameters such as optical magnification may be used.
  • the imaging parameter such as the F value
  • the size of the speckle that appears in the speckle image 50 becomes a value corresponding to the imaging parameter. Therefore, the value of the speckle contrast Cs calculated from the speckle image 50 also changes with the change of the imaging parameter (speckle size change), and the image quality of the speckle contrast image 60 (observed image) changes.
  • FIG. 14 is a diagram showing an example of a speckle contrast map 62 relating to speckle size and cell size.
  • the horizontal axis of the map 62 is speckle size, and the vertical axis is cell size.
  • square cells 42 having the same number of vertical and horizontal pixels are used, and the cell size corresponds to the number of vertical (horizontal) pixels.
  • the value of speckle contrast Cs is represented by an isoline in increments of 0.05.
  • the value of the speckle contrast Cs in the map 62 is calculated by simulating the value of the speckle contrast Cs at each speckle size d and each cell size s, for example.
  • the map 62 shown in FIG. 14 is referred to as a contrast map 62.
  • the position of each point in the contrast map 62 is described as (d, s) using the speckle size d and the cell size s.
  • the method for generating the contrast map 62 is not limited.
  • the speckle contrast Cs may be calculated from the speckle image 50 obtained by actually capturing a sample such as a standard diffuser.
  • the contrast map 62 can be generated by calculating the speckle contrast while changing the cell size for each speckle size S (imaging parameter).
  • any method capable of generating the contrast map 62 may be used.
  • the contrast map 62 it is possible to select a combination of the speckle size S and the cell size C so that the value of the speckle contrast Cs becomes substantially constant. For example, at each point on the first linear path 63a (arrow 63a in the figure) connecting the points p1 (3, 13) and p2 (6, 16), the value of the speckle contrast Cs is a substantially constant value. (About 0.65).
  • the speckle contrast image 60 is generated under the same condition as each point on the first path 63a, that is, the speckle size and the cell size corresponding to each point on the first path 63a.
  • the contrast of light and darkness of the speckle contrast image 60 generated under each condition is substantially the same.
  • the contrast of light and dark in the speckle contrast image 60 corresponds to a predetermined display parameter related to the display brightness of the observation image.
  • the cell size C is selected in accordance with the first path 63a, so that the contrast (display parameter) of the speckle contrast image 60 is kept substantially constant. It becomes possible. As a result, even if the imaging parameter changes due to the zoom function or the like and the speckle size changes, the speckle contrast image 60 having the same contrast can be obtained by setting the cell size accordingly.
  • the value of the speckle contrast Cs (about 0.56) is substantially constant.
  • the contrast of the speckle contrast image 60 generated under the same condition as each point on the second path 63b depends on the value of speckle contrast Cs (about 0.56) in the second path 63b. It becomes a substantially constant value.
  • the path for keeping the speckle contrast value substantially constant is not limited to the first and second paths 63a and 63b.
  • the speckle contrast image 60 may be generated along another path between the first and second paths 63a and 63b.
  • the image quality of the speckle contrast image 60 (observed image) is controlled. Is possible. For example, by controlling the cell size along each path, it is possible to generate observation images in a plurality of image quality modes having different image quality.
  • the value of speckle contrast Cs is kept substantially constant within a range of different cell sizes. Accordingly, it is possible to select the display resolution range of the observation image by selecting the image quality mode corresponding to each path.
  • the display resolution (cell size s) in the image quality mode corresponding to the second path 63b is in the range of 5 to 8 pixels.
  • each of the image quality modes corresponding to each path corresponds to an image quality mode related to display resolution.
  • the cell size range corresponding to the second path 63b is a range in which the cell size value is smaller than that of the first path 63a. Therefore, the speckle contrast image 60 generated along the second path 63b is a high-definition image having a higher display resolution than the speckle contrast image 60 generated along the first path 63a.
  • the image quality mode corresponding to the second path 63b corresponds to the second image quality mode that prioritizes display resolution.
  • the first path 63a is a path having a higher speckle contrast Cs value than the second path 63b. Therefore, in the speckle contrast image 60 generated along the first path 63a, a speckle contrast Cs that is overall higher than the speckle contrast image 60 generated along the second path 63b is calculated. A sharp and sharp image can be obtained. That is, in the present embodiment, the image quality mode corresponding to the first path 63a corresponds to the first image quality mode that prioritizes contrast display over resolution.
  • the image quality mode corresponding to the first path 63a a large cell size C is used. For this reason, in the speckle contrast image 60 generated along the first path 63a, the respective parts such as the blood vessel 71 and the aneurysm 72 of the observation site 2 are displayed substantially uniformly with their respective brightness (FIG. 8). reference). Accordingly, by selecting the image quality mode corresponding to the first path 63a, for example, an image with a high contrast with a clear difference in display luminance between the low contrast portion 51 (blood vessel 71) and the high contrast portion 52 (aneurysm 72) is obtained. Can be generated.
  • FIG. 15 is a table showing an example of the processing size table 38.
  • the processing size table 38 is generated based on the contrast map 62 and stored in the storage unit 37.
  • a cell size (processing size) corresponding to the speckle size is recorded for each of the image quality modes A to E.
  • the image quality mode is divided into five image quality modes A to E.
  • the speckle size range is divided into 4 stages of 3 to 6 pixels.
  • the method of dividing the image quality mode and the speckle size is not limited and may be set arbitrarily.
  • the image quality mode B is an image quality mode corresponding to a route in which the value of the speckle contrast Cs in the contrast map 62 is about 0.6. That is, the image quality mode B is a mode for controlling the cell size so that the speckle contrast in the contrast map 62 is about 0.6 for each speckle size.
  • the image quality mode A corresponds to the image quality mode corresponding to the second path 63b shown in FIG. 14, and the image quality mode E corresponds to the image quality mode corresponding to the first path 63a.
  • FIG. 16 is a flowchart showing a basic operation example of the observation system 100.
  • a measurement mode in the observation system 100 is selected by an operator who operates the observation system 100 via an operation screen or the like.
  • the selected measurement mode is received by the UI acquisition unit 34 (step 100).
  • the measurement mode includes a normal observation mode in which normal observation is performed and a calibration mode in which the observation system 100 is calibrated. If selection of the normal observation mode is accepted, step 101 is executed. If the selection of the calibration mode is accepted, step 201 is executed and the calibration mode is started. The calibration mode will be described in detail later.
  • the observation mode includes a manual setting mode, a default setting mode, and an automatic recognition setting mode.
  • the observation mode is selected by the operator and accepted by the UI acquisition unit 34 (step 101).
  • the resolution mode includes image quality modes A to E in the processing size table 38 shown in FIG.
  • the operator selects any one of the image quality modes A to E displayed on the selection screen.
  • the UI acquisition unit 34 accepts the selected image quality mode as the resolution mode (step 102).
  • image quality mode A is selected when it is desired to generate an observation image with high resolution and high definition.
  • image quality mode E is selected.
  • the present invention is not limited to this, and an image quality mode desired by the operator may be appropriately selected.
  • the image quality modes A to E may be displayed using icons such as icons representing the characteristics of each mode. This makes it possible to intuitively select an image quality mode.
  • the image quality mode set by default in the observation system is set as the resolution mode (step 103).
  • the default image quality mode for example, among the image quality modes A to E, an image quality mode C in which the display resolution range is approximately in the middle is set. Of course, other image quality modes may be set as defaults. If the resolution mode is set to the default value, step 105 is executed.
  • the image quality mode is selected based on the image of the observation site 2 (step 104). For example, the image quality mode is selected according to the thickness of the blood vessel 71 in the imaging range of the observation region 2. The selected image quality mode is set as a resolution mode in step 102. In addition, the thickness of the blood vessel 71 is identified from the image of the observation site
  • ICG IndoCyanine Green
  • step 104 whether the blood vessel 71 included in the observation region 2 is a thick blood vessel 71 such as a cerebral aneurysm or a thin blood vessel 71 such as a penetration branch from the image of the observation region 2 captured using ICG or the like. Is determined.
  • the method for determining the thickness of the blood vessel 71 from the image of the observation site 2 is not limited, and any method using machine learning, image processing, or the like may be used.
  • an image quality mode or the like giving priority to display luminance is selected in order to clearly identify the blood vessel 71 and the cerebral aneurysm.
  • an image mode with high resolution is selected.
  • an appropriate image quality mode may be appropriately selected from the image of the observation site 2 according to the state of the blood vessel 71, the type of biological tissue, and the like.
  • the image for identifying the thickness and the like of the blood vessel 71 is not limited to an image imaged using ICG or the like, and an image of the observation site 2 imaged by any other method may be used as appropriate. .
  • the selection of the measurement mode, the observation mode, and the resolution mode in steps 100, 101, and 102 may be executed at an arbitrary timing. That is, the UI acquisition unit 34 can always accept selections made by the operator. In that case, the processing from steps 100, 101, and 102 is resumed at the timing when each mode is selected.
  • the processing sequence of the processing size table 38 is determined based on the resolution mode set in step 102 (step 105). For example, when the image quality mode A is set as the resolution mode, the processing column is the first column. Information on the determined processing sequence is output to the processing size control unit 41 (block control unit 35).
  • the observation site 2 irradiated with the laser light is imaged by the camera 20 that images the observation site 2 (step 106).
  • An image signal obtained by imaging the observation site 2 is generated by the camera 20 and acquired by the image acquisition unit 32.
  • the camera control unit 33 acquires imaging parameters such as the F value F # and the optical magnification M of the camera 20 (step 107).
  • the acquired imaging parameters are output to the predicted speckle size calculation unit 40.
  • the speckle size is calculated by the predicted speckle size calculation unit 40 based on the imaging parameters (step 108).
  • the speckle size calculation formula described above is used to calculate the speckle size. Note that the speckle size calculated in step 108 corresponds to the speckle particle size in the speckle image 50 configured by the image signal captured in step 106.
  • the calculated speckle size is output to the processing size control unit 41.
  • the cell size is determined by the processing size control unit 41 (step 109).
  • the processing size control unit 41 determines a cell size from the processing size table 38 based on the processing sequence (image quality mode) determined in step 105 and the speckle size calculated in step 108.
  • the determined cell size is output to the speckle calculation unit 36.
  • the speckle calculation unit 36 calculates the speckle contrast from the image signal of the observation region 2 acquired by the image acquisition unit 32 (step 110).
  • the cell size determined by the processing size control unit 41 is used for calculating the speckle contrast Cs.
  • the speckle calculation unit 36 generates a speckle contrast image 60 that is an observation image of the observation region 2 based on the calculated speckle contrast Cs (step 111). In this way, by using the cell size controlled by the processing size control unit 41, it is possible to generate an observation image with an image quality corresponding to the set resolution mode. The generated observation image is output to the display. As a result, the operator can observe the observation image of the observation region 2 with a desired image quality.
  • loop processing of each step from Step 107 to Step 111 is executed. That is, an imaging parameter is acquired for each loop process, and an observation image is generated with an image quality corresponding to the set resolution mode based on the imaging parameter.
  • the processing size control unit 41 determines a cell size corresponding to the speckle size in the display resolution range (cell size range) in the resolution mode. In other words, the processing size control unit 41 controls the cell size so that the display parameters related to the display luminance of the observation image are kept substantially constant within the display resolution range for each of the plurality of image quality modes.
  • Step 107 to Step 111 is stopped when the resolution mode is updated, for example.
  • the loop process is stopped and step 102 is executed. Thereby, the operator can change the image quality of the observation image at a desired timing.
  • FIG. 17 is a flowchart showing an example of calibration of the observation system 100. Calibration of the observation system 100 is executed at a timing such as replacement of the lens unit 21, for example. However, the observation system 100 may be calibrated at any timing.
  • the processing size table 38 is calibrated. That is, it can be said that a processing size table 38 reflecting the characteristics of the lens unit 21 after replacement is newly generated at the timing of replacement of the lens unit 21 or the like.
  • the processing size table 38 is calibrated using a standard scatterer.
  • a standard scatterer for example, a reflective scatterer in which particles having a uniform particle size are fixed to the surface is used.
  • the kind of standard scatterer etc. are not limited, Arbitrary scatterers may be used.
  • the standard scatterer corresponds to a predetermined calibration object.
  • step 201 is executed and processing in the calibration mode is started.
  • a standard scatterer is installed in the imaging range of the camera 20 (step 202).
  • the standard scatterer is disposed, for example, at the same position as the observation site 2 and is irradiated with the laser beam 11.
  • the position or the like where the standard scatterer is disposed is not limited, and may be disposed at any position where the laser beam 11 can be imaged.
  • the camera control unit 33 sets imaging parameters such as the F value F # and the optical magnification M of the camera 20 to predetermined values such as initial setting values (step 204).
  • the value for setting the imaging parameter is not limited, and may be set to, for example, the minimum value of the F value F # and the optical magnification M, or the like.
  • the camera control unit 33 changes at least one of the F value F # and the optical magnification M by a corresponding step amount (step 204).
  • step 204 the camera control unit 33 sets different combinations of the F value F # and the optical magnification M every time the loop processing in the flowchart is performed. That is, in step 204, each imaging parameter is set so that the combination of the F value F # and the optical magnification M for each loop process is a round robin.
  • the order in which each combination is set is not limited. In the first process, the predetermined value set in step 203 is used.
  • the standard scatterer irradiated with the laser beam 11 is imaged by the camera 20 (step 205).
  • the captured image signal is acquired by the image acquisition unit 32 and output to the image processing unit.
  • the image processing unit can execute arbitrary image processing on a speckle image formed of, for example, an image signal. In FIG. 1, the illustration of the image processing unit is omitted.
  • the speckle size (speckle particle size) in the speckle image is calculated by the image processing unit based on the speckle image of the standard scatterer (step 206).
  • the processing size table 38 is calibrated based on the calculated speckle size (step 207). For example, based on the contrast map 62 shown in FIG. 14, the cell size corresponding to the speckle size calculated in step 206 is acquired for each pixel mode and recorded in the processing size table 38.
  • step 208 It is determined whether or not necessary data is prepared in the processing size table 38 (step 208). For example, it is determined whether or not all the speckle sizes required in the processing size table 38 have been prepared. For example, in the processing size table shown in FIG. 15, four speckle sizes are recorded.
  • the number of speckle sizes used in the processing size table 38 is not limited, and may be set as appropriate according to the accuracy of the processing size table 38, the characteristics of the lens unit 21, and the like.
  • Step 204 is executed again. That is, the process of calculating the speckle size again by changing the imaging parameters of the camera 20 is executed. If it is determined that the data has been prepared (Yes in Step 208), the calibration mode process of the process size table 38 is completed (Step 209).
  • the processing size table 38 records the speckle size corresponding to the F value F # and the optical magnification M set in step 206 and the cell size for each pixel mode corresponding to the speckle size. Therefore, the processing size table 38 is calibrated to a value suitable for the replaced lens unit 21.
  • the maximum value or the minimum value of the speckle size to be imaged may be changed by exchanging the lens unit 21.
  • the speckle size is measured from the actually measured speckle image 50. Correction of the speckle size calculation formula for calculating the speckle size from the imaging parameter may be executed using the measured value of the speckle size. As a result, the cell size and the like can be controlled with high accuracy.
  • the image signal of the observation region 2 captured by the irradiation with the laser light 11 is acquired.
  • the cell size of the cell 42 is controlled based on the imaging parameters of the observation region 2, and the speckle contrast Cs is calculated from the image signal of the observation region 2 using this cell 42.
  • speckle contrast Cs according to the imaging parameter can be calculated, and even if the imaging condition of the camera changes, the observation site 2 can be observed with high accuracy by optimal calculation processing.
  • Patent Document 1 uses both the speckle contrast in the space region and the speckle contrast in the time region for the purpose of evaluating blood flow in the tissue by “deep blood flow measurement using diffusion speckle contrast analysis”.
  • the speckle contrast in the time domain has a lower time resolution than that in the spatial domain, but it can be used in a small area and has been proposed for proper use.
  • the contrast value and the spatial resolution change depending on the spatial range (cell size) to be calculated.
  • the block control unit 35 calculates the speckle size based on the imaging parameter, and controls the cell size based on the speckle size.
  • the cell size can be optimized in accordance with the size of speckles observed at the observation site 2. Therefore, for example, an observation image can be generated with an appropriate cell size according to the characteristics of the optical system such as the camera 20. As a result, the observation site 2 can be observed with high accuracy.
  • the UI acquisition unit 34 accepts selection of an image quality mode related to the image quality of the observation image.
  • the block control unit 35 controls the size of the cell 42 according to the selected image quality mode.
  • the operator can select a desired image quality mode from a plurality of image quality modes in which the weights of resolution and contrast are different according to the type of living tissue.
  • a site of interest such as the blood vessel 71 and aneurysm 72 can be accurately observed.
  • the cell size is controlled by the block control unit 35 so that the display luminance of each part of the observation image is substantially constant.
  • the cell size is fed back and controlled so that the cell size becomes an optimum value sequentially. It becomes possible. Therefore, it is possible to enlarge / reduce the observation region 2 during the observation without changing the display brightness of the blood vessel 71 and the region around the blood vessel 71. As a result, the observation site 2 can be observed in detail, and the observation accuracy can be sufficiently improved.
  • the processing size table 38 of the observation system 100 is calibrated using a standard diffuser. Thereby, for example, even when the lens unit 21 or the like is replaced and the observation optical system is changed, the processing size table 38 can be appropriately calibrated according to the optical system. As a result, the cell size can be appropriately controlled, and a highly accurate observation image can be provided.
  • the automatic recognition setting mode (see FIG. 16) it is possible to automatically set an optimal cell size according to the thickness of the blood vessel 71 to be observed. Accordingly, it is possible for the operator to perform observation with an image quality that matches the characteristics of the observation region 2 without selecting the image quality by himself / herself, and the burden on the operator can be reduced.
  • observation system 100 can be configured as an endoscope or a microscope.
  • examples of the observation site 2 include living tissues such as living cells, tissues, and organs.
  • living tissues such as living cells, tissues, and organs.
  • the speckle size is calculated based on the imaging parameters, and the cell size is controlled based on the speckle size. It is not limited to the case where the speckle size is calculated, and the cell size may be directly controlled using imaging parameters.
  • the cell size corresponding to each of a plurality of combinations of the F value and the optical magnification is recorded for each image quality mode in the processing size table. That is, the processing size table is configured such that one cell size is determined when the image quality mode, the F value, and the optical magnification are determined.
  • the processing size table in which the cell size is finely set for each imaging parameter it becomes possible to finely control the cell size in accordance with the behavior of the lens unit. As a result, the image quality and the like of the observation image can be controlled with high accuracy.
  • the cell size may be controlled using a contrast map shown in FIG.
  • the contrast map is referred to by the processing size control unit.
  • the processing size control unit acquires the cell size based on the speckle size from the path corresponding to the image quality mode to be a target in the contrast map. Even in such a case, the cell size is appropriately controlled, and an observation image can be generated with a desired image quality.
  • control method and program according to the present technology are executed and the observation system according to the present technology is constructed by linking a computer operated by an operator or the like with another computer that can communicate via a network or the like. May be.
  • control method and the program according to the present technology can be executed not only in a computer system configured by a single computer but also in a computer system in which a plurality of computers operate in conjunction with each other.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems.
  • Execution of the control method and the program according to the present technology by the computer system is performed when, for example, image signal acquisition, pixel block size control, speckle data calculation, and the like are executed by a single computer and each process Including both when executed by different computers.
  • the execution of each process by a predetermined computer includes causing another computer to execute a part or all of the process and acquiring the result.
  • control method and program according to the present technology can also be applied to a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • this technique can also take the following structures.
  • an acquisition unit that acquires an image signal of a biological tissue imaged by irradiation with laser light;
  • a block control unit that controls the size of the pixel block based on the imaging condition of imaging with respect to the biological tissue;
  • a control unit comprising: a calculation unit that calculates speckle data based on the acquired image signal using the pixel block whose size is controlled.
  • the control device according to (1) further comprising: A control device comprising a generating unit that generates an observation image of the living tissue based on the speckle data.
  • the speckle data includes speckle contrast,
  • the generation unit generates the observation image based on the speckle contrast.
  • the imaging apparatus includes a condition relating to at least one of an F value (aperture value) and an optical magnification of an imaging system that images the living tissue.
  • the control device according to any one of (1) to (4), The block control unit calculates a speckle size based on the imaging condition, and controls the size of the pixel block based on the calculated speckle size.
  • a control device comprising a storage unit that stores a control table in which the imaging condition and the size of the pixel block are associated with each other.
  • the control device controls the size of the pixel block so that a predetermined display parameter related to display luminance of the observation image is maintained substantially constant.
  • the control device further including a mode reception unit that receives selection of an image quality mode related to an image quality of the observation image, The block control unit controls a size of the pixel block according to the selected image quality mode.
  • the control device receives an image quality mode related to a display resolution of the observation image.
  • the control device (10) The control device according to (9), The mode receiving unit receives each of a plurality of different image quality modes, The block control unit controls the size of the pixel block so that a predetermined display parameter related to display luminance of the observation image is maintained substantially constant in a different range for each of the plurality of image quality modes. apparatus. (11) The control device according to (10), The plurality of image quality modes include a first image quality mode that prioritizes the display luminance and a second image quality mode that prioritizes the display resolution among display luminance and display resolution of the observation image.
  • the control device according to any one of (6) to (11), The said memory

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Hematology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Optics & Photonics (AREA)
  • Neurosurgery (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本技術の一形態に係る制御装置は、取得部と、ブロック制御部と、算出部とを具備する。前記取得部は、レーザ光が照射されて撮像された生体組織の画像信号を取得する。前記ブロック制御部は、前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズを制御する。前記算出部は、前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出する。

Description

制御装置、制御方法、及びプログラム
 本技術は、生体組織の観察等に適用可能な制御装置、制御方法、及びプログラムに関する。
 従来、生体組織等にレーザ光を照射してスペックルパターンを検出し、生体組織等を観察する技術が開発されている。例えば特許文献1には、空間領域での拡散スペックルコントラスト解析(sDSCA)システムについて記載されている。sDSCAシステムでは、サンプル内に照射されたレーザ光がサンプル内に分布する粒子の動き(血流)により散乱され、サンプル表面にはスペックルパターンが生じる。サンプル表面の所定の撮影位置に向けられたリレー光学系を介してスペックルパターンが撮影される。撮影された画像からスペックルコントラストが計算され、サンプル内を流れる血流の流速等が算出される。(特許文献1の明細書段落[0013][0018][0021][0027]図5等)。
特表2016-509509号公報
 このようなスペックルパターンに基づいた生体組織の観察等は、外科手術や内科診断等の様々なシーンでの応用が期待されており、高い精度を発揮可能な技術が求められている。
 以上のような事情に鑑み、本技術の目的は、生体組織をカメラの撮像条件が変わっても最適に計算処理することにより高い精度で観察することが可能となる制御装置、制御方法及びプログラムを提供することにある。
 上記目的を達成するため、本技術の一形態に係る制御装置は、取得部と、ブロック制御部と、算出部とを具備する。
 前記取得部は、レーザ光が照射されて撮像された生体組織の画像信号を取得する。
 前記ブロック制御部は、前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズを制御する。
 前記算出部は、前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出する。
 この制御装置では、レーザ光が照射されて撮像された生体組織の画像信号が取得される。生体組織の撮像条件に基づいて画素ブロックのサイズが制御され、この画素ブロックを用いて生体組織の画像信号からスペックルデータが算出される。これにより撮像条件に応じたスペックルデータが算出可能となり、生体組織をカメラの撮像条件が変わっても最適に計算処理することにより高い精度で観察することが可能となる。
 前記制御装置は、さらに、前記スペックルデータに基づいて、前記生体組織の観察像を生成する生成部を具備してもよい。
 これにより、生体組織での血流の分布や強度等を高い精度で観察することが可能となる。
 前記スペックルデータは、スペックルコントラストを含んでもよい。この場合、前記生成部は、前記スペックルコントラストに基づいて前記観察像を生成してもよい。
 これにより、スペックルコントラストに基づいて生体組織での血流等を高い精度で観察することが可能となる。
 前記撮像条件は、前記生体組織を撮像する撮像系のF値(絞り値)及び光学倍率の少なくとも1つに関する条件を含んでもよい。
 これにより、生体組織を撮像する倍率や明るさに応じて画素ブロックのサイズを適宜制御することが可能となり、高精度な観察を実現することが可能となる。
 前記ブロック制御部は、前記撮像条件に基づいて予測されるスペックルサイズを算出し、前記算出されたスペックルサイズに基づいて前記画素ブロックのサイズを制御してもよい。
 これにより、スペックルサイズに合わせて画素ブロックのサイズを制御することが可能となり、所望のスペックルデータを算出することが可能となる。
 前記制御装置は、さらに、前記撮像条件と前記画素ブロックのサイズとが関連付けられた制御テーブルを記憶する記憶部を具備してもよい。
 例えばブロック制御部は、制御テーブルを使って画素ブロックのサイズを容易に制御することが可能となり、処理に要する負荷等を軽減することが可能となる。
 前記ブロック制御部は、前記観察像の表示輝度に関する所定の表示パラメータが略一定に保たれるように前記画素ブロックのサイズを制御してもよい。
 これにより、例えば観察像に表示される生体組織の明るさ等を略一定に保ちながら生体組織を観察することが可能となり、生体組織を高い精度で観察することが可能となる。
 前記制御装置は、さらに、前記観察像の画質に関する画質モードの選択を受け付けるモード受付部を具備してもよい。この場合、前記ブロック制御部は、前記選択された画質モードに応じて前記画素ブロックのサイズを制御してもよい。
 例えば画質モードに応じてスペックルコントラストが算出され、所望の画質で観察像を生成することが可能となる。これにより生体組織を高い精度で観察することが可能となる。
 前記モード受付部は、前記観察像の表示解像度に関する画質モードを受け付けてもよい。
 これにより、例えば画質モードに応じた表示解像度のレベルで観察像を生成することが可能となる。これにより生体組織を高い精度で観察することが可能となる。
 前記モード受付部は、互いに異なる複数の画質モードの各々を受け付けてもよい。この場合、前記ブロック制御部は、前記観察像の表示輝度に関する所定の表示パラメータが、前記複数の画質モードの各々に対して互いに異なる範囲で略一定に保たれるように前記画素ブロックのサイズを制御してもよい。
 これにより、例えば所望の表示解像度の範囲で観察像の表示輝度を略一定に保つといったことが可能となる。この結果、生体組織を十分に高い精度で観察することが可能となる。
 前記複数の画質モードは、前記観察像の表示輝度及び表示解像度のうち、前記表示輝度を優先する第1の画質モードと、前記表示解像度を優先する第2の画質モードとを含んでもよい。
 これにより、例えば生体組織の種類等に応じて互いに見え方の異なる観察像を適宜切り替えることが可能となり、観察精度を向上することが可能となる。
 前記記憶部は、前記撮像条件と、前記画素ブロックのサイズと、前記観察像の画質に関する画質モードとの対応関係を記憶した前記制御テーブルを記憶してもよい。
 例えばブロック制御部は、制御テーブルを使って画質モードに対応した画素ブロックのサイズを容易に制御することが可能となり、処理速度を向上することが可能となる。
 前記制御テーブルは、所定の校正用対象物を用いて生成されてもよい。
 これにより、制御テーブルを適正に校正することが可能となり、生体組織を十分に高い精度で観察することが可能となる。
 前記ブロック制御部は、前記生体組織の撮像範囲における血管の太さに応じて、前記画素ブロックのサイズを制御してもよい。
 これにより、例えば血管の太さに合わせた画質で観察像を生成するといったことが可能となる。この結果、ユーザの負担が軽減され操作性を大幅に向上することが可能となる。
 前記制御装置は、内視鏡又は顕微鏡として構成されてもよい。
 これにより内視鏡や顕微鏡等を用いた生体組織の観察精度を向上することが可能となる。
 本技術の一形態に係る制御方法は、コンピュータシステムにより実行される制御方法であって、レーザ光が照射されて撮像された生体組織の画像信号を取得することを含む。
 前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズが制御される。
 前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータが算出される。
 本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
 レーザ光が照射されて撮像された生体組織の画像信号を取得するステップ。
 前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズを制御するステップ。
 前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出するステップ。
 以上のように、本技術によれば、生体組織をカメラの撮像条件が変わっても最適に計算処理することにより高い精度で観察することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る観察システムの構成例を示すブロック図である。 スペックルコントラストの算出例を説明するための模式図である。 スペックルコントラストの算出例を説明するための模式図である。 スペックルパターンの特性を説明するための図である。 スペックル画像の一例を示す模式図である。 図5に示すスペックル画像の輝度分布を表すグラフである。 スペックルコントラスト画像の一例を示す模式図である。 セルサイズとスペックルコントラストとの関係を表すグラフである。 セルサイズとスペックルコントラストとの関係を説明するための模式図である。 セルサイズとスペックルコントラスト画像との関係を説明するための図である。 スペックルコントラストの特性を説明するための図である。 スペックル画像におけるスペックルサイズについて説明するための図である。 スペックルサイズと撮像パラメータとの関係を示す図である。 スペックルサイズ及びセルサイズに関するスペックルコントラストのマップの一例を示す図である。 処理サイズテーブルの一例を示す表である。 観察システムの基本的な動作例を示すフローチャートである。 観察システムの校正の一例を示すフローチャートである。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
 [観察システム]
 図1は、本技術の一実施形態に係る観察システムの構成例を示すブロック図である。観察システム100は、例えば外科手術における術野の観察や、内科診断における患者の体内の観察等に用いられる。この他、任意の生体組織を観察する場合に本技術は適用可能である。
 観察システム100は、レーザ照射部10、カメラ20、及びコントローラ30を有する。
 レーザ照射部10は、患者1の観察部位2に向けて配置され、観察部位2にレーザ光11を照射する。レーザ光11が照射された観察部位2では、レーザ光11が散乱・反射されてスペックルと呼ばれる明暗の斑点模様が形成される。図1には、患者1の頭部(観察部位2)に向けて照射されるレーザ光11が模式的に図示されている。患者1の観察部位2は、本実施形態において、生体組織に相当する。
 レーザ照射部10は、例えば図示しないレーザ光源により生成された所定の波長のレーザ光11を観察部位2の全体に照射可能である。従って観察部位2の全体に対してスペックルパターンが形成される。レーザ光11を照射する方法等は限定されず、例えばレーザ光11の光束(ビーム)を拡大するビームエキスパンダーや、照射領域を広げる屈折レンズ等が適宜用いられてよい。
 カメラ20は、レンズ部21と、レンズ部21に接続された撮像部22とを有する。カメラ20は、レンズ部21が患者1の観察部位2に向くように配置され、レーザ光11が照射された観察部位2を撮像する。
 カメラ20は、例えばCHU(Camera Head Unit)として構成され、所定のインターフェース等を介してコントローラ30と接続される。本実施形態では、カメラ20は、撮像系に相当する。
 レンズ部21は、光学ズーム機能を備える。レンズ部21は、例えばF値(絞り値)及び光学倍率等の撮像パラメータを制御することで、光学的に拡大または縮小された観察部位2の光学像を生成する。光学ズーム機能を実現するための具体的な構成は限定されず、例えば電子制御による自動ズームや、手動でのズーム等が適宜実行可能であってよい。
 撮像部22は、レンズ部21により生成された光学像を撮像して観察部位2の画像信号を生成する。ここで画像信号とは、画像を構成することが可能な信号である。画像信号には、例えば画素ごとの輝度値等の情報が含まれる。画像信号の種類や形式等は限定されず、例えば動画像や静止画像を構成可能な任意の形式が用いられてよい。撮像部22としては、例えばCMOS(Complementary Metal-Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等のイメージセンサが用いられる。
 コントローラ30は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等のコンピュータの構成に必要なハードウェアを有する。本実施形態では、コントローラ30は、制御装置に相当する。
 CPUが、ROMやHDDに格納された本技術に係るプログラムをRAMにロードして実行することにより、図1に示す各機能ブロックが実現される。そしてこれらの機能ブロックにより、本技術に係る制御方法が実行される。
 プログラムは、例えば種々の記録媒体を介してコントローラ30にインストールされる。又はインターネット等を介してプログラムのインストールが実行されてもよい。
 コントローラ30の具体的な構成は限定されず、例えばFPGA(Field Programmable Gate Array)、画像処理IC(Integrated Circuit)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。
 図1に示すように、コントローラ30は、機能ブロックとして、光源制御部31、画像取得部32、カメラ制御部33、UI取得部34、ブロック制御部35、及びスペックル演算部36を有する。またコントローラ30のROM等により構成される記憶部37には処理サイズテーブル38が格納されている。なお各機能ブロックを実現するために、専用のハードウェアが適宜用いられてもよい。
 光源制御部31は、レーザ照射部10から照射されるレーザ光11の照射強度等を制御する。光源制御部31は、例えば観察システム100を操作するオペレータが指定したレーザ光11の照射強度の情報を取得する。光源制御部31は、レーザ照射部10に対して指定された照射強度でレーザ光11を出力する旨の指示を出力する。これによりオペレータが所望する照射強度でレーザ光11を照射することが可能となる。
 レーザ光11の照射強度を制御する方法等は限定されない。例えば、カメラ20の露光時間等に合わせてレーザ光11の照射強度が適宜制御されてもよい。なお光源制御部31により、レーザ光11の照射強度のみならず、レーザ光11の波長や照射領域等の任意のパラメータが適宜制御されてよい。
 画像取得部32は、カメラ20により生成された画像信号を取得する。すなわち、画像取得部32は、レーザ光11が照射されて撮像された観察部位2の画像信号を取得する。画像取得部32により取得された画像信号は、スペックル演算部36に出力される。本実施形態では、画像取得部32は、取得部に相当する。
 カメラ制御部33は、インターフェース等を介してカメラ20に接続され、カメラ20の動作を制御する。カメラ制御部33は、例えばカメラ20のズーム量(光学倍率)や絞り、あるいは露光時間等を指定する信号をカメラ20に対して出力する。カメラ20は、カメラ制御部33から出力された信号に基づいて観察部位2を撮像する。これによりカメラ20の動作を電子的に制御することが可能となる。
 またカメラ制御部33は、観察部位2に対する撮像の撮像パラメータを取得する。撮像パラメータは、レンズ部21(カメラ20)のF値(絞り値)及び光学倍率等を含む。カメラ制御部33により取得された撮像パラメータは、ブロック制御部35に出力される。本実施形態では、撮像パラメータは、撮像条件に相当する。
 例えばレンズ部21のズーム量あるいは絞り等がオペレータにより直接変更される手動ズームが行われる場合があり得る。この場合、カメラ制御部33は変更後の光学倍率あるいは絞り等の撮像パラメータを取得する。撮像パラメータを取得するタイミング等は限定されず、例えばカメラ制御部33によりカメラ20の撮像パラメータが常時モニタリングされてもよい。
 UI取得部34は、図示しないユーザインターフェース(UI:User Interface)を介してオペレータにより入力された指示等を取得する。ユーザインターフェースとしては、例えばディスプレイ等の表示装置及びマウスやキーボード等の入力装置が適宜用いられる。オペレータは、例えば表示装置に表示された操作画面を見ながら入力装置を使って指示を入力する。ユーザインターフェースの種類等は限定されず、例えばタッチセンサを供えたディスプレイ、フットスイッチ、手元のコントロールスイッチ等が用いられてもよい。
 本実施系形態では、UI取得部34は、後述する観察像の画質に関する画質モードの選択を受け付ける。すなわちUI取得部34は、オペレータが選択(指示)した画質モードが、どの画質モードであるかの情報を取得する。UI取得部34により取得された画質モードに関する指示は、ブロック制御部35に出力される。本実施形態では、UI取得部34は、モード受付部として機能する。
 なおUI取得部34が取得する指示の内容等は限定されない。例えば上記したレーザ照射部10の照射強度に関する指示や、カメラ20の光学倍率等に関する指示等が適宜取得されてよい。この他、観察システム100に関する様々な指示がUI取得部34により取得されてよい。
 ブロック制御部35は、予測されるスペックルサイズ算出部40及び処理サイズ制御部41を有する。予測されるスペックルサイズ算出部40は、カメラ制御部33から入力された撮像パラメータに基づいて、スペックルサイズを算出する。
 スペックルサイズとは、スペックルを形成する個々の斑点の大きさである。一般にスペックルサイズは、スペックルパターンを撮像する撮像系に応じて変化する。例えばスペックルサイズdは、以下の式で与えられる。
 d=F#×(1+M)×λ×1.22
 ここで、F#はレンズ部21のF値であり、Mはレンズ部21の光学倍率Mである。またλは照射されたレーザ光11の波長である。以下ではこの式をスペックルサイズ算出式と記載する場合がある。
 本実施形態では、予測されるスペックルサイズ算出部40により、撮像パラメータに含まれるF値F#及び光学倍率Mに基づいて、スペックルサイズ算出式を用いてスペックルサイズdが算出される。従って予測されるスペックルサイズ算出部40は、撮像されているスペックルパターンでのスペックルサイズdを算出することが可能である。算出されたスペックルサイズdは、処理サイズ制御部41に出力される。算出するスペックルサイズは予測値ではあるが、図13で示すようにほぼ実測値と合うことを確認している。
 なお撮像パラメータに基づいてスペックルサイズdを算出する方法等は限定されず、他の方法でスペックルサイズdが算出されてもよい。例えばレンズ部21の絞り位置での開口サイズをもとに焦点距離からF値F#を表すことでスペックルサイズdが算出されてもよい。この他、スペックルサイズdを算出可能な任意の方法が用いられてよい。
 処理サイズ制御部41は、画素ブロックであるセルのサイズ(セルサイズ)を制御する。セルは、例えばm×nの画素で構成された矩形ブロックであり、画像信号からスペックルコントラストを算出する際に用いられる。(横×縦)の画素数(m×n)がセルサイズに相当する。セルの形状等は限定されず、例えば任意の形状のセルが用いられてよい。セル及びスペックルコントラストについては後に詳しく説明する。
 処理サイズ制御部41は、予測されるスペックルサイズ算出部40により算出されたスペックルサイズdに基づいてセルサイズを制御する。また処理サイズ制御部41は、UI取得部34により取得された画質モードに応じてセルサイズを制御する。従って処理サイズ制御部41により制御されるセルサイズは、スペックルサイズdと画質モードに応じたサイズとなる。
 本実施形態では、セルのサイズを制御する際に、記憶部37に記憶された処理サイズテーブル38が用いられる。処理サイズテーブル38には、スペックルサイズdと、画質モードと、セルのサイズとの対応関係が記録されている。例えば処理サイズ制御部41は、算出されたスペックルサイズd及び指定された画質モードに対応するセルのサイズの値を処理サイズテーブル38から取得する。これにより容易にセルのサイズを制御することが可能となる。本実施形態では、処理サイズテーブル38は、制御テーブルに相当する。
 このようにブロック制御部35は、撮像パラメータに基づいてスペックルサイズを算出し、算出されたスペックルサイズに基づいてセルサイズを制御する。すなわち、ブロック制御部35は、観察部位2に対する撮像の撮像パラメータに基づいて、セルのサイズを制御する。
 スペックル演算部36は、処理サイズ制御部41(ブロック制御部35)によりサイズが制御されたセルを用いて、画像取得部32により取得された画像信号に基づいてスペックルデータを算出する。ここでスペックルデータとは、観察部位2のスペックルパターンに関するデータである。スペックルデータは、例えば画像信号に含まれる各画素の輝度値等の情報を適宜処理することで算出される。
 本実施形態では、スペックル演算部36により、スペックルデータとしてスペックルコントラストが算出される。なおスペックルコントラストのみならず、例えばスペックルパターンでの輝度値の平均、分散、及び標準偏差等がスペックルデータとして算出されてもよい。算出されたスペックルデータは、処理サイズ制御部41及び処理サイズテーブル38に出力可能であり、処理サイズテーブル38の校正等に用いられる。
 またスペックル演算部36により、算出されたスペックルコントラストに基づいて観察部位2の観察像が生成される。生成された観察像は、図示しないディスプレイ等の表示装置に出力される。本実施形態において、スペックル演算部36は、算出部及び生成部として機能する。
 図2及び図3は、スペックルコントラストの算出例を説明するための模式図である。図2では、3×3のセル42に含まれる画素43の輝度値が明暗により模式的に図示されている。
 図2に示すようにスペックルコントラストCsは、セル42に含まれる各画素43の輝度値I(m、n)の標準偏差σ及び平均値Aを用いて以下の式で与えられる。
 Cs=σ/A
 また輝度値I(m、n)の標準偏差σ及び平均値Aは以下の式で与えられる。
 A=Ave(I(m、n))=Σ[I(m、n)]/N
 σ=Stdev(I(m、n))=Sqrt((Σ[I(m、n)-Ave]^2)/N)
 ここで総和記号Σは、セル42内の全ての画素43の輝度値に関する和を表す。またNはセル42に含まれる画素43の総数であり、図2ではN=3×3=9である。なおスペックルコントラストCsの算出方法は限定されず、例えば標準偏差σに代えて、輝度値I(m、n)の分散σ^2等が用いられてもよい。またスペックルコントラストCsとしてセル42内での輝度値I(m、n)の最大値及び最小値の差分(Imax(m、n)―Imin(m、n))が用いられてもよい。
 図3Aには、3×3のセル42を用いてスペックルコントラストCsを算出する処理の一例が示されている。例えば図3に示すように、画像44の左上の画素43の位置を座標(0,0)とする。スペックル演算部36は、まず左上の画素43を含むセル42aを設定する。この場合、座標(1,1)にある画素43を中心とするセル42aが設定される(ステップ1A)。
 スペックル演算部36は、座標(1,1)を中心とするセル42aでのスペックルコントラストCs(1,1)を算出する。すなわち中心の画素43とその周りの8つの画素43との輝度値からCs(1,1)が算出される。算出されたスペックルコントラストCs(1,1)は、座標(1,1)にある画素43に対応するスペックルコントラストCsとして記録される(ステップ1B)。
 次にスペックル演算部36は、座標(1,1)から右方向に1画素だけ移動した座標(2,1)を中心とするセル42bを設定する(ステップ2A)。スペックル演算部36はセル42bでのスペックルコントラストCs(2,1)を算出し、座標(2,1)にある画素43のスペックルコントラスCsとして記録する(ステップ2B)。
 このようにセル42の中心を1画素ずつ移動して、セル42の中心の画素43のスペックルコントラストCsを算出する処理が実行される。これにより画像信号に含まれる各画素43に対応するスペックルコントラストCsが順次算出される。
 なお、セル42を使ってスペックルコントラストCsを算出する方法等は限定されない。例えば算出されたスペックルコントラストCsが、セル42内にある中心の画素43とは異なる他の画素43に割り当てられてもよい。またセル42を移動させる量、向き、及び順序等は限定されず、例えば画像処理に要する処理時間等に応じて適宜変更されてよい。
 図3Bには、スペックルコントラストCsを算出する処理の全体像が模式的に図示されている。図3Bの左側の図は、カメラ20により撮像された画像(カメラ入力画像50)の模式図である。スペックル演算部36は、カメラ入力画像50の左上からスペックルコントラストCsの算出処理を開始する。以下では、スペックルコントラストCsを算出するための元画像、すなわちカメラ入力画像50をスペックル画像50と記載する。
 スペックル演算部36は、算出されたスペックルコントラストCsに基づいて観察像となるスペックルコントラスト画像60を生成する。図3Bの右側の図は、スペックルコントラスト画像60の模式図である。
 スペックルコントラスト画像60は、スペックルコントラストCsの値を輝度値に変換して生成される。例えば、スペックルコントラスCsの値が高い画素には明るい輝度値が設定され、Csの値が低い画素には暗い輝度値が設定される。スペックルコントラストCsを輝度値に変換する方法等は限定されず、任意の方法が用いられてよい。例えばスペックルコントラストCsの高低に対して明暗が反転した輝度値が設定されてもよい。
 なお元画像(スペックル画像50)の周縁に位置する画素については、セル42が設定できないので、スペックルコントラストCsが算出されない。従ってスペックルコントラスト画像60では、表示に用いられる画素43の範囲(有効エリア)がスペックル画像50に比べ小さくなる。例えばスペックル画像50のサイズが1920×1080(Full-HD)であった場合、スペックルコントラスト画像60の有効エリアは以下の式で与えられる。
 有効エリア=(1920-(m-1)/2)×(1080-(n-1)/2)
 スペックルコントラストCsが算出されない周縁の画素43については、所定の輝度値が設定され余白として用いられる。
 図4は、スペックルパターンの特性を説明するための図である。図4の右上に示す画像は、静止状態にある観察対象にレーザ光11を照射して撮像された原画像(スペックル画像50a)である。また左上に示す画像は、移動状態にある観察対象にレーザ光11を照射して撮像された原画像(スペックル画像50b)である。
 一般にレーザ光11のような干渉性の高い光を観察対象に照射すると、観察対象で反射されるレーザ光11(反射光)の位相がランダムに変化する。位相がランダムになったレーザ光11が互いに干渉することで明暗のスペックルパターンが形成される。例えば観察対象が静止状態にある場合には、干渉が生じる位置等が安定するため、右側のスペックル画像50aに示すように明瞭なスペックルパターンが形成される。
 一方でレーザ光11が移動する対象に照射される場合には、干渉が生じる位置等が変化してスペックルパターンの明暗のパターンが変化し、露光時間中に積分した結果、明暗のコントラストは低下する(左側のスペックル画像50b)。明暗のコントラストが低下する度合いは、例えばカメラ20の露光時間内での移動量に応じた値となる。すなわち明暗のコントラストの低下が速度を反映した指標となる。
 図4の下側には、静止状態及び移動状態でのスペックル画像50a及び50bでの輝度分布を示すグラフが示されている。グラフの横軸は輝度値であり、縦軸は各輝度値の画素数(分布)である。静止状態及び移動状態でのスペックル画像50a及び50bでの輝度分布は、それぞれ点線及び実線で図示されている。
 グラフに示すように、観察対象が静止状態である場合には、移動状態である場合と比べ、幅の広い輝度分布となる。すなわち静止状態でのスペックル画像50aは、明るい画素と暗い画素との輝度差が広く、明暗のコントラストが大きい画像となる。一方で、移動状態でのスペックル画像50bは、明るい画素と暗い画素との輝度差が狭く、明暗のコントラストが小さい画像となる。
 輝度分布の幅(明暗のコントラスト)は、露光時間内の移動量、すなわち移動速度の逆数に略比例する。より正確にはスペックルコントラストCsは以下の関係で表される。
 Cs=(β×(exp(-2X-1+2X))/(2X^2))^(1/2)
 ここでβはノーマライズファクタであり、Xは露光時間T及びコリレーション時間τを用いてX=T/τと表される。なおコリレーション時間τは、血流の平均速度vに反比例(τ∝1/v)する。
 従ってスペックル画像では、観察対象での移動速度が大きいほど明暗のコントラストが減少する。例えば、生体組織等において血流がある部位の輝度分布の幅は、血流の速度に対応する。また輝度分布の標準偏差に基づいて算出されるスペックルコントラストによっても血流速度を表現することが可能である。
 なお、観察対象により反射されるレーザ光11の平均輝度(平均反射率)は、観察対象が移動状態である場合でも、静止状態である場合でも、互いに略同様となる。従って各状態での輝度分布は、略同様の輝度値(平均反射率)を中心とした分布となる。
 図5は、スペックル画像の一例を示す模式図である。図5には、レーザ光11を照射して撮像された血管ファントム70のスペックル画像50が模式的に示されている。なお図5では、血管ファントムの内部の血流が早い部位と血流が遅い部位とが異なる色で示されている。
 血管ファントム70では、右側の血管71aが画像中央の分岐点で上下の血管71b及び71cに分岐される。分岐点には動脈瘤72が形成されており、血管クリップ73を用いて動脈瘤72の血流74が遮断されている。なお図5では、右側から左側に向けて流れる血流74が模式的に図示されている。動脈瘤72の内部では血液は溜まっている状態である。
 図6は、図5に示すスペックル画像50の輝度分布を表すグラフである。図6の右側には血液が流れている血管(下側の血管71b)での輝度分布を表すグラフが示されており、図6の左側には動脈瘤72での輝度分布を表すグラフが示されている。各グラフは、下側の血管71b及び動脈瘤72上の部分領域75及び76での輝度分布の結果である。
 下側の血管71bは、内部を血液が移動するため移動状態となる。従って図6の右側のグラフに示すように、下側の血管71bでの輝度分布の幅は狭くなり、明暗のコントラストが抑えられる。一方で動脈瘤72は、血液が溜まっている静止状態となる。従って図6の左側のグラフに示すように、動脈瘤72での輝度分布の幅は広くなり明暗のコントラストが大きくなる。
 なお、下側の血管71b及び動脈瘤72はともに同じ素材で構成されており、下側の血管71bでの平均輝度(23.52)及び動脈瘤72での平均輝度(23.82)は略同様の値となる。このように移動状態にある部位と静止状態にある部位とは、同様の平均輝度でありながら、それぞれの輝度分布、すなわちそれぞれの明暗のコントラストに差が生じる。
 図7は、スペックルコントラスト画像の一例を示す模式図である。図7Aには、3×3のセル42を用いて生成されたスペックルコントラスト画像60aが模式的に示されている。スペックルコントラスト画像60aは、例えば図5等で説明したスペックル画像50を原画像として生成される。
 スペックルコントラスト画像60aでは、血管71内の血液が流れている部分は暗い輝度となり、動脈瘤72の血液が溜まっている部分は、血流部分よりも明るい輝度となる。従って、血管71(血流部分)と動脈瘤72(溜まっている部分)とが異なる明るさで表示される。もちろん血管71が明るく表示され動脈瘤72が暗く表示される、明暗が反転したスペックルコントラスト画像60aが生成されてもよい。
 上記したように、スペックルコントラストCsの値は、セル42に含まれる各画素43の輝度値I(m、n)の標準偏差σに比例した値である。例えば輝度分布の幅が大きい領域では、輝度値I(m、n)の標準偏差σが大きくなり、スペックルコントラストCsの値も大きくなる。逆に輝度分布の幅が小さい領域では、スペックルコントラストCsの値も小さくなる。
 このように各画素43において、周辺の明暗のコントラスト(輝度分布の幅)に応じてスペックルコントラストCsが算出される。算出されたスペックルコントラストCsを輝度値に変換することで、スペックルコントラスト画像60aが生成される。従ってスペックルコントラスト画像60aの各画素43の明るさ(輝度値)は、各画素43の周辺の明暗のコントラストに応じた値となる。
 この結果、例えば明暗のコントラストが高い部位(スペックルが明瞭な部位)と、低い部位(スペックルが識別しにくい部位)とが、互いに異なる明るさで表示されることになる。すなわち、スペックルコントラスト画像60aでは、移動状態である血管71と静止状態である動脈瘤72とを明るさの違いで視覚的に表現することが可能となる。
 図7Bには、31×31のセル42を用いて生成されたスペックルコントラスト画像60bが模式的に示されている。セル42のサイズを大きくすると、各画素で算出されるスペックルコントラストCsの値が平滑化される。
 例えば血管71(血流部分)において、各画素43のスペックルコントラストCsは、互いに略等しい値が算出される。同様に動脈瘤72(溜まっている部分)でも各画素43のスペックルコントラストCsは、互いに略等しい値が算出される。従って左側のスペックルコントラスト画像60aと比べると、血管71及び動脈瘤72の各々は、略均質な明るさで表示される。
 図8は、セルサイズとスペックルコントラストとの関係を表すグラフである。図8に示すグラフでは、セルサイズと各セルサイズで算出されるスペックルコントラストCsの値との関係が模式的に示されている。以下では、スペックル画像50における明暗のコントラストが低い移動状態の部位(血管71)を低コントラスト部51と記載する。また明暗のコントラストが高い静止状態の部位(動脈瘤72)を高コントラスト部52と記載する。
 点線で示されるグラフは、低コントラスト部51で算出されるスペックルコントラストCsの最大値53a、平均値53b、及び最小値53cである。また実線で示されるグラフは、高コントラスト部52で算出されるスペックルコントラストCsの最大値54a、平均値54b、及び最小値54cである。なお図8のグラフでは、セルサイズに応じたスペックルコントラスト画像の空間解像度55が一点鎖線で模式的に図示されている。
 図8のグラフに示すように、セルサイズが小さい場合、高コントラスト部52の最大値54a及び最小値54bの間隔は広く、様々なスペックルコントラストCsの値が算出される。セルサイズが大きくなるにつれて、最大値54aは緩やかに増加する。最小値54bは最大値54aに向けて増加し、最小値54b及び最大値54aの間隔は小さくなる。従ってセルサイズの増加に伴い、高コントラスト部52で算出されるスペックルコントラストCs値は、最大値54aに近い値に収束する。
 このため、大きいセルサイズで算出されたスペックルコントラスト画像60bでは、高コントラスト部52に含まれる各画素の輝度値は互いに近い値となり、高コントラスト部52は全体的に同じ明るさで表示される。また高コントラスト部52の輝度値はセルサイズの増加に伴い増加する。高コントラスト部52の輝度値とは、高コントラスト部52全体の明るさであり、例えば高コントラスト部52に含まれる各画素の輝度値の平均値である。
 低コントラスト部51では、セルサイズが大きくなるにつれて、最大値53aは最小値53bに向けて減少する。従ってセルサイズの増加に伴い、低コントラスト部51で算出されるスペックルコントラストCs値は、最小値53bに近い値に収束する。この結果、スペックルコントラスト画像60bの低コントラスト部51の輝度値(例えば各画素の輝度値の平均値)は、セルサイズの増加に伴い減少する。
 このようにスペックルコントラスト画像60では、セルサイズが大きくなるにつれて血流部分(低コントラスト部51)と血流がたまっている部分(高コントラスト部52)とが、それぞれの明るさで略一様に表示されるようになる。この結果、血流がある部分は一様に暗い領域となり、血流が少ない部分は一様に明るい領域として表示される。これにより、例えば血流の有無等を容易に識別することが可能となる。
 なおセルサイズの増加に伴い、スペックルコントラストCsの値が平滑化され、スペックルコントラスト画像60の空間解像度55は低下する。例えば、図7に示すスペックルコントラスト画像60a及び60bでは、小さいセルサイズ(3×3)で生成された画像60aのほうが空間解像度55が高い。このように、スペックルコントラスト画像60では、コントラストと空間解像度55とがトレードオフの関係となっている。
 図9は、セルサイズとスペックルコントラストとの関係を説明するための模式図である。図9A~図9Cでは、互いに異なる第1~第3のセルサイズを用いて、各セル42c~42eでのスペックルコントラストCsが算出される。なお図9A~図9Cでは、共通のスペックル画像50dが用いられる。スペックル画像50dは、例えば図7で説明した高コントラスト部52の画像である。
 図9Aには、第1のセルサイズで区切られたスペックル画像50d(左側)と、各セル42c内での輝度分布(中央)と、セル42cごとに算出されたスペックルコントラストCs(右側)とが模式的に示されている。
 第1のセルサイズはスペックル画像50dのスペックルサイズ(スペックル粒径)と同程度の大きさである。図9Aの左側に示すように、スペックル画像50dを区切る各セル42cには、1つのスペックルを囲うセル42cや、部分的にスペックルを含むセル42c、スペックルが含まれないセル42c等が含まれる。例えば座標(4,1)に位置するセル42cでは、セル42cが1つのスペックルに略占有される。また例えば座標(0,2)等に位置するセル42cでは、スペックルが含まれない。
 図9Aの中央のグラフに示すように、第1のセルサイズで区切られた各セル42cの輝度分布は、各セル42cに含まれるスペックルの割合等に応じた分布を示す。例えばスペックルで占有されたセル42cは平均輝度が高く幅の狭い輝度分布となり、スペックルが含まれないセルは平均輝度が低く幅の狭い輝度分布となる。また例えば部分的にスペックルを含むセル42cは、幅の広い輝度分布となる。
 図9Aの右側には、第1のセルサイズで区切られた各セル42cが、各セル42cのスペックルコントラストCsに応じた明るさで示されている。各セル42cは、スペックル画像50dのスペックルパターンに応じたランダムな明暗のパターンを形成する。また黒色となるセル42cの割合、すなわち輝度分布の幅が狭いセル42cの割合が高く、全体として暗い画面となる。
 図9Bでは、第1のセルサイズよりも大きい第2のセルサイズが用いられる。第2のセルサイズは、第1のセルサイズの4倍程度のサイズである。図9Bの中央のグラフに示すように、第2のセルサイズで区切られた各セル42dの輝度分布は、第1のセルサイズを用いた場合と比べ、全体として幅の広い分布となる。この結果、各セル42dのスペックルコントラストCsの値は全体的に大きくなる。例えば図9Bの右側に示すように、第2のセルサイズを用いた場合、明るく表示されるセル42dの割合が多くなる。
 図9Cでは、第2のセルサイズよりも大きい第3のセルサイズが用いられる。図9Cの左側に示すように、第3のセルサイズで区切られた全てのセル42eには、スペックルとスペックル周りの周辺領域とが含まれる。このため各セル42eの輝度分布は、互いに同様で幅の広い分布となる。従って図9Cの右側に示すように、第3のセルサイズで区切られた各セル42eのスペックルコントラストCsは、互いに略等しく大きい値(明るい値)となる。
 このように、各セル42c~42eのスペックルコントラストCsの値は、各セル42c~42eに含まれるスペックルの面積の割合に応じた値となる。すなわち、スペックル画像50dでのスペックルサイズと、セルサイズとの比に応じてスペックルコントラストCsの値が定まる。この結果、例えばセルサイズを大きくすることで、ばらつきが小さく値の大きいスペックルコントラストCsを算出することが可能となる。
 図10は、セルサイズとスペックルコントラスト画像との関係を説明するための図である。図10A~図10Fには、3×3、5×5、7×7、11×11、21×21、及び31×31のセルサイズで算出されたスペックルコントラスト画像60c~60hが示されている。図10の原画像(スペックル画像)は、図5等で説明した血管ファントム70を撮像した画像である。なお図10の原画像では血管クリップ73等は使用されていない。
 また図10A~図10Fには、各スペックルコントラスト画像60c~60hでのスペックルコントラストCsのラインプロファイル61c~61hが示されている。各ラインプロファイル61c~61hは、右側の血管71と交差する直線45に沿ったラインプロファイルである。各ラインプロファイル61c~61hにおいて、中央の値の低い部分は血管71の領域に対応し、その両側の値の高い部分は背景77の領域に対応する。なお図10では、スペックルコントラストCsは最大値が1となるように規格化されている。
 例えば3×3のセルサイズを用いた場合、ラインプロファイル61cに示すように、各画素で算出されるスペックルコントラストCsの値のばらつき(ノイズ)は大きくなる。このため3×3のセルサイズで生成されたスペックルコントラスト画像60cには、細かい明暗の斑点模様(ぎらつき)が生じる。
 5×5のセルサイズを用いた場合、ラインプロファイル61dでのスペックルコントラストの値のばらつきの幅は、3×3のセルサイズでのばらつきと比べ小さくなる。なお5×5のラインプロファイル61dには、血管71に対応する領域Lと、血管71の両側の背景77に対応する領域H1及びH2が黒線で模式的に図示されている。
 セルサイズが増加するに従って、各画素で算出されるスペックルコントラストCsの値のばらつきは減少する。例えば21×21のセルサイズで生成されたスペックルコントラスト画像60gでは、斑点模様によるぎらつきが略見えなくなる。
 なおセルサイズの増加に伴い、スペックルコントラスト画像の解像度は低下する。例えば31×31のセルサイズでのラインプロファイル61hの血管71に対応する領域では、7×7及び11×11のラインプロファイル61e及び61f等に見えている細かい構造が見えなくなる。従って31×31のセルサイズで生成されたスペックルコントラスト画像60hでは、血管71内部での細かい明暗の分布等は識別が難しくなる。
 図11は、スペックルコントラストの特性を説明するための図である。図11Aは、図10に示す各ラインプロファイル61c~61hでの、セルサイズとスペックルコントラストCsとの関係を示すグラフである。四角のデータポイントは、血管71に対応する領域LでのスペックルコントラストCsの平均値である。菱形のデータポイントは、背景77に対応する領域H1及びH2でのスペックルコントラストCsの平均値である。三角のデータポイントは、血管71及び背景77でのスペックルコントラストCsの平均値の差である。
 血管71のスペックルコントラストCsの平均値は、セルサイズの増加に対して大きく変化しない。一方で、背景77のスペックルコントラストCsの平均値は、3×3のセルサイズから7×7のセルサイズにかけて大きく増加し、7×7以上のセルサイズでは緩やかに増加する。従って、例えば血液が流れている血管71と背景77との明るさの差(三角のデータポイント)は、セルサイズを7×7以上にしても大きく変化しない。
 図11Bは、図10に示す各ラインプロファイル61c~61hでの、セルサイズとスペックルコントラストCsのノイズN及びシグナルノイズ比SNR(Signal-Noise Ratio)との関係を示すグラフである。グラフの左側の縦軸はスペックルコントラストCsのシグナルノイズ比に対応し、右側の縦軸はスペックルコントラストCsのノイズに対応する。
 例えば、血管71のスペックルコントラストCsのノイズN(L)(四角のデータポイント)は、3×3のセルサイズから15×15のセルサイズ程度まで減少し、それよりも大きいセルサイズではノイズN(L)は略変化しない。血管71でのシグナルノイズ比SNR(L)(X印のデータポイント)は、ノイズN(L)の減少に伴い10dB程度増加する。
 また、背景77のスペックルコントラストCsのノイズN(H)(菱形のデータポイント)は、3×3のセルサイズから30×30のセルサイズ程度まで減少し、それよりも大きいセルサイズではノイズN(L)は略変化しない。また背景77のスペックルコントラストCsとノイズの比をSNR(H)(三角のデータポイント)とすると、ノイズN(L)の減少に伴い20dB程度向上する。
 このように、セルサイズの大きさに応じて、スペックルコントラスト画像での血管71及び背景77のぎらつき、明るさ、及び解像度等が変化し、スペックルコントラスト画像の見え方が変化する。従ってセルサイズを変えることで、観察像(スペックルコントラスト画像)の画質を変えて観察を行うことが可能である。例えば観察部位2を詳細に観察したい場合には、セルサイズを小さくして解像度の高い観察像を生成することが可能である。また例えば、血流がある部位(血管71)を大まかに把握したい場合には、セルサイズを大きくして血流がある領域とそうでない領域とをそれぞれの明るさで均質に表示するといったことも可能である。但し、観察する血管の幅以上に大きくすることは出来ないので限度はある。
 図12は、スペックル画像におけるスペックルサイズについて説明するための図である。図12Aには、レンズ部21のF値が5.6で撮像されたスペックル画像50c(左側)と、F値が16で撮像されたスペックル画像50d(右側)とが示されている。図12Bは、F値が5.6で撮像されたスペックル画像50cにおけるセル42内の輝度分布を示すグラフである。
 レンズ部21のF値が5.6の場合、画面全体に粒径の小さい斑点模様があるスペックル画像50cが撮像される。この斑点模様の1つ1つがスペックルに相当する。レンズ部21のF値が16で撮像されたスペックル画像50dでは、個々の斑点の大きさ(スペックルサイズ)はF値が5.6の場合と比べて全体的に大きくなる。なおスペックル画像50dには、1つのスペックルに対応する斑点が点線で模式的に図示されている。
 図12Aの右側には、スペックル画像50に含まれるスペックルの粒径(スペックルサイズ)の分布を表すグラフが模式的に図示されている。スペックル粒径の分布は、中心粒径をピークとする山なりの分布である。なおスペックル粒径の最小値は、レンズ部21等の変調伝達関数(MTF:Modulation Transfer Function)等を用いて表される。
 レンズ部21のF値等の撮像パラメータの変化に伴い、スペックル画像50でのスペックルの中心粒径が変化する。例えばF値が5.6から16に変化した場合、スペックル画像50に表れるスペックルのサイズは全体として大きくなる。この結果、スペックルの中心粒径は増大し、スペックル粒径の分布は全体的に右側にシフトする。このように、スペックル画像50に含まれるスペックルの大きさは、撮像パラメータ等に応じて変化する。
 なお図9等で説明したように、スペックルコントラストCsは、セルサイズとスペックルのサイズとに応じたセル42内の輝度分布に基づいて算出される。例えば同じセルサイズを用いる場合、F値が5.6で撮像されたスペックル画像50cでのセル42内の輝度分布(図12B参照)と、F値が16で撮像されたスペックル画像50dでのセル42内の輝度分布とは異なる分布となる。従って、各スペックル画像50c及び50dでは互いに異なるスペックルコントラストCsがそれぞれ算出される。
 図13は、光学倍率1倍、波長850nm、ピクセルサイズ5.8ミクロンにおける、スペックルサイズと撮像パラメータとの関係を示す図である。図13Aには、F値が2、5.6、及び16で撮像されたスペックル画像50e、50c、及び50dが示されている。図13Aに示すように、F値が増加するに従って、各スペックル画像50に表れるスペックルのサイズが大きくなる。
 図13Bには、スペックルサイズとF値との関係を表すグラフが示されている。グラフの横軸は、スペックル画像50を撮像した際のF値である。また縦軸は、各F値で撮像されたスペックル画像50でのスペックルの全幅(スペックルのサイズ)である。ここでスペックルの全幅とは、例えば図13Aのグラフで説明したスペックルの中心粒径である。
 図13Bに示すグラフでは、スペックルの全幅の実験値(菱形のデータポイント)及び計算値(四角のデータポイント)がそれぞれ示されている。スペックルの全幅の実験値は、例えばスペックル画像50をずらした画像とずらす前のスペックル画像50との相互相関をとることで算出される。またスペックルの全幅の計算値は、シミュレーション等に基づいて算出される。スペックルの全幅の実験値及び計算値を算出する方法等は限定されず、スペックルの粒径等を算出可能な任意の方法が適宜用いられてよい。
 図13Bに示すように、F値が4以下の場合(例えばF#=1.4、2、2.8等)、スペックルの全幅の実験値及び計算値はともに1ピクセル程度である。この場合、スペックル画像50に現れるスペックルは1つの画素よりも小さい。
 F値が4よりも大きい場合、F値の増加に伴いスペックルの全幅の実験値及び計算値はともに増加する。スペックルの全幅の増加量は、F値の増加量に対して略線形である。なお、F値以外の撮像パラメータが変化した場合であっても、スペックルの全幅が変化する場合があり得る。例えばレンズ部21の光学倍率が増加すると、スペックルの全幅も略線形に増加する。
 また図13Bに示すように、スペックルの全幅の実験値及び計算値は高い精度で一致する。従って、例えば撮像に用いられたF値から、撮像されたスペックル画像50でのスペックルのサイズ(全幅)等を高い精度で算出することが可能である。もちろんスペックルのサイズを算出するために用いられる撮像パラメータはF値に限定されず、光学倍率等の他のパラメータが用いられてもよい。
 このように、F値等の撮像パラメータが変化した場合、スペックル画像50に表れるスペックルのサイズは撮像パラメータに応じた値となる。従って撮像パラメータの変化(スペックルのサイズの変化)に伴い、スペックル画像50から算出されるスペックルコントラストCsの値も変化し、スペックルコントラスト画像60(観察像)の画質が変化する。
 図14は、スペックルサイズ及びセルサイズに関するスペックルコントラストのマップ62の一例を示す図である。マップ62の横軸はスペックルサイズであり、縦軸はセルサイズである。なお図14では、縦と横の画素数が等しい正方形のセル42が用いられ、セルサイズは縦(横)の画素数に相当する。
 図14に示すマップ62では、スペックルコントラストCsの値が0.05刻みの等値線で表されている。マップ62におけるスペックルコントラストCsの値は、例えば各スペックルサイズd及び各セルサイズsでのスペックルコントラストCsの値をそれぞれシミュレーションすることで算出される。以下では図14に示すマップ62をコントラストマップ62と記載する。またコントラストマップ62の各点の位置を、スペックルサイズd及びセルサイズsを用いて(d,s)と記載する。
 なお、コントラストマップ62を生成する方法等は限定されず、例えば標準拡散体等の試料を実際に撮像したスペックル画像50等からスペックルコントラストCsが算出されてもよい。この場合、例えばスペックルサイズS(撮像パラメータ)ごとにセルサイズを変えてスペックルコントラストを算出することで、コントラストマップ62を生成することが可能である。この他、コントラストマップ62を生成可能な任意の方法が用いられてよい。
 図14に示すように、コントラストマップ62では、スペックルコントラストCsの値が略一定となるようにスペックルサイズSとセルサイズCとの組み合わせを選択することが可能である。例えば点p1(3,13)及び点p2(6,16)をつなぐ直線状の第1の経路63a(図中の矢印63a)上の各点では、スペックルコントラストCsの値が略一定の値(約0.65)となる。
 例えば第1の経路63a上の各点と同様の条件、すなわち第1の経路63a上の各点に対応するスペックルサイズ及びセルサイズでスペックルコントラスト画像60が生成されるとする。この場合、第1の経路63aでのスペックルコントラストCsの値(約0.65)が一定であるため、各条件で生成されるスペックルコントラスト画像60の明暗のコントラストは互いに略同じになる。本実施形態では、スペックルコントラスト画像60の明暗のコントラストは、観察像の表示輝度に関する所定の表示パラメータに相当する。
 このように、スペックルコントラスト画像60を生成する際に、第1の経路63aに合わせてセルサイズCを選択することで、スペックルコントラスト画像60の明暗のコントラスト(表示パラメータ)を略一定に保つことが可能となる。この結果、例えばズーム機能等により撮像パラメータが変化してスペックルサイズが変わっても、それに合わせてセルサイズを設定する事により、同じコントラストのスペックルコントラスト画像60が得られる。
 同様に、点p3(3,5)及び点p4(6,8)をつなぐ第2の経路63b(図中の矢印63b)においても、スペックルコントラストCsの値(約0.56)は略一定に保たれる。従って第2の経路63b上の各点と同様の条件で生成されるスペックルコントラスト画像60の明暗のコントラストは、第2の経路63bでのスペックルコントラストCsの値(約0.56)に応じた略一定の値となる。
 なおコントラストマップ62において、スペックルコントラストの値を略一定に保つ経路は第1及び第2の経路63a及び63bに限定されない。例えば第1及び第2の経路63a及び63bの間の他の経路に沿ってスペックルコントラスト画像60を生成するといったことも可能である。
 このように、コントラストマップ62でのスペックルコントラストCsの値が略一定となる経路に沿ってスペックルコントラスト画像60を生成することで、スペックルコントラスト画像60(観察像)の画質を制御することが可能となる。例えば、各経路に沿ってセルサイズを制御することで、互いに画質の異なる複数の画質モードで観察像を生成することが可能となる。
 各経路に対応する画質モードでは、互いに異なるセルサイズの範囲で、スペックルコントラストCsの値が略一定に保たれる。従って各経路に対応する画質モードを選択することで、観察像の表示解像度の範囲を選択することが可能である。例えば、第2の経路63bに対応する画質モードの表示解像度(セルサイズs)の範囲は、5ピクセルから8ピクセルの範囲である。本実施形態において、各経路に対応する画質モードの各々は、表示解像度に関する画質モードに相当する。
 例えば第2の経路63bに対応するセルサイズの範囲は、第1の経路63aと比べセルサイズの値が小さい範囲である。従って第2の経路63bに沿って生成されるスペックルコントラスト画像60は、第1の経路63aに沿って生成されるスペックルコントラスト画像60と比べ、表示解像度の高い高精細な画像となる。本実施形態において、第2の経路63bに対応する画質モードは、表示解像度を優先する第2の画質モードに対応する。
 また例えば第1の経路63aは、第2の経路63bと比較してスペックルコントラストCsの値が高い経路となっている。従って第1の経路63aに沿って生成されるスペックルコントラスト画像60では、第2の経路63bに沿って生成されるスペックルコントラスト画像60と比べ、全体的に高いスペックルコントラストCsが算出され、明暗が大きいメリハリの利いた画像が得られる。つまり本実施形態において、第1の経路63aに対応する画質モードは、解像度よりコントラスト表示を優先する第1の画質モードに対応する。
 なお第1の経路63aに対応する画質モードでは、大きいセルサイズCが用いられる。このため、第1の経路63aに沿って生成されるスペックルコントラスト画像60では、観察部位2の血管71や動脈瘤72等の各部がそれぞれの明るさで略一様に表示される(図8参照)。従って第1の経路63aに対応する画質モードを選択することで、例えば低コントラスト部51(血管71)と高コントラスト部52(動脈瘤72)との表示輝度の差が明瞭なコントラストの高い画像を生成することが可能となる。
 図15は、処理サイズテーブル38の一例を示す表である。処理サイズテーブル38は、コントラストマップ62に基づいて生成され、記憶部37に記憶される。処理サイズテーブル38には、画質モードA~Eごとに、スペックルサイズに対応するセルサイズ(処理サイズ)が記録されている。
 図15に示す例では、画質モードは、画質モードA~Eの5段階に分けられている。またスペックルサイズの範囲は3~6ピクセルの4段階に分けられている。画質モード及びスペックルサイズの分け方は限定されず、任意に設定されてよい。
 例えば、画質モードBは、コントラストマップ62でのスペックルコントラストCsの値が約0.6となるような経路に対応した画質モードである。すなわち画質モードBは、各スペックルサイズに対して、コントラストマップ62でのスペックルコントラストが約0.6となるようにセルサイズを制御するモードである。なお、画質モードAは図14に示す第2の経路63bに対応する画質モードに相当し、画質モードEは第1の経路63aに対応する画質モードに相当する。
 図16は、観察システム100の基本的な動作例を示すフローチャートである。まず、観察システム100を操作するオペレータにより、操作画面等を介して観察システム100での測定モードが選択される。選択された測定モードがUI取得部34により受け付けられる(ステップ100)。
 測定モードには通常の観察を行う通常観察モードと、観察システム100の校正を行う校正モードとが含まれる。通常観察モードの選択が受け付けられた場合、ステップ101が実行される。また校正モードの選択が受け付けられた場合、ステップ201が実行され校正モードが開始される。校正モードについては後に詳しく説明する。
 通常観察モードが選択された場合、操作画面には観察モードを選択するための選択画面が表示される。観察モードには、マニュアル設定モードと、デフォルト設定モードと、自動認識設定モードとが含まれる。オペレータにより観察モードが選択され、UI取得部34により受け付けられる(ステップ101)。
 マニュアル設定モードが選択された場合、操作画面には解像度モードを選択するための選択画面が表示される。解像度モードには、図15に示す処理サイズテーブル38における画質モードA~Eが含まれる。オペレータにより、選択画面に表示された画質モードA~Eのうちいずれか1つが選択される。UI取得部34により、選択された画質モードが解像度モードとして受け付けられる(ステップ102)。
 例えば、解像度の高い高精細な画質で観察像を生成したい場合には、画質モードAが選択される。また例えば、血管71と血管71以外の領域とを明るさの違いで識別したい場合、すなわち高いコントラストで観察したい場合には、画質モードEが選択される。もちろんこれに限定されず、オペレータが所望する画質モードが適宜選択されてよい。なお選択画面では、画質モードA~Eが各モードの特徴を現すアイコン等の図像を用いて表示されてもよい。これにより直感的に画質モードを選択することが可能となる。
 デフォルト設定モードが選択された場合、観察システムにデフォルトで設定されている画質モードが解像度モードとして設定される(ステップ103)。デフォルトの画質モードとしては、例えば画質モードA~Eの中で、表示解像度の範囲が略中間となる画質モードCが設定される。もちろん、他の画質モードがデフォルトとして設定されてもよい。解像度モードがデフォルトの値に設定されると、ステップ105が実行される。
 自動認識設定モードが選択された場合、観察部位2の画像に基づいて画質モードが選択される(ステップ104)。例えば、観察部位2の撮像範囲における血管71の太さに応じて、画質モードが選択される。選択された画質モードは、ステップ102で解像度モードとして設定される。なお、血管71の太さは、例えばICG(IndoCyanine Green)等の試薬を用いて撮像された観察部位2の画像から同定される。
 ステップ104では、ICG等用いて撮像された観察部位2の画像から、観察部位2に含まれる血管71が、脳動脈瘤のような太い血管71であるのか、あるいは穿通枝のような細い血管71であるのかが判別される。観察部位2の画像から血管71の太さ等を判別する方法は限定されず、機械学習や画像処理等を用いた任意の方法が用いられてよい。
 例えば脳動脈瘤等を含む太い血管71に対しては、血管71と脳動脈瘤とを明瞭に識別するために、表示輝度を優先する画質モード等が選択される。また細い血管71での血流観察を重視する場合には、解像度の高い画質モードが選択される。この他、血管71の状態や生体組織の種類等に応じて、観察部位2の画像から適切な画質モードが適宜選択されてよい。なお血管71の太さ等を同定するための画像は、ICG等を使って撮像される画像に限定されず、他の任意の方法で撮像された観察部位2の画像等が適宜用いられてよい。
 なお、ステップ100、101、及び102での、測定モード、観察モード、及び解像度モードの選択は、任意のタイミングで実行されてよい。すなわちUI取得部34は、オペレータによる選択等を常時受け付けることが可能である。その場合、各モードが選択されたタイミングで、ステップ100、101、及び102からの処理が再開される。
 ステップ102で設定された解像度モードに基づいて、処理サイズテーブル38の処理列が決定される(ステップ105)。例えば画質モードAが解像度モードとして設定されている場合には、処理列は1列目となる。決定された処理列の情報は処理サイズ制御部41(ブロック制御部35)に出力される。
 観察部位2を撮像するカメラ20により、レーザ光が照射された観察部位2が撮像される(ステップ106)。カメラ20により観察部位2を撮像した画像信号が生成され、画像取得部32により取得される。カメラ制御部33により、カメラ20のF値F#及び光学倍率M等の撮像パラメータが取得される(ステップ107)。取得された撮像パラメータは、予測されるスペックルサイズ算出部40に出力される。
 予測されるスペックルサイズ算出部40により、撮像パラメータに基づいてスペックルサイズが算出される(ステップ108)。スペックルサイズの算出には、上記したスペックルサイズ算出式が用いられる。なお、ステップ108で算出されるスペックルサイズは、ステップ106で撮像された画像信号により構成されるスペックル画像50でのスペックルの粒径に相当する。算出されたスペックルサイズは、処理サイズ制御部41に出力される。
 処理サイズ制御部41により、セルサイズが決定される(ステップ109)。処理サイズ制御部41は、ステップ105で決定された処理列(画質モード)と、ステップ108で算出されたスペックルサイズとに基づいて、処理サイズテーブル38からセルサイズを決定する。決定されたセルサイズは、スペックル演算部36に出力される。
 スペックル演算部36により、画像取得部32が取得した観察部位2の画像信号からスペックルコントラストが算出される(ステップ110)。スペックルコントラストCsの算出には、処理サイズ制御部41により決定されたセルサイズが用いられる。
 スペックル演算部36は、算出されたスペックルコントラストCsに基づいて、観察部位2の観察像であるスペックルコントラスト画像60を生成する(ステップ111)。このように、処理サイズ制御部41により制御されたセルサイズを用いることで、設定された解像度モードに対応する画質で観察像を生成することが可能である。生成された観察像はディスプレイに出力される。これによりオペレータは所望の画質で観察部位2の観察像を観察することが可能となる。
 図16に示すように、観察システム100では、ステップ107~ステップ111までの各ステップのループ処理が実行される。すなわち、ループ処理ごとに撮像パラメータが取得され、当該撮像パラメータに基づいて、設定されている解像度モードに対応する画質で観察像が生成される。
 例えばオペレータがレンズ部21のズーム機能等を使って観察部位2を拡大して撮像する場合、光学倍率MやF値F#等の撮像パラメータが変化し、スペックル画像50でのスペックルサイズが変化する。処理サイズ制御部41は、解像度モードにおける表示解像度の範囲(セルサイズの範囲)で、スペックルサイズに応じたセルサイズを決定する。すなわち、処理サイズ制御部41により、観察像の表示輝度に関する表示パラメータが、複数の画質モードの各々に対して互いに表示解像度の範囲で略一定に保たれるようにセルサイズが制御される。
 なおステップ107~ステップ111を含むループ処理は、例えば解像度モード等が更新されたタイミングで停止される。例えば、オペレータにより他の画質モードが選択された場合、ループ処理が停止されステップ102が実行される。これにより、オペレータは所望のタイミングで観察像の画質を変更することが可能となる。
 図17は、観察システム100の校正の一例を示すフローチャートである。観察システム100の校正は、例えばレンズ部21の交換等のタイミングで実行される。これに限定されず、任意のタイミングで観察システム100が校正されてよい。
 本実施形態では、観察システム100の校正として、処理サイズテーブル38が校正される。すなわちレンズ部21の交換等のタイミングで、交換後のレンズ部21の特性を反映した処理サイズテーブル38が新たに生成されるとも言える。処理サイズテーブル38は、標準散乱体を用いて校正される。標準散乱体としては、例えば粒径の均一な粒子が表面に固着された反射型の散乱体等が用いられる。標準散乱体の種類等は限定されず、任意の散乱体が用いられてよい。本実施形態では、標準散乱体は、所定の校正用対象物に相当する。
 図16のフローチャートに示すステップ100で、測定モードとして校正モードが選択された場合、ステップ201が実行され校正モードでの処理が開始される。まず、標準散乱体が、カメラ20の撮像範囲に設置される(ステップ202)。標準散乱体は、例えば観察部位2と同様の位置に配置され、レーザ光11が照射される。標準散乱体が配置される位置等は限定されず、例えばレーザ光11を照射して撮像可能な任意の位置に配置されてもよい。
 カメラ制御部33により、カメラ20のF値F#及び光学倍率M等の撮像パラメータが初期設定値等の所定の値に設定される(ステップ204)。撮像パラメータが設定される値は限定されず、例えばF値F#及び光学倍率Mの最低値等に設定されてもよい。
 カメラ制御部33により、F値F#及び光学倍率Mの少なくとも一方が、各々に対応するステップ量だけ変更される(ステップ204)。ステップ204では、フローチャートでのループ処理の度に、F値F#及び光学倍率Mの異なる組み合わせがカメラ制御部33により設定される。すなわちステップ204では、ループ処理ごとのF値F#と光学倍率Mとの組み合わせが総当りとなるように、各撮像パラメータが設定される。各組み合わせが設定される順番等は限定されない。なお1度目の処理では、ステップ203で設定された所定の値が用いられる。
 カメラ20により、レーザ光11が照射された標準散乱体が撮像される(ステップ205)。撮像された画像信号は、画像取得部32により取得され、画像処理部に出力される。画像処理部は、例えば画像信号により構成されるスペックル画像に対して任意の画像処理を実行可能である。なお図1では画像処理部の図示を省略している。画像処理部により、標準散乱体のスペックル画像に基づいて、スペックル画像でのスペックルサイズ(スペックル粒径)が算出される(ステップ206)。
 算出されたスペックルサイズに基づいて、処理サイズテーブル38が校正される(ステップ207)。例えば、図14に示すコントラストマップ62に基づいて、ステップ206で算出されたスペックルサイズに対応するセルサイズが画素モードごとに取得され、処理サイズテーブル38に記録される。
 処理サイズテーブル38に必要なデータが揃ったか否かが判定される(ステップ208)。例えば処理サイズテーブル38で必要とされるスペックルサイズの数が全てそろったか否かが判定される。例えば図15に示す処理サイズテーブルでは、4つのスペックルサイズが記録されている。処理サイズテーブル38に用いられるスペックルサイズの数は限定されず、例えば、処理サイズテーブル38の精度やレンズ部21の特性等に応じて適宜設定されてよい。
 データが揃っていないと判定された場合(ステップ208のNo)には、ステップ204が再度実行される。すなわち、カメラ20の撮像パラメータを変えて再度スペックルサイズが算出される処理が実行される。またデータが揃ったと判定された場合(ステップ208のYes)、処理サイズテーブル38の校正モードの処理が終了する(ステップ209)。
 このように処理サイズテーブル38には、ステップ206で設定されたF値F#と光学倍率Mに応じたスペックルサイズと、当該スペックルサイズに対応する画素モードごとのセルサイズが記録される。従って処理サイズテーブル38は、交換されたレンズ部21に適した値に校正される。
 例えば、レンズ部21の交換により、撮像されるスペックルサイズの最大値や最小値等が変わる場合があり得る。この場合、レンズ部21の交換前に使用していた処理サイズテーブル38では、スペックルサイズを精度よく算出することが難しい。処理サイズテーブル38をレンズ部21に合わせて校正することで、撮像パラメータ(スペックルサイズ)の変化に十分に対応可能な処理を実行することが可能となる。
 なお、図17に示すフローチャートでは、実際に測定したスペックル画像50からスペックルサイズが測定された。このスペックルサイズの測定値を使って、撮像パラメータからスペックルサイズを算出するスペックルサイズ算出式の補正等が実行されてもよい。これにより高精度にセルサイズ等を制御することが可能となる。
 以上、本実施形態に係る観察システム100では、レーザ光11が照射されて撮像された観察部位2の画像信号が取得される。観察部位2の撮像パラメータに基づいてセル42のセルサイズが制御され、このセル42を用いて観察部位2の画像信号からスペックルコントラストCsが算出される。これにより撮像パラメータに応じたスペックルコントラストCsが算出可能となり、観察部位2をカメラの撮像条件が変わっても最適に計算処理することにより高い精度で観察することが可能となる。
 スペックルパターンを使って生体組織を観察する方法として、一定のセルサイズで算出されたスペックルコントラストを用いて観察像を生成する方法が考えられる。この場合、生体組織の各部位の明暗や解像度等が固定された観察像が生成される。こうした方法では、例えば生体組織の種類の違いや光学系の特性の変化に対応することが難しく、観察の精度が下がる可能性がある。
 例えば、特許文献1では「拡散スペックルコントラスト解析を用いた深部血流量測定」により、組織における血流の評価を目的として、空間領域のスペックルコントラストと時間領域のスペックルコントラストを併用している。時間領域のスペックルコントラストは空間領域のそれより時間分解能が低いが、小領域で使用可能で使い分けを提案している。しかしながら、空間領域のスペックルコントラストの算出において、計算対象となる空間範囲(セルサイズ)によりコントラスト値と空間解像度が変わることが触れられていない。
 本来、適用する診療において必要なコントラストと空間解像度があるはずで、最適な計算条件でなければ良質な画像が得られず、適切な診断ができない可能性がある。また計算条件とコントラスト値と空間解像度の関係は光源の観察光学系のFナンバーや光学倍率に依存するため、一度最適化しても観察中にズームや絞り変更等の処理で最適計算条件から外れる可能性もある。またレンズを変更した場合は光学パラメータが変わる可能性あるため最適計算条件の情報を更新する校正モードが必要になるはずである。
 本実施形態では、ブロック制御部35により、撮像パラメータに基づいてスペックルサイズが算出され、スペックルサイズに基づいてセルサイズが制御される。これにより、観察部位2で観察されるスペックルの大きさに合わせてセルサイズを最適化することが可能である。従って例えば、カメラ20等の光学系の特性に応じた適正なセルサイズで観察像を生成することが可能となる。この結果、観察部位2を高い精度で観察することが可能となる。
 また本実施形態では、UI取得部34により、観察像の画質に関する画質モードの選択が受け付けられる。ブロック制御部35により、選択された画質モードに応じてセル42のサイズが制御される。例えばオペレータは、生体組織の種類等に応じて、解像度とコントラストとの重み付けが異なる複数の画質モードから、所望の画質モードを選択することが可能である。これにより、オペレータが所望する画質で観察像を生成することが可能となり、血管71や動脈瘤72等の注目部位を精度良く観察することが可能となる。
 各画質モードでは、ブロック制御部35により、観察像の各部の表示輝度が略一定となるようにセルサイズが制御される。これにより、観察中にスペックル径を決定する光学要素(レンズ部21のF値やズーム倍率)が変化する場合であっても、セルサイズを逐次最適な値になるようにフィードバックして制御することが可能となる。従って、血管71や血管71の周辺の部位の表示輝度等を変えずに、観察の最中に観察部位2を拡大/縮小するといったことが可能となる。これにより、観察部位2を詳細に観察することが可能となり、観察精度を十分に向上させることが可能となる。
 本実施形態では、観察システム100の処理サイズテーブル38が、標準拡散体を用いて校正される。これにより、例えばレンズ部21等が交換されて観察用の光学系が変化した場合であっても、光学系に合わせて処理サイズテーブル38を適正に校正することが可能である。これによりセルサイズを適正に制御することが可能となり、精度の高い観察像を提供することが可能となる。
 また、自動認識設定モード(図16参照)を選択することで、観察対象となる血管71の太さ等に合わせて、最適なセルサイズを自動的に設定することが可能である。これにより、オペレータが自ら画質を選ぶことなく、観察部位2の特性に合った画質で観察をすることが可能となり、オペレータの負担を軽減することが可能である。
 本技術は、例えば医療・生物分野において用いられる内視鏡や光学顕微鏡等に適用することが可能である。すなわち観察システム100を、内視鏡又は顕微鏡として構成することも可能である。
 この場合、観察部位2としては、例えば生体の細胞、組織、臓器等の生体組織が挙げられる。本技術を用いることで、生体組織を高い精度で観察することが可能となる。例えば内視鏡や光学顕微鏡等に用いられるレンズ系におけるF値や光学倍率等の撮像パラメータを用いて、図16に示す処理を実行することで、生体組織を高精度に観察することが可能である。
 <その他の実施形態>
 本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
 上記では、撮像パラメータに基づいてスペックルサイズを算出され、当該スペックルサイズに基づいてセルサイズが制御された。スペックルサイズを算出する場合に限定されず、撮像パラメータを用いて直接セルサイズが制御されてもよい。
 撮像パラメータとして例えばF値及び光学倍率が用いられるとする。この場合、処理サイズテーブルには、F値と光学倍率との複数の組み合わせの各々に対応するセルサイズが、各画質モードごとに記録される。すなわち処理サイズテーブルは、画質モード、F値、及び光学倍率の各値が定まると、対応するセルサイズが1つ定まるように構成される。
 このようにセルサイズが各撮像パラメータごとに細かく設定された処理サイズテーブルを用いることで、レンズ部の挙動に合わせてセルサイズを細かく制御することが可能となる。これにより、観察像の画質等を高精度に制御することが可能となる。
 また処理サイズテーブルに代えて、図14に示すコントラストマップを用いてセルサイズが制御されてもよい。例えば、処理サイズ制御部によりコントラストマップが参照される。処理サイズ制御部は、コントラストマップでの対象となる画質モードに対応する経路から、スペックルサイズに基づいてセルサイズを取得する。このような場合でもセルサイズは適正に制御され、所望の画質で観察像を生成することが可能である。
 またオペレータ等により操作されるコンピュータと、ネットワーク等を介して通信可能な他のコンピュータとが連動することで、本技術に係る制御方法、及びプログラムが実行され、本技術に係る観察システムが構築されてもよい。
 すなわち本技術に係る制御方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
 コンピュータシステムによる本技術に係る制御方法、及びプログラムの実行は、例えば画像信号の取得、画素ブロックのサイズの制御、及びスペックルデータの算出等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
 すなわち本技術に係る制御方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
 以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
 なお、本技術は以下のような構成も採ることができる。
(1)レーザ光が照射されて撮像された生体組織の画像信号を取得する取得部と、
 前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズを制御するブロック制御部と、
 前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出する算出部と
 を具備する制御装置。
(2)(1)に記載の制御装置であって、さらに、
 前記スペックルデータに基づいて、前記生体組織の観察像を生成する生成部を具備する
 制御装置。
(3)(2)に記載の制御装置であって、
 前記スペックルデータは、スペックルコントラストを含み、
 前記生成部は、前記スペックルコントラストに基づいて前記観察像を生成する
 制御装置。
(4)(1)から(3)のうちいずれか1つに記載の制御装置であって、
 前記撮像条件は、前記生体組織を撮像する撮像系のF値(絞り値)及び光学倍率の少なくとも1つに関する条件を含む
 制御装置。
(5)(1)から(4)のうちいずれか1つに記載の制御装置であって、
 前記ブロック制御部は、前記撮像条件に基づいてスペックルサイズを算出し、前記算出されたスペックルサイズに基づいて前記画素ブロックのサイズを制御する
 制御装置。
(6)(2)から(5)のうちいずれか1つに記載の制御装置であって、さらに、
 前記撮像条件と前記画素ブロックのサイズとが関連付けられた制御テーブルを記憶する記憶部を具備する
 制御装置。
(7)(2)から(6)のうちいずれか1つに記載の制御装置であって、
 前記ブロック制御部は、前記観察像の表示輝度に関する所定の表示パラメータが略一定に保たれるように前記画素ブロックのサイズを制御する
 制御装置。
(8)(7)に記載の制御装置であって、さらに
 前記観察像の画質に関する画質モードの選択を受け付けるモード受付部を具備し、
 前記ブロック制御部は、前記選択された画質モードに応じて前記画素ブロックのサイズを制御する
 制御装置。
(9)(8)に記載の制御装置であって、
 前記モード受付部は、前記観察像の表示解像度に関する画質モードを受け付ける
 制御装置。
(10)(9)に記載の制御装置であって、
 前記モード受付部は、互いに異なる複数の画質モードの各々を受け付け、
 前記ブロック制御部は、前記観察像の表示輝度に関する所定の表示パラメータが、前記複数の画質モードの各々に対して互いに異なる範囲で略一定に保たれるように前記画素ブロックのサイズを制御する
 制御装置。
(11)(10)に記載の制御装置であって、
 前記複数の画質モードは、前記観察像の表示輝度及び表示解像度のうち、前記表示輝度を優先する第1の画質モードと、前記表示解像度を優先する第2の画質モードとを含む
 制御装置。
(12)(6)から(11)のうちいずれか1つに記載の制御装置であって、
 前記記憶部は、前記撮像条件と、前記画素ブロックのサイズと、前記観察像の画質に関する画質モードとの対応関係を記憶した前記制御テーブルを記憶する
 制御装置。
(13)(6)から(12)のうちいずれか1つに記載の制御装置であって、
 前記制御テーブルは、所定の校正用対象物を用いて生成される
 制御装置。
(14)(1)から(13)のうちいずれか1つに記載の制御装置であって、
 前記ブロック制御部は、前記生体組織の撮像範囲における血管の太さに応じて、前記画素ブロックのサイズを制御する
 制御装置。
(15)(1)から(14)のうちいずれか1つに記載の制御装置であって、
 内視鏡又は顕微鏡として構成される
 制御装置。
(16)レーザ光が照射されて撮像された生体組織の画像信号を取得し、
 前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズを制御し、
 前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出する
 ことをコンピュータシステムが実行する制御方法。
(17)レーザ光が照射されて撮像された生体組織の画像信号を取得するステップと、
 前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズを制御するステップと、
 前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出するステップと
 をコンピュータシステムに実行させるプログラム。
 2…観察部位
 11…レーザ光
 20…カメラ
 21…レンズ部
 30…コントローラ
 32…画像取得部
 33…カメラ制御部
 34…UI取得部
 35…ブロック制御部
 36…スペックル演算部
 37…記憶部
 38…処理サイズテーブル
 40…予測されるスペックルサイズ算出部
 41…処理サイズ制御部
 42、42a~e…セル
 50、50a~50d…スペックル画像
 60、60a~h…スペックルコントラスト画像
 62…コントラストマップ
 71、71a~71c…血管
 72…動脈瘤
 100…観察システム

Claims (17)

  1.  レーザ光が照射されて撮像された生体組織の画像信号を取得する取得部と、
     前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズを制御するブロック制御部と、
     前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出する算出部と
     を具備する制御装置。
  2.  請求項1に記載の制御装置であって、さらに、
     前記スペックルデータに基づいて、前記生体組織の観察像を生成する生成部を具備する
     制御装置。
  3.  請求項2に記載の制御装置であって、
     前記スペックルデータは、スペックルコントラストを含み、
     前記生成部は、前記スペックルコントラストに基づいて前記観察像を生成する
     制御装置。
  4.  請求項1に記載の制御装置であって、
     前記撮像条件は、前記生体組織を撮像する撮像系のF値(絞り値)及び光学倍率の少なくとも1つに関する条件を含む
     制御装置。
  5.  請求項1に記載の制御装置であって、
     前記ブロック制御部は、前記撮像条件に基づいてスペックルサイズを算出し、前記算出されたスペックルサイズに基づいて前記画素ブロックのサイズを制御する
     制御装置。
  6.  請求項2に記載の制御装置であって、さらに、
     前記撮像条件と前記画素ブロックのサイズとが関連付けられた制御テーブルを記憶する記憶部を具備する
     制御装置。
  7.  請求項2に記載の制御装置であって、
     前記ブロック制御部は、前記観察像の表示輝度に関する所定の表示パラメータが略一定に保たれるように前記画素ブロックのサイズを制御する
     制御装置。
  8.  請求項7に記載の制御装置であって、さらに
     前記観察像の画質に関する画質モードの選択を受け付けるモード受付部を具備し、
     前記ブロック制御部は、前記選択された画質モードに応じて前記画素ブロックのサイズを制御する
     制御装置。
  9.  請求項8に記載の制御装置であって、
     前記モード受付部は、前記観察像の表示解像度に関する画質モードを受け付ける
     制御装置。
  10.  請求項9に記載の制御装置であって、
     前記モード受付部は、互いに異なる複数の画質モードの各々を受け付け、
     前記ブロック制御部は、前記観察像の表示輝度に関する所定の表示パラメータが、前記複数の画質モードの各々に対して互いに異なる範囲で略一定に保たれるように前記画素ブロックのサイズを制御する
     制御装置。
  11.  請求項10に記載の制御装置であって、
     前記複数の画質モードは、前記観察像の表示輝度及び表示解像度のうち、前記表示輝度を優先する第1の画質モードと、前記表示解像度を優先する第2の画質モードとを含む
     制御装置。
  12.  請求項6に記載の制御装置であって、
     前記記憶部は、前記撮像条件と、前記画素ブロックのサイズと、前記観察像の画質に関する画質モードとの対応関係を記憶した前記制御テーブルを記憶する
     制御装置。
  13.  請求項6に記載の制御装置であって、
     前記制御テーブルは、所定の校正用対象物を用いて生成される
     制御装置。
  14.  請求項1に記載の制御装置であって、
     前記ブロック制御部は、前記生体組織の撮像範囲における血管の太さに応じて、前記画素ブロックのサイズを制御する
     制御装置。
  15.  請求項1に記載の制御装置であって、
     内視鏡又は顕微鏡として構成される
     制御装置。
  16.  レーザ光が照射されて撮像された生体組織の画像信号を取得し、
     前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズを制御し、
     前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出する
     ことをコンピュータシステムが実行する制御方法。
  17.  レーザ光が照射されて撮像された生体組織の画像信号を取得するステップと、
     前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズを制御するステップと、
     前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出するステップと
     をコンピュータシステムに実行させるプログラム。
PCT/JP2018/015959 2017-05-16 2018-04-18 制御装置、制御方法、及びプログラム WO2018211902A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/611,516 US11050931B2 (en) 2017-05-16 2018-04-18 Control device and control method
JP2019519140A JP7156275B2 (ja) 2017-05-16 2018-04-18 制御装置、制御方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-097151 2017-05-16
JP2017097151 2017-05-16

Publications (1)

Publication Number Publication Date
WO2018211902A1 true WO2018211902A1 (ja) 2018-11-22

Family

ID=64273540

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015959 WO2018211902A1 (ja) 2017-05-16 2018-04-18 制御装置、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US11050931B2 (ja)
JP (1) JP7156275B2 (ja)
WO (1) WO2018211902A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020203225A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 医療システム、情報処理装置及び情報処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200257185A1 (en) * 2019-02-12 2020-08-13 The Regents Of The University Of California Motion stabilized laser speckle imaging

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02268725A (ja) * 1989-04-10 1990-11-02 Kowa Co 眼科測定方法及び装置
JP2009538210A (ja) * 2006-05-24 2009-11-05 タリリアン レーザー テクノロジーズ,リミテッド 光学的バイタルサインの検出方法及び測定デバイス
JP2010117306A (ja) * 2008-11-14 2010-05-27 Canon Inc 音響光学トモグラフィー測定装置および測定方法
JP2010532699A (ja) * 2007-07-06 2010-10-14 インダストリアル リサーチ リミテッド レーザスペックル画像化システム及び方法
JP2012503996A (ja) * 2008-09-30 2012-02-16 カール ツァイス メディテック アクチエンゲゼルシャフト 眼球運動、特に眼底の運動の測定装置および測定方法
US20120277559A1 (en) * 2009-12-08 2012-11-01 Matthias Kohl-Bareis Apparatus for Measuring Blood Parameters
JP2015527096A (ja) * 2012-06-13 2015-09-17 コーニンクレッカ フィリップス エヌ ヴェ 表面波の伝播速度の決定
JP2016005525A (ja) * 2014-05-30 2016-01-14 ソニー株式会社 流体分析装置、流体分析方法、プログラム及び流体分析システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69017249T2 (de) 1989-04-10 1995-08-03 Kowa Co Ophthalmologisches Messverfahren und Einrichtung.
JP2000193896A (ja) * 1998-12-28 2000-07-14 Asahi Optical Co Ltd 内視鏡の光量制御装置
US20080071180A1 (en) 2006-05-24 2008-03-20 Tarilian Laser Technologies, Limited Vital Sign Detection Method and Measurement Device
DE102008049881A1 (de) 2008-09-30 2010-04-01 Carl Zeiss Meditec Ag Anordnung und Verfahren zur Messung einer Augenbewegung, insbesondere einer Bewegung des Augenhintergrunds
DE102008049846A1 (de) 2008-09-30 2010-04-01 Carl Zeiss Meditec Ag Anordnung und Verfahren zur schnellen Messung einer Augenbewegung
KR101069255B1 (ko) * 2009-09-07 2011-10-04 숭실대학교산학협력단 대조비를 이용한 레이저 스펙클 이미지의 영상처리 방법 및 장치
US11206990B2 (en) 2013-01-23 2021-12-28 Pedra Technology Pte Ltd Deep tissue flowmetry using diffuse speckle contrast analysis
US11589777B2 (en) * 2016-08-31 2023-02-28 Hoya Corporation Electronic endoscope processor and electronic endoscopic system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02268725A (ja) * 1989-04-10 1990-11-02 Kowa Co 眼科測定方法及び装置
JP2009538210A (ja) * 2006-05-24 2009-11-05 タリリアン レーザー テクノロジーズ,リミテッド 光学的バイタルサインの検出方法及び測定デバイス
JP2010532699A (ja) * 2007-07-06 2010-10-14 インダストリアル リサーチ リミテッド レーザスペックル画像化システム及び方法
JP2012503996A (ja) * 2008-09-30 2012-02-16 カール ツァイス メディテック アクチエンゲゼルシャフト 眼球運動、特に眼底の運動の測定装置および測定方法
JP2010117306A (ja) * 2008-11-14 2010-05-27 Canon Inc 音響光学トモグラフィー測定装置および測定方法
US20120277559A1 (en) * 2009-12-08 2012-11-01 Matthias Kohl-Bareis Apparatus for Measuring Blood Parameters
JP2015527096A (ja) * 2012-06-13 2015-09-17 コーニンクレッカ フィリップス エヌ ヴェ 表面波の伝播速度の決定
JP2016005525A (ja) * 2014-05-30 2016-01-14 ソニー株式会社 流体分析装置、流体分析方法、プログラム及び流体分析システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020203225A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 医療システム、情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
JPWO2018211902A1 (ja) 2020-03-19
US11050931B2 (en) 2021-06-29
JP7156275B2 (ja) 2022-10-19
US20200112673A1 (en) 2020-04-09

Similar Documents

Publication Publication Date Title
JP6948311B2 (ja) 全視野干渉顕微鏡撮像方法およびシステム
JP5801577B2 (ja) 光断層撮像装置及び光断層撮像装置の制御方法
US20150339822A1 (en) Image generating device and image generating method
JP6798511B2 (ja) 撮像装置及び撮像システム
US11426052B2 (en) Endoscopic system
JP2009163155A (ja) 顕微鏡装置
JP2013255533A (ja) 眼科撮影装置及び眼科画像処理装置
WO2018211982A1 (ja) 画像処理装置および方法、並びに画像処理システム
WO2018211902A1 (ja) 制御装置、制御方法、及びプログラム
JP2023033406A (ja) 眼科装置
US10481378B2 (en) Interactive graphical representation of image quality and control thereof
WO2017033669A1 (ja) 血流計測装置
JP2017064547A (ja) 眼底観察装置
WO2011145182A1 (ja) 光干渉断層画像計測装置
JP6099782B2 (ja) 眼科撮影装置
JP7339436B2 (ja) 立体カラーアイイメージングのための方法と装置
JP6602289B2 (ja) 立体断層像の容積計測装置、容積計測方法及び容積計測プログラム
US20170347879A1 (en) Blood flow measurement device
WO2022202051A1 (ja) 生体観察システム、生体観察方法、及び照射装置
JP2010121955A (ja) 高さ情報取得装置、高さ情報取得方法、及びプログラム
JP6888403B2 (ja) 視機能検査装置
JP7044420B1 (ja) Oct装置の制御装置およびプログラム
JP6254729B2 (ja) 眼科撮影装置
JP6106300B2 (ja) 眼科撮影装置
WO2021039441A1 (ja) 生体組織の識別方法、生体組織識別装置、および生体組織識別プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18802632

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019519140

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18802632

Country of ref document: EP

Kind code of ref document: A1