WO2018211982A1 - 画像処理装置および方法、並びに画像処理システム - Google Patents

画像処理装置および方法、並びに画像処理システム Download PDF

Info

Publication number
WO2018211982A1
WO2018211982A1 PCT/JP2018/017483 JP2018017483W WO2018211982A1 WO 2018211982 A1 WO2018211982 A1 WO 2018211982A1 JP 2018017483 W JP2018017483 W JP 2018017483W WO 2018211982 A1 WO2018211982 A1 WO 2018211982A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
speckle
image processing
frame
Prior art date
Application number
PCT/JP2018/017483
Other languages
English (en)
French (fr)
Inventor
藤田　五郎
哲朗 桑山
一木　洋
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2019519172A priority Critical patent/JPWO2018211982A1/ja
Priority to US16/611,545 priority patent/US20210145295A1/en
Publication of WO2018211982A1 publication Critical patent/WO2018211982A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Definitions

  • the present disclosure relates to an image processing apparatus and method, and an image processing system, and more particularly, to an image processing apparatus and method and an image processing system that enable observation with high accuracy.
  • Patent Document 1 There is a technique for observing blood flow with a camera optical system or the like using speckles generated by laser light irradiation.
  • Patent Document 1 as a speckle contrast calculation process, a method that uses time-dependent intensity change is superior in spatial resolution, and a method that measures spatial domain dispersion is superior in time response. To select a method.
  • Patent Document 1 does not describe the use of speckle contrast calculation processing on-line or off-line.
  • the present disclosure has been made in view of such a situation, and enables high-precision observation.
  • An image processing apparatus performs on-line processing of speckles generated by irradiating a laser beam on a captured image according to a relationship between an image output frame rate and a sampling rate. Or a control unit that controls whether the speckle image processing is performed on the captured image by offline processing.
  • control unit When the captured image is acquired at a sampling rate equal to the output frame rate of the image, the control unit performs image processing of speckle that is completed within a frame by the online processing, and performs speckle processing that requires inter-frame processing. Image processing can be performed by the off-line processing.
  • the control unit When the captured image is acquired at a sampling rate equal to the output frame rate of the image, the control unit replaces the previous frame with information of a plurality of frames before the corresponding frame, thereby requiring speckle that requires interframe processing.
  • the image processing can be performed by the online processing.
  • the control unit When the captured image is acquired at a sampling rate higher than the output frame rate of the image, the control unit performs a plurality of sample frame images in the output frame in addition to the speckle image processing completed in the sampling frame.
  • the image processing is performed by the online processing within the output frame rate, and the processing that does not fit within the output frame rate can be performed by the offline processing on the captured image stored in the memory.
  • the control unit can perform writing of the captured image to the memory and calculation processing in the offline processing in parallel with the speckle image processing in the online processing.
  • the control unit can perform the writing process of the captured image to the memory and the calculation process in the offline process after a predetermined time of the speckle image process in the online process.
  • the inter-frame processing is processing that excludes frames in which the speckle contrast of the entire image is reduced, and outputs an optimal speckle contrast by complementing from previous and subsequent frames or averaging other images in the output frame.
  • a plurality of exposure times are set for the sample frames within the output frame rate, and the contrast value for each exposure time is determined from a relational expression between a flow rate and a contrast value for each exposure time set in advance. This is a process of calculating the flow velocity, calculating the most probable flow velocity, and reflecting it in the image.
  • the inter-frame process is a process of detecting the size of the fluid part from different captured images and optimizing the calculation cell size so as to obtain a resolution corresponding to the detected size.
  • the inter-frame processing is processing including LSPI (Laser speckle perfusion imaging), LSFG (Laser speckle flowgraphy), or FDLSI (Frequency domain laser speckle imaging), which is an arithmetic method using speckle time direction information.
  • LSPI Laser speckle perfusion imaging
  • LSFG Laser speckle flowgraphy
  • FDLSI Frequency domain laser speckle imaging
  • the image processing apparatus may further include a switching unit that switches display of either one of the speckle image subjected to the image processing by the online processing and the speckle image subjected to the image processing by the offline processing.
  • an image processing apparatus generates speckles generated by irradiating a captured image with laser light on-line processing according to the relationship between an image output frame rate and a sampling rate. Or whether to perform the speckle image processing by offline processing on the captured image.
  • an image processing system performs online processing on a captured image according to a relationship between a light source that irradiates a surface of a subject with laser light, an output frame rate of an image, and a sampling rate.
  • An image processing apparatus including a control unit that controls whether to perform image processing of speckles generated by irradiating a laser beam from a light source or to perform image processing of the speckles by offline processing on the captured image;
  • the captured image is subjected to speckle image processing generated by irradiating the laser beam in online processing, or Whether the speckle image processing is performed on the captured image by offline processing is controlled.
  • the surface of the subject is irradiated with laser light from the light source. Then, depending on the relationship between the output frame rate of the image and the sampling rate, the captured image is subjected to on-line processing by speckle image processing generated by irradiating laser light from the light source, or the captured image On the other hand, it is controlled whether the speckle image processing is performed in the off-line processing.
  • an image can be processed.
  • highly accurate observation can be performed.
  • FIG. 20 is a block diagram illustrating a main configuration example of a computer.
  • the cerebral aneurysm clipping is an operation in which the aneurysm is buried between the wrinkles of the brain, so that the wrinkles are carefully removed and clipped to prevent rupture.
  • the aneurysm can be completely prevented from flowing blood.
  • speckle imaging as (Effect 1), surgery can be performed while observing whether blood flow is stopped by clipping, and (Effect 2) Finally, complete occlusion can be confirmed and clipping can be completed.
  • a giant cerebral aneurysm refers to those with a maximum diameter of 25 mm or more, and the treatment is mainly craniotomy, but it is often difficult to clip the aneurysm itself.
  • a treatment is performed in which an artery in which an aneurysm has occurred is stopped in front and a bypass is created instead. Also in that case, confirmation of the blood flow of the created bypass part is required.
  • ICG Indocyanine Green
  • the fluorescence image of the IR light camera is projected on the monitor to observe the blood flow.
  • the fluorescence image of the IR light camera is displayed in parallel on the monitor at the operation site to observe the blood flow. It is also possible to overlay an IR image on the RGB monitor in the operative field.
  • the principle of speckle imaging> 1 to 3 are diagrams illustrating the principle of speckle imaging used in the present technology.
  • the light source 11 irradiates a subject surface 13 with coherent light 12 such as laser light.
  • coherent light 12 strikes the subject surface 13 and is reflected, and the reflected light is imaged by the lens 14 to generate random interference fringes 15.
  • Random interference fringes (interference patterns) 15 can be observed.
  • the contrast of the interference fringes is high, and if the speed is normal, the contrast is moderate. Is high, the contrast is low. That is, the random interference fringes 15 become blurred as the speed increases.
  • speckle contrast As described above, where there is movement such as blood flow, the contrast is low, and except where there is movement, a random interference pattern (referred to as a speckle pattern) is created. Looks different. The brightness and darkness of the interference fringes 15 is called speckle contrast.
  • Fig. 3 shows the definition of speckle contrast.
  • a pixel of n rows ⁇ n columns is a calculation cell, and the speckle contrast for the I-th pixel among them is expressed by the following equation (1).
  • the standard deviation represents the spread of the light and dark distribution in a small area of the image.
  • Speckle calculation includes spatial contrast calculation called LASCA (LaserSpectrumContrustAnalysis) and time contrast calculation called LSI (LaserSpckleImaging).
  • LASCA LaserSpectrumContrustAnalysis
  • LSI LaserSpckleImaging
  • the spatial contrast calculation has a high time-axis resolution, and increasing m ⁇ n increases the contrast but decreases the spatial resolution. Further, the amount of memory is small as a calculation load. Therefore, the spatial contrast calculation is suitable for high speed (online processing).
  • the time contrast calculation has a high spatial resolution and can detect the speed, but the time axis resolution is low and the calculation load is large due to a plurality of frame memories. Therefore, the time contrast calculation is suitable for high-precision calculation (offline processing).
  • LSPI Laser speckle perfusion imaging
  • LSFG Laser La speckle flowgraphy
  • FDLSI Frequency domain laser speckle imaging
  • LASCA spatial contrast calculation
  • Offline processing by inter-frame processing is useful when accuracy in terms of flow velocity and resolution is required rather than real-time characteristics such as blood flow occlusion diagnosis that is performed once the operation is stopped.
  • FIG. 4 is a block diagram illustrating a basic configuration example of an image processing system including a speckle imaging apparatus as an image processing apparatus to which the present technology is applied.
  • the image processing system includes a light source 51, and a speckle imaging apparatus 50 including a filter 53, a camera 54, a CCU 55, and a display unit 56.
  • the light source 51 is, for example, a narrow band IR light source, and irradiates the subject surface 52 with laser light (coherent light). Any light source may be used as long as it emits coherent light.
  • the camera 54 is composed of, for example, a CMOS, a CCD, an imager and the like. The camera 54 images the subject surface 52 via the filter 53 and supplies the resulting image to the CCU 55.
  • the CCU 55 includes an image acquisition unit 61, a speckle conversion unit 62, and an image output unit 63.
  • the image acquisition unit 61 inputs an image from the camera 54 and supplies it to the speckle conversion unit 62.
  • the speckle conversion unit 62 performs speckle conversion on the image input by the image acquisition unit 61, and outputs the image after speckle conversion to the image output unit 63.
  • the image output unit 63 causes the display unit 56 to display the image after speckle conversion.
  • the two-dimensional image acquired by the camera 54 is w1920 ⁇ h1080 ⁇ d12 (luminance), and the two-dimensional image includes the luminance image images 71 of FIG.
  • the blood flow in the blood vessel is shown, the blood flow from the right to the top, and the blood flow from the right to the bottom is stopped.
  • the white thing on the blood vessel shown by the center lower part is the forceps for clipping which suppresses a blood vessel.
  • the speckle contrast image 72 is subjected to a luminance inversion process to display a highlight (monochrome) in order to make the blood flow portion easier to see.
  • An image 81 in FIG. 7B is a highlight (monochrome) display image after the inversion process.
  • highlight (hue) display may be performed.
  • the image 82 is a threshold value processed image after highlight (monochrome) display after reversal processing.
  • the offset (Offset), gain (Gain), and threshold (Hue and Cell (size)) of the control elements of the processing described above with reference to FIG. 7 are displayed together with the image 91, for example, as shown in FIG. From the user IF (interface) 101 displayed on the screen, the user may be able to change online or may be optimized from the image. At this time, the cell size for speckle conversion may be determined from the size of the fluid portion detected by the threshold.
  • An image 91 in FIG. 8 is a highlight (hue) display image after the inversion process. For example, the low-contrast portion of the blood flow portion is red and the fixed portion is blue. It is also possible to perform threshold processing after the image 91 is displayed and mask the background portion by threshold processing.
  • the image 112 after speckle calculation inversion when there is no speckle vibration is shown. Further, an image 122 after speckle calculation inversion in the presence of speckle vibration is shown.
  • the object moves due to the influence of the vibration of the forceps for clipping to suppress the blood vessel, and the contrast is reduced also in portions other than the blood flow. Therefore, it is difficult to distinguish the blood flow portion when there is vibration. Since the influence of movement also occurs on a pixel basis, speckle is highly sensitive to vibration. On the other hand, it is difficult to identify pixel-by-pixel changes in IR images and RGB images before conversion.
  • the overall brightness of each frame is calculated, and frames with significantly higher overall brightness than the previous and subsequent frames are excluded. Then, after processing, for example, complementation from the previous and subsequent frames is performed.
  • the speckle contrast has an inverted amplitude, the contrast decreases due to the influence of vibration, and the brightness increases.
  • speckle conversion is performed on the input images 131-0 to 131-4 of t0 to t4, and converted images 132-0 to 132-4 are generated.
  • the pixel luminance averages of the converted images 132-0 to 132-4 are 27.1, 23.4, 39.1, 29.9, and 30.7, respectively, and the ratio of the converted images 132-0 to 132-4 with the five-frame average is 0.90, respectively. , 0.78, 1.30, 0.99, 1.02. Therefore, after it is determined that the luminance of the converted image 132-2 is extremely high and removed, it is complemented from the previous and subsequent frames.
  • the processed images 133-0, 133-1, 133-3, and 133-4 correspond to the converted images 132-0, 132-1, 132-3, and 132-4, but the processed images 133- 2 is generated by complementing the processed images 133-1 and 133-4.
  • the post-processing image 133-2 may be an image obtained by averaging a plurality of images instead of complementation.
  • the graph of FIG. 10 represents the result of actual measurement of speckle contrast with the scatterer by changing the speed of movement (mm / s) of the scatterer and the exposure time. From the graph of FIG. 10, it can be seen that the region where the relationship between the speed and the contrast is linear or the region where the detection sensitivity (slope) is high differs depending on the exposure conditions.
  • Spectra contrast C for each exposure time can be obtained by giving three different exposure times T to the same observation pixel. If the relationship between the flow rate for each exposure time and the contrast (CV curve) is known in advance, the expected flow rate V is obtained for each exposure time.
  • the most probable flow velocity is calculated based on the ternary speed obtained as follows. That is, when there is one exposure condition, the linear range in which the speed can be correctly detected is limited, but more accurate information can be obtained.
  • the average of the center of gravity of speckle contrast / speed sensitivity is taken from the contrast value for each exposure time.
  • the CV curve used for the calculation is changed between the fluid part and the fixed part.
  • a calculation method such as removing the fixed part from the calculation is used.
  • the flow rate discrimination process as shown in FIG. 12 is performed using the graph of FIG. 11 as an example.
  • the flow velocity determination process in FIG. 12 will be described using, for example, the speckle conversion unit 62 in FIG. 4, but is actually a process executed by the intra-frame calculation unit 162 in FIG.
  • step S11 the speckle conversion unit 62 acquires speckle contrasts CA1 , CA2 and CA3 .
  • step S12 the speckle conversion unit 62 determines whether or not the speckle contrasts C A1 , C A2 , and C A3 are within the measurable range Cpp. If it is determined in step S12 that the current value is not within the measurable range Cpp, the process proceeds to step S13.
  • step S13 the speckle conversion unit 62 excludes contrast outside the measurable range Cpp.
  • step S14 the speckle conversion unit 62 determines whether or not Cpp determination has been completed for all speckle contrasts C A1 , C A2 , and C A3 . If it is determined in step S14 that the Cpp determination has not been completed, the process proceeds to step S12. If it is determined in step S14 that all the Cpp determination processing has already been completed, the processing proceeds to step S15.
  • step S12 If it is determined in step S12 that at least one speckle contrast C A1 , C A2 , C A3 is within the measurable range Cpp, the process proceeds to step S15.
  • step S15 the speckle conversion unit 62 determines whether there are a plurality of contrasts within the measurable range Cpp. If it is determined in step S15 that there are a plurality of contrasts within the measurable range Cpp, the process proceeds to step S16.
  • step S ⁇ b> 16 the speckle conversion unit 62 performs an averaging process of T ⁇ b> 1, T ⁇ b> 2 , and T ⁇ b> 3 for the contrast in the range Cpp that can be measured from the contrasts C A1 , C A2 , and C A3 .
  • the speckle conversion unit 62 sets the average value as the most probable flow velocity, and ends the flow velocity discrimination process.
  • step S15 when it is determined that there is not a plurality of contrasts within the measurable range Cpp, that is, only one, the speckle conversion unit 62 calculates the speed from the contrast within the measurable range Cpp, The flow velocity discriminating process is terminated with the most probable flow velocity.
  • the image processing system including the speckle imaging device that performs the processing for speckle discrimination described above with reference to FIGS. 7 to 12, the processing for speckle vibration, and the flow velocity discrimination processing of the speckle image, This will be specifically described.
  • FIG. 13 is a block diagram illustrating a first configuration example of an image processing system including a speckle imaging apparatus as an image processing apparatus to which the present technology is applied.
  • the subject surface 52 and the filter 53 are not shown.
  • the image processing system of FIG. 13 includes a speckle imaging apparatus including a PC (personal computer) 151, a display unit 152, and a user IF 153 in addition to the light source 51, the camera 54, the CCU 55, and the display unit 56 described above with reference to FIG. 50.
  • a speckle imaging apparatus including a PC (personal computer) 151, a display unit 152, and a user IF 153 in addition to the light source 51, the camera 54, the CCU 55, and the display unit 56 described above with reference to FIG. 50.
  • the subsequent speckle imaging apparatus 50 performs on-line processing of speckles generated by irradiating laser light on the captured image according to the relationship between the output frame rate of the image and the sampling rate.
  • the apparatus performs speckle image processing on a captured image by offline processing.
  • the speckle imaging apparatus 50 in FIG. 13 is an apparatus that acquires camera images at a sampling rate equal to the frame rate of image output.
  • the CCU 55 is common to the example of FIG. 4 in that it includes an image acquisition unit 61 and an image output unit 63.
  • the CCU 55 in FIG. 13 is different from the example in FIG. 4 in that the timing control unit 161 is added and the speckle conversion unit 62 is replaced with the in-frame operation unit 162.
  • the CCU 55 performs online speckle image processing on the captured image according to the relationship between the output frame rate of the image and the sampling rate (in the case of FIG. 13, a sampling rate equal to the frame rate of the image output). Do.
  • the image acquisition unit 61 supplies the image from the camera 54 to the intra-frame calculation unit 162 and the HDD 171 of the PC 151.
  • the timing control unit 161 controls the exposure time of the camera 54.
  • the in-frame operation unit 162 performs an operation related to an in-frame completed within the frame in the speckle conversion process.
  • the image output unit 63 displays the speckle converted image on the display unit 56 or supplies it to the image selection unit 173.
  • the display unit 56 is configured by an on-line monitor or a view finder overlay microscope.
  • the PC 151 performs speckle image processing on the captured image by offline processing according to the relationship between the output frame rate of the image and the sampling rate (in the case of FIG. 13, the sampling rate equal to the frame rate of the image output). Do.
  • the PC 151 is configured to include an HDD (SSD) 171, a high-precision arithmetic unit 172, and an image selection unit 173.
  • the HDD 171 temporarily stores images from the image acquisition unit 61.
  • the high-precision arithmetic unit 172 performs an inter-frame calculation that requires an inter-frame process in the speckle conversion process.
  • the image selection unit 173 selects an image from the image output unit 63 or an image from the high accuracy calculation unit 172 in accordance with a control signal from the user IF 153 and causes the display unit 152 to display the selected image.
  • the display unit 152 includes a monitor.
  • the user IF 153 includes a mouse, a touch panel, a keyboard, and the like, and supplies a control signal corresponding to a user operation to the image selection unit 173.
  • the speckle imaging apparatus 50 in FIG. 13 has a configuration in which offline processing is performed outside the CCU 55, but for example, as shown in FIG. 14, the offline processing may be performed in the CCU 55.
  • FIG. 14 is a block diagram illustrating a second configuration example of an image processing system including a speckle imaging apparatus as an image processing apparatus to which the present technology is applied.
  • the subject surface 52 and the filter 53 are not shown.
  • the image processing system includes the light source 51 described above with reference to FIG. 4, the speckle imaging apparatus 50 including the camera 54, CCU 55, display unit 56, and user IF 153 in FIG. 13.
  • the CCU 55 is common to the example of FIG. 4 in that the image output unit 63 is provided.
  • the CCU 55 includes an online processing FPGA 201, an offline processing FPGA 202, an image memory 203, and a selector 204, and an image acquisition unit 61 and a speckle conversion unit 62 are excluded. Is different from the example of FIG.
  • the CCU 55 performs online speckle image processing on the captured image according to the relationship between the image output frame rate and the sampling rate (sampling rate equal to the image output frame rate in the case of FIG. 14). I do.
  • the FPGA 201 includes the image acquisition unit 61, the timing control unit 161, and the intra-frame operation unit 162 provided in the CCU 55 in FIG.
  • the image acquisition unit 61 supplies the image from the camera 54 to the intra-frame calculation unit 162 and the image memory 203.
  • the in-frame computing unit 162 outputs the computed image to the selector 204.
  • the FPGA 202 includes an inter-frame operation unit 212 that performs an inter-frame operation in the speckle conversion process on the image stored in the image memory 203. That is, the inter-frame operation unit 212 in FIG. 15 performs basically the same processing as the high-precision operation unit 172 in FIG.
  • the image memory 203 temporarily stores the image from the image acquisition unit 61.
  • the inter-frame operation unit 212 performs an inter-frame operation and supplies an operation result image to the selector 204.
  • the selector 204 selects an image from the intra-frame operation unit 162 or an image from the image memory 203 in accordance with a control signal from the user IF 153, and supplies the selected image to the image output unit 63.
  • the user IF 153 includes a mouse, a touch panel, a keyboard, and the like, and supplies a control signal corresponding to a user operation to the selector 204.
  • the camera 54 captures an image by exposure for the exposure time from the timing control unit 161, and transfers the pixels of the captured image to the CCU 55.
  • basic processing is performed by the in-frame operation unit 162 via the image acquisition unit 61, and the processed image is transferred to an external memory (for example, HDD (SSD) 171) by the image output unit 63.
  • an external memory for example, HDD (SSD) 171
  • it is displayed on the display unit 56 as an output frame.
  • the output frame is displayed on the display unit 56, exposure by the camera 54 and pixel transfer are performed.
  • basic processing is performed, and an image of the next frame is transferred to the external memory. It is displayed on the display unit 56 as an output frame.
  • the above is the online processing.
  • the above-described processing for speckle discrimination in FIG. 7 and speckle image flow velocity determination processing in FIG. 12 are performed.
  • the image transferred to the external memory is transferred to the external memory (for example, HDD (SSD) 171), and the high-precision arithmetic unit 172 performs, for example, the above-described speckle as offline processing in the speckle conversion processing. 12 is performed, the speckle image flow velocity discrimination process of FIG. 12, and other calculations related to the frame are performed.
  • these offline processes after reading from the external memory may be performed in parallel with the above-described online processes, or may be started after a predetermined time has elapsed. The same applies to the subsequent offline processing.
  • the camera 54 captures an image by exposure for the exposure time from the timing control unit 161, and transfers the pixels of the captured image to the CCU 55.
  • the basic process, the luminance calculation, and the determination process are performed by the intra-frame calculation unit 162 via the image acquisition unit 61, and the image of the current frame or the previous frame after the process is determined according to the determination process result.
  • the image is output by the image output unit 63 and displayed on the display unit 56 as an output frame.
  • the determination frame number N is optimized by the vibration frequency characteristics, and G for determining the determination threshold is set according to the necessity of vibration processing.
  • the basic processing, the luminance calculation, and the calculated luminance value are the average values of the previous N frames. More than G times is determined, and the image of the previous frame is output by the image output unit 63 according to the determination processing result, and displayed on the display unit 56 as an output frame.
  • the speckle imaging apparatus 50 of FIG. 13 has been described as an example, but the only difference is whether the offline processing is performed outside or inside the CCU.
  • the same processing is basically performed in the 14 speckle imaging apparatuses 50, and the same effect can be obtained.
  • FIG. 17 is a block diagram illustrating a third configuration example of an image processing system including a speckle imaging apparatus as an image processing apparatus to which the present technology is applied.
  • the subject surface 52 and the filter 53 are not shown.
  • the speckle imaging apparatus 50 in FIG. 17 is an apparatus that acquires camera images at a sampling rate higher than the frame rate of image output.
  • the image processing system in FIG. 17 includes a speckle imaging apparatus 50 including the PC 151, the display unit 152, and the user IF 153 in FIG. 13 in addition to the light source 51, the camera 54, the CCU 55, and the display unit 56 described above with reference to FIG. Become.
  • the CCU 55 is common to the example of FIG. 4 in that it includes an image output unit 63.
  • the CCU 55 is different from the example of FIG. 4 in that the FPRA 201 for online processing and the image memory 203 are added, and that the image acquisition unit 61 and the speckle conversion unit 62 are removed. Yes.
  • the CCU 55 performs speckle image processing on the captured image by online processing according to the relationship between the output frame rate of the image and the sampling rate (in the case of FIG. 17, the frame rate of the image output> sampling rate). .
  • the FPRA 201 includes the image acquisition unit 61, the timing control unit 161, and the intra-frame operation unit 162 provided in the CCU 55 in FIG.
  • the image acquisition unit 61 supplies the image from the camera 54 to the intra-frame calculation unit 162 and the image memory 203.
  • the in-frame computing unit 162 outputs the computed image to the image output unit 63.
  • the image output unit 63 displays the image after speckle conversion on the display unit 56 or supplies it to the image selection unit 173, as in the example of FIG.
  • the display unit 55 includes an on-line monitor and a view finder overlay microscope.
  • the PC 151 is used for off-line processing, and is configured to include an HDD (SSD) 171, a high-precision arithmetic unit 172, and an image selection unit 173.
  • SSD HDD
  • HDD high-precision arithmetic unit
  • image selection unit 173 image selection unit
  • vibration countermeasure processing is performed as processing between a plurality of sample frame images that fall within the output frame in a sample frame cycle ⁇ output frame cycle, for example.
  • An example of online processing is shown.
  • the camera 54 captures an image by exposure for the exposure time from the timing control unit 161, and transfers the pixels of the captured image to the CCU 55.
  • basic processing is performed by the intra-frame calculation unit 162 via the image acquisition unit 61, and the image after processing by the image output unit 63 is stored in a built-in memory (for example, the image memory 203). And transferred to an external memory (for example, HDD 171).
  • the CCU 55 reads the image from the built-in memory, and reads from the built-in memory.
  • Inter-frame processing is performed on the read image, and the image after inter-frame processing is output, transferred to an external memory, and displayed on the display unit 56 as an output frame.
  • the image transferred to the external memory is transferred to the external memory (for example, HDD (SSD) 171), and, for example, as an off-line process in the speckle conversion process, is output in the output frame by the high-precision arithmetic unit 172. Arithmetic processing that does not fit is performed.
  • the external memory for example, HDD (SSD) 171
  • the high-precision arithmetic unit 172 Arithmetic processing that does not fit is performed.
  • exposure control is performed by the CCU 55 (timing control unit 161) as shown in FIG. 19 in addition to the process of FIG.
  • the average contrast of all the frames sf01 to sf04 is used in an unprocessed case where inter-frame processing is not performed, but in the case where inter-frame processing is performed, for example, speckle contrast is different in an image.
  • the frame is removed and the contrast is averaged.
  • a removal method at that time a method of calculating the overall luminance of each frame and removing a remarkably high frame from the preceding and following frames, or a method of removing a frame in which the contrast of a fixed portion below the threshold value of each frame is lowered is used.
  • the overall brightness of the frame sf13 is significantly higher than the overall brightness of the preceding and following frames, and thereafter the average contrast of the frames sf11, sf12, and sf14 is used. .
  • a threshold process as shown in FIG. 20 may be added at the end of the basic process.
  • the threshold processing will be described with reference to FIG.
  • the boundary between the fluidized part and the fixed part indicated by the dotted line is obtained by the threshold process performed at the end of the basic process. Therefore, the width of the flow part (also referred to as a flow path) can be recognized by machine learning or the like. This process is also one of inter-frame processes.
  • the necessary resolution can be calculated based on the width of the flow part to be observed. For example, suppose that the flow width is 100 pixels and that 5 times the resolution ( ⁇ 20 pixels or less) is required.
  • the optimum speckle conversion processing size is determined in advance from the speckle size determined by the F # of the optical system of the speckle imaging apparatus 50 and the contrast characteristics determined by the processing size. If the speckle size is 4 pixels, for example, according to the specifications of the optical system, the relationship between the processing size on the dotted line in FIG.
  • the upper limit is a processing size of 10 to 20 pixels when the resolution is 20 pixels and the contrast is 0.6 or more.
  • speckle image processing is performed on the captured image by online processing, or the captured image is Whether or not speckle image processing is performed is controlled in off-line processing.
  • the image processing between the plurality of sample frame images in the output frame is performed in addition to the speckle image processing completed within the sampling frame in the online processing. This is done within the frame rate.
  • arithmetic processing that does not fit within the output frame rate is performed on the captured image stored in the memory.
  • Computer> ⁇ Computer>
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 22 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 305 is also connected to the bus 304.
  • An input unit 306, an output unit 307, a storage unit 308, a communication unit 309, and a drive 310 are connected to the input / output interface 305.
  • the input unit 306 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 307 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 308 includes, for example, a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 309 includes a network interface, for example.
  • the drive 310 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the above-described series of processing is performed by loading the RAM 303 via the CPU 301 and the bus 304 and executing it.
  • the RAM 303 also appropriately stores data necessary for the CPU 301 to execute various processes.
  • the program executed by the computer (CPU 301) can be recorded and applied to, for example, a removable medium 311 as a package medium or the like.
  • the program can be installed in the storage unit 308 via the input / output interface 305 by attaching the removable medium 311 to the drive 310.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. In that case, the program can be received by the communication unit 309 and installed in the storage unit 308.
  • this program can be installed in the ROM 302 or the storage unit 308 in advance.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared and processed by a plurality of devices via a network.
  • the above-described program can be executed in an arbitrary device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be executed by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the program executed by the computer may be executed in a time series in the order described in this specification for the processing of the steps describing the program, or in parallel or called. It may be executed individually at a necessary timing. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • this technique can also take the following structures.
  • an on-line image processing unit that performs image processing of speckles generated by irradiating a laser beam on a captured image according to a relationship between an output frame rate of an image and a sampling rate;
  • An image processing apparatus comprising: an off-line image processing unit that performs image processing of the speckle on the captured image by off-line processing.
  • the control unit performs speckle image processing completed within the frame by the online processing and requires inter-frame processing.
  • speckle image processing is performed by the off-line processing.
  • the control unit When the captured image is acquired at a sampling rate equal to the output frame rate of the image, the control unit performs inter-frame processing by replacing the previous frame with information on a plurality of frames before the corresponding frame.
  • the control unit When the captured image is acquired at a sampling rate higher than the output frame rate of the image, In addition to speckle image processing completed within a sampling frame, the control unit performs image processing between a plurality of sample frame images within the output frame by the online processing within the output frame rate,
  • the image processing apparatus according to any one of (1) to (3), wherein an arithmetic process that does not fit within the output frame rate is performed in the offline process on the captured image stored in a memory.
  • the control unit performs writing of the captured image to the memory and arithmetic processing in the offline processing in parallel with speckle image processing in the online processing.
  • Image processing according to (4) apparatus The image according to (4), wherein the control unit performs writing of the captured image to the memory and calculation processing in the offline processing after a predetermined time of speckle image processing in the online processing.
  • Processing equipment The inter-frame process is a process that excludes frames in which the speckle contrast of the entire image is reduced and outputs an optimal speckle contrast by complementing or averaging other images in the output frame from the previous and subsequent frames.
  • the image processing apparatus according to any one of (1) to (6).
  • the inter-frame processing a plurality of exposure times are set for the sample frames within the output frame rate, and the relationship between the flow rate and the contrast value for each exposure time is set for each exposure time.
  • the image processing apparatus according to any one of (1) to (7), wherein the flow rate is calculated from a contrast value, the most probable flow rate is calculated, and reflected in an image.
  • the inter-frame processing is processing for detecting the size of the fluid portion from different captured images and optimizing the calculation cell size so as to obtain a resolution corresponding to the detected size. ).
  • the inter-frame processing includes processing including LSPI (Laser speckle perfusion imaging), LSFG (Laser speckle flowgraphy), or FDLSI (Frequency domain laser speckle imaging), which is a calculation method using speckle time direction information.
  • the image processing apparatus according to any one of (1) to (9).
  • (11) The above-described (1) to (1), further including a switching unit that switches display of either one of the speckle image subjected to the image processing in the online processing and the speckle image subjected to the image processing in the offline processing.
  • the image processing apparatus according to any one of (10).
  • the image processing apparatus Depending on the relationship between the output frame rate of the image and the sampling rate, the captured image is subjected to speckle image processing that occurs by irradiating the laser beam with online processing, or An image processing method for controlling whether to perform image processing of the speckle on the captured image by offline processing.
  • a light source for irradiating the surface of the subject with laser light Depending on the relationship between the output frame rate of the image and the sampling rate, image processing of speckles generated by irradiating the laser light from the light source is performed on the captured image by online processing,
  • An image processing system comprising: a control unit that controls whether the speckle image processing is performed on the captured image by offline processing.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Hematology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Studio Devices (AREA)

Abstract

本開示は、精度の高い観察を行うことができるようにする画像処理装置および方法、並びに画像処理システムに関する。 フレーム内演算部は、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行う。高精度演算部は、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オフライン処理で、スペックルの画像処理を行う。本開示は、例えば、スペックルイメージング装置を含む画像処理システムに適用することができる。

Description

画像処理装置および方法、並びに画像処理システム
　本開示は、画像処理装置および方法、並びに画像処理システムに関し、特に、精度の高い観察が可能となるようにした画像処理装置および方法、並びに画像処理システムに関する。
　レーザ光を照射して生ずるスペックルを利用して、カメラ光学系などにより血流を観察する技術がある。特許文献１においては、スペックルのコントラスト演算処理として、時間依存の強度変化を利用する方法が、空間解像度が優れ、空間領域の分散を測定する方法が、時間応答に優れるとしており、目的に応じて手法を選択することが記載されている。
特表２０１６－５３３８１４号公報
　しかしながら、特許文献１においては、スペックルのコントラスト演算処理をオンラインとオフラインに使い分けることについては記載されていない。
　本開示は、このような状況に鑑みてなされたものであり、精度の高い観察が可能となるようにするものである。
　本技術の一側面の画像処理装置は、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行うか、前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する制御部を備える。
　前記撮像画像が、画像の出力フレームレートと等しいサンプリングレートで取得された場合、前記制御部は、フレーム内で完結するスペックルの画像処理を前記オンライン処理で行い、フレーム間処理を要するスペックルの画像処理を前記オフライン処理で行うことができる。
　前記撮像画像が、画像の出力フレームレートと等しいサンプリングレートで取得された場合、前記制御部は、該当フレーム前の複数フレームの情報により、前フレームと置換することで、フレーム間処理を要するスペックルの画像処理を前記オンライン処理で行うことができる。
　前記撮像画像が、画像の出力フレームレートよりも高いサンプリングレートで取得された場合、前記制御部は、サンプリングフレーム内で完結するスペックルの画像処理に加え、前記出力フレーム内の複数のサンプルフレーム画像間の画像処理を前記出力フレームレート内で前記オンライン処理で行い、メモリに蓄積された前記撮像画像に対して、前記出力フレームレート内で収まらない演算処理を前記オフライン処理で行うことができる。
　前記制御部は、前記撮像画像の前記メモリへの書き出しおよび前記オフライン処理での演算処理を、前記オンライン処理でのスペックルの画像処理と並列に行うことができる。
　前記制御部は、前記撮像画像の前記メモリへの書き出しおよび前記オフライン処理での演算処理を、前記オンライン処理でのスペックルの画像処理の一定時間後に行うことができる。
　前記フレーム間処理は、画像全体のスペックルコントラストが低下するフレームを除外し、前後フレームから補完または出力フレーム内の他の画像の平均化により最適なスペックルコントラストを出力する処理である。
　前記フレーム間処理は、前記出力フレームレート内のサンプルフレームに対して複数の露光時間を設定し、予め設定されている露光時間毎の流速とコントラスト値の関係式より、露光時間毎のコントラスト値から流速を算出し、最も確からしい流速を演算し、画像に反映する処理である。
　前記フレーム間処理は、異なる撮像画像により流体部分のサイズを検出し、検出されたサイズに応じた解像度になるように演算セルサイズを最適化する処理である。
　前記フレーム間処理は、スペックルの時間方向の情報を用いた演算手法であるLSPI（Laser speckle perfusion imaging）、LSFG(Laser speckle flowgraphy)、またはFDLSI(Frequency domain laser speckle imaging)を含む処理である。
　前記オンライン処理で画像処理が行われたスペックルの画像および前記オフライン処理で画像処理が行われたスペックルの画像のどちらか一方の表示を切り替える切り替え部をさらに備えることができる。
　本技術の一側面の画像処理方法は、画像処理装置が、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行うか、前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する。
　本技術の他の側面の画像処理システムは、被写体の表面にレーザ光を照射する光源と、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、前記光源からのレーザ光を照射して生ずるスペックルの画像処理を行うか、前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する制御部を備える画像処理装置とを有する。
　本技術の一側面においては、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行うか、前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかが制御される。
　本技術の他の側面においては、光源により、被写体の表面にレーザ光が照射される。そして、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、前記光源からのレーザ光を照射して生ずるスペックルの画像処理を行うか、前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかが制御される。
　本技術によれば、画像を処理することができる。特に、精度の高い観察を行うことができる。
スペックルイメージングの原理を説明する図である。 スペックルイメージングの原理を説明する図である。 スペックルイメージングの原理を説明する図である。 本技術を適用した画像処理システムの基本的な構成例を示すブロック図である。 二次元画像の輝度イメージ像の例を示す図である。 スペックルコントラスト像の例を示す図である。 スペックルの識別性に対する処理を説明する図である。 ユーザIFの例を示す図である。 スペックルの振動の影響について説明する図である。 スペックル画像の流速判別について説明する図である。 スペックル画像の流速判別に関するグラフを示す図である。 スペックル画像の流速判別処理を説明するフローチャートである。 本技術を適用した画像処理システムの第１の構成例を示すブロック図である。 本技術を適用した画像処理システムの第２の構成例を示すブロック図である。 図１３のスペックルイメージング装置の動作例について説明する図である。 オンライン処理で、振動に対する処理を行う動作例について説明する図である。 本技術を適用した画像処理システムの第３の構成例を示すブロック図である。 図１７のスペックルイメージング装置の動作例について説明する図である。 露光制御を加えた動作例について説明する図である。 基本処理の最後に追加される閾値処理について説明する図である。 基本処理の最後に追加される閾値処理について説明する図である。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　０．概要
　１．実施の形態
　２．コンピュータ
　＜０．概要＞
　　＜本技術の概要＞
　本技術の説明は、主に脳外科手術において血流観察を必要とする方法で説明をするが、診療科を特に限定するわけではなく、外科手術において血流、さらにリンパを含む体液の流れを観察するのに有効な技術または装置を対象としている。
　脳外科手術において、スペックルイメージングは、血流の観察に用いることが研究されている。脳動脈瘤クリッピング術は、動脈瘤が脳のしわの間に埋まっているため、このしわを丁寧に剥離して、クリップをかけ破裂を予防する手術である。手術において、クリップで動脈瘤の根元の部分を閉塞すると動脈瘤を完全に血流が通わない状態にすることができる。その際、クリッピング部の完全閉塞の確認が必要であり、スペックルイメージングを用いることで、（効果１）として、クリッピングにより血流を止められたか観察しながら手術ができるとともに、（効果２）として、最後に完全閉塞の確認を行い、クリッピングを完了することができる。
　一方、血管バイパス術では、巨大脳動脈瘤とは最大径25mm以上のものを指し、その治療は、開頭手術が主体になるが、動脈瘤自体にクリップをかけることが困難な場合が多く、その場合には、動脈瘤が発生している動脈自体を手前で止めて、代わりにバイパスを作成するという治療法が行われている。その際も、作成したバイパス部の血流の確認が必要になる。
　血流の観察における画像の処理に関して、（効果１）のようなケースは、観察結果をその場でフィードバックするため、遅れのないリアルタイムのオンライン処理が望ましい。正確には、人が違和感なく操作できる標準的なリフレッシュレート内の処理が望ましい。
　一方、（効果２）のようなケースは、術中に一旦手を止め完全閉塞の確認に入るため、リアルタイム性は必要なく、流れの観察をより精度よく行うためには、オフライン処理のほうが適している。また、この画像は、術後の解析に用いる場合も有用である。
　次に後述する（具体例１）または（具体例２）ともに術中にオンライン処理とオフライン処理を任意に切り替えることができると、術者が逐次目的にあった情報を得ることができるため、手術精度の向上に寄与することができる。
　まず、（具体例１）として、「術者が手術顕微鏡のビューファインダ上で観察しながら施術し、同じ視野像を顕微鏡内で分岐した光路に置かれたカメラにより、術場のモニタに表示する」場合で説明する。
　脳外科手術における血流観察は、ICG(Indocyanine Green)がよく用いられる。ICGの場合はモニタにRGBカメラ像に加えてIR光カメラの蛍光像をモニタに映し、血流観察する。またビューファインダの像に蛍光像をオーバレイする装置もある。
　そこで、本技術の場合にクリッピング術のケースで考えると、術中に手を止めて完全閉塞を術場のモニタで確認する場合は、リアルタイム性より流速を反映した精度のよい画像が有用となり、オフライン処理が適している。また、術野のビューファインダ内にスペックル像をオーバレイする場合は、表示遅れのないリアルタイムのオンライン処理により、スペックル画像を表示、あるいは、RGB画像にオーバレイする方が望ましい。
　次に、（具体例２）として、「術者がビデオ顕微鏡で術野モニタを観察しながら施術し、大型モニタを併設して、助手の確認や術中の確認をする」場合で説明する。
　血流観察は、RGBカメラ像に加えてIR光カメラの蛍光像を並列して術場の併設モニタに映し血流観察する。やはり術野のRGBモニタにIR像をオーバレイする場合も考えられる。
　そこで、本技術の場合もクリッピング術のケースでは、術中に手を止めて完全閉塞を術野あるいは併設モニタで確認する場合は、リアルタイム性よりは流速を反映した精度のよい画像が必要となり、むしろフレーム間処理のしやすいオフライン処理が適している。また、術中に術野モニタでスペックル像をオーバレイするような場合は、表示遅れのないリアルタイムのオンライン処理が望ましい。
　以上により、本技術においては、術野モニタあるいは術場のモニタの画像をオンライン処理したものにするかオフライン処理したものにするかは、手技に合わせて医師が任意に選択できると医学有用性が向上すると期待できる。
　　＜スペックルイメージングの原理＞
　図１乃至図３は、本技術に用いられるスペックルイメージングの原理を説明する図である。
　図１に示されるように、光源１１は、レーザ光のようなコヒーレント光１２を被写体面１３に照射する。コヒーレント光１２は被写体面１３に当たって反射し、その反射光はレンズ１４により結像し、ランダムな干渉縞１５を生じる。
　ランダムな干渉縞（干渉パターン）１５は、観察することができる。ランダムな干渉縞１５においては、図２に示されるように、オブジェクトの速度V=0であれば、干渉縞の明暗のコントラストが高く、速度が普通であれば、同コントラストは中庸であり、速度が高速であれば、同コントラストが低い。すなわち、ランダムな干渉縞１５は、速度が速くなるに連れて、ぼやけるようになる。
　以上のように、血流など動きがあるところはコントラストが低く、動きがあるところ以外は、ランダムな干渉パターン（スペックルパターンと称する）となるため、動きがある部分が、動きのない部分とは異なって見える。この干渉縞１５の明暗を、スペックルコントラストと呼ぶ。
　図３には、スペックルコントラストの定義が示されている。ｎ行×ｎ列の画素が計算セルであり、その中のI番目のピクセルについてのスペックルコントラストは、次の式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
 　標準偏差は、画像の小さな領域における明暗の分布の広がりを表す。
　　＜スペックル演算原理＞
　次に、スペックル演算原理について説明する。
　スペックル演算には、LASCA(LaserSpectrumContrustAnalysis)と呼ばれる空間コントラスト演算と、LSI(LaserSpckleImaging)と呼ばれる時間コントラスト演算がある。
　空間コントラスト演算は、計算セルがｍ行×ｎ列であるとき、
　Ｓpeckle Contrast = σ(Im,n)/Ave(Im,n)
で表され、フレーム内で完結する処理である。また、空間コントラスト演算は、時間軸分解能が高く、m×nを増やすと、コントラストが増加するが、空間分解能は低下する。また、演算負荷として、メモリ量は少ない。したがって、空間コントラスト演算は、高速（オンライン処理）向きである。
　一方、時間コントラスト演算は、時刻T=iのとき、
　Ｓpeckle Contrast = σ(Ii)/Ave(Ii)
で表され、複数フレームの処理が必要である。また、時間コントラスト演算は、空間分解能が高く、速度検出が可能であるが、時間軸分解能が低く、また、複数のフレームメモリにより演算負荷が大きい。したがって、時間コントラスト演算は、高精度演算（オフライン処理）向きである。
　さらに、空間コントラスト演算と時間コントラスト演算を組み合わせた手法がいくつか研究されている。例えば、LSPI（Laser speckle perfusion imaging）は、時間と空間の情報を用い、LASCAとLSIの方法を組み合わせた方法である。また、LSFG(Laser speckle flowgraphy)は、時間と空間の情報を用い、LASCAとLSIの方法を組み合わせた方法である。FDLSI(Frequency domain laser speckle imaging)は、動いている物体の統計的特性を散乱光の自己相関によって得る方法である。
　なお、これらの方法は、何れも複数フレームの処理が必要であるので、高精度演算（オフライン処理）向きである。
　ここで、術中の観察しながら手術に反映するリアルタイム性の高い観察は、オンライン処理がよい。これはフレーム内で完結する空間コントラスト演算(LASCA)が適している。
　術中に一旦作業を中止して行う血流の閉塞診断のようなリアルタイム性よりも流速や解像度に関する精度が必要な場合は、フレーム間処理によるオフライン処理が有用となる。
　フレーム間処理にはスペックル演算の原理的に異なる方式も有効だが、その他、様々な画像処理も適用できる。
　オンラインでフレーム間処理を行う手法としては、観察用ディスプレイ出力のリフレッシュレートより高いサンプルレートで画像を取得し、フレーム間処理をディスプレイ出力フレーム内で完結する技術が提案できる。
　本技術においては、術中の観察品質を上げるためにオンライン/オフラインの観察にフレーム間処理を効率よく盛り込み、使用者が適宜適切な処理法を選択できるようにすることができる。
　ちなみにディスプレイ出力は、人間工学的には60Hz程度で十分であるのに対して、昨今のイメージセンサはより高いサンプリングレート（120Hz～）に対応したものが出ており、今後のセンサの進化も考えると本技術の実現性は高いと言える。
　＜１．実施の形態＞
　　＜画像処理システムの基本的な構成例＞
　図４は、本技術を適用した画像処理装置としてのスペックルイメージング装置を含む画像処理システムの基本的な構成例を示すブロック図である。
　図４の例において、画像処理システムは、光源５１、並びに、フィルタ５３、カメラ５４、CCU５５、および表示部５６を含むスペックルイメージング装置５０からなる。
　光源５１は、例えば、狭帯域IR光源であり、レーザ光（コヒーレント光）を、被写体面５２に照射する。なお、コヒーレント光を照射するものであれば、どんな光源でもよい。カメラ５４は、例えば、CMOS,CCD,イメージャなどからなる。カメラ５４は、フィルタ５３を介して被写体面５２を撮像し、撮像した結果の画像をCCU５５に供給する。
　CCU５５は、画像取得部６１、スペックル変換部６２、および画像出力部６３により構成されている。画像取得部６１は、カメラ５４からの画像を入力し、スペックル変換部６２に供給する。スペックル変換部６２は、画像取得部６１により入力された画像に対してスペックル変換を行い、スペックル変換後の画像を、画像出力部６３に出力する。画像出力部６３は、スペックル変換後の画像を、表示部５６に表示させる。
　　＜スペックル変換＞
　次に、スペックル変換部６２におけるスペックル変換について説明する。カメラ５４により取得される二次元画像は、例えば、あるHD解像度センサの場合、w1920×h1080×d12(輝度)であり、二次元画像は、図５の各輝度イメージ像７１からなり、輝度イメージ像７１においては、血管における血流が示されており、右から上に血流が流れ、右から下への血流が止められている。なお、中央下部に示されている血管上の白いものは、血管を抑えるクリッピング用の鉗子である。
　二次元画像を、スペックル変換（例えば、Ave(I0,0+I0,1・・I3,2)→Sqrt(Σ[(Im,n)-Ave]^2)→σ／AVE)すると、変換後は、HD解像度の場合1920-(m-1)/2×1080-(n-1)/2のスペックルコントラスト像７２となる。
　次に、スペックルの観察品質をあげるための本技術について以下の３項目について説明する。これらのうち、（１）および（３）は、フレーム内処理が望ましく、（２）についてはフレーム間処理が望ましい。
（１）スペックルの識別性
（２）スペックルの振動の影響
（３）スペックル画像の流速判別
　　＜スペックルの識別性について＞
　まず、スペックルの識別性について説明する。
　観察対象の流体が白色雑音に近いのに対して、背景の固定部分のスペックルコントラストが大きい。そのため、スペックルの定義どおりに輝度に変換した画像は、図６に示されるように背景が明るくギラツキが残り、流体（血流部分）が暗く、ハイライトされない。
　そこで、本技術については、図７のＡに示されるように、スペックルコントラスト像７２に対して、輝度の反転処理を行い、血流部分を見やすくするため、ハイライト（モノクロ）表示する。図７のＢの画像８１は、反転処理後のハイライト（モノクロ）表示画像である。また、反転処理に加えて、ハイライト（色相）表示するようにしてもよい。
　表示後、さらに、閾値処理を行い、背景部分を閾値処理でマスクすると、図７のＣの画像８２に示されるように、血流部分を観察しやすくなる。画像８２は、反転処理後のハイライト（モノクロ）表示後の閾値処理画像である。
　なお、図７を参照して上述した処理の制御要素のオフセット(Offset)、ゲイン(Gain)、閾値(HueやCell（サイズ）)は、図８に示されるように、例えば、画像９１とともに表示部に表示されるユーザIF（インタフェース）１０１から、オンラインでユーザが変更できてもよいし、画像から最適化してもよい。その際に閾値検出した流体部分のサイズからスペックル変換のセルサイズを決めてもよい。図８における画像９１は、反転処理後のハイライト（色相）表示画像である。例えば、血流部分のコントラストの低い部分が赤、固定部が青にされる。なお、画像９１についても表示後、さらに閾値処理を行い、背景部分を閾値処理でマスクすることも可能である。
　　＜スペックルの振動について＞
　次に、図９を参照して、スペックルの振動の影響について説明する。観察対象あるいは撮像系が振動すると相対的にオブジェクトに速度が発生するためスペックルの明暗が低下する。
　図９の例においては、スペックルの振動がない場合のスペックル演算反転後画像１１２が示されている。また、スペックルの振動がある場合のスペックル演算反転後画像１２２が示されている。
　これらのスペックル演算反転後画像１１２およびスペックル演算反転後画像１２２に示されるように、血管を抑えるクリッピング用の鉗子の振動の影響によりオブジェクトが移動し、血流以外の部分もコントラストが低下するため、振動がある場合の血流部分の見分けが困難になる。移動の影響は画素単位でも起きるため、スペックルは振動に対する感度が高いと言える。一方、変換前のIR画像やRGB画像は、画素単位の変化を識別することが難しい。
　そこで、本技術においては、各フレームの全体輝度を算出し、前後フレームと比較して著しく全体輝度の高いフレームを除く。そして、処理後に、例えば、前後のフレームからの補完を行う。ここで、スペックルコントラストは振幅を反転しているため、振動の影響でコントラストが低下し、輝度が上がる。
　例えば、t0乃至t4の入力画像１３１－０乃至１３１－４に対してスペックル変換が行われ、変換画像１３２－０乃至１３２－４が生成される。変換画像１３２－０乃至１３２－４のピクセル輝度平均は、それぞれ、27.1、23.4、39.1、29.9、30.7であり、変換画像１３２－０乃至１３２－４の５フレーム平均との比は、それぞれ、0.90、0.78、1.30、0.99、1.02である。したがって、変換画像１３２－２の輝度が著しく高いと判定され、除かれた後に、前後フレームから補完される。すなわち、処理後画像１３３－０、１３３－１、１３３－３、１３３－４は、変換後画像１３２－０、１３２－１、１３２－３、１３２－４に相当するが、処理後画像１３３－２は、処理後画像１３３－１および１３３－４から補完されて生成されたものである。なお、処理後画像１３３－２は、補完ではなく、複数画像を平均化した画像であってもよい。
　　＜スペックル画像の流速判別＞
　さらに、図１０を参照して、スペックル画像の流速判別について説明する。
　スペックルコントラスト（以下、単にコントラストとも称する）により血流の速度を反映した像を得ることは可能である。図１０のグラフは、散乱体の動きの速度(mm/s)、露光時間を変化させて散乱体でスペックルコントラストを実測した結果を表している。図１０のグラフより、露光条件により速度とコントラストの関係が線形な領域または検出感度（傾き）の高い領域が異なることがわかる。
　同じ観察ピクセルに３値の異なる露光時間Tを与えると、それぞれの露光時間毎のスペックルコントラストＣが得られる。予め露光時間毎の流速とコントラストの関係（CV曲線）がわかっていると、露光時間毎に予想流速Ｖが得られる。
　図１１の例においては、Ａのピクセルに露光時間T1,T2,T3を与えて、コントラストCA1,CA2,CA3、血流速度VA1,VA2,VA3が得られ、Ｂのピクセルに露光時間T1,T2,T3を与えて、コントラストCB1,CB2,CB3、血流速度VB1,VB2,VB3が得られるグラフが示されている。図１１のグラフにおいて、測定可能な範囲Cppから外れているのは、コントラストCA2,CB1であることがわかる。
　得られた３値の速度を基に、以下のように、最も確からしい流速が演算される。つまり、露光条件が１つの場合は速度が正しく検出できる線形な範囲が限られるのに対して、より精度の高い情報を得ることができる。
　例えば、露光時間毎のコントラスト値が測定可能な範囲を外れた値は除外する。また、例えば、露光時間毎のコントラスト値よりスペックルコントラスト／速度感度の重心平均を取る。さらに、流体部と固定部で演算に用いられるCV曲線を変える。または、固定部は演算から除く、などの演算方法が用いられる。
　具体的には、図１１のグラフを例として、図１２に示されるような流速判別処理が行われる。図１２の流速判別処理は、例えば、図４のスペックル変換部６２を用いて説明するが、実際には、後述する図１３のフレーム内演算部１６２などにより実行される処理である。
　ステップＳ１１において、スペックル変換部６２は、スペックルコントラストCA1,CA2,CA3を取得する。ステップＳ１２において、スペックル変換部６２は、スペックルコントラストCA1,CA2,CA3が順次測定可能な範囲Cpp内であるか否かを判定する。ステップＳ１２において、測定可能な範囲Cpp内ではないと判定された場合、処理は、ステップＳ１３に進む。
　ステップＳ１３において、スペックル変換部６２は、測定可能な範囲Cpp外のコントラストを除外する。ステップＳ１４において、スペックル変換部６２は、スペックルコントラストCA1,CA2,CA3すべてのCpp判定が終ったか否かを判定する。ステップＳ１４において、まだCpp判定が終っていないと判定された場合、処理は、ステップＳ１２に進む。ステップＳ１４において、もうCpp判定処理が全て終ったと判定された場合、処理は、ステップＳ１５に進む。
　ステップＳ１２において、スペックルコントラストCA1,CA2,CA3が１つでも測定可能な範囲Cpp内であると判定された場合、処理は、ステップＳ１５に進む。
　ステップＳ１５において、スペックル変換部６２は、測定可能な範囲Cpp内のコントラストが複数あるか否かを判定する。ステップＳ１５において、測定可能な範囲Cpp内のコントラストが複数あると判定された場合、処理は、ステップＳ１６に進む。ステップＳ１６において、スペックル変換部６２は、コントラストCA1,CA2,CA3から測定可能な範囲Cppのコントラストに対してT1,T2,T3の平均化処理を行う。スペックル変換部６２は、その平均値を最も確からしい流速とし、流速判別処理を終了する。
　ステップＳ１５において、測定可能な範囲Cpp内のコントラストが複数ない、すなわち、１つだけであると判定された場合、スペックル変換部６２は、測定可能な範囲Cpp内のコントラストから速度を算出し、最も確からしい流速とし、流速判別処理を終了する。
　以上の図７乃至図１２を参照して上述したスペックルの識別性に対する処理、スペックルの振動に対する処理、スペックル画像の流速判別処理を行うスペックルイメージング装置を含む画像処理システムについて、以下、具体的に説明する。
　　＜本技術の画像処理システムの第１の構成例＞
　図１３は、本技術を適用した画像処理装置としてのスペックルイメージング装置を含む画像処理システムの第１の構成例を示すブロック図である。なお、図１３の例において、被写体面５２とフィルタ５３の図示は省略されている。
　図１３の画像処理システムは、図４で上述した光源５１、並びに、カメラ５４、CCU５５、表示部５６に加えて、PC(パーソナルコンピュータ)１５１、表示部１５２、およびユーザIF１５３を含むスペックルイメージング装置５０からなる。
　なお、以降のスペックルイメージング装置５０は、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行い、撮像画像に対して、オフライン処理で、スペックルの画像処理を行う装置である。図１３のスペックルイメージング装置５０は、その中でも、画像出力のフレームレートと等しいサンプリングレートでカメラ画像を取得する装置である。
　図１３の例において、CCU５５は、画像取得部６１、および画像出力部６３を備える点が、図４の例と共通している。図１３のCCU５５は、タイミング制御部１６１が追加された点と、スペックル変換部６２が、フレーム内演算部１６２に入れ替わった点とが図４の例と異なっている。CCU５５は、画像の出力フレームレートとサンプリングレートの関係性（図１３の場合、画像出力のフレームレートと等しいサンプリングレート）に応じて、撮像画像に対して、オンライン処理で、スペックルの画像処理を行う。
　すなわち、図１３の例において、画像取得部６１は、カメラ５４からの画像を、フレーム内演算部１６２と、PC１５１のHDD１７１に供給する。タイミング制御部１６１は、カメラ５４の露光時間を制御する。フレーム内演算部１６２は、スペックル変換処理のうち、フレーム内で完結するフレーム内に関する演算を行う。画像出力部６３は、スペックル変換後の画像を、表示部５６に表示させるか、画像選択部１７３に供給する。表示部５６は、オンラインモニタやビューファインダのオーバレイ用の顕微鏡で構成される。
　PC１５１は、画像の出力フレームレートとサンプリングレートの関係性（図１３の場合、画像出力のフレームレートと等しいサンプリングレート）に応じて、撮像画像に対して、オフライン処理で、スペックルの画像処理を行う。
　PC１５１は、HDD(SSD)１７１、高精度演算部１７２、および画像選択部１７３を含むように構成されている。HDD１７１は、画像取得部６１からの画像を一旦蓄積する。高精度演算部１７２は、スペックル変換処理のうち、フレーム間処理を要するフレーム間に関する演算を行う。画像選択部１７３は、ユーザＩＦ１５３からの制御信号に応じて、画像出力部６３からの画像または高精度演算部１７２からの画像を選択して、選択した画像を、表示部１５２に表示させる。
　表示部１５２は、モニタで構成される。ユーザIF１５３は、マウスやタッチパネル、キーボードなどで構成され、ユーザの操作に対応した制御信号を、画像選択部１７３に供給する。
　なお、図１３のスペックルイメージング装置５０は、オフライン処理をCCU５５の外で行う構成であるが、例えば、図１４に示されるように、オフライン処理をCCU５５内で行う構成することもできる。
　　＜本技術の画像処理システムの第２の構成例＞
　図１４は、本技術を適用した画像処理装置としてのスペックルイメージング装置を含む画像処理システムの第２の構成例を示すブロック図である。なお、図１４の例において、被写体面５２とフィルタ５３の図示は省略されている。
　画像処理システムは、図４で上述した光源５１、並びに、カメラ５４、CCU５５、表示部５６、図１３のユーザＩＦ１５３を含むスペックルイメージング装置５０からなる。
　図１４の例において、CCU５５は、画像出力部６３を備える点が、図４の例と共通である。図１４の例において、CCU５５は、オンライン処理用のFPGA２０１、オフライン処理用のFPGA２０２、画像メモリ２０３、セレクタ２０４が追加された点と、画像取得部６１、スペックル変換部６２が除かれた点とが図４の例と異なっている。CCU５５は、画像の出力フレームレートとサンプリングレートの関係性（図１４の場合も、画像出力のフレームレートと等しいサンプリングレート）に応じて、撮像画像に対して、オンライン処理で、スペックルの画像処理を行う。
　すなわち、図１４の例において、FPGA２０１は、図１３においてCCU５５に備えられていた画像取得部６１、タイミング制御部１６１、およびフレーム内演算部１６２を有している。画像取得部６１は、カメラ５４からの画像を、フレーム内演算部１６２と画像メモリ２０３に供給する。フレーム内演算部１６２は、演算後の画像をセレクタ２０４に出力する。
　FPGA２０２は、画像メモリ２０３に蓄積された画像に対して、スペックル変換処理のうち、フレーム間に関する演算を行うフレーム間演算部２１２を備えている。すなわち、図１５のフレーム間演算部２１２は、図１４の高精度演算部１７２と基本的に同様の処理を行う。画像メモリ２０３は、画像取得部６１からの画像を一旦蓄積する。フレーム間演算部２１２は、フレーム間に関する演算を行い、演算結果の画像を、セレクタ２０４に供給する。
　セレクタ２０４は、ユーザIF１５３からの制御信号に応じて、フレーム内演算部１６２からの画像または画像メモリ２０３からの画像を選択して、選択された画像を画像出力部６３に供給する。ユーザIF１５３は、マウスやタッチパネル、キーボードなどで構成され、ユーザの操作に対応した制御信号を、セレクタ２０４に供給する。
　　＜スペックルイメージング装置の動作例＞
　次に、図１５のタイミングチャートを参照して、図１３のスペックルイメージング装置の動作例について説明する。図１３のスペックルイメージング装置５０においては、図１６に示されるように、サンプルフレーム周期＝出力フレーム周期で処理が行われる。
　カメラ５４は、タイミング制御部１６１からの露光時間分、露光することで撮像し、撮像された画像の画素を、CCU５５に転送する。CCU５５においては、画像取得部６１を介して、フレーム内演算部１６２により基本処理が行われ、画像出力部６３により処理後の画像が、外部メモリ（例えば、HDD(SSD)１７１）に転送されるとともに、出力フレームとして表示部５６に表示される。出力フレームが表示部５６に表示されている途中、カメラ５４による露光と、画素転送が行われ、CCU５５においては、基本処理が行われ、次のフレームの画像が、外部メモリへ転送されるとともに、出力フレームとして表示部５６に表示される。
　以上がオンライン処理であり、例えば、基本処理として、上述した図７のスペックルの識別性に対する処理や図１２のスペックル画像の流速判別処理が行われる。
　一方、外部メモリへ転送された画像は、外部メモリ（例えば、HDD(SSD)１７１）に転送され、高精度演算部１７２により、例えば、スペックル変換処理のうち、オフライン処理として、上述したスペックルの振動に対する処理、図１２のスペックル画像の流速判別処理、その他のフレーム間に関する演算が行われる。なお、外部メモリから読み出される以降のこれらのオフライン処理は、上述したオンライン処理と並行して行われてもよいし、一定時間経過後に開始されるようにしてもよい。以降のオフライン処理についても同様である。
　なお、振動に対する処理は、次に、図１６のタイミングチャートを参照して、オンライン処理で、上述した図９の振動に対する処理を行う動作例について説明する。図１６においても、サンプルフレーム周期＝出力フレーム周期で処理が行われる例が示されている。
　カメラ５４は、タイミング制御部１６１からの露光時間分、露光することで撮像し、撮像された画像の画素を、CCU５５に転送する。CCU５５においては、画像取得部６１を介して、フレーム内演算部１６２により基本処理、輝度演算、判定処理が行われ、判定処理結果に応じて、処理後の現在のフレームまたは前フレームの画像が、画像出力部６３により出力され、出力フレームとして表示部５６に表示される。
　なお、この判定処理においては、演算した輝度値が前のNフレームの平均値よりG倍以上の場合、前フレームの画像が用いられ、演算した輝度値が前のNフレームの平均値よりG倍より少ない場合、現在のフレームの画像が用いられる。ここで、判定基準のフレーム数Nは、振動周波数特性で最適化され、判定の閾値を決めるGは、振動処理の必要性に応じて設定される。
　前の出力フレームが表示部５６に表示されている途中、カメラ５４による露光と、画素転送が行われ、CCU５５においては、基本処理、輝度演算、演算された輝度値が前のNフレームの平均値よりG倍以上であると判定され、判定処理結果に応じて、前フレームの画像が、画像出力部６３により出力され、出力フレームとして表示部５６に表示される。
　なお、図１５および図１６の例においては、図１３のスペックルイメージング装置５０を例に説明したが、オフライン処理を、CCUの外で行うか、内で行うか、だけの違いであり、図１４のスペックルイメージング装置５０においても基本的に同様の処理が行われ、同様の効果を得ることができる。
　　＜本技術の画像処理システムの第３の構成例＞
　図１７は、本技術を適用した画像処理装置としてのスペックルイメージング装置を含む画像処理システムの第３の構成例を示すブロック図である。なお、図１７の例において、被写体面５２とフィルタ５３の図示は省略されている。図１７のスペックルイメージング装置５０は、画像出力のフレームレートより高いサンプリングレートでカメラ画像を取得する装置である。
　図１７の画像処理システムは、図４で上述した光源５１、並びに、カメラ５４、CCU５５、表示部５６に加えて、図１３のPC１５１、表示部１５２、およびユーザIF１５３を含むスペックルイメージング装置５０からなる。
　図１７の例において、CCU５５は、画像出力部６３を備える点が、図４の例と共通である。図１７の例において、CCU５５は、オンライン処理用のFPRA２０１、画像メモリ２０３、が追加された点と、画像取得部６１、スペックル変換部６２が除かれた点とが図４の例と異なっている。CCU５５は、画像の出力フレームレートとサンプリングレートの関係性（図１７の場合、画像出力のフレームレート＞サンプリングレート）に応じて、撮像画像に対して、オンライン処理で、スペックルの画像処理を行う。
　すなわち、図１７の例において、FPRA２０１は、図１３においてCCU５５に備えられていた画像取得部６１、タイミング制御部１６１、およびフレーム内演算部１６２を有している。画像取得部６１は、カメラ５４からの画像を、フレーム内演算部１６２と画像メモリ２０３に供給する。フレーム内演算部１６２は、演算後の画像を画像出力部６３に出力する。
　画像出力部６３は、図１３の例の場合と同様に、スペックル変換後の画像を、表示部５６に表示させるか、画像選択部１７３に供給する。表示部５５は、オンラインモニタやビューファインダのオーバレイ用の顕微鏡で構成される。
　PC１５１は、図１３の例の場合と同様に、オフライン処理に用いられ、HDD(SSD)１７１、高精度演算部１７２、および画像選択部１７３を含むように構成されている。
　　＜スペックルイメージング装置の動作例＞
　次に、図１８のタイムチャートを参照して、図１７のスペックルイメージング装置の動作例について説明する。図１７のスペックルイメージング装置５０においては、図１８に示されるように、サンプルフレーム周期＜出力フレーム周期で、例えば、出力フレーム内に収まる複数のサンプルフレーム画像間の処理として、振動対策の処理がオンライン処理で行われる例が示されている。
　カメラ５４は、タイミング制御部１６１からの露光時間分、露光することで撮像し、撮像された画像の画素を、CCU５５に転送する。CCU５５においては、画像取得部６１を介して、フレーム内演算部１６２により基本処理（フレーム内処理など）が行われ、画像出力部６３により処理後の画像が、内蔵メモリ（例えば、画像メモリ２０３）に記録されるとともに、外部メモリ（例えば、HDD１７１）に転送される。以上の露光から記録、転送までの処理４回（すなわち、出力フレーム内に収まる４つのサンプルフレーム画像間の処理）が繰り返された後、CCU５５は、内蔵メモリから画像の読み出しを行い、内蔵メモリから読み出された画像に対してフレーム間処理を行い、フレーム間処理後の画像が出力され、外部メモリへ転送されるとともに、出力フレームとして表示部５６に表示される。
　CCU５５におけるフレーム間処理の際に、次のフレームの露光と画素転送が行われる。
　一方、外部メモリへ転送された画像は、外部メモリ（例えば、HDD(SSD)１７１）に転送され、高精度演算部１７２により、例えば、スペックル変換処理のうち、オフライン処理として、出力フレーム内に収まらない演算処理が行われる。
　なお、オンライン処理で、流速判別処理を行う場合、図１８の処理に加えて、図１９に示されるように、CCU５５（のタイミング制御部１６１）により露光制御が行われる。
　次に、図１８および図１９のタイミングチャートにおいて、CCU５５により行われたフレーム間処理の例について説明する。
　例えば、フレーム間処理を行わない、未処理のケースにおいては、すべてのフレームsf01乃至sf04の平均のコントラストが用いられるが、フレーム間処理を行うケースにおいては、例えば、画像において、スペックルコントラストが異なるフレームが除かれて、コントラストが平均化される。その際の除去方法としては、各フレームの全体輝度を算出し、前後フレームから著しく高いフレームを除く方法や、各フレームの閾値以下の固定部分のコントラストが低下したフレームを除く方法が用いられる。
　よって、フレーム間処理を行うケースにおいては、例えば、フレームsf13の全体輝度が、前後フレームの全体輝度から著しく高いと判定されて除かれ、その後、フレームsf11,sf12,sf14の平均のコントラストが用いられる。
　なお、基本処理の最後に、図２０に示されるような閾値処理を追加するようにしてもよい。閾値処理について、図２０を参照して説明する。
　　＜スペックル画像の閾値処理＞
　図２０に示されるように、基本処理の最後に行われる閾値処理により、点線に示される流動部と固定部の境界が得られる。そこで、流動部（流路ともいう）の幅を機械学習などにより認識することができる。なお、この処理もフレーム間処理の１つである。
　さらに、観察対象の流動部の幅を基に必要な解像度を算出することができる。例えば、流動部幅100ピクセルでその５倍の解像度（→20ピクセル以下）が必要と仮定する。予めスペックルイメージング装置５０の光学系のＦ＃で決まるスペックルサイズと処理サイズで決まるコントラスト特性より最適なスペックル変換の処理サイズを決定しておく。光学系の仕様によりスペックルサイズが、例えば、4pixelとすると、図２１の点線上の処理サイズとコントラストの関係になる。上限は、解像度の20ピクセルでコントラストが0.6以上とすると10乃至20ピクセルが適した処理サイズとなる。
　以上のように、本技術においては、画像出力のフレームレートとサンプリングレートの関係に応じて、撮像画像に対して、オンライン処理で、スペックルの画像処理が行われるか、撮像画像に対して、オフライン処理で、スペックルの画像処理が行われるかが制御される。
　例えば、画像の出力フレームレートと等しいサンプリングレートである場合、フレーム内で完結するスペックルの画像処理がオンライン処理で行われ、フレーム間処理を要するスペックルの画像処理がオフライン処理で行われる。
　例えば、画像の出力フレームレートよりも高いサンプリングレートである場合、オンライン処理で、サンプリングフレーム内で完結するスペックルの画像処理に加え、出力フレーム内の複数のサンプルフレーム画像間の画像処理が前記出力フレームレート内で行われる。一方、オフライン処理で、メモリに蓄積された撮像画像に対して、前記出力フレームレート内で収まらない演算処理が行われる。
　これにより、リアルタイム性の高い観察と高精度の観察の両立が適切なコストで可能となり、医療品質が高まる。その結果、手術の成功率が向上、手術時間が短縮化、事故の減少が期待できる。
　＜２．コンピュータ＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図２２に示されるコンピュータにおいて、CPU（Central Processing Unit）３０１、ROM（Read Only Memory）３０２、RAM（Random Access Memory）３０３は、バス３０４を介して相互に接続されている。
　バス３０４にはまた、入出力インタフェース３０５も接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、およびドライブ３１０が接続されている。
　入力部３０６は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部３０７は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部３０８は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部３０９は、例えば、ネットワークインタフェースよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３１１を駆動する。
　以上のように構成されるコンピュータでは、CPU３０１およびバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部３０９で受信し、記憶部３０８にインストールすることができる。
　その他、このプログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくこともできる。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行うオンライン画像処理部と、
　前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うオフライン画像処理部と
　を備える画像処理装置。
　（２）　前記撮像画像が、画像の出力フレームレートと等しいサンプリングレートで取得された場合、前記制御部は、フレーム内で完結するスペックルの画像処理を前記オンライン処理で行い、フレーム間処理を要するスペックルの画像処理を前記オフライン処理で行う
　前記（１）に記載の画像処理装置。
　（３）　前記撮像画像が、画像の出力フレームレートと等しいサンプリングレートで取得された場合、前記制御部は、該当フレーム前の複数フレームの情報により、前フレームと置換することで、フレーム間処理を要するスペックルの画像処理を前記オンライン処理で行う
　前記（１）に記載の画像処理装置。
　（４）　前記撮像画像が、画像の出力フレームレートよりも高いサンプリングレートで取得された場合、
　前記制御部は、サンプリングフレーム内で完結するスペックルの画像処理に加え、前記出力フレーム内の複数のサンプルフレーム画像間の画像処理を前記出力フレームレート内で前記オンライン処理で行い、
　メモリに蓄積された前記撮像画像に対して、前記出力フレームレート内で収まらない演算処理を前記オフライン処理で行う
　前記（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記制御部は、前記撮像画像の前記メモリへの書き出しおよび前記オフライン処理での演算処理を、前記オンライン処理でのスペックルの画像処理と並列に行う
　前記（４）に記載の画像処理装置。
　（６）　前記制御部は、前記撮像画像の前記メモリへの書き出しおよび前記オフライン処理での演算処理を、前記オンライン処理でのスペックルの画像処理の一定時間後に行う
　前記（４）に記載の画像処理装置。
　（７）　前記フレーム間処理は、画像全体のスペックルコントラストが低下するフレームを除外し、前後フレームから補完または出力フレーム内の他の画像の平均化により最適なスペックルコントラストを出力する処理である
　前記（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記フレーム間処理は、前記出力フレームレート内のサンプルフレームに対して複数の露光時間を設定し、予め設定されている露光時間毎の流速とコントラスト値の関係式より、露光時間毎のコントラスト値から流速を算出し、最も確からしい流速を演算し、画像に反映する処理である
　前記（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記フレーム間処理は、異なる撮像画像により流体部分のサイズを検出し、検出されたサイズに応じた解像度になるように演算セルサイズを最適化する処理である
　前記（１）乃至（８）のいずれかに記載の画像処理装置。
　（１０）　前記フレーム間処理は、スペックルの時間方向の情報を用いた演算手法であるLSPI（Laser speckle perfusion imaging）、LSFG(Laser speckle flowgraphy)、またはFDLSI(Frequency domain laser speckle imaging)を含む処理である
　前記（１）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記オンライン処理で画像処理が行われたスペックルの画像および前記オフライン処理で画像処理が行われたスペックルの画像のどちらか一方の表示を切り替える切り替え部
　をさらに備える前記（１）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　画像処理装置が、
　画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行うか、
　前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する
　画像処理方法。
　（１３）　被写体の表面にレーザ光を照射する光源と、
　　画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、前記光源からのレーザ光を照射して生ずるスペックルの画像処理を行うか、
　前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する制御部
　を備える画像処理装置と
　を有する画像処理システム。
　１０　スペックルイメージング装置，　５１　光源，　５３　フィルタ，　５４　カメラ，　５５　CCU，　５６　表示部、　６１　画像取得部，　６２　スペックル変換部，　６３　画像出力部，　７１　二次元画像，　７１－ｎ　輝度イメージ像，　７２　スペックルコントラスト像，　８１　画像，　８２　画像，　９１　画像，　９２　画像，　１０１　ユーザIF，　１１１　変換前画像，　１１２　スペックル演算反転後画像，　１２１　変換前画像，　１２２　スペックル演算反転後画像，　１３１－０乃至１３１－４　入力画像，　１３２－０乃至１３２－４　変換画像，　１３３－０乃至１３３－４　処理後画像，　１５１　パーソナルコンピュータ，　１５２　表示部，　１５３　ユーザIF，　１６１　タイミング制御部，　１６２　フレーム内演算部，　１７１　HDD(SSD)，　１７２　高精度演算部，　１７３　画像選択部，　２０１　FPGA，　２０２　FPGA，　２０３　画像メモリ，　２０４　セレクタ

Claims (13)

  1. 　画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行うか、
    　前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する制御部
    　を備える画像処理装置。
  2. 　前記撮像画像が、画像の出力フレームレートと等しいサンプリングレートで取得された場合、前記制御部は、フレーム内で完結するスペックルの画像処理を前記オンライン処理で行い、フレーム間処理を要するスペックルの画像処理を前記オフライン処理で行う
    　請求項１に記載の画像処理装置。
  3. 　前記撮像画像が、画像の出力フレームレートと等しいサンプリングレートで取得された場合、前記制御部は、該当フレーム前の複数フレームの情報により、前フレームと置換することで、フレーム間処理を要するスペックルの画像処理を前記オンライン処理で行う
    　請求項１に記載の画像処理装置。
  4. 　前記撮像画像が、画像の出力フレームレートよりも高いサンプリングレートで取得された場合、
    　前記制御部は、サンプリングフレーム内で完結するスペックルの画像処理に加え、前記出力フレーム内の複数のサンプルフレーム画像間の画像処理を前記出力フレームレート内で前記オンライン処理で行い、
    　メモリに蓄積された前記撮像画像に対して、前記出力フレームレート内で収まらない演算処理を前記オフライン処理で行う
    　請求項２に記載の画像処理装置。
  5. 　前記制御部は、前記撮像画像の前記メモリへの書き出しおよび前記オフライン処理での演算処理を、前記オンライン処理でのスペックルの画像処理と並列に行う
    　請求項４に記載の画像処理装置。
  6. 　前記制御部は、前記撮像画像の前記メモリへの書き出しおよび前記オフライン処理での演算処理を、前記オンライン処理でのスペックルの画像処理の一定時間後に行う
    　請求項４に記載の画像処理装置。
  7. 　前記フレーム間処理は、画像全体のスペックルコントラストが低下するフレームを除外し、前後フレームから補完または出力フレーム内の他の画像の平均化により最適なスペックルコントラストを出力する処理である
    　請求項２に記載の画像処理装置。
  8. 　前記フレーム間処理は、前記出力フレームレート内のサンプルフレームに対して複数の露光時間を設定し、予め設定されている露光時間毎の流速とコントラスト値の関係式より、露光時間毎のコントラスト値から流速を算出し、最も確からしい流速を演算し、画像に反映する処理である
    　請求項２に記載の画像処理装置。
  9. 　前記フレーム間処理は、異なる撮像画像により流体部分のサイズを検出し、検出されたサイズに応じた解像度になるように演算セルサイズを最適化する処理である
    　請求項２に記載の画像処理装置。
  10. 　前記フレーム間処理は、スペックルの時間方向の情報を用いた演算手法であるLSPI（Laser speckle perfusion imaging）、LSFG(Laser speckle flowgraphy)、またはFDLSI(Frequency domain laser speckle imaging)を含む処理である
    　請求項２に記載の画像処理装置。
  11. 　前記オンライン処理で画像処理が行われたスペックルの画像および前記オフライン処理で画像処理が行われたスペックルの画像のどちらか一方の表示を切り替える切り替え部
    　をさらに備える請求項１に記載の画像処理装置。
  12. 　画像処理装置が、
    　画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行うか、
    　前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する
    　画像処理方法。
  13. 　被写体の表面にレーザ光を照射する光源と、
    　　画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、前記光源からのレーザ光を照射して生ずるスペックルの画像処理を行うか、
    　前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する制御部
    　を備える画像処理装置と
    　を有する画像処理システム。
PCT/JP2018/017483 2017-05-16 2018-05-02 画像処理装置および方法、並びに画像処理システム WO2018211982A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019519172A JPWO2018211982A1 (ja) 2017-05-16 2018-05-02 画像処理装置および方法、並びに画像処理システム
US16/611,545 US20210145295A1 (en) 2017-05-16 2018-05-02 Image processing apparatus and method and image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017097164 2017-05-16
JP2017-097164 2017-05-16

Publications (1)

Publication Number Publication Date
WO2018211982A1 true WO2018211982A1 (ja) 2018-11-22

Family

ID=64273624

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017483 WO2018211982A1 (ja) 2017-05-16 2018-05-02 画像処理装置および方法、並びに画像処理システム

Country Status (3)

Country Link
US (1) US20210145295A1 (ja)
JP (1) JPWO2018211982A1 (ja)
WO (1) WO2018211982A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116067A1 (ja) * 2018-12-04 2020-06-11 ソニー株式会社 医療システム、情報処理装置及び情報処理方法
EP4144078A1 (en) * 2020-04-27 2023-03-08 Open Water Internet Inc. Optical imaging from light coherence

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220142465A (ko) * 2020-02-14 2022-10-21 액티브 서지컬, 인크. 레이저 스펙클 신호들을 처리하기 위한 시스템들 및 방법들
CN115988325A (zh) * 2022-12-15 2023-04-18 杭州海康慧影科技有限公司 消除激光分层的图像处理方法、系统及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120236310A1 (en) * 2009-09-22 2012-09-20 Corporation De L'ecole Polytechnique De Montreal Method and system for optical data acquisition and tomography imaging of a turbid medium object
JP2014233458A (ja) * 2013-06-03 2014-12-15 株式会社島津製作所 脳機能計測用動画生成装置および脳機能計測用動画生成システム
JP2016517322A (ja) * 2013-03-15 2016-06-16 イースト カロライナ ユニバーシティ スペックル撮像技術及び血行動態モデリングを用いた血流分布の非侵襲な決定方法、システム、及びコンピュータプログラム
WO2017062759A1 (en) * 2015-10-09 2017-04-13 Vasoptic Medical, Inc. System and method for rapid examination of vasculature and particulate flow using laser speckle contrast imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120236310A1 (en) * 2009-09-22 2012-09-20 Corporation De L'ecole Polytechnique De Montreal Method and system for optical data acquisition and tomography imaging of a turbid medium object
JP2016517322A (ja) * 2013-03-15 2016-06-16 イースト カロライナ ユニバーシティ スペックル撮像技術及び血行動態モデリングを用いた血流分布の非侵襲な決定方法、システム、及びコンピュータプログラム
JP2014233458A (ja) * 2013-06-03 2014-12-15 株式会社島津製作所 脳機能計測用動画生成装置および脳機能計測用動画生成システム
WO2017062759A1 (en) * 2015-10-09 2017-04-13 Vasoptic Medical, Inc. System and method for rapid examination of vasculature and particulate flow using laser speckle contrast imaging

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116067A1 (ja) * 2018-12-04 2020-06-11 ソニー株式会社 医療システム、情報処理装置及び情報処理方法
EP4144078A1 (en) * 2020-04-27 2023-03-08 Open Water Internet Inc. Optical imaging from light coherence
EP4144078A4 (en) * 2020-04-27 2024-05-15 Open Water Internet Inc. OPTICAL IMAGING FROM THE COHERENCE OF LIGHT

Also Published As

Publication number Publication date
US20210145295A1 (en) 2021-05-20
JPWO2018211982A1 (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
WO2018211982A1 (ja) 画像処理装置および方法、並びに画像処理システム
JP6222807B2 (ja) 医用画像処理装置、ｘ線診断装置及び医用画像処理プログラム
US9801537B2 (en) Image processing device and method, eye fundus image processing device, image photographing method, and eye fundus image photographing device and method
JP7045453B2 (ja) 内視鏡画像処理装置、内視鏡画像処理装置の作動方法およびプログラム
EP3416366B1 (en) Image pickup apparatus and image pickup method
US20160157736A1 (en) System and Methods for Assessment of Relative Fluid Flow Using Laser Speckle Imaging
JP6020950B1 (ja) 内視鏡システム、および内視鏡システムの作動方法、並びにプログラム
JP2021529053A (ja) 腹腔鏡検査における血流及び組織灌流を無染料で視覚化するための方法及びシステム
JP2007125144A (ja) レーザー血流画像装置
CN108601505A (zh) 成像设备、成像方法和成像系统
WO2017163542A1 (ja) 画像解析装置、画像解析方法
CN104867127A (zh) 图像处理设备、图像处理方法和程序
KR20220142465A (ko) 레이저 스펙클 신호들을 처리하기 위한 시스템들 및 방법들
JP2015009126A (ja) 画像処理装置、画像処理方法、撮影制御装置、放射線撮影システムおよびプログラム
JP2014018251A (ja) 眼科撮影装置及び眼科撮影プログラム
Duncan et al. Spatio-temporal algorithms for processing laser speckle imaging data
US11050931B2 (en) Control device and control method
KR20230164104A (ko) 합성 다중 노출 스페클 영상화(syMESI) 방법 및 시스템
US20170237885A1 (en) Method and Apparatus for High Contrast Imaging
JPWO2018159288A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6604743B2 (ja) 情報処理装置、その作動方法、及びコンピュータプログラム
JP6416350B2 (ja) 医用画像処理装置、ｘ線診断装置及び医用画像処理プログラム
JP6535701B2 (ja) 撮像装置
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム
US20230064586A1 (en) Methods and devices for interleaved surgical imaging

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18802521

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019519172

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18802521

Country of ref document: EP

Kind code of ref document: A1