WO2017169139A1 - 画像処理装置、画像処理方法及び医療システム - Google Patents

画像処理装置、画像処理方法及び医療システム Download PDF

Info

Publication number
WO2017169139A1
WO2017169139A1 PCT/JP2017/004432 JP2017004432W WO2017169139A1 WO 2017169139 A1 WO2017169139 A1 WO 2017169139A1 JP 2017004432 W JP2017004432 W JP 2017004432W WO 2017169139 A1 WO2017169139 A1 WO 2017169139A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
blur
image processing
processing apparatus
Prior art date
Application number
PCT/JP2017/004432
Other languages
English (en)
French (fr)
Inventor
憲治 池田
一木　洋
白木　寿一
鶴　大輔
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17773687.3A priority Critical patent/EP3437546B1/en
Priority to JP2018508501A priority patent/JP7127538B2/ja
Priority to US16/086,269 priority patent/US11301964B2/en
Publication of WO2017169139A1 publication Critical patent/WO2017169139A1/ja
Priority to US17/336,466 priority patent/US11849913B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a medical system.
  • a blur amount estimation unit that estimates a blur amount of a medical image including a biological motion of a subject, and a blur correction based on the blur amount so as not to remove screen motion caused by the biological motion.
  • An image processing apparatus includes a shake correction processing unit that performs processing.
  • an image processing method comprising:
  • an imaging device that captures a medical image including a biological motion of a subject, a blur amount estimation unit that estimates a blur amount of the medical image, and the biological motion based on the blur amount
  • a medical system includes an image processing apparatus that includes a shake correction processing unit that performs a shake correction process so as not to remove the screen movement caused by the camera.
  • FIG. 10 is a schematic diagram illustrating an example in which a color distribution and a spatial frequency distribution are extracted from an input image, a scene of a medical department and a surgical method is automatically determined, and a smoothing filter corresponding to the scene is selected.
  • FIG. 6 is a schematic diagram illustrating an example in which a mask diameter is detected from an input image, a medical department and a surgical scene are automatically determined, and a smoothing filter corresponding to the scene is selected. It is a schematic diagram which shows the example which detects the presence or absence of a trocar from an input image, determines automatically the scene of a medical department and a technique, and selects the smoothing filter according to a scene. It is a schematic diagram which shows the structure of a frequency analysis part in detail. It is a characteristic view which shows the frequency of the blurring resulting from a pulsation and the blurring resulting from a scopist.
  • BPF band pass filter
  • FIG. 3 is a schematic diagram illustrating a configuration example in which a distance between an endoscope scope and a subject is acquired by stereo viewing when the endoscope performs binocular stereo shooting. It is a schematic diagram which shows the relationship between the distance to a to-be-photographed object, and a correction gain (correction parameter). It is a schematic diagram which shows the structural example in the case of performing electronic zoom after blurring correction. It is a characteristic view showing the relationship between the zoom magnification and the correction gain. It is a schematic diagram which shows the structural example which performs the blurring correction
  • FIG. 3 is a schematic diagram illustrating a configuration example in which a distance between an endoscope scope and a subject is acquired by stereo viewing when the endoscope performs binocular stereo shooting. It is a schematic diagram which shows the relationship between the distance to a to-be-photographed object, and a correction gain (correction parameter). It is a schematic diagram which shows the structural example in the case of performing
  • FIG. 17 is a schematic diagram illustrating an example in which a frequency filter that suppresses each natural vibration component is provided for the configuration of FIG. 16 using vibration information from each sensor as an input. It is a schematic diagram which shows the characteristic of a frequency filter. It is a schematic diagram which shows the structural example in the case of obtaining the noise reduction effect on a moving image by performing the smoothing by the time direction filter by this embodiment.
  • a treatment such as excision of the affected part 16 with the energy treatment tool 3 or the like is performed while viewing an image of the affected part (tumor or the like) 16 imaged by the endoscope 2 in real time.
  • the endoscope 2, the energy treatment tool 3, and the forceps 4 are held by an operator, an assistant, a scopist, a robot, or the like.
  • a cart 14 equipped with devices for endoscopic operation, a patient bed 13 on which a patient lies, a foot switch 15 and the like are arranged.
  • the cart 14 includes devices such as a camera control unit (CCU) 5, a light source device 6, a treatment instrument device 7, a pneumoperitoneum device 8, a display device 9, a recorder 10, and a printer 11 as medical devices. .
  • CCU camera control unit
  • the image signal of the affected area 16 imaged by the imaging device through the observation optical system of the endoscope 2 is transmitted to the CCU 5 via the camera cable, processed in the CCU 5, and then output to the display device 9.
  • the endoscopic image of is displayed.
  • the CCU 5 may be connected wirelessly.
  • the light source device 6 is connected to the endoscope 2 through a light guide cable, and can switch and irradiate the affected part 16 with light of various wavelengths.
  • the treatment instrument device 7 is a high-frequency output device that outputs a high-frequency current to the energy treatment instrument 3 that cuts the affected part 16 using electric heat, for example.
  • the pneumoperitoneum device 8 is provided with air supply and intake means, and supplies air to, for example, the abdominal region in the patient's body.
  • the foot switch 15 controls the CCU 5, the treatment instrument device 7 and the like by using a foot operation of an operator or assistant as a trigger signal.
  • FIG. 2 is a schematic diagram illustrating a configuration of the image processing apparatus 1000 included in the CCU 5, and illustrates a basic configuration for blur correction.
  • the image processing apparatus 1000 includes a feature point extraction unit 1010, a motion vector extraction unit (ME: Motion Estimation) 1020, an image blur amount estimation unit 1030, a smoothing unit 1040, a blur correction unit 1050, a user interface. (UI) 1060 and a filter group 1070 are provided.
  • the filter group 1070 is stored in the database.
  • the input image captured by the imaging device of the endoscope 2 is input to the feature point extraction unit 1010.
  • the image sensor is composed of, for example, a CMOS sensor.
  • the feature point extraction unit 1010 performs feature point extraction from each pixel of the input image.
  • the motion vector extraction unit 1020 performs motion vector detection on the feature points.
  • the image blur amount estimation unit 1030 estimates the blur amount of the entire screen from the motion vector detection result for each feature point by the motion vector extraction unit 1020.
  • the smoothing unit 1040 accumulates the amount of shake in the time direction and performs smoothing by filtering them.
  • the shake correction unit 1050 performs shake correction on the smoothed shake amount.
  • the blur amount estimation by the image blur amount estimation unit 1030 can be performed by a method such as RANSAC, for example.
  • a method such as RANSAC, for example.
  • samples of motion vectors are extracted at random, and samples with few errors are counted in all samples.
  • the least square method is performed using only the effective component in a state where the error component is removed, and the coefficient is estimated. Thereby, it is possible to estimate the shake amount of the entire screen from the motion vector for each feature point.
  • the smoothing unit 104 applies a smoothing filter to the blur frequency to leave only a desired frequency component and remove an unnecessary frequency component.
  • a band pass filter BPF
  • BPF band pass filter
  • the blur correction unit 1050 Based on the smoothed blur amount, the blur correction unit 1050 performs blur correction on the input image by a known technique such as affine transformation.
  • the smoothing unit 1040 and the shake correction unit 1050 constitute a shake correction processing unit according to this embodiment.
  • FIG. 3 is a schematic diagram illustrating a smoothing filter and frequency characteristics of the smoothing filter corresponding to the surgical mode.
  • the surgical procedure mode selected by the user it has a frequency characteristic that optimally suppresses blurring according to the surgical procedure of each department (otolaryngology, digestive surgery, orthopedics) as shown in FIG.
  • a smoothing filter is selected from the filter group 1070.
  • the smoothing unit 1040 performs smoothing using the selected smoothing filter.
  • the smoothing filter shown in FIG. 3 is composed of, for example, a low-pass filter (LPF).
  • a low-pass filter suppresses blurring at a frequency of 3 to 5 [Hz] or more and leaves a blurring of a frequency of less than 3 to 5 [Hz].
  • a low-pass filter suppresses vibrations having a frequency of 8 to 10 [Hz] or more, and leaves vibrations having a frequency of less than 8 to 10 [Hz].
  • the low-pass filter suppresses the vibration of the frequency of 4 to 6 [Hz] or more, and the vibration of the frequency of less than 4 to 6 [Hz] remains.
  • the blurring to be corrected included in the captured image differs for each medical department.
  • blurring can be suppressed in accordance with the surgical procedure for each clinical department, so that an optimal image in which blurring is corrected for each medical treatment can be obtained.
  • FIG. 4A shows a frequency analysis based on the amount of screen blur of the input image, and automatically determines a clinical department and a surgical scene corresponding to the input image from the result of the frequency analysis, and applies a smoothing filter corresponding to the scene to the filter group.
  • An example of selecting from 1070 is shown.
  • the example shown in FIG. 4A further includes a frequency analysis unit 1071 and a scene determination unit 1100 with respect to the configuration of FIG.
  • FIG. 5 is a schematic diagram showing the configuration of the frequency analysis unit 1071 in detail.
  • the frequency analysis unit 1071 includes a buffer 1072, a fast Fourier transform unit (FFT) 1074, a frequency component extraction unit 1076, a normalization unit 1078, a filter selection signal generation unit 1080, an integration unit 1082, and a gain adjustment unit. 1084, 1086, 1088 and a multiplication unit 1090.
  • FFT fast Fourier transform unit
  • the frequency shift unit 1071 receives the image shift amount from the screen blur amount estimation unit 1030 as the screen blur amount of the input image.
  • the shift amount is accumulated in the buffer 1072, and then frequency conversion is performed by a fast Fourier transform unit (FFT) 1074.
  • FFT fast Fourier transform unit
  • a frequency component is extracted by the frequency component extraction unit 1076 to determine which frequency is large, and normalization is performed by the normalization unit 1078.
  • the filter selection signal generation unit 1080 generates and outputs a filter selection signal for selecting a filter.
  • the frequency analysis unit 1071 performs gain adjustment using the adjustment values A, B, C, D, and E using the gain adjustment units 1084, 1086, and 1088.
  • the integrating unit 1082 integrates the shift amount of the frame number N2 accumulated in the buffer 1072, and the gain adjusting unit 1084 reduces the gain as the integrated value increases based on the integrated shift amount.
  • the gain adjustment unit 1086 reduces the gain as the shift amount increases based on the shift amount. Further, the gain adjustment unit 1088 reduces the gain as the reliability is lower, in accordance with the reliability of the shake amount estimated by the screen shake amount estimation unit 1030 (motion reliability such as whether the unit matrix has been reached). Adjust the gain. In particular, the gain adjustment unit 1088 sets the gain to 0 and does not perform shake correction when the reliability is equal to or less than a certain value.
  • the gains calculated by the gain adjusting units 1084, 1086, and 1088 are multiplied by the multiplying unit 1090 and output to the shake correcting unit 1050.
  • the shake correction unit 1050 adjusts the strength of shake correction based on the gain. By performing exceptional processing by the gain adjustment units 1084, 1086, and 1088, it is possible to suppress excessive blur correction.
  • the filter selection signal output from the frequency analysis unit 1071 is input to the scene determination unit 1100.
  • the scene determination unit 1100 determines a surgical scene based on the filter selection signal, and selects an optimum smoothing filter corresponding to the surgical scene from the filter group 1070.
  • the smoothing unit 1040 performs smoothing using the selected smoothing filter.
  • FIG. 4B extracts a color distribution and a spatial frequency distribution from an input image, automatically determines a medical department and a surgical scene corresponding to the input image from the information, and filters a smoothing filter corresponding to the scene.
  • An example of selecting from the group 1070 is shown.
  • a color distribution extraction unit 1110, a spatial frequency distribution extraction unit 1112, and a scene determination unit 1100 are further provided in the configuration of FIG. 2.
  • the color distribution extraction unit 1110 extracts the color distribution of the input image.
  • the spatial frequency distribution extraction unit 1112 extracts the spatial frequency distribution of the input image.
  • the scene determination unit 1100 determines a medical department and a surgical scene corresponding to the input image based on the color distribution and the spatial frequency distribution of the input image, and sets an optimum smoothing filter corresponding to the surgical scene as a filter group. Select from 1070.
  • the smoothing unit 1040 performs smoothing using the selected smoothing filter.
  • FIG. 4C detects the mask diameter from the input image, automatically determines the clinical department and the surgical scene corresponding to the input image from the mask diameter information, and applies a smoothing filter corresponding to the scene from the filter group 1070.
  • An example of selection is shown.
  • a mask diameter extraction unit 1114 and a scene determination unit 1100 are further provided in the configuration of FIG.
  • the mask diameter extraction unit 114 detects the mask diameter from the input image. Based on the mask diameter, the scene determination unit 1100 determines a medical department and a surgical scene corresponding to the input image, and selects an optimum smoothing filter corresponding to the surgical scene from the filter group 1070.
  • the smoothing unit 1040 performs smoothing using the selected smoothing filter.
  • the feature point extraction unit 1010 can extract feature points from a narrower range in the mask as the mask diameter is smaller based on the mask diameter.
  • FIG. 4D detects the presence / absence of a trocar from the input image, automatically determines a medical department and a surgical scene corresponding to the input image from the information, and selects a smoothing filter corresponding to the scene from the filter group 1070.
  • An example is shown.
  • the example shown in FIG. 4D further includes a trocar presence / absence detection unit 1116 and a scene determination unit 1100 in addition to the configuration of FIG.
  • the trocar presence / absence detection unit 1116 detects whether or not the trocars 12a and 12b are used (the presence / absence of the trocar) based on the screen shake amount estimated by the screen shake amount estimation unit 1030.
  • the scene determination unit 1100 determines a medical department and a surgical scene corresponding to the input image based on the presence or absence of the trocars 12a and 12b, and selects an optimal smoothing filter corresponding to the surgical scene in the filter group 1070. Select from.
  • the smoothing unit 1040 performs smoothing using the selected smoothing filter.
  • the clinical department and the method of judging the method are performed according to information such as the motion frequency analysis result of the moving image, the method / scene recognition, the mask diameter information, and the presence / absence of the trocars 12a and 12b. be able to.
  • information such as the motion frequency analysis result of the moving image, the method / scene recognition, the mask diameter information, and the presence / absence of the trocars 12a and 12b.
  • For frequency analysis of movement depending on the peak position of the frequency component, orthopedics if the peak position is 3-5 [Hz], otolaryngology if 4-6 [Hz], 8-10 [Hz] If so, it can be determined that this is digestive surgery.
  • FIG. 4A it is possible to determine a clinical department and a surgical scene based on Table 1 according to the frequency analysis result.
  • the mask diameter extraction unit 1114 detects the mask diameter from the input image, and as shown in Table 1, if the mask diameter is about 4.9 mm, If it is about 5.5 mm, it is determined to be orthopedic surgery, and if it is about 10 mm, it is determined to be digestive surgery. As described above, since the mask diameter differs depending on the clinical department and surgical scene, the clinical department and surgical scene can be determined by detecting the mask diameter.
  • the trocars 12a and 12b serve as fulcrums, and therefore the movement of the endoscope 2 has a predetermined fixed movement. Therefore, the frequency of the screen blur amount differs between the case where the trocars 12a and 12b are used and the case where the trocars 12a and 12b are not used. Therefore, the trocar presence / absence detection unit 116 in FIG. 4D can determine whether or not the trocars 12a and 12b are used based on the frequency of the screen shake amount. As shown in Table 1, when the trocars 12a and 12b are used, it can be determined that the operation is digestive surgery, and when the trocars 12a and 12b are not used, it can be determined that the operation is orthopedic or otolaryngology.
  • Table 2 shown below shows “blurring” and its frequency to be suppressed and “blur” and its frequency that are not to be suppressed in each clinical department.
  • an optimum smoothing filter is applied to each of “blur” to be suppressed and “blur” not to be suppressed.
  • the smoothing filter is selected so that the screen motion caused by the biological motion is not removed by the shake correction.
  • shake correction unit 1050 by selecting a smoothing filter according to each clinical department and method, shake caused by factors such as camera shake of the endoscope scope and shaking of the building or arm is shaken by the shake correction unit 1050.
  • the movements intended by the surgeon and the movement of the living body are not subjected to shake correction by the shake correction unit 1050.
  • FIG. 6A is a characteristic diagram showing the frequency of the shake caused by the pulsation and the shake caused by the scopist.
  • FIG. 6B is a characteristic diagram showing characteristics of a band-pass filter (BPF) that suppresses blurring caused by the scopist.
  • BPF band-pass filter
  • a bandpass filter is stored in the filter group 1070, and a bandpass filter is selected based on frequency analysis.
  • the configuration can be the same as that shown in FIGS. 4A to 4D.
  • FIG. 7 is a schematic diagram showing a configuration for acquiring the focus lens position information of the endoscope 2 and determining the correction gain.
  • gain adjustment for blur correction is performed according to the distance between the endoscope 2 and the subject. Therefore, the configuration shown in FIG. 7 includes a focus lens position acquisition unit 1120, a correction gain determination unit 1122, and a gain adjustment unit 1123 in addition to the configuration of FIG. 4B.
  • FIG. 7 the focus lens position information of the endoscope 2 is acquired, and the correction gain is determined.
  • FIG. 8 is a schematic diagram showing the position of the focus lens. Since the relationship between the distance to the subject and the focus lens position is uniquely determined, the gain can be adjusted according to the distance to the subject by adjusting the gain based on the focus lens position information.
  • FIG. 9 is a schematic diagram showing the relationship between the focus lens position and the correction gain (correction parameter).
  • the focus lens position information acquired by the focus lens position acquisition unit 1120 is sent to the correction gain determination unit 1122, and the correction gain determination unit 1122 determines the correction gain based on the characteristics of FIG.
  • the value of the correction gain increases as the distance to the subject increases.
  • the disturbance of the image due to the shake of the endoscope 2 increases. Therefore, as the distance to the subject increases, the value of the correction gain is increased to increase the strength of blur correction. Thereby, it is possible to optimally correct the shake according to the distance to the subject.
  • the gain may be continuously adjusted as indicated by the broken line in FIG. 9, or the on / off may be controlled by changing the correction gain discretely as indicated by the solid line.
  • FIG. 10 is a schematic diagram illustrating a configuration example in which the distance between the endoscope 2 and the subject is acquired based on the spatial frequency of the image.
  • the configuration shown in FIG. 10 includes a spatial frequency analysis unit 1124, a correction gain determination unit 1126, and a gain adjustment unit 1123 in addition to the configuration of FIG. 4B.
  • the spatial frequency analysis unit 1124 analyzes the spatial frequency of the image. When the endoscope 2 is close to the subject, the spatial frequency of the obtained image is low, and when the endoscope 2 is away from the subject, the spatial frequency is high.
  • FIG. 11 is a schematic diagram showing the relationship between the spatial frequency and the correction gain (correction parameter).
  • the spatial frequency analyzed by the spatial frequency analysis unit 1124 is sent to the correction gain determination unit 1126, and the correction gain determination unit 1126 determines the correction gain based on the characteristics of FIG. Note that the gain may be continuously adjusted as indicated by the broken line in FIG. 11, or the on / off may be controlled by changing the correction gain discretely as indicated by the solid line.
  • the lower the spatial frequency that is, the closer the subject is, the lower the correction gain.
  • the higher the spatial frequency that is, the further away the subject, the higher the correction gain.
  • the greater the distance to the subject the greater the disturbance of the image due to the blurring of the endoscope 2, so the greater the distance to the subject, the larger the correction gain value and the greater the strength of blur correction. To increase. Thereby, it is possible to optimally correct the shake according to the distance to the subject.
  • FIG. 12 is a schematic diagram illustrating a configuration example in which the distance between the endoscope 2 and a subject is acquired by stereo viewing when the endoscope 2 performs binocular stereo shooting.
  • the configuration illustrated in FIG. 12 includes a distance information detection unit 1128, a correction gain determination unit 1130, and a gain adjustment unit 1123 in addition to the configuration of FIG. 4B.
  • the distance information detection unit 1128 detects the distance to the subject based on the parallax of the stereo image.
  • FIG. 13 is a schematic diagram showing the relationship between the distance to the subject and the correction gain (correction parameter).
  • the distance to the subject detected by the distance information detection unit 1128 is sent to the correction gain determination unit 1130, and the correction gain determination unit 1130 determines the correction gain based on the characteristics of FIG. Note that the gain may be continuously adjusted as indicated by the broken line in FIG. 13, or the on / off may be controlled by changing the correction gain discretely as indicated by the solid line.
  • FIG. 14 is a schematic diagram illustrating a configuration example when electronic zoom is performed after blur correction.
  • an electronic zoom 1140 in addition to the configuration shown in FIG. 4B, an electronic zoom 1140, a correction gain determination unit 1142, a user interface (UI) 1144, and a gain adjustment unit 1123 are provided.
  • the correction gain determination unit 1142 determines a correction gain according to the zoom magnification of the electronic zoom 1140.
  • FIG. 15 is a characteristic diagram showing the relationship between the zoom magnification and the correction gain.
  • the correction gain determination unit 1142 determines the correction gain based on FIG. As shown in FIG. 15, the value of the correction gain increases as the zoom magnification increases.
  • the gain may be continuously adjusted as indicated by a broken line in FIG. 15, or on / off may be controlled by discretely changing the correction gain as indicated by a solid line.
  • the focus lens position acquisition unit 1120, the spatial frequency analysis unit 1124, the distance information detection unit 1128, and the electronic zoom 1140 described above correspond to a distance-related parameter acquisition unit that acquires a distance-related parameter related to the distance to the subject.
  • FIG. 16 is a schematic diagram illustrating a configuration example in which blur correction of an image captured by a microscope device (surgical microscope) is performed.
  • a microscope device surgical microscope
  • FIG. 16 The configuration shown in FIG. 16 is the same as FIG. 4A except that the input image is a microscope image.
  • the microscope apparatus generally includes a microscope unit for magnifying and observing an observation target (surgical unit of a patient), an arm unit that supports the microscope unit at the distal end, and a base unit that supports the base end of the arm unit. .
  • the microscope unit is an electronic imaging type microscope unit (so-called video type microscope unit) that electronically captures a captured image by an imaging device (imaging device).
  • an imaging device imaging device
  • the feature point extraction unit 1010 extracts feature points from the input image
  • the motion vector extraction unit 1020 extracts each feature point.
  • the motion vector is detected, and the image blur amount estimation unit 1030 estimates the blur amount of the entire image.
  • the smoothing unit 1040 accumulates the amount of shake in the time direction and performs smoothing by applying a filter.
  • the shake correction unit 1050 performs shake correction on the smoothed shake amount. As a result, it is possible to correct blur due to vibration of the building or the arm. Even in a surgical microscope, “blur” that you want to suppress and “blur” that you do not want to suppress are assumed. As shown in Table 2, “blurring” to be suppressed is a frequency of about 0 to 1 [Hz] and a frequency of about 8 to 9 [Hz]. Further, “blurring” that is not desired to be suppressed is a frequency of about 0, 1 to 8, or 9 [Hz].
  • FIG. 17 is a schematic diagram illustrating an example in which a frequency filter generation unit 1138 that generates a frequency filter that suppresses each natural vibration component using vibration information from each sensor as an input is provided for the configuration of FIG. is there.
  • FIG. 18 is a schematic diagram illustrating the characteristics of the frequency filter 1138 (bandpass filter). The smoothing unit 104 performs the smoothing process using the frequency filter 1138 shown in FIG.
  • FIG. 19 is a schematic diagram illustrating a configuration example in the case where a noise reduction (NR) effect is obtained on a moving image by performing smoothing with a time direction filter according to the present embodiment.
  • a frame position correction unit 1145 and a frame addition unit 1146 are added to the configuration of FIG. 4B. Similar to FIG. 4B, the color distribution and the spatial frequency distribution are extracted from the input image, the scene is determined, a filter is selected, and smoothing is performed.
  • the frame position correction unit 1144 corrects the position of each frame, and the frame addition unit 1146 adds each frame, thereby obtaining a noise reduction effect on the moving image.
  • the shake correction is performed according to the situation based on the scene according to the medical department or the operation method, without removing the screen movement caused by the biological movement, Blur correction can be performed. Therefore, it is possible to provide an optimal medical image according to the situation.
  • a blur amount estimation unit that estimates a blur amount of a medical image including a biological movement of a subject; Based on the amount of shake, a shake correction processing unit that performs shake correction processing so as not to remove the screen movement caused by the biological movement,
  • An image processing apparatus comprising: (2) The shake correction processing unit A smoothing unit that accumulates and smoothes the amount of blur in the time direction; A blur correction unit that performs blur correction based on the smoothed blur amount; The image processing apparatus according to (1), wherein the blur correction processing unit performs the blur correction processing according to a situation by changing a smoothing filter for the smoothing.
  • the image processing apparatus wherein the shake correction processing unit performs the shake correction processing according to a situation in which surgery is performed, a surgical technique, or a medical department.
  • the image processing device according to (2), wherein the shake correction processing unit performs the shake correction processing in accordance with a user instruction.
  • a frequency analysis unit that performs frequency analysis of the shake amount is provided.
  • the image processing apparatus wherein the shake correction processing unit performs the shake correction processing based on a result of the frequency analysis.
  • (6) a color distribution extraction unit for extracting the color distribution of the medical image;
  • the image processing apparatus according to (2), wherein the blur correction processing unit performs the blur correction processing based on the color distribution.
  • a spatial frequency distribution extraction unit that extracts a spatial frequency distribution of the medical image; The image processing apparatus according to (2), wherein the shake correction processing unit performs the shake correction processing based on the spatial frequency distribution.
  • a mask diameter detection unit for detecting the mask diameter of the medical image is provided, The image processing apparatus according to (2), wherein the blur correction processing unit performs the blur correction processing based on the mask diameter.
  • a trocar presence / absence detection unit for detecting the presence / absence of use of the trocar in surgery is provided, The image processing apparatus according to (2), wherein the shake correction processing unit performs the shake correction processing based on whether or not the trocar is used.
  • (10) a distance-related parameter acquisition unit that acquires a distance-related parameter related to the distance to the subject; A gain adjusting unit that adjusts the gain of the shake correction processing based on the distance-related parameter;
  • the image processing apparatus according to any one of (1) to (9), further including: (11) The image processing apparatus according to (10), wherein the gain adjustment unit increases the gain as the distance to the subject increases. (12) The image processing apparatus according to (10), wherein the distance-related parameter is position information of a focus lens, a spatial frequency of a subject, a parallax in a stereoscopic image, or a zoom magnification.
  • a feature point extraction unit that extracts feature points from the medical image;
  • a motion vector extraction unit that extracts a motion vector from the feature points;
  • the image processing device any one of (1) to (12), wherein the blur amount estimation unit estimates the blur amount based on the motion vector.
  • the feature point extraction unit extracts the feature points from a narrower range in the mask as the mask diameter is smaller based on the mask diameter of the medical image. apparatus.
  • the image processing apparatus according to (2), wherein the medical image is an endoscopic image or a microscope image.
  • the medical image is a microscope image, and includes a filter generation unit that generates the smoothing filter in order to remove blurring caused by external vibration.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)

Abstract

【課題】生体動きに起因する画面動きを除去することなく、ぶれを補正する。 【解決手段】画像処理装置は、被写体の生体動きを含む医療用画像のぶれ量を推定するぶれ量推定部と、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、を備える。この構成により、生体動きに起因する画面動きを除去することなく、ぶれを補正することが可能となる。従って、生体動きの観察に最適な画像を得ることが可能となる。

Description

画像処理装置、画像処理方法及び医療システム
　本開示は、画像処理装置、画像処理方法及び医療システムに関する。
　従来、例えば下記の特許文献には、内視鏡装置の状況を表す操作状況情報に基づいて、位置ずれの補正度合いの強弱を設定し、適度にブレを抑えた動画像をユーザに提示することを想定した技術が記載されている。
特開２０１２－８５６９６号公報
　内視鏡などの医療用装置を操作して医療用画像を取得する際には、術者の操作に応じた画像ぶれが発生する場合がある。一方、医療用画像には、その特質上、生体動きに起因する動きが画面内に生じる場合がある。
　上記特許文献に記載された技術は、操作状況情報に基づいてブレを抑えるものであるが、生体動きに起因する動きを考慮していないため、操作状況に応じてぶれを抑えようとすると、生体動きに起因する動きが除去されてしまう。このため、生体動きを正確に観察できなくなる問題が発生する。
　そこで、生体動きに起因する画面動きを除去することなく、ぶれを補正することが求められていた。
　本開示によれば、被写体の生体動きを含む医療用画像のぶれ量を推定するぶれ量推定部と、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、を備える、画像処理装置が提供される。
　また、本開示によれば、被写体の生体動きを含む医療用画像のぶれ量を推定することと、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うことと、を備える、画像処理方法が提供される。
　また、本開示によれば、被写体の生体動きを含む医療用画像を撮像する撮像装置と、前記医療用画像のぶれ量を推定するぶれ量推定部と、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、を有する、画像処理装置と、を備える医療システムが提供される。
　本開示によれば、生体動きに起因する画面動きを除去することなく、ぶれを補正することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
内視鏡手術システムの構成を示す模式図である。 画像処理装置の基本的な構成を示す模式図である。 術式モードに応じた平滑化フィルタと周波数特性を示す模式図である。 入力画像の画面ぶれ量から周波数解析を行い、診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタを選択する例を示す模式図である。 入力画像から色分布および空間周波数分布の抽出を行い、診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタを選択する例を示す模式図である。 入力画像からマスク径の検出を行い、診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタを選択する例を示す模式図である。 入力画像からトロッカの有無を検出し、診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタを選択する例を示す模式図である。 周波数解析部の構成を詳細に示す模式図である。 拍動に起因するぶれとスコピストに起因するぶれの周波数を示す特性図である。 スコピストに起因するぶれを抑えるバンドパスフィルタ（ＢＰＦ）の特性を示す特性図である。 内視鏡スコープのフォーカスレンズ位置情報を取得し、補正ゲインを決定する構成を示す模式図である。 フォーカスレンズ位置を示す模式図である。 被写体と内視鏡スコープ間の距離と、補正ゲイン（補正パラメータ）との関係を示す模式図である。 画像の空間周波数に基づいて内視鏡スコープと被写体の距離を取得する構成例を示す模式図である。 空間周波数と、補正ゲイン（補正パラメータ）との関係を示す模式図である。 内視鏡が２眼ステレオ撮影を行う場合に、ステレオ視によって内視鏡スコープと被写体の距離を取得する構成例を示す模式図である。 被写体までの距離と、補正ゲイン（補正パラメータ）との関係を示す模式図である。 ぶれ補正の後に電子ズームを行う場合の構成例を示す模式図である。 ズーム倍率と補正ゲインとの関係を示す特性図である。 手術用顕微鏡向けのぶれ補正を行う構成例を示す模式図である。 各センサからの振動情報を入力として、それぞれの固有振動成分を抑制するような周波数フィルタを図１６の構成に対して設けた例を示す模式図である。 周波数フィルタの特性を示す模式図である。 本実施形態による時間方向フィルタでの平滑化を行うことにより、動画上でノイズ低減効果を得る場合の構成例を示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．内視鏡手術システムの構成例
　２．画像処理装置の構成例
　３．入力画像から術式を判定する例
　４．周波数解析に基づくぶれの切り分け
　５．被写体位置に応じた補正ゲインの決定
　６．顕微鏡装置への適用
　１．内視鏡手術システムの構成例
　近年、医療現場において従来の開腹手術に代わって、内視鏡下手術が行われている。たとえば、腹部の手術を行う場合、図１で示されるような手術室に配置される内視鏡手術システム１を用いる。従来のように腹壁を切って開腹する代わりに、トロッカ１２ａ、１２ｂと称される開孔器具が腹壁に数か所取り付けられ、トロッカ１２ａ，１２ｂに設けられている孔から腹腔鏡（以下、内視鏡とも称する）２、エネルギ処置具３や鉗子４等が体内に挿入される。そして、内視鏡２によってビデオ撮像された患部（腫瘍等）１６の画像をリアルタイムに見ながら、エネルギ処置具３等によって患部１６を切除するなどの処置が行われる。内視鏡２、エネルギ処置具３や鉗子４は、術者、助手、スコピスト、またはロボット等が保持している。
　このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート１４、患者が横たわる患者ベッド１３、フットスイッチ１５等が配置される。カート１４は、医療機器として例えばカメラコントロールユニット(ＣＣＵ)５、光源装置６、処置具用装置７、気腹装置８、表示装置９、レコーダ１０及びプリンタ１１等の装置類を載置している。
　内視鏡２の観察光学系を通じて撮像素子により撮像された患部１６の画像信号は、カメラケーブルを介してＣＣＵ５に伝送され、ＣＣＵ５内で信号処理された後に、表示装置９に出力され、患部１６の内視鏡画像が表示される。ＣＣＵ５は、カメラケーブルを介して内視鏡２に接続される他、無線で接続してもよい。
　光源装置６は、ライトガイドケーブルを介して内視鏡２に接続され、患部１６に対してさまざまな波長の光を切り替えて照射することができる。
　処置具用装置７は、例えば患部１６を電気熱を用いて切断するエネルギ処置具３に対して高周波電流を出力する高周波出力装置である。
　気腹装置８は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気するものである。
　フットスイッチ１５は、術者や助手等のフット操作をトリガ信号として、ＣＣＵ５や処置具用装置７等を制御するようになっている。
　２．画像処理装置の構成例
本実施形態は、内視鏡向けぶれ補正技術に関し、内視鏡を使用する診療科ごとの術式に応じて、適切にぶれの周波数成分を抑制することで、良好な画質を得る技術に関する。図２は、ＣＣＵ５が備える画像処理装置１０００の構成を示す模式図であって、ぶれ補正のための基本的な構成を示している。図２に示すように、画像処理装置１０００は、特徴点抽出部１０１０、動きベクトル抽出部（ＭＥ：Motion　Estimation）１０２０、画像ぶれ量推定部１０３０、平滑化部１０４０、ぶれ補正部１０５０、ユーザインタフェース（ＵＩ）１０６０、フィルタ群１０７０を有して構成される。フィルタ群１０７０はデータベースに格納されている。
　特徴点抽出部１０１０には、内視鏡２の撮像素子が撮像した入力画像が入力される。撮像素子は、例えばＣＭＯＳセンサ等から構成される。特徴点抽出部１０１０は、入力画像の各画素から特徴点抽出を行う。動きベクトル抽出部１０２０は、特徴点に対し、動きベクトル検出を行う。画像ぶれ量推定部１０３０は、動きベクトル抽出部１０２０による特徴点ごとの動きベクトル検出結果から、画面全体のぶれ量を推定する。平滑化部１０４０は、時間方向のぶれ量を蓄積し、それらにフィルタをかけて平滑化を行う。ぶれ補正部１０５０は、平滑化されたぶれ量に対し、ぶれ補正を行う。
　画像ぶれ量推定部１０３０によるぶれ量の推定は、例えばＲＡＮＳＡＣ等の手法により行うことができる。この場合、ランダムに動きベクトルのサンプルを抽出し、全サンプルで誤差が少ないサンプルをカウントする。そして、誤差が少ないサンプル数が最も多い係数とサンプルを採用することで、誤差成分を除いた状態で有効な成分のみで最小二乗法を行い、係数を推定する。これにより、特徴点ごとの動きベクトルから画面全体のぶれ量を推定することができる。
　平滑化部１０４０により時間方向のぶれ量が蓄積されると、ぶれの周波数が得られる。平滑化部１０４は、ぶれの周波数に平滑化フィルタをかけることで、所望の周波数成分のみを残し、不要な周波数成分を除去する。平滑化フィルタとして、例えばバンドパスフィルタ（ＢＰＦ）が用いられる。これにより、ぶれを抑えたい周波数のみ、ぶれ補正の対象として残し、ぶれを抑えたくない周波数は、ぶれ補正の対象としないようにすることができる。
　ぶれ補正部１０５０は、平滑化されたぶれ量に基づいて、例えば公知のアフィン変換等の手法により、入力画像に対してぶれ補正を行う。なお、平滑化部１０４０とぶれ補正部１０５０とから、本実施形態に係るぶれ補正処理部が構成される。
　図２に示す構成例では、ユーザインタフェース（ＵＩ）１０６０を介して、手術シーンに応じてユーザが術式モードを選択する。図３は、術式モードに応じた平滑化フィルタと平滑化フィルタの周波数特性を示す模式図である。ユーザが選択した術式モードに応じて、図３に示すような、診療科（耳鼻咽喉科、消化器外科、整形外科）ごとの術式に合わせて、最適にぶれを抑制する周波数特性を持つ平滑化フィルタがフィルタ群１０７０の中から選択される。平滑化部１０４０は、選択された平滑化フィルタにより平滑化を行う。
　図３に示す平滑化フィルタは、例えばローパスフィルタ（ＬＰＦ）から構成される。耳鼻咽喉科の場合、ローパスフィルタにより３～５［Ｈｚ］以上の周波数のぶれが抑制され、３～５［Ｈｚ］未満の周波数のぶれが残される。消化器外科の場合、ローパスフィルタにより８～１０［Ｈｚ］以上の周波数のぶれが抑制され、８～１０［Ｈｚ］未満の周波数のぶれが残される。整形外科の場合、ローパスフィルタにより４～６［Ｈｚ］以上の周波数のぶれが抑制され、４～６［Ｈｚ］未満の周波数のぶれが残される。
　診療科の相違に応じて、手術に用いられる内視鏡２などの機器が異なるため、撮像された画像に含まれる補正の対象となるぶれは、診療科毎に異なる。本実施形態では、診療科ごとの術式に合わせてぶれを抑制することが可能になるため、診療化ごとにぶれを補正した最適な画像を得ることができる。
　３．入力画像から術式を判定する例
　図２では、ユーザが術式モードを選択することとしているが、入力画像から術式を判定することもできる。図４Ａは、入力画像の画面ぶれ量から周波数解析を行い、周波数解析の結果から、入力画像に対応する診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタをフィルタ群１０７０から選択する例を示している。このため、図４Ａに示す例では、図２の構成に対し、周波数解析部１０７１、シーン判定部１１００を更に備えている。
　図５は、周波数解析部１０７１の構成を詳細に示す模式図である。図５に示すように、周波数解析部１０７１は、バッファ１０７２、高速フーリエ変換部（ＦＦＴ）１０７４、周波数成分抽出部１０７６、正規化部１０７８、フィルタ選択信号生成部１０８０、積分部１０８２、ゲイン調整部１０８４，１０８６，１０８８、乗算部１０９０、を有して構成される。
　周波数解析部１０７１には、画面ぶれ量推定部１０３０から、入力画像の画面ぶれ量として、画像のシフト量が入力される。シフト量をバッファ１０７２内に蓄積し、その後、高速フーリエ変換部（ＦＦＴ）１０７４により周波数変換を行う。周波数成分抽出部１０７６により周波数成分を抽出することで、どの周波数が多いかを判定し、正規化部１０７８により正規化を行う。そして、正規化の結果に基づいて、フィルタ選択信号生成部１０８０がフィルタを選択するためのフィルタ選択信号を生成し、出力する。
　また、周波数解析部１０７１は、ゲイン調整部１０８４，１０８６，１０８８により、調整値Ａ，Ｂ，Ｃ，Ｄ，Ｅを用いてゲイン調整を行う。積分部１０８２はバッファ１０７２に蓄積されたフレーム数Ｎ２のシフト量を積分し、ゲイン調整部１０８４は積分したシフト量に基づいて、積分値が大きくなるほどゲインを低下させる。
　また、ゲイン調整部１０８６は、シフト量に基づいて、シフト量が大きくなるほどゲインを低下させる。また、ゲイン調整部１０８８は、画面ぶれ量推定部１０３０により推定されたぶれ量の信頼度（単位行列になったかなどの動き信頼度）に応じて、信頼度が低いほどゲインを低下させるようにゲインを調整する。特に、ゲイン調整部１０８８は、信頼度が一定値以下の場合は、ゲインを０としてぶれ補正を行わないようにする。
　ゲイン調整部１０８４，１０８６，１０８８により算出されたゲインは、乗算部１０９０により乗算されて、ぶれ補正部１０５０に出力される。ぶれ補正部１０５０は、ゲインに基づいてぶれ補正の強度を調整する。ゲイン調整部１０８４，１０８６，１０８８による例外的な処理を行うことで、ぶれ補正が過度に行われることを抑止することができる。
　周波数解析部１０７１が出力したフィルタ選択信号は、シーン判定部１１００に入力される。シーン判定部１１００は、フィルタ選択信号に基づいて術式のシーンを判定し、術式のシーンに応じた最適な平滑化フィルタをフィルタ群１０７０の中から選択する。平滑化部１０４０は、選択された平滑化フィルタにより平滑化を行う。
　図４Ｂは、入力画像から色分布および空間周波数分布の抽出を行い、それらの情報から、入力画像に対応する診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタをフィルタ群１０７０から選択する例を示している。このため、図４Ｂに示す例では、図２の構成に対し、色分布抽出部１１１０、空間周波数分布抽出部１１１２、シーン判定部１１００を更に備えている。色分布抽出部１１１０は、入力画像の色分布を抽出する。空間周波数分布抽出部１１１２は、入力画像の空間周波数分布を抽出する。シーン判定部１１００は、入力画像の色分布、空間周波数分布に基づいて、入力画像に対応する診療科、術式のシーンを判定し、術式のシーンに応じた最適な平滑化フィルタをフィルタ群１０７０の中から選択する。平滑化部１０４０は、選択された平滑化フィルタにより平滑化を行う。
　図４Ｃは、入力画像からマスク径の検出を行い、マスク径の情報から、入力画像に対応する診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタをフィルタ群１０７０から選択する例を示している。このため、図４Ｃに示す例では、図２の構成に対し、マスク径抽出部１１１４、シーン判定部１１００を更に備えている。マスク径抽出部１１４は、入力画像からマスク径を検出する。シーン判定部１１００は、マスク径に基づいて、入力画像に対応する診療科、術式のシーンを判定し、術式のシーンに応じた最適な平滑化フィルタをフィルタ群１０７０の中から選択する。平滑化部１０４０は、選択された平滑化フィルタにより平滑化を行う。特徴点抽出部１０１０は、マスク径に基づいて、マスク径が小さい程、マスク内のより狭い範囲から特徴点を抽出することができる。
　図４Ｄは、入力画像からトロッカの有無を検出し、それらの情報から、入力画像に対応する診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタをフィルタ群１０７０から選択する例を示している。このため、図４Ｄに示す例では、図２の構成に対して、トロッカ有無検出部１１１６、シーン判定部１１００を更に備えている。トロッカ有無検出部１１１６は、画面ぶれ量推定部１０３０が推定した画面ぶれ量にもとづいて、トロッカ１２ａ，１２ｂが使われているか否か（トロッカの有無）を検出する。シーン判定部１１００は、トロッカ１２ａ，１２ｂの有無に基づいて、入力画像に対応する診療科、術式のシーンを判定し、術式のシーンに応じた最適な平滑化フィルタをフィルタ群１０７０の中から選択する。平滑化部１０４０は、選択された平滑化フィルタにより平滑化を行う。
　診療科、術式の判定方法については、表１に示すように、動画像の動き周波数解析結果、術式・シーン認識、マスク径の情報、トロッカ１２ａ，１２ｂの有無などの情報に応じて行うことができる。動きの周波数解析については、周波数成分のピーク位置に応じて、ピーク位置が３～５［Ｈｚ］であれば整形外科、４～６［Ｈｚ］であれば耳鼻咽喉科、８～１０［Ｈｚ］であれば消化器外科であると決定することができる。図４Ａに示す構成例によれば、周波数解析の結果に応じて、表１に基づいて診療科、術式のシーンを判定することができる。
　図４Ｂに示した色分布および空間周波数分布の抽出による術式、シーン認識については、表１に示すように、入力画像に赤の領域が多く、のっぺりしていて空間周波数が低い場合は耳鼻咽喉科、白の領域が多く、のっぺりしていて空間周波数が低い場合は整形外科と判定される。また入力画像に様々な色成分が多く、血管や脂肪にテクスチャがあり空間周波数が高い場合は、消化器外科と決定される。
　図４Ｃに示したマスク径の情報に基づく判定では、マスク径抽出部１１１４が入力画像からマスク径を検出し、表１に示すように、マスク径が４．９ｍｍ程度であれば耳鼻咽喉科、５．５ｍｍ程度であれば整形外科、１０ｍｍ程度であれば消化器外科であると決定される。このように、診療科、術式のシーンに応じてマスク径が異なるため、マスク径を検出することで、診療科、術式のシーンを判定することができる。
　また、トロッカ１２ａ，１２ｂを用いている場合、トロッカ１２ａ，１２ｂが支点となるため、内視鏡２の動きは予め想定される決まった動きが多くなる。そのため、トロッカ１２ａ，１２ｂを用いた場合とトロッカ１２ａ，１２ｂを用いていない場合とでは、画面ぶれ量の周波数が異なる。従って、図４Ｄのトロッカ有無検出部１１６は、画面ぶれ量の周波数に基づいてトロッカ１２ａ，１２ｂを用いているか否かを判定できる。表１に示すように、トロッカ１２ａ，１２ｂを用いている場合は消化器外科であり、トロッカ１２ａ，１２ｂを用いていない場合は整形外科か耳鼻咽喉科であると判定することができる。
Figure JPOXMLDOC01-appb-T000001
　以下に示す表２は、各診療科における、抑えたい“ぶれ”とその周波数、抑えたくない“ぶれ”とその周波数を示している。判定結果を使って、抑えたい“ぶれ”、抑えたくない“ぶれ”、のそれぞれに最適な平滑化フィルタを適用する。いずれの診療科においても、生体動きに起因する画面動きはぶれ補正で除去しないように平滑化フィルタを選択する。表２に基づいて、各診療科、術式に応じて平滑化フィルタを選択することで、内視鏡スコープの手振れ、建物やアームの揺れなどの要因によるぶれについては、ぶれ補正部１０５０によるぶれ補正の対象とし、術者の意図する動き、生体本体の動きについては、ぶれ補正部１０５０によるぶれ補正の対象とならないようにする。なお、これらの術式情報をＣＣＵ５に伝送する際、ケーブルのみならずＲＦＩＤなどを用いることも可能である。
Figure JPOXMLDOC01-appb-T000002
　４．周波数解析に基づくぶれの切り分け
　図４Ａ～図４Ｄに示した構成例において、周波数解析に基づいて術者、スコピストに起因するぶれと、患者に起因するぶれ（拍動など）の切り分けをすることもできる。図６Ａは、拍動に起因するぶれとスコピストに起因するぶれの周波数を示す特性図である。また、図６Ｂは、スコピストに起因するぶれを抑えるバンドパスフィルタ（ＢＰＦ）の特性を示す特性図である。このように、図３に示したようなローパスフィルタ（ＬＰＦ）ではなく、バンドパスフィルタ（ＢＰＦ）を用いて任意のぶれ周波数を抑えることも可能である。この場合、フィルタ群１０７０の中にバンドパスフィルタを格納し、周波数解析に基づいてバンドパスフィルタを選択する。構成は、図４Ａ～図４Ｄと同様の構成とすることができる。
　５．被写体位置に応じた補正ゲインの決定
　図７は、内視鏡２のフォーカスレンズ位置情報を取得し、補正ゲインを決定する構成を示す模式図である。図４Ａ～図４Ｂの構成に加えて、内視鏡２と被写体の距離に応じて、ぶれ補正に対するゲイン調整を行う。このため、図７に示す構成では、図４Ｂの構成に加え、フォーカスレンズ位置取得部１１２０、補正ゲイン決定部１１２２、ゲイン調整部１１２３を有する。
　図７に示す構成例では、内視鏡２のフォーカスレンズ位置情報を取得し、補正ゲインを決定する。図８は、フォーカスレンズ位置を示す模式図である。被写体までの距離とフォーカスレンズ位置との関係は一義的に定まるため、フォーカスレンズ位置情報に基づいてゲインを調整することで、被写体までの距離に応じたゲイン調整が可能となる。図９は、フォーカスレンズ位置と、補正ゲイン（補正パラメータ）との関係を示す模式図である。フォーカスレンズ位置取得部１１２０が取得したフォーカスレンズ位置情報は、補正ゲイン決定部１１２２に送られ、補正ゲイン決定部１１２２は、図９の特性に基づいて補正ゲインを決定する。
　図９において、フォーカスレンズ位置が大きくなるほど、被写体までの距離は大きくなるものとする。従って、被写体までの距離が大きくなるほど、補正ゲインの値は大きくなる。被写体までの距離が大きくなるほど、内視鏡２のぶれに起因する画像の乱れが大きくなるため、被写体までの距離が大きくなるほど補正ゲインの値を大きくして、ぶれ補正の強度を高くする。これにより、被写体までの距離に応じて、最適にぶれを補正することが可能となる。なお、図９の破線に示すように連続的にゲイン調整してもよいし、実線に示すように離散的に補正ゲインを変化させてオン／オフを制御してもよい。
　図１０は、画像の空間周波数に基づいて内視鏡２と被写体の距離を取得する構成例を示す模式図である。このため、図１０に示す構成では、図４Ｂの構成に加え、空間周波数解析部１１２４、補正ゲイン決定部１１２６、ゲイン調整部１１２３を有する。空間周波数解析部１１２４は、画像の空間周波数を解析する。内視鏡２が被写体に近接している場合は、得られる画像の空間周波数が低く、内視鏡２が被写体から遠ざかっている場合は空間周波数が高くなる。図１１は、空間周波数と、補正ゲイン（補正パラメータ）との関係を示す模式図である。空間周波数解析部１１２４が解析した空間周波数は補正ゲイン決定部１１２６に送られ、補正ゲイン決定部１１２６は、図１１の特性に基づいて補正ゲインを決定する。なお、図１１の破線に示すように連続的にゲイン調整してもよいし、実線に示すように離散的に補正ゲインを変化させてオン／オフを制御してもよい。
　図１１に示すように、空間周波数が低いほど、すなわち、被写体が近接しているほど、補正ゲインは低くなる。また、空間周波数が高いほど、すなわち、被写体が遠ざかっているほど、補正ゲインは高くなる。上述のように、被写体までの距離が大きくなるほど、内視鏡２のぶれに起因する画像の乱れが大きくなるため、被写体までの距離が大きくなるほど補正ゲインの値を大きくして、ぶれ補正の強度を高くする。これにより、被写体までの距離に応じて、最適にぶれを補正することが可能となる。
　図１２は、内視鏡２が二眼ステレオ撮影を行う場合に、ステレオ視によって内視鏡２と被写体との間の距離を取得する構成例を示す模式図である。このため、図１２に示す構成では、図４Ｂの構成に加え、距離情報検出部１１２８、補正ゲイン決定部１１３０、ゲイン調整部１１２３を有する。距離情報検出部１１２８は、ステレオ画像の視差に基づいて被写体までの距離を検出する。図１３は、被写体までの距離と、補正ゲイン（補正パラメータ）との関係を示す模式図である。距離情報検出部１１２８が検出した被写体までの距離は補正ゲイン決定部１１３０に送られ、補正ゲイン決定部１１３０は、図１３の特性に基づいて補正ゲインを決定する。なお、図１３の破線に示すように連続的にゲイン調整してもよいし、実線に示すように離散的に補正ゲインを変化させてオン／オフを制御してもよい。
　図１３においても、被写体が近接しているほど、補正ゲインは低くなる。また、被写体が遠ざかっているほど、補正ゲインは高くなる。上述のように、被写体までの距離が大きくなるほど、内視鏡２のぶれに起因する画像の乱れが大きくなるため、被写体までの距離が大きくなるほど補正ゲインの値を大きくして、ぶれ補正の強度を高くする。これにより、被写体までの距離に応じて、最適にぶれを補正することが可能となる。
　図１４は、ぶれ補正の後に電子ズームを行う場合の構成例を示す模式図である。図１４に示す構成では、図４Ｂの構成に加え、電子ズーム１１４０、補正ゲイン決定部１１４２、ユーザインタフェース（ＵＩ）１１４４、ゲイン調整部１１２３が設けられている。補正ゲイン決定部１１４２は、電子ズーム１１４０のズーム倍率に応じて補正ゲインを決定する。図１５は、ズーム倍率と補正ゲインとの関係を示す特性図である。補正ゲイン決定部１１４２は、図１５に基づいて補正ゲインを決定する。図１５に示すように、ズーム倍率が大きくなるほど、補正ゲインの値は増加する。
　ズーム倍率が大きいほど、被写体が拡大されているため、内視鏡２のぶれに起因する画像の乱れが大きくなる。従って、ズーム倍率が大きいほど補正ゲインを大きくすることで、最適にぶれを補正することが可能となる。なお、図１５の破線に示すように連続的にゲイン調整してもよいし、実線に示すように離散的に補正ゲインを変化させてオン／オフを制御してもよい。なお、上述したフォーカスレンズ位置取得部１１２０、空間周波数解析部１１２４、距離情報検出部１１２８、電子ズーム１１４０は、被写体までの距離に関連する距離関連パラメータを取得する距離関連パラメータ取得部に相当する。
　６．顕微鏡装置への適用
　図１６は、顕微鏡装置（手術用顕微鏡）で撮像した画像のぶれ補正を行う構成例を示す模式図である。上述した例では、内視鏡２により撮像した画像のぶれ補正について説明したが、顕微鏡装置で撮像した画像に対しても同様に適用できる。図１６に示す構成は、入力画像が顕微鏡画像である点以外は、図４Ａと同様である。顕微鏡装置は、一般的に観察対象（患者の術部）を拡大観察するための顕微鏡部と、顕微鏡部を先端で支持するアーム部と、アーム部の基端を支持するベース部と、を有する。顕微鏡部は、撮像装置（撮像素子）によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。顕微鏡装置を用いた手術の場合、建物やアームのぶれが原因でビデオ撮影した画像に見づらさを感じる場合がある。このため、例えば、脳神神経外科での開頭手術の際、内視鏡２の場合と同様に、特徴点抽出部１０１０が入力画像から特徴点を抽出し、動きベクトル抽出部１０２０が特徴点ごとに動きベクトル検出を行い、画像ぶれ量推定部１０３０が画像全体のぶれ量を推定する。そして、平滑化部１０４０が時間方向のぶれ量を蓄積し、フィルタをかけて平滑化を行う。ぶれ補正部１０５０は、平滑化されたぶれ量に対し、ぶれ補正を行う。これにより、建物やアームの振動に起因するぶれの補正が可能である。手術用顕微鏡においても抑えたい“ぶれ”と抑えたくない“ぶれ”が想定される。表２に示したように、抑えたい“ぶれ”は、０～１［Ｈｚ］程度の周波数と８～９［Ｈｚ］程度の周波数である。また、抑えたくない“ぶれ”は、０または１～８または９［Ｈｚ］程度の周波数である。
　顕微鏡装置向けのぶれ補正において、より精度の高いぶれ補正を行うために、アーム振動センサ１１３２をアームに設置する。加えて、建物の振動を検出するために、床に床振動センサ１１３４を設置し、天井に天井振動センサ１１３６を設置する。図１７は、各センサからの振動情報を入力として、それぞれの固有振動成分を抑制するような周波数フィルタを生成する周波数フィルタ生成部１１３８を図１６の構成に対して設けた例を示す模式図である。また、図１８は、周波数フィルタ１１３８（バンドパスフィルタ）の特性を示す模式図である。図１８に示す周波数フィルタ１１３８を用いて平滑化部１０４が平滑化処理を行うことで、アーム振動センサ１１３２、床振動センサ１１３４、天井振動センサ１１３６により検出されるアーム振動、床振動、天井振動の固有振動成分をぶれ補正部１０５０によるぶれ補正の対象とし、これらに起因するぶれを抑制することが可能である。
　図１９は、本実施形態による時間方向フィルタでの平滑化を行うことにより、動画上でノイズ低減（NR:Noise Reduction）効果を得る場合の構成例を示す模式図である。図１９に示す構成例では、図４Ｂの構成に加え、フレーム位置補正部１１４５、フレーム加算部１１４６が追加されている。図４Ｂと同様に、入力画から色分布および空間周波数分布を抽出し、シーン判定を行った上でフィルタを選択し、平滑化を行う。それぞれのフレームに対してフレーム位置補正部１１４４が位置補正を行い、フレーム加算部１１４６が各フレームを加算していくことにより、動画上でノイズ低減効果を得ることができる。
　以上説明したように本実施形態によれば、診療科や術式に応じたシーンに基づいて、状況に応じてぶれ補正をするようにしたため、生体動きに起因する画面動きを除去することなく、ぶれ補正を行うことができる。従って、状況に応じた最適な医療用画像を提供することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　被写体の生体動きを含む医療用画像のぶれ量を推定するぶれ量推定部と、
　前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、
　を備える、画像処理装置。
（２）　前記ぶれ補正処理部は、
　前記ぶれ量を時間方向に蓄積して平滑化する平滑化部と、
　平滑化された前記ぶれ量に基づいてぶれ補正を行うぶれ補正部と、を備え、
　前記ぶれ補正処理部は、前記平滑化のための平滑化フィルタを変更することで、状況に応じて前記ぶれ補正処理を行う、前記（１）に記載の画像処理装置。
（３）　前記ぶれ補正処理部は、手術が行われている状況、手術の術式、又は診療科に応じて前記ぶれ補正処理を行う、前記（２）に記載の画像処理装置。
（４）　前記ぶれ補正処理部は、ユーザ指示に応じて前記ぶれ補正処理を行う、前記（２）に記載の画像処理装置。
（５）　前記ぶれ量の周波数解析を行う周波数解析部を備え、
　前記ぶれ補正処理部は、前記周波数解析の結果に基づいて前記ぶれ補正処理を行う、前記（２）に記載の画像処理装置。
（６）　医療用画像の色分布を抽出する色分布抽出部を備え、
　前記ぶれ補正処理部は、前記色分布に基づいて前記ぶれ補正処理を行う、前記（２）に記載の画像処理装置。
（７）　医療用画像の空間周波数分布を抽出する空間周波数分布抽出部を備え、
　前記ぶれ補正処理部は、前記空間周波数分布に基づいて前記ぶれ補正処理を行う、前記（２）に記載の画像処理装置。
（８）　医療用画像のマスク径を検出するマスク径検出部を備え、
　前記ぶれ補正処理部は、前記マスク径に基づいて前記ぶれ補正処理を行う、前記（２）に記載の画像処理装置。
（９）　手術におけるトロッカの使用の有無を検出するトロッカ有無検出部を備え、
　前記ぶれ補正処理部は、前記トロッカの使用の有無に基づいて前記ぶれ補正処理を行う、前記（２）に記載の画像処理装置。
（１０）　被写体までの距離に関連する距離関連パラメータを取得する距離関連パラメータ取得部と、
　前記距離関連パラメータに基づいて前記ぶれ補正処理のゲインを調整するゲイン調整部と、
　を更に備える、前記（１）～（９）のいずれかに記載の画像処理装置。
（１１）　前記ゲイン調整部は、被写体までの距離が大きいほど前記ゲインを大きくする、前記（１０）に記載の画像処理装置。
（１２）　前記距離関連パラメータは、フォーカスレンズの位置情報、被写体の空間周波数、立体画像における視差、又はズーム倍率である、前記（１０）に記載の画像処理装置。
（１３）　前記医療用画像から特徴点を抽出する特徴点抽出部と、
　前記特徴点から動きベクトルを抽出する動きベクトル抽出部と、を備え、
　前記ぶれ量推定部は、前記動きベクトルに基づいて前記ぶれ量を推定する、前記（１）～（１２）のいずれかに記載の画像処理装置。
（１４）　前記特徴点抽出部は、医療用画像のマスク径に基づいて、前記マスク径が小さい程、マスク内のより狭い範囲から前記特徴点を抽出する、前記（１３）に記載の画像処理装置。
（１５）　前記医療用画像は、内視鏡画像又は顕微鏡画像である、前記（２）に記載の画像処理装置。
（１６）　前記医療用画像は顕微鏡画像であり、外部振動に起因するぶれを除去するために前記平滑化フィルタを生成するフィルタ生成部を備える、前記（１５）に記載の画像処理装置。
（１７）　前記フィルタ生成部は、前記外部振動を検出するセンサの検出値に基づいて前記平滑化フィルタを生成する、前記（１６）に記載の画像処理装置。
（１８）　被写体の生体動きを含む医療用画像のぶれ量を推定することと、
　前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うことと、
　を備える、画像処理方法。
（１９）　被写体の生体動きを含む医療用画像を撮像する撮像装置と、
　前記医療用画像のぶれ量を推定するぶれ量推定部と、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、を有する、画像処理装置と、
　を備える医療システム。
　１０３０　　画面ぶれ量推定部
　１０４０　　平滑化部
　１０５０　　ぶれ補正部
　１０７１　　周波数解析部
　１１１０　　色分布抽出部
　１１１２　　空間周波数分布抽出部
　１１１４　　マスク径検出部
　１１１６　　トロッカ有無検出部
　１１２０　　フォーカスレンズ位置取得部
　１１２４　　空間周波数解析部
　１１２８　　距離情報検出部

Claims (19)

  1. 　被写体の生体動きを含む医療用画像のぶれ量を推定するぶれ量推定部と、
    　前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、
    　を備える、画像処理装置。
  2. 　前記ぶれ補正処理部は、
    　前記ぶれ量を時間方向に蓄積して平滑化する平滑化部と、
    　平滑化された前記ぶれ量に基づいてぶれ補正を行うぶれ補正部と、を備え、
    　前記ぶれ補正処理部は、前記平滑化のための平滑化フィルタを変更することで、状況に応じて前記ぶれ補正処理を行う、請求項１に記載の画像処理装置。
  3. 　前記ぶれ補正処理部は、手術が行われている状況、手術の術式、又は診療科に応じて前記ぶれ補正処理を行う、請求項２に記載の画像処理装置。
  4. 　前記ぶれ補正処理部は、ユーザ指示に応じて前記ぶれ補正処理を行う、請求項２に記載の画像処理装置。
  5. 　前記ぶれ量の周波数解析を行う周波数解析部を備え、
    　前記ぶれ補正処理部は、前記周波数解析の結果に基づいて前記ぶれ補正処理を行う、請求項２に記載の画像処理装置。
  6. 　医療用画像の色分布を抽出する色分布抽出部を備え、
    　前記ぶれ補正処理部は、前記色分布に基づいて前記ぶれ補正処理を行う、請求項２に記載の画像処理装置。
  7. 　医療用画像の空間周波数分布を抽出する空間周波数分布抽出部を備え、
    　前記ぶれ補正処理部は、前記空間周波数分布に基づいて前記ぶれ補正処理を行う、請求項２に記載の画像処理装置。
  8. 　医療用画像のマスク径を検出するマスク径検出部を備え、
    　前記ぶれ補正処理部は、前記マスク径に基づいて前記ぶれ補正処理を行う、請求項２に記載の画像処理装置。
  9. 　手術におけるトロッカの使用の有無を検出するトロッカ有無検出部を備え、
    　前記ぶれ補正処理部は、前記トロッカの使用の有無に基づいて前記ぶれ補正処理を行う、請求項２に記載の画像処理装置。
  10. 　被写体までの距離に関連する距離関連パラメータを取得する距離関連パラメータ取得部と、
    　前記距離関連パラメータに基づいて前記ぶれ補正処理のゲインを調整するゲイン調整部と、
    　を更に備える、請求項１に記載の画像処理装置。
  11. 　前記ゲイン調整部は、被写体までの距離が大きいほど前記ゲインを大きくする、請求項１０に記載の画像処理装置。
  12. 　前記距離関連パラメータは、フォーカスレンズの位置情報、被写体の空間周波数、立体画像における視差、又はズーム倍率である、請求項１０に記載の画像処理装置。
  13. 　前記医療用画像から特徴点を抽出する特徴点抽出部と、
    　前記特徴点から動きベクトルを抽出する動きベクトル抽出部と、を備え、
    　前記ぶれ量推定部は、前記動きベクトルに基づいて前記ぶれ量を推定する、請求項１に記載の画像処理装置。
  14. 　前記特徴点抽出部は、医療用画像のマスク径に基づいて、前記マスク径が小さい程、マスク内のより狭い範囲から前記特徴点を抽出する、請求項１３に記載の画像処理装置。
  15. 　前記医療用画像は、内視鏡画像又は顕微鏡画像である、請求項２に記載の画像処理装置。
  16. 　前記医療用画像は顕微鏡画像であり、外部振動に起因するぶれを除去するために前記平滑化フィルタを生成するフィルタ生成部を備える、請求項１５に記載の画像処理装置。
  17. 　前記フィルタ生成部は、前記外部振動を検出するセンサの検出値に基づいて前記平滑化フィルタを生成する、請求項１６に記載の画像処理装置。
  18. 　被写体の生体動きを含む医療用画像のぶれ量を推定することと、
    　前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うことと、
    　を備える、画像処理方法。
  19. 　被写体の生体動きを含む医療用画像を撮像する撮像装置と、
    　前記医療用画像のぶれ量を推定するぶれ量推定部と、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、を有する、画像処理装置と、
    　を備える医療システム。
PCT/JP2017/004432 2016-03-29 2017-02-07 画像処理装置、画像処理方法及び医療システム WO2017169139A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17773687.3A EP3437546B1 (en) 2016-03-29 2017-02-07 Image processing device, image processing method, and medical system
JP2018508501A JP7127538B2 (ja) 2016-03-29 2017-02-07 画像処理装置、医療機器の作動方法及び医療システム
US16/086,269 US11301964B2 (en) 2016-03-29 2017-02-07 Image processing apparatus, image processing method, and medical system to correct blurring without removing a screen motion caused by a biological body motion
US17/336,466 US11849913B2 (en) 2016-03-29 2021-06-02 Image processing apparatus, image processing method, and medical system to correct image blurrings

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016065219 2016-03-29
JP2016-065219 2016-03-29

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/086,269 A-371-Of-International US11301964B2 (en) 2016-03-29 2017-02-07 Image processing apparatus, image processing method, and medical system to correct blurring without removing a screen motion caused by a biological body motion
US17/336,466 Continuation US11849913B2 (en) 2016-03-29 2021-06-02 Image processing apparatus, image processing method, and medical system to correct image blurrings

Publications (1)

Publication Number Publication Date
WO2017169139A1 true WO2017169139A1 (ja) 2017-10-05

Family

ID=59962864

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/004432 WO2017169139A1 (ja) 2016-03-29 2017-02-07 画像処理装置、画像処理方法及び医療システム

Country Status (4)

Country Link
US (2) US11301964B2 (ja)
EP (1) EP3437546B1 (ja)
JP (1) JP7127538B2 (ja)
WO (1) WO2017169139A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018168261A1 (ja) * 2017-03-16 2018-09-20 ソニー株式会社 制御装置、制御方法、及びプログラム
WO2020009127A1 (ja) * 2018-07-06 2020-01-09 ソニー株式会社 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3437546B1 (en) * 2016-03-29 2024-04-24 Sony Group Corporation Image processing device, image processing method, and medical system
EP3605086B1 (en) * 2017-03-30 2023-06-07 FUJIFILM Corporation Cell-image evaluation device and method and program
DE102017209425A1 (de) * 2017-06-02 2018-12-06 Carl Zeiss Meditec Ag Augenchirurgiesystem und Verfahren zur Vorbereitung von Eingriffen im Rahmen von Augenoperationen
JPWO2021075306A1 (ja) * 2019-10-17 2021-04-22
CN115052551A (zh) * 2020-03-11 2022-09-13 索尼奥林巴斯医疗解决方案公司 医疗图像处理装置和医疗观察系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549599A (ja) * 1991-08-23 1993-03-02 Olympus Optical Co Ltd 電子内視鏡装置
JP2003534837A (ja) * 2000-04-04 2003-11-25 スミス アンド ネフュー インコーポレーテッド 動きのアーティファクトを自動補正する方法およびシステム
JP2012085696A (ja) * 2010-10-15 2012-05-10 Olympus Corp 画像処理装置、画像処理装置の制御方法及び内視鏡装置
JP2012217579A (ja) * 2011-04-07 2012-11-12 Olympus Corp 内視鏡装置及びブレ補正処理方法
JP2012239644A (ja) * 2011-05-19 2012-12-10 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法
JP2016000065A (ja) * 2014-06-11 2016-01-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および内視鏡システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004229002A (ja) 2003-01-23 2004-08-12 Sony Corp 撮像装置
KR100639164B1 (ko) * 2005-03-12 2006-10-26 전재춘 영상 장치의 흔들림에 의한 영상 블러링 제거 방법
JP4547325B2 (ja) 2005-11-24 2010-09-22 富士フイルム株式会社 撮像装置
JP2007158853A (ja) 2005-12-06 2007-06-21 Konica Minolta Opto Inc 振れ補正装置
US20080058593A1 (en) 2006-08-21 2008-03-06 Sti Medical Systems, Llc Computer aided diagnosis using video from endoscopes
JP2008172309A (ja) 2007-01-09 2008-07-24 Fujifilm Corp 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置
JP5328216B2 (ja) 2008-04-22 2013-10-30 キヤノン株式会社 撮像装置
JP5274100B2 (ja) 2008-05-13 2013-08-28 オリンパスメディカルシステムズ株式会社 医療用観察装置
JP2009285132A (ja) 2008-05-29 2009-12-10 Fujifilm Corp 内視鏡画像処理装置および方法
WO2010045406A2 (en) * 2008-10-15 2010-04-22 The Regents Of The University Of California Camera system with autonomous miniature camera and light source assembly and method for image enhancement
JP5179398B2 (ja) * 2009-02-13 2013-04-10 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム
JP5402056B2 (ja) 2009-02-16 2014-01-29 コニカミノルタ株式会社 画像処理装置、画像処理方法、およびプログラム
JP5121911B2 (ja) 2010-10-19 2013-01-16 キヤノン株式会社 防振制御装置、撮像装置、及び防振制御方法
EP2510878B1 (de) * 2011-04-12 2014-02-26 Marcus Abboud Verfahren zur Generierung einer radiologischen dreidimensionalen digitalen Volumentomographie-Aufnahme eines Patienten-Körperteils
JP2013017752A (ja) 2011-07-13 2013-01-31 Olympus Medical Systems Corp ノイズ除去装置、並びにこれを備える表示装置、カメラコントロールユニット、及び内視鏡システム
KR101705605B1 (ko) * 2011-11-14 2017-02-23 삼성전자주식회사 코드화된 조명을 이용하는 촬상 장치 및 이미지 처리 장치와 그 방법
JP6124588B2 (ja) 2012-12-27 2017-05-10 キヤノン株式会社 像ブレ補正装置、及びその制御方法、プログラム、記憶媒体
JP6433155B2 (ja) 2014-05-23 2018-12-05 キヤノン株式会社 ブレ補正装置、ブレ補正方法およびプログラム、並びに撮像装置
EP3437546B1 (en) * 2016-03-29 2024-04-24 Sony Group Corporation Image processing device, image processing method, and medical system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549599A (ja) * 1991-08-23 1993-03-02 Olympus Optical Co Ltd 電子内視鏡装置
JP2003534837A (ja) * 2000-04-04 2003-11-25 スミス アンド ネフュー インコーポレーテッド 動きのアーティファクトを自動補正する方法およびシステム
JP2012085696A (ja) * 2010-10-15 2012-05-10 Olympus Corp 画像処理装置、画像処理装置の制御方法及び内視鏡装置
JP2012217579A (ja) * 2011-04-07 2012-11-12 Olympus Corp 内視鏡装置及びブレ補正処理方法
JP2012239644A (ja) * 2011-05-19 2012-12-10 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法
JP2016000065A (ja) * 2014-06-11 2016-01-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および内視鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3437546A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018168261A1 (ja) * 2017-03-16 2018-09-20 ソニー株式会社 制御装置、制御方法、及びプログラム
US10904437B2 (en) 2017-03-16 2021-01-26 Sony Corporation Control apparatus and control method
WO2020009127A1 (ja) * 2018-07-06 2020-01-09 ソニー株式会社 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法

Also Published As

Publication number Publication date
EP3437546B1 (en) 2024-04-24
JPWO2017169139A1 (ja) 2019-02-07
EP3437546A1 (en) 2019-02-06
US20200294203A1 (en) 2020-09-17
US11301964B2 (en) 2022-04-12
US20210287346A1 (en) 2021-09-16
EP3437546A4 (en) 2019-07-10
US11849913B2 (en) 2023-12-26
JP7127538B2 (ja) 2022-08-30

Similar Documents

Publication Publication Date Title
JP7127538B2 (ja) 画像処理装置、医療機器の作動方法及び医療システム
JP7160041B2 (ja) 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法
US11642004B2 (en) Image processing device, image processing method and recording medium
US11788966B2 (en) Imaging system
US10904437B2 (en) Control apparatus and control method
WO2018084003A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2018123613A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
EP3300650B1 (en) Medical observation device and medical observation method
WO2018179681A1 (ja) 医療用観察装置及び観察視野補正方法
WO2020008920A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
WO2018173605A1 (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
US20220261967A1 (en) Endoscopic surgery system, image processing apparatus, and image processing method
WO2021095697A1 (ja) 情報処理装置、生成方法及び生成プログラム
JP7160042B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7163913B2 (ja) 医療用システム及び制御ユニット
WO2019225323A1 (ja) ケーブル装置、ノイズキャンセリング装置、及びノイズキャンセリング方法
US20220378278A1 (en) Information processing device, generation method, and generation program
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018508501

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017773687

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017773687

Country of ref document: EP

Effective date: 20181029

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17773687

Country of ref document: EP

Kind code of ref document: A1