WO2021020132A1 - 内視鏡手術システム、画像処理装置、および画像処理方法 - Google Patents

内視鏡手術システム、画像処理装置、および画像処理方法 Download PDF

Info

Publication number
WO2021020132A1
WO2021020132A1 PCT/JP2020/027510 JP2020027510W WO2021020132A1 WO 2021020132 A1 WO2021020132 A1 WO 2021020132A1 JP 2020027510 W JP2020027510 W JP 2020027510W WO 2021020132 A1 WO2021020132 A1 WO 2021020132A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
motion
reliability
standard deviation
unit
Prior art date
Application number
PCT/JP2020/027510
Other languages
English (en)
French (fr)
Inventor
幸弘 中村
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/627,738 priority Critical patent/US20220261967A1/en
Priority to JP2021536920A priority patent/JPWO2021020132A1/ja
Publication of WO2021020132A1 publication Critical patent/WO2021020132A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the present disclosure relates to endoscopic surgery systems, image processing devices, and image processing methods, and more particularly to endoscopic surgery systems, image processing devices, and image processing methods that enable better endoscopic observation. ..
  • Patent Document 1 an endoscope that performs blur correction processing according to the movement information of the imaging field of view according to the operation of moving the imaging field of view of the imaging unit and the movement between a plurality of images acquired in time series.
  • the device is disclosed.
  • This disclosure was made in view of such a situation, and is intended to enable better observation with an endoscope.
  • the endoscopic surgery system and the image processing apparatus of one aspect of the present disclosure estimate the motion component at the time of imaging based on the image captured by the endoscope, and the motion component is the motion component with respect to the entire image. It includes a motion estimation unit that sets a reliability indicating the degree of certainty, and a correction amount control unit that controls a correction amount used when performing a correction process for correcting blurring on the image according to the reliability. ..
  • the image processing apparatus estimates the motion component at the time of imaging based on the image captured by the endoscope, and the motion component is the motion component with respect to the entire image. This includes setting a reliability indicating the degree of this, and controlling the correction amount used when performing a correction process for correcting blurring on the image according to the reliability.
  • a motion component at the time of imaging is estimated based on an image captured by an endoscope, and a reliability indicating the degree to which the motion component is a motion component with respect to the entire image is set.
  • the correction amount used when performing the correction process on the image is controlled according to the reliability.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of an endoscopic surgery system to which the present technology is applied.
  • the endoscopic surgery system 11 shown in FIG. 1 includes an endoscope 12, an energy treatment tool 13, a display device 14, and a device unit 15.
  • the endoscope 12 and the energy treatment tool 13 are inserted into the patient's body, and the forceps 16 are inserted into the patient's body. Then, in the endoscopic surgery system 11, an image of the affected part such as a tumor imaged by the endoscope 12 is displayed in real time on the display device 14, and the doctor holds the energy treatment tool 13 and the forceps 16 while viewing the image. It can be used to treat the affected area.
  • the endoscope 12 is configured by, for example, having a tubular lens barrel portion incorporating an optical system such as an objective lens attached to a camera head provided with an image sensor or the like.
  • the energy treatment tool 13 is, for example, a medical device used in endoscopic surgery in which an affected area is excised or a blood vessel is sealed by heat generated by a high-frequency electric current.
  • the display device 14 displays an image processed by the device unit 15 with respect to the image captured by the endoscope 12.
  • the device unit 15 has an image processing device 21 (FIG. 2) that performs image processing on the image captured by the endoscope 12, and is required for performing surgery using the endoscopic surgery system 11. It is configured to have various devices.
  • the device unit 15 includes a CCU (Camera Control Unit) that controls imaging by the endoscope 12, a light source device that supplies light that is emitted to the affected area when the endoscope 12 performs imaging, and energy.
  • a device for a treatment tool that supplies a high-frequency current required for treatment of the affected area by the treatment tool 13 is incorporated.
  • the device unit 15 is subjected to image processing for appropriately correcting the blurring that occurs in the image captured by the endoscope 12, for example, and the display device 14 is subjected to image processing.
  • the image with the blur corrected properly is displayed. Therefore, in the surgery using the endoscopic surgery system 11, a doctor or the like can perform treatment on the affected part while observing with an image in which blurring is appropriately corrected.
  • FIG. 2 is a block diagram showing a configuration example of the image processing device 21 included in the device unit 15.
  • the image processing device 21 includes a feature point extraction unit 22, a local motion vector detection unit 23, a global motion amount estimation unit 24, a calculation unit 25, a motion estimation unit 26, a correction amount control unit 27, and a correction. It is configured to include a processing unit 28.
  • the image captured by the endoscope 12 of FIG. 1 is input to the image processing device 21.
  • overall movement may occur due to the movement of the endoscope 12, and when the energy treatment tool 13, forceps 16 and the like are imaged by the endoscope 12, Local movement (local blurring) may occur due to the movement of the energy treatment tool 13 or the forceps 16.
  • the feature point extraction unit 22 extracts feature points that are points indicating characteristic points in the image captured by the endoscope 12, and supplies a plurality of extraction points extracted from the image to the local motion vector detection unit 23. To do.
  • the local motion vector detection unit 23 detects a local motion vector indicating a motion occurring in a local part of the image based on the motion of each of the plurality of feature points supplied from the feature point extraction unit 22. Then, the local motion vector detection unit 23 supplies a plurality of local motion vectors detected from the image captured by the endoscope 12 in FIG. 1 to the global motion amount estimation unit 24 and the calculation unit 25.
  • the global motion amount estimation unit 24 estimates the global motion amount representing the overall motion magnitude of the image based on a plurality of local motion vectors supplied from the local motion vector detection unit 23, and the correction amount control unit 27. Supply to.
  • the calculation unit 25 performs a calculation based on a plurality of local motion vectors supplied from the local motion vector detection unit 23. For example, the calculation unit 25 performs a calculation for obtaining the norm and angle of each local motion vector. Then, the calculation unit 25 calculates a standard deviation (hereinafter, referred to as a norm standard deviation of the local motion vector group) indicating the degree of dispersion of the norms of the individual local motion vectors, and supplies the standard deviation to the motion estimation unit 26. Further, the calculation unit 25 calculates a standard deviation (hereinafter, referred to as an angle standard deviation of the local motion vector group) indicating the degree of dispersion of the angles of the individual local motion vectors, and supplies the standard deviation to the motion estimation unit 26.
  • a norm standard deviation of the local motion vector group indicating the degree of dispersion of the norms of the individual local motion vectors
  • the motion estimation unit 26 refers to the threshold curve th shown in FIG. 3, which will be described later, according to the norm standard deviation and the angle standard deviation of the local motion vector group calculated by the calculation unit 25, and the image to be processed by the image processing.
  • the motion component at the time of imaging is estimated based on. That is, the motion estimation unit 26 estimates whether the image contains a single motion component or a plurality of motion components. For example, if the motion component contained in the image to be processed occupies a large amount in a single size and direction, it is presumed that the image contains a single motion component. On the other hand, when the motion components contained in the image to be processed are largely occupied by a plurality of different sizes and directions, it is presumed that the image contains a plurality of motion components.
  • the motion estimation unit 26 causes the motion component included in the image to move with respect to the entire image as a result of the movement of the endoscope 12 according to the estimation result of the motion component.
  • a reliability indicating the degree of reliability is set and supplied to the correction amount control unit 27.
  • the motion estimation unit 26 when the image to be processed contains a single motion component according to the estimation result of the motion component, the motion component contained in the image is applied to the entire image. Set the reliability to 1.0 because the degree of movement is large.
  • the motion estimation unit 26 moves the motion components included in the image with respect to the entire image.
  • the degree of reliability is set to 0.0, for example, assuming that it is due to the movement of the energy treatment tool 13 or the forceps 16.
  • the reliability of each is not limited to 0.0 or 1.0, and any value between 0.0 and 1.0 may be used, for example.
  • the correction amount control unit 27 controls the global movement amount supplied from the global movement amount estimation unit 24 according to the reliability supplied from the motion estimation unit 26, and causes blurring in the correction processing unit 28 with respect to the image to be processed.
  • the amount of correction used when performing the correction processing to be corrected is obtained. For example, when the reliability supplied from the motion estimation unit 26 is 1.0, the correction amount control unit 27 uses the global motion amount as it is as the correction amount and supplies it to the correction processing unit 28. On the other hand, the correction amount control unit 27 does not use the global movement amount as the correction amount when the reliability supplied from the motion estimation unit 26 is 0.0, and the correction amount control unit 27 sets the correction amount to 0. Is supplied to the correction processing unit 28.
  • the correction processing unit 28 performs correction processing for correcting blurring occurring in the image to be processed input to the image processing device 21 with a correction amount according to the control by the correction amount control unit 27, and outputs the correction processing to the display device 14. To do. For example, when a correction amount whose global movement amount is controlled according to the reliability is supplied from the correction amount control unit 27, the correction processing unit 28 smoothes the global movement amount so as to apply a filter in the time direction according to the correction amount. Correct image blur. Therefore, for example, when the correction amount supplied from the correction amount control unit 27 is 0, the correction processing unit 28 outputs the image as it is without performing the correction processing on the image to be processed.
  • the correction processing unit 28 performs the correction process to correct the blur according to the global motion amount, and the image to be processed is subjected to the correction process. On the other hand, if a plurality of motion components are included, the correction process is turned off.
  • the image processing device 21 configured as described above can appropriately perform correction processing depending on whether the motion component included in the image to be processed is a single motion component or a plurality of motion components. For example, in the image processing device 21, when the movement component contained in the image to be processed is largely due to the movement of the entire image, the movement of the endoscope 12 causes the motion component 21 to move. It is possible to output an image in which the overall blurring that occurs in the image is corrected.
  • the image processing device 21 has a low degree of motion components contained in the image to be processed due to movement of the entire image, and a large degree of local blurring in the image. It is possible to avoid performing improper correction processing. For example, when the degree of local movement due to the movement of the energy treatment tool 13 or the forceps 16 is large, the influence of local blur is strongly affected when estimating the global movement amount. At this time, since the estimated global movement amount does not correctly reflect the overall blur, the correction result is distorted not only in the region of the local blur but also as a whole.
  • the image processing device 21 corrects not only the region of local blur but also the entire image. It is possible to avoid the distortion of the image. That is, when the image contains a plurality of motion components, the correction process for correcting the blur according to the global motion amount is not performed, and as a result, an inappropriate correction process is performed. Can be avoided.
  • the doctor performing the operation can observe with an image corrected for the total blur caused by the movement of the endoscope 12 itself, and also corrected the local blur caused by the movement of the energy treatment tool 13 and the forceps 16. It is possible to avoid observing with a distorted image that sometimes occurs, and it is possible to perform better endoscopic observation with good image quality without discomfort.
  • the motion estimation unit 26 is supplied with the norm standard deviation and the angle standard deviation of the local motion vector group calculated by the calculation unit 25. Then, the motion estimation unit 26 is set with a threshold curve th indicating a threshold value for estimating whether the image to be processed contains a single motion component or a plurality of motion components.
  • the vertical axis shows the norm standard deviation of the local motion vector group
  • the horizontal axis shows the angle standard deviation of the local motion vector group
  • the threshold curve th as shown is set.
  • the angle standard deviation decreases as the norm standard deviation increases
  • the angle standard deviation increases as the norm standard deviation decreases
  • the norm standard deviation and the angle standard deviation decrease. It is represented by a curve that is convex in the direction.
  • the norm standard deviation and the angle standard deviation become small because the local motion vector group tends to be aligned in a certain size and direction.
  • the local motion vector is divided into a plurality of groups indicating different directions, so that the norm standard deviation and the angle standard deviation become large.
  • the motion estimation unit 26 has a region in which the norm standard deviation and the angle standard deviation of the local motion vector group obtained from the image to be processed are less than the threshold curve th shown in FIG. 3 (that is, more than the threshold curve th). If it is in the region on the origin side), it can be estimated that the image contains a single motion component. On the other hand, when the norm standard deviation and the angle standard deviation of the local motion vector group obtained from the image to be processed are in the region of the threshold curve th or more shown in FIG. 3, the motion estimation unit 26 displays the image. It can be estimated that multiple motion components are included.
  • the image to be processed contains a single motion component. It is estimated that the reliability is set to 1.0.
  • the reliability is set to 0.0.
  • FIG. 4 is a flowchart illustrating a first processing example of image processing executed by the image processing apparatus 21.
  • image processing is started with the image as a processing target, and in step S11, the feature point extraction unit 22 extracts the image to be processed. Extract multiple feature points.
  • step S12 the local motion vector detection unit 23 detects a plurality of local motion vectors from the image to be processed according to the plurality of feature points extracted by the feature point extraction unit 22 in step S11.
  • step S13 the global motion amount estimation unit 24 estimates the global motion amount from the image to be processed according to the plurality of local motion vectors detected by the local motion vector detection unit 23 in step S12.
  • step S14 the calculation unit 25 calculates the norms and angles of the individual local motion vectors for the plurality of local motion vectors detected by the local motion vector detection unit 23 in step S12.
  • step S15 the calculation unit 25 calculates the norm standard deviation of the local motion vector group based on the norm of each local motion vector, and calculates the angle standard deviation of the local motion vector group based on the angle of each local motion vector. calculate.
  • step S16 the motion estimation unit 26 refers to the threshold curve th shown in FIG. 3 above according to the norm standard deviation and the angle standard deviation of the local motion vector group calculated by the calculation unit 25 in step S15, and is processed. Estimate the motion components contained in the image of.
  • step S17 the motion estimation unit 26 determines whether the estimation result of the motion component in step S16 is a single motion component or a plurality of motion components.
  • step S17 If the motion estimation unit 26 determines in step S17 that the estimation result of the motion component is a single motion component, the process proceeds to step S18. Then, in step S18, the motion estimation unit 26 sets the reliability to 1.0.
  • step S17 determines in step S17 that the estimation result of the motion component is a plurality of motion components
  • the process proceeds to step S19.
  • step S19 the motion estimation unit 26 sets the reliability to 0.0.
  • step S18 or S19 the processing proceeds to step S20, and the correction amount control unit 27 sets the correction amount based on the global movement amount estimated by the global movement amount estimation unit 24 in step S13 by the motion estimation unit 26. Control according to the reliability.
  • step S21 the correction processing unit 28 performs correction processing for correcting blurring on the image to be processed with the correction amount controlled by the correction amount control unit 27 in step S20. That is, when the reliability set by the motion estimation unit 26 is 1.0, the correction process for correcting the blur with the correction amount based on the global motion amount is performed, and the reliability set by the motion estimation unit 26 is 0.0. If there is, the correction process is turned off. Then, after the correction processing unit 28 outputs the image obtained by performing the correction processing or the image for which the correction processing is turned off to the display device 14, the processing is terminated.
  • the image processing device 21 appropriately performs the correction process for correcting the blur of the image by determining whether the image to be processed contains a single motion component or a plurality of motion components (ON). / Off can be switched). As a result, if the image to be processed contains a single motion component, an image with blur correction is output, and if the image to be processed contains multiple motion components, blur correction is not performed ( It is possible to output an image (which avoids improper correction processing).
  • the reliability is set to 0.0 or 1.0 according to the threshold curve th shown in FIG. 3, and the image processing for correcting the blur can be switched on / off. Will be done.
  • a transition band for transitioning the reliability from 0.0 to 1.0 can be provided to adjust the intensity for correcting the blur.
  • the first threshold curve th1 and the second threshold curve th2 are set.
  • the first threshold curve th1 indicates a threshold value for estimating whether or not the image to be processed contains a single motion component
  • the second threshold curve th2 has a plurality of motion components in the image to be processed.
  • the threshold value for estimating whether or not it is included is shown.
  • the motion estimation unit 26 when the norm standard deviation and the angle standard deviation of the local motion vector group obtained from the image to be processed are in the region of less than the first threshold curve th1, the motion estimation unit 26 simply displays the image. Estimate that it contains one motion component and set the reliability to 1.0. On the other hand, when the norm standard deviation and the angle standard deviation of the local motion vector group obtained from the image to be processed are in a region larger than the second threshold curve th2, the motion estimation unit 26 has a plurality of motion estimation units 26 in the image. Estimate that it contains motion components and set the reliability to 0.0.
  • the motion estimation unit 26 is a region in which the norm standard deviation and the angle standard deviation of the local motion vector group obtained from the image to be processed are equal to or greater than the first threshold curve th1 and equal to or less than the second threshold curve th2. If it is, the reliability is set between 0.0 and 1.0, assuming that it is a transition zone between a single motion component and a plurality of motion components.
  • the motion estimation unit 26 moves locally from the reliability 1.0 when the first threshold curve th1 to the reliability 0.0 when the second threshold curve th2.
  • the reliability in the transition zone can be determined so that it decreases linearly according to the values of the norm standard deviation and the angle standard deviation of the vector group.
  • the correction amount control unit 27 can control the correction amount according to the reliability set by the motion estimation unit 26. For example, when the reliability is set to 0.0 and 1.0, the correction amount control unit 27 controls the correction amount in the same manner as in the first processing example of the image processing described above. Then, when the reliability is set between 0.0 and 1.0, the correction amount control unit 27 uses the reliability to interpolate between when the correction process is on and when it is off. The correction amount is calculated. For example, the correction amount control unit 27 may simply calculate a value obtained by multiplying the correction amount by the reliability as a correction amount according to the motion component.
  • the image processing device 21 can output an image that does not feel strange.
  • the correction processing is switched on / off. May be more frequent. That is, when the reliability that changes with the transition of frames exists in the vicinity of the threshold curve th (FIG. 3), and the estimation result changes between the single motion component and the multiple motion components for each frame or every few frames. The frequency of switching the correction process on / off increases. In such a case, it is expected that the image will become stiff with the passage of time, which will have an adverse effect such as causing a sense of discomfort.
  • the reliability is set to a value from 0.0 to 1.0 in the transition band, so that it is necessary to avoid increasing the frequency of switching on / off of the correction processing. It is possible to alleviate such adverse effects and reduce the sense of discomfort.
  • FIG. 7 is a flowchart illustrating a second processing example of image processing executed in the image processing device 21.
  • step S31 to S35 the same processing as in steps S11 to 15 of FIG. 4 is performed.
  • step S36 the motion estimation unit 26 follows the norm standard deviation and the angle standard deviation of the local motion vector group calculated by the calculation unit 25 in step S35, and the first threshold curve th1 and the angle standard deviation shown in FIG. With reference to the second threshold curve th2, the motion component included in the image to be processed is estimated.
  • step S37 the motion estimation unit 26 determines whether the estimation result of the motion component in step S36 is a single motion component, a plurality of motion components, or a transition band.
  • step S37 If the motion estimation unit 26 determines in step S37 that the estimation result of the motion component is a single motion component, the process proceeds to step S38. Then, in step S38, the motion estimation unit 26 sets the reliability to 1.0.
  • step S37 when the motion estimation unit 26 determines that the estimation result of the motion component is a plurality of motion components, the process proceeds to step S39. Then, in step S39, the motion estimation unit 26 sets the reliability to 0.0.
  • step S37 when the motion estimation unit 26 determines that the estimation result of the motion component is the transition zone, the process proceeds to step S40. Then, in step S40, the motion estimation unit 26 sets the reliability to a value from 0.0 to 1.0, as shown in FIG. 6 above.
  • step S38 After the processing of step S38, step S39, or step S40, the processing proceeds to step S41, and the correction amount control unit 27 moves the correction amount based on the global movement amount estimated by the global movement amount estimation unit 24 in step S33. It is controlled according to the reliability set by the estimation unit 26.
  • step S42 the correction processing unit 28 performs correction processing for correcting blurring on the image to be processed with the correction amount controlled by the correction amount control unit 27 in step S41. That is, when the reliability set by the motion estimation unit 26 is 1.0, the correction process for correcting the blur with the correction amount based on the global motion amount is performed, and the reliability set by the motion estimation unit 26 is 0.0. If there is, the correction process is turned off. Further, when the reliability set by the motion estimation unit 26 is a value between 1.0 and 0.0, a correction process for correcting the blur with a correction amount according to the reliability is performed. Then, after the correction processing unit 28 outputs the image obtained by performing the correction processing or the image for which the correction processing is turned off to the display device 14, the processing is terminated.
  • the image processing device 21 determines whether the image to be processed contains a single motion component or a plurality of motion components, or whether it is a transition zone between the single motion component and the plurality of motion components. By making a determination, it is possible to appropriately perform a correction process for correcting blurring of an image. Therefore, the image processing device 21 can alleviate the adverse effect of switching between the single motion component and the plurality of motion components as described above, and can output an image with less discomfort.
  • the correction amount control unit 27 may accumulate the reliability sequentially supplied from the motion estimation unit 26 and smooth the reliability in the time direction. Then, the correction amount control unit 27 can control the correction amount so as to change smoothly by using the reliability smoothed in the time direction. As a result, the image processing device 21 can alleviate the adverse effect of switching between the single motion component and the plurality of motion components between the frames as described above, and can output an image with less discomfort.
  • the threshold value curve th shown in FIG. 3 or the first threshold value curve th1 or the second threshold value curve th2 shown in FIG. 5 is not limited to the shape as shown.
  • the motion component contained in the image may be adjusted so as to be appropriately estimated.
  • the threshold curve can be adjusted according to the characteristics of the endoscope 12 (zoom magnification, aperture, etc.), and can be adjusted according to the type and situation of surgery in which the endoscope 12 is used.
  • the image processing device 21 can be used for image processing on an image of a surgical system that does not use the endoscope 12, for example, an image captured by a surgical microscope.
  • the endoscopic surgery system 11 estimates the motion component at the time of imaging based on the image to be processed, and displays the image on the display device 14 which has been appropriately corrected for blurring. can do.
  • the endoscopic surgery system 11 can correct the overall blur when the movement of the endoscope 12 occupies a large specific gravity in the screen.
  • the endoscopic surgery system 11 for example, when the movement of the energy treatment tool 13, the forceps 16, the gauze, or the like, or the movement in the living body such as the pulsation or the respiratory movement occupies a large specific gravity in the screen. Can prevent the occurrence of distortion due to the correction processing being performed by being attracted by those movements.
  • an image in which blurring is appropriately corrected is displayed on the display device 14, and the doctor can satisfactorily observe the affected area with the image captured by the endoscope 12.
  • FIG. 8 is a block diagram showing a configuration example of an embodiment of a computer on which a program for executing the above-mentioned series of processes is installed.
  • the program can be recorded in advance on the hard disk 105 or ROM 103 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 111 driven by the drive 109.
  • a removable recording medium 111 can be provided as so-called package software.
  • examples of the removable recording medium 111 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, and a semiconductor memory.
  • the program can be downloaded to the computer via a communication network or a broadcasting network and installed on the built-in hard disk 105. That is, for example, the program transfers wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transfers to a computer by wire via a network such as LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer has a built-in CPU (Central Processing Unit) 102, and the input / output interface 110 is connected to the CPU 102 via the bus 101.
  • CPU Central Processing Unit
  • the CPU 102 executes a program stored in the ROM (Read Only Memory) 103 accordingly. .. Alternatively, the CPU 102 loads the program stored in the hard disk 105 into the RAM (Random Access Memory) 104 and executes it.
  • ROM Read Only Memory
  • the CPU 102 performs processing according to the above-mentioned flowchart or processing performed according to the above-mentioned block diagram configuration. Then, the CPU 102 outputs the processing result from the output unit 106, transmits it from the communication unit 108, or records it on the hard disk 105, if necessary, via, for example, the input / output interface 110.
  • the input unit 107 is composed of a keyboard, a mouse, a microphone, and the like. Further, the output unit 106 is composed of an LCD (Liquid Crystal Display), a speaker, or the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • the above-mentioned program can be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for describing the program may be executed in chronological order in the order described in this specification, or may be executed in parallel or called. It may be executed individually at a necessary timing such as time. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for writing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • FIG. 9 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technique according to the present disclosure (the present technique) can be applied.
  • FIG. 9 shows a surgeon (doctor) 11131 performing surgery on patient 11132 on patient bed 11133 using the endoscopic surgery system 11000.
  • the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as an abdominal tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
  • a cart 11200 equipped with various devices for endoscopic surgery.
  • the endoscope 11100 is composed of a lens barrel 11101 in which a region having a predetermined length from the tip is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the base end of the lens barrel 11101.
  • the endoscope 11100 configured as a so-called rigid mirror having a rigid barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible barrel. Good.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and the light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101 to be an objective. It is irradiated toward the observation target in the body cavity of the patient 11132 through the lens.
  • the endoscope 11100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is focused on the image sensor by the optical system.
  • the observation light is photoelectrically converted by the image sensor, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted as RAW data to the camera control unit (CCU: Camera Control Unit) 11201.
  • CCU Camera Control Unit
  • the CCU11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc., and comprehensively controls the operations of the endoscope 11100 and the display device 11202. Further, the CCU 11201 receives an image signal from the camera head 11102, and performs various image processes on the image signal for displaying an image based on the image signal, such as development processing (demosaic processing).
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the display device 11202 displays an image based on the image signal processed by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 is composed of, for example, a light source such as an LED (light emission diode), and supplies irradiation light to the endoscope 11100 when photographing an operating part or the like.
  • a light source such as an LED (light emission diode)
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and input instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment tool control device 11205 controls the drive of the energy treatment tool 11112 for cauterizing, incising, sealing a blood vessel, or the like of a tissue.
  • the pneumoperitoneum device 11206 uses gas in the pneumoperitoneum tube 11111 to inflate the body cavity of the patient 11132 for the purpose of securing the field of view by the endoscope 11100 and securing the operator's work space.
  • the recorder 11207 is a device capable of recording various information related to surgery.
  • the printer 11208 is a device capable of printing various information related to surgery in various formats such as texts, images, and graphs.
  • the light source device 11203 that supplies the irradiation light to the endoscope 11100 when photographing the surgical site can be composed of, for example, an LED, a laser light source, or a white light source composed of a combination thereof.
  • a white light source is configured by combining RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Therefore, the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the laser light from each of the RGB laser light sources is irradiated to the observation target in a time-divided manner, and the drive of the image sensor of the camera head 11102 is controlled in synchronization with the irradiation timing to support each of RGB. It is also possible to capture the image in a time-divided manner. According to this method, a color image can be obtained without providing a color filter on the image sensor.
  • the drive of the light source device 11203 may be controlled so as to change the intensity of the output light at predetermined time intervals.
  • the drive of the image sensor of the camera head 11102 in synchronization with the timing of the change of the light intensity to acquire an image in time division and synthesizing the image, so-called high dynamic without blackout and overexposure. Range images can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue to irradiate light in a narrow band as compared with the irradiation light (that is, white light) in normal observation, the mucosal surface layer.
  • Narrow band imaging in which a predetermined tissue such as a blood vessel is photographed with high contrast, is performed.
  • fluorescence observation in which an image is obtained by fluorescence generated by irradiating with excitation light may be performed.
  • the body tissue is irradiated with excitation light to observe the fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is injected. It is possible to obtain a fluorescence image by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 may be configured to be capable of supplying narrow band light and / or excitation light corresponding to such special light observation.
  • FIG. 10 is a block diagram showing an example of the functional configuration of the camera head 11102 and CCU11201 shown in FIG.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a driving unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • CCU11201 has a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and CCU11201 are communicatively connected to each other by a transmission cable 11400.
  • the lens unit 11401 is an optical system provided at a connection portion with the lens barrel 11101.
  • the observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and incident on the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the image sensor constituting the image pickup unit 11402 may be one (so-called single plate type) or a plurality (so-called multi-plate type).
  • each image pickup element may generate an image signal corresponding to each of RGB, and a color image may be obtained by synthesizing them.
  • the image pickup unit 11402 may be configured to have a pair of image pickup elements for acquiring image signals for the right eye and the left eye corresponding to 3D (dimensional) display, respectively.
  • the 3D display enables the operator 11131 to more accurately grasp the depth of the biological tissue in the surgical site.
  • a plurality of lens units 11401 may be provided corresponding to each image pickup element.
  • the imaging unit 11402 does not necessarily have to be provided on the camera head 11102.
  • the image pickup unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the drive unit 11403 is composed of an actuator, and the zoom lens and the focus lens of the lens unit 11401 are moved by a predetermined distance along the optical axis under the control of the camera head control unit 11405. As a result, the magnification and focus of the image captured by the imaging unit 11402 can be adjusted as appropriate.
  • the communication unit 11404 is composed of a communication device for transmitting and receiving various information to and from the CCU11201.
  • the communication unit 11404 transmits the image signal obtained from the image pickup unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling the drive of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information to specify the frame rate of the captured image, information to specify the exposure value at the time of imaging, and / or information to specify the magnification and focus of the captured image. Contains information about the condition.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus may be appropriately specified by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. Good. In the latter case, the so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 11100.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Auto White Balance
  • the camera head control unit 11405 controls the drive of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling the drive of the camera head 11102 to the camera head 11102.
  • Image signals and control signals can be transmitted by telecommunications, optical communication, or the like.
  • the image processing unit 11412 performs various image processing on the image signal which is the RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various controls related to the imaging of the surgical site and the like by the endoscope 11100 and the display of the captured image obtained by the imaging of the surgical site and the like. For example, the control unit 11413 generates a control signal for controlling the drive of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display an image captured by the surgical unit or the like based on the image signal processed by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image by using various image recognition techniques. For example, the control unit 11413 detects the shape and color of the edge of an object included in the captured image to remove surgical tools such as forceps, a specific biological part, bleeding, and mist when using the energy treatment tool 11112. Can be recognized.
  • the control unit 11413 may superimpose and display various surgical support information on the image of the surgical unit by using the recognition result. By superimposing and displaying the operation support information and presenting it to the operator 11131, it is possible to reduce the burden on the operator 11131 and to allow the operator 11131 to proceed with the operation reliably.
  • the transmission cable 11400 that connects the camera head 11102 and CCU11201 is an electric signal cable that supports electrical signal communication, an optical fiber that supports optical communication, or a composite cable thereof.
  • the communication was performed by wire using the transmission cable 11400, but the communication between the camera head 11102 and the CCU11201 may be performed wirelessly.
  • the above is an example of an endoscopic surgery system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the image processing unit 11412 of CCU11201 among the configurations described above. Then, by applying the technique according to the present disclosure to the image processing unit 11412 of CCU11201, it is possible to output an image in which blurring is appropriately corrected, so that the operator can surely confirm the operated part. Become.
  • the technique according to the present disclosure may be applied to other, for example, a microscopic surgery system.
  • the present technology can also have the following configurations.
  • a motion estimation unit that estimates a motion component at the time of imaging based on an image captured by an endoscope and sets a reliability indicating the degree to which the motion component is a motion component with respect to the entire image.
  • An endoscopic surgery system including a correction amount control unit that controls a correction amount used when performing a correction process for correcting blurring on the image according to the reliability.
  • the motion estimation unit includes a single motion component in which the motion component is largely occupied in a single size and direction, or a plurality of motion components in which the motion component is largely occupied in a plurality of different sizes and directions.
  • the endoscopic surgery system according to (1) above which estimates which of the above is included in the image.
  • the motion estimation unit estimates that the image contains a single motion component
  • the motion estimation unit sets a first value as the reliability and estimates that the image contains a plurality of motion components. If this is the case, the endoscopic surgery system according to (2) above, which sets a second value as the reliability.
  • the first value is 1.0.
  • the norms and angles of the plurality of local motion vectors are calculated, and the norm standard deviation of the local motion vector group and the angle standard deviation of the local motion vector group are calculated.
  • the motion estimation unit estimates the motion component included in the image based on the norm standard deviation and the angle standard deviation with reference to a predetermined threshold value. system.
  • the motion estimation unit With the norm standard deviation as the vertical axis and the angle standard deviation as the horizontal axis, refer to the threshold curve represented by the threshold value. When the norm standard deviation and the angle standard deviation obtained from the image are in a region equal to or less than the threshold curve, it is estimated that the image contains a single motion component, and the reliability.
  • the first value is set as When the norm standard deviation and the angle standard deviation obtained from the image are in a region equal to or greater than the threshold curve, it is estimated that the image contains a plurality of motion components, and the reliability is determined.
  • the endoscopic surgery system according to (5) above, which sets the second value.
  • the motion estimation unit With reference to the first threshold curve and the second threshold curve represented by the threshold, with the norm standard deviation as the vertical axis and the angle standard deviation as the horizontal axis. When the norm standard deviation and the angle standard deviation obtained from the image are in a region equal to or less than the threshold curve, it is estimated that the image contains a single motion component, and the reliability.
  • the first value is set as When the norm standard deviation and the angle standard deviation obtained from the image are in a region equal to or greater than the first threshold curve and equal to or less than the second threshold curve, the reliability is the first.
  • Set the value from the value of 1 to the second value When the norm standard deviation and the angle standard deviation obtained from the image are in a region larger than the threshold curve, it is estimated that the image contains a plurality of motion components, and the reliability is determined.
  • the endoscopic surgery system according to (5) above, which sets the second value.
  • the correction amount control unit accumulates the reliability sequentially supplied from the motion estimation unit, and controls the correction amount using the reliability smoothed in the time direction from (1) to (7). )
  • a feature point extraction unit that extracts feature points that are points indicating feature points in the image
  • the endoscopic surgery system according to (5) above further comprising a local motion vector detection unit that detects the local motion vector based on the movements of the plurality of feature points detected by the feature point extraction unit.
  • (10) Further provided with a global motion amount estimation unit that estimates a global motion amount indicating the entire motion of the image based on the plurality of local motion vectors.
  • (11) The endoscopic surgery system according to any one of (1) to (10) above, further comprising a correction processing unit that performs the correction processing on the image according to the correction amount controlled by the correction amount control unit.
  • a motion estimation unit that estimates a motion component at the time of imaging based on an image captured by an endoscope and sets a reliability indicating the degree to which the motion component is a motion component with respect to the entire image.
  • An image processing device including a correction amount control unit that controls a correction amount used when performing correction processing for correcting blurring on the image according to the reliability.
  • the image processing device The motion component at the time of imaging is estimated based on the image captured by the endoscope, and the reliability indicating the degree to which the motion component is the motion component with respect to the entire image is set.
  • An image processing method including controlling a correction amount used when performing a correction process for correcting blurring on the image according to the reliability.
  • 11 Endoscopic surgery system 12 Endoscope, 13 Energy treatment tool, 14 Display device, 15 Device unit, 16 Forceps, 21 Image processing unit, 22 Feature point extraction unit, 23 Local motion vector detection unit, 24 Global motion amount Estimating unit, 25 calculation unit, 26 motion estimation unit, 27 correction amount control unit, 28 correction processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本開示は、より良好に内視鏡による観察を行えるようにする内視鏡手術システム、画像処理装置、および画像処理方法に関する。 内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、その動き成分が画像の全体に対する動き成分であることの度合いを示す信頼度を設定し、画像に対してブレを補正する補正処理を行う際に用いられる補正量を、信頼度に従って制御する。例えば、動き成分が単一動き成分である場合には、信頼度に1.0が設定され、動き成分が複数動き成分である場合には、信頼度に0.0が設定される。本技術は、例えば、内視鏡を用いた外科手術で利用される内視鏡手術システムに適用できる。

Description

内視鏡手術システム、画像処理装置、および画像処理方法
　本開示は、内視鏡手術システム、画像処理装置、および画像処理方法に関し、特に、より良好に内視鏡による観察ができるようにした内視鏡手術システム、画像処理装置、および画像処理方法に関する。
　近年、医療現場においては、従来の開腹手術に代わって、内視鏡により患部を観察しながら外科手術を行うことができる内視鏡手術システムが利用されている。
　例えば、特許文献１には、撮像部の撮像視野を動かす操作に応じた撮像視野の動き情報と、時系列に取得された複数の画像間の動きとに応じたブレ補正処理を行う内視鏡装置が開示されている。
特開２０１２－２３９６４４号公報
　しかしながら、上述の特許文献１で開示されている内視鏡装置では、例えば、撮像部の動き成分と、撮像部以外の医療器具などの動き成分との比率が近い場合には、画像に含まれる動き成分を正しく推定することは困難であった。そのため、誤って推定された動きに基づいてブレ補正処理が行われてしまう結果、ブレ補正処理後の画像に歪みが発生することが懸念され、そのような画像では、良好な観察ができないと想定される。
　本開示は、このような状況に鑑みてなされたものであり、より良好に内視鏡による観察ができるようにするものである。
　本開示の一側面の内視鏡手術システムおよび画像処理装置は、内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定する動き推定部と、前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御する補正量制御部とを備える。
　本開示の一側面の画像処理方法は、画像処理装置が、内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定することと、前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御することとを含む。
　本開示の一側面においては、内視鏡により撮像された画像に基づいて撮像時の動き成分が推定されて、その動き成分が画像の全体に対する動き成分であることの度合いを示す信頼度が設定され、画像に対して補正処理を行う際に用いられる補正量が、信頼度に従って制御される。
本技術を適用した内視鏡手術システムの一実施の形態の構成例を示す図である。 画像処理装置の構成例を示すブロック図である。 動き成分の推定で参照される閾値曲線の第１の例を示す図である。 画像処理の第１の処理例を説明するフローチャートである。 動き成分の推定で参照される閾値曲線の第２の例を示す図である。 遷移帯において求められる信頼度について説明する図である。 画像処理の第２の処理例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜内視鏡手術システムの構成例＞
　図１は、本技術を適用した内視鏡手術システムの一実施の形態の構成例を示すブロック図である。
　図１に示す内視鏡手術システム１１は、内視鏡１２、エネルギー処置具１３、表示装置１４、および装置ユニット１５を備えて構成される。
　例えば、内視鏡手術システム１１を利用した手術では、内視鏡１２およびエネルギー処置具１３が患者の体内に挿入されるとともに、鉗子１６が患者の体内に挿入される。そして、内視鏡手術システム１１では、内視鏡１２によって撮像された腫瘍などの患部の画像が表示装置１４にリアルタイムで表示され、医者は、その画像を見ながらエネルギー処置具１３および鉗子１６を使用して患部に対する処置を行うことができる。
　内視鏡１２は、例えば、対物レンズなどの光学系が組み込まれた筒状の鏡筒部が、撮像素子などを備えたカメラヘッドに装着されて構成される。
　エネルギー処置具１３は、例えば、高周波の電流により発生する熱によって、患部を切除したり、血管を封止したりする内視鏡下外科手術で用いられる医療器具である。
　表示装置１４は、内視鏡１２により撮像された画像に対して、装置ユニット１５において画像処理が施された画像を表示する。
　装置ユニット１５は、内視鏡１２により撮像された画像に対して画像処理を施す画像処理装置２１（図２）を有する他、内視鏡手術システム１１を利用した手術を行うのに必要となる各種の装置を有して構成される。例えば、装置ユニット１５には、内視鏡１２による撮像を制御するＣＣＵ（Camera Control Unit）や、内視鏡１２が撮像を行う際に患部に対して照射される光を供給する光源装置、エネルギー処置具１３による患部に対する処置に必要となる高周波の電流を供給する処置具用装置などが組み込まれる。
　このように構成される内視鏡手術システム１１では、装置ユニット１５において、例えば、内視鏡１２により撮像された画像に生じているブレを適切に補正する画像処理が施され、表示装置１４にはブレが適切に補正された画像が表示される。従って、内視鏡手術システム１１を利用した手術において、医者などは、ブレが適切に補正された画像によって観察しながら患部に対する処置を行うことができる。
　＜画像処理装置の構成例＞
　図２は、装置ユニット１５が有する画像処理装置２１の構成例を示すブロック図である。
　図２に示すように、画像処理装置２１は、特徴点抽出部２２、ローカル動きベクトル検出部２３、グローバル動き量推定部２４、演算部２５、動き推定部２６、補正量制御部２７、および補正処理部２８を備えて構成される。
　そして、画像処理装置２１には、図１の内視鏡１２により撮像された画像が入力される。この画像には、内視鏡１２が動くことによる全体的な動き（全体ブレ）が生じることがある他、内視鏡１２によりエネルギー処置具１３や鉗子１６などが撮像されている場合には、エネルギー処置具１３や鉗子１６などが動くことによる局所的な動き（局所ブレ）が生じることがある。
　特徴点抽出部２２は、内視鏡１２により撮像された画像において特徴となる箇所を示す点となる特徴点を抽出し、画像から抽出した複数の抽出点を、ローカル動きベクトル検出部２３に供給する。
　ローカル動きベクトル検出部２３は、特徴点抽出部２２から供給される複数の特徴点それぞれの動きに基づいて、画像の局所的な部分において生じている動きを示すローカル動きベクトルを検出する。そして、ローカル動きベクトル検出部２３は、図１の内視鏡１２により撮像された画像から検出される複数のローカル動きベクトルを、グローバル動き量推定部２４および演算部２５に供給する。
　グローバル動き量推定部２４は、ローカル動きベクトル検出部２３から供給される複数のローカル動きベクトルに基づいて、画像の全体的な動きの大きさを表すグローバル動き量を推定し、補正量制御部２７に供給する。
　演算部２５は、ローカル動きベクトル検出部２３から供給される複数のローカル動きベクトルに基づいた演算を行う。例えば、演算部２５は、個々のローカル動きベクトルのノルムおよび角度を求める演算を行う。そして、演算部２５は、個々のローカル動きベクトルのノルムの散らばりの度合いを示す標準偏差（以下、ローカル動きベクトル群のノルム標準偏差と称する）を算出し、動き推定部２６に供給する。また、演算部２５は、個々のローカル動きベクトルの角度の散らばりの度合いを示す標準偏差（以下、ローカル動きベクトル群の角度標準偏差と称する）を算出し、動き推定部２６に供給する。
　動き推定部２６は、演算部２５により算出されたローカル動きベクトル群のノルム標準偏差および角度標準偏差に従って、後述する図３に示す閾値曲線ｔｈを参照し、画像処理の処理対象となっている画像に基づいて撮像時の動き成分を推定する。即ち、動き推定部２６は、単一動き成分と複数動き成分とのどちらが画像に含まれているかを推定する。例えば、処理対象の画像に含まれている動き成分が単一の大きさおよび方向で多く占められている場合、その画像に単一動き成分が含まれていると推定される。一方、処理対象の画像に含まれている動き成分が複数の異なる大きさおよび方向で多く占められている場合、その画像に複数動き成分が含まれていると推定される。そして、動き推定部２６は、動き成分の推定結果に従って、その画像に含まれている動き成分が、内視鏡１２が動いたことによる結果、画像の全体に対して動きが生じたことによるものであると信頼される度合いを示す信頼度を設定して、補正量制御部２７に供給する。
　例えば、動き推定部２６は、動き成分の推定結果に従って、処理対象の画像に単一動き成分が含まれている場合には、その画像に含まれている動き成分が、画像の全体に対して動きが生じたことによるものである度合いが大きいとして信頼度に1.0を設定する。一方、動き推定部２６は、動き成分の推定結果に従って、処理対象の画像に複数動き成分が含まれている場合には、その画像に含まれている動き成分が、画像の全体に対して動きが生じたことによるものである度合いが低く、例えば、エネルギー処置具１３や鉗子１６などの動きによるものとして信頼度に0.0を設定する。なお、それぞれの信頼度は、0.0または1.0に限られることなく、例えば、0.0から1.0までの間の任意の値を用いてもよい。
　補正量制御部２７は、グローバル動き量推定部２４から供給されるグローバル動き量を、動き推定部２６から供給される信頼度に従って制御し、処理対象の画像に対して補正処理部２８においてブレを補正する補正処理を行う際に用いる補正量を求める。例えば、補正量制御部２７は、動き推定部２６から供給される信頼度が1.0である場合、グローバル動き量を、そのまま補正量として用いることとし、補正処理部２８に供給する。一方、補正量制御部２７は、一方、補正量制御部２７は、動き推定部２６から供給される信頼度が0.0である場合、グローバル動き量を補正量として用いないこととし、補正量を０として補正処理部２８に供給する。
　補正処理部２８は、補正量制御部２７による制御に従った補正量で、画像処理装置２１に入力された処理対象の画像に生じているブレを補正する補正処理を施し、表示装置１４に出力する。例えば、補正処理部２８は、グローバル動き量を信頼度に従って制御した補正量が補正量制御部２７から供給されると、その補正量に従って時間方向のフィルタをかけるように平滑化を行うことで、画像のブレを補正する。従って、補正処理部２８は、例えば、補正量制御部２７から供給された補正量が０である場合には、処理対象の画像に対する補正処理を行わずに、そのまま画像を出力することになる。
　即ち、補正処理部２８は、処理対象の画像に対して単一動き成分が含まれている場合には、グローバル動き量に応じてブレを補正する補正処理を施すこととし、処理対象の画像に対して複数動き成分が含まれている場合には、補正処理をオフすることとする。
　以上のように構成される画像処理装置２１は、処理対象の画像に含まれている動き成分が単一動き成分か複数動き成分かによって適切に補正処理を施すことができる。例えば、画像処理装置２１は、処理対象の画像に含まれている動き成分が、画像の全体に対して動きが生じたことによるものである度合いが大きい場合には、内視鏡１２の動きにより画像に発生している全体ブレを補正した画像を出力することができる。
　また、画像処理装置２１は、処理対象の画像に含まれている動き成分が、画像の全体に対して動きが生じたことによるものである度合いが低く、画像中で局所ブレの度合いが大きい場合には、適切ではない補正処理を行ってしまうことを回避することができる。例えば、エネルギー処置具１３や鉗子１６などの動きによる局所的なものである度合いが大きい場合には、グローバル動き量の推定時に局所ブレの影響を強く受けてしまう。このとき、推定されたグローバル動き量が、全体ブレを正しく反映できていないことにより、局所ブレの領域だけでなく全体として補正結果に歪みが生じることになる。
　そこで、画像処理装置２１は、処理対象の画像に含まれている動き成分が、複数の動きが生じたことによるものである度合いが大きい場合には、局所ブレの領域だけでなく全体として補正結果に歪みが生じてしまうのを回避することができる。即ち、画像に複数の動き成分が含まれている場合に、グローバル動き量に応じてブレを補正する補正処理が施されることがなく、これにより、適切ではない補正処理が行われてしまうことを回避することができる。
　従って、手術を行う医者は、内視鏡１２そのものが動くことにより生じる全体ブレを補正した画像による観察を行うことができるとともに、エネルギー処置具１３や鉗子１６などの動きにより生じる局所ブレを補正した際に発生するような歪みのある画像による観察を回避することができ、違和感のない良好な画質によって、より良好に内視鏡による観察を行うことができる。
　ここで、図３を参照して、動き推定部２６による動き成分の推定について説明する。
　上述したように、動き推定部２６には、演算部２５により算出されたローカル動きベクトル群のノルム標準偏差および角度標準偏差が供給される。そして、動き推定部２６には、処理対象の画像に単一動き成分と複数動き成分とのどちらが含まれているかを推定するための閾値を示す閾値曲線ｔｈが設定されている。
　図３において、縦軸は、ローカル動きベクトル群のノルム標準偏差を示し、横軸は、ローカル動きベクトル群の角度標準偏差を示しており、図示するような閾値曲線ｔｈが設定される。例えば、閾値曲線ｔｈは、ノルム標準偏差が大きくなるのに従い角度標準偏差が小さくなり、かつ、ノルム標準偏差が小さくなるのに従い角度標準偏差が大きくなるとともに、ノルム標準偏差および角度標準偏差が小さくなる方向に凸となるような曲線で表される。
　即ち、画像内に単一動き成分が含まれているときには、ローカル動きベクトル群が一定の大きさおよび方向に揃う傾向があるためノルム標準偏差および角度標準偏差が小さくなる。一方、画像内に複数動き成分が含まれているときには、ローカル動きベクトルは異なる方向を示す複数の群に分かれるため、ノルム標準偏差および角度標準偏差が大きくなる。
　このことより、動き推定部２６は、処理対象の画像から求められたローカル動きベクトル群のノルム標準偏差および角度標準偏差が、図３に示す閾値曲線ｔｈ未満の領域（即ち、閾値曲線ｔｈよりも原点側の領域）にある場合には、その画像には単一動き成分が含まれていると推定することができる。一方、動き推定部２６は、処理対象の画像から求められたローカル動きベクトル群のノルム標準偏差および角度標準偏差が、図３に示す閾値曲線ｔｈ以上の領域にある場合には、その画像には複数動き成分が含まれていると推定することができる。
　従って、処理対象の画像から求められる複数のローカル動きベクトルについて、ノルムの散らばりの度合いが小さく、かつ、角度の散らばりの度合いが小さい場合には、処理対象の画像には単一動き成分が含まれていると推定され、信頼度が1.0に設定される。一方、処理対象の画像から求められる複数のローカル動きベクトルについて、ノルムの散らばりの度合いが大きく、かつ、角度の散らばりの度合いが大きい場合には、処理対象の画像には複数動き成分が含まれていると推定され、信頼度が0.0に設定される。
　＜画像処理の第１の処理例＞
　図４は、画像処理装置２１において実行される画像処理の第１の処理例を説明するフローチャートである。
　例えば、内視鏡１２により撮像された画像が画像処理装置２１に入力されると、その画像を処理対象として画像処理が開始され、ステップＳ１１において、特徴点抽出部２２は、処理対象の画像から複数の特徴点を抽出する。
　ステップＳ１２において、ローカル動きベクトル検出部２３は、ステップＳ１１で特徴点抽出部２２により抽出された複数の特徴点に従って、処理対象の画像から複数のローカル動きベクトルを検出する。
　ステップＳ１３において、グローバル動き量推定部２４は、ステップＳ１２でローカル動きベクトル検出部２３により検出された複数のローカル動きベクトルに従って、処理対象の画像からグローバル動き量を推定する。
　ステップＳ１４において、演算部２５は、ステップＳ１２でローカル動きベクトル検出部２３により検出された複数のローカル動きベクトルについて、個々のローカル動きベクトルのノルムおよび角度を算出する。
　ステップＳ１５において、演算部２５は、個々のローカル動きベクトルのノルムに基づいてローカル動きベクトル群のノルム標準偏差を算出し、個々のローカル動きベクトルの角度に基づいてローカル動きベクトル群の角度標準偏差を算出する。
　ステップＳ１６において、動き推定部２６は、ステップＳ１５で演算部２５により算出されたローカル動きベクトル群のノルム標準偏差および角度標準偏差に従って、上述の図３に示した閾値曲線ｔｈを参照し、処理対象の画像に含まれている動き成分を推定する。
　ステップＳ１７において、動き推定部２６は、ステップＳ１６での動き成分の推定結果が、単一動き成分と複数動き成分とのどちらであるかを判定する。
　ステップＳ１７において、動き推定部２６が、動き成分の推定結果が単一動き成分であると判定した場合、処理はステップＳ１８に進む。そして、ステップＳ１８において、動き推定部２６は、信頼度に1.0を設定する。
　一方、ステップＳ１７において、動き推定部２６が、動き成分の推定結果が複数動き成分であると判定した場合、処理はステップＳ１９に進む。そして、ステップＳ１９において、動き推定部２６は、信頼度に0.0を設定する。
　ステップＳ１８またはＳ１９の処理後、処理はステップＳ２０に進み、補正量制御部２７は、ステップＳ１３でグローバル動き量推定部２４によって推定されたグローバル動き量に基づく補正量を、動き推定部２６によって設定された信頼度に従って制御する。
　ステップＳ２１において、補正処理部２８は、ステップＳ２０で補正量制御部２７によって制御された補正量で、処理対象の画像に対してブレを補正する補正処理を施す。即ち、動き推定部２６によって設定された信頼度が1.0である場合には、グローバル動き量に基づく補正量でブレを補正する補正処理を行い、動き推定部２６によって設定された信頼度が0.0である場合には補正処理をオフする。そして、補正処理部２８が、補正処理を行って得られる画像、または、補正処理をオフした画像を表示装置１４に出力した後、処理は終了される。
　以上のように、画像処理装置２１は、処理対象の画像に単一動き成分および複数動き成分のどちらが含まれているかを判定することで、画像のブレを補正する補正処理を適切に行う（オン／オフを切り替える）ことができる。これにより、処理対象の画像に単一動き成分が含まれている場合にはブレを補正した画像を出力し、処理対象の画像に複数動き成分が含まれている場合にはブレを補正しない（適切ではない補正処理が行われてしまうことを回避した）画像を出力することができる。
　＜画像処理の第２の処理例＞
　図５乃至図７を参照して、画像処理装置２１において実行される画像処理の第２の処理例について説明する。
　上述した画像処理の第１の処理例では、画像処理装置２１は、図３に示した閾値曲線ｔｈに従って信頼度に0.0または1.0が設定され、ブレを補正する画像処理のオン／オフの切り替えが行われる。これに対し、画像処理の第２の処理例では、信頼度を0.0から1.0までの間で遷移させる遷移帯を設けて、ブレを補正する強度を調整することができる。
　即ち、図５に示すように、第１の閾値曲線ｔｈ１および第２の閾値曲線ｔｈ２が設定される。第１の閾値曲線ｔｈ１は、処理対象の画像に単一動き成分が含まれているか否かを推定するための閾値を示し、第２の閾値曲線ｔｈ２は、処理対象の画像に複数動き成分が含まれているか否かを推定するための閾値を示す。
　従って、動き推定部２６は、処理対象の画像から求められたローカル動きベクトル群のノルム標準偏差および角度標準偏差が、第１の閾値曲線ｔｈ１未満の領域にある場合には、その画像には単一動き成分が含まれていると推定して、信頼度を1.0に設定する。一方、動き推定部２６は、処理対象の画像から求められたローカル動きベクトル群のノルム標準偏差および角度標準偏差が、第２の閾値曲線ｔｈ２より大きい領域にある場合には、その画像には複数動き成分が含まれていると推定して、信頼度を0.0に設定する。
　そして、動き推定部２６は、処理対象の画像から求められたローカル動きベクトル群のノルム標準偏差および角度標準偏差が、第１の閾値曲線ｔｈ１以上、かつ、第２の閾値曲線ｔｈ２以下となる領域にある場合には、単一動き成分と複数動き成分との間の遷移帯であるとして、信頼度を0.0から1.0の間に設定する。
　例えば、図６に示すように、動き推定部２６は、第１の閾値曲線ｔｈ１であるときの信頼度1.0から、第２の閾値曲線ｔｈ２であるときの信頼度0.0までに向かって、ローカル動きベクトル群のノルム標準偏差および角度標準偏差の値に応じて線形に減少するように、遷移帯における信頼度を求めるこができる。
　そして、補正量制御部２７は、動き推定部２６により設定された信頼度に従って補正量を制御することができる。例えば、補正量制御部２７は、信頼度が0.0および1.0に設定されているときには、上述した画像処理の第１の処理例と同様に補正量を制御する。そして、補正量制御部２７は、信頼度が0.0から1.0までの間に設定されているときには、その信頼度を用いて、補正処理がオンであるときとオフであるときとの間を補間するような補正量を算出する。例えば、補正量制御部２７は、単純に、補正量に信頼度を掛け合わせた値を、動き成分に応じた補正量として算出してもよい。
　このような画像処理の第２の処理例を用いることにより、画像処理装置２１は、より違和感のない画像を出力することができる。
　例えば、画像処理の第１の処理例のように、信頼度に1.0または0.0が設定されて、補正処理のオン／オフが切り替えられるような制御が行われる場合、補正処理のオン／オフの切り替わりの頻度が高くなることがある。即ち、フレームの推移とともに変化する信頼度が閾値曲線ｔｈ（図３）の近傍に存在し、フレームごと、または、数フレームごとに、単一動き成分と複数動き成分とで推定結果が変化する場合には、補正処理のオン／オフの切り替わりの頻度が高くなる。このような場合、時間の経過に伴って画像がカクつくことによって違和感が生じるような悪影響を及ぼすことが想定される。
　これに対し、画像処理の第２の処理例では、遷移帯において信頼度に0.0から1.0までの値が設定されるので、補正処理のオン／オフの切り替わりの頻度が高くなるのを回避することができ、このような悪影響を緩和して、違和感を軽減することができる。
　図７は、画像処理装置２１において実行される画像処理の第２の処理例を説明するフローチャートである。
　ステップＳ３１乃至Ｓ３５では、図４のステップＳ１１乃至１５と同様の処理が行われる。そして、ステップＳ３６において、動き推定部２６は、ステップＳ３５で演算部２５により算出されたローカル動きベクトル群のノルム標準偏差および角度標準偏差に従って、上述の図５に示した第１の閾値曲線ｔｈ１および第２の閾値曲線ｔｈ２を参照し、処理対象の画像に含まれている動き成分を推定する。
　ステップＳ３７において、動き推定部２６は、ステップＳ３６での動き成分の推定結果が、単一動き成分、複数動き成分、および遷移帯のいずれであるかを判定する。
　ステップＳ３７において、動き推定部２６が、動き成分の推定結果が単一動き成分であると判定した場合、処理はステップＳ３８に進む。そして、ステップＳ３８において、動き推定部２６は、信頼度に1.0を設定する。
　一方、ステップＳ３７において、動き推定部２６が、動き成分の推定結果が複数動き成分であると判定した場合、処理はステップＳ３９に進む。そして、ステップＳ３９において、動き推定部２６は、信頼度に0.0を設定する。
　一方、ステップＳ３７において、動き推定部２６が、動き成分の推定結果が遷移帯であると判定した場合、処理はステップＳ４０に進む。そして、ステップＳ４０において、動き推定部２６は、上述の図６に示したように、信頼度に0.0から1.0までの値を設定する。
　ステップＳ３８、ステップＳ３９、またはステップＳ４０の処理後、処理はステップＳ４１に進み、補正量制御部２７は、ステップＳ３３でグローバル動き量推定部２４によって推定されたグローバル動き量に基づく補正量を、動き推定部２６によって設定された信頼度に従って制御する。
　ステップＳ４２において、補正処理部２８は、ステップＳ４１で補正量制御部２７によって制御された補正量で、処理対象の画像に対してブレを補正する補正処理を施す。即ち、動き推定部２６によって設定された信頼度が1.0である場合には、グローバル動き量に基づく補正量でブレを補正する補正処理を行い、動き推定部２６によって設定された信頼度が0.0である場合には補正処理をオフする。また、動き推定部２６によって設定された信頼度が1.0から0.0の間の値である場合には、信頼度に応じた補正量でブレを補正する補正処理を行う。そして、補正処理部２８が、補正処理を行って得られる画像、または、補正処理をオフした画像を表示装置１４に出力した後、処理は終了される。
　以上のように、画像処理装置２１は、処理対象の画像に単一動き成分または複数動き成分が含まれているか、或いは、単一動き成分と複数動き成分との間の遷移帯であるかを判定することで、画像のブレを補正する補正処理を適切に行うことができる。従って、画像処理装置２１は、上述したようなフレーム間での単一動き成分と複数動き成分との切り替わりによる悪影響を緩和し、違和感の軽減された画像を出力することができる。
　なお、画像処理装置２１では、補正量制御部２７が、動き推定部２６から順次供給される信頼度を蓄積し、それらの信頼度を時間方向に平滑化してもよい。そして、補正量制御部２７は、時間方向に平滑化された信頼度を用いて、滑らかに変化するように補正量を制御することができる。これにより、画像処理装置２１は、上述したようなフレーム間での単一動き成分と複数動き成分との切り替わりによる悪影響を緩和し、より違和感の軽減された画像を出力することができる。
　また、画像処理装置２１では、図３に示した閾値曲線ｔｈ、或いは、図５に示した第１の閾値曲線ｔｈ１または第２の閾値曲線ｔｈ２は、図示したような形状に限定されることなく、画像に含まれる動き成分を適切に推定できるように調整してもよい。例えば、閾値曲線は、内視鏡１２の特性（ズーム倍率や絞りなど）に応じて調整することができ、内視鏡１２が使用される手術の種類や状況などに従って調整することができる。さらに、画像処理装置２１は、内視鏡１２を用いない手術システムの画像、例えば、手術用の顕微鏡により撮像された画像に対する画像処理に用いることができる。
　以上のように、内視鏡手術システム１１は、処理対象の画像に基づいて撮像時の動き成分を推定することで、ブレを補正する補正処理が適切に施された画像を表示装置１４に表示することができる。例えば、内視鏡手術システム１１は、内視鏡１２の動きが画面内で大きな比重を占めている場合には、全体的なブレを補正することができる。また、内視鏡手術システム１１は、例えば、エネルギー処置具１３や鉗子１６、ガーゼなどの動き、または、拍動や呼吸動などの生体内の動きが画面内で大きな比重を占めている場合には、それらの動きに引かれて補正処理が行われてしまうことによる歪みの発生を防止することができる。
　従って、内視鏡手術システム１１では、ブレが適切に補正された画像が表示装置１４に表示され、医者は、内視鏡１２により撮像された画像による患部の観察を良好に行うことができる。
　＜コンピュータの構成例＞
　次に、上述した一連の処理（画像処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜内視鏡手術システムへの応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図９は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図９では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図１０は、図９に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、ＣＣＵ１１２０１の画像処理部１１４１２に適用され得る。そして、ＣＣＵ１１２０１の画像処理部１１４１２に本開示に係る技術を適用することにより、適切にブレが補正された画像を出力することができるため、術者が術部を確実に確認することが可能になる。
　なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定する動き推定部と、
　前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御する補正量制御部と
　を備える内視鏡手術システム。
（２）
　前記動き推定部は、前記動き成分が単一の大きさおよび方向で多く占められている単一動き成分、または、前記動き成分が複数の異なる大きさおよび方向で多く占められている複数動き成分のどちらが前記画像に含まれているかを推定する
　上記（１）に記載の内視鏡手術システム。
（３）
　前記動き推定部は、前記画像に単一動き成分が含まれていると推定した場合には、前記信頼度として第１の値を設定し、前記画像に複数動き成分が含まれていると推定した場合には、前記信頼度として第２の値を設定する
　上記（２）に記載の内視鏡手術システム。
（４）
　前記第１の値は1.0であり、
　前記第２の値は0.0である
　上記（３）に記載の内視鏡手術システム。
（５）
　前記画像の局所の動きを示すローカル動きベクトルに基づいて、複数の前記ローカル動きベクトルのノルムおよび角度を算出し、前記ローカル動きベクトル群のノルム標準偏差、および、前記ローカル動きベクトル群の角度標準偏差を算出する演算部をさらに備え、
　前記動き推定部は、所定の閾値を参照し、前記ノルム標準偏差および前記角度標準偏差に基づいて、前記画像に含まれている前記動き成分を推定する
　上記（３）に記載の内視鏡手術システム。
（６）
　前記動き推定部は、
　　前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、前記閾値により表される閾値曲線を参照し、
　　前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として前記第１の値を設定し、
　　前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線以上となる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として前記第２の値を設定する
　上記（５）に記載の内視鏡手術システム。
（７）
　前記動き推定部は、
　　前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、前記閾値により表される第１の閾値曲線および第２の閾値曲線を参照し、
　　前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として前記第１の値を設定し、
　　前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第１の閾値曲線以上となり、かつ、前記第２の閾値曲線以下となる領域にある場合には、前記信頼度として前記第１の値から前記第２の値までの値を設定し、
　　前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線より大きくなる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として前記第２の値を設定する
　上記（５）に記載の内視鏡手術システム。
（８）
　前記補正量制御部は、前記動き推定部から順次供給される前記信頼度を蓄積して、時間方向に平滑化された前記信頼度を用いて前記補正量を制御する
　上記（１）から（７）までのいずれかに記載の内視鏡手術システム。
（９）
　前記画像において特徴となる個所を示す点となる特徴点を抽出する特徴点抽出部と、
　前記特徴点抽出部により検出された複数の前記特徴点の動きに基づいて、前記ローカル動きベクトルを検出するローカル動きベクトル検出部と
　をさらに備える上記（５）に記載の内視鏡手術システム。
（１０）
　複数の前記ローカル動きベクトルに基づいて、前記画像の全体の動きを示すグローバル動き量を推定するグローバル動き量推定部
　をさらに備え、
　前記補正量制御部は、前記グローバル動き量に基づいて前記補正量を求める
　上記（９）に記載の内視鏡手術システム。
（１１）
　前記補正量制御部により制御された前記補正量に従って、前記画像に対する前記補正処理を施す補正処理部
　をさらに備える上記（１）から（１０）までのいずれかに記載の内視鏡手術システム。
（１２）
　内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定する動き推定部と、
　前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御する補正量制御部と
　を備える画像処理装置。
（１３）
　画像処理装置が、
　内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定することと、
　前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御することと
　を含む画像処理方法。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　内視鏡手術システム，　１２　内視鏡，　１３　エネルギー処置具，　１４　表示装置，　１５　装置ユニット，　１６　鉗子，　２１　画像処理部，　２２　特徴点抽出部，　２３　ローカル動きベクトル検出部，　２４　グローバル動き量推定部，　２５　演算部，　２６　動き推定部，　２７　補正量制御部，　２８　補正処理部

Claims (13)

  1. 　内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定する動き推定部と、
    　前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御する補正量制御部と
    　を備える内視鏡手術システム。
  2. 　前記動き推定部は、前記動き成分が単一の大きさおよび方向で多く占められている単一動き成分、または、前記動き成分が複数の異なる大きさおよび方向で多く占められている複数動き成分のどちらが前記画像に含まれているかを推定する
    　請求項１に記載の内視鏡手術システム。
  3. 　前記動き推定部は、前記画像に単一動き成分が含まれていると推定した場合には、前記信頼度として第１の値を設定し、前記画像に複数動き成分が含まれていると推定した場合には、前記信頼度として第２の値を設定する
    　請求項２に記載の内視鏡手術システム。
  4. 　前記第１の値は1.0であり、
    　前記第２の値は0.0である
    　請求項３に記載の内視鏡手術システム。
  5. 　前記画像の局所の動きを示すローカル動きベクトルに基づいて、複数の前記ローカル動きベクトルのノルムおよび角度を算出し、前記ローカル動きベクトル群のノルム標準偏差、および、前記ローカル動きベクトル群の角度標準偏差を算出する演算部をさらに備え、
    　前記動き推定部は、所定の閾値を参照し、前記ノルム標準偏差および前記角度標準偏差に基づいて、前記画像に含まれている前記動き成分を推定する
    　請求項３に記載の内視鏡手術システム。
  6. 　前記動き推定部は、
    　　前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、前記閾値により表される閾値曲線を参照し、
    　　前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として前記第１の値を設定し、
    　　前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線以上となる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として前記第２の値を設定する
    　請求項５に記載の内視鏡手術システム。
  7. 　前記動き推定部は、
    　　前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、前記閾値により表される第１の閾値曲線および第２の閾値曲線を参照し、
    　　前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第１の閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として前記第１の値を設定し、
    　　前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第１の閾値曲線以上となり、かつ、前記第２の閾値曲線以下となる領域にある場合には、前記信頼度として前記第１の値から前記第２の値までの値を設定し、
    　　前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第２の閾値曲線より大きくなる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として前記第２の値を設定する
    　請求項５に記載の内視鏡手術システム。
  8. 　前記補正量制御部は、前記動き推定部から順次供給される前記信頼度を蓄積して、時間方向に平滑化された前記信頼度を用いて前記補正量を制御する
    　請求項１に記載の内視鏡手術システム。
  9. 　前記画像において特徴となる個所を示す点となる特徴点を抽出する特徴点抽出部と、
    　前記特徴点抽出部により検出された複数の前記特徴点の動きに基づいて、前記ローカル動きベクトルを検出するローカル動きベクトル検出部と
    　をさらに備える請求項５に記載の内視鏡手術システム。
  10. 　複数の前記ローカル動きベクトルに基づいて、前記画像の全体の動きを示すグローバル動き量を推定するグローバル動き量推定部
    　をさらに備え、
    　前記補正量制御部は、前記グローバル動き量に基づいて前記補正量を求める
    　請求項９に記載の内視鏡手術システム。
  11. 　前記補正量制御部により制御された前記補正量に従って、前記画像に対する前記補正処理を施す補正処理部
    　をさらに備える請求項１に記載の内視鏡手術システム。
  12. 　内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定する動き推定部と、
    　前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御する補正量制御部と
    　を備える画像処理装置。
  13. 　画像処理装置が、
    　内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定することと、
    　前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御することと
    　を含む画像処理方法。
PCT/JP2020/027510 2019-07-29 2020-07-15 内視鏡手術システム、画像処理装置、および画像処理方法 WO2021020132A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/627,738 US20220261967A1 (en) 2019-07-29 2020-07-15 Endoscopic surgery system, image processing apparatus, and image processing method
JP2021536920A JPWO2021020132A1 (ja) 2019-07-29 2020-07-15

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-138534 2019-07-29
JP2019138534 2019-07-29

Publications (1)

Publication Number Publication Date
WO2021020132A1 true WO2021020132A1 (ja) 2021-02-04

Family

ID=74229068

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027510 WO2021020132A1 (ja) 2019-07-29 2020-07-15 内視鏡手術システム、画像処理装置、および画像処理方法

Country Status (3)

Country Link
US (1) US20220261967A1 (ja)
JP (1) JPWO2021020132A1 (ja)
WO (1) WO2021020132A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002447A (zh) * 2022-05-25 2022-09-02 上海微创医疗机器人（集团）股份有限公司 一种内窥镜评估方法、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018168261A1 (ja) * 2017-03-16 2018-09-20 ソニー株式会社 制御装置、制御方法、及びプログラム
WO2019013217A1 (ja) * 2017-07-12 2019-01-17 シャープ株式会社 補正装置、撮像装置、補正装置の制御方法、および制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018168261A1 (ja) * 2017-03-16 2018-09-20 ソニー株式会社 制御装置、制御方法、及びプログラム
WO2019013217A1 (ja) * 2017-07-12 2019-01-17 シャープ株式会社 補正装置、撮像装置、補正装置の制御方法、および制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002447A (zh) * 2022-05-25 2022-09-02 上海微创医疗机器人（集团）股份有限公司 一种内窥镜评估方法、系统及存储介质

Also Published As

Publication number Publication date
JPWO2021020132A1 (ja) 2021-02-04
US20220261967A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
US11216941B2 (en) Medical image processing apparatus, medical image processing method, and program
WO2018123613A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
US10904437B2 (en) Control apparatus and control method
WO2018079259A1 (ja) 信号処理装置および方法、並びにプログラム
JP7363767B2 (ja) 画像処理装置と画像処理方法およびプログラム
WO2021020132A1 (ja) 内視鏡手術システム、画像処理装置、および画像処理方法
US11483473B2 (en) Surgical image processing apparatus, image processing method, and surgery system
US11523729B2 (en) Surgical controlling device, control method, and surgical system
US11778325B2 (en) Image processing apparatus, image processing method, and image processing program
WO2017082091A1 (ja) 手術システム、手術用制御方法、およびプログラム
US11244478B2 (en) Medical image processing device, system, method, and program
WO2021140923A1 (ja) 医療画像生成装置、医療画像生成方法および医療画像生成プログラム
JP2021164494A (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP7207296B2 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法
US20210228061A1 (en) Medical observation system, medical observation apparatus, and drive method of medical observation apparatus
JP6344608B2 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
WO2020241651A1 (ja) 医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システム
WO2022209218A1 (ja) 医療撮像システム、医療撮像装置、および制御方法
WO2022019057A1 (ja) 医療用アーム制御システム、医療用アーム制御方法及びプログラム
CN110678116A (zh) 医疗系统和控制单元
WO2020196387A1 (ja) 信号処理装置、信号処理方法、プログラム、および医療用画像処理システム
US20220142454A1 (en) Image processing system, image processing device, and image processing method
JPWO2020084999A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20847678

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021536920

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20847678

Country of ref document: EP

Kind code of ref document: A1