WO2018211709A1 - ブレ補正装置、内視鏡装置及びブレ補正方法 - Google Patents

ブレ補正装置、内視鏡装置及びブレ補正方法 Download PDF

Info

Publication number
WO2018211709A1
WO2018211709A1 PCT/JP2017/018906 JP2017018906W WO2018211709A1 WO 2018211709 A1 WO2018211709 A1 WO 2018211709A1 JP 2017018906 W JP2017018906 W JP 2017018906W WO 2018211709 A1 WO2018211709 A1 WO 2018211709A1
Authority
WO
WIPO (PCT)
Prior art keywords
blur correction
area
unnecessary
blur
region
Prior art date
Application number
PCT/JP2017/018906
Other languages
English (en)
French (fr)
Inventor
直也 栗山
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/018906 priority Critical patent/WO2018211709A1/ja
Publication of WO2018211709A1 publication Critical patent/WO2018211709A1/ja
Priority to US16/683,721 priority patent/US11196926B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00089—Hoods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00238—Type of minimally invasive operation
    • A61B2017/00269—Type of minimally invasive operation endoscopic mucosal resection EMR
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Definitions

  • the present invention relates to a shake correction device, an endoscope device, a shake correction method, and the like.
  • Endoscopy is performed by repeating the flow of observing the observation object in detail and diagnosing it after roughly observing the observation object by screening.
  • a relatively inexperienced user may generate a camera shake, which may cause the field of view to be unstable and increase the inspection time.
  • Patent Document 1 discloses a technique for stabilizing the field of view by detecting the motion of a subject, trimming the image by removing the component caused by camera shake from the motion component (blur correction). ing.
  • a member called a hood may be attached to the tip of the endoscope for purposes such as turning up the large intestine.
  • the hood is reflected on the subject screen.
  • the hood and the living body contact each other, the hood does not move or be deformed on the screen.
  • blur correction is performed when the hood is attached, movement of the hood on the screen occurs, and there is a risk that the movement is mistaken as contact between the living body and the hood.
  • a shake correction apparatus an endoscope apparatus, a shake correction method, and the like that perform appropriate shake correction by detecting a shake correction unnecessary region.
  • One aspect of the present invention is an image acquisition unit that acquires a subject image from an imaging unit that forms reflected light from a subject, and a blur correction unnecessary region detection unit that detects a blur correction unnecessary region based on the subject image.
  • a blur correction region which is a region corresponding to a result of blur correction with respect to the blur correction target region is obtained.
  • the present invention relates to a shake correction apparatus including a correction area and a shake correction processing unit that synthesizes the shake correction unnecessary area.
  • the blur correction device detects a blur correction unnecessary region from a subject image, obtains a blur correction region that corresponds to a blur correction result of a region excluding the blur correction unnecessary region, and performs blur correction.
  • An output image (display image) is obtained by synthesizing the area and the blur correction unnecessary area. In this way, it is possible to exclude the blur correction unnecessary area from the blur correction target. In other words, it is possible to perform blur correction after appropriately determining whether the subject image requires blur correction or not.
  • Another aspect of the present invention relates to an endoscope apparatus including the shake correction apparatus.
  • a subject image is obtained from an imaging unit that forms reflected light from a subject, a blur correction unnecessary region is detected based on the subject image, and a blur correction is not required from the subject image.
  • a blur correction target area When an area excluding the area is set as a blur correction target area, a blur correction area corresponding to a result of the blur correction for the blur correction target area is obtained, and the blur correction area and the blur correction unnecessary area are obtained. This is related to the blur correction method to be synthesized.
  • FIG. 12A and FIG. 12B An example of attaching a hood to an endoscope apparatus.
  • the structural example of the endoscope apparatus of this embodiment. 10 is a flowchart for explaining detection processing of a blur correction unnecessary region.
  • 10 is a flowchart for explaining detection processing of a blur correction unnecessary region.
  • FIGS. 12B are explanatory diagrams of a technique for making a region including a blank region into a predetermined shape. Explanatory drawing of the method of enlarging a blurring correction object area
  • the method of this embodiment will be described.
  • an endoscope apparatus will be described as an example.
  • the method of the present embodiment is effective when a member fixed to the imaging unit is reflected in a subject image.
  • the present invention can also be applied to devices (blur correction device, imaging device) different from the above.
  • an endoscope when performing a treatment using a treatment tool or the like while observing a living body with an endoscope apparatus, an endoscope is provided to secure a field of view of the endoscope apparatus and a space for performing a treatment.
  • the hood 1 may be attached to the distal end of the insertion portion 100 of the apparatus.
  • FIG. 2 is an example of a subject image captured by the imaging unit 200 of the endoscope apparatus with the hood 1 attached. As shown in FIG. 2, the hood 1 is reflected in the subject image (A0) (A1), and the region (A2) excluding A1 in the subject image is an observation field of view, and a desired subject such as a living body is imaged.
  • the hood 1 is reflected in the subject image (A0) (A1), and the region (A2) excluding A1 in the subject image is an observation field of view, and a desired subject such as a living body is imaged.
  • ESD Endoscopic submucosal dissection
  • FIG. 3 is a diagram for explaining that the hood 1 is elastically deformed in ESD.
  • a user physician or surgeon
  • the hood 1 causes the hood 1 to enter between the submucosal layer 20 and the muscle layer 21, so that the hood 1 is elastically deformed by being pressed.
  • the shape of the area where the hood 1 is reflected changes on the subject image. That is, when the area where the hood 1 is reflected on the screen is deformed, it is assumed that the user who operates the endoscope apparatus estimates that the hood 1 and the living body are in contact with each other.
  • a technique for performing electronic blur correction on a subject image is widely known.
  • camera shake relative movement between the subject and the imaging unit in a broad sense
  • the subject moves on the image.
  • electronic shake correction By performing electronic shake correction, the subject movement on the image is reduced. Can be reduced.
  • the influence of camera shake is larger than that in non-magnification observation (movement of the subject on the image is large), and the importance of blur correction is high.
  • an endoscope apparatus since magnified observation is performed when performing treatment such as ESD, there is a high probability that blur correction is performed with the hood 1 attached.
  • FIG. 4 is a diagram for explaining a comparative example with respect to the present embodiment, and is a diagram showing a change in the subject image when general electronic blur correction is performed with the hood 1 attached.
  • the vertical direction in FIG. 4 represents a change in time
  • B1 to B3 represent subject images before blur correction.
  • the description will be made assuming that the subject AT, which is the observation target, is imaged in the center of the image B ⁇ b> 1 in order to clearly show the image change due to the blur correction.
  • B4 to B6 in FIG. 4 are examples of output images (display images) when conventional blur correction is performed on the subject images B1 to B3. Since the movement of the subject is canceled in the blur correction, B5 is an image obtained by moving the subject image of B2 to the right, and B6 is an image obtained by moving the subject image of B3 to the left. As shown in B4 to B6, by performing blur correction, a change in the position of a subject (for example, a living body) on a captured image can be suppressed over a plurality of frames F1 to F3. In the example of B4 to B6 in FIG. 4, since the position of the subject AT that is the observation target can be fixed at the center of the subject image, observation and treatment by the user can be facilitated.
  • the entire subject image is subject to blur correction. Therefore, in the image after blur correction, the area where the hood 1 is reflected also changes. If it is B5, the area in which the hood 1 is reflected moves to the right, and if it is B6, it moves to the left.
  • the area in which the hood 1 is reflected in the subject image is fixed when the hood 1 is not in contact with the living body, and changes when the hood 1 and the living body are in contact with each other. To do. That is, when the blur correction shown in FIG. 4 is performed, there is a possibility that the user may mistake the movement of the area of the hood 1 on the image by the blur correction due to the contact with the living body.
  • the blur correction device (endoscope device) according to the present embodiment, as will be described later with reference to FIG. 6, includes an image acquisition unit (in a narrow sense) that acquires a subject image from the imaging unit 200 that forms reflected light from the subject.
  • an image acquisition unit in a narrow sense
  • a blur correction unnecessary region detection unit 330 for detecting a blur correction unnecessary region based on the subject image
  • a region obtained by removing the blur correction unnecessary region from the subject image corresponds to the image acquisition unit (in a narrow sense) that acquires a subject image from the imaging unit 200 that forms reflected light from the subject.
  • a blur correction processing unit 370 that obtains a blur correction region that is a region corresponding to a result of the blur correction for the blur correction target region, and combines the obtained blur correction region and a blur correction unnecessary region; Including.
  • the shake correction apparatus in the present embodiment corresponds to, for example, the processing unit 300 of the endoscope apparatus of FIG.
  • the blur correction unnecessary region represents a region where blur correction is not necessary (a region where movement or deformation is not preferably caused by blur correction), for example, a region where the hood 1 is imaged in the subject image.
  • a region where a member with a small change in relative positional relationship with the imaging unit 200 (fixed to the imaging unit 200) is imaged may be considered as a blur correction unnecessary region.
  • the blur correction target area is an area obtained by removing a blur correction unnecessary area from the subject image.
  • the blur correction area is an area representing a blur correction result for the blur correction target area.
  • the shake correction processing unit 370 only needs to obtain a shake correction area, and various modifications can be made to the processing procedure.
  • the blur correction processing unit 370 may perform the blur correction on only the blur correction target area in the subject image to obtain the blur correction area, or may correct the blur after correcting the entire subject image.
  • the blur correction area may be obtained by canceling the blur correction in the area corresponding to the correction unnecessary area.
  • C1 to C3 in FIG. 5 are examples of display images when blur correction by the method of the present embodiment is performed on the images B1 to B3 in FIG.
  • the blur correction is not performed for the area corresponding to the hood 1, and only the area excluding the hood 1 moves to the right by the blur correction.
  • the blur correction is not performed on the area corresponding to the hood 1, and only the area excluding the hood 1 moves to the left by the blur correction.
  • the circular area indicated by the dotted line represents the blur correction result (blur correction area) of the area excluding the hood 1. As shown in FIG.
  • the method of the present embodiment it is possible to suppress the movement of the blur correction unnecessary area due to the blur correction while suppressing the blur of the subject (for example, the subject AT).
  • the subject for example, the subject AT.
  • an endoscope apparatus since movement of the hood 1 on the image can be suppressed while suppressing movement of the living body due to camera shake or the like, it is also possible to prevent the user from misidentifying that the hood 1 has contacted the living body. it can.
  • the pixel value becomes indefinite in some pixels when the area excluding the hood 1 moves to the right (C21). Further, the area excluding the hood 1 moves to the right, thereby overlapping with the area of the hood 1, and two types of pixel values are acquired for some pixels (C22). Processing for these areas will be described later.
  • the method of the present embodiment can be applied to an endoscope apparatus including the shake correction apparatus (processing unit 300).
  • the method of the present embodiment can be applied to an endoscope apparatus including the shake correction apparatus (processing unit 300).
  • the method of the present embodiment to the endoscope apparatus, it is possible to appropriately perform blur correction with the hood 1 attached.
  • the method of the present embodiment acquires a subject image from the imaging unit 200 that forms reflected light from the subject, detects a blur correction unnecessary region based on the subject image, and detects a blur correction unnecessary region from the subject image.
  • the excluded area is set as a blur correction target area
  • a blur correction method that obtains a blur correction area corresponding to the result of the blur correction for the blur correction target area and combines the blur correction area and the blur correction unnecessary area. Applicable to.
  • a shake correction apparatus or the like may realize part or most of the processing by a program.
  • a shake correction apparatus or the like according to the present embodiment is realized by a processor such as a CPU executing a program.
  • a program stored in a non-transitory information storage device is read, and a processor such as a CPU executes the read program.
  • the information storage device (computer-readable device or medium) stores programs, data, and the like, and functions as an optical disk (DVD, CD, etc.), HDD (hard disk drive), or memory ( It can be realized by a card type memory, a ROM, etc.
  • a processor such as a CPU performs various processes of the present embodiment based on a program (data) stored in the information storage device.
  • a program for causing a computer an apparatus including an operation unit, a processing unit, a storage unit, and an output unit
  • a program for causing the computer to execute processing of each unit Is memorized.
  • the shake correction apparatus and the like may include a processor and a memory.
  • the functions of the respective units may be realized by individual hardware, or the functions of the respective units may be realized by integrated hardware.
  • the processor may include hardware, and the hardware may include at least one of a circuit that processes a digital signal and a circuit that processes an analog signal.
  • the processor can be configured by one or a plurality of circuit devices (for example, an IC or the like) mounted on a circuit board or one or a plurality of circuit elements (for example, a resistor or a capacitor).
  • the processor may be, for example, a CPU (Central Processing Unit).
  • the processor is not limited to the CPU, and various processors such as GPU (Graphics Processing Unit) or DSP (Digital Signal Processor) can be used.
  • the processor may be an ASIC hardware circuit.
  • the processor may include an amplifier circuit, a filter circuit, and the like that process an analog signal.
  • the memory may be a semiconductor memory such as SRAM or DRAM, a register, a magnetic storage device such as a hard disk device, or an optical storage device such as an optical disk device. May be.
  • the memory stores an instruction that can be read by a computer, and the function of each unit of the shake correction apparatus is realized by the instruction being executed by the processor.
  • the instruction here may be an instruction of an instruction set constituting the program, or an instruction for instructing an operation to the hardware circuit of the processor.
  • FIG. 6 shows a configuration example of the endoscope apparatus (endoscope system) of the present embodiment.
  • the endoscope apparatus includes an insertion unit 100 into the body, an imaging unit 200 connected to the insertion unit 100, a processing unit 300 (processing device, processing circuit), a display unit 400 (display), and an external I / F. Part 500 and light source part 600.
  • the light source unit 600 includes a white light source 610 that generates white light, and a light guide cable 620 that guides light emitted from the white light source 610 to the insertion unit 100.
  • the insertion part 100 is configured by an elongated and pipe-like member that can be bent so that it can be inserted into the body.
  • the light guide unit 120 of the insertion unit 100 guides light emitted from the light guide cable 620 to the distal end of the endoscope.
  • the imaging unit 200 generates an image (subject image) from the reflected light from the subject.
  • the imaging unit 200 includes an objective lens system 210 and an imaging element 220.
  • the objective lens system 210 forms an image of reflected light obtained by reflecting the light emitted from the light guide unit 120 to the subject.
  • the image sensor 220 photoelectrically converts the reflected light imaged by the objective lens system 210 to generate an image.
  • the processing unit 300 performs signal processing including image processing.
  • the processing unit 300 includes an A / D conversion unit 310 (image acquisition unit, A / D conversion circuit), a preprocessing unit 320, a shake correction unnecessary area detection unit 330, a shake correction processing unit 370, and a control unit 360.
  • the shake correction processing unit 370 includes a shake correction unit 340 and an image composition unit 350.
  • the A / D conversion unit 310 converts analog signals sequentially output from the image sensor 220 into digital images, and sequentially outputs them to the preprocessing unit 320.
  • the pre-processing unit 320 performs image processing such as white balance and interpolation processing (demosaicing processing) on the image output from the A / D conversion unit 310, and performs a blur correction unnecessary region detection unit 330, a blur correction processing unit, and the like.
  • the data is sequentially output to 370 (blur correction unit 340).
  • the blur correction unnecessary area detection unit 330 performs processing for detecting the blur correction unnecessary area for the subject image output from the preprocessing unit 320. Details of the process for detecting the blur correction unnecessary area will be described later. Note that the blur correction unnecessary area detection unit 330 may detect the blur correction unnecessary area every frame, but once detected, the blur correction unnecessary area detection unit 330 may stop the detection until a specific condition is satisfied. The blur correction unnecessary area detection unit 330 outputs information on the detected blur correction unnecessary area to the blur correction processing unit 370 (the blur correction unit 340 and the image composition unit 350).
  • the blur correction processing unit 370 performs blur correction and outputs an output image (blur correction image, display image) to the display unit 400.
  • the shake correction unit 340 obtains motion information from a time-series subject image, and performs shake correction based on the obtained motion information. At this time, the blur correction unit 340 obtains a blur correction region based on the blur correction unnecessary region, and outputs the obtained blur correction region to the image composition unit 350.
  • the image composition unit 350 combines the shake correction area from the shake correction unit 340 and the shake correction unnecessary area from the shake correction unnecessary area detection unit 330 to generate a composite image.
  • the image composition unit 350 outputs the composite image as an output image to the display unit 400.
  • the blur correction processing unit 370 may further process the blur correction area. Further, the blur correction unit 340 may perform the blur correction process after processing in advance at least one of the blur correction target area and the blur correction unnecessary area. Details of the processing in the shake correction processing unit 370 will be described later.
  • the control unit 360 is mutually connected to the external I / F unit 500, the light source unit 600, the image sensor 220, the preprocessing unit 320, the blur correction unnecessary region detection unit 330, the blur correction processing unit 370, and the like. Perform input / output.
  • the display unit 400 is a liquid crystal monitor, for example, and sequentially displays the composite image output from the image composition unit 350.
  • the external I / F unit 500 is an interface for performing input from the user to the endoscope apparatus.
  • the external I / F unit 500 includes, for example, an adjustment button for adjusting image processing parameters.
  • the hood 1 shown in FIG. 1 uses silicon rubber or the like, and the color of the hood 1 is considered to be different from the color of a desired subject (the color of a living body in the case of an endoscope apparatus).
  • the blur correction unnecessary area detection unit 330 detects the blur correction unnecessary area based on the color of the pixel of the subject image. For example, the blur correction unnecessary area detection unit 330 detects an area where the pixel color of the subject image is an achromatic color as the blur correction unnecessary area. Since the hood 1 is often achromatic such as gray or black, by detecting the achromatic region from the subject region, it is possible to appropriately detect the blur correction unnecessary region.
  • FIG. 7 is a flowchart for explaining processing for detecting a blur correction unnecessary region using saturation.
  • the blur correction unnecessary area detection unit 330 compares the calculated saturation with the saturation threshold (S103), and if the saturation is smaller than the saturation threshold (Yes in S103), the selected pixel is detected as the blur correction unnecessary area. (S104). On the other hand, if the saturation is equal to or greater than the saturation threshold, it is determined that the selected pixel is not a blur correction unnecessary region.
  • the shake correction unnecessary area detection unit 330 determines whether the processes of S101 to S104 have been executed for all the pixels (S105). If unprocessed pixels remain (No in S105), the process returns to S101, and the above processing is executed for the remaining pixels. Further, when the processing for all the pixels is completed (Yes in S105), the blur correction unnecessary area detection processing is ended.
  • a plastic hood may be used as the hood 1. Since some plastic hoods 1 are transparent (translucent), it may not be possible to appropriately detect a blur correction unnecessary region in determining whether the color is achromatic.
  • the shake correction unnecessary area detection unit 330 may detect the shake correction unnecessary area based on the comparison process with the color of the pixel in the center area of the subject image.
  • a transparent hood in a region where the hood 1 of the subject image is reflected, a subject such as a living body on the back side (the side farther from the imaging unit 200) than the hood 1 is translucent through the hood 1. Will be observed. For this reason, the pixels in the area where the hood 1 is reflected have a color change as compared to the case where the hood 1 is not passed, while the original color component of the living body remains.
  • the blur correction unnecessary area detection unit 330 calculates an average color at the center of the screen, and detects a pixel whose color is more than a predetermined threshold in the color space from the average color as a blur correction unnecessary area.
  • Various color spaces can be applied as the color space here. For example, when a uniform color space is used as the color space, the distance in the color space corresponds to how far the color is separated (color difference).
  • a blur correction unnecessary region can be detected by a comparison process with a given threshold value.
  • the area where the hood 1 is reflected excludes a specific situation where the hood 1 and the living body (20, 21) are in contact with each other. As a result, the position on the subject image does not change. That is, in the blur correction unnecessary region, the change in the pixel value may be considered due to noise, and the change amount is considered to be sufficiently small.
  • the shake correction unnecessary area detection unit 330 may detect the shake correction unnecessary area based on the temporal change of the pixel value of the subject image. Specifically, the blur correction unnecessary area detection unit 330 detects an area where the temporal change in the pixel value of the subject image is smaller than a predetermined threshold as the blur correction unnecessary area.
  • FIG. 8 is a flowchart for explaining processing for detecting a blur correction unnecessary region based on a temporal change of the pixel value.
  • the blur correction unnecessary area detection unit 330 selects a pixel to be processed from the subject image (S201). Then, an absolute difference value between the pixel value of the selected pixel and the pixel value of the same pixel in the past frame is calculated.
  • N is an integer equal to or greater than 1 frames in the past
  • the shake correction unnecessary area detection unit 330 calculates N difference absolute values (S202).
  • N is an integer equal to or greater than 1
  • the shake correction unnecessary area detection unit 330 compares the calculated difference absolute value with the difference threshold (S203), and detects the shake correction unnecessary area if the difference absolute value is smaller than the difference threshold (S204). For example, if all the N difference absolute values obtained in S202 are smaller than the difference threshold, the target pixel is detected as a blur correction unnecessary region. Since the change amount of the pixel value is dominant due to noise, an appropriate detection process can be performed by setting the difference threshold according to the noise amount.
  • the blur correction unnecessary area detection unit 330 determines whether the processes of S201 to S204 have been executed for all the pixels (S205). If unprocessed pixels remain (No in S205), the process returns to S201, and the above processing is executed on the remaining pixels. If the processing image for all pixels has been completed (Yes in S205), the blur correction unnecessary area detection processing is ended.
  • the hood 1 having a cylindrical shape as shown in FIG. 1 is attached to the distal end of the endoscope (the distal end of the insertion portion 100), the subject as shown in A1 of FIG.
  • the hood 1 is located at the peripheral edge (the area around the center of the subject image, the edge). That is, the blur correction unnecessary region is located at the peripheral edge of the subject image.
  • the observation visual field is a circular area in the center of the subject image, and the possibility that the hood 1 is reflected in the area is sufficiently low.
  • the blur correction unnecessary area detection unit 330 sets the area obtained by removing the central circular shape from the entire subject image as the blur correction unnecessary area detection range, and targets the blur correction unnecessary area detection range with reference to FIGS. 7 and 8. You may perform the detection process of the blur correction
  • the blur correction unnecessary area detection unit 330 does not execute the blur correction unnecessary area detection process at a high frequency (in a narrow sense, every frame), but detects the blur correction unnecessary area detected at a given timing thereafter. It may be used continuously at the timing.
  • the blur correction unnecessary area must be updated in accordance with the change.
  • the area where the hood 1 is reflected does not match the area where no blur correction is required.
  • a part of the area in which the hood 1 is reflected is subject to blur correction, and the other part is not subject to blur correction. Therefore, an unnatural image in which a part of the hood 1 moves in small increments is displayed. turn into.
  • the blur correction unnecessary area detection unit 330 stops the detection process until the specific condition is satisfied, and when the specific condition is satisfied, the blur correction unnecessary area detection process is performed again. Specifically, the shake correction unnecessary area detection unit 330 updates the shake correction unnecessary area when a time change is detected in the pixel value of the shake correction unnecessary area.
  • the blur correction unnecessary area can be updated only when the blur correction unnecessary area needs to be updated. Therefore, it is possible to detect (update) an appropriate blur correction unnecessary region according to the situation while reducing the detection load of the blur correction unnecessary region.
  • FIG. 9 is a flowchart for explaining the blur correction unnecessary area update processing.
  • the blur correction unnecessary area detection unit 330 initializes the number of changed pixels to 0 (S301). Then, one of the pixels included in the blur correction unnecessary area is selected (S302). The blur correction unnecessary area detection unit 330 calculates the absolute difference between the pixel value of the selected pixel and the pixel value of the same pixel in the past frame (S303).
  • the process of S303 may use, for example, one absolute difference value with the pixel value of the previous frame, but the modified implementation of calculating a plurality of absolute difference values using a plurality of past frames is not hindered.
  • the blur correction unnecessary area detection unit 330 compares the calculated difference absolute value with the update threshold (S304), and if the difference absolute value is equal to or greater than the update threshold (Yes in S304), increments the number of changed pixels. (S305). If the difference absolute value is less than the update threshold (No in S304), the current number of change pixels is maintained.
  • the blur correction unnecessary area detection unit 330 determines whether the processes of S301 to S305 have been performed for all the pixels in the blur correction unnecessary area (S306). If unprocessed pixels remain (No in S306), the process returns to S302, and the above-described processing is performed on the remaining pixels in the blur correction unnecessary area.
  • the blur correction unnecessary area detection unit 330 compares the number of changed pixels with the threshold number of changed pixels (S307), and the number of changed pixels is the number of changed pixels. If it is equal to or greater than the threshold value (Yes in S307), the blur correction unnecessary area is updated (S308). If the number of change pixels is less than the change pixel number threshold (No in S307), it is determined that the update of the shake correction unnecessary area is unnecessary.
  • the processing in the blur correction processing unit 370 includes a blur correction process for obtaining a blur correction area, a processing process related to a blank area, and a synthesis process of a blur correction area and a blur correction unnecessary area. Details of each process will be described below.
  • the blur correction unnecessary area is not subjected to the blur correction, and the area other than the blur correction unnecessary area (blur correction target area) is excluded. What is necessary is just to perform blur correction for this.
  • the blur correction processing unit 370 (blur correction unit 340) obtains a blur correction target region from the subject image based on the blur correction unnecessary region, and performs blur correction on the blur correction target region (first process). Thus, the blur correction area is obtained.
  • the blur correction processing unit 370 extracts a region obtained by removing a blur correction unnecessary region from the subject image as a blur correction target region.
  • FIG. 10 is a flowchart for explaining the blur correction process.
  • the blur correction processing unit 370 detects global motion information MV 0 representing the global motion of the subject in the blur correction target area (S401).
  • the global motion information is information that is obtained for the entire blur correction target area, for example.
  • the blur correction target area is divided into a plurality of local areas, and is information representing the overall movement of the subject in comparison with the case where motion information (local motion information) is obtained in each local area.
  • the movement may be a three-axis translational movement of the imaging unit 200.
  • the three axes are, for example, one axis in the optical axis direction and two axes that intersect (or orthogonally in a narrow sense) the optical axis. That is, the shake correction processing unit 370 performs shake correction on the three-axis translational motion of the imaging unit 200, and as global motion information, a component parallel to the screen and a direction perpendicular to the screen.
  • Use ingredients In this way, it is possible to perform blur correction that suppresses changes in the position of the subject in the planar direction (vertical direction, horizontal direction) in the image and changes in the size of the subject on the image (enlargement / reduction).
  • the shake correction processing unit 370 detects a corresponding point with respect to the shake correction target region in the past frame by using a known technique, SIFT (Scale Invariant Feature Transform), and the global motion information MV 0 from the corresponding relationship of the coordinates. Is detected.
  • SIFT Scale Invariant Feature Transform
  • the global motion information MV 0 There are three components of the magnification change mvz 0 due to the horizontal translation MVh 0, vertical translation MVV 0, the depth direction of the movement.
  • the shake correction processing unit 370 may obtain the global motion information MV 0 by block matching with the shake correction target area as one block.
  • the shake correction processing unit 370 divides the shake correction target region into a plurality of local regions, obtains local motion information by SIFT or block matching for each local region, and averages the plurality of local motion information.
  • the motion information MV 0 may be obtained.
  • the shake correction processing unit 370 calculates a shake correction component (extracts the camera shake component S) from the global motion information MV 0 (S402). Specifically, the shake correction processing unit 370 calculates a motion other than the hand shake component from the global motions MV M-1 to MV 1 detected in the past, and subtracts it from the global motion information MV 0 to thereby obtain the hand shake component S. Is calculated.
  • MV i (i is an integer of 1 or more and M ⁇ 1 or less, M is a given integer of 2 or more) represents global motion information calculated i frames before.
  • the motion MV mean other than the camera shake component is calculated by the following formula (1)
  • the camera shake component S is calculated by the following formula (2).
  • the camera shake component S is obtained by assuming that the global motion information MV 0 is the result of superimposing the motion (S) due to sudden camera shake on the average motion (MV mean ).
  • S MV 0 -MV mean (2)
  • the blur correction processing unit 370 trims the blur correction target area so as to cancel the calculated camera shake component S and sets it as a blur correction area (S403). Specifically, if each component of the camera shake component S is Sh pixels, Sv pixels, and Sz times, the shake correction processing unit 370 sets the shake correction target region to ⁇ Sh pixels in the horizontal direction and ⁇ Sv pixels in the vertical direction. After trimming, the image is scaled to 1 / Sz times.
  • the interpolation of the pixel value is performed by, for example, bicubic interpolation which is a known method. However, the pixel value interpolation method is not limited to this.
  • the blur correction area it is only necessary to obtain the blur correction area, and the specific procedure is not limited to the above.
  • the blur correction processing unit 370 performs blur correction on the subject image to obtain a blur correction image, and the blur correction image includes a region corresponding to the blur correction unnecessary region. Then, the blur correction area may be obtained by a process (second process) for canceling the blur correction. Even if such a processing procedure is used, the shake correction area is obtained, that is, the shake correction is not performed on the blur correction unnecessary area and the blur correction is performed on the area excluding the blur correction unnecessary area (blur correction target area). It is possible.
  • the blur correction area is an area (or an equivalent area) where translation and enlargement / reduction have been performed on the blur correction target area.
  • FIG. 11 is an example of the relationship between the blur correction area obtained by the blur correction process and the blur correction target area.
  • the result of moving and reducing the circular blur correction target area (D1) in the right direction is the blur correction area (D2).
  • D0 represents the entire subject image.
  • the pixel of the blur correction target area is not included in the blur correction area due to the blur correction, and the pixel value of the pixel (blank area D1 ⁇ D2) becomes indefinite. End up.
  • the blur correction processing unit 370 detects a blank area that is neither a blur correction area nor a blur correction unnecessary area. Then, the processing for the detected blank area is performed. In this way, even when a blank area occurs, it is possible to appropriately determine the pixel value of the area.
  • the blur correction processing unit 370 pads an area including a blank area with a specific signal value.
  • the blur correction processing unit 370 may interpolate the blank area from the subject image acquired in the past.
  • global motion information (MV M-1 to MV 1 ) is obtained between images of past frames.
  • the global motion information it is possible to specify the positional relationship between the subject imaged in the shake correction target area of the current frame and the subject imaged in the past frame. Therefore, when a subject at a position corresponding to the blank area of the current frame is captured in the past frame, the subject may be displayed in the blank area of the current frame. At that time, enlargement, reduction, rotation, and the like may be performed as necessary.
  • By interpolating using the past frame it is possible to display a subject such as a living body in the blank area, that is, it is possible to suppress the area of the blank area.
  • the blur correction processing unit 370 may pad a part of the blur correction area with a specific signal value so that the area including the blank area has a predetermined shape.
  • the predetermined shape here is, for example, a ring shape that is a shape of a region surrounded by two circles (concentric circles in a narrow sense).
  • FIG. 12 (A) and 12 (B) are diagrams showing examples of processing of the blur correction area.
  • the entire subject image (E0), blur correction target area (E1), and blur correction area (E2) before processing are the same as in FIG. 11, and E1 and E2 are circular.
  • the original blank area (E4, similar to the blank area in FIG. 11) and the padded blur correction area (E3) combined area (E4 ⁇ E3) have a ring shape.
  • the ring shape here refers to a first circle (the boundary of E5 in FIG. 12A) and a second circle larger than the first circle and concentric with the first circle (FIG. 12).
  • (A) represents a shape sandwiched between blur correction target areas E1).
  • the above processing sets a ring shape including all blank areas, and treats the pixel (E3) included in this ring shape as the blur correction area (E2) as a blank area.
  • the shape change of the area where the desired subject is displayed (the shape change of the blank area) does not occur, so the stress during observation can be reduced.
  • An example of the display image in this case is FIG.
  • the blur correction processing unit 370 may enlarge the blur correction target area in advance so that a blank area does not occur.
  • FIG. 13 is an example of an image when the blur correction target area is enlarged.
  • F1 in FIG. 13 represents the entire subject image
  • F1 represents the blur correction target area before enlargement
  • F2 represents the blur correction target area after enlargement.
  • the number of pixels can be increased as compared with the original blur correction target area.
  • the shake correction is an enlargement / reduction of 1 / Sz times the shake correction target area. Therefore, when the assumed maximum value of Sz is Szmax, the occurrence of a blank area can be suppressed by enlarging the blur correction target area by Szmax times.
  • the shake correction is a movement of -Sh pixels in the horizontal direction and a movement (trimming) of -Sv pixels in the vertical direction with respect to the shake correction target region. Therefore, if the blur correction target area is enlarged so that the number of pixels in the horizontal direction and the vertical direction of the margin area generated by the enlargement becomes the maximum value of the assumed Sh and Sv, the occurrence of a blank area can be suppressed. .
  • camera shake can occur both in the optical axis direction and in the plane direction, so the enlargement ratio of the shake correction target region may be set in consideration of both parallel movement and enlargement / reduction.
  • FIG. 13 shows an example in which the blur correction target area is enlarged in advance before blur correction
  • the area after blur correction (blur correction area) may be enlarged.
  • the observation visual field in an output image will become narrow, generation
  • region can also be suppressed by enlarging a blur correction unnecessary area
  • the enlargement process in the shake correction processing unit 370 may target any one of a shake correction target area, a shake correction area, and a shake correction unnecessary area, or a combination of two or more.
  • the shake correction amount indicating the degree of shake correction is information that is known as a set value for shake correction.
  • the blur correction amount here is information that defines the maximum value of the amount of movement and deformation of the subject on the image subjected to blur correction, for example, information indicating the maximum value of Sh, Sv, Sz described above. Or information for obtaining the maximum values of Sh, Sv, and Sz.
  • the blur correction processing unit 370 may enlarge at least one of the blur correction target area, the blur correction area, and the blur correction unnecessary area based on the blur correction amount indicating the degree of blur correction. That is, by using the blur correction amount, it is possible to perform enlargement processing so that no blank area occurs in the first place. In this case, the blur correction processing unit 370 does not need the blank area detection process itself.
  • a shake correction area possibly a shake correction area after processing
  • a shake correction unnecessary area is obtained.
  • the positional relationship of varies depending on the state of blurring. Therefore, in order to generate a display image, the shake correction processing unit 370 (image combining unit 350) needs to perform a process of combining the shake correction area and the shake correction unnecessary area.
  • FIG. 14 is an explanatory diagram of an image synthesis method for a shake correction area and a shake correction unnecessary area.
  • G0 represents the entire subject image
  • G1 represents a blur correction unnecessary region
  • G2 represents a blur correction target region
  • G3 represents a blur correction region.
  • G4 is a blur correction target area that is not a blur correction area (G2 ⁇ G3) and represents a blank area.
  • G5 represents a region that is a blur correction region and a blur correction unnecessary region (G1 ⁇ G3).
  • the image composition unit 350 also uses the pixel value of the shake correction unnecessary area for the G5 area which is the shake correction area and the shake correction unnecessary area. In this way, the pixel value of the blur correction unnecessary region is maintained for the pixel originally belonging to the blur correction unnecessary region (G1) regardless of whether or not it belongs to the blur correction region (G3).

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Abstract

ブレ補正装置は、撮像部２００からの被写体画像を取得する画像取得部（例えばＡ／Ｄ変換部３１０）と、被写体画像に基づいて、ブレ補正不要領域を検出するブレ補正不要領域検出部３３０と、被写体画像からブレ補正不要領域を除いた領域をブレ補正対象領域とした場合に、ブレ補正対象領域に対するブレ補正の結果に対応する領域であるブレ補正領域を求め、ブレ補正領域とブレ補正不要領域とを合成するブレ補正処理部３７０を含む。

Description

ブレ補正装置、内視鏡装置及びブレ補正方法
　本発明は、ブレ補正装置、内視鏡装置及びブレ補正方法等に関する。
　内視鏡検査は、スクリーニングで大まかに観察対象を決定した後、観察対象を詳細に観察して診断、という流れを繰り返すことで行われる。この詳細観察時に、比較的経験の浅いユーザは手ブレを発生させてしまうことで視野が安定せず、検査時間が長期化する場合がある。
　かかる課題に対して特許文献１では、被写体の動きを検出し、動きの成分から手ブレに起因する成分を除去して画像をトリミングする（ブレ補正）ことで、視野を安定させる手法を開示している。
特開２００９－８８６２８号公報
　内視鏡検査では大腸の襞をめくり上げる等の用途で、内視鏡先端にフードと呼ばれる部材を装着する事がある。フードを装着すると、被写体画面にフードが映り込むことになるが、フードと生体等が接触しない限り、画面上でのフードの移動や変形はおきない。しかし、フード装着時にブレ補正を行うことで、画面上でのフードの移動が発生してしまい、当該移動を生体等とフードの接触と誤認するリスクがある。
　本発明の幾つかの態様によれば、ブレ補正不要領域を検出することで適切なブレ補正を行うブレ補正装置、内視鏡装置及びブレ補正方法等を提供できる。
　本発明の一態様は、被写体からの反射光を結像する撮像部からの被写体画像を取得する画像取得部と、前記被写体画像に基づいて、ブレ補正不要領域を検出するブレ補正不要領域検出部と、前記被写体画像からブレ補正不要領域を除いた領域をブレ補正対象領域とした場合に、前記ブレ補正対象領域に対するブレ補正の結果に対応する領域であるブレ補正領域を求め、求めた前記ブレ補正領域と、前記ブレ補正不要領域とを合成するブレ補正処理部と、を含むブレ補正装置に関係する。
　本発明の一態様では、ブレ補正装置は、被写体画像からブレ補正不要領域を検出し、当該ブレ補正不要領域を除いた領域のブレ補正結果に対応する領域であるブレ補正領域を求め、ブレ補正領域とブレ補正不要領域を合成することで、出力画像（表示画像）を求める。このようにすれば、ブレ補正の対象からブレ補正不要領域を除外することが可能になる。つまり、被写体画像のうち、ブレ補正が必要な領域か不要な領域かを適切に判定した上でブレ補正を行うこと等が可能になる。
　また本発明の他の態様は、上記のブレ補正装置を含む内視鏡装置に関係する。
　また本発明の他の態様は、被写体からの反射光を結像する撮像部からの被写体画像を取得し、前記被写体画像に基づいて、ブレ補正不要領域を検出し、前記被写体画像からブレ補正不要領域を除いた領域をブレ補正対象領域とした場合に、前記ブレ補正対象領域に対するブレ補正の結果に対応する領域であるブレ補正領域を求め、前記ブレ補正領域と、前記ブレ補正不要領域とを合成するブレ補正方法に関係する。
内視鏡装置へのフードの装着例。 フードを装着した状態での被写体画像の例。 フードが生体と接触する状況の説明図。 従来のブレ補正を説明する比較例。 本実施形態のブレ補正を説明する図。 本実施形態の内視鏡装置の構成例。 ブレ補正不要領域の検出処理を説明するフローチャート。 ブレ補正不要領域の検出処理を説明するフローチャート。 ブレ補正不要領域の更新処理を説明するフローチャート。 ブレ補正処理を説明するフローチャート。 空白領域をパディングする手法の説明図。 図１２（Ａ）、図１２（Ｂ）は空白領域を含む領域を所定形状とする手法の説明図。 ブレ補正対象領域を拡大する手法の説明図。 ブレ補正不要領域とブレ補正領域の合成処理の説明図。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　１．本実施形態の手法
　まず本実施形態の手法について説明する。なお、以下では内視鏡装置を例にとって説明するが、本実施形態の手法は、撮像部に対して固定される部材が被写体画像に映り込む場合に効果を奏するものであり、内視鏡装置とは異なる装置（ブレ補正装置、撮像装置）にも適用できる。
　図１に示すように、内視鏡装置で生体を観察しながら処置具等を用いて処置を行う際、内視鏡装置の視野の確保及び処置を行う空間を確保するために、内視鏡装置の挿入部１００の先端にフード１が取付けられることがある。
　図２は、フード１を装着した状態において、内視鏡装置の撮像部２００で撮像される被写体画像の例である。図２に示したように、被写体画像（Ａ０）にはフード１が映り込み（Ａ１）、被写体画像のうち、Ａ１を除いた領域（Ａ２）が観察視野となり、生体等の所望被写体が撮像される。
　内視鏡装置を利用して粘膜等の生体組織を切除する処置として、消化管の表面にできた病変部を切除するために、病変部の外側の正常粘膜を全周切開した後に粘膜下層を剥離し、病変部を切除する等の内視鏡的粘膜下層剥離術（Endoscopic Submucosal Dissection：ＥＳＤ）が知られている。ＥＳＤでは、フード１が装着された内視鏡装置の先端部を、切開された粘膜下層と筋層との間に潜り込ませ、この状態で高周波ナイフを用いて粘膜下層の切開を進め、最終的に病変部を剥離する。
　図３は、ＥＳＤにおいて、フード１が弾性変形することを説明する図である。図３に示したように、ＥＳＤではユーザ（医師、術者）はフード１を粘膜下層２０と筋層２１の間に侵入させるため、フード１は押圧を受けて弾性変形する。この場合、被写体画像上では、フード１が映り込む領域の形状が変化する。つまり画面上でフード１が映り込む領域が変形した場合、内視鏡装置を操作するユーザは、フード１と生体が接触していると推定することが想定される。
　また、被写体画像に対して電子ブレ補正を行う手法が広く知られている。撮像部の手ブレ（広義には被写体と撮像部の相対的な動き）が生じると、画像上で被写体が移動してしまうが、電子ブレ補正を行うことで、画像上での被写体の動きを低減できる。被写体を拡大観察している場合には、非拡大観察時に比べて手ブレの影響が大きく（画像上での被写体の動きが大きく）、ブレ補正の重要性が高い。内視鏡装置では、ＥＳＤ等の処置を行う際に拡大観察が実行されるため、フード１を装着した状態でブレ補正を行う蓋然性が高い。
　図４は、本実施形態に対する比較例を説明する図であり、フード１を装着した状態において、一般的な電子ブレ補正を行った場合の被写体画像の変化を示す図である。図４の縦方向が時間の変化を表し、Ｂ１～Ｂ３はブレ補正前の被写体画像を表す。なお、図４では、ブレ補正による画像の変化を明示するために、Ｂ１の画像中央に観察対象である被写体ＡＴが撮像されたものとして説明を行う。
　図４のＢ１～Ｂ３の例では、所与のフレームＦ１での被写体画像を基準とした場合に、次のフレームＦ２では観察対象である被写体ＡＴが画像上で左方向へ移動し、さらに次のフレームＦ３では、被写体ＡＴが画像上で右方向へ移動している。ここで、フード１は、図１のように撮像部２００（挿入部１００）に装着される。そのため、図３のようにフード１と生体が接触するような状態を除けば、Ｂ１～Ｂ３に示したとおり、被写体画像上でのフード１の映り込む領域の位置は変化しない。
　図４のＢ４～Ｂ６は、Ｂ１～Ｂ３の被写体画像に対して、従来のブレ補正を行った場合の出力画像（表示画像）の例である。ブレ補正では被写体の動きをキャンセルするため、Ｂ５はＢ２の被写体画像を右方向へ移動した画像となり、Ｂ６はＢ３の被写体画像を左方向へ移動した画像となる。Ｂ４～Ｂ６に示したように、ブレ補正を行うことで、撮像画像上での被写体（例えば生体）の位置変化を複数のフレームＦ１～Ｆ３に渡って抑止できる。図４のＢ４～Ｂ６の例であれば、観察対象である被写体ＡＴの位置を被写体画像の中央に固定できるため、ユーザによる観察、処置を容易にできる。
　しかし、一般的なブレ補正では被写体画像全体をブレ補正の対象とする。そのため、ブレ補正後の画像では、フード１が映り込む領域も変化してしまう。Ｂ５であれば、フード１の映り込む領域が右方向に移動しているし、Ｂ６であれば左方向に移動している。
　上述したように、ブレ補正を行わない状況であれば、被写体画像でのフード１の映り込む領域は、フード１が生体と非接触状態では固定であり、フード１と生体が接触した場合に変化するものである。つまり、図４に示したブレ補正を行った場合、当該ブレ補正による画像上でのフード１の領域の移動を、生体との接触によるものであるとユーザに誤認させてしまうおそれがある。
　以上のように、フード１を装着した状態でのブレ補正の重要性が高いにもかかわらず、従来のブレ補正を行うことで、ユーザを誤認させ、観察や処置をかえって妨げてしまうおそれがある。
　そこで本実施形態では、ブレ補正が不要な領域か否かに応じて、ブレ補正における処理を変更する。本実施形態に係るブレ補正装置（内視鏡装置）は、図６を用いて後述するように、被写体からの反射光を結像する撮像部２００からの被写体画像を取得する画像取得部（狭義にはＡ／Ｄ変換部３１０に対応）と、被写体画像に基づいて、ブレ補正不要領域を検出するブレ補正不要領域検出部３３０と、被写体画像からブレ補正不要領域を除いた領域をブレ補正対象領域とした場合に、ブレ補正対象領域に対するブレ補正の結果に対応する領域であるブレ補正領域を求め、求めたブレ補正領域と、ブレ補正不要領域とを合成するブレ補正処理部３７０と、を含む。なお、本実施形態におけるブレ補正装置は、例えば図６の内視鏡装置の処理部３００に相当する。
　ここで、ブレ補正不要領域とは、ブレ補正が不要な領域（ブレ補正により移動、変形が生じることが好ましくない領域）を表し、例えば被写体画像においてフード１が撮像される領域を表す。被写体画像において、撮像部２００との相対的な位置関係の変化が少ない（撮像部２００に固定される）部材が撮像される領域をブレ補正不要領域と考えてもよい。ブレ補正対象領域とは、被写体画像からブレ補正不要領域を除いた領域である。ブレ補正領域とは、ブレ補正対象領域に対するブレ補正結果を表す領域である。ブレ補正処理部３７０は、ブレ補正領域を求められればよく、その処理手順には種々の変形実施が可能である。後述するように、ブレ補正処理部３７０は、被写体画像のうちブレ補正対象領域だけを対象としてブレ補正を行ってブレ補正領域を求めてもよいし、被写体画像全体をブレ補正してから、ブレ補正不要領域に対応する領域でのブレ補正をキャンセルすることで、ブレ補正領域を求めてもよい。
　図５のＣ１～Ｃ３は、図４のＢ１～Ｂ３の画像に対して、本実施形態の手法によるブレ補正を行った場合の表示画像の例である。Ｃ２に示すように、本実施形態の手法では、フード１に対応する領域についてはブレ補正が行われず、フード１を除いた領域のみがブレ補正により右方向に移動する。Ｃ３では、フード１に対応する領域についてはブレ補正が行われず、フード１を除いた領域のみがブレ補正により左方向に移動する。Ｃ２、Ｃ３のいずれについても、点線で示した円形状の領域が、フード１を除いた領域のブレ補正結果（ブレ補正領域）を表す。図５に示したように、本実施形態の手法によれば、被写体（例えば被写体ＡＴ）のブレを抑制しつつ、ブレ補正不要領域がブレ補正により動いてしまうことを抑止できる。内視鏡装置の例であれば、手ブレ等による生体の動きを抑止しつつ、画像上でのフード１の動きを抑止できるため、フード１が生体に接触したとユーザに誤認させることも抑止できる。
　なお、Ｃ２の例では、フード１を除いた領域が右方向に移動することで、一部の画素において画素値が不定となる（Ｃ２１）。また、フード１を除いた領域が右方向に移動することで、フード１の領域と重複が発生し、一部の画素において、２種類の画素値が取得される（Ｃ２２）。これらの領域に対する処理については後述する。
　以上のように、本実施形態の手法は上記のブレ補正装置（処理部３００）を含む内視鏡装置に適用できる。内視鏡装置に本実施形態の手法を適用することで、フード１を装着した状態でのブレ補正を適切に行うことが可能になる。
　また本実施形態の手法は、被写体からの反射光を結像する撮像部２００からの被写体画像を取得し、被写体画像に基づいて、ブレ補正不要領域を検出し、被写体画像からブレ補正不要領域を除いた領域をブレ補正対象領域とした場合に、ブレ補正対象領域に対するブレ補正の結果に対応する領域であるブレ補正領域を求め、ブレ補正領域と、ブレ補正不要領域とを合成するブレ補正方法に適用できる。
　なお、本実施形態のブレ補正装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態のブレ補正装置等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶装置（コンピュータにより読み取り可能な装置、媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶装置に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
　また、本実施形態のブレ補正装置等は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することができる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスタであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、ブレ補正装置の各部の機能が実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
　２．システム構成例
　図６に、本実施形態の内視鏡装置（内視鏡システム）の構成例を示す。内視鏡装置は、体内への挿入部１００と、挿入部１００に接続される撮像部２００と、処理部３００（処理装置、処理回路）と、表示部４００（ディスプレイ）と、外部Ｉ／Ｆ部５００と、光源部６００と、を含む。
　光源部６００は、白色光を発生する白色光源６１０と、白色光源６１０からの出射光を挿入部１００に導光するライトガイドケーブル６２０を備えている。挿入部１００は、体内に挿入できるように、湾曲が可能で細長くパイプ状の部材により構成される。挿入部１００のライトガイド部１２０は、ライトガイドケーブル６２０からの出射光を、内視鏡先端まで導光する。
　撮像部２００は、被写体からの反射光から画像（被写体画像）を生成する。撮像部２００は、対物レンズ系２１０と、撮像素子２２０を含む。対物レンズ系２１０は、ライトガイド部１２０からの出射光が被写体に反射した反射光を結像する。撮像素子２２０は、対物レンズ系２１０で結像された反射光を光電変換して画像を生成する。
　処理部３００は、画像処理を含む信号処理を行う。処理部３００は、Ａ／Ｄ変換部３１０（画像取得部、Ａ／Ｄ変換回路）と、前処理部３２０と、ブレ補正不要領域検出部３３０と、ブレ補正処理部３７０と、制御部３６０を備えている。ブレ補正処理部３７０は、ブレ補正部３４０と、画像合成部３５０を備えている。
　Ａ／Ｄ変換部３１０は、撮像素子２２０から順次出力されるアナログ信号をデジタルの画像に変換して、前処理部３２０に順次出力する。前処理部３２０は、Ａ／Ｄ変換部３１０から出力された画像に対して、ホワイトバランス、補間処理（デモザイキング処理）等の画像処理を施し、ブレ補正不要領域検出部３３０、ブレ補正処理部３７０（ブレ補正部３４０）に順次出力する。
　ブレ補正不要領域検出部３３０は、前処理部３２０から出力された被写体画像に対してブレ補正不要領域を検出する処理を行う。ブレ補正不要領域を検出する処理の詳細は後述する。なお、ブレ補正不要領域検出部３３０は、ブレ補正不要領域を毎フレーム検出してもよいが、一旦検出した後、特定の条件を満足するまで検出を停止しても構わない。ブレ補正不要領域検出部３３０は、検出したブレ補正不要領域の情報を、ブレ補正処理部３７０（ブレ補正部３４０及び画像合成部３５０）に出力する。
　ブレ補正処理部３７０は、ブレ補正を行って出力画像（ブレ補正画像、表示画像）を表示部４００に出力する。ブレ補正部３４０は、時系列の被写体画像から動き情報を求め、求めた動き情報に基づいてブレ補正を行う。この際、ブレ補正部３４０では、ブレ補正不要領域に基づいてブレ補正領域を求め、求めたブレ補正領域を画像合成部３５０に出力する。画像合成部３５０は、ブレ補正部３４０からのブレ補正領域と、ブレ補正不要領域検出部３３０からのブレ補正不要領域を合成して、合成画像を生成する。画像合成部３５０は、合成画像を出力画像として、表示部４００に出力する。
　なお、ブレ補正領域とブレ補正不要領域との間に空白領域が存在する場合、ブレ補正処理部３７０（具体的にはブレ補正部３４０）は、ブレ補正領域をさらに加工してもよい。また、ブレ補正部３４０は、ブレ補正対象領域及びブレ補正不要領域の少なくとも一方を予め加工してから、ブレ補正処理を行ってもよい。ブレ補正処理部３７０での処理の詳細は後述する。
　制御部３６０は、外部Ｉ／Ｆ部５００、光源部６００、撮像素子２２０、前処理部３２０、ブレ補正不要領域検出部３３０、ブレ補正処理部３７０等と相互に接続されており、制御信号の入出力を行う。
　表示部４００は、例えば液晶モニタであり、画像合成部３５０から出力される合成画像を順次表示する。外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースである。外部Ｉ／Ｆ部５００は、例えば、画像処理のパラメータを調整するための調整ボタンなどを含んで構成されている。
　３．ブレ補正不要領域検出部の詳細
　３．１　画素の色による検出
　被写体画像からブレ補正不要領域を検出する手法について説明する。図１に示したフード１は、シリコンゴム等が用いられ、フード１の色は所望被写体の色（内視鏡装置であれば生体の色）とは異なると考えられる。
　よってブレ補正不要領域検出部３３０は、被写体画像の画素の色に基づいて、ブレ補正不要領域を検出する。例えば、ブレ補正不要領域検出部３３０は、被写体画像の画素の色が無彩色である領域を、ブレ補正不要領域として検出する。フード１はグレーや黒色など無彩色であるものが多いため、被写体領域から無彩色の領域を検出することで、ブレ補正不要領域を適切に検出できる。
　図７は、彩度を用いてブレ補正不要領域を検出する処理を説明するフローチャートである。この処理が開始されると、ブレ補正不要領域検出部３３０は、被写体画像から処理対象となる画素を選択する（Ｓ１０１）。そしてブレ補正不要領域検出部３３０は、選択した画素の画素値から彩度を算出する（Ｓ１０２）。例えば、画素値のＲ成分、Ｇ成分、Ｂ成分のうちの最大値をｍａｘ、最小値をｍｉｎとした場合に、彩度ＳをＳ＝（ｍａｘ－ｍｉｎ）／ｍａｘとして求めればよい。
　そして、ブレ補正不要領域検出部３３０は、算出した彩度と彩度閾値とを比較し（Ｓ１０３）、彩度が彩度閾値より小さければ（Ｓ１０３でＹｅｓ）、選択した画素をブレ補正不要領域として検出する（Ｓ１０４）。一方、彩度が彩度閾値以上であれば、選択した画素はブレ補正不要領域でないと判定する。なお、Ｓ１０３，１０４からわかるように、本実施形態の無彩色とは、彩度Ｓ＝０のみを示すものではなく、彩度が所定閾値以下であるものを含む。
　そして、ブレ補正不要領域検出部３３０は、以上のＳ１０１～Ｓ１０４の処理を全ての画素に対して実行したか判定する（Ｓ１０５）。未処理の画素が残っている場合（Ｓ１０５でＮｏ）は、Ｓ１０１に戻り、残りの画素に対して上記の処理を実行する。また、全画素の処理が終了した場合（Ｓ１０５でＹｅｓ）は、ブレ補正不要領域検出処理を終了する。
　また、フード１として、プラスチック製のフードが用いられる場合がある。プラスチックのフード１は、透明（半透明）なものもあるため、無彩色か否かの判定では、ブレ補正不要領域を適切に検出できない場合もあり得る。
　よってブレ補正不要領域検出部３３０は、被写体画像の中央領域の画素の色との比較処理に基づいて、ブレ補正不要領域を検出してもよい。透明なフードを用いた場合、被写体画像のフード１が映り込む領域では、フード１よりも奥側（撮像部２００から遠い側）にある生体等の被写体が、当該フード１を介して半透明状態で観察されることになる。そのため、フード１が映り込む領域の画素は、生体本来の色味成分が残りつつも、フード１を介さない場合に比べて色味が変化する。
　よって、フード１が映り込む可能性が十分低い領域（被写体画像の中央領域）の画素の色を基準色とした場合、フード１が映り込んだ領域の画素の色は、基準色からの乖離が大きいと考えられる。例えばブレ補正不要領域検出部３３０は、画面中央の平均色を求め、当該平均色から、色空間で所定の閾値以上、色が離れている画素を、ブレ補正不要領域として検出する。なお、ここでの色空間は種々の色空間を適用可能である。例えば、色空間として均等色空間を用いた場合、色空間での距離と、どの程度色が離れているか（色差）が対応するため、ブレ補正不要領域検出部３３０は、色空間での距離と、所与の閾値との比較処理により、ブレ補正不要領域を検出できる。
　３．２　画素値の時間変化による検出
　図３、図４等を用いて上述したように、フード１の映り込む領域は、フード１と生体（２０，２１）が接触するといった特定の状況を除いては、被写体画像上での位置が変化しない。つまり、ブレ補正不要領域では、画素値の変化はノイズによるものを考えればよく、変化量は十分小さいと考えられる。
　よってブレ補正不要領域検出部３３０は、被写体画像の画素値の時間変化に基づいて、ブレ補正不要領域を検出してもよい。具体的には、ブレ補正不要領域検出部３３０は、被写体画像の画素値の時間変化が、所定閾値よりも小さい領域を、ブレ補正不要領域として検出する。
　図８は、画素値の時間変化に基づいて、ブレ補正不要領域を検出する処理を説明するフローチャートである。この処理が開始されると、ブレ補正不要領域検出部３３０は、被写体画像から処理対象となる画素を選択する（Ｓ２０１）。そして、選択した画素の画素値と、過去フレームの同一画素の画素値との差分絶対値を算出する。ここで過去フレームはＮ（Ｎは１以上の整数）フレーム存在し、ブレ補正不要領域検出部３３０は、Ｎ個の差分絶対値を算出する（Ｓ２０２）。なお、Ｎの値については種々の変形実施が可能である。
　そして、ブレ補正不要領域検出部３３０は、算出した差分絶対値と差分閾値とを比較し（Ｓ２０３）、差分絶対値が差分閾値より小さければブレ補正不要領域として検出する（Ｓ２０４）。例えば、Ｓ２０２で求めたＮ個の差分絶対値全てが差分閾値より小さければ、対象画素をブレ補正不要領域として検出する。なお、画素値の変化量はノイズによるものが支配的なため、差分閾値をノイズ量に応じて設定することで、適切な検出処理が可能になる。
　ブレ補正不要領域検出部３３０は、以上のＳ２０１～Ｓ２０４の処理を全ての画素に対して実行したか判定する（Ｓ２０５）。未処理の画素が残っている場合（Ｓ２０５でＮｏ）は、Ｓ２０１に戻り、残りの画素に対して上記の処理を実行する。また、全画素の処理画終了した場合（Ｓ２０５でＹｅｓ）は、ブレ補正不要領域検出処理を終了する。
　３．３　被写体画像における位置に基づく前処理
　図１に示したように円筒形状であるフード１を内視鏡先端（挿入部１００の先端）に装着すると、図２のＡ１に示したように被写体画像上ではフード１は周縁部（被写体画像のうちの中央部の周りの領域、辺縁）に位置する。即ち、ブレ補正不要領域は、前記被写体画像の周縁部に位置することになる。言い換えれば、観察視野は被写体画像中央部の円形状の領域となり、当該領域にフード１が映り込む可能性は十分低い。
　よってブレ補正不要領域検出部３３０は、被写体画像全体から中央の円形状を除いた領域をブレ補正不要領域検出範囲とし、当該ブレ補正不要領域検出範囲を対象として、図７や図８を用いて上述したブレ補正不要領域の検出処理を行ってもよい。このようにすれば、生体が撮像される領域（観察視野）を、ブレ補正不要領域として誤検出してしまうことを抑制できる。また、図７のＳ１０１～Ｓ１０４、或いは図８のＳ２０１～Ｓ２０４の処理の対象となる画素が、被写体画像の一部に限定されるため、演算量を低減することも可能になる。
　３．４　ブレ補正不要領域の更新
　また、上述してきたようにブレ補正不要領域は時系列的な位置変化が小さい。よってブレ補正不要領域検出部３３０は、ブレ補正不要領域の検出処理を高頻度で（狭義には毎フレーム）実行するのではなく、所与のタイミングで検出されたブレ補正不要領域を、それ以降のタイミングで継続して利用してもよい。
　ただし、フード１と生体が接触する場合のように、画像上でのフード１の領域が変化した場合には、当該変化に合わせてブレ補正不要領域を更新しなくてはならない。更新をしない場合、フード１が映り込む領域とブレ補正不要領域が一致しないことになる。結果として、フード１が映り込む領域の一部がブレ補正の対象となり、他の部分がブレ補正の対象とならないため、フード１の一部が小刻みに動くような不自然な画像が表示対象となってしまう。
　よって、ブレ補正不要領域検出部３３０は、ブレ補正不要領域を検出した後、特定条件を満足するまでは検出処理を停止し、特定条件を満足すると、再度ブレ補正不要領域の検出処理を行う。具体的には、ブレ補正不要領域検出部３３０は、ブレ補正不要領域の画素値に時間変化が検出された場合に、ブレ補正不要領域を更新する。
　このようにすれば、ブレ補正不要領域の更新が必要な場合に限定して、ブレ補正不要領域を更新できる。よって、ブレ補正不要領域の検出負荷を低減しつつ、状況に合わせた適切なブレ補正不要領域の検出（更新）が可能になる。
　図９は、ブレ補正不要領域の更新処理を説明するフローチャートである。この処理が開始されると、ブレ補正不要領域検出部３３０は、変化画素数を０に初期化する（Ｓ３０１）。そして、ブレ補正不要領域に含まれる画素のいずれかの画素を選択する（Ｓ３０２）。ブレ補正不要領域検出部３３０は、選択した画素の画素値と、過去フレームの同一画素の画素値との差分絶対値を算出する（Ｓ３０３）。Ｓ３０３の処理は、例えば１フレーム前の画素値との１つの差分絶対値を用いればよいが、複数の過去フレームを用いて、複数の差分絶対値を算出する変形実施も妨げられない。
　次に、ブレ補正不要領域検出部３３０は、算出した差分絶対値と更新閾値とを比較し（Ｓ３０４）、差分絶対値が更新閾値以上であれば（Ｓ３０４でＹｅｓ）、変化画素数をインクリメントする（Ｓ３０５）。差分絶対値が更新閾値未満であれば（Ｓ３０４でＮｏ）、現在の変化画素数を維持する。
　ブレ補正不要領域検出部３３０は、以上のＳ３０１～Ｓ３０５の処理を、ブレ補正不要領域の全ての画素に対して実行したか判定する（Ｓ３０６）。未処理の画素が残っている場合（Ｓ３０６でＮｏ）は、Ｓ３０２に戻り、ブレ補正不要領域の残りの画素に対して上記の処理を実行する。
　ブレ補正不要領域の全画素に対する処理が終了したら（Ｓ３０６でＹｅｓ）、ブレ補正不要領域検出部３３０は、変化画素数と変化画素数閾値とを比較し（Ｓ３０７）、変化画素数が変化画素数閾値以上であれば（Ｓ３０７でＹｅｓ）、ブレ補正不要領域を更新する（Ｓ３０８）。変化画素数が変化画素数閾値未満であれば（Ｓ３０７でＮｏ）、ブレ補正不要領域の更新は不要と判定する。
　４．ブレ補正処理部の詳細
　ブレ補正処理部３７０での処理は、ブレ補正領域を求めるブレ補正処理、空白領域に関連する加工処理、ブレ補正領域とブレ補正不要領域の合成処理を含む。以下、各処理の詳細を説明する。
　４．１　ブレ補正
　本実施形態のブレ補正では、図５に示したように、ブレ補正不要領域に対してはブレ補正を行わず、ブレ補正不要領域を除いた領域（ブレ補正対象領域）に対してブレ補正を行えばよい。
　よってブレ補正処理部３７０（ブレ補正部３４０）は、ブレ補正不要領域に基づいて、被写体画像からブレ補正対象領域を求め、ブレ補正対象領域に対してブレ補正を行う処理（第１の処理）により、ブレ補正領域を求める。ブレ補正処理部３７０は、被写体画像からブレ補正不要領域を除いた領域を、ブレ補正対象領域として抽出する。
　図１０は、ブレ補正処理を説明するフローチャートである。この処理が開始されると、ブレ補正処理部３７０は、ブレ補正対象領域での被写体の大域的な動きを表すグローバル動き情報ＭＶ０を検出する（Ｓ４０１）。グローバル動き情報は、例えばブレ補正対象領域全体を対象として求められる情報である。そのため、ブレ補正対象領域を複数の局所領域に分割し、各局所領域で動き情報（局所動き情報）を求めた場合との比較において、被写体の全体的な動きを表す情報となる。
　ここでの動きとは、撮像部２００の３軸の並進運動であってもよい。３軸とは、例えば光軸方向の１軸、及び光軸に交差（狭義には直交）する２軸である。即ち、ブレ補正処理部３７０は、撮像部２００の３軸の並進運動に対して、ブレ補正を行うものであり、グローバル動き情報として、画面に対して平行な成分、及び画面に対して垂直な成分を用いる。このようにすれば、画像における被写体の平面方向（縦方向、横方向）の位置変化、及び画像上での被写体の大きさの変化（拡大縮小）を抑制するようなブレ補正が可能になる。
　例えば、ブレ補正処理部３７０は、過去フレームにおけるブレ補正対象領域に対して、公知の手法であるＳＩＦＴ（Scale Invariant Feature Transform）で対応点を検出し、その座標の対応関係からグローバル動き情報ＭＶ０を検出する。ここでグローバル動き情報ＭＶ０には水平方向の平行移動ＭＶｈ０、垂直方向の平行移動ＭＶｖ０、奥行き方向の動きに起因する倍率変化ＭＶｚ０の３成分がある。なお、ブレ補正処理部３７０は、ブレ補正対象領域を１ブロックとするブロックマッチングにより、グローバル動き情報ＭＶ０を求めてもよい。或いは、ブレ補正処理部３７０は、ブレ補正対象領域を複数の局所領域に分割し、局所領域毎にＳＩＦＴ或いはブロックマッチングにより局所動き情報を求め、複数の局所動き情報を平均化することで、グローバル動き情報ＭＶ０を求めてもよい。
　Ｓ４０１で求められるグローバル動き情報ＭＶ０には、撮像部２００の手ブレに起因しない動きも含まれる。よってブレ補正処理部３７０は、グローバル動き情報ＭＶ０からブレ補正成分を算出（手ブレ成分Ｓを抽出）する（Ｓ４０２）。具体的には、ブレ補正処理部３７０は、過去に検出したグローバル動きＭＶＭ－１～ＭＶ１から手ブレ成分以外の動きを算出し、グローバル動き情報ＭＶ０から減算することで手ブレ成分Ｓを算出する。ここでのＭＶｉ（ｉは１以上Ｍ－１以下の整数、Ｍは２以上の所与の整数）は、ｉフレーム前に算出されたグローバル動き情報を表す。例えば、手ブレ成分以外の動きＭＶｍｅａｎを下式（１）で算出し、手ブレ成分Ｓを下式（２）で算出する。言い換えれば、平均的な動き（ＭＶｍｅａｎ）に対して、突発的な手ブレによる動き（Ｓ）が重畳された結果がグローバル動き情報ＭＶ０であると考えて、手ブレ成分Ｓを求める。
Figure JPOXMLDOC01-appb-M000001
 　Ｓ＝ＭＶ０－ＭＶｍｅａｎ　…（２）
　ここで、手ブレ成分Ｓにはグローバル動き情報ＭＶ０と同様に、水平方向の平行移動Ｓｈ、垂直方向の平行移動Ｓｖ、奥行き方向の動きに起因する倍率変化Ｓｚの３成分が存在する。
　ブレ補正処理部３７０は、算出した手ブレ成分Ｓをキャンセルするように、ブレ補正対象領域をトリミングし、ブレ補正領域とする（Ｓ４０３）。具体的には、手ブレ成分Ｓの各成分がＳｈ画素、Ｓｖ画素、Ｓｚ倍であれば、ブレ補正処理部３７０は、ブレ補正対象領域を水平方向に－Ｓｈ画素、垂直方向に－Ｓｖ画素トリミングした後、１／Ｓｚ倍に拡縮する。ここで画素値の補間は、例えば公知の手法であるバイキュービック補間で行う。ただし、画素値の補間方法はこれに限定しない。
　このようにすることで、ブレ補正対象領域のみをブレ補正することができる。
　ただし、本実施形態では、ブレ補正領域を求めることができればよく、具体的な手順は上記に限定されない。例えば、直接的にブレ補正対象領域を求めずに、ブレ補正領域を求めることも可能である。
　具体的には、ブレ補正処理部３７０（ブレ補正部３４０）は、被写体画像に対してブレ補正を行ってブレ補正画像を求め、ブレ補正画像のうち、ブレ補正不要領域に対応する領域に対してブレ補正をキャンセルする処理（第２の処理）により、ブレ補正領域を求めてもよい。このような処理手順を用いても、ブレ補正領域を求めること、即ち、ブレ補正不要領域にはブレ補正をせず、ブレ補正不要領域を除いた領域（ブレ補正対象領域）にブレ補正を行うことが可能である。
　４．２　空白領域の加工
　上述したように、ブレ補正領域とは、ブレ補正対象領域に対して、平行移動及び拡大縮小が行われた領域（或いはそれに相当する領域）となる。
　図１１は、ブレ補正処理により求められたブレ補正領域と、ブレ補正対象領域との関係の例である。図１１の例では、円形状のブレ補正対象領域（Ｄ１）を右方向に移動し、縮小した結果が、ブレ補正領域（Ｄ２）となっている。なお、Ｄ０は被写体画像全体を表す。図１１に示したように、ブレ補正することにより、ブレ補正対象領域の画素がブレ補正領域に含まれない場合があり、当該画素（空白領域Ｄ１∩￢Ｄ２）の画素値が不定となってしまう。
　よってブレ補正処理部３７０（ブレ補正部３４０）は、ブレ補正領域と、ブレ補正不要領域のいずれの領域でもない空白領域を検出する。そして、検出した空白領域に対する加工処理を行う。このようにすれば、空白領域が発生した場合にも、当該領域の画素値を適切に決定することが可能になる。
　例えば、ブレ補正処理部３７０は、空白領域を含む領域を、特定の信号値でパディングする。一例としては、図１１に示すように、空白領域を黒（画素値＝０）でパディングすればよい。このようにすることで、表示を安定させることができる。
　或いは、ブレ補正処理部３７０は、空白領域を、過去に取得した被写体画像から補間してもよい。本実施形態では、過去フレームの画像との間でグローバル動き情報（ＭＶＭ－１～ＭＶ１）が求められている。当該グローバル動き情報を用いることで、現在フレームのブレ補正対象領域に撮像された被写体と、過去フレームで撮像された被写体の位置関係を特定できる。よって、現在フレームの空白領域に対応する位置の被写体が過去フレームで撮像されている場合には、当該被写体を現在フレームの空白領域に表示すればよい。その際、必要に応じて拡大、縮小、回転等を行ってもよい。過去フレームを用いて補間することで、空白領域にも生体等の被写体を表示できる、即ち、空白領域の面積を抑制することが可能である。
　ただし、上記手法では、フレーム毎に所望被写体（生体）が表示される領域の位置、サイズ、形状が変化するおそれがあり、ユーザにとって見づらい画像となってしまう。
　よってブレ補正処理部３７０は、空白領域を含む領域が所定形状となるように、ブレ補正領域の一部の領域を、特定の信号値でパディングしてもよい。ここでの所定形状とは、例えば２つの円（狭義には同心円）により囲まれる領域の形状であるリング形状である。
　図１２（Ａ）、図１２（Ｂ）は、ブレ補正領域の加工例を示す図である。被写体画像全体（Ｅ０）、ブレ補正対象領域（Ｅ１）、加工前のブレ補正領域（Ｅ２）については図１１と同様であり、Ｅ１及びＥ２は円形状である。ここで、ブレ補正処理部３７０は、ブレ補正領域Ｅ２のうち、Ｅ３に示した領域を所定の信号値（例えば黒色、画素値＝０）でパディングする。このようにすれば、元々の空白領域（Ｅ４、図１１の空白領域と同様）と、パディングされたブレ補正領域（Ｅ３）を合わせた領域（Ｅ４∪Ｅ３）がリング形状となる。ここでのリング形状とは、第１の円（図１２（Ａ）であればＥ５の境界）と、第１の円より大きく、且つ第１の円と同心円となる第２の円（図１２（Ａ）であればブレ補正対象領域Ｅ１の境界）により挟まれる形状を表す。
　以上の処理は、空白領域を全て包含するリング形状を設定し、ブレ補正領域（Ｅ２）であってこのリング形状に含まれる画素（Ｅ３）を空白領域として取り扱う、と考えることも可能である。このようにすることで、所望被写体が表示される領域の形状変化（空白領域の形状変化）が発生しなくなるため、観察時のストレスを軽減できる。この場合の、表示画像の例が図１２（Ｂ）である。図１２（Ｂ）の例であれば、特定の信号値でパディングされる領域は必ずリング形状となり、観察領域（加工後のブレ補正領域、Ｅ５＝Ｅ２∩￢Ｅ３）は、必ず被写体画像の中心を中心とする円形状となる。
　なお、図１２（Ａ）、図１２（Ｂ）の手法では、ブレ補正領域の一部を特定の信号値でパディングするため、撮像されている被写体の情報が一部失われてしまう。ただし、ブレ補正の程度（ブレ補正により低減する手ブレの程度）には上限がある。そのため、元のブレ補正対象領域に対するブレ補正領域の移動、変形度合いにも上限があり、失われる情報の上限も事前に想定できる。図１２（Ａ）、図１２（Ｂ）では、領域をわかりやすくするためにブレ補正領域の移動、変形度合いを強調しているが、実際に情報が失われる領域（Ｅ３）の面積は、問題にならない程度に小さいと考えてよい。
　或いは、ブレ補正処理部３７０（ブレ補正部３４０）は、空白領域が発生しないよう、予めブレ補正対象領域を拡大しておいてもよい。
　図１３は、ブレ補正対象領域を拡大した場合の画像例である。図１３のＦ１が被写体画像全体を表し、Ｆ１が拡大前のブレ補正対象領域を表し、Ｆ２が拡大後のブレ補正対象領域を表す。Ｆ２に示したように、ブレ補正対象領域を拡大しておくことで、本来のブレ補正対象領域に比べて、画素数に余裕ができる。例えば、手ブレが光軸方向だけと仮定した場合、ブレ補正はブレ補正対象領域に対する１／Ｓｚ倍の拡大縮小である。そのため、想定されるＳｚの最大値をＳｚｍａｘとした場合に、ブレ補正対象領域をＳｚｍａｘ倍だけ拡大しておけば、空白領域の発生を抑止できる。また、手ブレが平面方向だけと仮定した場合、ブレ補正は、ブレ補正対象領域に対する水平方向への－Ｓｈ画素の移動、垂直方向への－Ｓｖ画素の移動（トリミング）となる。そのため、拡大により生じる余裕領域の水平方向、垂直方向での画素数が、想定されるＳｈ，Ｓｖの最大値となるようにブレ補正対象領域を拡大しておけば、空白領域の発生を抑止できる。当然、手ブレは光軸方向と平面方向の両方で生じうるため、ブレ補正対象領域の拡大率は、平行移動及び拡大縮小の両方を勘案して設定すればよい。
　なお、図１３ではブレ補正対象領域を、ブレ補正前に予め拡大する例を示したが、ブレ補正後の領域（ブレ補正領域）を拡大してもよい。或いは、出力画像における観察視野が狭くなってしまうが、ブレ補正不要領域を拡大することでも、空白領域の発生を抑止できる。即ち、ブレ補正処理部３７０は、ブレ補正領域とブレ補正不要領域の合成により、空白領域がなくなるように、ブレ補正対象領域、ブレ補正領域、及びブレ補正不要領域の少なくとも１つを拡大する。ブレ補正処理部３７０での拡大処理は、ブレ補正対象領域、ブレ補正領域、及びブレ補正不要領域のいずれか１つを対象としてもよいし、２つ以上を組み合わせてもよい。
　このようにすることで、表示上、空白領域をなくすことが可能となり、観察時のストレスを軽減できる。
　また、ブレ補正の程度を示すブレ補正量は、ブレ補正の設定値として既知となっている情報である。ここでのブレ補正量とは、ブレ補正の対象となる画像上での被写体の移動量、変形量の最大値を規定する情報であり、例えば上述したＳｈ，Ｓｖ，Ｓｚの最大値を表す情報、或いはＳｈ，Ｓｖ，Ｓｚの最大値を求めるための情報等である。
　そしてブレ補正処理部３７０は、ブレ補正の程度を示すブレ補正量に基づいて、ブレ補正対象領域、ブレ補正領域、及びブレ補正不要領域の少なくとも１つを拡大してもよい。即ち、ブレ補正量を用いることで、そもそも空白領域が発生しないような拡大処理を行うことが可能であり、その場合にはブレ補正処理部３７０では、空白領域の検出処理自体が不要となる。
　４．３　画像合成
　上述してきたように、本実施形態の処理では、ブレ補正領域（場合によっては加工後のブレ補正領域）と、ブレ補正不要領域という２つの領域が求められ、当該２つの領域の位置関係はブレの状態に応じて変化する。よって、表示画像の生成のために、ブレ補正処理部３７０（画像合成部３５０）では、ブレ補正領域とブレ補正不要領域を合成する処理を行う必要がある。
　図１４は、ブレ補正領域とブレ補正不要領域の画像合成手法の説明図である。図１４のＧ０が被写体画像全体、Ｇ１がブレ補正不要領域、Ｇ２の円形状がブレ補正対象領域、Ｇ３の円形状がブレ補正領域を表す。また、Ｇ４はブレ補正対象領域且つブレ補正領域でない（Ｇ２∩￢Ｇ３）領域であり、空白領域を表す。Ｇ５はブレ補正領域且つブレ補正不要領域（Ｇ１∩Ｇ３）である領域を表す。
　ブレ補正不要領域且つブレ補正領域でない領域（Ｇ１∩￢Ｇ３）については、元々ブレ補正不要領域の１つの画素値しか取得されないため、そのままブレ補正不要領域の画素値を用いる。これに対して、Ｇ５の領域では、ブレ補正不要領域の画素値と、ブレ補正領域の画素値の両方が存在する。ここで、本実施形態の手法では、ブレ補正によりブレ補正不要領域に変化（移動）が生じてしまうことを抑止するものである。よって画像合成部３５０は、ブレ補正領域且つブレ補正不要領域であるＧ５の領域についても、ブレ補正不要領域の画素値を採用する。このようにすれば、元々ブレ補正不要領域（Ｇ１）に属していた画素については、ブレ補正領域（Ｇ３）に属するか否かによらず、ブレ補正不要領域の画素値が維持される。
　ブレ補正対象領域且つブレ補正領域（Ｇ２∩Ｇ３）については、画像合成部３５０は、ブレ補正領域の画素値を表示すればよい。このようにすれば、ブレ補正対象領域に対して、ブレ補正を行った結果を表示することが可能になる。また、空白領域（Ｇ４）については、上述した種々の加工が可能であり、図１４の例では画素値＝０とする。このようにすれば、ブレ補正領域とブレ補正不要領域を適切に合成し、表示画像を生成できる。
　以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
１…フード、２０…粘膜下層、２１…筋層、１００…挿入部、１２０…ライトガイド部、
２００…撮像部、２１０…対物レンズ系、２２０…撮像素子、３００…処理部、
３１０…Ａ／Ｄ変換部、３２０…前処理部、３３０…ブレ補正不要領域検出部、
３４０…ブレ補正部、３５０…画像合成部、３６０…制御部、３７０…ブレ補正処理部、
４００…表示部、５００…外部Ｉ／Ｆ部、６００…光源部、６１０…白色光源、
６２０…ライトガイドケーブル

Claims (18)

  1. 　被写体からの反射光を結像する撮像部からの被写体画像を取得する画像取得部と、
    　前記被写体画像に基づいて、ブレ補正不要領域を検出するブレ補正不要領域検出部と、
    　前記被写体画像からブレ補正不要領域を除いた領域をブレ補正対象領域とした場合に、前記ブレ補正対象領域に対するブレ補正の結果に対応する領域であるブレ補正領域を求め、求めた前記ブレ補正領域と、前記ブレ補正不要領域とを合成するブレ補正処理部と、
    　を含むことを特徴とするブレ補正装置。
  2. 　請求項１において、
    　前記ブレ補正処理部は、
    　前記ブレ補正不要領域に基づいて、前記被写体画像から前記ブレ補正対象領域を求め、前記ブレ補正対象領域に対してブレ補正を行う第１の処理、又は、前記被写体画像に対してブレ補正を行ってブレ補正画像を求め、前記ブレ補正画像のうち、前記ブレ補正不要領域に対応する領域に対して前記ブレ補正をキャンセルする第２の処理、により前記ブレ補正領域を求めることを特徴とするブレ補正装置。
  3. 　請求項１において、
    　前記ブレ補正処理部は、
    　前記ブレ補正領域と、前記ブレ補正不要領域のいずれの領域でもない空白領域を検出することを特徴とするブレ補正装置。
  4. 　請求項３において、
    　前記ブレ補正処理部は、
    　前記空白領域を、過去に取得した前記被写体画像から補間することを特徴とするブレ補正装置。
  5. 　請求項３において、
    　前記ブレ補正処理部は、
    　前記空白領域を含む領域を、特定の信号値でパディングすることを特徴とするブレ補正装置。
  6. 　請求項５において、
    　前記ブレ補正処理部は、
    　前記空白領域を含む領域が所定形状となるように、前記ブレ補正領域の一部の領域を、前記特定の信号値でパディングすることを特徴とするブレ補正装置。
  7. 　請求項３において、
    　前記ブレ補正処理部は、
    　前記ブレ補正領域と前記ブレ補正不要領域の前記合成により、前記空白領域がなくなるように、前記ブレ補正対象領域、前記ブレ補正領域、及び前記ブレ補正不要領域の少なくとも１つを拡大することを特徴とするブレ補正装置。
  8. 　請求項１において、
    　前記ブレ補正処理部は、
    　前記ブレ補正の程度を示すブレ補正量に基づいて、前記ブレ補正対象領域、前記ブレ補正領域、及び前記ブレ補正不要領域の少なくとも１つを拡大することを特徴とするブレ補正装置。
  9. 　請求項１において、
    　前記ブレ補正不要領域検出部は、
    　前記被写体画像の画素の色に基づいて、前記ブレ補正不要領域を検出することを特徴とするブレ補正装置。
  10. 　請求項９において、
    　前記ブレ補正不要領域検出部は、
    　前記被写体画像の画素の色が無彩色である領域を、前記ブレ補正不要領域として検出することを特徴とするブレ補正装置。
  11. 　請求項９において、
    　前記ブレ補正不要領域検出部は、
    　前記被写体画像の中央領域の画素の色との比較処理に基づいて、前記ブレ補正不要領域を検出することを特徴とするブレ補正装置。
  12. 　請求項１において、
    　前記ブレ補正不要領域検出部は、
    　前記被写体画像の画素値の時間変化に基づいて、前記ブレ補正不要領域を検出することを特徴とするブレ補正装置。
  13. 　請求項１２において、
    　前記ブレ補正不要領域検出部は、
    　前記被写体画像の画素値の時間変化が、所定閾値よりも小さい領域を、前記ブレ補正不要領域として検出することを特徴とするブレ補正装置。
  14. 　請求項１において、
    　前記ブレ補正不要領域検出部は、
    　前記ブレ補正不要領域の画素値に時間変化が検出された場合に、前記ブレ補正不要領域を更新することを特徴とするブレ補正装置。
  15. 　請求項１において、
    　前記ブレ補正不要領域は、前記被写体画像の周縁部に位置することを特徴とするブレ補正装置。
  16. 　請求項１において、
    　前記ブレ補正処理部は
    　前記撮像部の３軸の並進運動に対して、前記ブレ補正を行うことを特徴とするブレ補正装置。
  17. 　請求項１乃至１６のいずれかに記載のブレ補正装置を含むことを特徴とする内視鏡装置。
  18. 　被写体からの反射光を結像する撮像部からの被写体画像を取得し、
    　前記被写体画像に基づいて、ブレ補正不要領域を検出し、
    　前記被写体画像からブレ補正不要領域を除いた領域をブレ補正対象領域とした場合に、前記ブレ補正対象領域に対するブレ補正の結果に対応する領域であるブレ補正領域を求め、
    　前記ブレ補正領域と、前記ブレ補正不要領域とを合成する、
    　ことを特徴とするブレ補正方法。
PCT/JP2017/018906 2017-05-19 2017-05-19 ブレ補正装置、内視鏡装置及びブレ補正方法 WO2018211709A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/018906 WO2018211709A1 (ja) 2017-05-19 2017-05-19 ブレ補正装置、内視鏡装置及びブレ補正方法
US16/683,721 US11196926B2 (en) 2017-05-19 2019-11-14 Blur correction device, endoscope apparatus, and blur correction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/018906 WO2018211709A1 (ja) 2017-05-19 2017-05-19 ブレ補正装置、内視鏡装置及びブレ補正方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/683,721 Continuation US11196926B2 (en) 2017-05-19 2019-11-14 Blur correction device, endoscope apparatus, and blur correction method

Publications (1)

Publication Number Publication Date
WO2018211709A1 true WO2018211709A1 (ja) 2018-11-22

Family

ID=64274322

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/018906 WO2018211709A1 (ja) 2017-05-19 2017-05-19 ブレ補正装置、内視鏡装置及びブレ補正方法

Country Status (2)

Country Link
US (1) US11196926B2 (ja)
WO (1) WO2018211709A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021182066A1 (ja) * 2020-03-11 2021-09-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム
EP4024115A4 (en) * 2019-10-17 2022-11-02 Sony Group Corporation SURGICAL INFORMATION PROCESSING DEVICE, SURGICAL INFORMATION PROCESSING METHOD AND SURGICAL INFORMATION PROCESSING PROGRAM

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022142932A (ja) * 2021-03-17 2022-10-03 ラピステクノロジー株式会社 ヘッドアップディスプレイ、映像補正方法及び映像補正プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015096237A (ja) * 2015-01-30 2015-05-21 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
WO2016088628A1 (ja) * 2014-12-02 2016-06-09 オリンパス株式会社 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009088628A (ja) 2007-09-27 2009-04-23 Canon Inc 画像処理装置
JP6751773B2 (ja) * 2016-12-07 2020-09-09 オリンパス株式会社 画像処理装置及び画像処理装置の作動方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016088628A1 (ja) * 2014-12-02 2016-06-09 オリンパス株式会社 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JP2015096237A (ja) * 2015-01-30 2015-05-21 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4024115A4 (en) * 2019-10-17 2022-11-02 Sony Group Corporation SURGICAL INFORMATION PROCESSING DEVICE, SURGICAL INFORMATION PROCESSING METHOD AND SURGICAL INFORMATION PROCESSING PROGRAM
WO2021182066A1 (ja) * 2020-03-11 2021-09-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム
EP4094714A4 (en) * 2020-03-11 2023-08-02 Sony Olympus Medical Solutions Inc. DEVICE FOR PROCESSING MEDICAL IMAGES AND MEDICAL OBSERVATION SYSTEM

Also Published As

Publication number Publication date
US20200084380A1 (en) 2020-03-12
US11196926B2 (en) 2021-12-07

Similar Documents

Publication Publication Date Title
JP6549711B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP5562808B2 (ja) 内視鏡装置及びプログラム
JP5868076B2 (ja) 画像処理装置及び画像処理方法
JP5657375B2 (ja) 内視鏡装置及びプログラム
JP5816511B2 (ja) 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP5818586B2 (ja) 画像処理装置及び画像処理方法
JP5684033B2 (ja) 撮像装置及び内視鏡装置の作動方法
US11196926B2 (en) Blur correction device, endoscope apparatus, and blur correction method
JP2007244518A (ja) 画像解析装置及び画像解析方法
JP2016213702A (ja) 画像処理装置、その制御方法、および制御プログラム
JP2011124692A (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP6574448B2 (ja) 内視鏡装置及び内視鏡装置のフォーカス制御方法
US11419482B2 (en) Endoscope apparatus, control method of endoscope apparatus, and recording medium
WO2017122287A1 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP2013228798A (ja) 画像処理装置、撮像装置、内視鏡、プログラム及び画像処理方法
JP5974205B1 (ja) 画像処理装置、画像処理装置の作動方法
JP2012205619A (ja) 画像処理装置、制御装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP6242230B2 (ja) 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
WO2016114155A1 (ja) 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
US20170032502A1 (en) Image processing
WO2016199264A1 (ja) 内視鏡装置及びフォーカス制御方法
JP6653386B2 (ja) 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
JP5985117B1 (ja) 撮像装置、画像処理装置、撮像装置の作動方法
JP2005182232A (ja) 輝度補正装置および輝度補正方法
JP6942892B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17909770

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17909770

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP