WO2013047215A1 - 内視鏡用画像処理装置、内視鏡装置及び画像処理方法 - Google Patents

内視鏡用画像処理装置、内視鏡装置及び画像処理方法 Download PDF

Info

Publication number
WO2013047215A1
WO2013047215A1 PCT/JP2012/073401 JP2012073401W WO2013047215A1 WO 2013047215 A1 WO2013047215 A1 WO 2013047215A1 JP 2012073401 W JP2012073401 W JP 2012073401W WO 2013047215 A1 WO2013047215 A1 WO 2013047215A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
boundary
unit
view
Prior art date
Application number
PCT/JP2012/073401
Other languages
English (en)
French (fr)
Inventor
佐々木　寛
本田　一樹
Original Assignee
オリンパス株式会社
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社, オリンパスメディカルシステムズ株式会社 filed Critical オリンパス株式会社
Priority to CN201280046804.4A priority Critical patent/CN103841879B/zh
Priority to EP12836098.9A priority patent/EP2762059B1/en
Publication of WO2013047215A1 publication Critical patent/WO2013047215A1/ja
Priority to US14/225,085 priority patent/US9554097B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an endoscope image processing apparatus, an endoscope apparatus, an image processing method, and the like.
  • a region located slightly behind the side may not fall within the visual field range, such as the back of the elbow of an organ having a large elbow such as the large intestine, etc. It may be difficult to acquire the lesion present in the region as an image.
  • a method using an endoscope scope equipped with a fisheye lens having an angle of view of 180 degrees or more (including its value) is considered in order to observe an area located slightly behind the side such as a back of a fold etc.
  • Patent Document 1 discloses an optical system that simultaneously observes both a front view and a side view.
  • this optical system distortion aberration at the periphery of the image, which is a side view, can be reduced, which is effective, for example, in the back of the large intestine.
  • the central part of the captured image corresponds to the forward visual field
  • the donut-like area around the central part corresponds to the lateral visual field
  • the boundary area which becomes a blind spot between the two visual fields is There is a problem of being formed.
  • the border region may be mistaken as a fold even though the fold is not originally present.
  • an endoscope image processing apparatus capable of suppressing a decrease in visibility due to a boundary region.
  • One aspect of the present invention is an image acquisition unit that acquires an image signal in which a front image corresponding to a front view and a side image corresponding to a side view are formed as one acquired image, and the acquisition When an area corresponding to the front view in the image is a front area and an area corresponding to the side view in the acquired image is a side area, one of the image of the front area and the image of the side area
  • the present invention relates to an image processing apparatus for an endoscope, comprising: a boundary area correction unit performing overlap processing in which at least one of the boundary areas is an area that is a boundary between the front area and the side area.
  • an image signal in which a front image and a side image are formed as one acquired image is acquired, and one of the image of the front area and the image of the side area is a boundary area.
  • An overlapping process is performed. This makes it possible to suppress the reduction in visibility due to the boundary area.
  • the other aspect of this invention acquires the image signal in which the front image corresponding to a front view and the side image corresponding to a side view were formed as one acquisition image, and in the said acquisition image
  • an area corresponding to the front view is a front area and an area corresponding to the side view in the acquired image is a side area
  • at least one of the image of the front area and the image of the side area The present invention relates to an image processing method in which overlap processing is performed to overlap a boundary area which is an area that is a boundary between the front area and the side area.
  • FIG. 1 shows a first configuration example of an endoscope apparatus.
  • FIG. 2 shows a detailed configuration example of the rotational color filter.
  • FIG. 3 is an example of spectral transmittance characteristics of a color filter.
  • FIG. 4A and FIG. 4B show detailed configuration examples of the objective lens.
  • FIG.4 (C) is explanatory drawing about the image image-captured by the objective lens.
  • FIG. 5 is a first detailed configuration example of the image processing unit.
  • 6 (A) to 6 (E) are explanatory diagrams of processing for correcting a boundary area.
  • FIGS. 7A to 7E are explanatory diagrams of processing for correcting a boundary area.
  • FIG. 8A to FIG. 8C are explanatory diagrams of the scaling process.
  • FIG. 9 is an explanatory view of a modification of the extraction boundary setting method.
  • FIG. 10 shows a second configuration example of the endoscope apparatus.
  • FIG. 11 is a schematic view of a pixel array in the Bayer array.
  • FIG. 12 shows a second detailed configuration example of the image processing unit.
  • FIG. 13 is a detailed configuration example of the extraction area setting unit.
  • FIG. 14A to FIG. 14C are explanatory diagrams of shading correction.
  • processing is performed to expand the region FR corresponding to the forward visual field or the region SR corresponding to the lateral visual field, and enlargement thereof.
  • the overlapping region overlaps the border region of the front and side visions. This makes it possible to eliminate shading by the optical system from the display image, so that it is possible to prevent the boundary region from being mistakenly recognized as the shadow of the large intestine due to the folds of the large intestine, and a wide view endoscope apparatus with high visibility can be realized.
  • FIG. 1 shows a first configuration example of the endoscope apparatus.
  • the endoscope apparatus includes a light source unit 100, an imaging unit 200, a control device 300 (processor unit), a display unit 400, and an external I / F unit 500.
  • the light source unit 100 lights light having spectral characteristics from the white light source 101, the rotary color filter 102 having a plurality of spectral transmittances, the rotary drive unit 103 for driving the rotary color filter 102, and the rotary color filter 102. And a condenser lens 104 for condensing light on the incident end face of the guide fiber 201.
  • the rotational color filter 102 includes, for example, three primary color red (R) color filters 601, green (G) color filters 602, blue (B) color filters 603, and a rotation motor 803. , Composed of FIG. 3 shows the spectral characteristics of these three color filters.
  • the rotation drive unit 103 rotates the rotation color filter 102 at a predetermined rotation number in synchronization with the imaging period of the imaging element 209 based on the control signal from the control unit 302 of the control device 300. For example, if the color filters are rotated 20 times per second, each color filter will cross the incident white light at 1/60 second intervals. In this case, the imaging device 209 captures reflected light from the observation target for each of the three primary color lights (R, G, or B) at intervals of 1/60 of a second, and completes the transfer of the image. That is, in the present embodiment, imaging is performed in a frame sequential method in which R, G, and B images are taken at intervals of 1/60 of a second, and the actual frame rate is 20 fps (fps: frame per second).
  • the imaging unit 200 is formed to be elongated and bendable, for example, to allow insertion into a body cavity such as the large intestine.
  • the imaging unit 200 includes a light guide fiber 201 for guiding light collected by the light source unit 100, and illumination lenses 202 and 204 for diffusing the light guided to the tip by the light guide fiber 201 and irradiating the observation target with the light. ,including.
  • the imaging unit 200 digitizes an objective lens 203 for condensing reflected light returning from an observation target, an imaging element 209 for detecting focused imaging light, and an analog signal photoelectrically converted from the imaging element 209 And A / D conversion unit 210 for converting into a signal.
  • the imaging unit 200 also includes a memory 211 and a connector 212 for making the imaging unit 200 attachable to and detachable from the control device 300.
  • the memory 211 records extraction boundary line information of the front view image and the side view image described later, display magnification information of the front view image and the side view image, and unique information related to manufacturing variations inherent in the imaging unit 200. Be done.
  • the imaging device 209 is a monochrome single-plate imaging device, and can use, for example, a CCD or a CMOS image sensor.
  • the objective lens 203 is composed of an optical system having a viewing angle of 180 degrees or more (including its value) by a combination of a front observation optical system and a side observation optical system as described later, for example, a lesion in the back of a large intestine The section 10 can be observed.
  • the illumination lenses 202 and 204 are disposed outward with respect to the optical axis of the objective lens 203 so that the observation target within the viewing angle of the objective lens 203 can be uniformly illuminated.
  • the light guide fiber 201 consisting of several thousand is divided into two, but it may be divided into more and the corresponding illumination lens may be arranged at the end of the endoscope. This makes it possible to illuminate the area with a wide viewing angle more uniformly.
  • a large number of light emitting elements such as LEDs or organic EL may be disposed at the tip of the endoscope scope as illumination.
  • the control device 300 includes an image processing unit 301 that performs a process of correcting a boundary area between a front view image and a side view image, and a control unit 302 that controls each part of the endoscope apparatus.
  • the display unit 400 is configured of a display device capable of displaying moving pictures, such as a CRT or a liquid crystal monitor, for example.
  • the external I / F unit 500 is an interface for performing input from the user to the endoscope apparatus.
  • the external I / F unit 500 may be a power switch for turning on / off the power, a shutter button for starting a shooting operation, a mode switching switch for switching a shooting mode or other various modes (for example, the front And a switch for manually switching the display area ratio of the view image and the side view image.
  • the external I / F unit 500 outputs the input information to the control unit 302.
  • FIG. 4A shows a detailed configuration example of the objective lens for observing the front visual field and the side visual field.
  • light from the front view is incident on the front surface of the lens 20, and light from the side view is incident on the side surface of the lens 20.
  • the light from the front view is transmitted through the transmission portion 21 (refractive portion) of the lens 20 and is guided to the imaging element 209.
  • the light from the side view is reflected by the reflecting portions 26 and 22 of the lens 20 and is guided to the imaging unit 200.
  • the transmission part 21 transmitting light from the front view and reflection reflecting light from the side view It comprises the part 22 (reflection area).
  • the reflected light from the object in the front view is partially blocked. Therefore, as shown in FIG. 4C, shading occurs in the boundary area between the front view image 23 and the side view image 24 formed on the imaging device. Due to this shading, the boundary area becomes a black band annular area 25.
  • the forward visual field is a forward visual field range including the optical axis direction, and is, for example, a range of 0 degree to 70 degrees with respect to the optical axis.
  • the side field of view is a side field of view range including a direction orthogonal to the optical axis, for example, in the range of 70 degrees to 135 degrees with respect to the optical axis.
  • the objective lens 203 of the present embodiment has, for example, a visual field range of 0 degrees to 110 degrees with respect to the optical axis.
  • shading is shading on an image, and is darker (for example, smaller in luminance) than other regions on the image due to an optical system.
  • a blind spot by the lens 20 occurs between the front visual field and the side visual field, and the shadow on the image corresponding to the blind spot becomes shading.
  • the light in the forward field of vision transmitted through the transmission part 21 produces peripheral vignetting due to vignetting or the like by the optical system, and the peripheral vignetting becomes shading.
  • FIG. 5 shows a first detailed configuration example of the image processing unit 301.
  • the image processing unit 301 includes an image acquisition unit 305, an output image generation unit 310, a boundary area correction unit 315, and a boundary line drawing unit 360.
  • the boundary area correction unit 315 includes an area extraction unit 320, a scaling processing unit 325, and a combining unit 350.
  • the scaling processing unit 325 includes a first area magnification correction unit 330 and a second area magnification correction unit 340.
  • the connection relationship between each component and the flow of data will be described.
  • the captured image output from the A / D conversion unit 210 is input to the image acquisition unit 305.
  • the control unit 302 includes an image acquisition unit 305, an output image generation unit 310, an area extraction unit 320, a first area magnification correction unit 330, a second area magnification correction unit 340, and a boundary line drawing unit 360. It is connected.
  • Information unique to the imaging unit 200 recorded in the memory 211 extraction boundary information of the front view image and the side view image, and display magnification information of the front view image and the side view image
  • Ru is input to the control unit 302.
  • the image acquisition unit 305 acquires one image in which the front view and the side view are captured, and outputs the acquired image to the output image generation unit 310.
  • the front visual field and the side visual field are simultaneously imaged as one image by using the above-described lens 20, and the image acquiring unit 305 acquires the one image.
  • the front view and the side view may not be imaged at the same time.
  • the front visual field and the side visual field are sequentially imaged by separate imaging operations, and the image acquiring unit 305 combines the separately imaged front visual field image and the lateral visual field image and acquires them as one image. May be
  • the output image generation unit 310 displays the input captured image on the display monitor based on output image generation parameters (for example, OB clamp, white balance, ⁇ conversion table, enhancement coefficient, enlargement magnification, etc.) output from the control unit 302.
  • output image generation parameters for example, OB clamp, white balance, ⁇ conversion table, enhancement coefficient, enlargement magnification, etc.
  • the image format is converted into a displayable image format, and the converted image is output as an output image to the region extraction unit 320.
  • the boundary area correction unit 315 corrects at least one of the front view image and the side view image to overlap with the boundary area of the front view image and the side view image so as to reduce the boundary area. Do the processing.
  • the extraction boundary line information for the front view image and the side view image recorded in the memory 211 is input to the area extraction unit 320 via the control unit 302.
  • the front view image extracted from the output image by the region extraction unit 320 is output to the first region magnification correction unit 330.
  • the side view image extracted from the output image by the region extraction unit 320 is output to the second region magnification correction unit 340.
  • the first area magnification correction unit 330 performs the scaling process on the input front view image based on the magnification information output from the control unit 302, and outputs the front view image after the scaling process to the synthesis unit 350.
  • the scaling process on the forward visual field image one of an enlargement process based on magnification information, an equal magnification process (no change in magnification), and a reduction process is appropriately performed.
  • the scaling process is performed along the radial direction with reference to the center of the front view image.
  • the second area magnification correction unit 340 performs the scaling process on the input side view image based on the magnification information output from the control unit 302, and transmits the side view image after the scaling process to the synthesis unit 350. Output.
  • the scaling process on the side view image one of an enlargement process based on magnification information, an equal magnification process (no change in magnification), and a reduction process is appropriately performed.
  • the combining unit 350 sets boundaries between the front view image after the scaling process output from the first area magnification correction unit 330 and the side view image after the scaling process output from the second area magnification correction unit 340.
  • a composite image is created so as to overlap in the area, and the composite image is output to the boundary line drawing unit 360.
  • Methods of overlapping include: a method of overlapping a scaled front-view image with a scaled side-view image; a method of overlapping a scaled side-view image with a scaled forward-view image There is.
  • the scaled front view image overlaps the side view image after the magnification change, and in the area on the side view image side of the boundary area, The side view image of the image may overlap the forward view image after scaling.
  • the boundary line drawing unit 360 draws a boundary line of a predetermined color on the combined image output from the combining unit 350, based on the overlap boundary position information of the front view image and the side view image from the control unit 302. And outputs the image after drawing to the display unit 400.
  • the predetermined color is, for example, a fixed color such as black or a color opposite to the peripheral color.
  • the boundary to be drawn may be in any form as long as the boundary between the combined front view image and the side view image can be identified.
  • FIG. 6A shows an output image output from the output image generation unit 310.
  • the output image includes a front view image FR, a side view image SR, and a boundary area BR.
  • L1 represents an extraction boundary for extracting the front view image FR.
  • CP represents the center position of the front view image FR.
  • the front view image FR is extracted by the region extraction unit 320 based on the extraction boundary line L1 from the control unit 302.
  • the extracted front view image FR is enlarged in the radial direction by the first region magnification correction unit 330 based on the magnification information from the control unit 302 based on the center position CP from the control unit 302.
  • the enlarged front view image FR ′ output from the first area magnification correction unit 330 is a side view output from the second area magnification correction unit 340 by the combining unit 350.
  • the image SR eg, no change in magnification
  • the image synthesized by the overlap is output as a synthesized image.
  • the boundary line drawing unit 360 draws the boundary line WL at the overlap boundary part of the combined image output from the combining unit 350.
  • the image after drawing is output as a borderline drawn composite image in which the front view image and the side view image can be more clearly identified.
  • the overlap boundary is, for example, the outer edge of the overlapped front view image FR '.
  • the front view image FR (image of the front area) in the above represents an image extracted by the extraction boundary line L1 (first boundary line), and the side view image SR Represents an image captured by the side observation optical system (reflecting portions 22 and 26 of FIG. 4A). Further, the boundary area BR indicates a shading area which is generated due to a blind spot or marginal light reduction of the optical system.
  • L2 represents an extraction boundary for extracting the side view image SR.
  • SRP represents the outer periphery of the side view SR.
  • the side view image SR is extracted by the region extraction unit 320 based on the extraction boundary line L2 from the control unit 302.
  • the extracted side view image SR has a diameter toward the center position CP based on magnification information from the control unit 302 based on the outer circumference SRP, which is information from the control unit 302, by the second region magnification correction unit 340. It is enlarged in the direction.
  • the enlarged side view image SR ′ output from the second area magnification correction unit 340 is a front view field output from the first area magnification correction unit 330 by the combining unit 350.
  • the image FR eg, no change in magnification
  • the image synthesized by the overlap is output as a synthesized image.
  • the boundary line drawing unit 360 draws the boundary line WL at the overlap boundary portion of the combined image output from the combining unit 350.
  • the image after drawing is output as a borderline drawn composite image in which the front view image and the side view image can be more clearly identified.
  • the overlap boundary is, for example, the inner edge of the overlapped side view image SR '.
  • the forward visual field image FR represents an image captured by the forward observation optical system (the transmitting portion 21 of FIG. 4A), and the side visual field image SR ( The image of the side area) represents an image extracted by the extraction boundary line L2 (second boundary line).
  • the extraction boundary line L1 of the front view image and the extraction boundary line L2 of the side view image are set by photographing a uniform color chart such as a gray patch, for example.
  • a first circle belonging to the front view image and a second circle belonging to the side view image are set.
  • the first and second circles are circles sharing the center.
  • the absolute value of the pixel value difference between two pixels corresponding to the nearest points on the circumference of the two circles is within a predetermined value
  • the second circle is set as extraction boundaries L1 and L2. In this way, when overlapping occurs, the difference in pixel value can be made smaller than a predetermined value at the overlap boundary portion, so that it is possible to display an image without a sense of discomfort.
  • one of the front view image and the side view image is scaled, but the present embodiment is not limited to this, and both the front view image and the side view image are scaled and synthesized.
  • the boundary area may be corrected.
  • the displacement amount by the scaling process is positive in the front view image, and the side view Negative in the image.
  • the horizontal axis of the graph represents the distance from the center of the front view image and the side view image (the center position is common to the two view images), and the vertical axis of the graph represents the cumulative displacement amount.
  • the starting point of the accumulated displacement amount in the front view image is the center of the front view image
  • the starting point of the accumulated displacement amount in the side view image is the outer periphery of the side view image.
  • FL represents a characteristic line of displacement with respect to the front view image
  • SL represents a characteristic line of displacement with respect to the side view image.
  • D1 represents the distance from the center of the front view image to the extraction border
  • D2 represents the distance from the center of the side view image to the extraction border
  • the displacement amount by the scaling process is positive in the front view image and the side view image. It is.
  • the displacement amount by the scaling process is negative in the front view image and the side view image. It is.
  • the displacement amount D f (r) of the front view image is shown in the following equation (2).
  • the maximum displacement amount that is, the displacement amount at the distance D1 is D f (D1).
  • ⁇ 0 ⁇ r represents the integral of the interval [0, r].
  • D f (r) ⁇ 0 ⁇ r V f (x) x dx (2)
  • V s (r) ⁇ s r 4 + ⁇ s r 2 + ⁇ s (3)
  • the displacement amount D s (r) of the side view image is shown in the following equation (4).
  • the maximum displacement amount that is, the displacement amount at the distance D2 is D s (D2).
  • ⁇ D3 ⁇ r represents the integral of the interval [D3, r].
  • D s (r) ⁇ D 3 ⁇ r V s (x) x dx (4)
  • the boundary mode is corrected by changing the observation mode by switching the external I / F unit 500 and changing the scaling factor parameters ⁇ f , ⁇ f , ⁇ f , ⁇ s , ⁇ s , and ⁇ s.
  • the overall and local display ratio of the front view image and the side view image can be freely changed. This makes it possible to freely enlarge and display the lesion to be observed.
  • the coefficients ⁇ f , ⁇ f , ⁇ s , and ⁇ s may be zero in the scaling factors V f (r) and V s (r) described above. In this case, scaling can be performed with a constant scaling factor ⁇ f or ⁇ s regardless of the distance r from the center.
  • the extraction boundaries L1 and L2 may be set by securing the margin regions MR1 and MR2.
  • MR1 is a margin area between the border area BR and the extraction border L1
  • MR2 is a margin area between the border area BR and the extraction border L2.
  • the boundary region BR is a region determined as a viewing angle not suitable for observation in optical design, and sufficient margin regions MR1 and MR2 are secured to the boundary region BR in consideration of statistical manufacturing variations. In this way, since it is not necessary to prepare the memory 211 for storing the extraction boundary lines L1 and L2 specific to the individual imaging units 200, the cost of the imaging units 200 can be reduced.
  • the image processing apparatus for endoscopes includes the image acquisition unit 305 and the boundary area correction unit 315.
  • the image acquisition unit 305 includes one forward image (forward view image 23) corresponding to the forward view and one side image (side view image 24) corresponding to the side view.
  • An image signal formed as an acquired image of is acquired.
  • the boundary area correction unit 315 sets the area corresponding to the forward visual field in the acquired image as the front area, and the area corresponding to the lateral visual field in the acquired image as the side.
  • a side area at least one of the image FR in the front area and the image SR in the side area is overlapped with a boundary area BR which is an area that is a boundary between the front area and the side area Do the processing.
  • the overlap processing is to superimpose an image different from the predetermined area from above on a predetermined area (a boundary area in the present embodiment) of the image.
  • a predetermined area a boundary area in the present embodiment
  • overlap processing is performed by overwriting data of another image (in the present embodiment, an image after scaling) in a memory area corresponding to a predetermined area of the image.
  • the overlap processing is performed by deleting a predetermined area from the image and combining the image with another image as one image.
  • the boundary area is a shading area existing between the front area and the side area, and in the present embodiment, for example, a dead angle between the front observation optical system and the side observation optical system as described later It is an area generated by peripheral light reduction of the observation optical system.
  • the forward visual field and the lateral visual field may be imaged in time series, and in this case, the boundary area is an imaging of one image in which the front image and the lateral image are combined. This is a shading area generated by an optical system, composition processing, and the like.
  • the boundary area correction unit 315 includes a magnification change processing unit 325 and a combining unit 350.
  • the scaling processing unit 325 performs scaling processing to change the display magnification of at least one of the image FR in the front area and the image SR in the side area.
  • the combining unit 350 performs overlap processing by combining the image of the front area after the scaling process and the image of the side area.
  • the boundary region correction unit 315 has a region extraction unit 320.
  • the region extraction unit 320 selects one of the image FR in the front region and the image SR in the side region from the acquired image as a target image for scaling processing.
  • Extract as The scaling processing unit 325 performs scaling processing to magnify the target image.
  • the combining unit 350 combines the enlarged target area (FR 'or SR') and the other (SR or FR) of the front area and the side area.
  • the scaling processing unit 325 performs processing to magnify the target image along the radial direction based on the center CP of the front view image FR.
  • the enlargement process along the radial direction may be a process of enlarging the target image in a direction away from the center CP as shown in FIG. 6 (B), or it approaches the center CP as shown in FIG. 7 (B) It may be processing of enlarging the target image in the direction. Alternatively, the processing may be such that the outside of the target image is enlarged in the direction away from the center CP in the direction in which the center CP side of the target image approaches the center CP.
  • overlap processing can be performed on the boundary region BR by enlarging one of the image FR in the front region and the image SR in the side region and combining the enlarged image with the other. Since only one is subjected to scaling processing, hardware such as an image memory can be saved.
  • the scaling unit 325 enlarges one of the image FR in the front area and the image SR in the side area.
  • a scaling process may be performed to reduce the other of the image FR in the front area and the image SR in the side area by performing doubling processing.
  • the combining unit 350 may combine the image of the front area and the image of the side area after the scaling process.
  • overlap processing can be performed on the boundary region BR by enlarging one of the image FR in the front region and the image SR in the side region and reducing and combining the other. Since the image FR of the front region and the image SR of the side region can be freely scaled, the observation region can be freely enlarged and displayed. For example, the image FR of the front region can be enlarged when observing a lesion in the central part of the visual field, and the image SR of the lateral visual field can be enlarged when observing the back of the side of the visual field in screening.
  • the endoscope image processing apparatus includes a boundary line drawing unit 360.
  • the boundary line drawing unit 360 draws the boundary line WL for making it possible to distinguish between the image of the combined front area and the image of the side area.
  • the boundary between the image of the front area and the image of the side area can be clearly displayed. That is, as described with reference to FIG. 4A and the like, a blind spot is generated by the optical system, and the border area BR corresponding to the blind spot is hidden by overlap processing.
  • the boundary is a discontinuous image. For example, when the forceps or the like is at the boundary, there is a possibility of giving visual discomfort, and by drawing the boundary, the discomfort can be reduced.
  • the boundary area is based on the optical design value in the optical system (lens 20) for imaging the front view and the side view. It is an annular region 25 of a predetermined viewing angle.
  • the first boundary line L1 which is the boundary between the boundary region BR and the front region, is set inside the annular region BR.
  • the second boundary L2 which is a boundary between the boundary region BR and the lateral region, is set outside the annular region BR.
  • the first boundary line L1 and the second boundary line L2 add (add) margin regions MR1 and MR2 according to statistical manufacturing variations to the annular region BR at a predetermined viewing angle. It is set.
  • the endoscope apparatus captures a front observation optical system (transmission part 21 of the lens 20) for capturing a front view and a side view Side observation optical system (reflecting portions 22 and 26 of the lens 20). Further, as shown in FIG. 1, the endoscope apparatus includes an imaging element 209 that simultaneously images the front view and the side view.
  • the front view and the side view can be simultaneously captured as one image.
  • the present invention is not limited to the above optical system.
  • the front visual field and the side visual field may be captured in time series by an optical system in which the optical systems for the front visual field and the side visual field are not separate.
  • the images captured in time series may be combined into one image.
  • the boundary region is a blind spot between the forward visual field obtained by the forward observation optical system and the side visual field obtained by the side observation optical system. Includes the corresponding area.
  • the boundary area may include at least a part of the area where shading has occurred due to peripheral light reduction of the front observation optical system. For example, in the state where the above-described gray patch is imaged, a peripheral light reduction region darker than a predetermined luminance is included in the boundary region.
  • FIG. 10 shows a second configuration example of the endoscope apparatus.
  • the endoscope apparatus includes a light source unit 100, an imaging unit 200, a control device 300 (processor unit), a display unit 400, and an external I / F unit 500.
  • the components different from the first configuration example described above will be mainly described with reference to FIG. 1, and the description of the same components will be appropriately omitted.
  • the light source unit 100 includes a white light source 101 and a condenser lens 104 for condensing light on the incident end face of the light guide fiber 201.
  • a condenser lens 104 for condensing light on the incident end face of the light guide fiber 201.
  • a primary-color single-plate imaging device is used as the imaging device 209.
  • the primary color single-plate image sensor is a so-called Bayer array image sensor, and a CCD or a CMOS image sensor can be used.
  • FIG. 12 shows a second detailed configuration example of the image processing unit 301.
  • the image processing unit 301 includes an image acquisition unit 905, a preprocessing unit 910, a boundary area correction unit 915, a post processing unit 990, and a boundary line drawing unit 995.
  • the boundary area correction unit 915 includes an extraction area setting unit 920, an area extraction unit 940, a shading correction unit 950, a scaling processing unit 955, and a combining unit 980.
  • the scaling processing unit 955 includes a correction amount control unit 930, a first area magnification correction unit 960, and a second area magnification correction unit 970.
  • the captured image output from the A / D conversion unit 210 is input to the image acquisition unit 905.
  • the image acquired by the image acquisition unit 905 is input to the preprocessing unit 910.
  • the control unit 302 can communicate with both the image acquisition unit 905, the pre-processing unit 910, the extraction area setting unit 920, the correction amount control unit 930, the post-processing unit 990, and the boundary line drawing unit 995. Connected
  • the control unit 302 reads information specific to the imaging unit 200 recorded in the memory 211 (extraction boundary information of the front view image and the side view image, display magnification information of the front view image and the side view image) , And updates the information stored in the memory 211.
  • the pre-processing unit 910 corrects the input captured image based on an output image generation parameter (OB clamp, white balance) output from the control unit 302 and corrects the corrected captured image with the extraction area setting unit 920 and the area It is output to the extraction unit 940.
  • OB clamp white balance
  • the extraction area setting unit 920 performs extraction area setting processing when the extraction area setting signal from the control unit 302 is ON, and outputs the set extraction area information to the correction amount control unit 930, the control unit 302, and the area extraction unit 940. Output.
  • the extraction area setting unit 920 also outputs the set shading correction coefficient to the shading correction unit 950.
  • the extraction area information includes, as described in the first embodiment, information on the center position of the front view image and the side view image, information on the extraction boundary of the front view image, and information on the extraction boundary of the side view image. Information is information on the outer periphery of the side view image.
  • the extraction area information is the coordinates of the central position CP (for example, FIG. 6A), and the distances D1, D2, D3 from the central position CP in the polar coordinate format with the central position CP as the origin (for example, FIG. 8A) ).
  • the extraction area setting process will be described in detail later.
  • the extraction area setting signal is ON / OFF controlled by the switch of the external I / F unit 500.
  • the extraction area setting signal is turned ON interlocking with the mode, and the extraction area setting is made at the time of ordinary medical examination. The signal is off.
  • the correction amount control unit 930 performs correction amount control based on the observation mode switching signal from the control unit 302.
  • the correction amount control unit 930 sets the magnification correction information of the front view image and the magnification correction information of the side view image based on the extraction area information input from the extraction area setting unit 920, and makes the magnification correction information of the front view image.
  • the magnification correction information is given by the coefficient values of the polynomials of the above equations (1) and (3) described in the first embodiment.
  • the region extraction unit 940 receives the white balance-processed captured image output from the pre-processing unit 910. Region extraction unit 940 extracts the front view image and the side view image from the input captured image based on the extraction region information from extraction region setting unit 920, and outputs the extracted image to shading correction unit 950. Do.
  • the shading correction unit 950 performs shading correction on the input front view image and side view image using the shading correction coefficient output from the extraction area setting unit 920. Shading correction unit 950 outputs the corrected front view image to first area magnification correction unit 960, and outputs the corrected side view image to second area magnification correction unit 970.
  • the first area magnification correction unit 960, the second area magnification correction unit 970, and the combining unit 980 basically perform the same processing as in the first embodiment.
  • the difference from the first embodiment is that in the first embodiment, the captured image consists of three color signals per pixel, and in the second embodiment, the captured image consists of one color signal per each pixel. .
  • the magnification correction is performed so that the signal arrangement of FIG. 11 is maintained even after the magnification correction of the front view image and the side view image is performed. That is, interpolation processing is performed using peripheral pixels of the same color to generate one predetermined color signal at a predetermined pixel position.
  • the post-processing unit 990 receives a captured image in which the front view image and the side view image output from the combining unit 980 are combined.
  • the post-processing unit 990 performs, for example, demosaicing processing, color correction processing, tone conversion processing, enhancement processing, enlargement processing, and the like on the input captured image, and generates an output image that can be displayed on the display monitor. ,
  • the output image is output to the boundary line drawing unit 995.
  • the boundary line drawing unit 995 performs the same process as in the first embodiment, and thus the description thereof is omitted.
  • FIG. 13 shows a detailed configuration example of the extraction region setting unit 920.
  • the extraction area setting unit 920 includes a boundary area detection unit 710, a center calculation unit 720, a boundary setting unit 730 (extraction boundary determination unit), an extraction area parameter setting unit 740, and a shading correction parameter setting unit 750.
  • the connection relationship between each component and the flow of data will be described.
  • the captured image output from the pre-processing unit 910 is input to the boundary area detection unit 710.
  • the object of the captured image is a white patch for calculating a white balance coefficient, and it is assumed that imaging can be performed in a state where the relative positional relationship between the tip of the imaging unit 200 and the white patch is maintained.
  • the control unit 302 is connected to the boundary area detection unit 710, the boundary line setting unit 730, the extraction area parameter setting unit 740, and the shading correction parameter setting unit 750 in a communicable state.
  • the boundary area detection unit 710 extracts the input captured image based on the detection area information, and 2 ⁇ 2 adjacent pixels (R, G, G, B) of the Bayer array in FIG. 11 with respect to the extracted detection area. Processing to take the sum of the above to generate a luminance signal.
  • the boundary area detection unit 710 performs binarization processing by comparing the generated luminance signal and the detection threshold, removes unnecessary thin lines from the luminance signal after the binarization processing, and extracts a boundary line.
  • the boundary area detection unit 710 outputs the extracted boundary line information to the center calculation unit 720, and outputs the generated luminance signal to the boundary line setting unit 730.
  • the center calculating unit 720 calculates the position of the center of gravity from the input boundary line information, sets the position of the center of gravity as the center position of the front view image and the side view image, and outputs the set center position to the boundary setting unit 730 Do.
  • the boundary setting unit 730 determines the shading allowable position of the input luminance signal based on the shading allowable threshold value from the control unit 302. Specifically, as shown in FIG. 14A, the boundary setting unit 730 sets the average luminance value around the center position CP as a reference value of shading, and the reference value indicates the luminance in the detection area (for example, the entire image). The shading image is calculated by dividing the value.
  • the boundary setting unit 730 determines a shading allowable position based on the calculated shading image and the shading allowable threshold T input from the control unit 302, and a circular extraction boundary L1 passing a position closest to the central position, Determine L2.
  • the boundary setting unit 730 outputs the determined extraction boundaries L1 and L2 to the extraction region parameter setting unit 740 and the shading correction parameter setting unit 750, and outputs the calculated shading image to the shading correction parameter setting unit 750.
  • the boundary setting unit 730 obtains a position where the luminance level of the shading image is equal to the threshold T, and calculates the distance from the center to the position.
  • a circle whose radius is the smaller one of the calculated distances is set as the extraction boundary L1.
  • the boundary setting unit 730 sets, as the extraction boundary L2, a circle whose radius is a distance obtained by adding a predetermined distance to the larger one of the calculated distances.
  • the extraction area parameter setting unit 740 sets the radius information and the center coordinates of the input extraction boundary lines L1 and L2 as extraction area parameters, and stores the extraction area parameters in the memory 211 via the control unit 302. Further, the extraction area parameter is output to the area extraction unit 940.
  • the shading correction parameter setting unit 750 calculates a shading correction coefficient image or a shading correction coefficient from the input extracted boundaries L1 and L2, the center position, and the shading image.
  • the shading correction parameter setting unit 750 sets the shading correction coefficient image or the shading correction coefficient as a shading correction parameter, and stores the set parameter in the memory 211 via the control unit 302. Also, the set parameters are output to the shading correction unit.
  • the shading correction coefficient image is an image obtained by taking the reciprocal of each pixel value of the shading image with reference to the center position.
  • the shading correction coefficient (shading correction amount) is a coefficient calculated by averaging pixel values of the shading correction coefficient image in the circumferential direction, and is a one-dimensional coefficient in the radial direction. It is.
  • the extraction area setting unit 920 When the extraction area setting signal from the control unit 302 is OFF, the extraction area setting unit 920 reads the parameters recorded in the memory 211 into the extraction area parameter setting unit 740 and the shading correction parameter setting unit 750, and the parameters are It is output to the area extraction unit 940 and the shading correction unit 950.
  • shading correction is performed only to the front visual field image.
  • this embodiment is not limited to this.
  • shading correction may be performed on the front view image and the side view image.
  • the boundary region correction unit 915 includes the boundary setting unit 730 and the region extraction unit 940.
  • the boundary setting unit 730 extracts the first boundary L1 which is the boundary for extracting the image of the front area from the acquired image, and the image of the side area from the acquired image Setting at least one of the second boundary lines L2 which are the boundary lines for the image.
  • the region extraction unit 940 extracts an image of the front region based on the first boundary line L1.
  • the second boundary is set, the image of the side area is extracted based on the second boundary L2.
  • the boundary area correction unit 915 has a boundary area detection unit 710 that detects a boundary area.
  • the boundary setting unit 730 sets at least one of the first boundary L1 and the second boundary L2 based on the detected boundary area.
  • At least one of the first and second boundary lines L1 and L2 can be set, and at least one of the front area and the side area can be set by the set boundary line.
  • the image of the front area and the side area One of the images may be extracted and shading correction and overlap processing may be performed.
  • the boundary setting unit 730 determines the amount of shading representing the change in the luminance level in the acquired image (for example, the luminance value normalized by the luminance average value around the center).
  • the first boundary line L1 is set based on.
  • the region extraction unit 940 extracts an image of a region inside the first boundary line L1 in the acquired image as an image of the front region.
  • the boundary area correction unit 915 includes a shading correction unit 950 that corrects the amount of shading in the front area.
  • the combining unit 980 combines the image of the front area and the image of the side area whose shading amount has been corrected.
  • the shading for example, the peripheral light reduction in the front area
  • the area where shading has occurred can also be used as a display image, it is possible to keep the unobservable blind area as small as possible.
  • the extraction boundaries L1 and L2 can be determined under specific imaging conditions (for example, at the time of white balance cap imaging), the adjustment process associated with the manufacturing variation can be reduced, and the cost can also be reduced.
  • the scaling processing unit 955 includes a display magnification setting unit (correction amount control unit 930).
  • the first boundary line L1 and the second boundary line L2 are circular boundary lines.
  • the display magnification setting unit sets the display magnification based on the center point CP of the first boundary line L1 and the second boundary line L2 (for example, the scaling factor V f (r of the above equations (1) and (3)). ), V s (r)).
  • the scaling processing unit 955 performs scaling processing based on the set display magnification.
  • the magnification change processing unit 955 is a displacement amount based on the display magnification set by the display magnification setting unit, and is linear or relative to a radial distance (r) with respect to the central point CP.
  • the scaling process is performed using a non-linear displacement amount (for example, displacement amounts D f (r) and D s (r) of the above equations (2) and (4)).
  • the front area and the side area can be scaled with a freely adjustable scaling factor.
  • linear or non-linear scaling can be performed with respect to the distance from the center, it is possible to perform scaling processing with higher freedom according to the user's observation region.
  • boundary lines L1 and L2 are perfect circles
  • the present embodiment is not limited to this, and the boundary lines L1 and L2 may be circular. That is, any boundary region may be present between the boundary lines L1 and L2.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

内視鏡用画像処理装置は、画像取得部３０５と、境界領域補正部３１５を含む。画像取得部３０５は、前方視野に対応する前方画像と、側方視野に対応する側方画像とが、１枚の取得画像として形成された画像信号を、取得する。取得画像における前方視野に対応する領域を前方領域とし、取得画像における側方視野に対応する領域を側方領域とする。境界領域補正部３１５は、前方領域の画像及び側方領域の画像のうちの少なくとも一方を、前方領域と側方領域の境界となる領域である境界領域に対してオーバーラップする処理を行う。

Description

内視鏡用画像処理装置、内視鏡装置及び画像処理方法
　本発明は、内視鏡用画像処理装置、内視鏡装置及び画像処理方法等に関する。
　従来から内視鏡診断において体腔内の病変検出精度を向上させたいという要求があり、１７０度の広角光学系を有する内視鏡スコープが開発されている。
上記内視鏡スコープでは、例えば大腸のような大きなヒダを持った臓器のヒダの裏等のように、側方のやや後方に位置する領域は視野範囲に入らないことがあるため、そのような領域に存在する病変を画像として取得することが困難な場合がある。
特開２０１０－１１７６６５号公報
　例えば、ヒダ裏等のような側方のやや後方に位置する領域を観察するために、１８０度以上（その値を含む）の画角を有する魚眼レンズを備えた内視鏡スコープを用いる手法が考えられる。
　しかしながら、この手法では、魚眼レンズの光学収差（特に歪曲収差）が大きいため、側方視野となる画像周辺部が大きく歪み、ヒダ裏の病変を十分大きなサイズで観察することが困難である。
　特許文献１には、前方視野と側方視野の両方を同時に観察する光学系が開示されている。この光学系では、側方視野である画像周辺部の歪曲収差を小さくできるため、例えば大腸のヒダ裏観察に有効である。
　しかしながら、上記光学系では、撮像画像の中央部が前方視野に対応し、その中央部の周辺のドーナッツ状領域が側方視野に対応するが、その２つの視野の間に死角となる境界領域が形成されるという課題がある。例えば、上記光学系で大腸を観察すると、本来ヒダが無いにも関わらず、境界領域をヒダと見誤る可能性がある。
　本発明の幾つかの態様によれば、境界領域による視認性低下を抑制することが可能な内視鏡用画像処理装置、内視鏡装置及び画像処理方法等を提供できる。
　本発明の一態様は、前方視野に対応する前方画像と、側方視野に対応する側方画像とが、１枚の取得画像として形成された画像信号を、取得する画像取得部と、前記取得画像における前記前方視野に対応する領域を前方領域とし、前記取得画像における前記側方視野に対応する領域を側方領域とする場合に、前記前方領域の画像及び前記側方領域の画像のうちの少なくとも一方を、前記前方領域と前記側方領域の境界となる領域である境界領域に対してオーバーラップさせるオーバーラップ処理を行う境界領域補正部と、を含む内視鏡用画像処理装置に関係する。
　本発明の一態様によれば、前方画像と側方画像とが１枚の取得画像として形成された画像信号が取得され、前方領域の画像及び側方領域の画像のうちの一方を、境界領域に対してオーバーラップする処理が行われる。これにより、境界領域による視認性低下を抑制することが可能になる。
　また本発明の他の態様は、前方視野に対応する前方画像と、側方視野に対応する側方画像とが、１枚の取得画像として形成された画像信号を、取得し、前記取得画像における前記前方視野に対応する領域を前方領域とし、前記取得画像における前記側方視野に対応する領域を側方領域とする場合に、前記前方領域の画像及び前記側方領域の画像のうちの少なくとも一方を、前記前方領域と前記側方領域の境界となる領域である境界領域に対してオーバーラップさせるオーバーラップ処理を行う画像処理方法に関係する。
図１は、内視鏡装置の第１の構成例。 図２は、回転色フィルタの詳細な構成例。 図３は、色フィルタの分光透過率特性の例。 図４（Ａ）、図４（Ｂ）は、対物レンズの詳細な構成例。図４（Ｃ）は、対物レンズにより撮像画像される画像についての説明図。 図５は、画像処理部の第１の詳細な構成例。 図６（Ａ）～図６（Ｅ）は、境界領域を補正する処理についての説明図。 図７（Ａ）～図７（Ｅ）は、境界領域を補正する処理についての説明図。 図８（Ａ）～図８（Ｃ）は、変倍処理についての説明図。 図９は、抽出境界線の設定手法の変形例についての説明図。 図１０は、内視鏡装置の第２の構成例。 図１１は、ベイヤ配列における画素配列の模式図。 図１２は、画像処理部の第２の詳細な構成例。 図１３は、抽出領域設定部の詳細な構成例。 図１４（Ａ）～図１４（Ｃ）は、シェーディング補正についての説明図。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　１．本実施形態の概要
　図４（Ａ）等で後述するように、本実施形態の内視鏡装置の光学系では、側方視野を観察するための反射光学系と、前方視野を観察するための屈折光学系が組み合わされている。このような光学系で撮像された画像では、反射光学系の視野と屈折光学系の視野の境界領域にシェーディングが発生する。このような局所的にシェーディングがある状態で大腸を観察すると、境界領域に本来のヒダが無い状態であっても、境界領域のシェーディングをヒダによる影と見誤る可能性があるという課題がある。
　そこで本実施形態では、図６（Ａ）～図７（Ｅ）等で説明するように、前方視野に対応する領域ＦＲ、又は側方視野に対応する領域ＳＲを拡大する処理を行い、その拡大した領域を、前方視野と側方視野の境界領域にオーバーラップする。これにより、光学系によるシェーディングを表示画像から消すことが可能になるので、境界領域を大腸のヒダによる影と誤認するのを防止でき、視認性の高い広視野の内視鏡装置を実現できる。
　２．第１の実施形態
　２．１．内視鏡装置
　図１に、内視鏡装置の第１の構成例を示す。内視鏡装置は、光源部１００、撮像部２００、制御装置３００（プロセッサ部）、表示部４００、外部Ｉ／Ｆ部５００を含む。
　光源部１００は、白色光源１０１と、複数の分光透過率を持つ回転色フィルタ１０２と、回転色フィルタ１０２を駆動させる回転駆動部１０３と、回転色フィルタ１０２からの分光特性を持った光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４と、を含む。
　図２に示すように、回転色フィルタ１０２は、例えば三原色の赤（Ｒ）の色フィルタ６０１と、緑（Ｇ）の色フィルタ６０２と、青（Ｂ）の色フィルタ６０３と、回転モータ８０３と、から構成される。図３に、これら３つの色フィルタの分光特性を示す。
　回転駆動部１０３は、制御装置３００の制御部３０２からの制御信号に基づいて、撮像素子２０９の撮像期間と同期して回転色フィルタ１０２を所定回転数で回転させる。例えば、色フィルタを１秒間に２０回転させると、各色フィルタは６０分の１秒間隔で入射白色光を横切ることになる。この場合、撮像素子２０９は、６０分の１秒間隔で３原色の各色光（Ｒ或はＧ或はＢ）に対する観察対象からの反射光を撮像し、画像の転送を完了することになる。即ち、本実施形態では、Ｒ画像、Ｇ画像、Ｂ画像が６０分の１秒間隔で撮像される面順次方式の撮像を行い、実質のフレームレートは２０ｆｐｓ（fps: frame per second）となる。
　撮像部２００は、例えば大腸などの体腔への挿入を可能にするため細長くかつ湾曲可能に形成される。撮像部２００は、光源部１００により集光された光を導くためのライトガイドファイバ２０１と、ライトガイドファイバ２０１により先端まで導かれた光を拡散させて観察対象に照射する照明レンズ２０２、２０４と、を含む。また撮像部２００は、観察対象から戻る反射光を集光する対物レンズ２０３と、集光した結像光を検出するための撮像素子２０９と、撮像素子２０９からの光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２１０と、を含む。また撮像部２００は、メモリ２１１と、制御装置３００に対して撮像部２００を着脱可能にするためのコネクタ２１２と、を含む。
　メモリ２１１は、後述する前方視野画像と側方視野画像の抽出境界線情報や、前方視野画像と側方視野画像の表示倍率情報や、撮像部２００に固有の製造バラツキに関係する固有情報が記録される。
　撮像素子２０９は、モノクロ単板撮像素子であり、例えばＣＣＤやＣＭＯＳイメージセンサ等が利用できる。
　対物レンズ２０３は、後述するように前方観察光学系と側方観察光学系の組み合わせにより１８０度以上（その値を含む）の視野角を持つ光学系で構成され、例えば大腸のヒダ裏にある病変部１０を観察できるようになっている。
　照明レンズ２０２、２０４は、対物レンズ２０３の視野角内の観察対象を均一に照明できるように対物レンズ２０３の光軸に対して外側を向いて配置される。本実施形態では、数千本からなるライトガイドファイバ２０１を２つに分割したが、更に多くに分割して対応する照明レンズを内視鏡スコープ先端に配置してもよい。これにより広視野角の領域をより均一に照明できるようになる。また照明としてＬＥＤや有機ＥＬ等の発光素子を内視鏡スコープ先端に多数配置してもよい。
　制御装置３００は、前方視野画像と側方視野画像の境界領域を補正する処理を行う画像処理部３０１と、内視鏡装置各部の制御を行う制御部３０２と、を含む。
　表示部４００は、例えばＣＲＴや液晶モニタ等の動画表示可能な表示装置により構成される。
　外部Ｉ／Ｆ部５００は、この内視鏡装置に対するユーザからの入力等を行うためのインターフェースである。例えば、外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換スイッチ（例えば前方視野画像と側方視野画像の表示面積比率を手動で切換える為のスイッチ）などを含む。外部Ｉ／Ｆ部５００は、入力された情報を制御部３０２へ出力する。
　２．２．対物レンズ
　図４（Ａ）に、前方視野と側方視野を観察する対物レンズの詳細な構成例を示す。図４（Ａ）に示すように、レンズ２０の前面には、前方視野からの光が入射し、レンズ２０の側面には、側方視野からの光が入射する。前方視野からの光は、レンズ２０の透過部２１（屈折部）を透過し、撮像素子２０９へ導かれる。側方視野からの光は、レンズ２０の反射部２６、２２に反射され、撮像部２００へ導かれる。
　図４（Ｂ）に示すように、レンズ２０を光軸Ｚ前方側から見た場合、前方視野からの光を透過する透過部２１（透過領域）と、側方視野からの光線を反射する反射部２２（反射領域）から構成される。このような光学系では、反射部２２と透過部２１の境界領域において、前方視野の被写体からの反射光が一部遮られる。そのため、図４（Ｃ）に示すように、撮像素子上に結像した前方視野画像２３と側方視野画像２４の境界領域には、シェーディングが発生する。このシェーディングにより、境界領域は黒い帯状の円環領域２５となる。
　ここで、前方視野とは、光軸方向を含む前方の視野範囲であり、例えば光軸に対して０度～７０度の範囲である。側方視野とは、光軸に直交する方向を含む側方の視野範囲であり、例えば光軸に対して７０度～１３５度の範囲である。本実施形態の対物レンズ２０３は、例えば光軸に対して０度～１１０度の視野範囲を有する。
　また、シェーディングとは、画像上における陰影であり、光学系に起因して画像上において他の領域よりも暗い（例えば輝度が小さい）ことである。例えば、図４（Ａ）に示すように、前方視野と側方視野の間にはレンズ２０による死角が生じ、その死角に対応する画像上の影がシェーディングとなる。あるいは、透過部２１を透過する前方視野の光は、光学系によるケラレ等によって周辺減光を生じ、その周辺減光がシェーディングとなる。
　２．３．画像処理部
　図５に、画像処理部３０１の第１の詳細な構成例を示す。画像処理部３０１は、画像取得部３０５、出力画像生成部３１０、境界領域補正部３１５、境界線描画部３６０を含む。境界領域補正部３１５は、領域抽出部３２０、変倍処理部３２５、合成部３５０を含む。変倍処理部３２５は、第１領域倍率補正部３３０、第２領域倍率補正部３４０を含む。
　各構成部間の接続関係とデータの流れを説明する。Ａ／Ｄ変換部２１０から出力された撮像画像は、画像取得部３０５に入力される。制御部３０２は、画像取得部３０５と、出力画像生成部３１０と、領域抽出部３２０と、第１領域倍率補正部３３０と、第２領域倍率補正部３４０と、境界線描画部３６０と、に接続されている。制御部３０２には、メモリ２１１に記録された撮像部２００に固有の情報（前方視野画像及び側方視野画像の抽出境界情報や、前方視野画像と側方視野画像の表示倍率情報）が入力される。
　画像取得部３０５は、前方視野と側方視野が撮像された１枚の画像を取得し、取得した画像を出力画像生成部３１０に出力する。具体的には、上述のレンズ２０を用いて前方視野と側方視野が同時に１枚の画像として撮像され、画像取得部３０５が、その１枚の画像を取得する。なお、前方視野と側方視野は同時に撮像されなくてもよい。例えば、前方視野と側方視野が、別々の撮像動作により順次撮像され、画像取得部３０５が、その別々に撮像された前方視野画像と側方視野画像を合成して１枚の画像として取得してもよい。
　出力画像生成部３１０は、入力された撮像画像を、制御部３０２から出力される出力画像生成パラメータ（例えばＯＢクランプ、ホワイトバランス、γ変換テーブル、強調係数、拡大倍率など）に基づいて表示モニタに表示可能な画像形式に変換し、変換後の画像を出力画像として領域抽出部３２０へ出力する。
　境界領域補正部３１５は、前方視野画像及び側方視野画像のうちの少なくとも一方を、前方視野画像と側方視野画像の境界領域に対してオーバーラップさせて、境界領域を縮小するように補正する処理を行う。領域抽出部３２０には、メモリ２１１に記録されている前方視野画像と側方視野画像に対する抽出境界線情報が、制御部３０２を介して入力される。領域抽出部３２０により出力画像から抽出された前方視野画像は、第１領域倍率補正部３３０へ出力される。領域抽出部３２０により出力画像から抽出された側方視野画像は第２領域倍率補正部３４０へ出力される。
　第１領域倍率補正部３３０は、入力される前方視野画像に対する変倍処理を、制御部３０２から出力される倍率情報に基づいて行い、変倍処理後の前方視野画像を合成部３５０へ出力する。前方視野画像に対する変倍処理として、倍率情報に基づく拡大処理と、等倍処理（倍率変化無し）と、縮小処理のうちのいずれかが、適宜行われる。この変倍処理は、前方視野画像の中心を基準としたときの径方向に沿って行われることが好ましい。
　第２領域倍率補正部３４０は、入力される側方視野画像に対する変倍処理を、制御部３０２から出力される倍率情報に基づいて行い、変倍処理後の側方視野画像を合成部３５０へ出力する。側方視野画像に対する変倍処理として、倍率情報に基づく拡大処理と、等倍処理（倍率変化無し）と、縮小処理のうちのいずれかが、適宜行われる。
　合成部３５０は、第１領域倍率補正部３３０から出力される変倍処理後の前方視野画像と、第２領域倍率補正部３４０から出力される変倍処理後の側方視野画像とを、境界領域でオーバーラップさせるようにして合成画像を作成し、合成画像を境界線描画部３６０へ出力する。オーバーラップの方法には、変倍後の前方視野画像を変倍後の側方視野画像にオーバーラップする方法、変倍後の側方視野画像を変倍後の前方視野画像にオーバーラップする方法がある。また、境界領域の前方視野画像側の領域において、変倍後の前方視野画像を変倍後の側方視野画像にオーバーラップするとともに、境界領域の側方視野画像側の領域において、変倍後の側方視野画像を変倍後の前方視野画像にオーバーラップしてもよい。
　境界線描画部３６０は、合成部３５０から出力される合成画像に対して、制御部３０２からの前方視野画像と側方視野画像のオーバーラップ境界位置情報に基づいて、所定色の境界線を描画し、描画後の画像を表示部４００へ出力する。所定色は、例えば、黒等の固定色、或は周辺の色に対して反対色となる色などである。描画される境界線は、合成された前方視野画像と側方視野画像の境界が識別可能な形態であればよく、例えば実線や破線やその他の形態の線である。
　次に、図６（Ａ）～図６（Ｅ）に示す模式図を用いて、前方視野画像を用いて前方視野画像と側方視野画像の境界領域を補正する処理について説明する。
　図６（Ａ）には、出力画像生成部３１０から出力される出力画像を示す。出力画像には、前方視野画像ＦＲ、側方視野画像ＳＲ、境界領域ＢＲが含まれる。Ｌ１は、前方視野画像ＦＲを抽出するための抽出境界線を表す。ＣＰは、前方視野画像ＦＲの中心位置を表す。
　図６（Ｂ）に示すように、制御部３０２からの抽出境界線Ｌ１に基づいて、領域抽出部３２０により前方視野画像ＦＲが抽出される。抽出された前方視野画像ＦＲは、第１領域倍率補正部３３０により、制御部３０２からの中心位置ＣＰを基準に、制御部３０２からの倍率情報に基づいて径方向に拡大処理される。
　図６（Ｃ）に示すように、第１領域倍率補正部３３０から出力された拡大された前方視野画像ＦＲ’は、合成部３５０により、第２領域倍率補正部３４０から出力された側方視野画像ＳＲ（例えば倍率変化無し）にオーバーラップされる。オーバーラップにより合成された画像は、合成画像として出力される。
　図６（Ｄ）に示すように、合成部３５０から出力された合成画像のオーバーラップ境界部に、境界線描画部３６０により境界線ＷＬが描画される。描画後の画像は、前方視野画像と側方視野画像がより明確に識別可能な境界線描画済みの合成画像として出力される。オーバーラップ境界部は、例えばオーバーラップした前方視野画像ＦＲ’の外縁である。
　なお、図６（Ｅ）に示すように、上記において前方視野画像ＦＲ（前方領域の画像）とは、抽出境界線Ｌ１（第１境界線）により抽出された画像を表し、側方視野画像ＳＲとは、側方観察光学系（図４（Ａ）の反射部２２、２６）により撮像される画像を表す。また、境界領域ＢＲとは、光学系の死角や周辺減光により生じるシェーディング領域を表す。
　次に、図７（Ａ）～図７（Ｅ）に示す模式図を用いて、側方視野画像を用いた前方視野画像と側方視野画像の境界領域の補正処理について説明する。
　図７（Ａ）に示すように、Ｌ２は、側方視野画像ＳＲを抽出するための抽出境界線を表す。ＳＲＰは、側方視野ＳＲの外周を表す。
　図７（Ｂ）に示すように、制御部３０２からの抽出境界線Ｌ２に基づいて、領域抽出部３２０により側方視野画像ＳＲが抽出される。抽出された側方視野画像ＳＲは、第２領域倍率補正部３４０により、制御部３０２からの情報である外周ＳＲＰを基準に、制御部３０２からの倍率情報に基づいて中心位置ＣＰに向かって径方向に拡大処理される。
　図７（Ｃ）に示すように、第２領域倍率補正部３４０から出力された拡大された側方視野画像ＳＲ’は、合成部３５０により、第１領域倍率補正部３３０から出力された前方視野画像ＦＲ（例えば倍率変化無し）にオーバーラップされる。オーバーラップにより合成された画像は、合成画像として出力される。
　図７（Ｄ）に示すように、合成部３５０から出力された合成画像のオーバーラップ境界部に、境界線描画部３６０により境界線ＷＬが描画される。描画後の画像は、前方視野画像と側方視野画像がより明確に識別可能な境界線描画済みの合成画像として出力される。オーバーラップ境界部は、例えばオーバーラップした側方視野画像ＳＲ’の内縁である。
　なお、図７（Ｅ）に示すように、上記において前方視野画像ＦＲとは、前方観察光学系（図４（Ａ）の透過部２１）により撮像される画像を表し、側方視野画像ＳＲ（側方領域の画像）とは、抽出境界線Ｌ２（第２境界線）により抽出された画像を表す。
　ここで、上述の前方視野画像の抽出境界線Ｌ１と、側方視野画像の抽出境界線Ｌ２は、例えばグレーパッチなどの均一な色チャートを撮影することにより設定する。具体的には、チャートが撮影された画像において、前方視野画像に属する第１の円と、側方視野画像に属する第２の円を設定する。第１、第２の円は中心を共有する円である。この２つの円の円周上の各最近点に対応する２つの画素の画素値差の絶対値が所定値以内となる場合において、第１、第２の円の半径差が最も小さな第１、第２の円を、抽出境界線Ｌ１、Ｌ２として設定する。このようにすれば、オーバーラップしたときに、オーバーラップ境界部において画素値の差を所定値より小さくできるため、見た目に違和感の無い画像を表示可能になる。
　なお、上記では、前方視野画像又は側方視野画像の一方を変倍処理したが、本実施形態ではこれに限定されず、前方視野画像と側方視野画像の両方を変倍処理して合成することで境界領域を補正してもよい。
　次に、図８（Ａ）～図８（Ｃ）を用いて、変倍処理部３２５が行う変倍処理について説明する。
　図８（Ａ）に示すように、前方視野画像と側方視野画像を両方とも拡大して境界領域を補正する場合、変倍処理による変位量は、前方視野画像において正であり、側方視野画像において負である。
　図８（Ａ）において、グラフの横軸は、前方視野画像及び側方視野画像の中心（中心位置は２つの視野画像で共通）からの距離を表し、グラフの縦軸は、累積変位量を表す。前方視野画像における累積変位量の起点は、前方視野画像の中心であり、側方視野画像における累積変位量の起点は、側方視野画像の外周である。ＦＬは、前方視野画像に対する変位量の特性線を表し、ＳＬは、側方視野画像に対する変位量の特性線を表す。Ｄ１は、前方視野画像の中心から抽出境界線までの距離を表し、Ｄ２は、側方視野画像の中心から抽出境界線までの距離を表し、Ｄ３は、中心から側方視野画像の外周までの距離を表す。
　図８（Ｂ）に示すように、前方視野画像を拡大し、側方視野画像を縮小して境界領域を補正する場合、変倍処理による変位量は、前方視野画像と側方視野画像において正である。
　図８（Ｃ）に示すように、前方視野画像を縮小し、側方視野画像を拡大して境界領域を補正する場合、変倍処理による変位量は、前方視野画像と側方視野画像において負である。
　上記３つの例の変倍率と変位量の関係式は以下の通りである。中心からの距離ｒに対する前方視野画像の変倍率Ｖｆ（ｒ）の一例を、下式（１）に示す。
Ｖｆ（ｒ）＝αｆｒ４＋βｆｒ２＋γｆ　　（１）
　前方視野画像の変位量Ｄｆ（ｒ）を、下式（２）に示す。最大変位量、即ち距離Ｄ１における変位量は、Ｄｆ（Ｄ１）である。ここで、∫０→ｒは、区間［０，ｒ］の積分を表す。
Ｄｆ（ｒ）＝∫０→ｒＶｆ（ｘ）ｘｄｘ　　（２）
　中心からの距離ｒに対する側方視野画像の変倍率Ｖｓ（ｒ）の一例を、下式（３）に示す。
Ｖｓ（ｒ）＝αｓｒ４＋βｓｒ２＋γｓ　　（３）
　側方視野画像の変位量Ｄｓ（ｒ）を、下式（４）に示す。最大変位量、即ち距離Ｄ２における変位量は、Ｄｓ（Ｄ２）となる。ここで、∫Ｄ３→ｒは、区間［Ｄ３，ｒ］の積分を表す。
Ｄｓ（ｒ）＝∫Ｄ３→ｒＶｓ（ｘ）ｘｄｘ　　（４）
　前方視野画像の最大変位量Ｄｆ（Ｄ１）と側方視野画像の最大変位量Ｄｓ（Ｄ２）は、下式（５）の関係を満足する。
Ｄ１＋Ｄｆ（Ｄ１）≧Ｄ２＋Ｄｓ（Ｄ２）　　（５）
　例えば、外部Ｉ／Ｆ部５００のスイッチ操作により観察モードの変更を行い、上記変倍率パラメータαｆ、βｆ、γｆ、αｓ、βｓ、γｓを変更することで、境界領域を補正しつつ、前方視野画像と側方視野画像の全体及び局所的な表示比率を自由に変更することができる。これにより、観察したい病変部を自由に拡大表示することが可能となる。
　以上の実施形態によれば、前方視野画像と側方視野画像の境界領域がヒダの影と誤認されることを防止でき、前方視野画像と側方視野画像の表示倍率を自由に変更できる。これにより、病変部の発見率向上に寄与することができる。
　なお、上記の変倍率Ｖｆ（ｒ）、Ｖｓ（ｒ）において、係数αｆ、βｆ、αｓ、βｓは、ゼロであってもよい。この場合、中心からの距離ｒに依らず一定の変倍率γｆ、γｓで拡大縮小できる。
　また、図９に示すように、抽出境界線Ｌ１、Ｌ２を、マージン領域ＭＲ１、ＭＲ２を確保して設定してもよい。ＭＲ１は、境界領域ＢＲと抽出境界線Ｌ１との間のマージン領域であり、ＭＲ２は、境界領域ＢＲと抽出境界線Ｌ２との間のマージン領域である。境界領域ＢＲは、光学設計上、観察に適さない視野角として決定された領域であり、その境界領域ＢＲに対して統計的な製造バラツキを考慮して十分なマージン領域ＭＲ１、ＭＲ２を確保する。このようにすれば、個別の撮像部２００に固有の抽出境界線Ｌ１、Ｌ２を記憶するメモリ２１１を用意しなくてもよいため、撮像部２００のコスト低減を図ることができる。
　以上の実施形態によれば、図５に示すように内視鏡用画像処理装置は画像取得部３０５と境界領域補正部３１５を含む。図４で説明したように、画像取得部３０５は、前方視野に対応する前方画像（前方視野画像２３）と、側方視野に対応する側方画像（側方視野画像２４）とが、１枚の取得画像として形成された画像信号を、取得する。図６（Ａ）～図７（Ｄ）で説明したように、境界領域補正部３１５は、取得画像における前方視野に対応する領域を前方領域とし、取得画像における側方視野に対応する領域を側方領域とする場合に、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの少なくとも一方を、前方領域と側方領域の境界となる領域である境界領域ＢＲに対してオーバーラップさせるオーバーラップ処理を行う。
　このようにすれば、境界領域ＢＲによる視認性低下を抑制することが可能になる。即ち、境界領域ＢＲを補正することで境界領域ＢＲのシェーディングを無くすことができるため、そのシェーディングをヒダの影と誤認することを防止できる。また、診断に不必要な領域を表示上から削除できるため、病変判定の効率向上が得られる。
　ここで、オーバーラップ処理とは、画像の所定領域（本実施形態では境界領域）に対して、その所定領域とは異なる画像を上から重ねることである。例えば、画像が記憶される画像メモリにおいて、画像の所定領域に対応するメモリ領域に他の画像（本実施形態では、変倍後の画像）のデータを上書きすることにより、オーバーラップ処理が行われる。あるいは、画像から所定領域が削除され、その画像と他の画像とが１つの画像として合成されることによりオーバーラップ処理が行われる。
　また、境界領域とは、前方領域と側方領域の間に存在するシェーディング領域であり、例えば本実施形態では、後述のように前方観察光学系と側方観察光学系の間の死角や、前方観察光学系の周辺減光により生じる領域である。あるいは、図５で説明したように前方視野と側方視野が時系列に撮像されてもよく、この場合、境界領域とは、前方画像と側方画像が合成された１枚の画像において、撮像光学系や合成処理等により生じたシェーディング領域である。
　また本実施形態では、図５に示すように、境界領域補正部３１５は変倍処理部３２５と合成部３５０を含む。変倍処理部３２５は、前方領域の画像ＦＲ及び側方領域の画像ＳＲの少なくとも一方の表示倍率を変更する変倍処理を行う。合成部３５０は、変倍処理後の前方領域の画像と側方領域の画像を合成することにより、オーバーラップ処理を行う。
　より具体的には、境界領域補正部３１５は領域抽出部３２０を有する。図６（Ａ）～図７（Ｅ）で説明したように、領域抽出部３２０は、取得画像から、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの一方を変倍処理の対象画像として抽出する。変倍処理部３２５は、その対象画像を拡大する変倍処理を行う。合成部３５０は、拡大された対象領域（ＦＲ’又はＳＲ’）と、前方領域及び側方領域のうちの他方（ＳＲ又はＦＲ）とを、合成する。
　例えば、図６（Ａ）や図７（Ｂ）で説明したように、変倍処理部３２５は、前方視野画像ＦＲの中心ＣＰを基準としたときの径方向に沿って対象画像を拡大する処理を変倍処理として行う。ここで、径方向に沿った拡大処理は、図６（Ｂ）に示すように中心ＣＰから遠ざかる方向に対象画像を拡大する処理でもよいし、図７（Ｂ）に示すように中心ＣＰへ近づく方向に対象画像を拡大する処理でもよい。あるいは、対象画像の中心ＣＰ側を中心ＣＰへ近づく方向に、対象画像の外側を中心ＣＰから遠ざかる方向に拡大する処理でもよい。
　このようにすれば、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの一方を拡大し、他方と合成することで、境界領域ＢＲに対してオーバーラップ処理できる。一方のみを変倍処理するため、画像メモリ等のハードウェアを節約できる。
　また本実施形態では、図８（Ａ）～図８（Ｃ）で説明したように、変倍処理部３２５は、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの一方を拡大する変倍処理を行い、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの他方を縮小する変倍処理を行ってもよい。合成部３５０は、変倍処理後の前方領域の画像及び側方領域の画像を合成してもよい。
　このようにすれば、前方領域の画像ＦＲ及び側方領域の画像ＳＲのうちの一方を拡大し、他方を縮小して合成することで、境界領域ＢＲに対してオーバーラップ処理できる。前方領域の画像ＦＲと側方領域の画像ＳＲを自由に拡大縮小できるため、観察領域を自在に拡大表示できる。例えば、視野中央部の病変部を観察する場合には前方領域の画像ＦＲを拡大し、スクリーニングにおいて視野側方のヒダ裏を観察する場合には側方視野の画像ＳＲを拡大できる。
　また本実施形態では、図５に示すように、内視鏡用画像処理装置は境界線描画部３６０を含む。図６（Ｄ）等で説明したように、境界線描画部３６０は、合成された前方領域の画像と側方領域の画像の境界を識別可能にするための境界線ＷＬを描画する。
　このようにすれば、前方領域の画像と側方領域の画像の境界を明確に表示できる。即ち、図４（Ａ）等で説明したように光学系により死角が生じ、その死角に対応する境界領域ＢＲをオーバーラップ処理により隠すため、合成された前方領域の画像と側方領域の画像の境界は不連続な画像になる。例えば鉗子等が境界にあると視覚的に違和感を与える可能性があるため、境界線を描画することで、その違和感を軽減できる。
　また本実施形態では、境界領域は、図４（Ａ）～図４（Ｃ）で説明したように、前方視野と側方視野を撮像するための光学系（レンズ２０）における光学設計値に基づく所定視野角の環状領域２５である。図９で説明したように、境界領域ＢＲと前方領域の間の境界線である第１境界線Ｌ１は、環状領域ＢＲよりも内側に設定される。境界領域ＢＲと側方領域の間の境界線である第２境界線Ｌ２は、環状領域ＢＲよりも外側に設定される。
　このようにすれば、境界領域ＢＲよりも内側の前方領域と、境界領域ＢＲよりも外側の側方領域を抽出でき、境界領域ＢＲを除外した領域を抽出できる。
　また本実施形態では、第１境界線Ｌ１と第２境界線Ｌ２は、所定視野角の環状領域ＢＲに対して、統計的な製造バラツキに応じたマージン領域ＭＲ１、ＭＲ２が付加（加味）されて設定される。
　このようにすれば、製造バラツキを考慮した個々のスコープにおける境界線Ｌ１、Ｌ２を設定する必要がないため、共通の境界線Ｌ１、Ｌ２を用いることができる。これにより、例えば個々のスコープにおいて境界線の設定作業をする必要を無くすことができる。
　また本実施形態では、図４（Ａ）等で説明したように、内視鏡装置は、前方視野を撮像するための前方観察光学系（レンズ２０の透過部２１）と、側方視野を撮像するための側方観察光学系（レンズ２０の反射部２２、２６）を含む。また図１に示すように、内視鏡装置は、前方視野と側方視野を同時に撮像する撮像素子２０９を含む。
　このようにすれば、前方視野と側方視野を同時に１つの画像として撮像できる。なお、本実施形態では上記光学系に限定されず、例えば前方視野用と側方視野用の光学系が別個でない光学系により、前方視野と側方視野が時系列的に撮像されてもよい。この場合、図５で上述のように、時系列的に撮像された画像を合成することにより１つの画像としてもよい。
　また本実施形態では、図４（Ａ）等で説明したように、境界領域は、前方観察光学系により得られる前方視野と、側方観察光学系により得られる側方視野との間の死角に対応する領域を含む。また、境界領域は、前方観察光学系の周辺減光によりシェーディングが生じた領域の少なくとも一部を含んでもよい。例えば、上述のグレーパッチを撮像した状態で、所定の輝度よりも暗い周辺減光領域が境界領域に含まれる。
　３．第２の実施形態
　３．１．内視鏡装置
　図１０に、内視鏡装置の第２の構成例を示す。内視鏡装置は、光源部１００、撮像部２００、制御装置３００（プロセッサ部）、表示部４００、外部Ｉ／Ｆ部５００を含む。図１で上述の第１の構成例と異なる構成要素について主に説明し、同一の構成要素については適宜説明を省略する。
　光源部１００は、白色光源１０１と、ライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４と、を含む。第２の構成例では、回転色フィルタは存在しない。
　撮像部２００において、第２の構成例では、撮像素子２０９として原色単板撮像素子を用いる。原色単板撮像素子は、いわゆるベイヤ（Bayer）配列の撮像素子であり、ＣＣＤやＣＭＯＳイメージセンサが利用できる。
　３．２．画像処理部
　図１２に、画像処理部３０１の第２の詳細な構成例を示す。画像処理部３０１は、画像取得部９０５、前処理部９１０、境界領域補正部９１５、後処理部９９０、境界線描画部９９５を含む。境界領域補正部９１５は、抽出領域設定部９２０、領域抽出部９４０、シェーディング補正部９５０、変倍処理部９５５、合成部９８０を含む。変倍処理部９５５は、補正量制御部９３０、第１領域倍率補正部９６０、第２領域倍率補正部９７０を含む。
　各構成部間の接続関係とデータの流れを説明する。Ａ／Ｄ変換部２１０から出力された撮像画像は、画像取得部９０５に入力される。画像取得部９０５により取得された画像は、前処理部９１０に入力される。制御部３０２は、画像取得部９０５と、前処理部９１０と、抽出領域設定部９２０と、補正量制御部９３０と、後処理部９９０と、境界線描画部９９５に双方に通信可能な状態で接続される。制御部３０２は、メモリ２１１に記録されている撮像部２００に固有の情報（前方視野画像及び側方視野画像の抽出境界情報や、前方視野画像と側方視野画像の表示倍率情報）の読み込みや、メモリ２１１に記録されている情報の更新を行う。
　前処理部９１０は、入力される撮像画像を、制御部３０２から出力される出力画像生成パラメータ（ＯＢクランプ、ホワイトバランス）に基づいて補正し、補正した撮像画像を、抽出領域設定部９２０と領域抽出部９４０に出力する。
　抽出領域設定部９２０は、制御部３０２からの抽出領域設定信号がＯＮの場合に抽出領域設定処理を行い、設定した抽出領域情報を、補正量制御部９３０と制御部３０２と領域抽出部９４０に出力する。また、抽出領域設定部９２０は、設定したシェーディング補正係数をシェーディング補正部９５０に出力する。抽出領域情報とは、第１の実施形態において説明したように、前方視野画像と側方視野画像の中心位置の情報、前方視野画像の抽出境界線の情報、側方視野画像の抽出境界線の情報、側方視野画像の外周の情報である。例えば、抽出領域情報は、中心位置ＣＰ（例えば図６（Ａ））の座標、その中心位置ＣＰを原点とする極座標形式において中心位置ＣＰからの距離Ｄ１、Ｄ２、Ｄ３（例えば図８（Ａ））である。この抽出領域設定処理については、詳細に後述する。
　例えば、抽出領域設定信号は、外部Ｉ／Ｆ部５００のスイッチによりＯＮ・ＯＦＦ制御される。例えば、ユーザが、外部Ｉ／Ｆ部５００のスイッチによりホワイトバランス係数算出モードを選択した場合に、そのモードに連動して抽出領域設定信号がＯＮになり、通常の診察時においては、抽出領域設定信号はＯＦＦである。
　補正量制御部９３０は、抽出領域設定部９２０と同様に、制御部３０２からの観察モード切替信号により補正量制御を行う。補正量制御部９３０は、抽出領域設定部９２０から入力される抽出領域情報に基づいて、前方視野画像の倍率補正情報と側方視野画像の倍率補正情報を設定し、前方視野画像の倍率補正情報を第１領域倍率補正部９６０へ出力し、側方視野画像の倍率補正情報を第２領域倍率補正部９７０へ出力する。例えば、倍率補正情報は、第１の実施形態で説明した上式（１）、（３）の多項式の係数値により与えられる。
　領域抽出部９４０には、前処理部９１０から出力されたホワイトバランス処理済の撮像画像が入力される。領域抽出部９４０は、その入力された撮像画像から、抽出領域設定部９２０からの抽出領域情報に基づいて前方視野画像と側方視野画像をそれぞれ抽出し、抽出した画像をシェーディング補正部９５０へ出力する。
　シェーディング補正部９５０は、入力される前方視野画像と側方視野画像に対して、抽出領域設定部９２０から出力されるシェーディング補正係数を使って、シェーディング補正を行う。シェーディング補正部９５０は、補正後の前方視野画像を第１領域倍率補正部９６０へ出力し、補正後の側方視野画像を第２領域倍率補正部９７０へ出力する。
　第１領域倍率補正部９６０と第２領域倍率補正部９７０と合成部９８０は、第１の実施形態と基本的には同じ処理を行う。第１の実施形態との違いは、第１の実施形態では撮像画像は各画素当り３つの色信号からなり、第２の実施形態では撮像画像は各画素当り１つの色信号からなる点である。第２の実施形態では、前方視野画像と側方視野画像の倍率補正を行った後でも、図１１の信号配列が維持されるように倍率補正を行う。即ち、同色の周辺画素を用いて補間処理を行い、所定の画素位置に所定の１つの色信号を生成する。
　後処理部９９０には、合成部９８０から出力された前方視野画像と側方視野画像が合成された撮像画像が入力される。後処理部９９０は、その入力された撮像画像に対して、例えばデモザイキング処理や色補正処理、階調変換処理、強調処理、拡大処理等を行い、表示モニタに表示可能な出力画像を生成し、その出力画像を境界線描画部９９５へ出力する。
　境界線描画部９９５は、第１の実施形態と同様の処理を行うため、説明を省略する。
　３．３．抽出領域設定部
　図１３に、抽出領域設定部９２０の詳細な構成例を示す。抽出領域設定部９２０は、境界領域検出部７１０、中心算出部７２０、境界線設定部７３０（抽出境界線決定部）、抽出領域パラメータ設定部７４０、シェーディング補正パラメータ設定部７５０を含む。
　各構成部間の接続関係とデータの流れを説明する。前処理部９１０から出力された撮像画像は、境界領域検出部７１０に入力される。ここで、撮像画像の対象物は、ホワイトバランス係数を算出する為の白色パッチであり、撮像部２００の先端と白色パッチの相対的な位置関係が保たれた状態で撮影できるものとする。
　制御部３０２は、境界領域検出部７１０と境界線設定部７３０と抽出領域パラメータ設定部７４０とシェーディング補正パラメータ設定部７５０に双方に通信可能な状態で接続される。
　境界領域検出部７１０には、前処理部９１０から出力されるホワイトバランス処理後の撮像画像が入力され、制御部３０２からの抽出領域設定信号がＯＮである場合には、境界領域を検出するための検出領域情報と検出閾値が制御部３０２から入力される。境界領域検出部７１０は、入力される撮像画像を検出領域情報に基づいて抽出し、抽出した検出領域に対して図１１のベイヤ配列の２×２の隣接画素（Ｒ、Ｇ、Ｇ、Ｂ）の総和をとる処理を行い、輝度信号を生成する。境界領域検出部７１０は、生成した輝度信号と検出閾値の比較により２値化処理を行い、２値化処理後の輝度信号から不要な細線の除去を行い、境界線を抽出する。境界領域検出部７１０は、抽出した境界線情報を中心算出部７２０へ出力し、生成した輝度信号を境界線設定部７３０へ出力する。
　中心算出部７２０は、入力される境界線情報から重心位置を算出し、この重心位置を前方視野画像及び側方視野画像の中心位置として設定し、設定した中心位置を境界線設定部７３０に出力する。
　境界線設定部７３０は、入力される輝度信号のシェーディング許容位置を、制御部３０２からのシェーディング許容閾値に基づいて決定する。具体的には図１４（Ａ）に示すように、境界線設定部７３０は、中心位置ＣＰ周辺の平均輝度値をシェーディングの基準値とし、その基準値により検出領域内（例えば画像全体）の輝度値を除算することでシェーディング画像を算出する。境界線設定部７３０は、算出したシェーディング画像と、制御部３０２から入力されたシェーディング許容閾値Ｔとにより、シェーディング許容位置を決定し、中心位置に最も近い位置を通る円形状の抽出境界線Ｌ１、Ｌ２を決定する。境界線設定部７３０は、決定した抽出境界線Ｌ１、Ｌ２を抽出領域パラメータ設定部７４０とシェーディング補正パラメータ設定部７５０へ出力し、算出したシェーディング画像をシェーディング補正パラメータ設定部７５０へ出力する。
　より具体的には図１４（Ｂ）に示すように、境界線設定部７３０は、シェーディング画像の輝度レベルが閾値Ｔとなる位置を求め、中心からその位置までの距離を算出する。算出された距離のうち小さい方の距離を半径とする円を、抽出境界線Ｌ１に設定する。また、境界線設定部７３０は、算出された距離のうち大きい方の距離に所定距離を足した距離を半径とする円を、抽出境界線Ｌ２に設定する。
　抽出領域パラメータ設定部７４０は、入力された抽出境界線Ｌ１、Ｌ２の半径情報及び中心座標を抽出領域パラメータとして設定し、その抽出領域パラメータを、制御部３０２を介してメモリ２１１に格納する。また、抽出領域パラメータを領域抽出部９４０へ出力する。
　シェーディング補正パラメータ設定部７５０は、入力される抽出境界線Ｌ１、Ｌ２と中心位置とシェーディング画像から、シェーディング補正係数画像又はシェーディング補正係数を算出する。シェーディング補正パラメータ設定部７５０は、そのシェーディング補正係数画像又はシェーディング補正係数をシェーディング補正パラメータとして設定し、設定したパラメータを、制御部３０２を経由してメモリ２１１に格納する。また、設定したパラメータをシェーディング補正部へ出力する。ここで、シェーディング補正係数画像は、中心位置を基準としたシェーディング画像の各画素値の逆数を取った画像である。また、図１４（Ｃ）に示すように、シェーディング補正係数（シェーディング補正量）は、シェーディング補正係数画像の画素値を円周方向で平均化して算出した係数であり、半径方向の１次元の係数である。
　抽出領域設定部９２０は、制御部３０２からの抽出領域設定信号がＯＦＦの場合は、メモリ２１１に記録されているパラメータを抽出領域パラメータ設定部７４０とシェーディング補正パラメータ設定部７５０に読み込み、そのパラメータを領域抽出部９４０とシェーディング補正部９５０へ出力する。
　なお、上記では前方視野画像のみにシェーディング補正を行う場合を例に説明したが、本実施形態はこれに限定されない。例えば、前方視野画像及び側方視野画像にシェーディング補正を行ってもよい。
　以上の実施形態によれば、図１２、図１３に示すように、境界領域補正部９１５は境界線設定部７３０と領域抽出部９４０を含む。図１４（Ａ）に示すように、境界線設定部７３０は、取得画像から前方領域の画像を抽出するための境界線である第１境界線Ｌ１、及び取得画像から側方領域の画像を抽出するための境界線である第２境界線Ｌ２のうちの少なくとも一方を設定する。領域抽出部９４０は、第１境界線Ｌ１が設定された場合に、第１境界線Ｌ１に基づいて前方領域の画像を抽出する。第２境界線が設定された場合に、第２境界線Ｌ２に基づいて側方領域の画像を抽出する。
　より具体的には、図１３に示すように、境界領域補正部９１５は、境界領域を検出する境界領域検出部７１０を有する。図１４（Ｂ）で説明したように、境界線設定部７３０は、検出された境界領域に基づいて第１境界線Ｌ１及び第２境界線Ｌ２の少なくとも一方を設定する。
　このようにすれば、第１、第２境界線Ｌ１、Ｌ２の少なくとも一方を設定でき、設定した境界線により前方領域、側方領域の少なくとも一方を設定できる。なお、第２の実施形態では、前方領域の画像と側方領域の画像の両方を抽出する場合を説明したが、第１の実施形態で説明したように、前方領域の画像と側方領域の画像の一方を抽出し、シェーディング補正とオーバーラップ処理を行ってもよい。
　また本実施形態では、図１４（Ｂ）で説明したように、境界線設定部７３０は、取得画像における輝度レベルの変化を表すシェーディング量（例えば、中心周辺の輝度平均値で正規化した輝度値）に基づいて第１境界線Ｌ１を設定する。領域抽出部９４０は、取得画像の中の第１境界線Ｌ１よりも内側の領域の画像を前方領域の画像として抽出する。
　より具体的には、図１２に示すように、境界領域補正部９１５は、前方領域におけるシェーディング量を補正するシェーディング補正部９５０を有する。合成部９８０は、シェーディング量が補正された前方領域の画像と側方領域の画像を合成する。
　このようにすれば、光学系によって生じた画像上のシェーディング（例えば前方領域における周辺減光）を、シェーディングの無い領域と同等の明るさで表示することができる。シェーディングが生じた領域も表示画像として利用できるため、観察できない死角領域を極力小さく押さえることができる。また、特定の撮影条件下（例えばホワイトバランスキャップ撮影時）において、抽出境界線Ｌ１、Ｌ２を決定できるので、製造バラツキに伴う調整工程を軽減でき、コスト低減も図ることができる。
　また本実施形態では、図１２に示すように、変倍処理部９５５は表示倍率設定部（補正量制御部９３０）を有する。第１境界線Ｌ１と第２境界線Ｌ２は、円形状の境界線である。表示倍率設定部は、その第１境界線Ｌ１と第２の境界線Ｌ２の中心点ＣＰを基準とする表示倍率を設定する（例えば上式（１）、（３）の変倍率Ｖｆ（ｒ）、Ｖｓ（ｒ））。変倍処理部９５５は、設定された表示倍率に基づいて変倍処理を行う。
　より具体的には、変倍処理部９５５は、表示倍率設定部により設定された表示倍率に基づく変位量であって、中心点ＣＰを基準とする半径方向の距離（ｒ）に対して線形又は非線形な変位量（例えば上式（２）、（４）の変位量Ｄｆ（ｒ）、Ｄｓ（ｒ））により、変倍処理を行う。
　このようにすれば、前方領域と側方領域を、自在な変倍率により拡大縮小することができる。また、中心からの距離に対して線形又は非線形の拡大縮小を行うことができるため、ユーザの観察領域に合わせた、より自由度の高い変倍処理が可能になる。
　ここで、上記の実施形態では、境界線Ｌ１、Ｌ２を真円である場合を例に説明したが、本実施形態はこれに限定されず、境界線Ｌ１、Ｌ２は円形状であればよい。即ち、境界線Ｌ１とＬ２の間に、境界領域が存在するものであればよい。
　以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
　また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
１０　病変部、２０　レンズ、２１　透過部、２２　反射部、２３　前方視野画像、
２４　側方視野画像、２５　環状領域、２６　反射部、１００　光源部、
１０１　白色光源、１０２　回転色フィルタ、１０３　回転駆動部、
１０４　集光レンズ、２００　撮像部、２０１　ライトガイドファイバ、
２０２　照明レンズ、２０３　対物レンズ、２０９　撮像素子、２１０　Ａ／Ｄ変換部、２１１　メモリ、２１２　コネクタ、３００　制御装置、３０１　画像処理部、
３０２　制御部、３０５　画像取得部、３１０　出力画像生成部、
３１５　境界領域補正部、３２０　領域抽出部、３２５　変倍処理部、
３３０　第１領域倍率補正部、３４０　第２領域倍率補正部、３５０　合成部、
３６０　境界線描画部、４００　表示部、５００　外部Ｉ／Ｆ部、
６０１　赤の色フィルタ、６０２　緑の色フィルタ、６０３　青の色フィルタ、
７１０　境界領域検出部、７２０　中心算出部、７３０　境界線設定部、
７４０　抽出領域パラメータ設定部、７５０　シェーディング補正パラメータ設定部、
８０３　回転モータ、９０５　画像取得部、９１０　前処理部、
９１５　境界領域補正部、９２０　抽出領域設定部、９３０　補正量制御部、
９４０　領域抽出部、９５０　シェーディング補正部、９５５　変倍処理部、
９６０　第１領域倍率補正部、９７０　第２領域倍率補正部、９８０　合成部、
９９０　後処理部、９９５　境界線描画部、
ＢＲ　境界領域、ＣＰ　中心位置、Ｄ１～Ｄ３　距離、ＦＲ　前方視野画像、
Ｌ１，Ｌ２　抽出境界線、ＭＲ１，ＭＲ２　マージン領域、ＳＲ　側方視野画像、ＳＲＰ　外周、Ｔ　シェーディング許容閾値、ＷＬ　境界線、Ｚ　光軸

Claims (18)

  1. 　前方視野に対応する前方画像と、側方視野に対応する側方画像とが、１枚の取得画像として形成された画像信号を、取得する画像取得部と、
    　前記取得画像における前記前方視野に対応する領域を前方領域とし、前記取得画像における前記側方視野に対応する領域を側方領域とする場合に、前記前方領域の画像及び前記側方領域の画像のうちの少なくとも一方を、前記前方領域と前記側方領域の境界となる領域である境界領域に対してオーバーラップさせるオーバーラップ処理を行う境界領域補正部と、
    　を含むことを特徴とする内視鏡用画像処理装置。
  2. 　請求項１において、
    　前記境界領域補正部は、
    　前記前方領域の画像及び前記側方領域の画像のうちの少なくとも一方の表示倍率を変更する変倍処理を行う変倍処理部と、
    　前記変倍処理後の前記前方領域の画像及び前記側方領域の画像を合成することにより、前記オーバーラップ処理を行う合成部と、
    　を有することを特徴とする内視鏡用画像処理装置。
  3. 　請求項２において、
    　前記境界領域補正部は、
    　前記取得画像から、前記前方領域の画像及び前記側方領域の画像のうちの一方を、前記変倍処理の対象画像として抽出する領域抽出部を有し、
    　前記変倍処理部は、
    　前記対象画像を拡大する前記変倍処理を行い、
    　前記合成部は、
    　拡大された前記対象画像と、前記前方領域の画像及び前記側方領域の画像のうちの他方とを、合成することを特徴とする内視鏡用画像処理装置。
  4. 　請求項３において、
    　前記変倍処理部は、
    　前記前方視野画像の中心を基準としたときの径方向に沿って前記対象画像を拡大する処理を前記変倍処理として行うことを特徴とする内視鏡画像処理装置。
  5. 　請求項２において、
    　前記境界領域補正部は、
    　前記取得画像から、前記前方領域の画像と前記側方領域の画像を抽出する領域抽出部を有し、
    　前記変倍処理部は、
    　前記前方領域の画像及び前記側方領域の画像のうちの一方を拡大する前記変倍処理を行い、前記前方領域の画像及び前記側方領域の画像のうちの他方を縮小する前記変倍処理を行い、
    　前記合成部は、
    　前記変倍処理後の前記前方領域の画像及び前記側方領域の画像を合成することを特徴とする内視鏡用画像処理装置。
  6. 　請求項２において、
    　前記境界領域補正部は、
    　前記取得画像から前記前方領域の画像を抽出するための境界線である第１境界線、及び前記取得画像から前記側方領域の画像を抽出するための境界線である第２境界線のうちの少なくとも一方の境界線を設定する境界線設定部と、
    　前記一方の境界線として前記第１境界線が設定された場合には、前記第１境界線に基づいて前記前方領域の画像を抽出し、前記一方の境界線として前記第２境界線が設定された場合には、前記第２境界線に基づいて前記側方領域の画像を抽出する領域抽出部と、
    　を有することを特徴とする内視鏡用画像処理装置。
  7. 　請求項６において、
    　前記境界領域補正部は、
    　前記境界領域を検出する境界領域検出部を有し、
    　前記境界線設定部は、
    　検出された前記境界領域に基づいて前記第１境界線及び前記第２境界線の少なくとも一方を設定することを特徴とする内視鏡用画像処理装置。
  8. 　請求項６において、
    　前記境界線設定部は、
    　前記取得画像における輝度レベルの変化を表すシェーディング量に基づいて前記第１境界線を設定し、
    　前記領域抽出部は、
    　前記取得画像の中の前記第１境界線よりも内側の領域の画像を前記前方領域の画像として抽出することを特徴とする内視鏡用画像処理装置。
  9. 　請求項８において、
    　前記境界領域補正部は、
    　前記前方領域における前記シェーディング量を補正するシェーディング補正部を有し、
    　前記合成部は、
    　前記シェーディング量が補正された前記前方領域の画像と前記側方領域の画像を合成することを特徴とする内視鏡用画像処理装置。
  10. 　請求項６において、
    　前記第１境界線と前記第２境界線は、
    　円形状の境界線であり、
    　前記変倍処理部は、
    　前記第１境界線と前記第２の境界線の中心点を基準とする前記表示倍率を設定する表示倍率設定部を有し、
    　前記変倍処理部は、
    　設定された前記表示倍率に基づいて前記変倍処理を行うことを特徴とする内視鏡用画像処理装置。
  11. 　請求項１０において、
    　前記変倍処理部は、
    　前記表示倍率設定部により設定された前記表示倍率に基づく変位量であって、前記中心点を基準とする半径方向の距離に対して線形又は非線形な変位量により、前記変倍処理を行うことを特徴とする内視鏡用画像処理装置。
  12. 　請求項２において、
    　前記合成された前記前方領域の画像と前記側方領域の画像の境界を識別可能にするための境界線を描画する境界線描画部を含むことを特徴とする内視鏡用画像処理装置。
  13. 　請求項１において、
    　前記境界領域は、
    　前記前方視野と前記側方視野を撮像するための光学系における光学設計値に基づく所定視野角の環状領域であり、
    　前記境界領域と前記前方領域の間の境界線である第１境界線は、
    　前記環状領域よりも内側に設定され、
    　前記境界領域と前記側方領域の間の境界線である第２境界線は、
    　前記環状領域よりも外側に設定されることを特徴とする内視鏡用画像処理装置。
  14. 　請求項１３において、
    　前記第１境界線と前記第２境界線は、
    　前記所定視野角の環状領域に対して、統計的な製造バラツキに応じたマージン領域が付加されて設定されることを特徴とする内視鏡用画像処理装置。
  15. 　請求項１に記載の内視鏡用画像処理装置と、
    　前記前方視野を撮像するための前方観察光学系と、
    　前記側方視野を撮像するための側方観察光学系と、
    　前記前方視野と前記側方視野を同時に撮像する撮像素子と、
    　を含むことを特徴とする内視鏡装置。
  16. 　請求項１５において、
    　前記境界領域は、
    　前記前方観察光学系により得られる前記前方視野と、前記側方観察光学系により得られる前記側方視野との間の死角に対応する領域を含むことを特徴とする内視鏡装置。
  17. 　請求項１５において、
    　前記境界領域は、
    　前記前方観察光学系の周辺減光によりシェーディングが生じた領域の少なくとも一部を含むことを特徴とする内視鏡装置。
  18. 　前方視野に対応する前方画像と、側方視野に対応する側方画像とが、１枚の取得画像として形成された画像信号を、取得し、
    　前記取得画像における前記前方視野に対応する領域を前方領域とし、前記取得画像における前記側方視野に対応する領域を側方領域とする場合に、前記前方領域の画像及び前記側方領域の画像のうちの少なくとも一方を、前記前方領域と前記側方領域の境界となる領域である境界領域に対してオーバーラップさせるオーバーラップ処理を行うことを特徴とする画像処理方法。
PCT/JP2012/073401 2011-09-26 2012-09-13 内視鏡用画像処理装置、内視鏡装置及び画像処理方法 WO2013047215A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280046804.4A CN103841879B (zh) 2011-09-26 2012-09-13 内窥镜用图像处理装置、内窥镜装置和图像处理方法
EP12836098.9A EP2762059B1 (en) 2011-09-26 2012-09-13 Image processing device for use with endoscope, endoscope, and image processing method
US14/225,085 US9554097B2 (en) 2011-09-26 2014-03-25 Endoscope image processing device, endoscope system, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-208734 2011-09-26
JP2011208734A JP5830328B2 (ja) 2011-09-26 2011-09-26 内視鏡用画像処理装置、内視鏡装置及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/225,085 Continuation US9554097B2 (en) 2011-09-26 2014-03-25 Endoscope image processing device, endoscope system, and image processing method

Publications (1)

Publication Number Publication Date
WO2013047215A1 true WO2013047215A1 (ja) 2013-04-04

Family

ID=47995248

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/073401 WO2013047215A1 (ja) 2011-09-26 2012-09-13 内視鏡用画像処理装置、内視鏡装置及び画像処理方法

Country Status (5)

Country Link
US (1) US9554097B2 (ja)
EP (1) EP2762059B1 (ja)
JP (1) JP5830328B2 (ja)
CN (1) CN103841879B (ja)
WO (1) WO2013047215A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015174365A1 (ja) * 2014-05-16 2015-11-19 オリンパス株式会社 内視鏡システム
CN105358044A (zh) * 2013-06-05 2016-02-24 亚利桑那州立大学董事会 用于照明和成像的双视探头及其使用
CN106102553A (zh) * 2014-09-09 2016-11-09 奥林巴斯株式会社 内窥镜系统、内窥镜系统的工作方法
US20170041537A1 (en) * 2014-12-22 2017-02-09 Olympus Corporation Endoscope system and endoscope video processor
US20170076481A1 (en) * 2014-06-10 2017-03-16 Olympus Corporation Image processing device, imaging device, microscope system, image processing method, and computer-readable recording medium
EP3053511A4 (en) * 2014-02-14 2017-09-27 Olympus Corporation Endoscope system
US9781343B2 (en) 2014-12-02 2017-10-03 Olympus Corporation Image processing apparatus and method for operating image processing apparatus
CN113487687A (zh) * 2021-08-04 2021-10-08 广东工业大学 一种深沟窄槽视觉检测镜头防碰撞控制方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106163371B (zh) * 2014-03-31 2018-09-28 奥林巴斯株式会社 内窥镜系统
CN106068093B (zh) * 2014-04-08 2018-09-25 奥林巴斯株式会社 内窥镜系统
US10701339B2 (en) 2014-09-18 2020-06-30 Sony Corporation Image processing device and image processing method
JP6308673B2 (ja) * 2014-10-09 2018-04-11 富士フイルム株式会社 電子内視鏡用の画像処理装置及び電子内視鏡システム
WO2016067927A1 (ja) * 2014-10-28 2016-05-06 オリンパス株式会社 内視鏡システム
WO2016072288A1 (ja) * 2014-11-06 2016-05-12 ソニー株式会社 内視鏡装置、および、内視鏡装置の動作方法、並びにプログラム
WO2017110459A1 (ja) * 2015-12-22 2017-06-29 オリンパス株式会社 内視鏡用画像処理装置及び内視鏡システム
WO2018051565A1 (ja) 2016-09-15 2018-03-22 オリンパス株式会社 超音波内視鏡および超音波内視鏡システム
JP6779089B2 (ja) * 2016-10-05 2020-11-04 富士フイルム株式会社 内視鏡システム及び内視鏡システムの駆動方法
JP2018157918A (ja) * 2017-03-22 2018-10-11 ソニー株式会社 手術用制御装置、制御方法、手術システム、およびプログラム
WO2018179986A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP7012549B2 (ja) * 2018-02-07 2022-01-28 オリンパス株式会社 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体
JP7159577B2 (ja) * 2018-03-20 2022-10-25 ソニーグループ株式会社 内視鏡システム、制御方法、情報処理装置、およびプログラム
JP7163155B2 (ja) * 2018-12-04 2022-10-31 オリンパス株式会社 画像処理装置
JP7383393B2 (ja) * 2019-04-24 2023-11-20 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP7454409B2 (ja) * 2020-03-03 2024-03-22 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用制御装置の制御方法
DE102020122636A1 (de) 2020-08-31 2022-03-03 Hoya Corporation Beleuchtungsvorrichtung für ein Endoskop

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09313435A (ja) * 1996-03-25 1997-12-09 Olympus Optical Co Ltd 内視鏡装置
JP2001117665A (ja) 1999-10-20 2001-04-27 Isei Denshi Kofun Yugenkoshi 種々のクロックレートを参照するコンピュータマザーボード用コンピュータチップセット
WO2011055614A1 (ja) * 2009-11-06 2011-05-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2011152202A (ja) * 2010-01-26 2011-08-11 Olympus Corp 画像取得装置、観察装置、および観察システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466701B1 (en) * 1997-09-10 2002-10-15 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images
US20050033117A1 (en) * 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
JP2005211532A (ja) * 2004-01-30 2005-08-11 Olympus Corp 内視鏡手術システム
JP4618410B2 (ja) * 2004-07-06 2011-01-26 富士フイルム株式会社 超音波内視鏡
CN101305595B (zh) * 2005-11-11 2011-06-15 索尼株式会社 图像处理设备以及图像处理方法
JP4899803B2 (ja) * 2006-11-06 2012-03-21 ソニー株式会社 画像処理装置、カメラ装置、画像処理方法、およびプログラム
JP4653834B2 (ja) 2008-11-14 2011-03-16 オリンパスメディカルシステムズ株式会社 光学系
JP5218071B2 (ja) * 2009-01-07 2013-06-26 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5289987B2 (ja) 2009-01-21 2013-09-11 オリンパス株式会社 光学素子及びそれを用いた光学ユニット
JP5457841B2 (ja) * 2010-01-07 2014-04-02 株式会社東芝 医用画像処理装置、及び医用画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09313435A (ja) * 1996-03-25 1997-12-09 Olympus Optical Co Ltd 内視鏡装置
JP2001117665A (ja) 1999-10-20 2001-04-27 Isei Denshi Kofun Yugenkoshi 種々のクロックレートを参照するコンピュータマザーボード用コンピュータチップセット
WO2011055614A1 (ja) * 2009-11-06 2011-05-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2011152202A (ja) * 2010-01-26 2011-08-11 Olympus Corp 画像取得装置、観察装置、および観察システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2762059A4

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105358044A (zh) * 2013-06-05 2016-02-24 亚利桑那州立大学董事会 用于照明和成像的双视探头及其使用
US10536617B2 (en) 2013-06-05 2020-01-14 Arizona Board Of Regents On Behalf Of The University Of Arizona Dual-view probe for illumination and imaging, and use thereof
EP3053511A4 (en) * 2014-02-14 2017-09-27 Olympus Corporation Endoscope system
US10349814B2 (en) 2014-02-14 2019-07-16 Olympus Corporation Endoscope system
CN106102550A (zh) * 2014-05-16 2016-11-09 奥林巴斯株式会社 内窥镜系统
WO2015174365A1 (ja) * 2014-05-16 2015-11-19 オリンパス株式会社 内視鏡システム
JP5959768B2 (ja) * 2014-05-16 2016-08-02 オリンパス株式会社 内視鏡システム
JPWO2015174365A1 (ja) * 2014-05-16 2017-04-20 オリンパス株式会社 内視鏡システム
US9990752B2 (en) * 2014-06-10 2018-06-05 Olympus Corporation Image processing device, imaging device, microscope system, image processing method, and computer-readable recording medium
US20170076481A1 (en) * 2014-06-10 2017-03-16 Olympus Corporation Image processing device, imaging device, microscope system, image processing method, and computer-readable recording medium
US10021312B2 (en) 2014-09-09 2018-07-10 Olympus Corporation Endoscope system and method for operating endoscope system
CN106102553B (zh) * 2014-09-09 2018-09-28 奥林巴斯株式会社 内窥镜系统、内窥镜系统的工作方法
CN106102553A (zh) * 2014-09-09 2016-11-09 奥林巴斯株式会社 内窥镜系统、内窥镜系统的工作方法
US9781343B2 (en) 2014-12-02 2017-10-03 Olympus Corporation Image processing apparatus and method for operating image processing apparatus
US9848124B2 (en) * 2014-12-22 2017-12-19 Olympus Corporation Endoscope system and endoscope video processor
US20170041537A1 (en) * 2014-12-22 2017-02-09 Olympus Corporation Endoscope system and endoscope video processor
CN113487687A (zh) * 2021-08-04 2021-10-08 广东工业大学 一种深沟窄槽视觉检测镜头防碰撞控制方法
CN113487687B (zh) * 2021-08-04 2023-02-03 广东工业大学 一种深沟窄槽视觉检测镜头防碰撞控制方法

Also Published As

Publication number Publication date
JP5830328B2 (ja) 2015-12-09
JP2013066646A (ja) 2013-04-18
US20140204187A1 (en) 2014-07-24
US9554097B2 (en) 2017-01-24
EP2762059A1 (en) 2014-08-06
CN103841879A (zh) 2014-06-04
EP2762059B1 (en) 2017-04-05
CN103841879B (zh) 2017-03-22
EP2762059A4 (en) 2015-03-04

Similar Documents

Publication Publication Date Title
JP5830328B2 (ja) 内視鏡用画像処理装置、内視鏡装置及び画像処理方法
JP5855358B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
US9154745B2 (en) Endscope apparatus and program
JP5865606B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP5684033B2 (ja) 撮像装置及び内視鏡装置の作動方法
JP5814698B2 (ja) 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法
JP5698476B2 (ja) 内視鏡システム、内視鏡システムの作動方法及び撮像装置
WO2013061819A1 (ja) 内視鏡システム
WO2016043063A1 (ja) 画像処理装置および画像処理方法
JP6132901B2 (ja) 内視鏡装置
WO2015044996A1 (ja) 内視鏡装置及び内視鏡装置の制御方法
US20190387964A1 (en) Endoscope apparatus
JP7012549B2 (ja) 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体
JP6352673B2 (ja) 内視鏡装置及び内視鏡装置の操作方法
JP6308673B2 (ja) 電子内視鏡用の画像処理装置及び電子内視鏡システム
JP2012205619A (ja) 画像処理装置、制御装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP7179837B2 (ja) 内視鏡装置、内視鏡画像表示方法及び内視鏡装置の作動方法
JP5025761B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5985117B1 (ja) 撮像装置、画像処理装置、撮像装置の作動方法
JP5953454B1 (ja) 内視鏡システム、内視鏡システムの作動方法
JP2012055412A (ja) 画像処理装置、内視鏡装置、画像処理方法及びプログラム
WO2022044898A1 (ja) 医療撮像システム、医療撮像装置、および動作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12836098

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2012836098

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012836098

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE