WO2012141088A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2012141088A1
WO2012141088A1 PCT/JP2012/059493 JP2012059493W WO2012141088A1 WO 2012141088 A1 WO2012141088 A1 WO 2012141088A1 JP 2012059493 W JP2012059493 W JP 2012059493W WO 2012141088 A1 WO2012141088 A1 WO 2012141088A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
scaling
pixels
region
pixel
Prior art date
Application number
PCT/JP2012/059493
Other languages
English (en)
French (fr)
Inventor
浩一郎 吉野
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201280017659.7A priority Critical patent/CN103460685B/zh
Priority to EP12771335.2A priority patent/EP2698983B1/en
Publication of WO2012141088A1 publication Critical patent/WO2012141088A1/ja
Priority to US14/049,046 priority patent/US9888831B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/005—Photographing internal surfaces, e.g. of pipe

Definitions

  • the present invention relates to an imaging apparatus, an imaging method, and the like.
  • a wide-angle optical system is desirable so as not to miss a lesion on the back side of the fold when diagnosing the large intestine.
  • the angle of view of an optical system used in a conventional endoscope system is generally about 140 to 170 degrees.
  • an angle of view of 180 degrees or more (including its angle) is used.
  • an imaging device that suppresses a decrease in resolution compared to a captured image while performing a relative enlargement process on the second processing region, and An imaging method or the like can be provided.
  • an imaging apparatus, an imaging method, and the like that enlarge a region with a small local magnification relative to a region with a large local magnification without reducing the resolution as compared with a captured image. Can be provided.
  • One aspect of the present invention is an image sensor having a plurality of pixels that generate an image signal from a subject image formed by an imaging optical system, and a scaling process for an original image composed of image signals for the plurality of pixels.
  • a scaling processing unit that performs the processing, and an output unit that outputs the image after the scaling processing as a scaled image, and the scaling processing unit differs depending on the position of the pixel of interest on the scaled image
  • the scaling process is performed at a scaling factor, and the imaging element is related to an imaging device having a larger number of pixels than the number of pixels of the scaling image as the plurality of pixels.
  • the scaling processing unit performs scaling processing with a different scaling factor depending on the position of the pixel of interest on the scaled image, and the imaging element has more pixels than the number of pixels of the scaled image. Therefore, since the original image is acquired with an image having a larger number of pixels than the enlarged image, the enlargement / reduction processing is performed by changing the enlargement / reduction rate according to the position. For example, it is possible to acquire a scaled image without dropping the image from the original image.
  • an original image is acquired based on the image signal at a plurality of pixels that generate an image signal from a subject image formed by an imaging optical system, and the original image Then, by performing a scaling process at a different scaling ratio depending on the position of the target pixel, a scaled image that is an image having a smaller number of pixels than the original image is obtained, and the image after the scaling process is obtained.
  • the present invention relates to an imaging method for outputting as the scaled image.
  • FIG. 1 is a system configuration example of the present embodiment.
  • FIG. 2 is a diagram illustrating the depth of field.
  • FIG. 3 shows an example of imaging lesion 1 and lesion 2 on a spherical surface.
  • FIG. 4 is an example of an original image obtained by imaging the lesioned part 1 and the lesioned part 2.
  • FIG. 5 is an example of a scaled image obtained by performing scaling processing on an original image obtained by imaging the lesioned part 1 and the lesioned part 2.
  • FIG. 6 shows an example of a zoomed image when the upper left point of the image is taken as the origin.
  • FIG. 7 shows an example of a zoomed image when a point corresponding to the optical axis is taken as the origin.
  • FIG. 1 is a system configuration example of the present embodiment.
  • FIG. 2 is a diagram illustrating the depth of field.
  • FIG. 3 shows an example of imaging lesion 1 and lesion 2 on a spherical surface.
  • FIG. 4
  • FIG. 8 shows an example of the original image when the point corresponding to the optical axis is taken as the origin.
  • FIG. 9 is a diagram for explaining the relationship between ihOut and ihRatio.
  • FIG. 10 is a diagram for explaining the relationship between shiftY and inShiftY.
  • FIG. 11 is a diagram for explaining the bilinear method.
  • FIG. 14 is a diagram for explaining local magnification in the present embodiment.
  • FIG. 15 is another diagram for explaining the relationship between shiftY and inShiftY.
  • FIG. 16 is a diagram for explaining the characteristics of a conventional optical system and the wide-angle optical system of the present embodiment.
  • FIG. 17 is a diagram illustrating a front region, a side region, and a rear region with respect to the optical axis of the imaging optical system.
  • FIG. 18
  • an imaging apparatus such as an endoscope apparatus
  • an optical system having a wider angle of view (180 ° or more (including its value)) than the angle of view of a conventional imaging optical system (eg, 140 ° to 170 °) is used. Conceivable. This makes it possible to image a lesion or the like in a region that is difficult to image with a conventional optical system by ensuring that the back of the fold is sufficiently within the imaging range when imaging the large intestine. Is for.
  • an image (original image) captured by the image sensor has a higher resolution (a larger number of pixels) than an image (magnified image) displayed on the display unit. Then, a scaling process is performed at a magnification of approximately 1 for an area where the local magnification has been reduced. On the other hand, for the region where the local magnification is not greatly collapsed, reduction processing is performed at a magnification of ⁇ .
  • the ratio of the length of one side of the original image to the zoomed image is ⁇ ( ⁇ > 1 from the above setting), ⁇ ⁇ (1 / ⁇ ).
  • the distortion of the scaled image and the original image becomes equal.
  • the degree of reduction preferably by a factor of 1
  • the degree of reduction is relatively enlarged with respect to the central portion
  • the magnification of the peripheral portion is close to the same magnification.
  • the magnification (magnification) of the peripheral portion is not limited to 1 ⁇ itself.
  • the endoscope system according to the present embodiment includes a light source unit 100, an imaging unit 200, a processing unit 300, a display unit 400, and an external I / F unit 500.
  • the light source unit 100 includes a white light source 110 that generates white light and a condenser lens 120 that condenses the white light on the light guide fiber 210.
  • the imaging unit 200 is formed to be elongate and bendable, for example, to enable insertion into a body cavity.
  • the imaging unit 200 includes a light guide fiber 210 for guiding the light collected by the light source unit, an illumination lens 220 for diffusing the light guided to the tip by the light guide fiber and irradiating the observation target, An objective lens 230 that collects the reflected light returning from the observation target and an image sensor 240 for detecting the collected reflected light are provided.
  • the objective lens 230 is, for example, a super wide angle lens having an angle of view of about 220 degrees.
  • the image sensor 240 is, for example, an image sensor having a Bayer array color filter.
  • the processing unit 300 includes an AD conversion unit 310, an image processing unit 320, a control unit 330, a scaling processing unit 340, and an output unit 350.
  • the AD conversion unit 310 converts the analog signal output from the image sensor 240 into a digital image signal (hereinafter simply referred to as an image) and outputs the digital image signal to the image processing unit 320.
  • the image processing unit 320 performs various image processing such as white balance, demosaicing processing, color conversion, and gradation conversion on the image output from the AD conversion unit 310 and outputs the image to the scaling processing unit 340. .
  • the scaling processing unit 340 performs scaling processing on the image output from the image processing unit 320 and outputs the image to the output unit 350. Details of the scaling unit 340 will be described later.
  • the output unit 350 converts the image output from the scaling processing unit 340 into an image format (either a digital signal or an analog signal) corresponding to the display unit 400 and outputs the image format to the display unit 400.
  • the display unit 400 is a liquid crystal monitor, for example, and displays an image output from the output unit 350.
  • the control unit 330 is bi-directionally connected to the image processing unit 320, the scaling processing unit 340, and the external I / F unit 500, and controls these according to input information from the external I / F unit 500.
  • the external I / F unit 500 is an interface for performing input from the user to the imaging apparatus, and is used for adjusting a start button for starting / ending shooting, various shooting conditions, and display conditions. It includes an adjustment button.
  • the optical system the field angle of the objective lens
  • the depth of field in the endoscope system the relationship between the field angle of the objective lens (hereinafter referred to as the optical system) and the depth of field in the endoscope system.
  • the conventional endoscope system achieves such performance by using an optical system having a relatively large F number and widening the depth of field.
  • an image sensor having a high pixel number of about several hundred thousand pixels has been used.
  • the depth of field is determined by the size of the permissible circle of confusion.
  • the permissible circle of confusion decreases with the pixel pitch, so the depth of field of the imaging device is narrow.
  • the depth of field varies greatly depending not only on the number of pixels of the image sensor and the F number of the optical system but also on the focal length of the optical system.
  • the focal length is about 2/3 of the conventional optical system having an angle of view of about 140 to 170 degrees, assuming that the size of the image sensor is the same. It is known empirically.
  • the pixel is compared with the conventional endoscope system while maintaining the depth of field that does not interfere with the diagnosis of the doctor.
  • the pitch can be reduced (the number of pixels of the image sensor can be increased).
  • a right-pointing arrow represents a positive value vector
  • a left-pointing arrow represents a negative value vector.
  • the image plane position XN ′ at that time moves from the imaging surface in the opposite direction to the optical system.
  • K is a coefficient determined by the filter arrangement or interpolation processing
  • the XN object can be regarded as in focus.
  • the range in which the diameter of the circle of confusion on the imaging surface falls below K ⁇ P (including its value) is defined as the depth of field on the near point side, and the position of the subject whose diameter of the circle of confusion matches K ⁇ P is near Let's call it a point.
  • the position of the near point will be expressed as a position XN from the front focal position.
  • the definition of the depth of field is the same on the far point side, and the position of the subject whose diameter of the circle of confusion coincides with K ⁇ P on the far point side is called a far point.
  • the position of the far point is expressed as the XF position from the front focal position.
  • NA ′ sin u ′ of the optical system (where u ′ is the angle between the light beam incident on the imaging surface shown in FIG. 2 and the optical axis). ) Can be approximated as in the following equation (2).
  • Diameter of circle of confusion 2 (XN’-XB ’) ⁇ NA ′ (2)
  • formula (3) is transformed using formula (4), which is a relational expression between the F number and the numerical aperture, formula (5) is obtained.
  • F is the F number of the optical system.
  • XN'-XB ' K ⁇ P ⁇ F (5)
  • Expressions (6) and (7) can be further transformed into the following expressions (8) and (9), and using these, the near point position XN and the far point position XF can be calculated.
  • the range between the near point and the far point is referred to as the depth of field.
  • FIG. 16 shows an example of calculating the depth of field using the above equations (8) and (9).
  • the focal length of the optical system in the conventional endoscope system is 1.8 mm
  • the focal length of the optical system in the ultra-wide-angle endoscope system is 1.2 mm (corresponding to 2/3 of the focal length of the conventional optical system). ).
  • the other values are as shown in FIG.
  • the ultra-wide-angle endoscope system can achieve a wider depth of field even though the pixel pitch is half that of the conventional endoscope system. Strictly speaking, when the pixel pitch is reduced, the influence of diffraction increases. Therefore, in order for the optical system to obtain sufficient imaging performance, it is necessary to reduce the F number.
  • the ultra-wide-angle endoscope system can qualify that the pixel pitch can be reduced (the number of pixels of the imaging device) can be reduced as compared with the conventional endoscope system. There is no change in the result.
  • the number of pixels in the horizontal and vertical directions of the image sensor 240 will be described as ⁇ ⁇ N pixels
  • the number of pixels in the horizontal and vertical directions of the image output from the output unit 350 will be described as N pixels.
  • the number of pixels of the image output from the output unit 350 (N pixels ⁇ N pixels) is a value determined from, for example, the number of pixels of the image finally displayed on the display device 400.
  • ⁇ is an arbitrary value larger than 1, and thus an image ( ⁇ ⁇ N pixels ⁇ ⁇ ⁇ N pixels) acquired by the image sensor 240 is more than an image (output image) output from the output unit 350. Becomes a high-resolution image.
  • FIG. 3 is a diagram illustrating a state in which the lesioned part 1 and the lesioned part 2 located on the spherical subject are imaged by the imaging unit 200.
  • FIG. 4 is a diagram showing an image output from the image processing unit 320 to the scaling processing unit 340 in this state.
  • the number of pixels of the image output from the image processing unit 320 to the scaling processing unit 340 is ⁇ ⁇ N ⁇ ⁇ ⁇ N pixels, which is the same as the number of pixels of the image sensor 240.
  • distortion is very large, so that the local magnification at the periphery of the image is smaller than that at the center of the image.
  • the lesioned part 2 located in the peripheral part of the image has a very small size on the image compared to the lesioned part 1 located in the center of the image.
  • FIG. 14 is a diagram showing the concept of the local magnification described above.
  • the entrance pupil of the objective lens is arranged near the center of the spherical object, and the minute distances ⁇ d1 and ⁇ d2 on the spherical object and the corresponding distances ⁇ d′1 and ⁇ d ′ on the image sensor.
  • the ratio of 2 may be the local magnification.
  • ⁇ d1 and ⁇ d2 are the same distance.
  • the local magnification ⁇ d′2 / ⁇ d2 at the peripheral portion of the image is smaller than the local magnification ⁇ d′1 / ⁇ d1 at the central portion of the image.
  • the scaling processing unit 340 first acquires the coordinates (outX, outY) of the target pixel for which the pixel value is to be calculated for the image after the scaling processing.
  • the image after the scaling process is an image of N ⁇ N pixels as shown in FIG. 6, and (outX, outY) are coordinates based on the upper left pixel.
  • the scaling processing unit 340 sets the coordinates (outX, outY) of the target pixel using the following expression (10), the image center (the point on the image corresponding to the optical axis of the optical system). Is converted into coordinates (shiftX, shiftY).
  • (outCentX, outCentY) are the coordinates of the image center after the scaling process.
  • the scaling processing unit 340 calculates ihOut using the following equation (11).
  • ihOut_max is the maximum distance from the image center in the image after the scaling process
  • ihOut is the ratio of the distance from the image center to the target pixel and ihOut_max.
  • the scaling processing unit 340 calculates ihRatio using ihOut.
  • ihRatio is a value determined by ihOut.
  • data representing the relationship between ihOut and ihRatio as shown in FIG. 9 is stored in the memory as an LUT. By performing processing such as linear interpolation using this LUT, it is possible to calculate ihRatio corresponding to all the values of ihOut.
  • the scaling processing unit 340 uses the following equation (12) from the calculated ihRatio, and the coordinates of the image before scaling processing (inShiftX, inShiftY) corresponding to the coordinates of the image after scaling processing (shiftX, shiftY). ) Is calculated.
  • InShiftX, inShiftY are coordinates based on the image center before the scaling process as shown in FIG.
  • the scaling processing unit 340 converts the calculated coordinates (inShiftX, inShiftY) into coordinates (inX, inY) based on the upper left pixel of the image using the following equation (13).
  • (inCentX, inCentY) is the center coordinates of the image before scaling processing.
  • the coordinates (inX, inY) are the coordinates of the image before the scaling process corresponding to the coordinates (outX, outY) of the target pixel after the scaling process.
  • the scaling processing unit 340 calculates the pixel value I (outX, outY) of the target pixel (outX, outY) after the scaling process from the calculated coordinates (inX, inY) of the image before the scaling process.
  • the pixel value of the pixel of interest may be calculated using an interpolation process such as the nearest neighbor method or the bilinear method.
  • the nearest neighbor method for example, as shown in FIG. 11, in the image before the scaling process, the pixel value of the pixel p11 having the closest distance from the calculated (inX, inY) is the pixel value of the target pixel after the scaling process.
  • I (outX, outY) may be used.
  • the pixel value I (outX, outY) of the target pixel is calculated by the following equation (14) using the pixel values of the four pixels around the calculated (inX, inY) in the image before scaling processing. do it. Furthermore, it goes without saying that the pixel value I (outX, outY) of the pixel of interest can be calculated using other existing interpolation processing.
  • I (outX, outY) (floor (inX) + 1-inX) * (floor (inY) + 1-inY) * p00 + (Floor (inX) + 1-inX) * (inY-floor (inY)) * p10 + (InX-floor (inX)) * (floor (inY) + 1-inY) * p01 + (InX-floor (inX)) * (inY-floor (inY)) * p11 (14)
  • FIG. 10 shows the relationship between shiftY and inShiftY on a straight line in the vertical direction with the image center as a reference, as shown in FIGS.
  • shiftY is the coordinate of the image after the scaling process with the image center as a reference, and the possible value is a value in the range of 0 to N / 2.
  • inShiftY is the coordinate of the image before scaling processing with the image center as a reference, and a possible value is a value in the range of 0 to ( ⁇ ⁇ N) / 2.
  • the object of the present embodiment is to obtain an output image in which the size on the image of the lesioned part 2 located in the peripheral part of the image is relatively enlarged, and there is almost no deterioration in resolution due to the enlargement process.
  • the present embodiment corresponds to ihOut so that the scaling factor is 1 in the peripheral portion of the image shown in FIG. 9 and the scaling factor is ⁇ in the central portion of the image.
  • the value of ihRatio is determined.
  • ⁇ is an arbitrary positive value smaller than 1 / ⁇ .
  • the scaling factor indicates the ratio of the number of pixels in the radial direction (the direction from the target pixel toward the center of the image) of the image before scaling processing to the image after scaling processing.
  • the scaling factor is 1, the number of pixels in the radial direction of the image after scaling processing is the same as that before the scaling processing, and if the scaling factor is 0.5, the image after scaling processing is the same.
  • the number of pixels in the radial direction is half that of the image before the scaling process.
  • the value of ihRatio is calculated so that the value of inShiftY is ( ⁇ ⁇ N) / 2 ⁇ i when the value of shiftY is N / 2 ⁇ i.
  • i is an arbitrary positive number.
  • the value of ihRatio is calculated so that the value of inShiftY is i when the value of shiftY is ⁇ ⁇ i.
  • i is an arbitrary positive number.
  • the number of pixels in the radial direction of the image after the scaling process is ⁇ times the number of pixels in the radial direction of the image before the scaling process at the center of the image. Therefore, the resolution of the image after the scaling process is ⁇ times the resolution of the image before the scaling process.
  • ihRatio for an arbitrary value i is given by the following equation (16) by substituting i for inShiftY of equation (12) and substituting ⁇ ⁇ i for shiftY.
  • ihRatio in the range between the image center part and the image peripheral part changes continuously, for example, as shown in FIG. 9 so that the image after the scaling process does not become an unnatural image. Connect with a straight line like this.
  • the image after the scaling process is reduced at the center of the image as shown in FIG.
  • the image is such that the resolution before the scaling process is maintained.
  • the image displayed on the display unit 400 is an image in which the peripheral portion of the image is relatively enlarged as compared with the central portion of the image and the resolution is not deteriorated due to the enlargement process.
  • the user can observe a high-quality image in which the influence of distortion of the optical system is reduced.
  • the scaling process may be performed so that the image after the scaling process is enlarged larger than the image before the scaling process (the scaling ratio becomes larger than 1).
  • the resolving power at the peripheral portion of the image does not improve compared with the resolving power of the image before scaling, but the number of pixels is sufficiently larger than the number of pixels of the image output from the output unit 350 as in the present embodiment.
  • the scaling process is such that the scaling factor changes sharply at the boundary between the image center and the peripheral part of the image.
  • the value of ihRatio is adjusted so that the scaling factor changes gently. Also good.
  • LUTs having different ihRatio characteristics with respect to ihOut are prepared in advance, and when the user selects a mode from the external I / F unit 500, different LUTs are selected. Also good. By performing such processing, it is possible to perform different scaling processing according to the user's preference.
  • magnification ratio of the peripheral portion of the image has been described as 1.
  • the magnification of the peripheral portion of the image may be ⁇ times ( ⁇ is an arbitrary value, for example, about 0.8 to 1.2 times).
  • ⁇ is an arbitrary value, for example, about 0.8 to 1.2 times.
  • the above equation (12) can be used as it is.
  • the value of ihRatio is calculated so that the value of inShiftY is ( ⁇ ⁇ N) / 2 ⁇ i when the value of shiftY is N / 2 ⁇ ⁇ i.
  • i is an arbitrary positive number.
  • the number of pixels in the radial direction of the image after the scaling process is ⁇ times the number of pixels in the radial direction of the image before the scaling process at the periphery of the image. Enlargement or reduction processing is performed). Specifically, by substituting ( ⁇ ⁇ N) / 2 ⁇ i for inShiftY in equation (12) and substituting N / 2 ⁇ ⁇ i for shiftY, an arbitrary value i can be obtained. IhRatio is given by the following equation (17).
  • the imaging apparatus includes the imaging element 240 having a plurality of pixels that generate an image signal from the subject image formed by the imaging optical system as shown in FIG.
  • a scaling unit 340 that performs a scaling process on the original image that is a signal, and an output unit 350 that outputs the image after the scaling process as a scaled image are included.
  • the scaling processing unit 340 performs different scaling processing according to the position of the target pixel on the scaled image.
  • the image sensor 240 has a larger number of pixels than the number of pixels of the zoomed image as a plurality of pixels.
  • an original image for example, FIG. 6 having a larger number of pixels than that of the output magnified image (for example, FIG. 5) is captured, and then the original image is subjected to a magnification process, whereby It becomes possible to get.
  • different scaling processing for example, processing such as changing the scaling factor used for scaling processing
  • the position of the pixel of interest on the image is changed. Processing based on this becomes possible. For example, a process of reducing the magnification at the center of the image and increasing the magnification at the periphery of the image (for example, 1) may be considered. That is, by performing processing according to the position of the target pixel, it is possible to acquire a zoomed image in which distortion in the original image is eliminated.
  • the original image is made larger than the scaled image, it is not necessary to perform absolute enlargement processing when the area collapsed due to distortion is relatively enlarged. Can be prevented from deteriorating.
  • the original image and the scaled image are the same size, when attempting to display a collapsed area in a large size, for example, a process of extending a 50 pixel area to 100 pixels is required.
  • the original information having only 50 pixels is extended to 100 pixels, the image quality is deteriorated.
  • the original image has a size of 100 pixels (the whole original image is large, it appears to be crushed in the image), and if the area of 100 pixels is used as it is, the size of 100 pixels in the scaled image is as it is. Since the image can be displayed (relatively enlarged because the entire scaled image is small), there is no deterioration in image quality.
  • the scaling processing unit 340 sets the scaling factor at the position of the target pixel belonging to the first processing region in the scaled image to ⁇ times, and a second processing region different from the first processing region.
  • the magnification at the position of the pixel of interest belonging to may be set to ⁇ times.
  • the scaling factor is set to be larger than 1 / ⁇ in the first processing region and to set the scaling factor to be smaller than 1 / ⁇ in the second processing region. Since the ratio of the length of one side of the original image and the scaled image is ⁇ , the scaling process is performed at a magnification of 1 / ⁇ times the entire area of the original image (actually the reduction process because ⁇ > 1). By performing the above, it becomes possible to adjust the size of the original image to the scaled image. However, the distortion cannot be eliminated even if the entire zoom process is performed at the same zoom ratio.
  • a second processing region for performing scaling processing (strong reduction processing) at a magnification smaller than 1 / ⁇ times, and scaling processing at a magnification larger than 1 / ⁇ times (A first processing area to be subjected to weak reduction processing or enlargement processing) is provided.
  • scaling processing strong reduction processing
  • scaling processing at a magnification larger than 1 / ⁇ times
  • the scaling factor corresponding to a third processing region different from the first processing region and the second processing region may be set to ⁇ times.
  • the scaling processing unit 340 may use a value set in a predetermined numerical range including 1 as the scaling factor ⁇ at the position of the target pixel belonging to the first processing region. Specifically, for example, a value set in the range of 0.5 to 2.0 may be used. Desirably, for example, a value set in the range of 0.8 to 1.2 is used.
  • ⁇ 1 means that the scaling factor at the position of the target pixel belonging to the first processing area is 1, the number of pixels in the radial direction is equal between the original image and the scaling image in the first processing area. . For this reason, it is possible to suppress degradation of image quality and missing information.
  • ⁇ is not limited to 1, and can be changed within a range in which the image quality of the scaled image is not greatly deteriorated. For example, the image may be reduced to some extent (caused to be discarded, which leads to loss of information), or may be enlarged to some extent (because the image is extended, which leads to deterioration in image quality).
  • the scaling processing unit 340 may set the scaling factor at the position of the target pixel based on the distance between the target pixel and the point on the scaled image corresponding to the optical axis of the imaging optical system. .
  • the point on the scaled image corresponding to the optical axis of the imaging optical system generally corresponds to the center point of the scaled image. This is (outCentX, outCentY) in FIG. 6 or (0, 0) in FIG. However, it is not limited to this.
  • a far region is less affected by distortion and the like than a region close to a point corresponding to the optical axis.
  • a lesion portion that is essentially the same size is appropriately displayed in the central portion, but is crushed small in the peripheral portion. That is, by setting the zoom ratio according to the distance from the point corresponding to the optical axis, it becomes possible to set the zoom ratio in accordance with a normally used optical system.
  • magnification processing unit 340 uses an area having a large distance from the point corresponding to the optical axis of the imaging optical system as an image peripheral area, and the distance from the point corresponding to the optical axis of the imaging optical system is An area smaller than the image peripheral area may be set as the image central area. Then, different magnifications are set for the image peripheral area and the image central area.
  • ⁇ and ⁇ are values satisfying (1 / ⁇ ) ⁇ .
  • the scaling processing unit 340 performs scaling based on the pixel values of the pixels extracted in the ratio of 1 pixel to 1 / ⁇ pixel among the pixels belonging to the area on the original image corresponding to the image peripheral area.
  • the scaling factor in the image peripheral area is set to ⁇ times.
  • ⁇ is a setting of (1 / ⁇ ) ⁇
  • the counting method of 1 / ⁇ pixels when “extracting at a ratio of 1 pixel to 1 / ⁇ pixel” is performed on the original image corresponding to the target pixel from the point on the original image corresponding to the optical axis. It is assumed that the calculation is made in the vector direction connecting the points. Thus, for example, if the points on the original image corresponding to the optical axis and the points on the original image corresponding to the target pixel are on the same vertical axis as shown in FIGS. In the direction along the line, pixels extracted at a ratio of 1 pixel to 1 / ⁇ pixel are used.
  • the point corresponding to the optical axis is B1
  • the image peripheral area is B2
  • the vector connecting the point corresponding to the optical axis and the point corresponding to the target pixel is B3.
  • one pixel is extracted from the colored pixels to 1 / ⁇ pixels.
  • the actual processing may be performed using, for example, the nearest neighbor method.
  • ⁇ and ⁇ are set to values satisfying ⁇ ⁇ (1 / ⁇ ).
  • the scaling processing unit 340 performs scaling based on the pixel values of the pixels extracted in the ratio of 1 pixel to 1 / ⁇ pixel among the pixels belonging to the area on the original image corresponding to the image peripheral area.
  • the scaling factor in the image peripheral area is set to ⁇ times.
  • the image sensor 240 acquires an image signal having a different local magnification according to the position on the original image as an image signal corresponding to the original image due to the influence of the distortion aberration of the imaging optical system. Then, the scaling processing unit 340 sets the scaling factor based on the local scaling factor of the attention point on the original image corresponding to the target pixel on the scaling image.
  • the local magnification is defined as the ratio between ⁇ d1 and ⁇ d′1 or the ratio between ⁇ d2 and ⁇ d′2 in FIG.
  • the local magnification regarding ⁇ d2 drawn with a dotted line is smaller than the local magnification concerning ⁇ d1 drawn with a solid line.
  • the scaling processing unit 340 sets a scaling factor in a region where the local scaling factor is smaller than that in the other region to be larger than that in the other region.
  • variable magnification can be set larger than a region where the local magnification is relatively large, that is, a region that is not crushed so much. Therefore, it is possible to perform appropriate distortion correction on the collapsed area.
  • the scaling processing unit 340 When the local magnification of the attention point on the original image corresponding to the image peripheral area is smaller than the local magnification of the attention point on the original image corresponding to the image center area, the scaling processing unit 340 The magnification ratio of the image peripheral area is set larger than the magnification ratio of the image central area.
  • the imaging device may further include a display unit 400.
  • the scaling unit 340 sets the scaling factor at the position of the target pixel belonging to the first processing region to ⁇ times even when the entire scaled image is displayed on the display unit.
  • ⁇ assumes a value of about 1.
  • an imaging optical system such as the back liquid crystal of a digital still camera.
  • the extent to which the entire image is reduced is large (that is, the variable magnification is considerably small), and it is impossible to set a region with a magnification close to 1 ⁇ .
  • the image sensor 240 may acquire an image signal that is distorted due to the distortion of the imaging optical system as an image signal corresponding to the original image.
  • the image pickup device 240 can acquire an image having distortion due to the influence of distortion. Since distortion is widely known in terms of distortion, such as barrel shape, it is possible to efficiently perform distortion correction by considering such optical characteristics.
  • the imaging optical system may have an angle of view of 180 ° or more (including its value).
  • the imaging optical system is set to the front area or the side area. May be an optical system capable of capturing the image.
  • C1 is a front region
  • C2 and C3 are side regions.
  • the region may naturally have a three-dimensional extent.
  • the imaging optical system may be an optical system capable of imaging an imaging area set in the rear area.
  • the rear region is defined as C4 in FIG. Similar to the above-described example, the rear region may have a three-dimensional extent.
  • the scaling processing unit 340 may switch the processing contents in the scaling processing based on a scaling mode switching instruction from the user.
  • a process may be performed in which a scaled image after the scaling process of the user is presented on a trial basis and a range allowable by the user is set based on a result of recognition by the user's eyes.
  • the imaging device may be an endoscope device.
  • an endoscope apparatus can be used as the imaging apparatus described above.
  • a lesion area search or the like is performed, so that the merit of observing a wide area is great.
  • an imaging unit is inserted on the back side of each fold. It is desirable to be able to image a wide angle of view so that it is not necessary.
  • an original image is acquired based on image signals at a plurality of pixels that generate an image signal from a subject image formed by the imaging optical system, and the target pixel is compared with the original image.
  • the scaled image which is an image having a smaller number of pixels than the original image, is obtained, and the scaled image is output as a scaled image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Lenses (AREA)

Abstract

　第１の処理領域では、第２の処理領域に対して相対的な拡大処理を行いつつ、撮像した画像に比べて解像度の低下を抑止する撮像装置及び撮像方法等を提供する。　撮像装置は、撮像光学系により結像される被写体像から画像信号を生成する複数の画素を有する撮像素子２４０と、複数の画素分の画像信号からなる原画像に対して変倍処理を施す変倍処理部３４０と、変倍処理後の画像を変倍画像として出力する出力部３５０と、を含み、変倍処理部３４０は変倍画像上の注目画素の位置に応じて異なる変倍率で変倍処理を行い、撮像素子２４０は、複数の画素として、変倍画像の画素数よりも多い画素を有する。

Description

撮像装置及び撮像方法
　本発明は、撮像装置及び撮像方法等に関する。
　内視鏡システムのような撮像装置においては、例えば大腸の診断時にヒダの裏側にある病変等を見逃さないため、出来るだけ広角な光学系が望ましい。従来の内視鏡システムで使用される光学系の画角は一般的に１４０～１７０度程度であるが、例えば特許文献１に示すような、１８０度以上（その値を含む）の画角を持つ超広角の光学系を使用することで、より病変の見逃しを少なくすることが可能である。
特開２００５－３４５５７７号公報
　一方、前述したような超広角の光学系においては、一般的に歪曲収差が非常に大きくなる。この結果、画像周辺部での局所的な倍率が画像中心部と比較して小さくなるため、例えば画像の周辺部に病変等が存在する場合はそのサイズが非常に小さくなってしまい、観察が困難になる。このような問題を避けるには、例えば画像の周辺部を画像処理で拡大することが考えられるが、この場合、病変のサイズは大きくなるが画像がボケてしまうため、画質が悪化するという課題があった。
　本発明の幾つかの態様によれば、第１の処理領域では、第２の処理領域に対して相対的な拡大処理を行いつつ、撮像した画像に比べて解像度の低下を抑止する撮像装置及び撮像方法等を提供することができる。
　また、本発明の幾つかの態様によれば、撮像した画像に比べて解像度を落とすことなく、局所倍率の小さい領域を局所倍率の大きい領域に対して相対的に拡大する撮像装置及び撮像方法等を提供することができる。
　本発明の一態様は、撮像光学系により結像される被写体像から画像信号を生成する複数の画素を有する撮像素子と、前記複数の画素分の画像信号からなる原画像に対して変倍処理を施す変倍処理部と、前記変倍処理後の画像を変倍画像として出力する出力部と、を含み、前記変倍処理部は、前記変倍画像上の注目画素の位置に応じて異なる変倍率で前記変倍処理を行い、前記撮像素子は、前記複数の画素として、前記変倍画像の画素数よりも多い画素を有する撮像装置に関係する。
　本発明の一態様では、変倍処理部は変倍画像上の注目画素の位置に応じて異なる変倍率で変倍処理を行い、撮像素子は変倍画像の画素数よりも多い画素を有する。よって、原画像として変倍画像よりも画素数の多い画像を取得しつつ、位置に応じて変倍率を異ならせて変倍処理を行うことになるため、歪みを解消するとともに、位置によっては解像度を原画像に比べて落とすことなく変倍画像を取得すること等が可能になる。
　また、本発明の他の態様は、撮像光学系により結像される被写体像から画像信号を生成する複数の画素での、前記画像信号に基づいて原画像を取得し、前記原画像に対して、注目画素の位置に応じて異なる変倍率で変倍処理を行うことで、前記原画像の画素数よりも少ない画素数の画像である変倍画像を取得し、前記変倍処理後の画像を前記変倍画像として出力する撮像方法に関係する。
図１は、本実施形態のシステム構成例。 図２は、被写界深度を説明する図。 図３は、球面上の病変部１及び病変部２を撮像する例。 図４は、病変部１及び病変部２を撮像した原画像の例。 図５は、病変部１及び病変部２を撮像した原画像に対して変倍処理を施した変倍画像の例。 図６は、画像左上の点を原点に取った場合の変倍画像の例。 図７は、光軸に対応する点を原点に取った場合の変倍画像の例。 図８は、光軸に対応する点を原点に取った場合の原画像の例。 図９は、ｉｈＯｕｔとｉｈＲａｔｉｏの関係を説明する図。 図１０は、ｓｈｉｆｔＹとｉｎＳｈｉｆｔＹの関係を説明する図。 図１１は、バイリニア法を説明する図。 図１２は、ｓｈｉｆｔＸ＝０の場合の処理を説明するための変倍画像の例。 図１３は、ｓｈｉｆｔＸ＝０の場合の処理を説明するための原画像の例。 図１４は、本実施形態における局所倍率を説明するための図。 図１５は、ｓｈｉｆｔＹとｉｎＳｈｉｆｔＹの関係を説明する他の図。 図１６は、従来の光学系と本実施形態の広角の光学系の特性を説明する図。 図１７は、撮像光学系の光軸に対する前方領域、側方領域及び後方領域を説明する図。 図１８は、画素間引き処理における対象画素を説明する図。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　１．本実施形態の手法
　まず、本実施形態の手法について説明する。内視鏡装置等の撮像装置では、従来の撮像光学系の画角（例えば１４０°～１７０°）に比べて広い画角（１８０°以上（その値を含む））の光学系が用いることが考えられる。これは、大腸等の撮影を行う際に、ヒダの裏側等まで十分に撮像範囲に収まるようにすることで、従来の光学系では撮像が困難だった部位にある病変部等を撮像可能にするためのものである。
　画角の広い光学系を用いた場合には、歪曲収差等の影響が大きくなり、画像に歪みが生じる。例えば、画像の中心部に比べて周辺部がつぶれてしまうようなケースが考えられる。これに対処するため、例えば局所倍率が小さい領域（例えば周辺部）を拡大することにより、画像の歪みを解消し、見やすい画像を取得する手法が考えられる。
　しかし、このような手法ではつぶれた領域を拡大することになるため、病変サイズは大きくなるものの、拡大対象となる領域での画像の解像度が低下することになり、ボケ等の要因になってしまうという問題がある。
　そこで、本出願人は以下の手法を提案する。まず、撮像素子により撮像する画像（原画像）は、表示部に表示される画像（変倍画像）に比べて解像度が高い（画素数が多い）ものとする。そして、局所倍率が小さくつぶれてしまった領域に対しては、ほぼ１倍の倍率で変倍処理を行う。それに対して、局所倍率が大きくつぶれていない領域に対しては、β倍の倍率で縮小処理を行う。ここで、変倍画像に対する原画像の１辺の長さの比をα（上述の設定よりα＞１）とすると、β＜（１／α）となる。つまり、原画像の全領域に対して均等に１／α倍の縮小処理を行ったときに、変倍画像と原画像の歪み具合が同等になるのであるが、本実施形態では、周辺部では縮小度合いを小さく（望ましくは１倍に）し、中心部では１／α倍よりも縮小度合いを大きくすることで、歪みを解消している。中心部に対して周辺部を相対的に拡大するという点では、上述の手法と同様であるが、本実施形態では、原画像を解像度の高い画像としているため周辺部の倍率を等倍に近い値に設定できることになり、結果として周辺部の解像度を落とすことを抑止できるという利点がある。なお、周辺部の倍率（変倍率）は１倍そのものに限定されるわけではない。
　以下、システム構成例、画角と被写界深度の関係について説明した後、変倍処理について詳しく説明する。
　２．システム構成例
　本実施形態に係る撮像装置の具体例である内視鏡システムについて、図１を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。
　光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を備えている。
　撮像部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００には、光源部で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバにより先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、集光した反射光を検出するための撮像素子２４０を備えている。本実施の形態において、対物レンズ２３０は例えば画角が２２０度程度の超広角レンズである。撮像素子２４０は例えばベイヤ配列の色フィルタを持つ撮像素子である。
　処理部３００はＡＤ変換部３１０と、画像処理部３２０と、制御部３３０と、変倍処理部３４０と、出力部３５０を備えている。ただし、処理部３００は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。ＡＤ変換部３１０は、撮像素子２４０から出力されるアナログ信号をデジタルの画像信号（以下、単に画像と呼ぶ）に変換して画像処理部３２０に出力する。画像処理部３２０は、ＡＤ変換部３１０から出力された画像に対してホワイトバランス、デモザイキング処理、色変換、階調変換等の各種の画像処理を施し、変倍処理部３４０に画像を出力する。変倍処理部３４０は、画像処理部３２０から出力された画像に対して変倍処理を行い、出力部３５０に画像を出力する。変倍処理部３４０の詳細については後述する。出力部３５０は、変倍処理部３４０から出力された画像を、表示部４００に対応した画像の形式（デジタル信号、アナログ信号のどちらでもよい）に変換し、表示部４００に出力する。表示部４００は例えば液晶モニタであり、出力部３５０から出力される画像を表示する。
　制御部３３０は、画像処理部３２０、変倍処理部３４０、外部Ｉ／Ｆ部５００と双方向に接続されており、外部Ｉ／Ｆ部５００からの入力情報に従ってこれらを制御する。外部Ｉ／Ｆ部５００は、この撮像装置に対するユーザからの入力等を行うためのインターフェースであり、撮影の開始／終了を行うためのスタートボタンや、各種の撮影条件、表示条件を調整するための調整ボタンなどを含んで構成されている。
　３．画角と被写界深度の関係
　ここで内視鏡システムにおける、対物レンズ（以下、光学系と呼ぶ）の画角と被写界深度の関係について説明する。
　内視鏡システムにおいては、ドクターの診断に支障をきたさないため、広い被写界深度が必要である。このため、従来の内視鏡システムでは比較的Ｆナンバーが大きい光学系を使用して、被写界深度を広くすることでこのような性能を達成している。しかし近年、内視鏡システムにおいても数十万画素程度の高画素の撮像素子が使用されるようになっている。光学系が一定の場合、その被写界深度は許容錯乱円の大きさによって決定されるが、高画素の撮像素子では画素ピッチと共に許容錯乱円も小さくなるため撮像装置の被写界深度は狭くなる。また、被写界深度を広くするために光学系のＦナンバーを大きくすると、回折の影響により光学系の結像性能が劣化する。このため、ドクターの診断に支障をきたさない被写界深度を維持するには、撮像素子の画素数にある程度の上限が存在する。
　一方、被写界深度は撮像素子の画素数や光学系のＦナンバーだけでなく、光学系の焦点距離によっても大きく変動し、焦点距離が短くなるほど被写界深度は広くなる。本実施形態が備えるような超広角の光学系では、撮像素子のサイズが同じと仮定した場合、画角が１４０～１７０度程度の従来の光学系に対して焦点距離が２/３程度になることが経験的に知られている。この結果、本実施形態のような超広角の光学系を備える内視鏡システムでは、ドクターの診断に支障をきたさない被写界深度を維持しながら、従来の内視鏡システムと比較して画素ピッチの小型化（撮像素子の高画素化）が可能になる。
　このことを説明するため、まず被写界深度について図２を用いて詳細に説明する。ここで右向きの矢印は正の値のベクトルを表し、左向きの矢印は負の値のベクトルを表している。まず光学系の後側焦点位置からＸＢ’の位置に画素ピッチ（１画素の縦横の寸法）がＰの撮像素子を配置した場合を考える。この時、撮像素子の撮像面上で光学系の結像性能が最も良くなる被写体の位置（フォーカス位置）は、光学系の前側焦点位置からＸＢの位置として表される。ＸＢは以下のニュートンの結像式からＸＢ’が決まると一義的に算出される。ここでｆは光学系の焦点距離である。
　　XB・XB’=-f2　・・・・・（１）
　被写体をＸＢからＸＮの位置まで移動させると、その時の像面位置ＸＮ’は撮像面から光学系と反対方向に移動する。しかし撮像面における錯乱円の直径が、撮像装置の分解能Ｋ・Ｐ（ただしＫはフィルタ配列や補間処理によって決まる係数）より小さい場合、ＸＮの物体はピントが合っていると見なすことができる。撮像面における錯乱円の直径がＫ・Ｐ以下（その値を含む）になる範囲を近点側の被写界深度と定義し、錯乱円の直径がＫ・Ｐと一致する被写体の位置を近点と呼ぶことにする。今後は近点の位置を、前側焦点位置からＸＮの位置として表す。遠点側も被写界深度の定義は同様であり、遠点側で錯乱円の直径がＫ・Ｐと一致する被写体の位置を遠点と呼ぶ。今後は遠点の位置を、前側焦点位置からＸＦの位置として表す。
　被写体が近点にある時の撮像面における錯乱円の直径は、光学系の開口数ＮＡ’ = ｓｉｎ ｕ’（ここでｕ’は図２に示す撮像面へ入射する光線と光軸のなす角）を用いて下式（２）のように近似できる。
　　錯乱円の直径＝2（XN’-XB’）×NA’　・・・・・（２）
　近点で錯乱円の直径はＫ・Ｐに一致するため、下式（３）が成り立つ。
　　2（XN’- XB’）・NA’=K・P　・・・・・（３）
　Ｆナンバーと開口数の関係式である下式（４）を用いて式（３）を変形すると、下式（５）となる。ここでＦは光学系のＦナンバーである。
Figure JPOXMLDOC01-appb-M000001
　　XN’-XB’=K・P・F　・・・・・（５）
　さらに上式（１）で示したニュートンの式を用いて上式（５）を変形すると、下式（６）に示す近点側の被写界深度の関係式が成立する。
Figure JPOXMLDOC01-appb-M000002
　近点側と同様の方法で遠点側の被写界深度の関係式を算出すると下式（７）のようになる。
Figure JPOXMLDOC01-appb-M000003
　式（６）、（７）はさらに下式（８）、（９）のように変形でき、これらを用いて近点の位置ＸＮ及び遠点の位置ＸＦを算出できる。以下ではこの近点と遠点の間の範囲を被写界深度と呼ぶことにする。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　図１６に上式（８）、（９）を用いて被写界深度を算出した一例を示す。ここでは従来の内視鏡システムにおける光学系の焦点距離を１.８ｍｍ、超広角の内視鏡システムにおける光学系の焦点距離を１.２ｍｍ（従来の光学系の焦点距離の２/３に相当）として計算を行った。その他の値は図１６に示すとおりである。この結果、超広角の内視鏡システムでは画素ピッチが従来の内視鏡システムの半分になっているにもかかわらず、より広い被写界深度を達成できていることがわかる。ここで厳密には、画素ピッチを小さくした場合は回折の影響が大きくなるため、光学系が十分な結像性能を得るにはＦナンバーを小さくする必要がある。しかし、このような調整を行った場合も、超広角の内視鏡システムでは、従来の内視鏡システムと比較して画素ピッチの小型化（撮像素子の高画素化）が可能であるという定性的な結果に変わりはない。
　４．変倍処理
　次に、本実施形態における変倍処理部３４０の詳細について説明する。ここでは説明を簡易にするため、撮像素子２４０の水平および垂直方向の画素数をα・Ｎ画素、出力部３５０から出力される画像の水平および垂直方向の画素数をＮ画素として説明を行う。出力部３５０から出力される画像の画素数（Ｎ画素×Ｎ画素）は、例えば表示装置４００で最終的に表示される画像の画素数などから決まる値である。また、αは１よりも大きい任意の値であり、このため撮像素子２４０で取得される画像（α・Ｎ画素×α・Ｎ画素）は、出力部３５０から出力される画像（出力画像）よりも解像度の高い画像となる。
　図３は球面状の被写体の上に位置する病変部１と病変部２を、撮像部２００で撮影している状態を表した図である。また、図４はこの状態で画像処理部３２０から変倍処理部３４０に出力される画像を表した図である。画像処理部３２０から変倍処理部３４０に出力される画像の画素数は、撮像素子２４０の画素数と同じα・Ｎ×α・Ｎ画素である。本実施形態で使用されているような超広角の光学系では、歪曲収差が非常に大きいため、画像周辺部の局所的倍率は画像中心部と比較して小さくなる。この結果、画像の周辺部に位置する病変部２は、画像の中心に位置する病変部１と比較して、画像上のサイズが非常に小さくなる。
　図１４は前述した局所倍率の概念を示した図である。ここでは例えば対物レンズの入射瞳を球面状の被写体の中心付近に配置し、球面状の被写体上での微小な距離Δｄ１およびΔｄ２と、これに対応する撮像素子上の距離Δｄ’１およびΔｄ’２の比を局所倍率とすればよい。ここでΔｄ１とΔｄ２は同じ距離である。本実施形態では前述のように歪曲収差が非常に大きいため、画像周辺部の局所倍率Δｄ’２/Δｄ２は、画像中心部の局所倍率Δｄ’１/Δｄ１と比較して小さくなる。
　変倍処理部３４０はまず変倍処理後の画像に対して、画素値を算出したい注目画素の座標（ｏｕｔＸ,ｏｕｔＹ）を取得する。ここで変倍処理後の画像は図６に示すようにＮ×Ｎ画素の画像であり、（ｏｕｔＸ,ｏｕｔＹ）は左上画素を基準とした座標である。次に変倍処理部３４０は図７に示すように、注目画素の座標（ｏｕｔＸ,ｏｕｔＹ）を、下式（１０）を用いて画像中心（光学系の光軸に対応する画像上の点）を基準とした座標（ｓｈｉｆｔＸ,ｓｈｉｆｔＹ）に変換する。ここで（ｏｕｔＣｅｎｔＸ,ｏｕｔＣｅｎｔＹ）は、変倍処理後の画像中心の座標である。
　　shiftX=outX-outCentX
　　shiftY=outY-outCentY　・・・・・（１０）
　次に変倍処理部３４０は、下式（１１）を用いてｉｈＯｕｔを算出する。ここでｉｈＯｕｔ_ｍａｘは変倍処理後の画像における画像中心からの最大距離であり、ｉｈＯｕｔは画像中心から注目画素までの距離とｉｈＯｕｔ_ｍａｘとの比である。
Figure JPOXMLDOC01-appb-M000006
　次に変倍処理部３４０は、ｉｈＯｕｔを用いてｉｈＲａｔｉｏを算出する。ｉｈＲａｔｉｏはｉｈＯｕｔで決まる値であり、例えば図９に示すようなｉｈＯｕｔとｉｈＲａｔｉｏの関係を表すデータがＬＵＴとしてメモリに保存されている。このＬＵＴ用いて線形補間等の処理を行うことで、すべてのｉｈＯｕｔの値に対応するｉｈＲａｔｉｏを算出することができる。
　次に変倍処理部３４０は、算出したｉｈＲａｔｉｏから下式（１２）を用いて、変倍処理後の画像の座標（ｓｈｉｆｔＸ,ｓｈｉｆｔＹ）に対応する変倍処理前の画像の座標（ｉｎＳｈｉｆｔＸ,ｉｎＳｈｉｆｔＹ）を算出する。（ｉｎＳｈｉｆｔＸ,ｉｎＳｈｉｆｔＹ）は、図８に示すように変倍処理前の画像中心を基準とした座標である。
　　inShiftX=shiftX*ihRatio*α
　　inShiftY=shiftY*ihRatio*α　・・・・・（１２）
　次に変倍処理部３４０は、算出した座標（ｉｎＳｈｉｆｔＸ,ｉｎＳｈｉｆｔＹ）を、下式（１３）を用いて、画像の左上画素を基準とした座標（ｉｎＸ,ｉｎＹ）に変換する。ここで（ｉｎＣｅｎｔＸ,ｉｎＣｅｎｔＹ）は、変倍処理前の画像の中心座標である。この座標（ｉｎＸ,ｉｎＹ）が、変倍処理後の注目画素の座標（ｏｕｔＸ,ｏｕｔＹ）に対応する変倍処理前の画像の座標である。
　　inX=inShiftX+inCentX
　　inY=inShiftY+inCentY　・・・・・（１３）
　次に変倍処理部３４０は、算出した変倍処理前の画像の座標（ｉｎＸ,ｉｎＹ）から、変倍処理後の注目画素（ｏｕｔＸ,ｏｕｔＹ）の画素値Ｉ（ｏｕｔＸ,ｏｕｔＹ）を算出する。ここでは例えばニアレストネイバー法やバイリニア法など補間処理を用いて注目画素の画素値を算出すればよい。ニアレストネイバー法では、例えば図１１に示すように変倍処理前の画像において、算出した（ｉｎＸ,ｉｎＹ）からの距離が最も近い画素ｐ１１の画素値を変倍処理後の注目画素の画素値Ｉ（ｏｕｔＸ,ｏｕｔＹ）とすればよい。また、バイリニア法では変倍処理前の画像において、算出した（ｉｎＸ,ｉｎＹ）の周辺４画素の画素値を用いて以下の（１４）式で注目画素の画素値Ｉ（ｏｕｔＸ,ｏｕｔＹ）を算出すればよい。さらに、その他の既存の補間処理を用いても、注目画素の画素値Ｉ（ｏｕｔＸ，ｏｕｔＹ）を算出することが可能であることは言うまでもない。
I（outX,outY）=（floor（inX）+1-inX）*（floor（inY）+1-inY）*p00
　　　　　　+（floor（inX）+1-inX）*（inY-floor（inY））*p10
　　　　　　+（inX-floor（inX））*（floor（inY）+1-inY）*p01
　　　　　+（inX-floor（inX））*（inY-floor（inY））*p11　・・・・・（１４）
　ここで、図９に示したｉｈＯｕｔとｉｈＲａｔｉｏの関係を表すデータを算出するための手法について説明する。ここでは説明を簡単にするため、ｓｈｉｆｔＸ＝０とした場合のｓｈｉｆｔＹと、それに対応するｉｎＳｈｉｆｔＹを用いて説明を行う。図１０は本実施形態において、ｓｈｉｆｔＸ＝０とした場合のｓｈｉｆｔＹと、それに対応するｉｎＳｈｉｆｔＹの関係を示した図である。式（１２）から分かるようにｓｈｉｆｔＸ＝０とした場合はｉｎＳｈｉｆｔＸ＝０となる。このため図１０は図１２と図１３に示すように画像中心を基準とした垂直方向の直線上でのｓｈｉｆｔＹとｉｎＳｈｉｆｔＹの関係を示している。ここでｓｈｉｆｔＹは、画像中心を基準とした変倍処理後の画像の座標であるから、取りうる値は０からＮ／２の範囲の値である。またｉｎＳｈｉｆｔＹは、画像中心を基準とした変倍処理前の画像の座標であるから、取りうる値は０から（α・Ｎ）／２の範囲の値である。
　本実施形態では、画像の周辺部に位置する病変部２の画像上のサイズが相対的に拡大され、なおかつ拡大処理に伴う解像力の劣化がほとんど無い出力画像を得ることを目的としている。この様な目的を達成するため、本実施形態では、図９に示す画像周辺部においては変倍率が１となるように、画像中心部においては変倍率がβとなるように、ｉｈＯｕｔに対応するｉｈＲａｔｉｏの値を決定している。ここでβは１／αよりも小さな任意の正の値である。また、変倍率とは、変倍処理後の画像に対する変倍処理前の画像の、半径方向（注目画素から画像中心に向かう方向）における画素数の比を示している。すなわち、例えば変倍率が１であれば変倍処理後の画像と変倍処理前の画像の半径方向の画素数は同じであり、変倍率が０.５であれば変倍処理後の画像の半径方向の画素数は変倍処理前の画像の半分となる。
　まず画像周辺部では、ｓｈｉｆｔＹの値がＮ／２-ｉの時にｉｎＳｈｉｆｔＹの値が（α・Ｎ）／２-ｉとなるようにｉｈＲａｔｉｏの値を算出する。ここでｉは任意の正の数である。このようにｉｈＲａｔｉｏを算出することで、画像周辺部においては変倍処理前の画像の半径方向の画素数と、変倍処理後の画像の半径方向の画素数が等しくなるため、変倍処理後の画像の解像力は変倍処理前の画像の解像力と等しくなる。具体的には、式（１２）のｉｎＳｈｉｆｔＹに（α・Ｎ）／２-ｉを代入し、ｓｈｉｆｔＹにＮ／２-ｉを代入して式の変形を行うことで、任意の値ｉに対するｉｈＲａｔｉｏは下式（１５）で与えられる。
Figure JPOXMLDOC01-appb-M000007
　次に画像中心部では、ｓｈｉｆｔＹの値がβ・ｉの時にｉｎＳｈｉｆｔＹの値がｉとなるようにｉｈＲａｔｉｏの値を算出する。ここでｉは任意の正の数である。このようにｉｈＲａｔｉｏを算出することで、画像中心部においては変倍処理後の画像の半径方向の画素数が、変倍処理前の画像の半径方向の画素数のβ倍になる（β倍の縮小処理が行われる）ため、変倍処理後の画像の解像力は変倍処理前の画像の解像力のβ倍になる。具体的には、（１２）式のｉｎＳｈｉｆｔＹにｉを代入し、ｓｈｉｆｔＹにβ・ｉを代入して式の変形を行うことで、任意の値ｉに対するｉｈＲａｔｉｏは下式（１６）で与えられる。
Figure JPOXMLDOC01-appb-M000008
　また、画像中心部と画像周辺部の間の範囲におけるｉｈＲａｔｉｏの値は、変倍処理後の画像が不自然な画像とならないように、例えば図９に示したようにｉｈＲａｔｉｏが連続的に変化するような直線でつなげばよい。
　本実施形態では、画像中心に対して軸対象に同様の処理が行われるため、変倍処理後の画像は図５に示すように画像中心部では変倍処理前の画像が縮小され、画像周辺部では変倍処理前の解像力が維持されたような画像となる。このため表示部４００で表示される画像は、画像中心部と比べて相対的に画像周辺部が拡大されながら、拡大処理に伴う解像力の劣化が無い画像となる。この結果、画像周辺部に病変が位置する場合も、ユーザは光学系の歪曲収差の影響が低減された、高画質な画像を観察することが可能になる。
　さらに本実施形態では、図９に示したｉｈＯｕｔとｉｈＲａｔｉｏの関係を表すＬＵＴの値を調整することで、変倍処理後の画像中心部と画像周辺部の倍率をそれぞれ調整することが可能である。ここでは例えば画像周辺部において、変倍処理後の画像が変倍処理前の画像よりも大きく拡大されるような（変倍率が１より大きくなるような）変倍処理を行っても良い。この場合は、画像周辺部の解像力が変倍前の画像の解像力よりも向上することは無いが、本実施形態のように出力部３５０から出力される画像の画素数よりも十分に画素数の多い撮像素子を使用することで、出力部３５０から出力される画像の画素数と同等以下の画素数の撮像素子を使用する場合に比べて、変倍処理後の画像周辺部の画質の劣化を低減することができる。また、本実施形態では画像中心部および画像周辺部の境界で変倍率が急峻に変化するような変倍処理となっているが、変倍率がなだらかに変化するようにｉｈＲａｔｉｏの値を調整してもよい。
　さらに本実施形態では、例えば予めｉｈＯｕｔに対するｉｈＲａｔｉｏの特性が異なる幾つかのＬＵＴを用意しておき、ユーザが外部Ｉ／Ｆ部５００からモードを選択することで、異なるＬＵＴが選択されるようにしても良い。このような処理を行うことで、ユーザの好みに応じた異なる変倍処理を行うことが可能になる。
　また、以上の説明では画像周辺部の変倍率を１倍として説明したが、これに限定されるものではない。画像周辺部の変倍率をγ倍（γは例えば０.８～１.２倍程度の任意の値）としてもよい。この場合、画像の最周辺部（ｉ＝０の部分）では、γの値にかかわらずｉｈＲａｔｉｏ＝１となるため、上式（１２）はそのまま用いることができる。また、画像周辺部では、ｓｈｉｆｔＹの値がＮ／２-γ・ｉの時にｉｎＳｈｉｆｔＹの値が（α・Ｎ）／２-ｉとなるようにｉｈＲａｔｉｏの値を算出する。ここでｉは任意の正の数である。このようにｉｈＲａｔｉｏを算出することで、画像周辺部においては変倍処理後の画像の半径方向の画素数が、変倍処理前の画像の半径方向の画素数のγ倍になる（γ倍の拡大もしくは縮小処理が行われる）。具体的には、（１２）式のｉｎＳｈｉｆｔＹに（α・Ｎ）／２-ｉを代入し、ｓｈｉｆｔＹにＮ／２-γ・ｉを代入して式の変形を行うことで、任意の値ｉに対するｉｈＲａｔｉｏは下式（１７）で与えられる。
Figure JPOXMLDOC01-appb-M000009
　この時のｓｈｉｆｔＹとｉｎＳｈｉｆｔＹの関係は図１５のようになる。
　以上の本実施形態では、撮像装置は、図１に示したように撮像光学系により結像される被写体像から画像信号を生成する複数の画素を有する撮像素子２４０と、複数の画素分の画像信号からなる原画像に対して変倍処理を施す変倍処理部３４０と、変倍処理後の画像を変倍画像として出力する出力部３５０と、を含む。そして変倍処理部３４０は、変倍画像上の注目画素の位置に応じて異なる変倍処理を行う。また、撮像素子２４０は、複数の画素として変倍画像の画素数よりも多い画素を有する。
　これにより、出力される変倍画像（例えば図５）に比べて画素数の多い原画像（例えば図６）を撮像した上で、原画像に対して変倍処理を施すことで、変倍画像を取得することが可能になる。変倍処理の際に注目画素の位置に応じて異なる変倍処理（例えば変倍処理に用いられる倍率である変倍率を異ならせる等の処理）を行うことで、画像上における注目画素の位置に基づいた処理が可能になる。これは例えば、画像中心部では変倍率を小さくし、画像周辺部では変倍率を大きくする（例えば１倍等）処理等が考えられる。つまり、注目画素の位置に応じた処理を行うことで、原画像における歪みを解消した変倍画像を取得すること等が可能になる。
　その際、原画像を変倍画像よりも大きいものとしておけば、歪みによりつぶれてしまった領域を相対的に拡大する場合に、絶対的な拡大処理を行わなくてもよくなるため、対象領域の画質の劣化を抑止することができる。もし、原画像と変倍画像が同じ大きさであったら、つぶれた領域を大きく表示しようとした場合、例えば５０ピクセルの領域を１００ピクセルに引き延ばすような処理が必要になる。しかし、元々５０ピクセル分の情報しか持っていないものを１００ピクセルに引き延ばしたのでは画質が劣化することになる。その点、原画像において１００ピクセルの大きさを持っていれば（原画像全体が大きいので画像の中では小さくつぶれて見える）、１００ピクセルの領域をそのまま用いれば、変倍画像において１００ピクセルの大きさで表示することができる（変倍画像全体が小さいので相対的に拡大される）ため、画質の劣化はない。
　また、変倍画像上の任意の一辺における画素数に対する、原画像上の対応する一辺における画素数の比をαとし、β及びγをβ＜（１／α）＜γを満たす値とする。この場合、変倍処理部３４０は、変倍画像内の第１の処理領域に属する注目画素の位置における変倍率をγ倍に設定するとともに、第１の処理領域とは異なる第２の処理領域に属する注目画素の位置における変倍率をβ倍に設定してもよい。
　ここでαは原画像と変倍画像の一辺の長さの比を表し、例えば原画像が２００ピクセル×２００ピクセルの正方形であり、変倍画像が１００ピクセル×１００ピクセルの正方形であるとすればαは２００／１００＝２となる。
　これにより、第１の処理領域においては、変倍率を１／αよりも大きく設定するとともに、第２の処理領域においては、変倍率を１／αよりも小さく設定することが可能になる。原画像と変倍画像の一辺の長さの比がαであるから、原画像の全領域に対して１／α倍の倍率で変倍処理（α＞１であるから実際には縮小処理）を行うことで、原画像の大きさを変倍画像にあわせることが可能になる。しかし、全体を同じ変倍率で変倍処理しても、歪みを解消することはできない。そこで、１／α倍に対して、それよりも小さい倍率での変倍処理（強い縮小処理）をかける第２の処理領域を設けるとともに、１／α倍よりも大きい倍率での変倍処理（弱い縮小処理或いは拡大処理）をかける第１の処理領域を設ける。これにより、第１の処理領域は第２の処理領域に比べて相対的に拡大されることになり、歪みを解消することができる。
　また、δをγ＞δ＞βを満たす値とする。この場合、第１の処理領域及び第２の処理領域とは異なる第３の処理領域に対応する変倍率をδ倍に設定してもよい。
　これにより、変倍率を２通りに限定することなく、領域の位置に応じて柔軟に設定することが可能になる。よって、領域の境目等における画像の急激な変化等を抑止し、見やすい画像を提供すること等ができる。
　また、変倍処理部３４０は、第１の処理領域に属する注目画素の位置における変倍率γとして、１を含む所定の数値範囲において設定される値を用いてもよい。具体的には例えば、０．５～２．０の範囲において設定される値を用いてもよい。望ましくは例えば、０．８～１．２の範囲において設定される値を用いる。
　これにより、γとして１或いはそれに近い値を用いることが可能になる。γ＝１とは第１の処理領域に属する注目画素の位置における変倍率を１とすることであるから、第１の処理領域では、原画像と変倍画像で半径方向の画素数が等しくなる。このため、画質の劣化や情報の欠落を抑止することができる。ただし、γは１に限定されるものではなく、変倍画像の画質が大きく劣化しない範囲において変更可能である。例えば、ある程度の縮小（捨てられる画素が生じるため、情報の欠落につながる）を行ってもよいし、ある程度の拡大（画像を引き延ばすことになるため、画質の劣化につながる）を行ってもよい。
　また、変倍処理部３４０は、注目画素と、撮像光学系の光軸に対応する変倍画像上の点との間の距離に基づいて、注目画素の位置における変倍率を設定してもよい。
　ここで、撮像光学系の光軸に対応する変倍画像上の点とは、一般的には変倍画像の中心点に相当する。図６における（ｏｕｔＣｅｎｔＸ，ｏｕｔＣｅｎｔＹ）或いは、図７における（０，０）のことである。ただし、これに限定されるものではない。
　これにより、光軸に対応する点と、注目画素との間の距離に応じて変倍率を設定することが可能になる。現在用いられる画角の広い光学系（例えば魚眼レンズ等）では、光軸に対応する点に近い領域に比べて、遠い領域の方が歪曲収差等の影響を受け小さくつぶれてしまう。例えば、本来同じ大きさの病変部が図４に示したように、中心部では適切に表示されるのに対して、周辺部では小さくつぶれることになる。つまり、光軸に対応する点からの距離に応じて変倍率を設定することで、通常用いられる光学系に即した変倍率の設定が可能になる。
　また、変倍処理部３４０は、撮像光学系の光軸に対応する点との間の距離が大きい領域を画像周辺部領域とし、撮像光学系の光軸に対応する点との間の距離が画像周辺部領域よりも小さい領域を画像中心部領域としてもよい。そして、画像周辺部領域と画像中心部領域とで異なる変倍率を設定する。
　これにより、画像周辺部領域及び画像中心部領域という２つの領域を、光軸に対応する点からの距離という観点から定義することが可能になる。つまり、図６や図７において、画像中心部領域であるか、画像周辺部領域であるかは、あくまで光軸に対応する点（ｏｕｔＣｅｎｔＸ，ｏｕｔＣｅｎｔＹ）や（０，０）に基づいて決定されるものであり、見かけ上の中心である（Ｎ／２，Ｎ／２）とは関係がないものである。これは、画像の歪みは、（ｏｕｔＣｅｎｔＸ，ｏｕｔＣｅｎｔＹ）や（０，０）に基づいて決定され、（Ｎ／２，Ｎ／２）とは関係がないことによる。
　また、上述したようにα及びγを（１／α）＜γを満たす値とする。この場合、変倍処理部３４０は、画像周辺部領域に対応する原画像上の領域に属する画素のうち、１／γ画素に１画素の割合で抽出した画素の画素値に基づいて、変倍画像上の画像周辺部領域に属する注目画素の画素値を決定する処理を行うことで、画像周辺部領域での変倍率をγ倍に設定する。
　ここで、γは（１／α）＜γという設定であるため、１より大きい可能性もあり、その場合１／γは１以下（その値を含む）の値となる。そのためここでは、「１／γ画素に１画素の割合で抽出」する処理を以下のように定義する。まず（１／γ）＞１の時には、そのまま間引き処理を行う。そして、（１／γ）＜１の時には、１画素をγ画素に引き延ばす拡大処理を行う。例えばγ＝２である場合には、「０．５画素に１画素の割合で抽出する」ことになるため、これは１画素を２画素に引き延ばす拡大処理を行えばよい。なお、これらの処理は、上述したようにニアレストネイバー法等を用いて行えばよい。
　これにより、具体的な処理として、画素間引き（或いは引き延ばしによる拡大）を行うことで、変倍処理を実現することが可能になる。なお、ここで「１／γ画素に１画素の割合で抽出」する際の１／γ画素の数え方は、光軸に対応する原画像上の点から、注目画素に対応する原画像上の点を結ぶベクトル方向に算出するものとする。よって例えば、図１２、図１３のように光軸に対応する原画像上の点も、注目画素に対応する原画像上の点も、同一の縦軸上にあるとすれば、当該縦軸上に沿った方向において、１／γ画素に１画素の割合で抽出した画素を用いることになる。斜め方向においては例えば図１８に示したように、光軸に対応する点をＢ１、画像周辺部領域をＢ２、光軸に対応する点と注目画素に対応する点を結ぶベクトルをＢ３とした場合には、色をつけた画素の中から、１／γ画素に１画素を抽出することになる。実際の処理は上述したように例えば、ニアレストネイバー法等を用いればよい。なお、γは上述したように１を想定しており、γ＝１が成り立つ場合には、１画素あたり１画素を抽出することになり、原画像と変倍画像において画像周辺部領域の半径方向の大きさが同じ（等倍）になる。
また、上述したようにα及びβをβ＜（１／α）を満たす値とする。この場合、変倍処理部３４０は、画像周辺部領域に対応する原画像上の領域に属する画素のうち、１／β画素に１画素の割合で抽出した画素の画素値に基づいて、変倍画像上の画像周辺部領域に属する注目画素の画素値を決定する処理を行うことで、画像周辺部領域での変倍率をβ倍に設定する。
　ここで、β＜（１／α）＜１であるため、上述したγのような拡大処理を考慮する必要はない。
　これにより、具体的な処理として、画素間引きを行うことで、変倍処理を実現することが可能になる。具体的な手法については、上述したγのケースと同様であるため、詳細な説明は省略する。
　また、撮像素子２４０は、原画像に対応する画像信号として、撮像光学系の歪曲収差の影響によって、原画像上の位置に応じて局所倍率が異なる画像信号を取得する。そして、変倍処理部３４０は、変倍画像上の注目画素に対応する原画像上の注目点の局所倍率に基づいて変倍率を設定する。
　ここで、局所倍率は、図１４におけるΔｄ１とΔｄ’１の比、或いはΔｄ２とΔｄ’２の比として定義される。図１４の例では実線で描かれたΔｄ１に関する局所倍率に比べて、点線で描かれたΔｄ２に関する局所倍率の方が小さくなる。
　これにより、局所倍率に基づいた変倍処理が可能になる。局所倍率の大小により、対象領域が大きく表示されるか、小さくつぶれてしまうかが決まるため、局所倍率に基づく処理を行うことで、つぶれた領域に対して適切な歪み補正を行うことが可能になる。
　また、変倍処理部３４０は、局所倍率が他の領域に比べて小さい領域における変倍率を、当該他の領域における変倍率に比べて大きく設定する。
　これにより、局所倍率が相対的に小さい領域、つまり小さくつぶれてしまっている領域では、局所倍率が相対的に大きい領域、つまりあまりつぶれていない領域に比べて変倍率を大きく設定できる。そのため、つぶれた領域に対して適切な歪み補正を行うことが可能になる。
　また、画像周辺部領域に対応する原画像上の注目点の局所倍率が、画像中心部領域に対応する原画像上の注目点の局所倍率に比べて小さい場合に、変倍処理部３４０は、画像周辺部領域の変倍率を画像中心部領域の変倍率に比べて大きく設定する。
　これにより、画像周辺部領域を画像中心部領域に比べて相対的に拡大することが可能になり、歪みを解消することができる。これは言い換えれば、局所倍率の大小によって、画像周辺部領域と画像中心部領域を定義しているとも言える。
　また、撮像装置は表示部４００をさらに含んでもよい。そして変倍処理部３４０は、表示部に変倍画像の全体を表示する場合であっても、第１の処理領域に属する注目画素の位置における変倍率をγ倍に設定する。
　これにより、画像全体を表示した上で、特定の領域（第１の処理領域）の倍率をγ倍に設定することが可能になる。γは上述してきたように１程度の値を想定している。デジタルスチルカメラの背面液晶のように、撮像光学系で取得された画像の画素数に比べて、表示部での画素数が少なくなるシステムは知られている。しかし、そのようなシステムでは、画像全体を縮小する程度は大きく（つまり変倍率はかなり小さく）、１倍に近い倍率の領域を設定することは考えられない。１倍に近い画像（撮像光学系で得られたものと同等に高精細な画像）を表示するためには当該領域のみを表示部全体に拡大して表示する等の処理が必要であった。その点、本実施形態の手法では、１倍に近い倍率の領域を設定しつつも、特定の領域だけを表示するのではなく、画像全体を表示するように他の領域の変倍率を調整することが可能である。
　また、撮像素子２４０は、原画像に対応する画像信号として、撮像光学系の歪曲収差の影響により歪みが生じた画像信号を取得してもよい。
　これにより、撮像素子２４０において、歪曲収差の影響による歪みを持つ画像を取得することが可能になる。歪曲収差については樽型等、その歪み方について広く知られているため、そのような光学的な特性を考慮することで、効率的に歪み補正を行うことが可能になる。
　また、撮像光学系は、画角が１８０°以上（その値を含む）であってもよい。
　これにより、従来より広い画角の撮像光学系を用いることが可能になる。例えば内視鏡用途に用いるのであれば、大腸等のヒダの裏側にある病変部等の探索に効果を発揮する。
　また、撮像光学系の光軸を含む領域を前方領域とし、光軸に直交する軸を含む領域を側方領域とした場合に、撮像光学系は前方領域又は側方領域に設定される撮像領域を撮像可能な光学系であってもよい。
　ここで、前方領域及び側方領域は図１７のように定義される。図１７のＣ１が前方領域となり、Ｃ２及びＣ３が側方領域である。また、図１７では平面的に描いたが、当然領域は３次元的な広がりを持っていてもよい。
　これにより、前方のみならず、側方に対しても撮像領域を設定可能になるため、広い領域を撮像することができる。
　また、撮像光学系の光軸方向と反対方向の軸を含む領域を後方領域とした場合に、撮像光学系は後方領域内に設定される撮像領域を撮像可能な光学系であってもよい。
　ここで、後方領域は図１７のＣ４のように定義される。後方領域が３次元的な広がりを持ってもよいのは上述した例と同様である。
　これにより、後方に対しても撮像領域を設定可能になる。より広い範囲を撮像可能になるため、例えば内視鏡用途等では、病変部のサーチ等を効率的に行うことができる。
　また、変倍処理部３４０は、ユーザによる変倍モード切替指示に基づいて、変倍処理における処理内容を切り替えてもよい。
　これにより、ユーザの操作指示を反映した変倍処理を行うことが可能になり、より柔軟に変倍処理を行うことができる。例えば、変倍処理により画質が劣化したとしても、人の目で見てその劣化を認識できないレベルであれば、当該変倍処理は妥当なものと言える。よって、ユーザの変倍処理後の変倍画像を試験的に提示し、ユーザが許容できる範囲をユーザの目で認識した結果に基づいて設定させるような処理を行ってもよい。
　また、撮像装置は内視鏡装置であってもよい。
　これにより、上述してきた撮像装置として内視鏡装置を用いることが可能になる。内視鏡装置においては、病変部のサーチ等が行われるため、広範囲を観察することによるメリットが大きい。また、大腸のヒダ構造のように、視界を遮蔽するような構造を持つ部位が生体内にはあるため、そのような部位を観察する際には、それぞれのヒダの裏側に撮像部を挿入しなくても済むように広い画角を撮像可能であることが望ましい。本実施形態の撮像装置を内視鏡装置に用いることで上述したような要望に応えることが可能になる。
　また、以上の本実施形態は、撮像光学系により結像される被写体像から画像信号を生成する複数の画素での画像信号に基づいて原画像を取得し、原画像に対して、注目画素の位置に応じて異なる変倍率で変倍処理を行うことで、原画像の画素数よりも少ない画素数の画像である前記変倍画像を取得し、変倍処理後の画像を変倍画像として出力する撮像方法に関係する。
　これにより、撮像装置に限定されず、本実施形態の手法を用いた撮像方法を実現することが可能になる。
　なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像装置等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
１００　光源部、１１０　白色光源、１２０　集光レンズ、２００　撮像部、
２１０　ライトガイドファイバ、２２０　照明レンズ、２３０　対物レンズ、
２４０　撮像素子、３００　処理部、３１０　ＡＤ変換部、３２０　画像処理部、３３０　制御部、３４０　変倍処理部、３５０　出力部、４００　表示部、
５００　外部Ｉ／Ｆ部

Claims (22)

  1. 　撮像光学系により結像される被写体像から画像信号を生成する複数の画素を有する撮像素子と、
    　前記複数の画素分の画像信号からなる原画像に対して変倍処理を施す変倍処理部と、
    　前記変倍処理後の画像を変倍画像として出力する出力部と、
    　を含み、
    　前記変倍処理部は、
    　前記変倍画像上の注目画素の位置に応じて異なる変倍率で前記変倍処理を行い、
    　前記撮像素子は、
    　前記複数の画素として、前記変倍画像の画素数よりも多い画素を有することを特徴とする撮像装置。
  2. 　請求項１において、
    　前記変倍画像上の任意の一辺における画素数に対する、前記原画像上の対応する一辺における画素数の比をαとし、β及びγをβ＜（１／α）＜γを満たす値とした場合に、
    　前記変倍処理部は、
    　前記変倍画像内の第１の処理領域に属する注目画素の位置における変倍率をγ倍に設定するとともに、前記第１の処理領域とは異なる前記変倍画像内の第２の処理領域に属する注目画素の位置における変倍率をβ倍に設定することを特徴とする撮像装置。
  3. 　請求項２において、
    　δをγ＞δ＞βを満たす値とした場合に、
    　前記変倍処理部は、
    　前記第１の処理領域及び前記第２の領域以外の領域である第３の処理領域に対応する変倍率をδ倍に設定することを特徴とする撮像装置。
  4. 　請求項２において、
    　前記変倍処理部は、
    　前記第１の処理領域に属する注目画素の位置における変倍率γとして、１を含む所定の数値範囲において設定される値を用いることを特徴とする撮像装置。
  5. 　請求項４において、
    　前記変倍処理部は、
    　前記第１の処理領域に属する注目画素の位置における変倍率γとして、０．５～２．０の範囲において設定される値を用いることを特徴とする撮像装置。
  6. 　請求項５において、
    　前記変倍処理部は、
    　前記第１の処理領域に属する注目画素の位置における変倍率γとして、０．８～１．２の範囲において設定される値を用いることを特徴とする撮像装置。
  7. 　請求項１において、
    　前記変倍処理部は、
    　前記注目画素と前記撮像光学系の光軸に対応する変倍画像上の点との間の距離に基づいて、前記注目画素の位置での変倍率を設定することを特徴とする撮像装置。
  8. 　請求項７において、
    　前記変倍処理部は、
    　前記注目画素と前記撮像光学系の光軸に対応する前記変倍画像上の点との間の距離が大きい領域を画像周辺部領域とし、前記注目画素と前記撮像光学系の光軸に対応する変倍画像上の点との間の距離が前記画像周辺部領域に比べて小さい領域を画像中心部領域として、前記画像周辺部領域と前記画像中心部領域とで異なる変倍率を設定することを特徴とする撮像装置。
  9. 　請求項８において、
    　前記変倍画像上の任意の一辺における画素数に対する、前記原画像上の対応する一辺における画素数の比をαとし、γを（１／α）＜γを満たす値とした場合に、
    　前記変倍処理部は、
    　前記画像周辺部領域に対応する前記原画像上の領域に属する画素のうち、１／γ画素に１画素の割合で抽出した画素の画素値に基づいて、前記変倍画像上の前記画像周辺部領域に属する注目画素の画素値を決定する処理を行うことで、前記画像周辺部領域での変倍率をγ倍に設定することを特徴とする撮像装置。
  10. 　請求項８において、
    　前記変倍画像上の任意の一辺における画素数に対する、前記原画像上の対応する一辺における画素数の比をαとし、βをβ＜（１／α）を満たす値とした場合に、
    　前記変倍処理部は、
    　前記画像中心部領域に対応する前記原画像上の領域に属する画素のうち、１／β画素に１画素の割合で抽出した画素の画素値に基づいて、前記変倍画像上の前記画像中心部領域に属する注目画素の画素値を決定する処理を行うことで、前記画像中心部領域での変倍率をβ倍に設定することを特徴とする撮像装置。
  11. 　請求項１において、
    　前記撮像素子は、
    　前記原画像に対応する画像信号として、前記撮像光学系の歪曲収差の影響によって、前記原画像上の位置に応じて前記撮像光学系の局所的な倍率である局所倍率が異なる画像信号を取得し、
    　前記変倍処理部は、
    　前記変倍画像上の注目画素に対応する前記原画像上の注目点の局所倍率に基づいて、前記注目画素の変倍率を設定することを特徴とする撮像装置。
  12. 　請求項１１において、
    　前記変倍処理部は、
    　前記変倍画像上の注目画素に対応する前記原画像上の注目点の局所倍率が、前記原画像上の他の領域での前記局所倍率より小さい場合に、前記変倍処理の前記変倍率を前記原画像上の他の領域に比べて大きく設定することを特徴とする撮像装置。
  13. 　請求項１２において、
    　前記変倍画像上の周辺部に位置する注目画素に対応する前記原画像上の注目点の局所倍率が、前記変倍画像上の中心部に位置する注目画素に対応する前記原画像上の注目点の局所倍率よりも小さい場合に、
    　前記変倍処理部は、
    　前記変倍画像の周辺部に位置する前記注目画素の変倍率の値を、前記変倍画像の中央部に位置する前記処理領域の変倍率の値よりも大きくすることを特徴とする撮像装置。
  14. 　請求項２において、
    　前記変倍画像を表示する表示部をさらに含み、
    　前記変倍処理部は、
    　前記表示部に前記変倍画像の全体を表示する場合であっても、前記第１の処理領域に属する注目画素の位置における変倍率を前記γ倍に設定することを特徴とする撮像装置。
  15. 　請求項１において、
    　前記撮像素子は、
    　前記原画像に対応する画像信号として、前記撮像光学系の歪曲収差の影響により歪みが生じた画像信号を取得することを特徴とする撮像装置。
  16. 　請求項１において、
    　前記撮像光学系は、画角が１８０度以上（その値を含む）であることを特徴とする撮像装置。
  17. 　請求項１において、
    　前記撮像光学系の光軸を含む領域を前方領域とし、前記光軸に直交する軸を含む領域を側方領域とした場合に、
    　前記撮像光学系は、
    　前記前方領域又は前記側方領域内に設定される撮像領域を撮像可能な光学系であることを特徴とする撮像装置。
  18. 　請求項１７において、
    　前記撮像光学系の光軸方向と反対方向の軸を含む領域を後方領域とした場合に、
    　前記撮像光学系は、
    　前記後方領域内に設定される撮像領域を撮像可能な光学系であることを特徴とする撮像装置。
  19. 　請求項１において、
    　前記変倍処理部は、
    　ユーザによる変倍モード切り替え指示に基づいて前記変倍処理における処理内容を切り替えることを特徴とする撮像装置。
  20. 　請求項１において、
    　前記撮像装置は、内視鏡装置であることを特徴とする撮像装置。
  21. 　撮像光学系により結像される被写体像から画像信号を生成する複数の画素での、前記画像信号に基づいて原画像を取得し、
    　前記原画像に対して、注目画素の位置に応じて異なる変倍率で変倍処理を行うことで、前記原画像の画素数よりも少ない画素数の画像である変倍画像を取得し、
    　前記変倍処理後の画像を前記変倍画像として出力することを特徴とする撮像方法。
  22. 　請求項２１において、
    　前記変倍画像上の任意の一辺における画素数に対する、前記原画像上の対応する一辺における画素数の比をαとし、β及びγをβ＜（１／α）＜γを満たす値とした場合に、
    　前記変倍画像内の第１の処理領域に属する注目画素の位置における変倍率をγ倍に設定し、
    　前記第１の処理領域とは異なる前記変倍画像内の第２の処理領域に属する注目画素の位置における変倍率をβ倍に設定することを特徴とする撮像方法。
PCT/JP2012/059493 2011-04-11 2012-04-06 撮像装置及び撮像方法 WO2012141088A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280017659.7A CN103460685B (zh) 2011-04-11 2012-04-06 摄像装置和摄像方法
EP12771335.2A EP2698983B1 (en) 2011-04-11 2012-04-06 Imaging device and imaging method
US14/049,046 US9888831B2 (en) 2011-04-11 2013-10-08 Imaging device and imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-087477 2011-04-11
JP2011087477A JP5684033B2 (ja) 2011-04-11 2011-04-11 撮像装置及び内視鏡装置の作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/049,046 Continuation US9888831B2 (en) 2011-04-11 2013-10-08 Imaging device and imaging method

Publications (1)

Publication Number Publication Date
WO2012141088A1 true WO2012141088A1 (ja) 2012-10-18

Family

ID=47009263

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/059493 WO2012141088A1 (ja) 2011-04-11 2012-04-06 撮像装置及び撮像方法

Country Status (5)

Country Link
US (1) US9888831B2 (ja)
EP (1) EP2698983B1 (ja)
JP (1) JP5684033B2 (ja)
CN (1) CN103460685B (ja)
WO (1) WO2012141088A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018051680A1 (ja) * 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム
CN108040215A (zh) * 2013-02-01 2018-05-15 佳能株式会社 图像拾取装置、图像处理装置、图像处理方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5855358B2 (ja) * 2011-05-27 2016-02-09 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP5865606B2 (ja) 2011-05-27 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP6308673B2 (ja) * 2014-10-09 2018-04-11 富士フイルム株式会社 電子内視鏡用の画像処理装置及び電子内視鏡システム
WO2016154557A1 (en) 2015-03-26 2016-09-29 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
EP3284252B1 (en) 2015-04-13 2021-07-21 Universidade De Coimbra Methods and systems for camera characterization in terms of response function, color, and vignetting under non-uniform illumination
US9986169B2 (en) * 2016-02-04 2018-05-29 KARL STORZ, Imaging, Inc. Exposure control method and system for an image capture device
CN110022751B (zh) * 2016-12-02 2021-11-30 奥林巴斯株式会社 内窥镜用图像处理装置
JP6898425B2 (ja) 2017-03-03 2021-07-07 富士フイルム株式会社 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ
EP3596657A4 (en) 2017-03-14 2021-01-13 Universidade De Coimbra SYSTEMS AND METHODS FOR 3D REGISTRATION OF CURVES AND SURFACES USING VARIOUS LOCAL INFORMATION
WO2018180249A1 (ja) 2017-03-28 2018-10-04 富士フイルム株式会社 計測支援装置、内視鏡システム、及びプロセッサ
JP6666519B2 (ja) 2017-03-28 2020-03-13 富士フイルム株式会社 計測支援装置、内視鏡システム、及びプロセッサ
WO2019078237A1 (ja) 2017-10-18 2019-04-25 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
US11963658B2 (en) 2018-08-22 2024-04-23 Intuitive Surgical Operations, Inc. Distortion correction of endoscopic images in computer-assisted tele-operated surgery
CN113453046B (zh) * 2020-03-24 2022-07-12 腾讯科技（深圳）有限公司 沉浸式媒体提供方法、获取方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08256295A (ja) * 1994-12-21 1996-10-01 Olympus Optical Co Ltd 画像処理装置
JP2007306199A (ja) * 2006-05-10 2007-11-22 Nikon Corp 撮像装置および画像処理プログラム
JP2009276371A (ja) * 2008-05-12 2009-11-26 Olympus Medical Systems Corp 内視鏡用画像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7555171B2 (en) * 2004-03-15 2009-06-30 Sharp Laboratories Of America, Inc. Systems and methods for down scaling a bitmap
JP2005345577A (ja) 2004-05-31 2005-12-15 Kyocera Corp 超広角レンズ
US7918614B2 (en) * 2006-01-20 2011-04-05 Sony Ericsson Mobile Communications Ab Camera for electronic device
US8086073B2 (en) * 2008-02-07 2011-12-27 Seiko Epson Corporation Non-uniform image resizer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08256295A (ja) * 1994-12-21 1996-10-01 Olympus Optical Co Ltd 画像処理装置
JP2007306199A (ja) * 2006-05-10 2007-11-22 Nikon Corp 撮像装置および画像処理プログラム
JP2009276371A (ja) * 2008-05-12 2009-11-26 Olympus Medical Systems Corp 内視鏡用画像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2698983A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108040215A (zh) * 2013-02-01 2018-05-15 佳能株式会社 图像拾取装置、图像处理装置、图像处理方法
EP3461120A1 (en) * 2013-02-01 2019-03-27 Canon Kabushiki Kaisha Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium
WO2018051680A1 (ja) * 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム
JPWO2018051680A1 (ja) * 2016-09-15 2019-06-27 富士フイルム株式会社 内視鏡システム

Also Published As

Publication number Publication date
CN103460685B (zh) 2017-03-22
US20140036050A1 (en) 2014-02-06
JP2012222658A (ja) 2012-11-12
CN103460685A (zh) 2013-12-18
JP5684033B2 (ja) 2015-03-11
EP2698983A1 (en) 2014-02-19
EP2698983B1 (en) 2016-09-21
EP2698983A4 (en) 2014-09-03
US9888831B2 (en) 2018-02-13

Similar Documents

Publication Publication Date Title
JP5684033B2 (ja) 撮像装置及び内視鏡装置の作動方法
JP5415973B2 (ja) 撮像装置、内視鏡システム及び撮像装置の作動方法
JP5198138B2 (ja) 内視鏡用画像装置
US9554097B2 (en) Endoscope image processing device, endoscope system, and image processing method
JP5953187B2 (ja) 合焦制御装置、内視鏡システム及び合焦制御方法
US9154745B2 (en) Endscope apparatus and program
JP5802847B2 (ja) 対物光学系
US20120105612A1 (en) Imaging apparatus, endoscope apparatus, and image generation method
WO2005110201A1 (ja) 内視鏡および内視鏡装置
US20130076879A1 (en) Endoscopic image processing device, endoscope apparatus, and image processing method
US11419482B2 (en) Endoscope apparatus, control method of endoscope apparatus, and recording medium
WO2012035971A1 (ja) 撮像装置、撮像方法及び記録媒体
JP2012205619A (ja) 画像処理装置、制御装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP7179837B2 (ja) 内視鏡装置、内視鏡画像表示方法及び内視鏡装置の作動方法
JP5985117B1 (ja) 撮像装置、画像処理装置、撮像装置の作動方法
JP6006035B2 (ja) 立体視内視鏡システム
EP3119264B1 (en) Optically adaptive endoscope
US20210044754A1 (en) Observation Device and Method of Operating an Observation Device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12771335

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2012771335

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012771335

Country of ref document: EP