WO2023084706A1 - 内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法 - Google Patents

内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法 Download PDF

Info

Publication number
WO2023084706A1
WO2023084706A1 PCT/JP2021/041580 JP2021041580W WO2023084706A1 WO 2023084706 A1 WO2023084706 A1 WO 2023084706A1 JP 2021041580 W JP2021041580 W JP 2021041580W WO 2023084706 A1 WO2023084706 A1 WO 2023084706A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
correction
difference
image information
Prior art date
Application number
PCT/JP2021/041580
Other languages
English (en)
French (fr)
Inventor
成輝 増田
俊彰 三上
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to PCT/JP2021/041580 priority Critical patent/WO2023084706A1/ja
Publication of WO2023084706A1 publication Critical patent/WO2023084706A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an endoscope processor, a program, and a focus lens control method that can adjust the focus position with a focus lens.
  • AF autofocus
  • optical path length difference AF an optical path is divided into a plurality of parts by a split optical system, a plurality of images are obtained from a plurality of optical images with different optical path lengths, and the focus is adjusted based on the obtained plurality of images.
  • Japanese Patent No. 4599116 describes a technique for equalizing the light amounts of a plurality of subject lights incident on a plurality of imaging planes in optical path length difference AF.
  • the difference in optical path length occurs. This may result in a shift in the imaging position of light rays in system AF.
  • a plurality of images obtained by picking up a plurality of optical images having a shift (geometrical difference) in image forming positions will result in different parts of the object to be imaged at corresponding pixel positions.
  • the split optical system due to the characteristics of the split optical system, there may be a difference in the average brightness of the entire optical image between a plurality of optical images with different optical path lengths, a difference in brightness due to differences in shading, and the like.
  • a plurality of images obtained by picking up a plurality of optical images with different brightness will have different signal values of the same subject portion.
  • endoscope systems have had smaller imaging elements, which contribute to a narrower insertion section, and higher pixel counts, which contributes to improved diagnostic functions. It's becoming As the pixels become smaller, the influence of the deviation of the imaging position on the imaging plane becomes greater, so even a slight deviation of the imaging position significantly reduces the AF accuracy. On the other hand, as the number of pixels increases, the depth of field becomes shallower. Therefore, in order to acquire an image that is always in focus, it is required to increase the accuracy of AF.
  • endoscopes In endoscopes, it is difficult to incorporate a mechanical mechanism that corrects image formation position deviations into the small space at the tip of the narrowed insertion section. In endoscopes, it is preferable to configure the optical system and imaging system as an integrated unit in order to ensure waterproofness and antifouling properties. It is also difficult to correct the deviation of .
  • the present invention has been made in view of the above circumstances, and enables high-precision focusing even when there is at least one of a geometrical difference and a signal value difference in a plurality of image information with different optical path lengths. It is intended to provide an endoscope processor, program and method of controlling a focus lens.
  • An endoscope processor comprises an optical system including a focus lens that adjusts a focus position; a split optical system that splits an optical path; and one or more imaging elements that capture an optical image and output an imaging signal, and a processor including hardware, the processor extracting the optical path from the imaging signal. obtaining a plurality of pieces of image information having different lengths, correcting at least one of a geometrical difference and a signal value difference in each autofocus region of the plurality of pieces of image information, and outputting image information for autofocus; An autofocus control signal for controlling the position of the focus lens is generated based on the autofocus image information.
  • a program comprises an optical system including a focus lens for adjusting a focus position and a splitting optical system for splitting an optical path, and a plurality of optical images having different optical path lengths formed by the optical system. and one or more imaging devices that capture images and output imaging signals, and causes a computer that controls an endoscope to acquire a plurality of pieces of image information having different optical path lengths from the imaging signals, and the plurality of pieces of image information. correcting at least one of a geometrical difference and a signal value difference in each autofocus area to output image information for autofocus, and controlling the position of the focus lens based on the image information for autofocus generate an autofocus control signal for
  • a focus lens control method includes an optical system including a focus lens that adjusts a focus position; and a split optical system that splits an optical path; and one or more imaging elements that capture an optical image of and output an imaging signal from the imaging signal output from an endoscope. correcting at least one of a geometrical difference and a signal value difference in each autofocus area of image information to output image information for autofocus; and based on the image information for autofocus, the position of the focus lens. to generate an autofocus control signal for controlling the
  • FIG. 1 is a diagram showing the structural and functional configuration of an endoscope system according to a first embodiment of the present invention
  • FIG. It is a block diagram which shows an example of a structure when the endoscope processor of the said 1st Embodiment is seen by a structural unit. It is a block diagram which shows the structure of the correction
  • 2 is a block diagram showing the configuration of an AF controller of the first embodiment;
  • FIG. FIG. 4 is a diagram showing an example of acquiring a plurality of images with different optical path lengths from an imaging signal and setting a basic AF area for each image in the first embodiment.
  • FIG. 4 is a chart showing examples of geometrical differences that occur between a plurality of images with different optical path lengths in the first embodiment;
  • FIG. 4 is a chart showing an example in which a plurality of types of geometrical differences occur between a plurality of images having different optical path lengths in the first embodiment;
  • 4 is a table showing an example of differences in AF evaluation values depending on whether or not there is a geometrical difference between images in the first embodiment;
  • 4 is a table showing an example of shift correction by the AF correction unit of the first embodiment; It is a chart which shows the example which the correction
  • FIG. 5 is a table showing an example in which the AF correction unit of the first embodiment corrects inversion.
  • FIG. It is a figure which shows the pixel arrangement example for demonstrating a coordinate pair in the said 1st Embodiment.
  • FIG. 8 is a diagram showing an example of setting coordinates of pixels at four corners of a basic AF area as targets for calculating a coordinate pair by block matching in the first embodiment.
  • FIG. 4 is a diagram showing an example of obtaining shift amounts T x and T y of an affine transformation matrix T related to shift in the first embodiment;
  • FIG. 10 is a diagram showing an example of obtaining rotation center coordinates of an affine transformation matrix R relating to rotation in the first embodiment
  • FIG. 4 is a diagram showing an example of obtaining a rotation angle ⁇ of an affine transformation matrix R relating to rotation in the first embodiment
  • FIG. 4 is a diagram showing an example of obtaining an affine transformation matrix S for scaling in the first embodiment
  • FIG. 4 is a diagram showing an example of obtaining an affine transformation matrix K related to skew in the first embodiment
  • 4 is a chart showing an example of image inversion in the first embodiment
  • FIG. FIG. 10 is a diagram showing an example of an object image when there is left-right inversion and there is no up-down inversion in the first embodiment
  • FIG. 4 is a diagram showing an example of shift correction of a basic AF area in the first embodiment
  • FIG. 10 is a diagram showing an example of enlarging/reducing correction of the basic AF area in the first embodiment
  • FIG. 7 is a diagram showing an example of rotation correction of the basic AF area in the first embodiment
  • 4 is a diagram showing an example of a relationship between a focus position and an AF evaluation value in the first embodiment
  • FIG. 1 to 25 show the first embodiment of the present invention
  • FIG. 1 is a diagram showing the structural and functional configuration of the endoscope system of the first embodiment.
  • solid-line arrows mainly indicate the flow of signals related to images
  • dotted-line arrows mainly indicate the flow of signals related to control.
  • the endoscope system includes an endoscope 10, a light source device 20, an endoscope processor 30, an external interface (external I/F) 40, and a monitor 50.
  • the endoscope 10 has an insertion section 10a that is inserted into the subject.
  • the subject into which the insertion portion 10a is inserted may be a living organism such as a human or an animal, or may be a non-living organism such as a machine or a building.
  • the endoscope 10 is configured as an electronic endoscope, and an optical system 11, an imaging device 14, an actuator 15, and an illumination lens 16 are provided at the distal end of the insertion section 10a.
  • the optical system 11 includes an objective optical system 12 and a split optical system 13 .
  • the objective optical system 12 forms an optical image of the subject on the imaging element 14 .
  • the objective optical system 12 includes a focus lens 12a that adjusts the focus position (object-side focal position), and the focus lens 12a is movable along the optical axis of the objective optical system 12.
  • the split optical system 13 splits the optical path of the light beam passing through the objective optical system 12 into a plurality of paths.
  • the division optical system 13 makes the optical path lengths of the plurality of divided rays different from each other, and causes the rays to reach the imaging element 14 .
  • the optical path may be divided into three or more.
  • the splitting optical system 13 that splits the optical path into two includes, for example, a semi-transmissive mirror 13a and a reflecting mirror 13b.
  • a part of the light flux emitted from the objective optical system 12 is transmitted by the semi-transmissive mirror 13a and the other part is reflected.
  • the light flux reflected by the semi-transmissive mirror 13a is further reflected toward the imaging device 14 by the reflecting mirror 13b.
  • the luminous flux transmitted by the semi-transmissive mirror 13a forms an image on part of the imaging surface of the imaging device 14, and the luminous flux reflected by the reflecting mirror 13b forms an image on another part of the imaging surface of the imaging device 14.
  • an optical image formed on a part of the imaging surface of the imaging element 14 and an optical image formed on another part of the imaging surface of the imaging element 14 are Different optical path lengths.
  • the configuration of the split optical system 13 shown in FIG. 1 is a simple model, and the actual configuration of the split optical system 13 may differ from that in FIG.
  • the semi-transmissive mirror 13a and the reflective mirror 13b may be configured as mirror surfaces of a prism.
  • the semi-transmissive mirror 13a may be configured as a polarizing beam splitter surface, and may further include a depolarizing plate that eliminates bias in the polarization direction, a wave plate that mutually converts linearly polarized light and circularly polarized light, and the like.
  • the plurality of split light beams may be imaged on a plurality of different image pickup devices instead of being imaged on different portions on the same image pickup device. That is, the imaging device 14 is configured with one or more imaging devices.
  • the imaging element 14 simultaneously captures an optical image formed on a part of the imaging surface and an optical image formed on another part of the imaging surface, for example, to obtain a plurality of optical images having different optical path lengths.
  • An image pickup signal including a plurality of such image information (hereinafter referred to as a plurality of image information with different optical path lengths (or a plurality of images with different optical path lengths)) is output.
  • the driving timing of the plurality of image pickup devices may be slightly shifted to suppress peak power consumption and reduce crosstalk. do not have. Therefore, the acquisition timings of a plurality of images do not have to be exactly the same, and may be shifted by a short period of time, for example, about one frame period or less.
  • the imaging device 14 has two-dimensionally arranged pixels that convert incident light into electrical signals.
  • the imaging element 14 photoelectrically converts a plurality of optical images formed by the optical system 11 and having different optical path lengths, captures a plurality of images, and outputs the images as analog imaging signals, for example.
  • the imaging element 14 performs imaging, for example, on a frame-by-frame basis, and sequentially outputs imaging signals related to images of a plurality of frames in time series.
  • the imaging device 14 examples include solid-state imaging devices such as CMOS (Complementary Metal-Oxide Semiconductor) image sensors and CCD (Charge Coupled Device) image sensors, but are not limited to a specific configuration.
  • the imaging device 14 may be either a color imaging device or a monochrome imaging device. If the imaging device 14 is a color imaging device, it may have primary color filters, complementary color filters, or the like, and the filter arrangement may be a Bayer arrangement or any other filter arrangement.
  • the imaging element 14 may be an image plane phase difference AF (autofocus) type imaging element that includes phase difference pixels that receive light from the optical system 11 by pupil division.
  • the actuator 15 moves the focus lens 12a along the optical axis of the objective optical system 12 based on an AF control signal input from an AF controller 37 of the endoscope processor 30, which will be described later.
  • the illumination lens 16 irradiates the subject with illumination light transmitted via a light guide 17, which will be described later.
  • the optical system 11 forms an optical image of the return light (reflected light, fluorescence, etc.) from the object irradiated with the illumination light on the imaging device 14 .
  • a light guide 17 is arranged in the endoscope 10 including the insertion section 10a.
  • the exit end of the light guide 17 faces the illumination lens 16 , and the incident end of the light guide 17 is connected to the light source device 20 .
  • the light source device 20 includes a light source controller 21 and a light source 22 .
  • the light source controller 21 controls the light intensity of the light source 22 so that it becomes the target light intensity under the control of the system controller 38 in the endoscope processor 30, which will be described later.
  • the control of the light amount of the light source 22 by the light source controller 21 may use, as appropriate, a control method such as control of emission brightness or control of duty ratio in PWM (Pulse Width Modulation).
  • the light source 22 emits illumination light using a light emitting device.
  • Light source 22 may comprise one or more of light emitting devices such as, for example, LED (Light Emitting Diode) light sources, laser light sources, or xenon light sources.
  • LED Light Emitting Diode
  • the light source 22 is not limited to the example given here, and a light emitting device of known technology can be used as appropriate for the light source 22 .
  • Illumination light emitted from the light source 22 enters the incident end of the light guide 17 .
  • the light guide 17 transmits the illumination light incident from the incident end to the exit end.
  • the transmitted illumination light is emitted from the emission end of the light guide 17 and irradiated onto the subject by the illumination lens 16 .
  • the endoscope processor 30 is connected to the endoscope 10, acquires the imaging signal output from the imaging device 14 of the endoscope 10, and performs image processing on the imaging signal.
  • the endoscope processor 30 may control the endoscope 10 as described later, and may control the entire endoscope system including the light source device 20, the monitor 50, and the like.
  • the endoscope processor 30 includes, as hardware, an AD (analog/digital) converter 31, an image acquisition unit 32, an image processing unit 33, a nonvolatile memory 34, an AF area setting unit 35, an AF correction , an AF controller 37 and a system controller 38 .
  • AD analog/digital
  • FIG. 1 shows the functional configuration of each piece of hardware of the endoscope processor 30
  • FIG. 2 is a block diagram showing an example of the configuration of the endoscope processor 30 according to the first embodiment in structural units. It is a diagram.
  • the endoscope processor 30 includes a processor 30a including hardware and a memory 30b.
  • the processor 30a includes, for example, an ASIC (Application Specific Integrated Circuit) including a CPU (Central Processing Unit) and the like, an FPGA (Field Programmable Gate Array), and the like.
  • ASIC Application Specific Integrated Circuit
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • the memory 30b includes, for example, a volatile storage medium such as RAM (Random Access Memory) and a non-volatile storage medium such as ROM (Read Only Memory) (or EEPROM (Electrically Erasable Programmable Read-Only Memory)).
  • RAM Random Access Memory
  • ROM Read Only Memory
  • EEPROM Electrical Erasable Programmable Read-Only Memory
  • the RAM temporarily stores various types of information such as images to be processed, processing parameters at the time of execution, and user setting values input from the external I/F 40 .
  • the ROM non-volatilely stores various types of information such as processing programs (computer programs), specified values of processing parameters, and user setting values that should be stored even after the power of the endoscope system is turned off.
  • FIG. 1 Various functions of the endoscope processor 30 as shown in FIG. 1 are achieved by the processor 30a shown in FIG. 2 reading and executing the processing program stored in the memory 30b. However, all or part of the various functions of the endoscope processor 30 may be configured to be performed by a dedicated electronic circuit.
  • the processing program (or at least a part of the processing program) can be stored in a portable storage medium such as a flexible disk or a CD (Compact Disc)-ROM. , a storage medium such as a hard disk drive or SSD (Solid State Drive), or a cloud storage medium.
  • the processing program may be read from an external storage medium via the external I/F 40 and stored in the memory 30b so that the processor 30a executes the processing program.
  • the AD converter 31 converts the analog imaging signal output from the imaging device 14 into a digital imaging signal, and outputs the digital imaging signal to the image acquisition section 32 . If the image sensor 14 is a digital image sensor that outputs a digital image signal, the AD converter 31 may be omitted. Also, the AD converter 31 may be included in the image acquisition unit 32 .
  • the image acquisition unit 32 acquires a plurality of images with different optical path lengths from imaging signals input from the endoscope 10 via the AD converter 31 .
  • the imaging signal output from the imaging device 14 includes a plurality of images with different optical path lengths. Therefore, the image acquisition unit 32 acquires a plurality of images from the imaging signal. Further, when the imaging device 14 is composed of a plurality of imaging devices, the image acquisition unit 32 acquires a plurality of images with different optical path lengths from imaging signals output from the plurality of imaging devices.
  • FIG. 5 is a diagram showing an example of acquiring a plurality of images with different optical path lengths from the imaging signal and setting the basic AF area for each image in the first embodiment.
  • FIG. 5 shows an example in which the imaging element 14 is composed of one imaging element.
  • the image IMG obtained from the imaging signal digitized by the AD converter 31 includes two images with different optical path lengths, that is, a first image IMG1 and a second image IMG2.
  • the image acquisition unit 32 acquires a plurality of images by, for example, extracting the first image IMG1 and the second image IMG2 from the image IMG.
  • the image acquisition section 32 outputs a plurality of images with different optical path lengths to the image processing section 33 and the AF correction section 36 .
  • the image processing unit 33 performs white balance processing, demosaicing (synchronization) processing, noise reduction processing, color conversion processing and Various image processing such as gradation conversion processing and edge enhancement processing is performed.
  • the image processing unit 33 may combine in-focus portions of a plurality of images with different optical path lengths to generate a combined image with an increased depth of field.
  • the image processing unit 33 outputs the processed image to the monitor 50 .
  • the image output by the image processing unit 33 may be any one of a plurality of images with different optical path lengths, may generate and output an image in which a plurality of images are arranged, and may be output with an expanded depth of field. may be output as a composite image.
  • the non-volatile memory 34 corresponds to at least part of the memory 30b shown in FIG. 2, and is a readable/writable memory such as a hard disk drive or SSD that can retain information even when the power is off.
  • the nonvolatile memory 34 stores processing parameters for image processing performed by the image processing unit 33, such as white balance processing, demosaicing (simultaneization) processing, noise reduction processing, color conversion processing, gradation conversion processing, and edge enhancement processing.
  • white balance processing demosaicing (simultaneization) processing
  • noise reduction processing color conversion processing
  • gradation conversion processing gradation conversion processing
  • edge enhancement processing edge enhancement processing
  • the non-volatile memory 34 stores the position information of the basic AF area, which is the basic set value of the AF area in the image.
  • the basic AF area may be an area stored during manufacturing, an area stored during maintenance after shipment, or an area input from the external I/F 40 by the user.
  • the non-volatile memory 34 further stores coordinate correspondence information.
  • the coordinate correspondence information is information indicating correspondence of pixel coordinates of the same object image in a plurality of images.
  • a specific example of coordinate correspondence information is coordinate pair information (see FIG. 13).
  • the coordinate pair is the coordinates of an arbitrary pixel in the reference image and the coordinates of the arbitrary pixel. and the coordinates of pixels in the corresponding reference image.
  • the coordinate correspondence information is not the coordinate pair itself, but the information that can be used to obtain the coordinate pair. Any information such as
  • the coordinate correspondence information may include values obtained by measuring geometrical differences that exist for each single endoscope 10 using a measuring device in advance during manufacturing or maintenance. Further, the coordinate correspondence information may be directly input by the user from the external I/F 40, or may be input from the external I/F 40 via a communication line or the like. The coordinate correspondence information input from the external I/F 40 may be stored in the nonvolatile memory 34 .
  • the nonvolatile memory 34 stores optical design values of the optical system 11 .
  • the optical design values are the coordinates at which the optical axis of the optical system 11 intersects each of the plurality of images, whether or not the plurality of images with different optical path lengths are flipped vertically and horizontally, and the average luminance of the plurality of images. , information on the reduction in the amount of peripheral light due to shading according to the image height in each of the plurality of images, and an SN ratio that is the ratio of signal to noise in each of the plurality of images.
  • the nonvolatile memory 34 serves as a memory that stores correction information obtained by previously measuring at least one of the geometrical difference and the signal value difference in each AF area of a plurality of images.
  • the geometric difference is a difference in geometric shape of images of the same subject in a plurality of images caused by at least one of the optical system 11 and the imaging element 14.
  • the position ( shift), angle (angle of rotation), magnification (scaling), distortion, and/or skew is a difference in geometric shape of images of the same subject in a plurality of images caused by at least one of the optical system 11 and the imaging element 14.
  • the position ( shift), angle (angle of rotation), magnification (scaling), distortion, and/or skew is a difference in geometric shape of images of the same subject in a plurality of images caused by at least one of the optical system 11 and the imaging element 14.
  • the position ( shift), angle (angle of rotation), magnification (scaling), distortion, and/or skew is a difference in geometric shape of images of the same subject in a plurality of images caused by at least one of the optical system 11 and the imaging element 14.
  • the difference in signal value is caused by at least one of the optical system 11 and the image sensor 14, and includes shading, average luminance, and SN ratio of the image of the same subject in a plurality of images. at least one difference between
  • the AF area setting unit 35 sets a basic AF area for each of a plurality of images with different optical path lengths acquired by the image acquisition unit 32 and outputs the set basic AF area to the AF correction unit 36 .
  • the coordinates of the upper left corner pixel of the first basic AF area FA1 set in the first image IMG1 and the second basic AF area FA2 set in the second image IMG2 are (750, 250 ), and the coordinates of the lower right corner pixel are (1250, 750).
  • the center coordinates and size of the basic AF area are not limited to the above values.
  • the center coordinates of the basic AF area are (x c , y c ), the horizontal size is H, and the vertical size is V
  • the coordinates of the upper left corner pixel are (x c ⁇ H/2, y c ⁇ V/2)
  • the coordinates of the lower right corner pixel are (x c +H/2, y c +V/2).
  • the subject image of interest may not be located in the center of the image, but may be located in the peripheral portion of the image.
  • the coordinates and size specified by the user from the external I/F 40 are set. can be set based on
  • FIG. 5 shows an example in which one AF area is set for each of the first image IMG1 and the second image IMG2, a plurality of AF areas may be set.
  • the AF correction unit 36 corrects at least one of the geometric difference and the signal value difference in each AF region of a plurality of images, and outputs AF image information (hereinafter referred to as AF image as appropriate). do.
  • AF image AF image information
  • the AF correction unit 36 of the present embodiment that corrects geometrical differences acquires a plurality of images with different optical path lengths from the image acquisition unit 32 and acquires basic AF areas from the AF area setting unit 35 . Then, the AF correction unit 36 acquires the coordinate correspondence information from the nonvolatile memory 34 or the external I/F 40, and corrects at least one of the image and the basic AF area based on the coordinate correspondence information. It should be noted that correction need not be performed for all images with different optical path lengths, or for the basic AF areas of all images with different optical path lengths.
  • the other image or the basic AF area of the other image can be corrected. Enough. Also, when three images with different optical path lengths are acquired, if one image or the basic AF area of one image is used as a reference, the other two images or the basic AF areas of the other two images It is sufficient to correct the
  • the AF correction unit 36 sets the basic AF area after correction as the AF area when correcting the basic AF area, and sets the basic AF area as it is when not correcting the basic AF area. Then, the AF correction unit 36 converts the image of the AF area in the image after correction when correcting the image, and the image of the AF area in the image acquired from the image acquisition unit 32 when not correcting the image. Output to AF controller 37 as an image
  • the AF controller 37 acquires the AF image from the AF correction unit 36, generates an AF control signal for controlling the position of the focus lens 12a based on the AF image, and outputs it to the actuator 15.
  • the system controller 38 receives an input signal from the external I/F 40, and operates the image sensor 14, the image acquisition unit 32, the image processing unit 33, the nonvolatile memory 34, the AF correction unit 36, the AF controller 37, and the light source controller 21. It is a control device that controls the entire endoscope system.
  • the system controller 38 outputs a control signal to the imaging element 14 to cause the imaging element 14 to acquire an image.
  • the system controller 38 causes the image acquisition section 32 to acquire a plurality of images with different optical path lengths.
  • the system controller 38 reads processing parameters for image processing from the nonvolatile memory 34 and causes the image processing section 33 to perform image processing.
  • the system controller 38 causes the non-volatile memory 34 to store user-set values and the like input from the external I/F 40 as necessary.
  • the system controller 38 controls the AF correction unit 36 to output an appropriate AF image.
  • the system controller 38 controls the AF controller 37 to generate an AF control signal.
  • the system controller 38 acquires information about the brightness of the image from the image processing unit 33 and transmits to the light source controller 21 a control signal that causes the subject to have an appropriate brightness.
  • the external I/F 40 has an interface for the user to operate and input to the endoscope system.
  • the external I/F 40 may include operation devices such as a keyboard, mouse, and trackball connected to the endoscope processor 30 .
  • the external I/F 40 may include a connection interface or the like for connecting to an in-hospital system, a cloud, or the like.
  • the monitor 50 displays images (moving images, still images, etc.) sequentially output from the endoscope processor 30 . Images are viewed as moving images, for example, by being displayed in units of frames in chronological order.
  • the image output from the endoscope processor 30 is an image processed by the image processing unit 33, and various information such as character information, graphic information, and guide information for guiding the operation of the endoscope 10 is added. It may be a superimposed image.
  • the objective optical system 12, the split optical system 13, and the imaging device 14 may have physical positional deviations due to manufacturing errors, aged deterioration, and the like.
  • FIG. 6 is a chart showing examples of geometrical differences that occur between a plurality of images with different optical path lengths in the first embodiment. In the example of dividing the optical path into two, as shown in FIG. The right column of FIG. 6 shows the vicinity of the second basic AF area FA2 in the second image IMG2.
  • the shift column in FIG. 6 shows an example in which the subject image in the second basic AF area FA2 is shifted in the lower right direction with respect to the subject image in the first basic AF area FA1. .
  • the rotation column in FIG. 6 shows an example in which the subject image in the second basic AF area FA2 is rotated clockwise with respect to the subject image in the first basic AF area FA1. ing.
  • the inversion column in FIG. 6 shows an example in which the subject image in the second basic AF area FA2 is horizontally inverted with respect to the subject image in the first basic AF area FA1.
  • the reduction column in FIG. 6 shows an example in which the subject image within the second basic AF area FA2 is reduced with respect to the subject image within the first basic AF area FA1.
  • the enlargement column in FIG. 6 shows an example in which the subject image within the second basic AF area FA2 is enlarged with respect to the subject image within the first basic AF area FA1.
  • distortion may occur as a geometrical difference, not limited to the example shown in FIG.
  • FIG. 6 shows an example in which one kind of geometrical difference occurs only in the second image IMG2. Sometimes it occurs in just one image, sometimes in more than one image. Also, there are cases where multiple types of geometrical differences occur at the same time.
  • FIG. 7 is a chart showing an example in which multiple types of geometrical differences occur between multiple images with different optical path lengths in the first embodiment.
  • the "shift+rotation+reduction" column in FIG. 7 indicates that the subject image within the first basic AF area FA1 is shifted to the lower right direction and the subject image within the second basic AF area FA2 is shifted to the right.
  • An example is shown in which rotation around (clockwise) and contraction are occurring.
  • FIG. 8 is a chart showing an example of differences in AF evaluation values depending on whether or not there is a geometrical difference between images in the first embodiment.
  • the AF evaluation value it is possible to widely use a value that changes according to the degree of focus on the subject within the AF area.
  • the contrast obtained by filtering the signal value of each pixel in the AF area with a bandpass filter (BPF) may be used.
  • the result of filtering by the BPF may be normalized using the average brightness of each pixel in the AF area.
  • an example using BPF is given as an example of the AF evaluation value, but the present invention is not limited to this, and an edge extraction filter may be used to acquire the edge amount, and other known techniques can be used as appropriate.
  • the AF evaluation value is not limited to the contrast and edge amount, and phase difference information, for example, may be used.
  • the signal values obtained from the phase difference pixels in the AF region of the first image IMG1 and the second image AF may be performed by calculating the phase difference based on the signal values obtained from the phase difference pixels in the AF area of the IMG2.
  • Column 1A in FIG. 8 shows a case where there is no geometric difference between the subject image within the first basic AF area FA1 and the subject image within the second basic AF area FA2.
  • Column 2A in FIG. 8 shows AF evaluation values obtained from the subject image within the first basic AF area FA1 and AF values obtained from the subject image within the second basic AF area FA2 in the case of
  • Column 1A in FIG. 7 is a graph showing an example of changes in evaluation values and values according to focus positions;
  • column 1B in FIG. 8 shows a case where there is a geometric difference between the subject image within the first basic AF area FA1 and the subject image within the second basic AF area FA2.
  • a geometrical difference occurs as shown in the shift column of FIG.
  • Column 2B in FIG. 8 shows AF evaluation values obtained from the subject image in the first basic AF area FA1 and AF values obtained from the subject image in the second basic AF area FA2 in the case of column 1B in FIG. 7 is a graph showing an example of changes in evaluation values and values according to focus positions;
  • the graph shown in column 2B of FIG. 8 has, for example, a lower AF evaluation value for the second basic AF area FA2 than the graph shown in column 2A of FIG. This is because the second basic AF area FA2 shown in column 1B of FIG. 8 contains only a part of the object image "F", and the acquired values of contrast and edge amount are small. is. Further, FIG. 8 shows an example of the shift when the object captured in the basic AF area is on the same distance plane.
  • the AF evaluation value of the second basic AF area FA2 shown in column 1B of FIG. 8 is obtained.
  • the peak position and shape of the curve may change and not show the correct correlation.
  • the AF correction unit 36 of the present embodiment performs processing for correcting geometrical differences between AF regions of a plurality of images with different optical path lengths acquired by the image acquisition unit 32 .
  • the correction method by the AF correction unit 36 includes a first correction method for correcting the image acquired from the image acquisition unit 32, a second correction method for correcting the basic AF area acquired from the AF area setting unit 35, and a second correction method for correcting the basic AF area acquired from the AF area setting unit 35.
  • the third correction method combines the first correction method and the second correction method to minimize the geometrical difference in the AF area, thereby enabling highly accurate AF.
  • FIG. 9 is a chart showing an example of shift correction by the AF correction unit 36 of the first embodiment.
  • the column before correction in FIG. 9 indicates that there is a geometrical difference as shown in the shift column in FIG.
  • the AF correction unit 36 uses the first correction method, as shown in the image correction column of FIG. As indicated by hatching, the second image is shifted and corrected so as to be positioned also in the center of the second AF area AFA2, which is the same as the second basic AF area FA2.
  • the second AF area AFA2 is set by shifting and correcting the second basic AF area FA2 so that the second AF area AFA2 is also positioned at the center.
  • FIG. 10 is a chart showing an example of correction for reduction by the AF correction unit 36 of the first embodiment.
  • the column before correction in FIG. 10 indicates that there is a geometrical difference as shown in the reduced column in FIG.
  • the AF correction unit 36 uses the first correction method, as shown in the image correction column of FIG. As indicated by hatching, the second image is enlarged and corrected so as to have the same size as the object image in the first AF area AFA1 which is the same as the one basic AF area FA1.
  • a second AF area AFA2 is set by reducing the second basic AF area FA2 so as to have the same size ratio of the object image to the same first AF area AFA1.
  • FIG. 11 is a table showing an example of rotation correction performed by the AF correction unit 36 of the first embodiment.
  • the column before correction in FIG. 11 indicates that there is a geometrical difference as shown in the rotation column in FIG.
  • the AF correction unit 36 uses, for example, the first correction method so that the angle of the subject image with respect to the second AF area AFA2, which is the same as the second basic AF area FA2, is the first As indicated by hatching, the second image is rotated and corrected so that the angle of the subject image with respect to the first AF area AFA1, which is the same as the basic AF area FA1, is the same. If the second AF area AFA2 is set by rotating the second basic AF area FA2, the second AF area AFA2 becomes an oblique rectangular area.
  • FIG. 12 is a table showing an example of correction of reversal by the AF correction unit 36 of the first embodiment.
  • the column before correction in FIG. 12 indicates that there is a geometrical difference as shown in the reverse column in FIG.
  • the AF correction unit 36 uses the first correction method to correct the object image in the second AF area AFA2, which is the same as the second basic AF area FA2, by the first basic AF area.
  • the second image is horizontally reversed and corrected so that the object image in the first AF area AFA1, which is the same as the area FA1, is upright. Note that even if the second AF area AFA2 is set by inverting the second basic AF area FA2, the second AF area AFA2 has the same range as when the second basic AF area FA2 is not inverted. That is, since the second correction method is not suitable for inversion correction, only the first correction method is shown here.
  • 9 to 12 show an example of correcting the geometrical difference of the second image with the first image as a reference. The same is true when correcting the .
  • FIG. 3 is a block diagram showing the configuration of the AF correction section 36 of the first embodiment.
  • the AF correction unit 36 includes a correction information acquisition unit 36a and a correction processing unit 36b.
  • the correction information acquisition unit 36a obtains correction information representing at least one of a geometrical difference and a signal value difference (in the case of the present embodiment, a geometrical difference) in each AF region of a plurality of images. Get information.
  • the correction information acquisition unit 36a of the present embodiment acquires coordinate correspondence information (for example, coordinate pairs) between a plurality of images as correction information.
  • the correction processing unit 36b determines at least one of a geometrical difference and a signal value difference (this embodiment , correct for geometrical differences).
  • the correction information acquisition unit 36a includes a correction information calculation unit 36a1 and a correction information reading unit 36a2.
  • 3 shows a configuration in which the correction information acquisition unit 36a includes the correction information calculation unit 36a1 and the correction information reading unit 36a2, the correction information calculation unit 36a1 and the correction information reading unit 36a2 At least one of them should be provided.
  • the correction information calculation unit 36a1 acquires a plurality of images with different optical path lengths from the image acquisition unit 32, and calculates correction information (coordinate correspondence information) based on the acquired images.
  • the correction information reading unit 36 a 2 reads out correction information (coordinate correspondence information) from the nonvolatile memory 34 .
  • the correction processing unit 36b includes a correction value calculation unit 36b1, an image correction unit 36b2, and an AF area correction unit 36b3.
  • FIG. 3 shows a configuration in which the correction processing unit 36b includes the image correction unit 36b2 and the AF area correction unit 36b3, it is sufficient to include at least one of the image correction unit 36b2 and the AF area correction unit 36b3. .
  • the correction value calculation unit 36b1 calculates coordinate conversion information based on the coordinate correspondence information (correction information) output from the correction information acquisition unit 36a.
  • the coordinate transformation information is information for transforming coordinates on a two-dimensional plane.
  • the correction processing unit 36b corrects the geometrical difference between the AF areas of the multiple images based on the coordinate conversion information calculated by the correction value calculation unit 36b1.
  • the image correction unit 36b2 corrects the geometric difference between the plurality of images by geometrically correcting at least one of the plurality of images based on the coordinate transformation information. By correcting the geometrical difference between the multiple images, the geometrical difference between the AF regions of the multiple images is corrected.
  • the AF area correction unit 36b3 sets the AF area by geometrically correcting at least one of the plurality of basic AF areas of the plurality of images based on the coordinate transformation information. By correcting the basic AF area and setting the AF area, the geometrical difference between the AF areas of the plurality of images is corrected, as will be described later.
  • the correction processing unit 36b outputs an AF image in which the geometrical difference has been corrected.
  • the AF image includes AF area images of each of a plurality of images with different optical path lengths.
  • the AF correction unit 36 converts a plurality of images having different optical path lengths (so-called RAW images) into digital signals by the AD converter 31 via the image acquisition unit 32.
  • RAW images generally contain noise components
  • image processing for example, noise reduction, etc.
  • image processing may be configured such that the AF correction unit 36 acquires the images from the image processing unit 33 . This improves the SN ratio of the image and enables more accurate focusing.
  • a configuration such as a noise reduction processing section may be further added to the AF correction section 36 .
  • the correction information acquisition unit 36a acquires coordinate correspondence information (for example, coordinate pairs) as correction information.
  • FIG. 13 is a diagram showing a pixel arrangement example for explaining coordinate pairs in the first embodiment.
  • the object image OBJ1 in the first image IMG1 and the object image OBJ2 in the second image IMG2 are arranged on the same pixel coordinates.
  • the object image OBJ1 is used as a standard image
  • the object image OBJ2 is used as a reference image. If the reference image pixel corresponding to the reference image pixel (x 1 ,y 1 ) is (x 1 ',y 1 '), then the coordinate pair is (x 1 ,y 1 ) and (x 1 ',y 1 ) . ′).
  • (x 2 , y 2 ) and (x 2 ', y 2 ') and (x 3 , y 3 ) and (x 3 ', y 3 ') are coordinates become a pair.
  • the correction information calculation unit 36a1 inputs a plurality of images with different optical path lengths from the image acquisition unit 32.
  • the image input by the correction information calculation unit 36a1 may be the entire image, but it may be an image portion including the basic AF area and the periphery of the basic AF area (for example, the periphery required for block matching described below).
  • the correction information calculation unit 36a1 performs block matching on a reference area centered on arbitrary coordinates of a plurality of images, and calculates corresponding coordinate pairs between the plurality of images.
  • the reference area is also called a template area
  • block matching is also called template matching.
  • the pixels for which the coordinate pairs are to be calculated may be arbitrarily selected. For example, the four corner pixels of the basic AF area may be selected.
  • FIG. 14 is a diagram showing an example of setting the coordinates of the pixels at the four corners of the basic AF area as targets for calculating coordinate pairs by block matching in the first embodiment.
  • a lower left corner and a fourth reference region TR4 centered at the pixel P4 in the lower right corner are extracted from the first image IMG1.
  • a first reference area RR1 centered on the upper left corner pixel P1 a second reference area RR2 centered on the upper right corner pixel P2
  • a third reference region RR3 centered on the lower left corner pixel P3 and a fourth reference region RR4 centered on the lower right corner pixel P4 are set in the second image IMG2.
  • the reference regions RR1 to RR4 are set as regions wider than the reference regions TR1 to TR4.
  • a region having the same size as the first reference region TR1 is set in the first reference region RR1, and the degree of similarity between the set region and the first reference region TR1 is calculated, for example, by SSD (Sum of Squared Difference) , SAD (Sum of Absolute Difference), NCC (Normalized Cross Correlation), ZNCC (Zero Means Normalized Cross Correlation), and the like.
  • Block matching is performed by detecting the determined regions.
  • a coordinate pair may be obtained by comparing the calculated image feature information between a plurality of images having different optical path lengths.
  • the correction information calculation unit 36a1 outputs the coordinate pairs between a plurality of images thus calculated to the correction processing unit 36b.
  • the correction information reading unit 36a2 reads the coordinate correspondence information from the nonvolatile memory 34.
  • the correction information reading unit 36a2 may read coordinate correspondence information from the external I/F 40 instead of the nonvolatile memory 34.
  • FIG. For example, a user can input a coordinate pair as coordinate correspondence information from the external I/F 40 by viewing a plurality of images with different optical path lengths and specifying corresponding pixel positions.
  • the correction information reading unit 36a2 When the coordinate correspondence information is the coordinate pair itself, the correction information reading unit 36a2 outputs the read coordinate pair as it is to the correction processing unit 36b.
  • the correction information reading unit 36a2 calculates the coordinate pair from the coordinate correspondence information.
  • the correction information reading unit 36a2 reads any arbitrary coordinates in the first image IMG1. is substituted into the function, the coordinates of the corresponding pixels in the second image IMG2 are calculated, and a coordinate pair is obtained.
  • the correction information reading unit 36a2 outputs the calculated coordinate pair to the correction processing unit 36b.
  • the correction processing unit 36b receives coordinate correspondence information (for example, coordinate pairs) from the correction information acquisition unit 36a, a plurality of images with different optical path lengths from the image acquisition unit 32, and basic AF areas from the AF area setting unit 35. and are entered.
  • coordinate correspondence information for example, coordinate pairs
  • the correction value calculation unit 36b1 calculates coordinate conversion information based on the coordinate correspondence information (for example, coordinate pairs) input from the correction information acquisition unit 36a, and outputs the information to the image correction unit 36b2 and the AF area correction unit 36b3.
  • coefficients such as an affine transformation matrix, homography transformation matrix (projective transformation matrix) can be used.
  • An example of obtaining the coefficients of an affine transformation matrix will be described below as an example, but it is needless to say that the present invention is not limited to this.
  • the affine transformation matrix Z is generally described as Equation 1. [Formula 1]
  • the coefficients a, b, c, d, e, and f of the affine transformation matrix Z in Expression 1 can be obtained if there are three sets of coordinate pair information.
  • the three coordinates (x 0 , y 0 ) (x 1 , y 1 ) (x 2 , y 2 ) before transformation are transformed into coordinates (x 0 ', y 0 ') as shown in Equation 2 by affine transformation.
  • the coefficients a, b, c, d, e, and f of the affine transformation matrix Z can be obtained with higher accuracy by performing optimization.
  • the correction value calculation unit 36b1 outputs the obtained coordinate transformation information, here the coefficients of the affine transformation matrix, to the image correction unit 36b2 and the AF area correction unit 36b3.
  • image transformation performed by affine transformation includes shift, rotation, enlargement/reduction, skew, horizontal reversal, and vertical reversal.
  • the affine transformation matrix for shift is T
  • the affine transformation matrix for rotation is R
  • the affine transformation matrix for scaling is S
  • the affine transformation matrix for skew is K
  • the affine transformation matrix for horizontal flip is Ix
  • the vertical flip is for vertical flip.
  • each of the affine transformation matrices T, R, S, K, Ix, and Iy can be expressed as Equations 4 to 9, respectively.
  • Tx in Equation 4 represents the shift amount in the x-axis direction
  • Ty represents the shift amount in the y-axis direction
  • ⁇ in Equation 5 represents a rotation angle.
  • Sx represents an enlargement/reduction ratio in the x-axis direction
  • Sy represents an enlargement/reduction ratio in the y-axis direction
  • ⁇ x in Expression 7 represents the skew angle in the x-axis direction
  • ⁇ y represents the skew angle in the y-axis direction.
  • Equation 5 may be replaced by Equation 10 below.
  • Equation 6 may be replaced with Equation 11 below.
  • the affine transformation matrix Z including shift, rotation, scaling, skew, left-right inversion, and up-and-down inversion can be described as in Equation 12, for example.
  • any difference may not occur or be negligible.
  • the left-right inversion, the up-down inversion, or the left-right inversion and the up-down inversion may not occur.
  • any of the relevant affine transformation matrices T, R, S, K, Ix, Iy can be made the identity matrix.
  • Equation 3 three or more coordinate pairs are required to obtain the coefficients a, b, c, d, e, and f of the general affine transformation matrix Z, but the affine transformation matrices T, R, One or two coordinate pairs may be sufficient if the coefficients of a particular matrix among S, K, Ix, and Iy need to be determined.
  • FIG. 15 is a diagram showing an example of obtaining the shift amounts T x and T y of the affine transformation matrix T related to the shift in the first embodiment.
  • the object image OBJ1 in the first image IMG1 and the object image OBJ2 in the second image IMG2 are arranged on the same pixel coordinates.
  • T x and T y can be obtained with higher accuracy by performing optimization, as described above.
  • FIG. 16 is a diagram showing an example of obtaining the rotation center coordinates of the affine transformation matrix R related to rotation in the first embodiment.
  • FIG. 17 is a diagram showing an example of obtaining the rotation angle ⁇ of the affine transformation matrix R related to rotation in the first embodiment. 16 and 17, the object image OBJ1 in the first image IMG1 and the object image OBJ2 in the second image IMG2 are arranged on the same pixel coordinates.
  • the coordinates (x 1 , y 1 ) of the first image IMG1 and the coordinates (x 1 ', y 1 ') of the second image IMG2 are the first coordinate pair.
  • the coordinates (x 2 , y 2 ) of the first image IMG1 and the coordinates (x 2 ', y 2 ') of the second image IMG2 are the second coordinate pair.
  • the angle formed by two straight lines passing through the rotation center coordinates (x rc , y rc ) and one of the coordinate pairs (for example, the first coordinate pair) is the rotation angle ⁇ becomes.
  • This rotation angle ⁇ is expressed by a vector a directed from the coordinates (x 1 , y 1 ) in the first image IMG1 to the coordinates (x 2 , y 2 ) in the first image IMG1 and the coordinates ( is equal to the angle formed by vector b from x 1 ', y 1 ') to coordinates (x 2 ', y 2 ').
  • the rotation angle ⁇ is obtained as shown in Equation 17 as the angle formed by vector a and vector b. [Formula 17]
  • the rotation angle ⁇ and the rotation center coordinates (x rc , y rc ) can be obtained with higher accuracy by performing optimization, as described above.
  • FIG. 18 is a diagram showing an example of obtaining an affine transformation matrix S for scaling in the first embodiment.
  • the object image OBJ1 in the first image IMG1 and the object image OBJ2 in the second image IMG2 are arranged on the same pixel coordinates.
  • the coordinates (x 1 , y 1 ) of the first image IMG1 and the coordinates (x 1 ', y 1 ') of the second image IMG2 form a first coordinate pair.
  • the coordinates of the intersection of the straight line connecting the first coordinate pair and the straight line connecting the second coordinate pair become the scaling center coordinates (x sc , y sc ).
  • the ratio of the distance from the center coordinates (x sc , y sc ) to one of the coordinate pairs indicates the scaling ratio.
  • the scaling factor Sx in the x-axis direction and the scaling factor Sy in the y-axis direction are obtained by Equation 18 using the first coordinate pair, and by Equation 19 using the second coordinate pair. [Formula 18] [Formula 19]
  • the accuracy of the result may be improved by taking an average value or the like. Also, if there are three or more coordinate pairs, the scaling ratios S x , S y and the scaling center coordinates (x sc , y sc ) can be obtained with higher accuracy by performing optimization, as described above. is.
  • FIG. 19 is a diagram showing an example of obtaining an affine transformation matrix K related to skew in the first embodiment.
  • the object image OBJ1 in the first image IMG1 and the object image OBJ2 in the second image IMG2 are arranged on the same pixel coordinates.
  • the coordinates (x 1 , y 1 ) of the first image IMG1 and the coordinates (x 1 ', y 1 ') of the second image IMG2 form a first coordinate pair.
  • the skew angle can be determined from the ratio of the amounts of change in x and y of the two coordinate pairs.
  • the skew angle ⁇ x in the x-axis direction and the skew angle ⁇ y in the y-axis direction are obtained by Equation (20). [Formula 20]
  • the skew angles ⁇ x and ⁇ y can be obtained with higher accuracy by performing optimization, as described above.
  • 15 to 19 examples of obtaining the coefficients of the affine transformation matrices T, R, S, and K have been shown, but as described above, the present invention is not limited to affine transformation matrices, but homography transformation matrices ( Projective transformation matrix) can be used as the coordinate transformation information. Regardless of which one is used as coordinate transformation information, the coefficients of the transformation matrix T related to shift, the transformation matrix R related to rotation, the transformation matrix S related to enlargement/reduction, and the transformation matrix K related to skew are illustrated in FIGS. It can be obtained by adopting a method similar to the method.
  • FIG. 20 is a chart showing an example of image inversion in the first embodiment.
  • the object image in the first basic AF area FA1 is upright in any of the columns in FIG.
  • the subject image in the second basic AF area FA2 is upright in the "no inversion” column, horizontally inverted in the “horizontally inverted” column, and vertically inverted in the “vertically inverted” column.
  • the image is vertically reversed and left/right reversed.
  • a plurality of images with different optical path lengths may be inverted.
  • FIG. 21 is a diagram showing an example of an object image when there is horizontal inversion and no vertical inversion in the first embodiment.
  • the object image OBJ1 in the first image IMG1 and the object image OBJ2 in the second image IMG2 are arranged on the same pixel coordinates.
  • an object image OBJ1 is upright, and an object image OBJ2 is horizontally inverted.
  • the presence or absence of vertical inversion and the presence or absence of horizontal inversion are stored as optical design values in the nonvolatile memory 34, and the AF evaluation value is corrected according to the presence or absence of vertical inversion and the presence or absence of horizontal inversion, Highly accurate AF control becomes possible.
  • a plurality of images with different optical path lengths are image-recognized to determine the presence/absence of up/down reversal and the presence/absence of left/right reversal.
  • I don't mind For example, for each of multiple images with different optical path lengths, by outputting and comparing one or more rows of the vertical image profile, it is possible to determine whether or not there is upside-down flipping, and output one or more rows of the horizontal image profile for comparison. By doing so, it is possible to determine whether or not there is left-right reversal.
  • the shift amounts T x and T y , the rotation angle ⁇ , the scaling ratios S x and S y , the skew angles ⁇ x and ⁇ y , and the calculation method for the presence or absence of vertical/horizontal reversal are just examples. Other known calculation methods may be used.
  • the image correction unit 36b2 acquires the coordinate transformation information, for example, the coefficients of the affine transformation matrix Z shown in Equation 1 from the correction value calculation unit 36b1, and generates the affine transformation matrix Z from the acquired coefficients.
  • the image correction unit 36b2 uses the generated affine transformation matrix Z to transform at least one of the plurality of images with different optical path lengths input from the image acquisition unit 32, thereby geometrically interposing the plurality of images. to compensate for any significant differences.
  • the image correction unit 36b2 calculates the post-conversion pixel coordinates (x', y') by converting the coordinates (x, y) of an arbitrary pixel in the target image using Equation 21. . [Formula 21]
  • Equation 21 may be performed on all pixels in the target image, or may be performed on all pixels in the AF area. Also, if the coordinates after correction include values below the decimal point, the signal value at each pixel coordinate may be calculated using known pixel interpolation such as nearest neighbor interpolation or linear interpolation.
  • the AF area correction unit 36b3 acquires the coordinate transformation information, for example, the coefficients of the affine transformation matrix Z shown in Equation 1 from the correction value calculation unit 36b1, and generates the affine transformation matrix Z from the acquired coefficients.
  • the AF area correction unit 36b3 uses the generated affine transformation matrix Z to correct at least one of the plurality of basic AF areas in the plurality of images with different optical path lengths acquired from the AF area setting unit 35, Calculate the AF area.
  • the coordinates of the four corners of the basic AF area input from the AF area setting unit 35 are (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ), (x 4 ) . , y 4 ), and the coordinates of the four corners of the corrected AF area are (x 1 ′, y 1 ′), (x 2 ′, y 2 ′), (x 3 ′, y 3 ′), (x 4 ', y4 '), the AF area correction unit 36b3 obtains the coordinates of the four corners of the corrected AF area as shown in Equation (22). [Formula 22]
  • FIG. 22 is a diagram showing an example of shift correction of the basic AF area in the first embodiment.
  • the object image OBJ1 in the first image IMG1 and the object image OBJ2 in the second image IMG2 are arranged on the same pixel coordinates.
  • the basic AF area can be used as the first AF area AFA1 as it is, and for the object image OBJ2 of the second image IMG2, the basic AF area is corrected to be the first AF area.
  • An example of calculating the 2 AF area AFA2 by Equation 22 is shown.
  • FIG. 23 is a diagram showing an example of scaling correction of the basic AF area in the first embodiment.
  • the object image OBJ1 in the first image IMG1 and the object image OBJ2 in the second image IMG2 are arranged on the same pixel coordinates.
  • the basic AF area can be used as the first AF area AFA1 as it is, and for the object image OBJ2 of the second image IMG2, the basic AF area is corrected and the An example of calculating the 2 AF area AFA2 by Equation 22 is shown.
  • the AF area is set to be a rectangle with four sides parallel to the x-axis and y-axis, so geometric differences between multiple images with different optical path lengths only change the position of the rectangle.
  • it is preferable to correct the geometrical difference by correcting the basic AF region with the AF region correction unit 36b3. In this case, it can be dealt with only by converting the coordinates of the four corners, the processing load is small, and the calculation time is short.
  • image correction can be widely applied to various types of correction compared to AF area correction. For this reason, if the basic AF area is corrected, the four sides of the corrected AF area will not be parallel to the x-axis and the y-axis, which is difficult to handle. It is preferable to correct the image by the image correction section 36b2 for the inversion.
  • the correction of the geometrical difference by the affine transformation matrix T related to the shift and the affine transformation matrix S related to the enlargement/reduction is performed to correct the basic AF area of the AF area correction unit 36b3.
  • correction of the geometrical difference by other affine transformation matrices R, K, Ix, and Iy may be performed by correcting the image of the image correction unit 36b2.
  • Equation 23 the coefficients of the affine transformation matrix Z are obtained by Equation 3, it is necessary to identify what combinations of shift, rotation, scaling, and the like are made. This can be done, for example, in the following manner.
  • An example in which the affine transformation matrix Z is a combination of an affine transformation matrix T for shift, an affine transformation matrix R for rotation, and an affine transformation matrix S for scaling will be described below.
  • the coefficients of the affine transformation matrix Z are as shown in Equation 23. [Formula 23]
  • Equation 25
  • Equation 26 the ratio of a to e and the ratio of d to b in Equation 23 are given by Equation 26.
  • Equation 27 is derived.
  • Equation 29 the rotation angle ⁇ is expressed as shown in Equation 29.
  • Equation 30 By substituting the values of Equation 28 for the scaling factors S x and Sy of Equation 29, the rotation angle ⁇ can be obtained as shown in Equation 30. [Formula 30]
  • the method of obtaining parameters such as shift, rotation, and scaling from the coefficients a, b, c, d, e, and f of the affine transformation matrix Z is not limited to the above, and any calculation method may be used.
  • the shift amounts T x , T y , scaling ratios S x , S y , and rotation angle ⁇ obtained in this way may be used separately for the correction of the basic AF area and the correction of the image.
  • FIG. 24 is a diagram showing an example of rotational correction of the basic AF area in the first embodiment.
  • the object image OBJ1 in the first image IMG1 and the object image OBJ2 in the second image IMG2 are arranged on the same pixel coordinates.
  • FIG. 24 shows an example in which the basic AF area for the object image OBJ1 of the first image IMG1 is used as the first AF area AFA1 as it is, and the basic AF area is corrected for the object image OBJ2 of the second image IMG2. showing.
  • the coordinates of the four corners of the basic AF area are corrected using Equation 22 to calculate the coordinates of the four corners of the second AF area AFA2.
  • the second AF area AFA2 for example, two straight lines parallel to the y-axis passing through the midpoints of the right side and the left side, and parallel to the x-axis passing through the midpoints of the upper side and the lower side, respectively A rectangle formed by two straight lines may be set as the corrected second AF area AFA2'.
  • the correction of the basic AF area by the AF area correction unit 36b3 is not limited to scaling and shifting, and may be applied to other operations such as rotation and skew.
  • the AF area correction unit 36b3 may of course set the basic AF area input from the AF area setting unit 35 as it is to the AF area. is.
  • the image correction unit 36b2 may use the image input from the image acquisition unit 32 as it is without correcting it.
  • the correction processing unit 36b outputs to the AF controller 37 images of AF regions (images for AF) of each of the plurality of images having different optical path lengths.
  • the correction processing unit 36b corrects the corrected AF region image (AF image ) to the AF controller 37 .
  • the basic AF area is set as the AF area as it is, and the image of the AF area in the corrected image (image for AF) is sent to the AF controller 37. Output.
  • the correction processing unit 36b outputs the corrected AF region image (AF image) in the image acquired from the image acquisition unit 32 to the AF controller 37. do.
  • the correction processing section 36b outputs to the AF controller 37 an image for AF that has been normalized according to the size of the AF area.
  • the subsequent AF controller 37 calculates the AF evaluation values of the two images, respectively, and then normalizes the calculated AF evaluation values according to the size of the AF area. I don't mind.
  • FIG. 4 is a block diagram showing the configuration of the AF controller 37 of the first embodiment.
  • the AF controller 37 includes an AF evaluation value calculator 37a and a focus lens controller 37b.
  • the AF evaluation value calculation unit 37a calculates AF evaluation values based on AF images for each of a plurality of images with different optical path lengths acquired from the correction processing unit 36b.
  • the AF evaluation value for example, a cumulative value (accumulated value in the AF region) obtained by applying a bandpass filter to each pixel in the AF region may be used.
  • the AF evaluation value may be calculated by other known methods.
  • the AF evaluation value calculation unit 37a may normalize the calculated AF evaluation value as described above according to the size of the AF area or the like.
  • the AF evaluation value calculator 37a outputs the calculated AF evaluation value to the focus lens controller 37b.
  • the focus lens control unit 37b determines an AF control signal for controlling the position of the focus lens 12a based on the AF evaluation values for each of the plurality of images calculated by the AF evaluation value calculation unit 37a, and outputs it to the actuator 15. do.
  • the focus lens control unit 37b In order to control the position of the focus lens 12a, the focus lens control unit 37b first moves the current object-side focal position (focus position) of the focus lens 12a in the near point direction based on the AF evaluation value. Determine whether to move in the far point direction. For example, when outputting one image out of a plurality of images with different optical path lengths to the monitor 50, the target position of the focus lens 12a may be the position where the AF evaluation value of the image to be output is maximized.
  • FIG. 25 is a diagram showing an example of the relationship between the focus position and the AF evaluation value in the first embodiment.
  • curve CV1 indicates AF evaluation values for first image IMG1
  • curve CV2 indicates AF evaluation values for second image IMG2.
  • Each point on the curves CV1 and CV2 is an AF evaluation value acquired from the first image IMG1 and the second image IMG2 of one frame.
  • the curve CV1 of the first image IMG1 has a peak on the far point side of the curve CV2 of the second image IMG2.
  • the peak position of the curve CV1 is set as the target position of the focus lens 12a.
  • one of the recent depth-enhancing techniques is to capture multiple images with different optical path lengths, that is, focus positions, at the same time, and combine the in-focus portions of the multiple images to expand the depth of field.
  • the position of the focus lens 12a suitable for expanding the depth of field of the composite image is between the peaks of the curve CV1 and the peak of the curve CV2. and the peak of curve CV2.
  • Each point on the curves CV1 and CV2 shown in FIG. 25 is obtained by acquiring AF evaluation values over a plurality of frames while changing the focus position.
  • Direction can be estimated.
  • both the curves CV1 and CV2 increase when the focus position is moved in the near point direction. Then, it can be estimated that the peak of the curve CV1 and the peak of the curve CV2 are on the near point side of the current focus position. In this case, the direction of the target position should be set in the periapsis direction.
  • the curve CV1 decreases and the curve CV2 increases when the focus position is moved, for example, in the near point direction. Then, it can be estimated that the peak of the curve CV1 is on the far point side of the current focus position, and the peak of the curve CV2 is on the near point side of the current focus position. In this case, if the peak of the curve CV1 is aimed, the direction of the target position should be set to the far point direction, and if the peak of the curve CV2 is aimed, the direction of the target position should be set to the near point direction.
  • both the curves CV1 and CV2 decrease when the focus position is moved, for example, in the near point direction. Then, it can be estimated that the peak of the curve CV1 and the peak of the curve CV2 are on the far point side of the current focus position. In this case, the direction of the target position should be set to the far point direction. In this way, focus position control can be determined based on the correlation of the calculated AF evaluation values.
  • optical path length difference AF for example, an AF evaluation value is calculated from a plurality of images with different optical path lengths acquired at the same time, a curve of the AF evaluation value is estimated, and the focus lens 12a is moved toward the peak of the curve. It is a method to The configuration of the present embodiment can apply the optical path length difference AF, but even in this case, by correcting the geometrical difference and obtaining an accurate AF evaluation value as described above, high-precision focusing can be achieved. It becomes possible.
  • Correction information calculation and correction processing for at least one of the image and the basic AF area may be performed. However, it is not limited to this, and correction processing may be performed on all images.
  • the AF control signal is generated based on the AF image corrected for the geometrical difference between the AF regions of the plurality of images, a plurality of images having different optical path lengths are generated. High-precision focusing is possible even if the image has geometrical differences due to manufacturing errors or deterioration over time.
  • the processing load can be reduced.
  • the calculation time can be shortened, and the circuit scale can be reduced when the calculation is implemented by hardware.
  • the basic AF area input from the AF area setting section 35 is set as the AF area by the AF area correction section 36b3 as it is.
  • a plurality of optical images obtained by dividing the optical path by the dividing optical system 13 may have different shading for each optical image.
  • shading occurs as a decrease in the amount of peripheral light according to the image height, and generally, the higher the image height, the greater the decrease in the amount of peripheral light.
  • the difference in brightness between a plurality of optical images due to different shading is a difference between the signal values of a plurality of images with different optical path lengths obtained from the imaging signal of the imaging device 14 .
  • the difference in average luminance between a plurality of images with different optical path lengths it also becomes a difference in signal value. If there are differences in signal values in the AF regions of a plurality of images, the AF evaluation values of the plurality of images will differ due to differences in texture contrast, edge amount, and the like. Therefore, the endoscope processor 30 of the present embodiment acquires an accurate AF evaluation value by correcting the signal value difference.
  • the correction information acquisition unit 36a acquires correction information that gives a ratio of signal values between corresponding pixels in a plurality of images.
  • the non-volatile memory 34 stores, as optical design values, shading values corresponding to image heights for each of a plurality of images with different optical path lengths.
  • the correction information reading unit 36a2 acquires optical design values from the nonvolatile memory 34 as correction information.
  • the correction information calculation unit 36a1 inputs a plurality of images with different optical path lengths, which are obtained by imaging a uniform white object, for example, during manufacturing, maintenance, calibration, white balance acquisition mode, and the like. It should be noted that the endoscope processor 30 may automatically calculate a signal correction coefficient for correcting the difference in signal values when, for example, the white balance acquisition mode is set.
  • the correction information calculation unit 36a1 calculates the luminance according to the image height from the image center in each of a plurality of images with different optical path lengths, which are obtained by imaging a uniform white subject. A shading value corresponding to is obtained as correction information.
  • the correction value calculation unit 36b1 calculates a signal correction coefficient representing the ratio of signal values between corresponding pixels in a plurality of images from the correction information.
  • the correction value calculation unit 36b1 calculates the AF region of the reference image.
  • a signal correction coefficient is calculated as a ratio of the shading value of the AF area of an image (reference image) other than the reference image to the shading value of . Note that this ratio may be calculated as a ratio of the cumulative luminance value in the AF area of the reference image to the cumulative luminance value in the AF area of the reference image.
  • the image correction unit 36b2 multiplies the signal value of the AF area of the reference image by the ratio calculated by the correction value calculation unit 36b1, thereby correcting the difference in signal values.
  • An AF evaluation value calculation unit 37a in the AF controller 37 acquires AF images for each of a plurality of images having different optical path lengths (AF images corrected for differences in signal values) from the correction processing unit 36b, and performs AF evaluation. Calculate each value.
  • the signal value in the AF region is corrected here, instead of this, the AF evaluation value calculated by the AF evaluation value calculation unit 37a may be corrected based on the shading value ratio.
  • the focus lens control unit 37b can perform highly accurate focusing.
  • the correction value calculation unit 36b1 calculates , a plurality of sets of coordinate pairs (pairs of coordinates of corresponding pixels in a plurality of images) are set in the image height direction from the center of the AF area.
  • the correction value calculation unit 36b1 calculates the ratio of the shading values of the reference image to the reference image for each set of coordinate pairs and performs fitting, so that the change in the ratio of the shading values (variation coefficient etc.) is obtained as the signal correction coefficient. Then, the image correction unit 36b2 corrects the signal value in the AF area of the reference image with the signal correction coefficient corresponding to the image height, so that the change in shading of the reference image becomes the same as the change in shading of the reference image. , the difference in signal values between the base image and the reference image is corrected.
  • the AF evaluation value by the AF evaluation value calculation unit 37a and the operation by the focus lens control unit 37b are the same as described above.
  • the average brightness of the entire image may be similarly corrected.
  • the non-volatile memory 34 stores, as an optical design value, the ratio of the average brightness of a reference image to one reference image among a plurality of images with different optical path lengths. Then, the correction information reading unit 36a2 acquires the average luminance ratio from the nonvolatile memory 34 as correction information.
  • the correction information calculation unit 36a1 calculates the average brightness of each of a plurality of images with different optical path lengths, which are obtained by imaging a uniform white subject, and uses one image as a reference image to refer to the reference image. Calculate the ratio of the average brightness of the image.
  • the correction value calculation unit 36b1 outputs the average luminance ratio of the image to the image correction unit 36b2 as a signal correction coefficient.
  • the image correction unit 36b2 multiplies the signal value of the AF area in the reference image by the average luminance ratio of the image, thereby correcting the difference in the signal value of each AF area of the plurality of images.
  • a noise reduction processing unit may be provided in the correction processing unit 36b to output the AF image from which noise components are removed to the AF evaluation value calculation unit 37a, as in the first embodiment. is.
  • the present invention is mainly described as an endoscope processor. It may be a focus lens control device that controls the focus lens in the same manner as the processor, a method of controlling the focus lens in the same manner as the endoscope processor (focus lens control method), or an endoscope processor in the computer. It may be a computer program for performing the same processing as , a non-temporary computer-readable recording medium for recording the computer program, or the like.
  • the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the gist of the present invention at the implementation stage.
  • various aspects of the invention can be formed by appropriate combinations of the plurality of constituent elements disclosed in the above embodiments. For example, some components may be omitted from all components shown in the embodiments. Furthermore, components across different embodiments may be combined as appropriate. As described above, it goes without saying that various modifications and applications are possible without departing from the gist of the invention.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡プロセッサ（３０）は、フォーカスレンズ（１２ａ）と分割光学系（１３）とを備える光学系（１１）と、光学系（１１）により結像された光路長が異なる複数の光学像を撮像して撮像信号を出力する撮像素子（１４）と、を備える内視鏡（１０）と接続可能であって、ハードウェアを含むプロセッサ（３０ａ）を備える。プロセッサ（３０ａ）は、撮像信号から光路長が異なる複数の画像情報を取得し、複数の画像情報の各オートフォーカス領域の幾何学的な差と信号値の差との少なくとも一方を補正してオートフォーカス用画像情報を出力し、オートフォーカス用画像情報に基づきフォーカスレンズ（１２ａ）の位置を制御するオートフォーカス制御信号を生成する。

Description

内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法
　本発明は、フォーカスレンズによりフォーカス位置を調整可能な内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法に関する。
　内視鏡システムにおいては、診断、処置を円滑に行えるように、内視鏡画像のピントが常に合っていることが好ましい。このため、注目する被検体に自動的にピントを合わせるオートフォーカス（以下、ＡＦという）を行う内視鏡システムが提案されている。
　精度の高いＡＦ方式として、光路長差方式ＡＦがある。光路長差方式ＡＦでは、分割光学系により光路を複数に分割し、光路長が異なる複数の光学像から複数の画像を取得して、取得した複数の画像に基づきピントを調整する。
　例えば日本国特開２００６－３６４３号公報には、光路長差方式ＡＦにおいて、複数の画像を単一の撮像素子で取得することにより、複数の画像を複数の撮像素子で取得する場合に特性差によって生じるピント誤差を低減し、正確にピントを合わせる技術が記載されている。
　また、日本国特許第４５９９１１６号公報には、光路長差方式ＡＦにおいて、複数の撮像面に入射する複数の被検体光の光量が等価となるようにする技術が記載されている。
　ところで、光学系および撮像系に、製造時の組付け位置のズレ（製造誤差）、製造後における接着剤の経時的な劣化による組付け位置のズレ（経年劣化）などが発生すると、光路長差方式ＡＦにおける光線の結像位置のズレとなることがある。結像位置のズレ（幾何学的な差）がある複数の光学像を撮像して得た複数の画像は、対応する画素位置に結像する被検体部分が異なってしまう。
　また、分割光学系の特性により、光路長が異なる複数の光学像間に、光学像全体の平均輝度の差、シェーディングの相違による輝度の差などが発生することがある。輝度の差がある複数の光学像を撮像して得た複数の画像は、同一被検体部分の信号値に差が生じてしまう。
　こうした、幾何学的な差、または信号値の差がある画像をＡＦに用いると、ピント合わせの精度が低下する。
　近年の内視鏡システムは、挿入部の細径化に寄与する撮像素子の小型化、および診断機能の向上に寄与する撮像素子の高画素化が進んでおり、１画素当たりの受光面積が小さくなっている。画素が小さくなると撮像面における結像位置のズレの影響が大きくなるため、結像位置が微小にズレただけでＡＦ精度が大きく低下する。一方、高画素化に伴って被写界深度は浅くなるため、常にピントの合った画像を取得するにはＡＦの精度をより高くすることが求められる。
　内視鏡では、細径化された挿入部の先端部の小さなスペースに、結像位置のズレを補正するメカニカルな機構を組み込むことは困難である。また、内視鏡においては、防水性および防汚性を確保するべく、光学系および撮像系を一体的なユニットとして構成することが好ましいため、製造後に物理的な再調整を行って結像位置のズレを補正することも困難である。
　本発明は上記事情に鑑みてなされたものであり、光路長が異なる複数の画像情報に幾何学的な差と信号値の差との少なくとも一方があっても、高精度のピント合わせが可能な内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法を提供することを目的としている。
　本発明の一態様による内視鏡プロセッサは、フォーカス位置を調整するフォーカスレンズと、光路を分割する分割光学系と、を備える光学系と、前記光学系により結像された光路長が異なる複数の光学像を撮像して撮像信号を出力する１つ以上の撮像素子と、を備える内視鏡と接続可能であって、ハードウェアを含むプロセッサを備え、前記プロセッサは、前記撮像信号から、前記光路長が異なる複数の画像情報を取得し、前記複数の画像情報の各オートフォーカス領域の、幾何学的な差と信号値の差との少なくとも一方を補正してオートフォーカス用画像情報を出力し、前記オートフォーカス用画像情報に基づき、前記フォーカスレンズの位置を制御するためのオートフォーカス制御信号を生成するように構成されている。
　本発明の一態様によるプログラムは、フォーカス位置を調整するフォーカスレンズと、光路を分割する分割光学系と、を備える光学系と、前記光学系により結像された光路長が異なる複数の光学像を撮像して撮像信号を出力する１つ以上の撮像素子と、を備える内視鏡を制御するコンピュータに、前記撮像信号から、前記光路長が異なる複数の画像情報を取得させ、前記複数の画像情報の各オートフォーカス領域の、幾何学的な差と信号値の差との少なくとも一方を補正してオートフォーカス用画像情報を出力させ、前記オートフォーカス用画像情報に基づき、前記フォーカスレンズの位置を制御するためのオートフォーカス制御信号を生成させる。
　本発明の一態様によるフォーカスレンズの制御方法は、フォーカス位置を調整するフォーカスレンズと、光路を分割する分割光学系と、を備える光学系と、前記光学系により結像された光路長が異なる複数の光学像を撮像して撮像信号を出力する１つ以上の撮像素子と、を備える内視鏡から出力された前記撮像信号から、前記光路長が異なる複数の画像情報を取得し、前記複数の画像情報の各オートフォーカス領域の、幾何学的な差と信号値の差との少なくとも一方を補正してオートフォーカス用画像情報を出力し、前記オートフォーカス用画像情報に基づき、前記フォーカスレンズの位置を制御するためのオートフォーカス制御信号を生成する。
本発明の第１の実施形態の内視鏡システムの構造的および機能的な構成を示す図である。 上記第１の実施形態の内視鏡プロセッサを構造単位でみた場合の構成の一例を示すブロック図である。 上記第１の実施形態のＡＦ用補正部の構成を示すブロック図である。 上記第１の実施形態のＡＦコントローラの構成を示すブロック図である。 上記第１の実施形態において、撮像信号から光路長が異なる複数の画像を取得し、各画像に基本ＡＦ領域を設定する例を示す図である。 上記第１の実施形態において、光路長が異なる複数の画像間に発生する幾何学的な差の例を示す図表である。 上記第１の実施形態において、光路長が異なる複数の画像間に、複数種類の幾何学的な差が発生する例を示す図表である。 上記第１の実施形態において、画像間における幾何学的な差の有無に応じたＡＦ評価値の相違の例を示す図表である。 上記第１の実施形態のＡＦ用補正部がシフトを補正する例を示す図表である。 上記第１の実施形態のＡＦ用補正部が縮小を補正する例を示す図表である。 上記第１の実施形態のＡＦ用補正部が回転を補正する例を示す図表である。 上記第１の実施形態のＡＦ用補正部が反転を補正する例を示す図表である。 上記第１の実施形態において、座標ペアを説明するための画素配置例を示す図である。 上記第１の実施形態において、ブロックマッチングにより座標ペアを算出する対象として、基本ＡＦ領域の４つの角の画素の座標を設定する例を示す図である。 上記第１の実施形態において、シフトに係るアフィン変換行列Ｔのシフト量Ｔｘ，Ｔｙを求める例を示す図である。 上記第１の実施形態において、回転に係るアフィン変換行列Ｒの回転中心座標を求める例を示す図である。 上記第１の実施形態において、回転に係るアフィン変換行列Ｒの回転角度θを求める例を示す図である。 上記第１の実施形態において、拡大縮小に係るアフィン変換行列Ｓを求める例を示す図である。 上記第１の実施形態において、スキューに係るアフィン変換行列Ｋを求める例を示す図である。 上記第１の実施形態において、画像の反転の例を示す図表である。 上記第１の実施形態において、左右反転があり、上下反転がない場合の被検体像の例を示す図である。 上記第１の実施形態において、基本ＡＦ領域をシフト補正する例を示す図である。 上記第１の実施形態において、基本ＡＦ領域を拡大縮小補正する例を示す図である。 上記第１の実施形態において、基本ＡＦ領域を回転補正する例を示す図である。 上記第１の実施形態における、フォーカス位置とＡＦ評価値との関係の一例を示す線図である。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態により本発明が限定されるものではない。なお、図面の記載において、同一または対応する要素には、適宜、同一の符号を付している。
［第１の実施形態］
　図１から図２５は本発明の第１の実施形態を示したものであり、図１は第１の実施形態の内視鏡システムの構造的および機能的な構成を示す図である。なお、図１において、実線矢印は主に画像に関連する信号の流れを示し、点線矢印は主に制御に関連する信号の流れを示している。
　内視鏡システムは、内視鏡１０と、光源装置２０と、内視鏡プロセッサ３０と、外部インタフェース（外部Ｉ／Ｆ）４０と、モニタ５０と、を備える。
　内視鏡１０は、被検体内に挿入される挿入部１０ａを備えている。ここで、挿入部１０ａが挿入される被検体は、人または動物などの生物であってもよいし、機械や建築物等の非生物であっても構わない。
　内視鏡１０は電子内視鏡として構成され、挿入部１０ａの先端部には、光学系１１と、撮像素子１４と、アクチュエータ１５と、照明レンズ１６と、が設けられている。
　光学系１１は、対物光学系１２と、分割光学系１３とを備える。
　対物光学系１２は、被検体の光学像を撮像素子１４に結像する。対物光学系１２は、フォーカス位置（物体側焦点位置）を調整するフォーカスレンズ１２ａを含み、フォーカスレンズ１２ａは、対物光学系１２の光軸に沿って移動可能である。
　分割光学系１３は、対物光学系１２を通過する光線の光路を複数に分割する。分割光学系１３は、分割した複数の光線の光路長をそれぞれ異ならせて、撮像素子１４へ到達させる。なお、以下では光路を２つに分割する例を主に説明するが、光路を３つ以上に分割しても構わない。
　光路を２つに分割する分割光学系１３は、一例として、半透過ミラー１３ａと、反射ミラー１３ｂと、を備えている。対物光学系１２から出射された光束は、半透過ミラー１３ａにより一部が透過され、他の一部が反射される。半透過ミラー１３ａにより反射された光束は、さらに反射ミラー１３ｂにより撮像素子１４へ向けて反射される。
　半透過ミラー１３ａにより透過された光束は撮像素子１４の撮像面の一部に結像され、反射ミラー１３ｂにより反射された光束は撮像素子１４の撮像面の他の一部に結像される。このような分割光学系１３の構成により、撮像素子１４の撮像面の一部に結像される光学像と、撮像素子１４の撮像面の他の一部に結像される光学像とは、光路長が異なる。
　なお、図１に示した分割光学系１３の構成は単純モデル化しており、実際の分割光学系１３の構成は図１と異なっても構わない。例えば、半透過ミラー１３ａおよび反射ミラー１３ｂは、プリズムのミラー面として構成されてもよい。また、半透過ミラー１３ａは偏光ビームスプリッタ面として構成されてもよく、偏光方向の偏りを解消する偏光解消板、直線偏光と円偏光とを相互に変換する波長板などをさらに備えてもよい。また、分割された複数の光束は、同一の撮像素子上の異なる部分に結像される代わりに、異なる複数の撮像素子にそれぞれ結像されても構わない。すなわち、撮像素子１４は、１つ以上の撮像素子を備えて構成されている。
　撮像素子１４は、撮像面の一部に結像された光学像と、撮像面の他の一部に結像された光学像とを例えば同時に撮像して、光路長が異なる複数の光学像に係る複数の画像情報（以下では適宜、光路長が異なる複数の画像情報（または、光路長が異なる複数の画像）という）を含む撮像信号を出力する。なお、撮像素子１４が複数の撮像素子で構成されている場合などに、複数の撮像素子の駆動タイミングを少しずらすことで、消費電力のピークを抑制し、クロストークを低減するようにしても構わない。従って、複数の画像の取得タイミングは、正確に同時である必要はなく、例えば１フレーム周期程度以下の短い時間だけずれていても構わない。
　撮像素子１４は、入射した光を電気信号に変換する画素が２次元状に配列されている。撮像素子１４は、光学系１１により結像された光路長が異なる複数の光学像を光電変換して複数の画像を撮像し、例えばアナログの撮像信号として出力する。撮像素子１４は、例えばフレーム単位で撮像を行い、複数フレームの画像に係る撮像信号を時系列的に順次出力する。
　撮像素子１４の例としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサなどの固体撮像素子が挙げられるが、特定の構成に限定されない。また、撮像素子１４は、カラー撮像素子、モノクロ撮像素子の何れでも構わない。撮像素子１４がカラー撮像素子である場合は、原色カラーフィルタ、補色カラーフィルタなどの何れを備えていてもよいし、フィルタ配列はベイヤー配列、またはその他のフィルタ配列の何れでも構わない。さらに、撮像素子１４は、光学系１１からの光を瞳分割して受光する位相差画素を備える、像面位相差ＡＦ（オートフォーカス）方式の撮像素子であっても構わない。
　アクチュエータ１５は、内視鏡プロセッサ３０の後述するＡＦコントローラ３７から入力されるＡＦ制御信号に基づいて、対物光学系１２の光軸に沿ってフォーカスレンズ１２ａを移動する。
　照明レンズ１６は、後述するライトガイド１７を経由して伝送された照明光を、被検体へ照射する。光学系１１は、照明光が照射された被検体からの戻り光（反射光、蛍光など）の光学像を撮像素子１４に結像する。
　挿入部１０ａを含む内視鏡１０内には、ライトガイド１７が配設されている。ライトガイド１７の出射端は照明レンズ１６に対向し、ライトガイド１７の入射端は、光源装置２０に接続されている。
　光源装置２０は、光源コントローラ２１と、光源２２とを備える。
　光源コントローラ２１は、内視鏡プロセッサ３０内の後述するシステムコントローラ３８の制御に従って、光源２２の光量が目標光量となるように制御する。光源コントローラ２１による光源２２の光量の制御は、例えば、発光輝度の制御、またはＰＷＭ（Pulse Width Modulation：パルス幅変調）におけるデューティー比の制御などの制御方法を適宜用いて構わない。
　光源２２は、発光デバイスにより照明光を発光する。光源２２は、例えば、ＬＥＤ（Light Emitting Diode）光源、レーザ光源、またはキセノン光源などの発光デバイスの内の、１種類以上を備えることができる。ただし、ここで挙げた例に限定されず、公知技術の発光デバイスを適宜に光源２２に使用可能である。
　光源２２から発光された照明光は、ライトガイド１７の入射端に入射する。ライトガイド１７は、入射端から入射した照明光を出射端へ伝送する。伝送された照明光は、ライトガイド１７の出射端から出射され、照明レンズ１６により被検体へ照射される。
　内視鏡プロセッサ３０は、内視鏡１０と接続され、内視鏡１０の撮像素子１４から出力された撮像信号を取得して、撮像信号に画像処理を行う。また、内視鏡プロセッサ３０は、後述するように内視鏡１０を制御し、さらに光源装置２０およびモニタ５０などを含む内視鏡システムの全体を制御してもよい。
　内視鏡プロセッサ３０は、ハードウェアとして、ＡＤ（アナログ・デジタル）変換器３１と、画像取得部３２と、画像処理部３３と、不揮発性メモリ３４と、ＡＦ領域設定部３５と、ＡＦ用補正部３６と、ＡＦコントローラ３７と、システムコントローラ３８と、を備えている。
　図１では内視鏡プロセッサ３０の各ハードウェアの機能的な構成を示したが、図２は、第１の実施形態の内視鏡プロセッサ３０を構造単位でみた場合の構成の一例を示すブロック図である。
　図２に示すように、内視鏡プロセッサ３０は、ハードウェアを含むプロセッサ３０ａと、メモリ３０ｂとを備える。プロセッサ３０ａは、例えば、ＣＰＵ（Central Processing Unit：中央処理装置）等を含むＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）、ＦＰＧＡ（Field Programmable Gate Array）等を備える。
　メモリ３０ｂは、例えば、ＲＡＭ（Random Access Memory）などの揮発性の記憶媒体と、ＲＯＭ（Read Only Memory）（またはＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory））などの不揮発性の記憶媒体とを備える。ＲＡＭは、処理対象の画像、実行時の処理パラメータ、外部Ｉ／Ｆ４０から入力されたユーザ設定値などの各種情報を一時的に記憶する。ＲＯＭは、処理プログラム（コンピュータプログラム）、処理パラメータの規定値、内視鏡システムの電源をオフにしても記憶しておくべきユーザ設定値などの各種情報を不揮発に記憶する。
　図２に示すプロセッサ３０ａが、メモリ３０ｂに記憶された処理プログラムを読み込んで実行することにより、図１に示したような内視鏡プロセッサ３０の各種機能が果たされる。ただし、内視鏡プロセッサ３０の各種機能の全部または一部を、専用の電子回路により果たすように構成しても構わない。
　また、ここでは、メモリ３０ｂに処理プログラムが記憶されている例を説明したが、処理プログラム（または処理プログラムの少なくとも一部）は、フレキシブルディスクもしくはＣＤ（Compact Disc）－ＲＯＭ等の可搬記憶媒体、ハードディスクドライブもしくはＳＳＤ（Solid State Drive）等の記憶媒体、クラウド上の記憶媒体などに記憶されていても構わない。この場合、外部の記憶媒体から外部Ｉ／Ｆ４０を経由して処理プログラムを読み込みメモリ３０ｂに記憶させ、プロセッサ３０ａが処理プログラムを実行するようにすればよい。
　ＡＤ変換器３１は、撮像素子１４から出力されるアナログの撮像信号をデジタルの撮像信号に変換して、画像取得部３２へ出力する。なお、撮像素子１４がデジタルの撮像信号を出力するデジタル撮像素子である場合には、ＡＤ変換器３１を省略しても構わない。また、ＡＤ変換器３１は、画像取得部３２に含まれても構わない。
　画像取得部３２は、ＡＤ変換器３１を経由して内視鏡１０から入力された撮像信号から、光路長が異なる複数の画像を取得する。例えば、撮像素子１４が１枚の撮像素子で構成される場合、撮像素子１４から出力される撮像信号には、光路長が異なる複数の画像が含まれる。そこで画像取得部３２は、撮像信号から、複数の画像をそれぞれ取得する。また、撮像素子１４が複数の撮像素子で構成される場合、画像取得部３２は、複数の撮像素子から出力される撮像信号から、光路長が異なる複数の画像をそれぞれ取得する。
　ここで、図５は、第１の実施形態において、撮像信号から光路長が異なる複数の画像を取得し、各画像に基本ＡＦ領域を設定する例を示す図である。図５には、撮像素子１４が１枚の撮像素子で構成される場合の例を示している。
　ＡＤ変換器３１によりデジタル化された撮像信号から得られる画像ＩＭＧには、光路長が異なる２つの画像、つまり第１の画像ＩＭＧ１と、第２の画像ＩＭＧ２と、が含まれている。画像取得部３２は、例えば画像ＩＭＧから、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２とを抽出して、複数の画像を取得する。
　画像取得部３２は、光路長が異なる複数の画像を、画像処理部３３およびＡＦ用補正部３６へ出力する。
　画像処理部３３は、画像取得部３２からフレーム単位で順次に出力される光路長が異なる複数の画像に対して、ホワイトバランス処理、デモザイキング（同時化）処理、ノイズ低減処理、色変換処理、階調変換処理、および輪郭強調処理等の各種の画像処理を行う。
　なお、画像処理部３３は、光路長が異なる複数の画像における、ピントが合っている部分を合成して、被写界深度が拡大された合成画像を生成する処理を行っても構わない。
　画像処理部３３は、画像処理した画像をモニタ５０へ出力する。画像処理部３３が出力する画像は、光路長が異なる複数の画像の何れか１つでも構わないし、複数の画像を並べた画像を生成して出力しても構わないし、被写界深度が拡大された合成画像を出力してもよい。
　不揮発性メモリ３４は、図２に示したメモリ３０ｂの少なくとも一部に対応し、ハードディスクドライブまたはＳＳＤなどの、通電していない状態でも情報を保持できる読み書き可能なメモリである。
　不揮発性メモリ３４は、画像処理部３３により行われるホワイトバランス処理、デモザイキング（同時化）処理、ノイズ低減処理、色変換処理、階調変換処理、および輪郭強調処理等の画像処理の処理パラメータを記憶する。
　また、不揮発性メモリ３４は、画像内におけるＡＦ領域の基本的な設定値である基本ＡＦ領域の位置情報を記憶する。基本ＡＦ領域は、製造時に記憶された領域、出荷後のメンテナンス時に記憶された領域、またはユーザが外部Ｉ／Ｆ４０から入力した領域の何れでも構わない。
　不揮発性メモリ３４は、さらに、座標対応情報を記憶する。座標対応情報は、複数の画像における、同一の被検体像の画素座標の対応を示す情報である。座標対応情報の具体的な一例は、座標ペアの情報である（図１３参照）。光路長が異なる複数の画像の内の１つを基準画像、基準画像以外の画像を参照画像としたときに、座標ペアは、基準画像における任意の画素の座標と、該任意の画素の座標に対応する参照画像の画素の座標と、の組み合わせである。
　また、座標対応情報は、座標ペア自体でなくても、座標ペアを求めることができる情報、例えば、光路長が異なる複数の画像から抽出した、画素同士の対応を与える写像、行列、関数、テーブルなどの情報などでも構わない。
　座標対応情報は、内視鏡１０の単体毎に存在する幾何学的な差を製造時またはメンテナンス時などに測定機器により予め測定して取得された値を含んでもよい。また、座標対応情報は、外部Ｉ／Ｆ４０からユーザにより直接入力されてもよいし、通信回線等を経由して外部Ｉ／Ｆ４０から入力されても構わない。外部Ｉ／Ｆ４０から入力された座標対応情報は、不揮発性メモリ３４へ保存してもよい。
　不揮発性メモリ３４は、光学系１１の光学的な設計値を記憶する。光学的な設計値は、光学系１１の光軸が複数の画像のそれぞれに交差する座標と、光路長が異なる複数の画像の上下反転の有無および左右反転の有無と、複数の画像の平均輝度の差と、複数の画像のそれぞれにおける像高に応じたシェーディングによる周辺光量の減少の情報と、複数の画像それぞれの信号と雑音との比であるＳＮ比と、を含んでもよい。
　こうして不揮発性メモリ３４は、複数の画像の各ＡＦ領域の、幾何学的な差と信号値の差との少なくとも一方を予め測定して得られた補正用情報を記憶するメモリとなっている。
　ここで、幾何学的な差は、光学系１１と撮像素子１４との少なくとも一方に起因して発生する、複数の画像における同一被検体の像の幾何学形状の相違であり、例えば、位置（シフト）と、角度（回転の角度）と、倍率（拡大縮小）と、ディストーションと、斜め歪み（スキュー）と、の内の少なくとも１つの差を含む。
　また、信号値の差は、光学系１１と撮像素子１４との少なくとも一方に起因して発生する、複数の画像における同一被検体の像の、シェーディングと、平均輝度と、ＳＮ比と、の内の少なくとも１つの差を含む。
　ＡＦ領域設定部３５は、画像取得部３２により取得した光路長が異なる複数の画像の各々に対する基本ＡＦ領域を設定し、設定した基本ＡＦ領域をＡＦ用補正部３６へ出力する。
　図５に示すように、撮像信号から得られる画像ＩＭＧに含まれる第１の画像ＩＭＧ１および第２の画像ＩＭＧ２が、一例として、横（Ｈ）２０００画素×縦（Ｖ）１０００画素の構成であるとする。さらに、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２のそれぞれにおける左上角の画素を各画像の原点（ｘ，ｙ）＝（０，０）として、右方向を正とした横方向座標ｘ、および下方向を正とした縦方向座標ｙによる画素座標を、各画像に構築したとする。
　このとき、ＡＦ領域設定部３５は、例えば不揮発性メモリ３４から読み出した基本ＡＦ領域の位置情報に基づいて、中心座標を（ｘ，ｙ）＝（１０００，５００）とする横（Ｈ）５００画素×縦（Ｖ）５００画素の基本ＡＦ領域を設定するものとする。
　この場合、第１の画像ＩＭＧ１に設定される第１基本ＡＦ領域ＦＡ１、および第２の画像ＩＭＧ２に設定される第２基本ＡＦ領域ＦＡ２の、例えば、左上角の画素の座標は（７５０，２５０）、右下角の画素の座標は（１２５０，７５０）となる。
　ただし、基本ＡＦ領域の中心座標およびサイズは上述の値に限定されない。例えば、基本ＡＦ領域の中心座標を（ｘｃ，ｙｃ）、横方向のサイズをＨ、縦方向のサイズをＶとした場合、左上角の画素の座標は（ｘｃ－Ｈ／２，ｙｃ－Ｖ／２）、右下角の画素の座標は（ｘｃ＋Ｈ／２，ｙｃ＋Ｖ／２）となる。
　また、内視鏡１０と被検体の位置関係によっては、着目する被検体像が画像の中心に位置せず、画像の周辺部分に位置する場合がある。この場合、ＡＦ領域設定部３５が設定する基本ＡＦ領域を、不揮発性メモリ３４から読み出した基本ＡＦ領域の位置情報に基づき設定するのに代えて、ユーザが外部Ｉ／Ｆ４０から指定した座標やサイズに基づき設定しても構わない。さらに、図５には、第１の画像ＩＭＧ１および第２の画像ＩＭＧ２のそれぞれに、ＡＦ領域を１つずつ設定する例を示したが、ＡＦ領域を複数ずつ設定しても構わない。
　ＡＦ用補正部３６は、複数の画像の各ＡＦ領域の、幾何学的な差と信号値の差との少なくとも一方を補正してＡＦ用画像情報（以下では適宜、ＡＦ用画像という）を出力する。なお、第１の実施形態においては、ＡＦ用補正部３６が幾何学的な差を補正する例を説明し、信号値の差を補正する例については後述の第２の実施形態において説明する。
　幾何学的な差を補正する本実施形態のＡＦ用補正部３６は、画像取得部３２から光路長が異なる複数の画像を取得し、ＡＦ領域設定部３５から基本ＡＦ領域を取得する。そして、ＡＦ用補正部３６は、不揮発性メモリ３４または外部Ｉ／Ｆ４０から座標対応情報を取得し、座標対応情報に基づいて、画像と基本ＡＦ領域との少なくも一方を補正する。
　なお、補正は、光路長が異なる全ての画像、または光路長が異なる全ての画像の基本ＡＦ領域に対して行う必要はない。例えば、光路長が異なる２つの画像が取得されるときは、一方の画像、または一方の画像の基本ＡＦ領域を基準とすれば、他方の画像、または他方の画像の基本ＡＦ領域を補正すれば足りる。また、光路長が異なる３つの画像が取得されるときは、１つの画像、または１つの画像の基本ＡＦ領域を基準とすれば、他の２つの画像、または他の２つの画像の基本ＡＦ領域を補正すれば足りる。
　ＡＦ用補正部３６は、基本ＡＦ領域を補正する場合には補正後の基本ＡＦ領域をＡＦ領域とし、基本ＡＦ領域を補正しない場合には基本ＡＦ領域をそのままＡＦ領域とする。そして、ＡＦ用補正部３６は、画像を補正する場合には補正後の画像におけるＡＦ領域の画像、画像を補正しない場合には画像取得部３２から取得した画像におけるＡＦ領域の画像を、ＡＦ用画像としてＡＦコントローラ３７へ出力する
　ＡＦコントローラ３７は、ＡＦ用補正部３６からＡＦ用画像を取得して、ＡＦ用画像に基づき、フォーカスレンズ１２ａの位置を制御するためのＡＦ制御信号を生成して、アクチュエータ１５へ出力する。
　システムコントローラ３８は、外部Ｉ／Ｆ４０からの入力信号を受信し、撮像素子１４、画像取得部３２、画像処理部３３、不揮発性メモリ３４、ＡＦ用補正部３６、ＡＦコントローラ３７、光源コントローラ２１を含む内視鏡システム全体を制御する制御装置である。
　システムコントローラ３８は、撮像素子１４へ制御信号を出力し、撮像素子１４に画像を取得させる。システムコントローラ３８は、画像取得部３２に、光路長が異なる複数の画像を取得させる。システムコントローラ３８は、画像処理の処理パラメータを不揮発性メモリ３４から読み出して、画像処理部３３に画像処理を行わせる。システムコントローラ３８は、外部Ｉ／Ｆ４０から入力されたユーザによる設定値等を、必要に応じて不揮発性メモリ３４に記憶させる。システムコントローラ３８は、ＡＦ用補正部３６を制御して、適切なＡＦ用画像を出力させる。システムコントローラ３８は、ＡＦコントローラ３７を制御して、ＡＦ制御信号を生成させる。システムコントローラ３８は、画像処理部３３から画像の輝度に関する情報を取得して、被検体が適切な輝度となるような制御信号を光源コントローラ２１へ送信する。
　外部Ｉ／Ｆ４０は、ユーザが操作して内視鏡システムに対する入力を行うためのインタフェースを備える。外部Ｉ／Ｆ４０は、内視鏡プロセッサ３０に接続されるキーボード、マウス、トラックボール等の操作デバイスを含んでいても構わない。また、外部Ｉ／Ｆ４０は、院内システムまたはクラウド等へ接続するための接続インタフェース等を含んでいても構わない。
　モニタ５０は、内視鏡プロセッサ３０から順次に出力される画像（動画像、静止画像など）を表示する。画像は、例えばフレーム単位で時系列的に表示されることで、動画像として観察される。なお、内視鏡プロセッサ３０から出力される画像は、画像処理部３３により画像処理された画像に、文字情報、図形情報、内視鏡１０の操作を案内するためのガイド情報などの各種情報を重畳した画像であっても構わない。
　ところで、対物光学系１２、分割光学系１３、および撮像素子１４には、製造誤差や経年劣化などによる物理的な位置のズレが発生することがある。例えば、対物光学系１２内におけるレンズの位置ズレ、対物光学系１２と分割光学系１３との相対的な位置ズレ、光学系１１と撮像素子１４との相対的な位置ズレなどである。
　図６は、第１の実施形態において、光路長が異なる複数の画像間に発生する幾何学的な差の例を示す図表である。図１に示したような、光路を２つに分割する例において、光路長が異なる２つの画像の内の、第１の画像ＩＭＧ１における第１基本ＡＦ領域ＦＡ１付近を図６の左欄に、第２の画像ＩＭＧ２における第２基本ＡＦ領域ＦＡ２付近を図６の右欄にそれぞれ示している。
　図６のシフト欄は、第１基本ＡＦ領域ＦＡ１内の被検体像に対して、第２基本ＡＦ領域ＦＡ２内の被検体像に右下方向へのシフトが発生している例を示している。
　図６の回転欄は、第１基本ＡＦ領域ＦＡ１内の被検体像に対して、第２基本ＡＦ領域ＦＡ２内の被検体像に右周り（時計周り）の回転が発生している例を示している。
　図６の反転欄は、第１基本ＡＦ領域ＦＡ１内の被検体像に対して、第２基本ＡＦ領域ＦＡ２内の被検体像に左右反転が発生している例を示している。
　図６の縮小欄は、第１基本ＡＦ領域ＦＡ１内の被検体像に対して、第２基本ＡＦ領域ＦＡ２内の被検体像に縮小が発生している例を示している。
　図６の拡大欄は、第１基本ＡＦ領域ＦＡ１内の被検体像に対して、第２基本ＡＦ領域ＦＡ２内の被検体像に拡大が発生している例を示している。
　なお、図６に示した例に限らず、幾何学的な差として、ディストーションが発生する場合もある。
　図６には１種類の幾何学的な差が第２の画像ＩＭＧ２のみに発生する例を示しているが、幾何学的な差は、光路長が異なる複数の画像の内の、何れか１つの画像だけに発生する場合もあれば、２つ以上の画像に発生する場合もある。また、幾何学的な差は、複数種類が同時に発生する場合もある。
　図７は、第１の実施形態において、光路長が異なる複数の画像間に、複数種類の幾何学的な差が発生する例を示す図表である。
　図７の「シフト＋回転＋縮小」欄は、第１基本ＡＦ領域ＦＡ１内の被検体像に対して、第２基本ＡＦ領域ＦＡ２内の被検体像に、右下方向へのシフトと、右周り（時計周り）の回転と、縮小とが発生している例を示している。
　図７の「（シフト）、（シフト＋回転＋縮小）」欄は、第１基本ＡＦ領域ＦＡ１内の被検体像に左やや上方向へのシフトが発生し、かつ、第２基本ＡＦ領域ＦＡ２内の被検体像に、右上方向へのシフトと、左周り（半時計周り）の回転と、縮小とが発生している例を示している。
　図６または図７に示したような、光路長が異なる２つの画像間に幾何学的な差があると、取得した２つの画像から算出したＡＦ評価値に基づいてＡＦ制御信号を生成するＡＦ方式では、例えば図８に示すように、異なる被検体部分から取得したＡＦ評価値の相関関係に基づいてＡＦを行うことになる。図８は、第１の実施形態において、画像間における幾何学的な差の有無に応じたＡＦ評価値の相違の例を示す図表である。
　ここで、ＡＦ評価値として、ＡＦ領域内の被検体に対するピントが合っている度合いに応じて変化する値を広く用いることができる。例えば、ＡＦ評価値として、ＡＦ領域内の各画素の信号値にバンドパスフィルタ（ＢＰＦ）によるフィルタリングを行って得られるコントラストを用いてもよい。このとき、ＢＰＦによるフィルタリング結果に対して、ＡＦ領域内の各画素の平均輝度を用いて正規化しても構わない。
　ここでは、ＡＦ評価値の一例としてＢＰＦを用いる例を挙げたが、これに限らず、エッジ抽出フィルタを用いてエッジ量を取得しても構わないし、その他の公知の技術を適宜利用できる。
　さらに、ＡＦ評価値として、コントラストやエッジ量に限らず、例えば、位相差情報を用いてもよい。例えば、撮像素子１４が、上述したような像面位相差ＡＦ方式の撮像素子である場合に、第１の画像ＩＭＧ１のＡＦ領域内の位相差画素から得られた信号値と、第２の画像ＩＭＧ２のＡＦ領域内の位相差画素から得られた信号値とに基づき位相差を算出してＡＦを行えばよい。
　図８の１Ａ欄は、第１基本ＡＦ領域ＦＡ１内の被検体像と第２基本ＡＦ領域ＦＡ２内の被検体像とに幾何学的な差がない場合を示している。図８の２Ａ欄は、図８の１Ａ欄の場合に、第１基本ＡＦ領域ＦＡ１内の被検体像から得られるＡＦ評価値と、第２基本ＡＦ領域ＦＡ２内の被検体像から得られるＡＦ評価値との、フォーカス位置に応じた値の変化の例を示すグラフである。
　一方、図８の１Ｂ欄は、第１基本ＡＦ領域ＦＡ１内の被検体像と第２基本ＡＦ領域ＦＡ２内の被検体像とに幾何学的な差がある場合を示している。図示の例では、図６のシフト欄に示すような幾何学的な差が発生している。図８の２Ｂ欄は、図８の１Ｂ欄の場合に、第１基本ＡＦ領域ＦＡ１内の被検体像から得られるＡＦ評価値と、第２基本ＡＦ領域ＦＡ２内の被検体像から得られるＡＦ評価値との、フォーカス位置に応じた値の変化の例を示すグラフである。
　フォーカス位置を変化させると、第１基本ＡＦ領域ＦＡ１のＡＦ評価値と、第２基本ＡＦ領域ＦＡ２のＡＦ評価値は、それぞれ異なるカーブで変化する。そして、図８の２Ｂ欄に示すグラフは、図８の２Ａ欄に示すグラフと比べて、例えば、第２基本ＡＦ領域ＦＡ２のＡＦ評価値が低くなっている。これは、図８の１Ｂ欄に示す第２基本ＡＦ領域ＦＡ２内には、被検体像「Ｆ」の一部のみしか入っておらず、取得されるコントラストやエッジ量などの値が小さくなるためである。
　また、図８では基本ＡＦ領域内に写っている被検体が同一距離平面上にある場合のシフトの例を記載しているが、例えば、基本ＡＦ領域内に距離分布がある場合（つまり、基本ＡＦ領域内に写っているある被検体部分までの距離と他の被検体部分までの距離とが異なる場合）、図８の１Ｂ欄に示す第２基本ＡＦ領域ＦＡ２のＡＦ評価値から取得されるカーブのピーク位置や形状が変化して、正しい相関を示さないことがある。
　図８の１Ｂ欄および２Ｂ欄に示すような場合に得られたＡＦ評価値に基づきオートフォーカスを行うと、オートフォーカスの動作が不安定となり、狙いとする被検体にピントが正確に合わない場合がある。このため、光路長が異なる複数の画像間に、幾何学的な差がないか、または幾何学的な差ができる限り小さいことが、高精度のＡＦを行うためには好ましい。
　本実施形態のＡＦ用補正部３６は、画像取得部３２が取得した光路長が異なる複数の画像の各ＡＦ領域の幾何学的な差を補正する処理を行う。
　ＡＦ用補正部３６による補正方法は、画像取得部３２から取得した画像を補正する第１の補正方法と、ＡＦ領域設定部３５から取得した基本ＡＦ領域を補正する第２の補正方法と、第１の補正方法および第２の補正方法の両方を行う第３の補正方法とがある。第３の補正方法は、第１の補正方法と第２の補正方法とを組み合わせてＡＦ領域内の幾何学的な差が最小となるようにすることで、高精度なＡＦが可能となる。
　まず、図９は、第１の実施形態のＡＦ用補正部３６がシフトを補正する例を示す図表である。図９の補正前欄は、図６のシフト欄に示すような幾何学的な差が生じていることを示している。
　ＡＦ用補正部３６は第１の補正方法を用いる場合、図９の画像補正欄に示すように、第１基本ＡＦ領域ＦＡ１と同一の第１ＡＦ領域ＡＦＡ１内の中央に位置する被検体像が、第２基本ＡＦ領域ＦＡ２と同一の第２ＡＦ領域ＡＦＡ２内の中央にも位置するように、ハッチングで示すように第２の画像をシフトして補正する。
　ＡＦ用補正部３６は第２の補正方法を用いる場合、図９のＡＦ領域設定補正欄に示すように、第１基本ＡＦ領域ＦＡ１と同一の第１ＡＦ領域ＡＦＡ１内の中央に位置する被検体像が、第２ＡＦ領域ＡＦＡ２内においても中央に位置するように、第２基本ＡＦ領域ＦＡ２をシフトして補正し第２ＡＦ領域ＡＦＡ２を設定する。
　図１０は、第１の実施形態のＡＦ用補正部３６が縮小を補正する例を示す図表である。図１０の補正前欄は、図６の縮小欄に示すような幾何学的な差が生じていることを示している。
　ＡＦ用補正部３６は第１の補正方法を用いる場合、図１０の画像補正欄に示すように、第２基本ＡＦ領域ＦＡ２と同一の第２ＡＦ領域ＡＦＡ２内の被検体像の大きさが、第１基本ＡＦ領域ＦＡ１と同一の第１ＡＦ領域ＡＦＡ１内の被検体像の大きさと同じになるように、ハッチングで示すように第２の画像を拡大して補正する。
　ＡＦ用補正部３６は第２の補正方法を用いる場合、図１０のＡＦ領域設定補正欄に示すように、第２ＡＦ領域ＡＦＡ２に対する被検体像の大きさの比率が、第１基本ＡＦ領域ＦＡ１と同一の第１ＡＦ領域ＡＦＡ１に対する被検体像の大きさの比率と同じになるように、第２基本ＡＦ領域ＦＡ２を縮小して第２ＡＦ領域ＡＦＡ２を設定する。
　図１１は、第１の実施形態のＡＦ用補正部３６が回転を補正する例を示す図表である。図１１の補正前欄は、図６の回転欄に示すような幾何学的な差が生じていることを示している。
　図１１の画像補正欄に示すように、ＡＦ用補正部３６は例えば第１の補正方法を用いて、第２基本ＡＦ領域ＦＡ２と同一の第２ＡＦ領域ＡＦＡ２に対する被検体像の角度が、第１基本ＡＦ領域ＦＡ１と同一の第１ＡＦ領域ＡＦＡ１に対する被検体像の角度と同じになるように、ハッチングで示すように第２の画像を回転して補正する。なお、第２基本ＡＦ領域ＦＡ２を回転して第２ＡＦ領域ＡＦＡ２を設定すると、第２ＡＦ領域ＡＦＡ２が斜めの四角形領域となるために、ここでは第１の補正方法を回転を補正する方法として示している。
　図１２は、第１の実施形態のＡＦ用補正部３６が反転を補正する例を示す図表である。図１２の補正前欄は、図６の反転欄に示すような幾何学的な差が生じていることを示している。
　図１２の画像補正欄に示すように、ＡＦ用補正部３６は第１の補正方法を用いて、第２基本ＡＦ領域ＦＡ２と同一の第２ＡＦ領域ＡＦＡ２内の被検体像が、第１基本ＡＦ領域ＦＡ１と同一の第１ＡＦ領域ＡＦＡ１内の被検体像と同じ正立になるように、第２の画像を左右反転して補正する。なお、第２基本ＡＦ領域ＦＡ２を反転して第２ＡＦ領域ＡＦＡ２を設定しても、第２ＡＦ領域ＡＦＡ２は第２基本ＡＦ領域ＦＡ２を反転しない場合と同じ範囲の領域となってしまう。つまり、第２の補正方法は反転の補正に適していないために、ここでは第１の補正方法のみを示している。
　図９～図１２では、第１の画像を基準として第２の画像の幾何学的な差を補正する例を示したが、第２の画像を基準として第１の画像の幾何学的な差を補正する場合も同様である。
　上述したような、光路長が異なる複数の画像の各ＡＦ領域の幾何学的な差を補正する処理を行うＡＦ用補正部３６の構成について、図３を参照して説明する。図３は、第１の実施形態のＡＦ用補正部３６の構成を示すブロック図である。
　ＡＦ用補正部３６は、補正用情報取得部３６ａと、補正処理部３６ｂとを備える。
　補正用情報取得部３６ａは、複数の画像の各ＡＦ領域の、幾何学的な差と信号値の差との少なくとも一方（本実施形態の場合には、幾何学的な差）を表す補正用情報を取得する。本実施形態の補正用情報取得部３６ａは、補正用情報として、複数の画像間における座標対応情報（例えば座標ペア）を取得する。
　補正処理部３６ｂは、補正用情報取得部３６ａにより取得された補正用情報に基づいて、複数の画像の各ＡＦ領域の、幾何学的な差と信号値の差との少なくとも一方（本実施形態の場合には、幾何学的な差）を補正する。
　補正用情報取得部３６ａは、補正用情報算出部３６ａ１と、補正用情報読出部３６ａ２とを備える。なお、図３では、補正用情報取得部３６ａが、補正用情報算出部３６ａ１および補正用情報読出部３６ａ２を備える構成を示しているが、補正用情報算出部３６ａ１と補正用情報読出部３６ａ２の少なくとも一方を備えていればよい。
　補正用情報算出部３６ａ１は、画像取得部３２から光路長が異なる複数の画像を取得し、取得した画像に基づき補正用情報（座標対応情報）を算出する。
　補正用情報読出部３６ａ２は、不揮発性メモリ３４から補正用情報（座標対応情報）を読み出す。
　補正処理部３６ｂは、補正値算出部３６ｂ１と、画像補正部３６ｂ２と、ＡＦ領域補正部３６ｂ３とを備える。なお、図３では、補正処理部３６ｂが、画像補正部３６ｂ２およびＡＦ領域補正部３６ｂ３を備える構成を示しているが、画像補正部３６ｂ２とＡＦ領域補正部３６ｂ３の少なくとも一方を備えていればよい。
　補正値算出部３６ｂ１は、補正用情報取得部３６ａから出力される座標対応情報（補正用情報）に基づき、座標変換情報を算出する。ここで、座標変換情報は、２次元平面の座標を変換する情報である。補正処理部３６ｂは、補正値算出部３６ｂ１により算出された座標変換情報に基づき、複数の画像の各ＡＦ領域の幾何学的な差を補正する。
　画像補正部３６ｂ２は、座標変換情報に基づき複数の画像の内の少なくとも１つを幾何学的に補正することで、複数の画像の幾何学的な差を補正する。複数の画像の幾何学的な差が補正されることで、複数の画像の各ＡＦ領域の幾何学的な差が補正される。
　ＡＦ領域補正部３６ｂ３は、座標変換情報に基づき、複数の画像の複数の基本ＡＦ領域の内の少なくとも１つを幾何学的に補正してＡＦ領域を設定する。基本ＡＦ領域が補正されてＡＦ領域が設定されることで、後述するように、複数の画像の各ＡＦ領域の幾何学的な差が補正される。
　そして、補正処理部３６ｂは、幾何学的な差が補正されたＡＦ用画像を出力する。ここで、ＡＦ用画像は、光路長が異なる複数の画像それぞれのＡＦ領域の画像を含む。
　なお、図３に示す構成では、ＡＦ用補正部３６は、画像取得部３２を経由して、ＡＤ変換器３１によりデジタル信号に変換された、光路長が異なる複数の画像（いわゆるＲＡＷ画像）を取得している。一般にＲＡＷ画像にはノイズ成分が含まれているため、画像取得部３２から複数の画像を取得するのに代えて、画像処理部３３の少なくとも一部（または全部）の画像処理（例えばノイズ低減などの画像処理）が行われた複数の画像を、ＡＦ用補正部３６が画像処理部３３から取得するように構成しても構わない。これにより、画像のＳＮ比が向上し、より高精度のピント合わせが可能となる。もしくは、ＡＦ用補正部３６内に、ノイズ低減処理部などの構成をさらに加えても構わない。
　図３に示すＡＦ用補正部３６の処理について、説明する。
　補正用情報取得部３６ａは、上述したように、補正用情報として座標対応情報（例えば座標ペア）を取得する。
　図１３は、第１の実施形態において、座標ペアを説明するための画素配置例を示す図である。なお、図１３では、第１の画像ＩＭＧ１における被検体像ＯＢＪ１と、第２の画像ＩＭＧ２における被検体像ＯＢＪ２とを、同一の画素座標上に配置している。
　例えば、被検体像ＯＢＪ１を基準画像とし、被検体像ＯＢＪ２を参照画像とする。基準画像の画素（ｘ１，ｙ１）に対応する参照画像の画素が（ｘ１′，ｙ１′）である場合、座標ペアは（ｘ１，ｙ１）と（ｘ１′，ｙ１′）となる。図１３に示す例では、同様に、（ｘ２，ｙ２）と（ｘ２′，ｙ２′）、および（ｘ３，ｙ３）と（ｘ３′，ｙ３′）が、それぞれ座標ペアとなる。
　補正用情報算出部３６ａ１は、画像取得部３２から、光路長が異なる複数の画像を入力する。ここで、補正用情報算出部３６ａ１が入力する画像は、画像全体でも構わないが、基本ＡＦ領域および基本ＡＦ領域の周辺（例えば、下記のブロックマッチングに必要となる周辺）を含む画像部分であってもよい。
　補正用情報算出部３６ａ１は、例えば、複数の画像の任意の座標を中心とした基準領域に対してブロックマッチングを行い、複数の画像間において対応する座標ペアを算出する。なお、基準領域はテンプレート領域ともいい、ブロックマッチングはテンプレートマッチングともいう。このとき、座標ペアを算出する対象の画素は、任意に選択して構わないが、例えば、基本ＡＦ領域の４つの角の画素を選択してもよい。
　図１４は、第１の実施形態において、ブロックマッチングにより座標ペアを算出する対象として、基本ＡＦ領域の４つの角の画素の座標を設定する例を示す図である。
　第１の画像ＩＭＧ１の第１基本ＡＦ領域ＦＡ１の、左上角の画素Ｐ１を中心とした第１の基準領域ＴＲ１と、右上角の画素Ｐ２を中心とした第２の基準領域ＴＲ２と、左下角の画素Ｐ３を中心とした第３の基準領域ＴＲ３と、右下角の画素Ｐ４を中心とした第４の基準領域ＴＲ４とを第１の画像ＩＭＧ１から抽出する。
　一方、第２の画像ＩＭＧ２の第２基本ＡＦ領域ＦＡ２の、左上角の画素Ｐ１を中心とした第１の参照領域ＲＲ１と、右上角の画素Ｐ２を中心とした第２の参照領域ＲＲ２と、左下角の画素Ｐ３を中心とした第３の参照領域ＲＲ３と、右下角の画素Ｐ４を中心とした第４の参照領域ＲＲ４とを第２の画像ＩＭＧ２に設定する。なお、参照領域ＲＲ１～ＲＲ４は、基準領域ＴＲ１～ＴＲ４よりも広い領域として設定される。
　第１の参照領域ＲＲ１内に第１の基準領域ＴＲ１と同じ大きさの領域を設定して、設定した領域と第１の基準領域ＴＲ１との類似度を、例えば、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross Correlation）、ＺＮＣＣ（Zero means Normalized Cross Correlation）などにより算出する。
　第１の参照領域ＲＲ１内に設定する第１の基準領域ＴＲ１と同じ大きさの領域を移動しながら、第１の基準領域ＴＲ１との類似度を順次に比較して、最も類似度が高いと判定された領域を検出することにより、ブロックマッチングが行われる。
　これにより、第１基本ＡＦ領域ＦＡ１の左上角の画素Ｐ１が、第２基本ＡＦ領域ＦＡ２の第１の参照領域ＲＲ１内のどの画素に対応するかを特定でき、画素Ｐ１の画素座標と、第１の参照領域ＲＲ１内における画素Ｐ１に対応する画素の画素座標と、が座標ペアとなる。
　第２～第４の基準領域ＴＲ２～ＴＲ４および第２～第４の参照領域ＲＲ２～ＲＲ４についても同様の処理を行うことで、画素Ｐ２～Ｐ４に係る座標ペアがそれぞれ算出される。
　なお、上述ではブロックマッチングを用いて座標ペアを算出したが、勾配法を用いてオプティカルフローを算出し、対応する箇所の座標ペアを求めてもよい。
　さらに、例えば、ＡＫＡＺＥ（Accelerated KAZE）、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speed-Upped Robust Feature）、ＯＲＢ（Oriented-BRIEF（Binary Robust Independent Elementary Features））などの既知の画像特徴検出手法から算出される画像特徴情報を光路長が異なる複数の画像間で比較して、座標ペアを求めても構わない。
　補正用情報算出部３６ａ１は、こうして算出した複数の画像間の座標ペアを、補正処理部３６ｂへ出力する。
　補正用情報読出部３６ａ２は、不揮発性メモリ３４から座標対応情報を読み出す。なお、補正用情報読出部３６ａ２は、不揮発性メモリ３４に代えて、外部Ｉ／Ｆ４０から座標対応情報を読み込んでも構わない。例えば、ユーザが光路長が異なる複数の画像を見て、対応する画素位置を指定することで、外部Ｉ／Ｆ４０から座標対応情報としての座標ペアを入力できる。
　座標対応情報が座標ペア自体である場合、補正用情報読出部３６ａ２は、読み出した座標ペアをそのまま補正処理部３６ｂへ出力する。
　また、座標対応情報が座標ペアを求めることができる情報である場合、補正用情報読出部３６ａ２は、座標対応情報から座標ペアを算出する。一例として、座標対応情報が、第１の画像ＩＭＧ１の座標を入力として第２の画像ＩＭＧ２の座標を出力する関数で与えられる場合、補正用情報読出部３６ａ２は、例えば第１の画像ＩＭＧ１における任意の画素の座標を関数に代入して、第２の画像ＩＭＧ２において対応する画素の座標を算出し、座標ペアを取得する。補正用情報読出部３６ａ２は、算出した座標ペアを補正処理部３６ｂへ出力する。
　補正処理部３６ｂには、補正用情報取得部３６ａからの座標対応情報（例えば座標ペア）と、画像取得部３２からの光路長が異なる複数の画像と、ＡＦ領域設定部３５からの基本ＡＦ領域と、が入力される。
　補正値算出部３６ｂ１は、補正用情報取得部３６ａから入力された座標対応情報（例えば座標ペア）に基づき座標変換情報を算出し、画像補正部３６ｂ２とＡＦ領域補正部３６ｂ３とへ出力する。
　座標変換情報は、例えば、アフィン変換行列、ホモグラフィ変換行列（射影変換行列）などの係数を用いることができる。以下では一例としてアフィン変換行列の係数を求める例を説明するが、これに限定されないことは勿論である。
　アフィン変換行列Ｚは、一般に、数式１のように記載される。
［数式１］
Figure JPOXMLDOC01-appb-I000001
　数式１におけるアフィン変換行列Ｚの係数ａ，ｂ，ｃ，ｄ，ｅ，ｆは、３組の座標ペアの情報があれば求められる。変換前の３つの座標（ｘ０，ｙ０）（ｘ１，ｙ１）（ｘ２，ｙ２）が、アフィン変換により、数式２に示すように、座標（ｘ０′，ｙ０′）（ｘ１′，ｙ１′）（ｘ２′，ｙ２′）にそれぞれ変換されたものとする。
［数式２］
Figure JPOXMLDOC01-appb-I000002
　このとき、数式３に示すように、アフィン変換行列Ｚの係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを求められる。
［数式３］
Figure JPOXMLDOC01-appb-I000003
　なお、４組以上の座標ペアがあれば、最適化を行うことにより、アフィン変換行列Ｚの係数ａ，ｂ，ｃ，ｄ，ｅ，ｆをより高い精度で求められる。
　補正値算出部３６ｂ１は、求めた座標変換情報、ここではアフィン変換行列の係数を、画像補正部３６ｂ２およびＡＦ領域補正部３６ｂ３へ出力する。
　なお、アフィン変換によりなされる画像の変換には、シフト、回転、拡大縮小、スキュー、左右反転、上下反転が含まれる。シフトに係るアフィン変換行列をＴ、回転に係るアフィン変換行列をＲ、拡大縮小に係るアフィン変換行列をＳ、スキューに係るアフィン変換行列をＫ、左右反転に係るアフィン変換行列をＩｘ、上下反転に係るアフィン変換行列をＩｙとしたとき、各アフィン変換行列Ｔ，Ｒ，Ｓ，Ｋ，Ｉｘ，Ｉｙは、それぞれ数式４～９のように表現できる。
［数式４］
Figure JPOXMLDOC01-appb-I000004
［数式５］
Figure JPOXMLDOC01-appb-I000005
［数式６］
Figure JPOXMLDOC01-appb-I000006
［数式７］
Figure JPOXMLDOC01-appb-I000007
［数式８］
Figure JPOXMLDOC01-appb-I000008
［数式９］
Figure JPOXMLDOC01-appb-I000009
　ここで、数式４におけるＴｘはｘ軸方向のシフト量、Ｔｙはｙ軸方向のシフト量をそれぞれ表す。数式５におけるθは回転角度を表す。数式６におけるＳｘはｘ軸方向の拡大縮小率、Ｓｙはｙ軸方向の拡大縮小率をそれぞれ表す。数式７におけるθｘはｘ軸方向のスキュー角、θｙはｙ軸方向のスキュー角をそれぞれ表す。
　なお、回転の中心が原点でなく（ｘｒｃ，ｙｒｃ）である場合には、平行移動により回転の中心を原点に移動して回転した後に、元の位置に平行移動して戻せばよいので、数式５は次の数式１０としてもよい。
［数式１０］
Figure JPOXMLDOC01-appb-I000010
　また、拡大縮小の中心が原点でなく（ｘｓｃ，ｙｓｃ）である場合には、平行移動により回転の中心を原点に移動して拡大縮小した後に、元の位置に平行移動して戻せばよいので、数式６は次の数式１１としてもよい。
［数式１１］
Figure JPOXMLDOC01-appb-I000011
　こうして、シフト、回転、拡大縮小、スキュー、左右反転、上下反転が含まれるアフィン変換行列Ｚは、例えば数式１２のように記載される。
［数式１２］
Figure JPOXMLDOC01-appb-I000012
　ただし、幾何学的な差が、シフト、回転、拡大縮小、スキュー、左右反転、上下反転の全てに対して発生するとは限らず、何れかの差については発生しないかまたは無視できる程度となる場合がある。一例を挙げれば、分割光学系１３の構成によっては左右反転または上下反転、もしくは左右反転および上下反転が発生しないことがある。こうした無視し得る幾何学的な差については、該当するアフィン変換行列Ｔ，Ｒ，Ｓ，Ｋ，Ｉｘ，Ｉｙの何れかを、単位行列にできる。
　例えば、Ｒ，Ｋ，Ｉｘ，Ｉｙを単位行列として扱って構わない場合には、アフィン変換行列Ｚは数式１３となる。
［数式１３］
　　Ｚ＝Ｔ・Ｓ
　また、Ｔ，Ｓ，Ｉｘ，Ｉｙを単位行列として扱って構わない場合には、アフィン変換行列Ｚは数式１４となる。
［数式１４］
　　Ｚ＝Ｒ・Ｋ
　数式３に示したように、一般のアフィン変換行列Ｚの係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを求めるには３組以上の座標ペアが必要であるが、アフィン変換行列Ｔ，Ｒ，Ｓ，Ｋ，Ｉｘ，Ｉｙの内の特定の行列の係数を求めればよい場合には、１組または２組の座標ペアで足りる場合もある。
　図１５は、第１の実施形態において、シフトに係るアフィン変換行列Ｔのシフト量Ｔｘ，Ｔｙを求める例を示す図である。なお、図１５では、第１の画像ＩＭＧ１における被検体像ＯＢＪ１と、第２の画像ＩＭＧ２における被検体像ＯＢＪ２とを、同一の画素座標上に配置している。
　第１の画像ＩＭＧ１の被検体像ＯＢＪ１上の画素の座標（ｘ１，ｙ１）と、第２の画像ＩＭＧ２の被検体像ＯＢＪ２上の画素の座標（ｘ１′，ｙ１′）とが、座標ペアであるとする。このとき、ｘ軸方向のシフト量Ｔｘ、およびｙ軸方向のシフト量Ｔｙは、数式１５のように求められる。
［数式１５］
　　Ｔｘ＝ｘ１′－ｘ１
　　Ｔｙ＝ｙ１′－ｙ１
　なお、複数組の座標ペアがあれば、最適化を行うことによりＴｘ，Ｔｙをより高い精度で求められるのは上述と同様である。
　次に、図１６は、第１の実施形態において、回転に係るアフィン変換行列Ｒの回転中心座標を求める例を示す図である。図１７は、第１の実施形態において、回転に係るアフィン変換行列Ｒの回転角度θを求める例を示す図である。なお、図１６および図１７では、第１の画像ＩＭＧ１における被検体像ＯＢＪ１と、第２の画像ＩＭＧ２における被検体像ＯＢＪ２とを、同一の画素座標上に配置している。
　回転に係るアフィン変換行列Ｒの係数を求めるには、２組の座標ペアが必要となる。図１６および図１７に示すように、第１の画像ＩＭＧ１の座標（ｘ１，ｙ１）と第２の画像ＩＭＧ２の座標（ｘ１′，ｙ１′）とが第１の座標ペアであり、第１の画像ＩＭＧ１の座標（ｘ２，ｙ２）と第２の画像ＩＭＧ２の座標（ｘ２′，ｙ２′）とが第２の座標ペアであるとする。
　このとき、図１６に示すように、第１の座標ペアを結ぶ線分の中点を通る垂直な直線と、第２の座標ペアを結ぶ線分の中点を通る垂直な直線と、の交点の座標が回転中心座標（ｘｒｃ，ｙｒｃ）となる。
　また、図１７に示すように、回転中心座標（ｘｒｃ，ｙｒｃ）と、何れか一方の座標ペア（例えば第１の座標ペア）と、を通る２本の直線のなす角が回転角度θとなる。この回転角度θは、数式１６に示すような、第１の画像ＩＭＧ１における座標（ｘ１，ｙ１）から座標（ｘ２，ｙ２）へ向かうベクトルａと、第２の画像ＩＭＧ２における座標（ｘ１′，ｙ１′）から座標（ｘ２′，ｙ２′）へ向かうベクトルｂと、がなす角度に等しい。
［数式１６］
Figure JPOXMLDOC01-appb-I000013
　なお、数式１６の右辺においては、表記を簡単にするために、ａｘ＝ｘ２－ｘ１、ａｙ＝ｙ２－ｙ１、ｂｘ＝ｘ２′－ｘ１′、ｂｙ＝ｙ２′－ｙ１′とおいている。
　回転角度θは、ベクトルａとベクトルｂとがなす角度として、数式１７に示すように求められる。
［数式１７］
Figure JPOXMLDOC01-appb-I000014
　なお、３組以上の座標ペアがあれば、最適化を行うことにより回転角度θおよび回転中心座標（ｘｒｃ，ｙｒｃ）をより高い精度で求められるのは上述と同様である。
　図１８は、第１の実施形態において、拡大縮小に係るアフィン変換行列Ｓを求める例を示す図である。なお、図１８では、第１の画像ＩＭＧ１における被検体像ＯＢＪ１と、第２の画像ＩＭＧ２における被検体像ＯＢＪ２とを、同一の画素座標上に配置している。
　拡大縮小に係るアフィン変換行列Ｓの係数を求めるには、２組の座標ペアが必要となる。図１８に示すように、第１の画像ＩＭＧ１の座標（ｘ１，ｙ１）と第２の画像ＩＭＧ２の座標（ｘ１′，ｙ１′）とが第１の座標ペアであり、第１の画像ＩＭＧ１の座標（ｘ２，ｙ２）と第２の画像ＩＭＧ２の座標（ｘ２′，ｙ２′）とが第２の座標ペアであるとする。
　このとき、図１８に示すように、第１の座標ペアを結ぶ直線と、第２の座標ペアを結ぶ直線と、の交点の座標が拡大縮小中心座標（ｘｓｃ，ｙｓｃ）となる。
　また、拡大縮小中心座標（ｘｓｃ，ｙｓｃ）から何れか一方の座標ペアまでの距離の比から、拡大縮小率が分かる。ｘ軸方向の拡大縮小率Ｓｘおよびｙ軸方向の拡大縮小率Ｓｙは、第１の座標ペアを用いれば数式１８により求められ、第２の座標ペアを用いれば数式１９により求められる。
［数式１８］
Figure JPOXMLDOC01-appb-I000015
［数式１９］
Figure JPOXMLDOC01-appb-I000016
　なお、もし数式１８により求めた結果と数式１９により求めた結果とが一致しない場合には、平均値をとるなどして結果の精度を高めてもよい。また、３組以上の座標ペアがあれば、最適化を行うことにより拡大縮小率Ｓｘ，Ｓｙおよび拡大縮小中心座標（ｘｓｃ，ｙｓｃ）をより高い精度で求められるのは上述と同様である。
　図１９は、第１の実施形態において、スキューに係るアフィン変換行列Ｋを求める例を示す図である。なお、図１９では、第１の画像ＩＭＧ１における被検体像ＯＢＪ１と、第２の画像ＩＭＧ２における被検体像ＯＢＪ２とを、同一の画素座標上に配置している。
　スキューに係るアフィン変換行列Ｋの係数を求めるには、２組の座標ペアが必要となる。図１９に示すように、第１の画像ＩＭＧ１の座標（ｘ１，ｙ１）と第２の画像ＩＭＧ２の座標（ｘ１′，ｙ１′）とが第１の座標ペアであり、第１の画像ＩＭＧ１の座標（ｘ２，ｙ２）と第２の画像ＩＭＧ２の座標（ｘ２′，ｙ２′）とが第２の座標ペアであるとする。
　このとき、２組の座標ペアのｘ，ｙそれぞれの変化量の比から、スキュー角が分かる。ｘ軸方向のスキュー角θｘおよびｙ軸方向のスキュー角θｙは、数式２０により求められる。
［数式２０］
Figure JPOXMLDOC01-appb-I000017
　なお、３組以上の座標ペアがあれば、最適化を行うことによりスキュー角θｘ，θｙをより高い精度で求められるのは上述と同様である。
　なお、図１５～図１９を参照してアフィン変換行列Ｔ，Ｒ，Ｓ，Ｋの係数を求める例を示したが、上述のとおり、本発明はアフィン変換行列に限定されずホモグラフィ変換行列（射影変換行列）などの係数を座標変換情報として用いることができる。何れを座標変換情報として用いる場合でも、シフトに係る変換行列Ｔ、回転に係る変換行列Ｒ、拡大縮小に係る変換行列Ｓ、スキューに係る変換行列Ｋの係数は、図１５～図１９に例示した方法と同様の方法を採用して取得できる。
　図２０は、第１の実施形態において、画像の反転の例を示す図表である。
　図２０の各欄の何れにおいても、第１基本ＡＦ領域ＦＡ１内の被検体像は正立している。これに対して、第２基本ＡＦ領域ＦＡ２内の被検体像は、「反転なし」欄では正立し、「左右反転」欄では左右が反転し、「上下反転」欄では上下が反転し、「上下左右反転」欄では上下が反転し、かつ左右が反転している。
　分割光学系１３の構成によっては、図２０に示すように、光路を分割するときに、光路長が異なる複数の画像が互いに反転する場合がある。
　図２１は、第１の実施形態において、左右反転があり、上下反転がない場合の被検体像の例を示す図である。なお、図２１では、第１の画像ＩＭＧ１における被検体像ＯＢＪ１と、第２の画像ＩＭＧ２における被検体像ＯＢＪ２とを、同一の画素座標上に配置している。図２１において、被検体像ＯＢＪ１は正立し、被検体像ＯＢＪ２は左右反転している。
　このとき、例えば、走査方向に依存して値が変化するデジタルフィルタの出力値をＡＦ評価値として用いると、光路長が異なる複数の画像の各々で算出されるＡＦ評価値に差が生じ、ＡＦ制御の精度が低下することがある。
　そこで、例えば不揮発性メモリ３４に上下反転の有無、および左右反転の有無を光学的な設計値として保持し、上下反転の有無、および左右反転の有無に応じてＡＦ評価値を補正することで、高精度なＡＦ制御が可能となる。
　なお、不揮発性メモリ３４に上下反転の有無、および左右反転の有無を保持するのに代えて、光路長が異なる複数の画像を画像認識し、上下反転の有無、および左右反転の有無を判定しても構わない。例えば、光路長が異なる複数の画像の各々において、縦方向の画像プロファイルを１列以上出力して比較することで上下反転の有無を判定でき、横方向の画像プロファイルを１行以上出力して比較することで左右反転の有無を判定できる。
　なお、上述した、シフト量Ｔｘ，Ｔｙ、回転角度θ、拡大縮小率Ｓｘ，Ｓｙ、スキュー角θｘ，θｙ、および上下／左右反転の有無の計算方法は、一例であり、その他の公知の計算方法を用いても構わない。
　画像補正部３６ｂ２は、補正値算出部３６ｂ１から座標変換情報、例えば数式１に示したアフィン変換行列Ｚの係数を取得し、取得した係数からアフィン変換行列Ｚを生成する。画像補正部３６ｂ２は、生成したアフィン変換行列Ｚを用いて、画像取得部３２から入力された光路長が異なる複数の画像の内の少なくとも１つを変換することで、複数の画像間の幾何学的な差を補正する。具体的に、画像補正部３６ｂ２は、対象の画像における任意の画素の座標（ｘ，ｙ）に数式２１の変換を行うことで、変換後の画素の座標（ｘ′，ｙ′）を算出する。
［数式２１］
Figure JPOXMLDOC01-appb-I000018
　なお、数式２１による変換は、対象の画像内の全画素に対して行ってもよいし、ＡＦ領域内の全画素について行っても構わない。また、補正後の座標が小数点以下の値を含む場合、最近傍補間、線形補間などの既知の画素補間を用いて各画素座標における信号値を算出すればよい。
　ＡＦ領域補正部３６ｂ３は、補正値算出部３６ｂ１から座標変換情報、例えば数式１に示したアフィン変換行列Ｚの係数を取得し、取得した係数からアフィン変換行列Ｚを生成する。ＡＦ領域補正部３６ｂ３は、生成したアフィン変換行列Ｚを用いて、ＡＦ領域設定部３５から取得した光路長が異なる複数の画像における複数の基本ＡＦ領域の内の、少なくとも１つを補正して、ＡＦ領域を算出する。
　具体的に、ＡＦ領域設定部３５から入力された基本ＡＦ領域の４つの角の座標を（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）とし、補正後のＡＦ領域の４つの角の座標を（ｘ１′，ｙ１′），（ｘ２′，ｙ２′），（ｘ３′，ｙ３′），（ｘ４′，ｙ４′）としたとき、ＡＦ領域補正部３６ｂ３は、補正後のＡＦ領域の４つの角の座標を数式２２に示すように求める。
［数式２２］
Figure JPOXMLDOC01-appb-I000019
　図２２は、第１の実施形態において、基本ＡＦ領域をシフト補正する例を示す図である。なお、図２２では、第１の画像ＩＭＧ１における被検体像ＯＢＪ１と、第２の画像ＩＭＧ２における被検体像ＯＢＪ２とを、同一の画素座標上に配置している。
　図２２は、第１の画像ＩＭＧ１の被検体像ＯＢＪ１については基本ＡＦ領域をそのまま第１ＡＦ領域ＡＦＡ１とすればよく、第２の画像ＩＭＧ２の被検体像ＯＢＪ２については基本ＡＦ領域を補正して第２ＡＦ領域ＡＦＡ２を数式２２により算出する例を示している。
　数式１２において、シフトに係るアフィン変換行列Ｔ以外が単位行列となる場合、ＡＦ領域補正部３６ｂ３は、Ｚ＝Ｔとして、数式２２により補正後の第２ＡＦ領域ＡＦＡ２の４つの角の座標を求めればよい。
　図２３は、第１の実施形態において、基本ＡＦ領域を拡大縮小補正する例を示す図である。なお、図２３では、第１の画像ＩＭＧ１における被検体像ＯＢＪ１と、第２の画像ＩＭＧ２における被検体像ＯＢＪ２とを、同一の画素座標上に配置している。
　図２３は、第１の画像ＩＭＧ１の被検体像ＯＢＪ１については基本ＡＦ領域をそのまま第１ＡＦ領域ＡＦＡ１とすればよく、第２の画像ＩＭＧ２の被検体像ＯＢＪ２については基本ＡＦ領域を補正して第２ＡＦ領域ＡＦＡ２を数式２２により算出する例を示している。
　数式１２において、拡大縮小に係るアフィン変換行列Ｓ以外が単位行列となる場合、ＡＦ領域補正部３６ｂ３は、Ｚ＝Ｓとして、数式２２により補正後の第２ＡＦ領域ＡＦＡ２の４つの角の座標を求めればよい。
　一般的に、ＡＦ領域はｘ軸およびｙ軸に平行な４辺をもつ矩形となるよう設定されるため、光路長が異なる複数の画像の幾何学的な差が、矩形の位置を変更するだけで対応できるシフト、または矩形の位置およびサイズを変更するだけで対応できる拡大縮小である場合、ＡＦ領域補正部３６ｂ３により基本ＡＦ領域を補正することで幾何学的な差を補正すると好適である。この場合には、４つの角の座標を変換するだけで対応でき、処理負荷が小さく、演算時間も短い。
　また、画像の補正はＡＦ領域の補正と比較して、各種の補正に広く対応できる。このため、基本ＡＦ領域を補正すると補正後のＡＦ領域の４辺がｘ軸およびｙ軸に平行でなくなることから対応が難しい回転やスキュー、また、基本ＡＦ領域の補正では対応できない左右反転および上下反転に対して、画像補正部３６ｂ２により画像を補正すると好適である。
　従って、数式１２に示すアフィン変換行列Ｚの内、シフトに係るアフィン変換行列Ｔ、および拡大縮小に係るアフィン変換行列Ｓによる幾何学的な差の補正をＡＦ領域補正部３６ｂ３の基本ＡＦ領域の補正により行い、その他のアフィン変換行列Ｒ，Ｋ，Ｉｘ，Ｉｙによる幾何学的な差の補正を画像補正部３６ｂ２の画像の補正により行うようにしてもよい。
　このとき、数式３でアフィン変換行列Ｚの係数を取得した場合、シフト、回転、拡大縮小などがどのような組み合わせとなっているかを識別する必要がある。これは、例えば以下のような方法で行える。以下では、アフィン変換行列Ｚが、シフトに係るアフィン変換行列Ｔと、回転に係るアフィン変換行列Ｒと、拡大縮小に係るアフィン変換行列Ｓと、の組み合わせとなっている一例について説明する。この場合、アフィン変換行列Ｚの係数は、数式２３に示すようになる。
［数式２３］
Figure JPOXMLDOC01-appb-I000020
　従って、シフトに係るアフィン変換行列Ｔのシフト量Ｔｘ，Ｔｙは、数式２４に示すように求められる。
［数式２４］
　　Ｔｘ＝ｃ
　　Ｔｙ＝ｆ
　また、数式２３からａｅーｂｄを算出すると、数式２５になる。
［数式２５］
Figure JPOXMLDOC01-appb-I000021
　一方、数式２３におけるａとｅの比、およびｄとｂの比は、数式２６になる。
［数式２６］
Figure JPOXMLDOC01-appb-I000022
　数式２６の右辺は等しいから、数式２７が導かれる。
［数式２７］
Figure JPOXMLDOC01-appb-I000023
　数式２５および数式２７を用いて拡大縮小率Ｓｙを消去することで拡大縮小率Ｓｘが、数式２５および数式２７を用いて拡大縮小率Ｓｘを消去することで拡大縮小率Ｓｙが、それぞれ数式２８に示すように求められる。
［数式２８］
Figure JPOXMLDOC01-appb-I000024
　また、数式２３から、回転角度θは数式２９に示すように表される。
［数式２９］
Figure JPOXMLDOC01-appb-I000025
　数式２９の拡大縮小率Ｓｘ，Ｓｙに数式２８の値を代入すれば、回転角度θは数式３０に示すように求められる。
［数式３０］
Figure JPOXMLDOC01-appb-I000026
　なお、アフィン変換行列Ｚの係数ａ，ｂ，ｃ，ｄ，ｅ，ｆから、シフト、回転、拡大縮小などのパラメータを求める方法は、上述に限らず、任意の算出方法を用いて構わない。
　こうして求めたシフト量Ｔｘ，Ｔｙ、拡大縮小率Ｓｘ，Ｓｙ、および回転角度θを、基本ＡＦ領域の補正と画像の補正とに振り分けて用いればよい。
　例えば、ＡＦ領域補正部３６ｂ３が拡大縮小→シフトの順で基本ＡＦ領域を補正する場合は、数式２２において、Ｚ＝Ｔ・Ｓとして行列計算を行えばよい。
　また、画像補正部３６ｂ２が例えばスキュー→回転の順で画像を補正する場合は、数式２１において、Ｚ＝Ｒ・Ｋとして行列計算を行えばよい。
　なお、数式３により３組の座標ペアからアフィン変換行列Ｚの係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを求めた場合、基本ＡＦ領域を補正せず、画像のみをアフィン変換行列Ｚにより補正してもよい。これにより、精度の高い補正を行える。
　ただし、画像を変形する画像処理は一般的に演算コスト（演算時間、ハードウェアで演算を実現する場合は回路規模など）が高い。このため、例えばシステムの演算リソースに制限があり画像を変形する画像処理ができない場合などは、回転やスキューについてもＡＦ領域補正部３６ｂ３で補正しても構わない。
　このとき、例えば基本ＡＦ領域を回転すると、上述したように、補正後のＡＦ領域がｘ軸およびｙ軸に平行な４辺で構成されなくなる場合がある。図２４は、第１の実施形態において、基本ＡＦ領域を回転補正する例を示す図である。なお、図２４では、第１の画像ＩＭＧ１における被検体像ＯＢＪ１と、第２の画像ＩＭＧ２における被検体像ＯＢＪ２とを、同一の画素座標上に配置している。
　図２４は、第１の画像ＩＭＧ１の被検体像ＯＢＪ１については基本ＡＦ領域をそのまま第１ＡＦ領域ＡＦＡ１とすればよく、第２の画像ＩＭＧ２の被検体像ＯＢＪ２については基本ＡＦ領域を補正する例を示している。
　この場合、まず基本ＡＦ領域の４つの角の座標を数式２２により補正して、第２ＡＦ領域ＡＦＡ２の４つの角の座標を算出する。次に、第２ＡＦ領域ＡＦＡ２の、例えば、右辺の中点と左辺の中点をそれぞれ通るｙ軸に平行な２本の直線と、上辺の中点と下辺の中点をそれぞれ通るｘ軸に平行な２本の直線とが形成する矩形を、補正後の第２ＡＦ領域ＡＦＡ２′とすればよい。このとき、小数点以下の値がある場合は、切り捨て、四捨五入、切り上げの何れを用いて整数化した画素座標を取得しても構わない。
　こうして、ＡＦ領域補正部３６ｂ３による基本ＡＦ領域の補正は、拡大縮小およびシフトに限らず、その他の、回転およびスキューなどに適用しても構わない。
　なお、ＡＦ領域補正部３６ｂ３が用いるアフィン変換行列が単位行列である場合、ＡＦ領域補正部３６ｂ３は、ＡＦ領域設定部３５から入力された基本ＡＦ領域をそのままＡＦ領域に設定すればよいことは勿論である。
　同様に、画像補正部３６ｂ２が用いるアフィン変換行列が単位行列である場合、画像補正部３６ｂ２は、画像取得部３２から入力された画像を補正することなくそのまま用いればよい。
　そして、補正処理部３６ｂは、光路長が異なる複数の画像それぞれのＡＦ領域の画像（ＡＦ用画像）をＡＦコントローラ３７へ出力する。
　補正処理部３６ｂは、例えば、画像補正部３６ｂ２により画像を補正し、かつＡＦ領域補正部３６ｂ３によりＡＦ領域を補正した場合には、補正後の画像における補正後のＡＦ領域の画像（ＡＦ用画像）をＡＦコントローラ３７へ出力する。また、補正処理部３６ｂは、画像を補正し、ＡＦ領域を補正しない場合には、基本ＡＦ領域をそのままＡＦ領域として、補正後の画像におけるＡＦ領域の画像（ＡＦ用画像）をＡＦコントローラ３７へ出力する。さらに、補正処理部３６ｂは、画像を補正せず、ＡＦ領域を補正した場合には、画像取得部３２から取得した画像における補正後のＡＦ領域の画像（ＡＦ用画像）をＡＦコントローラ３７へ出力する。
　なお、例えば２つの画像の内の、一方の画像の基本ＡＦ領域を拡大縮小した場合には、２つの画像のＡＦ領域のサイズが異なるため、後段のＡＦコントローラ３７内で算出する２つの画像のＡＦ評価値がＡＦ領域のサイズに比例して増減し、そのまま比較することができない場合がある。このような場合に対応するため、補正処理部３６ｂは、ＡＦ領域の大きさに応じた正規化を行ったＡＦ用画像をＡＦコントローラ３７へ出力する。ただし、ＡＦ用画像を正規化するのに代えて、後段のＡＦコントローラ３７が、２つの画像のＡＦ評価値をそれぞれ算出した後に、算出したＡＦ評価値をＡＦ領域のサイズに応じて正規化しても構わない。
　図４は、第１の実施形態のＡＦコントローラ３７の構成を示すブロック図である。
　ＡＦコントローラ３７は、ＡＦ評価値算出部３７ａと、フォーカスレンズ制御部３７ｂと、を備える。
　ＡＦ評価値算出部３７ａは、補正処理部３６ｂから取得した光路長が異なる複数の画像毎のＡＦ用画像に基づき、ＡＦ評価値をそれぞれ算出する。ここで、ＡＦ評価値は、例えばＡＦ領域内の各画素にバンドパスフィルタを適用して得た値の累積値（ＡＦ領域内における累積値）などを用いてもよい。また、ＡＦ評価値を、その他の公知の方法で算出しても構わない。このとき、ＡＦ評価値算出部３７ａは、ＡＦ領域のサイズ等に応じて、上述したように、算出したＡＦ評価値を正規化してもよい。ＡＦ評価値算出部３７ａは、算出したＡＦ評価値を、フォーカスレンズ制御部３７ｂへ出力する。
　フォーカスレンズ制御部３７ｂは、ＡＦ評価値算出部３７ａにより算出された複数の画像毎のＡＦ評価値に基づいて、フォーカスレンズ１２ａの位置を制御するためのＡＦ制御信号を決定し、アクチュエータ１５へ出力する。
　フォーカスレンズ制御部３７ｂは、フォーカスレンズ１２ａの位置を制御するために、まずＡＦ評価値に基づいて、フォーカスレンズ１２ａの現在の物体側焦点位置（フォーカス位置）を、近点方向へ移動するのか、遠点方向へ移動するのかを判断する。例えば、光路長が異なる複数の画像の内の１つの画像をモニタ５０へ出力する場合、出力する画像のＡＦ評価値が最大となる位置をフォーカスレンズ１２ａの目標位置とすればよい。
　図２５は、第１の実施形態における、フォーカス位置とＡＦ評価値との関係の一例を示す線図である。図２５において、カーブＣＶ１は第１の画像ＩＭＧ１のＡＦ評価値を示し、カーブＣＶ２は第２の画像ＩＭＧ２のＡＦ評価値を示す。また、カーブＣＶ１，ＣＶ２上の各点は、１フレームの第１の画像ＩＭＧ１，第２の画像ＩＭＧ２から取得されたＡＦ評価値である。
　第１の画像ＩＭＧ１のカーブＣＶ１は、第２の画像ＩＭＧ２のカーブＣＶ２よりも遠点側にピークがある。例えば、第１の画像ＩＭＧ１をモニタ５０へ出力する場合には、カーブＣＶ１のピーク位置をフォーカスレンズ１２ａの目標位置とする。
　また、近年の深度拡大技術の１つに、光路長、つまりフォーカス位置が異なる複数の画像を例えば同時に撮像して、複数の画像におけるピントが合っている部分を合成し、被写界深度が拡大された合成画像を取得する技術がある。合成画像の被写界深度を拡大するのに適したフォーカスレンズ１２ａの位置は、カーブＣＶ１のピークとカーブＣＶ２のピークとの間にあるため、フォーカスレンズ１２ａの目標位置を、例えばカーブＣＶ１のピークとカーブＣＶ２のピークとの中間位置としてもよい。
　こうして、上述したように幾何学的な差を補正することにより、光路長が異なる複数の画像毎に正確なＡＦ評価値が取得できるため、画像毎にＡＦ評価値のカーブが異なっても、高精度のピント合わせが可能となる。
　なお、図２５に示すカーブＣＶ１，ＣＶ２上の各点は、フォーカス位置を変化させながら複数フレームに渡ってＡＦ評価値を取得することにより得られるが、データがまだ揃っていない段階でも目標位置の方向は推定できる。
　例えば、フォーカス位置を近点方向へ移動したときに、カーブＣＶ１，ＣＶ２が何れも増加したとする。すると、現在のフォーカス位置よりも近点側にカーブＣＶ１のピークおよびカーブＣＶ２のピークがあると推定できる。この場合には、目標位置の方向を近点方向に設定すればよい。
　また、フォーカス位置を例えば近点方向へ移動したときに、カーブＣＶ１が減少し、カーブＣＶ２が増加したとする。すると、カーブＣＶ１のピークは現在のフォーカス位置よりも遠点側にあり、カーブＣＶ２のピークは現在のフォーカス位置よりも近点側にあると推定できる。この場合、カーブＣＶ１のピークを目指すのであれば目標位置の方向を遠点方向に設定すればよいし、カーブＣＶ２のピークを目指すのであれば目標位置の方向を近点方向に設定すればよい。
　さらに、フォーカス位置を例えば近点方向へ移動したときに、カーブＣＶ１，ＣＶ２が何れも減少したとする。すると、現在のフォーカス位置よりも遠点側にカーブＣＶ１のピークおよびカーブＣＶ２のピークがあると推定できる。この場合には、目標位置の方向を遠点方向に設定すればよい。こうして、計算したＡＦ評価値の相関関係に基づいて、フォーカス位置の制御を決定できる。
　また、光路長差方式ＡＦは、例えば同時に取得された光路長が異なる複数の画像からＡＦ評価値を算出して、ＡＦ評価値のカーブを推定し、カーブのピークへ向かってフォーカスレンズ１２ａを移動する方式である。本実施形態の構成は光路長差方式ＡＦを適用できるが、この場合でも、上述したように幾何学的な差を補正して正確なＡＦ評価値を取得することにより、高精度のピント合わせが可能となる。
　なお、上述では、光路長が異なる画像の数が２である場合を主に説明したが、３以上である場合は、１つの画像を基準画像として、基準画像以外の参照画像に対して上述した補正用情報の算出、および、画像と基本ＡＦ領域との少なくとも一方の補正処理を行えばよい。ただし、これに限定されず、全ての画像に補正処理を行っても構わない。
　このような第１の実施形態によれば、複数の画像の各ＡＦ領域の幾何学的な差を補正したＡＦ用画像に基づきＡＦ制御信号を生成するようにしたために、光路長が異なる複数の画像に製造誤差や経年劣化による幾何学的な差があっても、高精度のピント合わせが可能となる。
　また、画像に基づき補正用情報を算出する場合には、製造後またはメンテナンス後の変化に対応できる。
　不揮発性メモリ３４から補正用情報を読み出す場合には、処理負荷を軽減できる。
　画像補正により幾何学的な差を補正する場合には、広い範囲の幾何学的な差に対応できる。
　基本ＡＦ領域の補正により幾何学的な差を補正する場合には、演算時間を短縮し、ハードウェアで演算を実現する場合の回路規模を小さくできる。
　画像補正と基本ＡＦ領域の補正との両方により幾何学的な差を補正する場合には、より精度の高い補正が可能となる。
［第２の実施形態］
　第１の実施形態の各図を参照して、本発明の第２の実施形態を説明する。第２の実施形態において、第１の実施形態と同様である部分については同一の符号を付して説明を適宜省略し、異なる点を主に説明する。
　第１の実施形態では幾何学的な差を補正する例を説明したが、第２の実施形態では信号値の差を補正する。従って本実施形態では、ＡＦ領域設定部３５から入力される基本ＡＦ領域を、ＡＦ領域補正部３６ｂ３がそのままＡＦ領域に設定するものとする。
　分割光学系１３により光路を分割して得られた複数の光学像は、光学像毎にシェーディングが異なることがある。ここでシェーディングは、像高に応じた周辺光量の減少として発生し、一般的に、像高が高くなるほど周辺光量の減少が大きくなる。
　そして、シェーディングが異なることによる複数の光学像の輝度の差は、撮像素子１４の撮像信号から取得される光路長が異なる複数の画像の信号値の差となる。また、光路長が異なる複数の画像間に平均輝度の差がある場合も信号値の差となる。複数の画像のＡＦ領域に信号値の差があると、テクスチャのコントラストやエッジ量などが異なるため、複数の画像におけるＡＦ評価値がそれぞれ異なってしまう。そこで、本実施形態の内視鏡プロセッサ３０は、信号値の差を補正することで、正確なＡＦ評価値を取得するようにしている。
　補正用情報取得部３６ａは、複数の画像において対応する画素同士の信号値の比を与える補正用情報を取得する。
　不揮発性メモリ３４には、光学的な設計値として、光路長が異なる複数の画像のそれぞれに対する、像高に応じたシェーディングの値が記憶されている。補正用情報読出部３６ａ２は、不揮発性メモリ３４から、光学的な設計値を補正用情報として取得する。
　補正用情報算出部３６ａ１は、製造時、メンテナンス時、キャリブレーション時、ホワイトバランス取得モード時などに、例えば均一な白色の被検体を撮像して取得した、光路長が異なる複数の画像を入力する。なお、内視鏡プロセッサ３０が、例えばホワイトバランス取得モードに設定された場合に、信号値の差を補正するための信号補正係数を自動的に算出するようにしてもよい。
　補正用情報算出部３６ａ１は、均一な白色の被検体を撮像して取得した、光路長が異なる複数の画像の各々において、画像中心からの像高に応じた輝度を算出することで、像高に応じたシェーディングの値を補正用情報として取得する。
　補正値算出部３６ｂ１は、補正用情報から、複数の画像において対応する画素同士の信号値の比を表す信号補正係数を算出する。
　ここで、例えば画像全体の大きさに対するＡＦ領域の大きさが比較的小さく、１つのＡＦ領域内おけるシェーディングの値を一定値と見なせる場合には、補正値算出部３６ｂ１は、基準画像のＡＦ領域のシェーディングの値に対する、基準画像以外の画像（参照画像）のＡＦ領域のシェーディングの値の比を信号補正係数として算出する。なお、この比は、基準画像のＡＦ領域内の輝度の累積値に対する、参照画像のＡＦ領域内の輝度の累積値の比として算出しても構わない。
　画像補正部３６ｂ２は、参照画像のＡＦ領域の信号値に、補正値算出部３６ｂ１により算出された比を乗算することで、信号値の差を補正する。
　ＡＦコントローラ３７内のＡＦ評価値算出部３７ａは、補正処理部３６ｂから、光路長が異なる複数の画像毎のＡＦ用画像（信号値の差が補正されたＡＦ用画像）を取得し、ＡＦ評価値をそれぞれ算出する。なお、ここではＡＦ領域の信号値を補正したが、これに代えて、ＡＦ評価値算出部３７ａが算出するＡＦ評価値をシェーディングの値の比に基づき補正しても構わない。
　こうして信号値の差を補正したＡＦ用画像から正確なＡＦ評価値を算出したため、フォーカスレンズ制御部３７ｂは、高精度のピント合わせが可能となる。
　一方、画像全体の大きさに対するＡＦ領域の大きさが比較的大きく、１つのＡＦ領域内おける像高に応じたシェーディングの変化を無視できないときには、補正値算出部３６ｂ１は、各画像のＡＦ領域において、ＡＦ領域の中心から像高方向に、複数組の座標ペア（複数の画像において対応する画素の座標のペア）を設定する。
　補正値算出部３６ｂ１は、座標ペアの各組に関して、基準画像に対する参照画像のシェーディングの値の比を算出してフィッティングを行うことで、シェーディングの値の比の像高に応じた変化（変化係数など）を信号補正係数として求める。そして、画像補正部３６ｂ２が、参照画像のＡＦ領域内の信号値を、像高に応じた信号補正係数で補正することで、参照画像のシェーディングの変化が基準画像のシェーディングの変化と同一になり、基準画像と参照画像との信号値の差が補正される。
　その後のＡＦ評価値算出部３７ａによるＡＦ評価値およびフォーカスレンズ制御部３７ｂによる動作は上述と同様である。
　なお、シェーディング補正だけでなく、画像全体の平均の輝度を同様にして補正してもよい。
　この場合、不揮発性メモリ３４に、光学的な設計値として、光路長が異なる複数の画像の内の、１つの基準画像に対する参照画像の平均輝度の比を記憶しおく。そして、補正用情報読出部３６ａ２が、不揮発性メモリ３４から、平均輝度の比を補正用情報として取得する。
　また、補正用情報算出部３６ａ１は、均一な白色の被検体を撮像して取得した、光路長が異なる複数の画像の平均輝度をそれぞれ算出し、１つの画像を基準画像として、基準画像に対する参照画像の平均輝度の比を算出する。
　そして、補正値算出部３６ｂ１が、画像の平均輝度の比を信号補正係数として画像補正部３６ｂ２へ出力する。画像補正部３６ｂ２は、参照画像におけるＡＦ領域の信号値に、画像の平均輝度の比を乗算することで、複数の画像の各ＡＦ領域の信号値の差を補正する。
　なお、シェーディング補正、または画像全体の平均輝度の補正を行うと、信号値にゲインを乗算することになるため、例えばＳＮ比が小さくなる。そこで、補正処理部３６ｂ内にノイズ低減処理部を設けて、ノイズ成分を除去したＡＦ用画像を、ＡＦ評価値算出部３７ａへ出力するようにしてもよいことは、第１の実施形態と同様である。
　このような第２の実施形態によれば、上述した第１の実施形態とほぼ同様の効果を奏するとともに、複数の画像の各ＡＦ領域の信号値の差を補正したＡＦ用画像に基づきＡＦ制御信号を生成するようにしたために、光路長が異なる複数の画像に信号値の差があっても正確なＡＦ評価値を取得でき、高精度のピント合わせが可能となる。
　なお、第１の実施形態では光路長が異なる複数の画像の幾何学的な差を補正し、第２の実施形態では複数の画像の信号値の差を補正したが、これらは何れか一方のみを行ってもよいし、両方を同時に行っても構わない。
　また、上述では本発明が内視鏡プロセッサである場合を主として説明したが、これに限定されるものではなく、本発明は、内視鏡プロセッサを含む内視鏡システムでもよいし、内視鏡プロセッサと同様にフォーカスレンズを制御するフォーカスレンズ制御装置でもよいし、内視鏡プロセッサと同様にフォーカスレンズを制御する方法（フォーカスレンズの制御方法）であってもよいし、コンピュータに内視鏡プロセッサと同様の処理を行わせるためのコンピュータプログラム、該コンピュータプログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
　さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

Claims (12)

  1. 　フォーカス位置を調整するフォーカスレンズと、光路を分割する分割光学系と、を備える光学系と、前記光学系により結像された光路長が異なる複数の光学像を撮像して撮像信号を出力する１つ以上の撮像素子と、を備える内視鏡と接続可能であって、
    　ハードウェアを含むプロセッサを備え、前記プロセッサは、
    　前記撮像信号から、前記光路長が異なる複数の画像情報を取得し、
    　前記複数の画像情報の各オートフォーカス領域の、幾何学的な差と信号値の差との少なくとも一方を補正してオートフォーカス用画像情報を出力し、
    　前記オートフォーカス用画像情報に基づき、前記フォーカスレンズの位置を制御するためのオートフォーカス制御信号を生成するように構成されている、
    　ことを特徴とする内視鏡プロセッサ。
  2. 　前記プロセッサは、
    　前記幾何学的な差と前記信号値の差との少なくとも一方を表す補正用情報を取得し、
    　前記補正用情報に基づいて、前記幾何学的な差と前記信号値の差との少なくとも一方を補正するように構成されている、
    　ことを特徴とする請求項１に記載の内視鏡プロセッサ。
  3. 　前記プロセッサは、
    　前記複数の画像情報を取得し、
    　前記画像情報に基づき前記補正用情報を算出するように構成されている、
    　ことを特徴とする請求項２に記載の内視鏡プロセッサ。
  4. 　前記幾何学的な差と前記信号値の差との少なくとも一方を予め測定して得られた前記補正用情報を記憶するメモリをさらに備え、
    　前記プロセッサは、前記メモリから前記補正用情報を読み出すように構成されている、
    　ことを特徴とする請求項２に記載の内視鏡プロセッサ。
  5. 　前記プロセッサは、
    　前記補正用情報として、前記複数の画像情報間における座標対応情報を取得し、
    　前記座標対応情報に基づき座標変換情報を算出し、
    　前記座標変換情報に基づき、前記幾何学的な差を補正するように構成されている、
    　ことを特徴とする請求項２に記載の内視鏡プロセッサ。
  6. 　前記プロセッサは、前記座標変換情報に基づき前記複数の画像情報の前記幾何学的な差を補正するように構成されている、
    　ことを特徴とする請求項５に記載の内視鏡プロセッサ。
  7. 　前記プロセッサは、
    　前記複数の画像情報の各々に基本オートフォーカス領域を設定し、
    　前記座標変換情報に基づき、前記複数の画像情報の各々の前記基本オートフォーカス領域の内の少なくとも１つを幾何学的に補正して前記オートフォーカス領域を設定するように構成されている、
    　ことを特徴とする請求項５に記載の内視鏡プロセッサ。
  8. 　前記プロセッサは、前記複数の画像情報において対応する画素同士の信号値の比を与える前記補正用情報を取得し、
    　前記補正用情報から得られる前記信号値の比に基づき、前記信号値の差を補正するように構成されている、
    　ことを特徴とする請求項２に記載の内視鏡プロセッサ。
  9. 　前記幾何学的な差は、前記光学系と前記撮像素子との少なくとも一方に起因して発生する、前記複数の画像情報における同一被検体の像の、位置と、角度と、倍率と、ディストーションと、斜め歪みと、の内の少なくとも１つの差を含む、
    　ことを特徴とする請求項１に記載の内視鏡プロセッサ。
  10. 　前記信号値の差は、前記光学系と前記撮像素子との少なくとも一方に起因して発生する、前記複数の画像情報における同一被検体の像の、シェーディングと、平均輝度と、信号と雑音との比であるＳＮ比と、の内の少なくとも１つの差を含む、
    　ことを特徴とする請求項１に記載の内視鏡プロセッサ。
  11. 　フォーカス位置を調整するフォーカスレンズと、光路を分割する分割光学系と、を備える光学系と、前記光学系により結像された光路長が異なる複数の光学像を撮像して撮像信号を出力する１つ以上の撮像素子と、を備える内視鏡を制御するコンピュータに、
    　前記撮像信号から、前記光路長が異なる複数の画像情報を取得させ、
    　前記複数の画像情報の各オートフォーカス領域の、幾何学的な差と信号値の差との少なくとも一方を補正してオートフォーカス用画像情報を出力させ、
    　前記オートフォーカス用画像情報に基づき、前記フォーカスレンズの位置を制御するためのオートフォーカス制御信号を生成させる、
    　ことを特徴とするプログラム。
  12. 　フォーカス位置を調整するフォーカスレンズと、光路を分割する分割光学系と、を備える光学系と、前記光学系により結像された光路長が異なる複数の光学像を撮像して撮像信号を出力する１つ以上の撮像素子と、を備える内視鏡から出力された前記撮像信号から、前記光路長が異なる複数の画像情報を取得し、
    　前記複数の画像情報の各オートフォーカス領域の、幾何学的な差と信号値の差との少なくとも一方を補正してオートフォーカス用画像情報を出力し、
    　前記オートフォーカス用画像情報に基づき、前記フォーカスレンズの位置を制御するためのオートフォーカス制御信号を生成する、
    　ことを特徴とするフォーカスレンズの制御方法。
PCT/JP2021/041580 2021-11-11 2021-11-11 内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法 WO2023084706A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/041580 WO2023084706A1 (ja) 2021-11-11 2021-11-11 内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/041580 WO2023084706A1 (ja) 2021-11-11 2021-11-11 内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法

Publications (1)

Publication Number Publication Date
WO2023084706A1 true WO2023084706A1 (ja) 2023-05-19

Family

ID=86335306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/041580 WO2023084706A1 (ja) 2021-11-11 2021-11-11 内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法

Country Status (1)

Country Link
WO (1) WO2023084706A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003075136A (ja) * 2001-08-31 2003-03-12 Olympus Optical Co Ltd 計測内視鏡装置
US20040207625A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for displaying diagnostic data
JP2012070993A (ja) * 2010-09-29 2012-04-12 Fujifilm Corp 内視鏡システム
JP2013090035A (ja) * 2011-10-14 2013-05-13 Olympus Corp 三次元内視鏡装置
WO2014171284A1 (ja) * 2013-04-19 2014-10-23 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2020095366A1 (ja) * 2018-11-06 2020-05-14 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003075136A (ja) * 2001-08-31 2003-03-12 Olympus Optical Co Ltd 計測内視鏡装置
US20040207625A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for displaying diagnostic data
JP2012070993A (ja) * 2010-09-29 2012-04-12 Fujifilm Corp 内視鏡システム
JP2013090035A (ja) * 2011-10-14 2013-05-13 Olympus Corp 三次元内視鏡装置
WO2014171284A1 (ja) * 2013-04-19 2014-10-23 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2020095366A1 (ja) * 2018-11-06 2020-05-14 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法

Similar Documents

Publication Publication Date Title
JP7003238B2 (ja) 画像処理方法、装置、及び、デバイス
JP7145208B2 (ja) デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体
JP6140935B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
JP5395507B2 (ja) 三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム
JP6076552B1 (ja) 画像読取装置及び画像読取方法
WO2018221224A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JPWO2006064751A1 (ja) 複眼撮像装置
WO2013180192A1 (en) Information processing method, information processing apparatus, and program storage medium
JP2000316120A (ja) 全焦点撮像装置
JP2019168862A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体
JP2017092983A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
JP2015019119A (ja) 画ブレ補正装置
JP2005149500A (ja) 多焦点画像スタック内の歪みの補正方法
JP2013228798A (ja) 画像処理装置、撮像装置、内視鏡、プログラム及び画像処理方法
WO2017094122A1 (ja) 撮像装置、内視鏡装置及び撮像方法
JP6529360B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6564284B2 (ja) 画像処理装置および画像処理方法
WO2013175816A1 (ja) 距離測定装置
US9270883B2 (en) Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium
WO2023084706A1 (ja) 内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法
JP2019129374A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体及び撮像装置
JP6732440B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
JP2015163915A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2014026050A (ja) 撮像装置、画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21964061

Country of ref document: EP

Kind code of ref document: A1