WO2016194576A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2016194576A1
WO2016194576A1 PCT/JP2016/064212 JP2016064212W WO2016194576A1 WO 2016194576 A1 WO2016194576 A1 WO 2016194576A1 JP 2016064212 W JP2016064212 W JP 2016064212W WO 2016194576 A1 WO2016194576 A1 WO 2016194576A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
distance
phase difference
lens
detection unit
Prior art date
Application number
PCT/JP2016/064212
Other languages
English (en)
French (fr)
Inventor
寿夫 山崎
小柳津　秀紀
功 広田
創造 横川
勲 大平
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2016194576A1 publication Critical patent/WO2016194576A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems

Definitions

  • the present technology relates to an information processing apparatus and method, and more particularly, to an information processing apparatus and method that can obtain a distance to a subject at higher speed.
  • a pixel having a phase difference detection function (hereinafter also referred to as a phase difference pixel) is arranged in a part or all of the pixels of the image sensor, The left and right pupils of the camera are divided, and the distance of the subject is measured by a phase difference method using a sensor (hereinafter also referred to as an image plane phase difference sensor) that acts as a stereo camera with cameras appearing on the left and right sides of the taking lens.
  • a phase difference detection function hereinafter also referred to as a phase difference pixel
  • the phase difference detection of the left and right images is performed using a phase difference detection sensor different from the image sensor, and the phase difference is converted into the subject distance using a one-dimensional table.
  • autofocus is realized (see, for example, Patent Document 2).
  • the blur parameter is calculated by dividing the difference between the two images taken at different focus lens positions and the average value of the respective second derivatives, and the blur parameter is linear with respect to the reciprocal of the subject distance.
  • a method for obtaining the distance from the blur parameter has also been proposed (see, for example, Patent Document 4).
  • a plurality of images are captured from the image sensor while changing the lens position, a lens position corresponding to each captured image is acquired, and a component having a spatial frequency greater than or equal to a predetermined value is acquired for each captured image for each segmented region of the image.
  • a method of calculating a distance to an object photographed in a segmented region based on a lens position corresponding to an image extracted and having the largest spatial frequency component see, for example, Patent Document 5).
  • Patent No. 4027113 JP 2005-12307 A Japanese Patent Application Laid-Open No. 09-026312 JP 2007-139893 A JP 2007-192730 A
  • This technology has been proposed in view of such circumstances, and aims to obtain the distance to the subject at higher speed.
  • One aspect of the present technology is based on the phase difference between a plurality of captured images having parallax obtained by capturing an image of a subject, and the position of the movable lens that controls the focal length according to the position in capturing the subject.
  • the information processing apparatus includes a distance detection unit that detects a distance to the subject.
  • the distance detection unit can detect the distance to the subject using information indicating a correspondence relationship between the phase difference, the lens position, and the distance to the subject.
  • the information indicating the correspondence relationship between the phase difference, the lens position, and the distance to the subject is information indicating the correspondence relationship between the phase difference and the distance to the subject for each position of the lens. be able to.
  • the information indicating the correspondence between the phase difference, the lens position, and the distance to the subject is information indicating the distance to the subject for each combination of the lens position and the phase difference. be able to.
  • the distance detection unit can detect a distance to the subject using information indicating a correspondence relationship between the phase difference, the position of the lens, and the position of the lens focused on the subject. .
  • the distance detection unit obtains a representative value of the distance to the subject using information indicating a correspondence relationship between the phase difference, the position of the lens, and a representative value of the distance to the subject, and sets the representative value to the obtained representative value. By performing interpolation processing on the distance, it is possible to detect the distance to the subject with higher accuracy than the representative value.
  • the distance detection unit can repeatedly detect the distance to the subject while changing the position of the lens, and can detect the distance to the subject that minimizes the phase difference.
  • a phase difference detection unit that detects a phase difference between the captured images using a plurality of captured images having parallax obtained by imaging a subject can be further provided.
  • the phase difference detection unit can detect the phase difference for a partial region of the captured image.
  • the partial area can be an area to be focused.
  • the system further includes a reception unit that receives designation of the region to be focused, the phase difference detection unit detects the phase difference for the region to be focused received by the reception unit, and the distance detection unit includes: It is possible to detect the distance to the subject in the focused area received by the receiving unit.
  • the phase difference detection unit can correct an error included in the phase difference.
  • the apparatus may further include a focusing position detection unit that detects a position of the lens that focuses on the subject based on a distance to the subject detected by the distance detection unit.
  • a control unit for controlling the position of the lens can be further provided.
  • a movement detection unit that detects movement of the subject between frames; and the distance detection unit tracks the subject based on the movement of the subject detected by the movement detection unit, and moves to the subject for each frame. Can be detected.
  • the distance detection unit can detect the distance to the subject at each position in the entire imaging range.
  • the distance detection unit can further detect the size of the subject.
  • the position of the lens can be indicated by a distance between the lens and an imaging unit that images the subject.
  • the distance to the subject can be indicated by the distance between the lens and the subject.
  • One aspect of the present technology also includes a phase difference between a plurality of captured images having parallax obtained by capturing an image of a subject, and a position of the movable lens that controls a focal length according to the position in capturing the subject.
  • the information processing method for detecting the distance to the subject based on the above.
  • the phase difference between a plurality of captured images having parallax obtained by capturing an image of a subject, and the position of the movable lens that controls the focal length according to the position when the subject is captured Based on this, the distance to the subject is detected.
  • This technology can process information. Further, according to the present technology, the distance to the subject can be obtained at higher speed.
  • FIG. 25 is a block diagram illustrating another configuration example of the imaging apparatus. It is a flowchart explaining the other example of the flow of an autofocus process.
  • FIG. 20 is a block diagram illustrating a main configuration example of a computer.
  • FIG. 1 is a diagram illustrating an example of an appearance of an imaging apparatus that is an embodiment of an information processing apparatus to which the present technology is applied.
  • the imaging apparatus 100 is provided with a photographing lens 102 on one surface of a housing 101, and a shutter button 103 on the top surface of the housing 101.
  • a touch panel 104 and a display unit 105 are provided on the surface of the housing 101 opposite to the surface on which the photographing lens 102 is provided.
  • the display unit 105 includes an LCD (Liquid Crystal Display) panel, an OELD (Organic Electro Luminescence Display) (organic EL display), or the like.
  • a transparent touch panel 104 is superimposed on the surface of the display unit 105. The user operates the touch panel 104 according to an image such as a GUI (Graphical User Interface) displayed on the display unit 105 and inputs an instruction.
  • Other components are stored in the housing 101.
  • FIG. 2 is a block diagram illustrating a main configuration example inside the imaging apparatus 100.
  • the imaging apparatus 100 includes a lens 111, an imaging unit 112, an image processing unit 113, and a lens control unit 114.
  • the imaging apparatus 100 includes an input unit 121, an output unit 122, a storage unit 123, a communication unit 124, a drive 125, and a display unit 105.
  • the lens 111 and the lens control unit 114 may be formed in the photographing lens 102 and may be configured separately from the housing 101.
  • the photographing lens 102 that is, the lens 111 and the lens control unit 114 may be detachable from the housing 101.
  • Other configurations are provided in the housing 101.
  • the lens 111 is a so-called focus lens, and is an optical lens having a variable position for focusing on a subject. Light from the subject enters the imaging unit 112 via the lens 111.
  • the lens 111 is shown as a single lens.
  • the lens 111 shows an optical system related to focus control, and what is its configuration? Also good.
  • the lens 111 may be configured by a single lens as in the example of FIG. 2 or may be configured by a plurality of lenses.
  • the imaging unit 112 includes an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and obtains image data of a captured image by photoelectrically converting the incident light in the pixel array of the image sensor.
  • the imaging unit 112 supplies the image data to the image processing unit 113.
  • the image processing unit 113 performs predetermined image processing on the image data of the captured image supplied from the imaging unit 112.
  • the image processing unit 113 includes a subject distance detection unit 131 and a focus position detection unit 132.
  • the subject distance detection unit 131 performs processing related to detection of the distance to the subject.
  • the focus position detection unit 132 performs processing related to detection of the position (focus position) of the lens 111 when focusing on the subject based on the distance to the subject.
  • the lens control unit 114 performs control related to the position of the lens 111.
  • the lens 111 is a movable lens and can move its position.
  • the imaging apparatus 100 takes a focal length according to the position. That is, the focal length of the imaging device 100 is variable, and the lens 111 controls the focal length of the imaging device 100 according to its position. Therefore, the lens control unit 114 can control the focal length of the imaging apparatus 100 by controlling the position of such a lens 111.
  • the lens control unit 114 can control the position of each lens, and can control the combined focal length of these lenses.
  • the lens control unit 114 can control the position by driving the lens 111, or can detect the position of the lens 111.
  • the input unit 121 includes, for example, a button, a switch, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 122 includes, for example, a light emitting diode (LED), a display, a speaker, and an output terminal.
  • the storage unit 123 includes, for example, a hard disk, a RAM, a nonvolatile memory, and the like.
  • the communication unit 124 includes, for example, a wired or wireless network interface.
  • the drive 125 drives a removable medium 126 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • Each unit of the imaging device 100 performs various processes based on a user instruction input via the input unit 121, for example.
  • the imaging unit 112 images a subject via the lens 111.
  • the image processing unit 113 converts the image format of the image data of the captured image obtained in the imaging unit 112 into a displayable image format, displays the captured image on the display unit 105, or stores the image data of the captured image in the storage unit 123, or output via the communication unit 124, or stored in the removable medium 126 via the drive 125.
  • the imaging apparatus 100 can perform a so-called autofocus operation in which the lens 111 is movable and the focus is automatically focused on the subject.
  • the subject distance detection unit 131 of the image processing unit 113 uses the image data of the captured image obtained by the imaging unit 112.
  • the distance to the subject (hereinafter also referred to as subject distance) is measured.
  • the focus position detection unit 132 obtains a lens position that focuses on the subject distance from the detected subject distance.
  • the lens control unit 114 acquires information regarding the lens position from the in-focus position detection unit 132, and controls the position of the lens 111 based on the information. That is, the lens control unit 114 moves the lens 111 to a position where the subject is focused.
  • the imaging unit 112 is configured as a so-called “image plane phase difference sensor”.
  • the image plane phase difference sensor provides a plurality of light receiving elements under one on-chip lens 142 to divide the left and right pupils of the photographic lens, and apparently installs cameras on the left and right sides of the photographic lens. It is a sensor that behaves as a stereo camera.
  • a right light receiving element 143 and a left light receiving element 144 are provided for all pixels. That is, in each pixel, the imaging unit 112 divides the left and right pupils of the lens 111 with respect to the light from the subject 141, uses a light beam signal passing through the right side as a right image signal, and a signal beam beam passing through the left side as a left image. Output as a signal.
  • a pixel that outputs a right image signal or a left image signal is also referred to as a phase difference pixel.
  • a distance from the lens 111 to the imaging unit 112 is referred to as a lens position g. That is, the position of the lens 111 is indicated by the distance between the lens 111 and the imaging unit 112. Further, the distance from the lens 111 to the focal point of the light from the subject 141 that enters the imaging unit 112 via the lens 111 is referred to as a focal length f.
  • a distance from the subject 141 to the lens 111 is referred to as a subject distance (or an absolute distance to the subject 141) D. That is, the distance to the subject is indicated by the distance between the lens 111 and the subject.
  • the focal length f is the combined focal length of the plurality of lenses
  • the lens position g is equal to the focal length f when the lens is in focus. Position.
  • FIG. 5 shows a more detailed configuration example of each processing unit inside the imaging apparatus 100 described with reference to FIG.
  • the subject distance detection unit 131 includes a phase difference detection unit 151 and a subject distance calculation unit 152.
  • the focus position detection unit 132 includes a focus lens position calculation unit 153.
  • the lens control unit 114 includes a lens position detection unit 154, a lens position storage unit 155, and a lens driving unit 156.
  • the imaging unit 112 supplies the right image signal and the left image signal to the phase difference detection unit 151 of the subject distance detection unit 131. Since the right image signal and the left image signal are signals obtained at substantially the same position from the whole pixel array, the values thereof are substantially the same as each other. However, as described with reference to FIG. Since the light receiving element 143 and the left light receiving element 144 photoelectrically convert light beams passing through different portions of the lens 111, the right image signal and the left image signal have a predetermined phase difference from each other as in the example shown in FIG. It becomes a signal with. In FIG. 6, a circle indicates an example of the pixel value of the left image signal, and a square indicates the pixel value of the right signal.
  • the phase difference detection unit 151 detects the phase difference between the right image signal and the left image signal.
  • the phase difference detection unit 151 supplies the detection result (that is, information indicating the phase difference) to the subject distance calculation unit 152.
  • the subject distance calculation unit 152 is also supplied with information indicating the position of the lens 111 when the right image signal and the left image signal are obtained in the imaging unit 112 from the lens position storage unit 155 of the lens control unit 114.
  • the subject distance calculation unit 152 calculates the subject distance D using the information.
  • the subject distance calculation unit 152 supplies the subject distance D to the focusing lens position calculation unit 153 of the focusing position detection unit 132.
  • the focusing lens position calculation unit 153 identifies the position of the lens 111 that focuses on the subject 141 located at the subject distance D based on the supplied subject distance D.
  • the in-focus lens position calculation unit 153 supplies the specified position to the lens position storage unit 155 of the lens control unit 114 for storage.
  • the lens position detection unit 154 detects the current position of the lens 111 and supplies the detection result (that is, information indicating the current position of the lens 111) to the lens position storage unit 155 for storage.
  • the lens position storage unit 155 receives information indicating the position of the lens 111 corresponding to the subject distance D supplied from the in-focus lens position calculation unit 153 in response to a request from the outside or at a predetermined timing. To the unit 156. The lens position storage unit 155 supplies information indicating the current position of the lens 111 supplied from the lens position detection unit 154 to the subject distance calculation unit 152 in response to a request from the outside or at a predetermined timing. To do.
  • the lens driving unit 156 controls the position of the lens 111 based on the information supplied from the lens position storage unit 155 (that is, moves to the position specified by the information supplied from the lens position storage unit 155).
  • phase difference detection unit 151 Next, details of phase difference detection by the phase difference detection unit 151 will be described.
  • the left and right image signals are two-dimensional signals, but will be described as one-dimensional signals for simplification.
  • the shift amount when the correlation between the left and right image signals is maximized is shifted between the left and right image signals.
  • the phase difference As shown in FIG. 7A, for example, the right image signal is shifted one by one to the left, and the correlation value at each time is obtained. A plot of the correlation values at that time is B in FIG. As shown in the figure, the shift amount (2 in the figure) with a high correlation value is the phase difference in this example.
  • a known method may be used as a known method. For example, the Sum of Absolute Differences (SAD) calculation shown in the following equation (1) or the Zero-mean Normalized Cross Correlation (shown in the following equation (2)).
  • the output image signal is a pixel array in which left and right signals are mixed as shown by A in FIG.
  • the correlation calculation is performed, the left image signal is shifted in position as shown in FIG. 8B and the right image signal is shifted in position as shown in FIG.
  • An example of the image signal in this case is shown in FIG. As shown in the figure, even when some signals are missing and the position of the image is shifted, by setting P including the deviation between B in FIG. 8 and C in FIG. Whatever the case, the phase difference can be obtained by the method using the same correlation value.
  • the lens position detection unit 154 (FIG. 5) is used to detect the lens position g, or the lens driving unit 156 (FIG. 5) has a function of moving the focus lens to the lens position g.
  • the lens position g representing the distance from the imaging unit 112 is acquired by using a means such that the storage unit 155 always stores the lens position g when the lens is driven.
  • the absolute distance to the subject is obtained using the subject distance two-dimensional table.
  • An example of the subject distance two-dimensional table is shown in FIG.
  • the subject distance two-dimensional table is a general two-dimensional table, and obtains the phase difference p output from the phase difference detection unit 151 of FIG. 5 and the lens position g from the lens position storage unit 155 as indexes.
  • the values stored in the subject distance two-dimensional table are shown in FIG.
  • Dotted lines 171 to 173 shown in FIG. 10 indicate the relationship between the phase difference and the distance curve at a certain lens position g, respectively. Therefore, the relationship among the phase difference, the lens position, and the subject distance is uniquely determined. Therefore, in the subject distance two-dimensional table, as shown in FIG. 9, absolute distances Dp, g to the subject are associated with each combination of the lens position g and the phase difference p.
  • the two-dimensional table is used as the information indicating the relationship between the phase difference, the lens position, and the subject distance, but this information may be any information.
  • this information may be a three-dimensional table or a function (arithmetic expression).
  • the relationship of the lens position g focused on the distance in the absolute distance D to the subject can be expressed as a curve 181 as shown in FIG. 11, and one can be uniquely determined from the other. Therefore, the focusing lens position calculation unit 153 may perform conversion using, for example, a one-dimensional lookup table. Of course, this conversion method is arbitrary, and for example, a function (arithmetic expression) or the like may be used.
  • step S101 the input unit 121 starts accepting an instruction from the user and accepts designation of an area to be focused.
  • the subject imaged by the imaging unit 112 is converted into a digital signal by an image sensor (not shown), and after the image processing unit 113 performs known image processing such as demosaic, noise reduction, color correction, and shading correction, the display is performed. Displayed on the unit 105. An example of the display is shown in FIG.
  • the input unit 121 senses the touch and position, and sets it as a focusing area 192.
  • the autofocus operation is started automatically or at the timing when the shutter button 103 is half-pressed, the timing when the touch panel 104 is touched, or the like.
  • step S102 the lens position detection unit 154 specifies the current position of the lens 111.
  • step S103 the imaging unit 112 images a subject and obtains a captured image (right image signal, left image signal) of the subject.
  • step S104 the phase difference detector 151 detects the phase difference between the right image signal and the left image signal.
  • the subject distance calculation unit 152 obtains the subject distance corresponding to the lens position and the phase difference in step S105 using, for example, a subject distance two-dimensional table as shown in FIG.
  • step S106 the focusing lens position calculation unit 153 uses a subject distance lens position conversion table as shown in FIG. 11 for example, and uses the lens position corresponding to the subject distance (that is, the lens position focused on the subject distance D). )
  • step S107 the lens driving unit 156 moves the lens 111 to the lens position obtained in step S106. That is, the subject at the subject distance D is focused.
  • step S107 the image processing unit 113 determines whether or not to end the autofocus process. If it is determined not to end, the process returns to step S101, and the subsequent processes are repeated. If it is determined in step S107 that the autofocus process is to be terminated, the autofocus process is terminated.
  • the phase difference detection unit 151 sets the parallax detection position (x, y) in step S121. For example, it may be set according to a user specification input via the input unit 121, or may be specified in order to cover the entire image in order to obtain the parallax of the entire captured image.
  • step S122 the phase difference detection unit 151 acquires a left image signal of NxM size starting from the position x, y.
  • An example of the left image signal output from the imaging unit 112 is shown in FIG.
  • the phase difference detection unit 151 extracts an NxM size image 202 from the left image signal 201.
  • step S123 the phase difference detection unit 151 sets the amount of deviation P to be detected to the minimum value Pmin.
  • the detected shift amount P is determined in consideration of the assumed minimum shift amount Pmin.
  • step S124 the phase difference detection unit 151 determines whether or not the detected deviation amount P exceeds the maximum value Pmax of the detectable deviation amount. If it is determined that it does not exceed, the process proceeds to step S125.
  • step S125 the phase difference detection unit 151 acquires a right image signal of NxM size starting from the position x + P, y.
  • An example of the right image signal output from the imaging unit 112 is shown in FIG.
  • an NxM size image 204 is extracted from the right image signal 203.
  • step S126 the phase difference detection unit 151 performs a correlation operation on the extracted image 202 and image 204.
  • This correlation calculation method is arbitrary. For example, a Sum ⁇ ⁇ ⁇ of Absolute Differences (SAD) operation shown in Equation (1) or a Zero-mean Normalized Cross Correlation (ZNCC) operation shown in Equation (2) may be used.
  • SAD Absolute Differences
  • ZNCC Zero-mean Normalized Cross Correlation
  • step S127 the phase difference detection unit 151 associates the correlation value calculated in step S126 with the deviation P value at that time and stores the correlation value in the storage unit 123 or the like.
  • step S1208 the phase difference detection unit 151 increments the deviation amount P.
  • the process of step S128 ends the process returns to step S124, and the subsequent processes are repeated.
  • step S124 If it is determined in step S124 that the detected shift amount P exceeds the maximum detectable shift amount value Pmax, the process proceeds to step S129.
  • step S129 the phase difference detection unit 151 repeatedly executes the processes in steps S121 to S128 as described above, so that the difference P value and the correlation value stored in the storage unit 123 and the like are included in the pair. From this, a pair having the maximum correlation value is identified, and a deviation amount P value of the pair is obtained, and the P value is set as a phase difference. That is, the phase difference detection unit 151 specifies the deviation amount P corresponding to the maximum correlation value as the phase difference.
  • the value having the maximum correlation is the case where the calculated value of the expression (1) is the minimum, so that the deviation amount P value having the minimum correlation value is obtained. You can do it.
  • the value having the maximum correlation is the case where the calculated value of Equation (2) is the maximum. Therefore, if the deviation amount P value having the maximum correlation value is obtained. Good.
  • other correlation calculation formulas can also be used. After all, whether the value having the maximum correlation is minimum or maximum depends on the correlation calculation formula employed. Therefore, the determination in step S124 may be performed according to the correlation calculation expression. Further, the processing in step S123 and the processing content in step S128 may be appropriately changed accordingly.
  • step S129 When the process of step S129 is completed, the phase difference detection process is completed, and the process returns to FIG.
  • the subject distance detection unit 131 can detect the subject distance at a higher speed. That is, the imaging apparatus 100 can realize a higher-speed autofocus process (can focus on the subject at a higher speed).
  • the maximum value Pmax and the minimum value Pmin of the deviation amount may be determined in consideration of the assumed maximum deviation amount.
  • Second Embodiment> ⁇ Image plane phase difference sensor> Note that the configuration of the imaging unit 112 is not limited to the example of FIG. For example, the configuration of the imaging unit 112 may be configured as shown in FIG.
  • the imaging unit 112 is an image plane phase difference sensor, but by providing a light shielding film 213 or a light shielding film 215 shifted from the center below one on-chip lens, The right pupil is divided, and it looks like a stereo camera with cameras on the left and right sides of the photographic lens.
  • a normal image signal is obtained in a pixel that is not provided with a light shielding film, such as the light receiving element 211.
  • a light shielding film such as the light receiving element 211.
  • the light receiving element 212 is provided with the light shielding film 213 on the left side, a left image signal is obtained.
  • the light receiving element 214 is provided with the light shielding film 215 on the right side, a right image signal can be obtained.
  • the light shielding film may be provided in any pixel, the light shielding film may be provided in all the pixels of the pixel array, or the light shielding film may be provided only in a part of the pixels. That is, the left image signal and the right image signal can be obtained at an arbitrary pixel. Further, the arrangement order of the pixels provided with the light shielding film on the left side and the pixels provided on the right side is arbitrary, and is not limited to the example of FIG.
  • the subject distance two-dimensional table may be configured for all possible values of the lens position g and the phase difference p. . Conversely, only a representative value may be stored in the two-dimensional subject distance table, and the intermediate value may be obtained by interpolation. By doing so, the data size of the subject distance two-dimensional table can be reduced.
  • FIG. 17A shows an example of a subject distance two-dimensional table in that case.
  • the subject distance two-dimensional table stores the phase difference x obtained by indexing the phase difference p and the lens position g and the lens position y.
  • this value for example, when the range of possible values is divided into N, a value obtained by dividing the value divided by N into an integer is used.
  • the values stored in the subject distance two-dimensional table are shown in FIG. Unlike the example of FIG. 10, the absolute distance D is stored with a certain interval, and the absolute distance therebetween is stored by interpolation.
  • FIG. 18 shows a main configuration example of the subject distance calculation unit 152 in this case.
  • the subject distance calculation unit 152 in this case includes an index calculation unit 231, an index calculation unit 232, a representative subject distance calculation unit 233, and an interpolation processing unit 234.
  • the index calculation unit 231 indexes the phase difference p supplied from the phase difference detection unit 151. For example, the index calculation unit 231 divides the phase difference p by a value N that divides the range of values that can be taken by the phase difference p into N to make an integer.
  • the index calculation unit 232 indexes the lens position g supplied from the lens position storage unit 155. For example, the index calculation unit 231 divides the lens position g by a value N that divides the range of values that can be taken by the lens position g into N, thereby obtaining an integer.
  • the representative subject distance calculation unit 233 acquires the index of the phase difference p from the index calculation unit 231 and acquires the index of the lens position g from the index calculation unit 232. Then, the representative subject distance calculation unit 233 acquires a plurality of representative values (also referred to as representative subject distances) of the subject distance D used for the subsequent complementing process from the subject distance two-dimensional table using those indexes.
  • the interpolation processing unit 234 acquires the representative subject distance from the representative subject distance calculation unit 233.
  • the interpolation processing unit 234 performs interpolation processing using the acquired representative subject distance.
  • This interpolation processing method is arbitrary.
  • the interpolation processing unit 234 may perform bilinear interpolation, or may apply other interpolation processing such as bi-cubic interpolation.
  • bilinear interpolation An example of this Bilinear interpolation is shown in FIG.
  • Dx, y + 1 (white circle 243 in the lower left in the figure) and Dx + 1, y + 1 (white circle 244 in the lower right in the figure).
  • the representative value in the phase difference direction is stored at intervals obtained by dividing the range of possible phase difference values into N
  • the representative value in the lens position direction is stored at intervals obtained by dividing the range of possible lens position values into M.
  • INT () is an integer function by truncation.
  • the formula of Bilinear interpolation is as shown in the following formula (3). .
  • the interpolation processing unit 234 can obtain the interpolated subject distance Dp, g by using the equation (3).
  • the data size of the subject distance two-dimensional table can be reduced by using the interpolation processing.
  • the focusing lens position calculation unit 153 may store only a representative object distance lens position conversion table used when determining the focusing lens position from the object distance, and an intermediate value thereof may be determined by interpolation. . By doing so, the data size of the subject distance lens position conversion table can be reduced.
  • the interpolation processing may be performed by scaling down to the one dimension using the above-described method of obtaining the absolute distance to the subject using the two-dimensional table and interpolation from the phase difference p and the lens position g.
  • the lens position g focused at the subject distance D may be stored.
  • the lens position g focused on the subject distance D can be obtained from the phase difference p and the lens position g, so the subject distance lens position conversion table is omitted. Can do.
  • FIG. 20 is a block diagram illustrating a main configuration example of the phase difference detection unit 151 in that case.
  • the phase difference detection unit 151 includes a phase difference detection unit 251, an index calculation unit 252, an index calculation unit 253, a correction processing unit 254, an interpolation processing unit 255, and an addition unit 256.
  • the correction method is almost the same as the method for obtaining the absolute distance to the subject from the phase difference p and the lens position g using a two-dimensional table and interpolation.
  • the phase difference detection unit 251 is a processing unit similar to the phase difference detection unit 151 of each embodiment described above, and obtains and outputs the phase difference p. However, this phase difference p includes an error.
  • the phase difference detection unit 251 supplies the obtained phase difference p to the addition unit 256 and supplies information on the position x of the phase difference p on the image plane phase difference sensor to the index calculation unit 252 and the interpolation processing unit 255. Then, information on the position y on the image plane phase difference sensor with the phase difference p is supplied to the index calculation unit 253 and the interpolation processing unit 255.
  • the index calculation unit 252 performs index calculation for the supplied position x, and converts the index into the index indicating the representative value stored in the correction value two-dimensional table used by the correction processing unit 254 for correction processing. For example, when the range of possible values is divided into N, the value divided by N is converted into an index by converting it to an integer.
  • the index calculation unit 253 performs the same processing as the index calculation unit 252 on the supplied position y.
  • the correction processing unit 254 acquires a plurality of representative correction values corresponding to the indexes supplied from the index calculation unit 252 and the index calculation unit 253, using a predetermined correction value two-dimensional table prepared in advance.
  • the interpolation processing unit 255 acquires the representative correction value obtained by the correction processing unit 254 and performs an interpolation process on the representative correction value.
  • the method of this complementing process is arbitrary, for example, Bilinear interpolation may be used, and other interpolation processes, such as Bi-cubic interpolation, may be used.
  • the correction value obtained by the interpolation processing is supplied to the adding unit 256.
  • the adding unit 256 generates the corrected phase difference p ′ by adding the correction value to the phase difference p.
  • the adding unit 256 outputs the corrected phase difference p ′ to the outside of the phase difference detecting unit 151 (for example, the subject distance calculating unit 152).
  • correction value two-dimensional table used by the correction processing unit 254 for correction processing can be generated by an arbitrary method. For example, you may make it produce
  • a subject 261 is placed at a distance D, and images of equidistant surfaces are captured to measure a phase difference.
  • the distance D is known, it is theoretically possible to obtain the distance D.
  • Example of phase difference measurement result is shown as a graph in FIG. Although the position on the sensor is two-dimensional, it will be described as one-dimensional for simplicity.
  • a curve 262 in the graph of B in FIG. 21 is a measurement result of the phase difference.
  • the theoretical value of the phase difference is a constant value. That is, the dotted line in the graph of B in FIG. 21 is the theoretical value. Therefore, the correction value table may be configured by storing the difference between the measured phase difference and the theoretical value as a correction value in the table.
  • a curve 271 shows the relationship between the phase difference and the subject distance
  • error bars 272-1 to 272-8 show examples of the state of error ranges at each phase difference (each distance). Yes.
  • a dotted line 273 indicates a subject distance to be focused.
  • the error bars 272-1 to 272-8 are referred to as error bars 272 when there is no need to distinguish them from each other.
  • each error bar 272 in FIG. 22 in the image plane phase difference sensor, generally, the error of the phase difference on the in-focus distance is the smallest, and as the distance from the in-focus distance increases. It has the characteristic that the error increases. In order to realize highly accurate distance measurement, this error may be suppressed.
  • FIG. 23 is a block diagram illustrating a main configuration example of the imaging apparatus 100 in that case.
  • the imaging apparatus 100 basically has the same configuration as the example of FIG. 5, but in the example of FIG. 23, the subject distance detection unit 131 further includes the control unit 281.
  • the control unit 281 controls each processing unit in the subject distance detection unit 131. Further, the control unit 281 controls the position of the lens 111 via the lens driving unit 156. That is, the control unit 281 repeatedly executes the phase difference detection of the phase difference detection unit 151 and the subject distance calculation of the subject distance calculation unit 152 a plurality of times while moving the position of the lens 111 within a predetermined range. Thus, each processing unit is controlled.
  • the phase difference storage unit 282 stores the phase difference every time the phase difference detection unit 151 detects the phase difference.
  • the subject distance storage unit 283 stores the subject distance every time the subject distance calculation unit 152 detects the subject distance.
  • the minimum phase difference distance setting unit 284 has a minimum phase difference among a plurality of phase differences obtained by repeatedly performing phase difference detection and a plurality of subject distances obtained by repeatedly performing subject distance detection.
  • the subject distance is obtained and set as the formal subject distance.
  • step S141 is performed in the same manner as the process of step S101 in FIG.
  • step S142 the control unit 281 initializes the position of the lens 111. That is, the lens 111 is moved to a predetermined position.
  • step S143 and step S144 are performed similarly to each process of step S103 and step S104 of FIG. That is, a phase difference at a certain lens position is detected.
  • step S145 the phase difference storage unit 282 stores the phase difference corresponding to a certain lens position detected in step S144.
  • step S146 is executed in the same manner as step S105 of FIG. That is, the subject distance at a certain lens position is obtained.
  • step S147 the subject distance storage unit 283 stores the subject distance corresponding to a certain lens position obtained in step S146.
  • phase difference and the subject distance are stored in association with each other via the lens position.
  • step S148 the control unit 281 determines the phase difference and the phase difference for the entire predetermined range (for example, the movable range of the lens 111). It is determined whether the subject distance has been obtained. If it is determined that there is a lens position for which the phase difference and subject distance are not obtained, the process proceeds to step S149.
  • step S149 the control unit 281 moves the lens 111 and updates the lens position.
  • the process of step S149 ends the process returns to step S143, and the subsequent processes are repeated.
  • step S148 If it is determined in step S148 that the phase difference and subject distance have been obtained for the entire range, the process proceeds to step S150.
  • the minimum phase difference distance setting unit 284 refers to the phase difference group stored in the phase difference storage unit 282 and the subject distance group stored in the subject distance storage unit 283, and sets the minimum phase difference. The associated subject distance is obtained.
  • step S151 to step S153 is executed in the same manner as each process from step S106 to step S108 in FIG.
  • the subject distance detection unit 131 can detect the subject distance with higher accuracy. That is, the imaging apparatus 100 can focus on the subject with higher accuracy.
  • FIG. 25 is a block diagram illustrating a main configuration example of the imaging apparatus 100 in that case. 25, the imaging apparatus 100 has the same configuration as that of the example of FIG. 2, but in the case of the example of FIG. 25, the image processing unit 113 further includes a movement detection unit 291.
  • the movement detection unit 291 detects a position change (movement) between frames of the image of the subject of interest.
  • the image processing unit 113 performs image processing such as subject distance detection and in-focus position detection described in the first embodiment on each frame. Then, the movement detection unit 291 tracks the movement of the image of the subject of interest that is the target of these image processes. Thereby, the imaging apparatus 100 can keep focusing on the target subject while tracking the image of the target subject.
  • step S171 the input unit 121 accepts designation of a focus target region (that is, a region to be focused) including an image of the subject of interest.
  • the focus target area is designated, in step S172, the image processing unit 113 focuses the designated focus target area (the subject of interest). This process is the same as the autofocus process described with reference to the flowchart of FIG.
  • the autofocus process is performed by the same method as described in the first embodiment so as to focus on the focus target area (the subject of interest).
  • step S173 the storage unit 123 stores the frame image of the current frame. At this time, the image may be reduced and saved in order to save memory. Then, the processing target (current frame) is set to the next frame.
  • the movement detection unit 291 detects a difference in position (that is, movement) between frames of the image of the focus target area (that is, the image of the subject of interest) in step S174. .
  • step S175 the position to be focused is also moved (the position is changed) according to the movement.
  • step S176 the image processing unit 113 focuses on the focus target area (target subject). That is, focusing on the focus target area is performed for the new current frame. This process is the same as the autofocus process described with reference to the flowchart of FIG.
  • step S177 the storage unit 123 stores the frame image of the current frame. At this time, the image may be reduced and saved in order to save memory. Then, the processing target (current frame) is set to the next frame.
  • step S178 the image processing unit 113 determines whether to end the subject tracking autofocus process. If it is determined not to end, the processing returns to step S174, and the subsequent processing is repeated with the new frame as the current frame.
  • step S178 If it is determined in step S178 that the process is to end, the subject tracking autofocus process ends.
  • step S191 the movement detection unit 291 determines the reference position of the focus adjustment area. That is, the position (x, y) of the focusing target area is set. For example, an arbitrary position such as the upper right coordinate or the center of the focusing target area may be used as the reference position. It can be anywhere as long as it is unified within the system.
  • step S192 the movement detection unit 291 acquires from the storage unit 123 a past image signal of NxM size starting from the position x, y.
  • An example of the past image signal stored in the storage unit 123 is shown in FIG.
  • an NxM size image 302 is extracted from the past image signal 301.
  • step S193 the movement detection unit 291 sets a minimum value PYmin of the movement amount PY in the Y direction to be detected.
  • the amount of movement to be detected is determined in consideration of the assumed minimum amount of movement. Since the processing is expanded two-dimensionally based on the processing shown in FIG. 14, the minimum value in the y direction is PYmin.
  • step S194 the movement detection unit 291 determines whether or not the movement amount PY detected in the y direction has exceeded the maximum detectable movement amount PYmax. If it is determined that it has not exceeded, the process proceeds to step S195.
  • step S195 the movement detection unit 291 sets the minimum value PXmin of the movement amount PX in the X direction to be detected.
  • step S196 the movement detection unit 291 determines whether or not the movement amount PX detected in the x direction exceeds the maximum value PXmax of the detectable movement amount. If it is determined that the number does not exceed, the process proceeds to step S197.
  • step S197 the movement detection unit 291 acquires the current image of NxM from the position x + PX, y + PY.
  • An example of the current image signal is shown in FIG.
  • an NxM size image 304 is extracted from the current image signal 303.
  • step S198 the movement detection unit 291 obtains a correlation value.
  • step S199 the movement detection unit 291 stores PX, PY, and correlation values in association with each other.
  • step S200 the movement detection unit 291 increments PX by 1 (PX + 1).
  • step S200 the process returns to step S196, and the subsequent processes are repeated. If it is determined in step S196 that the movement amount PX detected in the x direction has exceeded the maximum detectable movement amount PXmax, the process proceeds to step S201.
  • step S201 the movement detection unit 291 increments PY by 1 (PY + 1).
  • step S201 the process returns to step S194, and the subsequent processes are repeated. If it is determined in step S194 that the movement amount PY detected in the y direction has exceeded the maximum detectable movement amount PYmax, the process proceeds to step S202.
  • step S202 the movement detection unit 291 sets PX and PY corresponding to the maximum correlation value as the movement destination.
  • the imaging apparatus 100 can keep focusing on the target subject while tracking the image of the target subject.
  • the present invention is not limited to this, and distance measurement (to the subject) can also be performed using the imaging apparatus 100.
  • the imaging apparatus 100 can perform the same process as the process related to autofocus described above, and can measure the distance of each position over the entire imaging range.
  • the subject distance detecting unit 131 initializes the ranging target region position (x, y) in step S221. That is, the distance measurement target area is set at a predetermined position. As shown in FIG. 15, the position on the image where the parallax is detected is set as the parallax detection position x, y, and the lens position g at that time.
  • step S222 the lens position detection unit 154 specifies the current position of the lens 111.
  • step S223 the imaging unit 112 acquires an NxM image from the position (x, y).
  • step S224 the phase difference detection unit 151 detects a phase difference for the image. Since this process is the same as that described with reference to the flowchart of FIG. 14, the description thereof is omitted.
  • step S225 the subject distance calculation unit 152 obtains a subject distance corresponding to the lens position and the phase difference using the subject distance two-dimensional table.
  • step S226 the subject distance detection unit 131 determines whether or not the entire captured image has been measured. If it is determined that there is an unprocessed area, the process proceeds to step S227.
  • step S227 the subject distance detection unit 131 updates the distance measurement target region position (x, y).
  • the process of step S227 ends the process returns to step S222, and the subsequent processes are repeated for the newly set area.
  • step S226 If it is determined in step S226 that the entire captured image has been measured, the ranging process ends.
  • the imaging apparatus 100 can measure the distance at a higher speed.
  • a distance image 312 (depth map) including information indicating the distance of each position as illustrated in B of FIG. 30 from a captured image 311 as illustrated in A of FIG. Also called).
  • the distance image 312 shows the distance of the subject shown in the image positions x and y, it can be displayed on the display unit 105 as a GUI as shown in FIG. 30B.
  • the touch panel 104 accepts the instruction, and the image processing unit 113 displays the distance (eg, “D [m]”) of the designated area 314 as the distance image. Processing such as displaying on 312 can be performed.
  • the distance in the range may be determined using a median filter (intermediate value filter) or an average value filter.
  • conversion to a 3D image or an image 315 tilted from the viewpoint as shown in FIG. 30C can be performed by using a known tool. .
  • the size of the subject may be measured from the distance to the subject using the known triangulation principle.
  • Fig. 31 shows an example of the measurement.
  • An imageable range determined by the optical system of the imaging apparatus 100 is represented by an angle, and is defined as an image angle ⁇ .
  • the imaging apparatus 100 measures the distance by the method described in, for example, the seventh embodiment and measures the absolute distance D to the subject.
  • the maximum height h of an image that can be taken at the absolute distance D to the subject can be obtained by the following equation (4) using the image angle ⁇ .
  • the image height h_rate per pixel at the absolute distance D can be obtained by the following equation (5).
  • the imaging apparatus 100 can obtain the actual length of the subject by obtaining the length of the subject on the image (the unit is a pixel).
  • the imaging device 100 can be realized without using expensive equipment. That is, the imaging apparatus 100 can measure the distance to the subject and the size at a low cost.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 32 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 410 is also connected to the bus 404.
  • An input unit 411, an output unit 412, a storage unit 413, a communication unit 414, and a drive 415 are connected to the input / output interface 410.
  • the input unit 411 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 412 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 413 includes, for example, a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 414 is composed of a network interface, for example.
  • the drive 415 drives a removable medium 421 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 401 loads, for example, a program stored in the storage unit 413 to the RAM 403 via the input / output interface 410 and the bus 404 and executes the program, and the series described above. Is performed.
  • the RAM 403 also appropriately stores data necessary for the CPU 401 to execute various processes.
  • the program executed by the computer (CPU 401) can be recorded and applied to, for example, a removable medium 421 as a package medium or the like.
  • the program can be installed in the storage unit 413 via the input / output interface 410 by attaching the removable medium 421 to the drive 415.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. In that case, the program can be received by the communication unit 414 and installed in the storage unit 413.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 414 and installed in the storage unit 413.
  • this program can be installed in the ROM 402 or the storage unit 413 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • each step described above can be executed in each device described above or any device other than each device described above.
  • the device that executes the process may have the functions (functional blocks and the like) necessary for executing the process described above.
  • Information necessary for processing may be transmitted to the apparatus as appropriate.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology is not limited to this, and any configuration mounted on such a device or a device constituting the system, for example, a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • a processor as a system LSI (Large Scale Integration)
  • a module using a plurality of processors a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • this technique can also take the following structures.
  • (1) Based on the phase difference between a plurality of captured images having parallax obtained by imaging the subject and the position of the movable lens that controls the focal length according to the position in the imaging of the subject
  • An information processing apparatus comprising a distance detection unit that detects a distance to the (2)
  • the information processing unit according to (1) wherein the distance detection unit detects the distance to the subject using information indicating a correspondence relationship between the phase difference, the lens position, and the distance to the subject. apparatus.
  • the information indicating the correspondence between the phase difference, the lens position, and the distance to the subject is information indicating the correspondence between the phase difference and the distance to the subject for each position of the lens.
  • the information processing apparatus according to (2) is information indicating the correspondence between the phase difference and the distance to the subject for each position of the lens.
  • the information indicating the correspondence between the phase difference, the lens position, and the distance to the subject is information indicating the distance to the subject for each combination of the lens position and the phase difference.
  • the distance detection unit detects the distance to the subject using information indicating a correspondence relationship between the phase difference, the lens position, and the lens position in a state of being focused on the subject.
  • the information processing apparatus according to any one of (1) to (4).
  • the distance detection unit obtains a representative value of the distance to the subject using information indicating a correspondence relationship between the phase difference, the position of the lens, and a representative value of the distance to the subject.
  • the information processing apparatus according to any one of (1) to (5), wherein a distance to the subject with higher accuracy than the representative value is detected by performing an interpolation process on the representative value.
  • the distance detection unit repeatedly detects the distance to the subject while changing the position of the lens, and detects the distance to the subject that minimizes the phase difference (1) to (6)
  • An information processing apparatus according to claim 1.
  • the information processing apparatus according to (8), wherein the phase difference detection unit detects the phase difference for a partial region of the captured image.
  • the information processing apparatus according to (9), wherein the partial region is a region to be focused.
  • the phase difference detection unit corrects an error included in the phase difference.
  • Any one of (1) to (12) further including: a focus position detection unit that detects a position of the lens that focuses on the subject based on a distance to the subject detected by the distance detection unit.
  • the information processing apparatus according to any one of (1) to (13), further including a control unit that controls a position of the lens.
  • a movement detection unit for detecting movement of the subject between frames; The distance detection unit tracks the subject based on the movement of the subject detected by the movement detection unit, and detects a distance to the subject for each frame.
  • Information processing device (16) The information processing apparatus according to any one of (1) to (15), wherein the distance detection unit detects a distance to the subject at each position in the entire imaging range.
  • the distance detection unit further detects the size of the subject.
  • 100 imaging device 101 housing, 102 photographing lens, 103 shutter button, 104 touch panel, 105 display unit, 111 position variable lens, 112 imaging unit, 113 image processing unit, 131 subject distance detection unit, 132 in-focus position detection unit, 141 subject, 151 phase difference detection unit, 152 subject distance calculation unit, 153 focusing lens position calculation unit, 154 lens position detection unit, 155 lens position storage unit, 156 lens drive unit, 231 index calculation unit, 232 index calculation unit, 233 Representative subject distance calculation unit, 234 interpolation processing unit, 251 phase difference detection unit, 252 index calculation unit, 253 index calculation unit, 254 correction processing unit, 255 interpolation processing unit 256 adding unit, 281 control unit, 282 a phase difference storage unit, 283 object distance storage unit, 284 minimum phase difference distance setting unit, 291 movement detection unit, 400 Computer

Abstract

本技術は、被写体までの距離をより高速に求めることができるようにする情報処理装置および方法に関する。 本技術の一側面は、被写体を撮像して得られる視差を有する複数の撮像画像の位相差と、位置に応じて焦点距離を制御する可動式のレンズの、その被写体の撮像における位置とに基づいて、その被写体までの距離を検出する。本技術は、例えば、情報処理装置、撮像装置、撮像装置を制御する制御装置、撮像画像を用いて各種サービスを提供するコンピュータやシステム等に適用することができる。

Description

情報処理装置および方法
　本技術は、情報処理装置および方法に関し、特に、被写体までの距離をより高速に求めることができるようにした情報処理装置および方法に関する。
　従来、デジタルカメラやデジタルビデオカメラ等の撮像素子を用いた機器において、撮像素子の一部あるいは全部の画素に位相差検出機能を有する画素（以下、位相差画素とも称する）を配置し、撮影レンズの左側と右側の瞳分割を行い、見かけ上、撮影レンズの左側と右側にカメラを設置したステレオカメラとして振る舞うセンサ（以下、像面位相差センサとも称する）を用いて位相差方式で被写体の距離を検出するようにした固体撮像素子が提案された（例えば、特許文献１参照）。
　また従来の位相差検出センサによるオートフォーカス処理においては、撮像素子とは異なる位相差検出センサを用いて左右画像の位相差検出を行い、１次元テーブルを用いて位相差から被写体距離に変換する事によりオートフォーカスが実現された（例えば、特許文献２参照）。
　これに対して、撮像素子のみの測距手法としては、合焦位置の異なる画像を複数撮影し、それぞれのコントラストを求め、そのコントラスト変化から距離を求める手法が提案された（例えば、特許文献３参照）。
　また、異なるフォーカスレンズ位置で撮影した２枚の画像の差分とそれぞれの２次微分の平均値の除算によって、ぼけパラメータを計算し、ぼけパラメータは被写体距離の逆数に対して線形であることを利用してボケパラメータから距離を求める手法も提案された（例えば、特許文献４参照）。
　さらに、レンズ位置を変更しながら複数の画像を撮像素子から取り込み、取り込んだ各画像に対応するレンズ位置を取得し、画像の各区分領域について、取り込んだ画像ごとに空間周波数が所定以上の成分を抽出し、抽出した空間周波数成分が最も大きい画像に対応するレンズ位置に基づいて、区分領域に撮影された対象物までの距離を算出する手法も提案された（例えば、特許文献５参照）。
特許第４０２７１１３号 特開２００５－１２３０７号公報 特開平０９－０２６３１２号公報 特開２００７－１３９８９３号公報 特開２００７－１９２７３０号公報
　しかしながら、特許文献２に記載の方法では、撮影レンズの左側と右側の瞳分割を利用した像面位相差センサによる検出位相差では、この手法で距離を求めることはできず、デフォーカス量が０になるようにレンズを制御する事が必要であり、合焦速度が低減するおそれがあった。
　また、一般的な被写体は、被写体自身のテクスチャによるコントラストが多種多様なため、特許文献３に記載の手法ではコントラストが一定のテクスチャをもつ被写体の測距が困難であるおそれがあった。
　さらに、特許文献４に記載の方法では、像面位相差センサにおいて、被写体距離とレンズ位置の各々の逆数に対して線形関係なので絶対距離を求めることが困難であった。
　また、一般的な被写体は、被写体自身のテクスチャによる空間周波数成分が多種多様なため、特許文献５に記載の手法では空間周波数成分が一定のテクスチャをもつ被写体しか測距ができないおそれがあった。
　本技術は、このような状況に鑑みて提案されたものであり、被写体までの距離をより高速に求めることを目的とする。
　本技術の一側面は、被写体を撮像して得られる視差を有する複数の撮像画像の位相差と、位置に応じて焦点距離を制御する可動式のレンズの、前記被写体の撮像における位置とに基づいて、前記被写体までの距離を検出する距離検出部を備える情報処理装置である。
　前記距離検出部は、前記位相差と前記レンズの位置と前記被写体までの距離との対応関係を示す情報を用いて、前記被写体までの距離を検出することができる。
　前記位相差と前記レンズの位置と前記被写体までの距離との対応関係を示す情報は、前記位相差と前記被写体までの距離との対応関係を前記レンズの位置毎に示す情報であるようにすることができる。
　前記位相差と前記レンズの位置と前記被写体までの距離との対応関係を示す情報は、前記レンズの位置と前記位相差との組み合わせ毎に、前記被写体までの距離を示す情報であるようにすることができる。
　前記距離検出部は、前記位相差と前記レンズの位置と前記被写体に合焦させた状態の前記レンズの位置との対応関係を示す情報を用いて、前記被写体までの距離を検出することができる。
　前記距離検出部は、前記位相差と前記レンズの位置と前記被写体までの距離の代表値との対応関係を示す情報を用いて前記被写体までの距離の代表値を求め、求めた前記代表値に対して補間処理を行うことにより、前記代表値よりも高精度な前記被写体までの距離を検出することができる。
　前記距離検出部は、前記レンズの位置を変えながら前記被写体までの距離を繰り返し検出し、前記位相差が最小となる前記被写体までの距離を検出することができる。
　被写体を撮像して得られる視差を有する複数の撮像画像を用いて前記撮像画像の位相差を検出する位相差検出部をさらに備えることができる。
　前記位相差検出部は、前記撮像画像の部分領域を対象として前記位相差を検出することができる。
　前記部分領域は、合焦させる領域であるようにすることができる。
　前記合焦させる領域の指定を受け付ける受付部をさらに備え、前記位相差検出部は、前記受付部により受け付けられた前記合焦させる領域を対象として前記位相差を検出し、前記距離検出部は、前記受付部により受け付けられた前記合焦させる領域内の被写体までの距離を検出することができる。
　前記位相差検出部は、前記位相差に含まれる誤差を補正することができる。
　前記距離検出部により検出された前記被写体までの距離に基づいて、前記被写体に合焦させる前記レンズの位置を検出する合焦位置検出部をさらに備えることができる。
　前記レンズの位置を制御する制御部をさらに備えることができる。
　前記被写体のフレーム間の移動を検出する移動検出部をさらに備え、前記距離検出部は、前記移動検出部により検出された前記被写体の移動に基づいて前記被写体を追尾し、フレーム毎に前記被写体までの距離を検出することができる。
　前記距離検出部は、撮像範囲全体について各位置における前記被写体までの距離を検出することができる。
　前記距離検出部は、前記被写体の大きさをさらに検出することができる。
　前記レンズの位置は、前記レンズと前記被写体を撮像する撮像部との距離により示されるようにすることができる。
　前記被写体までの距離は、前記レンズと前記被写体との距離により示されるようにすることができる。
　本技術の一側面は、また、被写体を撮像して得られる視差を有する複数の撮像画像の位相差と、位置に応じて焦点距離を制御する可動式のレンズの、前記被写体の撮像における位置とに基づいて、前記被写体までの距離を検出する情報処理方法である。
　本技術の一側面においては、被写体を撮像して得られる視差を有する複数の撮像画像の位相差と、位置に応じて焦点距離を制御する可動式のレンズの、その被写体の撮像における位置とに基づいて、その被写体までの距離が検出される。
　本技術によれば、情報を処理することが出来る。また本技術によれば、被写体までの距離をより高速に求めることができる。
撮像装置の外観の例を示す図である。 撮像装置の主な構成例を示すブロック図である。 撮像部の主な構成例を示す図である。 光学系のパラメータについて説明する図である。 撮像装置のより詳細な構成例を示すブロック図である。 位相差の例を説明する図である。 位相差検出の様子の例を説明する図である。 画素配列と位相差検出の例を説明する図である。 被写体距離２次元テーブルの例を説明する図である。 被写体距離３次元グラフの例を説明する図である。 １次元ルックアップテーブルの例を示す図である。 オートフォーカス処理の流れの例を説明するフローチャートである。 合焦領域の指定の様子の例を説明する図である。 位相差検出処理の流れの例を説明するフローチャートである。 位相差検出の様子の例を説明する図である。 撮像部の他の構成例を示す図である。 被写体距離テーブルの例を説明する図である。 被写体距離算出部の主な構成例を示すブロック図である。 補間の様子の例を説明する図である。 被写体距離算出部の主な構成例を示すブロック図である。 位相差検出部の主な構成例を示すブロック図である。 被写体までの距離と誤差の関係を説明する図である。 撮像装置の他の構成例を示すブロック図である。 オートフォーカス処理の流れの他の例を説明するフローチャートである。 撮像装置の他の構成例を示すブロック図である。 被写体追従オートフォーカス処理の流れの例を説明するフローチャートである。 移動検出処理の流れの例を説明するフローチャートである。 移動検出処理の様子の例を説明する図である。 測距処理の流れの例を説明するフローチャートである。 距離情報の応用例を説明する図である。 被写体の大きさの検出の様子の例を説明する図である。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（撮像装置）
　２．第２の実施の形態（像面位相差センサ）
　３．第３の実施の形態（補間処理）
　４．第４の実施の形態（位相差補正）
　５．第５の実施の形態（高精度ＡＦ）
　６．第６の実施の形態（被写体追従ＡＦ）
　７．第７の実施の形態（測距）
　８．第８の実施の形態（大きさ計測）
　９．第９の実施の形態（コンピュータ）
　＜１．第１の実施の形態＞
　　＜撮像装置外観＞
　図１は、本技術を適用した情報処理装置の一実施の形態である撮像装置の外観の例を示す図である。
　図１のＡに示されるように撮像装置１００は、筐体１０１の一面に撮影レンズ１０２が設けられ、筐体１０１の上面にはシャッタボタン１０３が設けられている。また、図１のＢに示されるように、筐体１０１の撮影レンズ１０２が設けられている面の反対側の面にはタッチパネル１０４と表示部１０５が設けられている。表示部１０５は、LCD（Liquid Crystal Display）パネルやOELD（Organic Electro Luminescence Display）（有機ELディスプレイ）等により構成される。図１のＣに示されるように、表示部１０５の表面には透明のタッチパネル１０４が重畳されている。ユーザは、表示部１０５に表示されるGUI（Graphical User Interface）等の画像に従って、このタッチパネル１０４を操作し、指示を入力する。その他の構成物は筐体１０１内部に格納されている。
　　＜撮像装置ブロック＞
　図２は、撮像装置１００の内部の主な構成例を示すブロック図である。図２示されるように、撮像装置１００は、レンズ１１１、撮像部１１２、画像処理部１１３、およびレンズ制御部１１４を有する。また、撮像装置１００は、入力部１２１、出力部１２２、記憶部１２３、通信部１２４、ドライブ１２５、および表示部１０５を有する。
　レンズ１１１とレンズ制御部１１４は、撮影レンズ１０２内に形成されるようにし、筐体１０１とは別体として構成されるようにしてもよい。例えば、撮影レンズ１０２（すなわち、レンズ１１１およびレンズ制御部１１４）が、筐体１０１に対して着脱可能としてもよい。その他の構成は、筐体１０１内に設けられる。
　レンズ１１１は、所謂フォーカスレンズであり、焦点を被写体に合焦させるための、位置が可変の光学レンズである。被写体からの光はこのレンズ１１１を介して撮像部１１２に入射される。なお、図２においては、レンズ１１１は、１枚のレンズのように示されているが、レンズ１１１は、焦点制御に関する光学系を示したものであり、その構成はどのようなものであってもよい。例えば、レンズ１１１が、図２の例のように１枚のレンズにより構成されるようにしてもよいし、複数枚のレンズにより構成されるようにしてもよい。
　撮像部１１２は、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）等のイメージセンサを有し、この入射光をそのイメージセンサの画素アレイにおいて光電変換して撮像画像の画像データを得る。撮像部１１２は、その画像データを画像処理部１１３に供給する。
　画像処理部１１３は、撮像部１１２から供給される撮像画像の画像データに対して、所定の画像処理を行う。例えば、画像処理部１１３は、被写体距離検出部１３１と合焦位置検出部１３２を有する。被写体距離検出部１３１は、被写体までの距離の検出に関する処理を行う。合焦位置検出部１３２は、その被写体までの距離に基づいて、被写体に合焦するときのレンズ１１１の位置（合焦位置）の検出に関する処理を行う。
　レンズ制御部１１４は、レンズ１１１の位置に関する制御を行う。レンズ１１１は、可動式のレンズであり、その位置を移動させることができる。撮像装置１００は、その位置に応じた焦点距離をとる。つまり、撮像装置１００の焦点距離は可変であり、レンズ１１１は、自身の位置によって撮像装置１００の焦点距離を制御する。したがって、レンズ制御部１１４は、このようなレンズ１１１の位置を制御することにより、撮像装置１００の焦点距離を制御することができる。なお、レンズ１１１が複数枚のレンズにより構成される場合、レンズ制御部１１４は、各レンズの位置を制御することができ、それらのレンズの合成焦点距離を制御することができる。レンズ制御部１１４は、例えば、レンズ１１１を駆動して位置を制御したり、レンズ１１１の位置を検出したりすることができる。
　入力部１２１は、例えば、ボタン、スイッチ、マイクロホン、タッチパネル、入力端子などよりなる。出力部１２２は、例えば、LED（Light Emitting Diode）、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１２３は、例えば、ハードディスク、RAM、不揮発性のメモリなどよりなる。通信部１２４は、例えば、有線またな無線のネットワークインタフェース等よりなる。ドライブ１２５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１２６を駆動する。
　撮像装置１００の各部は、例えば、入力部１２１を介して入力されるユーザ指示に基づいて各種の処理を行う。例えば、入力部１２１を介して撮影の指示が入力されると、撮像部１１２は、レンズ１１１を介して被写体を撮像する。画像処理部１１３は、撮像部１１２において得られた撮像画像の画像データの画像形式を表示可能な画像形式に変換し、撮像画像を表示部１０５に表示させたり、撮像画像の画像データを記憶部１２３に記憶させたり、通信部１２４を介して出力させたり、ドライブ１２５を介してリムーバブルメディア１２６に記憶させたりする。
　また、撮像装置１００は、レンズ１１１が可動であり、焦点を自動的に被写体に合焦させる、所謂オートフォーカス動作を行うことができる。入力部１２１からフォーカス合わせの指示が入力される、もしくは、常時フォーカス合わせの指示がされていると、画像処理部１１３の被写体距離検出部１３１は、撮像部１１２で得られる撮像画像の画像データを取得し、被写体までの距離（以下、被写体距離とも称する）を測定する。合焦位置検出部１３２は、その検出された被写体距離から、被写体距離に合焦するレンズ位置を求める。レンズ制御部１１４は、そのレンズ位置に関する情報を、合焦位置検出部１３２から取得し、その情報に基づいて、レンズ１１１の位置を制御する。つまり、レンズ制御部１１４は、レンズ１１１を、被写体に合焦させる位置に移動させる。
　　＜撮像部＞
　図３に示されるように、撮像部１１２は、所謂「像面位相差センサ」として構成される。像面位相差センサは、１つのオンチップレンズ１４２の下に複数の受光素子を設けることにより、撮影レンズの左側と右側の瞳分割を行い、見かけ上、撮影レンズの左側と右側にカメラを設置したステレオカメラとして振る舞うセンサである。
　図３の例では、全ての画素について右受光素子１４３と左受光素子１４４が設けられている。つまり、撮像部１１２は、各画素において、被写体１４１からの光についてレンズ１１１の左側と右側の瞳分割を行い、右側を通る光束による信号を右画像信号として、左側を通る光束による信号を左画像信号として出力する。以下において、右画像信号または左画像信号を出力する画素を位相差画素とも称する。
　　＜像面位相差センサモデル＞
　ここで像面位相差センサに関するパラメータについて定義する。レンズ１１１から撮像部１１２までの距離をレンズ位置ｇと称する。つまり、レンズ１１１の位置は、レンズ１１１と撮像部１１２との距離により示される。また、レンズ１１１からレンズ１１１を介して撮像部１１２に入射する被写体１４１からの光の焦点までの距離を焦点距離ｆと称する。また、被写体１４１からレンズ１１１までの距離を被写体距離（または被写体１４１までの絶対距離）Ｄと称する。つまり、被写体までの距離は、レンズ１１１と被写体との距離により示される。なお、レンズ１１１が複数枚のレンズにより構成される場合、焦点距離ｆは、その複数枚のレンズの合成焦点距離とし、レンズ位置ｇは、焦点が合っているときの焦点距離ｆと等しくなるレンズ位置とする。
　　＜各処理部の詳細＞
　図２を参照して説明した撮像装置１００の内部の各処理部のより詳細な構成例を、図５に示す。
　図５に示されるように、被写体距離検出部１３１は、位相差検出部１５１および被写体距離算出部１５２を有する。合焦位置検出部１３２は、合焦レンズ位置算出部１５３を有する。レンズ制御部１１４は、レンズ位置検出部１５４、レンズ位置記憶部１５５、およびレンズ駆動部１５６を有する。
　上述したように、撮像部１１２は、右画像信号と左画像信号を被写体距離検出部１３１の位相差検出部１５１に供給する。この右画像信号と左画像信号とは、画素アレイ全体からすれば略同じ位置で得られる信号であるので値は互いに略同様の信号となるが、図３を参照して説明したように、右受光素子１４３と左受光素子１４４は、レンズ１１１の互いに異なる部分を通る光束を光電変換するので、右画像信号および左画像信号は、図６に示される例のように、互いに所定の位相差を持った信号となる。なお、図６において、丸が左画像信号の画素値の例を示し、四角が右側信号の画素値を示している。
　位相差検出部１５１は、このような右画像信号と左画像信号との位相差を検出する。位相差検出部１５１は、その検出結果（つまり、位相差を示す情報）を、被写体距離算出部１５２に供給する。被写体距離算出部１５２には、また、レンズ制御部１１４のレンズ位置記憶部１５５から、撮像部１１２において右画像信号と左画像信号とが得られたときのレンズ１１１の位置を示す情報が供給される。
　被写体距離算出部１５２は、それらの情報を用いて被写体距離Ｄを算出する。被写体距離算出部１５２は、その被写体距離Ｄを、合焦位置検出部１３２の合焦レンズ位置算出部１５３に供給する。
　合焦レンズ位置算出部１５３は、供給された被写体距離Ｄに基づいて、その被写体距離Ｄに位置する被写体１４１に合焦するレンズ１１１の位置を特定する。合焦レンズ位置算出部１５３は、特定したその位置を、レンズ制御部１１４のレンズ位置記憶部１５５に供給し、記憶させる。
　また、レンズ位置検出部１５４は、レンズ１１１の現在の位置を検出し、その検出結果（すなわち、現在のレンズ１１１の位置を示す情報）を、レンズ位置記憶部１５５に供給し、記憶させる。
　レンズ位置記憶部１５５は、外部からの要求に応じて、または、所定のタイミングにおいて、合焦レンズ位置算出部１５３から供給された被写体距離Ｄに対応するレンズ１１１の位置を示す情報を、レンズ駆動部１５６に供給する。また、レンズ位置記憶部１５５は、外部からの要求に応じて、または、所定のタイミングにおいて、レンズ位置検出部１５４から供給される現在のレンズ１１１の位置を示す情報を被写体距離算出部１５２に供給する。
　レンズ駆動部１５６は、レンズ位置記憶部１５５から供給される情報に基づいて、レンズ１１１の位置を制御する（つまり、レンズ位置記憶部１５５から供給される情報により指定された位置に移動させる）。
　　＜位相差検出＞
　次に、位相差検出部１５１による位相差検出の詳細について説明する。なお、左右画像信号は２次元信号であるが、簡略化のため、１次元信号として説明する。
　左右画像信号は、片方の信号が位相差分ずれて出力されていると考えられるので、片方の信号をずらし、左右画像信号間の相関が最大になった時のずらし量が左右画像信号間の位相差とする。その求め方は、図７のＡに示される様に、例えば右画像信号を左に１ずつずらし、それぞれの時の相関値を求める。その時の相関値をプロットした図が図７のＢである。図で示される様に相関値が高くなったずらし量（図では２）がこの例での位相差となる。相関値を求める方式としては既知の方式を使えばよく、例えば、以下の式（１）に示すSum of Absolute Differences (SAD)演算や、以下の式（２）に示すZero-mean Normalized Cross Correlation (ZNCC)演算を用いる。ただし、式（１）に示す（SAD）演算の場合、値CSADが最小値の時に最大の相関を示し、式（２）に示す（ZNCC）演算の場合、値CZNCCが最大値の時に最大の相関を示す。したがって、既知の方式を用いる場合、その方式に合わせて相関と式の値の関係を考慮しなければならない。
Figure JPOXMLDOC01-appb-M000001
 　・・・（１）
Figure JPOXMLDOC01-appb-M000002
 　・・・（２）
　撮像部１１２が、図３で示した像面位相差センサの場合、出力される画像信号は、図８のＡで示すような左右信号が混在した画素配列となる。上記相関演算を行う時、左画像信号は図８のＢ、右画像信号は図８のＣの様に互いに位置がずれ、一部の信号が抜けた信号となる。この場合の画像信号の例を図８のＤに示す。図で示される様に、一部の信号が抜け画像の位置がずれていても、図８のＢと図８のＣ間のズレを含めたＰを設定することにより、位相差画素の配置がどのようになっていても、同じ相関値による手法で位相差を求めることができる。
　　＜レンズ位置検出＞
　なお、位相差の検出時には、その時のレンズ位置を知る必要がある。例えばレンズ位置検出部１５４（図５）を用いてレンズ位置ｇを検出したり、または、レンズ駆動部１５６（図５）にレンズ位置ｇにフォーカスレンズを動かす機能があるものを採用し、レンズ位置記憶部１５５がレンズの駆動時のレンズ位置ｇを常に記憶したりするようにする等の手段を用いて撮像部１１２からの距離を表すレンズ位置ｇを取得する。
　　＜被写体距離の算出＞
　位相差とレンズ位置ｇが判明したら、被写体距離２次元テーブルを用いて被写体までの絶対距離を求める。被写体距離２次元テーブルの例を図９に示す。被写体距離２次元テーブルは、一般的な２次元テーブルであり、インデックスとして図５の位相差検出部１５１から出力される位相差ｐ、レンズ位置記憶部１５５からレンズ位置ｇを取得する。被写体距離２次元テーブルに格納される値を図１０に示す。図１０に示される点線１７１乃至点線１７３は、それぞれ、あるレンズ位置ｇにおける位相差と距離カーブの関係を示す。したがって、位相差とレンズ位置と被写体距離との関係は、一意に決定される。そこで、被写体距離２次元テーブルにおいては、図９に示されるように、レンズ位置ｇと位相差ｐとの組み合わせ毎に、被写体までの絶対距離Ｄｐ，ｇが対応付けられている。
　なお、ここでは、位相差、レンズ位置、および被写体距離の関係を示す情報として２次元テーブルを用いるように説明したが、この情報はどのような情報であってもよい。例えば、３次元テーブルであってもよいし、関数（演算式）であってもよい。
　　＜合焦位置検出＞
　被写体までの絶対距離が求められたのであれば、その距離に合焦するレンズ位置ｇを求め、そのレンズ位置へフォーカスレンズを駆動させれば合焦することになり、すなわち、オートフォーカス動作を実現することができる。
　被写体までの絶対距離Ｄにおいてその距離に合焦するレンズ位置ｇの関係は、図１１に示されるように曲線１８１として表すことができ、一方から他方を一意に求めることができる。したがって、合焦レンズ位置算出部１５３は、例えば１次元ルックアップテーブル等を用いて変換すればよい。もちろん、この変換方法は任意であり、例えば、関数（演算式）等を用いるようにしてもよい。
　　＜オートフォーカス処理の流れ＞
　次に、撮像装置１００により実行されるオートフォーカス処理の流れの例を説明する。
　オートフォーカス処理が開始されると、ステップＳ１０１において、入力部１２１がユーザからの指示の受付を開始し、合焦させる領域の指定を受け付ける。
　撮像部１１２によって撮影された被写体は、図示せぬイメージセンサによりデジタル信号に変換され、画像処理部１１３でデモザイク、ノイズリダクション、色補正、シェーディング補正等の既知の画像処理が行われた後、表示部１０５に表示される。その表示例を図１３のＡに示す。
　フォーカス合わせの指示として、例えば、ユーザが手１９１で、表示部１０５で表示された被写体のうち、タッチパネル１０４の、フォーカスを合わせたい被写体が表示された部分に重畳された部分をタッチすることにより、入力部１２１（タッチパネル１０４）がそのタッチと位置をセンシングし、フォーカス合わせ領域１９２として、設定する。
　フォーカス合わせ領域１９２が設定されたならば、自動的に、または、シャッタボタン１０３が半押しされたタイミング、タッチパネル１０４をタッチしたタイミング等によりオートフォーカス動作が開始される。
　ステップＳ１０２において、レンズ位置検出部１５４は、レンズ１１１の現在の位置を特定する。ステップＳ１０３において、撮像部１１２は、被写体を撮像し、被写体の撮像画像（右画像信号、左画像信号）を得る。
　ステップＳ１０４において、位相差検出部１５１は、その右画像信号および左画像信号の位相差を検出する。
　位相差が検出されると、被写体距離算出部１５２は、ステップＳ１０５において、例えば図９に示されるような被写体距離２次元テーブルを用いて、レンズ位置と位相差に対応する被写体距離を求める。
　ステップＳ１０６において、合焦レンズ位置算出部１５３は、例えば図１１に示されるような被写体距離レンズ位置変換テーブルを用いて、被写体距離に対応するレンズ位置（すなわち、被写体距離Ｄに合焦させるレンズ位置）を求める。
　ステップＳ１０７において、レンズ駆動部１５６は、ステップＳ１０６において求められたレンズ位置にレンズ１１１を移動させる。つまり、被写体距離Ｄの被写体に合焦させる。
　ステップＳ１０７において、画像処理部１１３は、オートフォーカス処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ１０１に戻り、それ以降の処理を繰り返す。また、ステップＳ１０７において、オートフォーカス処理を終了すると判定された場合、オートフォーカス処理が終了する。
　　＜位相差検出処理の流れ＞
　次に、図１４のフローチャートを参照して、位相差検出処理の流れの例を説明する。必要に応じて図１５を参照して説明する。
　位相差検出処理が開始されると、位相差検出部１５１は、ステップＳ１２１において、視差検出位置（x,y）を設定する。例えば、入力部１２１を介して入力されるユーザ指定に従って設定してもよいし、撮像された画像全体の視差を求めるために、画像全体をカバーするように順番に指定してもよい。
　ステップＳ１２２において、位相差検出部１５１は、位置x,yを起点としNxMサイズの左画像信号を取得する。撮像部１１２から出力された左画像信号の例を図１５のＡに示す。図１５のＡに示されるように、位相差検出部１５１は、左画像信号２０１からNxMサイズの画像２０２を取り出す。
　ステップＳ１２３において、位相差検出部１５１は、検出するズレ量Ｐを最小値Ｐminに設定する。検出するズレ量Ｐは想定される最小ズレ量Ｐminを考慮して決定する。
　ステップＳ１２４において、位相差検出部１５１は、検出しているズレ量Ｐが検出可能なズレ量の最大値Ｐmaxを超えたか否かを判定する。超えてないと判定された場合、処理は、ステップＳ１２５に進む。
　ステップＳ１２５において、位相差検出部１５１は、位置x+P,yを起点としてNxMサイズの右画像信号を取得する。撮像部１１２から出力された右画像信号の例を図１５のＢに示す。図１５のＢに示されるように、右画像信号２０３からNxMサイズの画像２０４を取り出す。
　ステップＳ１２６において、位相差検出部１５１は、取り出された画像２０２と画像２０４に対して相関演算を行う。この相関演算の方法は任意である。例えば、式（１）に示すSum of Absolute Differences (SAD)演算や、式（２）に示すZero-mean Normalized Cross Correlation (ZNCC)演算を用いるようにしてもよい。
　ステップＳ１２７において、位相差検出部１５１は、ステップＳ１２６において算出した相関値と、その際のズレ量Ｐ値とを互いに関連付けて記憶部１２３等に記憶させる。
　ステップＳ１２８において、位相差検出部１５１は、ズレ量Ｐをインクリメントする。ステップＳ１２８の処理が終了すると、処理はステップＳ１２４に戻り、それ以降の処理を繰り返す。
　また、ステップＳ１２４において、検出しているズレ量Ｐが検出可能なズレ量の最大値Ｐmaxを超えたと判定された場合、処理はステップＳ１２９に進む。
　ステップＳ１２９において、位相差検出部１５１は、以上のようにステップＳ１２１乃至ステップＳ１２８の各処理が繰り返し実行されることにより、記憶部１２３等に記憶されたズレ量P値と相関値の対の中から、最大の相関値をもつ対を特定し、その対のズレ量Ｐ値を求め、そのＰ値を位相差とする。つまり、位相差検出部１５１は、最大の相関値に対応するズレ量Ｐを位相差として特定する。
　その際、相関演算として式（１）を用いた場合、最大の相関を持つ値は式（１）の計算値が最小の場合であるので、最小の相関値をもつズレ量Ｐ値を求めるようにすればよい。また、式（２）を用いた場合、最大の相関を持つ値は、式（２）の計算値が最大の場合であるので、最大の相関値をもつズレ量Ｐ値を求めるようにすればよい。もちろん、他の相関演算式も利用可能であり、結局、最大の相関を持つ値が最小か最大かは採用する相関演算式に依存する。したがって、ステップＳ１２４の判定は、その相関演算式に合わせた判定を行うようにすればよい。また、それに応じて、ステップＳ１２３の処理やステップＳ１２８の処理内容を適宜変更すればよい。
　ステップＳ１２９の処理が終了すると、位相差検出処理が終了し、処理は図１２に戻る。
　以上のように各処理を実行することにより、被写体距離検出部１３１は、より高速に被写体距離を検出することができる。つまり、撮像装置１００は、より高速なオートフォーカス処理を実現することができる（より高速に被写体に合焦させることができる）。
　なお、ズレ量の最大値Ｐmaxや最小値Ｐminは、想定される最大ズレ量を考慮して決定すればよい。
　＜２．第２の実施の形態＞
　　＜像面位相差センサ＞
　なお、撮像部１１２の構成は、図３の例に限定されない。例えば、撮像部１１２の構成を、図１６に示されるような構成としてもよい。
　図１６の例の場合も、撮像部１１２は像面位相差センサであるが、１つのオンチップレンズの下に中央からずらした遮光膜２１３または遮光膜２１５を設けることにより、撮影レンズの左側と右側の瞳分割を行い、見かけ上、撮影レンズの左側と右側にカメラを設置したステレオカメラとして振る舞うようになされている。
　図１６に示されるように、撮像部１１２において、受光素子２１１のように、遮光膜が設けられていない画素においては、通常の画像信号が得られる。これに対して、受光素子２１２には、左側に遮光膜２１３が設けられているので、左画像信号が得られる。また、受光素子２１４には、右側に遮光膜２１５が設けられているので、右画像信号が得られる。
　なお、遮光膜は、どの画素に設けるようにしても良く、画素アレイの全ての画素に遮光膜を設けるようにしてもよいし、一部の画素にのみ遮光膜を設けるようにしてもよい。つまり、左画像信号および右画像信号は、任意の画素において取得するようにすることができる。また、遮光膜を左側に設ける画素と、右側に設ける画素との並び順は任意であり、図１６の例に限定されない。
　＜３．第３の実施の形態＞
　　＜補間処理＞
　なお、レンズ位置ｇ、位相差ｐ、被写体距離Ｄのそれぞれはデジタル化されているので、レンズ位置ｇ、位相差ｐのとりうる全ての値について被写体距離２次元テーブルを構成するようにしてもよい。逆に、被写体距離２次元テーブルに代表的のみ格納し、その中間値は補間により求めるようにしてもよい。このようにすることにより、被写体距離２次元テーブルのデータサイズを低減することができる。
　図１７のＡにその場合の被写体距離２次元テーブルの例を示す。この場合、被写体距離２次元テーブルには、位相差ｐとレンズ位置ｇとをインデックス化した位相差ｘとレンズ位置ｙとが格納される。この値は、例えば取りうる値の範囲をＮ分割した時、Ｎで割った値を整数化した物が用いられる。
　被写体距離２次元テーブルに格納される値を図１７のＢに示す。図１０の例と異なり、ある間隔を持って絶対距離Ｄが格納され、その間の絶対距離は補間によって格納される。
　この場合の、被写体距離算出部１５２の主な構成例を図１８に示す。図１８に示されるように、この場合の被写体距離算出部１５２は、インデックス算出部２３１、インデックス算出部２３２、代表被写体距離算出部２３３、および補間処理部２３４を有する。
　インデックス算出部２３１は、位相差検出部１５１から供給される位相差ｐをインデックス化する。例えば、インデックス算出部２３１は、位相差ｐが取りうる値の範囲をＮ分割する値Ｎで位相差ｐを除算し、整数化する。
　インデックス算出部２３２は、レンズ位置記憶部１５５から供給されるレンズ位置ｇをインデックス化する。例えば、インデックス算出部２３１は、レンズ位置ｇが取りうる値の範囲をＮ分割する値Ｎでレンズ位置ｇを除算し、整数化する。
　代表被写体距離算出部２３３は、インデックス算出部２３１から位相差ｐのインデックスを取得し、インデックス算出部２３２からレンズ位置ｇのインデックスを取得する。そして、代表被写体距離算出部２３３は、それらのインデックスを用いて、被写体距離２次元テーブルから、その後の補完処理に用いられる被写体距離Ｄの代表値（代表被写体距離とも称する）を複数取得する。
　補間処理部２３４は、代表被写体距離算出部２３３から代表被写体距離を取得する。補間処理部２３４は、取得した代表被写体距離を用いて補間処理を行う。この補間処理の方法は任意である。例えば、補間処理部２３４が、Bilinear補間を行うようにしてもよいし、Bi-cubic補間等、その他の補間処理を適用するようにしてもよい。
　このBilinear補間の様子の例を図１９に示す。Bilinear補間では、まず、インデックス計算により求めたい被写体距離Ｄｐ，ｇ（図中黒丸２４５）の周囲の代表値Ｄｘ，ｙ（図中左上の白丸２４１）、Ｄｘ＋１，ｙ（図中右上の白丸２４２）、Ｄｘ，ｙ＋１（図中左下の白丸２４３）、Ｄｘ＋１，ｙ＋１（図中右下の白丸２４４）の４つを取得する。ここで、位相差方向の代表値は取りうる位相差値の範囲をＮ分割した間隔で格納されており、レンズ位置方向の代表値は取りうるレンズ位置値の範囲をＭ分割した間隔で格納されているとする。
　代表値の求めるインデックスはｘ＝ＩＮＴ（位相差ｐ÷Ｎ）、ｙ＝ＩＮＴ（レンズ位置ｇ÷Ｍ）となる。ＩＮＴ（）は切り捨てによる整数化関数である。ここで、位相差ｐとレンズ位置ｇを代表値の座標系へ、ｐ＝ｐ÷Ｎ、ｇ＝ｇ÷Ｍと変換した時、Bilinear補間の公式は、以下の式（３）のようになる。
Figure JPOXMLDOC01-appb-M000003
 　・・・（３）
　補間処理部２３４は、この式（３）を用いることにより、補間された被写体距離Ｄｐ，ｇを求める事ができる。
　以上のように、補間処理を用いることにより、被写体距離２次元テーブルのデータサイズを低減することができる。
　　＜被写体距離レンズ位置変換テーブルの補間処理＞
　なお、合焦レンズ位置算出部１５３が、被写体距離から合焦レンズ位置を求める際に利用する被写体距離レンズ位置変換テーブルについても代表的のみ格納し、その中間値は補間により求めるようにしてもよい。このようにすることにより、被写体距離レンズ位置変換テーブルのデータサイズを低減することができる。
　その場合、補間処理は、上述した位相差ｐとレンズ位置ｇから２次元テーブルと補間を使って被写体までの絶対距離を求めた手法を、１次元へスケールダウンして用いればよい。
　また、被写体距離２次元テーブルに格納する値として、被写体距離Ｄを格納する代わりに、その被写体距離Ｄにおいて合焦するレンズ位置ｇを格納するようにしても良い。この場合、被写体距離２次元テーブルを用いることにより、位相差ｐとレンズ位置ｇとから、被写体距離Ｄに合焦するレンズ位置ｇを求めることができるので、被写体距離レンズ位置変換テーブルを省略することができる。
　＜４．第４の実施の形態＞
　　＜位相誤差補正＞
　ここまで、位相差ｐとレンズ位置ｇから被写体までの絶対距離を求め、その距離用いてオートフォーカスを実現する例について述べたが、各値に誤差が含まれる可能性がある。特に位相差ｐについて、レンズの歪みや光学系の収差や像面位相差センサ上のオンチップレンズの僅かなズレ等様々な原因により誤差が含まれる可能性が高い。そこで、位相差ｐについての誤差を補正するようにしてもよい。
　図２０は、その場合の位相差検出部１５１の主な構成例を示すブロック図である。図２０に示される例の場合、位相差検出部１５１は、位相差検出部２５１、インデックス算出部２５２、インデックス算出部２５３、補正処理部２５４、補間処理部２５５、および加算部２５６を有する。
　補正方法は前述の位相差ｐとレンズ位置ｇから２次元テーブルと補間を使って被写体までの絶対距離を求めた手法にほぼ同一である。
　位相差検出部２５１は、上述した各実施の形態の位相差検出部１５１と同様の処理部であり、位相差ｐを求め、出力する。ただし、この位相差ｐには誤差が含まれるものとする。
　位相差検出部２５１は、求めた位相差ｐを加算部２５６に供給するとともに、その位相差ｐの像面位相差センサ上の位置ｘの情報を、インデックス算出部２５２および補間処理部２５５に供給し、位相差ｐの像面位相差センサ上の位置ｙの情報をインデックス算出部２５３および補間処理部２５５に供給する。
　インデックス算出部２５２は、供給された位置ｘに対してインデックス計算を行い、補正処理部２５４が補正処理に用いる補正値２次元テーブルに格納された代表値を示すインデックスに変換する。例えば取りうる値の範囲をＮ分割した時はＮで割った値を整数化することにより、インデックスへ変換する。インデックス算出部２５３は、供給された位置ｙに対して、インデックス算出部２５２と同様の処理を行う。
　補正処理部２５４は、予め用意された所定の補正値２次元テーブルを用いて、インデックス算出部２５２およびインデックス算出部２５３から供給されるインデックスに対応する代表補正値を複数取得する。
　補間処理部２５５は、補正処理部２５４が求めた代表補正値を取得し、その代表補正値に対して補間処理を行う。この補完処理の方法は任意であり、例えばBilinear補間を用いてもよいし、Bi-cubic補間等のその他の補間処理を用いるようにしてもよい。
　以上のように補間処理により求められた補正値は加算部２５６に供給される。加算部２５６は、その補正値を位相差ｐに加算することにより、補正された位相差ｐ’を生成する。このように位相差ｐを補正すると、加算部２５６は、その補正後の位相差ｐ’を、位相差検出部１５１の外部（例えば被写体距離算出部１５２）に出力する。
　このように位相差ｐを補正することにより、より正確に被写体距離を検出することができる。
　なお、補正処理部２５４が、補正処理に用いる補正値２次元テーブルは、任意の方法で生成することができる。例えば、以下のようにして生成するようにしてもよい。
　例えば、図２１のＡに示されるように、撮像装置１００を用いて、距離Ｄに被写体２６１を設置し、全面等距離の画像を撮影し位相差を測定する。ここで、距離Ｄが既知であるので、理論的に距離Ｄを求める事は可能である。
　位相差の測定結果の例を図２１のＢにグラフとして示す。なお、センサ上の位置は２次元であるが、簡略化のため、１次元として説明する。図２１のＢのグラフの曲線２６２が、位相差の測定結果である。ここで被写体全面等距離に設置してあるため、位相差の理論値は一定値となる。つまり、図２１のＢのグラフにおいて点線が理論値である。そこで、測定された位相差と理論値との差を補正値としてテーブルに格納することにより補正値テーブルを構成するようにしてもよい。
　なお、位相差ｐ以外のパラメータの誤差を補正するようにしてももちろんよい。
　＜５．第５の実施の形態＞
　　＜高精度オートフォーカス（ＡＦ）＞
　以上においては、誤差補正について説明したが、被写体距離の検出精度はより高精度である方が望ましい。ここで、像面位相差センサにおける、距離と位相差の関係について図２２を参照して説明する。
　図２２において、曲線２７１は、位相差と被写体距離との関係を示しており、エラーバー２７２－１乃至エラーバー２７２－８は、各位相差（各距離）における誤差範囲の様子の例を示している。なお、点線２７３は、合焦する被写体距離を示している。以下において、エラーバー２７２－１乃至エラーバー２７２－８を互いに区別して説明する必要が無い場合、エラーバー２７２と称する。
　図２２において各エラーバー２７２の大きさに示されるように、像面位相差センサにおいて、一般的に、合焦している距離上の位相差の誤差が一番小さく、合焦距離から離れるにつれ誤差が大きくなる特性を持つ。高精度な測距を実現するためには、この誤差を抑えるようにすればよい。
　　＜撮像装置＞
　その場合の撮像装置１００の主な構成例を示すブロック図を、図２３に示す。
　図２３に示されるように、この場合、撮像装置１００は、基本的に図５の例と同様の構成を有するが、図２３の例の場合、被写体距離検出部１３１が、さらに、制御部２８１、位相差記憶部２８２、被写体距離記憶部２８３、および最小位相差距離設定部２８４を有する。
　制御部２８１は、被写体距離検出部１３１内の各処理部を制御する。また、制御部２８１は、レンズ駆動部１５６を介して、レンズ１１１の位置を制御する。つまり、制御部２８１は、位相差検出部１５１の位相差検出と、被写体距離算出部１５２の被写体距離算出の各処理を、レンズ１１１の位置を所定の範囲内で移動させながら複数回繰り返し実行させるように、各処理部を制御する。
　位相差記憶部２８２は、位相差検出部１５１において位相差が検出される度にそれを記憶する。被写体距離記憶部２８３は、被写体距離算出部１５２において被写体距離が検出される度にそれを記憶する。
　最小位相差距離設定部２８４は、位相差検出が繰り返し行われて得られた複数の位相差と、被写体距離検出が繰り返し行われて得られた複数の被写体距離との中から、位相差が最小となる被写体距離を求め、それを正式な被写体距離として設定する。
　　＜オートフォーカス処理の流れ＞
　その場合のオートフォーカス処理の流れの例を図２４のフローチャートを参照して説明する。
　オートフォーカス処理が開始されると、ステップＳ１４１の処理が、図１２のステップＳ１０１の処理と同様に行われる。
　ステップＳ１４２において、制御部２８１は、レンズ１１１の位置を初期化する。つまり、予め定められた所定の位置にレンズ１１１を移動する。
　ステップＳ１４３およびステップＳ１４４の各処理は、図１２のステップＳ１０３およびステップＳ１０４の各処理と同様に実行される。つまり、あるレンズ位置における位相差が検出される。
　ステップＳ１４５において、位相差記憶部２８２は、ステップＳ１４４において検出された、あるレンズ位置に対応する位相差を記憶する。
　また、ステップＳ１４６の処理が、図１２のステップＳ１０５と同様に実行される。すなわち、あるレンズ位置における被写体距離が求められる。
　ステップＳ１４７において、被写体距離記憶部２８３は、ステップＳ１４６において求められた、あるレンズ位置に対応する被写体距離を記憶する。
　つまり、レンズ位置を介して、位相差と被写体距離とが対応付けられて記憶される。
　あるレンズ位置について、ステップＳ１４３乃至ステップＳ１４７の各処理が行われると、ステップＳ１４８において、制御部２８１は、予め定められた所定の範囲（例えばレンズ１１１の可動範囲）の全範囲について、位相差と被写体距離を求めたか否かが判定される。位相差と被写体距離を求めていないレンズ位置が存在すると判定された場合、処理は、ステップＳ１４９に進む。
　ステップＳ１４９において、制御部２８１は、レンズ１１１を移動させ、レンズ位置を更新する。ステップＳ１４９の処理が終了すると、処理はステップＳ１４３に戻り、それ以降の処理が繰り返される。
　ステップＳ１４８において、全範囲について位相差と被写体距離を求めたと判定された場合、処理はステップＳ１５０に進む。
　ステップＳ１５０において、最小位相差距離設定部２８４は、位相差記憶部２８２に記憶されている位相差群と、被写体距離記憶部２８３に記憶されている被写体距離群を参照し、最小の位相差に対応付けられた被写体距離を求める。
　ステップＳ１５１乃至ステップＳ１５３の各処理は、図１２のステップＳ１０６乃至ステップＳ１０８の各処理と同様に実行される。
　以上のようにオートフォーカス処理を実行することにより、被写体距離検出部１３１は、より高精度に被写体距離を検出することができる。すなわち、撮像装置１００は、より高精度に被写体に合焦させることができる。
　＜６．第６の実施の形態＞
　　＜被写体追従オートフォーカス（ＡＦ）＞
　例えば、動画像において、指定した被写体に追従してフォーカスを合わせるようにしてもよい。
　　＜撮像装置＞
　その場合の撮像装置１００の主な構成例を示すブロック図を図２５に示す。図２５において、撮像装置１００は、図２の例と同様の構成を有するが、図２５の例の場合、画像処理部１１３は、さらに、移動検出部２９１をさらに備える。
　移動検出部２９１は、注目被写体の画像のフレーム間の位置変化（移動）を検出する。画像処理部１１３は、第１の実施の形態において説明した被写体距離検出や合焦位置検出等の画像処理を、各フレームに対して行う。そして、これらの画像処理の対象となる注目被写体の画像の動きを、移動検出部２９１が追尾する。これにより、撮像装置１００は、注目被写体の画像を追尾しながらその注目被写体に合焦させ続けることができる。
　　＜被写体追従オートフォーカス処理の流れ＞
　このような、注目被写体に合焦させ続ける被写体追従オートフォーカス処理の流れの例を、図２６のフローチャートを参照して説明する。
　被写体追従オートフォーカス処理が開始されると、ステップＳ１７１において、入力部１２１は、注目被写体の画像を含む合焦対象領域（すなわち、合焦させる領域）の指定を受け付ける。合焦対象領域が指定されると、ステップＳ１７２において、画像処理部１１３は、その指定された合焦対象領域（の注目被写体）に合焦させる。この処理は、図１２のフローチャートを参照して説明したオートフォーカス処理と同様であるので、説明を省略する。
　つまり、現在のフレーム（カレントフレーム）において、合焦対象領域（の注目被写体）に合焦させるように、第１の実施の形態において説明したのと同様の方法でオートフォーカス処理が行われる。
　ステップＳ１７３において、記憶部１２３は、カレントフレームのフレーム画像を記憶する。この時、メモリを節約するために、画像を縮小して保存しても構わない。そして、処理対象（カレントフレーム）を次のフレームにする。
　カレントフレームが新たなフレームに変わったので、移動検出部２９１は、ステップＳ１７４において、合焦対象領域の画像（つまり、注目被写体の画像）のフレーム間での位置の違い（すなわち移動）を検出する。
　移動が検出されたら、ステップＳ１７５において、その移動に従って、合焦対象領域とする位置も移動させる（位置を変更する）。
　ステップＳ１７６において、画像処理部１１３は、その合焦対象領域（の注目被写体）に合焦させる。つまり、新たなカレントフレームについて、合焦対象領域への合焦を行う。この処理は、図１２のフローチャートを参照して説明したオートフォーカス処理と同様であるので、説明を省略する。
　ステップＳ１７７において、記憶部１２３は、カレントフレームのフレーム画像を記憶する。この時、メモリを節約するために、画像を縮小して保存しても構わない。そして、処理対象（カレントフレーム）を次のフレームにする。
　ステップＳ１７８において、画像処理部１１３は、被写体追従オートフォーカス処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ１７４に戻り、新たなフレームをカレントフレームとしてそれ以降の処理が繰り返される。
　また、ステップＳ１７８において終了すると判定された場合、被写体追従オートフォーカス処理が終了する。
　　＜移動検出処理の流れ＞
　次に、図２６のステップＳ１７４において実行される移動検出処理の流れの例を説明する。この処理は、前述の図１４を用いて説明した位相差を求める処理を２次元に拡張した処理である。
　ステップＳ１９１において、移動検出部２９１は、フォーカス合わせ領域の基準位置を決定する。つまり、合焦対象領域の位置（x,y）を設定する。例えば、合焦対象領域の右上座標や中央等任意の位置を基準位置としてもよい。システム内で統一されていればどこでも良い。
　ステップＳ１９２において、移動検出部２９１は、位置x,yを起点としNxMサイズの過去画像信号を記憶部１２３から取得する。記憶部１２３に保存された過去画像信号の例を図２８のＡに示す。図２８のＡに示されるように、過去画像信号３０１からNxMサイズの画像３０２を取り出す。
　ステップＳ１９３において、移動検出部２９１は、検出するＹ方向の移動量ＰＹの最小値ＰＹminを設定する。検出する移動量は想定される最小移動量を考慮して決定する。図１４で示した処理を基に２次元に拡張しているので、y方向の最小値をＰＹｍｉｎとする。
　ステップＳ１９４において、移動検出部２９１は、ｙ方向の検出している移動量ＰＹが検出可能な移動量の最大値ＰＹmaxを超えたか否かを判定する。超えていないと判定された場合、処理は、ステップＳ１９５に進む。
　ステップＳ１９５において、移動検出部２９１は、検出するＸ方向の移動量ＰＸの最小値ＰＸminを設定する。ステップＳ１９６において、移動検出部２９１は、x方向の検出している移動量ＰＸが検出可能な移動量の最大値ＰＸmaxを超えたか否かを判定する。超えていないと判定された場合、処理は、ステップＳ１９７に進む。
　ステップＳ１９７において、移動検出部２９１は、位置x＋ＰＸ，y＋ＰＹから、NxMの現在画像を取得する。現在画像信号の例を図２８のＢに示す。図２８のＢに示されるように、現在画像信号３０３からNxMサイズの画像３０４を取り出す。ステップＳ１９８において、移動検出部２９１は、相関値を求める。ステップＳ１９９において、移動検出部２９１は、ＰＸおよびＰＹと相関値とを対応付けて記憶する。
　ステップＳ２００において、移動検出部２９１は、ＰＸを１インクリメントする（ＰＸ＋１）。ステップＳ２００の処理が終了すると、処理はステップＳ１９６に戻り、それ以降の処理が繰り返される。そして、ステップＳ１９６において、x方向の検出している移動量ＰＸが検出可能な移動量の最大値ＰＸmaxを超えたと判定された場合、処理はステップＳ２０１に進む。
　ステップＳ２０１において、移動検出部２９１は、ＰＹを１インクリメントする（ＰＹ＋１）。ステップＳ２０１の処理が終了すると、処理はステップＳ１９４に戻り、それ以降の処理が繰り返される。そして、ステップＳ１９４において、ｙ方向の検出している移動量ＰＹが検出可能な移動量の最大値ＰＹmaxを超えたと判定された場合、処理はステップＳ２０２に進む。
　ステップＳ２０２において、移動検出部２９１は、最大の相関値に対応するＰＸ，ＰＹを移動先とする。ステップＳ２０２の処理が終了すると、移動検出処理は終了し、処理は、図２６に戻る。
　以上のように、各処理を実行することにより、撮像装置１００は、注目被写体の画像を追尾しながらその注目被写体に合焦させ続けることができる。
　＜７．第７の実施の形態＞
　　＜測距＞
　以上においては、オートフォーカスの例について説明したが、これに限らず、撮像装置１００を用いて（被写体までの）距離測定を行うこともできる。その場合、撮像装置１００は、上述したオートフォーカスに関する処理と同様の処理を行って、撮像範囲全体に亘って、各位置の距離測定を行うことができる。
　　＜測距処理の流れ＞
　その場合の撮像装置１００による測距処理の流れの例を、図２９のフローチャートを参照して説明する。
　測距処理が開始されると、ステップＳ２２１において、被写体距離検出部１３１は、測距対象領域位置（x,y）を初期化する。すなわち、測距対象領域を所定の位置に設定する。図１５に示す様に、視差検出を行う画像上の位置を視差検出位置ｘ，ｙ、とし、その時のレンズ位置ｇとする。
　ステップＳ２２２において、レンズ位置検出部１５４は、現在のレンズ１１１の位置を特定する。
　ステップＳ２２３において、撮像部１１２は、位置（x,y）からNxMの画像を取得する。ステップＳ２２４において、位相差検出部１５１は、その画像について、位相差を検出する。この処理は、図１４のフローチャートを参照して説明した場合と同様であるので、その説明を省略する。
　ステップＳ２２５において、被写体距離算出部１５２は、被写体距離２次元テーブルを用いて、レンズ位置と位相差に対応する被写体距離を求める。
　ステップＳ２２６において、被写体距離検出部１３１は、撮像画像全体を測距したか否かを判定する。未処理の領域が存在すると判定された場合、処理はステップＳ２２７に進む。
　ステップＳ２２７において、被写体距離検出部１３１は、測距対象領域位置（x,y）を更新する。ステップＳ２２７の処理が終了すると、処理はステップＳ２２２に戻り、新たに設定された領域を対象として、それ以降の処理が繰り返される。
　ステップＳ２２６において、撮像画像全体を測距したと判定された場合、測距処理が終了する。
　以上のように測距処理を行うことにより、撮像装置１００は、より高速に距離を計測することができる。
　画面全体の測距が終了すると、例えば、図３０のＡに示される様な撮影画像３１１から、図３０のＢに示されるような、各位置の距離を示す情報からなる距離画像３１２（デプスマップとも称する）を生成することが出来る。
　距離画像３１２は、画像位置ｘ，ｙに写っている被写体の距離を示しているから、図３０のＢに示されるように、これをGUIとして表示部１０５に表示させることもできる。例えば、ユーザが手３１３でこの距離画像３１２をタップすると、タッチパネル１０４がその指示を受け付け、画像処理部１１３が、指示された領域３１４の距離（例えば「Ｄ[m]です」等）を距離画像３１２上に表示させる等の処理を行うことができる。この時、範囲内に複数の距離が存在する場合は、例えば、メディアンフィルタ（中間値フィルタ）や平均値フィルタを用いて範囲内の距離を決定するようにしてもよい。
　また、画像全体の距離が判っていることから、既知のツールを使うことにより、３Ｄ画像への変換や、図３０のＣに示される様な視点を傾けた画像３１５への変換が可能となる。
　＜８．第８の実施の形態＞
　　＜大きさ計測＞
　さらに、被写体までの距離から既知の三角測量の原理を用いて、被写体の大きさを測定するようにしてもよい。
　図３１にその測定の様子の例を示す。撮像装置１００の光学系により決定される、撮影可能な範囲を角度で表し、画像角θとする。撮像装置１００は、例えば第７の実施の形態等において説明した方法で測距を行い、被写体までの絶対距離Ｄを測定する。被写体までの絶対距離Ｄにおける撮影可能な画像の最大高さｈは、画像角θを使って、以下の式（４）により求めることが出来る。
Figure JPOXMLDOC01-appb-M000004
 　・・・（４）
　この時、画像の高さをheight 画素 とすると、絶対距離Ｄにおける1画素辺りの画像高さｈ＿ｒａｔｅは、以下の式（５）により求めることができる。
Figure JPOXMLDOC01-appb-M000005
 　・・・（５）
　１画素辺りの画像高さｈ＿ｒａｔｅが求められたのであれば、被写体の画像上の高さがＨＯ＿ｐｉｘｅｌ画素の時、被写体の実際の高さＨＯは、以下の式（６）により求められる。
Figure JPOXMLDOC01-appb-M000006
 　・・・（６）
　これは、既知の三角測量の原理を用いた測定である。つまり、撮像装置１００は、画像上の被写体の長さ（単位は画素）を求めることにより、被写体の実長を求めることができる。
　従来、距離の測定にはレーザ測距装置や測量機器等の高価な機器が必要であったが、撮像装置１００は、高価な機器を使用することなく実現することができる。つまり撮像装置１００は、安価に、被写体までの距離や大きさを測定することができる。
　＜９．第９の実施の形態＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図３２に示されるコンピュータ４００において、CPU（Central Processing Unit）４０１、ROM（Read Only Memory）４０２、RAM（Random Access Memory）４０３は、バス４０４を介して相互に接続されている。
　バス４０４にはまた、入出力インタフェース４１０も接続されている。入出力インタフェース４１０には、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５が接続されている。
　入力部４１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部４１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部４１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部４１４は、例えば、ネットワークインタフェースよりなる。ドライブ４１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４２１を駆動する。
　以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４１３に記憶されているプログラムを、入出力インタフェース４１０およびバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア４２１をドライブ４１５に装着することにより、入出力インタフェース４１０を介して、記憶部４１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部４１４で受信し、記憶部４１３にインストールすることができる。
　その他、このプログラムは、ROM４０２や記憶部４１３に、あらかじめインストールしておくこともできる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　被写体を撮像して得られる視差を有する複数の撮像画像の位相差と、位置に応じて焦点距離を制御する可動式のレンズの、前記被写体の撮像における位置とに基づいて、前記被写体までの距離を検出する距離検出部
　を備える情報処理装置。
　（２）　前記距離検出部は、前記位相差と前記レンズの位置と前記被写体までの距離との対応関係を示す情報を用いて、前記被写体までの距離を検出する
　（１）に記載の情報処理装置。
　（３）　前記位相差と前記レンズの位置と前記被写体までの距離との対応関係を示す情報は、前記位相差と前記被写体までの距離との対応関係を前記レンズの位置毎に示す情報である
　（２）に記載の情報処理装置。
　（４）　前記位相差と前記レンズの位置と前記被写体までの距離との対応関係を示す情報は、前記レンズの位置と前記位相差との組み合わせ毎に、前記被写体までの距離を示す情報である
　（２）に記載の情報処理装置。
　（５）　前記距離検出部は、前記位相差と前記レンズの位置と前記被写体に合焦させた状態の前記レンズの位置との対応関係を示す情報を用いて、前記被写体までの距離を検出する
　（１）乃至（４）のいずれかに記載の情報処理装置。
　（６）　前記距離検出部は、前記位相差と前記レンズの位置と前記被写体までの距離の代表値との対応関係を示す情報を用いて前記被写体までの距離の代表値を求め、求めた前記代表値に対して補間処理を行うことにより、前記代表値よりも高精度な前記被写体までの距離を検出する
　（１）乃至（５）のいずれかに記載の情報処理装置。
　（７）　前記距離検出部は、前記レンズの位置を変えながら前記被写体までの距離を繰り返し検出し、前記位相差が最小となる前記被写体までの距離を検出する
　（１）乃至（６）のいずれかに記載の情報処理装置。
　（８）　被写体を撮像して得られる視差を有する複数の撮像画像を用いて前記撮像画像の位相差を検出する位相差検出部をさらに備える
　（１）乃至（７）のいずれかに記載の情報処理装置。
　（９）　前記位相差検出部は、前記撮像画像の部分領域を対象として前記位相差を検出する
　（８）に記載の情報処理装置。
　（１０）　前記部分領域は、合焦させる領域である
　（９）に記載の情報処理装置。
　（１１）　前記合焦させる領域の指定を受け付ける受付部をさらに備え、
　前記位相差検出部は、前記受付部により受け付けられた前記合焦させる領域を対象として前記位相差を検出し、
　前記距離検出部は、前記受付部により受け付けられた前記合焦させる領域内の被写体までの距離を検出する
　（１０）に記載の情報処理装置。
　（１２）　前記位相差検出部は、前記位相差に含まれる誤差を補正する
　（８）乃至（１１）のいずれかに記載の情報処理装置。
　（１３）　前記距離検出部により検出された前記被写体までの距離に基づいて、前記被写体に合焦させる前記レンズの位置を検出する合焦位置検出部をさらに備える
　（１）乃至（１２）のいずれかに記載の情報処理装置。
　（１４）　前記レンズの位置を制御する制御部をさらに備える
　（１）乃至（１３）のいずれかに記載の情報処理装置。
　（１５）　前記被写体のフレーム間の移動を検出する移動検出部をさらに備え、
　前記距離検出部は、前記移動検出部により検出された前記被写体の移動に基づいて前記被写体を追尾し、フレーム毎に前記被写体までの距離を検出する
　（１）乃至（１４）のいずれかに記載の情報処理装置。
　（１６）　前記距離検出部は、撮像範囲全体について各位置における前記被写体までの距離を検出する
　（１）乃至（１５）のいずれかに記載の情報処理装置。
　（１７）　前記距離検出部は、前記被写体の大きさをさらに検出する
　（１）乃至（１６）のいずれかに記載の情報処理装置。
　（１８）　前記レンズの位置は、前記レンズと前記被写体を撮像する撮像部との距離により示される
　（１）乃至（１７）のいずれかに記載の情報処理装置。
　（１９）　前記被写体までの距離は、前記レンズと前記被写体との距離により示される
　（１）乃至（１８）のいずれかに記載の情報処理装置。
　（２０）　被写体を撮像して得られる視差を有する複数の撮像画像の位相差と、位置に応じて焦点距離を制御する可動式のレンズの、前記被写体の撮像における位置とに基づいて、前記被写体までの距離を検出する
　情報処理方法。
　１００　撮像装置，　１０１　筐体，　１０２　撮影レンズ，　１０３　シャッタボタン，１０４　タッチパネル，　１０５　表示部，　１１１　位置可変レンズ，　１１２　撮像部，　１１３　画像処理部，　１３１　被写体距離検出部，　１３２　合焦位置検出部，　１４１　被写体，　１５１　位相差検出部，　１５２　被写体距離算出部，　１５３　合焦レンズ位置算出部，　１５４　レンズ位置検出部，　１５５　レンズ位置記憶部，　１５６　レンズ駆動部，　２３１　インデックス算出部，　２３２　インデックス算出部，　２３３　代表被写体距離算出部，　２３４　補間処理部，　２５１　位相差検出部，　２５２　インデックス算出部，　２５３　インデックス算出部，　２５４　補正処理部，　２５５　補間処理部，　２５６　加算部，　２８１　制御部，　２８２　位相差記憶部，　２８３　被写体距離記憶部，　２８４　最小位相差距離設定部，　２９１　移動検出部，　４００　コンピュータ

Claims (20)

  1. 　被写体を撮像して得られる視差を有する複数の撮像画像の位相差と、位置に応じて焦点距離を制御する可動式のレンズの、前記被写体の撮像における位置とに基づいて、前記被写体までの距離を検出する距離検出部
    　を備える情報処理装置。
  2. 　前記距離検出部は、前記位相差と前記レンズの位置と前記被写体までの距離との対応関係を示す情報を用いて、前記被写体までの距離を検出する
    　請求項１に記載の情報処理装置。
  3. 　前記位相差と前記レンズの位置と前記被写体までの距離との対応関係を示す情報は、前記位相差と前記被写体までの距離との対応関係を前記レンズの位置毎に示す情報である
    　請求項２に記載の情報処理装置。
  4. 　前記位相差と前記レンズの位置と前記被写体までの距離との対応関係を示す情報は、前記レンズの位置と前記位相差との組み合わせ毎に、前記被写体までの距離を示す情報である
    　請求項２に記載の情報処理装置。
  5. 　前記距離検出部は、前記位相差と前記レンズの位置と前記被写体に合焦させた状態の前記レンズの位置との対応関係を示す情報を用いて、前記被写体までの距離を検出する
    　請求項１に記載の情報処理装置。
  6. 　前記距離検出部は、前記位相差と前記レンズの位置と前記被写体までの距離の代表値との対応関係を示す情報を用いて前記被写体までの距離の代表値を求め、求めた前記代表値に対して補間処理を行うことにより、前記代表値よりも高精度な前記被写体までの距離を検出する
    　請求項１に記載の情報処理装置。
  7. 　前記距離検出部は、前記レンズの位置を変えながら前記被写体までの距離を繰り返し検出し、前記位相差が最小となる前記被写体までの距離を検出する
    　請求項１に記載の情報処理装置。
  8. 　被写体を撮像して得られる視差を有する複数の撮像画像を用いて前記撮像画像の位相差を検出する位相差検出部をさらに備える
    　請求項１に記載の情報処理装置。
  9. 　前記位相差検出部は、前記撮像画像の部分領域を対象として前記位相差を検出する
    　請求項８に記載の情報処理装置。
  10. 　前記部分領域は、合焦させる領域である
    　請求項９に記載の情報処理装置。
  11. 　前記合焦させる領域の指定を受け付ける受付部をさらに備え、
    　前記位相差検出部は、前記受付部により受け付けられた前記合焦させる領域を対象として前記位相差を検出し、
    　前記距離検出部は、前記受付部により受け付けられた前記合焦させる領域内の被写体までの距離を検出する
    　請求項１０に記載の情報処理装置。
  12. 　前記位相差検出部は、前記位相差に含まれる誤差を補正する
    　請求項８に記載の情報処理装置。
  13. 　前記距離検出部により検出された前記被写体までの距離に基づいて、前記被写体に合焦させる前記レンズの位置を検出する合焦位置検出部をさらに備える
    　請求項１に記載の情報処理装置。
  14. 　前記レンズの位置を制御する制御部をさらに備える
    　請求項１に記載の情報処理装置。
  15. 　前記被写体のフレーム間の移動を検出する移動検出部をさらに備え、
    　前記距離検出部は、前記移動検出部により検出された前記被写体の移動に基づいて前記被写体を追尾し、フレーム毎に前記被写体までの距離を検出する
    　請求項１に記載の情報処理装置。
  16. 　前記距離検出部は、撮像範囲全体について各位置における前記被写体までの距離を検出する
    　請求項１に記載の情報処理装置。
  17. 　前記距離検出部は、前記被写体の大きさをさらに検出する
    　請求項１に記載の情報処理装置。
  18. 　前記レンズの位置は、前記レンズと前記被写体を撮像する撮像部との距離により示される
    　請求項１に記載の情報処理装置。
  19. 　前記被写体までの距離は、前記レンズと前記被写体との距離により示される
    　請求項１に記載の情報処理装置。
  20. 　被写体を撮像して得られる視差を有する複数の撮像画像の位相差と、位置に応じて焦点距離を制御する可動式のレンズの、前記被写体の撮像における位置とに基づいて、前記被写体までの距離を検出する
    　情報処理方法。
PCT/JP2016/064212 2015-05-29 2016-05-13 情報処理装置および方法 WO2016194576A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-109337 2015-05-29
JP2015109337 2015-05-29

Publications (1)

Publication Number Publication Date
WO2016194576A1 true WO2016194576A1 (ja) 2016-12-08

Family

ID=57442367

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/064212 WO2016194576A1 (ja) 2015-05-29 2016-05-13 情報処理装置および方法

Country Status (1)

Country Link
WO (1) WO2016194576A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109073858A (zh) * 2017-03-30 2018-12-21 索尼半导体解决方案公司 成像装置、成像模块以及成像装置的控制方法
CN115242939A (zh) * 2021-03-24 2022-10-25 维克多哈苏有限公司 距离检测装置以及摄像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005064749A (ja) * 2003-08-08 2005-03-10 Minolta Co Ltd カメラ
JP2011237585A (ja) * 2010-05-10 2011-11-24 Canon Inc 撮像装置及びその制御方法
WO2012002069A1 (ja) * 2010-06-29 2012-01-05 富士フイルム株式会社 形状抽出方法及び装置、並びに寸法測定装置及び距離測定装置
JP2014030516A (ja) * 2012-08-02 2014-02-20 Olympus Corp 内視鏡装置及び内視鏡装置のフォーカス制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005064749A (ja) * 2003-08-08 2005-03-10 Minolta Co Ltd カメラ
JP2011237585A (ja) * 2010-05-10 2011-11-24 Canon Inc 撮像装置及びその制御方法
WO2012002069A1 (ja) * 2010-06-29 2012-01-05 富士フイルム株式会社 形状抽出方法及び装置、並びに寸法測定装置及び距離測定装置
JP2014030516A (ja) * 2012-08-02 2014-02-20 Olympus Corp 内視鏡装置及び内視鏡装置のフォーカス制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109073858A (zh) * 2017-03-30 2018-12-21 索尼半导体解决方案公司 成像装置、成像模块以及成像装置的控制方法
CN109073858B (zh) * 2017-03-30 2022-03-18 索尼半导体解决方案公司 成像装置、成像模块以及成像装置的控制方法
CN115242939A (zh) * 2021-03-24 2022-10-25 维克多哈苏有限公司 距离检测装置以及摄像装置

Similar Documents

Publication Publication Date Title
US9313419B2 (en) Image processing apparatus and image pickup apparatus where image processing is applied using an acquired depth map
US9068831B2 (en) Image processing apparatus and image processing method
JP5868183B2 (ja) 撮像装置及び撮像方法
TWI393980B (zh) The method of calculating the depth of field and its method and the method of calculating the blurred state of the image
JP6489932B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
KR20090028255A (ko) 영상 획득 장치의 자동초점조절 방법 및 장치
US20150042839A1 (en) Distance measuring apparatus, imaging apparatus, and distance measuring method
US8433187B2 (en) Distance estimation systems and method based on a two-state auto-focus lens
JP2014150466A (ja) 撮像装置及びその制御方法
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP2013044844A (ja) 画像処理装置および画像処理方法
US20220082370A1 (en) Electronic apparatus, control method thereof and computer readable storage medium
WO2016194576A1 (ja) 情報処理装置および方法
JP2015142364A (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2019168479A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
Ueno et al. Compound-Eye Camera Module as Small as 8.5$\times $8.5$\times $6.0 mm for 26 k-Resolution Depth Map and 2-Mpix 2D Imaging
JP2017049412A (ja) 撮像装置、合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
JP2016066995A (ja) 像ズレ量算出装置、撮像装置、および像ズレ量算出方法
JP2018074362A (ja) 画像処理装置、画像処理方法およびプログラム
JP6486453B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2008058279A (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP6566800B2 (ja) 撮像装置及び撮像方法
JP2019134431A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US11880991B2 (en) Imaging apparatus including depth information at first or second spatial resolution at different regions in the image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16803013

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16803013

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP