WO2012001975A1 - 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム - Google Patents

立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム Download PDF

Info

Publication number
WO2012001975A1
WO2012001975A1 PCT/JP2011/003740 JP2011003740W WO2012001975A1 WO 2012001975 A1 WO2012001975 A1 WO 2012001975A1 JP 2011003740 W JP2011003740 W JP 2011003740W WO 2012001975 A1 WO2012001975 A1 WO 2012001975A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
obstacle
area
value
index value
Prior art date
Application number
PCT/JP2011/003740
Other languages
English (en)
French (fr)
Inventor
武弘 河口
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201180032935.2A priority Critical patent/CN102959970B/zh
Priority to JP2012522469A priority patent/JP5492300B2/ja
Publication of WO2012001975A1 publication Critical patent/WO2012001975A1/ja
Priority to US13/729,917 priority patent/US20130113888A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Definitions

  • the present invention relates to a technique for determining whether or not an obstacle is reflected in an imaging range of an imaging means when capturing a plurality of parallax images for performing stereoscopic display of a subject.
  • Patent Document 1 when stereoscopic display is performed using a parallax image obtained from each imaging unit of the compound eye camera, even if a finger is placed on a certain imaging lens, it is obtained on the imaging lens side.
  • the problem is pointed out that it may be difficult to visually recognize that the finger is applied because the finger hook part in the parallax image is supplemented by the parallax image obtained on the imaging lens side where the finger is not applied.
  • a finger is applied to the imaging lens on the side of the parallax image that is not displayed as a through image. In such a case, it has been pointed out that the photographer cannot recognize the finger hold on the imaging lens only by looking at the through image.
  • Patent Document 1 in a compound eye camera, it is proposed to determine the presence or absence of a finger hold area from each parallax image, and when the finger hold area exists, the specified finger hold area is highlighted. Has been.
  • the following three methods are listed as specific methods for determining the finger contact region.
  • the photometry result of the photometry element and the photometry result of the image sensor are compared, and if the difference is equal to or greater than a predetermined value, either the photometry unit or the image capture unit is designated. In other words, it is determined that a clue area exists.
  • the second method is to determine that a finger catching area exists when there is a local abnormality in AF evaluation value, AE evaluation value, and white balance for each individual image with respect to a plurality of parallax images. It is.
  • the third method uses a stereo matching technique.
  • a feature point is obtained from one of a plurality of parallax images, a corresponding point corresponding to the feature point is obtained from the other parallax image, and an area having no corresponding point is obtained. It is determined as a finger catching occurrence area.
  • Patent Document 2 describes a method for determining a finger catching region in a monocular camera. Specifically, a plurality of live view images are acquired in time series, a change with time in the position of the low-luminance region is captured, and the non-moving low-luminance region is determined as a finger region (hereinafter referred to as a fourth region). Called the method). Also, based on the temporal change in contrast of a predetermined area in a plurality of AF images acquired in time series while moving the position of the focus lens, the contrast value of the predetermined area when the lens position approaches the near end. A method of determining that the predetermined area is a finger area (hereinafter referred to as a fifth method) is also described.
  • the first determination method can be applied only to a camera provided with a photometric element separately from the image sensor.
  • the second, fourth, and fifth determination methods are methods for determining a finger area from only one parallax image. For example, there is an object in the foreground by the periphery of the imaging range, and by the center. As in the case where there is a distant main subject, there is a possibility that the finger catching area cannot be correctly determined depending on the state of the imaging target such as the subject.
  • the stereo matching method used in the third determination method increases the amount of calculation and increases the processing time. Also in the fourth determination method, since it is necessary to continuously determine the finger area by analyzing the live view image in time series, the calculation cost and power consumption increase.
  • the present invention has been made in view of the above circumstances, and in a compound eye imaging apparatus, an obstacle such as a finger is reflected in the imaging range of the imaging means with higher accuracy and with less calculation cost and power consumption.
  • the purpose is to be able to determine whether or not.
  • the compound-eye imaging apparatus includes a plurality of imaging means for imaging a subject and outputting a captured image, and enables stereoscopic display of the subject using the captured image output from each of the imaging means.
  • a compound-eye imaging device in which each imaging optical system of the imaging unit is arranged, and an index value acquisition unit that acquires a predetermined index value for each of a plurality of small regions in each imaging region in the imaging unit; The index values are compared for each of the small areas in the imaging areas of the different imaging means corresponding to the positions in the imaging areas, and the difference in the index values between the imaging areas of the different imaging means is a predetermined reference
  • An obstacle determination unit that determines that an obstacle close to the imaging optical system of the at least one imaging unit is included in the imaging region of at least one of the imaging units when the size is large enough to satisfy The And it is characterized in that there was example.
  • the obstacle determination method includes a plurality of imaging means for imaging a subject and outputting the captured image, and enables stereoscopic display of the subject using the captured image output from each of the imaging means.
  • an obstacle determination method for determining whether an obstacle is included in the imaging region in at least one of the imaging units is arranged.
  • the obstacle determination program includes a plurality of imaging means for imaging a subject and outputting the captured image, and enables stereoscopic display of the subject using the captured image output from each of the imaging means.
  • An obstacle determination program that can be incorporated into a compound-eye imaging device in which each imaging optical system of the imaging means is arranged, for each of a plurality of small areas in each imaging region in the imaging means. The index value is compared for each small area in the imaging area of the different imaging means corresponding to the step of acquiring a predetermined index value and the position in the imaging area, and the imaging area of the different imaging means Between the imaging optical systems of the at least one imaging means within the imaging area of at least one of the imaging means. Characterized in that to execute a and determining contains obstacles.
  • the obstacle determination device of the present invention includes a plurality of captured images for performing stereoscopic display of the main subject obtained by imaging the main subject from different positions using an imaging unit, or the Index value acquisition means for acquiring a predetermined index value for each of a plurality of small areas in the imaging area at the time of imaging the captured image from the incidental information of the captured image, and the positions in the imaging area correspond to each other
  • the index value is compared for each of the small areas in the imaging area of the captured image, and when the difference in the index value between the imaging areas of the different captured images is large enough to satisfy a predetermined criterion.
  • the at least one imaging area is provided with a determination unit that determines that an obstacle close to the imaging optical system of the imaging unit is included.
  • the obstacle determination device of the present invention may be mounted on an image display device or a photo printing device for stereoscopic display / output.
  • obstacle examples include an imager's finger and hand, as well as an object that the imager has in his / her hand at the time of imaging and falls within the angle of view of the imaging unit (for example, a mobile phone And the like that are included in the captured image without the intention of the photographer.
  • the size of the “small region” may be a size derived theoretically and / or experimentally and / or empirically based on the distance between the imaging optical systems.
  • Specific methods for obtaining the “predetermined index value” include the following methods.
  • Each of the imaging means is configured to perform photometry at a plurality of points or areas in the imaging area, and to determine the exposure at the time of imaging using the photometric value obtained by the photometry.
  • a photometric value is acquired as an index value.
  • a luminance value is calculated for each small region from each captured image, and the calculated luminance value is acquired as an index value.
  • Each imaging unit is configured to perform focusing control of the imaging optical system of each imaging unit based on AF evaluation values at a plurality of points or regions in the imaging region, and AF evaluation for each small region Get the value as an index value.
  • a component that is high enough to satisfy a predetermined standard is extracted from each captured image, and the amount of the high-frequency component for each small region is acquired as an index value.
  • Each of the imaging means is configured to perform auto white balance control of each imaging means based on color information at a plurality of points or areas in the imaging area, and color information for each small area is obtained. Get as an index value.
  • Color information is calculated for each small region from each captured image, and the color information is acquired as an index value.
  • various color spaces can be used as the color information.
  • each small region includes a plurality of points or regions in the imaging region from which photometric values, AF evaluation values, or color information is acquired
  • An index value for each small area may be calculated based on index values at the plurality of points or areas in each small area. Specifically, a representative value such as an average value or a median value of the index values at each of the points or areas in the small area can be considered as the index value of each small area.
  • the imaging means is configured to output a captured image by main imaging and to output a captured image by pre-imaging for determination of imaging conditions for main imaging, which is performed prior to main imaging,
  • the index value may be acquired according to the above.
  • the imaging unit may calculate photometry, AF evaluation value, or color information in accordance with an operation for pre-imaging by the photographer.
  • the index value may be acquired based on a captured image obtained by pre-imaging.
  • the small area to be compared is the imaging area of the different imaging means.
  • the positions in each imaging region correspond to each other.
  • “the position in each imaging region corresponds” means, for example, for each imaging region, the upper left corner of the region is the origin, the right direction is the positive direction of the x axis, and the downward direction is the positive direction of the y axis. This means that when the coordinate system for the direction is provided, the position coordinates of the small areas coincide.
  • the “predetermined reference” means a reference for comprehensively determining a difference in index values for each small area as the entire imaging area. Therefore, as a specific example of “when the difference in the index value between the imaging regions of the different imaging units is large enough to satisfy a predetermined criterion”, the imaging regions of the different imaging units are between the corresponding small regions. There is a case where a set of small regions whose absolute value or ratio of the difference between the index values is larger than a predetermined threshold is greater than or equal to the predetermined threshold.
  • the central portion of the imaging region may be excluded from the processing target for obtaining the index value and / or determining the obstacle.
  • a plurality of types of index values may be acquired.
  • the above comparison is performed for each of a plurality of types of index values, and an obstacle is included in the imaging area in at least one of the imaging means when the difference between at least one index value is large enough to satisfy a predetermined criterion.
  • You may make it determine with having been carried out.
  • it may be determined that an obstacle is included in the imaging region of at least one of the imaging means when the difference among the plurality of index values is large enough to satisfy a predetermined criterion.
  • a notification to that effect may be made.
  • a predetermined index value is obtained for each of a plurality of small regions in an imaging region of each of a plurality of imaging units of a compound-eye imaging device, and imaging regions of different imaging units corresponding to positions in the imaging region correspond to each other.
  • an obstacle is included in the imaging area in at least one of the imaging means. Can be determined.
  • an area including an obstacle appears more prominently as a difference between images captured by different imaging units, and the difference is larger than an error that appears in the image due to parallax between the imaging units. Therefore, by comparing the index values between the imaging regions of different imaging means as in the present invention, an obstacle is included only from one captured image as in the second, fourth, and fifth determination methods. This determination can be performed with higher accuracy than in the case of determining a region that has been determined.
  • the index values are compared for each small region corresponding to the position in the imaging region, matching between captured images based on the content characteristics of the image is performed as in the third determination method. As a result, calculation cost and power consumption can be reduced.
  • a photometric value, AF evaluation value, or color information obtained by the imaging unit is used as the index value
  • a numerical value that is normally acquired during the imaging operation by the imaging unit is used. This eliminates the need to perform a process for calculating a new index value, which is more advantageous in terms of processing efficiency.
  • the imaging area it is possible to reliably determine that an obstacle is included based on the difference in the texture between the obstacle and the background.
  • an obstacle in the imaging area is used even when the obstacle in the imaging area and the background thereof have the same brightness or similar texture. It is possible to reliably determine that an obstacle is included based on the difference in color of the background.
  • the size of the small area is increased to some extent, for example, in each small area, there are a plurality of points or areas where the photometric value or AF evaluation value is acquired by the imaging means, and each point in the small area.
  • the index value for each small area is calculated based on the photometric value or AF evaluation value in the area, the error due to the parallax between each imaging means will be diffused in the small area. It is possible to determine that an obstacle is included with high accuracy.
  • the index value is acquired according to the pre-imaging for determining the imaging condition of the main imaging performed prior to the main imaging, an obstacle is included before the main imaging is performed. Therefore, for example, by notifying the fact, it is possible to avoid the failure of the main imaging in advance. Even if the index value is acquired in accordance with the actual imaging, for example, by notifying the fact, the photographer can immediately notice the failure of the actual imaging and perform the re-imaging quickly. Is possible.
  • FIG. 1 is a front perspective view of a compound eye camera according to an embodiment of the present invention.
  • Rear perspective view of compound eye camera Schematic block diagram showing the internal configuration of a compound eye camera The figure which shows the structure of each imaging part of a compound eye camera The figure which shows the file format of the image file of the image for stereoscopic vision Diagram showing the configuration of the monitor Diagram showing the configuration of the lenticular sheet Diagram for explaining 3D processing The figure which shows the parallax image in which an obstacle is included The figure which shows the parallax image which does not contain an obstacle Figure showing a warning message display example The block diagram showing the detail of the obstacle determination part used as the 1st, 3rd, 4th, 6th embodiment of this invention.
  • the figure showing an example of the photometric value in each area in the imaging region where an obstacle is included The figure showing an example of the photometric value in each area in the imaging region which does not contain an obstruction
  • the figure showing an example of the difference value of the photometric value in the area corresponding to each other The figure showing an example of the absolute value of the difference value of the photometric value in the corresponding area
  • the block diagram showing the detail of the obstacle determination part which becomes the 2nd, 5th embodiment of this invention The figure showing an example of the result of having averaged the photometry value in each area in the imaging region in which an obstacle is included in four adjacent areas. The figure showing an example of the result of having averaged the photometric value in each area in the imaging region which does not contain an obstacle in four adjacent areas. The figure showing an example of the difference value of the average photometric value in the corresponding integrated area The figure showing an example of the absolute value of the difference value of the average photometric value in the corresponding integrated area The flowchart showing the flow of the imaging process in the second and fifth embodiments of the present invention.
  • the figure showing an example of the area of the central part that is not counted The figure showing an example of AF evaluation value in each area in the imaging region in which an obstacle is included
  • the figure showing an example of AF evaluation value in each area in the imaging region which does not include an obstacle The figure showing an example of the difference value of AF evaluation value in a corresponding area
  • the figure showing an example of the absolute value of the difference value of AF evaluation value in a corresponding area The figure showing an example of the result of having averaged AF evaluation value in each area in an imaging region in which an obstacle is included in four adjacent areas
  • the figure showing an example of the absolute value of the difference value of the average AF evaluation value in the corresponding integrated area The figure showing another example of the area of the center part excluding count object
  • the block diagram showing the detail of the obstacle determination part which becomes the 8th Embodiment of this invention The figure showing the example of the result of having averaged the 1st color information in each area in an image pick-up field in four adjacent areas when an obstacle is included in the lower part of the image pick-up optical system of an image pick-up part
  • the figure showing the example of the result of having averaged the 1st color information in each area in the image pick-up field which does not contain an obstacle in four adjacent areas The figure showing the example of the result of having averaged the 2nd color information in each area in an image pick-up field in four adjacent areas when an obstacle is included in the lower part of the image pick-up optical system of an image pick-up part
  • the figure showing the example of the result of having averaged the 2nd color information in each area in each imaging area which does not contain an obstacle in four adjacent areas The figure showing an example of the distance of the color information in the corresponding integrated area
  • the figure showing another example of the area of the center part excluding count object The block diagram showing the detail of the obstacle determination part used as the 10th, 11th embodiment of this invention.
  • Flowchart showing the flow of imaging processing in the tenth embodiment of the present invention (first half)
  • Flowchart showing the flow of imaging processing in the tenth embodiment of the present invention (second half)
  • FIG. 1 is a front perspective view of a compound eye camera according to an embodiment of the present invention
  • FIG. 2 is a rear perspective view.
  • a release button 2 As shown in FIG. 1, a release button 2, a power button 3, and a zoom lever 4 are provided on the upper part of the compound eye camera 1.
  • a flash 5 and lenses of the two imaging units 21A and 21B are disposed on the front surface of the digital camera 1.
  • a liquid crystal monitor (hereinafter simply referred to as a monitor) 7 for performing various displays and various operation buttons 8 are disposed on the rear surface.
  • FIG. 3 is a schematic block diagram showing the internal configuration of the compound eye camera 1.
  • a compound eye camera 1 according to an embodiment of the present invention includes two imaging units 21A and 21B, a frame memory 22, an imaging control unit 23, an AF processing unit 24, and an AE, as in a known compound eye camera.
  • the imaging units 21A and 21B are arranged so as to have a predetermined baseline length with a convergence angle at which the subject is viewed. Information on the angle of convergence and the baseline length is stored in the internal memory 27.
  • FIG. 4 is a diagram illustrating the configuration of the imaging units 21A and 21B.
  • the imaging units 21A and 21B have lenses 10A and 10B, diaphragms 11A and 11B, shutters 12A and 12B, imaging elements 13A and 13B, analog front end (AFE) 14A, as in a known compound eye camera. 14B and A / D converters 15A and 15B, respectively.
  • AFE analog front end
  • the lenses 10 ⁇ / b> A and 10 ⁇ / b> B are configured by a plurality of functional lenses such as a focus lens for focusing on a subject and a zoom lens for realizing a zoom function, and focus data obtained by AF processing performed by the imaging control unit 22. Based on zoom data obtained by operating a zoom lever (not shown), the position is adjusted by a lens driving unit (not shown).
  • the apertures 11A and 11B are adjusted in aperture diameter by an aperture drive unit (not shown) based on aperture value data obtained by AE processing performed by the imaging control unit 22.
  • the shutters 12A and 12B are mechanical shutters, and are driven by a shutter driving unit (not shown) according to the shutter speed obtained by the AE process.
  • the imaging elements 13A and 13B have a photoelectric surface in which a large number of light receiving elements are two-dimensionally arranged, and subject light is imaged on the photoelectric surface and subjected to photoelectric conversion to acquire an analog imaging signal.
  • color filters in which R, G, and B color filters are regularly arranged are disposed on the front surfaces of the image sensors 13A and 13B.
  • the AFEs 14A and 14B perform processing for removing noise of the analog imaging signal and processing for adjusting the gain of the analog imaging signal (hereinafter referred to as analog processing) for the analog imaging signals output from the imaging elements 13A and 13B. .
  • the A / D converters 15A and 15B convert the analog imaging signals subjected to analog processing by the AFEs 14A and 14B into digital signals. Note that an image represented by digital image data acquired by the imaging unit 21A is a first image G1, and an image represented by image data acquired by the imaging unit 21B is a second image G2.
  • the frame memory 22 is a working memory in which image data representing the first and second images G1 and G2 acquired by the imaging units 21A and 21B is taken in via an image input controller (not shown). Used when doing.
  • the imaging control unit 23 controls processing timing of each unit. Specifically, the full-push operation of the release button 2 instructs the imaging units 21A and 21B to perform main imaging to acquire the main images of the first and second images G1 and G2. Before the release button 2 is operated, the imaging control unit 23 selects a through image having a smaller number of pixels than the main images of the first and second images G1 and G2 for confirming the imaging range. An instruction to sequentially acquire at time intervals (for example, 1/30 second intervals) is given to the imaging units 21A and 21B.
  • the AF processing unit 24 calculates an AF evaluation value based on the image signals of the respective pre-images acquired by the imaging units 21A and 21B by half-pressing the release button 2, and determines a focus area based on the AF evaluation value. At the same time, the focal positions of the lenses 10A and 10B are determined and output to the imaging units 21A and 21B.
  • a focus position detection method using AF processing a passive method is used that detects a focus position using the feature that the contrast of an image increases when a desired subject is in focus.
  • the AF evaluation value can be an output value of a predetermined high-pass filter. In this case, the larger the value, the higher the contrast.
  • the AE processing unit 25 employs a multi-division photometry method.
  • the image signal of each pre-image is used to divide the imaging region into a plurality of areas and measure the light separately, and based on the photometric values of each area.
  • the exposure is determined and output to the imaging units 21A and 21B.
  • the AWB processing unit 26 calculates color information for auto white balance for each of a plurality of areas obtained by dividing the imaging region using the R, G, and B image signals of the pre-image.
  • the AF processing unit 24, the AE processing unit 25, and the AWB processing unit 26 may perform processing sequentially for each imaging unit, or may provide each processing unit as many as the number of imaging units and perform processing in parallel.
  • the digital signal processing unit 27 performs processing for adjusting white balance, gradation correction, sharpness correction, and color for the digital image data of the first and second images G1 and G2 acquired by the imaging units 21A and 21B. Image processing such as correction is performed. Note that reference numerals G1 and G2 before processing are also used for the first and second images after processing in the digital signal processing unit 27.
  • the compression / decompression processing unit 28 compresses the image data representing the main images of the first and second images G1 and G2 processed by the digital signal processing unit 27 in a compression format such as JPEG, for example.
  • a compression format such as JPEG, for example.
  • the stereoscopic image file F0 includes image data of the first and second images G1 and G2, and includes supplementary information such as a base line length, a convergence angle and an imaging date and time, and a viewpoint position based on the Exif format and the like. Is stored.
  • FIG. 5 is a diagram illustrating a file format of an image file of a stereoscopic image.
  • the stereoscopic image file F0 includes supplementary information H1 of the first image G1, viewpoint information S1 of the first image G1, image data of the first image G1 (also reference numerals for image data). G1 is used), auxiliary information H1 of the second image G2, viewpoint information S2 of the second image G2, and image data of the second image G2 are stored.
  • information indicating the start position and end position of data is included before and after the supplementary information, viewpoint information, and image data for the first and second images G1 and G2.
  • the incidental information H1 and H2 includes information on the imaging date, the baseline length, and the convergence angle of the first and second images G1 and G2.
  • the supplementary information H1, H2 also includes thumbnail images of the first and second images G1, G2.
  • viewpoint information the number of the viewpoint position provided in order from the left imaging part can be used, for example.
  • the media control unit 29 accesses the recording medium 30 and controls writing and reading of image files and the like.
  • the display control unit 31 uses the first and second images G1 and G2 and the stereoscopic image GR generated from the first and second images G1 and G2 stored in the frame memory 22 at the time of imaging on the monitor 7.
  • the first and second images G1, G2 and the stereoscopic image GR recorded on the recording medium 30 are displayed on the monitor 7.
  • FIG. 6 is a diagram showing the configuration of the monitor 7. As shown in FIG. 6, the monitor 7 is configured by stacking a backlight unit 40 that emits light by LEDs and a liquid crystal panel 41 for performing various displays, and attaching a lenticular sheet 42 to the liquid crystal panel 41.
  • FIG. 7 is a diagram showing the configuration of the lenticular sheet. As shown in FIG. 7, the lenticular sheet 42 is configured by arranging a plurality of cylindrical lenses 43 in parallel.
  • the three-dimensional processing unit 32 performs a three-dimensional process on the first and second images G1 and G2 to stereoscopically display the first and second images G1 and G2 on the monitor 7, thereby performing a stereoscopic image GR. Is generated.
  • FIG. 8 is a diagram for explaining the three-dimensional processing. As shown in FIG. 8, the three-dimensional processing unit 30 cuts the first and second images G1 and G2 into strips in the vertical direction, and forms strips corresponding to the positions of the cylindrical lenses 43 in the lenticular sheet. Three-dimensional processing is performed so that the cut out first and second images G1 and G2 are alternately arranged to generate a stereoscopic image GR.
  • the three-dimensional processing unit 30 may correct the parallax between the first and second images G1 and G2 in order to make the stereoscopic effect of the stereoscopic image GR appropriate.
  • the parallax can be calculated as a difference in pixel position in the horizontal direction between the first and second images G1 and G2 of the subject included in both the first and second images G1 and G2.
  • the stereoscopic effect of the subject included in the stereoscopic image GR can be made appropriate.
  • the input unit 33 is an interface for the photographer to operate the compound eye camera 1, and corresponds to the release button 2, the zoom lever 4, various operation buttons 8, and the like.
  • the CPU 34 controls each part of the main body of the digital camera 1 in accordance with signals from the various processing parts.
  • the internal memory 35 stores various constants set in the compound-eye camera 1, a program executed by the CPU 34, and the like.
  • the data bus 36 is connected to each unit constituting the compound eye camera 1 and the CPU 35, and exchanges various data and various information in the compound eye camera 1.
  • the compound-eye camera 1 further includes an obstacle determination unit 37 and a warning information generation unit 38 that implement the obstacle determination processing of the present invention.
  • the left hand holding the compound eye camera 1 is used. May fall within the angle of view of the image pickup unit 21A and block a part of the angle of view of the image pickup unit 21A.
  • the first image G1 acquired by the imaging unit 21A includes a finger as an obstacle at the bottom, and the background becomes invisible.
  • the second image G2 acquired by the imaging unit 21B does not include an obstacle.
  • the photographer sees that the finger or the like is placed on the imaging unit 21A by looking at the through image on the monitor 7. It is possible to recognize.
  • the second image G ⁇ b> 2 is configured to be displayed on the monitor 7 in a planar manner, the photographer recognizes that a finger or the like is on the imaging unit 21 ⁇ / b> A even when viewing the through image on the monitor 7. I can't.
  • the stereoscopic image GR generated from the first image G1 and the second image G2 is stereoscopically displayed on the monitor 7, an area on which a finger or the like in the first image is applied Since the background information is supplemented by the second image G2, it is difficult for the photographer to recognize that a finger or the like is placed on the image capturing unit 21A even when viewing the through image on the monitor 7.
  • the obstacle determination unit 37 determines whether an obstacle such as a finger is included in one of the first and second images G1 and G2.
  • the warning information generation unit 38 When the obstacle determination unit 37 determines that an obstacle is included, the warning information generation unit 38 generates a warning message indicating that, for example, a character “There is an obstacle”.
  • the generated warning message is superimposed on the first or second image G1, G2 and displayed on the monitor 7, as illustrated in FIG.
  • the warning message may be notified to the photographer as character information as described above, or may be notified by voice via a voice output interface such as a speaker (not shown) of the compound-eye camera 1. It may be.
  • FIG. 11 is a block diagram schematically illustrating the configuration of the obstacle determination unit 37 and the warning information generation unit 38 according to the first embodiment of the present invention.
  • the obstacle determination unit 37 includes an index value acquisition unit 37A, an area-specific difference value calculation unit 37B, an area-specific difference absolute value calculation unit 37C, and an area counting unit. 37D and the determination part 37E.
  • Each processing unit of the obstacle determination unit 37 may be realized in software by a built-in program executed by the CPU 34 or a general-purpose processor for the obstacle determination unit 37, or for the obstacle determination unit 37.
  • a dedicated processor may be implemented in hardware.
  • the program may be provided to an existing compound eye camera by a method of firmware update.
  • the index value acquisition unit 37A acquires the photometric value of each area in each imaging region of each imaging unit 21A, 21B obtained by the AE processing unit 25.
  • FIG. 12A shows an example of a photometric value in each area in the imaging region when an obstacle is included in the lower part of the imaging optical system of the imaging unit 21A.
  • FIG. 12B does not include an obstacle. It shows an example of a photometric value in each area in the imaging region.
  • each value is a photometric value with 100 times accuracy obtained by measuring the center 70% of each imaging area of each imaging unit 21A, 21B by dividing it into 7 ⁇ 7 areas. As shown in FIG. 12A, the area including the obstacle tends to be dark, and the photometric value is small.
  • FIG. 13 shows a difference value ⁇ IV (i, j) for each corresponding area when each photometric value in FIG. 12A is IV1 (i, j) and each photometric value in FIG. 12B is IV2 (i, j). This is an example of calculating.
  • the area-specific difference absolute value calculation unit 37C calculates the absolute value
  • FIG. 14 is an example in which the absolute value of the difference value in FIG. 13 is calculated. As shown in the figure, when an obstacle is applied to one of the imaging optical systems of the imaging unit, the absolute value
  • the area counting unit 37D compares the value of the absolute value
  • the determination unit 37E compares the value of the count number CNT obtained by the area counting unit 37D with a predetermined second threshold value, and if the value of the count number CNT is larger than the second threshold value, a warning message
  • the signal ALM requesting the output of is output. For example, in the case of FIG. 14, if the second threshold value is 5, the count number CNT is 13, which is larger than the second threshold value, so that the signal ALM is output.
  • the warning information generation unit 38 generates and outputs a warning message MSG when the signal ALM is output from the determination unit 37E.
  • the first and second threshold values may be fixed values experimentally and empirically determined in advance, or may be set / changed by operating the input unit 33 by the photographer. Good.
  • FIG. 15 is a flowchart showing the flow of processing performed in the first embodiment of the present invention.
  • a half-press operation of the release button 2 is detected (# 1; YES)
  • pre-images G1 and G2 for determining imaging conditions are respectively acquired by the imaging units 21A and 21B (# 2).
  • each of the AF processing unit 24, the AE processing unit 25, and the AWB processing unit 26 performs processing, various imaging conditions are determined, and each unit of the imaging units 21A and 21B is adjusted according to the determined imaging conditions.
  • the AE processing unit 25 acquires the photometric values IV1 (i, j) and IV2 (i, j) of the areas in the imaging regions of the imaging units 21A and 21B.
  • the index value acquisition unit 37A acquires the photometric values IV1 (i, j) and IV2 (i, j) of each area (# 4), and the area-specific difference value calculation unit 37B
  • the difference ⁇ IV (i, j) between the photometric values IV1 (i, j) and IV2 (i, j) is calculated between the areas at the corresponding positions in each imaging region (# 5).
  • the absolute difference calculator 37C calculates the absolute value
  • the area counting unit 37D counts the number CNT of the areas where the absolute value
  • the determination unit 37E When the count number CNT is larger than the second threshold value (# 8; YES), the determination unit 37E outputs a signal ALM requesting output of a warning message, and the warning information generation unit 38 outputs this signal ALM. In response to this, a warning message MSG is generated. The generated warning message MSG is displayed superimposed on the through image currently displayed on the monitor 7 (# 9). On the other hand, when the value of the count number CNT is less than or equal to the second threshold value (# 8; NO), step # 9 is skipped.
  • Step # 10 if the release button 2 remains half-pressed (# 10; half-press), the camera waits for the release button 2 operation while maintaining the imaging conditions set in Step # 3. When is released (# 10; release), the process returns to waiting for the half-press operation of the release button 2 (# 1).
  • the AE processing unit 25 calculates the photometric value acquired for each of the plurality of areas in the imaging region in each of the plurality of imaging units 21A and 21B of the compound-eye camera 1.
  • the obstacle determination unit 37 obtains the absolute value of the difference between the photometric values for each area in the imaging region of the different imaging unit corresponding to the position in the imaging region, and the absolute value of the difference is a predetermined first value.
  • the number of areas larger than the threshold value is counted and the counted number of areas is larger than a predetermined second threshold value, an obstacle is included in the imaging region in at least one of the imaging units 21A and 21B. Can be determined.
  • the obstacle determination unit 37 determines the presence or absence of an obstacle using a photometric value acquired in a normal imaging operation, it is not necessary to perform a process of calculating a new index value, and processing efficiency This is more advantageous.
  • the photometric value is used as an index value for determining the presence / absence of an obstacle, even if the obstacle in the imaging area has the same texture or the same background, the obstacle in the imaging area It is possible to reliably determine that an obstacle is included based on the difference in brightness of the background.
  • each area is divided sufficiently larger than the size corresponding to the size of one pixel, an error due to parallax between each imaging unit is diffused in the area, and the failure is caused with higher accuracy. It becomes possible to determine that an object is included.
  • the area division is not limited to the above 7 ⁇ 7.
  • the obstacle determination unit 37 acquires the photometric value in accordance with the pre-imaging performed prior to the main imaging, it is possible to determine that the obstacle is applied to the imaging unit before performing the main imaging. When an obstacle is applied, a message generated by the warning information generation unit 38 is notified to the photographer, so that a failure of the main imaging can be avoided in advance.
  • the obstacle determination unit 37 determines the presence or absence of an obstacle using the photometric value acquired by the AE processing unit 25.
  • the obstacle determination unit 37 There may be a case where a photometric value for each area cannot be obtained.
  • the images G1 and G2 obtained by the imaging units 21A and 21B are divided into a plurality of areas similar to the above, and representative values (average value, median value, etc.) of luminance values for each area are obtained. What is necessary is just to calculate. As a result, the same effects as described above can be obtained except for the processing load for calculating the representative value of the luminance value.
  • FIG. 16 is a block diagram schematically illustrating the configuration of the obstacle determination unit 37 and the warning information generation unit 38 according to the second embodiment of the present invention.
  • the second embodiment of the present invention has a configuration in which an average index value calculation unit 37F is added to the first embodiment.
  • This average index value calculation unit 37F is a photometric value in four adjacent areas for each of the index values IV1 (i, j) and IV2 (i, j) for each area acquired by the index value acquisition unit 37A.
  • Average values IV1 ′ (m, n) and IV2 ′ (m, n) are calculated. Note that m and n mean that the number of areas (number of rows and columns) after output is reduced by the above calculation and is different from the number of areas at the time of input.
  • 17A and 17B show the average value of the photometric values of four adjacent areas (for example, four areas surrounded by R1 in FIG. 12A) with respect to the photometric values of the 7 ⁇ 7 area of FIGS. 12A and 12B.
  • the average photometric value of the 6 ⁇ 6 area is the value of the area surrounded by R2 in FIG. 17A.
  • R1 the average photometric value of the four areas surrounded by R2 in FIG. 17A.
  • R2 the value of the area surrounded by R2 in FIG. 17A.
  • the number of areas on the input side for which the average value is calculated is not limited to four.
  • this output area is referred to as an integrated area.
  • the subsequent processing units are the same as those in the first embodiment except that the area is replaced with an integrated area.
  • the area-specific difference value calculation unit 37B calculates the average photometric value difference ⁇ IV ′ (m, n) between the integrated areas at corresponding positions in each imaging region.
  • FIG. 18 is an example in which a difference value is calculated for each integrated area corresponding to each average photometric value in FIGS. 17A and 17B.
  • the area-specific difference absolute value calculation unit 37C calculates the absolute value
  • FIG. 19 is an example in which the absolute value of the difference value of the average photometric values in FIG. 18 is calculated.
  • the area counting unit 37D counts the number CNT of integrated areas in which the absolute value
  • the threshold value is 100
  • is greater than 100 in 8 areas out of 36 areas. Since the population parameter of the area to be counted is different from that of the first embodiment, the first threshold value may be a value different from that of the first embodiment.
  • the determination unit 37E outputs a signal ALM for requesting output of a warning message when the value of the count number CNT is larger than the second threshold value.
  • the second threshold value may be a value different from that of the first embodiment, similarly to the first threshold value.
  • FIG. 20 is a flowchart showing the flow of processing performed in the second embodiment of the present invention.
  • step # 4 after the index value acquisition unit 37A acquires the photometric values IV1 (i, j) and IV2 (i, j) of each area, the average index value calculation unit 37F For each index value IV1 (i, j), IV2 (i, j), the average value IV1 ′ (m, n), IV2 ′ (m, n) of the photometric values in the four adjacent areas Calculate (# 4.1).
  • the subsequent processing flow is the same as that of the first embodiment except that the area is replaced with the integrated area.
  • the average index value calculation unit 37F integrates the areas at the time of photometry, and calculates the average photometry value for each area after integration. Since the error due to the parallax between them is diffused by the integration of the areas, it contributes to a reduction in erroneous determination.
  • the index value (photometric value) in the area after integration is not limited to the average value of the index values in the area before integration, and may be another representative value such as a median value.
  • the area near the center of the areas IV1 (i, j) and IV2 (i, j) at the time of photometry in the first embodiment is excluded from the processing target. It is an aspect.
  • the area counting unit 37D determines the absolute value
  • FIG. 21 shows an example in which the 3 ⁇ 3 area near the center of the 7 ⁇ 7 area in FIG. 14 is not counted. In this case, assuming that the threshold value is 100, the absolute value
  • the index value acquisition unit 37A may not acquire the photometric value of the 3 ⁇ 3 area near the center, or the area-specific difference value calculation unit 37B or the area-specific difference absolute value calculation unit 37C may Calculation may not be performed for the 3 ⁇ 3 area, and a value that is not counted in the area counting unit 37D may be set for the 3 ⁇ 3 area near the center.
  • the number of areas near the center is not limited to 3 ⁇ 3.
  • the third embodiment of the present invention utilizes the fact that an obstacle always enters from the peripheral part of the imaging region, and obtains a photometric value or obstructs the central part of the imaging region. Since the determination is excluded from the processing target, the central portion that is less likely to contain an obstacle is excluded from the processing target, and the determination accuracy is improved.
  • the fourth embodiment of the present invention is an embodiment in which an AF evaluation value is used as an index value instead of the photometric value in the first embodiment. That is, the index value acquisition unit 37A of the block diagram of FIG. 11 performs AF of each area in each imaging region of each imaging unit 21A, 21B obtained by the AF processing unit 24 in step # 4 of the flowchart of FIG. Except for obtaining an evaluation value, this is the same as in the first embodiment.
  • FIG. 22A shows an example of an AF evaluation value in each area in the imaging region when an obstacle is included below the imaging optical system of the imaging unit 21A
  • FIG. 22B includes an obstacle. It shows an example of an AF evaluation value in each area in a non-imaging area.
  • the AF evaluation value is calculated for each area by dividing each imaging region of each imaging unit 21A, 21B into 7 ⁇ 7 areas in a state where the focus is far from the obstacle. Therefore, as shown in FIG. 22A, the AF evaluation value of the area including the obstacle is low and the contrast is low.
  • FIG. 23 shows a difference value ⁇ IV (i, j) for each corresponding area when each AF evaluation value in FIG. 22A is IV1 (i, j) and each AF evaluation value in FIG. 22B is IV2 (i, j).
  • FIG. 24 shows an example in which the absolute value
  • becomes larger
  • is larger than the predetermined first threshold value is counted, and the count number CNT is a predetermined second value.
  • the AF evaluation value is used as an index value for determining the presence or absence of an obstacle
  • the obstacle in the imaging region and the background thereof have the same brightness. Even in the case of the same color or the same color, it is possible to reliably determine that the obstacle is included based on the difference between the obstacle in the imaging region and the texture of the background.
  • the obstacle determination unit 37 determines the presence or absence of an obstacle using the AF evaluation value acquired by the AF processing unit 24.
  • the imaging region may be different when the focusing method is different. There may be a case where an AF evaluation value for each area cannot be obtained.
  • the images G1 and G2 obtained by the imaging units 21A and 21B are divided into a plurality of areas similar to the above, and the output value of the high-pass filter representing the amount of high-frequency components is calculated for each area. You just have to do it. Thereby, except for the high-pass filter processing load, the same effect as described above can be obtained.
  • the fifth embodiment of the present invention is an embodiment in which an AF evaluation value is used as an index value instead of the photometric value in the second embodiment, and the same effect as in the second embodiment can be obtained. Except for the difference in the index values, the configuration of the failure determination unit 37 is the same as that of the block diagram of FIG. 16, and the processing flow is the same as that of the flowchart of FIG.
  • FIG. 25A and 25B calculate 6 ⁇ 6 by calculating the average value of the AF evaluation values of four adjacent areas with respect to the AF evaluation values of the 7 ⁇ 7 area in FIGS. 22A and 22B.
  • An example in which the average AF evaluation value of the area is obtained is shown.
  • FIG. 26 is an example in which a difference value is calculated for each integrated AF area corresponding to each average AF evaluation value
  • FIG. 27 is an example in which an absolute value of the difference value of the average AF evaluation value in FIG. 26 is calculated. It is.
  • the sixth embodiment of the present invention is an embodiment in which an AF evaluation value is used as an index value instead of the photometric value in the third embodiment, and the same effect as in the third embodiment can be obtained.
  • FIG. 28 is an example in which the 3 ⁇ 3 area near the center is excluded from the count among the 7 ⁇ 7 areas in FIG. 24.
  • the seventh embodiment of the present invention is an embodiment in which AWB color information is used as an index value instead of the photometric value in the first embodiment.
  • color information when color information is used as an index value, it is not very effective to simply take a difference between corresponding areas like a photometric value or an AF evaluation value. Use the distance of color information.
  • FIG. 29 is a block diagram schematically illustrating the configuration of the obstacle determination unit 37 and the warning information generation unit 38 according to the present embodiment. As shown in the drawing, an area-specific color distance calculation unit 37G is provided instead of the area-specific difference value calculation unit 37B and area-specific difference absolute value calculation unit 37C of the first embodiment.
  • the index value acquisition unit 37A acquires the color information of each area in each imaging region of each imaging unit 21A, 21B obtained by the AWB processing unit 26.
  • 30A and 30C show examples of color information in each area in the imaging region when an obstacle is included in the lower part of the imaging optical system of the imaging unit 21A.
  • FIGS. 30B and 30D 7 illustrates an example of color information in each area in an imaging region that does not include an obstacle.
  • 30A and 30B R / G is used as color information
  • B / G is used as color information in FIGS. 30C and 30D (R, G, and B are red and red in the RGB color space, respectively). This is the signal value of the green and blue signals and represents the average signal value for each area).
  • the color information of the obstacle is close to information representing black. Therefore, when an obstacle is included in any imaging region of the plurality of imaging units 21A and 21B, the distance of the color information in that region becomes large.
  • the color information calculation method is not limited to these. Also, the color space is not limited to the RGB color space, and other color spaces such as Lab may be used.
  • the area-specific color distance calculation unit 37G calculates the distance of the color information between areas at corresponding positions in each imaging region. Specifically, when the color information is composed of two elements, the distance of the color information is, for example, the value of each element in each area on a coordinate plane having the first element and the second element as orthogonal coordinate axes. Is obtained as a distance between two points.
  • the value of each element of the color information of the area of the i-th row and the j-th column in the imaging region of the imaging unit 21A is RG1, BG1, and the color information of the area of the i-th row and j-th column in the imaging region of the imaging unit 21B
  • the distance D of the color information in the corresponding area is obtained by the following equation.
  • FIG. 31 is an example in which the distance of the color information in the corresponding area is calculated based on the color information of FIGS. 30A to 30D.
  • the area counting unit 37D compares the value D of the color information with a predetermined first threshold value, and counts the number CNT of areas where the value of the distance D is greater than the first threshold value. For example, in the case of FIG. 31, when the threshold is 30, the value of the distance D is greater than 30 in 25 of 49 areas.
  • the determination unit 37E outputs a signal ALM that requests the output of a warning message when the value of the count number CNT obtained by the area counting unit 37D is larger than the second threshold value. To do.
  • the second threshold value may be the same as or different from the first embodiment.
  • FIG. 32 is a flowchart showing the flow of processing performed in the seventh embodiment of the present invention.
  • a half-press operation of the release button 2 is detected (# 1; YES)
  • pre-images G1 and G2 for determining imaging conditions are acquired by the imaging units 21A and 21B, respectively.
  • # 2 the imaging units 21A and 21B, respectively.
  • each of the AF processing unit 24, the AE processing unit 25, and the AWB processing unit 26 performs processing, various imaging conditions are determined, and each unit of the imaging units 21A and 21B is adjusted according to the determined imaging conditions.
  • the AWB processing unit 26 acquires the color information IV1 (i, j), IV2 (i, j) of each area in each imaging region of each imaging unit 21A, 21B.
  • the color distance calculation unit by area 37G calculates a distance D (i, j) of color information between areas at corresponding positions in each imaging region (# 5.1).
  • the area counting unit 37D counts the number CNT of areas where the value of the distance D (i, j) of the color information is larger than the first threshold (# 7.1).
  • the subsequent processing flow is the same as that after step # 8 of the first embodiment.
  • color information is used as an index value for determining the presence / absence of an obstacle, so that the obstacle in the imaging region and the background thereof have the same brightness. Even in the case of a similar texture, it is possible to reliably determine that an obstacle is included based on the difference between the obstacle in the imaging area and the background color.
  • the obstacle determination unit 37 determines the presence or absence of an obstacle using the color information acquired by the AWB processing unit 26.
  • the imaging is performed. There may be a case where color information for each area in the area cannot be obtained.
  • the images G1 and G2 obtained by the imaging units 21A and 21B may be divided into a plurality of areas similar to the above, and color information may be calculated for each area. As a result, the same effects as described above can be obtained except for the load of the color information calculation process.
  • FIG. 33 is a block diagram schematically illustrating the configuration of the obstacle determination unit 37 and the warning information generation unit 38 according to the eighth embodiment of the present invention.
  • the eighth embodiment of the present invention has a configuration in which an average index value calculation unit 37F is added to the seventh embodiment.
  • the average index value calculation unit 37F calculates color information in four adjacent areas for each element IV1 (i, j) and IV2 (i, j) of the color information for each area acquired by the index value acquisition unit 37A. Average values IV1 ′ (m, n) and IV2 ′ (m, n) of the elements are calculated. Note that m and n have the same meaning as in the second embodiment. 34A to 34D calculate the average value of the color information elements of the four adjacent areas by calculating the average value of the color information elements of the four adjacent areas with respect to the color information element values of the 7 ⁇ 7 area of FIGS. 30A to 30D. An example in which an average color information element of ⁇ 6 area (integrated area) is obtained is shown. Here, the number of areas on the input side for which the average value is calculated is not limited to four.
  • FIG. 35 is an example in which the distance of the color information in the corresponding integrated area is calculated in the case of FIGS. 34A to 34D.
  • the flow of processing in the present embodiment is a combination of the second embodiment and the seventh embodiment. That is, in the present embodiment, as in the second embodiment, after the index value acquisition unit 37A acquires the color information IV1 (i, j) and IV2 (i, j) of each area in step # 4.
  • the average index value calculation unit 37F calculates the average value IV1 ′ (m, n) of the color information in the four adjacent areas for each of the index values IV1 (i, j) and IV2 (i, j) for each area. ), IV2 ′ (m, n) is calculated (# 4.1).
  • the other processing flow is the same as that of the seventh embodiment except that the area is replaced with the integrated area.
  • FIG. 37 shows an example in which the 3 ⁇ 3 area near the center of the 7 ⁇ 7 area during auto white balance is not counted by the area counting unit 37D.
  • the presence or absence of an obstacle may be determined using a plurality of index values exemplified in the above embodiments. Specifically, the presence or absence of an obstacle is determined based on the photometric value by any one of the first to third embodiments, and the AF evaluation value is obtained by any one of the fourth to sixth embodiments. Based on the color information according to any of the seventh to ninth embodiments, and at least one of these determinations includes an obstacle If determined, it may be determined that at least one of the imaging units is obstructed.
  • FIG. 38 is a block diagram schematically illustrating the configuration of the obstacle determination unit 37 and the warning information generation unit 38 according to the tenth embodiment of the present invention.
  • the obstacle determination unit 37 of the present embodiment is configured by combining the first, fourth, and seventh embodiments. That is, the photometric value, AF evaluation value, AWB color information index value acquisition unit 37A, photometric value, AF evaluation value area-specific difference value calculation unit 37B, photometric value, AF evaluation value area-specific difference absolute value calculation 37C, an area-specific color distance calculation unit 37G, a photometric value, an AF evaluation value, an AWB color information area counting unit 37D, a photometric value, an AF evaluation value, and an AWB color information determination unit 37E. Specific contents of each processing unit are the same as those in the first, fourth, and seventh embodiments.
  • FIG. 39A and FIG. 39B are flowcharts showing the flow of processing performed in the tenth embodiment of the present invention.
  • the pre-images G1 and G2 for determining the imaging conditions by the imaging units 21A and 21B are detected as in the embodiments. Are acquired (# 22).
  • each of the AF processing unit 24, the AE processing unit 25, and the AWB processing unit 26 performs processing, various imaging conditions are determined, and each unit of the imaging units 21A and 21B is adjusted according to the determined imaging conditions. (# 32).
  • Steps # 24 to # 28 are the same as Steps # 4 to # 8 of the first embodiment, and an obstacle determination process based on the photometric value is performed.
  • Steps # 29 to # 33 are the same as Steps # 4 to # 8 of the fourth embodiment, and obstacle determination processing based on the AF evaluation value is performed.
  • Steps # 34 to # 37 are the same as Steps # 4 to # 8 of the seventh embodiment, and obstacle determination processing based on AWB color information is performed.
  • the determination unit 37E for the index value outputs a signal ALM requesting output of a warning message, and the warning information generation unit 38 receives the signal ALM as in the above embodiments. In response, a warning message MSG is generated (# 38). Subsequent steps # 39 to # 41 are the same as steps # 10 to # 12 of the above embodiments.
  • At least one of the imaging units has an obstacle. It can be determined that an object is hanging. Therefore, by compensating each other for advantages and disadvantages based on the characteristics of each index value, obstacles with higher accuracy and more stable accuracy even in various situations with obstacles in the imaging area and their background Can be determined to be included. For example, for a case where the obstacle in the imaging region and the background thereof are of similar brightness that could not be determined correctly based only on the photometric value, the determination based on the AF evaluation value or color information is also performed. It will be judged correctly.
  • the eleventh embodiment of the present invention when it is determined that an obstacle is included in all of the plurality of types of index values, it is determined that at least one of the imaging units has an obstacle. It is.
  • the configurations of the obstacle determination unit 37 and the warning information generation unit 38 according to the present embodiment are the same as those of the tenth embodiment.
  • steps # 51 to # 57 are the same as # 21 to # 27 of the tenth embodiment.
  • step # 58 when the number of areas where the absolute value of the photometric value is greater than the threshold value Th1 AE is equal to or less than the threshold value Th2 AE , the determination process for other index values is skipped (# 58; NO).
  • the AF evaluation value is performed in the same manner as steps # 29 to # 32 in the tenth embodiment (# 59 to # 62).
  • step # 63 when the number of areas where the absolute value of the AF evaluation value is greater than the threshold value Th1 AF is equal to or less than the threshold value Th2 AF , the determination process for other index values is skipped (# 63; NO).
  • the AWB color information Is determined in the same manner as steps # 34 to # 36 of the tenth embodiment (# 64 to # 66). If the number of areas whose color distance based on the AWB color information is greater than the threshold Th1 AWB is equal to or smaller than the threshold Th2 AWB in Step # 67, the warning message generation / display processing in Step # 68 is skipped (# 67; NO).
  • the eleventh embodiment of the present invention it is possible to validate the determination only when it is determined that an obstacle is included based on all the index values. Thereby, although the obstacle is not included, the erroneous determination that it is determined that the obstacle is included is reduced.
  • the eleventh embodiment is further modified so that the determination is valid only when it is determined that an obstacle is included based on two or more of the three index values. Also good. Specifically, for example, in steps # 58, # 63, and # 67 of FIGS. 40A and 40B, a flag indicating a determination result in each step is set. After step # 67, each flag is set. If it is a value representing that an obstacle is included in two or more of the above, a warning message may be generated and displayed in step # 68.
  • the determination is performed at a timing after the release button is half-pressed.
  • the determination may be performed at a timing after the release button is fully pressed. Even in this case, since the photographer is notified immediately after the main imaging that the photograph is a failure photo including an obstacle, it is possible to sufficiently reduce the failure photo by re-imaging.
  • the imaging unit has been exemplified by two compound eye cameras, but the present invention can also be applied to a compound eye camera having three or more imaging units.
  • the number of imaging units is N
  • the above determination is sequentially performed for N C 2 combinations of imaging units. It can be repeated or performed in parallel.
  • the obstacle determination unit 37 may be further provided with a parallax adjustment unit, and the processing after the index value acquisition unit 37A may be performed on each imaging region after parallax adjustment.
  • the parallax adjustment unit detects a main subject (for example, a person's face) from the first and second images G1 and G2 by a known method, and the parallax between both images (the position of the main subject).
  • the parallax adjustment amount is calculated so that the difference is zero (for details, refer to Japanese Patent Application Laid-Open Nos. 2010-278878 and 2010-288253), and at least one of the imaging regions is obtained by the amount of the parallax adjustment amount.
  • the coordinate system is converted (for example, translated).
  • the output value of the area-specific difference value calculation unit 37B or the area-specific color distance calculation unit 37G is reduced in the influence of the parallax of the subject in each image. Becomes higher.
  • the compound-eye camera has a macro (close-up) shooting mode that is a shooting condition suitable for shooting a subject at a short distance
  • a macro (close-up) shooting mode that is a shooting condition suitable for shooting a subject at a short distance
  • the shooting mode information is acquired, and when the shooting mode is set to the macro shooting mode, the obstacle determination process, that is, the acquisition of the index value is performed.
  • the obstacle determination process may be excluded from the processing target of the obstacle determination.
  • the obstacle determination process is performed, but when it is determined that an obstacle is included, notification to that effect is not performed.
  • the obstacle determination process is not performed when the distance from the imaging units 21A and 21B to the subject (subject distance) is shorter than a predetermined threshold.
  • the obstacle determination process may be performed, but if it is determined that an obstacle is included, notification to that effect may not be performed.
  • the position of the focus lens of the imaging units 21A and 21B and the AF evaluation value may be used, or known stereo matching for the first and second images G1 and G2. And triangulation may be used.
  • the obstacle determination unit 37 determines that an obstacle is included, the obstacle that is included in the first and second images G1 and G2 that does not include the obstacle is detected. You may make it process the area
  • the obstacle region is a region where the absolute value of the difference between the index values is larger than the predetermined threshold value.
  • the image containing the obstacle is specified.
  • the index value is a photometric value or luminance value
  • the image that actually contains the obstacle is an image in which the obstacle area is dark
  • the index value is the AF evaluation value
  • the contrast of the obstacle area is
  • the lower image and the index value are color information, it can be specified as an image in which the color of the obstacle region is closer to black.
  • the obstacle corresponding area in the image of the first and second images G1 and G2 that does not actually contain the obstacle is indicated as the obstacle in the image that actually contains the obstacle. Processing to change the pixel value of the object area is performed.
  • the obstacle corresponding area can be set to the same darkness, contrast, and color state as the obstacle area, that is, the obstacle is included.
  • the first and second images G1, G2 are stereoscopically displayed as a through image or the like, thereby making it easier to visually recognize the presence of an obstacle.
  • the pixel value changing process not all the elements of darkness, contrast, and color may be changed, and only some of the elements may be changed.
  • the obstacle determination unit 37 and the warning information generation unit 38 of each of the embodiments described above may be used for image files of a plurality of parallax images, for example, the image files of the first image G1 and the second image G2 of each of the above embodiments ( (See FIG. 5) as an input, it is mounted on a stereoscopic display device such as a digital photo frame that performs stereoscopic display by generating a stereoscopic image GR from the input image, or a digital photo printer that performs stereoscopic printing. May be.
  • a stereoscopic display device such as a digital photo frame that performs stereoscopic display by generating a stereoscopic image GR from the input image, or a digital photo printer that performs stereoscopic printing. May be.
  • the photometric value, AF evaluation value, AWB color information, etc. in each area in the above embodiment are recorded as incidental information of the image file, and this recorded information is used. Good.
  • the imaging apparatus when the imaging apparatus is controlled not to perform the obstacle determination process in the macro shooting mode, it is determined not to be the object of the obstacle determination process.
  • the effect may be recorded as incidental information of each captured image.
  • the apparatus provided with the obstacle determination unit 37 the presence / absence of auxiliary information indicating that the obstacle determination process is determined to be excluded is determined. If this auxiliary information is present, the obstacle determination process is performed. May not be performed.
  • the shooting mode is recorded as supplementary information, the obstacle determination process may not be performed when the shooting mode is the macro shooting mode.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

【課題】複眼撮像装置において、より高い精度で、かつ、より少ない計算コストや消費電力で、撮像手段の撮像範囲内に指等の障害物が写り込んでいるかどうかを判定できるようにする。 【解決手段】障害物判定部(３７)において、撮像手段における各撮像領域内の複数の小領域毎に所定の指標値を取得し、撮像領域における位置が相対応する、異なる撮像手段の撮像領域内の小領域毎に、指標値を比較し、異なる撮像手段の撮像領域間での指標値の相違が所定の基準を満たす程度に大きい場合に、撮像手段の少なくとも１つにおける撮像領域内に、少なくとも１つの撮像手段の撮像光学系に近接する障害物が含まれていると判定する。

Description

立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム
 
本発明は、被写体の立体視表示を行うための複数の視差画像の撮像の際に、撮像手段の撮像範囲内に障害物が写り込んでいるかどうかを判定する技術に関するものである。
 
同一の被写体を異なる複数の視点から撮影することにより取得した複数の視差画像を用いて立体視表示を行うための撮影を行う、複数の撮影手段を有する複眼カメラが提案されている。
 
この複眼カメラについて、特許文献１では、複眼カメラの各々の撮像手段から得られた視差画像を用いて立体視表示した場合、ある撮像レンズに指がかかっていても、その撮像レンズ側で得られた視差画像中の指がかり部分は、指のかかっていない方の撮像レンズ側で得られた視差画像で補われるため、指がかかっていることが視認されづらいことがあるという課題が指摘されている。また、複眼カメラの各々の撮像手段から得られた視差画像のいずれかをスルー画像として複眼カメラのディスプレイに表示する場合、スルー画像として表示されていない視差画像の側の撮像レンズに指がかかっていると、撮像者はスルー画像を見るだけでは撮像レンズに対する指がかりを認識することができないという課題も指摘されている。
 
これに対して、特許文献１では、複眼カメラにおいて、各視差画像から指がかり領域の有無を判定し、指がかり領域が存在する場合は、特定された指がかり領域を強調表示等することが提案されている。
 
ここで、指がかり領域の具体的な判定方法としては、以下の３つの方法が挙げられている。第１の方法は、各視差画像に対して、測光素子の測光結果と撮像素子の測光結果を比較し、その差が所定値以上であった場合に、測光部または撮像部のいずれかに指がかり領域が存在すると判定するというものである。第２の方法は、複数の視差画像に対して、個別の画像毎に、ＡＦ評価値やＡＥ評価値、ホワイトバランスの局所的な異常がある場合に、指がかり領域が存在すると判定するというものである。第３の方法は、ステレオマッチングの手法を用いたものであり、複数の視差画像の一方から特徴点を求め、他方の視差画像から特徴点に対応する対応点を求め、対応点のない領域を指がかり発生領域と判定するものである。
 
また、特許文献２には、単眼カメラにおける指がかり領域の判定方法が記載されている。具体的には、ライブビュー画像を時系列的に複数取得し、低輝度領域の位置の経時変化を捕捉し、非移動低輝度領域を指がかり領域と判定するものである（以下、第４の方法と呼ぶ）。また、フォーカスレンズの位置を移動させつつ時系列的に取得される複数のＡＦ用画像内の所定領域のコントラストの経時変化に基づいて、レンズ位置が近側端に近づく際に所定領域のコントラスト値が増加し続ける場合、その所定領域を指がかり領域と判定する方法（以下、第５の方法と呼ぶ）も記載されている。
　
特開２０１０－１１４７６０号公報 特開２００４－４０７１２号公報
 
しかしながら、上記第１の判定方法は、撮像素子とは別に測光素子を設けたカメラにしか採用することができない。また、上記第２、第４、第５の判定方法は、１つの視差画像のみから指がかり領域を判定する方法であり、例えば、撮像範囲の周縁部により近景の対象物があり、中心部により遠景の主要被写体がある場合のように、被写体等の撮像対象の状態によっては、指がかり領域を正しく判定できない可能性がある。さらに、上記第３の判定方法で用いられるステレオマッチング法は、演算量が多くなり、処理時間が増大してしまう。上記第４の判定方法においても、ライブビュー画像を時系列的に解析して指がかり領域を判定し続ける必要があるので、計算コストや消費電力が増大してしまう。
 
本発明は上記事情に鑑みてなされたものであり、複眼撮像装置において、より高い精度で、かつ、より少ない計算コストや消費電力で、撮像手段の撮像範囲内に指等の障害物が写り込んでいるかどうかを判定できるようにすることを目的とする。
 
本発明による複眼撮像装置は、被写体を撮像して撮像画像を出力する撮像手段を複数備え、該撮像手段の各々から出力された前記撮像画像を用いた該被写体の立体視表示が可能となるように該撮像手段の各々の撮像光学系が配置された複眼撮像装置であって、該撮像手段における各撮像領域内の複数の小領域毎に所定の指標値を取得する指標値取得手段と、前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に、前記指標値を比較し、前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像手段の少なくとも１つにおける前記撮像領域内に、該少なくとも１つの撮像手段の撮像光学系に近接する障害物が含まれていると判定する障害物判定手段とを備えたことを特徴とするものである。
 
本発明による障害物判定方法は、被写体を撮像して撮像画像を出力する撮像手段を複数備え、該撮像手段の各々から出力された前記撮像画像を用いた該被写体の立体視表示が可能となるように該撮像手段の各々の撮像光学系が配置された複眼撮像装置において、前記撮像手段の少なくとも１つにおける前記撮像領域内に障害物が含まれているかどうかを判定する障害物判定方法であって、該撮像手段における各撮像領域内の複数の小領域毎に所定の指標値を取得するステップと、前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に、前記指標値を比較し、前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像手段の少なくとも１つにおける前記撮像領域内に、該少なくとも１つの撮像手段の撮像光学系に近接する障害物が含まれていると判定するステップとを有することを特徴とする。
 
本発明による障害物判定プログラムは、被写体を撮像して撮像画像を出力する撮像手段を複数備え、該撮像手段の各々から出力された前記撮像画像を用いた該被写体の立体視表示が可能となるように該撮像手段の各々の撮像光学系が配置された複眼撮像装置に組込み可能な障害物判定プログラムであって、該複眼撮像装置に、該撮像手段における各撮像領域内の複数の小領域毎に所定の指標値を取得するステップと、前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に、前記指標値を比較し、前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像手段の少なくとも１つにおける前記撮像領域内に、該少なくとも１つの撮像手段の撮像光学系に近接する障害物が含まれていると判定するステップとを実行させることを特徴とする。
 
さらに、本発明の障害物判定装置は、撮像手段を用いて異なる位置から主要被写体の撮像を行うことによって取得された、該主要被写体の立体視表示を行うための複数の撮像画像、または、該撮像画像の付帯情報から、前記撮像画像の撮像の際の撮像領域内の複数の小領域毎に所定の指標値を取得する指標値取得手段と、前記撮像領域における位置が相対応する、異なる前記撮像画像の撮像領域内の前記小領域毎に前記指標値を比較し、前記異なる撮像画像の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像画像の少なくとも１つにおける前記撮像領域内に、前記撮像手段の撮像光学系に近接する障害物が含まれていたと判定する判定手段とを設けたことを特徴とする。
 
ここで、本発明の障害物判定装置は、立体視表示・出力用の画像表示装置や写真印刷装置等に実装してもよい。
 
本発明において、「障害物」の具体例としては、撮像者の指、手の他、撮像者が撮像時に手に持っており、撮像部の画角内に入ってしまったもの（例えば携帯電話のストラップ）等、撮像者が意図しないで、撮像画像に含まれてしまうものが挙げられる。
 
「小領域」の大きさは、各撮像光学系間の距離等に基づいて、理論的および／または実験的および／または経験的に導出された大きさとすることが考えられる。
 
「所定の指標値」の具体的な取得方法としては、以下の方法が挙げられる。
 
(1)撮像手段の各々が、撮像領域内の複数の点または領域で測光を行い、測光によって得られた測光値を用いて撮像の際の露出を決定するように構成し、小領域毎の測光値を指標値として取得する。
 
(2)撮像画像の各々から小領域毎に輝度値を算出し、算出された輝度値を指標値として取得する。
 
(3)撮像手段の各々が、撮像領域内の複数の点または領域でのＡＦ評価値に基づいて各撮像手段の撮像光学系の合焦制御を行うように構成し、小領域毎のＡＦ評価値を指標値として取得する。
 
(4)撮像画像の各々から、空間周波数が所定の基準を満たす程度に高い成分を抽出し、小領域毎の高周波成分の量を指標値として取得する。
 
(5)前記撮像手段の各々が、前記撮像領域内の複数の点または領域での色情報に基づいて該各撮像手段のオートホワイトバランス制御を行うように構成し、小領域毎の色情報を指標値として取得する。
 
(6)撮像画像の各々から小領域毎に色情報を算出し、色情報を指標値として取得する。ここで、色情報としては様々な色空間を用いることができる。
 
上記(1)、(3)、または(5)において、各小領域内には、測光値、ＡＦ評価値、または色情報が取得される撮像領域内の点または領域が複数含まれるようにし、各小領域内の複数の前記点または領域での指標値に基づいて小領域毎の指標値を算出するようにしてもよい。具体的には、小領域内の前記点または領域の各々での指標値の平均値、中央値等の代表値を各小領域の指標値とすることが考えられる。
 
また、撮像手段が、本撮像による撮像画像の出力と、本撮像に先立って行われる、本撮像の撮像条件の決定のためのプレ撮像による撮像画像の出力とを行うように構成し、プレ撮像に応じて指標値を取得するようにしてもよい。例えば、上記(1)、(3)、または(5)の場合、撮像者によるプレ撮像のための操作に応じて、撮像手段が測光やＡＦ評価値や色情報の算出を行ってもよい。一方、上記(2)、(4)、(6)の場合、プレ撮像による撮像画像に基づいて指標値を取得するようにしてもよい。
 
「前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に、前記指標値を比較し」について、比較対象となる小領域は、異なる撮像手段の撮像領域に属するものであり、各撮像領域における位置が相対応するものである。ここで、「各撮像領域における位置が相対応する」とは、例えば、各撮像領域について、領域の左上端を原点とし、右方向をｘ軸の正の方向、下方向をｙ軸の正の方向とする座標系を設けた場合に、各小領域の位置座標が一致することを意味する。ここで、各撮像手段から出力された撮像画像中の主要被写体の視差が略０となるように視差調整を行った後（各撮像領域の位置の対応関係の調整を行った後）、上記のようにして、各小領域の、各撮像領域における位置の対応関係を求めるようにしてもよい。
 
「前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合」とは、異なる撮像手段の撮像領域間で、全体として、指標値に有意な差がある場合を意味する。すなわち、「所定の基準」とは、小領域毎の指標値の相違を撮像領域全体として総合的に判断するための基準を意味する。したがって、「前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合」の具体例としては、異なる撮像手段の撮像領域について、相対応する小領域間での指標値の差の絶対値や比が所定の閾値よりも大きい小領域の組が所定の閾値以上存在する場合が挙げられる。
 
また、本発明において、撮像領域の中心部は、上記の指標値の取得および／または障害物の判定の処理対象外としてもよい。
 
また、本発明において、複数種類の指標値を取得するようにしてもよい。この場合、複数種類の指標値毎に上記の比較を行い、少なくとも１つの指標値の相違が所定の基準を満たす程度に大きい場合に、撮像手段の少なくとも１つにおける撮像領域内に障害物が含まれていると判定するようにしてもよい。あるいは、複数の指標値において、その相違が所定の基準を満たす程度に大きい場合に、撮像手段の少なくとも１つにおける撮像領域内に障害物が含まれていると判定するようにしてもよい。
 
また、本発明において、撮像領域内に障害物が含まれていると判定された場合に、その旨を通知するようにしてもよい。
 
本発明によれば、複眼撮像装置の複数の撮像手段の各々における撮像領域内の複数の小領域毎に所定の指標値を取得し、撮像領域における位置が相対応する、異なる撮像手段の撮像領域内の小領域毎に、指標値を比較し、撮像領域間での指標値の相違が所定の基準を満たす程度に大きい場合に、撮像手段の少なくとも１つにおける撮像領域内に障害物が含まれていると判定することができる。
 
ここで、異なる撮像手段の撮像領域間での指標値の比較によって、障害物の有無の判定が行われるので、背景技術として挙げた上記第１の判定方法のように、撮像素子とは別に測光素子を設ける必要がなくなり、ハードウェア設計上の自由度が上がる。
 
また、障害物が含まれている領域の存在は、異なる撮像手段による撮像画像の差異としてより顕著に現れ、その差異は、各撮像手段の間での視差によって画像中に現れる誤差よりも大きい。したがって、本発明のように異なる撮像手段の撮像領域間での指標値の比較を行うことにより、上記第２、第４、第５の判定方法のように１つの撮像画像のみから障害物が含まれている領域を判定する場合よりも高い精度で、この判定を行うことができる。
 
さらに、本発明では、撮像領域における位置が相対応する小領域毎に指標値の比較を行うので、上記第３の判定方法のように画像の内容的特徴に基づく撮像画像間のマッチングを行う場合よりも、計算コストや消費電力を低減することができる。
 
以上のように、本発明によれば、複眼撮像装置において、より高い精度で、かつ、より少ない計算コストや消費電力で、撮像手段の撮像範囲内に指等の障害物が写り込んでいるかどうかを判定することが可能になる。なお、本発明の障害物判定装置においても、すなわち、本発明の障害物判定装置が実装された立体視用画像の出力装置においても、同様の効果が得られる。
 
また、指標値として、撮像手段で得られる測光値やＡＦ評価値や色情報を用いるようにした場合には、撮像手段での撮像動作の中で通常取得される数値を流用することになるので、新たな指標値を算出する処理を行う必要がなくなり、処理効率の点でより有利となる。
 
また、指標値として測光値や輝度値を用いるようにした場合には、撮像領域内の障害物とその背景が同様のテクスチャーの場合や同色の場合であっても、撮像領域内の障害物とその背景の明るさの違いに基づいて、障害物が含まれていることを確実に判定することが可能になる。
 
また、指標値としてＡＦ評価値や高周波成分の量を用いるようにした場合には、撮像領域内の障害物とその背景が同程度の明るさの場合や同色の場合であっても、撮像領域内の障害物とその背景のテクスチャーの違いに基づいて、障害物が含まれていることを確実に判定することが可能になる。
 
また、指標値として色情報を用いるようにした場合には、撮像領域内の障害物とその背景が同程度の明るさの場合や同様のテクスチャーの場合であっても、撮像領域内の障害物とその背景の色の違いに基づいて、障害物が含まれていることを確実に判定することが可能になる。
 
また、複数の種類の指標値を用いるようにした場合には、各指標値の特性に基づく長所・短所を互いに補い合うことにより、撮像領域内の障害物とその背景が様々な状況にあっても、より高い精度で、かつ、より安定した精度で障害物が含まれていることを判定することが可能になる。
 
また、小領域の大きさをある程度大きくした場合、例えば、各小領域内に、撮像手段で測光値やＡＦ評価値が取得される点や領域が複数存在するようにし、小領域内の各点または領域での測光値やＡＦ評価値に基づいて小領域毎の指標値を算出するようにした場合、各撮像手段間での視差による誤差が小領域内に拡散されることになるので、より高い精度で障害物が含まれていることを判定することが可能になる。
 
一方、撮像手段の各々から出力された撮像画像中の主要被写体の視差が略０となるように、各撮像領域の位置の対応関係を調整した後、撮像領域における位置が相対応する、異なる撮像手段の撮像領域内の小領域毎に指標値を比較するようにした場合、各撮像画像間での視差による被写体の位置ずれが小さくなるので、各撮像画像間での指標値の相違が障害物の存在を表している可能性がより高くなり、より高い精度で障害物が含まれていることを判定することが可能になる。
 
また、撮像領域の中心部を指標値の取得や障害物の判定の処理対象外とした場合には、撮像手段の撮像光学系に近接する障害物は、少なくとも撮像領域の周辺部には必ず存在することから、障害物が含まれている可能性がより低い中心部を処理対象から除くことにより、判定精度が向上する。
 
また、本撮像に先立って行われる、該本撮像の撮像条件の決定のためのプレ撮像に応じて指標値を取得するようにした場合には、本撮像を行う前に、障害物が含まれていることを判定することが可能になるので、例えば、その旨を通知することにより、本撮像の失敗を事前に回避することができる。なお、本撮像に応じて指標値を取得するようにしたとしても、例えば、その旨を通知することにより、撮像者はすぐに本撮像の失敗に気づくことができ、迅速に再撮像を行うことが可能になる。
 
本発明の実施形態となる複眼カメラの正面側斜視図 複眼カメラの背面側斜視図 複眼カメラの内部構成を示す概略ブロック図 複眼カメラの各撮像部の構成を示す図 立体視用画像の画像ファイルのファイルフォーマットを示す図 モニタの構成を示す図 レンチキュラーシートの構成を示す図 ３次元処理を説明するための図 障害物が含まれる視差画像を示す図 障害物が含まれない視差画像を示す図 警告メッセージの表示例を示す図 本発明の第１、第３、第４、第６の実施形態となる障害物判定部の詳細を表すブロック図 障害物が含まれる撮像領域中の各エリアにおける測光値の一例を表す図 障害物が含まれない撮像領域中の各エリアにおける測光値の一例を表す図 相対応するエリアでの測光値の差分値の一例を表す図 相対応するエリアでの測光値の差分値の絶対値の一例を表す図 本発明の第１、第３、第４、第６の実施形態における撮像処理の流れを表すフローチャート 本発明の第２、第５の実施形態となる障害物判定部の詳細を表すブロック図 障害物が含まれる撮像領域中の各エリアにおける測光値を近接４エリアで平均した結果の一例を表す図 障害物が含まれない撮像領域中の各エリアにおける測光値を近接４エリアで平均した結果の一例を表す図 相対応する統合エリアでの平均測光値の差分値の一例を表す図 相対応する統合エリアでの平均測光値の差分値の絶対値の一例を表す図 本発明の第２、第５の実施形態における撮像処理の流れを表すフローチャート カウント対象外の中心部のエリアの一例を表す図 障害物が含まれる撮像領域中の各エリアにおけるＡＦ評価値の一例を表す図 障害物が含まれない撮像領域中の各エリアにおけるＡＦ評価値の一例を表す図 相対応するエリアでのＡＦ評価値の差分値の一例を表す図 相対応するエリアでのＡＦ評価値の差分値の絶対値の一例を表す図 障害物が含まれる撮像領域中の各エリアにおけるＡＦ評価値を近接４エリアで平均した結果の一例を表す図 障害物が含まれない撮像領域中の各エリアにおけるＡＦ評価値を近接４エリアで平均した結果の一例を表す図 相対応する統合エリアでの平均ＡＦ評価値の差分値の一例を表す図 相対応する統合エリアでの平均ＡＦ評価値の差分値の絶対値の一例を表す図 カウント対象外の中心部のエリアの他の一例を表す図 本発明の第７、第９の実施形態となる障害物判定部の詳細を表すブロック図 撮像部の撮像光学系の下部に障害物が含まれる場合の、撮像領域中の各エリアにおける第１の色情報の例を表す図 障害物が含まれない撮像領域中の各エリアにおける第１の色情報の例を表す図 撮像部の撮像光学系の下部に障害物が含まれる場合の、撮像領域中の各エリアにおける第２の色情報の例を表す図 障害物が含まれない撮像領域中の各エリアにおける第２の色情報の例を表す図 相対応するエリアでの色情報の距離の一例を表す図 本発明の第７、第９の実施形態における撮像処理の流れを表すフローチャート 本発明の第８の実施形態となる障害物判定部の詳細を表すブロック図 撮像部の撮像光学系の下部に障害物が含まれる場合の、撮像領域中の各エリアにおける第１の色情報を近接４エリアで平均した結果の例を表す図 障害物が含まれない撮像領域中の各エリアにおける第１の色情報を近接４エリアで平均した結果の例を表す図 撮像部の撮像光学系の下部に障害物が含まれる場合の、撮像領域中の各エリアにおける第２の色情報を近接４エリアで平均した結果の例を表す図 障害物が含まれない撮像領域中の各エリアにおける第２の色情報を近接４エリアで平均した結果の例を表す図 相対応する統合エリアでの色情報の距離の一例を表す図 本発明の第８の実施形態における撮像処理の流れを表すフローチャート カウント対象外の中心部のエリアの他の一例を表す図 本発明の第１０、第１１の実施形態となる障害物判定部の詳細を表すブロック図 本発明の第１０の実施形態における撮像処理の流れを表すフローチャート（前半） 本発明の第１０の実施形態における撮像処理の流れを表すフローチャート（後半） 本発明の第１１の実施形態における撮像処理の流れを表すフローチャート（前半） 本発明の第１１の実施形態における撮像処理の流れを表すフローチャート（後半）
 
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態となる複眼カメラの正面側斜視図、図２は背面側斜視図である。図１に示すように、複眼カメラ１の上部には、レリーズボタン２、電源ボタン３およびズームレバー４が備えられている。デジタルカメラ１の正面には、フラッシュ５および２つの撮像部２１Ａ，２１Ｂのレンズが配設されている。また、背面には、各種表示を行う液晶モニタ（以下単にモニタとする）７および各種操作ボタン８が配設されている。
 
図３は複眼カメラ１の内部構成を示す概略ブロック図である。図３に示すように、本発明の実施形態となる複眼カメラ１は、公知の複眼カメラと同様に、２つの撮像部２１Ａ，２１Ｂ、フレームメモリ２２、撮像制御部２３、ＡＦ処理部２４、ＡＥ処理部２５、ＡＷＢ処理部２６、デジタル信号処理部２７、３次元処理部２８、表示制御部２９、圧縮／伸長処理部３０、メディア制御部３１、入力部３３、ＣＰＵ３４、内部メモリ３５、データバス３６を備えている。なお、撮像部２１Ａ，２１Ｂは、被写体を見込む輻輳角を持って、あらかじめ定められた基線長となるように配置されている。なお、輻輳角および基線長の情報は内部メモリ２７に記憶されている。
 
図４は、撮像部２１Ａ，２１Ｂの構成を示す図である。図４に示すように撮像部２１Ａ，２１Ｂは、公知の複眼カメラと同様に、レンズ１０Ａ，１０Ｂ、絞り１１Ａ，１１Ｂ、シャッタ１２Ａ，１２Ｂ、撮像素子１３Ａ，１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ，１４ＢおよびＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備える。
 
レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、撮像制御部２２が行うＡＦ処理により得られる合焦データおよび不図示のズームレバーを操作することにより得られるズームデータに基づいて、不図示のレンズ駆動部によりその位置が調整される。
 
絞り１１Ａ，１１Ｂは、撮像制御部２２が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。
 
シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。
 
撮像素子１３Ａ，１３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、撮像素子１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
 
ＡＦＥ１４Ａ，１４Ｂは、撮像素子１３Ａ，１３Ｂから出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。
 
Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮像部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１、撮像部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。
 
フレームメモリ２２は、撮像部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２を表す画像データが、画像入力コントローラ（図示なし）を介して取り込まれる作業用メモリであり、各種処理を行う際に使用される。
 
撮像制御部２３は、各部の処理のタイミングの制御を行う。具体的には、レリーズボタン２の全押し操作により、撮像部２１Ａ，２１Ｂに対して第１および第２の画像Ｇ１，Ｇ２の本画像を取得させる本撮像の指示を行う。なお、レリーズボタン２が操作される前は、撮像制御部２３は、撮像範囲を確認させるための、第１および第２の画像Ｇ１，Ｇ２の本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮像部２１Ａ，２１Ｂに対して行う。
 
ＡＦ処理部２４は、レリーズボタン２の半押し操作により撮像部２１Ａ，２１Ｂが取得した各プレ画像の画像信号に基づいてＡＦ評価値を算出し、ＡＦ評価値に基づいて合焦領域を決定するとともにレンズ１０Ａ，１０Ｂの焦点位置を決定し、撮像部２１Ａ，２１Ｂに出力する。ここでは、ＡＦ処理による焦点位置の検出方式としては、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が採用されている。例えば、ＡＦ評価値は、所定のハイパスフィルタの出力値とすることができ、この場合、その値が大きいほどコントラストが高いことを意味する。
 
ＡＥ処理部２５は、ここでは多分割測光方式が採用されており、各プレ画像の画像信号を用いて、撮像領域を複数のエリアに分割して個別に測光し、各エリアの測光値に基づいて露出（絞り値とシャッタ速度）を決定し、撮像部２１Ａ，２１Ｂに出力する。
 
ＡＷＢ処理部２６は、プレ画像のＲ，Ｇ，Ｂの各画像信号を用いて、撮像領域を分割した複数のエリア毎に、オートホワイトバランス用の色情報を算出する。
 
ＡＦ処理部２４、ＡＥ処理部２５、ＡＷＢ処理部２６は、撮像部毎に順次処理を行ってもよいし、各処理部を撮像部の数だけ設け、並列的に処理を行ってもよい。
 
デジタル信号処理部２７は、撮像部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、デジタル信号処理部２７における処理後の第１および第２の画像についても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。
 
圧縮／伸長処理部２８は、デジタル信号処理部２７によって処理が施された第１および第２の画像Ｇ１，Ｇ２の本画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルＦ０を生成する。この立体視用の画像ファイルＦ０には、第１および第２の画像Ｇ１，Ｇ２の画像データを含み、Ｅｘｉｆフォーマット等に基づいて、基線長、輻輳角および撮像日時等の付帯情報、および視点位置を表す視点情報が格納される。
 
図５は立体視用画像の画像ファイルのファイルフォーマットを示す図である。図５に示すように立体視用の画像ファイルＦ０は、第１の画像Ｇ１の付帯情報Ｈ１、第１の画像Ｇ１の視点情報Ｓ１、第１の画像Ｇ１の画像データ（画像データについても参照符号Ｇ１を用いるものとする）、第２の画像Ｇ２の付帯情報Ｈ１、第２の画像Ｇ２の視点情報Ｓ２、および第２の画像Ｇ２の画像データが格納されてなる。また、図示はしないが、第１および第２の画像Ｇ１，Ｇ２についての付帯情報、視点情報および画像データの前後には、データの開始位置および終了位置を表す情報が含まれる。また、付帯情報Ｈ１，Ｈ２には第１および第２の画像Ｇ１，Ｇ２の撮像日、基線長、および輻輳角の情報が含まれる。また、付帯情報Ｈ１，Ｈ２には第１および第２の画像Ｇ１，Ｇ２のサムネイル画像も含まれる。なお、視点情報としては、例えば左側の撮像部から順に付与した視点位置の番号を用いることができる。
 
メディア制御部２９は、記録メディア３０にアクセスして画像ファイル等の書き込みと読み込みの制御を行う。
 
表示制御部３１は、撮像時においてフレームメモリ２２に格納された第１および第２の画像Ｇ１，Ｇ２および第１および第２の画像Ｇ１，Ｇ２から生成された立体視用画像ＧＲをモニタ７に表示させたり、記録メディア３０に記録されている第１および第２の画像Ｇ１，Ｇ２および立体視用画像ＧＲをモニタ７に表示させたりする。
 
図６はモニタ７の構成を示す図である。図６に示すように、モニタ７は、ＬＥＤにより発光するバックライトユニット４０および各種表示を行うための液晶パネル４１を積層し、液晶パネル４１にレンチキュラーシート４２を取り付けることにより構成されている。
 
図７はレンチキュラーシートの構成を示す図である。図７に示すようにレンチキュラーシート４２は、複数のシリンドリカルレンズ４３を並列に並べることにより構成されている。
 
３次元処理部３２は、第１および第２の画像Ｇ１，Ｇ２をモニタ７に立体視表示させるために、第１および第２の画像Ｇ１，Ｇ２に３次元処理を行って立体視用画像ＧＲを生成する。図８は３次元処理を説明するための図である。図８に示すように３次元処理部３０は、第１および第２の画像Ｇ１，Ｇ２を垂直方向に短冊状に切り取り、レンチキュラーシート４２におけるシリンドリカルレンズ４３のそれぞれに、位置が対応する短冊状に切り取った第１および第２の画像Ｇ１，Ｇ２を交互に配置するように３次元処理を行って、立体視用画像ＧＲを生成する。なお、３次元処理部３０は、立体視用画像ＧＲの立体感を適切なものとするために、第１および第２の画像Ｇ１，Ｇ２の視差を補正するようにしてもよい。ここで、視差は、第１および第２の画像Ｇ１，Ｇ２の双方に含まれる被写体の、第１および第２の画像Ｇ１，Ｇ２の横方向における画素位置の相違として算出することができる。視差を調整することにより、立体視用画像ＧＲに含まれる被写体の立体感を適切なものとすることができる。
 
入力部３３は、撮像者が複眼カメラ１の操作を行うためのインターフェースであり、レリーズボタン２、ズームレバー４および各種操作ボタン８等が該当する。
 
ＣＰＵ３４は、上記各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。
 
内部メモリ３５は、複眼カメラ１において設定される各種定数、およびＣＰＵ３４が実行するプログラム等を記憶する。
 
データバス３６は、複眼カメラ１を構成する各部およびＣＰＵ３５に接続されており、複眼カメラ１における各種データおよび各種情報のやり取りを行う。
 
本発明の実施形態となる複眼カメラ１は、上記の構成に加えて、本発明の障害物判定処理を実現する障害物判定部３７、警告情報生成部３８をさらに備えている。
 
撮像者が本実施形態による複眼カメラ１を用いて撮像を行う場合、モニタ７に表示される立体視用のスルー画像を見ながらフレーミングを行うが、この際、例えば、複眼カメラ１を保持する左手の指が撮像部２１Ａの画角内に入ってしまい、撮像部２１Ａの画角の一部を遮ってしまう場合がある。このような場合、図９Ａに例示したように、撮像部２１Ａにより取得される第１の画像Ｇ１には、下部に指が障害物として含まれてしまい、その背景が見えなくなってしまう。一方、図９Ｂに例示したように、撮像部２１Ｂにより取得される第２の画像Ｇ２には、障害物は含まれていない。
 
このような場合、第１の画像Ｇ１がモニタ７に平面的に表示される構成であれば、撮像者はモニタ７のスルー画像を見ることにより、撮像部２１Ａに指等がかかっていることを認識することが可能である。しかしながら、第２の画像Ｇ２がモニタ７に平面的に表示される構成であれば、撮像者はモニタ７のスルー画像を見ても、撮像部２１Ａに指等がかかっていることを認識することができない。また、モニタ７には第１の画像Ｇ１および第２の画像Ｇ２から生成された立体視用画像ＧＲが立体視表示されている場合には、第１の画像中の指等がかかっている領域の背景の情報は、第２の画像Ｇ２によって補われてしまうので、撮像者はモニタ７のスルー画像を見ても、撮像部２１Ａに指等がかかっていることを認識しづらい。
 
そこで、障害物判定部３７は、第１および第２の画像Ｇ１，Ｇ２の一方に指等の障害物が含まれるか否かを判定する。
 
警告情報生成部３８は、障害物判定部３７において、障害物が含まれていると判定された場合に、その旨を表す警告メッセージ、例えば、「障害物あり」の文字を生成する。生成された警告メッセージは、図９に例示したように、第１または第２の画像Ｇ１，Ｇ２に重畳されてモニタ７に表示される。なお、警告メッセージは、上記のように文字情報として撮像者に通知されるようにしてもよいし、複眼カメラ１のスピーカー（図示なし）等の音声出力インターフェースを介して、音声で通知されるようにしてもよい。
 
図１１は、本発明の第１の実施形態となる障害物判定部３７および警告情報生成部３８の構成を模式的に表したブロック図である。図に示したように、本発明の第１の実施形態において、障害物判定部３７は、指標値取得部３７Ａ、エリア別差分値算出部３７Ｂ、エリア別差分絶対値算出部３７Ｃ、エリア計数部３７Ｄ、判定部３７Ｅから構成される。これらの障害物判定部３７の各処理部は、ＣＰＵ３４、あるいは、障害物判定部３７用の汎用プロセッサで実行される組み込みプログラムによってソフトウェア的に実現してもよいし、障害物判定部３７用の専用プロセッサとしてハードウェア的に実現してもよい。なお、ソフトウェア的に実現する場合、既存の複眼カメラに対してファームウェアの更新という方式で上記プログラムを提供してもよい。
 
指標値取得部３７Ａは、ＡＥ処理部２５で得られた、各撮像部２１Ａ，２１Ｂの各撮像領域中の各エリアの測光値を取得する。図１２Ａは、撮像部２１Ａの撮像光学系の下部に障害物が含まれる場合の、撮像領域中の各エリアにおける測光値の一例を表したものであり、図１２Ｂは、障害物が含まれない撮像領域中の各エリアにおける測光値の一例を表したものである。ここでは、各値は、各撮像部２１Ａ、２１Ｂの各撮像領域の中央７０％を７×７エリアに分割して測光した１００倍精度の測光値となっている。図１２Ａに示したように、障害物が含まれるエリアは暗くなる傾向があり、測光値は小さくなっている。
 
エリア別差分値算出部３７Ｂは、各撮像領域中の相対応する位置にあるエリア間で、測光値の差分を算出する。すなわち、撮像部２１Ａの撮像領域中のｉ行目ｊ列目のエリアの測光値をＩＶ１(i,j)、撮像部２１Ｂの撮像領域中のｉ行目ｊ列目のエリアの測光値をＩＶ２(i,j)とすると、相対応するエリアでの測光値の差分値△ＩＶ(i,j)は、
△   
ＩＶ(i,j)＝ＩＶ１(i,j)－ＩＶ２(i,j)
により算出される。図１３は、図１２Ａの各測光値をＩＶ１(i,j)、図１２Ｂの各測光値をＩＶ２(i,j)とした時に、相対応するエリア毎に差分値△ＩＶ(i,j)を算出した例である。
 
エリア別差分絶対値算出部３７Ｃは、上記差分値△ＩＶ(i,j)の絶対値｜△ＩＶ(i,j)｜を算出する。図１４は、図１３の差分値の絶対値を算出した例である。図に示したように、撮像部の撮像光学系の一方に障害物がかかっている場合、撮像領域中のその障害物がかかっている領域では、上記絶対値｜△ＩＶ(i,j)｜の値が大きくなる。
 
エリア計数部３７Ｄは、上記絶対値｜△ＩＶ(i,j)｜の値と所定の第１の閾値とを比較し、上記絶対値｜△ＩＶ(i,j)｜の値が第１の閾値よりも大きいエリアの数ＣＮＴをカウントする。例えば、図１４の場合、上記閾値を１００とすると、上記絶対値｜△ＩＶ(i,j)｜の値が１００よりも大きいのは、４９エリア中１３エリアとなっている。
 
判定部３７Ｅは、エリア計数部３７Ｄで得られたカウント数ＣＮＴの値と所定の第２の閾値とを比較し、上記カウント数ＣＮＴの値が第２の閾値よりも大きい場合には、警告メッセージの出力を要求する信号ＡＬＭを出力する。例えば、図１４の場合、第２の閾値を５とすると、上記カウント数ＣＮＴは１３で、第２の閾値よりも大きいので、信号ＡＬＭが出力される。
 
警告情報生成部３８は、判定部３７Ｅから信号ＡＬＭが出力された場合に、警告メッセージＭＳＧを生成し、出力する。
 
なお、上記説明において、第１および第２の閾値は、予め実験的・経験的に定められた固定値としてもよいし、撮像者が入力部３３を操作して設定・変更できるようにしてもよい。
 
図１５は、本発明の第１の実施形態において行われる処理の流れを表したフローチャートである。まず、レリーズボタン２の半押し操作が検知されると(#1;YES)、撮像部２１Ａ，２１Ｂにより撮像条件決定のためのプレ画像Ｇ１，Ｇ２が各々取得される(#2)。次に、ＡＦ処理部２４、ＡＥ処理部２５、ＡＷＢ処理部２６の各々が処理を行い、各種撮像条件が決定され、決定された撮像条件に応じて撮像部２１Ａ，２１Ｂの各部の調整が行われる(#3)。このとき、ＡＥ処理部２５により、各撮像部２１Ａ，２１Ｂの各撮像領域中の各エリアの測光値ＩＶ１(i,j)、ＩＶ２(i,j)が取得される。
 
そして、障害物判定部３７において、指標値取得部３７Ａが、各エリアの測光値ＩＶ１(i,j)、ＩＶ２(i,j)を取得し(#4)、エリア別差分値算出部３７Ｂが、各撮像領域中の相対応する位置にあるエリア間で、測光値ＩＶ１(i,j)、ＩＶ２(i,j)の差分△ＩＶ(i,j)を算出し(#5)、エリア別差分絶対値算出部３７Ｃが差分△ＩＶ(i,j)の絶対値｜△ＩＶ(i,j)｜を算出する(#6)。ここで、エリア計数部３７Ｄが、絶対値｜△ＩＶ(i,j)｜の値が第１の閾値よりも大きいエリアの数ＣＮＴをカウントする(#7)。判定部３７Ｅは、カウント数ＣＮＴの値が第２の閾値よりも大きい場合には(#8;YES)、警告メッセージの出力を要求する信号ＡＬＭを出力し、警告情報生成部３８がこの信号ＡＬＭに応じて警告メッセージＭＳＧを生成する。生成された警告メッセージＭＳＧは、現在モニタ７に表示されているスルー画像に重畳されて表示される(#9)。一方、カウント数ＣＮＴの値が第２の閾値以下の場合には(#8;NO)、上記ステップ#9はスキップされる。
 
その後、レリーズボタン２の全押し操作が検知されると(#10;全押し)、撮像部２１Ａ，２１Ｂで本撮像が行われ、本撮像画像Ｇ１，Ｇ２が各々取得され(#11)、デジタル信号処理部２７による処理等を経た後、３次元処理部３０によって、第１の画像Ｇ１および第２の画像Ｇ２から立体視用画像ＧＲが生成され、出力され(#12)、一連の処理が終了する。なお、ステップ#10において、レリーズボタン２が半押しのままの場合は(#10;半押し)、ステップ#3で設定された撮像条件を維持したまま、レリーズボタン２の操作待ちとなり、半押しが解除された場合は(#10;解除)、レリーズボタン２の半押し操作待ち(#1)に戻る。
 
以上のように、本発明の第１の実施形態では、ＡＥ処理部２５によって、複眼カメラ１の複数の撮像部２１Ａ，２１Ｂの各々における撮像領域内の複数のエリア毎に取得された測光値を用いて、障害物判定部３７が、撮像領域における位置が相対応する、異なる撮像部の撮像領域内のエリア毎に測光値の差分の絶対値を求め、その差分の絶対値が所定の第１の閾値よりも大きいエリアの数を計数し、計数されたエリアの数が所定の第２の閾値よりも大きい場合に、撮像部２１Ａ、２１Ｂの少なくとも１つにおける撮像領域内に障害物が含まれていると判定することができる。したがって、障害物の判定のために、撮像素子とは別に測光素子を設ける必要がなくなり、ハードウェア設計上の自由度が上がる。また、異なる撮像部の撮像領域間での測光値の比較を行うことにより、１つの画像のみから障害物が含まれている領域を判定する場合よりも高い精度で、障害物の有無を判定することが可能になる。さらに、撮像領域における位置が相対応するエリア毎に測光値の比較を行うので、画像の内容的特徴に基づく撮像画像間のマッチングを行う場合よりも、計算コストや消費電力を低減することができる。
 
また、障害物判定部３７は、通常の撮像動作の中で取得される測光値を用いて障害物の有無の判定を行うので、新たな指標値を算出する処理を行う必要がなく、処理効率の点でより有利となる。
 
さらに、測光値を障害物の有無の判定のための指標値として用いるので、撮像領域内の障害物とその背景が同様のテクスチャーの場合や同色の場合であっても、撮像領域内の障害物とその背景の明るさの違いに基づいて、障害物が含まれていることを確実に判定することが可能になる。
 
さらに、各エリアは、１画素のサイズに対応する大きさよりも十分に大きく分割されているので、各撮像部間での視差による誤差がエリア内に拡散されることになり、より高い精度で障害物が含まれていることを判定することが可能になる。なお、エリアの分割は上記の７×７には限定されない。
 
さらに、障害物判定部３７は、本撮像に先立って行われるプレ撮像に応じて測光値を取得するので、本撮像を行う前に、撮像部に障害物がかかっていることを判定することが可能になり、障害物がかかっている場合には、警告情報生成部３８によって生成されるメッセージが撮像者に通知されることにより、本撮像の失敗を事前に回避することができる。
 
なお、上記実施形態では、障害物判定部３７は、ＡＥ処理部２５によって取得される測光値を用いて障害物の有無の判定を行っているが、露出方式が異なる場合等、撮像領域中のエリア毎の測光値が得られない場合も考えられる。このような場合には、各撮像部２１Ａ、２１Ｂで得られた画像Ｇ１，Ｇ２を上記と同様の複数のエリアに分割し、エリア毎の輝度値の代表値（平均値や中央値等）を算出するようにすればよい。これにより、輝度値の代表値の算出の処理負荷の点を除けば、上記と同様の作用効果が得られる。
 
図１６は、本発明の第２の実施形態となる障害物判定部３７および警告情報生成部３８の構成を模式的に表したブロック図である。図に示したように、本発明の第２の実施形態は、第１の実施形態に平均指標値算出部３７Ｆを付加した構成となっている。
 
この平均指標値算出部３７Ｆは、指標値取得部３７Ａによって取得されたエリア毎の指標値ＩＶ１(i,j)、ＩＶ２(i,j)の各々に対して、隣接する４つのエリアにおける測光値の平均値ＩＶ１´(m,n)、ＩＶ２´(m,n)を算出する。なお、ｍ、ｎは、上記計算によって、出力後のエリアの数（行数や列数）が減少し、入力時のエリアの数とは異なることを意味している。図１７Ａ、図１７Ｂは、図１２Ａ、図１２Ｂの７×７エリアの測光値に対して、隣接する４つのエリア（例えば、図１２ＡのＲ１で囲まれた４つのエリア）の測光値の平均値を算出していくことによって、６×６エリアの平均測光値（上記Ｒ１で囲まれた４つのエリアの平均測光値は、図１７ＡのＲ２で囲まれたエリアの値となっている）が得られた例を示している。ここで、平均値を算出する対象となる入力側のエリアの数は４には限定されない。なお、以下では、この出力後のエリアを統合エリアと呼ぶ。
 
以降の各処理部は、エリアが統合エリアに置き換わることを除き、第１の実施形態と同様である。
 
すなわち、本実施形態では、エリア別差分値算出部３７Ｂは、各撮像領域中の相対応する位置にある統合エリア間で、平均測光値の差分△ＩＶ´(m,n)を算出する。図１８は、図１７Ａ、図１７Ｂの各平均測光値に対して、相対応する統合エリア毎に差分値を算出した例である。
 
また、エリア別差分絶対値算出部３７Ｃは、上記平均測光値の差分値△ＩＶ´(m,n)の絶対値｜△ＩＶ´(m,n)｜を算出する。図１９は、図１８の平均測光値の差分値の絶対値を算出した例である。
 
エリア計数部３７Ｄは、上記平均測光値の差分値の絶対値｜△ＩＶ´(m,n)｜が第１の閾値よりも大きい統合エリアの数ＣＮＴをカウントする。図１９の例では、上記閾値を１００とすると、上記絶対値｜△ＩＶ(i,j)｜の値が１００よりも大きいのは、３６エリア中８エリアとなっている。なお、カウント対象のエリアの母数が第１の実施形態とは異なるので、第１の閾値は第１の実施形態とは異なる値としてもよい。
 
判定部３７Ｅは、上記カウント数ＣＮＴの値が第２の閾値よりも大きい場合には、警告メッセージの出力を要求する信号ＡＬＭを出力する。なお、この第２の閾値も、第１の閾値と同様に、第１の実施形態とは異なる値としてもよい。
 
図２０は、本発明の第２の実施形態において行われる処理の流れを表したフローチャートである。図に示したとおり、ステップ#4において、指標値取得部３７Ａが、各エリアの測光値ＩＶ１(i,j)、ＩＶ２(i,j)を取得した後、平均指標値算出部３７Ｆが、エリア毎の指標値ＩＶ１(i,j)、ＩＶ２(i,j)の各々に対して、隣接する４つのエリアにおける測光値の平均値ＩＶ１´(m,n)、ＩＶ２´(m,n)を算出する(#4.1)。以降の処理の流れは、エリアが統合エリアに置き換わることを除き、第１の実施形態と同様である。
 
以上のように、本発明の第２の実施形態では、平均指標値算出部３７Ｆが、測光時のエリアを統合し、統合後の各エリアに対して平均測光値を算出するので、各撮像部間での視差による誤差がエリアの統合によって拡散されることになるので、誤判定の減少に資する。
 
なお、本実施形態において、統合後のエリアにおける指標値（測光値）は、統合前のエリアの指標値の平均値には限定されず、中央値等の他の代表値であってもよい。
 
本発明の第３の実施形態は、第１の実施形態における測光時のエリアＩＶ１(i,j)、ＩＶ２(i,j)の各々のうち、中心付近のエリアは、処理対象外とした実施態様である。
 
具体的には、エリア計数部３７Ｄが、図１５のフローチャートのステップ#7において、相対応するエリア毎の測光値の差の絶対値｜△ＩＶ(i,j)｜の値と所定の第１の閾値が第１の閾値よりも大きいエリアの数ＣＮＴをカウントする際に、中心付近のエリアを除いてカウントするようにすればよい。図２１は、図１４の７×７のエリアのうち、中心付近の３×３のエリアはカウント対象外とした例である。この場合、閾値を１００とすると、上記絶対値｜△ＩＶ(i,j)｜の値が１００よりも大きいのは、周辺部の４０エリア中１１エリアとなり、判定部３７Ｅは、この値（１１）と第２の閾値とを比較することにより、障害物の有無を判定する。
 
あるいは、指標値取得部３７Ａが、中心付近の３×３エリアの測光値を取得しないようにしてもよいし、エリア別差分値算出部３７Ｂやエリア別差分絶対値算出部３７Ｃが、中心付近の３×３エリアに対しては計算を行わないようにし、エリア計数部３７Ｄにおいてカウント対象外となるような値を中心付近の３×３エリアに対して設定するようにしてもよい。
 
なお、中心付近のエリアの数は３×３には限定されない。
 
以上のように、本発明の第３の実施形態は、障害物が必ず撮像領域の周辺部から進入してくることを利用したものであり、撮像領域の中心部を測光値の取得や障害物の判定の処理対象外としたことにより、障害物が含まれている可能性がより低い中心部を処理対象から除外され、判定精度が向上する。
 
本発明の第４の実施形態は、第１の実施形態における測光値の代わりにＡＦ評価値を指標値として用いるようにした実施形態である。すなわち、図１１のブロック図の指標値取得部３７Ａが、図１５のフローチャートのステップ#4において、ＡＦ処理部２４で得られた、各撮像部２１Ａ，２１Ｂの各撮像領域中の各エリアのＡＦ評価値を取得する点を除き、第１の実施形態と同様である。
 
図２２Ａは、撮像部２１Ａの撮像光学系の下部に障害物が含まれる場合の、撮像領域中の各エリアにおけるＡＦ評価値の一例を表したものであり、図２２Ｂは、障害物が含まれない撮像領域中の各エリアにおけるＡＦ評価値の一例を表したものである。ここでは、障害物よりも遠い位置にピントが合っている状態で、各撮像部２１Ａ、２１Ｂの各撮像領域を７×７エリアに分割してエリア毎にＡＦ評価値を算出している。したがって、図２２Ａに示したように、障害物が含まれるエリアのＡＦ評価値が低く、コントラストが低くなっている。
 
図２３は、図２２Ａの各ＡＦ評価値をＩＶ１(i,j)、図２２Ｂの各ＡＦ評価値をＩＶ２(i,j)とした時に、相対応するエリア毎に差分値△ＩＶ(i,j)を算出した例であり、図２４は、さらにその差分値△ＩＶ(i,j)の絶対値｜△ＩＶ(i,j)｜を算出した例である。図に示したように、この例では、撮像部の撮像光学系の一方に障害物がかかっている場合、撮像領域中のその障害物がかかっている領域では、上記絶対値｜△ＩＶ(i,j)｜の値が大きくなるので、所定の第１の閾値よりも上記絶対値｜△ＩＶ(i,j)｜が大きいエリアの数ＣＮＴをカウントし、カウント数ＣＮＴが所定の第２の閾値よりも大きいかどうかを判断することにより、障害物がかかっている領域を判定することができる。なお、特に第１の閾値については、第１の実施形態とは指標値の数値的意味が異なるので、異なる値が定められる。第２の閾値については、第１の実施形態と同じであってもよいし、異なっていてもよい。
 
以上のように、本発明の第４の実施形態では、障害物の有無の判定のための指標値としてＡＦ評価値を用いるので、撮像領域内の障害物とその背景が同程度の明るさの場合や同色の場合であっても、撮像領域内の障害物とその背景のテクスチャーの違いに基づいて、障害物が含まれていることを確実に判定することが可能になる。
 
なお、上記実施形態では、障害物判定部３７は、ＡＦ処理部２４によって取得されるＡＦ評価値を用いて障害物の有無の判定を行っているが、合焦方式が異なる場合等、撮像領域中のエリア毎のＡＦ評価値が得られない場合も考えられる。このような場合には、各撮像部２１Ａ、２１Ｂで得られた画像Ｇ１，Ｇ２を上記と同様の複数のエリアに分割し、エリア毎に、高周波成分の量を表すハイパスフィルタの出力値を算出するようにすればよい。これにより、ハイパスフィルタ処理の負荷の点を除けば、上記と同様の作用効果が得られる。
 
本発明の第５の実施形態は、第２の実施形態における測光値の代わりにＡＦ評価値を指標値として用いるようにした実施形態であり、第２の実施形態と同様の効果が得られる。また、上記の指標値の相違を除けば、障害判定部３７の構成は図１６のブロック図と同じであり、処理の流れは図２０のフローチャートと同じである。
 
なお、図２５Ａ、図２５Ｂは、図２２Ａ、図２２Ｂの７×７エリアのＡＦ評価値に対して、隣接する４つのエリアのＡＦ評価値の平均値を算出していくことによって、６×６エリアの平均ＡＦ評価値が得られた例を示している。図２６は、各平均ＡＦ評価値に対して、相対応する統合エリア毎に差分値を算出した例であり、図２７は、図２６の平均ＡＦ評価値の差分値の絶対値を算出した例である。
 
本発明の第６の実施形態は、第３の実施形態における測光値の代わりにＡＦ評価値を指標値として用いるようにした実施形態であり、第３の実施形態と同様の効果が得られる。
 
なお、図２８は、図２４の７×７のエリアのうち、中心付近の３×３のエリアはカウント対象外とした例である。
 
本発明の第７の実施形態は、第１の実施形態における測光値の代わりにＡＷＢの色情報を指標値として用いるようにした実施形態である。ここで、色情報を指標値として用いる場合には、測光値やＡＦ評価値のように単純に相対応するエリア間での差分を取ることはあまり有効ではないので、相対応するエリア間での色情報の距離を用いる。図２９は、本実施形態となる障害物判定部３７および警告情報生成部３８の構成を模式的に表したブロック図である。図に示したように、第１の実施形態のエリア別差分値算出部３７Ｂ、エリア別差分絶対値算出部３７Ｃの代わりにエリア別色距離算出部３７Ｇが設けられた構成となっている。
 
本実施形態では、指標値取得部３７Ａは、ＡＷＢ処理部２６で得られた、各撮像部２１Ａ，２１Ｂの各撮像領域中の各エリアの色情報を取得する。図３０Ａ、図３０Ｃは、撮像部２１Ａの撮像光学系の下部に障害物が含まれる場合の、撮像領域中の各エリアにおける色情報の例を表したものであり、図３０Ｂ、図３０Ｄは、障害物が含まれない撮像領域中の各エリアにおける色情報の例を表したものである。また、図３０Ａ、図３０Ｂでは、色情報としてＲ／Ｇ、図３０Ｃ、図３０Ｄでは、色情報としてＢ／Ｇが用いられている（Ｒ，Ｇ，Ｂは、各々、ＲＧＢ色空間における赤、緑、青の信号の信号値であり、エリア毎の平均信号値を表す）。撮像光学系に近い位置に障害物がある場合、その障害物の色情報は黒を表す情報に近くなる。したがって、複数の撮像部２１Ａ、２１Ｂのいずれの撮像領域に障害物が含まれている場合、その領域の色情報の距離は大きくなる。なお、色情報の算出方法は、これらに限定されない。また、色空間についてもＲＧＢ色空間には限定されず、Ｌａｂ等の他の色空間を用いてもよい。
 
エリア別色距離算出部３７Ｇは、各撮像領域中の相対応する位置にあるエリア間で、色情報の距離を算出する。具体的には、色情報が２つの要素からなる場合、色情報の距離は、例えば、第１の要素と第２の要素を直交する座標軸とする座標平面上に、各エリアにおける各要素の値をプロットした場合の２点間の距離として求められる。例えば、撮像部２１Ａの撮像領域中のｉ行目ｊ列目のエリアの色情報の各要素の値をＲＧ１、ＢＧ１、撮像部２１Ｂの撮像領域中のｉ行目ｊ列目のエリアの色情報の各要素の値をＲＧ２、ＢＧ２とすると、相対応するエリアでの色情報の距離Ｄは次式により求められる。
Figure JPOXMLDOC01-appb-M000001
 
図３１は、図３０Ａから図３０Ｄの色情報に基づいて、相対応するエリアでの色情報の距離を算出した例である。
 
エリア計数部３７Ｄは、上記色情報の距離Ｄの値と所定の第１の閾値とを比較し、上記距離Ｄの値が第１の閾値よりも大きいエリアの数ＣＮＴをカウントする。例えば、図３１の場合、上記閾値を３０とすると、上記距離Ｄの値が３０よりも大きいのは、４９エリア中２５エリアとなっている。
 
判定部３７Ｅは、第１の実施形態と同様に、エリア計数部３７Ｄで得られたカウント数ＣＮＴの値が第２の閾値よりも大きい場合には、警告メッセージの出力を要求する信号ＡＬＭを出力する。
 
なお、特に第１の閾値については、第１の実施形態とは指標値の数値的意味が異なるので、異なる値が定められる。第２の閾値については、第１の実施形態と同じであってもよいし、異なっていてもよい。
 
図３２は、本発明の第７の実施形態において行われる処理の流れを表したフローチャートである。まず、第１の実施形態と同様に、レリーズボタン２の半押し操作が検知されると(#1;YES)、撮像部２１Ａ，２１Ｂにより撮像条件決定のためのプレ画像Ｇ１，Ｇ２が各々取得される(#2)。次に、ＡＦ処理部２４、ＡＥ処理部２５、ＡＷＢ処理部２６の各々が処理を行い、各種撮像条件が決定され、決定された撮像条件に応じて撮像部２１Ａ，２１Ｂの各部の調整が行われる(#3)。このとき、ＡＷＢ処理部２６により、各撮像部２１Ａ，２１Ｂの各撮像領域中の各エリアの色情報ＩＶ１(i,j)、ＩＶ２(i,j)が取得される。
 
そして、障害物判定部３７において、指標値取得部３７Ａが、各エリアの色情報ＩＶ１(i,j)、ＩＶ２(i,j)を取得した後、(#4)、エリア別色距離算出部３７Ｇは、各撮像領域中の相対応する位置にあるエリア間で、色情報の距離Ｄ(i,j)を算出する(#5.1)。ここで、エリア計数部３７Ｄが、色情報の距離Ｄ(i,j)の値が第１の閾値よりも大きいエリアの数ＣＮＴをカウントする(#7.1)。以降の処理の流れは、第１の実施形態のステップ#8以降と同様である。
 
以上のように、本発明の第７の実施形態では、障害物の有無の判定のための指標値として色情報を用いるので、撮像領域内の障害物とその背景が同程度の明るさの場合や同様のテクスチャーの場合であっても、撮像領域内の障害物とその背景の色の違いに基づいて、障害物が含まれていることを確実に判定することが可能になる。
 
なお、上記実施形態では、障害物判定部３７は、ＡＷＢ処理部２６によって取得される色情報を用いて障害物の有無の判定を行っているが、オートホワイトバランスの方式が異なる場合等、撮像領域中のエリア毎の色情報が得られない場合も考えられる。このような場合には、各撮像部２１Ａ、２１Ｂで得られた画像Ｇ１，Ｇ２を上記と同様の複数のエリアに分割し、エリア毎に、色情報を算出するようにすればよい。これにより、色情報の算出処理の負荷の点を除けば、上記と同様の作用効果が得られる。
 
図３３は、本発明の第８の実施形態となる障害物判定部３７および警告情報生成部３８の構成を模式的に表したブロック図である。図に示したように、本発明の第８の実施形態は、第７の実施形態に平均指標値算出部３７Ｆを付加した構成となっている。
 
この平均指標値算出部３７Ｆは、指標値取得部３７Ａによって取得されたエリア毎の色情報の要素ＩＶ１(i,j)、ＩＶ２(i,j)毎に、隣接する４つのエリアにおける色情報の要素の平均値ＩＶ１´(m,n)、ＩＶ２´(m,n)を算出する。なお、ｍ、ｎは、第２の実施形態と同様の意味である。図３４Ａから図３４Ｄは、図３０Ａから図３０Ｄの７×７エリアの色情報の要素の値に対して、隣接する４つのエリアの色情報の要素の平均値を算出していくことによって、６×６エリア（統合エリア）の平均色情報要素が得られた例を示している。ここで、平均値を算出する対象となる入力側のエリアの数は４には限定されない。
 
以降の各処理部は、エリアが統合エリアに置き換わることを除き、第７の実施形態と同様である。なお、図３５は、図３４Ａから図３４Ｄの場合に、相対応する統合エリアにおける色情報の距離を算出した例である。
 
また、図３６のフローチャートに表したように、本実施形態における処理の流れは、第２の実施形態と第７の実施形態とを組み合わせたものとなっている。すなわち、本実施形態では、第２の実施形態と同様に、ステップ#4において、指標値取得部３７Ａが、各エリアの色情報ＩＶ１(i,j)、ＩＶ２(i,j)を取得した後、平均指標値算出部３７Ｆが、エリア毎の指標値ＩＶ１(i,j)、ＩＶ２(i,j)の各々に対して、隣接する４つのエリアにおける色情報の平均値ＩＶ１´(m,n)、ＩＶ２´(m,n)を算出する(#4.1)。これ以外の処理の流れは、エリアが統合エリアに置き換わることを除き、第７の実施形態と同様である。
 
以上より、本発明の第８の実施形態では、指標値として色情報を用いても、第２、第５の実施形態と同様の効果が得られる。
 
本発明の第９の実施形態は、第７の実施形態におけるオートホワイトバランス時のエリアＩＶ１(i,j)、ＩＶ２(i,j)の各々のうち、中心付近のエリアは、処理対象外とした実施態様であり、第３の実施形態と同様の効果が得られる。図３７は、オートホワイトバランス時の７×７のエリアのうち、中心付近の３×３のエリアは、エリア計数部３７Ｄによるカウント対象外とした例である。
 
上記各実施形態で例示した指標値を複数用いて障害物の有無の判定を行うようにしてもよい。具体的には、第１から第３の実施形態のいずれかによって、測光値に基づいて障害物の有無の判定を行うとともに、第４から第６の実施形態のいずれかによって、ＡＦ評価値に基づいて上記判定を行い、さらに、第７から第９の実施形態のいずれかによって、色情報に基づいて上記判定を行い、これらのうちの少なくとも１つの判定において、障害物が含まれていると判定されれば、撮像部の少なくとも１つに障害物がかかっていると判定するようにしてもよい。
 
図３８は、本発明の第１０の実施形態となる障害物判定部３７および警告情報生成部３８の構成を模式的に表したブロック図である。図に示したように、本実施形態の障害物判定部３７は、第１、第４、第７の実施形態を組み合わせた構成となっている。すなわち、測光値、ＡＦ評価値、ＡＷＢ色情報用の指標値取得部３７Ａ、測光値、ＡＦ評価値用のエリア別差分値算出部３７Ｂ、測光値、ＡＦ評価値用のエリア別差分絶対値算出部３７Ｃ、エリア別色距離算出部３７Ｇ、測光値、ＡＦ評価値、ＡＷＢ色情報用のエリア計数部３７Ｄ、測光値、ＡＦ評価値、ＡＷＢ色情報用の判定部３７Ｅから構成される。各処理部の具体的内容は、第１、第４、第７の実施形態のものと同様である。
 
図３９Ａ、図３９Ｂは、本発明の第１０の実施形態において行われる処理の流れを表したフローチャートである。図に示したように、各実施形態と同様に、レリーズボタン２の半押し操作が検知されると(#21;YES)、撮像部２１Ａ，２１Ｂにより撮像条件決定のためのプレ画像Ｇ１，Ｇ２が各々取得される(#22)。次に、ＡＦ処理部２４、ＡＥ処理部２５、ＡＷＢ処理部２６の各々が処理を行い、各種撮像条件が決定され、決定された撮像条件に応じて撮像部２１Ａ，２１Ｂの各部の調整が行われる(#32)。
 
次に、ステップ#24から#28までは、第１の実施形態のステップ#4から#8と同様であり、測光値に基づく障害物判定処理が行われる。その後、ステップ#29から#33までは、第４の実施形態のステップ#4から#8と同様であり、ＡＦ評価値に基づく障害物判定処理が行われる。さらに、ステップ#34から#37までは、第７の実施形態のステップ#4から#8と同様であり、ＡＷＢ色情報に基づく障害物判定処理が行われる。
 
そして、各判定処理のいずれかにおいて、障害物が含まれていると判定された場合には（#28,
#33, #37; YES）、その指標値用の判定部３７Ｅが、警告メッセージの出力を要求する信号ＡＬＭを出力し、上記各実施形態と同様に、警告情報生成部３８がこの信号ＡＬＭに応じて警告メッセージＭＳＧを生成する(#38)。以降のステップ#39から#41は、上記各実施形態のステップ#10から#12と同様である。
 
以上のように、本発明の第１０の実施形態によれば、各指標値のうちの少なくとも１つの判定において、障害物が含まれていると判定されれば、撮像部の少なくとも１つに障害物がかかっていると判定することができる。したがって、各指標値の特性に基づく長所・短所を互いに補い合うことにより、撮像領域内の障害物とその背景が様々な状況にあっても、より高い精度で、かつ、より安定した精度で障害物が含まれていることを判定することが可能になる。例えば、測光値に基づくだけでは正しく判定できなかった、撮像領域内の障害物とその背景が同程度の明るさのケースに対しては、ＡＦ評価値または色情報に基づく判定も行うことにより、正しく判定されるようになる。
 
一方、本発明の第１１の実施形態は、複数種類の指標値のすべてで障害物が含まれていると判定されれば、撮像部の少なくとも１つに障害物がかかっていると判定する態様である。本実施形態となる障害物判定部３７および警告情報生成部３８の構成は第１０の実施形態と同様である。
 
図４０Ａ、図４０Ｂは、本発明の第１１の実施形態において行われる処理の流れを表したフローチャートである。図に示したように、ステップ#51から#57までは第１０の実施形態の#21から#27と同様である。ステップ#58において、測光値の絶対値が閾値Th1AEより大きいエリアの数が閾値Th2AE以下の場合には、他の指標値についての判定処理がスキップされる(#58;
NO)。一方、測光値の絶対値が閾値Th1AEより大きいエリアの数が閾値Th2AEよりも大きい、すなわち測光値に基づけば障害物が含まれていると判定された場合には、ＡＦ評価値についての判定処理が第１０の実施形態のステップ#29から#32と同様に行われる(#59から#62)。そして、ステップ#63において、ＡＦ評価値の絶対値が閾値Th1AFより大きいエリアの数が閾値Th2AF以下の場合には、他の指標値についての判定処理がスキップされる(#63;
NO)。一方、ＡＦ評価値の絶対値が閾値Th1AFより大きいエリアの数が閾値Th2AFよりも大きい、すなわちＡＦ評価値に基づけば障害物が含まれていると判定された場合には、ＡＷＢ色情報についての判定処理が第１０の実施形態のステップ#34から#36と同様に行われる(#64から#66)。そして、ステップ#67において、ＡＷＢ色情報に基づく色距離が閾値Th1AWBより大きいエリアの数が閾値Th2AWB以下の場合には、ステップ#68の警告メッセージの生成・表示処理がスキップされる(#67;NO)。一方、ＡＷＢ色情報に基づく色距離が閾値Th1AWBより大きいエリアの数が閾値Th2AWBよりも大きい、すなわちＡＷＢ色情報に基づけば障害物が含まれていると判定された場合には(#67;YES)、測光値、ＡＦ評価値、色情報のすべてに基づいて障害物が含まれると判定されたことになるので、警告メッセージの出力を要求する信号ＡＬＭが出力され、上記各実施形態と同様に、警告情報生成部３８がこの信号ＡＬＭに応じて警告メッセージＭＳＧを生成する(#68)。以降のステップ#69から#71は、第１０の実施形態のステップ#39から#41と同様である。
 
以上のように、本発明の第１１の実施形態によれば、各指標値のすべてに基づいて障害物が含まれていると判定された場合のみ、その判定を有効とすることができる。これにより、障害物が含まれていないにもかかわらず、障害物が含まれていると判定されてしまう誤判定は軽減される。
 
なお、第１１の実施形態をさらに変更し、３つの指標値のうちの２以上の指標値に基づいて障害物が含まれていると判定された場合のみ、その判定を有効とするようにしてもよい。具体的には、例えば、図４０Ａ，図４０Ｂのステップ#58, #63, #67において、各ステップでの判定結果を表すフラグを設定するようにしておき、ステップ#67の後で、各フラグのうち２以上で、障害物が含まれていることを表す値となっている場合に、ステップ#68の警告メッセージの生成・表示を行うようにすればよい。
 
また、上記第１０、第１１の実施形態において、３つの指標値のうちの２つのみを用いるように構成してもよい。
 
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。また、上記の実施形態における多眼撮像装置の構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
 
例えば、上記各実施形態では、レリーズボタンの半押し後のタイミングで上記判定を行っているが、例えば、全押し後のタイミングで上記判定を行うようにしてもよい。この場合でも、本撮像後すぐに、障害物が含まれる失敗写真である旨が撮像者に通知されるので、再撮像により、失敗写真を減らすことが十分に可能である。
 
また、上記各実施形態では、撮像部が２つの複眼カメラを例としてきたが、３つ以上の撮像部を有する複眼カメラに対しても、本発明は適用可能である。ここで、撮像部の数をＮとすると、各撮像光学系の少なくとも１つに障害物がかかっていると判定するためには、NＣ2通りの撮像部の組合せについて、上記判定を、順次繰り返し、または、並列的に行えばよい。
 
また、上記各実施形態において、障害物判定部３７に視差調整部をさらに設け、視差調整後の各撮像領域に対して、指標値取得部３７Ａ以降の処理を行うようにしてもよい。具体的には、視差調整部は、第１および第２の画像Ｇ１，Ｇ２から公知の手法で主要被写体（例えば、人物の顔）を検出し、両画像間での視差（主要被写体の位置の差）が０となるような視差調整量を求め（詳細は、特開2010-278878号公報、特開2010-288253号公報等参照）、その視差調整量の分だけ、少なくとも一方の撮像領域の座標系を変換（例えば平行移動）する。これにより、エリア別差分値算出部３７Ｂまたはエリア別色距離算出部３７Ｇの出力値は、各画像中の被写体の視差の影響が軽減されたものとなるため、判定部３７Ｅによる障害物の判定精度が高くなる。
 
また、上記複眼カメラが近距離の被写体の撮影に適した撮影条件であるマクロ（近接）撮影モードを有するものであれば、マクロ撮影モードに設定されている場合は、近接する被写体を撮像することが前提のため、被写体自体が上記障害物でないにもかかわらず、障害物と誤って判定されるおそれがある。そこで、上記の障害物判定処理に先立って、撮影モードの情報を取得し、撮影モードがマクロ撮影モードに設定されている場合には、上記障害物判定処理、すわなち、上記指標値の取得および／または障害物の判定の処理対象外とするようにしてもよい。もしくは、上記障害物判定処理は行うが、障害物が含まれていると判定された場合には、その旨の通知を行わないようにすることも考えられる。
 
あるいは、マクロ撮影モードに設定されていない場合であっても、撮像部２１Ａ，２１Ｂから被写体までの距離（被写体距離）が所定の閾値よりも短い場合には、上記障害物判定処理を行わないようにしたり、障害物判定処理は行うが、障害物が含まれていると判定された場合には、その旨の通知を行わないようにしたりしてもよい。ここで、被写体距離の算出の際には、撮像部２１Ａ，２１Ｂのフォーカスレンズの位置やＡＦ評価値を用いてもよいし、第１および第２の画像Ｇ１，Ｇ２に対して公知のステレオマッチングを行い、三角測量法を用いてもよい。
 
また、上記各実施形態では、第１および第２の画像Ｇ１，Ｇ２を立体視表示した場合、一方の画像中には障害物が存在するが、他方の画像には障害物が存在しないため、立体視表示された画像中では、障害物がどこに存在するのか気づきにくくなってしまう。そこで、障害物判定部３７によって障害物が含まれていると判定された場合、第１および第２の画像Ｇ１，Ｇ２のうち、障害物が含まれていない方の画像に対して、その障害物が含まれている領域に対応する領域を、障害物が含まれているかのように加工するようにしてもよい。具体的には、まず、指標値を用いて、各画像中の、障害物が含まれている領域（障害物領域）またはその障害物領域に対応する領域（障害物対応領域）を特定する。障害物領域は、指標値の差分の絶対値が上記所定の閾値よりも大きい領域である。次に、第１および第２の画像Ｇ１，Ｇ２のうちの障害物が含まれる方の画像を特定する。実際に障害物が含まれている画像は、指標値が測光値や輝度値の場合には障害物領域が暗い方の画像、指標値がＡＦ評価値の場合には、障害物領域のコントラストが低い方の画像、指標値が色情報の場合には、障害物領域の色が黒に近い方の画像として特定することができる。そして、第１および第２の画像Ｇ１，Ｇ２のうちの実際に障害物が含まれていない方の画像中の障害物対応領域を、実際に障害物が含まれている方の画像中の障害物領域の画素値に変更する処理を行う。これにより、障害物対応領域を、障害物領域と同様の暗さ、コントラスト、色の状態、すなわち、障害物が含まれている状態にすることができる。この処理後に第１および第２の画像Ｇ１，Ｇ２をスルー画等で立体視表示することにより、障害物の存在が視認しやすくなる。なお、上記画素値の変更処理において、暗さ、コントラスト、色のすべての要素を変更せず、一部の要素のみを変更するようにしてもよい。
 
また、上記各実施形態の障害物判定部３７や警告情報生成部３８を、複数の視差画像の画像ファイル、例えば、上記各実施形態の第１の画像Ｇ１および第２の画像Ｇ２の画像ファイル（図５参照）を入力として、入力された画像から立体視用画像ＧＲを生成して立体視表示を行うデジタルフォトフレーム等の立体表示装置や、立体視用のプリントを行うデジタルフォトプリンタに実装してもよい。この場合、上記実施形態における各エリアでの測光値やＡＦ評価値、ＡＷＢの色情報等は、画像ファイルの付帯情報として記録されるようにしておき、この記録された情報を用いるようにすればよい。また、上記マクロ撮影モードの問題についても、撮像装置において、マクロ撮影モードの場合には障害物判定処理を行わないようにする制御が行われている場合、障害物判定処理対象外と判定された旨を、各撮像画像の付帯情報として記録しておくようにしてもよい。この場合、上記障害物判定部３７が設けられた装置において、障害物判定処理対象外と判定された旨を表す付帯情報の有無を判断し、この付帯情報がある場合には、障害物判定処理を行わないようにしてもよい。あるいは、撮影モードが付帯情報として記録されていれば、撮影モードがマクロ撮影モードの場合には障害物判定処理を行わないようにしてもよい。

Claims (17)

  1. 　被写体を撮像して撮像画像を出力する撮像手段を複数備え、該撮像手段の各々から出力された前記撮像画像を用いた該被写体の立体視表示が可能となるように該撮像手段の各々の撮像光学系が配置された複眼撮像装置であって、
    　前記撮像手段の各々が、撮像領域内の複数の点または領域で測光を行い、該測光によって得られた測光値を用いて前記撮像の際の露出を決定するものであり、
    　該撮像手段における各撮像領域内の複数の小領域毎に、前記測光値を指標値として取得する指標値取得手段と、
    　前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に前記指標値を比較し、前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像手段の少なくとも１つにおける前記撮像領域内に、該少なくとも１つの撮像手段の撮像光学系に近接する障害物が含まれていると判定する障害物判定手段とを備えたことを特徴とする複眼撮像装置。
  2. 　前記撮像手段は、本撮像による撮像画像の出力と、該本撮像に先立って行われる、該本撮像の撮像条件の決定のためのプレ撮像による撮像画像の出力とを行うものであり、前記指標値取得手段が、該プレ撮像に応じて前記指標値を取得するものであることを特徴とする請求項１に記載の複眼撮像装置。
  3. 　前記撮像手段の各々が、前記撮像領域内の複数の点または領域でのＡＦ評価値に基づいて該各撮像手段の撮像光学系の合焦制御を行うものであり、
    　前記指標値取得手段が、該撮像手段における各撮像領域内の複数の小領域毎に、前記ＡＦ評価値をさらなる前記指標値として取得するものであることを特徴とする請求項１または２に記載の複眼撮像装置。
  4. 　前記指標値取得手段が、前記撮像画像の各々から、空間周波数が所定の基準を満たす程度に高い成分の量を抽出し、前記小領域毎の該高周波成分の量をさらなる前記指標値として取得するものであることを特徴とする請求項１または２に記載の複眼撮像装置。
  5. 　前記撮像手段の各々が、前記撮像領域内の複数の点または領域での色情報に基づいて該各撮像手段のオートホワイトバランス制御を行うものであり、
    　前記指標値取得手段が、該撮像手段における各撮像領域内の複数の小領域毎に、前記色情報をさらなる前記指標値として取得するものであることを特徴とする請求項１から４のいずれか１項に記載の複眼撮像装置。
  6. 　前記指標値取得手段が、前記撮像画像の各々から前記小領域毎に色情報を算出し、該色情報をさらなる前記指標値として取得するものであることを特徴とする請求項１から４のいずれか１項に記載の複眼撮像装置。
  7. 　前記小領域の各々は、該小領域内に前記点または領域を複数含むものであり、
    　前記指標値取得手段が、前記小領域内の複数の前記点または領域での前記指標値に基づいて前記小領域毎の前記指標値を算出するものであることを特徴とする請求項１、３、または５に記載の複眼撮像装置。
  8. 　前記撮像領域の中心部は、前記指標値取得手段および／または前記障害物判定手段の処理対象外としたものであることを特徴とする請求項１から７のいずれか１項に記載の複眼撮像装置。
  9. 　前記障害物判定手段は、複数種類の前記指標値毎に前記比較を行い、少なくとも１つの前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像手段の少なくとも１つにおける前記撮像領域内に、該少なくとも１つの撮像手段の撮像光学系に近接する障害物が含まれていると判定するものであることを特徴とする請求項３，４，５，６、または、該各請求項のいずれかを引用する請求項７または８のいずれか１項に記載の複眼撮像装置。
  10. 　前記撮像領域内に障害物が含まれていると判定された場合に、その旨を通知する通知手段をさらに備えたことを特徴とする請求項１から９のいずれか１項に記載の複眼撮像装置。
  11. 　前記障害物判定手段は、前記撮像手段の各々から出力された前記撮像画像中の主要被写体の視差が略０となるように、前記各撮像領域の位置の対応関係を調整した後、前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に前記指標値を比較するものであることを特徴とする請求項１から１０のいずれか１項に記載の複眼撮像装置。
  12. 　前記複眼撮像装置から近距離にある前記被写体の撮像に適した撮像条件であるマクロ撮像モードを設定するマクロ撮像モード設定手段と、
    　前記マクロ撮像モードの設定が行われた場合には、前記判定を行わないように制御する手段とをさらに備えたことを特徴とする請求項１から１１のいずれか１項に記載の複眼撮像装置。
  13. 　前記撮像手段から前記被写体までの距離である被写体距離を算出する手段と、
    　該被写体距離が所定の閾値よりも小さい場合には、前記判定を行わないように制御する手段とをさらに備えたことを特徴とする請求項１から１２のいずれか１項に記載の複眼撮像装置。
  14. 　前記障害物判定手段によって前記障害物が含まれていると判定された場合、前記指標値に基づいて、該障害物が含まれている撮像画像を特定するとともに、該撮像画像中の該障害物が含まれている領域を特定する手段と、
    　該障害物が含まれている撮像画像と特定されなかった撮像画像中の、前記特定された前記障害物が含まれている領域に対応する領域を、前記特定された前記障害物が含まれている撮像画像中の、前記特定された障害物が含まれている領域と同様の画素値に変更する手段とをさらに備えたことを特徴とする請求項１から１３のいずれか１項に記載の複眼撮像装置。
  15. 　撮像手段を用いて異なる位置から主要被写体の撮像を行うことによって取得された、該主要被写体の立体視表示を行うための複数の撮像画像、または、該撮像画像の付帯情報から、前記撮像画像の撮像の際の撮像領域内の複数の小領域毎に、該撮像画像の撮像の露出を決定するための測光によって得られた、前記撮像領域内の複数の点または領域における測光値を、指標値として取得する指標値取得手段と、
    　前記撮像領域における位置が相対応する、異なる前記撮像画像の撮像領域内の前記小領域毎に前記指標値を比較し、前記異なる撮像画像の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像画像の少なくとも１つにおける前記撮像領域内に、前記撮像手段の撮像光学系に近接する障害物が含まれていたと判定する判定手段とを備えたことを特徴とする障害物判定装置。
  16. 　被写体を撮像して撮像画像を出力する撮像手段を複数備え、該撮像手段の各々から出力された前記撮像画像を用いた該被写体の立体視表示が可能となるように該撮像手段の各々の撮像光学系が配置された複眼撮像装置において、前記撮像手段の少なくとも１つにおける前記撮像領域内に障害物が含まれているかどうかを判定する障害物判定方法であって、
    　前記撮像手段の各々が、前記撮像領域内の複数の点または領域で測光を行い、該測光によって得られた測光値を用いて前記撮像の際の露出を決定するものであり、
    　該撮像手段における各撮像領域内の複数の小領域毎に、前記測光値を指標値として取得するステップと、
    　前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に前記指標値を比較し、前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像手段の少なくとも１つにおける前記撮像領域内に、該少なくとも１つの撮像手段の撮像光学系に近接する障害物が含まれていると判定するステップとを有することを特徴とする障害物判定方法。
  17. 　被写体を撮像して撮像画像を出力する撮像手段を複数備え、該撮像手段の各々から出力された前記撮像画像を用いた該被写体の立体視表示が可能となるように該撮像手段の各々の撮像光学系が配置された複眼撮像装置に組込み可能な障害物判定プログラムであって、
    　前記撮像手段の各々が、前記撮像領域内の複数の点または領域で測光を行い、該測光によって得られた測光値を用いて前記撮像の際の露出を決定するものであり、
    　該複眼撮像装置に、
    　該撮像手段における各撮像領域内の複数の小領域毎に、前記測光値を指標値として取得するステップと、
    　前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に前記指標値を比較し、前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像手段の少なくとも１つにおける前記撮像領域内に、該少なくとも１つの撮像手段の撮像光学系に近接する障害物が含まれていると判定するステップとを実行させることを特徴とする障害物判定プログラム。
PCT/JP2011/003740 2010-06-30 2011-06-29 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム WO2012001975A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180032935.2A CN102959970B (zh) 2010-06-30 2011-06-29 在立体显示成像期间确定成像范围内障碍物的装置、方法和程序
JP2012522469A JP5492300B2 (ja) 2010-06-30 2011-06-29 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム
US13/729,917 US20130113888A1 (en) 2010-06-30 2012-12-28 Device, method and program for determining obstacle within imaging range during imaging for stereoscopic display

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-150133 2010-06-30
JP2010150133 2010-06-30
JP2011025686 2011-02-09
JP2011-025686 2011-02-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/729,917 Continuation US20130113888A1 (en) 2010-06-30 2012-12-28 Device, method and program for determining obstacle within imaging range during imaging for stereoscopic display

Publications (1)

Publication Number Publication Date
WO2012001975A1 true WO2012001975A1 (ja) 2012-01-05

Family

ID=45401714

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/003740 WO2012001975A1 (ja) 2010-06-30 2011-06-29 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US20130113888A1 (ja)
JP (1) JP5492300B2 (ja)
CN (1) CN102959970B (ja)
WO (1) WO2012001975A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014228778A (ja) * 2013-05-24 2014-12-08 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
WO2015128918A1 (ja) * 2014-02-28 2015-09-03 パナソニックＩｐマネジメント株式会社 撮像装置
WO2016017250A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2018168222A1 (ja) * 2017-03-14 2018-09-20 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、撮像装置および電子機器

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011017393A1 (en) 2009-08-04 2011-02-10 Eyecue Vision Technologies Ltd. System and method for object extraction
US9138636B2 (en) 2007-05-16 2015-09-22 Eyecue Vision Technologies Ltd. System and method for calculating values in tile games
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US9595108B2 (en) 2009-08-04 2017-03-14 Eyecue Vision Technologies Ltd. System and method for object extraction
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN103081483A (zh) * 2010-09-08 2013-05-01 日本电气株式会社 摄影设备和摄影方法
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US9336452B2 (en) * 2011-01-16 2016-05-10 Eyecue Vision Technologies Ltd. System and method for identification of printed matter in an image
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US20140267889A1 (en) * 2013-03-13 2014-09-18 Alcatel-Lucent Usa Inc. Camera lens button systems and methods
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9100586B2 (en) * 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9154697B2 (en) * 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
DE102015003537B4 (de) 2014-03-19 2023-04-27 Htc Corporation Blockierungsdetektionsverfahren für eine kamera und eine elektronische vorrichtung mit kameras
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
CN106534828A (zh) * 2015-09-11 2017-03-22 钰立微电子股份有限公司 应用于立体图像获取装置的控制器与立体图像获取装置
US11464098B2 (en) * 2017-01-31 2022-10-04 Sony Corporation Control device, control method and illumination system
CN107135351B (zh) * 2017-04-01 2021-11-16 宇龙计算机通信科技(深圳)有限公司 拍照方法及拍照装置
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
MX2022005289A (es) 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.
WO2021154386A1 (en) 2020-01-29 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028056A (ja) * 1999-07-14 2001-01-30 Fuji Heavy Ind Ltd フェールセーフ機能を有するステレオ式車外監視装置
JP2004120600A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd デジタル双眼鏡
JP2008306404A (ja) * 2007-06-06 2008-12-18 Fujifilm Corp 撮像装置
JP2010114760A (ja) * 2008-11-07 2010-05-20 Fujifilm Corp 撮影装置、指がかり通知方法およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4957850B2 (ja) * 2010-02-04 2012-06-20 カシオ計算機株式会社 撮像装置、警告方法、および、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028056A (ja) * 1999-07-14 2001-01-30 Fuji Heavy Ind Ltd フェールセーフ機能を有するステレオ式車外監視装置
JP2004120600A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd デジタル双眼鏡
JP2008306404A (ja) * 2007-06-06 2008-12-18 Fujifilm Corp 撮像装置
JP2010114760A (ja) * 2008-11-07 2010-05-20 Fujifilm Corp 撮影装置、指がかり通知方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014228778A (ja) * 2013-05-24 2014-12-08 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
WO2015128918A1 (ja) * 2014-02-28 2015-09-03 パナソニックＩｐマネジメント株式会社 撮像装置
WO2016017250A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2018168222A1 (ja) * 2017-03-14 2018-09-20 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、撮像装置および電子機器

Also Published As

Publication number Publication date
US20130113888A1 (en) 2013-05-09
JPWO2012001975A1 (ja) 2013-08-22
JP5492300B2 (ja) 2014-05-14
CN102959970B (zh) 2015-04-15
CN102959970A (zh) 2013-03-06

Similar Documents

Publication Publication Date Title
JP5492300B2 (ja) 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム
JP4957850B2 (ja) 撮像装置、警告方法、および、プログラム
US20080117316A1 (en) Multi-eye image pickup device
JP5368350B2 (ja) 立体撮像装置
US20140028896A1 (en) Imaging apparatus and autofocus control method thereof
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
JP5295426B2 (ja) 複眼撮像装置、その視差調整方法及びプログラム
JP5767715B2 (ja) 撮像装置、撮像方法及びプログラム
JP2010128820A (ja) 立体画像処理装置、方法及びプログラム並びに立体撮像装置
JP2011101240A (ja) 立体撮影装置および撮影制御方法
JP2010068182A (ja) ３次元撮影装置および方法並びにプログラム
US20130107018A1 (en) Stereoscopic image display device, stereoscopic image display method, and non-transitory computer-readable recording medium
JP5899629B2 (ja) 撮像装置
US9124875B2 (en) Stereoscopic imaging apparatus
JP2010226362A (ja) 撮像装置及びその制御方法
JP2014235224A (ja) 撮像装置および制御プログラム
JP2010288253A (ja) 画像処理装置および方法並びにプログラム
JP2011211329A (ja) 撮像装置およびその制御方法，ならびに画像処理装置，その制御方法，および画像処理プログラム
JP5387341B2 (ja) 撮像装置
JP5190882B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム
JP5580486B2 (ja) 画像出力装置、方法およびプログラム
JP2012015777A (ja) 立体視表示のための画像処理装置、方法、および、プログラム、並びに、画像表示装置
JP2015139018A (ja) 電子機器及び制御プログラム
JP2014131188A (ja) 撮像装置、その制御方法、および制御プログラム
US20230300474A1 (en) Image processing apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180032935.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11800445

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2012522469

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11800445

Country of ref document: EP

Kind code of ref document: A1