WO2011151867A1 - 撮像装置、撮像方法およびプログラム - Google Patents

撮像装置、撮像方法およびプログラム Download PDF

Info

Publication number
WO2011151867A1
WO2011151867A1 PCT/JP2010/004813 JP2010004813W WO2011151867A1 WO 2011151867 A1 WO2011151867 A1 WO 2011151867A1 JP 2010004813 W JP2010004813 W JP 2010004813W WO 2011151867 A1 WO2011151867 A1 WO 2011151867A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
parallax
matching
matching information
Prior art date
Application number
PCT/JP2010/004813
Other languages
English (en)
French (fr)
Inventor
洋一 村松
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP10847166.5A priority Critical patent/EP2501125A4/en
Priority to CN2010800194327A priority patent/CN102422124A/zh
Priority to US13/238,405 priority patent/US20120062694A1/en
Publication of WO2011151867A1 publication Critical patent/WO2011151867A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Definitions

  • the present invention relates to an imaging device that captures a plurality of images having parallax and different exposure amounts, and more specifically, an imaging device that has a function of ranging to a subject and generating a wide dynamic range image obtained by synthesizing a plurality of images. Relates to the device.
  • a wide dynamic range image is generally generated by synthesizing a plurality of images taken with different exposure amounts, and various methods have been proposed.
  • the subject In order to measure the distance to the subject in the image using multiple images with parallax, the subject is matched between the images, and the principle of triangulation based on the imaging position of the subject in each image The method using is generally used.
  • Various methods for matching between images have been proposed.
  • the imaging apparatus described in Patent Document 1 includes means for capturing a plurality of images having a parallax and an equal exposure amount and a plurality of images having a different exposure amount without a parallax.
  • the imaging apparatus obtains both distance information and a wide dynamic range image by measuring the distance from the former image to a subject and generating a wide dynamic range image from the latter image.
  • the camera A takes an exposure amount n and a camera B takes an exposure amount m at the t frame at a certain time. Then, in the t + 1 frame, the camera A takes an exposure amount m and the camera B takes an exposure amount n.
  • the wide dynamic range image can be generated from two images shot in the same frame.
  • there is a difference in shooting time because distance measurement is performed on images shot in different frames. In a scene where the subject moves, the subject moves between frames, and thus there is a problem that the distance to the subject cannot be calculated correctly.
  • the present invention has been made to solve the conventional problems, and an object of the present invention is to provide an imaging apparatus and an imaging method that simultaneously generate a wide dynamic range image and measure a distance to a subject.
  • An imaging apparatus includes: an imaging unit that generates images with a plurality of imaging elements having different exposure amounts and having parallax and different exposure amounts; and a plurality of images obtained by imaging by the imaging unit Image brightness adjustment unit that adjusts the brightness of each image based on the amount of exposure used to capture each image, and using a plurality of images having parallax with adjusted brightness, matching the images, A matching unit that obtains matching information for specifying a corresponding region between images having parallax, a distance calculation unit that obtains a distance to a predetermined subject based on matching information of a region constituting the image of the subject, and the matching A position calibrating unit that calibrates the position of an image so as to eliminate parallax of an image having parallax based on the information; and a plurality of images with different exposure amounts calibrated by the position calibrating unit. And it was synthesized and has a configuration in which a wide dynamic range image generator for generating an image having a wider dynamic range than image captured by the imaging unit.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing normal exposure control in the embodiment of the present invention.
  • FIG. 3 is a diagram showing exposure control in the embodiment of the present invention.
  • FIG. 4 is a diagram showing image exposure conversion for an image of the imaging unit 100 according to the embodiment of the present invention.
  • FIG. 5 is a diagram showing image exposure conversion for an image of the imaging unit 101 according to the embodiment of the present invention.
  • FIG. 6 is a diagram showing a flow of image matching in the embodiment of the present invention.
  • FIG. 7 is an operation flow diagram of matching interpolation processing in the embodiment of the present invention.
  • FIG. 8A is a diagram showing matching information m in each pixel constituting the image.
  • FIG. 8A is a diagram showing matching information m in each pixel constituting the image.
  • FIG. 8B is a diagram showing matching information n in each pixel constituting the image.
  • FIG. 8C shows the integrated matching information
  • FIG. 9 is a block diagram showing matching information interpolation processing in the embodiment of the present invention.
  • FIG. 10 is a block diagram showing image position calibration in the embodiment of the present invention.
  • FIG. 11 is a block diagram showing wide dynamic range image generation in the embodiment of the present invention.
  • the imaging apparatus includes a plurality of imaging elements that capture images with different exposure amounts, generate images having parallax and different exposure amounts, and a plurality of images obtained by imaging with the imaging units.
  • Image brightness adjustment unit that adjusts the brightness of the image based on the exposure amount used for capturing each image, and a plurality of images having parallax with adjusted brightness, and matching the images
  • Image composition to a and has a configuration in which a wide dynamic range image generator for generating an image having a wider dynamic range than image captured by the imaging unit.
  • This configuration enables simultaneous generation of a wide dynamic range image and distance measurement to the subject.
  • the image brightness adjustment unit has a configuration that adjusts the brightness of an image using a ratio of exposure amounts used for imaging each image.
  • an image having a parallax in which a difference in brightness due to a difference in exposure amount is adjusted can be obtained from a plurality of images having a parallax and different exposure amounts.
  • the imaging unit generates a first image and a second image having parallax and different exposure amounts by imaging, and the image brightness adjusting unit determines the brightness of the first image.
  • the unit performs matching between the first image and the adjusted second image to obtain first matching information, and performs matching between the adjusted first image and the second image to obtain second matching information.
  • the first matching information and the second matching information are integrated to obtain the matching information.
  • the matching information can be appropriately generated using the first matching information and the second matching information.
  • the matching unit corresponds to a region corresponding to the matching between the first image and the adjusted second image, and the matching between the adjusted first image and the second image. For a region for which no determination has been obtained, a correspondence relationship is obtained by interpolation processing using correspondence information of a region around the region.
  • matching information can be obtained by interpolating the matching information of the surrounding areas even for areas where a perfect correspondence is not obtained by matching images with adjusted image brightness.
  • a plurality of imaging elements capture images with different exposure amounts to generate images having parallax and different exposure amounts, and brightness of the plurality of images obtained by imaging Are adjusted based on the exposure amount used to capture each image, and a plurality of images having parallax with adjusted brightness are used to perform matching of the images, and between images having parallax Obtaining matching information for identifying a corresponding region; obtaining a distance to a predetermined subject based on matching information of a region constituting the subject image; and an image having parallax based on the matching information Calibrating the position of the image so as to eliminate the parallax, and combining the plurality of images with different exposure amounts calibrated by the position calibrating unit, And it has a configuration in which the step of generating an image having a wider dynamic range than the captured image in.
  • the program according to the present embodiment is used by a computer to capture the brightness of a plurality of images in order to generate an image based on a plurality of images having parallax captured at different exposure amounts.
  • the image is matched based on the step of adjusting based on the exposure amount and the plurality of images having parallax with adjusted brightness, and matching information for specifying a corresponding region between images having parallax is obtained.
  • An image captured by the imaging unit by combining a plurality of images with different exposure amounts that have been position calibrated by the position calibration unit Ri has a configuration and a step of generating an image having a wide dynamic range.
  • the imaging method and program of the present embodiment can simultaneously generate a wide dynamic range image and measure the distance to the subject.
  • Various configurations of the imaging apparatus of the present embodiment can also be applied to the imaging method and program of the present embodiment.
  • FIG. 1 is a diagram illustrating a configuration of an imaging apparatus 1 according to the embodiment.
  • the imaging apparatus 1 performs basic imaging processing for imaging a subject and outputting a video signal, and the exposure amount of each of the camera 100 and the camera 101 so that a predetermined exposure ratio is obtained.
  • An exposure control unit 30 that controls the image, an image exposure conversion unit 200 that stores an image output from the camera 100 and an image whose luminance is adjusted with respect to the image, and an image output from the camera 101 and the image
  • the image exposure conversion unit 201 that stores the brightness-adjusted image in the image buffer, and matching is performed between images that are virtually equal in exposure amount from the images stored in the image exposure conversion unit 200 and the image exposure conversion unit 201. Integration and interpolation processing based on the matching information obtained by, and based on the integrated matching information
  • An image parallax calibration unit 300 that performs position calibration on the image captured by the camera 101 so as to eliminate parallax from the image captured by the camera 100, and the image captured by the camera 100 and the image parallax calibration unit 300 are obtained.
  • a distance calculation unit 31 that calculates the distance from the imaging device to the subject reflected in the image from the matching information, and an image captured by the camera 100 and an image that has been subjected to position calibration by the image parallax calibration unit 300 are combined to provide a wide dynamic range.
  • a wide dynamic range image generation unit 32 for generating an image. Note that the camera 100 and the camera 101 are horizontally installed with a predetermined distance therebetween. The camera 100 and the camera 101 constitute an “imaging unit” of the present invention.
  • the camera 100 includes a lens 10, a diaphragm 11, an image sensor 12, an A / D converter 13, and a video signal processing unit 14.
  • the camera 100 captures an image by adjusting the aperture and shutter speed (not shown) so that the exposure amount specified by the exposure control unit 30 (exposure amount m) is obtained.
  • Light from a subject incident from the lens 10 is stopped by the stop 11 and imaged on the image sensor 12.
  • the image sensor 12 photoelectrically converts the formed image and outputs an analog signal.
  • the A / D converter 13 converts the analog signal output from the image sensor 12 into a digital signal.
  • the video signal processing unit 14 performs signal processing for generating a video signal from the A / D converted digital signal.
  • the video signal processing unit 14 performs general video signal processing such as OB subtraction, white balance adjustment, and noise reduction in addition to signal processing such as luminance signal generation, color signal generation, and aperture signal generation.
  • the camera 101 has the same configuration as the camera 100. Imaging is performed by adjusting the aperture and shutter speed so that the exposure amount specified by the exposure control unit 30 (the exposure amount is n).
  • the exposure control unit 30 that controls the exposure amounts of the camera 100 and the camera 101 will be described.
  • a normal method for controlling the exposure amount will be described with reference to FIG.
  • the exposure control is performed so that the luminance value of the screen becomes equal to a predetermined target luminance value.
  • the screen luminance value at the frame t (assuming the exposure amount a) is obtained.
  • the screen luminance value an average value of the entire screen may be used, or a value weighted at the center of the screen may be used.
  • images with different exposure amounts are combined to generate a wide dynamic range image that can be photographed from a bright subject to a dark subject. Therefore, the exposure amounts in the camera 100 and the camera 101 are different exposure amounts.
  • FIG. 3 is a diagram for explaining the exposure control of the present embodiment.
  • the exposure amount n t of the camera 101 gives to be 1 / specified ratio of the exposure amount m t.
  • the designated ratio may be an arbitrary value.
  • the exposure amount n t is m t / 8. That is, since the exposure amount n t is 1/8 compared to the exposure amount m t , the image captured by the camera 101 is eight times darker than the image of the camera 100.
  • the upper limit of the illuminance of a subject that can be captured by the camera 101 is equivalent to eight times that of the camera 100.
  • the camera 101 can capture an image that is very bright and white-out like the sun with the camera 101 with appropriate brightness.
  • a subject such as a tree or a person that has been captured with appropriate brightness by the camera 100 is captured darkly by the camera 101.
  • An image with a wide dynamic range can be generated as the specified ratio increases, but there is a problem in terms of image quality because it is necessary to synthesize images with greatly different exposure amounts. It is necessary to set an appropriate designated ratio in consideration.
  • a wide dynamic range image captured with appropriate brightness from a bright subject to a dark subject can be generated by combining two images captured with such a brightness relationship.
  • the image exposure conversion unit 200 includes an image luminance adjustment unit 15, an image buffer 16, and an image buffer 17.
  • FIG. 4 is a diagram for explaining the image exposure conversion unit 200.
  • the image brightness adjustment unit 15 of the image exposure conversion unit 200 multiplies the image captured by the camera 100 with the exposure ratio between the camera 100 and the camera 101 input from the exposure control unit 30 as a gain.
  • the gain is n / m.
  • FIG. 5 is a diagram for explaining the image exposure conversion unit 201.
  • the image exposure conversion unit 201 has the same configuration as the image exposure conversion unit 200.
  • the image brightness adjustment unit 15 of the image exposure conversion unit 201 multiplies the image captured by the camera 101 with the exposure ratio m / n of the camera 100 and the camera 101 input from the exposure control unit 30 as a gain. Thereby, an image corresponding to the exposure amount m captured by the camera 100 can be virtually generated from the image of the exposure amount n captured by the camera 101.
  • These two images are stored in the image buffers 16 and 17, respectively.
  • the image parallax calibration unit 300 includes matching units 21 and 22, a matching interpolation unit 23, and a position calibration unit 24.
  • FIG. 6 is a diagram for explaining image matching.
  • An image captured by the camera 100 (exposure amount m) is stored in the image buffer 16 of the image exposure conversion unit 200, and a brightness adjusted image (corresponding to the exposure amount n) is stored in the image buffer 17.
  • the image buffer 16 of the image exposure converter 201 stores an image (exposure amount n) captured by the camera 101, and the image buffer 17 stores an image whose luminance is adjusted (equivalent to the exposure amount m). .
  • These four images are input to the image parallax calibration unit 300.
  • the matching unit 21 performs image matching with two images (exposure amount m) and an image (equivalent to exposure amount m), and the matching unit 22 performs image matching with two images (exposure amount n) and an image (equivalent to exposure amount n). Perform matching. That is, matching is performed between images with parallax captured with the same exposure amount.
  • a known method is applied as a matching method between two images, and the present invention is not limited to a specific matching method. By this matching, pixel correspondence between images can be taken. Information indicating this correspondence is called matching information.
  • matching information m A result of matching between an image (exposure amount m) and an image (corresponding to exposure amount m) is referred to as matching information m
  • matching information n a result of matching between an image (exposure amount n) and an image (corresponding to exposure amount n) is referred to as matching information n.
  • Matching information ALL for each pixel in the image is generated by integrating and interpolating the matching information m and the matching information n by the matching interpolation unit 23.
  • FIG. 7 is a flowchart for generating the matching information ALL.
  • the matching interpolation unit 23 performs a process of integrating matching information (s10) based on the matching information m and the matching information n. The following flow is performed based on the matching information after integration.
  • the matching interpolation unit 23 performs the following processing for all the pixels in the screen (s11 to s16). That is, first, pixel 0 is set as the target pixel (s11), the following processing (s12 to s16) is performed on the target pixel, and subsequently, the target pixel is sequentially incremented to target all the pixels. Perform the process.
  • the pixel of interest is described as p.
  • the matching interpolation unit 23 determines whether or not matching information is obtained for the target pixel p (s12). If matching information is already obtained, the process proceeds to processing of the next pixel (s15). When the matching information is not found, the pixel for which the matching information is obtained is searched for in the surrounding pixels of the pixel of interest p (s13), the matching information of the pixel of interest p is obtained by interpolating the matching information of the surrounding pixels, and is interpolated. The matching information obtained in this way is given to the target pixel p (s14). As a result, the matching information of the target pixel p is obtained, and the process proceeds to the next pixel (s15). When all the pixels are processed as the target pixel, the process is terminated (s16). At the end of processing, matching information is assigned to all pixels.
  • FIG. 8A to 8C are diagrams for explaining the matching integration process (s10) in the flowchart of FIG. 8A to 8C show schematic diagrams in which an image is simplified to a total of 12 pixels of 4 horizontal pixels and 3 vertical pixels for convenience of explanation.
  • pixel 0, pixel 1, pixel 2, pixel 3, and pixel 5, pixel 6,... Call.
  • (x, y) described in each pixel is matching information, which is a coordinate value or a relative coordinate value of a corresponding pixel between images.
  • FIG. 8A is a diagram showing a matching state obtained from matching information m in each pixel, that is, an exposure amount m and an image corresponding to the exposure amount m.
  • the matching information m is obtained for the pixel 0, the pixel 1, the pixel 3, the pixel 4, the pixel 7, and the pixel 8, and the matching information is not obtained for the other pixels.
  • FIG. 8B is a diagram showing a matching state obtained from matching information n in each pixel, that is, an exposure amount n and an image corresponding to the exposure amount n.
  • the matching information n is obtained for the pixel 0, the pixel 2, the pixel 6, the pixel 9, the pixel 10, and the pixel 11, and the matching information is not obtained for the other pixels.
  • FIG. 8C is a diagram showing a result of integrating the matching information m and the matching information n as described above.
  • the matching information is applied as it is to the pixel for which the matching information is obtained from only one of the matching information m and the matching information n.
  • pixel 1, pixel 2, pixel 3, pixel 4, pixel 6, pixel 7, pixel 8, pixel 9, pixel 10, and pixel 11 correspond to this.
  • the average value of the two matching information is used as the matching information after integration.
  • pixel 0 corresponds to this.
  • matching information may be preferentially used as the matching information after integration.
  • matching information is not found at the time of integration processing. In FIG. 8C, the pixel 5 corresponds to this.
  • FIG. 9 is a diagram for explaining the matching information interpolation processing (s12 to s14) in the flowchart of FIG.
  • FIG. 9 is a diagram illustrating a result of integration of matching information in FIG. 8C, and matching information is not given to the pixel 5 at the time of matching information integration.
  • a pixel to which matching information is assigned is searched from pixels located in the vicinity of pixels to which matching information is not given.
  • matching information is given to the pixels 2, 4, 6, and 8 that are the peripheral pixels of the pixel 5.
  • FIG. 9 shows an example in which the matching information (x5, y5) of the pixel 5 is calculated by interpolation based on the matching information assigned to the surrounding four pixels.
  • matching information is given to all pixels by interpolating and giving matching information of peripheral pixels to pixels to which matching information is not given at the time of integration of matching information.
  • the matching interpolation unit 23 has been described above. Here, an example is shown in which interpolation is performed with respect to four surrounding pixels, but a wider range of pixels may be referred to, or matching information for any of the upper, lower, left, and right pixels may be assigned.
  • FIG. 10 is a diagram for explaining the position calibration unit 24.
  • the position calibration unit 24 performs position calibration so that the parallax between the image captured by the camera 101 (exposure amount n) and the image captured by the camera 100 (exposure amount m) is eliminated.
  • the matching information ALL in which the correspondence between the images is obtained for each pixel of the image captured by the camera 100 and the image captured by the camera 101 has been obtained by the processing of the matching units 21 and 22 and the matching interpolation unit 23. Therefore, position calibration is performed using this matching information.
  • the image captured by the camera 101 (exposure amount n) becomes an image having no parallax with the image captured by the camera 100 (exposure amount m). That is, two images with different exposure amounts and no parallax are generated.
  • the distance calculation unit 31 calculates the distance from the camera 100 to the subject in the image using the image captured by the camera 100 and the matching information ALL. Since the camera 100 and the camera 101 are installed horizontally at a predetermined distance in advance, the distance can be obtained by applying a known triangulation method as a method for calculating the distance to the subject. Note that the matching information can be applied to an image captured by the camera 101, and can also be applied to a wide dynamic range image generated by the wide dynamic range image generation unit 32. However, the present invention is not limited to the subject imaged by the camera.
  • the wide dynamic range image generation unit 32 two images of the image captured by the camera 100 (exposure amount m) and the image captured by the camera 101 and subjected to position calibration by the position calibration unit 24 (exposure amount n) are combined, A wide dynamic range image that is an image captured with appropriate brightness at each of the exposure amount m and the exposure amount n is generated (see FIG. 11).
  • a known method is applied as a method for synthesizing two images having different exposure amounts.
  • a known technique for example, there is a technique described in Japanese Patent No. 4163353 cited in Patent Document 1.
  • the imaging apparatus of the present embodiment it is possible to generate a wide dynamic by generating images having virtually the same exposure amount from images having parallax and having different exposure amounts taken at the same time. Range image generation and distance measurement to the subject can be performed simultaneously.
  • the image exposure conversion units 200 and 201, the image parallax calibration unit 300, the distance calculation unit 31, and the wide dynamic range image generation unit 32 may be realized by executing a program on a computer. Good. Such a program is also included in the scope of the present invention.
  • the imaging apparatus can simultaneously generate a wide dynamic range image and measure a distance to a subject from images having parallax captured at the same time and different exposure amounts. It is useful for a sensing camera system that requires a wide dynamic range image and distance information.

Abstract

　撮像装置（１）は、視差を有しかつ露光量の異なる複数の画像を生成するカメラ（１００）（１０１）と、複数の画像の明るさを露光量に基づいて調整する画像輝度調整部（２００）（２０１）と、明るさが調整された複数の画像を用いて画像のマッチングを行い、マッチング情報を求めるマッチング部（２１）（２２）と、所定の被写体までの距離をマッチング情報に基づいて求める距離算出部（３１）と、マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部（２４）と、位置校正部（２４）で位置校正された異なる露光量の複数の画像を合成して、カメラ（１００）（１０１）にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部（３２）とを備える。これにより、同一時刻に撮影された視差を有し、かつ露光量の異なる画像から広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。

Description

撮像装置、撮像方法およびプログラム 関連する出願
　本出願では、２０１０年５月３１日に日本国に出願された特許出願番号２０１０－１２５１９５の利益を主張し、当該出願の内容は引用することによりここに組み込まれているものとする。
　本発明は、視差を有しかつ露光量の異なる複数枚の画像を撮像する撮像装置に関し、より詳しくは被写体までの測距および複数枚の画像を合成した広ダイナミックレンジ画像の生成機能を有する撮像装置に関する。
　近年、監視用カメラや車載用カメラなどに代表されるように、セキュリティ、インフラ、安心安全といった幅広い用途でディジタルカメラの使用が急速に拡大している。こうした用途で使用される場合、一般的な家庭で使用されるディジタルカメラに対する性能要求（高画質、高解像度など）とは異なり、例えば、どのような環境下でも黒潰れや白飛びがなく被写体を確実に撮像するためのダイナミックレンジの広さや、センシング用途として被写体までの距離を測定する測距機能が必要とされる。
　広ダイナミックレンジ画像の生成は、異なる露光量で撮影された複数枚の画像を合成する方法が一般的であり、従来から種々の手法が提案されている。また、視差のある複数枚の画像を用いて、画像中の被写体までの距離を測定するには、画像間で被写体のマッチングを行い、それぞれの画像における被写体の撮像位置を元に三角測量の原理を用いる手法が一般的である。画像間のマッチング手法についても従来から種々の方法が提案されている。
　このように広ダイナミックレンジ画像の生成手法と測距手法が、それぞれ独立して種々の手法が提案されている中で、視差を有しかつ露光量が異なる複数枚の画像から広ダイナミックレンジ画像の生成と測距の両方を行う手法も提案されている。例えば、特許文献１に記載された撮像装置は、視差を有しかつ露光量の等しい複数枚の画像と、視差のない露光量の異なる複数枚の画像を撮像する手段を備えている。この撮像装置は、前者の画像から被写体までの距離を測定し、後者の画像から広ダイナミックレンジ画像を生成することで、距離情報と広ダイナミックレンジ画像の両方を得ている。
特開２００３－１８６１７号公報
　しかしながら、従来手法においては、被写体までの測距のために、視差を有しかつ露光量の等しい画像を２枚必要とし、広ダイナミックレンジ画像生成のために、視差のない露光量の異なる画像を２枚とするため、合計４枚の画像が最低でも必要となる。
　一般的なステレオカメラで撮影することを考えると、映像１フレームの撮影で視差のある露光量の等しい画像を２枚撮影できるので、ある時刻におけるｔフレーム目に露光量ｎで撮影し、次のｔ＋１フレーム目に露光量ｍで撮影することになる。このとき距離情報は同一フレームで撮影される２枚の画像から測定できる。しかし、広ダイナミックレンジ画像を生成するためにはｔフレーム目に撮影した画像とｔ＋１フレーム目に撮影した画像を合成する必要があるので、合成する２枚の画像には撮影時間の差がある。被写体が動くようなシーンでは動きによる残像が発生するという課題があった。
　また、映像１フレームの撮影で視差があり露光量も異なる画像が２枚撮影できるステレオカメラを使用する場合、ある時刻におけるｔフレーム目にカメラＡで露光量ｎ、カメラＢで露光量ｍとして撮影し、ｔ＋１フレーム目にカメラＡで露光量ｍ、カメラＢで露光量ｎとして撮影する。このとき、広ダイナミックレンジ画像は同一フレームで撮影される２枚の画像から生成できる。しかし、測距は、異なるフレームに撮影した画像で行うため撮影時間の差がある。被写体が動くようなシーンでは、被写体がフレーム間で移動してしまうことから、被写体までの距離が正しく算出できないという課題があった。
　本発明は、従来の問題を解決するためになされたもので、広ダイナミックレンジ画像の生成と、被写体までの測距を同時に行う撮像装置および撮像方法を提供することを目的とする。
　本発明の撮像装置は、複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成する撮像部と、前記撮像部による撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整する画像輝度調整部と、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるマッチング部と、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求める距離算出部と、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部と、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部とを備えた構成を有する。
　本発明によれば、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができるという優れた効果を有する。
　以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。
図１は、本発明の実施の形態における撮像装置の概略構成を示すブロック図 図２は、本発明の実施の形態における通常の露光制御を示す図 図３は、本発明の実施の形態における露光制御を示す図 図４は、本発明の実施の形態における撮像部１００の画像に対する画像露光変換を示す図 図５は、本発明の実施の形態における撮像部１０１の画像に対する画像露光変換を示す図 図６は、本発明の実施の形態における画像マッチングの流れを示す図 図７は、本発明の実施の形態におけるマッチング補間処理の動作フロー図 図８Ａは、画像を構成する各画素におけるマッチング情報ｍを示す図 図８Ｂは、画像を構成する各画素におけるマッチング情報ｎを示す図 図８Ｃは、統合されたマッチング情報を示す図 図９は、本発明の実施の形態におけるマッチング情報の補間処理を示すブロック図 図１０は、本発明の実施の形態における画像の位置校正を示すブロック図 図１１は、本発明の実施の形態における広ダイナミックレンジ画像生成を示すブロック図
　以下に、本発明の詳細な説明を述べる。以下に説明する実施の形態は本発明の単なる例であり、本発明が様々な態様に変形することができる。従って、以下に開示する特定の構成および機能は、請求の範囲を限定するものではない。
　本実施の形態の撮像装置は、複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成する撮像部と、前記撮像部による撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整する画像輝度調整部と、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるマッチング部と、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求める距離算出部と、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部と、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部とを備えた構成を有する。
　この構成により、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。
　本実施の形態の撮像装置において、前記画像輝度調整部は、それぞれの画像の撮像に用いられた露光量の比を用いて画像の明るさを調整する構成を有する。
　この構成により、視差を有しかつ露光量が異なる複数の画像から、露光量の相違による明るさの違いを調整した視差を有する画像を求めることができる。
　本実施の形態の撮像装置において、前記撮像部は撮像によって視差を有しかつ露光量の異なる第１画像および第２画像を生成し、前記画像輝度調整部は、前記第１画像の明るさを前記第２画像の露光量に基づいて調整した調整済み第１画像と、前記第２画像の明るさを前記第１画像の露光量に基づいて調整した調整済み第２画像を生成し、前記マッチング部は、前記第１画像と前記調整済み第２画像とのマッチングを行って第１のマッチング情報を求め、前記調整済み第１画像と前記第２画像とのマッチングを行って第２のマッチング情報を求め、前記第１のマッチング情報と前記第２のマッチング情報を統合して、前記マッチング情報を求める構成を有する。
　この構成により、第１のマッチング情報と第２のマッチング情報とを用いて適切にマッチング情報を生成することができる。
　本実施の形態の撮像装置において、前記マッチング部は、前記第１画像と前記調整済み第２画像とのマッチング、および、前記調整済み第１画像と前記第２画像とのマッチングによって、対応する領域が求まらなかった領域について、当該領域の周囲の領域の対応情報を用いた補間処理によって対応関係を求める構成を有する。
　この構成により、画像輝度を調整した画像のマッチングによって完全な対応関係が求まらない領域についても、周囲の領域のマッチング情報を補間することによってマッチング情報を求めることができる。
　本実施の形態の撮像方法は、複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成するステップと、撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップとを備えた構成を有する。
　本実施の形態のプログラムは、異なる露光量で撮像された視差を有する複数の画像に基づいて画像を生成するために、コンピュータに、複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップとを実行させる構成を有する。
　この構成により、本実施の形態の撮像方法およびプログラムは、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。本実施の形態の撮像装置の各種の構成を、本実施の形態の撮像方法およびプログラムに適用することも可能である。
　以下に、本発明の実施の形態の撮像装置について、図面を参照しながら説明する。
　図１は、実施の形態の撮像装置１の構成を示す図である。撮像装置１は、被写体を撮像して映像信号を出力する基本的な撮像処理を行うカメラ１００およびカメラ１０１と、カメラ１００とカメラ１０１に対して所定の露光比になるようにそれぞれの露光量を制御する露光制御部３０と、カメラ１００から出力される画像とその画像に対して輝度調整した画像を画像バッファに保存する画像露光変換部２００と、カメラ１０１から出力される画像とその画像に対して輝度調整した画像を画像バッファに保存する画像露光変換部２０１と、画像露光変換部２００および画像露光変換部２０１で保存された画像から露光量が仮想的に等しい画像間でマッチングを取り、マッチングによって得られたマッチング情報を元にマッチング情報の統合と補間処理を行い、かつ、統合されたマッチング情報をもとにカメラ１０１で撮像された画像に対してカメラ１００で撮像された画像と視差がなくなるように位置校正を行う画像視差校正部３００と、カメラ１００で撮像された画像と画像視差校正部３００で求めたマッチング情報から画像に映る被写体までの撮像装置からの距離を算出する距離算出部３１と、カメラ１００で撮像された画像と画像視差校正部３００で位置校正を行った画像を合成して広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成部３２とを備えている。なお、カメラ１００とカメラ１０１は、所定の距離だけ間隔をあけて水平に設置されている。カメラ１００とカメラ１０１は、本発明の「撮像部」を構成する。
　カメラ１００は、レンズ１０と、絞り１１と、撮像素子１２と、Ａ／Ｄ変換器１３と、映像信号処理部１４とを備えている。カメラ１００は、露光制御部３０で指定された露光量（露光量ｍとする）となるように絞りやシャッタースピード（図示しない）を調整し、撮像する。レンズ１０から入射する被写体からの光を絞り１１で絞り、撮像素子１２に結像する。撮像素子１２は、結像した像を光電変換してアナログ信号を出力する。Ａ／Ｄ変換器１３は、撮像素子１２から出力されたアナログ信号をデジタル信号に変換する。映像信号処理部１４は、Ａ／Ｄ変換されたデジタル信号から映像信号を生成するための信号処理を行う。映像信号処理部１４は、輝度信号生成、色信号生成、アパーチャ信号生成などの信号処理のほか、ＯＢ減算やホワイトバランス調整、ノイズ低減など一般的な映像用の信号処理を行う。
　カメラ１０１は、カメラ１００と同じ構成を有する。露光制御部３０で指定された露光量（露光量ｎとする）となるように絞りやシャッタースピードを調整し、撮像する。
　次に、カメラ１００およびカメラ１０１の露光量を制御する露光制御部３０について説明する。まず、露光量の通常の制御方法について図２を参照しながら説明する。通常、露光制御は、画面の輝度値があらかじめ定めた目標輝度値と等しくなるようにする。例えば、フレームｔ（露光量ａとする）における画面輝度値を求める。画面輝度値としては、画面全体の平均値を用いてもよいし、画面の中央に重み付けしたような値を用いてもよい。
　画面輝度値とあらかじめ定めた目標輝度値を比較し、画面輝度値が目標輝度値よりも小さければ、フレームｔ＋１（露光量ｂとする）ではフレームｔよりも明るくなるように、ｂ＞ａとする。撮像動作としては、露光量が大きくなるように絞りを開けたりシャッタースピードを遅くしたりして露光量を増やす。反対に、画面輝度値が目標輝度値よりも大きければ、フレームｔよりも暗くなるようにｂ＜ａとする。撮像動作としては、絞りを絞ったりシャッタースピードを速くしたりして露光量を減らす。また、画面輝度値と目標輝度値が等しいとき、露光量aは適正露光であるのでｂ＝ａとする。以上が一般的な露光制御である。
　本実施の形態では露光量の異なる画像を合成して、明るい被写体から暗い被写体までを撮影できる広ダイナミックレンジ画像を生成するので、カメラ１００とカメラ１０１における露光量は異なる露光量とする。
　図３は、本実施の形態の露光制御について説明するための図である。例えば、フレームｔにおけるカメラ１００の露光量をｍｔとしたとき、カメラ１０１の露光量ｎｔは露光量ｍｔの１／指定比になるように与える。指定比は任意の値でよいが、ここでは指定比＝８として説明すると、露光量ｎｔはｍｔ／８となる。すなわち、露光量ｎｔは露光量ｍｔと比較して露光量が１／８であるので、カメラ１０１で撮像された画像はカメラ１００の画像に比べて８倍暗くなる。言い換えれば、カメラ１０１で撮像可能な被写体の照度の上限はカメラ１００での８倍相当となる。
　これにより、例えばカメラ１００では太陽のように非常に明るくて白飛びしていた被写体が、カメラ１０１では適当な明るさで撮像可能となる。逆に、カメラ１００では適当な明るさで撮像できていた木や人などの被写体がカメラ１０１では暗く撮像される。また、カメラ１００では前述した通常の露光制御を行い次フレームｔ＋１の露光量ｍｔ＋１を求めるが、カメラ１０１の露光量はカメラ１００の露光量を基準に算出できるので、カメラ１０１では通常の露光制御は行わずカメラ１００で求めた露光量ｍｔ＋１を元に、ｎｔ＋１＝ｍｔ＋１／指定比で求める。なお、指定比が大きいほど広ダイナミックレンジな画像が生成できるが、露光量が大きく異なる画像の合成が必要となるため画質面などで課題があり、ダイナミックレンジの拡大と画質劣化の弊害の両方を考慮し適度な指定比を設定する必要がある。
　このような明るさの関係で撮像される２枚の画像を合成することで明るい被写体から暗い被写体まで適切な明るさで撮像されている広ダイナミックレンジ画像が生成できる。
　図１に戻って、画像露光変換部２００は、画像輝度調整部１５と、画像バッファ１６と、画像バッファ１７とを備える。
　図４は、画像露光変換部２００について説明するための図である。画像露光変換部２００の画像輝度調整部１５は、カメラ１００で撮像された画像に対して、露光制御部３０から入力されるカメラ１００とカメラ１０１の露光比をゲインとして乗ずる。ここで、カメラ１００の露光量をｍ、カメラ１０１の露光量をｎとしたとき、ゲインはｎ／ｍとなる。これにより、カメラ１００で撮像された露光量ｍの画像から、カメラ１０１で撮像された露光量ｎ相当の画像を仮想的に生成することができる。これらの２枚の画像をそれぞれ画像バッファ１６，１７に保存する。
　図５は、画像露光変換部２０１について説明するための図である。画像露光変換部２０１は、画像露光変換部２００と同じ構成を有する。画像露光変換部２０１の画像輝度調整部１５は、カメラ１０１で撮像された画像に対して、露光制御部３０から入力されるカメラ１００とカメラ１０１の露光比ｍ／ｎをゲインとして乗ずる。これにより、カメラ１０１で撮像された露光量ｎの画像から、カメラ１００で撮像された露光量ｍ相当の画像を仮想的に生成することができる。これらの２枚の画像をそれぞれ画像バッファ１６，１７に保存する。
　図１に戻って、画像視差校正部３００は、マッチング部２１，２２、マッチング補間部２３、位置校正部２４を備える。
　図６は、画像のマッチングについて説明するための図である。画像露光変換部２００の画像バッファ１６にはカメラ１００で撮像された画像（露光量ｍ）が保存され、画像バッファ１７には輝度調整された画像（露光量ｎ相当）の保存されている。また、画像露光変換部２０１の画像バッファ１６にはカメラ１０１で撮像された画像（露光量ｎ）が保存され、画像バッファ１７には輝度調整された画像（露光量ｍ相当）が保存されている。画像視差校正部３００にこれらの画像４枚を入力する。
　マッチング部２１は画像（露光量ｍ）と画像（露光量ｍ相当）の２枚で画像マッチングを行い、マッチング部２２は画像（露光量ｎ）と画像（露光量ｎ相当）の２枚で画像マッチングを行う。すなわち、同じ露光量で撮影した視差のある画像同士でマッチングを行う。ここで２枚の画像間におけるマッチング手法については既知の方法を適用するものとし、本発明は、特定のマッチング手法に限定するものではない。このマッチングにより、画像間における画素の対応が取れる。この対応を示す情報をマッチング情報という。画像（露光量ｍ）および画像（露光量ｍ相当）でマッチングした結果をマッチング情報ｍとし、画像（露光量ｎ）および画像（露光量ｎ相当）でマッチングした結果をマッチング情報ｎとする。マッチング補間部２３でマッチング情報ｍとマッチング情報ｎを統合し補間することで、画像中の各画素におけるマッチング情報ＡＬＬを生成する。
　図７はマッチング情報ＡＬＬを生成するフローチャートである。図７を参照して、マッチング補間部２３の処理について説明する。まず、マッチング補間部２３は、マッチング情報ｍとマッチング情報ｎを元に、マッチング情報を統合する処理（ｓ１０）を行う。以下のフローは統合後のマッチング情報を元に行う。次に、マッチング補間部２３は、画面中の全画素を対象にして以下の処理を行う（ｓ１１～ｓ１６）。すなわち、最初に画素０を注目画素とし（ｓ１１）、注目画素を対象に以下に示す処理（ｓ１２～ｓ１６）を行い、続いて注目画素となる画素を順次インクリメントすることによって、全画素を対象とした処理を行う。以下では、注目画素をｐとして説明する。
　マッチング補間部２３は、注目画素ｐにマッチング情報が求まっているか否かを判定し（ｓ１２）、既にマッチング情報が求まっている場合は次の画素の処理に移る（ｓ１５）。マッチング情報が求まっていない場合、注目画素ｐの周辺画素でマッチング情報が求まっている画素を探索し（ｓ１３）、周辺画素のマッチング情報を補間することで注目画素ｐのマッチング情報を求め、補間して求めたマッチング情報を注目画素ｐに付与する（ｓ１４）。これにより注目画素ｐのマッチング情報が求まるので次の画素の処理に移る（ｓ１５）。全ての画素を注目画素として処理し終わったら処理を終了する（ｓ１６）。処理の終了段階で全ての画素にマッチング情報が付与された状態になる。
　図８Ａ～図８Ｃは、図７のフローチャートにおけるマッチング統合処理（ｓ１０）について説明するための図である。図８Ａ～図８Ｃでは、説明の便宜上、画像を水平４画素、垂直３画素の計１２画素に簡略化した模式図を示している。なお、説明時は、画素の左上から右側へ順番に画素０、画素１、画素２、画素３、さらに１段下がって左から右へ順番に、画素５、画素６・・・、画素１１と呼ぶ。また、各画素中に記載する（ｘ，ｙ）がマッチング情報であり、画像間で対応する画素の座標値または相対座標値となる。
　図８Ａは、各画素におけるマッチング情報ｍ、すなわち露光量ｍと露光量ｍ相当の画像から求めたマッチングの状態を示した図である。図８Ａでは、マッチング情報ｍは画素０、画素１、画素３、画素４、画素７、画素８で求まっており、その他の画素ではマッチング情報が求まっていないことを示している。
　図８Ｂは、各画素におけるマッチング情報ｎ、すなわち露光量ｎと露光量ｎ相当の画像から求めたマッチングの状態を示した図である。図８Ｂでは、マッチング情報ｎは画素０、画素２、画素６、画素９、画素１０、画素１１で求まっており、その他の画素ではマッチング情報が求まっていないことを示している。
　図８Ｃは、上記のようなマッチング情報ｍとマッチング情報ｎを統合した結果を示す図である。図８Ｃで示したマッチング情報の統合では、マッチング情報ｍとマッチング情報ｎのいずれか一方だけでマッチング情報が求まっている画素については、そのマッチング情報をそのまま適用する。図では画素１、画素２、画素３、画素４、画素６、画素７、画素８、画素９、画素１０、画素１１がそれに該当する。マッチング情報ｍとマッチング情報ｎの両方でマッチング情報が求まっている画素については、２つのマッチング情報の平均値を統合後のマッチング情報としている。図８Ｃでは、画素０がそれに該当する。なお、ここでは平均値を使っているが、どちらかのマッチング情報を優先して統合後のマッチング情報としてもよい。マッチング情報ｍとマッチング情報ｎの両方でマッチング情報が求まっていない画素については、統合処理の時点ではマッチング情報は求まらない。図８Ｃでは画素５がそれに該当する。
　図９は、図７のフローチャートにおけるマッチング情報の補間処理（ｓ１２～ｓ１４）について説明するための図である。図９は、図８Ｃにおけるマッチング情報の統合結果を示した図であり、マッチング情報の統合時点では画素５についてマッチング情報が付与されていない。マッチング情報の補間処理では、マッチング情報が付与されていない画素について、その周辺に位置する画素からマッチング情報が付与されている画素を探索する。図９に示す例では、画素５の周辺画素である画素２、画素４、画素６、画素８に対してマッチング情報が付与されている。図９では、画素５のマッチング情報（ｘ５、ｙ５）を、周辺４画素にそれぞれ付与されているマッチング情報を元に補間して算出する例を示している。このようにマッチング情報の統合時点でマッチング情報が付与されていない画素に対して、周辺画素のマッチング情報を補間して付与することで、全ての画素に対してマッチング情報を付与する。以上、マッチング補間部２３について説明した。なお、ここでは周辺４画素を対象に補間した例を示したが、更に広範囲の画素を参照してもよいし、単純に上下左右のいずれかの画素のマッチング情報を割り当ててもよい。
　図１０は、位置校正部２４について説明するための図である。位置校正部２４では、カメラ１０１で撮像された画像（露光量ｎ）を、カメラ１００で撮像された画像（露光量ｍ）との視差がなくなるように位置校正を行う。既にマッチング部２１、２２およびマッチング補間部２３の処理により、カメラ１００で撮像された画像とカメラ１０１で撮像された画像について、画素単位で画像間の対応を取ったマッチング情報ＡＬＬが求められているので、このマッチング情報を使って位置校正を行う。位置校正の結果、カメラ１０１で撮像された画像（露光量ｎ）はカメラ１００で撮像された画像（露光量ｍ）と視差のない画像になる。すなわち、露光量が異なる視差のない２枚の画像が生成される。
　次に、距離算出部３１では、カメラ１００で撮像された画像とマッチング情報ＡＬＬを使って、カメラ１００から画像中の被写体までの距離を算出する。カメラ１００とカメラ１０１は、あらかじめ所定の距離間隔をあけて水平に設置されているので、被写体までの距離の算出方法については既知の三角測量法を適用することで距離を求めることができる。なお、マッチング情報はカメラ１０１で撮像された画像に対しても適用できるし、広ダイナミックレンジ画像生成部３２で生成された広ダイナミックレンジ画像に対しても同様に適用することができるので、カメラ１００で撮像された被写体に限定するものではない。
　広ダイナミックレンジ画像生成部３２では、カメラ１００で撮像された画像（露光量ｍ）と、カメラ１０１で撮像され位置校正部２４で位置校正した画像（露光量ｎ）の２枚を合成して、露光量ｍと露光量ｎでそれぞれ適切な明るさで撮像した画像となる広ダイナミックレンジ画像を生成する（図１１参照）。露光量の異なる２枚の画像の合成方法は既知の手法を適用する。既知の手法としては、例えば特許文献１で引用されている特許第４１６３３５３号等に記載された手法がある。
　このように本実施の形態の撮像装置によれば、同一時刻に撮影された視差を有しかつ露光量の異なる画像から、仮想的に露光量を同じにした画像を生成することで、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。
　上記した実施の形態の撮像装置において、画像露光変換部２００、２０１、画像視差校正部３００、距離算出部３１、広ダイナミックレンジ画像生成部３２は、プログラムをコンピュータで実行することによって実現してもよい。このようなプログラムも本発明の範囲に含まれる。
　以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能であり、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。
　以上のように、本発明に係る撮像装置は、同一時刻に撮影された視差を有し、かつ露光量の異なる画像から、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができるという優れた効果を有し、広ダイナミックレンジ画像と距離情報を必要とするセンシング系のカメラシステム等に有用である。
　１　　撮像装置
　１０　レンズ
　１１　絞り
　１２　撮像素子
　１３　Ａ／Ｄ変換器
　１４　映像信号処理部
　１５　画像輝度調整部
　１６、１７　画像バッファ
　２１、２２　マッチング部
　２３　マッチング補間部
　２４　位置校正部
　３０　露光制御部
　３１　距離算出部
　３２　広ダイナミックレンジ画像生成部
　１００、１０１　カメラ
　２００、２０１　画像露光変換部
　３００　画像視差校正部

Claims (6)

  1. 　複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成する撮像部と、
    　前記撮像部による撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整する画像輝度調整部と、
    　明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるマッチング部と、
    　所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求める距離算出部と、
    　前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部と、
    　前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部と、
    　を備えたことを特徴とする撮像装置。
  2. 　前記画像輝度調整部は、それぞれの画像の撮像に用いられた露光量の比を用いて画像の明るさを調整することを特徴とする請求項１に記載の撮像装置。
  3. 　前記撮像部は、撮像によって、視差を有しかつ露光量の異なる第１画像および第２画像を生成し、
    　前記画像輝度調整部は、前記第１画像の明るさを前記第２画像の露光量に基づいて調整した調整済み第１画像と、前記第２画像の明るさを前記第１画像の露光量に基づいて調整した調整済み第２画像を生成し、
    　前記マッチング部は、前記第１画像と前記調整済み第２画像とのマッチングを行って第１のマッチング情報を求め、前記調整済み第１画像と前記第２画像とのマッチングを行って第２のマッチング情報を求め、前記第１のマッチング情報と前記第２のマッチング情報を統合して、前記マッチング情報を求める請求項１または２に記載の撮像装置。
  4. 　前記マッチング部は、前記第１画像と前記調整済み第２画像とのマッチング、および、前記調整済み第１画像と前記第２画像とのマッチングによって、対応する領域が求まらなかった領域について、当該領域の周囲の領域の対応情報を用いた補間処理によって対応関係を求める請求項３に記載の撮像装置。
  5. 　複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成するステップと、
    　撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、
    　明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、
    　所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、
    　前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、
    　前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップと、
    　を備えたことを特徴とする撮像方法。
  6. 　異なる露光量で撮像された視差を有する複数の画像に基づいて画像を生成するために、コンピュータに、
    　複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、
    　明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、
    　所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、
    　前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、
    　前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップと、
    　を実行させることを特徴とするプログラム。
PCT/JP2010/004813 2010-05-31 2010-07-29 撮像装置、撮像方法およびプログラム WO2011151867A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP10847166.5A EP2501125A4 (en) 2010-05-31 2010-07-29 IMAGING DEVICE, IMAGING MEANS, AND PROGRAM
CN2010800194327A CN102422124A (zh) 2010-05-31 2010-07-29 成像装置、成像方法及程序
US13/238,405 US20120062694A1 (en) 2010-05-31 2011-09-21 Imaging apparatus, imaging method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010125195A JP5367640B2 (ja) 2010-05-31 2010-05-31 撮像装置および撮像方法
JP2010-125195 2010-05-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/238,405 Continuation US20120062694A1 (en) 2010-05-31 2011-09-21 Imaging apparatus, imaging method, and program

Publications (1)

Publication Number Publication Date
WO2011151867A1 true WO2011151867A1 (ja) 2011-12-08

Family

ID=45066270

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/004813 WO2011151867A1 (ja) 2010-05-31 2010-07-29 撮像装置、撮像方法およびプログラム

Country Status (5)

Country Link
US (1) US20120062694A1 (ja)
EP (1) EP2501125A4 (ja)
JP (1) JP5367640B2 (ja)
CN (1) CN102422124A (ja)
WO (1) WO2011151867A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5860663B2 (ja) 2011-10-18 2016-02-16 日立オートモティブシステムズ株式会社 ステレオ撮像装置
JP5843599B2 (ja) * 2011-12-19 2016-01-13 キヤノン株式会社 画像処理装置および撮像装置並びにその方法
KR101207343B1 (ko) * 2012-08-30 2012-12-04 재단법인대구경북과학기술원 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
US11206358B1 (en) * 2012-11-29 2021-12-21 Altia Systems Inc Autoexposure control for multi-imager system synchronized to a single imager
JP6214206B2 (ja) * 2013-05-13 2017-10-18 キヤノン株式会社 撮像装置、制御方法及びプログラム
CN104935911B (zh) * 2014-03-18 2017-07-21 华为技术有限公司 一种高动态范围图像合成的方法及装置
EP2975845A1 (en) * 2014-07-17 2016-01-20 Thomson Licensing 3d high dynamic range image capture system
JP2016208438A (ja) 2015-04-28 2016-12-08 ソニー株式会社 画像処理装置及び画像処理方法
CN105578023A (zh) * 2015-05-27 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种快速拍摄图像方法及装置
KR102412020B1 (ko) 2015-09-25 2022-06-22 삼성전자주식회사 이미지 센서의 파라미터 제어 방법
JP2017069926A (ja) * 2015-10-02 2017-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2017204699A (ja) 2016-05-10 2017-11-16 ソニー株式会社 撮像装置、および撮像方法
US20190230334A1 (en) * 2016-06-15 2019-07-25 Sony Corporation Image producing apparatus and image producing method
JP6586239B2 (ja) * 2016-08-29 2019-10-02 株式会社日立製作所 撮影装置及び撮影方法
US10284761B2 (en) * 2016-11-17 2019-05-07 Motorola Mobility Llc Multi-camera capture of a high dynamic range image
US10122943B1 (en) 2017-05-05 2018-11-06 Motorola Mobility Llc High dynamic range sensor resolution using multiple image sensors
WO2019031086A1 (ja) * 2017-08-09 2019-02-14 富士フイルム株式会社 画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラム
CN107395983B (zh) * 2017-08-24 2020-04-07 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
GB2569656B (en) * 2017-12-22 2020-07-22 Zivid Labs As Method and system for generating a three-dimensional image of an object
KR102479492B1 (ko) 2018-01-08 2022-12-20 삼성전자주식회사 차량 주변의 이미지를 제공하는 전자 장치 및 방법
JP6701253B2 (ja) * 2018-03-22 2020-05-27 株式会社Ｓｕｂａｒｕ 車外環境認識装置
CN108989699B (zh) * 2018-08-06 2021-03-23 Oppo广东移动通信有限公司 图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质
US11647284B2 (en) * 2018-08-20 2023-05-09 Sony Semiconductor Solutions Corporation Image processing apparatus and image processing system with image combination that implements signal level matching
JP7247501B2 (ja) * 2018-09-21 2023-03-29 富士フイルムビジネスイノベーション株式会社 画像処理装置およびプログラム
CN109922328A (zh) * 2019-04-13 2019-06-21 杭州晶一智能科技有限公司 基于双摄像机的割草机器人宽动态成像方法
CN111372001B (zh) * 2020-03-17 2021-09-03 捷开通讯(深圳)有限公司 图像融合方法、装置、存储介质及移动终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08102970A (ja) * 1994-09-30 1996-04-16 Toshiba Corp ３次元画像撮像装置
JP2003018617A (ja) 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2004096488A (ja) * 2002-08-30 2004-03-25 Fujitsu Ltd 物体検知装置、物体検知方法および物体検知プログラム
JP2004120527A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd ２眼式デジタルカメラ
JP2008153997A (ja) * 2006-12-18 2008-07-03 Matsushita Electric Ind Co Ltd 固体撮像装置、カメラ、車両、監視装置及び固体撮像装置の駆動方法
JP4163353B2 (ja) 1998-12-03 2008-10-08 オリンパス株式会社 画像処理装置
JP2010125195A (ja) 2008-11-28 2010-06-10 Takao Co Ltd 遊技機

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822625A (en) * 1997-02-19 1998-10-13 Eastman Kodak Company Hybrid electronic-film camera
JP3261115B2 (ja) * 1999-09-22 2002-02-25 富士重工業株式会社 ステレオ画像処理装置
JP2001268326A (ja) * 2000-03-23 2001-09-28 Minolta Co Ltd 画像処理装置および撮像装置
US7336849B2 (en) * 2004-05-13 2008-02-26 Destiny Technology Corporation Exposure correction method for digital images
US7561731B2 (en) * 2004-12-27 2009-07-14 Trw Automotive U.S. Llc Method and apparatus for enhancing the dynamic range of a stereo vision system
US20070076929A1 (en) * 2005-10-05 2007-04-05 General Electric Company System and method for automatic post processing image generation
KR20100060140A (ko) * 2008-11-27 2010-06-07 삼성전자주식회사 영상 처리 장치에서의 광역 역광 보정 영상 획득 장치 및 방법
CN101493312B (zh) * 2009-03-06 2011-01-12 上海市激光技术研究所 一种显微成像高精度三维检测装置及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08102970A (ja) * 1994-09-30 1996-04-16 Toshiba Corp ３次元画像撮像装置
JP4163353B2 (ja) 1998-12-03 2008-10-08 オリンパス株式会社 画像処理装置
JP2003018617A (ja) 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2004096488A (ja) * 2002-08-30 2004-03-25 Fujitsu Ltd 物体検知装置、物体検知方法および物体検知プログラム
JP2004120527A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd ２眼式デジタルカメラ
JP2008153997A (ja) * 2006-12-18 2008-07-03 Matsushita Electric Ind Co Ltd 固体撮像装置、カメラ、車両、監視装置及び固体撮像装置の駆動方法
JP2010125195A (ja) 2008-11-28 2010-06-10 Takao Co Ltd 遊技機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2501125A4

Also Published As

Publication number Publication date
JP2011254170A (ja) 2011-12-15
US20120062694A1 (en) 2012-03-15
JP5367640B2 (ja) 2013-12-11
EP2501125A4 (en) 2014-01-15
CN102422124A (zh) 2012-04-18
EP2501125A1 (en) 2012-09-19

Similar Documents

Publication Publication Date Title
JP5367640B2 (ja) 撮像装置および撮像方法
KR101604068B1 (ko) 고대비 영상 생성 장치 및 방법
US20110080494A1 (en) Imaging apparatus detecting foreign object adhering to lens
JP2013106149A (ja) 撮像装置、その制御方法、及びプログラム
WO2015190156A1 (ja) 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
JP2015012480A (ja) 画像処理装置及び画像処理方法
US9589339B2 (en) Image processing apparatus and control method therefor
WO2014027511A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5411786B2 (ja) 撮影装置および画像統合プログラム
US20220180484A1 (en) Image processing method, electronic device, and computer-readable storage medium
JP2015186247A (ja) 画像処理装置及びその制御方法、並びに、プログラム
JP2013165487A (ja) 画像処理装置、撮像装置、およびプログラム
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP5238931B2 (ja) Ｈｄｒ画像生成方法および同方法を用いるデジタル撮像素子
JP2011171842A (ja) 画像処理装置及び画像処理プログラム
JP2009200743A (ja) 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置
JP2018191178A (ja) 画像処理装置、画像処理方法およびプログラム
JP6379812B2 (ja) 画像処理システム
JP2021097347A (ja) 撮像装置およびその制御方法、プログラム
JP2001352552A (ja) 映像信号処理装置及び映像信号処理方法
JP7346077B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2015080157A (ja) 画像処理装置、画像処理方法及びプログラム
WO2016167140A1 (ja) 撮像装置、撮像方法、並びにプログラム
WO2023042453A1 (ja) 撮像装置、および画像処理方法、並びにプログラム
JP2019129469A (ja) 画像処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080019432.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010847166

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10847166

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE