WO2018139297A1 - カメラ装置 - Google Patents

カメラ装置 Download PDF

Info

Publication number
WO2018139297A1
WO2018139297A1 PCT/JP2018/001142 JP2018001142W WO2018139297A1 WO 2018139297 A1 WO2018139297 A1 WO 2018139297A1 JP 2018001142 W JP2018001142 W JP 2018001142W WO 2018139297 A1 WO2018139297 A1 WO 2018139297A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
unit
image
area
region
Prior art date
Application number
PCT/JP2018/001142
Other languages
English (en)
French (fr)
Inventor
琢馬 大里
英彰 城戸
永崎　健
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Publication of WO2018139297A1 publication Critical patent/WO2018139297A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Definitions

  • the present invention relates to a camera device.
  • Patent Document 1 JP-A-2001-92968
  • a comparison image line memory, an address generation circuit, and a stereo matching circuit are included.
  • the line memory includes image data in a reference pixel area in one captured image and a reference pixel area in the other captured image.
  • the address generation circuit sets a search range for performing stereo matching, and sets the image data within the set search range and the reference image region.
  • the stereo matching circuit instructs the line memory to read the image data, and the stereo matching circuit performs stereo matching based on the image data within the search range read from the line memory and the image data of the reference pixel area.
  • the correlation destination of the reference pixel area is specified, where the address generation circuit described above Location based on the degree of infinite distance corresponding point shift relative to the, to correct the position of the search range for the reference pixel region. It is described as ".
  • Patent Document 2 JP2009-8539 (Patent Document 2) as background art in this technical field.
  • Stereo camera systems are well known as means for estimating the three-dimensional position of an object.
  • the stereo camera system arranges cameras at a plurality of positions, images the same object from a plurality of different viewpoints, and calculates a shift in appearance in the obtained image, that is, a distance from the parallax to the target object.
  • this conversion is expressed by the following equation.
  • Z [mm] is the distance to the target object
  • f [mm] is the focal length
  • wi [mm / px] is the pixel pitch
  • B [mm] is the distance between cameras (baseline length)
  • ⁇ [px] is parallax offset.
  • the parallax offset is an offset error that occurs in the parallax. This value is determined by the installation position of the camera, but is known to change with time due to vibration, distortion of the device due to temperature change, physical load generated during screw tightening, and the like. When the value of the parallax offset changes, an error occurs when calculating the distance from the parallax, and it is difficult to accurately estimate the target three-dimensional position.
  • Patent Document 1 describes means for capturing a screen with a stereo camera and estimating a parallax offset based on the captured image. However, since it is necessary to take an image of the screen, special equipment such as a factory is required, and it is not possible to cope with a parallax offset that changes over time.
  • Patent Document 2 describes means for tracking an object whose size does not change with time and estimating a parallax offset from the relationship between the size of the object on the image and the calculated parallax. However, since it is necessary to keep tracking a specific three-dimensional object stably, scenes that can be corrected are limited.
  • An object of the present invention is to provide a camera device that can reduce the calculation cost while ensuring the accuracy of parallax calculation.
  • the present invention provides a first image capturing unit that captures a first image, a second image capturing unit that captures a second image, and a position separated by a first distance or more corresponding to the resolution of parallax.
  • a region extraction unit that extracts a first region where an object is imaged from the first image, and a first parallax calculation unit that calculates a first parallax from the first region and the second region of the second image that is most similar to the first region.
  • a correction value determining unit that determines the first parallax as a correction value
  • a correction processing unit that corrects the second parallax based on the correction value.
  • the calculation cost can be reduced while ensuring the calculation accuracy of the parallax.
  • the stereo camera calibration apparatus includes a region in which an object at a position far enough far away, that is, a position where parallax is not generated in a stereo camera in which parallax offset is not generated, is imaged. And the parallax offset value is corrected by calculating the parallax of the corresponding region.
  • FIG. 1 is a diagram showing a configuration of a stereo camera calibration apparatus 100 according to the first embodiment of the present invention.
  • the stereo camera calibration apparatus 100 includes a stereo camera 110, a memory 106, a CPU 107 (Central Processing Unit), an image processing unit 103 (DSP: Digital Signal Processor), an external output unit 105 (communication circuit), and the like.
  • CPU 107 Central Processing Unit
  • DSP Digital Signal Processor
  • external output unit 105 communication circuit
  • the stereo camera 110 includes a left imaging unit 101 and a right imaging unit 102.
  • the image processing unit 103 performs processing such as calculation of parallax and detection of a three-dimensional object based on the parallax based on the images captured by each.
  • the parallax offset correction unit 104 corrects the parallax offset, thereby improving the estimation accuracy of the three-dimensional position.
  • the estimation result is transmitted to the outside of the processing apparatus through the external output unit 105.
  • the estimation result is used for vehicle control such as a brake and an accelerator.
  • the left imaging unit 101 captures the first image
  • the right imaging unit 102 captures the second image
  • the parallax offset correction unit 104 includes a far region extraction unit 201, a region parallax calculation unit 202, a correction value determination unit 203, and a correction processing unit 204.
  • FIG. 2 is a diagram illustrating a flowchart of the parallax offset correction unit 104.
  • the far region extraction unit 201 extracts a region where a far object is imaged from the image.
  • the area parallax calculation unit 202 calculates the parallax of the entire extracted area.
  • the correction value determination unit 203 determines the correction amount of the parallax offset based on the calculated parallax.
  • the correction processing unit 204 corrects the parallax using the determined correction amount.
  • the far region extraction unit 201 extracts a region where a far object is captured from the image.
  • Examples of distant objects include ground objects, and huge objects such as mountains and high-rise buildings.
  • Distant objects that exist in the air include celestial bodies such as the sun, moon, and stars, and clouds.
  • the far region extraction unit 201 captures an image of an object located at a distance greater than or equal to the first distance corresponding to the resolution of parallax (minimum value of parallax that can be measured). It can be said that the region (first region) is extracted from the image (first image).
  • the background difference method is used.
  • the distant object has almost no change in the position on the image, but the object in the vicinity changes greatly. Therefore, the captured images can be overlapped, and a region without change can be extracted as a distant object being captured.
  • FIG. 3 is a diagram illustrating a flowchart of the far region extraction unit 201 when a ground object is used as the far object.
  • the far region extraction unit 201 includes a GPS information acquisition unit 301, a map information acquisition unit 302, a far candidate region extraction unit 303, and a far region determination unit 304.
  • the GPS information acquisition unit 301 acquires the position where the camera is installed and the direction information thereof, and the map information acquisition unit 302 acquires the position and height information of buildings and mountains.
  • the GPS information acquisition unit 301 position information acquisition unit
  • the map information acquisition unit 302 acquires map information indicating map information.
  • the map information includes height information indicating the height of a building or the like (object).
  • the far candidate area extracting unit 303 extracts an area where a distant ground object may be imaged from the captured images as the far candidate area A1.
  • the far candidate region extraction unit 303 region extraction unit extracts the far candidate region A1 (first region) from the image (first image) based on the position information and the map information. As a result, it is possible to extract the far candidate area A1 where the ground object may be imaged.
  • Figure 4 shows an image of extracting regions from the map and GPS information. Since the relationship between the position 401 of the object 406 that can be the target, the position 402 and the orientation 403 of the camera has already been acquired, the image coordinates (i, j) that can be captured can be calculated by the following camera equation.
  • f is the focal length
  • wi and wj are the pixel pitch
  • ci and cj are the image center
  • X, Y, Z represents the three-dimensional position of the object.
  • the far candidate area extraction unit 303 determines the horizontal range 404 of the far candidate area A1 (first area) based on the position of the target (object) and the camera (camera device), and uses the height information as the height information. Based on this, the vertical range of the far candidate area A1 is determined. Thereby, the rectangular far candidate region A1 in which the target (object) is imaged can be determined.
  • the far region determination unit 304 determines whether or not the far object is imaged without the view being blocked by the extracted far candidate region A1, and finally determines the far region A2. In other words, the far region determination unit 304 (region determination unit) determines whether or not a far object (object) is captured without the visual field being blocked by the far candidate region A1 (first region).
  • the area parallax calculation unit 202 calculates a parallax (first parallax) when a far object is imaged without being blocked by the far candidate area A1. Thereby, the calculation accuracy of the parallax (first parallax) is improved.
  • the change in the extracted region is small between multiple images, or the building shape data is acquired together with the map information and matches the silhouette on the image.
  • the means of determining whether to do is mentioned.
  • the shape data of a building or the like (object) is included in map information, for example.
  • the far region determination unit 304 region determination unit determines whether the building or the like is imaged without being blocked by the far candidate region A1 (first region) based on the shape data of the building or the like (object). to decide. Thereby, calculation cost can be reduced compared with the specific example using a background difference method.
  • FIG. 6 is a diagram illustrating a flowchart of the far region extraction unit 201 when an aerial object, particularly a celestial body such as the sun or the moon, is used as a far object.
  • the far region extraction unit 201 includes a GPS information acquisition unit 301, a star map information acquisition unit 301a, a far candidate region extraction unit 601, and a far region determination unit 304.
  • it has a star map information acquisition unit 301a, and the operation of the far candidate region extraction unit 601 is different from the operation of the far candidate region extraction unit 303 of the first embodiment.
  • the GPS information acquisition unit 301 acquires information on the position, orientation, and imaging time at which the camera is installed.
  • the star map information acquisition unit 301a acquires star map information indicating star map information from a storage unit such as a memory.
  • the star map information acquisition unit 301a may acquire star map information from an external system via a wireless communication device or the like.
  • the imaging time information may be obtained from a clock provided inside or outside, or may be obtained from an external system via a wireless communication device or the like.
  • the far candidate area extraction unit 601 extracts an area in which a celestial body may be imaged from the captured images as the far candidate area A1. Since the position of the celestial body can be estimated based on the time information and the star map information, the candidate area can be extracted by combining with the position / orientation information of the camera. In other words, the far candidate region extraction unit 601 (region extraction unit) extracts the far candidate region A1 (first region) from the image (first image) based on the position information, star map information, and time information (date and time). Extract. Thereby, the far candidate area A1 in which the celestial body may be imaged can be extracted.
  • the far region determination unit 304 determines whether or not a far object is imaged in the extracted far candidate region A1, and finally determines the far region A2.
  • a far object is imaged in the extracted far candidate region A1
  • the far region A2 determines whether or not a far object is imaged in the extracted far candidate region A1.
  • FIG. 7 is a diagram illustrating a flowchart of the far region extraction unit 201 when the sun is used as a far object.
  • the sun takes advantage of being very bright compared to other objects.
  • the far region extraction unit 201 includes an exposure adjustment unit 701 and a far region determination unit 702.
  • the exposure adjustment unit 701 adjusts the exposure time of the camera to the exposure time for solar imaging. This exposure time is set to be sufficiently short, and the sun is imaged, but other objects are hardly captured. In other words, the exposure adjustment unit 701 exposes the left imaging unit 101 (first imaging unit) and the right imaging unit 102 (second imaging unit) so that only the sun is captured in the first image and the second image. Adjust.
  • FIG. 8 shows an image 801 captured with a normal exposure time and an image 802 captured with an exposure time for solar imaging.
  • the far region determination unit 702 determines a region having a luminance value equal to or higher than the threshold value as a far region.
  • the far region determination unit 702 region determination unit determines the region of the image (first image) having a luminance value equal to or higher than the threshold as the far region (first region). Thereby, the distant area
  • FIG. 9 is a diagram illustrating a flowchart of the far region extraction unit 201 when an aerial object, particularly a cloud, is used as the far object.
  • the far region extraction unit 201 includes an image region division unit 901, a region feature amount calculation unit 902, a sky region determination unit 903, and a far region determination unit 904.
  • the image area dividing unit 901 divides an image into small areas.
  • the area feature quantity calculation unit 902 calculates a feature quantity for each small area. For example, Fourier transform is performed.
  • the Fourier transform is a conversion to a frequency space, and a numerical value representing the magnitude and fineness of the change in brightness is calculated for the image.
  • the image region dividing unit 901 (region dividing unit) divides the image (first image) into a plurality of small regions (third regions).
  • the area feature quantity calculation unit 902 (feature quantity calculation unit) calculates a feature quantity for each small area (third area).
  • the sky region determination unit 903 determines whether each small region seems to be sky (including clouds). Since the sky and clouds are less bright and dark than an artificial object such as a building, and there is no rapid change such as a straight line, it is possible to extract a region with sky-like characteristics from the result of Fourier transform. In other words, the sky region determination unit 903 (region determination unit) determines whether or not clouds are captured in each small region based on the feature amount of each small region (third region).
  • the far region determination unit 904 integrates the extracted small regions to form a far region.
  • the far region determination unit 904 region determination unit determines the region obtained by integrating the small regions (third region) where the clouds are captured as the far region (first region). As a result, it is possible to extract a far region where the cloud is imaged.
  • the area parallax calculation unit 202 shown in FIG. 2 calculates the parallax in the extracted far area. That is, as shown in FIG. 10, a search is made as to how far the distant region 1001 extracted from one image has been imaged in another image (matching process). In other words, the region parallax calculation unit 202 (first parallax calculation unit) calculates the first parallax from the far region (first region) and the second region of the second image most similar to the far region.
  • the second area is a matching window for a second image captured by the right imaging unit 102 (second imaging unit).
  • a correlation value such as SAD (Sum Absolute Difference) is used.
  • SAD is obtained by taking a difference for each pixel in the region and adding the absolute values.
  • the amount of deviation when the correlation value is less than or equal to the threshold value (similarity is the maximum) is the parallax.
  • the parallax is calculated by searching a wide range.
  • the parallax is calculated only for a distant object, and therefore, the search range can be limited to a very small range of the parallax. .
  • the correction value determination unit 203 shown in FIG. 2 determines the correction value of the parallax offset based on the disparity in the far region.
  • the parallax of an area where the parallax can be regarded as 0 is calculated. That is, the disparity in the far region should be essentially 0, and the calculated value is the disparity offset itself. Therefore, the parallax calculated in the far region is set as the correction value.
  • the correction value determination unit 203 determines the first parallax calculated by the region parallax calculation unit 202 (first parallax calculation unit) as a correction value.
  • correction value may be applied to a filter, for example, a time-series smoothing filter for stability.
  • the correction processing unit 204 shown in FIG. 2 corrects parallax based on the determined correction value.
  • a circuit such as an FPGA (second parallax calculation unit) uses a parallax (first image) based on an image captured by the left imaging unit 101 (first image) and an image captured by the right imaging unit 102 (second image). 2 parallax) is calculated.
  • the correction processing unit 204 corrects the parallax (second parallax) based on the correction value. Specifically, for example, the correction processing unit 204 subtracts the correction value from the parallax (second parallax). Thereby, the parallax can be accurately calculated.
  • the corrected parallax is used in the image processing unit 103 and used for applications such as detection and position estimation of a three-dimensional object.
  • the parallax is corrected using an object located at a position more than the first distance corresponding to the parallax resolution, it is possible to ensure the parallax calculation accuracy.
  • the first parallax as the correction value is calculated only from the pair of the first image and the second image, the calculation cost can be reduced.
  • a threshold value for determining whether the object is far away is important. If the threshold is too low, the parallax offset is corrected based on the parallax of the nearby object. Since it is assumed that the parallax of the target object is sufficiently small, there is a risk of erroneous correction. On the other hand, if the threshold is too high, the frequency with which an object that satisfies the condition is imaged decreases, and correction may not be performed.
  • FIG. 11 is a diagram illustrating a flowchart of the parallax offset correction unit 104 that can change the threshold value.
  • the parallax offset correction unit 104 includes a far threshold calculation unit 1101, a far region extraction unit 201, a region parallax calculation unit 202, a correction value determination unit 203, and a correction processing unit 204.
  • the distant threshold value calculation unit 1101 sets a distance threshold value to be determined as distant, and thereafter performs the same processing as that described in the first embodiment.
  • FIG. 12 is a diagram illustrating a flowchart of the far threshold calculation unit 1101.
  • the allowable parallax error setting unit 1201 sets a parallax error allowed for the stereo camera system.
  • the distance at which the parallax is equal to or smaller than ⁇ [px] is defined as far, even if the parallax ⁇ is actually calculated by the presence of an object at the position corresponding to the parallax ⁇ , the correction is considered as a parallax offset. Do.
  • the parallax defining the far distance is basically equal to the allowable parallax error.
  • the allowable parallax error can be set based on the parallax accuracy, for example. An image captured by the camera can be obtained only in units of one pixel of the image element, that is, in units of 1 [px]. The parallax can be calculated more accurately than 1 [px] using a technique called sub-pixel estimation, but the limit is about 1/8 [px]. At this time, the parallax offset may be calculated with an accuracy of 1/8 [px].
  • the accuracy of subpixel estimation can be set as an allowable parallax error. Or you may calculate from the precision calculated
  • the target error setting unit 1202 sets a parallax range that can be taken by the target object. If it is a ground object, the relative distance to the object can be obtained from the map information and the GPS information. However, since an error occurs in both pieces of information, it is necessary to set a far threshold in consideration of the error.
  • An object 1302 is an object whose position is known from map information, but actually exists somewhere within a broken line 1304 that is an error range of the map and GPS. Therefore, the entire broken line needs to exist farther than the far distance 1303, and the threshold 1305 for determining the far distance is set as the sum of the far distance 1303 set from the allowable parallax error and the map and GPS error 1304a.
  • the far region extraction unit 201 has the camera position information at a far distance 1303 (first distance) corresponding to the parallax resolution based on the position information and map information of the camera (camera device).
  • an area (first area) in which an object at a position separated by a threshold 1305 (third distance) that is added with the map information error 1304a (second distance) is extracted from the image (first image).
  • the present embodiment it is possible to change the distance threshold value for determining the far distance according to the map and GPS errors.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to the one having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
  • the parallax is calculated using a circuit (second parallax calculation unit) such as an FPGA separately from the region parallax calculation unit 202 (first parallax calculation unit). May also function as the second parallax calculation unit, or a circuit such as an FPGA (second parallax calculation unit) may also function as the region parallax calculation unit 202 (first parallax calculation unit). That is, a function for calculating parallax may be integrated into one of the two.
  • a circuit such as an FPGA separately from the region parallax calculation unit 202 (first parallax calculation unit).
  • each of the above-described configurations, functions, etc. may be realized by hardware by designing a part or all of them, for example, by an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by a processor (CPU).
  • Information such as programs, tables, and files for realizing each function can be stored in a recording device such as a memory, a hard disk, or an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • the correction unit reduces the calculated parallax (specifically, The stereo camera according to (1), wherein the parallax correction amount is calibrated (to be 0).
  • DESCRIPTION OF SYMBOLS 100 ... Stereo camera calibration apparatus, 101 ... Left imaging part, 102 ... Right imaging part, 103 ... Image processing part, 104 ... Parallax offset correction part, 105 ... External output part, 106 ... Memory, 110 ... Stereo camera, 201 ... Distant Area extraction unit 202 ... Area parallax calculation unit 203 ... Correction value determination unit 204 204 Correction processing unit 301 ... Information acquisition unit 301a ... Star map information acquisition unit 302 ... Map information acquisition unit 303 ... Distant candidate area extraction , 304: Distant region determination unit, 406 ... Object, 601 ... Distant candidate region extraction unit, 701 ... Exposure adjustment unit, 702 ...
  • Distant region determination unit 901 ... Image region division unit, 902 ... Region feature amount calculation unit, 903 ... Sky area determination section, 904 ... Far area determination section, 1001 ... Far area, 1101 ... Far threshold calculation section, 1201 ... Permissible parallax error setting section, 1202 ... Target error Tough, 1301 ... camera position, 1302 ... object, 1303 ... far distance, 1304a ... error, 1305 ... threshold

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本発明は、視差の算出精度を確保しつつ、算出コストを低減することができるカメラ装置を提供する。本発明は、左撮像部１０１は、第１画像を撮像する。右撮像部１０２は、第２画像を撮像する。遠方領域抽出部２０１は、視差の分解能に対応する第１距離以上離れた位置にある物体が撮像された第１領域を第１画像から抽出する。領域視差算出部２０２は、第１領域及びそれに最も類似する第２画像の第２領域から第１視差を算出する。補正値決定部２０３は、領域視差算出部２０２によって算出された第１視差を補正値として決定する。補正処理部２０４は、補正値に基づいて第２視差を補正する。

Description

カメラ装置
　本発明は、カメラ装置に関する。
　本技術分野の背景技術として、特開2001-92968（特許文献１）がある。
　該公報には、「比較画像ラインメモリと、アドレス生成回路と、ステレオマッチング回路とを有する。ラインメモリは、一方の撮像画像における基準画素領域内の画像データと、他方の撮像画像における基準画素領域の垂直位置に対応した水平線上の画像データとを記憶する。アドレス生成回路は、ステレオマッチングを行う際の探索範囲を設定するとともに、当該設定された探索範囲内の画像データと基準画像領域内の画像データとの読み出しを、ラインメモリに対して指示する。また、ステレオマッチング回路は、ラインメモリから読み出された探索範囲内の画像データと基準画素領域の画像データとに基づいて、ステレオマッチングにより基準画素領域の相関先を特定する。ここで、上記のアドレス生成回路は、基準画素領域の水平位置を基準とした無限遠対応点のずれの程度に基づいて、当該基準画素領域に関する探索範囲の位置を補正する。」と記載されている。
　本技術分野の背景技術として、特開2009-8539号（特許文献２）がある。
　該公報には、「スクリーン等の他の手段を用いることなく、消失点算出の基準となる被写体が存在しない環境においても視差についての視差オフセット値の補正を行うことが可能なステレオ画像処理装置を提供する。」と記載されている。
特開2001-92968号公報 特開2009-8539号公報
　対象の三次元位置を推定する手段として、ステレオカメラシステムが良く知られている。ステレオカメラシステムは、カメラを複数の位置に配置して同一対象物を異なる複数の視点から撮像し、得られた画像における見え方のずれ、すなわち視差から対象物体までの距離を算出する。2台のカメラを用いた一般的なステレオカメラシステムでは、この変換は以下の式で表される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Z[mm]は対象物体までの距離、f[mm]は焦点距離、wi[mm/px]は画素ピッチ、B[mm]はカメラ間の距離（基線長）、d[px]は視差、ε[px]は視差オフセットを表す。ここで視差オフセットとは、視差に生じるオフセット状の誤差である。この値はカメラの設置位置によって決定されるが、振動、温度変化による装置の歪み、ねじ締め時に発生する物理的な負荷などによって経時的に変化することが知られている。視差オフセットの値が変化した場合、視差から距離を算出する際に誤差が生じ、対象の三次元位置を正確に推定することが困難となる。
　前記特許文献１には、ステレオカメラでスクリーンを撮像し、撮像された画像に基づいて視差オフセットを推定する手段が記載されている。しかしながら、スクリーンを撮像する必要があるため、工場などの特殊設備が必要であり、経時的に変化する視差オフセットに対応出来ない。
　前記特許文献２には、大きさが時間的に変化しない物体を追跡し、物体の画像上での大きさと算出された視差の関係から視差オフセットを推定する手段が記載されている。しかしながら、特定の立体物を安定に追跡し続ける必要があるため、補正可能なシーンが限られてしまう。
　本発明の目的は、視差の算出精度を確保しつつ、算出コストを低減することができるカメラ装置を提供することにある。
　上記目的を達成するために、本発明は、第１画像を撮像する第１撮像部と、第２画像を撮像する第２撮像部と、視差の分解能に対応する第１距離以上離れた位置にある物体が撮像された第１領域を前記第１画像から抽出する領域抽出部と、前記第１領域及びそれに最も類似する第２画像の第２領域から第１視差を算出する第１視差算出部と、前記第１視差を補正値として決定する補正値決定部と、前記補正値に基づいて第２視差を補正する補正処理部と、を備える。
　本発明によれば、視差の算出精度を確保しつつ、算出コストを低減することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第１の実施形態によるステレオカメラ校正装置の構成を示す図である。 視差オフセット補正部のフローチャートを示した図である。 遠方物体として地上物体を用いる場合の遠方領域抽出部のフローチャートを示した図である。 遠方物体として地上物体を用いる場合の遠方候補領域を抽出する動作を説明するための図である。 遠方物体が遮蔽されるシーンを説明するための図である。 遠方物体として天体を用いる場合の遠方領域抽出部フローチャートを示した図である。 遠方物体として太陽を用いる場合の遠方領域抽出部フローチャートを示した図である。 太陽撮像用の露光調整を説明するための図である。 遠方物体として雲を用いる場合の遠方領域抽出部フローチャートを示した図である。 領域視差算出部の動作を説明するための図である。 視差閾値を変更可能な視差オフセット補正部のフローチャートを示した図である。 遠方閾値算出部のフローチャートを示した図である。 遠方の定義手段を説明するための図である。
　以下、図面を用いて、本発明の第１～第２の実施形態によるステレオカメラ校正装置（カメラ装置）の構成及び動作について説明する。なお、各図において、同一符号は同一部分を示す。
　本実施形態の目的は、前述した発明の目的と一部重複するが、例えば、立体物を安定に追跡し続ける必要なく、視差オフセットを精度よく補正することにある。本発明の第１～第２の本実施形態によるステレオカメラ校正装置は、十分に遠方、すなわち視差オフセットが発生していないステレオカメラでは視差が0と見なせる位置の物体が撮像された領域を画像内から抽出し、該当領域の視差を算出することで、視差オフセットの値を補正する。
　〔第１の実施形態〕
  図１は、本発明の第１の実施形態によるステレオカメラ校正装置１００の構成を示す図である。ステレオカメラ校正装置１００は、ステレオカメラ１１０、メモリ１０６、ＣＰＵ１０７（Central Processing Unit）、画像処理部１０３（DSP: Digital Signal Processor）、外部出力部１０５（通信回路）などを備える。
　ステレオカメラ１１０は左撮像部１０１と右撮像部１０２を備える。それぞれで撮像された画像を元に、画像処理部１０３は、視差の算出や、視差に基づいた立体物検出などの処理を実施する。視差を三次元位置に変換するにあたって、視差オフセット補正部１０４が視差オフセットの補正を行うことで、三次元位置の推定精度を向上する。推定結果は外部出力部１０５を通じて処理装置の外部に送信され、例えば車載ステレオカメラであれば、ブレーキやアクセルなどの車両制御に利用される。
　換言すれば、左撮像部１０１（第１撮像部）は、第１画像を撮像し、右撮像部１０２（第２撮像部）は、第２画像を撮像する。
　ここで遠方とは、視差が0と見なせる位置のことをさす。視差は遠方ほど小さくなるため、例えば視差を1/2[px]単位で算出し処理するシステムでは、視差1/2[px]未満となる位置を遠方と定義し、処理を行えばよい。もちろん、1/2[px]の精度が必要ない場合にはより大きな視差から遠方とみなしてよいため、システムの要求精度に応じて設定する。
　以下、視差オフセット補正部１０４について説明する。なお、視差オフセット補正部１０４は、遠方領域抽出部２０１、領域視差算出部２０２、補正値決定部２０３、補正処理部２０４から構成される。
　図２は、視差オフセット補正部１０４のフローチャートを示した図である。遠方領域抽出部２０１は、画像から遠方物体が撮像されている領域を抽出する。領域視差算出部２０２は、抽出された領域全体の視差を算出する。補正値決定部２０３は、算出された視差に基づいて視差オフセットの補正量を決定する。補正処理部２０４は、決定された補正量を用いて視差の補正を行う。
　遠方領域抽出部２０１は、前述したように、画像中から遠方物体が撮像されている領域を抽出する。遠方物体として、例えば地上物体、山や高層ビルなどの巨大な物体が挙げられる。空中に存在する遠方物体として、太陽、月、星などの天体、雲などが挙げられる。
　前述した「遠方」の定義を考慮すると、遠方領域抽出部２０１（領域抽出部）は、視差の分解能（測定できる視差の最小値）に対応する第１距離以上離れた位置にある物体が撮像された領域（第１領域）を画像（第１画像）から抽出するとも言える。
　抽出する手段としては、例えば車載環境であれば、背景差分法を用いる。カメラの位置を前後方向に動かしながら２枚以上の画像を撮像したとき、遠方にある物体は画像上での位置にほぼ変化がないが、近傍にある物体は大きく変化する。よって、撮像した画像同士を重ね合わせ、変化のない領域は遠方の物体が撮像されているとして抽出することができる。
　以下、遠方物体として利用する物体を制限することで、より効果的に遠方領域を抽出する手段について説明する。
　図３は、遠方物体として地上物体を用いる場合の遠方領域抽出部２０１のフローチャートを示した図である。なお、遠方領域抽出部２０１は、GPS情報取得部３０１、地図情報取得部３０２、遠方候補領域抽出部３０３、遠方領域決定部３０４から構成される。
　まず、GPS情報取得部３０１は、カメラの設置されている位置及びその向き情報を取得し、地図情報取得部３０２は、建造物や山などの位置や高さ情報を取得する。換言すれば、GPS情報取得部３０１（位置情報取得部）は、少なくともカメラ（カメラ装置）の位置及びその向きを示す位置情報を取得する。地図情報取得部３０２は、地図の情報を示す地図情報を取得する。地図情報は、建造物等（物体）の高さを示す高さ情報を含む。
　次に、遠方候補領域抽出部３０３は、撮像された画像の中から遠方の地上物体が撮像される可能性のある領域を遠方候補領域Ａ１として抽出する。換言すれば、遠方候補領域抽出部３０３（領域抽出部）は、位置情報及び地図情報に基づいて画像（第１画像）から遠方候補領域Ａ１（第１領域）を抽出する。これにより、地上物体が撮像される可能性のある遠方候補領域Ａ１を抽出することができる。
　地図及びGPS情報から領域を抽出するイメージを図４に示した。対象となりうる物体４０６の位置４０１とカメラの位置４０２及び向き４０３の関係は取得済みであるから、撮像され得る画像座標(i, j)は以下のカメラ方程式によって計算できる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　ここでfは焦点距離、 wi, wjは画素ピッチ、ci, cjは画像中心であり、カメラに固有の定数である。(X, Y, Z)は対象の三次元位置を表す。この式によって、対象とカメラの相対位置関係から横方向の範囲４０４、対象の高さから縦方向の範囲４０５を決定し、領域（遠方候補領域Ａ１）として抽出することが出来る。
　換言すれば、遠方候補領域抽出部３０３は、対象（物体）及びカメラ（カメラ装置）の位置に基づいて遠方候補領域Ａ１（第１領域）の横方向の範囲４０４を決定し、高さ情報に基づいて遠方候補領域Ａ１の縦方向の範囲を決定する。これにより、対象（物体）が撮像される矩形の遠方候補領域Ａ１を決定することができる。
　ただし、本処理では遠方物体が撮像されるとすれば画像上のどの領域であるかを抽出しただけにすぎず、例えば図５のように街路樹などの遮蔽物によって視界が遮られ遠方物体が撮像されていない可能性がある。
　そこで遠方領域決定部３０４は、抽出された遠方候補領域Ａ１に視界が遮られずに遠方物体が撮像されているか否かの判断を行い、最終的に遠方領域Ａ２として決定する。換言すれば、遠方領域決定部３０４（領域決定部）は、遠方候補領域Ａ１（第１領域）に視界が遮られずに遠方物体（物体）が撮像されているか否かを判断する。領域視差算出部２０２（第１視差算出部）は、遠方候補領域Ａ１に視界が遮られずに遠方物体が撮像されている場合、視差（第１視差）を算出する。これにより、視差（第１視差）の算出精度が向上する。
　具体的には、前述の背景差分法のように抽出した領域の変化が複数画像間で小さいことを判定する、あるいは、建物の形状データを地図情報とともに取得しておき画像上でのシルエットと一致するか判定する、などの手段が挙げられる。
　上記の形状データを用いる具体例では、建物等（物体）の形状データは、例えば、地図情報に含まれる。遠方領域決定部３０４（領域決定部）は、建物等（物体）の形状データに基づいて、遠方候補領域Ａ１（第１領域）に視界が遮られずに建物等が撮像されているか否かを判断する。これにより、背景差分法を用いる具体例と比較して算出コストを低減することができる。
　（天体の利用）
  図６は、遠方物体として空中物体、特に太陽や月などの天体を用いる場合の遠方領域抽出部２０１のフローチャートを示した図である。本変形例では、遠方領域抽出部２０１は、GPS情報取得部３０１、星図情報取得部３０１ａ、遠方候補領域抽出部６０１、遠方領域決定部３０４から構成される。なお、本変形例では、星図情報取得部３０１ａを有し、遠方候補領域抽出部６０１の動作が第１の実施形態の遠方候補領域抽出部３０３の動作と異なる。
　まずGPS情報取得部３０１においてカメラの設置されている位置、向き、撮像時刻の情報を取得する。星図情報取得部３０１ａは、星図の情報を示す星図情報をメモリ等の記憶部から取得する。なお、星図情報取得部３０１ａは、無線通信装置等を介して外部のシステムから星図情報を取得してもよい。また、撮像時刻の情報は、内部又は外部に設けられた時計から取得してもよいし、無線通信装置等を介して外部のシステムから取得してもよい。
　次に、遠方候補領域抽出部６０１は、撮像された画像の中から天体が撮像される可能性のある領域を遠方候補領域Ａ１として抽出する。時刻情報及び星図情報を元に天体の位置を推定可能であるから、カメラの位置・向き情報と合わせることで候補領域を抽出可能である。換言すれば、遠方候補領域抽出部６０１（領域抽出部）は、位置情報、星図情報、及び時刻情報（日時）に基づいて、画像（第１画像）から遠方候補領域Ａ１（第１領域）を抽出する。これにより、天体が撮像される可能性のある遠方候補領域Ａ１を抽出することができる。
　最後に、遠方領域決定部３０４は、抽出された遠方候補領域Ａ１に遠方物体が撮像されているか否かの判断を行い、最終的に遠方領域Ａ２として決定する。天体の場合、時刻及び星図情報からその形状が容易に推定可能であるため、天体の形状データと画像上のシルエットの一致を判定することが可能である。
　（太陽の利用）
  図７は、遠方物体として太陽を用いる場合の遠方領域抽出部２０１のフローチャートを示した図である。太陽は他の物体と比べて非常に明るいことを利用する。本変形例では、遠方領域抽出部２０１は、露光調整部７０１、遠方領域決定部７０２から構成される。
　露光調整部７０１は、カメラの露光時間を太陽撮像用の露光時間に調整する。この露光時間は十分短く設定されており、太陽は撮像されるがそれ以外の物体はほぼ写らない。換言すれば、露光調整部７０１は、第１画像及び第２画像に太陽のみが撮像されるように左撮像部１０１（第１撮像部）及び右撮像部１０２（第２撮像部）の露光時間を調整する。
　図８に、通常の露光時間で撮像した画像８０１と、太陽撮像用の露光時間で撮像した画像８０２を示す。遠方領域決定部７０２では、閾値以上の輝度値を持つ領域を遠方領域として決定する。換言すれば、遠方領域決定部７０２（領域決定部）は、閾値以上の輝度値を有する画像（第１画像）の領域を遠方領域（第１領域）として決定する。これにより、太陽が撮像された遠方領域を容易に抽出することができる。
　（雲の利用）
  図９は、遠方物体として空中物体、特に雲を用いる場合の遠方領域抽出部２０１のフローチャートを示した図である。本変形例では、遠方領域抽出部２０１は、画像領域分割部９０１、領域特徴量計算部９０２、空領域判定部９０３、遠方領域決定部９０４から構成される。
　まず、画像領域分割部９０１は、画像を小領域に分割する。次に、領域特徴量計算部９０２は、小領域ごとに特徴量を計算する。例えばフーリエ変換を行う。フーリエ変換は周波数空間への変換であり、画像としては明暗変化の大きさと細かさを表す数値が算出される。
　換言すれば、画像領域分割部９０１（領域分割部）は、画像（第１画像）を複数の小領域（第３領域）に分割する。領域特徴量計算部９０２（特徴量計算部）は、小領域（第３領域）ごとに特徴量を計算する。
　次に、空領域判定部９０３は、それぞれの小領域が空（雲を含む）らしいかどうかの判定を行う。空や雲はビルなどの人工物に比べ明暗変化に乏しく、直線などの急激な変化も存在しないため、フーリエ変換の結果から空らしい特徴を持つ領域を抽出することが可能である。換言すれば、空領域判定部９０３（領域判定部）は、それぞれの小領域（第３領域）の特徴量に基づいて、それぞれの小領域に雲が撮像されているか否かを判定する。
　最後に遠方領域決定部９０４は、抽出された小領域を統合し遠方領域とする。換言すれば、遠方領域決定部９０４（領域決定部）は、雲が撮像されている小領域（第３領域）を統合した領域を遠方領域（第１領域）として決定する。これにより、雲が撮像された遠方領域を抽出することができる。
　このように遠方物体として用いる対象を制限することでより精度よく遠方領域を抽出することができ、視差オフセットの誤補正を回避することが出来る。
　図２に示した領域視差算出部２０２は、抽出された遠方領域における視差を算出する。すなわち、図１０に示すように、1枚の画像から抽出された遠方領域１００１が他画像においてどれだけずれた位置に撮像されたかを探索する（マッチング処理）。換言すれば、領域視差算出部２０２（第１視差算出部）は、遠方領域（第１領域）及びそれに最も類似する第２画像の第２領域から第１視差を算出する。なお、第２領域は、右撮像部１０２（第２撮像部）によって撮像される第２画像のマッチングウィンドウである。
　探索には、例えばSAD（Sum of Absolute Difference）などの相関値を用いる。SADは領域内の画素ごとに差分をとり、その絶対値を足し合わせたものである。相関値が閾値以下（類似度が最大）である時のずれ量が、すなわち視差となる。通常のステレオカメラシステムでは広い範囲を探索して視差を算出するが、本発明の実施形態では遠方物体だけを対象として視差を算出するため、探索範囲は視差のごく小さい範囲のみに絞ることが出来る。
　図２に示した補正値決定部２０３は、遠方領域の視差を元に視差オフセットの補正値を決定する。本実施形態においては視差が0と見なせる領域の視差を算出している。すなわち、遠方領域の視差は本来0になるはずであり、算出された値は視差オフセットそのものである。よって、遠方領域において算出された視差を補正値として設定する。換言すれば、補正値決定部２０３は、領域視差算出部２０２（第１視差算出部）によって算出された第１視差を補正値として決定する。
　地上物体を用いる場合には、対象物体までの距離は地図情報によって既知であるから、対象物体の視差をdobj、遠方領域の視差をdfarとしたとき、補正値εは、
Figure JPOXMLDOC01-appb-M000004
　としてもよい。もちろん、安定性のために補正値をフィルタ、例えば時系列の平滑化フィルタにかけてもよい。
　図２に示した補正処理部２０４は、決定された補正値に基づき視差の補正を行う。例えば、ＦＰＧＡ等の回路（第２視差算出部）は、左撮像部１０１によって撮像される画像（第１画像）及び右撮像部１０２によって撮像される画像（第２画像）に基づいて視差（第２視差）を算出する。補正処理部２０４は、補正値に基づいて視差（第２視差）を補正する。具体的には、例えば、補正処理部２０４は、視差（第２視差）から補正値を減算する。これにより、視差を正確に算出することができる。補正された視差は画像処理部１０３において利用され、立体物の検出・位置推定などの用途に用いられる。
　以上説明したように、本実施形態によれば、視差の分解能に対応する第１距離以上離れた位置にある物体を用いて視差を補正するので、視差の算出精度を確保することができる。また、一対の第１画像と第２画像のみから補正値としての第１視差を算出するので、算出コストを低減することができる。
　〔第２の実施形態〕
  ここでは、遠方物体を定義する際に、遠方と判定する距離閾値を対象に応じて変化させる第２の実施形態について述べる。
　特に建造物など地上物体を対象とする場合は、遠方かどうかを判定するための閾値が重要である。閾値が低すぎる場合、近傍の物体の視差を元に視差オフセットの補正を実行してしまう。対象物体の視差が十分に小さいことを仮定しているため、誤補正につながる恐れがある。一方、閾値が高すぎる場合、条件を満たす対象物が撮像させる頻度が低下してしまい、補正が行われない恐れがある。
　図１１は、閾値を変更可能な視差オフセット補正部１０４のフローチャートを示した図である。視差オフセット補正部１０４は、遠方閾値算出部１１０１、遠方領域抽出部２０１、領域視差算出部２０２、補正値決定部２０３、補正処理部２０４から構成される。
　遠方閾値算出部１１０１は、遠方と判定する距離の閾値を設定し、以後は第１の実施形態に示したものと同様の処理を行う。
　以下、遠方閾値算出部１１０１について説明する。
　図１２は、遠方閾値算出部１１０１のフローチャートを示した図である。
　許容視差誤差設定部１２０１では、ステレオカメラシステムに許容される視差誤差を設定する。本発明では、視差がα[px]以下となる距離を遠方と定義した場合、実際に視差α相当の位置に物体があることで視差αが算出されたとしても、視差オフセットとみなして補正を行う。
　すなわち、この時の誤差は最大でαである。よって、遠方を定義する視差は、基本的には許容視差誤差と等しい。許容視差誤差は、例えば視差精度に基づいて設定できる。カメラで撮像された画像は画像素子の1画素単位、すなわち1[px]単位でしか得ることは出来ない。視差は、サブピクセル推定と呼ばれる手法を用いて1[px]より精度よく算出することが可能だが、1/8[px]程度が限界となる。このとき、視差オフセットも1/8[px]の精度で算出出来ればよい。
　よって、サブピクセル推定の精度を許容視差誤差として設定できる。あるいは、検知物体までの距離として求められる精度から算出してもよい。視差と距離は変換可能であるから、対象までの距離とその時に許容される距離誤差を設定すれば、許容される視差誤差も一意に計算可能である。
　次に対象誤差設定部１２０２で対象とする物体が取りうる視差の範囲を設定する。地上物体であれば物体までの相対距離は地図情報とGPS情報によって得られるが、実際にはどちらの情報にも誤差が発生するため、誤差を考慮して遠方閾値を設定する必要がある。
　これらの関係を、図１３に示す。カメラ位置１３０１から、許容視差誤差設定部１２０１において定義された遠方距離１３０３より遠くに存在する物体だけを対象とし、処理を実行したい。物体１３０２は地図情報によって位置がわかっている物体であるが、実際には地図及びGPSの誤差範囲である破線１３０４内のどこかに存在する。よって破線全体が遠方距離１３０３より遠方に存在する必要があり、遠方を判定する閾値１３０５は、許容視差誤差から設定された遠方距離１３０３と地図及びGPSの誤差１３０４ａの和として設定される。
　換言すれば、遠方領域抽出部２０１（領域抽出部）は、カメラ（カメラ装置）の位置情報及び地図情報に基づいて、視差の分解能に対応する遠方距離１３０３（第１距離）にカメラの位置情報及び地図情報の誤差１３０４ａ（第２距離）を加算した閾値１３０５（第３距離）以上離れた位置にある物体が撮像された領域（第１領域）を画像（第１画像）から抽出する。
　以上説明したように、本実施形態によれば、地図及びGPSの誤差に応じて、遠方と判定する距離閾値を変化させることができる。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　上記実施形態では、一例として、領域視差算出部２０２（第１視差算出部）とは別にＦＰＧＡ等の回路（第２視差算出部）を用いて視差を算出しているが、領域視差算出部２０２が第２視差算出部の機能を兼ねていてもよいし、ＦＰＧＡ等の回路（第２視差算出部）が領域視差算出部２０２（第１視差算出部）の機能を兼ねていてもよい。つまり、両者のうちの一方に、視差を算出する機能を統合してもよい。
　さらに、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサ（ＣＰＵ）がそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
　なお、本発明の実施形態は、以下の態様であってもよい。
　（１）一対の撮像部と、該一対の撮像部間の視差を視差誤差(いわゆるオフセット誤差)に応じた視差補正量に基づいて補正する補正部を備え、前記視差補正量は、予め許容視差誤差値に基づいて定められる所定の距離より遠方に存在する物体を用いて前記視差補正量を校正する、ステレオカメラ。
　（２）前記補正部は、前記物体を撮影した際に算出される視差が前記所定の許容視差誤差値以上である場合には、算出された前記視差を小さくするように(具体的には、０となるように)前記視差補正量を校正する、（１）に記載のステレオカメラ。
　（３）前記物体として、地上物体(山、ランドマーク等)、又は、空中物体(太陽、月等の天体、又は、雲)を用いる、（１）に記載のステレオカメラ。
　（４）前記物体として地上物体を用いる場合には、地図情報に基づいて前記地上物体が自車から前記所定の距離より遠方に存在するかを判断する、（３）に記載のステレオカメラ。
　（５）前記所定の距離は、前記地図情報に想定される誤差に基づいて修正する、（４）に記載のステレオカメラ。
　（６）前記物体として空中物体を用いる場合には、地図情報・時刻・方位情報の少なくとも一つに基づいて、前記空中物体が撮像されうる領域を推定する、（３）に記載のステレオカメラ。
　（７）前記所定の距離は、対象とする空中物体の種別に基づいて修正する、（６）に記載のステレオカメラ。
　上記（１）～（７）によれば、視差オフセットを精度よく補正することの可能なステレオカメラを提供することが出来る。
１００…ステレオカメラ校正装置、１０１…左撮像部、１０２…右撮像部、１０３…画像処理部、１０４…視差オフセット補正部、１０５…外部出力部、１０６…メモリ、１１０…ステレオカメラ、２０１…遠方領域抽出部、２０２…領域視差算出部、２０３…補正値決定部、２０４…補正処理部、３０１…情報取得部、３０１ａ…星図情報取得部、３０２…地図情報取得部、３０３…遠方候補領域抽出部、３０４…遠方領域決定部、４０６…物体、６０１…遠方候補領域抽出部、７０１…露光調整部、７０２…遠方領域決定部、９０１…画像領域分割部、９０２…領域特徴量計算部、９０３…空領域判定部、９０４…遠方領域決定部、１００１…遠方領域、１１０１…遠方閾値算出部、１２０１…許容視差誤差設定部、１２０２…対象誤差設定部、１３０１…カメラ位置、１３０２…物体、１３０３…遠方距離、１３０４ａ…誤差、１３０５…閾値

Claims (10)

  1. 　第１画像を撮像する第１撮像部と、
    　第２画像を撮像する第２撮像部と、
    　視差の分解能に対応する第１距離以上離れた位置にある物体が撮像された第１領域を前記第１画像から抽出する領域抽出部と、
    　前記第１領域及びそれに最も類似する第２画像の第２領域から第１視差を算出する第１視差算出部と、
    　前記第１視差を補正値として決定する補正値決定部と、
    　前記補正値に基づいて第２視差を補正する補正処理部と、
    　を備えることを特徴とするカメラ装置。
  2. 　請求項１に記載のカメラ装置であって、
    　前記第１画像及び前記第２画像に基づいて前記第２視差を算出する第２視差算出部を備え、
    　前記補正処理部は、
    　前記第２視差から前記補正値を減算する
    　ことを特徴とするカメラ装置。
  3. 　請求項１に記載のカメラ装置であって、
    　少なくとも前記カメラ装置の位置及びその向きを示す位置情報を取得する位置情報取得部と、
    　地図の情報を示す地図情報を取得する地図情報取得部と、を備え、
    　前記領域抽出部は、
    　前記位置情報及び前記地図情報に基づいて前記第１画像から前記第１領域を抽出する
    　ことを特徴とするカメラ装置。
  4. 　請求項３に記載のカメラ装置であって、
    　前記第１領域に視界が遮られずに前記物体が撮像されているか否かを判断する領域決定部を備え、
    　前記第１視差算出部は、
    　前記第１領域に視界が遮られずに前記物体が撮像されている場合、前記第１視差を算出する
    　ことを特徴とするカメラ装置。
  5. 　請求項１に記載のカメラ装置であって、
    　少なくとも前記カメラ装置の位置及びその向きを示す位置情報を取得する位置情報取得部と、
    　星図の情報を示す星図情報を取得する星図情報取得部と、を備え、
    　前記物体は、
    　天体であり、
    　前記領域抽出部は、
    　前記位置情報、前記星図情報、及び日時に基づいて、前記第１画像から前記第１領域を抽出する
    　ことを特徴とするカメラ装置。
  6. 　請求項１に記載のカメラ装置であって、
    　前記物体は、
    　太陽であり、
    　前記第１画像及び前記第２画像に太陽のみが撮像されるように前記第１撮像部及び前記第２撮像部の露光時間を調整する露光調整部と、
    　閾値以上の輝度値を有する前記第１画像の領域を前記第１領域として決定する領域決定部と、
    　を備えることを特徴とするカメラ装置。
  7. 　請求項１に記載のカメラ装置であって、
    　前記物体は、
    　雲であり、
    　前記第１画像を複数の第３領域に分割する領域分割部と、
    　前記第３領域ごとに特徴量を計算する特徴量計算部と、
    　それぞれの前記第３領域の前記特徴量に基づいて、それぞれの前記第３領域に前記雲が撮像されているか否かを判定する領域判定部と、
    　前記雲が撮像されている前記第３領域を統合した領域を前記第１領域として決定する領域決定部と、
    　を備えることを特徴とするカメラ装置。
  8. 　請求項３に記載のカメラ装置であって、
    　前記地図情報は、
    　前記物体の高さを示す高さ情報を含み、
    　前記領域抽出部は、
    　前記物体及び前記カメラ装置の位置に基づいて前記第１領域の横方向の範囲を決定し、前記高さ情報に基づいて前記第１領域の縦方向の範囲を決定する
    　ことを特徴とするカメラ装置。
  9. 　請求項３に記載のカメラ装置であって、
    　前記領域抽出部は、
    　前記位置情報及び前記地図情報に基づいて、前記第１距離に前記位置情報及び前記地図情報の誤差である第２距離を加算した第３距離以上離れた位置にある前記物体が撮像された前記第１領域を前記第１画像から抽出する
    　ことを特徴とするカメラ装置。
  10. 　請求項４に記載のカメラ装置であって、
    　前記地図情報は、
    　前記物体の形状データを含み、
    　前記領域決定部は、
    　前記物体の形状データに基づいて、前記第１領域に視界が遮られずに前記物体が撮像されているか否かを判断する
    　ことを特徴とするカメラ装置。
PCT/JP2018/001142 2017-01-27 2018-01-17 カメラ装置 WO2018139297A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017013101A JP6739367B2 (ja) 2017-01-27 2017-01-27 カメラ装置
JP2017-013101 2017-01-27

Publications (1)

Publication Number Publication Date
WO2018139297A1 true WO2018139297A1 (ja) 2018-08-02

Family

ID=62978271

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/001142 WO2018139297A1 (ja) 2017-01-27 2018-01-17 カメラ装置

Country Status (2)

Country Link
JP (1) JP6739367B2 (ja)
WO (1) WO2018139297A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020235067A1 (ja) * 2019-05-22 2020-11-26 オムロン株式会社 ３次元計測システム及び３次元計測方法
CN112351271A (zh) * 2020-09-22 2021-02-09 北京迈格威科技有限公司 一种摄像头的遮挡检测方法、装置、存储介质和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09133525A (ja) * 1995-11-10 1997-05-20 Nippon Soken Inc 距離計測装置
JP2006279239A (ja) * 2005-03-28 2006-10-12 Toyota Motor Corp ステレオカメラの補正方法、ステレオカメラ補正装置
WO2010001940A1 (ja) * 2008-07-01 2010-01-07 株式会社トプコン 位置測定方法、位置測定装置、およびプログラム
WO2013145025A1 (ja) * 2012-03-30 2013-10-03 株式会社日立製作所 ステレオカメラシステム及び移動体
JP2013257244A (ja) * 2012-06-13 2013-12-26 Sharp Corp 距離測定装置、距離測定方法、及び距離測定プログラム
JP2016118400A (ja) * 2014-12-18 2016-06-30 京セラ株式会社 ステレオカメラ装置、移動体、制御方法及び較正装置
JP2016123034A (ja) * 2014-12-25 2016-07-07 京セラ株式会社 ステレオカメラ装置、移動体、ステレオカメラシステム、サーバ装置及び制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09133525A (ja) * 1995-11-10 1997-05-20 Nippon Soken Inc 距離計測装置
JP2006279239A (ja) * 2005-03-28 2006-10-12 Toyota Motor Corp ステレオカメラの補正方法、ステレオカメラ補正装置
WO2010001940A1 (ja) * 2008-07-01 2010-01-07 株式会社トプコン 位置測定方法、位置測定装置、およびプログラム
WO2013145025A1 (ja) * 2012-03-30 2013-10-03 株式会社日立製作所 ステレオカメラシステム及び移動体
JP2013257244A (ja) * 2012-06-13 2013-12-26 Sharp Corp 距離測定装置、距離測定方法、及び距離測定プログラム
JP2016118400A (ja) * 2014-12-18 2016-06-30 京セラ株式会社 ステレオカメラ装置、移動体、制御方法及び較正装置
JP2016123034A (ja) * 2014-12-25 2016-07-07 京セラ株式会社 ステレオカメラ装置、移動体、ステレオカメラシステム、サーバ装置及び制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020235067A1 (ja) * 2019-05-22 2020-11-26 オムロン株式会社 ３次元計測システム及び３次元計測方法
CN113748313A (zh) * 2019-05-22 2021-12-03 欧姆龙株式会社 三维测量系统及三维测量方法
CN113748313B (zh) * 2019-05-22 2023-11-21 欧姆龙株式会社 三维测量系统及三维测量方法
CN112351271A (zh) * 2020-09-22 2021-02-09 北京迈格威科技有限公司 一种摄像头的遮挡检测方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
JP2018119910A (ja) 2018-08-02
JP6739367B2 (ja) 2020-08-12

Similar Documents

Publication Publication Date Title
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及系统
US8059887B2 (en) System and method for providing mobile range sensing
CN105300362B (zh) 一种应用于rtk接收机的摄影测量方法
WO2017022033A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
EP2901236B1 (en) Video-assisted target location
JP2013224919A (ja) 校正装置、距離計測装置及び車両
JPWO2012096163A1 (ja) 画像処理装置、画像処理方法、及びそのプログラム
US8569669B2 (en) Navigation method for a missile
JP2008185375A (ja) Ｓａｒ画像の３ｄ形状算出装置及びｓａｒ画像の歪補正装置
CN109523585B (zh) 一种基于方向相位一致性的多源遥感影像特征匹配方法
CN110517209B (zh) 数据处理方法、装置、系统以及计算机可读存储介质
KR102458242B1 (ko) 스테레오 카메라로부터 획득된 이미지 페어를 처리하는 장치 및 방법
CN112880687A (zh) 一种室内定位方法、装置、设备和计算机可读存储介质
CN111882655B (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
CN110345875B (zh) 标定及测距方法、装置、电子设备及计算机可读存储介质
CN110033046B (zh) 一种计算特征匹配点分布可信度的量化方法
JP2016200557A (ja) 校正装置、距離計測装置及び校正方法
CN109520480A (zh) 基于双目立体视觉的测距方法及测距系统
WO2019048904A1 (en) STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA
CN105466399A (zh) 快速半全局密集匹配方法和装置
WO2018139297A1 (ja) カメラ装置
JP5769248B2 (ja) ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム
US10591300B2 (en) Fixing magnetometer based azimuth according to sun positioning
JP6601893B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2009104366A (ja) ステレオ画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18744060

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18744060

Country of ref document: EP

Kind code of ref document: A1