WO2019003771A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2019003771A1
WO2019003771A1 PCT/JP2018/020665 JP2018020665W WO2019003771A1 WO 2019003771 A1 WO2019003771 A1 WO 2019003771A1 JP 2018020665 W JP2018020665 W JP 2018020665W WO 2019003771 A1 WO2019003771 A1 WO 2019003771A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parallax
imaging
unit
optical axis
Prior art date
Application number
PCT/JP2018/020665
Other languages
English (en)
French (fr)
Inventor
直也 多田
春樹 的野
善之 武藤
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP18823109.6A priority Critical patent/EP3647716A4/en
Priority to JP2019526718A priority patent/JP6867487B2/ja
Publication of WO2019003771A1 publication Critical patent/WO2019003771A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an imaging device.
  • a driving support system using an image obtained by an in-vehicle camera device has attracted attention as one of the techniques contributing to safe driving and automatic driving, and for example, an in-vehicle camera device having a pair of imaging devices (stereo cameras) A technique, etc., which specifies the horizontal displacement (parallax) of the object shown in the two captured images and calculates the distance to the object according to the principle of triangulation based on the specified parallax It is done.
  • a plurality of images of the camera calibration board are acquired by the camera, camera calibration is performed using the plurality of images, calibration parameters are calculated, and a plurality of images acquired by the plurality of cameras using the calculated calibration parameters
  • a stereo three-dimensional measurement apparatus is disclosed that corrects an error including at least one of distortion, inclination, and deviation included in an image of a measurement object.
  • the present invention has been made in view of the above, and it is an object of the present invention to provide an imaging device capable of relaxing the limitation of the environment in which the calibration of the optical axis of the stereo camera can be performed.
  • the first imaging unit and the second imaging unit capture a pair of imaging units of a first imaging unit and a second imaging unit, and the first image and the second imaging unit.
  • An image storage unit that stores a second image captured at the same time as the image, and a moving image generation unit that generates a third image in which the pixels of the first image are vertically moved by a predetermined amount;
  • a parallax image generation unit that generates a first parallax image from the first image and the second image, and generates a second parallax image from the second image and the third image, the first parallax image, and the first parallax image
  • An optical axis misalignment detection unit is provided which detects an amount of misalignment of optical axes in the vertical direction between the first imaging unit and the second imaging unit based on the second parallax image.
  • the limitation of the environment in which the calibration of the optical axis of the stereo camera can be performed can be relaxed, and the calibration can be performed at any timing.
  • FIG. 1 is a functional block diagram schematically showing an entire configuration of an imaging device according to the present embodiment. It is a figure which shows an example of the relationship between the shift amount of the up-down direction from the 1st image in a 3rd image, and the parallax number of the parallax image of each 3rd image and a 2nd image. It is a figure which shows an example of the relationship between the shift amount of the up-down direction from the 1st image in the 3rd image, and the parallax number of the parallax image of each 3rd image and 2nd image in the image which is hard to appear parallax.
  • the figure which shows an example of the relationship between the shift amount of the up-down direction from the 1st image in the 3rd image, and the parallax number of the parallax image of each 3rd image and a 2nd image in the image which the mistake of parallax calculation easily occurs. is there. It is a flowchart which shows an optical axis offset detection process.
  • FIG. 1 is a functional block diagram schematically showing an entire configuration of an imaging device according to the present embodiment.
  • the imaging device 1 includes a pair of imaging units 11 and 12, an image storage unit 13, a moving image generation unit 14, a parallax image generation unit 15, an optical axis offset detection unit 16, and a parallax image generation unit 17 for distance measurement. And a distance measuring unit 18.
  • the pair of imaging units 11 and 12 are stereo cameras for capturing the direction of the imaging target in the imaging device 1 to obtain an image, and the optical axis and imaging direction Are arranged at the same height on the left and right of the imaging device 1 so as to face the same direction.
  • the first imaging unit 11 and the second imaging unit 12 respectively capture images continuously and output images.
  • the image storage unit 13 is a pair of images captured at the same time, which are used to calculate an optical axis offset among images captured and continuously output by the first imaging unit 11 and the second imaging unit 12. Save the image (first image, second image).
  • the moving image generation unit 14 vertically moves the pixels of one of the pair of images (first and second images) captured by the imaging units 11 and 12 stored in the image storage unit 13. A plurality of predetermined images (third images) moved by different amounts are generated.
  • generated from the 1st image imaged with the 1st imaging part 11 is illustrated and demonstrated.
  • the parallax image generation unit 15 generates a parallax image (first parallax image) from the first image and the second image stored in the image storage unit 13 and also generates a pair of images (first image, second image).
  • a plurality of parallax images (second parallax images) are respectively generated from the other one of the images (that is, the second image here) and the plurality of third images.
  • the optical axis misalignment detection unit 16 detects the amount of misalignment of the optical axes in the vertical direction between the first imaging unit 11 and the second imaging unit 12 based on the first parallax image and the second parallax image.
  • the shift amount of the optical axis detected by the optical axis shift detection unit 16 is sent to the distance measurement parallax image generation unit 17 or the distance measurement unit 18.
  • the distance measurement parallax image generation unit 17 generates a parallax image for distance measurement from two images captured by a pair of imaging units of the first imaging unit 11 and the second imaging unit 12.
  • the amount of deviation of the optical axis detected by the optical axis deviation detection unit 16 may be used.
  • the distance measurement unit 18 displays the two images captured by the pair of imaging units (the first imaging unit 11 and the second imaging unit 12) based on the parallax images generated by the distance measurement parallax image generation unit 17. Measure the distance to a target object (eg, a pedestrian or other vehicle).
  • a target object eg, a pedestrian or other vehicle.
  • various methods can be considered as a measurement method, for example, the horizontal shift (with respect to an object shown in two images captured by a pair of imaging units (first imaging unit 11 and second imaging unit 12) ( The parallax) is specified by the parallax image, and the distance to the object is calculated by the principle of triangulation based on the specified parallax.
  • the measurement result is corrected using the shift amount of the optical axis detected by the optical axis shift detection unit 16.
  • the number of parallaxes of parallax images obtained from the two images increases or decreases depending on the shift amount of the optical axis of the pair of imaging units in the vertical direction. That is, there is a tendency that the number of parallaxes of the parallax image has a maximum value when there is no vertical deviation of the optical axis of the pair of imaging units (in the case of the minimum), and decreases as the amount of optical axis deviation increases. doing.
  • the matching direction in the case of generating a parallax image is a search in the horizontal direction, and therefore, it is agreed that the matching evaluation value becomes low if the optical axes in the vertical direction of the optical axes of the pair of imaging units are deviated. is there. Then, based on such knowledge, the inventors of the present invention select one of the two images (first and second images) captured by the pair of imaging units (first and second imaging units 11 and 12).
  • the upper and lower sides of the optical axis of the pair of imaging units (the first imaging unit 11 and the second imaging unit 12) According to the change in the number of parallaxes of the parallax image obtained from the third image and the second image in which the apparent shift amount of the direction is changed and the first image is moved in the The shift amount of the optical axis of the imaging unit 11 and the second imaging unit 12) is calculated.
  • FIG. 2 is a diagram showing an example of the relationship between the amount of vertical shift from the first image in the third image and the number of parallaxes of the parallax image between each third image and the second image, and the vertical axis is the parallax The number of parallaxes of the image, and the shift amount in the vertical direction are shown on the horizontal axis.
  • the parallax image As shown in FIG. 2, when the amount of vertical shift from the first image in the third image, that is, the apparent shift of the optical axis of the first imaging unit 11 with respect to the second imaging unit 12 changes, the parallax image The number of parallaxes of
  • the horizontal axis direction that is, the vertical direction of the third image
  • the first imaging unit 11 and the second imaging From the difference between the origin position (that is, when the third image is the same as the first image) at the shift amount) and the shift amount value at which the parallax number takes the maximum value, the first imaging unit 11 and the second imaging The amount of vertical displacement of the optical axis of the part 12 is obtained.
  • an approximate curve of parallax number (here, a quadratic curve convex upward) is calculated using a method such as the least squares method, and the deviation amount of the optical axis is calculated using this approximate curve. It shows the case of calculation.
  • the distribution of the number of parallaxes is close to a normal distribution, and an image with a large number of parallaxes, that is, an image in which the usefulness of the distribution of the number of parallaxes satisfies Use.
  • the image in which the parallax hardly appears is an image showing the distribution of the number of parallaxes as shown in FIG.
  • an image in which a parallax calculation error is likely to occur is an image showing the distribution of the number of parallaxes as shown in FIG. 4 and, for example, the captured image itself may be an image with many vertical patterns. In such an image, even if the pixels of the image are shifted in the vertical direction, the difference in the image (in particular, the difference in the vertical direction) is not seen before and after the shift, and therefore the change in the number of parallaxes due to the change in the shift amount decreases. is there.
  • FIG. 5 is a flowchart showing an optical axis misalignment detection process.
  • the first imaging unit 11 and the second imaging unit 12 perform imaging, and the image storage unit 13 stores a pair of images (first and second images) captured at the same time (step S100) .
  • the moving image generation unit 14 moves an image of one of the pair of images (the first image and the second image) in the vertical direction by a predetermined amount (third image). Are generated (step S120).
  • the case of generating a third image from the first image captured by the first imaging unit 11 will be described as an example.
  • the parallax image generation unit 15 generates a parallax image (first parallax image) from the first image and the second image stored in the image storage unit 13, and a pair of images (first image, second image)
  • a parallax image (second parallax image) is generated from the other image (i.e., here, the second image) of the images) and the third image (step S130). Note that template matching is used to calculate the parallax value in the generation of the parallax image.
  • the optical axis offset detection unit 16 calculates the number of parallaxes for each of the second image and the third image (step S140).
  • the entire image may be used, but here, the more reliable number of parallaxes is calculated.
  • the highly reliable parallax is, for example, the parallax of strong feature points of the edge.
  • step S150 it is determined whether or not the number of parallax images necessary for detecting the shift amount of the optical axis of the first imaging unit 11 and the second imaging unit 12 has been generated (step S150).
  • various references can be considered as a reference for the number of parallax images necessary for detecting the amount of optical axis shift, for example, an approximate curve obtained from the distribution of the number of parallaxes created in step S160 described later can obtain sufficient accuracy
  • the number of parallax images is empirically acquired and used as a reference.
  • step S150 determines whether the determination result in step S150 is NO, that is, if a sufficient number of parallax images are not generated.
  • the processing in steps S120 to S140 is repeated until the determination result is YES.
  • the moving image generation unit 14 moves the pixels of one of the pair of images (the first image and the second image) in the upper and lower direction by a plurality of images moved by different amounts.
  • the parallax image generation unit 15 generates a parallax image (first parallax image) from the first image and the second image stored in the image storage unit 13 and generates a pair of images (a third image).
  • a plurality of parallax images are generated respectively from the other image of the first image and the second image) (that is, the second image here) and the plurality of third images, and optical axis misalignment detection
  • the unit 16 calculates the number of parallaxes for each of the second image and the plurality of third images (steps S120 to S150).
  • step S150 If the determination result in step S150 is YES, the distribution of the number of parallaxes with respect to the shift amount in the vertical direction in the third image is created (step S160).
  • step S160 it is determined whether the usefulness of the distribution created in step S160 satisfies a criterion (that is, an image in which the distribution of the number of parallaxes is close to a normal distribution and the number of parallaxes is large) (step S170).
  • a criterion that is, an image in which the distribution of the number of parallaxes is close to a normal distribution and the number of parallaxes is large
  • step S170 If the determination result in step S170 is NO, the processing in steps S100 to S160 is repeated until an image is obtained in which the usefulness of the distribution satisfies the criteria.
  • step S170 If the determination result in step S170 is YES, the amount of vertical displacement of the optical axis of the first imaging unit 11 and the second imaging unit 12 is detected from the distribution of the number of parallaxes obtained in step S160 (step S180), the process ends.
  • the first imaging unit 11 and the second imaging unit 12 use the first image captured by the first imaging unit 11 and the second imaging unit 12 as a pair of imaging units.
  • An image storage unit 13 for storing an image and a second image captured at the same time, and a moving image generation unit 14 for generating a third image in which the pixels of the first image are vertically moved by a predetermined amount
  • a parallax image generation unit 15 for generating a first parallax image from the first image and the second image and generating a second parallax image from the second image and the third image; Since the shift amount of the optical axis in the vertical direction between the first imaging unit 11 and the second imaging unit 12 is detected based on the parallax image, the environment in which the calibration of the optical axis of the stereo camera can be performed Can be relaxed, and calibration can be performed at any time. It can be.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the embodiment described above is described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to one having all the described configurations.
  • each of the configurations, functions, and the like described above may be realized by designing a part or all of them with, for example, an integrated circuit.
  • each configuration, function, etc. described above may be realized by software by the processor interpreting and executing a program that realizes each function.
  • SYMBOLS 1 ... Imaging device, 3 ... Stereo, 11 ... 1st imaging part, 12 ... 2nd imaging part, 13 ... Image storage part, 14 ... Moving image generation part, 15 ... Parallax image generation part, 16 ... Optical axis offset detection part , 17 ... parallax image generating unit for distance measurement, 18 ... distance measuring unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本発明は、ステレオカメラの光軸のキャリブレーションを実施可能な環境の制限を緩和することができる撮像装置を提供する。第一撮像部１１と第二撮像部１２の一対の撮像部と、第一撮像部１１で撮像された第一画像と第二撮像部１２で第一画像と同時刻に撮像された第二画像とを保存する画像保存部１３と、第一画像の画素を上下方向に予め定めた量だけ移動させた第三画像を生成する移動画像生成部１４と、第一画像と第二画像とから第一視差画像を生成し、第二画像と第三画像とから第二視差画像を生成する視差画像生成部１５とを備え、第一視差画像と第二視差画像とに基づいて、第一撮像部１１と第二撮像部１２との上下方向の光軸のずれ量を検出する光軸ずれ検出部１６とを備える。

Description

撮像装置
　本発明は、撮像装置に関する。
　近年、安全運転や自動運転に貢献する技術の一つとして車載カメラ装置により得られた画像を用いる運転支援システムが注目されており、例えば、一対の撮像装置（ステレオカメラ）を有する車載カメラ装置で撮像された２つの撮像画像に映し出された対象物に関する水平方向のずれ（視差）を特定し、この特定された視差に基づいて三角測量の原理により対象物までの距離を算出する技術などが用いられている。
　このような技術に用いられる車載カメラ装置では、例えば、レンズの光軸の位置の精度が算出される距離やそれを用いる運転支援システムの精度に大きく影響するため、レンズの光軸の調整（キャリブレーション）が非常に重要である。そこで、ステレオカメラにおける光軸のキャリブレーションに関する種々の技術が提案されており、例えば、特許文献１（特開２０１３-１１３６００号公報）には、計測対象物を撮影して画像を取得する複数のカメラによってカメラキャリブレーションボードの画像を複数取得し、その複数の画像を用いてカメラキャリブレーションを行ってキャリブレーションパラメータを算出し、算出したキャリブレーションパラメータを用いて、複数のカメラによって取得された複数の計測対象物の画像に含まれる歪み、傾きおよびずれのうちの少なくとも一つを含む誤差補正するステレオ３次元計測装置が開示されている。
特開２０１３-１１３６００号公報
　しかしながら、上記従来技術においては、キャリブレーションを実施するにあたってキャリブレーションボードを所定の位置に配置する必要がある。このため、カメラハードの経年劣化や温度変化の影響が考えられる車両の走行中などにはステレオカメラの光軸のキャリブレーションを行うことができず、キャリブレーションを実施可能な環境が著しく制限されるという問題があった。
　本発明は上記に鑑みてなされたものであり、ステレオカメラの光軸のキャリブレーションを実施可能な環境の制限を緩和することができる撮像装置を提供することを目的とする。
　上記目的を達成するために、本発明は、第一撮像部と第二撮像部の一対の撮像部と、前記第一撮像部で撮像された第一画像と前記第二撮像部で前記第一画像と同時刻に撮像された第二画像とを保存する画像保存部と、前記第一画像の画素を上下方向に予め定めた量だけ移動させた第三画像を生成する移動画像生成部と、前記第一画像と前記第二画像とから第一視差画像を生成し、前記第二画像と前記第三画像とから第二視差画像を生成する視差画像生成部と、前記第一視差画像と前記第二視差画像とに基づいて、前記第一撮像部と前記第二撮像部との上下方向の光軸のずれ量を検出する光軸ずれ検出部とを備えたものとする。
　本発明によれば、ステレオカメラの光軸のキャリブレーションを実施可能な環境の制限を緩和することができ、任意のタイミングでキャリブレーションを実施することができる。
本実施の形態に係る撮像装置の全体構成を概略的に示す機能ブロック図である。 第三画像における第一画像からの上下方向のずらし量と、各第三画像と第二画像との視差画像の視差数との関係の一例を示す図である。 視差の出にくい画像における、第三画像における第一画像からの上下方向のずらし量と、各第三画像と第二画像との視差画像の視差数との関係の一例を示す図である。 視差算出の間違いが起きやすい画像における、第三画像における第一画像からの上下方向のずらし量と、各第三画像と第二画像との視差画像の視差数との関係の一例を示す図である。 光軸ずれ検出処理を示すフローチャートである。
　以下、本発明の実施の形態を図面を参照しつつ説明する。
　図１は、本実施の形態に係る撮像装置の全体構成を概略的に示す機能ブロック図である。
　図１において、撮像装置１は、一対の撮像部１１，１２、画像保存部１３、移動画像生成部１４、視差画像生成部１５、光軸ずれ検出部１６、距離計測用視差画像生成部１７、及び距離計測部１８から概略構成されている。
　一対の撮像部１１，１２（第一撮像部１１、第二撮像部１２）は、撮像装置１における撮影対象の方向を撮像して画像を取得するためのステレオカメラであり、光軸および撮像方向が同じ方向を向くように撮像装置１の左右に同じ高さとなるよう配置されている。第一撮像部１１および第二撮像部１２は、それぞれ、連続で撮像して画像を出力している。
　画像保存部１３は、第一撮像部１１および第二撮像部１２で撮像されて連続して出力される画像のうち、光軸ずれを計算するために使用する、同時刻に撮像された一対の画像（第一画像、第二画像）を保存する。
　移動画像生成部１４は、画像保存部１３に保存されている撮像部１１、１２で撮像した一対の画像（第一画像、第二画像）のうち、どちらか一方の画像の画素を上下方向に予め定めた、それぞれ異なる量だけ移動させた複数の画像（第三画像）を生成する。ここでは、第一撮像部１１で撮像された第一画像から複数の第三画像を生成する場合を例示して説明する。
　視差画像生成部１５は、画像保存部１３に保存された第一画像と第二画像とから視差画像（第一視差画像）を生成するとともに、一対の画像（第一画像、第二画像）のうちの他方の画像（すなわち、ここでは第二画像）と複数の第三画像とから複数の視差画像（第二視差画像）をそれぞれ生成する。
　光軸ずれ検出部１６は、第一視差画像と第二視差画像とに基づいて、第一撮像部１１と第二撮像部１２との上下方向の光軸のずれ量を検出する。光軸ずれ検出部１６で検出した光軸のずれ量は、距離計測用視差画像生成部１７や距離計測部１８に送られる。
　距離計測用視差画像生成部１７は、第一撮像部１１と第二撮像部１２の一対の撮像部で撮像された２つの画像から距離計測用の視差画像を生成する。なお、距離計測用視差画像生成部１７での視差画像の生成に際しては、光軸ずれ検出部１６で検出された光軸のずれ量を用いても良い。
　距離計測部１８は、距離計測用視差画像生成部１７で生成された視差画像に基づいて、一対の撮像部（第一撮像部１１、第二撮像部１２）で撮像された２つの画像に映し出された対象物（例えば、歩行者や他の車両）までの距離を計測する。計測方法としては種々のものが考えられるが、例えば、一対の撮像部（第一撮像部１１、第二撮像部１２）で撮像された２つの画像に映し出された対象物に関する水平方向のずれ（視差）を視差画像で特定し、この特定された視差に基づいて三角測量の原理により対象物までの距離を算出する。なお、距離計測部１８での距離の計測に際しては、光軸ずれ検出部１６で検出された光軸のずれ量を用いて計測結果の補正を行う。
　ここで、光軸ずれ量の検出原理について説明する。
　例えば、ある一対の撮像部で撮像された２つの画像において、この２つの画像から得られる視差画像の視差数は、一対の撮像部の光軸の上下方向のずれ量に依存して増減する。
  すなわち、視差画像の視差数は、一対の撮像部の光軸の上下方向のずれが無い場合（最少の場合）に最大値をとり、光軸のずれ量が大きくなるに従って減少するという傾向を有している。これは、視差画像を生成する場合のマッチング方向が横方向の探索であるため、一対の撮像部の光軸の上下方向の光軸がずれていると、マッチング評価値が低くなることと同意である。そこで、本願発明者らはこのような知見に基づき、一対の撮像部（第一撮像部１１、第二撮像部１２）で撮像された２つの画像（第一画像、第二画像）のうちの一方の画像（例えば第一画像）を上下方向に移動させる（すなわち、第三画像を生成する）ことによって、一対の撮像部（第一撮像部１１、第二撮像部１２）の光軸の上下方向の見かけ上のずれ量を変化させ、第一画像を上下方向に移動させた第三画像と第二画像とから得られる視差画像の視差数の変化の様子から、一対の撮像部（第一撮像部１１、第二撮像部１２）の光軸のずれ量を算出している。
　図２は、第三画像における第一画像からの上下方向のずらし量と、各第三画像と第二画像との視差画像の視差数との関係の一例を示す図であり、縦軸に視差画像の視差数、横軸に上下方向のずらし量をそれぞれ示している。
　図２に示すように、第三画像における第一画像からの上下方向のずらし量、すなわち、第二撮像部１２に対する第一撮像部１１の光軸の見かけ上のずれ量が変化すると、視差画像の視差数が変化する。ここで、光軸の上下方向のずれ量が無い場合（最少の場合）に視差画像の視差数は最大値をとることが分かっているので、横軸方向（すなわち、第三画像の上下方向のずらし量）における原点位置（すなわち、第三画像が第一画像と同じものである場合）と、視差数が最大値を取るずらし量の値との差から、第一撮像部１１と第二撮像部１２の光軸の上下方向のずれ量が得られる。なお、図２では、例えば、最小二乗法などの手法を用いて視差数の近似曲線（ここでは、上に凸の２次曲線）を算出し、この近似曲線を用いて光軸のずれ量を算出する場合を示している。
　なお、光軸のずれ量の算出にあたっては、第一撮像部１１及び第二撮像部１２で撮像された画像として、視差の出にくい画像や視差算出の間違いが起きやすい画像を用いないことが、正しい光軸のずれ量の検出に必要である。つまり、光軸のずれ量の算出には、視差数の分布が正規分布に近い形になっており、また、視差数が多い画像、すなわち、視差数の分布の有用性が基準を満たす画像を用いる。ここで、視差の出にくい画像とは、図３に示すような視差数の分布を示す画像であり、例えば、特徴点の少ない壁や車庫内の暗い環境などで撮像される画像などが挙げられる。また、視差算出の間違いが起きやすい画像とは、図４に示すような視差数の分布を示す画像であり、例えば、撮像された画像そのものが縦模様の多い画像が挙げられる。このような画像では、画像の画素を上下方向にずらしても、ずらす前後で画像の差異（特に上下方向の差異）が見られないため、ずらし量の変化に対する視差数の変化が少なくなるためである。
　次に、第一撮像部１１及び第二撮像部１２の光軸のずれ量を検出する光軸ずれ検出処理について説明する。
　図５は、光軸ずれ検出処理を示すフローチャートである。
　図５において、第一撮像部１１及び第二撮像部１２は撮像を行い、画像保存部１３は同時刻に撮像された一対の画像（第一画像、第二画像）を保存する（ステップＳ１００）。
　続いて、移動画像生成部１４は、一対の画像（第一画像、第二画像）のうち、どちらか一方の画像の画素を上下方向に予め定めた量だけ移動させた画像（第三画像）を生成する（ステップＳ１２０）。なお、ここでは、第一撮像部１１で撮像された第一画像から第三画像を生成する場合を例示して説明する。
　続いて、視差画像生成部１５は、画像保存部１３に保存された第一画像と第二画像とから視差画像（第一視差画像）を生成するとともに、一対の画像（第一画像、第二画像）のうちの他方の画像（すなわち、ここでは第二画像）と第三画像とから視差画像（第二視差画像）を生成する（ステップＳ１３０）。なお、視差画像の生成における視差値の算出にはテンプレートマッチングを用いる。
　続いて、光軸ずれ検出部１６は、第二画像と第三画像のそれぞれについて、視差数を算出する（ステップＳ１４０）。なお、第二画像及び第三画像における視差数の算出では、画像全体を対象としても良いが、ここでは、より信頼性の高い視差数を算出するものとする。信頼性の高い視差とは、例えば、エッジの強い特徴点の視差のことである。
　ここで、第一撮像部１１及び第二撮像部１２の光軸のずれ量の検出に必要な数の視差画像を生成したかどうかを判定する（ステップＳ１５０）。光軸ずれ量の検出に必要な視差画像の数の基準としては種々のものが考えられるが、例えば、後述するステップＳ１６０で作成する視差数の分布から得られる近似曲線が十分な精度を得られる視差画像の数を経験的に取得して基準とする。
　ステップＳ１５０での判定結果がＮＯの場合、すなわち、十分な数の視差画像が生成されていない場合は、判定結果がＹＥＳになるまで、ステップＳ１２０～Ｓ１４０の処理を繰り返す。これにより、移動画像生成部１４は、一対の画像（第一画像、第二画像）のうち、どちらか一方の画像の画素を上下方向に予め定めた、それぞれ異なる量だけ移動させた複数の画像（第三画像）を生成し、視差画像生成部１５は、画像保存部１３に保存された第一画像と第二画像とから視差画像（第一視差画像）を生成するとともに、一対の画像（第一画像、第二画像）のうちの他方の画像（すなわち、ここでは第二画像）と複数の第三画像とから複数の視差画像（第二視差画像）をそれぞれ生成し、光軸ずれ検出部１６は、第二画像と複数の第三画像のそれぞれについて、視差数を算出する（ステップＳ１２０～Ｓ１５０）。
　ステップＳ１５０での判定結果がＹＥＳの場合には、第三画像における上下方向のずらし量に対する視差数の分布を作成する（ステップＳ１６０）。
　続いて、ステップＳ１６０で作成した分布の有用性が基準（すなわち、視差数の分布が正規分布に近い形になっており、視差数が多い画像）を満たすかを判定する（ステップＳ１７０）。
　ステップＳ１７０での判定結果がＮＯの場合には、分布の有用性が基準を満たす画像が得られるまで、ステップＳ１００～Ｓ１６０の処理を繰り返す。
　ステップＳ１７０での判定結果がＹＥＳの場合には、ステップＳ１６０で得られた視差数の分布から第一撮像部１１と第二撮像部１２の光軸の上下方向のずれ量の検出を行い（ステップＳ１８０）、処理を終了する。
　以上のように構成した本実施の形態の効果を説明する。
　計測対象物を撮影して画像を取得する複数のカメラによってカメラキャリブレーションボードの画像を複数取得し、その複数の画像を用いてカメラキャリブレーションを行ってキャリブレーションパラメータを算出するような従来技術においては、キャリブレーションを実施するにあたってキャリブレーションボードを所定の位置に配置する必要がある。
  このため、カメラハードの経年劣化や温度変化の影響が考えられる車両の走行中などにはステレオカメラの光軸のキャリブレーションを行うことができず、キャリブレーションを実施可能な環境が著しく制限されるという問題があった。
　これに対して本実施の形態においては、第一撮像部１１と第二撮像部１２の一対の撮像部と、第一撮像部１１で撮像された第一画像と第二撮像部１２で第一画像と同時刻に撮像された第二画像とを保存する画像保存部１３と、第一画像の画素を上下方向に予め定めた量だけ移動させた第三画像を生成する移動画像生成部１４と、第一画像と第二画像とから第一視差画像を生成し、第二画像と第三画像とから第二視差画像を生成する視差画像生成部１５とを備え、第一視差画像と第二視差画像とに基づいて、第一撮像部１１と第二撮像部１２との上下方向の光軸のずれ量を検出するように構成したので、ステレオカメラの光軸のキャリブレーションを実施可能な環境の制限を緩和することができ、任意のタイミングでキャリブレーションを実施することができる。
　＜付記＞
  なお、本発明は上記した各実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本願発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
　１…撮像装置、３…ステレオ、１１…第一撮像部、１２…第二撮像部、１３…画像保存部、１４…移動画像生成部、１５…視差画像生成部、１６…光軸ずれ検出部、１７…距離計測用視差画像生成部、１８…距離計測部

Claims (6)

  1. 　第一撮像部と第二撮像部の一対の撮像部と、
    　前記第一撮像部で撮像された第一画像と前記第二撮像部で前記第一画像と同時刻に撮像された第二画像とを保存する画像保存部と、
    　前記第一画像の画素を上下方向に予め定めた量だけ移動させた第三画像を生成する移動画像生成部と、
    　前記第一画像と前記第二画像とから第一視差画像を生成し、前記第二画像と前記第三画像とから第二視差画像を生成する視差画像生成部と、
    　前記第一視差画像と前記第二視差画像とに基づいて、前記第一撮像部と前記第二撮像部との上下方向の光軸のずれ量を検出する光軸ずれ検出部とを備えたことを特徴とする撮像装置。
  2. 　請求項１記載の撮像装置において、
    　前記移動画像生成部は、前記第一画像の画素を上下方向にそれぞれ異なる量だけ移動させた複数の第三画像を生成し、
    　前記視差画像生成部は、前記第二画像と前記複数の第三画像のそれぞれとから複数の第二視差画像を生成し、
    　前記光軸ずれ検出部は、前記第一視差画像と前記複数の第二視差画像とに基づいて、前記第一撮像部と前記第二撮像部との上下方向の光軸のずれ量を検出することを特徴とする撮像装置。
  3. 　請求項２記載の撮像装置において、
    　前記光軸ずれ検出部は、前記第一視差画像の有効視差と前記複数の第二視差画像のそれぞれの有効視差の分布に基づいて前記光軸ずれを検出することを特徴とする撮像装置。
  4. 　請求項２記載の撮像装置において、
    　前記光軸ずれ検出部は、前記第一視差画像の有効視差と前記複数の第二視差画像のうち最大の有効視差とがそれぞれ予め定めた閾値よりも多い場合に、前記第一撮像部と前記第二撮像部との上下方向の光軸のずれ量を検出することを特徴とする撮像装置。
  5. 　請求項４記載の撮像装置において、
    　前記光軸ずれを検出可能な閾値未満の前記有効視差の場合、前記第一画像と前記第二画像を変えて、前記第一視差画像と前記第二視差画像を新たに生成して光軸ずれを検知することを特徴とする撮像装置。
  6. 　請求項１～５の何れか１項に記載の撮像装置において、
    　第一撮像部と第二撮像部の一対の撮像部で撮像された２つの画像から距離計測用の視差画像を生成する距離計測用視差画像生成部と、
    　前記距離計測用視差画像生成部で生成された視差画像に基づいて、一対の撮像部で撮像された２つの画像に映し出された対象物までの距離を計測する距離計測部とを備え、
    　前記距離計測用視差画像生成部と前記距離計測部との少なくとも一方は、前記光軸ずれ検出部で検出された光軸のずれ量を用いることを特徴とする撮像装置。
PCT/JP2018/020665 2017-06-26 2018-05-30 撮像装置 WO2019003771A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18823109.6A EP3647716A4 (en) 2017-06-26 2018-05-30 IMAGING DEVICE
JP2019526718A JP6867487B2 (ja) 2017-06-26 2018-05-30 撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-124572 2017-06-26
JP2017124572 2017-06-26

Publications (1)

Publication Number Publication Date
WO2019003771A1 true WO2019003771A1 (ja) 2019-01-03

Family

ID=64742090

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/020665 WO2019003771A1 (ja) 2017-06-26 2018-05-30 撮像装置

Country Status (3)

Country Link
EP (1) EP3647716A4 (ja)
JP (1) JP6867487B2 (ja)
WO (1) WO2019003771A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021176819A1 (ja) * 2020-03-06 2021-09-10
CN113834428A (zh) * 2021-07-29 2021-12-24 阿里巴巴达摩院(杭州)科技有限公司 金属体厚度识别方法、系统、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205215A (ja) * 2010-03-24 2011-10-13 Fujifilm Corp 撮像装置およびその制御方法
JP2012019399A (ja) * 2010-07-08 2012-01-26 For-A Co Ltd 立体視映像補正装置と立体視映像補正方法と立体視映像補正システム
WO2012128314A1 (ja) * 2011-03-23 2012-09-27 シャープ株式会社 視差算出装置、距離算出装置及び視差算出方法
US20120274627A1 (en) * 2011-04-27 2012-11-01 Aptina Imaging Corporation Self calibrating stereo camera
JP2013113600A (ja) 2011-11-25 2013-06-10 Sharp Corp ステレオ３次元計測装置
US20150271473A1 (en) * 2012-12-10 2015-09-24 Intel Corporation Techniques for improved image disparity estimation
JP2016008847A (ja) * 2014-06-23 2016-01-18 株式会社日本自動車部品総合研究所 測距補正装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2338137B (en) * 1995-02-22 2000-02-16 Asahi Optical Co Ltd Distance measuring apparatus
JP3617709B2 (ja) * 1995-11-10 2005-02-09 株式会社日本自動車部品総合研究所 距離計測装置
JP4956452B2 (ja) * 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
JP5870510B2 (ja) * 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
JP5693994B2 (ja) * 2011-02-16 2015-04-01 富士重工業株式会社 車両検出装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205215A (ja) * 2010-03-24 2011-10-13 Fujifilm Corp 撮像装置およびその制御方法
JP2012019399A (ja) * 2010-07-08 2012-01-26 For-A Co Ltd 立体視映像補正装置と立体視映像補正方法と立体視映像補正システム
WO2012128314A1 (ja) * 2011-03-23 2012-09-27 シャープ株式会社 視差算出装置、距離算出装置及び視差算出方法
US20120274627A1 (en) * 2011-04-27 2012-11-01 Aptina Imaging Corporation Self calibrating stereo camera
JP2013113600A (ja) 2011-11-25 2013-06-10 Sharp Corp ステレオ３次元計測装置
US20150271473A1 (en) * 2012-12-10 2015-09-24 Intel Corporation Techniques for improved image disparity estimation
JP2016008847A (ja) * 2014-06-23 2016-01-18 株式会社日本自動車部品総合研究所 測距補正装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3647716A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021176819A1 (ja) * 2020-03-06 2021-09-10
WO2021176819A1 (ja) * 2020-03-06 2021-09-10 日立Astemo株式会社 処理装置
JP7250211B2 (ja) 2020-03-06 2023-03-31 日立Astemo株式会社 処理装置
CN113834428A (zh) * 2021-07-29 2021-12-24 阿里巴巴达摩院(杭州)科技有限公司 金属体厚度识别方法、系统、存储介质及电子设备
CN113834428B (zh) * 2021-07-29 2024-05-14 阿里巴巴达摩院(杭州)科技有限公司 金属体厚度识别方法、系统、存储介质及电子设备

Also Published As

Publication number Publication date
JPWO2019003771A1 (ja) 2020-02-27
JP6867487B2 (ja) 2021-04-28
EP3647716A4 (en) 2021-03-03
EP3647716A1 (en) 2020-05-06

Similar Documents

Publication Publication Date Title
US9599462B2 (en) Three-dimensional shape measurement apparatus and control method thereof
KR101259835B1 (ko) 깊이 정보를 생성하기 위한 장치 및 방법
KR101787304B1 (ko) 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품
US9148657B2 (en) Calibration device, range-finding system including the calibration device and stereo camera, and vehicle mounting the range-finding system
US10593053B2 (en) Projection pattern creation apparatus and three-dimensional measuring apparatus
KR101752690B1 (ko) 변이 맵 보정 장치 및 방법
WO2013132947A1 (ja) 距離算出装置及び距離算出方法
US20120033071A1 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
JP2008039491A (ja) ステレオ画像処理装置
JP6413595B2 (ja) 画像処理装置、システム、画像処理方法およびプログラム
JP6515650B2 (ja) 校正装置、距離計測装置及び校正方法
KR101272574B1 (ko) 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법
JP2016136112A (ja) 距離測定装置および距離測定方法
KR101715553B1 (ko) 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램
JP2008292278A (ja) 距離検出装置の光学ずれ検出方法及び距離検出装置
WO2019003771A1 (ja) 撮像装置
JPWO2017042998A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
JP2021163396A (ja) 画像処理装置および画像処理方法
JP6040782B2 (ja) 画像処理装置及びプログラム
JP6188860B1 (ja) オブジェクト検出装置
US20170064189A1 (en) Imaging apparatus, focus position detection apparatus, and focus position detection method
JP2018179577A (ja) 位置計測装置
WO2019087253A1 (ja) ステレオカメラのキャリブレーション方法
JP2014138331A (ja) 撮影装置及びプログラム
JP6717759B2 (ja) 計測装置および計測装置の作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18823109

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019526718

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018823109

Country of ref document: EP

Effective date: 20200127