WO2015015542A1 - 車載ステレオカメラシステム及びそのキャリブレーション方法 - Google Patents

車載ステレオカメラシステム及びそのキャリブレーション方法 Download PDF

Info

Publication number
WO2015015542A1
WO2015015542A1 PCT/JP2013/070415 JP2013070415W WO2015015542A1 WO 2015015542 A1 WO2015015542 A1 WO 2015015542A1 JP 2013070415 W JP2013070415 W JP 2013070415W WO 2015015542 A1 WO2015015542 A1 WO 2015015542A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
stereo camera
frame
feature
camera system
Prior art date
Application number
PCT/JP2013/070415
Other languages
English (en)
French (fr)
Inventor
▲ゆう▼ 趙
渡邊　高志
宣隆 木村
タオ グオ
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2015529231A priority Critical patent/JP6035620B2/ja
Priority to PCT/JP2013/070415 priority patent/WO2015015542A1/ja
Publication of WO2015015542A1 publication Critical patent/WO2015015542A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a stereo camera system for recognizing an environment by photographing a subject with two or more cameras to calculate a three-dimensional position of the subject, and a mobile object equipped with the stereo camera system.
  • a system that recognizes the three-dimensional position of a subject by photographing the same subject with two or more cameras is known as a stereo camera system.
  • Non-Patent Document 1 discloses that a plurality of sets representing the same point are extracted as corresponding points from images simultaneously captured by the cameras, and the positions of the corresponding points on the image are used. Describes a method for obtaining external parameters by performing singular value decomposition on the estimated fundamental matrix.
  • the relationship between the result of shooting by the stereo camera system and the external parameters differs depending on the distance between the subject object and the stereo camera system.
  • the resolution of an object 5 km away is about 2.3 m.
  • the distance between two cameras that are completely facing in the same direction is about 1 m, a large shift occurs between the two screens of the photographing result obtained by photographing a short-distance object within 5 km, particularly within 2 km.
  • Non-Patent Document 1 does not deal with the subject distance problem, and obtains the relative position and relative posture by a general method. Therefore, it is a technique with low accuracy and robustness against the recognition error of the position of the corresponding point on the image.
  • an object of the present invention is to provide a stereo camera system capable of highly accurate self-calibration with respect to recognition errors of corresponding point matching.
  • a plurality of imaging units a posture change determination unit that determines whether or not the relative posture has changed using images captured by each of the plurality of imaging units, and a time series using images captured by each of the plurality of imaging units.
  • In-vehicle stereo having a corresponding point detecting unit that detects feature corresponding points between a plurality of photographing units based on, and a posture adjustment necessity determining unit that determines the degree of posture change and stops system work and issues an alarm for hardware correction It is a camera system.
  • the corresponding point detection unit calculates a corresponding point position of the Nth frame image from a set of a plurality of frame images captured by each of the plurality of imaging units, and a positional relationship between the Nth frame and the (N + 1) th frame for each of the left and right images. Then, feature corresponding points on both screens of the (N + 1) th frame are detected, and using these feature corresponding points, the relative position of the (N + 1) th frame between a plurality of imaging units is estimated.
  • FIG. 1 It is a schematic diagram showing the structural example of the vehicle-mounted stereo camera system for autonomous running dump trucks in Example 1 of this invention. It is a block diagram showing the hardware constitutions of the vehicle-mounted stereo camera system for autonomous running dump trucks in Example 1.
  • 3 is a flowchart illustrating processing of the entire system 100 according to the first embodiment.
  • 6 is a flowchart illustrating processing of a posture change determination unit according to the first embodiment.
  • 6 is a flowchart illustrating processing of a corresponding point detection unit according to the first embodiment.
  • FIG. 6 is a schematic diagram illustrating an example of matching point detection mismatch of a set of images simultaneously captured by each imaging unit according to the first embodiment as a short-distance subject.
  • FIG. 10 is a schematic diagram illustrating an example of a result of extracting feature points from both images of an Nth frame simultaneously captured by each imaging unit according to the first embodiment and calculating corresponding points of feature points from a known relative posture.
  • FIG. 10 is a schematic diagram illustrating an example of a result of detecting corresponding points from the Nth frame to the (N + 1) th frame captured by the left imaging unit in the first embodiment.
  • FIG. 10 is a schematic diagram illustrating an example of a result of detecting corresponding points from the Nth frame to the (N + 1) th frame captured by the right imaging unit according to the first embodiment.
  • FIG. 6 is a schematic diagram illustrating an example of a result of detecting corresponding points of an (N + 1) th frame that are simultaneously captured by each imaging unit in the first embodiment.
  • FIG. 6 is a schematic diagram illustrating an example in which an alarm is issued because the relative posture change between both images simultaneously captured by each imaging unit in the first embodiment is large.
  • 6 is a schematic diagram illustrating an example of determining whether or not the camera relative posture is changed from both images simultaneously captured by each imaging unit in Embodiment 1.
  • FIG. 1 is a schematic diagram illustrating an example of a result of detecting corresponding points from the Nth frame to the (N + 1) th frame captured by the right imaging unit according to the first embodiment.
  • FIG. 6 is a schematic diagram illustrating an example of a result of detecting corresponding points of an (N + 1)
  • Embodiment 1 in which the in-vehicle stereo camera system of the present invention is applied to an autonomous traveling dump truck will be described.
  • the in-vehicle stereo camera system of this embodiment outputs the three-dimensional position of the subject.
  • FIG. 1 is a block diagram illustrating the configuration of the in-vehicle stereo camera system 100 according to the first embodiment.
  • An in-vehicle stereo camera system 100 for an autonomous traveling dump truck includes a plurality of imaging units 101 (101a, 101b), an image acquisition unit 102, an image storage unit 103, a corresponding point detection unit 104, a posture change determination 105, and a posture adjustment necessity determination unit.
  • 106, an image correction unit 107, and a parameter estimation unit 108 acquire the three-dimensional position of the subject during the work period, and provide the acquired environment recognition system control unit 109.
  • FIG. 2 shows a state where the above-described in-vehicle stereo camera system is mounted on the dump truck 111.
  • the main parts of the in-vehicle stereo camera system 100 and the environment recognition system control unit 109 in FIG. 1 are built in the in-vehicle controller 110 shown in FIG.
  • This in-vehicle controller has a general hardware configuration such as a CPU, a RAM, and a storage unit.
  • the imaging units 101a and 101b are devices that capture a subject existing in their field of view, and are implemented as a monochrome camera, a color camera, an infrared camera, a hyperspectral camera, or the like.
  • the cameras 101a and 101b are in a relative position and orientation relationship so that the same subject can be photographed.
  • the positional relationship between the two cameras 101a and 101b may be fixed and known. However, it is necessary to estimate the posture of each camera.
  • an example in which there are two imaging units (cameras) is shown, but three or more imaging units may be used. In the case of three or more units, camera calibration is performed between each two cameras, and this can be realized by applying two examples.
  • respective images taken simultaneously by two cameras will be referred to as an R image and an L image.
  • the image income unit 102, the image storage unit 103, the corresponding point detection unit 104, the posture change determination unit 105, the posture adjustment necessity determination unit 106, the image correction unit 107, and the parameter estimation unit 108 perform each calculation process, It is mounted as a combination of a plurality of CPUs and RAMs divided into two. Each unit employs a hard disk, a USB memory, or the like as an external storage device. A speaker or lamp 111 is connected to the posture adjustment necessity determination unit 106 as a device for issuing an alarm.
  • FIG. 3 is a flowchart for explaining a processing example of the entire in-vehicle stereo camera system 100 according to the first embodiment.
  • S ⁇ b> 302 an R image and an L image captured simultaneously by the imaging unit 101 are input to the image acquisition unit 102.
  • step S ⁇ b> 303 an image of each frame is provided to the image storage unit 103.
  • step S304 the image of each frame stored in the image storage unit 103 is provided to the posture change determination unit 105 to determine whether or not the camera relative posture has changed. If it is determined that there is no posture change, the process is terminated. If it is determined that there is a posture change, the process proceeds to S105. Details of the determination of whether or not the posture has changed in S304 will be described later with reference to FIG.
  • step S ⁇ b> 305 both the image and the previous frame image are provided to the corresponding point detection unit 104.
  • the corresponding point detection unit 104 detects feature corresponding points of both images of the frame for which posture estimation is required. A method of detecting feature corresponding points will be described later with reference to FIG.
  • the image correction unit 107 corrects the positions of the corresponding points of both images detected by the corresponding point detection unit 104 distorted by lens distortion or the like in each image.
  • the parameter estimation unit 108 uses the set of corrected feature corresponding points provided by the image correction unit 107, and estimates the relative posture between the cameras of the imaging unit based on the posture estimation program.
  • the posture adjustment necessity determination unit 106 determines whether manual correction of the camera relative posture is necessary, and is repeatedly executed from step S302.
  • the image acquisition unit 102 inputs an image captured by the imaging unit 101 at the same time, and provides an image of each frame to the image storage unit 103.
  • the image storage unit 103 receives an image of each frame captured simultaneously by the imaging unit 101 from the image acquisition unit 102 and stores it.
  • the posture change determination unit 105 determines whether or not the camera relative posture has changed using both images of each frame stored in the image storage unit 103. As a result of this determination, when a signal indicating that the camera relative posture is necessary is given, both the current frame image and the previous frame image stored in the image storage unit 103 are provided to the corresponding point detection unit 104.
  • FIG. 13 is a schematic diagram illustrating an example in which it is determined whether or not the camera relative posture is changed from both images simultaneously captured by the image capturing units in the first embodiment. A certain maximum value is obtained for the area that can be matched pixel-wise only by the parallel movement of both the left and right images.
  • This maximum value is larger than a certain value (standard value) when there is no change in the relative posture of both cameras. Therefore, after both images of each frame are input, the camera posture is calibrated based on the result of the posture estimation in S307 by the previous parameter estimation unit, and the posture change determination program in S304 is executed. Of both the left and right images, the area of a region that can be matched pixel-wise only by lateral movement is compared with the standard value to determine whether or not the camera relative posture has changed.
  • FIG. 4 is a flowchart for explaining the posture change determination process of the posture change determination unit 105.
  • step S1041 the postures of both the captured images are calibrated based on the posture estimation result that occurred before.
  • S1042 calculates a matching rate.
  • a matching rate As an example of a method for calculating the matching rate, an area of a region that can be matched pixel-wise by only lateral movement of both the left and right images is calculated, and a ratio to the total image area is calculated. Other calculation methods may be used.
  • it is compared with the standard value to determine whether or not the camera posture has changed. The above is the details of the posture change determination in S304 of FIG.
  • FIG. 6 is a schematic diagram illustrating an example of feature-corresponding point detection of a set of images simultaneously captured by each imaging unit in the prior art.
  • the method described in Non-Patent Document 1 obtains a relative position and a relative attitude. It is a technique that can be used without problems in the case of long distance.
  • FIG. 7 is a schematic diagram illustrating an example in which mismatching occurs in detection of corresponding points from a set of images simultaneously captured by each imaging unit when the subject is a short distance object.
  • FIG. 5 is a flowchart for explaining processing of the corresponding point detection unit 104 in the first embodiment. This will be described with reference to FIGS. 8, 9, 10, and 11.
  • FIG. 8 illustrates a step of extracting feature points on both images of the Nth frame simultaneously captured by the image capturing units in the first embodiment (step S1051 in FIG. 5), and a step of calculating corresponding points of the feature points from the known relative posture. It is a schematic diagram showing the example of the result of (step S1052 of FIG. 5).
  • feature point extraction is realized as follows. A plurality of feature points are extracted from the left image of both images of the Nth frame captured by the imaging units 101a and 101b by the corner method. For each point on the image, the autocorrelation matrix of the second-order differential image in a small window surrounding the point is calculated, and the point at which the two eigenvalues of the matrix are both greater than the threshold Point). First, a color image is converted into a gray image. The conversion formula is
  • i is the horizontal method number of the pixel in the image
  • j is the vertical direction number
  • v is the luminance value in the gray image
  • r, g, and b are the luminance values of the red, green, and blue components in the color image, respectively.
  • v i and v j represent partial differential functions in the i and j directions, respectively, m is the size of the small window, and i and k are the numbers of the pixels in the small window with the i and jth pixels as the center. Represents. If the eigenvalue of the matrix M (i, j) is ⁇ (i, j), two eigenvalues can be obtained by solving the following quadratic equation.
  • the i, j-th pixel has two intersecting edges and is extracted as a corner feature point. You may implement
  • a corresponding point is calculated from the right image of the Nth frame from the left image of the Nth frame based on the known relative posture between cameras.
  • corresponding points of both images of the Nth frame before the camera change are combined.
  • FIG. 9 is a schematic diagram illustrating an example of a result of a step (left image optical flow calculation step S1053 in FIG. 5) of detecting corresponding points from the Nth frame to the (N + 1) th frame captured by the left camera in the first embodiment.
  • a step left image optical flow calculation step S1053 in FIG. 5 of detecting corresponding points from the Nth frame to the (N + 1) th frame captured by the left camera in the first embodiment.
  • feature points extracted from the previous frame (Nth frame) image based on the Lucas-Kanade optical flow extraction method for two images continuously captured by the left camera 101a of the imaging unit
  • the corresponding points are detected in the rear frame (N + 1th frame) image.
  • a small window centered on the feature point extracted from the Nth frame image is cut out, a search is made where the small window exists in the (N + 1) th image, and the partial differentiation of the image is performed under the following two assumptions.
  • FIG. 10 is a schematic diagram illustrating an example of a result of a step (right image optical flow calculation step S1054 in FIG. 5) of detecting corresponding points from the Nth frame to the (N + 1) th frame captured by the right camera in the first embodiment.
  • this step 1054 the same procedure as in S1053 is performed. That is, for the two images continuously captured by the right camera 101b of the imaging unit, the extracted feature points are extracted from the previous frame (Nth frame) image based on the Lucas-Kanade optical flow extraction method as the subsequent frame (N + 1th frame). Corresponding points are detected in the image.
  • a small window centered on the feature point extracted from the Nth frame image is cut out, a search is made where the small window exists in the (N + 1) th image, and the partial differentiation of the image is performed under the following two assumptions. Use. 1. The relative position and orientation between cameras is small. 2. Locally, the image moves almost uniformly.
  • FIG. 11 is a schematic diagram illustrating an example of a result of a step (corresponding point determination step S1055 in FIG. 5) of determining corresponding points between the left and right images of the (N + 1) th frame simultaneously captured by the imaging units in the first embodiment.
  • step S1052 feature corresponding points of the left and right images of the preceding Nth frame are calculated.
  • step S1053 the corresponding points of the Nth frame and the (N + 1) th frame of the left image of each image are calculated in step S1053
  • the corresponding points of the Nth frame and the (N + 1) th frame of the right image are calculated in step S1054. From these results, the feature corresponding points between the left and right images of the (N + 1) th frame can be recognized.
  • the details of the processing of the corresponding point detection unit 104 have been described above.
  • the image correction unit 107 corrects the position of the corresponding points of the two images detected by the corresponding point detection unit 104 detected by the corresponding point detection unit 104 distorted due to the lens distortion and the position from the image center.
  • the internal parameters can be represented by the focal length ⁇ f x, f y ⁇ , the image center position ⁇ c x, c y ⁇ , distortion parameters ⁇ k 1, k 2, k 3, p 1, p 2 ⁇ it can.
  • the corrected corresponding points are provided to the parameter estimation unit 108 and the posture adjustment necessity determination unit 106, and the camera relative posture estimation and the system restoration alarm necessity determination are performed.
  • the corresponding points may be corrected by other correction methods.
  • the parameter estimation unit 108 operates the set of corresponding points after correction provided by the image correction unit 107, and identifies the relative posture between the imaging units 101 based on the posture estimation program.
  • the inter-camera relative posture is obtained so that the plurality of corresponding points obtained from the image correction unit 103 satisfy the geometric relational expression.
  • the relative posture can be uniquely determined by a set of corresponding points. In order to reduce the influence of errors entering the feature point search, more corresponding points should be extracted.
  • the least square method is the most common method for finding a solution from a plurality of equations.
  • an algorithm that simultaneously estimates and eliminates erroneous correspondence called RANSAC can be employed.
  • the estimation result is provided to the posture change determination unit 105 that performs overall control of both the environment recognition system control unit 109 and the in-vehicle stereo camera system 100. This estimation result is used when determining whether or not there is a next camera relative posture change.
  • the posture adjustment necessity determination unit 106 determines that a relative posture change exceeding an allowable range has occurred when a certain condition is not satisfied, and issues an alarm requesting manual system correction.
  • a determination method when the number of feature corresponding points calculated by the corresponding point detection unit 104 is smaller than the lower limit of the number of corresponding points necessary for calibration, and the feature of the left screen or the right screen extracted in the feature point extraction stage.
  • the ratio of the feature corresponding points calculated by the corresponding point detection unit 104 to the number of points is 20% or less, and the deviation from the center of the image of the centroid of the feature corresponding points detected by the corresponding point detection unit is 80%.
  • FIG. 12 is a schematic diagram illustrating an example in which an alarm is issued because the relative posture change between both images simultaneously captured by the image capturing units in the first embodiment is large.
  • a set of corresponding points from S120 is required, and when the number of corresponding points is less than a certain lower limit and when a relative posture change exceeding the allowable range occurs as shown in FIG. Raise alarm requesting manual system correction.
  • the environment recognition system control unit 109 outputs the result of stereo camera posture estimation and controls the in-vehicle stereo camera system 100 as a whole. Environment recognition is performed from an image captured by the in-vehicle stereo camera system, three-dimensional position information of the subject is calculated, and travel control of the moving body equipped with the camera system is performed based on this information.
  • 100 In-vehicle stereo camera system 101a, 101b: Imaging unit 102: Image acquisition unit 103: Image storage unit 104: Corresponding point detection unit 105: Posture change determination unit 106: Posture adjustment necessity determination unit 107: Corresponding point correction unit 108: Parameter estimation unit 109: environment recognition system control unit 111: alarm output unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

　ステレオカメラシステムにおいて、対応点位置の認識誤差に対し高精度なセルフキャリブレーションを実現する。　複数のカメラ中の各二つのカメラそれぞれが撮影した毎フレーム両画像の組から、第Ｎフレームの画像の対応点位置を算出し、左右の画像それぞれについて第Ｎフレームと第Ｎ＋１フレームの位置関係から、第Ｎ＋１フレームの両画面の特徴対応点を検出し、対応点を用いて各カメラ間の相対位置を同定することによりセルフキャリブレーションを行う。

Description

車載ステレオカメラシステム及びそのキャリブレーション方法
　本発明は、２台以上のカメラで被写体を撮影することによりその被写体の３次元位置を算出し、環境認識をするステレオカメラシステム、及びそれを搭載する移動体に関する。
　２台以上のカメラで同一の被写体を撮影することによりその被写体の３次元位置を認識するシステムはステレオカメラシステムとして知られている。
　今後、自動車や建設機械などの車両にステレオカメラシステムを搭載することにより、車両の自動操縦機能や操作支援機能が実現可能になると期待されている。
　３次元位置を正しく認識するためには、ステレオカメラシステムの内部パラメータと外部パラメータを正確に同定する必要がある。これを校正あるいはキャリブレーションと呼ばれている。内部パラメータとは各カメラの焦点距離、画像中心位置、レンズ歪みを指し、外部パラメータとは各カメラ間の相対位置姿勢を指す。事前に精度良くキャリブレーションする方法として、チェッカーパターンを持つ平面など幾何形状が既知の物体を撮影する方法が広く採用されている。
　ただし、ステレオカメラシステムを搭載する移動体の走行中において、ステレオカメラシステムへの物理的な衝撃と振動が影響し外部パラメータが変化することがある。そのため、運用中のステレオカメラシステムにおける外部パラメータの再校正が必要となるが、運用中に形状既知の物体をマーカーとして準備し特別に撮影することはコストが掛かる。そのため、運用中に撮影した画像を利用して外部パラメータを自動的に校正することが要求されており、これをセルフキャリブレーションと呼ぶ。
　セルフキャリブレーションの従来技術として、非特許文献１には、各カメラによって同時に撮影された画像から同一の点を表す組を対応点として複数組抽出し、それらの対応点の画像上の位置を用いて推定した基礎行列を特異値分解することで外部パラメータを求める手法が記載されている。
基礎行列の分解：焦点距離の直接的表現（著：金谷健一他、情報処理学会研究報告、２０００－ＣＶＩＭ－１２０－７、２０００年１月２０日、ｐｐ．４９－５６）
　ここで、被写体となる物体とステレオカメラシステムとの距離の大小によって、ステレオカメラシステムによる撮影結果と外部パラメータとの関係は異なってくる。例えば、水平画角５０度で水平方向画素数１０００のカメラでは５ｋｍ先の物体の分解能は２．３ｍ程度である。そのため、完全に同一方向を向いている２つのカメラ間の距離が１ｍ程度の場合、５ｋｍ以内の、特に２ｋｍ以内の近距離物体を撮影した撮影結果の両画面に大きいズレが発生する。このように、カメラ相対位置を同定する場合、両画面の大きいズレから特徴対応点の探索処理が難しくなる。このことから、相対姿勢を同定するにあたり、近距離の物体を用いた場合に、対応点位置の認識誤差が生じやすくなり、相対姿勢推定のロバスト性が低くなる。そこで、本発明者らは、近距離の物体の撮影画面を用いたセルフキャリブレーションに着目した。
　非特許文献１に記載の手法は、被写体の距離の問題を取り扱っておらず、一般的な手法で相対位置と相対姿勢を求めている。そのため、対応点の画像上の位置の認識誤差に対し、精度とロバスト性の低い手法となっている。
　以上に記述したように、外部パラメータの変化に対応するための従来手法は、自動あるいは半自動システムを構築するためにはロバスト性が不十分である。そこで、本発明は、対応点マッチングの認識誤差に対し高精度なセルフキャリブレーションが可能なステレオカメラシステムを提供することを目的とする。
　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。複数の撮像部と、複数の撮像部それぞれが撮影した画像を用いて相対姿勢が変化したか否かを判断する姿勢変更判断部と、複数の撮像部それぞれが撮影した画像を用いて時系列に基づいて複数の撮影部間特徴対応点を検出する対応点検出部と、姿勢変化程度を判断してシステム作業停止しハードウェア修正を求めるアラームを出す姿勢調整要否判断部と、を有する車載ステレオカメラシステムである。
　対応点検出部は、複数の撮像部それぞれが撮影した複数のフレーム画像の組から、第Ｎフレームの画像の対応点位置を算出し、左右の画像それぞれについて第Ｎフレームと第Ｎ＋１フレームの位置関係から、第Ｎ＋１フレームの両画面の特徴対応点を検出し、これら特徴対応点を用いて複数の撮像部間の第Ｎ＋１フレームの相対位置を推定する。
　本発明のステレオカメラシステムによれば、近距離被写体の対応点位置の認識誤差に対し高精度とロバストなセルフキャリブレーションが行われる。
本発明の実施例１における自律走行ダンプトラック向け車載ステレオカメラシステムの構成例を表す模式図である。 実施例１における自律走行ダンプトラック向け車載ステレオカメラシステムのハードウェア構成を表す構成図である。 実施例１におけるシステム１００全体の処理を説明するフローチャートである。 実施例１における姿勢変更判断部の処理を説明するフローチャートである。 実施例１における対応点検出部の処理を説明するフローチャートである。 従来技術における各撮像部が同時に撮影した画像の組の対応点検出を表す模式図である。 近距離被写体として実施例１における各撮像部が同時に撮影した画像の組の対応点検出ミスマッチングの例を表す模式図である。 実施例１における各撮像部が同時に撮影した第Ｎフレームの両画像で特徴点抽出と、既知相対姿勢から特徴点の対応点を算出した結果の例を表す模式図である。 実施例１における左撮像部が撮影した第Ｎフレームから第Ｎ＋１フレームの対応点を検出した結果の例を表す模式図である。 実施例１における右撮像部が撮影した第Ｎフレームから第Ｎ＋１フレームの対応点を検出した結果の例を表す模式図である。 実施例１における各撮像部が同時に撮影した第Ｎ＋１フレームの対応点検出した結果の例を表す模式図である。 実施例１における各撮像部が同時に撮影した両画像の相対姿勢変化が大きいのでアラームを出す例を表す模式図である。 実施例１における各撮像部が同時に撮影した両画像からカメラ相対姿勢変更か否かを判断する例を表す模式図である。
　以下、自律走行ダンプトラックに本発明の車載ステレオカメラシステムを適用した実施例１を説明する。
　本実施例の車載ステレオカメラシステムは、被写体の３次元位置を出力する。
　図１は、実施例１における車載ステレオカメラシステム１００の構成を表すブロック図である。自律走行ダンプトラック向け車載ステレオカメラシステム１００は、複数の撮像部１０１（１０１ａ、１０１ｂ）、画像取得部１０２、画像保存部１０３、対応点検出部１０４、姿勢変更判断１０５、姿勢調整要否判断部１０６、画像補正部１０７、パラメータ推定部１０８、を備え、作業期間の被写体の３次元位置を取得し、環境認識システム制御部１０９に提供する。図２には上記の車載ステレオカメラシステムがダンプトラック１１１に実装されている様子を示す。図１の車載ステレオカメラシステム１００及び環境認識システム制御部１０９の主要部は、図２に示す車載コントローラ１１０に内蔵されている。この車載コントローラは、ＣＰＵ、ＲＡＭ、記憶部などの一般的なハードウエア構成を有する。
　図１に戻り説明を続ける。撮像部１０１a、１０１bは自身の視野内に存在する被写体を撮影する機器であり、モノクロームカメラ、カラーカメラ、赤外線カメラ、ハイパースペクトルカメラなどとして実装される。各カメラ１０１a、１０１bは同一の被写体を撮影できるような相対位置姿勢関係にある。２台のカメラ１０１a、１０１bの位置関係は固定であり既知としてよい。ただし、各カメラの姿勢については推定する必要がある。なお、本実施例では撮像部（カメラ）が２台の例を示したが、３台以上でもよい。３台以上の場合、それぞれ各２つのカメラ間でカメラキャリブレーションを行い、２台の例の応用で実現できる。また、今後の実施例の説明中で、２台のカメラで同時に撮るそれぞれの画像をＲ画像、Ｌ画像と呼ぶ。
　画像所得部１０２、画像保存部１０３、対応点検出部１０４、姿勢変更判断部１０５、姿勢調整要否判断部１０６、画像補正部１０７、パラメータ推定部１０８は、各演算処理を行うため、役割毎に分けられた複数のＣＰＵ及びＲＡＭの組み合わせとして実装される。前記の各部は外部記憶装置としてのハードディスク、ＵＳＢメモリなどを採用する。姿勢調整要否判断部１０６にはアラームを出す装置としてスピーカまたはランプ１１１が接続されている。
　図３は、実施例１における車載ステレオカメラシステム１００全体の処理例を説明するフローチャートである。まず、Ｓ３０２では、撮像部１０１で同時撮影したＲ画像、Ｌ画像を画像取得部１０２に入力する。Ｓ３０３で毎フレームの画像を画像保存部１０３に提供する。Ｓ３０４では、画像保存部１０３に格納された毎フレームの画像を姿勢変更判断部１０５に提供し、カメラ相対姿勢が変化したか否かの判断を行う。姿勢変化なしと判定した場合、処理を終了する。姿勢変化ありと判定した場合、Ｓ１０５に進む。Ｓ３０４での姿勢が変化したか否かの判定の詳細については、後に図４を参照して説明する。Ｓ３０５では、その両画像と前フレーム両画像を対応点検出部１０４に提供する。対応点検出部１０４は、姿勢推定要のフレームの両画像の特徴対応点を検出する。特徴対応点を検出する方法は、後に図５を参照して説明する。Ｓ３０６では、画像補正部１０７で、レンズ歪みなどによって歪められている対応点検出部１０４で検出した両画像の対応点の各画像での位置を補正する。Ｓ３０７では、パラメータ推定部１０８で、画像補正部１０７提供した補正後の特徴対応点の組を運用し、姿勢推定プログラムに基づき、撮像部のカメラ間の相対姿勢を推定する。そして、Ｓ３０８では、姿勢調整要否判断部１０６でカメラ相対姿勢のマニュアル修正が必要か否かを判断し、前記Ｓ３０２から繰り返し実行させる。
　画像取得部１０２は、撮像部１０１を同時撮影した画像の入力を行い、毎フレームの画像を画像保存部１０３に提供する。
　画像保存部１０３は、撮像部１０１を同時撮影した毎フレームの画像を画像取得部１０２から入力し、格納している。
　続いて、姿勢変更判断部１０５は、画像保存部１０３に格納した毎フレームの両画像を用いて、カメラ相対姿勢が変化したか否かの判断を行う。この判断結果により、カメラ相対姿勢推定要という信号が与えられた場合に、現在のフレームの両画像と、画像保存部１０３に格納した前フレームの両画像を、対応点検出部１０４に提供する。図１３は、実施例１における各撮像部が同時に撮影した両画像からカメラ相対姿勢変更か否かを判断する例を表す模式図である。左右の両画像の平行移動のみで画素的にマッチングできる面積には、ある最大値が得られる。両カメラの相対姿勢に変化が起きていない場合には、この最大値はある値（標準値）よりも大きくなる。そこで、毎フレームの両画像が入力した後、以前のパラメータ推定部によるＳ３０７の姿勢推定の結果に基づきカメラ姿勢を校正し、Ｓ３０４の姿勢変化判断のプログラムを実行する。左右の両画像のうちの、横移動のみで画素的にマッチングできる領域の面積を前記標準値と比較し、カメラ相対姿勢が変化したか否かを判断する。
　図４は、姿勢変更判断部１０５の姿勢変化判断の処理を説明するフローチャートである。Ｓ１０４１では、撮影した両画像の姿勢を、以前起こった姿勢推定結果に基づき、校正する。続いて、Ｓ１０４２はマッチング率を算出する。マッチング率を計算する手法の例として、左右の両画像のうちの横移動のみで画素的にマッチングできる領域の面積を算出し、その全体画像面積に対する割合を算出する。他の計算方式でもよい。Ｓ１０４３で標準値と比較し、カメラ姿勢に変化があったか否かを判断する。以上が図３のＳ３０４の姿勢変化判断の詳細である。
　対応点検出部１０４は、姿勢変更判断部１０５の信号に基づき、画像保存部１０３に格納した第Ｎフレームの両画像と、第Ｎ＋１フレームの両画像を用いて、カメラ相対姿勢推定要の第Ｎ＋１フレームの両画像の特徴対応点を検出し、画像補正部１０７に提供する。図６は、従来技術における各撮像部が同時に撮影した画像の組の特徴対応点検出例を表す模式図である。非特許文献１に記載の手法は相対位置と相対姿勢を求めている。遠距離の場合に問題なく使える手法である。
　図７は、近距離の被写体である場合に、各撮像部が同時に撮影した画像の組からの対応点検出にミスマッチングが生じる例を表す模式図である。被写体の距離の問題を取り扱わずに、つまり一般的な手法で相対位置と相対姿勢を求めた場合に、カメラの離間間隔に対して被写体までの距離が近距離になる程、各カメラの画像の間で対応点の位置ずれは大きくなる。したがって、例えば図７中で、実線で結ぶ点同士を特徴対応点と認識してしまう認識誤差あるいはミスマッチングが近距離ではたくさん起きる。つまり、過去のフレームの情報を用いず、２画像の現フレーム同士を比較して対応点を検出する手法は精度とロバスト性の低い手法である。
　図５は、実施例１における対応点検出部１０４の処理を説明するフローチャートである。図８、図９、図１０、図１１を用いて説明される。
　図８は、実施例１における各撮像部が同時に撮影した第Ｎフレームの両画像上で特徴点を抽出するステップ（図５のステップＳ１０５１）、既知相対姿勢から特徴点の対応点を算出するステップ（図５のステップＳ１０５２）の結果の例を表す模式図である。
　まず、特徴点の抽出は以下のように実現される。撮像部１０１a、１０１bで撮影した第Ｎフレームの両画像のうちの左画像から複数個の特徴点をコーナ法で抽出する。これは、画像上の各点に対し、その点を囲むような小ウィンドウにおける２次微分画像の自己相関行列を計算し、その行列の二つの固有値がどちらも閾値より大きくなる点をコーナ(特徴点)とするものである。まず、カラー画像をグレー画像に変換する。その変換式は
Figure JPOXMLDOC01-appb-M000001
である。ここで、iは画像内画素の横方法番号、jは縦方向番号、vはグレー画像での輝度値、r,g,bはそれぞれカラー画像における赤、緑、青成分の輝度値を表す。続いて、２次微分画像の自己相関行列Ｍを以下の式より求める。
Figure JPOXMLDOC01-appb-M000002
ここで、ｖｉ，ｖｊはそれぞれｉ，ｊ方向の偏微分関数を表し、ｍは小ウィンドウの大きさ、ｉ，ｋはｉ，ｊ番目の画素を中心とした小ウィンドウ内の画素の番号を表す。行列M(i,j)の固有値をλ(i,j)とすると，次の２次方程式を解くことで二つの固有値が得られる。
Figure JPOXMLDOC01-appb-M000003
これら二つの固有値が両方とも大きい場合、ｉ，ｊ番目の画素は交差する２つのエッジを持っていることになり、コーナ特徴点として抽出される。他の特徴点抽出方法で実現してもよい。
　続いて、第Ｎフレームの左画像から、既知のカメラ間相対姿勢に基づき、第Ｎフレームの右画像で対応点を算出する。このことにより、カメラ変化前の第Ｎフレームの両画像の対応点を組み合わせる。
　図９は、実施例１における左カメラが撮影した第Ｎフレームから第Ｎ＋１フレームの対応点を検出するステップ（図５の左画像オプティカルフロー算出ステップＳ１０５３）の結果の例を表す模式図である。対応点を検出する手法を述べると、撮像部の左カメラ１０１ａで連続撮影された２画像に対し、前フレーム(第Ｎフレーム)画像からLucas-Kanadeオプティカルフロー抽出法を基づき、抽出された特徴点を後フレーム(第Ｎ＋１フレーム)画像で対応点を検出する。第Ｎフレーム画像から抽出した特徴点についてそれを中心とした小ウィンドウを切り出し、その小ウィンドウが第Ｎ＋１の画像どこに存在するか探索し、次のような２つの仮定の下、画像の偏微分を利用する。
１．　カメラ間相対位置姿勢が小さい
２．局所的には画像はほぼ一様な動きをする。
第Ｎフレームの画像をｖＬ(i,j)とし、抽出した特徴点画素の位置をｉＬ，ｊＬとする。さらに、第Ｎ＋１の画像をｖＲ(i,j)とし、探索結果となる特徴点画像の位置をｉＲ，ｊＲとする。対応点探索は次式で表現される連立方程式を解き、左画像１０１ａが撮影した第Ｎフレーム画像と第Ｎ＋１フレーム画像の対応点を検出することにより実施する。
Figure JPOXMLDOC01-appb-M000004
他の対応点探索手法でもよい。
　図１０は、 実施例１における右カメラが撮影した第Ｎフレームから第Ｎ＋１フレームの対応点を検出するステップ（図５の右画像オプティカルフロー算出ステップＳ１０５４）の結果の例を表す模式図である。このステップ１０５４でも、前記Ｓ１０５３と同様な手順を踏む。すなわち、撮像部の右カメラ１０１ｂで連続撮影された２画像に対し、前フレーム(第Ｎフレーム)画像からLucas-Kanadeオプティカルフロー抽出法を基づき、抽出された特徴点を後フレーム(第Ｎ＋１フレーム)画像で対応点を検出する。第Ｎフレーム画像から抽出した特徴点についてそれを中心とした小ウィンドウを切り出し、その小ウィンドウが第Ｎ＋１の画像どこに存在するか探索し、次のような２つの仮定の下、画像の偏微分を利用する。
１．カメラ間相対位置姿勢が小さい。
２．局所的には画像はほぼ一様な動きをする。
　第Ｎフレームの画像をｖＬ(i,j)とし、抽出した特徴点画素の位置をｉＬ，ｊＬとする。さらに、第Ｎ＋１の画像をｖＲ(i,j)とし、探索結果となる特徴点画像の位置をｉＲ，ｊＲとする。特徴点探索は次式で表現される連立方程式を解き、右画像１０１ｂが撮影した第Ｎフレーム画像と第Ｎ＋１フレーム画像の対応点を検出する。他の対応点探索手法でもよい。
　図１１は実施例１における各撮像部が同時に撮影した第Ｎ＋１フレームの左右画像間の対応点を決定するステップ（図５の対応点決定ステップＳ１０５５）の結果の例を表す模式図である。先のステップＳ１０５２では先行する第Ｎフレームの左右画像の特徴対応点を算出した。そして、各画像の左画像の第Ｎフレームと第Ｎ＋１フレームの対応点をステップＳ１０５３で、また右画像の第Ｎフレームと第Ｎ＋１フレームの対応点をステップＳ１０５４で算出した。これらの結果をから、第Ｎ＋１フレームの左右画像間の特徴対応点を認知できる。以上が対応点検出部１０４の処理の詳細である。
　画像補正部１０７は、画像中心からの位置やレンズ歪みにとって歪められている対応点検出部１０４検出した両画像の対応点の各画像での位置を補正する。例えば、内部パラメータは、焦点距離｛ｆｘ,ｆｙ｝、画像中心位置｛ｃｘ,ｃｙ｝、歪みパラメータ｛ｋ１,ｋ２,ｋ３,ｐ１,ｐ２｝で表現することができる。画像の幅をｗ、画像の高さをｈとするとき、歪んだ画像上の点の座標｛ｕｄ,ｖｄ｝と補正後の画像上の点の座標｛ｕｄ,ｖｄ｝との関係は〔数５〕で表現することができる。
Figure JPOXMLDOC01-appb-M000005
補正された対応点を、パラメータ推定部１０８と姿勢調整要否判断部１０６に提供し、カメラ相対姿勢推定とシステム復元アラーム要否判断を行う。他の補正方法で対応点を補正してもよい。
　パラメータ推定部１０８は、画像補正部１０７提供した補正後の対応点の組を運用し、姿勢推定プログラムに基づき、各撮像部１０１間の相対姿勢を同定する。画像補正部１０３から得られた複数の対応点が、幾何学の関係式を満たすようにカメラ間相対姿勢を求める。相対姿勢の自由度に基づき、対応点の組みで相対姿勢を一意に決めることができる。特徴点探索に入り込む誤差の影響を軽減するため、より多くの対応点を抽出するべきである。
　例えば、以下のように実現される。
　複数の方程式から解を求める最も一般的な方法に最小２乗法がある。入力データに対してロバストな結果を出力できる手法として、ＲＡＮＳＡＣという誤対応も同時に推定し排除するアルゴリズムを採用することができる。
　抽出した対応点のうち、少量の対応点をランダムにサンプリングし、それによって相対姿勢を推定する。続いて、その推定結果を用いたときに幾何学的関係式が成り立つか否かを全ての対応点に対して判定し、成立した対応点数をその推定結果の評価とする。このランダムサンプリングを複数回行い、最も評価の高かった場合の相対姿勢から誤対応を決定して排除し、最終的に正しい対応点のみで最小２乗法を適用し推定結果とする。他の姿勢推定手法でもよい。
　その推定結果を、環境認識システム制御部１０９と車載ステレオカメラシステム１００との双方の全体制御を行う姿勢変更判断部１０５に提供する。この推定結果は、次回のカメラ相対姿勢変化があったか否かの判断のときに運用される。
　姿勢調整要否判断部１０６は、ある条件を満たさない場合に、許容範囲を超える相対姿勢変化が起きたと判断し、マニュアルのシステム修正を請求するアラームを出す。判定方法として、対応点検出部１０４が算出した特徴対応点の個数がキャリブレーションに必要な対応点数の下限より少ない場合、及び前記の特徴点の抽出段階で抽出され左画面もしくは右画面のた特徴点の数に対する対応点検出部１０４が算出した特徴対応点の比率が２０%以下になる場合、及び前記対応点検出部で検出した特徴対応点の重心の画像の中心からの偏移が８０％を超える場合に、両画面のズレが許容範囲を超える可能性が高いと判断することができる。特徴対応点の数と左画像もしくは右画像の特徴点の数の比率について説明する。特徴点の数に対する対応点検出部１０４が算出した特徴対応点の数の比率が小さいと、左右両画面の比較時に大部分の特徴点が共通の画像領域外にはずれたことを意味し、つまり両画像のズレが大きいと判断することができるである。これらの場合に、ハードウェア的にアラームを出し、マニュアルの修正を請求する。前記比率及び偏移判定のしきい値は調整可能であり、２０％、８０％に限定するものではない。
　図１２は、実施例１における各撮像部が同時に撮影した両画像の相対姿勢変化が大きいためアラームを出す例を表す模式図である。Ｓ１０４のプログラムを運行するため、Ｓ１２０からの対応点組みが必要し、この対応点個数がある下限よりも少ないとき及びカメラ相対姿勢が図１２のように許容範囲を超える相対姿勢変化が起きたときマニュアルのシステム修正を請求するアラームを出す。
　環境認識システム制御部１０９は、ステレオカメラ姿勢推定の結果を出力し、車載ステレオカメラシステム１００全体的に制御を行う。車載ステレオカメラシステムが撮影した画像から、環境認識を行い、被写体の３次元位置情報を算出し、この情報を基づき、カメラシステムを搭載した移動体の走行制御を行う。
１００：車載ステレオカメラシステム
１０１a、１０１b：撮像部
１０２：画像取得部
１０３：画像保存部
１０４：対応点検出部
１０５：姿勢変更判断部
１０６：姿勢調整要否判断部
１０７：対応点補正部
１０８：パラメータ推定部
１０９：環境認識システム制御部
１１１：アラーム出力部

Claims (11)

  1. 　移動体にそれぞれ配置された第１、第２のカメラを少なくとも備える車載ステレオカメラシステムのセルフキャリブレーション方法であって、
    　前記第１、第２のカメラで撮影した左画像、右画像のそれぞれの第１から第Ｎ＋１フレームのデータを入力して保存し、
    　現フレームである左画像の第Ｎ＋１フレームと右画像の第Ｎ＋１フレームの組から、前記第１カメラ、第２カメラ間の相対姿勢に変化が生じたか否かを判断し、
    　前記第１カメラ、第２カメラ間の相対姿勢に変化が生じたと判断されたときに限り、左画像の第Ｎフレーム及び右画像の第Ｎフレームを用いて、左右画像それぞれの第Ｎ＋１フレーム同士の組から対応する点の組を特徴対応点の対として検出し、検出された前記特徴対応点の対を使用してカメラ相対姿勢の推定を行うことを特徴とする車載ステレオカメラシステムのセルフキャリブレーション方法。
  2. 　請求項１に記載の車載ステレオカメラシステムのセルフキャリブレーション方法であって、
    　前記特徴対応点の対を検出するステップは、
    　前記左画像の第Ｎフレームおよび右画像の第Ｎフレームからそれぞれ特徴点を抽出し、
    　抽出された特徴点から、前記左画像の第Ｎフレームとの右画像の第Ｎフレームの間の対応点を算出し、
    　前記左画像の第Ｎフレーム上の前記対応点に対応する前記左画像の第Ｎ＋１フレーム上の点を算出し、前記右画像の第Ｎフレーム上の前記対応点に対応する前記右画像の第Ｎ＋１フレーム上の点を算出し、もって左右画像それぞれの第Ｎ＋１フレーム同士の前記特徴対応点を検出することを特徴とする車載ステレオカメラシステムのセルフキャリブレーション方法。
  3. 　請求項１に記載の車載ステレオカメラシステムのキャリブレーション方法であって、
    　前記第１カメラ、第２カメラ間の相対姿勢に変化が生じたか否かの判断は、
    　左右画像それぞれの第Ｎ＋１フレームの一方に横移動のみを行って他方に画素的にマッチングできる面積の最大値を算出し、マッチング比率を算出し、標準と比較して判断することを特徴とする車載ステレオカメラセルフキャリブレーション方法。
  4. 　請求項１に記載の車載ステレオカメラシステムのキャリブレーション方法であって、
    　前記左右画像それぞれの第Ｎ＋１フレーム同士の特徴対応点の対を使用してカメラ相対姿勢の推定が行なわれると、カメラ相対姿勢のズレが所定の許容範囲を超えるか否かを判定し、前記カメラ相対姿勢のズレが許容範囲を超える場合にシステム復元を要請するアラームを発することを特徴とする車載ステレオカメラシステムのキャリブレーション方法。
  5. 　請求項４に記載の車載ステレオカメラシステムのキャリブレーション方法であって、
    　上記特徴対応点の数がキャリブレーションに必要な対応点数の下限より少ない場合に、前記カメラ相対姿勢のズレが許容範囲を超えると判断する特徴とする車載ステレオカメラシステムのキャリブレーション方方法。
  6. 　請求項４に記載の車載ステレオカメラシステムのキャリブレーション方法であって、
    　前記左画像の特徴点の数もしくは前記右画像の特徴点の数に対する、前記左右画像それぞれの第Ｎ＋１フレーム同士の特徴対応点の数の比率を算出し、当該比率が閾値以下である場合に、前記カメラ相対姿勢のズレが許容範囲を超えると判断する特徴とする車載ステレオカメラシステムのキャリブレーション方方法。
  7. 　請求項４に記載の車載ステレオカメラシステムのキャリブレーション方法であって、
    　前記左右画像それぞれの第Ｎ＋１フレーム同士の特徴対応点の重心位置の画像の中心からの偏移がしきい値を超える場合に、前記カメラ相対姿勢のズレが許容範囲を超えると判断することを特徴とする車載ステレオカメラシステムのキャリブレーション方法。
  8. 　移動体にそれぞれ配置された第１、第２のカメラを少なくとも備える撮像部と、
    　前記第１、第２のカメラがそれぞれ撮影した画像を入力する画像取得部と、
    　前記第１、第２のカメラがそれぞれ撮影した画像を保存する画像保存部と、
    　前記第１、第２のカメラの姿勢同定を行うため、それぞれの撮影した画像を用いて前記第１、第２カメラ間の相対姿勢に変化が生じたか否かを判断する姿勢変更判断部と、
    　前記複数の撮像部中の２つの撮像部が左右両画像部として、前記第１、第２カメラそれぞれが撮影した左右画像の時系列フレームに基づき前記左右画像間の特徴対応点を検出する対応点検出部と、
    　前記検出した特徴対応点を使用し、前記複数の撮像部中の２つの撮像部カメラ姿勢推定を行うパラメータ推定部と、
    　許容範囲を超える相対姿勢変化が起きたときに、マニュアルのシステム修正を請求するアラームを出す姿勢調整要否判断部と、
    　環境認識システム制御部と、
    　を有するステレオカメラシステム。
  9. 　請求項８に記載のステレオカメラシステムであって、
    　前記姿勢変更判断部は前記第１、第２カメラが撮影した左右画像の一方を横移動したのみで他方の画素にマッチングできる面積の最大値を算出して、マッチング比率を算出し、標準と比較して判断することを特徴とするステレオカメラシステム。
  10. 　請求項８に記載のステレオカメラシステムであって、
    　前記対応点検出部は、前記第１カメラが撮影した左画像の第Ｎフレームの特徴点をと、第２カメラが撮像した右画像の第Ｎフレームの特徴点を抽出し、抽出された特徴点から前記左画像の第Ｎフレームと前記右画像の第Ｎフレームとの対応点を算出し、
    　前記左画像の第Ｎフレーム上の対応点に対応する左画像の第Ｎ＋１フレームの点を算出し、前記右フレームの第Ｎフレームの対応点に対応する右画像の第Ｎ＋１フレームの点を算出し、もって左右画像それぞれの第Ｎ＋１フレーム同士の特徴対応点を検出することを特徴とするステレオカメラ装置。
  11. 　請求項８に記載のステレオカメラシステムであって、
    　前記姿勢調整要否判断部は、前記対応点検出部のが検出した特徴対応点の個数を記録し、
    　前記特徴対応点の個数がキャリブレーションに必要な対応点数の下限より少ない場合、
    　もしくは前記左画像もしくは右画像の特徴点の数と前記検出した特徴対応点の比率がしきい値以下になる場合、
    　もしくは前記検出した特徴対応点の重心位置の画像の中心からの変移がしきい値を超えた場合に、前記マニュアルの修正請求のアラームを出すことを特徴とするステレオカメラ装置。
PCT/JP2013/070415 2013-07-29 2013-07-29 車載ステレオカメラシステム及びそのキャリブレーション方法 WO2015015542A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015529231A JP6035620B2 (ja) 2013-07-29 2013-07-29 車載ステレオカメラシステム及びそのキャリブレーション方法
PCT/JP2013/070415 WO2015015542A1 (ja) 2013-07-29 2013-07-29 車載ステレオカメラシステム及びそのキャリブレーション方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/070415 WO2015015542A1 (ja) 2013-07-29 2013-07-29 車載ステレオカメラシステム及びそのキャリブレーション方法

Publications (1)

Publication Number Publication Date
WO2015015542A1 true WO2015015542A1 (ja) 2015-02-05

Family

ID=52431124

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/070415 WO2015015542A1 (ja) 2013-07-29 2013-07-29 車載ステレオカメラシステム及びそのキャリブレーション方法

Country Status (2)

Country Link
JP (1) JP6035620B2 (ja)
WO (1) WO2015015542A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017208314A1 (ja) * 2016-05-31 2017-12-07 株式会社日立製作所 カメラシステム及びその自己較正方法
WO2019155719A1 (ja) * 2018-02-09 2019-08-15 ソニー株式会社 キャリブレーション装置とキャリブレーション方法およびプログラム
JP2020057182A (ja) * 2018-10-02 2020-04-09 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
WO2020121882A1 (ja) * 2018-12-13 2020-06-18 ソニー株式会社 制御装置、制御方法、および制御プログラム
CN111693254A (zh) * 2019-03-12 2020-09-22 纬创资通股份有限公司 车载镜头偏移检测方法与车载镜头偏移检测系统
CN111989541A (zh) * 2018-04-18 2020-11-24 日立汽车系统株式会社 立体摄像机装置
US12018926B2 (en) 2018-12-13 2024-06-25 Sony Group Corporation Controller and control method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101828558B1 (ko) * 2017-06-22 2018-02-14 주식회사 디아이랩 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004354257A (ja) * 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP2008275366A (ja) * 2007-04-26 2008-11-13 Tokyo Institute Of Technology ステレオ３次元計測システム
JP2010271950A (ja) * 2009-05-21 2010-12-02 Canon Inc 情報処理装置及びキャリブレーション処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004354257A (ja) * 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP2008275366A (ja) * 2007-04-26 2008-11-13 Tokyo Institute Of Technology ステレオ３次元計測システム
JP2010271950A (ja) * 2009-05-21 2010-12-02 Canon Inc 情報処理装置及びキャリブレーション処理方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017208314A1 (ja) * 2016-05-31 2017-12-07 株式会社日立製作所 カメラシステム及びその自己較正方法
WO2019155719A1 (ja) * 2018-02-09 2019-08-15 ソニー株式会社 キャリブレーション装置とキャリブレーション方法およびプログラム
JP7294148B2 (ja) 2018-02-09 2023-06-20 ソニーグループ株式会社 キャリブレーション装置とキャリブレーション方法およびプログラム
CN111670572B (zh) * 2018-02-09 2022-01-28 索尼公司 校准装置、校准方法和计算机可读存储介质
CN111670572A (zh) * 2018-02-09 2020-09-15 索尼公司 校准装置、校准方法和程序
JPWO2019155719A1 (ja) * 2018-02-09 2021-02-18 ソニー株式会社 キャリブレーション装置とキャリブレーション方法およびプログラム
CN111989541A (zh) * 2018-04-18 2020-11-24 日立汽车系统株式会社 立体摄像机装置
CN111989541B (zh) * 2018-04-18 2022-06-07 日立安斯泰莫株式会社 立体摄像机装置
JP2020057182A (ja) * 2018-10-02 2020-04-09 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN113170047A (zh) * 2018-12-13 2021-07-23 索尼集团公司 控制装置、控制方法和控制程序
WO2020121882A1 (ja) * 2018-12-13 2020-06-18 ソニー株式会社 制御装置、制御方法、および制御プログラム
CN113170047B (zh) * 2018-12-13 2023-06-30 索尼集团公司 控制装置、控制方法和控制程序
JP7472796B2 (ja) 2018-12-13 2024-04-23 ソニーグループ株式会社 制御装置、制御方法、および制御プログラム
US12018926B2 (en) 2018-12-13 2024-06-25 Sony Group Corporation Controller and control method
CN111693254A (zh) * 2019-03-12 2020-09-22 纬创资通股份有限公司 车载镜头偏移检测方法与车载镜头偏移检测系统

Also Published As

Publication number Publication date
JPWO2015015542A1 (ja) 2017-03-02
JP6035620B2 (ja) 2016-11-30

Similar Documents

Publication Publication Date Title
JP6035620B2 (ja) 車載ステレオカメラシステム及びそのキャリブレーション方法
JP6334734B2 (ja) 車両サラウンドビューシステムの較正用データ処理システムおよび方法
JP4919036B2 (ja) 移動物体認識装置
US8385595B2 (en) Motion detection method, apparatus and system
CN106960454B (zh) 景深避障方法、设备及无人飞行器
US11398051B2 (en) Vehicle camera calibration apparatus and method
US9087374B2 (en) Automatic airview correction method
JP5804185B2 (ja) 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
JP4943034B2 (ja) ステレオ画像処理装置
KR100938195B1 (ko) 스테레오 매칭을 이용한 거리 추정 장치 및 추정 방법
CN106570899B (zh) 一种目标物体检测方法及装置
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
US20060093239A1 (en) Image processing method and image processing device
JP2014074632A (ja) 車載ステレオカメラの校正装置及び校正方法
JPWO2018179281A1 (ja) 物体検出装置及び車両
JP5228614B2 (ja) パラメータ計算装置、パラメータ計算システムおよびプログラム
US11880993B2 (en) Image processing device, driving assistance system, image processing method, and program
JP5501084B2 (ja) 平面領域検出装置及びステレオカメラシステム
KR101482645B1 (ko) Ｆｏｖ왜곡 보정 모델에 2ｄ패턴을 적용한 왜곡중심 보정 방법
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP4586571B2 (ja) 対象物判定装置
US20200193184A1 (en) Image processing device and image processing method
KR102065337B1 (ko) 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법
WO2021124657A1 (ja) カメラシステム
CN113723432A (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13890433

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015529231

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13890433

Country of ref document: EP

Kind code of ref document: A1