JP6346869B2 - Stereo image processing method and apparatus - Google Patents
Stereo image processing method and apparatus Download PDFInfo
- Publication number
- JP6346869B2 JP6346869B2 JP2015072210A JP2015072210A JP6346869B2 JP 6346869 B2 JP6346869 B2 JP 6346869B2 JP 2015072210 A JP2015072210 A JP 2015072210A JP 2015072210 A JP2015072210 A JP 2015072210A JP 6346869 B2 JP6346869 B2 JP 6346869B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- rail
- point
- parallax
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、ステレオ画像処理方法およびその装置に関する。 The present invention relates to a stereo image processing method and apparatus.
前方に存在する物体の位置を三次元的に検出し、その物体までの距離を計測する方法として、ステレオ画像処理技術が知られている。ステレオ画像処理技術は、ステレオ画像(間隔を開けて水平等位に設置した左右のカメラで取得した画像)をコンピュータでマッチング処理を行うことにより視差を算出し、その視差を用いて三角測量の原理から対象物までの距離を算出する方法である(たとえば、特許文献1,2参照)。
A stereo image processing technique is known as a method for three-dimensionally detecting the position of an object existing ahead and measuring the distance to the object. In stereo image processing technology, parallax is calculated by performing a matching process on a stereo image (images acquired by left and right cameras placed at horizontal intervals at intervals ) by a computer, and the principle of triangulation is calculated using the parallax. This is a method of calculating the distance from the object to the object (for example, see
図12に、ステレオ画像処理技術による距離計測の原理を示す。図12は、平行化により画像におけるy軸(v軸)が揃えられた左右2台のカメラで対象物mを撮像したときの画像I,Jを示す。u軸とu’軸は画像I,Jの横方向の位置、v軸は画像の縦方向の位置を示す。各カメラの画像上には当該カメラの視点と対象物mを結ぶ直線lとrと画面との交点P 、qに対象物mが写されるため、対象物mの3次元座標(X,Y,Z)は、Pとqの座標(us1,v1)、(us2,v2)から求まる。そして、点P,qの座標位置の差d、つまり画素数が視差であり、次の式1から視差dを求めることができる。
d=us1−us2 ・・・・・・(式1)
FIG. 12 shows the principle of distance measurement by the stereo image processing technique. FIG. 12 shows images I and J when the object m is imaged by two left and right cameras whose y-axis (v-axis) in the image is aligned by parallelization. The u axis and u ′ axis indicate the horizontal position of the images I and J, and the v axis indicates the vertical position of the image. On the image of each camera, the object m is shown at the intersections P and q between the screens of the lines l and r connecting the camera viewpoint and the object m, and the three-dimensional coordinates (X, Y) of the object m , Z) is obtained from the coordinates (u s1 , v 1 ) and (u s2 , v 2 ) of P and q. The difference d between the coordinate positions of the points P and q, that is, the number of pixels is parallax, and the parallax d can be obtained from the following
d = u s1 −u s2 (Equation 1)
また、カメラの焦点距離をf、二つの画像I,Jの中心位置間距離、すなわち、基線長をBとすると、mの世界座標と画像上の位置の関係は、次のとおりである。
X=Bus1/d, Y=Bv1/d, Z=Bf/d
Zは、カメラ設置位置から対象物mまでの距離である。
When the focal length of the camera is f and the distance between the center positions of the two images I and J, that is, the base line length is B, the relationship between the world coordinates of m and the position on the image is as follows.
X = Bu s1 / d, Y =
Z is the distance from the camera installation position to the object m.
したがって、ステレオ画像処理において対象物mまでの距離Zを計測するには、視差dを算出する必要がある。そのためには、そのためには、左右2台のカメラのうち、一方のカメラ、たとえば左カメラの画像I(以下、基準画像という。)上の基準点pと相関を有する点、すなわち対応点qが左右2台のカメラのうち、他方のカメラ、たとえば右カメラの画像J(以下、対応画像という。)上のどこに存在するかを探索する画像マッチング(対応付け)が必要である。基準点とは基準画像における所定の点であり、対応点とは基準点と相関を求める対応画像上の点である。 Therefore, in order to measure the distance Z to the object m in the stereo image processing, it is necessary to calculate the parallax d. For this purpose, a point having a correlation with a reference point p on an image I (hereinafter referred to as a reference image) of one of the left and right cameras, for example, the left camera, that is, the corresponding point q is set. Of the two left and right cameras, image matching (association) is required to search for where on the image J (hereinafter referred to as a corresponding image) of the other camera, for example, the right camera. The reference point is a predetermined point in the reference image, and the corresponding point is a point on the corresponding image whose correlation is obtained with the reference point.
画像マッチングには、従来、ブロックマッチング法と位相限定相関法とが用いられている。 Conventionally, a block matching method and a phase only correlation method are used for image matching.
ブロックマッチング法における従来の画像マッチング(画像探索)の方法を、図13に基づいて説明する。基準画像Iと対応画像Jをそれぞれ同数の小面積の領域(以下、ブロックという。)に分割する。図13の(a)(b)は、基準画像IがブロックI11〜I16,I21〜I26,・・・I41〜I46に、対応画像JがブロックJ11〜J16,J21〜J26,・・・J41〜J46に分割された、簡略化した例を示している。
A conventional image matching (image search) method in the block matching method will be described with reference to FIG. The reference image I and the corresponding image J are each divided into the same number of small area regions (hereinafter referred to as blocks). (A) (b) of FIG. 13, the reference image I block I 11 ~I 16, I 21 ~I 26, the · · · I 41 ~I 46, the corresponding
各ブロックには、図13の(c)(d)に、基準画像Iと対応画像JのブロックI11、J11について例示するように、横方向n個、縦方向m個の画素が含まれ、各画素は画素値(ピクセルデータ)を有する。そして、ブロックマッチングにおいては、基本画像Iの各ブロックの画素値の配列と同じ画素値の配列を有するブロックを対応画像Jの中から探索する。その探索を行うため、基準画像Iの第1行1列目のブロックI11の最初の画素IP11の画素値と対応画像Jの第1行1列目のブロックJ11の最初の画素JP11の画素値とを比較(減算)し、その差を図13の(e)に示すように、画素値差マトリックスDTの最初のエリアDP11に記録する。 Each block includes n pixels in the horizontal direction and m pixels in the vertical direction as illustrated in FIGS. 13C and 13D for the blocks I 11 and J 11 of the reference image I and the corresponding image J. Each pixel has a pixel value (pixel data). In block matching, the corresponding image J is searched for a block having the same pixel value array as the pixel value array of each block of the basic image I. To perform the search, the first pixel JP 11 in the first row and first column of the block J 11 pixel values of the first pixel IP 11 of the first row and first column of the block I 11 of the reference image I and the corresponding image J of comparing the pixel value (subtraction), the difference as shown in (e) of FIG. 13, recorded in the first area DP 11 of pixel value difference matrix DT.
そして、このような画素値の比較をブロックI11とブロックJ11内の全画素について行う。つまり、基準画像IのブロックI11の同行の他の画素IP12〜IP1n、他の行の画素IP21〜IP2n、・・・IPm1〜IPmnについても同様にそれぞれ画素値の差を取り、その差を画素値差マトリックスDTの他のエリアDP12〜DPmnに記録する。そして、全画素の画素値の差を合計し、その合計値t11を図13の(f)に示すように、画素値差合計マトリックスTTに記録する。
Then, such pixel value comparison is performed for all the pixels in the block I 11 and the block J 11 . That is,
次に、対応画像Jの第1行2列目のブロックJ12についても同様に、基準画像Iの第1行1列目のブロックI11の全画素の画素値との差を取り、その差を画素値差マトリックスDTに記録し、その差を合計して、その合計値t12を画素値差合計マトリックスTTに記録する。 Then, also for the first row and second column of the block J 12 of the corresponding image J, taking the difference between the pixel values of all pixels in the first row and first column of the block I 11 of the reference image I, the difference was recorded in the pixel value difference matrix DT, sums the difference, and records the total value t 12 to the pixel value difference sum matrix TT.
同様の処理を対応画像Jの第1行の最後のブロックJ16まで行う。そして、画素値差合計マトリックスTTの対応画像Jの第1行の全ブロックI11〜I16に対応する画素値差の合計値t11〜t16の中で、合計値が最小のブロックを基準画像Iの第1行1列目のブロックI11と対応する、すなわち、マッチングが取れたと判断する。
It performs the same process until the last block J 16 of the first row of the corresponding image J. Then, in the
続いて、基準画像Iの第1行2列目のブロックI12について、対応画像Jの第1行の全ブロックをスキャンして前述と同様のマッチング処理を行う。さらに、基準画像Iの最後の行の全ブロックについてスキャンして前述と同様にマッチング処理を行う。 Subsequently, the first row and second column of the block I 12 of the reference image I, by scanning all blocks of the first row of the corresponding image J performs the same matching processing as described above. Further, all blocks in the last row of the reference image I are scanned and matching processing is performed in the same manner as described above.
上記ブロックマッチング法においては、画素値差合計マトリックスTTの画素値の差の合計値が最小の対応画像J上のブロックが基準画像Iのブロックと対応するので、その時の基準画像Iのブロックから対応画像Jのブロックまで画素数は、視差を表す。 In the block matching method, since the block on the corresponding image J having the smallest sum of the pixel value differences of the pixel value difference sum matrix TT corresponds to the block of the reference image I, it corresponds from the block of the reference image I at that time. The number of pixels up to the block of image J represents parallax.
上述のように、従来の探索方法では、基準画像Iの基準点pに対応する対応画像J上の対応点qを探索するには、対応画像Jの基準点pと同じ走査線(ライン)上の全長を対応点qの探索範囲としていた(特許文献3参照)。 As described above, in the conventional search method, in order to search for the corresponding point q on the corresponding image J corresponding to the reference point p of the reference image I, on the same scanning line (line) as the reference point p of the corresponding image J. Is the search range of the corresponding point q (see Patent Document 3).
したがって、従来のステレオ画像処理方法においては、対応画像の走査線上の全長を対応点の探索範囲としていたので、マッチング処理に非常に多くの時間がかかる。したがって、たとえば、軌道を走行中の車上から線路上の障害物を検知すること等に適用する場合は、リアルタイムで視差算出および距離計測ができないという問題がある。 Therefore, in the conventional stereo image processing method, since the entire length of the corresponding image on the scanning line is set as the corresponding point search range, the matching process takes a very long time. Therefore, for example, when it is applied to detecting an obstacle on a track from a vehicle traveling on a track, there is a problem that parallax calculation and distance measurement cannot be performed in real time.
また、位相限定相関法は、高精度なマッチングが可能であるという利点を有するが、基準画像と対応画像の各ラインの各ブロックに対して複雑なフーリエ変換を行うため、計算量が膨大になり、コンピュータの演算負荷が大きいとともに、計算コストが高いという問題がある。 In addition, the phase-only correlation method has an advantage that high-precision matching is possible. However, since the complex Fourier transform is performed on each block of each line of the reference image and the corresponding image, the calculation amount becomes enormous. However, there is a problem that the calculation load of the computer is large and the calculation cost is high.
本発明は、上記の問題点に鑑みてなされたものであり、ステレオ画像をマッチング処理して基準画像の基準点に対応する対応画像上の対応点を探索し、視差を求めるステレオ画像処理方法において、探索範囲の縮小化を可能にすることを目的とする。 The present invention has been made in view of the above problems , and in a stereo image processing method for searching for a corresponding point on a corresponding image corresponding to a reference point of a reference image by performing a matching process on a stereo image and obtaining a parallax . An object is to enable the search range to be reduced.
換言すると、リアルタイムで視差算出および距離計測ができ、派生的効果として、障害物検知速度および距離計測速度の向上がもたらされるステレオ画像処理方法およびその装置を提供することを目的とする。 In other words, it is an object of the present invention to provide a stereo image processing method and apparatus capable of performing parallax calculation and distance measurement in real time, and resulting in improved obstacle detection speed and distance measurement speed as a derivative effect.
上記目的を達成するため、本発明の一側面は、ステレオ画像処理装置によるステレオ画像をマッチング処理して視差を算出するステレオ画像処理方法において、左右2台のカメラ装置で列車前方を撮像して得られる映像信号をレール抽出部のレール抽出アルゴリズムにより一方のカメラの画像(基準画像)と他方のカメラの画像(対応画像)からそれぞれレールを抽出し、抽出したレールの画像上の座標から基準画像と対応画像でレールの同じ地点を示す座標間の画素数を算出して「レール抽出による視差」として記憶し、基準画像の基準点と同じ座標となる対応画像上の点から同じ走査線上の「レール抽出による視差」だけずらした点から対応画像の左端または右端までを基準画像の基準点に対応する対応画像上の対応点を探索する探索範囲とすることを特徴とする。 To achieve the above object, one aspect of the present invention, the stereo image processing method of calculating a parallax matching processing a stereo image by the stereo image processing apparatus, by imaging the trains forward left and right cameras device obtained The rail is extracted from the image of one camera (reference image) and the image of the other camera (corresponding image) by the rail extraction algorithm of the rail extraction unit, and the reference image is extracted from the coordinates on the extracted rail image. The number of pixels between coordinates indicating the same point on the rail in the corresponding image is calculated and stored as “parallax due to rail extraction”, and the “rail” on the same scanning line from the point on the corresponding image having the same coordinates as the reference point of the reference image search range for searching for a corresponding point on the corresponding image corresponding to the reference point of the left or right edge to the reference image of the corresponding image from a point shifted by the disparity "by extraction Characterized by a.
本発明の他の側面は、ステレオ画像をマッチング処理して視差を算出するステレオ画像処理装置であって、間隔を開けて水平等位に設置した左右のカメラ装置と、各カメラ装置で取得される画像信号からそれぞれレールの映像を抽出するレール抽出部と、抽出されたレールの映像を有するステレオ画像をマッチング処理して視差を算出する視差算出部とを有し、視差算出部は、基準画像のレール映像の基準点と同じ座標となる対応画像上の一次対応点を検出して、その座標を出力する一次対応点検出手段と、一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左又は右方向にずらした点を二次対応点とする二次対応点検出手段と、二次対応点から対応画像の左端または右端までマッチング処理を行って相関値を求めるマッチング処理手段とを有することを特徴とする。 Another aspect of the present invention is a stereo image processing apparatus that calculates a parallax by performing a matching process on a stereo image, and is acquired by the left and right camera apparatuses installed at horizontal equidistant positions and each camera apparatus. A rail extraction unit that extracts a rail image from each image signal, and a parallax calculation unit that calculates a parallax by matching a stereo image having the extracted rail image, and the parallax calculation unit The primary corresponding point detecting means for detecting the primary corresponding point on the corresponding image having the same coordinates as the reference point of the rail image and outputting the coordinates, and the same scanning line from the primary corresponding point is equivalent to “parallax by rail extraction” Corresponding value is obtained by performing a matching process from the secondary corresponding point to the left end or the right end of the corresponding image from the secondary corresponding point as a secondary corresponding point with a point shifted left or right by the distance as the secondary corresponding point. And having a etching processing means.
本発明によれば、探索範囲の縮小化が可能であり、したがって、リアルタイムで視差算出および距離計測ができる。派生的効果として、障害物検知速度および距離計測速度の向上がもたらされる According to the present invention, the search range can be reduced, and therefore, the parallax calculation and the distance measurement can be performed in real time. As a derivative effect, the obstacle detection speed and the distance measurement speed are improved.
続いて、本発明の実施の形態について、図面を用いながら説明する。 Next, embodiments of the present invention will be described with reference to the drawings.
本発明の実施の形態に係るステレオ画像処理方法は、左右2台のカメラによる撮像対象が鉄道線路である場合に適用される。列車運転台に設置された左右2台のカメラで列車前方を撮像した場合、左右各画像に写される映像のうち、線路または線路を含む近傍の映像が写される範囲は限定される。 The stereo image processing method according to the embodiment of the present invention is applied when the object to be imaged by the left and right cameras is a railroad track. When the front of the train is imaged by the left and right cameras installed on the train cab, the range in which the image of the vicinity of the image including the track or the track is captured is limited.
また、撮像対象が鉄道線路である場合は、列車前方画像からレール抽出アルゴリズムによりレールを抽出することができ、その抽出したレールの画像上の座標を算出することができる。レール抽出アルゴリズムには、レールのエッジと輝度勾配に着目した方法がある(非特許文献1参照)。この方法では、レールを列車運転台から2〜30m程度までの近傍領域のレールと、それ以上の距離の遠方領域のレールに分けて処理を行う。近傍領域は予め用意した代表的レールテンプレートとのマッチングにより、また、遠方領域は近傍領域で得られた情報を基にレール形状パターンを動的に生成して、短い直線と曲線セグメントを連結しながら、遠方までレールを追跡する。 Further, when the imaging target is a railroad track, a rail can be extracted from the train front image by a rail extraction algorithm, and coordinates on the extracted rail image can be calculated. As the rail extraction algorithm, there is a method that focuses on the edge of the rail and the luminance gradient (see Non-Patent Document 1). In this method, the processing is performed by dividing the rail into a rail in the vicinity region from the train cab to about 2 to 30 m and a rail in the far region at a distance longer than that. The near area is matched with a representative rail template prepared in advance, and the far area is dynamically generated based on the information obtained in the near area while connecting short straight lines and curved segments. Track the rails far away.
レール抽出アルゴリズムは、上記の代表的レールテンプレートとのマッチングおよびレール形状パターンとのマッチングによる方法のほか、画像中の特徴量抽出による方法、色や強度による特徴に基づく方法、輝度勾配を用いる方法、その他がある。本発明では、これら既知のレール抽出アルゴリズムのいずれを用いてもよい。 The rail extraction algorithm is a method based on matching with the above-described representative rail template and matching with a rail shape pattern, a method based on feature amount extraction in an image, a method based on features based on color and intensity, a method using a luminance gradient, There are others. In the present invention, any of these known rail extraction algorithms may be used.
左右2台のカメラで列車前方を撮影したとき、レール抽出アルゴリズムにより左のカメラの画像(基準画像)と右のカメラの画像(対応画像)からレールを抽出すると、抽出したレールの画像上の座標が分かる。この基準画像と対応画像でレールの同じ地点を示す座標間の画素数が「レール抽出による視差」である。 When the front of the train is photographed with two cameras on the left and right, if the rail is extracted from the left camera image (reference image) and the right camera image (corresponding image) by the rail extraction algorithm, the coordinates on the extracted rail image I understand. The number of pixels between coordinates indicating the same point on the rail in the reference image and the corresponding image is “parallax by rail extraction”.
レールは2本が平行に敷かれているため、「レール抽出による視差」は、左右いずれか1本のレールの座標から算出することができる。また、左右のレールの座標の差(各レールのレール抽出による視差)の平均値を「レール抽出による視差」としてもよい。したがって、「レール抽出による視差」は、次のいずれかの式を演算することにより求めることができる。
dh=Lh(I)−Lh(J)
dh=Rh(I)−Rh(J)
dh={(Lh(I)―Lh(J))+(Rh(I)―Rh(J))}/2
ここで、dhは画像中の高さhでのレールの視差、
Lh(I)は左画像中の高さhにおける左レールのu座標を表す関数、
Lh(J)は右画像中の高さhにおける左レールのu’座標を表す関数、
Rh(I)は左画像中の高さhにおける右レールのu座標を表す関数、
Rh(J)は右画像中の高さhにおける右レールのu’座標を表す関数である。
Since two rails are laid in parallel, the “parallax by rail extraction” can be calculated from the coordinates of one of the left and right rails. The average value of the difference between the left and right rail coordinates (parallax due to rail extraction of each rail) may be set as “parallax due to rail extraction”. Therefore, “parallax by rail extraction” can be obtained by calculating one of the following expressions.
d h = L h (I) −L h (J)
d h = R h (I) −R h (J)
d h = {(L h (I) −L h (J)) + (R h (I) −R h (J))} / 2
Where d h is the rail parallax at height h in the image,
L h (I) is a function representing the u coordinate of the left rail at the height h in the left image,
L h (J) is a function representing the u ′ coordinate of the left rail at the height h in the right image,
R h (I) is a function representing the u coordinate of the right rail at the height h in the left image,
R h (J) is a function representing the u ′ coordinate of the right rail at the height h in the right image.
画像中のそれぞれの高さhにおけるレールの視差dhの一連のデータが「レール抽出による視差」として、図示されていないメモリに予め記憶される。そして、後述されるように、列車の走行時、視差を求めるマッチングの際に、メモリから「レール抽出による視差」が読み出される。 A series of data of the disparity d h of the rail at each height h in the image as "parallax by rail extraction", are previously stored in a memory (not shown). Then, as will be described later, “parallax due to rail extraction” is read from the memory during matching for obtaining parallax when the train is running.
本発明は、左右各画像に写される映像のうち、線路または線路を含む近傍の映像が写される範囲は限定される、レール抽出アルゴリズムにより抽出したレールの座標が分かる、レールの直線部と曲線部のいずれにおいても画面上の高さ位置の変更に対応する「レール抽出による視差」の変化率はほぼ一定であるという事実を、ステレオ画像の視差算出の高速化に利用することを基本的な技術思想とする。 The present invention is limited to a range where a video of a neighborhood including a track or a track is limited among videos captured in the left and right images, a rail linear portion extracted by a rail extraction algorithm, Basically, the fact that the rate of change of “parallax due to rail extraction” corresponding to the change of the height position on the screen is almost constant in any of the curved parts is used to speed up the parallax calculation of stereo images. A technical philosophy.
図1は、本発明に係る第1のステレオ画像処理方法を実施するためのステレオ画像処理装置の一例を示す。このステレオ画像処理装置1は、2台のカメラ装置10L,10Rと、各カメラ装置10L,10Rから映像信号を与えられるレール抽出部20L,20Rと、レール抽出部20L,20Rに接続された一つの視差算出部30と、視差算出部30に接続された距離計測部40とを有する。
FIG. 1 shows an example of a stereo image processing apparatus for carrying out the first stereo image processing method according to the present invention. The stereo
ステレオ画像処理装置1の作用を概括的に説明すると、まず、2台のカメラ装置10L,10Rにより列車前方を撮像し、各映像信号の中からレール抽出部20L,20Rによりレールを抽出して、左の画像(基本画像)と右の画像(対応画像)を生成する。次に、視差算出部30により対応画像の中に基本画像のレールの基準点に対応する一次対応点を検出するとともに、その一次対応点からレール抽出による視差分だけ左側または右側に移動した位置に二次対応点を生成する。そして、その二次対応点から対応画像の左端または右端まで対応点を探索する。
The operation of the stereo
カメラ装置10L,10Rとレール抽出部20L,20Rには、特許文献3に開示されたものを用いることができる。以下に、特許文献3の記載を引用して説明する。
As the
カメラ装置10L,10Rは、同一の構成を有する。カメラ装置10Lを例に説明すると、図2に例示するように、カメラ装置10Lは、光学レンズ11と、光学レンズ11から入射する被写体の光学映像を電気信号に変換する撮像素子12と、撮像素子12の出力に基づいて映像信号を生成する映像信号生成部13と、撮像制御部14とを有する。
The
光学レンズ11は、被写体の映像を光学的に撮像素子12の上に結像させる。光学レンズ11は、レンズの焦点を調整するための焦点調整機構および撮像素子12への入射光量を調整するための絞り調整機構を有する。さらに、光学レンズ11は、焦点距離を変えるズーム機構を有してもよい。
The
撮像素子12には、たとえば数百万個程度のCCD(Charge Coupled Device)またはCMOS(相補性金属酸化膜半導体)などの電荷結合素子の集合体が用いられる。
For the
撮像制御部14は、光学レンズ11、撮像素子12および映像信号生成部13による被写体の撮像を制御する。つまり、撮像制御部14は光学レンズ11の焦点調整機構、絞り調整機構、またはズーム機構などを制御する。
The
映像信号生成部13は、撮像素子12の出力(すなわち画素値)に基づいて映像信号を生成する。映像信号生成部13は、撮像制御部14の制御により、たとえば、周期的に撮像素子12の各電荷結合素子の出力を取り込んで映像信号を生成する。映像信号生成部13が映像信号を生成する周期は、たとえば数十分の1秒程度である。このようにして周期的に生成された複数の映像信号を静止画像として時系列順に表示したときに、人の目には動画として認識される。
The video
図1のレール抽出部20L,20Rは、同一の構成を有する。以下には、レール抽出部20Lを例に説明する。レール抽出部20Lの機能は、要約すると、カメラ装置10Lの映像信号生成部13が生成した映像信号を取り込み、その映像信号に含まれるレールを抽出することである。さらに具体的に説明すると、レール抽出部20Lは、所定のレールの映像として予め登録されている複数のレール形状パターン(の映像信号)と、実際に撮像されたレール(の映像信号)とを比較して「一致」または「不一致」を抽出結果として出力する。すなわち、レール抽出部20Lが「一致」を出力したときには、映像信号生成部13が生成した映像信号に所定のレール(の映像信号)が含まれており、レール抽出部20Lがその所定のレール(の映像)を抽出したことになる。また、レール抽出部20Lが「不一致」を出力したときには、映像信号生成部13が生成した映像信号に所定のレール(の映像信号)が含まれておらず、レール抽出部20Lが所定のレール(の映像)を抽出できなかったことになる。
The
レール抽出部20Lは、図3に例示するように、映像信号生成部13から出力される映像信号を入力し、映像信号の中からレールを含むと推定される映像信号を取り出すレール映像推定部21と、複数のレール形状パターンを記憶しているメモリである記憶部22と、レール映像推定部21で推定されたレール(の映像)と複数のレール形状パターンとを比較するレール映像比較部23と、データ蓄積部24とを有する。
As illustrated in FIG. 3, the rail extraction unit 20 </ b> L receives the video signal output from the video
レール映像推定部21は、映像信号生成部13から出力された映像信号の中からレール(の映像)であると推定される映像信号を取り出す。たとえば、カメラ装置10は、鉄道車両(以下、単に車両という。)の先頭に搭載されているので、通常、カメラ装置10の視野の下部にレールの映像が映り込む。したがって、視野の下部から縦方向に伸びる2本の線(の映像)がレール(の映像)であると推定する。そこで、レール映像推定部21は、レールであると推定される映像信号の部分のみを残し、他の映像信号を消去した映像信号を生成し、レール映像比較部23に送出する。この映像信号は、撮像素子12の縦横の電荷結合素子の配設位置に対応する縦横の画素値が記録された座標情報として表される。
The rail
図4のフローチャートを参照しながら、レール映像推定部21の動作をさらに詳細に説明する。映像信号生成部13から出力される映像信号がレール映像推定部21に入力されると、図4の「START」の条件が満たされ、フローはステップS1に進む。なお、図4の「START」から「END」までの処理は1周期分の処理であり、フローが「END」になった後は、「START」の条件が満たされたとき、フローは再び実行される。
The operation of the rail
ステップS1において、レール映像推定部21は、映像信号生成部13から入力した映像信号の中で、視野下部におけるレール(の映像)の位置を検索し、フローはステップS2に進む。
In step S1, the rail
ステップS2において、レール映像推定部21は、2本の縦方向に伸びる線を見付けたか否かを判定する。ステップS2において、見付けたと判定されると、フローはステップS3に進む。一方、ステップS2において、見付からないと判定されると、フローはステップS1に戻る。
In step S2, the rail
ステップS3において、レール映像推定部21は、レールと推定される映像信号以外の映像信号を消去して、フローはステップS4に進む。
In step S3, the rail
ステップS4において、レール映像推定部21は、レール映像比較部23に対し、レール(の映像)と推定される映像信号を出力して処理を終了する(END)。
In step S4, the rail
レール映像比較部23は、レール映像推定部21から出力されたレール(の映像)と推定される映像信号と、記憶部22に記憶されているレール形状パターン(の映像信号)とを比較する。
The rail
記憶部22には、カメラ装置10の位置から見えるレールが複数種類のレール形状パターンで記憶されている。図5に、記憶部22に記憶されている7種類(#1〜#7)のレール形状パターンを例示する。このレール形状パターンは、カメラ装置10が搭載された車両の線区において、車両が直進状態であるとき、またはカーブを走行中であるときなど、想定されるレールの見え方の種類を表している。このようなレール形状パターンは、カメラ装置10を搭載した車両を試験走行させて撮像したレールの映像信号に基づいて設定される。
The
記憶部22に記憶されているレール形状パターン#1〜#7も、レール映像推定部21から出力される映像信号と同様に、撮像素子12の縦横の電荷結合素子の配設位置に対応する縦横の画素値が記録された座標情報として表される。
The rail
レール映像比較部23は、レール映像推定部21から出力されたレールの映像と推定される映像信号と記憶部22に記憶されているレール形状パターンの映像信号との互いに対応する座標を比較する。レール映像比較部23は、比較の結果、座標が一致する割合が所定の割合(たとえば80%程度)以上であれば「一致」と判定し、所定の割合未満であれば「不一致」と判定する。
The rail
次に、図6のフローチャートを参照しながら、レール映像比較部23の動作をさらに詳細に説明する。レール映像推定部21から出力される映像信号がレール映像比較部23に入力されると図6の「START」の条件が満たされ、フローはステップS10に進む。なお、図6の「START」から「END」までの処理は、1周期分の処理であり、フローが「END」になった後は、「START」の条件が満たされたとき、フローは再び実行される。
Next, the operation of the rail
ステップS10において、レール映像比較部23は比較するパターン#nをレール形状パターン#1に設定して、フローはステップS11に進む。
In step S10, the rail
ステップS11において、レール映像比較部23は、レール映像推定部21から受け取った映像信号と記憶部22に記憶しているレール形状パターンのうちのパターン#n(ここではn=1)とを比較して、フローはステップS12に進む。
In step S11, the rail
ステップS12において、レール映像比較部23は、ステップS11の比較結果が「一致」であるか否かを判定する。ステップS12において、比較結果が「一致」であると判定されると、フローはステップS13に進む。一方、ステップS12において、比較結果が「一致」でない(すなわち「不一致」)と判定されると、フローはステップS14に進む。
In step S12, the rail
ステップS13において、レール映像比較部23は、「一致」とする比較結果を不図示の正常性判定部に出力するとともに、「一致」とされたときの記憶部22に記憶されているレール形状パターンの映像信号をデータ蓄積部24に格納して、処理を終了する(END)。
In step S13, the rail
ステップS14において、レール映像比較部23は、全レール形状パターンとの比較が終了したか否かを判定する。すなわち、パターン#nはパターン#7であるか否かを判定する。ステップS14において、全パターンとの比較が終了したと判定されると、フローはステップS15に進む。一方、ステップS14において、未だ全パターンとの比較が終了していないと判定されると、フローはステップS16に進む。
In step S14, the rail
ステップS15において、レール映像比較部23は、「不一致」とする比較結果を不図
示の正常性判定部に出力して処理を終了する(END)。
In step S15, the rail
ステップS16において、レール映像比較部23は、パターン#nをパターン#(n+1)に変更(ここでは、パターン#1をパターン#2に変更)して、フローはステップS11に戻る。
In step S16, the rail
このようにして、ステップS12で比較結果が「一致」とならないときには、ステップS11→ステップS12→ステップS14→ステップS16→ステップS11のフローが全パターン#1〜#7について繰り返し実行される。
In this way, when the comparison result does not become “match” in step S12, the flow of step S11 → step S12 → step S14 → step S16 → step S11 is repeatedly executed for all
上記のようにして、レール抽出部20Lにより抽出されたレール映像は、データ蓄積部24に蓄積される。
The rail image extracted by the
カメラ装置10L,10Rおよびレール抽出部20L,20Rは、基準画像と対応画像を取得するために、図1に示すように左右2組が備えられる。図7は、レール抽出部20L,20Rによって抽出されたレールが表示された基準画像I(n)と対応画像J(n)を例示する。
The
そして、各レール抽出部20L,20Rのデータ蓄積部24のレール映像データは、基準画像と対応画像からレールの視差を算出するため、視差算出部30に与えられる。
The rail video data in the
視差算出部30は、図8に一例を示すように、一次対応点検出手段31と、二次対応点生成手段32と、マッチング処理手段33と、相関値比較手段34と、視差値読出手段35と、視差算出手段36と、図示されていないメモリを有する。
As illustrated in FIG. 8, the
一次対応点検出手段31は、基準画像I(n)のレール映像の基準点と同じ座標となる対応画像上の同じ走査線上の点(一次対応点)を検出して、その座標を出力する。二次対応点生成手段32は、一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左方向にずらした点を二次対応点とする。その場合、上記メモリに記憶されている「レール抽出による視差」が読み出される。そして、マッチング処理手段33は、二次対応点から対応画像の左端までマッチング処理(探索)を行って相関値を求める。
The primary corresponding point detecting means 31 detects a point (primary corresponding point) on the same scanning line on the corresponding image having the same coordinates as the reference point of the rail image of the reference image I (n), and outputs the coordinates. The secondary corresponding point generation means 32 sets a point shifted leftward from the primary corresponding point on the same scanning line by a distance equal to “parallax by rail extraction” as a secondary corresponding point. In that case, “parallax by rail extraction” stored in the memory is read out. Then, the matching
「レール抽出による視差」は、事前の列車走行時に既知のマッチング手法を用いて取得される。図9(a)に示すように、基準画像I(n)のレールRの任意の基準点rの座標をr(ur1,v1)、対応画像J(n)のエピポーラ線上のレールRの対応点sの座標をs(ur2,v1)とすると、基準点uと対応点sの視差、すなわち、画像中の高さhにおける「レール抽出による視差」dh’は、次の式、
dh’=ur1−ur2
から求めることができる。
“Parallax by rail extraction” is acquired by using a known matching method when the train travels in advance. As shown in FIG. 9 (a), any reference point coordinates r of r rail R of the reference image I (n) (u r1, v 1), d peak polar line of the rail in the corresponding image J (n) If the coordinates of the corresponding point s of R are s (u r2 , v 1 ), the parallax between the reference point u and the corresponding point s, that is, the “parallax due to rail extraction” d h ′ at the height h in the image is The formula of
d h ′ = u r1 −ur 2
Can be obtained from
そして、視差はカメラからの距離が遠くなるほど小さく、近いほど大きくなる。したがって、図9(b)に比喩的に示すように、画像I(n)、J(n)のレールの長手方向の各地点における「レール抽出による視差」dh’(画素数)は、カメラ設置位置から各地点までの距離(画面中の高さh)に応じて、30,25,20,…,5,2のように漸減する。このような「レール抽出による視差」dh’が視差算出部30のメモリに記憶されている。
The parallax decreases as the distance from the camera increases and increases as the distance from the camera increases. Therefore, as shown in a metaphor in FIG. 9B, “parallax by rail extraction” d h ′ (number of pixels) at each point in the longitudinal direction of the rails of the images I (n) and J (n) In accordance with the distance from the installation position to each point (height h in the screen), it gradually decreases as 30, 25, 20,. Such “parallax by rail extraction” d h ′ is stored in the memory of the
視差は、カメラの仰角によって異なる。したがって、メモリにはカメラの仰角に対応する「レール抽出による視差値」dh’が記憶される。 The parallax varies depending on the elevation angle of the camera. Therefore, the “parallax value by rail extraction” d h ′ corresponding to the elevation angle of the camera is stored in the memory.
図10および図11を用いて、上記視差算出部30の一次対応点検出手段31、二次対応点生成手段32およびマッチング処理手段33による作用を具体的に説明する。
The actions of the primary corresponding point detecting unit 31, the secondary corresponding
一次対応点算出手段31は、図10に示すように、基準画像I(n)上の基準点rの座標r(ur1,v1)と同じ座標となる対応画像J(n)上の点rを求め、この点rを一次対応点とする。二次対応点生成手段32は、一次対応点rと同じエピポーラ線上の対応画像J(n)上の「レール抽出による視差」dh’=ur1−ur2と等しい距離だけ左に離れた点を基準点rに対応する二次対応点sとする。続いて、マッチング処理手段33は、マッチング処理により基準点rの座標(ur1,v1)と二次対応点sの座標(ur2,v1)との相関値αを求める。
As shown in FIG. 10, the primary corresponding point calculation means 31 is a point on the corresponding image J (n) that has the same coordinates as the coordinates r ( ur 1 , v 1 ) of the reference point r on the reference image I (n). r is obtained, and this point r is set as the primary corresponding point. Second response
図11は、基準画像I(n)および対応画像J(n)の同じ走査線上の一つのブロックIi1,Ji1を示す。基準画像I(n)のブロックIi1の基準点r(ur1,v1)に対応する対応点s(ur2,v1)を探索するときは、対応画像J(n)のブロックJi1の同じ走査線上の基準点r(ur1,v1)と同じ座標点r’(ur1,v1)、すなわち一次対応点から同じ走査線上を「レール抽出による視差」dh’だけ左にずらした点s’(ur2,v1)を二次対応点とする。そして、その二次対応点s’(ur2,v1)からブロックJi1の同じ走査線上の左端までの画素値についてブロックIi1の同じ走査線上の画素値との相関値αを取り、図13(e)の画素値差マトリックスDTと同様な画素値差マトリックス、および図13(f)の画素値差合計マトリックスTTと同様な画素値差合計マトリックスを生成する。 FIG. 11 shows one block I i1 and J i1 on the same scanning line of the reference image I (n) and the corresponding image J (n). When searching for the corresponding point s (u r2 , v 1 ) corresponding to the reference point r (u r1 , v 1 ) of the block I i1 of the reference image I (n), the block J i1 of the corresponding image J (n) is searched. The same coordinate point r ′ (u r1 , v 1 ) as the reference point r (u r1 , v 1 ) on the same scanning line, that is, on the same scanning line from the primary corresponding point to the left by “parallax by rail extraction” d h ′ The shifted point s ′ (u r2 , v 1 ) is set as a secondary corresponding point. Then, the correlation value α between the pixel value from the secondary corresponding point s ′ (u r2 , v 1 ) to the left end on the same scanning line of the block J i1 and the pixel value on the same scanning line of the block I i1 is obtained. A pixel value difference matrix similar to the pixel value difference matrix DT in FIG. 13E and a pixel value difference total matrix similar to the pixel value difference total matrix TT in FIG.
二次対応点を探索するときに「レール抽出による視差」をずらす方向は、左右の画像のいずれを基準画像とし、いずれを対応画像とするかにより異なる。図10,11は左の画像を基準画像とし、右の画像を対応画像とした例であるので、「レール抽出による視差」だけ左にずらしたが、右の画像を基準画像とし、左の画像を対応画像とした場合は、右にずらされる。 The direction in which the “parallax by rail extraction” is shifted when searching for secondary corresponding points differs depending on which of the left and right images is used as a reference image and which is used as a corresponding image. FIGS. 10 and 11 are examples in which the left image is a reference image and the right image is a corresponding image, so that “parallax by rail extraction” is shifted to the left, but the right image is the reference image and the left image Is shifted to the right.
マッチング処理手段33によるマッチング処理により得られた相関値αは、相関値比較手段34に与えられる。相関値比較手段34は、その相関値αを所定の閾値tと比較する。相関値αが所定の閾値tに対して所定の条件を満たすときは第1判定信号aを出力して、視差値読出手段35に入力する。また、相関値αが所定の閾値tに対して所定の条件を満たさないときは第2判定信号bを出力して、視差算出手段36に出力する。
The correlation value α obtained by the matching processing by the matching processing means 33 is given to the correlation value comparison means 34. The correlation value comparison means 34 compares the correlation value α with a predetermined threshold value t. When the correlation value α satisfies a predetermined condition with respect to a predetermined threshold t, the first determination signal a is output and input to the parallax value reading means 35. When the correlation value α does not satisfy the predetermined condition with respect to the predetermined threshold t, the second determination signal b is output and output to the
相関値の算出方法は、マッチング処理の手法により異なる。マッチング処理の手法がブロックマッチングである場合は、相関値の算出方法にはSSD(Sum of Squared Difference)とSAD(Sum of Absolute Difference)がある。これらの場合は、マッチングが取れていれば取れているほど(類似度が高いほど)相関値が小さくなる。したがって、この場合は、算出された相関値αが閾値t以下(α≦t)のときは所定の条件が満たされたことになり、閾値tを上回った(α>t)ときは所定の条件が満たされないこととなる。これに対し、マッチング処理の手法が位相限定相関法である場合は、マッチングが取れていれば取れているほど相関値が大きくなる。したがって、算出された相関値αが閾値tを上回った(α>t)ときは所定の条件が満たされたことになり、閾値t以下(α≦t)のときは所定の条件が満たされないこととなる。 The calculation method of the correlation value differs depending on the matching processing method. When the matching processing method is block matching, the correlation value calculation method includes SSD (Sum of Squared Difference) and SAD (Sum of Absolute Difference). In these cases, the higher the matching is, the lower the correlation value (the higher the similarity). Therefore, in this case, the predetermined condition is satisfied when the calculated correlation value α is equal to or less than the threshold value t (α ≦ t), and when the calculated correlation value α exceeds the threshold value t (α> t), the predetermined condition is satisfied. Will not be satisfied. On the other hand, when the matching processing method is the phase only correlation method, the correlation value increases as the matching is achieved. Therefore, when the calculated correlation value α exceeds the threshold t (α> t), the predetermined condition is satisfied, and when the calculated correlation value α is equal to or less than the threshold t (α ≦ t), the predetermined condition is not satisfied. It becomes.
そして、視差値読出手段35は、第1判定信号aを入力されたときは、前記メモリに記憶されている「レール抽出による視差値」dh’を読み出す。そして、その「レール抽出による視差値」dh’をその走査線における基準点と対応点との視差と確定し、距離計測部40に与える。つまり、基準点と対応点との相関値が所定の条件を満たす場合は、計算処理に時間がかかる粗密探索手法は実行されない。したがって、粗密探索手法が実行されない分、視差算出の時間が短縮される。
Then, when the first determination signal a is input, the parallax
相関値比較手段34が第2判定信号bを視差算出手段36に出力したときは、視差算出手段36は、そのマッチング処理を行った走査線に対して周知の粗密探索法を適用して視差値を算出し、得られた視差値を距離計測部40に与える。
When the correlation
距離計測部40は、視差読出手段35が出力した視差値または視差算出手段36が出力した視差値を用いてカメラ設置位置から列車前方のレールの注目点(撮像対象物)までの距離を周知の演算式により計測する。
The
I,I(n) 基準画像
J,J(n) 対応画像
p,r 基準点
q,s 対応点
1 ステレオ画像処理装置
10L,10R カメラ装置
20L,20R レール抽出部
30 視差算出部
40 距離計測部
I, I (n) Reference image J, J (n) Corresponding image p, r Reference point q, s
Claims (2)
左右2台のカメラ装置で列車前方を撮像して得られる映像信号をレール抽出部のレール抽出アルゴリズムにより一方のカメラ装置の画像(基準画像)と他方のカメラ装置の画像(対応画像)からそれぞれレールを抽出し、抽出したレールの画像上の座標から前記基準画像と前記対応画像で前記レールの同じ地点を示す座標間の画素数を算出して「レール抽出による視差」として記憶し、
前記基準画像の基準点と同じ座標となる前記対応画像上の点から同じ走査線上の「レール抽出による視差」だけずらした点から前記対応画像の左端または右端までを前記基準画像の基準点に対応する前記対応画像上の対応点を探索する探索範囲とすることを特徴とするステレオ画像処理方法。 In a stereo image processing method for calculating a parallax by matching a stereo image by a stereo image processing apparatus ,
A video signal obtained by imaging the front of the train with two camera devices on the left and right sides from the image (reference image) of one camera device and the image (corresponding image) of the other camera device by the rail extraction algorithm of the rail extraction unit, respectively. The number of pixels between the coordinates indicating the same point of the rail in the reference image and the corresponding image is calculated from the coordinates on the extracted rail image and stored as `` parallax by rail extraction '',
Corresponding to the left or right edge of the corresponding image to the reference point of the reference image from a point shifted by "parallax by rail extraction" of the same scan line from a point on the corresponding image having the same coordinates as the reference point of the reference image A stereo image processing method characterized in that a search range for searching for corresponding points on the corresponding image is used.
間隔を開けて水平等位に設置した左右のカメラ装置と、各カメラ装置で取得される画像信号からそれぞれレールの映像を抽出するレール抽出部と、抽出されたレールの映像を有するステレオ画像をマッチング処理して視差を算出する視差算出部とを有し、
前記視差算出部は、基準画像のレール映像の基準点と同じ座標となる対応画像上の一次対応点を検出して、その座標を出力する一次対応点検出手段と、
前記一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左又は右方向にずらした点を二次対応点とする二次対応点検出手段と、
前記二次対応点から前記対応画像の左端または右端までマッチング処理を行って相関値を求めるマッチング処理手段と、
を有することを特徴とするステレオ画像処理装置。 A stereo image processing apparatus that calculates a parallax by matching a stereo image,
Matching left and right camera devices installed horizontally and spaced apart, a rail extractor that extracts rail images from the image signals acquired by each camera device, and a stereo image having the extracted rail images A parallax calculation unit for processing and calculating parallax;
The parallax calculation unit detects a primary corresponding point on the corresponding image having the same coordinates as the reference point of the rail image of the reference image, and outputs a corresponding primary point detection unit;
A secondary corresponding point detecting means having, as a secondary corresponding point, a point shifted from the primary corresponding point on the same scanning line to the left or right by a distance equal to “parallax by rail extraction”;
Matching processing means for performing a matching process from the secondary corresponding point to the left end or the right end of the corresponding image to obtain a correlation value;
A stereo image processing apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015072210A JP6346869B2 (en) | 2015-03-31 | 2015-03-31 | Stereo image processing method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015072210A JP6346869B2 (en) | 2015-03-31 | 2015-03-31 | Stereo image processing method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016192108A JP2016192108A (en) | 2016-11-10 |
JP6346869B2 true JP6346869B2 (en) | 2018-06-20 |
Family
ID=57246888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015072210A Expired - Fee Related JP6346869B2 (en) | 2015-03-31 | 2015-03-31 | Stereo image processing method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6346869B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019209734A (en) * | 2018-05-31 | 2019-12-12 | 株式会社東芝 | Track identification apparatus |
WO2020047863A1 (en) * | 2018-09-07 | 2020-03-12 | 深圳配天智能技术研究院有限公司 | Distance measurement method and apparatus |
JP7291594B2 (en) * | 2019-10-02 | 2023-06-15 | 株式会社Subaru | Image processing device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4573977B2 (en) * | 1999-09-22 | 2010-11-04 | 富士重工業株式会社 | Distance correction device for monitoring system and vanishing point correction device for monitoring system |
JP3786618B2 (en) * | 2002-03-25 | 2006-06-14 | 株式会社東芝 | Image processing apparatus and method |
JP5404263B2 (en) * | 2009-09-07 | 2014-01-29 | パナソニック株式会社 | Parallax calculation method and parallax calculation device |
JP6209825B2 (en) * | 2013-02-15 | 2017-10-11 | 株式会社リコー | Parallax detection device and parallax detection method |
-
2015
- 2015-03-31 JP JP2015072210A patent/JP6346869B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016192108A (en) | 2016-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6307037B2 (en) | Obstacle detection method and apparatus | |
JP6717534B2 (en) | Stereo support with rolling shutter | |
JP6195915B2 (en) | Image measuring device | |
JP5404263B2 (en) | Parallax calculation method and parallax calculation device | |
JP3539788B2 (en) | Image matching method | |
JP6561512B2 (en) | Parallax value deriving device, moving body, robot, parallax value deriving method, parallax value producing method, and program | |
JP6346868B2 (en) | Stereo image processing method and apparatus | |
JP5776771B2 (en) | Corresponding point search device and distance measurement device | |
JP6035774B2 (en) | Image processing apparatus, image processing method, and vehicle | |
JP6346869B2 (en) | Stereo image processing method and apparatus | |
JP2016152027A (en) | Image processing device, image processing method and program | |
KR20200027149A (en) | Method and apparatus for estimating moving velocity of vehicle | |
JP2008309637A (en) | Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system | |
JP2003304561A (en) | Stereo image processing apparatus | |
JP3988574B2 (en) | Image processing device | |
JP2015230703A (en) | Object detection device and object detection method | |
JP6494402B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP2004245701A (en) | Distance distribution detecting apparatus | |
JP6335136B2 (en) | Stereo image processing method and apparatus | |
JP6294258B2 (en) | Stereo image processing method and apparatus | |
JP5315104B2 (en) | Traffic flow measuring device | |
JP5579297B2 (en) | Parallax calculation method and parallax calculation device | |
JP6048086B2 (en) | Imaging apparatus and image processing program | |
JP5822866B2 (en) | Image processing device | |
JP3446471B2 (en) | Stereo image processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180206 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180528 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6346869 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |