JP5304064B2 - Speed measuring device and speed measuring method - Google Patents
Speed measuring device and speed measuring method Download PDFInfo
- Publication number
- JP5304064B2 JP5304064B2 JP2008179334A JP2008179334A JP5304064B2 JP 5304064 B2 JP5304064 B2 JP 5304064B2 JP 2008179334 A JP2008179334 A JP 2008179334A JP 2008179334 A JP2008179334 A JP 2008179334A JP 5304064 B2 JP5304064 B2 JP 5304064B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- speed
- calculated
- minimum
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、撮像された画像情報に基づいて速度を計測する速度計測装置および速度計測方法に関するものである。 The present invention relates to a speed measuring device and a speed measuring method for measuring a speed based on captured image information.
タイヤの回転量を取得し、その回転量から算出された移動距離に基づいて速度を算出する速度計測装置が知られているが、タイヤが空転するなどの影響によって正確な速度が計測できない場合があった。
そこで、地面などをCCDなどのカメラで撮像し、撮像画像からエッジを検出し、複数のエッジについて移動画素数を求め、その平均値を算出することで、速度を算出する速度計測装置が知られている(特許文献1参照)。
There is a known speed measurement device that obtains the amount of rotation of a tire and calculates the speed based on the travel distance calculated from the amount of rotation. there were.
Therefore, a speed measuring device is known that calculates the speed by capturing the ground with a camera such as a CCD, detecting edges from the captured image, obtaining the number of moving pixels for a plurality of edges, and calculating the average value thereof. (See Patent Document 1).
しかしながら、従来技術は、エッジの移動画素数を平均して速度を算出するものであるため、移動体が急発進(急速に動作)する場合は、移動開始直後のエッジのずれが大きくなってしまうため、エッジの移動画素数を平均して速度を算出するだけでは移動速度の誤差が大きくなる場合もあり、移動速度の算出精度が低下するという問題があった。 However, since the conventional technique calculates the speed by averaging the number of moving pixels of the edge, when the moving body suddenly starts (rapidly moves), the edge shift immediately after the start of movement becomes large. For this reason, there is a case where the error of the moving speed becomes large only by calculating the speed by averaging the number of moving pixels of the edge, and there is a problem that the calculation accuracy of the moving speed is lowered.
本発明が解決しようとする課題は、撮像された画像情報に基づき速度を適切に測定することである。 The problem to be solved by the present invention is to appropriately measure the speed based on the captured image information.
本発明によれば、複数の画素にそれぞれ対応する複数の撮像範囲の大きさと、所定時間経過前後において画像情報が撮像された画素の撮像素子上の位置とに基づいて、画像情報ごとに、該画像情報の最大移動距離L1および最小移動距離L2を算出し、複数の画像情報のそれぞれについて、最大移動距離L1から最大移動速度V1を、最小移動距離L2から最小移動速度V2を算出し、複数の画像情報から算出された複数の最大移動速度V1のうちの最小値V1 min と、複数の最小移動速度V2のうちの最大値V2 max とを算出し、算出した最小値V1 min および最大値V2 max に基づいて、速度情報を算出するようにしたので、移動体が急発進(急速に動作)する場合でも、移動開始直後のエッジのずれを小さくすることができるため、移動速度の算出精度を高めることができる。
According to the present invention, for each piece of image information , based on the size of the plurality of imaging ranges corresponding to each of the plurality of pixels and the position on the imaging device of the pixel on which the image information was imaged before and after a predetermined time elapsed. The maximum movement distance L1 and the minimum movement distance L2 of the image information are calculated, and for each of the plurality of image information, the maximum movement speed V1 is calculated from the maximum movement distance L1, and the minimum movement speed V2 is calculated from the minimum movement distance L2. A minimum value V1 min of the plurality of maximum movement speeds V1 calculated from the image information and a maximum value V2 max of the plurality of minimum movement speeds V2 are calculated, and the calculated minimum value V1 min and maximum value V2 max are calculated. Since the speed information is calculated based on the movement speed, even when the mobile body starts suddenly (moves rapidly), the edge deviation immediately after the start of movement can be reduced. The calculation accuracy of can be improved.
本発明によれば、各画素の撮像範囲と、画像情報の画素配列中の位置情報とに基づいて算出される移動距離を使って速度情報を算出するようにしたので、移動体が急発進(急速に動作)する場合でも、移動開始直後のエッジのずれを小さくすることができるため、移動速度の算出精度を高めることができる。 According to the present invention, the speed information is calculated using the moving distance calculated based on the imaging range of each pixel and the position information in the pixel array of the image information. Even in the case of rapid movement), the shift of the edge immediately after the start of movement can be reduced, so that the calculation accuracy of the movement speed can be increased.
本実施形態の速度計測装置は、車両等の移動体に搭載され、移動体周辺の撮像された画像に基づいて速度を計測する装置である。 The speed measurement device according to the present embodiment is a device that is mounted on a moving body such as a vehicle and measures the speed on the basis of captured images around the moving body.
以下、本発明の実施形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本実施形態の速度計測装置1のブロック構成図である。図1に示すように、本実施形態の速度計測装置1は、画像を撮像する撮像装置2と、撮像された画像情報から速度情報を算出するコントロールユニットCUを有する。
FIG. 1 is a block diagram of a
以下、各構成について説明する。 Each configuration will be described below.
撮像装置2は、その撮像素子上に、複数の画素を有し、輝度画像を撮像するものである。撮像装置としてはCCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)などが挙げられる。
The
図2は、撮像装置2の設置状態と撮像対象領域4との関係を示す模式図である。図2において、撮像装置2が搭載された移動体はX軸方向に進行するものであり、図2は撮像装置2をY軸方向から見た図である。本実施形態においては、撮像装置2は撮像対象に対して高さHになるように移動体に設置する。撮像対象としては、例えば、本実施形態おける移動体が自動車である場合、地面とすることができる。撮像装置2は撮像対象領域4を撮像する。撮像装置2が撮像する撮像対象領域4は特に限定されないが、本実施態様においては同図に示すように、撮像装置2を移動体の走行方向の前方に角度αだけ傾けることにより、走行方向前方下部の一定領域を撮像する。
FIG. 2 is a schematic diagram illustrating a relationship between the installation state of the
この撮像装置2は、所定の周期(フレームレート)で撮像対象領域4を撮像する。そして、撮像装置2は、撮像した撮像情報をコントロールユニットCUに入力する。
The
コントロールユニットCUは、撮像装置2で撮像された撮像情報に基づいて速度を算出する。本実施形態のコントロールユニットCUは、プログラム又はファームウェアが格納されたROM(Read Only Memory)と、このROMに格納されたプログラムを実行することでコントロールユニットCUとして機能するCPU(Central Processing Unit)と、記憶部としてのRAM(Random Access Memory)とを備える。
The control unit CU calculates the speed based on the imaging information captured by the
そして、本実施形態のコントロールユニットCUは、図1に示すように、エッジ抽出部31、位置情報検出部32、撮像範囲算出部33、移動距離算出部34および速度情報算出部35を有する。
As shown in FIG. 1, the control unit CU of the present embodiment includes an
コントロールユニットCUの内部構成について説明する。 The internal configuration of the control unit CU will be described.
まず、エッジ抽出部31について説明する。エッジ抽出部31は、撮像装置2から入力された撮像情報から、撮像対象物のエッジ(輪郭)を抽出する。
First, the
エッジの抽出方法は特に限定されない。例えば、1次の差分フィルタであるSobelフィルタやPrewittフィルタ、水平または垂直方向1次空間微分フィルタ、2次空間微分フィルタ、または非線形差分フィルタ等のフィルタを用いてエッジを抽出する方法などが挙げられる。 The edge extraction method is not particularly limited. For example, a method of extracting an edge using a filter such as a Sobel filter or a Prewitt filter, which is a primary difference filter, a horizontal or vertical primary spatial differential filter, a secondary spatial differential filter, a nonlinear differential filter, or the like. .
次に位置情報検出部32について説明する。位置情報検出部32は、各エッジが抽出された画素の画素配列中の位置を検出する。
図3は、本実施形態における各画素の画素配列中の位置と画素番号との関係を示す模式図である。図3に示すように、例えば、手前左側を(0,0)番とし、X軸およびY軸方向に番号が増加するように各画素に番号を振る。例えば、X軸方向p番目で、Y軸方向q番目の位置にある画素は、画素番号(p,q)となる。このように撮像素子上の各画素に番号を付けることにより、各エッジが抽出された画素の画素配列中の位置を把握することができる。
Next, the position
FIG. 3 is a schematic diagram showing the relationship between the position in the pixel array of each pixel and the pixel number in the present embodiment. As shown in FIG. 3, for example, the number on the front left side is (0, 0), and numbers are assigned to each pixel so that the numbers increase in the X-axis and Y-axis directions. For example, the pixel at the p-th position in the X-axis direction and the q-th position in the Y-axis direction has a pixel number (p, q). Thus, by assigning a number to each pixel on the image sensor, it is possible to grasp the position in the pixel array of the pixel from which each edge is extracted.
次に撮像範囲算出部33について説明する。撮像範囲算出部33は、撮像素子上の各画素ごとに撮像できる撮像範囲を算出する。撮像範囲とは、撮像対象領域4のうち1画素で撮像できる領域をいう。
図4および図5は、本実施形態における撮像装置2の各画素の撮像角度と撮像範囲との関係を表す模式図である。図4は、撮像装置2および撮像対象領域4をY軸方面から斜視する図であるのに対して、図5は、撮像装置2および撮像対象領域4を上から見た図である。図4および図5においては、相対的に、撮像装置2から遠い領域を撮像する縦6列×横5列で配列された画素が撮像する撮像範囲の集合を撮像領域Aとし、撮像装置2から近い領域を撮像する縦6列×横5列で配列された画素が撮像する撮像範囲の集合を撮像領域Bとする。
Next, the imaging range calculation unit 33 will be described. The imaging range calculation unit 33 calculates an imaging range that can be captured for each pixel on the imaging element. The imaging range refers to an area that can be imaged with one pixel in the
4 and 5 are schematic diagrams illustrating the relationship between the imaging angle and the imaging range of each pixel of the
図4に示すように、相対的に、撮像装置2から遠い(前方の)撮像領域Aを撮像する画素の撮像領域Aに対する撮像角度は小さい。その結果、撮像領域Aを撮像する画素が1画素で撮像できる撮像範囲は広くなる。それに対して、撮像装置2から近い(手前の)撮像領域Bを撮像する画素の撮像領域Bに対する撮像角度は直角に近くなる。その結果、撮像領域Bを撮像する画素が1画素で撮像できる撮像範囲は狭くなる。つまり、図5に示すように、遠くの撮像対象領域4を撮像する画素ほど、撮像範囲が広くなる一方、近くの撮像対象領域4を撮像する画素ほど、撮像範囲は狭くなる。
なお、図4、図5においては、例として撮像対象領域4のうち、一部の領域である撮像領域Aおよび撮像領域Bについてのみ説明したが、実際には、全ての画素とその画素により撮像される撮像範囲との関係において、遠くの撮像対象領域4を撮像する画素ほど、撮像範囲が広くなり、一方、近くの撮像対象領域4を撮像する画素ほど、撮像範囲は狭くなる。
As shown in FIG. 4, the imaging angle of the pixel that captures the imaging area A that is far (front) from the
In FIGS. 4 and 5, as an example, only the imaging area A and the imaging area B that are part of the
上述したように、各画素ごとに撮像範囲は異なる。そこで、実際に各画素で撮像できる撮像範囲の算出方法を以下に説明する。本実施形態においては、各画素の撮像範囲は、撮像装置から撮像対象までの高さ、撮像装置の撮像対象に対する傾斜角度、撮像装置の解像度および画角という撮像条件に基づいて算出する。図6は、本実施形態における撮像装置2および撮像対象領域4を上からの見た図である。図2、図6に示すように、本実施形態において、撮像装置2から撮像対象までの高さをH、撮像装置2から撮像対象までの角度をαとする。また、撮像装置2のX軸、Y軸方向の解像度をそれぞれa、bとし、撮像装置2のX軸、Y軸方向の画角をそれぞれφx、φyとする。ここで、撮像対象領域4を平面と仮定した場合、画素番号(p,q)の位置にある画素の具体的な撮像範囲、すなわち、撮像範囲のX軸方向の長さLxおよび撮像範囲のY軸方向の長さLyは、例えば下式(1)および(2)から算出することができる。
As described above, the imaging range is different for each pixel. Therefore, a method for calculating an imaging range that can actually be captured by each pixel will be described below. In the present embodiment, the imaging range of each pixel is calculated based on imaging conditions such as the height from the imaging device to the imaging target, the tilt angle of the imaging device with respect to the imaging target, the resolution of the imaging device, and the angle of view. FIG. 6 is a view of the
なお、撮像範囲算出方法は、上記の方法に限定されず、例えば距離計測装置を用いて、画素ごとに距離を算出し、そこから撮像範囲を算出してもよい。 Note that the imaging range calculation method is not limited to the above-described method. For example, a distance measuring device may be used to calculate the distance for each pixel, and the imaging range may be calculated therefrom.
次に移動距離算出部34について説明する。移動距離算出部34は、所定時間経過前後の各エッジが抽出された画素の画素配列上の位置の差をエッジの移動画素数として算出する。
図7Aは、Nフレーム撮像時のエッジが抽出された画素およびその周辺の画素の撮像範囲の一場面例を示す図である。また、図7Bは、図7Aから1フレーム時間経過後に、エッジが抽出された画素およびその周辺の画素の撮像範囲の一場面例を示す図である。図7Aでは、Nフレームの撮像時において、エッジ抽出部31により、撮像範囲Cを撮像する画素でエッジが抽出された場合を示している。そして、図7Bでは、エッジ抽出部31により、1フレーム分の時間が経過したN+1フレームの撮像時において、撮像範囲C′を撮像する画素で同じエッジが抽出された場合を示している。図7Aおよび図7Bから、撮像範囲Cを撮像する画素で抽出されたエッジが、1フレーム時間経過後に撮像範囲C′を撮像する画素までの4画素分の距離を移動したことになる。つまり、撮像範囲CおよびC′を撮像する画素で抽出されたエッジの移動画素数は4となる。
なお、本実施形態では、Nフレーム時の撮像情報と、N+1フレーム時の撮像情報からオプティカルフローを求めることで、撮像範囲CおよびC′を撮像する画素で抽出されたエッジが、同じ撮像対象物から抽出されたエッジであるものと判断できる。
Next, the movement
FIG. 7A is a diagram illustrating an example of a scene of an imaging range of a pixel from which an edge is extracted and its surrounding pixels at the time of N frame imaging. FIG. 7B is a diagram showing an example of a scene of an imaging range of a pixel from which an edge is extracted and its surrounding pixels after a lapse of one frame time from FIG. 7A. FIG. 7A shows a case where an edge is extracted by pixels that image the imaging range C by the
In the present embodiment, the edges extracted by the pixels that capture the imaging ranges C and C ′ by obtaining the optical flow from the imaging information at the N frame and the imaging information at the N + 1 frame are the same imaging object. It can be determined that this is an edge extracted from.
ここで、エッジの移動画素数の算出方法は特に限定されるものではない。また、本実施形態においてはオプティカルフローを用いてエッジの移動画素数を算出しているが、オプティカルフローの手法も限定されるものではない。例えば、フレーム間でテンプレートマッチングのようなブロックマッチングを使用し対応点を決定して動きベクトルを求める相関法や、各点の明るさの空間的および時間的な勾配の間の関係を用いる勾配法を使用する方法などが挙げられる。 Here, the method for calculating the number of moving pixels of the edge is not particularly limited. In this embodiment, the number of moving pixels of the edge is calculated using an optical flow, but the optical flow method is not limited. For example, a correlation method that uses block matching such as template matching between frames to determine corresponding points and obtains a motion vector, or a gradient method that uses the relationship between the spatial and temporal gradients of the brightness of each point The method of using is mentioned.
続けて、移動距離算出部34は、エッジ抽出部31によってエッジが抽出された各画素の撮像範囲と上記の各エッジの移動画素数とに基づいて、各エッジの最大移動距離L1と最小移動距離L2とを算出する。
図7Cは、図7Aに示す撮像範囲Cを撮像する画素において抽出されたエッジが、図7Bに示す撮像範囲C′を撮像する画素の位置まで移動した場合の最大移動距離L1および最小移動距離L2を示す図である。本実施形態において、各エッジの最大移動距離L1と最小移動距離L2は各画素における撮像範囲、すなわち撮像範囲Cおよび撮像範囲C′の撮像範囲の大きさを考慮した距離であり、最大移動距離L1は撮像範囲Cから撮像範囲C′までの最大距離、また、最小移動距離L2は撮像範囲Cから撮像範囲C′までの最小距離である。そのため、最大移動距離L1は、最小移動距離L2と比べて、撮像範囲C+C′の分の距離だけ長くなる。
Subsequently, the moving
7C shows the maximum movement distance L1 and the minimum movement distance L2 when the edge extracted in the pixel that captures the imaging range C shown in FIG. 7A moves to the position of the pixel that captures the imaging range C ′ shown in FIG. 7B. FIG. In the present embodiment, the maximum moving distance L1 and the minimum moving distance L2 of each edge are distances that take into consideration the size of the imaging ranges in each pixel, that is, the imaging ranges C and C ′, and the maximum moving distance L1. Is the maximum distance from the imaging range C to the imaging range C ′, and the minimum moving distance L2 is the minimum distance from the imaging range C to the imaging range C ′. Therefore, the maximum movement distance L1 is longer than the minimum movement distance L2 by a distance corresponding to the imaging range C + C ′.
図8Aは、Nフレーム撮像時のエッジが抽出された画素およびその周辺の画素の撮像範囲の他の場面例を示す図である。また、図8Bは、図8Aの撮像時から1フレーム時間経過後に、エッジが抽出された画素およびその周辺の画素の撮像範囲の他の場面例を示す図である。図8Aでは、Nフレーム撮像時に、エッジ抽出部31により、撮像範囲Dを撮像する画素および撮像範囲Eを撮像する画素においてエッジが抽出された場合を示している。また、図8Bでは、1フレーム時間経過後のN+1フレーム撮像時において、エッジ抽出部31により、撮像範囲D′および撮像範囲E′を撮像する画素でエッジが抽出された場合を示している。図8Aおよび図8Bから、1フレーム分の時間が経過したことによって、撮像範囲Dを撮像する画素で抽出されたエッジが、撮像範囲D′を撮像する画素の位置まで移動し、撮像範囲Eを撮像する画素で抽出されたエッジが、撮像範囲E′を撮像する画素の位置まで移動したことになる。
FIG. 8A is a diagram illustrating another scene example of an imaging range of a pixel from which an edge is extracted and its surrounding pixels at the time of N frame imaging. 8B is a diagram illustrating another scene example of the imaging range of the pixel from which the edge is extracted and its surrounding pixels after one frame time has elapsed since the imaging in FIG. 8A. FIG. 8A shows a case where an edge is extracted from the pixels that capture the imaging range D and the pixels that capture the imaging range E by the
また、図8C〜図8Eは、図8Aおよび図8Bで抽出された両エッジの最大移動距離L1および最小移動距離L2を説明するための図である。ここで、図8Cで示している距離dは、両エッジが実際に移動した距離である。距離dは両エッジが実際に移動した距離であるため、距離dは両エッジとも等しくなる。つまり、撮像範囲Dを撮像する画素で抽出されたエッジは、撮像範囲Dから撮像範囲D′まで、撮像範囲Eを撮像する画素で抽出されたエッジは、撮像範囲Eから撮像範囲E′まで、同じ距離dを移動したものである。しかし、相対的に、撮像装置2から遠い領域である撮像範囲Dは撮像範囲が広く、撮像装置2から近い領域である撮像範囲Eは撮像範囲が狭い。そのため、図8Cに示すように、撮像範囲Dで抽出されたエッジと撮像範囲Eで抽出されたエッジは、実際には同じ移動距離である距離dを移動しているが、撮像範囲が広い撮像範囲D‐D′間のエッジの移動画素数は2画素であり、撮像範囲が狭い撮像範囲E‐E′間のエッジの移動画素数は3画素となる。
また、図8Dは、撮像範囲Dで抽出されたエッジの最大移動距離L1(D)と撮像範囲Eで抽出されたエッジの最大移動距離L1(E)とを示す図である。両エッジは実際には同じ距離dを移動するが、撮像範囲が異なるため、撮像範囲Dで抽出されたエッジの最大移動距離L1(D)が、撮像範囲Eで抽出されたエッジの最大移動距離L1(E)よりも長いのが分かる。
さらに、図8Eは、撮像範囲Dで抽出されたエッジの最小移動距離L2(D)と撮像範囲Eで抽出されたエッジの最小移動距離L2(E)とを示す図である。両エッジは実際には同じ距離dを移動するが、撮像範囲が異なるため、撮像範囲Dで抽出されたエッジの最小移動距離L2(D)が、撮像範囲Eで抽出されたエッジの最小移動距離L2(E)よりも短いのが分かる。
8C to 8E are diagrams for explaining the maximum movement distance L1 and the minimum movement distance L2 of both edges extracted in FIGS. 8A and 8B. Here, the distance d shown in FIG. 8C is the distance that both edges have actually moved. Since the distance d is the distance that both edges have actually moved, the distance d is equal for both edges. That is, the edges extracted from the pixels that capture the imaging range D are from the imaging range D to the imaging range D ′, and the edges extracted from the pixels that capture the imaging range E are from the imaging range E to the imaging range E ′. The same distance d is moved. However, the imaging range D that is a region far from the
FIG. 8D is a diagram showing the maximum edge movement distance L1 (D) extracted in the imaging range D and the maximum edge movement distance L1 (E) extracted in the imaging range E. Although both edges actually move the same distance d, but the imaging ranges are different, the maximum edge movement distance L1 (D) extracted in the imaging range D is the maximum edge movement distance extracted in the imaging range E. It can be seen that it is longer than L1 (E).
8E is a diagram showing the minimum edge movement distance L2 (D) extracted in the imaging range D and the minimum edge movement distance L2 (E) extracted in the imaging range E. Although both edges actually move the same distance d, but the imaging range is different, the minimum moving distance L2 (D) of the edge extracted in the imaging range D is the minimum moving distance of the edge extracted in the imaging range E. It can be seen that it is shorter than L2 (E).
このように、各エッジが実際に同じ移動距離である距離dを移動する場合でも、各画素ごとの撮像範囲が異なることによって、各エッジの移動画素数、最大移動距離L1および最小移動距離L2が異なる。つまり、各画素ごとに撮像範囲が異なるため、複数のエッジから、異なる複数の最大移動距離L1および最小移動距離L2を算出することができる。
なお、各エッジは、各エッジが抽出された画素が撮像する撮像範囲上に存在することとなるため、各エッジの実際の移動距離は、最大移動距離L1よりも大きくなることはなく、また最小移動距離L2よりも小さくなることはない。
Thus, even when each edge actually moves the distance d which is the same moving distance, the number of moving pixels of each edge, the maximum moving distance L1 and the minimum moving distance L2 are different because the imaging range for each pixel is different. Different. That is, since the imaging range is different for each pixel, a plurality of different maximum movement distances L1 and minimum movement distances L2 can be calculated from a plurality of edges.
Note that each edge exists on the imaging range captured by the pixel from which each edge is extracted. Therefore, the actual movement distance of each edge does not become larger than the maximum movement distance L1, and is minimum. It does not become smaller than the movement distance L2.
次に速度情報算出部35について説明する。速度情報算出部35では、移動距離算出部34で算出された距離情報から、移動体の速度を算出する。
まず、速度情報算出部35では、移動距離算出部34で算出された各エッジごとの最大移動距離L1および最小移動距離L2に対応する、最大移動速度V1および最小移動速度V2を算出する。ここで、1フレームの撮像時間をtとすると、最大移動速度V1、最小移動速度V2は下式(3)で求められる。
Next, the speed
First, the speed
そして、速度情報算出部35では、複数のエッジについて算出された最大移動速度V1(1)、V1(2)・・・、V1(e)の中の最小値V1minと、複数のエッジについて算出された最小移動速度V2(1)、V2(2)・・・、V2(e)の中の最大値V2maxを下式(4)および(5)で算出する。
図9は、各エッジの最大移動速度V1と最小移動速度V2から求められる速度範囲を示す図である。図9では、本実施形態で抽出されたエッジ1〜eの最小移動速度V1(1)〜V1(e)と最大移動速度V2(1)〜V2(e)の一例を表している。図9に示す例においては、各エッジの最大移動速度V1の中の最小値V1minは、エッジ2の最大移動速度V1(2)となり、各エッジの最小移動速度V2の中の最大値V2maxは、エッジ4の最小移動速度V2(4)となり、移動体の実際の速度は最小値V1minであるV1(2)と最大値V2maxであるV2(4)の間に存在することとなる。
FIG. 9 is a diagram showing a speed range obtained from the maximum movement speed V1 and the minimum movement speed V2 of each edge. FIG. 9 shows an example of the minimum movement speeds V1 (1) to V1 (e) and the maximum movement speeds V2 (1) to V2 (e) of the
そこで、本実施形態では、速度情報算出部35において、最終的な移動体の移動速度Vを、最大移動速度の最小値V1minと最小移動速度の最大値V2maxから、下式(6)において算出する。
このように、複数のエッジについて最大移動距離L1および最小移動距離L2からそれぞれ最大移動速度V1および最小移動速度V2を算出し、最大移動速度V1および最小移動速度V2から、最も実際の速度に近似する最大移動速度V1における最小値V1minと最小移動速度V2における最大値V2maxの速度を算出することで、より適切に速度を測定することができる。
また、本実施形態では、撮像装置2を前方下部に傾けることにより、より多くのエッジを検出することができ、結果として、より多くの最大移動速度V1および最小移動速度V2を算出することができる。さらに、各画素ごとに撮像範囲が異なるため、より多くの最大移動速度V1および最小移動速度V2を算出することができる。このように、より多くの最大移動速度V1および最小移動速度V2を算出し、これら最大移動速度V1および最小移動速度V2を用いて最小値V1minと最大値V2maxを算出することで、移動体の速度範囲を絞ることができ、より適切に速度を測定することができる。
In this way, the maximum movement speed V1 and the minimum movement speed V2 are calculated from the maximum movement distance L1 and the minimum movement distance L2 for a plurality of edges, respectively, and the closest to the actual speed is calculated from the maximum movement speed V1 and the minimum movement speed V2. By calculating the speed of the minimum value V1 min at the maximum movement speed V1 and the maximum value V2 max at the minimum movement speed V2, the speed can be measured more appropriately.
In the present embodiment, more edges can be detected by tilting the
続いて、本実施形態の速度測定装置1の動作手順を、図10のフローチャートに基づいて説明する。
Next, the operation procedure of the
撮像装置2は、所定の周期(フレームレート)において撮像対象領域4の画像を撮像し、その撮像情報をコントロールユニットCUに入力する(ステップS1)。エッジ抽出部31は、撮像情報から撮像対象物のエッジ(輪郭)を抽出する(ステップS2)。位置情報検出部32は、各エッジが抽出された画素の画素配列中の位置を検出する(ステップS3)。
The
撮像範囲算出部33は、撮像装置2から撮像対象までの高さH、撮像装置2の撮像対象に対する傾斜角度α、撮像装置2の解像度a,b、および撮像装置2の画角φx,φyに基づいて、撮像装置2で撮像された撮像情報から各画素の撮像範囲を算出する(ステップS4)。
The imaging range calculation unit 33 includes a height H from the
移動距離算出部34は、所定時間経過前後のエッジが抽出された画素の画素配列中の位置の差をエッジの移動画素数として算出する。また、算出された各エッジの移動画素数と撮像範囲算出部33で算出された各画素の撮像範囲とに基づいて、各エッジの最大移動距離L1と最小移動距離L2を算出する(ステップS5)。速度情報算出部35は、移動距離算出部34で算出された各エッジの最大移動距離L1および最小移動距離L2から、最大移動速度V1および最小移動速度V2を求め、さらに、複数のエッジから得られた最大移動速度V1についての最小値V1min、および、複数のエッジから得られた最小移動速度V2についての最大値V2maxを算出し、最終的な移動体の速度Vを算出する(ステップS6)。
なお、ステップS4をステップS2の前に行っても良く、また、ステップS2およびステップS3とステップS4とを同時に行っても良い。
The movement
Step S4 may be performed before step S2, and step S2, step S3, and step S4 may be performed simultaneously.
本実施形態の速度計測装置1は、以上のように構成され、動作するので以下の効果を奏することになる。
The
本実施形態の速度計測装置1は、エッジが抽出された各画素ごとの撮像範囲を算出し、算出された撮像範囲と各エッジが抽出された画素の画素配列中の位置情報とに基づいて移動距離を算出するため、適切に速度を測定することができる。
The
特に、本実施形態では、各画素ごとに撮像範囲が異なることを考慮して、複数のエッジについて、複数の異なる最大移動速度V1および最小移動速度V2を算出する。そして、複数のエッジについて算出された最大移動速度V1の中から最小値V1minと、複数のエッジについて算出された最小移動速度V2の中から最大値V2maxとを算出し、これら最小値V1minおよび最大値V2maxに基づいて最終的な速度を算出する。つまり、本実施形態では、複数のエッジから算出した複数の異なる速度の中から、速度V1minおよび最大値V2maxを算出し、これらから最終的な速度を算出するため、速度測定性能(最小の速度分解性能)は撮像装置2の解像度(画素数)により決定することなく、より適切に速度を測定できる。
In particular, in the present embodiment, taking into consideration that the imaging range is different for each pixel, a plurality of different maximum movement speeds V1 and minimum movement speeds V2 are calculated for a plurality of edges. Then, the minimum value V1 min is calculated from the maximum movement speed V1 calculated for the plurality of edges, and the maximum value V2 max is calculated from the minimum movement speed V2 calculated for the plurality of edges, and these minimum values V1 min are calculated. The final speed is calculated based on the maximum value V2 max . In other words, in this embodiment, the speed V1 min and the maximum value V2 max are calculated from a plurality of different speeds calculated from a plurality of edges, and the final speed is calculated from these speeds. The speed can be measured more appropriately without being determined by the resolution (number of pixels) of the
さらに、本実施形態では撮像装置2を移動体の走行方向の前方に傾けて撮像するため、遠くの撮像対象領域4を撮像する画素ほど、撮像装置2により撮像される撮像範囲に対する撮像装置2の撮像角度が小さくなり、撮像範囲が広くなる。一方、近くの撮像対象領域4を撮像する画素ほど、撮像装置2により撮像される撮像範囲に対する撮像装置2の撮像角度が直角に近くなり、撮像範囲は狭くなる。このように、各画素ごとに異なる撮像範囲に基づいて速度を算出するため、撮像範囲を一定とみなして速度を算出する場合と比べて、各エッジについて異なる複数の速度情報を取得することができる。その結果、最小値V1minと最大値V2maxとの間の速度範囲を絞ることができるため、より適切に速度を測定することができる。
Furthermore, in this embodiment, since the
加えて、本実施形態では、撮像装置2を前方に傾けて撮像することにより、撮像対象領域4自体が広範となり、撮像されるエッジの量も増える。そのため、より多くの速度情報を取得することができる。その結果、上記のように、最小値V1minと最大値V2maxとの間の速度範囲を絞ることができるため、より適切に速度を測定することができる。
In addition, in the present embodiment, by imaging with the
また、撮像装置2を前方に傾けて撮像することがきるようになったため、従来技術のように地面に対して真下に向けて撮像装置を設置していた場合と比べて、車両へ搭載することが好適となる。また、撮像装置2を速度測定以外の用途で兼用することも期待できる。例えば、距離計測の用途と兼用することで、速度計測のみではなく、装置の挙動(ピッチ、ヨー)測定することが可能となる。
In addition, since the
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 The embodiment described above is described for facilitating the understanding of the present invention, and is not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.
すなわち、本実施形態では、本発明を速度計測装置として車両に搭載するものを例にして説明したが、これに限定されず、例えば、鉄道、船舶、その他の移動体や、産業ロボット、警備ロボット、介護ロボットその他のロボット、産業機器などの動作を制御する装置、静止する物体又は移動する物体の位置を測定する機器にも適用することができる。 That is, in the present embodiment, the present invention is described as an example of mounting the present invention on a vehicle as a speed measuring device, but the present invention is not limited to this. For example, railways, ships, other mobile objects, industrial robots, and security robots. It can also be applied to devices that control the operation of nursing robots and other robots, industrial equipment, etc., and equipment that measures the position of a stationary object or a moving object.
1…速度検出装置
2…撮像装置
CU…コントロールユニット
31…エッジ抽出部
32…位置情報検出部
33…撮像範囲算出部
34…移動距離算出部
35…速度情報算出部
4…撮像対象領域
DESCRIPTION OF
Claims (6)
前記撮像素子で撮像された複数の画像情報が撮像された画素の、撮像素子上の位置である画像情報位置を検出する位置情報検出手段と、
前記画素により撮像される範囲であり、かつ、進行方向における前記撮像手段からの距離に応じて大きさが
異なる範囲を、撮像範囲として、前記画素ごとに算出する撮像範囲算出手段と、
前記複数の画素にそれぞれ対応する複数の前記撮像範囲の大きさと、前記位置情報検出手段により検出された所定時間経過前後の前記画像情報位置とに基づいて、前記画像情報ごとに、該画像情報の最大移動距離L1および最小移動距離L2を算出する移動距離算出手段と、
前記複数の画像情報のそれぞれについて、前記最大移動距離L1から最大移動速度V1を、前記最小移動距離L2から最小移動速度V2を算出し、前記複数の画像情報から算出された複数の前記最大移動速度V1のうちの最小値V1 min と、複数の前記最小移動速度V2のうちの最大値V2 max とを算出し、算出した前記最小値V1 min および最大値V2 max に基づいて、速度情報を算出する速度情報算出手段と、を備えることを特徴とする速度計測装置。 An imaging means having an imaging device comprising a plurality of pixels;
A position information detecting means in which a plurality of image information captured to detect image information position is the position on the imaging element of the pixel captured by the imaging device,
It is a range that is imaged by the pixels and has a size according to the distance from the imaging means in the traveling direction.
An imaging range calculation means for calculating a different range as the imaging range for each pixel ,
And sizes of a plurality of the imaging range corresponding to the plurality of pixels, and based on the said image information position before and after the course has been predetermined time detected by the position information detecting means, for each of the image information, the image A moving distance calculating means for calculating a maximum moving distance L1 and a minimum moving distance L2 of information ;
For each of the plurality of image information, the maximum movement speed V1 is calculated from the maximum movement distance L1, the minimum movement speed V2 is calculated from the minimum movement distance L2, and the plurality of maximum movement speeds calculated from the plurality of image information. A minimum value V1 min of V1 and a maximum value V2 max of the plurality of minimum moving speeds V2 are calculated , and speed information is calculated based on the calculated minimum value V1 min and maximum value V2 max. And a speed information calculating unit.
前記画像情報は、前記撮像素子により撮像された画像からエッジを抽出するエッジ抽出手段により処理された情報であることを特徴とする速度計測装置。 The speed measuring device according to claim 1,
The speed measurement apparatus according to claim 1, wherein the image information is information processed by an edge extraction unit that extracts an edge from an image captured by the image sensor .
前記撮像手段は、移動方向の前方下部を対象領域として撮像することを特徴とする速度計測装置。 In the speed measuring device according to claim 1 or 2,
The speed measuring apparatus according to claim 1, wherein the imaging unit images a lower front portion in a moving direction as a target area.
前記撮像範囲算出手段は、前記撮像手段の撮像条件に基づいて複数の画素の撮像範囲を算出することを特徴とする速度計測装置。 In the speed measuring device according to any one of claims 1 to 3 ,
The speed measurement apparatus according to claim 1, wherein the imaging range calculation unit calculates an imaging range of a plurality of pixels based on an imaging condition of the imaging unit.
前記撮像範囲算出手段における撮像条件は、前記撮像手段の撮像対象に対する高さ、撮像対象に対する角度、前記撮像手段の解像度、および前記撮像手段の画角のうち少なくとも1つの条件であることを特徴とする速度計測装置。 The speed measuring device according to claim 4 ,
Imaging condition in the imaging range calculating means, and wherein the height with respect to the imaging target of the imaging means, at least one condition of the angle of view angle, the resolution of the imaging unit, and the imaging means for imaging target Speed measuring device.
前記画素により撮像される範囲であり、かつ、進行方向における前記撮像素子からの距離に応じて大きさが異なる範囲を、撮像範囲として、前記画素ごとに算出し、
前記複数の画素にそれぞれ対応する複数の前記撮像範囲の大きさと、所定時間経過前後において、画像情報が撮像された画素の撮像素子上の位置とに基づいて、前記画像情報ごとに、該画像情報の最大移動距離L1および最小移動距離L2を算出し、前記複数の画像情報のそれぞれについて、前記最大移動距離L1から最大移動速度V1を、前記最小移動距離L2から最小移動速度V2を算出し、複数の画像情報から算出された複数の前記最大移動速度V1のうちの最小値V1 min と、複数の前記最小移動速度V2のうちの最大値V2 max とを算出し、算出した前記最小値V1 min および前記最大値V2 max に基づいて、速度情報を算出する速度計測方法。
It captures an image by an imaging device having a plurality of pixels,
A range that is imaged by the pixel and that varies in size according to the distance from the imaging element in the traveling direction is calculated for each pixel as an imaging range,
And sizes of a plurality of the imaging range corresponding to the plurality of pixels, before and after a predetermined time, the image information on the basis of the position on the image sensor pixel imaged, for each of the image information, the image information The maximum movement distance L1 and the minimum movement distance L2 are calculated, and for each of the plurality of pieces of image information, the maximum movement speed V1 is calculated from the maximum movement distance L1, and the minimum movement speed V2 is calculated from the minimum movement distance L2. And calculating a minimum value V1 min of the plurality of maximum movement speeds V1 calculated from the image information and a maximum value V2 max of the plurality of minimum movement speeds V2, and calculating the minimum value V1 min and A speed measurement method for calculating speed information based on the maximum value V2 max .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008179334A JP5304064B2 (en) | 2008-07-09 | 2008-07-09 | Speed measuring device and speed measuring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008179334A JP5304064B2 (en) | 2008-07-09 | 2008-07-09 | Speed measuring device and speed measuring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010019640A JP2010019640A (en) | 2010-01-28 |
JP5304064B2 true JP5304064B2 (en) | 2013-10-02 |
Family
ID=41704707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008179334A Active JP5304064B2 (en) | 2008-07-09 | 2008-07-09 | Speed measuring device and speed measuring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5304064B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101675145B1 (en) * | 2010-08-19 | 2016-11-22 | 현대모비스 주식회사 | A system and a method for protection of abrupt acceleration for vehicle |
JP5771117B2 (en) * | 2011-10-26 | 2015-08-26 | 日本放送協会 | Moving distance measuring device and photographing camera |
WO2016016959A1 (en) * | 2014-07-30 | 2016-02-04 | 株式会社日立製作所 | Optical velocity measurement device and moving body |
DE102016100445A1 (en) * | 2016-01-12 | 2017-07-13 | Pilz Gmbh & Co. Kg | Safety device and method for monitoring a machine |
CN107462742A (en) * | 2017-09-05 | 2017-12-12 | 北京聚利科技股份有限公司 | Speed measurement method, measurement apparatus, measuring system and vehicle |
WO2019124277A1 (en) * | 2017-12-19 | 2019-06-27 | パイオニア株式会社 | Information processing device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05312819A (en) * | 1992-05-14 | 1993-11-26 | N T T Data Tsushin Kk | Speed detecting device for moving object |
JP3390515B2 (en) * | 1994-03-17 | 2003-03-24 | 富士通株式会社 | Position matching method, vehicle speed calculation method, and vehicle speed calculation device |
EP0692772A1 (en) * | 1994-07-12 | 1996-01-17 | Laboratoires D'electronique Philips S.A.S. | Method and apparatus for detecting characteristic points on the contour of an object |
JP2002311038A (en) * | 2001-04-06 | 2002-10-23 | Toshiba Corp | Vehicle speed calculating system and vehicle speed calculating method |
DE102004060402A1 (en) * | 2004-12-14 | 2006-07-13 | Adc Automotive Distance Control Systems Gmbh | Method and device for determining a vehicle speed |
-
2008
- 2008-07-09 JP JP2008179334A patent/JP5304064B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010019640A (en) | 2010-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7512494B2 (en) | Vehicle mounted image processor and method of use | |
JP5304064B2 (en) | Speed measuring device and speed measuring method | |
JP5267596B2 (en) | Moving body detection device | |
CN106447730B (en) | Parameter estimation method and device and electronic equipment | |
JP4556798B2 (en) | Image processing device | |
US20100172547A1 (en) | On-vehicle image processing device | |
JP2017138736A (en) | Image processor and water droplet removal system | |
JP2019078612A (en) | Tire deformation amount calculating device, overload detection system, and tire deformation amount calculation method | |
JP6032034B2 (en) | Object detection device | |
EP3435327A1 (en) | Device for detecting road surface state | |
JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
JP2010003253A (en) | Motion estimation device | |
KR101637535B1 (en) | Apparatus and method for correcting distortion in top view image | |
JP5664078B2 (en) | Imaging apparatus, image evaluation method, and focus adjustment control program | |
JP5173549B2 (en) | Image processing apparatus and imaging apparatus | |
JP2008160635A (en) | Camera state detection method | |
WO2017010268A1 (en) | Estimation device and estimation program | |
JP2006047091A (en) | Moving object detector | |
JP4321410B2 (en) | Object detection apparatus and method | |
JP4069919B2 (en) | Collision determination device and method | |
KR100751096B1 (en) | Velocity measuring apparatus and method using optical flow | |
US20180182078A1 (en) | Image processing apparatus and image processing method | |
JP2009070097A (en) | Vehicle length measuring device and vehicle model determination device | |
KR101640563B1 (en) | Method and system for dectecting run | |
JP2005301892A (en) | Lane recognition device by a plurality of cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130610 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5304064 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |