JP5482032B2 - Distance measuring device and distance measuring method - Google Patents
Distance measuring device and distance measuring method Download PDFInfo
- Publication number
- JP5482032B2 JP5482032B2 JP2009200742A JP2009200742A JP5482032B2 JP 5482032 B2 JP5482032 B2 JP 5482032B2 JP 2009200742 A JP2009200742 A JP 2009200742A JP 2009200742 A JP2009200742 A JP 2009200742A JP 5482032 B2 JP5482032 B2 JP 5482032B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- projection
- light
- dots
- dot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000003384 imaging method Methods 0.000 claims description 219
- 238000005259 measurement Methods 0.000 claims description 78
- 238000000605 extraction Methods 0.000 claims description 11
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 238000000691 measurement method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 40
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000009434 installation Methods 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Description
本発明は、距離計測装置および距離計測方法に関するものである。 The present invention relates to a distance measuring device and a distance measuring method.
従来より、計測対象までの距離を計測する技術が知られている。このような技術において、乱数を用いて非周期的な投光パターンを生成し、これを投光器により計測対象に照射して、該投光パターンが照射された計測対象を、異なる位置にある基準カメラおよび参照カメラで撮像し、基準カメラと参照カメラで撮像した画像の照射光の対応付け処理を行い、対応付けされた参照カメラと基準カメラの各画素の視差を用いて計測対象までの距離を計測する技術が知られている(特許文献1参照)。 Conventionally, a technique for measuring a distance to a measurement target is known. In such a technique, a non-periodic projection pattern is generated using a random number, and this is irradiated onto a measurement target by a projector, and the measurement target irradiated with the projection pattern is set to a reference camera at a different position. And the reference camera and the reference camera and the reference camera are associated with the irradiated light, and the distance to the measurement object is measured using the parallax of each pixel of the associated reference camera and reference camera. The technique to do is known (refer patent document 1).
しかしながら、従来技術においては、基準カメラおよび参照カメラの二台のカメラで撮像を行なうものであるため、これら二台のカメラから見た計測対象の向きや、計測対象までの距離に相違が生じてしまうこととなる。そして、従来技術においては、このような相違により、計測対象に照射された投光パターンに、ゆがみや大きさの相違が発生してしまい、結果として、基準カメラと参照カメラで撮像した画像の照射光の対応付けに誤りが発生し、これにより、距離計測精度が低下してしまうという問題があった。 However, in the prior art, since the two cameras, the standard camera and the reference camera, are used for imaging, there is a difference in the direction of the measurement target viewed from these two cameras and the distance to the measurement target. It will end up. In the prior art, due to such a difference, the projection pattern irradiated to the measurement object has a distortion and a difference in size, and as a result, irradiation of images captured by the reference camera and the reference camera is performed. There is a problem in that an error occurs in the light association, which causes a decrease in distance measurement accuracy.
本発明が解決しようとする課題は、計測対象までの距離を適切に計測することができる距離計測装置および距離計測方法を提供することである。 The problem to be solved by the present invention is to provide a distance measuring device and a distance measuring method capable of appropriately measuring a distance to a measurement target.
本発明は、計測対象に対して複数の投光ドットからなる投光パターンで光を照射し、前記光が照射された計測対象を撮像することで、前記計測対象までの距離を計測する際に、前記投光パターンを構成する複数の投光ドットを、前記光の光軸と垂直な面上の前記光の照射位置と撮像位置とを結ぶ直線と平行な複数の線であるグリッド線のうち、それぞれ、所定の一対のグリッド線を両端とし、かつ、その両端を画定する各投光グリッド線の組み合わせが、前記複数の投光ドットの間で互いに全て異なるものとなるようにするものとし、該投光ドットの両端を画定するグリッド線の位置、および前記撮像ドットの撮像画面上の位置に基づき、前記撮像ドットと、前記投光ドットとの対応付けを行い、対応付けた撮像ドットおよび投光ドットに基づいて前記計測対象までの距離を計測することにより、上記課題を解決する。 The present invention irradiates light with a light projection pattern composed of a plurality of light projection dots on the measurement target, and measures the distance to the measurement target by imaging the measurement target irradiated with the light. A plurality of light projection dots constituting the light projection pattern are grid lines which are a plurality of lines parallel to a straight line connecting an irradiation position of the light and an imaging position on a plane perpendicular to the optical axis of the light. Each of the plurality of light projection dots is different from each other in the combination of the light projection grid lines each having a predetermined pair of grid lines as both ends and demarcating the both ends. , Based on the position of the grid line defining both ends of the projection dot and the position of the imaging dot on the imaging screen, the imaging dot and the projection dot are associated with each other. Based on the projected dot There by measuring the distance to the measurement target, solving the above problems.
本発明によれば、投光パターンを形成する複数の投光ドットを、それそれ、所定の一対のグリッド線を両端とするものとするため、投光ドットとこれに対応する撮像ドットとの対応付けを行なう際における対応付け精度を向上させることができ、結果として、計測対象までの距離を適切に計測することが可能となる。 According to the present invention, each of the plurality of projection dots forming the projection pattern has a predetermined pair of grid lines as both ends. Therefore, the correspondence between the projection dot and the corresponding imaging dot As a result, it is possible to appropriately measure the distance to the measurement target.
以下、本発明の実施形態を図面に基づいて説明する。
図1は、本実施形態に係る車両1の構成を示すブロック図である。本実施形態に係る車両1は、図1に示すように、コントローラ10、投光器20、および撮像装置30を備えている。そして、これらの各構成は、CAN(Controller Area Network)などの車載LANによって接続され、相互に情報の授受を行うことができるようになっている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration of a
投光器20は、車両1の前方に向けて、所定の投光パターンで照射光を照射し、車両1前方に存在する計測対象物に光を照射する。投光器20は、後述するように、光源、および光源の前方に配置された投光パターンスライド21を少なくとも備えるものである(図2参照)。
The
撮像装置30は、撮像画素が複数配列された撮像素子を有し、該撮像素子により輝度画像を撮像し、これを画像データに変換するものである。このような撮像装置30としては、たとえば、撮像素子として、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)などを備えたものが挙げられる。
The
なお、投光器20および撮像装置30は、それぞれ、車両1前方に光を照射できるように、または車両1前方を撮像できるように設置すればよく、その設置位置は任意であるが、後述する理由より、撮像装置30に備えられた撮像素子を構成する撮像画素の配列方向が、投光器20と撮像装置30とを結ぶ直線に対して平行となるような方向に設置することが望ましい。
The
コントローラ10は、投光器20および撮像装置30をコントロールすることにより、車両1前方に存在する計測対象物までの距離を計測するための処理を実行する。コントローラ10は、本実施形態に係る距離計測処理を実行するためのプログラムを格納したROM(Read Only Memory)と、このROMに格納されたプログラムを実行するCPU(Central Processing Unit)と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)と、を備える。
The
ここで、コントローラ10により実行される具体的な処理について説明する前に、本実施形態に係る距離計測方法について説明する。図2は、本実施形態に係る距離計測方法を説明するための図である。
Here, before describing specific processing executed by the
図2においては、投光器20の光源からの光が、投光器20に備えられた投光パターンスライド21を介して、計測対象物100aに照射された場面を示している。投光パターンスライド21は、投光器20から照射される照射光のパターン(投光パターン)を設定するために、投光器20の光源からの光のうち一部を透過させ、一部を遮断するものであり、投光器20の光源からの光の光軸と垂直となるように配置されている。なお、投光パターンスライド21により設定される投光パターンは、投光パターンスライド21上において光を透過させる部分と、光を遮断する部分とからなり、本実施形態では、この光を透過させる部分を「投光ドット」とする。
FIG. 2 shows a scene in which light from the light source of the
そして、図2においては、投光パターンを構成する複数の投光ドットのうち、特定の投光ドットを符号「22a」で示し、この投光ドット22aに基づく照射光が、計測対象物100aに照射された場面を示している。図2に示すように、投光ドット22aに基づく照射光は、計測対象物100aに照射され、計測対象物100a上において反射ドット101aを生ずることとなる。
And in FIG. 2, a specific light projection dot is shown with the code | symbol "22a" among the some light projection dots which comprise a light projection pattern, and the irradiation light based on this
一方、本実施形態では、撮像装置30により、投光ドット22aに基づく照射光が投光された計測対象物100aを撮像する。そして、図2示すように、撮像装置30の撮像画面31上において、計測対象物100a上に発生した反射ドット101aに基づく像が、図2中において符号「102a」で示したように撮像されることとなる。なお、本実施形態においては、撮像装置30の撮像画面31上に撮像された、このような反射ドットに基づく像を、「撮像ドット」とする。
On the other hand, in this embodiment, the
そして、図2に示す場面においては、投光器20の投光パターンスライド21上における投光ドット22aの位置(すなわち、投光ドット22aに基づく照射光の照射方向)と撮像装置30の撮像画面31上における撮像ドット102aの位置(すなわち、撮像装置30上における撮像方向)、および投光器20と撮像装置30との幾何学的な位置関係から、三角測量による距離計測を行なうことにより、車両1から計測対象物100aまでの距離の計測が可能となる。
In the scene shown in FIG. 2, the position of the
なお、図2においては、単純化のために、単一の投光ドット22aおよびこれに基づく撮像ドット102aのみを示したものであり、そのため、図2に示す場面においては、撮像ドット102aが、投光ドット22aに対応するものであることが明確に理解できる。しかしながら、単純化して示した例である図2の場合とは異なり、本実施形態の投光器22により照射される光の投光パターンは、複数の投光ドットを含むものであり、これに対応する反射ドットおよび撮像ドットも複数となるため、これらを対応付けることが必要となる。以下、本実施形態における、投光ドットと、これに対応する反射ドットおよび撮像ドットとの対応付け方法について、説明する。
In FIG. 2, for the sake of simplicity, only a
図3は、本実施形態に係る距離計測方法について説明するための図であり、図3においては、投光器20(投光パターンスライド21)からの距離がそれぞれ異なる複数の計測対象物100a,100a’,100a’’に、投光ドット22aに基づく照射光が、それぞれ照射された場面を示している。
FIG. 3 is a diagram for explaining the distance measurement method according to the present embodiment. In FIG. 3, a plurality of
図3に示すように、投光ドット22aに基づく照射光が、計測対象物100aに照射された場合には、上述の図2の場合と同様に、計測対象物100a上において反射ドット101aが生じ、これが撮像装置30の撮像画面31上において、撮像ドット102aとして検出されることとなる。
As shown in FIG. 3, when the
同様に、投光ドット22aに基づく照射光が、計測対象物100a’に照射された場合にも、計測対象物100a’上において反射ドット101a’が生じ、これが撮像装置30の撮像画面31上において、撮像ドット102a’として検出されることとなる。さらに、投光ドット22aに基づく照射光が、計測対象物100a’’に照射された場合にも、計測対象物100a’’上において反射ドット101a’’が生じ、これが撮像装置30の撮像画面31上において、撮像ドット102a’’として検出されることとなる。
Similarly, when the
このようにして、図3に示すように、投光器20(投光パターンスライド21)からの距離がそれぞれ異なる、計測対象物100a,100a’,100a’’の反射ドット101a,101a’,101a’’に対応する撮像ドット102a,102a’,102a’’は、撮像装置30の撮像画面31上の異なる位置に検出されることとなる。しかしその一方で、図3からも明らかなように、これら計測対象物100a,100a’,100a’’の反射ドット101a,101a’,101a’’に対応する撮像ドット102a,102a’,102a’’は、一つの直線A上に並ぶこととなる。すなわち、単一の投光ドット22aに基づく照射光に基づく、撮像ドット102a,102a’,102a’’は同一直線上に並ぶこととなるという性質を有している。
In this way, as shown in FIG. 3, the
そして、このことは、図4に示すように、計測対象物の、投光器20の投光パターンスライド21に対する角度が異なり、その結果、計測対象物100b,100b’,100b’’上に生ずる反射ドット101b,101b’,101b’’のサイズが変化した場合でも、同様の傾向となるものである。
As shown in FIG. 4, this is because the angle of the measurement object with respect to the light projection pattern slide 21 of the
加えて、図4に示すように、計測対象物100b,100b’,100b’’上に生ずる反射ドット101b,101b’,101b’’のサイズが変化した場合でも、撮像装置30の撮像画面31上に検出される撮像ドット102b,102b’,102b’’の上端位置および下端位置は同一直線上に位置することとなる。すなわち、撮像ドット102b,102b’,102b’’の撮像画面31上における、上端位置は、図4中において、いずれも符号「33b」で示す直線上に位置することとなり、一方、下端位置は、いずれも符号「33c」で示す直線上に位置することとなる。そして、撮像ドット102b,102b’,102b’’の上端位置および下端位置は、投光パターンスライド21上における投光ドット22bの上端位置(すなわち、符号「23b」で示す直線上の位置)および下端位置(すなわち、符号「23c」で示す直線上の位置)に対応するものとなる。すなわち、投光パターンスライド21上における投光ドットと、これに基づく撮像ドットとは、その上端位置および下端位置が互いに対応するような関係となる。
In addition, as shown in FIG. 4, even when the size of the
そのため、本実施形態では、このような性質を利用して、投光パターンスライド21上に、投光器20と撮像装置30とを結ぶ直線と平行な複数の線を、投光グリッド線23a,23b,23c,23dとして設定し、一方で、撮像画面31上においても、同様に、投光器20と撮像装置30とを結ぶ直線と平行な複数の線を、撮像グリッド線33a,33b,33c,33dとして設定し、これらを用いて、投光ドットと撮像ドットとの対応付けを行なうものである。
Therefore, in the present embodiment, by utilizing such a property, a plurality of lines parallel to a straight line connecting the
すなわち、図4に示す場面において、撮像ドット102bを例示すると、撮像ドット102bは、その上端が撮像グリッド線33bにより画定され、その下端位置が撮像グリッド線33cにより画定されるものである。そのため、本実施形態では、撮像グリッド線33b,33cに対応する、投光グリッド線23b,23cを抽出し、これら投光グリッド線23b,23cを上下端位置とする投光ドットとして、投光ドット22bを検出することができ、これにより、撮像ドット102bと投光ドット22bとの間の対応付けを行なうことができる。なお、図4において、撮像グリッド線33a,33b,33c,33dは、投光グリッド線23a,23b,23c,23dに、それぞれ対応するものである(後述の図5も同様)。また、図4においては、撮像グリッド線および投光グリッド線を、それぞれ4本とする例を示したが、その本数については特に制限はなく、適宜設定することができる。
That is, in the scene shown in FIG. 4, taking the
また、たとえば、図5に示す場面においては、計測対象物100c上に生じた反射ドット101cに対応する、撮像ドット102cは、その上端が撮像グリッド線33aにより画定され、その下端位置が撮像グリッド線33bにより画定されるものである。そして、撮像グリッド線33a,33bに対応する、投光グリッド線23a,23bを上下端位置とする投光ドットは、投光ドット22cであるため、これにより、投光ドット22cが撮像ドット102cに対応する投光ドットとして検出されることとなる。
Further, for example, in the scene shown in FIG. 5, the
同様に、図5に示す場面において、計測対象物100d上に生じた反射ドット101dに対応する、撮像ドット102dは、その上端が撮像グリッド線33aにより画定され、その下端位置が撮像グリッド線33cにより画定されるものである。そして、撮像グリッド線33a,33cに対応する、投光グリッド線23a,23cを上下端位置とする投光ドットは、投光ドット22dであるため、これにより、投光ドット22dが撮像ドット102dに対応する投光ドットとして検出されることとなる。
Similarly, in the scene shown in FIG. 5, the
以上のようにして、本実施形態では、撮像ドットと、投光ドットとの対応付けを行なう。 As described above, in the present embodiment, the imaging dots and the projection dots are associated with each other.
そして、対応付けされた投光ドット22cの投光パターンスライド21上における位置(すなわち、投光ドット22cに基づく照射光の照射方向)と撮像ドット32cの撮像画面31上における位置(すなわち、撮像装置30上における撮像方向)、および投光器20と撮像装置30との幾何学的な位置関係から、三角測量による距離計測を行なうことにより、車両1から計測対象物100cまでの距離の計測が可能となる。同様に、対応付けされた投光ドット22dの投光パターンスライド21上における位置と撮像ドット32dの撮像画面31上における位置、および投光器20と撮像装置30との幾何学的な位置関係から、三角測量による距離計測を行なうことにより、車両1から計測対象物100dまでの距離の計測が可能となる。
The position of the associated
以上のようにして、本実施形態では、計測対象物までの距離の計測を行なう。 As described above, in this embodiment, the distance to the measurement object is measured.
そして、図1に戻り、車両1に備えられたコントローラ10は、上述した対応付け処理および距離計測処理を実行するために、以下に説明する各種機能を備えている。
すなわち、コントローラ10は、投光器20による照射光の投光パターンを生成する投光パターン生成機能と、投光器20に照射光の投光を制御する投光器制御機能と、撮像装置20により撮像された撮像画像から、計測対象物に生じた反射ドットに基づく像を撮像ドットとして抽出する抽出機能と、抽出機能により抽出された抽出ドットと投光パターンを構成する投光ドットとの対応付けを行なう対応付け機能と、対応付けされた投光ドットと抽出ドットとに基づいて計測対象物までの距離を計測する距離計測機能と、を備える。
Returning to FIG. 1, the
That is, the
コントローラ10の投光パターン生成機能は、投光器20に備えられた投光パターンスライド21を制御するための投光パターンを生成するための機能である。図6に、投光パターン生成機能により設定される投光パターンの一例を示す。図6においては、投光グリッド線が14本であり、かつ、投光パターンを構成する各投光ドットが、それぞれ異なる組み合わせの投光グリッド線を上端および下端とするものを示している。すなわち、図6に示す例においては、投光パターンを生成する際に、上端位置と下端位置とが全く同じ投光ドットが存在しないように、設定されている。このように、投光パターンを構成する各投光ドットを、それぞれ異なる組み合わせの投光グリッド線を上端および下端を有するものとすることにより、各投光ドットと、撮像装置30の撮像画面31上で検出される撮像ドットとを精度良く一対一対応するものとすることができる。
The light projection pattern generation function of the
そのため、14本の投光グリッド線を上からA1,A2,・・・A14とし、各投光ドットの上端を画定する投光グリッド線をAnとし、下端を画定する投光グリッド線をAmとした場合に、各投光ドットは(An,Am)で特定されることとなる。言い替えれば、(An,Am)が同じとなるものは全く無いこととなる。
Therefore, A 1,
コントローラ10の投光器制御機能は、投光器20の投光照度の決定および投光器20の投光動作の制御を行うための機能である。
The projector control function of the
コントローラ10の抽出機能は、撮像装置30により撮像された撮像画像から、投光器20から照射された照射光の、計測対象物上に生じた反射ドットに基づく像を撮像ドットとして抽出するための機能である。
The extraction function of the
コントローラ10の対応付け機能は、抽出機能により抽出された撮像ドットと、投光器20の投光パターンを構成する投光ドットとの対応付けを行なうための機能である。具体的には、対応付け機能は、撮像ドットの上下端の撮像グリッド線を検出し、これに対応する投光ドットを検出し、これらの対応付けを行う。
The association function of the
たとえば、撮像装置30の撮像画面31について、図6に示す例と同様に、14本の撮像グリッド線を有するものとした場合に、14本の撮像グリッド線を上からB1,B2,・・・B14とし、撮像ドットの上端を画定する撮像グリッド線をBxとし、下端を画定する撮像グリッド線をByとした場合に、撮像ドットは(Bx,By)と表されることとなる。そして、対応付け機能は、(An,Am)で表される各投光ドットのうち、x=n、y=mであるものを対応する投光ドットであるとして、これらの対応付けを行なう。
For example, when the
コントローラ10の距離計測機能は、対応付け機能によって、対応付けされた投光ドットと抽出ドットとに基づいて計測対象物までの距離を計測する機能である。具体的には、距離計測機能は、対応付けされた投光ドットの投光パターンスライド21上における位置(すなわち、投光ドットに基づく照射光の照射方向)と撮像ドットの撮像画面31上における位置(すなわち、撮像装置30上における撮像方向)、および投光器20と撮像装置30との幾何学的な位置関係から、三角測量による距離計測を行なうことにより、車両1から計測対象物までの距離の計測を行なう。
The distance measurement function of the
また、距離計測機能は、撮像画面31上において検出された各撮像ドットについて、撮像グリッド線に対する角度を算出する。具体的には、距離計測機能は、撮像ドットの上端および下端を画定する撮像グリッド線と、撮像ドットとの接点間を結ぶ線と、撮像グリッド線との角度を算出し、これを撮像グリッド線に対する角度とする。各撮像ドットについて、撮像グリッド線に対する角度を算出することで、各撮像ドットに対応する計測対象物の、撮像グリッド線に対する傾きの検出が可能となる。
The distance measurement function calculates an angle with respect to the imaging grid line for each imaging dot detected on the
以上のように、コントローラ10は、本実施形態に係る距離計測処理を実行するために、上述した各機能を備えるものである。
As described above, the
次いで、投光器20および撮像装置30の設置位置の関係について説明する。図7は、撮像装置30に備えられた撮像素子上に配列された撮像画素に蓄積された信号の読み出し処理順序を説明するための図である。図7に示すように、撮像装置30に備えられた撮像素子上に配列された画素に蓄積された信号は、図7中において(1)で示した位置から順に、図7中に示す矢印の方向に沿って、読み出しが行なわれ、次いで、(2)〜(6)で示した位置から順に、図7中に示す矢印の方向に沿って、読み出しが行なわれる。
Next, the relationship between the installation positions of the
そのため、本実施形態では、投光器20および撮像装置30の設置位置を、図8に示すように、撮像グリッド線の方向が、撮像装置30に備えられた撮像素子上に配列された画素に蓄積された信号の読み取り方向と同じ方向となるように設定する。撮像グリッド線の方向を、撮像素子上に配列された画素に蓄積された信号の読み取り方向と同じ方向とすることで、撮像ドットは、画像上を上から下の一方向にしか向かわないものとなるため、撮像素子が読み出される上から下向きに連接処理を行うことで、撮像ドットの抽出が可能となる。すなわち、撮像素子上に配列された画素に蓄積された信号が読み出される毎に処理する逐次処理により連接処理が行えるため、少ない処理負荷で、撮像ドットの抽出を行うことが可能となる。
Therefore, in this embodiment, as shown in FIG. 8, the installation positions of the
一方、図9に示すように、投光器20および撮像装置30の設置位置を、撮像グリッド線の方向が、撮像装置30に備えられた撮像素子上に配列された画素に蓄積された信号の読み取り方向と異なる方向に配置してしまうと、撮像ドットは、画像上を上から下、下から上と様々な方向に向かうこととなってしまうため、撮像ドットの抽出を行なう際の処理負荷が高くなってしまうため、好ましくない。そのため、本実施形態では、図8に示すように、投光器20および撮像装置30の設置位置を、撮像グリッド線の方向が、撮像装置30に備えられた撮像素子上に配列された画素に蓄積された信号の読み取り方向と同じ方向となるように設定する。
On the other hand, as shown in FIG. 9, the installation position of the
次いで、本実施形態の動作について説明する。図10は、本実施形態に係る距離計測処理を示すフローチャートである。 Next, the operation of this embodiment will be described. FIG. 10 is a flowchart showing distance measurement processing according to the present embodiment.
まず、ステップS1では、コントローラ10の投光パターン生成機能により、投光器20に備えられた投光パターンスライド21を制御するための複数の投光ドットからなる投光パターンの生成が行なわれ、生成した投光パターンが、投光器20に送出される。そして、これに基づき、投光器20に備えられた投光パターンスライド21に、投光パターン生成機能により生成された投光ドットからなる投光パターンが設定される。
First, in step S1, the projection pattern generation function of the
ステップS2では、コントローラ10の投光器制御機能により、投光器20により照射光を照射させるための信号が送出される。そして、投光器20により、ステップS1で設定された複数の投光ドットからなる投光パターンからなる照射光の照射が開始される。
In step S <b> 2, a signal for irradiating irradiation light from the
ステップS3では、投光器20により、複数の投光ドットからなる投光パターンからなる照射光の照射が行なわれた状態において、撮像装置30により車両1の前方の撮像が行なわれる。そして、撮像装置30により撮像された画像データは、コントローラ10に送信される。
In step S <b> 3, the
ステップS4では、コントローラ10の投光器制御機能により、投光器20による照射光の照射を終了させるための信号が送出され、投光器20は、照射光の照射を終了する。
In step S4, a signal for ending irradiation of irradiation light by the
ステップS5では、投光器20により、照射光の照射が行なわれていない状態において、撮像装置30により車両1の前方の撮像が行なわれる。そして、撮像装置30により撮像された画像データは、コントローラ10に送信される。
In step S <b> 5, the front of the
ステップS6では、コントローラ10の抽出機能より、投光器20から照射された照射光の、計測対象物上に生じた反射ドットに基づく像を、撮像ドットとして抽出するための処理が行なわれる。具体的には、抽出機能は、ステップS3において撮像された投光パターンからなる照射光の照射が行なわれた状態における画像データと、ステップS5において撮像された照射光の照射が行なわれていない状態における画像データと、に基づき、これら画像データを構成する各画素の差分を算出し、差分が検出された画素を抽出する。そして、抽出された画素について、画素間連結処理を行なうことで、差分が検出された画素が連続している領域を、反射ドットに基づく像が撮像された領域であると判断し、これを撮像ドットとして抽出する。
In step S <b> 6, the extraction function of the
ステップS7では、コントローラ10の対応付け機能により、ステップS6で抽出された各撮像ドットと、ステップS1で設定された投光パターンを構成する投光ドットとの対応付けが行なわれる。具体的には、対応付け機能は、ステップS6で抽出された各撮像ドットについて、その上下端を画定する撮像グリッド線の検出を行い、次いで、これに対応する投光ドットを検出することで、これらについて対応付けを行う。
In step S7, the association function of the
ステップS8では、コントローラ10の距離計測機能により、ステップS7において、対応付けされた投光ドットの投光パターンスライド21上における位置(すなわち、投光ドットに基づく照射光の照射方向)と撮像ドットの撮像画面31上における位置(すなわち、撮像装置30上における撮像方向)、および投光器20と撮像装置30との幾何学的な位置関係から、三角測量による距離計測を行なうことにより、車両1から計測対象物までの距離の計測が行なわれる。また、この際において、距離計測機能により、撮像画面31上において検出された各撮像ドットについて、撮像グリッド線に対する角度の算出が行なわれる。
In step S8, by the distance measurement function of the
以上のようにして、本実施形態に係る距離計測処理は行われる。 As described above, the distance measurement processing according to the present embodiment is performed.
本実施形態においては、計測対象物に対して、複数の投光ドットからなる投光パターンを有する光を照射する際に、投光パターンスライド21上に、投光器20と撮像装置30とを結ぶ直線と平行な複数の線を、投光ドットの上端および下端を画定するための投光グリッド線として設定し、一方で、撮像画面31上においても、同様に、投光器20と撮像装置30とを結ぶ直線と平行な複数の線を、撮像グリッド線として設定し、これらを用いて、投光ドットと撮像ドットとの対応付けを行なうものである。そのため、本実施形態によれば、少ない処理負荷で、投光ドットと撮像ドットとの対応付けを確実に行なうことができ、結果として、計測対象物までの距離の計測を適切に行うことができる。
In the present embodiment, a straight line connecting the
また、本実施形態によれば、投光パターンを構成する各投光ドットを、それぞれ異なる組み合わせの投光グリッド線を上端および下端を有するものとするため、撮像装置30の撮像画面31上で検出される撮像ドットと、各投光ドットとを精度良く一対一対応するものとすることができる。
In addition, according to the present embodiment, each projection dot constituting the projection pattern is detected on the
さらに、本実施形態によれば、図8に示すように、撮像グリッド線の方向が、撮像装置30に備えられた撮像素子上に配列された画素に蓄積された信号の読み取り方向と同じ方向となるように設定しているため、撮像素子上に配列された画素に蓄積された信号が読み出される毎に処理する逐次処理により連接処理が行えるため、少ない処理負荷で、距離計測処理を行なうことができる。
Furthermore, according to the present embodiment, as shown in FIG. 8, the direction of the imaging grid line is the same as the reading direction of the signals accumulated in the pixels arranged on the imaging device provided in the
加えて、本実施形態によれば、撮像画面31上において検出された各撮像ドットについて、撮像グリッド線に対する角度の算出を行なうため、各撮像ドットに対応する計測対象物の、撮像グリッド線に対する傾きの検出が可能となる。
In addition, according to the present embodiment, for each imaging dot detected on the
なお、上述した実施形態において、投光器20は本発明の投光手段に、撮像装置30は本発明の撮像手段に、コントローラ10の抽出機能は本発明の抽出手段に、コントローラ10の投光パターン生成機能は本発明の投光パターン生成手段に、コントローラ10の対応付け機能は本発明の対応付け手段に、コントローラ10の距離計測機能は本発明の距離計測手段に、それぞれ相当する。
In the above-described embodiment, the
以上、本発明の実施形態について説明したが、これらの実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 As mentioned above, although embodiment of this invention was described, these embodiment was described in order to make an understanding of this invention easy, and was not described in order to limit this invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.
1…車両
10…コントローラ
20…投光器
30…撮像装置
DESCRIPTION OF
Claims (5)
前記計測対象を撮像する撮像手段と、
前記撮像手段で撮像した撮像画像から、前記投光手段により前記計測対象に照射された光が撮像された領域を、撮像ドットとして抽出する抽出手段と、
前記投光手段の光軸と垂直な面を投光面とし、前記投光面上において、前記投光手段と前記撮像手段とを結ぶ直線と平行な複数の線を投光グリッド線として設定した場合に、前記複数のグリッド線のうち、所定の一対の投光グリッド線を両端とする複数の投光ドットからなるパターンを、前記投光手段により光を照射するための投光パターンとして生成する投光パターン生成手段と、
前記抽出手段で抽出された撮像ドットの撮像画面上の位置に基づいて、前記撮像ドットと、前記投光ドットとの対応付けを行う対応付け手段と、
互いに対応付けされた撮像ドットの撮像画面上の位置および投光ドットの投光パターン内の位置と、前記投光手段による照射光の照射方向および前記撮像手段の撮像方向と、に基づいて、前記計測対象までの距離を計測する距離計測手段と、を備え、
前記投光パターン生成手段は、前記投光パターンを構成する前記複数の投光ドットを、その両端を画定する各投光グリッド線の組み合わせが互いに全て異なるものとなるようにすることを特徴とする距離計測装置。 A light projecting means for irradiating the measurement target with light in a predetermined light projecting pattern;
Imaging means for imaging the measurement object;
An extraction means for extracting, as an imaging dot, an area in which the light irradiated to the measurement object by the light projecting means is imaged from the captured image captured by the imaging means;
A plane perpendicular to the optical axis of the light projecting unit is set as a light projecting surface, and a plurality of lines parallel to a straight line connecting the light projecting unit and the imaging unit are set as a light projecting grid line on the light projecting surface. In this case, among the plurality of grid lines, a pattern composed of a plurality of projection dots having a predetermined pair of projection grid lines as both ends is generated as a projection pattern for irradiating light by the projection unit. A light projection pattern generating means;
Association means for associating the imaging dots with the light projection dots based on the positions of the imaging dots extracted by the extraction means on the imaging screen;
Based on the positions of the imaging dots associated with each other on the imaging screen and the positions of the projection dots in the projection pattern, the irradiation direction of the irradiation light by the projection unit, and the imaging direction of the imaging unit, A distance measuring means for measuring the distance to the measurement object ,
The light projecting pattern generating means is characterized in that the plurality of light projecting dots constituting the light projecting pattern have different combinations of light projecting grid lines defining both ends thereof. Distance measuring device.
前記撮像手段の撮像画面上において、前記投光手段と前記撮像手段とを結ぶ直線と平行な複数の線を撮像グリッド線として設定した場合に、
前記対応付け手段は、前記撮像ドットの両端を画定する一対の撮像グリッド線に対応する、一対の投光グリッド線を抽出し、前記一対の投光グリッド線により画定される投光ドットを検出することで、前記撮像ドットと、前記投光ドットとの対応付けを行うことを特徴とする距離計測装置。 The distance measuring device according to claim 1 ,
On the imaging screen of the imaging means, when a plurality of lines parallel to a straight line connecting the light projecting means and the imaging means are set as imaging grid lines,
The association unit extracts a pair of projection grid lines corresponding to a pair of imaging grid lines defining both ends of the imaging dots, and detects the projection dots defined by the pair of projection grid lines. Thus, the distance measuring device is configured to associate the imaging dots with the projection dots.
前記撮像手段は、複数の撮像画素からなる撮像素子を備え、
前記投光グリッド線および撮像グリッド線は、前記撮像素子の撮像画素の読み取り方向と平行となるように設定されることを特徴とする距離計測装置。 The distance measuring device according to claim 2 ,
The imaging means includes an imaging element composed of a plurality of imaging pixels,
The distance measuring device according to claim 1, wherein the light projection grid line and the imaging grid line are set to be parallel to a reading direction of the imaging pixel of the imaging element.
前記距離計測手段は、前記撮像ドットと、前記撮像ドットの両端を画定する一対の撮像グリッド線との接点間を結ぶ直線を算出し、前記一対の撮像グリッド線に対する、該直線の角度に基づいて、前記計測対象の傾き状態を検出することを特徴とする距離計測装置。 In the distance measuring device according to claim 2 or 3 ,
The distance measuring means calculates a straight line connecting the contact points of the imaging dot and a pair of imaging grid lines defining both ends of the imaging dot, and based on an angle of the straight line with respect to the pair of imaging grid lines A distance measuring device that detects an inclination state of the measurement object.
前記光が照射された計測対象を撮像することで、前記計測対象までの距離を計測する距離計測方法であって、
前記光の光軸と垂直な面である投光面上において、前記光の照射位置と撮像位置とを結ぶ直線と平行な複数の線をグリッド線として設定した場合に、前記投光パターンを構成する複数の投光ドットを、前記複数のグリッド線のうち、それぞれ、所定の一対の投光グリッド線を両端とし、かつ、その両端を画定する各投光グリッド線の組み合わせが、前記複数の投光ドットの間で互いに全て異なるものとなるようにするものとし、前記投光ドットの両端を画定するグリッド線の位置および前記撮像ドットの撮像画面上の位置に基づいて、前記撮像ドットと、前記投光ドットとの対応付けを行い、対応付けた撮像ドットの撮像画面上の位置および投光ドットの投光パターン内の位置と、前記光の照射方向および撮像方向と、に基づいて前記計測対象までの距離を計測する距離計測方法。 Irradiate light with a light projection pattern consisting of multiple light projection dots on the measurement target,
A distance measurement method for measuring a distance to the measurement object by imaging the measurement object irradiated with the light,
The light projecting pattern is configured when a plurality of lines parallel to a straight line connecting the light irradiation position and the imaging position are set as grid lines on a light projecting surface that is a surface perpendicular to the optical axis of the light. The plurality of light emitting dots are a plurality of grid lines, each of which has a predetermined pair of light projecting grid lines as both ends , and a combination of the light projecting grid lines defining the both ends is the plurality of light emitting dots . The projection dots shall be different from each other among the projection dots, and based on the positions of the grid lines defining both ends of the projection dots and the positions of the imaging dots on the imaging screen, The measurement is performed based on the position of the associated imaging dot on the imaging screen, the position of the projection dot in the projection pattern, the irradiation direction of the light, and the imaging direction. versus Distance measuring method for measuring the distance to.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009200742A JP5482032B2 (en) | 2009-08-31 | 2009-08-31 | Distance measuring device and distance measuring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009200742A JP5482032B2 (en) | 2009-08-31 | 2009-08-31 | Distance measuring device and distance measuring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011053025A JP2011053025A (en) | 2011-03-17 |
JP5482032B2 true JP5482032B2 (en) | 2014-04-23 |
Family
ID=43942197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009200742A Expired - Fee Related JP5482032B2 (en) | 2009-08-31 | 2009-08-31 | Distance measuring device and distance measuring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5482032B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106154284B (en) * | 2016-06-17 | 2017-11-14 | 北京航空航天大学 | A kind of monochromatic light arm relevance imaging method compensated to atmospheric turbulance |
CN106842195B (en) * | 2016-12-26 | 2020-12-25 | 中国科学院合肥物质科学研究院 | Multi-object simultaneous imaging and encryption method based on calculation correlation imaging |
CN108169760B (en) * | 2017-12-18 | 2020-01-31 | 国网新疆电力有限公司检修公司 | high-voltage circuit breaker low-frequency swing measuring method |
CN113826145A (en) * | 2020-04-21 | 2021-12-21 | 北京航迹科技有限公司 | System and method for distance measurement |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0827840B2 (en) * | 1987-02-18 | 1996-03-21 | オムロン株式会社 | Range image generator |
JP2517062B2 (en) * | 1988-04-26 | 1996-07-24 | 三菱電機株式会社 | 3D measuring device |
JP2000331386A (en) * | 1999-05-18 | 2000-11-30 | Toshiba Emi Ltd | Method for inspecting optical disk substrate |
JP2006331108A (en) * | 2005-05-26 | 2006-12-07 | Tama Tlo Kk | Image processing apparatus, image processing method and program |
-
2009
- 2009-08-31 JP JP2009200742A patent/JP5482032B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011053025A (en) | 2011-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101461068B1 (en) | Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium | |
KR102166691B1 (en) | Device for estimating three-dimensional shape of object and method thereof | |
JP6363863B2 (en) | Information processing apparatus and information processing method | |
JP6394081B2 (en) | Image processing apparatus, image processing system, image processing method, and program | |
JP6296477B2 (en) | Method and apparatus for determining the three-dimensional coordinates of an object | |
CN102365522A (en) | Three-dimensional shape measuring device, three-dimensional shape measuring method, and three-dimensional shape measuring program | |
JP2009031150A (en) | Three-dimensional shape measuring device, three-dimensional shape measurement method, three-dimensional shape measurement program, and record medium | |
US20140118539A1 (en) | Measurement apparatus and control method thereof, and computer-readable storage medium | |
TWI672937B (en) | Apparatus and method for processing three dimensional images | |
JP2016186469A (en) | Information processing apparatus, information processing method, and program | |
JP5849522B2 (en) | Image processing apparatus, projector, projector system, image processing method, program thereof, and recording medium recording the program | |
JP2016075658A (en) | Information process system and information processing method | |
JP5482032B2 (en) | Distance measuring device and distance measuring method | |
JP2016217833A (en) | Image processing system and image processing method | |
WO2022050279A1 (en) | Three-dimensional measurement device | |
JP5222430B1 (en) | Dimension measuring apparatus, dimension measuring method and program for dimension measuring apparatus | |
JP6088864B2 (en) | Calibration system and calibration method | |
JP2013257244A (en) | Distance measurement device, distance measurement method, and distance measurement program | |
JP2012247226A (en) | Distance image camera and distance image combination method | |
JP2008139194A (en) | End position measuring method and size measuring method | |
JP5883688B2 (en) | Installation state detection system, installation state detection device, and installation state detection method | |
JP5520562B2 (en) | Three-dimensional shape measuring system and three-dimensional shape measuring method | |
JP2014155071A5 (en) | ||
KR101750883B1 (en) | Method for 3D Shape Measuring OF Vision Inspection System | |
US10091404B2 (en) | Illumination apparatus, imaging system, and illumination method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140203 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5482032 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |