JP5482032B2 - Distance measuring device and distance measuring method - Google Patents

Distance measuring device and distance measuring method Download PDF

Info

Publication number
JP5482032B2
JP5482032B2 JP2009200742A JP2009200742A JP5482032B2 JP 5482032 B2 JP5482032 B2 JP 5482032B2 JP 2009200742 A JP2009200742 A JP 2009200742A JP 2009200742 A JP2009200742 A JP 2009200742A JP 5482032 B2 JP5482032 B2 JP 5482032B2
Authority
JP
Japan
Prior art keywords
imaging
projection
light
dots
dot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009200742A
Other languages
Japanese (ja)
Other versions
JP2011053025A (en
Inventor
秀和 西内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2009200742A priority Critical patent/JP5482032B2/en
Publication of JP2011053025A publication Critical patent/JP2011053025A/en
Application granted granted Critical
Publication of JP5482032B2 publication Critical patent/JP5482032B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、距離計測装置および距離計測方法に関するものである。   The present invention relates to a distance measuring device and a distance measuring method.

従来より、計測対象までの距離を計測する技術が知られている。このような技術において、乱数を用いて非周期的な投光パターンを生成し、これを投光器により計測対象に照射して、該投光パターンが照射された計測対象を、異なる位置にある基準カメラおよび参照カメラで撮像し、基準カメラと参照カメラで撮像した画像の照射光の対応付け処理を行い、対応付けされた参照カメラと基準カメラの各画素の視差を用いて計測対象までの距離を計測する技術が知られている(特許文献1参照)。   Conventionally, a technique for measuring a distance to a measurement target is known. In such a technique, a non-periodic projection pattern is generated using a random number, and this is irradiated onto a measurement target by a projector, and the measurement target irradiated with the projection pattern is set to a reference camera at a different position. And the reference camera and the reference camera and the reference camera are associated with the irradiated light, and the distance to the measurement object is measured using the parallax of each pixel of the associated reference camera and reference camera. The technique to do is known (refer patent document 1).

特開2001−91232号公報JP 2001-91232 A

しかしながら、従来技術においては、基準カメラおよび参照カメラの二台のカメラで撮像を行なうものであるため、これら二台のカメラから見た計測対象の向きや、計測対象までの距離に相違が生じてしまうこととなる。そして、従来技術においては、このような相違により、計測対象に照射された投光パターンに、ゆがみや大きさの相違が発生してしまい、結果として、基準カメラと参照カメラで撮像した画像の照射光の対応付けに誤りが発生し、これにより、距離計測精度が低下してしまうという問題があった。   However, in the prior art, since the two cameras, the standard camera and the reference camera, are used for imaging, there is a difference in the direction of the measurement target viewed from these two cameras and the distance to the measurement target. It will end up. In the prior art, due to such a difference, the projection pattern irradiated to the measurement object has a distortion and a difference in size, and as a result, irradiation of images captured by the reference camera and the reference camera is performed. There is a problem in that an error occurs in the light association, which causes a decrease in distance measurement accuracy.

本発明が解決しようとする課題は、計測対象までの距離を適切に計測することができる距離計測装置および距離計測方法を提供することである。   The problem to be solved by the present invention is to provide a distance measuring device and a distance measuring method capable of appropriately measuring a distance to a measurement target.

本発明は、計測対象に対して複数の投光ドットからなる投光パターンで光を照射し、前記光が照射された計測対象を撮像することで、前記計測対象までの距離を計測する際に、前記投光パターンを構成する複数の投光ドットを、前記光の光軸と垂直な面上の前記光の照射位置と撮像位置とを結ぶ直線と平行な複数の線であるグリッド線のうち、それぞれ、所定の一対のグリッド線を両端とし、かつ、その両端を画定する各投光グリッド線の組み合わせが、前記複数の投光ドットの間で互いに全て異なるものとなるようにするものとし、該投光ドットの両端を画定するグリッド線の位置、および前記撮像ドットの撮像画面上の位置に基づき、前記撮像ドットと、前記投光ドットとの対応付けを行い、対応付けた撮像ドットおよび投光ドットに基づいて前記計測対象までの距離を計測することにより、上記課題を解決する。 The present invention irradiates light with a light projection pattern composed of a plurality of light projection dots on the measurement target, and measures the distance to the measurement target by imaging the measurement target irradiated with the light. A plurality of light projection dots constituting the light projection pattern are grid lines which are a plurality of lines parallel to a straight line connecting an irradiation position of the light and an imaging position on a plane perpendicular to the optical axis of the light. Each of the plurality of light projection dots is different from each other in the combination of the light projection grid lines each having a predetermined pair of grid lines as both ends and demarcating the both ends. , Based on the position of the grid line defining both ends of the projection dot and the position of the imaging dot on the imaging screen, the imaging dot and the projection dot are associated with each other. Based on the projected dot There by measuring the distance to the measurement target, solving the above problems.

本発明によれば、投光パターンを形成する複数の投光ドットを、それそれ、所定の一対のグリッド線を両端とするものとするため、投光ドットとこれに対応する撮像ドットとの対応付けを行なう際における対応付け精度を向上させることができ、結果として、計測対象までの距離を適切に計測することが可能となる。   According to the present invention, each of the plurality of projection dots forming the projection pattern has a predetermined pair of grid lines as both ends. Therefore, the correspondence between the projection dot and the corresponding imaging dot As a result, it is possible to appropriately measure the distance to the measurement target.

図1は、本実施形態に係る車両1の構成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of a vehicle 1 according to the present embodiment. 図2は、本実施形態に係る距離計測方法について説明するための図である。FIG. 2 is a diagram for explaining the distance measuring method according to the present embodiment. 図3は、本実施形態に係る距離計測方法について説明するための図である。FIG. 3 is a diagram for explaining the distance measuring method according to the present embodiment. 図4は、本実施形態に係る距離計測方法について説明するための図である。FIG. 4 is a diagram for explaining the distance measuring method according to the present embodiment. 図5は、本実施形態に係る距離計測方法について説明するための図である。FIG. 5 is a diagram for explaining the distance measuring method according to the present embodiment. 図6は、本実施形態に係る投光パターンの一例を示す図である。FIG. 6 is a diagram illustrating an example of a light projection pattern according to the present embodiment. 図7は、撮像装置30に備えられた撮像素子上に配列された撮像画素に蓄積された信号の読み出し処理順序を説明するための図である。FIG. 7 is a diagram for explaining a reading processing order of signals accumulated in the imaging pixels arranged on the imaging element provided in the imaging device 30. 図8は、投光器20と撮像装置30との設置位置の関係を説明するための図である。FIG. 8 is a diagram for explaining the relationship between the installation positions of the projector 20 and the imaging device 30. 図9は、投光器20と撮像装置30との設置位置の関係を説明するための図である。FIG. 9 is a diagram for explaining the relationship between the installation positions of the projector 20 and the imaging device 30. 図10は、本実施形態に係る距離計測処理を示すフローチャートである。FIG. 10 is a flowchart showing distance measurement processing according to the present embodiment.

以下、本発明の実施形態を図面に基づいて説明する。
図1は、本実施形態に係る車両1の構成を示すブロック図である。本実施形態に係る車両1は、図1に示すように、コントローラ10、投光器20、および撮像装置30を備えている。そして、これらの各構成は、CAN(Controller Area Network)などの車載LANによって接続され、相互に情報の授受を行うことができるようになっている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration of a vehicle 1 according to the present embodiment. As shown in FIG. 1, the vehicle 1 according to the present embodiment includes a controller 10, a projector 20, and an imaging device 30. Each of these components is connected by an in-vehicle LAN such as a CAN (Controller Area Network) and can exchange information with each other.

投光器20は、車両1の前方に向けて、所定の投光パターンで照射光を照射し、車両1前方に存在する計測対象物に光を照射する。投光器20は、後述するように、光源、および光源の前方に配置された投光パターンスライド21を少なくとも備えるものである(図2参照)。   The light projector 20 irradiates the measurement object existing in front of the vehicle 1 with light with a predetermined light projection pattern toward the front of the vehicle 1. As will be described later, the projector 20 includes at least a light source and a light projection pattern slide 21 disposed in front of the light source (see FIG. 2).

撮像装置30は、撮像画素が複数配列された撮像素子を有し、該撮像素子により輝度画像を撮像し、これを画像データに変換するものである。このような撮像装置30としては、たとえば、撮像素子として、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)などを備えたものが挙げられる。   The imaging device 30 includes an imaging device in which a plurality of imaging pixels are arranged, takes a luminance image with the imaging device, and converts this to image data. As such an imaging device 30, for example, a device having a CCD (Charge Coupled Devices), a CMOS (Complementary Metal Oxide Semiconductor), or the like as an imaging device can be cited.

なお、投光器20および撮像装置30は、それぞれ、車両1前方に光を照射できるように、または車両1前方を撮像できるように設置すればよく、その設置位置は任意であるが、後述する理由より、撮像装置30に備えられた撮像素子を構成する撮像画素の配列方向が、投光器20と撮像装置30とを結ぶ直線に対して平行となるような方向に設置することが望ましい。   The projector 20 and the imaging device 30 may be installed so that light can be emitted in front of the vehicle 1 or so that the front of the vehicle 1 can be imaged. The installation position is arbitrary, but for the reason described later. It is desirable that the arrangement direction of the imaging pixels constituting the imaging device provided in the imaging device 30 is set in a direction parallel to the straight line connecting the projector 20 and the imaging device 30.

コントローラ10は、投光器20および撮像装置30をコントロールすることにより、車両1前方に存在する計測対象物までの距離を計測するための処理を実行する。コントローラ10は、本実施形態に係る距離計測処理を実行するためのプログラムを格納したROM(Read Only Memory)と、このROMに格納されたプログラムを実行するCPU(Central Processing Unit)と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)と、を備える。   The controller 10 controls the projector 20 and the imaging device 30 to execute processing for measuring the distance to the measurement object existing in front of the vehicle 1. The controller 10 is accessible to a ROM (Read Only Memory) storing a program for executing the distance measurement processing according to the present embodiment and a CPU (Central Processing Unit) executing the program stored in the ROM. RAM (Random Access Memory) functioning as a storage device.

ここで、コントローラ10により実行される具体的な処理について説明する前に、本実施形態に係る距離計測方法について説明する。図2は、本実施形態に係る距離計測方法を説明するための図である。   Here, before describing specific processing executed by the controller 10, a distance measuring method according to the present embodiment will be described. FIG. 2 is a diagram for explaining the distance measuring method according to the present embodiment.

図2においては、投光器20の光源からの光が、投光器20に備えられた投光パターンスライド21を介して、計測対象物100aに照射された場面を示している。投光パターンスライド21は、投光器20から照射される照射光のパターン(投光パターン)を設定するために、投光器20の光源からの光のうち一部を透過させ、一部を遮断するものであり、投光器20の光源からの光の光軸と垂直となるように配置されている。なお、投光パターンスライド21により設定される投光パターンは、投光パターンスライド21上において光を透過させる部分と、光を遮断する部分とからなり、本実施形態では、この光を透過させる部分を「投光ドット」とする。   FIG. 2 shows a scene in which light from the light source of the projector 20 is applied to the measurement object 100a via the projection pattern slide 21 provided in the projector 20. The light projection pattern slide 21 transmits a part of the light from the light source of the light projector 20 and blocks a part thereof in order to set a pattern of light emitted from the light projector 20 (light projection pattern). And arranged so as to be perpendicular to the optical axis of the light from the light source of the projector 20. In addition, the light projection pattern set by the light projection pattern slide 21 includes a portion that transmits light on the light projection pattern slide 21 and a portion that blocks light. In this embodiment, the portion that transmits light. Is “projection dot”.

そして、図2においては、投光パターンを構成する複数の投光ドットのうち、特定の投光ドットを符号「22a」で示し、この投光ドット22aに基づく照射光が、計測対象物100aに照射された場面を示している。図2に示すように、投光ドット22aに基づく照射光は、計測対象物100aに照射され、計測対象物100a上において反射ドット101aを生ずることとなる。   And in FIG. 2, a specific light projection dot is shown with the code | symbol "22a" among the some light projection dots which comprise a light projection pattern, and the irradiation light based on this light projection dot 22a is set to the measurement object 100a. It shows the irradiated scene. As shown in FIG. 2, the irradiation light based on the projection dot 22a is irradiated to the measurement object 100a, and the reflective dot 101a is produced on the measurement object 100a.

一方、本実施形態では、撮像装置30により、投光ドット22aに基づく照射光が投光された計測対象物100aを撮像する。そして、図2示すように、撮像装置30の撮像画面31上において、計測対象物100a上に発生した反射ドット101aに基づく像が、図2中において符号「102a」で示したように撮像されることとなる。なお、本実施形態においては、撮像装置30の撮像画面31上に撮像された、このような反射ドットに基づく像を、「撮像ドット」とする。   On the other hand, in this embodiment, the imaging object 30 images the measurement object 100a on which the irradiation light based on the projection dots 22a is projected. As shown in FIG. 2, an image based on the reflective dots 101 a generated on the measurement object 100 a is picked up as indicated by reference numeral “102 a” in FIG. 2 on the imaging screen 31 of the imaging device 30. It will be. In the present embodiment, an image based on such a reflective dot imaged on the imaging screen 31 of the imaging device 30 is referred to as an “imaging dot”.

そして、図2に示す場面においては、投光器20の投光パターンスライド21上における投光ドット22aの位置(すなわち、投光ドット22aに基づく照射光の照射方向)と撮像装置30の撮像画面31上における撮像ドット102aの位置(すなわち、撮像装置30上における撮像方向)、および投光器20と撮像装置30との幾何学的な位置関係から、三角測量による距離計測を行なうことにより、車両1から計測対象物100aまでの距離の計測が可能となる。   In the scene shown in FIG. 2, the position of the projection dot 22 a on the projection pattern slide 21 of the projector 20 (that is, the irradiation direction of the irradiation light based on the projection dot 22 a) and the imaging screen 31 of the imaging device 30. The object to be measured from the vehicle 1 by performing distance measurement by triangulation from the position of the imaging dot 102a in the image (that is, the imaging direction on the imaging device 30) and the geometric positional relationship between the projector 20 and the imaging device 30. The distance to the object 100a can be measured.

なお、図2においては、単純化のために、単一の投光ドット22aおよびこれに基づく撮像ドット102aのみを示したものであり、そのため、図2に示す場面においては、撮像ドット102aが、投光ドット22aに対応するものであることが明確に理解できる。しかしながら、単純化して示した例である図2の場合とは異なり、本実施形態の投光器22により照射される光の投光パターンは、複数の投光ドットを含むものであり、これに対応する反射ドットおよび撮像ドットも複数となるため、これらを対応付けることが必要となる。以下、本実施形態における、投光ドットと、これに対応する反射ドットおよび撮像ドットとの対応付け方法について、説明する。   In FIG. 2, for the sake of simplicity, only a single projection dot 22a and an imaging dot 102a based thereon are shown. Therefore, in the scene shown in FIG. It can be clearly understood that it corresponds to the projection dot 22a. However, unlike the case of FIG. 2 which is a simplified example, the light projection pattern of the light irradiated by the light projector 22 of the present embodiment includes a plurality of light projection dots and corresponds to this. Since there are a plurality of reflection dots and imaging dots, it is necessary to associate them. Hereinafter, a method of associating the projection dots with the corresponding reflection dots and imaging dots in the present embodiment will be described.

図3は、本実施形態に係る距離計測方法について説明するための図であり、図3においては、投光器20(投光パターンスライド21)からの距離がそれぞれ異なる複数の計測対象物100a,100a’,100a’’に、投光ドット22aに基づく照射光が、それぞれ照射された場面を示している。   FIG. 3 is a diagram for explaining the distance measurement method according to the present embodiment. In FIG. 3, a plurality of measurement objects 100a and 100a ′ having different distances from the projector 20 (projection pattern slide 21) are shown. , 100a ″, shows the scenes irradiated with the irradiation light based on the projection dots 22a.

図3に示すように、投光ドット22aに基づく照射光が、計測対象物100aに照射された場合には、上述の図2の場合と同様に、計測対象物100a上において反射ドット101aが生じ、これが撮像装置30の撮像画面31上において、撮像ドット102aとして検出されることとなる。   As shown in FIG. 3, when the measurement object 100a is irradiated with the irradiation light based on the projection dot 22a, the reflection dot 101a is generated on the measurement object 100a as in the case of FIG. This is detected as the imaging dot 102 a on the imaging screen 31 of the imaging device 30.

同様に、投光ドット22aに基づく照射光が、計測対象物100a’に照射された場合にも、計測対象物100a’上において反射ドット101a’が生じ、これが撮像装置30の撮像画面31上において、撮像ドット102a’として検出されることとなる。さらに、投光ドット22aに基づく照射光が、計測対象物100a’’に照射された場合にも、計測対象物100a’’上において反射ドット101a’’が生じ、これが撮像装置30の撮像画面31上において、撮像ドット102a’’として検出されることとなる。   Similarly, when the measurement object 100a ′ is irradiated with the irradiation light based on the projection dot 22a, the reflection dot 101a ′ is generated on the measurement object 100a ′, and this is reflected on the imaging screen 31 of the imaging device 30. Will be detected as the imaging dot 102a '. Further, when the measurement object 100 a ″ is irradiated with the irradiation light based on the projection dot 22 a, the reflection dot 101 a ″ is generated on the measurement object 100 a ″, which is the imaging screen 31 of the imaging device 30. In the above, it is detected as an imaging dot 102a ''.

このようにして、図3に示すように、投光器20(投光パターンスライド21)からの距離がそれぞれ異なる、計測対象物100a,100a’,100a’’の反射ドット101a,101a’,101a’’に対応する撮像ドット102a,102a’,102a’’は、撮像装置30の撮像画面31上の異なる位置に検出されることとなる。しかしその一方で、図3からも明らかなように、これら計測対象物100a,100a’,100a’’の反射ドット101a,101a’,101a’’に対応する撮像ドット102a,102a’,102a’’は、一つの直線A上に並ぶこととなる。すなわち、単一の投光ドット22aに基づく照射光に基づく、撮像ドット102a,102a’,102a’’は同一直線上に並ぶこととなるという性質を有している。   In this way, as shown in FIG. 3, the reflection dots 101a, 101a ′, and 101a ″ of the measurement objects 100a, 100a ′, and 100a ″ having different distances from the projector 20 (projection pattern slide 21), respectively. The imaging dots 102a, 102a ′, 102a ″ corresponding to are detected at different positions on the imaging screen 31 of the imaging device 30. However, on the other hand, as is apparent from FIG. 3, the imaging dots 102a, 102a ′, 102a ″ corresponding to the reflective dots 101a, 101a ′, 101a ″ of these measurement objects 100a, 100a ′, 100a ″. Are arranged on one straight line A. In other words, the imaging dots 102a, 102a ', 102a "based on the irradiation light based on the single projection dot 22a have a property that they are arranged on the same straight line.

そして、このことは、図4に示すように、計測対象物の、投光器20の投光パターンスライド21に対する角度が異なり、その結果、計測対象物100b,100b’,100b’’上に生ずる反射ドット101b,101b’,101b’’のサイズが変化した場合でも、同様の傾向となるものである。   As shown in FIG. 4, this is because the angle of the measurement object with respect to the light projection pattern slide 21 of the projector 20 is different, and as a result, the reflective dots generated on the measurement objects 100b, 100b ′, 100b ″. Even when the sizes of 101b, 101b ′, and 101b ″ change, the same tendency is observed.

加えて、図4に示すように、計測対象物100b,100b’,100b’’上に生ずる反射ドット101b,101b’,101b’’のサイズが変化した場合でも、撮像装置30の撮像画面31上に検出される撮像ドット102b,102b’,102b’’の上端位置および下端位置は同一直線上に位置することとなる。すなわち、撮像ドット102b,102b’,102b’’の撮像画面31上における、上端位置は、図4中において、いずれも符号「33b」で示す直線上に位置することとなり、一方、下端位置は、いずれも符号「33c」で示す直線上に位置することとなる。そして、撮像ドット102b,102b’,102b’’の上端位置および下端位置は、投光パターンスライド21上における投光ドット22bの上端位置(すなわち、符号「23b」で示す直線上の位置)および下端位置(すなわち、符号「23c」で示す直線上の位置)に対応するものとなる。すなわち、投光パターンスライド21上における投光ドットと、これに基づく撮像ドットとは、その上端位置および下端位置が互いに対応するような関係となる。   In addition, as shown in FIG. 4, even when the size of the reflective dots 101b, 101b ′, 101b ″ generated on the measurement objects 100b, 100b ′, 100b ″ is changed, the image on the imaging screen 31 of the imaging device 30 is changed. The upper end position and the lower end position of the imaging dots 102b, 102b ′, 102b ″ detected at the same time are located on the same straight line. That is, the upper end positions of the imaging dots 102b, 102b ′, 102b ″ on the imaging screen 31 are all located on the straight line indicated by the reference numeral “33b” in FIG. Both are located on a straight line indicated by reference numeral “33c”. The upper end position and the lower end position of the imaging dots 102b, 102b ′, 102b ″ are the upper end position of the light projection dot 22b on the light projection pattern slide 21 (that is, the position on the straight line indicated by the symbol “23b”) and the lower end. It corresponds to the position (that is, the position on the straight line indicated by reference numeral “23c”). That is, the projected dots on the projected pattern slide 21 and the imaging dots based on the projected dots have a relationship such that the upper end position and the lower end position thereof correspond to each other.

そのため、本実施形態では、このような性質を利用して、投光パターンスライド21上に、投光器20と撮像装置30とを結ぶ直線と平行な複数の線を、投光グリッド線23a,23b,23c,23dとして設定し、一方で、撮像画面31上においても、同様に、投光器20と撮像装置30とを結ぶ直線と平行な複数の線を、撮像グリッド線33a,33b,33c,33dとして設定し、これらを用いて、投光ドットと撮像ドットとの対応付けを行なうものである。   Therefore, in the present embodiment, by utilizing such a property, a plurality of lines parallel to a straight line connecting the projector 20 and the imaging device 30 are arranged on the projection pattern slide 21 with the projection grid lines 23a, 23b, On the other hand, on the imaging screen 31, a plurality of lines parallel to the straight line connecting the projector 20 and the imaging device 30 are set as imaging grid lines 33a, 33b, 33c, and 33d. These are used to associate the projection dots with the imaging dots.

すなわち、図4に示す場面において、撮像ドット102bを例示すると、撮像ドット102bは、その上端が撮像グリッド線33bにより画定され、その下端位置が撮像グリッド線33cにより画定されるものである。そのため、本実施形態では、撮像グリッド線33b,33cに対応する、投光グリッド線23b,23cを抽出し、これら投光グリッド線23b,23cを上下端位置とする投光ドットとして、投光ドット22bを検出することができ、これにより、撮像ドット102bと投光ドット22bとの間の対応付けを行なうことができる。なお、図4において、撮像グリッド線33a,33b,33c,33dは、投光グリッド線23a,23b,23c,23dに、それぞれ対応するものである(後述の図5も同様)。また、図4においては、撮像グリッド線および投光グリッド線を、それぞれ4本とする例を示したが、その本数については特に制限はなく、適宜設定することができる。   That is, in the scene shown in FIG. 4, taking the imaging dot 102b as an example, the imaging dot 102b has its upper end defined by the imaging grid line 33b and its lower end position defined by the imaging grid line 33c. Therefore, in this embodiment, the light projection dots 23b and 23c corresponding to the imaging grid lines 33b and 33c are extracted, and the light projection dots are used as the light projection dots having the light projection grid lines 23b and 23c as upper and lower end positions. 22b can be detected, so that the imaging dot 102b and the projection dot 22b can be associated with each other. In FIG. 4, imaging grid lines 33a, 33b, 33c, and 33d correspond to the light projecting grid lines 23a, 23b, 23c, and 23d, respectively (the same applies to FIG. 5 described later). In FIG. 4, an example in which each of the imaging grid lines and the projection grid lines is four is shown, but the number of the grid lines is not particularly limited and can be set as appropriate.

また、たとえば、図5に示す場面においては、計測対象物100c上に生じた反射ドット101cに対応する、撮像ドット102cは、その上端が撮像グリッド線33aにより画定され、その下端位置が撮像グリッド線33bにより画定されるものである。そして、撮像グリッド線33a,33bに対応する、投光グリッド線23a,23bを上下端位置とする投光ドットは、投光ドット22cであるため、これにより、投光ドット22cが撮像ドット102cに対応する投光ドットとして検出されることとなる。   Further, for example, in the scene shown in FIG. 5, the imaging dot 102c corresponding to the reflective dot 101c generated on the measurement object 100c is defined at the upper end by the imaging grid line 33a, and the lower end position is the imaging grid line. 33b. The projection dots corresponding to the imaging grid lines 33a and 33b and having the projection grid lines 23a and 23b at the upper and lower end positions are the projection dots 22c. Thus, the projection dots 22c become the imaging dots 102c. It will be detected as a corresponding projection dot.

同様に、図5に示す場面において、計測対象物100d上に生じた反射ドット101dに対応する、撮像ドット102dは、その上端が撮像グリッド線33aにより画定され、その下端位置が撮像グリッド線33cにより画定されるものである。そして、撮像グリッド線33a,33cに対応する、投光グリッド線23a,23cを上下端位置とする投光ドットは、投光ドット22dであるため、これにより、投光ドット22dが撮像ドット102dに対応する投光ドットとして検出されることとなる。   Similarly, in the scene shown in FIG. 5, the imaging dot 102d corresponding to the reflective dot 101d generated on the measurement object 100d is delimited by the imaging grid line 33a at the upper end, and the lower end position by the imaging grid line 33c. It is defined. The projection dots corresponding to the imaging grid lines 33a and 33c and having the projection grid lines 23a and 23c at the upper and lower end positions are the projection dots 22d. Accordingly, the projection dots 22d become the imaging dots 102d. It will be detected as a corresponding projection dot.

以上のようにして、本実施形態では、撮像ドットと、投光ドットとの対応付けを行なう。   As described above, in the present embodiment, the imaging dots and the projection dots are associated with each other.

そして、対応付けされた投光ドット22cの投光パターンスライド21上における位置(すなわち、投光ドット22cに基づく照射光の照射方向)と撮像ドット32cの撮像画面31上における位置(すなわち、撮像装置30上における撮像方向)、および投光器20と撮像装置30との幾何学的な位置関係から、三角測量による距離計測を行なうことにより、車両1から計測対象物100cまでの距離の計測が可能となる。同様に、対応付けされた投光ドット22dの投光パターンスライド21上における位置と撮像ドット32dの撮像画面31上における位置、および投光器20と撮像装置30との幾何学的な位置関係から、三角測量による距離計測を行なうことにより、車両1から計測対象物100dまでの距離の計測が可能となる。   The position of the associated projection dot 22c on the projection pattern slide 21 (that is, the irradiation direction of the irradiation light based on the projection dot 22c) and the position of the imaging dot 32c on the imaging screen 31 (that is, the imaging device). The distance from the vehicle 1 to the measurement object 100c can be measured by performing distance measurement by triangulation from the image pickup direction on 30) and the geometric positional relationship between the projector 20 and the image pickup device 30. . Similarly, from the position of the corresponding projection dot 22d on the projection pattern slide 21, the position of the imaging dot 32d on the imaging screen 31, and the geometrical positional relationship between the projector 20 and the imaging device 30, a triangle is obtained. By measuring the distance by surveying, the distance from the vehicle 1 to the measurement object 100d can be measured.

以上のようにして、本実施形態では、計測対象物までの距離の計測を行なう。   As described above, in this embodiment, the distance to the measurement object is measured.

そして、図1に戻り、車両1に備えられたコントローラ10は、上述した対応付け処理および距離計測処理を実行するために、以下に説明する各種機能を備えている。
すなわち、コントローラ10は、投光器20による照射光の投光パターンを生成する投光パターン生成機能と、投光器20に照射光の投光を制御する投光器制御機能と、撮像装置20により撮像された撮像画像から、計測対象物に生じた反射ドットに基づく像を撮像ドットとして抽出する抽出機能と、抽出機能により抽出された抽出ドットと投光パターンを構成する投光ドットとの対応付けを行なう対応付け機能と、対応付けされた投光ドットと抽出ドットとに基づいて計測対象物までの距離を計測する距離計測機能と、を備える。
Returning to FIG. 1, the controller 10 provided in the vehicle 1 has various functions described below in order to execute the association process and the distance measurement process described above.
That is, the controller 10 has a light projection pattern generation function for generating a projection pattern of irradiation light by the projector 20, a projector control function for controlling the projection of irradiation light to the projector 20, and a captured image captured by the imaging device 20. Extraction function for extracting an image based on the reflection dot generated on the measurement object as an imaging dot, and an association function for associating the extracted dot extracted by the extraction function with the projection dot constituting the projection pattern And a distance measurement function for measuring the distance to the measurement object based on the associated projection dots and extraction dots.

コントローラ10の投光パターン生成機能は、投光器20に備えられた投光パターンスライド21を制御するための投光パターンを生成するための機能である。図6に、投光パターン生成機能により設定される投光パターンの一例を示す。図6においては、投光グリッド線が14本であり、かつ、投光パターンを構成する各投光ドットが、それぞれ異なる組み合わせの投光グリッド線を上端および下端とするものを示している。すなわち、図6に示す例においては、投光パターンを生成する際に、上端位置と下端位置とが全く同じ投光ドットが存在しないように、設定されている。このように、投光パターンを構成する各投光ドットを、それぞれ異なる組み合わせの投光グリッド線を上端および下端を有するものとすることにより、各投光ドットと、撮像装置30の撮像画面31上で検出される撮像ドットとを精度良く一対一対応するものとすることができる。   The light projection pattern generation function of the controller 10 is a function for generating a light projection pattern for controlling the light projection pattern slide 21 provided in the light projector 20. FIG. 6 shows an example of the light projection pattern set by the light projection pattern generation function. In FIG. 6, there are 14 light projection grid lines, and each light projection dot constituting the light projection pattern has different combinations of the light projection grid lines as the upper end and the lower end. That is, in the example shown in FIG. 6, when generating the light projection pattern, the upper end position and the lower end position are set so that there is no light projection dot. As described above, each projection dot constituting the projection pattern has a different combination of projection grid lines having an upper end and a lower end, so that each projection dot and the imaging screen 31 of the imaging device 30 are displayed. The imaging dots detected in step 1 can be made to correspond to each other with high accuracy.

そのため、14本の投光グリッド線を上からA,A,・・・A14とし、各投光ドットの上端を画定する投光グリッド線をAとし、下端を画定する投光グリッド線をAとした場合に、各投光ドットは(A,A)で特定されることとなる。言い替えれば、(A,A)が同じとなるものは全く無いこととなる。 Therefore, A 1, A 2 from the top fourteen projection grid lines, and · · · A 14, the projection grid lines defining the upper end of each projection dots and A n, projection grid defining a lower end line a when the a m, the light projecting dots and thus identified by (a n, a m). In other words, there is nothing that has the same (A n , A m ).

コントローラ10の投光器制御機能は、投光器20の投光照度の決定および投光器20の投光動作の制御を行うための機能である。   The projector control function of the controller 10 is a function for determining the projection illuminance of the projector 20 and controlling the projection operation of the projector 20.

コントローラ10の抽出機能は、撮像装置30により撮像された撮像画像から、投光器20から照射された照射光の、計測対象物上に生じた反射ドットに基づく像を撮像ドットとして抽出するための機能である。   The extraction function of the controller 10 is a function for extracting, from the captured image captured by the imaging device 30, an image based on the reflection dots generated on the measurement target of the irradiation light irradiated from the projector 20, as the imaging dots. is there.

コントローラ10の対応付け機能は、抽出機能により抽出された撮像ドットと、投光器20の投光パターンを構成する投光ドットとの対応付けを行なうための機能である。具体的には、対応付け機能は、撮像ドットの上下端の撮像グリッド線を検出し、これに対応する投光ドットを検出し、これらの対応付けを行う。   The association function of the controller 10 is a function for associating the imaging dots extracted by the extraction function with the projection dots constituting the projection pattern of the projector 20. Specifically, the association function detects the imaging grid lines at the upper and lower ends of the imaging dots, detects the projection dots corresponding to the imaging grid lines, and performs the association.

たとえば、撮像装置30の撮像画面31について、図6に示す例と同様に、14本の撮像グリッド線を有するものとした場合に、14本の撮像グリッド線を上からB,B,・・・B14とし、撮像ドットの上端を画定する撮像グリッド線をBとし、下端を画定する撮像グリッド線をBとした場合に、撮像ドットは(B,B)と表されることとなる。そして、対応付け機能は、(A,A)で表される各投光ドットのうち、x=n、y=mであるものを対応する投光ドットであるとして、これらの対応付けを行なう。 For example, when the imaging screen 31 of the imaging device 30 has 14 imaging grid lines as in the example shown in FIG. 6, the 14 imaging grid lines are assigned to B 1 , B 2 ,. When B 14 is set, B x is an imaging grid line that defines the upper end of the imaging dot, and B y is an imaging grid line that defines the lower end, the imaging dot is represented as (B x , B y ). It will be. Then, the associating function assumes that each of the projected dots represented by (A n , A m ) is a projected dot corresponding to x = n and y = m, and associates these correlated dots. Do.

コントローラ10の距離計測機能は、対応付け機能によって、対応付けされた投光ドットと抽出ドットとに基づいて計測対象物までの距離を計測する機能である。具体的には、距離計測機能は、対応付けされた投光ドットの投光パターンスライド21上における位置(すなわち、投光ドットに基づく照射光の照射方向)と撮像ドットの撮像画面31上における位置(すなわち、撮像装置30上における撮像方向)、および投光器20と撮像装置30との幾何学的な位置関係から、三角測量による距離計測を行なうことにより、車両1から計測対象物までの距離の計測を行なう。   The distance measurement function of the controller 10 is a function for measuring the distance to the measurement object based on the projected light dots and the extracted dots that are associated by the association function. Specifically, the distance measurement function is configured such that the position of the associated projection dot on the projection pattern slide 21 (that is, the irradiation direction of the irradiation light based on the projection dot) and the position of the imaging dot on the imaging screen 31. The distance from the vehicle 1 to the measurement object is measured by performing distance measurement by triangulation from the geometrical positional relationship between the projector 20 and the imaging device 30 (that is, the imaging direction on the imaging device 30). To do.

また、距離計測機能は、撮像画面31上において検出された各撮像ドットについて、撮像グリッド線に対する角度を算出する。具体的には、距離計測機能は、撮像ドットの上端および下端を画定する撮像グリッド線と、撮像ドットとの接点間を結ぶ線と、撮像グリッド線との角度を算出し、これを撮像グリッド線に対する角度とする。各撮像ドットについて、撮像グリッド線に対する角度を算出することで、各撮像ドットに対応する計測対象物の、撮像グリッド線に対する傾きの検出が可能となる。   The distance measurement function calculates an angle with respect to the imaging grid line for each imaging dot detected on the imaging screen 31. Specifically, the distance measurement function calculates the angle between the imaging grid line that defines the upper and lower ends of the imaging dot, the line connecting the contact points with the imaging dot, and the imaging grid line, and calculates this angle. Is the angle to. By calculating the angle with respect to the imaging grid line for each imaging dot, it is possible to detect the inclination of the measurement object corresponding to each imaging dot with respect to the imaging grid line.

以上のように、コントローラ10は、本実施形態に係る距離計測処理を実行するために、上述した各機能を備えるものである。   As described above, the controller 10 includes the above-described functions in order to execute the distance measurement process according to the present embodiment.

次いで、投光器20および撮像装置30の設置位置の関係について説明する。図7は、撮像装置30に備えられた撮像素子上に配列された撮像画素に蓄積された信号の読み出し処理順序を説明するための図である。図7に示すように、撮像装置30に備えられた撮像素子上に配列された画素に蓄積された信号は、図7中において(1)で示した位置から順に、図7中に示す矢印の方向に沿って、読み出しが行なわれ、次いで、(2)〜(6)で示した位置から順に、図7中に示す矢印の方向に沿って、読み出しが行なわれる。   Next, the relationship between the installation positions of the projector 20 and the imaging device 30 will be described. FIG. 7 is a diagram for explaining a reading processing order of signals accumulated in the imaging pixels arranged on the imaging element provided in the imaging device 30. As shown in FIG. 7, the signals accumulated in the pixels arranged on the image sensor provided in the imaging device 30 are indicated by the arrows shown in FIG. 7 in order from the position indicated by (1) in FIG. Reading is performed along the direction, and then reading is performed in the direction of the arrow shown in FIG. 7 in order from the positions shown in (2) to (6).

そのため、本実施形態では、投光器20および撮像装置30の設置位置を、図8に示すように、撮像グリッド線の方向が、撮像装置30に備えられた撮像素子上に配列された画素に蓄積された信号の読み取り方向と同じ方向となるように設定する。撮像グリッド線の方向を、撮像素子上に配列された画素に蓄積された信号の読み取り方向と同じ方向とすることで、撮像ドットは、画像上を上から下の一方向にしか向かわないものとなるため、撮像素子が読み出される上から下向きに連接処理を行うことで、撮像ドットの抽出が可能となる。すなわち、撮像素子上に配列された画素に蓄積された信号が読み出される毎に処理する逐次処理により連接処理が行えるため、少ない処理負荷で、撮像ドットの抽出を行うことが可能となる。   Therefore, in this embodiment, as shown in FIG. 8, the installation positions of the projector 20 and the imaging device 30 are accumulated in the pixels arranged on the imaging elements included in the imaging device 30 as shown in FIG. Set to the same direction as the reading direction of the received signal. By setting the direction of the imaging grid line to the same direction as the reading direction of the signals accumulated in the pixels arranged on the imaging device, the imaging dot is directed only in one direction from top to bottom on the image. Therefore, it is possible to extract the imaging dots by performing the connecting process from the top to the bottom where the image sensor is read. In other words, since the concatenation process can be performed by the sequential process that is performed each time the signal accumulated in the pixels arranged on the image sensor is read out, it is possible to extract the imaging dots with a small processing load.

一方、図9に示すように、投光器20および撮像装置30の設置位置を、撮像グリッド線の方向が、撮像装置30に備えられた撮像素子上に配列された画素に蓄積された信号の読み取り方向と異なる方向に配置してしまうと、撮像ドットは、画像上を上から下、下から上と様々な方向に向かうこととなってしまうため、撮像ドットの抽出を行なう際の処理負荷が高くなってしまうため、好ましくない。そのため、本実施形態では、図8に示すように、投光器20および撮像装置30の設置位置を、撮像グリッド線の方向が、撮像装置30に備えられた撮像素子上に配列された画素に蓄積された信号の読み取り方向と同じ方向となるように設定する。   On the other hand, as shown in FIG. 9, the installation position of the projector 20 and the imaging device 30 is determined based on the reading direction of the signals accumulated in the pixels arranged on the imaging elements provided in the imaging device 30. If the dots are arranged in different directions, the imaging dots will move in various directions from top to bottom and from bottom to top on the image, which increases the processing load when extracting the imaging dots. This is not preferable. Therefore, in the present embodiment, as shown in FIG. 8, the installation positions of the projector 20 and the imaging device 30 are accumulated in the pixels arranged on the imaging elements provided in the imaging device 30 in the direction of the imaging grid line. Set to the same direction as the reading direction of the received signal.

次いで、本実施形態の動作について説明する。図10は、本実施形態に係る距離計測処理を示すフローチャートである。   Next, the operation of this embodiment will be described. FIG. 10 is a flowchart showing distance measurement processing according to the present embodiment.

まず、ステップS1では、コントローラ10の投光パターン生成機能により、投光器20に備えられた投光パターンスライド21を制御するための複数の投光ドットからなる投光パターンの生成が行なわれ、生成した投光パターンが、投光器20に送出される。そして、これに基づき、投光器20に備えられた投光パターンスライド21に、投光パターン生成機能により生成された投光ドットからなる投光パターンが設定される。   First, in step S1, the projection pattern generation function of the controller 10 generates and generates a projection pattern composed of a plurality of projection dots for controlling the projection pattern slide 21 provided in the projector 20. The projection pattern is sent to the projector 20. And based on this, the light projection pattern which consists of the light projection dot produced | generated by the light projection pattern production | generation function is set to the light projection pattern slide 21 with which the light projector 20 was equipped.

ステップS2では、コントローラ10の投光器制御機能により、投光器20により照射光を照射させるための信号が送出される。そして、投光器20により、ステップS1で設定された複数の投光ドットからなる投光パターンからなる照射光の照射が開始される。   In step S <b> 2, a signal for irradiating irradiation light from the projector 20 is sent out by the projector control function of the controller 10. Then, the light projector 20 starts irradiating irradiation light including a light projection pattern including a plurality of light projection dots set in step S1.

ステップS3では、投光器20により、複数の投光ドットからなる投光パターンからなる照射光の照射が行なわれた状態において、撮像装置30により車両1の前方の撮像が行なわれる。そして、撮像装置30により撮像された画像データは、コントローラ10に送信される。   In step S <b> 3, the imaging device 30 captures an image of the front of the vehicle 1 in a state where the projection light 20 is irradiated with irradiation light including a projection pattern including a plurality of projection dots. Then, the image data captured by the imaging device 30 is transmitted to the controller 10.

ステップS4では、コントローラ10の投光器制御機能により、投光器20による照射光の照射を終了させるための信号が送出され、投光器20は、照射光の照射を終了する。   In step S4, a signal for ending irradiation of irradiation light by the projector 20 is sent out by the projector control function of the controller 10, and the projector 20 ends irradiation of irradiation light.

ステップS5では、投光器20により、照射光の照射が行なわれていない状態において、撮像装置30により車両1の前方の撮像が行なわれる。そして、撮像装置30により撮像された画像データは、コントローラ10に送信される。   In step S <b> 5, the front of the vehicle 1 is imaged by the imaging device 30 in a state where irradiation light is not irradiated by the projector 20. Then, the image data captured by the imaging device 30 is transmitted to the controller 10.

ステップS6では、コントローラ10の抽出機能より、投光器20から照射された照射光の、計測対象物上に生じた反射ドットに基づく像を、撮像ドットとして抽出するための処理が行なわれる。具体的には、抽出機能は、ステップS3において撮像された投光パターンからなる照射光の照射が行なわれた状態における画像データと、ステップS5において撮像された照射光の照射が行なわれていない状態における画像データと、に基づき、これら画像データを構成する各画素の差分を算出し、差分が検出された画素を抽出する。そして、抽出された画素について、画素間連結処理を行なうことで、差分が検出された画素が連続している領域を、反射ドットに基づく像が撮像された領域であると判断し、これを撮像ドットとして抽出する。   In step S <b> 6, the extraction function of the controller 10 performs processing for extracting an image based on the reflection dots generated on the measurement target of the irradiation light irradiated from the projector 20 as an imaging dot. Specifically, the extraction function includes the image data in a state where the irradiation light composed of the projection pattern imaged in step S3 is irradiated and the state where the irradiation light imaged in step S5 is not irradiated. And the difference between the pixels constituting the image data is calculated, and the pixel where the difference is detected is extracted. Then, by performing inter-pixel connection processing on the extracted pixels, it is determined that the region where the pixels from which the difference is detected is continuous is the region where the image based on the reflective dots is captured, and this is captured. Extract as dots.

ステップS7では、コントローラ10の対応付け機能により、ステップS6で抽出された各撮像ドットと、ステップS1で設定された投光パターンを構成する投光ドットとの対応付けが行なわれる。具体的には、対応付け機能は、ステップS6で抽出された各撮像ドットについて、その上下端を画定する撮像グリッド線の検出を行い、次いで、これに対応する投光ドットを検出することで、これらについて対応付けを行う。   In step S7, the association function of the controller 10 associates each imaging dot extracted in step S6 with the light projection dots constituting the light projection pattern set in step S1. Specifically, the association function detects the imaging grid lines that define the upper and lower ends of each imaging dot extracted in step S6, and then detects the projection dot corresponding to this, These are associated with each other.

ステップS8では、コントローラ10の距離計測機能により、ステップS7において、対応付けされた投光ドットの投光パターンスライド21上における位置(すなわち、投光ドットに基づく照射光の照射方向)と撮像ドットの撮像画面31上における位置(すなわち、撮像装置30上における撮像方向)、および投光器20と撮像装置30との幾何学的な位置関係から、三角測量による距離計測を行なうことにより、車両1から計測対象物までの距離の計測が行なわれる。また、この際において、距離計測機能により、撮像画面31上において検出された各撮像ドットについて、撮像グリッド線に対する角度の算出が行なわれる。   In step S8, by the distance measurement function of the controller 10, in step S7, the position of the associated projection dot on the projection pattern slide 21 (that is, the irradiation direction of the irradiation light based on the projection dot) and the imaging dot. The object to be measured from the vehicle 1 by performing distance measurement by triangulation from the position on the imaging screen 31 (that is, the imaging direction on the imaging device 30) and the geometric positional relationship between the projector 20 and the imaging device 30. The distance to the object is measured. At this time, the angle with respect to the imaging grid line is calculated for each imaging dot detected on the imaging screen 31 by the distance measurement function.

以上のようにして、本実施形態に係る距離計測処理は行われる。   As described above, the distance measurement processing according to the present embodiment is performed.

本実施形態においては、計測対象物に対して、複数の投光ドットからなる投光パターンを有する光を照射する際に、投光パターンスライド21上に、投光器20と撮像装置30とを結ぶ直線と平行な複数の線を、投光ドットの上端および下端を画定するための投光グリッド線として設定し、一方で、撮像画面31上においても、同様に、投光器20と撮像装置30とを結ぶ直線と平行な複数の線を、撮像グリッド線として設定し、これらを用いて、投光ドットと撮像ドットとの対応付けを行なうものである。そのため、本実施形態によれば、少ない処理負荷で、投光ドットと撮像ドットとの対応付けを確実に行なうことができ、結果として、計測対象物までの距離の計測を適切に行うことができる。   In the present embodiment, a straight line connecting the projector 20 and the imaging device 30 on the projection pattern slide 21 when the measurement target is irradiated with light having a projection pattern composed of a plurality of projection dots. A plurality of lines parallel to the projection dots are set as projection grid lines for defining the upper and lower ends of the projection dots. On the other hand, the projector 20 and the imaging device 30 are similarly connected on the imaging screen 31. A plurality of lines parallel to the straight line are set as imaging grid lines, and these are used to associate the projection dots with the imaging dots. Therefore, according to the present embodiment, the projection dots and the imaging dots can be reliably associated with a small processing load, and as a result, the distance to the measurement object can be appropriately measured. .

また、本実施形態によれば、投光パターンを構成する各投光ドットを、それぞれ異なる組み合わせの投光グリッド線を上端および下端を有するものとするため、撮像装置30の撮像画面31上で検出される撮像ドットと、各投光ドットとを精度良く一対一対応するものとすることができる。   In addition, according to the present embodiment, each projection dot constituting the projection pattern is detected on the imaging screen 31 of the imaging device 30 in order to have a different combination of projection grid lines having an upper end and a lower end. It is possible to make a one-to-one correspondence between the imaging dots and the light projection dots with high accuracy.

さらに、本実施形態によれば、図8に示すように、撮像グリッド線の方向が、撮像装置30に備えられた撮像素子上に配列された画素に蓄積された信号の読み取り方向と同じ方向となるように設定しているため、撮像素子上に配列された画素に蓄積された信号が読み出される毎に処理する逐次処理により連接処理が行えるため、少ない処理負荷で、距離計測処理を行なうことができる。   Furthermore, according to the present embodiment, as shown in FIG. 8, the direction of the imaging grid line is the same as the reading direction of the signals accumulated in the pixels arranged on the imaging device provided in the imaging device 30. Since the connection processing can be performed by sequential processing that is performed every time the signal accumulated in the pixels arranged on the image sensor is read out, the distance measurement processing can be performed with a small processing load. it can.

加えて、本実施形態によれば、撮像画面31上において検出された各撮像ドットについて、撮像グリッド線に対する角度の算出を行なうため、各撮像ドットに対応する計測対象物の、撮像グリッド線に対する傾きの検出が可能となる。   In addition, according to the present embodiment, for each imaging dot detected on the imaging screen 31, the angle with respect to the imaging grid line is calculated. Therefore, the inclination of the measurement object corresponding to each imaging dot with respect to the imaging grid line Can be detected.

なお、上述した実施形態において、投光器20は本発明の投光手段に、撮像装置30は本発明の撮像手段に、コントローラ10の抽出機能は本発明の抽出手段に、コントローラ10の投光パターン生成機能は本発明の投光パターン生成手段に、コントローラ10の対応付け機能は本発明の対応付け手段に、コントローラ10の距離計測機能は本発明の距離計測手段に、それぞれ相当する。   In the above-described embodiment, the projector 20 is the light projecting unit of the present invention, the imaging device 30 is the image capturing unit of the present invention, the extraction function of the controller 10 is the extraction unit of the present invention, and the light projection pattern generation of the controller 10 is performed. The function corresponds to the projection pattern generation means of the present invention, the association function of the controller 10 corresponds to the association means of the present invention, and the distance measurement function of the controller 10 corresponds to the distance measurement means of the present invention.

以上、本発明の実施形態について説明したが、これらの実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。   As mentioned above, although embodiment of this invention was described, these embodiment was described in order to make an understanding of this invention easy, and was not described in order to limit this invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.

1…車両
10…コントローラ
20…投光器
30…撮像装置
DESCRIPTION OF SYMBOLS 1 ... Vehicle 10 ... Controller 20 ... Floodlight 30 ... Imaging device

Claims (5)

計測対象に所定の投光パターンで光を照射する投光手段と、
前記計測対象を撮像する撮像手段と、
前記撮像手段で撮像した撮像画像から、前記投光手段により前記計測対象に照射された光が撮像された領域を、撮像ドットとして抽出する抽出手段と、
前記投光手段の光軸と垂直な面を投光面とし、前記投光面上において、前記投光手段と前記撮像手段とを結ぶ直線と平行な複数の線を投光グリッド線として設定した場合に、前記複数のグリッド線のうち、所定の一対の投光グリッド線を両端とする複数の投光ドットからなるパターンを、前記投光手段により光を照射するための投光パターンとして生成する投光パターン生成手段と、
前記抽出手段で抽出された撮像ドットの撮像画面上の位置に基づいて、前記撮像ドットと、前記投光ドットとの対応付けを行う対応付け手段と、
互いに対応付けされた撮像ドットの撮像画面上の位置および投光ドットの投光パターン内の位置と、前記投光手段による照射光の照射方向および前記撮像手段の撮像方向と、に基づいて、前記計測対象までの距離を計測する距離計測手段と、を備え
前記投光パターン生成手段は、前記投光パターンを構成する前記複数の投光ドットを、その両端を画定する各投光グリッド線の組み合わせが互いに全て異なるものとなるようにすることを特徴とする距離計測装置。
A light projecting means for irradiating the measurement target with light in a predetermined light projecting pattern;
Imaging means for imaging the measurement object;
An extraction means for extracting, as an imaging dot, an area in which the light irradiated to the measurement object by the light projecting means is imaged from the captured image captured by the imaging means;
A plane perpendicular to the optical axis of the light projecting unit is set as a light projecting surface, and a plurality of lines parallel to a straight line connecting the light projecting unit and the imaging unit are set as a light projecting grid line on the light projecting surface. In this case, among the plurality of grid lines, a pattern composed of a plurality of projection dots having a predetermined pair of projection grid lines as both ends is generated as a projection pattern for irradiating light by the projection unit. A light projection pattern generating means;
Association means for associating the imaging dots with the light projection dots based on the positions of the imaging dots extracted by the extraction means on the imaging screen;
Based on the positions of the imaging dots associated with each other on the imaging screen and the positions of the projection dots in the projection pattern, the irradiation direction of the irradiation light by the projection unit, and the imaging direction of the imaging unit, A distance measuring means for measuring the distance to the measurement object ,
The light projecting pattern generating means is characterized in that the plurality of light projecting dots constituting the light projecting pattern have different combinations of light projecting grid lines defining both ends thereof. Distance measuring device.
請求項に記載の距離計測装置において、
前記撮像手段の撮像画面上において、前記投光手段と前記撮像手段とを結ぶ直線と平行な複数の線を撮像グリッド線として設定した場合に、
前記対応付け手段は、前記撮像ドットの両端を画定する一対の撮像グリッド線に対応する、一対の投光グリッド線を抽出し、前記一対の投光グリッド線により画定される投光ドットを検出することで、前記撮像ドットと、前記投光ドットとの対応付けを行うことを特徴とする距離計測装置。
The distance measuring device according to claim 1 ,
On the imaging screen of the imaging means, when a plurality of lines parallel to a straight line connecting the light projecting means and the imaging means are set as imaging grid lines,
The association unit extracts a pair of projection grid lines corresponding to a pair of imaging grid lines defining both ends of the imaging dots, and detects the projection dots defined by the pair of projection grid lines. Thus, the distance measuring device is configured to associate the imaging dots with the projection dots.
請求項に記載の距離計測装置において、
前記撮像手段は、複数の撮像画素からなる撮像素子を備え、
前記投光グリッド線および撮像グリッド線は、前記撮像素子の撮像画素の読み取り方向と平行となるように設定されることを特徴とする距離計測装置。
The distance measuring device according to claim 2 ,
The imaging means includes an imaging element composed of a plurality of imaging pixels,
The distance measuring device according to claim 1, wherein the light projection grid line and the imaging grid line are set to be parallel to a reading direction of the imaging pixel of the imaging element.
請求項またはに記載の距離計測装置において、
前記距離計測手段は、前記撮像ドットと、前記撮像ドットの両端を画定する一対の撮像グリッド線との接点間を結ぶ直線を算出し、前記一対の撮像グリッド線に対する、該直線の角度に基づいて、前記計測対象の傾き状態を検出することを特徴とする距離計測装置。
In the distance measuring device according to claim 2 or 3 ,
The distance measuring means calculates a straight line connecting the contact points of the imaging dot and a pair of imaging grid lines defining both ends of the imaging dot, and based on an angle of the straight line with respect to the pair of imaging grid lines A distance measuring device that detects an inclination state of the measurement object.
計測対象に複数の投光ドットからなる投光パターンで光を照射し、
前記光が照射された計測対象を撮像することで、前記計測対象までの距離を計測する距離計測方法であって、
前記光の光軸と垂直な面である投光面上において、前記光の照射位置と撮像位置とを結ぶ直線と平行な複数の線をグリッド線として設定した場合に、前記投光パターンを構成する複数の投光ドットを、前記複数のグリッド線のうち、それぞれ、所定の一対の投光グリッド線を両端とし、かつ、その両端を画定する各投光グリッド線の組み合わせが、前記複数の投光ドットの間で互いに全て異なるものとなるようにするものとし、前記投光ドットの両端を画定するグリッド線の位置および前記撮像ドットの撮像画面上の位置に基づいて、前記撮像ドットと、前記投光ドットとの対応付けを行い、対応付けた撮像ドットの撮像画面上の位置および投光ドットの投光パターン内の位置と、前記光の照射方向および撮像方向と、に基づいて前記計測対象までの距離を計測する距離計測方法。
Irradiate light with a light projection pattern consisting of multiple light projection dots on the measurement target,
A distance measurement method for measuring a distance to the measurement object by imaging the measurement object irradiated with the light,
The light projecting pattern is configured when a plurality of lines parallel to a straight line connecting the light irradiation position and the imaging position are set as grid lines on a light projecting surface that is a surface perpendicular to the optical axis of the light. The plurality of light emitting dots are a plurality of grid lines, each of which has a predetermined pair of light projecting grid lines as both ends , and a combination of the light projecting grid lines defining the both ends is the plurality of light emitting dots . The projection dots shall be different from each other among the projection dots, and based on the positions of the grid lines defining both ends of the projection dots and the positions of the imaging dots on the imaging screen, The measurement is performed based on the position of the associated imaging dot on the imaging screen, the position of the projection dot in the projection pattern, the irradiation direction of the light, and the imaging direction. versus Distance measuring method for measuring the distance to.
JP2009200742A 2009-08-31 2009-08-31 Distance measuring device and distance measuring method Expired - Fee Related JP5482032B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009200742A JP5482032B2 (en) 2009-08-31 2009-08-31 Distance measuring device and distance measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009200742A JP5482032B2 (en) 2009-08-31 2009-08-31 Distance measuring device and distance measuring method

Publications (2)

Publication Number Publication Date
JP2011053025A JP2011053025A (en) 2011-03-17
JP5482032B2 true JP5482032B2 (en) 2014-04-23

Family

ID=43942197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009200742A Expired - Fee Related JP5482032B2 (en) 2009-08-31 2009-08-31 Distance measuring device and distance measuring method

Country Status (1)

Country Link
JP (1) JP5482032B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106154284B (en) * 2016-06-17 2017-11-14 北京航空航天大学 A kind of monochromatic light arm relevance imaging method compensated to atmospheric turbulance
CN106842195B (en) * 2016-12-26 2020-12-25 中国科学院合肥物质科学研究院 Multi-object simultaneous imaging and encryption method based on calculation correlation imaging
CN108169760B (en) * 2017-12-18 2020-01-31 国网新疆电力有限公司检修公司 high-voltage circuit breaker low-frequency swing measuring method
CN113826145A (en) * 2020-04-21 2021-12-21 北京航迹科技有限公司 System and method for distance measurement

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0827840B2 (en) * 1987-02-18 1996-03-21 オムロン株式会社 Range image generator
JP2517062B2 (en) * 1988-04-26 1996-07-24 三菱電機株式会社 3D measuring device
JP2000331386A (en) * 1999-05-18 2000-11-30 Toshiba Emi Ltd Method for inspecting optical disk substrate
JP2006331108A (en) * 2005-05-26 2006-12-07 Tama Tlo Kk Image processing apparatus, image processing method and program

Also Published As

Publication number Publication date
JP2011053025A (en) 2011-03-17

Similar Documents

Publication Publication Date Title
KR101461068B1 (en) Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium
KR102166691B1 (en) Device for estimating three-dimensional shape of object and method thereof
JP6363863B2 (en) Information processing apparatus and information processing method
JP6394081B2 (en) Image processing apparatus, image processing system, image processing method, and program
JP6296477B2 (en) Method and apparatus for determining the three-dimensional coordinates of an object
CN102365522A (en) Three-dimensional shape measuring device, three-dimensional shape measuring method, and three-dimensional shape measuring program
JP2009031150A (en) Three-dimensional shape measuring device, three-dimensional shape measurement method, three-dimensional shape measurement program, and record medium
US20140118539A1 (en) Measurement apparatus and control method thereof, and computer-readable storage medium
TWI672937B (en) Apparatus and method for processing three dimensional images
JP2016186469A (en) Information processing apparatus, information processing method, and program
JP5849522B2 (en) Image processing apparatus, projector, projector system, image processing method, program thereof, and recording medium recording the program
JP2016075658A (en) Information process system and information processing method
JP5482032B2 (en) Distance measuring device and distance measuring method
JP2016217833A (en) Image processing system and image processing method
WO2022050279A1 (en) Three-dimensional measurement device
JP5222430B1 (en) Dimension measuring apparatus, dimension measuring method and program for dimension measuring apparatus
JP6088864B2 (en) Calibration system and calibration method
JP2013257244A (en) Distance measurement device, distance measurement method, and distance measurement program
JP2012247226A (en) Distance image camera and distance image combination method
JP2008139194A (en) End position measuring method and size measuring method
JP5883688B2 (en) Installation state detection system, installation state detection device, and installation state detection method
JP5520562B2 (en) Three-dimensional shape measuring system and three-dimensional shape measuring method
JP2014155071A5 (en)
KR101750883B1 (en) Method for 3D Shape Measuring OF Vision Inspection System
US10091404B2 (en) Illumination apparatus, imaging system, and illumination method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140203

R151 Written notification of patent or utility model registration

Ref document number: 5482032

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees