JP7242482B2 - Object distance, shape measuring device and measuring method - Google Patents

Object distance, shape measuring device and measuring method Download PDF

Info

Publication number
JP7242482B2
JP7242482B2 JP2019166036A JP2019166036A JP7242482B2 JP 7242482 B2 JP7242482 B2 JP 7242482B2 JP 2019166036 A JP2019166036 A JP 2019166036A JP 2019166036 A JP2019166036 A JP 2019166036A JP 7242482 B2 JP7242482 B2 JP 7242482B2
Authority
JP
Japan
Prior art keywords
light
shape measuring
distance
imaging device
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019166036A
Other languages
Japanese (ja)
Other versions
JP2021043092A (en
Inventor
勝彦 佐藤
謙司 松崎
祐治 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Energy Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2019166036A priority Critical patent/JP7242482B2/en
Publication of JP2021043092A publication Critical patent/JP2021043092A/en
Application granted granted Critical
Publication of JP7242482B2 publication Critical patent/JP7242482B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明の実施形態は、物体の距離、形状計測装置及び計測方法に関する。 TECHNICAL FIELD Embodiments of the present invention relate to an object distance and shape measuring apparatus and measuring method.

従来の物体までの距離計測や物体の2次元/3次元の形状計測技術では、対象物に光を投射し、反射光を検出してタイムオブフライト法により対象物までの距離を算出する手段や、反射光をラインセンサや立体カメラで検出し三角測量法により対象物までの距離を算出する手段が一般的である。これらの計測手段は、計測装置を静止した状態で計測データを取得し、対象物までの距離、位置及び形状を算出する。 Conventional distance measurement to an object and 2D/3D shape measurement technology for an object include means for projecting light onto an object, detecting the reflected light, and calculating the distance to the object using the time-of-flight method. In general, the reflected light is detected by a line sensor or a stereoscopic camera, and the distance to the object is calculated by triangulation. These measurement means obtain measurement data while the measurement device is stationary, and calculate the distance, position and shape of the object.

これらの計測データに基づき、計測装置を搭載した自立型移動車や多関節アームとの位置関係を特定するには、対象物の特徴点の特定及び照合が必要となる。また、この特徴点の特定及び照合は、立体カメラで撮像した左右映像の各ポイントを照合する際も必要となっている。 Based on these measurement data, it is necessary to specify and collate the feature points of the object in order to specify the positional relationship with the self-supporting mobile vehicle and the articulated arm equipped with the measuring device. In addition, specifying and collating this feature point is also necessary when collating each point of the left and right images captured by the stereoscopic camera.

特開2017-215193号公報JP 2017-215193 A

上述したように、物体の距離や位置及び形状計測技術では特徴点を特定し照合する必要があるが、例えば均一な円形パイプ内を自立走行する移動ロボット等からなる移動体では、センサの視野内に特徴点がなく、距離、形状の計測データとの照合に利用することができない。 As mentioned above, in the distance, position and shape measurement technology of an object, it is necessary to identify and collate feature points. There is no feature point in the , and it cannot be used for collation with the measurement data of distance and shape.

そこで、移動体の車輪の回転量をエンコーダでカウントして移動距離を計測する方法や、ジャイロ等を搭載して経路計算する方法等が一般的に用いられているが、これらの移動体の状態を検知する内界センサによる計測では、累積誤差が発生し、移動距離が長くなるにつれて、移動体の位置情報を正確に把握することができなくなるという課題があった。 Therefore, a method of counting the amount of rotation of the wheels of a moving object with an encoder to measure the movement distance, or a method of calculating a route using a gyro or the like is generally used. In the measurement using an internal sensor that detects , there is a problem that an accumulated error occurs, and as the movement distance increases, it becomes impossible to accurately grasp the position information of the moving object.

また、多関節アームに計測装置を搭載した距離、形状計測技術では、多関節アームが対象物に接近するとセンサの視野範囲が均一な平面又は曲面となり、特徴点を見いだすことができず、距離、計測データとの照合に利用することができない。 In addition, in the distance and shape measurement technology in which a measuring device is mounted on an articulated arm, when the articulated arm approaches an object, the field of view of the sensor becomes a uniform plane or curved surface, making it impossible to find feature points. It cannot be used for comparison with measurement data.

そこで、計測装置が接近する対象面にシンボルシールやバーコードシール等を貼り付けて特徴点とする方法、又は対象物が自動車等の場合、誘導シールを走行面に貼り付けて特徴点とする方法等が用いられているが、適用分野が限定されているとともに、事前作業負担及び作業コストが増大するという課題があった。 Therefore, there is a method of attaching symbol stickers, bar code stickers, etc. to the target surface approached by the measuring device and using them as feature points, or if the target object is an automobile, etc., a method of attaching guide stickers to the running surface and using them as feature points. etc. have been used, but there have been problems in that the field of application is limited and that the preliminary work burden and work cost increase.

本発明の実施形態は上述した課題を解決するためになされたもので、特徴点の特定が困難な対象物に対して、蓄光塗料を用いて特徴点を形成することで、物体の距離、姿勢、形状等を高精度で計測することができる物体の距離、形状計測装置及び計測方法を提供することを目的とする。 The embodiments of the present invention have been made to solve the above-described problems. By forming feature points using phosphorescent paint on an object whose feature points are difficult to identify, the distance and orientation of the object can be calculated. It is an object of the present invention to provide an apparatus and method for measuring the distance and shape of an object, which can measure the shape, etc., of an object with high precision.

上記課題を解決するために、本実施形態に係る物体の距離、形状計測装置は、対象物に蓄光塗料を塗布する塗布装置と、前記蓄光塗料を発光させるための光を投光する投光装置と、前記蓄光塗料が発光した光を撮像する撮像装置と、前記撮像装置に接続され、前記撮像装置が撮像した撮像データに基づいて特徴点を特定する画像処理装置と、前記画像処理装置に接続され、2次元又は3次元マップを作成し物体の距離、形状を求める制御装置を有する。 In order to solve the above problems, the object distance and shape measuring apparatus according to the present embodiment includes a coating device that applies a luminous paint to an object and a light projecting device that projects light for causing the luminous paint to emit light. an imaging device for capturing an image of the light emitted by the phosphorescent paint; an image processing device connected to the imaging device for identifying a characteristic point based on image data captured by the imaging device; and a connection to the image processing device. and has a control device that creates a two-dimensional or three-dimensional map and obtains the distance and shape of an object.

また、本実施形態に係る物体の距離、形状計測方法は、塗布装置により対象物に蓄光塗料を塗布する塗布ステップと、投光装置により前記蓄光塗料を発光させるための光を投光する投光ステップと、撮像装置により前記蓄光塗料が発光した光を撮像する撮像ステップと、画像処理装置により前記撮像装置が撮像した撮像データに基づいて特徴点を特定する特定ステップと、制御装置により前記特徴点を用いて2次元又は3次元マップを作成し物体の距離、形状を求める距離、形状計測ステップと、を有する。 Further, the method for measuring the distance and shape of an object according to the present embodiment includes a coating step of applying a luminous paint to an object using an applicator, and a light projecting step of projecting light for causing the luminous paint to emit light using a light projecting device. an imaging step of imaging the light emitted by the phosphorescent paint with an imaging device; an identifying step of identifying a characteristic point based on imaging data captured by the imaging device with an image processing device; and a control device controlling the characteristic point. is used to create a two-dimensional or three-dimensional map to determine the distance and shape of the object, and the shape measurement step.

本発明の実施形態によれば、特徴点の特定及び照合が困難な対象物に対して、蓄光塗料を用いて特徴点を形成することで、物体の距離や位置及び形状を高精度で計測することが可能となる。 According to an embodiment of the present invention, the distance, position, and shape of an object can be measured with high precision by forming feature points using phosphorescent paint on an object whose feature points are difficult to identify and match. becomes possible.

第1の実施形態に係る距離、形状計測装置の構成図。1 is a configuration diagram of a distance and shape measuring apparatus according to a first embodiment; FIG. 第1の実施形態に係る距離、形状計測装置の制御ブロック図。FIG. 2 is a control block diagram of the distance and shape measuring device according to the first embodiment; 第2の実施形態に係る距離、形状計測装置の構成図。The configuration diagram of a distance and shape measuring apparatus according to a second embodiment. 第3の実施形態に係る距離、形状計測装置の構成図。The configuration diagram of a distance and shape measuring apparatus according to a third embodiment. 第4の実施形態に係る距離、形状計測装置の構成図。The configuration diagram of the distance and shape measuring device according to the fourth embodiment. 第5の実施形態に係る距離、形状計測装置の構成図。The configuration diagram of the distance and shape measuring device according to the fifth embodiment. (a)は第6の実施形態に係る距離、形状計測装置の平面図、(b)は(a)のX1-X1線側面図。(a) is a plan view of a distance and shape measuring apparatus according to a sixth embodiment, and (b) is a side view along line X1-X1 of (a). (a)は第7の実施形態に係る距離、形状計測装置の平面図、(b)は(a)のX2-X2線側面図。(a) is a plan view of a distance and shape measuring apparatus according to a seventh embodiment, and (b) is a side view along line X2-X2 of (a). (a)は第8の実施形態に係る距離、形状計測装置の平面図、(b)は側面図。(a) is a plan view of a distance and shape measuring apparatus according to an eighth embodiment; (b) is a side view; 第8の実施形態に係る距離、形状計測装置によって形成された発光パターンの模式図。FIG. 11 is a schematic diagram of a light emission pattern formed by a distance and shape measuring device according to an eighth embodiment; 第8の実施形態に係る距離、形状計測装置によって形成された発光パターンの具体例。A specific example of a light emission pattern formed by the distance and shape measuring device according to the eighth embodiment. (a)は第8の実施形態の変形例に係る距離、形状計測装置の平面図、(b)は側面図。(a) is a plan view of a distance and shape measuring device according to a modification of the eighth embodiment, and (b) is a side view. 第9の実施形態に係る距離、形状計測装置の構成図。The block diagram of the distance and shape measuring device which concerns on 9th Embodiment. 第9の実施形態に係る距離、形状計測装置の操作図。Operation diagram of the distance and shape measuring device according to the ninth embodiment.

以下、本発明に係る物体の距離、形状計測装置及び計測方法の実施形態について、図面を参照して説明する。
[第1の実施形態]
第1の実施形態に係る物体の距離、形状計測装置及び計測方法について、図1及び図2を用いて説明する。なお、本実施形態では距離、形状計測装置が床面上を移動する移動体に搭載されている例について説明する。
BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of an object distance/shape measuring apparatus and measuring method according to the present invention will be described below with reference to the drawings.
[First Embodiment]
An object distance/shape measuring apparatus and measuring method according to the first embodiment will be described with reference to FIGS. 1 and 2. FIG. In this embodiment, an example in which the distance and shape measuring device is mounted on a moving object that moves on the floor will be described.

(構成)
本実施形態に係る距離、形状計測装置1は、図1に示すように、例えば床面等の走行面12を移動する自立移動型の移動体8、移動体8に設けられ、蓄光塗料Aをスプレー塗布する塗布装置2、蓄光塗料Aを発光させる波長の光を投光する投光装置3、蓄光塗料Aからの発光状態を撮像する立体カメラやラインセンサ等からなる撮像装置4、撮像装置4に接続された画像処理装置5、画像処理装置5に接続され2次元/3次元マップを作成するためのデータ生成ソフト部6、移動体8の走行制御及び塗布装置2乃至データ生成ソフト部6の各構成要素を統括的に制御する制御装置10、から構成される。
(composition)
As shown in FIG. 1, the distance and shape measuring device 1 according to the present embodiment is provided on a self-supporting moving body 8 that moves on a running surface 12 such as a floor, and on the moving body 8. A coating device 2 for spray coating, a light projecting device 3 for projecting light of a wavelength that causes the phosphorescent paint A to emit light, an imaging device 4 composed of a stereoscopic camera, a line sensor, or the like for imaging the state of light emitted from the phosphorescent paint A, and an imaging device 4. an image processing device 5 connected to the image processing device 5, a data generation software unit 6 connected to the image processing device 5 for creating a two-dimensional/three-dimensional map, running control of the mobile body 8 and the application device 2 to the data generation software unit 6 It is composed of a control device 10 that controls each component in an integrated manner.

本実施形態では、塗布装置2及び投光装置3は移動体8の前部及び後部に設けられ、それぞれ前部及び後部から塗布装置2、投光装置3の順で設けられている。
図2は、距離、形状計測装置1を構成する各構成要素の制御ブロック図で、制御装置10が移動体8の走行制御及び塗布装置2乃至データ生成ソフト部6を統括的に制御する例を示している。
In this embodiment, the coating device 2 and the light projection device 3 are provided at the front and rear portions of the moving body 8, and the coating device 2 and the light projection device 3 are provided in this order from the front portion and the rear portion, respectively.
FIG. 2 is a control block diagram of each component constituting the distance and shape measuring device 1, and shows an example in which the control device 10 comprehensively controls the running control of the moving body 8 and the application device 2 to the data generation software unit 6. showing.

また、本実施形態では、自立移動型の移動体8のほか、無人走行台車、狭隘な空間を移動する移動ロボット、自動車等にも適用可能である。さらに、本実施形態では、画像処理装置5、データ生成ソフト部6及び制御装置10を移動体8に設ける例を示しているが、これに限定されず、通信環境が整っていれば移動体8以外の場所に設けてもよい。 Further, in addition to the self-reliant moving body 8, this embodiment can also be applied to an unmanned carriage, a mobile robot that moves in a narrow space, an automobile, and the like. Furthermore, in this embodiment, an example in which the image processing device 5, the data generation software unit 6, and the control device 10 are provided in the mobile body 8 is shown, but the present invention is not limited to this. It may be placed in other locations.

(作用)
上記のように構成された距離、形状計測装置1において、まず、塗布装置2により走行面12へ蓄光塗料Aをスプレー塗布する(塗布ステップ)。次に、蓄光塗料Aが塗布された走行面12に投光装置3により所定の波長の光を投光し、蓄光塗料Aを発光させる(投光ステップ)。その際、投光装置3はスポット光や所定形状のマーカ状又はパターン状の光を投光すれば、走行面12は同じ形状の光を一定時間発光し続けることになる。
(Action)
In the distance and shape measuring device 1 configured as described above, first, the coating device 2 sprays the luminous paint A onto the running surface 12 (coating step). Next, light of a predetermined wavelength is projected by the light projecting device 3 onto the running surface 12 coated with the phosphorescent paint A, causing the phosphorescent paint A to emit light (projection step). At that time, if the light projecting device 3 projects a spotlight or a marker-like or pattern-like light having a predetermined shape, the running surface 12 continues to emit light having the same shape for a certain period of time.

そして、この発光状態を2次元カメラやラインセンサ等からなる撮像装置4で撮像し(撮像ステップ)、その画像データを画像処理装置5に送る。画像処理装置5では、逐次発生する画像データから特徴点を特定し(特定ステップ)、特徴点のマップデータを作成し、2次元/3次元のデータ生成ソフト部6に伝達される。 Then, this light emitting state is imaged by an imaging device 4 composed of a two-dimensional camera, a line sensor, or the like (imaging step), and the image data is sent to the image processing device 5 . The image processing device 5 identifies feature points from the image data that is generated sequentially (identification step), creates map data of the feature points, and transmits the map data to the two-dimensional/three-dimensional data generation software section 6 .

データ生成ソフト部6は、投光装置3が投光した個々の発光マーカや発光パターン等からなる特徴点のマップデータと、撮像装置4が読み取った特徴点のマップデータとを照合する。そして、走行面12で発光した発光マーカや発光パターン等の特徴点間の距離、方位等を計算し、この結果から、走行経路の2次元/3次元マップを作成し、最終的に制御装置10により移動体8の現在位置、方位、移動速度等を求め、移動体8の距離、形状を計測する(距離、形状計測ステップ)。 The data generation software unit 6 collates the map data of the feature points composed of the individual light-emitting markers and light-emitting patterns projected by the light projecting device 3 with the map data of the feature points read by the imaging device 4 . Then, the distance, direction, and the like between characteristic points such as light-emitting markers and light-emitting patterns emitted on the traveling surface 12 are calculated. , the current position, orientation, moving speed, etc. of the moving body 8 are obtained, and the distance and shape of the moving body 8 are measured (distance and shape measuring step).

また、本実施形態では、塗布装置2及び投光装置3は移動体8の前部及び後部にそれぞれ逆向きに設けられているため、移動体8の移動方向が紙面左側(前進方向)又は右側(後進方向)のいずれであっても距離、形状計測を行うことができる。 In addition, in this embodiment, since the coating device 2 and the light projecting device 3 are provided on the front portion and the rear portion of the moving body 8 in opposite directions, respectively, the moving direction of the moving body 8 is the left side (advance direction) or the right side of the paper surface. Distance and shape measurement can be performed in any direction (reverse direction).

(効果)
本実施形態によれば、蓄光塗料Aの発光作用を利用して、非接触で走行面12上にマーカ状やパターン状の光を描くことができるようになる。この発光マーカや発光パターンは走行経路上で一定時間発光し続けるので、特徴点が確実に形成されるとともに、特徴点を容易に特定することが可能となる。これにより、移動体8の2次元/3次元マップの作成、並びに移動体8の位置、方位及び速度等の計測を高精度で行うことができる。
(effect)
According to this embodiment, by utilizing the luminous effect of the phosphorescent paint A, it is possible to draw marker-like or pattern-like light on the running surface 12 without contact. Since the light-emitting markers and light-emitting patterns continue to emit light for a certain period of time on the travel route, characteristic points are reliably formed and can be easily specified. As a result, it is possible to create a two-dimensional/three-dimensional map of the moving body 8 and to measure the position, azimuth, speed, etc. of the moving body 8 with high accuracy.

また、蓄光塗料Aは一時的なマーカの機能を有するため、事前に走行経路上に軌道シール等を貼ったものと同様な効果を得ることができるとともに、マーカやパターンの形状を適宜変更することで識別が容易な特徴点を複数形成することができる。
さらに、事前に軌道シールを設置する等の作業も必要としないので、事前作業負担及び作業コストを軽減することができる。
In addition, since the phosphorescent paint A has the function of a temporary marker, it is possible to obtain the same effect as a track seal or the like pasted on the traveling route in advance, and the shapes of the markers and patterns can be changed as appropriate. can form a plurality of feature points that are easy to identify.
Furthermore, since work such as installing a track seal in advance is not required, the work load and work cost can be reduced.

[第2の実施形態]
第2の実施形態に係る物体の距離、形状計測装置及び計測方法について、図3を用いて説明する。
[Second embodiment]
An object distance/shape measuring apparatus and measuring method according to the second embodiment will be described with reference to FIG.

(構成)
移動体8が高速に移動しているような場合、通常の投光装置3では光量が不足し撮像装置4で読み取れるレベルの明るさに蓄光塗料Aを光らせることができない場合や、光パターンが流れて輪郭が不明瞭になる等の不具合が生じるリスクがあり、特徴点を的確に抽出することができない可能性がある。
(composition)
When the moving body 8 is moving at a high speed, when the normal light projecting device 3 lacks the light intensity and the phosphorescent paint A cannot be illuminated at a level of brightness that can be read by the imaging device 4, or when the light pattern does not flow. There is a risk that problems such as the outline becoming unclear may occur, and there is a possibility that feature points cannot be extracted accurately.

そのため、本第2の実施形態では、蓄光塗料Aが高輝度でかつ明瞭なマーカ状又はパターン状の光を発光可能とするために、投光装置3にフラッシュ装置3-1を付加する構成としている。 Therefore, in the second embodiment, in order to enable the phosphorescent paint A to emit high-intensity and clear marker-like or pattern-like light, a flash device 3-1 is added to the light projecting device 3. there is

具体的には、図3に示すように、投光装置3に充電部とフラッシュ回路部等(図示せず)からなるフラッシュ装置3-1を設けた構成としている。
これにより、フラッシュ装置3-1を有さない投光装置3に比較して、平均出力は同じでも大きなエネルギーの光を極めて短時間だけ発光させることができる。
More specifically, as shown in FIG. 3, the light projecting device 3 is provided with a flash device 3-1 comprising a charging section, a flash circuit section and the like (not shown).
As a result, compared to the light projecting device 3 without the flash device 3-1, even if the average output is the same, it is possible to emit light with high energy for an extremely short period of time.

(作用効果)
本第2の実施形態によれば、投光装置3にフラッシュ装置3-1を設けたことで、投光装置3からの光の投光時間が短くても、高エネルギーの光を投光可能となるため、蓄光塗料Aから静止した状態で一定時間投光した時とほぼ変わらないような鮮明で明るい発光を得ることができる。
これにより、移動体8が高速で移動している場合でも、特定可能な特徴点を確実に形成することができる。
(Effect)
According to the second embodiment, since the flash device 3-1 is provided in the light projecting device 3, high-energy light can be projected even if the light projection time from the light projecting device 3 is short. Therefore, it is possible to obtain clear and bright luminescence that is almost the same as when the luminous paint A emits light in a stationary state for a certain period of time.
As a result, even when the moving body 8 is moving at high speed, identifiable feature points can be reliably formed.

[第3の実施形態]
第3の実施形態に係る物体の距離、形状計測装置について、図4を用いて説明する。
[Third Embodiment]
An object distance and shape measuring apparatus according to the third embodiment will be described with reference to FIG.

(構成)
本実施形態では、投光装置3として、フラッシュ装置3-1、ランプ等からなる光源3-2及び液晶プロジェクタ3-3を用いる構成としている。光源3-2は蓄光塗料Aを発光させる波長の光を生成し、液晶プロジェクタ3-3は、制御装置10からの指令により、所定の発光パターンを生成するような制御が行われる。
(composition)
In this embodiment, as the light projecting device 3, a flash device 3-1, a light source 3-2 such as a lamp, and a liquid crystal projector 3-3 are used. The light source 3-2 generates light having a wavelength that causes the phosphorescent paint A to emit light, and the liquid crystal projector 3-3 is controlled by a command from the control device 10 to generate a predetermined light emission pattern.

発光パターンとしては後述する図10や図11に示すようなバーコード状の発光パターンを用いることができるが、これ以外にも液晶プロジェクタ3-3を制御することで任意の発光パターンを生成することも可能である。 As the light emission pattern, a barcode-like light emission pattern as shown in FIGS. 10 and 11, which will be described later, can be used. In addition to this, an arbitrary light emission pattern can be generated by controlling the liquid crystal projector 3-3. is also possible.

(作用効果)
本実施形態によれば、液晶プロジェクタ3-3を制御することで、種々のパターンの発光パターンを生成することができるため、複数の特徴点を明瞭に区別して特定することが可能となる。
(Effect)
According to this embodiment, various light emission patterns can be generated by controlling the liquid crystal projector 3-3, so that it is possible to clearly distinguish and specify a plurality of feature points.

また、画像処理装置5は抽出すべき特徴点の情報を事前に有しているので、データ生成ソフト部6の処理負担を軽減化することができるため、短時間で高精度の移動体8の2次元/3次元マップを作成し、移動体8の位置、方位及び移動速度等を高精度で求めることができる。 In addition, since the image processing device 5 has in advance the information of the feature points to be extracted, the processing load on the data generation software unit 6 can be reduced. By creating a two-dimensional/three-dimensional map, the position, orientation, moving speed, etc. of the moving body 8 can be obtained with high accuracy.

また、発光パターンを図10や図11に示すようなバーコード状にすると、リニアエンコーダに使用されている磁気シールと同じような効果、作用を得ることも可能となる。なお、発光パターンを二次元的な縞模様状にすると、移動体8の方位を認識させることや、走行面12上に固有情報を表示することも可能となる。 Also, if the light emission pattern is in the form of a bar code as shown in FIGS. 10 and 11, it is possible to obtain the same effect and action as the magnetic seal used in the linear encoder. If the light emission pattern is made into a two-dimensional striped pattern, it becomes possible to recognize the direction of the moving body 8 and to display unique information on the running surface 12 .

[第4の実施形態]
第4の実施形態に係る物体の距離、形状計測装置及び計測方法について、図5を用いて説明する。
[Fourth embodiment]
An object distance/shape measuring apparatus and measuring method according to the fourth embodiment will be described with reference to FIG.

(構成)
本実施形態では、上記実施形態における撮像装置4の受光面に色フィルタ11を設ける構成としている。
(composition)
In this embodiment, a color filter 11 is provided on the light receiving surface of the imaging device 4 in the above embodiment.

本実施形態において、蓄光塗料Aは投光装置3から投光される所定の波長の光により、特定の色の光を発光させる。そして、撮像装置4では色フィルタ11により特定の色(波長)の光を有する画像のみが撮像装置4で撮像される。 In this embodiment, the phosphorescent paint A emits light of a specific color when light of a predetermined wavelength projected from the light projecting device 3 is used. Then, only an image having light of a specific color (wavelength) is captured by the imaging device 4 through the color filter 11 .

(作用効果)
本実施形態によれば、2次元カメラやラインセンサ等からなる撮像装置4の受光面に、蓄光塗料Aが発光する特定の色の光のみを通過可能な色フィルタ11を設けたことにより、蓄光塗料Aで発光した色の画像のみが輝度情報として撮像装置4に取り込まれる。これにより、外光反射による光や走行面12上の他の光をノイズとして減光又は遮断することができるため、特徴点の特定をより高精度で行うことができる。
(Effect)
According to this embodiment, the light-receiving surface of the imaging device 4 comprising a two-dimensional camera, a line sensor, or the like is provided with the color filter 11 that allows only the light of a specific color emitted by the phosphorescent paint A to pass therethrough. Only the image of the color emitted by the paint A is taken into the imaging device 4 as luminance information. As a result, it is possible to attenuate or block light due to reflection of external light and other light on the running surface 12 as noise, so that feature points can be specified with higher accuracy.

[第5の実施形態]
第5の実施形態に係る物体の距離、形状計測装置及び計測方法について、図6を用いて説明する。
[Fifth Embodiment]
An object distance/shape measuring apparatus and measuring method according to the fifth embodiment will be described with reference to FIG.

(構成)
本実施形態では、塗布装置2に隣接してドライヤ等からなる乾燥装置7を設けた構成としている。
(composition)
In this embodiment, a drying device 7 such as a dryer is provided adjacent to the coating device 2 .

具体的には、図6に例示するように、移動体8の前部及び後部において、塗布装置2と投光装置3との間に乾燥装置7を設けている。乾燥装置7は温風等を送風する公知のドライヤ等の送風装置が用いられる。 Specifically, as illustrated in FIG. 6 , a drying device 7 is provided between the coating device 2 and the light projecting device 3 at the front and rear portions of the moving body 8 . As the drying device 7, a blowing device such as a known dryer that blows hot air or the like is used.

(作用効果)
投光装置3により所定の発光マーカや発光パターンを有する光が投光される際に、走行面12に塗布された蓄光塗料Aが十分乾燥していないと、発光パターンが固定されないで流動したり、輪郭が不明確となる場合があり、撮像装置4で特徴点を的確に特定できなくなる可能性がある。
(Effect)
When light having a predetermined luminous marker or luminous pattern is projected by the light projecting device 3, if the luminous paint A applied to the running surface 12 is not sufficiently dried, the luminous pattern may not be fixed and may flow. , the contour may become unclear, and there is a possibility that the imaging device 4 cannot accurately identify the feature point.

本実施形態によれば、塗布装置2に隣接して乾燥装置7を設けたことで、塗布された蓄光塗料Aを速やかに乾燥させ、明瞭な発光パターンを得ることが可能となる。これにより、撮像装置4で特徴点を的確に把握することができるようになるため、特徴点の特定をより高精度で行うことができる。 According to this embodiment, since the drying device 7 is provided adjacent to the coating device 2, it is possible to quickly dry the applied phosphorescent paint A and obtain a clear light emission pattern. As a result, the feature points can be accurately grasped by the imaging device 4, so that the feature points can be specified with higher accuracy.

[第6の実施形態]
第6の実施形態に係る物体の距離、形状計測装置及び計測方法について、図7(a)、(b)を用いて説明する。
[Sixth Embodiment]
An object distance/shape measuring apparatus and measuring method according to the sixth embodiment will be described with reference to FIGS.

本実施形態は、塗布装置2、投光装置3、乾燥装置7及び立体カメラ4-1、4-2からなる撮像装置4を1セットの形状測定部Bとした場合、1セットの形状測定部Bを移動体8の下部の中央部に配置した構成としている。
具体的には、図7(a)、(b)に例示するように、1セットの形状測定部Bを移動体8の下部で、かつ、左右一対の車輪9の間に配置している。
In this embodiment, when the imaging device 4 consisting of the coating device 2, the light projecting device 3, the drying device 7 and the stereoscopic cameras 4-1 and 4-2 is set as one set of shape measuring unit B, one set of shape measuring unit B is arranged in the lower central portion of the moving body 8 .
Specifically, as illustrated in FIGS. 7A and 7B, one set of shape measuring units B is arranged under the moving body 8 and between the pair of left and right wheels 9 .

本実施形態では、移動体8は図7(a)、(b)の紙面左側(便宜上、「前進方向」という。)に移動することを想定しており、1セットの形状測定部Bにより移動体8の距離、形状測定が可能である。
これにより、距離、形状計測装置1の小型化、演算処理負担の軽減化を図ることができる。
なお、本実施形態では、塗布装置2、投光装置3、乾燥装置7及び撮像装置4を1セットの形状測定部Bとしているが、乾燥装置7を省略してもよい。
In this embodiment, it is assumed that the moving body 8 moves to the left side of the paper surface of FIGS. It is possible to measure the distance and shape of the body 8 .
As a result, it is possible to reduce the size of the distance and shape measuring apparatus 1 and reduce the computational processing load.
In addition, in this embodiment, the coating device 2, the light projecting device 3, the drying device 7, and the imaging device 4 are used as one set of the shape measuring section B, but the drying device 7 may be omitted.

[第7の実施形態]
第7の実施形態に係る物体の距離、形状計測装置及び計測方法について、図8(a)、(b)を用いて説明する。
[Seventh Embodiment]
An object distance/shape measuring apparatus and measuring method according to the seventh embodiment will be described with reference to FIGS.

本実施形態では、移動体8の車輪9に操舵可能なステアリング駆動軸9aを設け、塗布装置2、乾燥装置7、投光装置3及び撮像装置4(立体カメラ)からなる形状測定部B1、B2を、車輪9の両側にそれぞれ設けた構成としている。各形状測定部B1、B2は車輪9を支持固定する固定フレーム9bに取り付けられる。 In this embodiment, a steerable steering drive shaft 9a is provided on the wheel 9 of the moving body 8, and the shape measurement units B1 and B2 each including the coating device 2, the drying device 7, the light projecting device 3, and the imaging device 4 (stereoscopic camera) are used. are provided on both sides of the wheel 9, respectively. Each shape measuring part B1, B2 is attached to a fixed frame 9b that supports and fixes the wheel 9. As shown in FIG.

また、形状測定部B1、B2は、移動体8が前進方向又は後進方向に移動する場合に備えて、形状測定部B1、B2を構成する塗布装置2、乾燥装置7、投光装置3及び撮像装置4を、相互に逆向きに配置している。 In addition, the shape measuring units B1 and B2 are provided with the coating device 2, the drying device 7, the light projecting device 3, and the imaging device which constitute the shape measuring units B1 and B2 in preparation for the case where the moving body 8 moves forward or backward. The devices 4 are arranged opposite each other.

これにより、方向転換、前進又は後進等、いろいろな方向に移動する移動体8に対して、形状測定部B1、B2を車輪9の両側に設けたことで、移動体8の動きに沿った発光パターンを確実に形成することができるため、特徴点をより高精度で生成及び特定することができる。 By providing the shape measuring units B1 and B2 on both sides of the wheels 9, the light emission along with the movement of the moving body 8 can be achieved with respect to the moving body 8 moving in various directions such as changing direction, moving forward or backward. Since the pattern can be reliably formed, feature points can be generated and identified with higher accuracy.

[第8の実施形態]
第8の実施形態に係る物体の距離、形状計測装置及び計測方法について、図9~図11を用いて説明する。
[Eighth Embodiment]
An object distance/shape measuring apparatus and measuring method according to the eighth embodiment will be described with reference to FIGS. 9 to 11. FIG.

(構成)
本実施形態は、図9(a)、(b)に例示するように、移動体8の4つの側端部にそれぞれ1セットの形状測定部C1~C4を配置している。1つの形状測定部C1は、塗布装置2a、乾燥装置7a、フラッシュ装置3-1、光源3-2、液晶プロジェクタ3-3からなる投光装置3a、立体カメラ(ラインセンサを含む)からなる撮像装置4aからなり、各形状測定部C1~C4は、図10に示すように、一定区間移動する毎にバーコード状の発光パターンをフラッシュ点灯により形成する。
なお、移動体8が前進方向に移動する場合は形状測定部C1、C2が使用され、後進方向に移動する場合は、形状測定部C3、C4が使用される。
(composition)
In this embodiment, as illustrated in FIGS. 9A and 9B, one set of shape measuring units C1 to C4 are arranged at each of the four side ends of the moving body 8. FIG. One shape measuring unit C1 includes a coating device 2a, a drying device 7a, a flash device 3-1, a light source 3-2, a light projecting device 3a including a liquid crystal projector 3-3, and an imaging device including a stereoscopic camera (including a line sensor). As shown in FIG. 10, each of the shape measuring units C1 to C4 formed by the device 4a forms a bar code-like light emission pattern by flash lighting every time it moves for a certain interval.
The shape measuring units C1 and C2 are used when the moving body 8 moves forward, and the shape measuring units C3 and C4 are used when the moving body 8 moves backward.

(作用効果)
まず、移動体8が前進方向に移動開始すると、同時に塗布装置2により蓄光塗料Aを走行面12に散布し、乾燥装置7により速やかに乾燥される。次いで、投光装置3のフラッシュ点灯によりバーコード状の発光パターンが走行面に投光され、投光された部分は一定時間発光を継続する。
図10は上記のようにして形成されたバーコード状の発光パターンa1~anの模式図である。
(Effect)
First, when the moving body 8 starts to move forward, the coating device 2 sprays the phosphorescent paint A on the running surface 12 at the same time, and the drying device 7 quickly dries it. Then, the light emitting device 3 flashes light to project a barcode-like light emission pattern onto the traveling surface, and the lighted portion continues to emit light for a certain period of time.
FIG. 10 is a schematic diagram of barcode-like light emission patterns a1 to an formed as described above.

投光装置3から投光される光領域は投光角度に応じた一定の面積を有しており、図10に示すように、次にフラッシュ点灯する領域と相互に重複しないように、好ましくは所定幅の非投光領域が形成されるように、制御装置10により移動体8の移動速度及び/又は投光装置3のフラッシュ点灯のタイミングが制御される。
なお、フラッシュ点灯のタイミングは、撮像装置4で得られた撮像結果に基づいて制御装置10が決定するようにしてもよい。
The light area projected from the light projecting device 3 has a certain area corresponding to the light projection angle, and as shown in FIG. The control device 10 controls the moving speed of the moving body 8 and/or the flash lighting timing of the light projecting device 3 so that a non-light projecting area of a predetermined width is formed.
Note that the timing of lighting the flash may be determined by the control device 10 based on the imaging result obtained by the imaging device 4 .

図11は移動体8の4つの側端部にそれぞれ1セットの形状測定部C1~C4を配置している形状計測装置(図9参照)によって得られた発光パターンの具体例である。
図11の具体例では、例えば、移動体8の前進方向に対して移動体8の前端部側部の左右の形状測定部C1、C2の投光装置3a、3bのフラッシュ点灯のタイミングをずらすことで、必ずいずれかの撮像装置4a、4bで発光パターンを撮像可能とするとともに、発光パターンの両端では、図11の領域Yとして図示しているように、撮像装置4a、4bが同時に発光パターンを撮像できるようにフラッシュ点灯のタイミングを制御する。
FIG. 11 is a specific example of a light emission pattern obtained by a shape measuring device (see FIG. 9) in which one set of shape measuring units C1 to C4 are arranged at each of the four side ends of the moving body 8. FIG.
In the specific example of FIG. 11, for example, the flash lighting timings of the light projection devices 3a and 3b of the left and right shape measuring units C1 and C2 on the front end side portion of the moving body 8 are shifted with respect to the forward direction of the moving body 8. Therefore, the light emission pattern can be imaged by any one of the imaging devices 4a and 4b without fail, and at both ends of the light emission pattern, as shown as region Y in FIG. To control the timing of flash lighting so that an image can be captured.

これにより、移動体8の現在位置を途切れることなく連続的に計測することが可能となる。また、各発光パターンが重ならないようにフラッシュ点灯のタイミングを制御することも可能であり、各発光パターンの特徴点の分離、特定が容易になる。
また、後進方向についても移動体8の後端部側部の左右の形状測定部C3、C4により、同様にフラッシュ点灯のタイミングを制御する。
This makes it possible to continuously measure the current position of the moving body 8 without interruption. It is also possible to control the timing of flash lighting so that each light emission pattern does not overlap, which facilitates separation and identification of characteristic points of each light emission pattern.
In addition, in the backward direction, the timing of lighting the flash is similarly controlled by the left and right shape measuring units C3 and C4 on the rear end side portion of the moving body 8 .

ところで、車輪9で走行する移動体8に固定された投光装置3と走行面12との距離は既知であるので、発光パターン(輝度分布)投影面の実距離は、既知とすることができる。 By the way, since the distance between the light projecting device 3 fixed to the moving body 8 running on the wheels 9 and the running surface 12 is known, the actual distance of the light emission pattern (luminance distribution) projection surface can be known. .

したがって、走行面12上のこの発光パターンを撮像装置4a、4bで読み取り、画像処理装置5で各撮像画像の同じポイントを発光パターンの既知の特徴点情報より抽出して同定し、その同定結果より三角測量法により各ポイント間の距離を計算することができる。そして、この計算データからデータ生成ソフト部6にて、高精度の2D/3D経路データを作成することができる。 Therefore, the light emission pattern on the running surface 12 is read by the imaging devices 4a and 4b, and the same point of each captured image is extracted from the known feature point information of the light emission pattern by the image processing device 5 and identified. The distance between each point can be calculated by triangulation. Then, the data generation software unit 6 can generate highly accurate 2D/3D route data from this calculated data.

従来の距離、形状計測手段において、車輪9により駆動される移動体8の走行では、走行中にすべりが発生し、車輪駆動情報からの走行経路測定だけでは累積誤差が出る問題があり、この累積誤差をキャンセルするために、走行面に位置同定のためシールや、リニアの移動距離を計測するための磁気テープを貼るなどの事前作業が必要となっていた。 In the conventional distance and shape measuring means, when the mobile body 8 driven by the wheels 9 runs, slippage occurs during running, and there is a problem that cumulative error occurs only by measuring the running route from the wheel drive information. In order to cancel the error, it was necessary to do some preliminary work, such as attaching a sticker on the running surface for position identification and magnetic tape for measuring the linear movement distance.

しかしながら、本実施形態の距離、形状計測装置によれば、シールや磁気テープ設置等の事前作業が不要となり、作業負担やコストの軽減化を図ることができるとともに、4セットの形状測定部C1~C4を用いることで、累積誤差を少なくし、より高精度の距離、形状計測が可能となる。 However, according to the distance and shape measuring device of this embodiment, pre-work such as seals and magnetic tape installation is not required, and it is possible to reduce the work burden and cost, and four sets of shape measurement units C1 to By using C4, it is possible to reduce the accumulated error and measure the distance and shape with higher accuracy.

(変形例)
本変形例では、図12(a)、(b)に示すように、形状測定部C1~C4をクローラ走行式の移動体8に適用した構成例である。
(Modification)
In this modified example, as shown in FIGS. 12A and 12B, the shape measuring units C1 to C4 are applied to a crawler-type moving body 8. FIG.

従来のクローラ走行式の移動体8では、左右のクローラ17の速度差を与えることで、移動体8の旋回を行っており、その時、左右のクローラは走行面12に対し滑りを発生する。そのため、クローラ17の回転量から走行距離を計測することが困難で、正確な経路を算出することも難しかった。 In the conventional crawler-type moving body 8 , the moving body 8 turns by giving a speed difference between the left and right crawlers 17 . Therefore, it was difficult to measure the travel distance from the amount of rotation of the crawler 17, and it was also difficult to calculate an accurate route.

本変形例によれば、上記第8の実施形態と同様に、走行面12に形成した発光パターンから移動距離を読み取っているので、累積誤差が少ない、より高精度の距離、形状計測が可能となる。
なお、その他の作用効果は、上記第8の実施形態と同様なので説明を省略する。
According to this modification, as in the eighth embodiment, since the movement distance is read from the light emitting pattern formed on the running surface 12, it is possible to measure the distance and shape with less accumulated error and with higher accuracy. Become.
Other effects are the same as those of the eighth embodiment, so description thereof will be omitted.

[第9の実施形態]
第9の実施形態に係る物体の距離、形状計測装置及び計測方法について、図13、図14を用いて説明する。
[Ninth Embodiment]
An object distance/shape measuring apparatus and measuring method according to the ninth embodiment will be described with reference to FIGS. 13 and 14. FIG.

(構成)
本実施形態では、第8の実施形態で説明したクローラ走行式の移動体8の上部に、形状測定部Dが先端部に取り付けられた多関節アーム15を搭載し、例えば、広範囲の壁面に複数のネジ穴を開ける作業を行うため、作業対象の壁面の2次元/3次元マップを作成する例について説明する。
(composition)
In this embodiment, a multi-joint arm 15 having a shape measuring unit D attached to its tip is mounted on the upper part of the crawler-type moving body 8 described in the eighth embodiment. An example of creating a two-dimensional/three-dimensional map of a wall surface to be worked on in order to drill a screw hole will be described.

多自由度の多関節アーム15は、図13に示すように、塗布装置2、投光装置3、乾燥装置7及び2台の立体カメラからなる撮像装置4を1セットとする形状測定部Dを多関節アーム15の先端のエンドエフェクタ18に取付け固定する。なお、塗布装置2、投光装置3、乾燥装置7及び撮像装置4の具体的構成は上記実施形態のものと重複するので説明を省略する。
また、移動体8としてクローラ走行式の代わりに車輪9を用いた移動体8にも適用できることはもちろんである。
As shown in FIG. 13, the multi-degree-of-freedom multi-joint arm 15 includes a shape measuring section D including a coating device 2, a light projecting device 3, a drying device 7, and an imaging device 4 consisting of two stereoscopic cameras. It is attached and fixed to the end effector 18 at the tip of the articulated arm 15 . The specific configurations of the coating device 2, the light projecting device 3, the drying device 7, and the imaging device 4 are the same as those of the above-described embodiment, so description thereof will be omitted.
In addition, it is of course possible to apply the mobile body 8 to a mobile body 8 using wheels 9 instead of the crawler type mobile body 8 .

(作用効果)
まず、作業開始前に、撮像装置4にてネジ穴作業の基点20となるポイント(本例では、例えば、ドア枠14を基準位置と想定)を認識し(図14参照)、移動体8を位置決めし、移動体8の動きと多関節アーム15の動作により、基点20から特定のネジ穴位置22の方向に向かって、ネジ穴位置22付近まで万遍なく蓄光塗料Aを塗布する。
(Effect)
First, before starting the work, the imaging device 4 recognizes a point that will be the base point 20 of the screw hole work (in this example, for example, the door frame 14 is assumed to be the reference position) (see FIG. 14), and the moving body 8 is positioned. After positioning, the movement of the moving body 8 and the operation of the articulated arm 15 apply the luminous paint A evenly from the reference point 20 toward the direction of the specific screw hole position 22 to the vicinity of the screw hole position 22.例文帳に追加

移動中、壁面13と形状測定部Dとの距離は、壁面13と走行面12との境界線23を撮像装置4で認識することや、移動体8自身が有する形状測定部C1~C4による移動体8の距離測定機能により、壁面13に対して一定距離を維持しながら形状測定部を移動させることが可能である。 During movement, the distance between the wall surface 13 and the shape measuring unit D can be determined by recognizing the boundary line 23 between the wall surface 13 and the running surface 12 by the imaging device 4, or by the shape measuring units C1 to C4 of the moving body 8 itself. Due to the distance measuring function of the body 8 it is possible to move the shape measuring part while maintaining a constant distance with respect to the wall surface 13 .

この塗布作業を完了した後、移動体8を基点20まで戻し、多関節アーム15を塗布した面に位置決めし、投光装置3により蓄光塗料Aに発光パターン(濃度分布又は意図的なパターン)を投光し、発光させる。 After completing this coating operation, the movable body 8 is returned to the base point 20, the articulated arm 15 is positioned on the coated surface, and the light emitting device 3 projects a light emission pattern (density distribution or intentional pattern) onto the phosphorescent paint A. Light up and light up.

この発光パターンを、撮像装置4により撮影し、得られた撮像画像の特徴点を画像処理装置5で分析し、それぞれの同一ポイントの3次元の位置を三角測量法より求め、壁面13の2D/3Dデータをデータ生成ソフト部6で作成する。 This light emission pattern is photographed by the imaging device 4, the characteristic points of the obtained captured image are analyzed by the image processing device 5, the three-dimensional positions of the same points are obtained by triangulation, and the 2D/ 3D data is created by the data generation software unit 6 .

この2D/3Dデータより、多関節アーム15から壁面13までの距離、姿勢を計算し、多関節アーム15と壁面13との位置、姿勢が一定となるように移動体8と多関節アーム15を移動制御する。 Based on this 2D/3D data, the distance and posture from the articulated arm 15 to the wall surface 13 are calculated. Control movement.

多関節アーム15が一定速度で一定距離移動する毎にこの作業が行われ、この作業は、最終的に多関節アームが塗布終了点(本例では特定のネジ穴位置22)まで到達するまでに繰り返される。 This work is performed each time the articulated arm 15 moves at a constant speed for a certain distance, and this work is performed until the articulated arm finally reaches the application end point (specific screw hole position 22 in this example). Repeated.

本実施形態によれば、各撮像画像の特徴点の間の距離を三角測量計算により求めることができ、移動体8や多関節アーム15が移動又は動作中でも、撮像画像は移動しないので、累積誤差がない距離、形状計測を行うことができる。 According to this embodiment, the distance between the feature points of each captured image can be obtained by triangulation calculation. There is no distance, shape measurement can be done.

また、第3の実施形態で説明した液晶プロジェクタ3-3を用いた場合等は、バーコード状の発光パターンを得ることができるようになり、絶対位置式の磁気エンコーダの磁気パターンのような効果を得ることも可能である。 In addition, when the liquid crystal projector 3-3 described in the third embodiment is used, it becomes possible to obtain a barcode-like light emission pattern, which has an effect similar to the magnetic pattern of an absolute position type magnetic encoder. It is also possible to obtain

なお、本実施形態では、蓄光塗料を開始点から最終点まで塗布した後、開始点に戻って発光パターンを形成しているが、第1~第8の実施形態で説明したように、塗布作業と同時に発光パターンを形成、撮像するようにしてもよい。 In this embodiment, after the phosphorescent paint is applied from the starting point to the final point, the luminous pattern is formed by returning to the starting point. At the same time, a light emission pattern may be formed and imaged.

また、本実施形態では、形状測定部Dの撮像装置4として2台のカメラからなる立体カメラを用いているが、これに限定されず、撮像装置4として1台のカメラを用い、当該カメラの視野範囲中の特定の1点の距離を非接触にて計測可能な光学系式距離センサを搭載することで、撮像装置4と撮影面までの距離が特定できるため、立体カメラによる三角測量法と同等の距離、形状計測が可能である。 Further, in the present embodiment, a stereoscopic camera consisting of two cameras is used as the imaging device 4 of the shape measuring unit D, but the present invention is not limited to this, and one camera is used as the imaging device 4. By installing an optical distance sensor capable of non-contact measurement of the distance to a specific point in the field of view, the distance between the imaging device 4 and the imaging plane can be specified. Equivalent distance and shape measurements are possible.

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。また、これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the invention have been described above, these embodiments are presented by way of example and are not intended to limit the scope of the invention. In addition, these novel embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and equivalents thereof.

A…蓄光塗料、B、B1、B2、C1~C4、D…形状測定部、1…距離、形状計測装置、2…塗布装置、3…投光装置、3-1…フラッシュ装置、3-2…光源、3-3…液晶プロジェクタ、4…撮像装置、5…画像処理装置、6…データ生成ソフト部、7…乾燥装置、8…移動体、9…車輪、10…制御装置、11…色フィルタ、12…走行面、13…壁面、15…多関節アーム、17…クローラ、18…エンドエフェクタ A... Phosphorescent paint, B, B1, B2, C1 to C4, D... Shape measuring unit, 1... Distance, shape measuring device, 2... Coating device, 3... Projector, 3-1... Flash device, 3-2 Light source 3-3 Liquid crystal projector 4 Imaging device 5 Image processing device 6 Data generation software unit 7 Drying device 8 Moving body 9 Wheel 10 Control device 11 Color Filter 12 Running surface 13 Wall surface 15 Articulated arm 17 Crawler 18 End effector

Claims (10)

対象物に蓄光塗料を塗布する塗布装置と、前記蓄光塗料を発光させるための光を投光する投光装置と、前記蓄光塗料が発光した光を撮像する撮像装置と、前記撮像装置に接続され、前記撮像装置が撮像した撮像データに基づいて特徴点を特定する画像処理装置と、前記画像処理装置に接続され、2次元又は3次元マップを作成し物体の距離、形状を求める制御装置を有する物体の距離、形状計測装置。 A coating device for applying a phosphorescent paint to an object, a light projecting device for projecting light for causing the phosphorescent paint to emit light, an imaging device for capturing an image of the light emitted by the phosphorescent paint, and an imaging device connected to the imaging device. , an image processing device for identifying feature points based on image data captured by the imaging device; and a control device connected to the image processing device for creating a two-dimensional or three-dimensional map and obtaining the distance and shape of an object. Object distance and shape measurement device. 前記投光装置は、フラッシュ装置、光源及び液晶プロジェクタを備え、スポット状又はスリット状の光あるいは一次元又は2次元のバーコード状の光を前記蓄光塗料に投光する請求項1記載の物体の距離、形状計測装置。 2. The object according to claim 1, wherein said light projecting device comprises a flash device, a light source and a liquid crystal projector, and projects spot-shaped or slit-shaped light or one-dimensional or two-dimensional barcode-shaped light onto said phosphorescent paint. Distance and shape measuring device. 前記撮像装置は複数のカメラからなる立体カメラ又はラインセンサである請求項1又は2に記載の物体の距離、形状計測装置。 3. The object distance and shape measuring apparatus according to claim 1, wherein said imaging device is a stereoscopic camera or a line sensor comprising a plurality of cameras. 前記撮像装置に特定の波長の光のみを透過させるフィルタを設けた請求項1乃至3のいずれか1項に記載の物体の距離、形状計測装置。 4. The object distance and shape measuring apparatus according to any one of claims 1 to 3, wherein the imaging device is provided with a filter for transmitting only light of a specific wavelength. 前記塗布装置に隣接して乾燥装置を設けた請求項1乃至4のいずれか1項に記載の物体の距離、形状計測装置。 5. An object distance and shape measuring apparatus according to claim 1, further comprising a drying device adjacent to said coating device. 少なくとも前記塗布装置、前記投光装置及び前記撮像装置からなる1セットの形状測定部を、移動体の中央部に配置した請求項1乃至5のいずれか1項に記載の物体の距離、形状計測装置。 6. The object distance and shape measurement according to any one of claims 1 to 5, wherein a set of shape measurement units comprising at least the coating device, the light projection device, and the imaging device is arranged in the center of the moving body. Device. 少なくとも前記塗布装置、前記投光装置及び前記撮像装置からなる1セットの形状測定部を、移動体の車輪の両側にそれぞれ配置するとともに、前記塗布装置、前記投光装置及び前記撮像装置の配列順は相互に逆向きである請求項1乃至5のいずれか1項に記載の物体の距離、形計測装置。 A set of shape measuring units comprising at least the coating device, the light projection device, and the imaging device are arranged on both sides of the wheels of the moving body, and the coating device, the light projection device, and the imaging device are arranged. 6. The object distance and shape measuring device according to claim 1, wherein the order is opposite to each other. 少なくとも前記塗布装置、前記投光装置及び前記撮像装置からなる1セットの形状測定部を、移動体の前端部及び後端部の両側部にそれぞれ配置するとともに、前記前端部及び後端部に設けられた前記塗布装置、前記投光装置及び前記撮像装置の配列順は相互に逆向きである請求項1乃至5のいずれか1項に記載の物体の距離、形状計測装置。 A set of shape measuring units comprising at least the coating device, the light projecting device, and the imaging device are arranged on both sides of the front end and the rear end of the moving body, respectively, and at the front end and the rear end. 6. The object distance and shape measuring apparatus according to claim 1, wherein the coating device, the light projecting device, and the imaging device are arranged in the opposite order to each other. 前記移動体に多関節アームを搭載し、前記多関節アームの先端に少なくとも前記塗布装置、前記投光装置及び前記撮像装置からなる1セットの形状測定部を配置した請求項6乃至8のいずれか1項に記載の物体の距離、形状計測装置。 9. Any one of claims 6 to 8, wherein an articulated arm is mounted on said moving body, and a set of shape measuring units comprising at least said coating device, said light projecting device and said imaging device are arranged at the tip of said articulated arm. 2. The object distance and shape measuring device according to 1 or 2 above. 塗布装置により対象物に蓄光塗料を塗布する塗布ステップと、投光装置により前記蓄光塗料を発光させるための光を投光する投光ステップと、撮像装置により前記蓄光塗料が発光した光を撮像する撮像ステップと、画像処理装置により前記撮像装置が撮像した撮像データに基づいて特徴点を特定する特定ステップと、制御装置により前記特徴点を用いて2次元又は3次元マップを作成し物体の距離、形状を求める距離、形状計測ステップと、を有する物体の距離、形状計測方法。
A coating step of applying a luminous paint to an object with a coating device, a light projecting step of projecting light for causing the luminous paint to emit light from a light projecting device, and an imaging device capturing an image of the light emitted by the luminous paint. an image capturing step, a specifying step of specifying a feature point based on image data captured by the image capturing device by an image processing device, a two-dimensional or three-dimensional map created by a control device using the feature point, and an object distance; A distance and shape measuring method for an object, comprising a distance and shape measuring step for obtaining a shape.
JP2019166036A 2019-09-12 2019-09-12 Object distance, shape measuring device and measuring method Active JP7242482B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019166036A JP7242482B2 (en) 2019-09-12 2019-09-12 Object distance, shape measuring device and measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019166036A JP7242482B2 (en) 2019-09-12 2019-09-12 Object distance, shape measuring device and measuring method

Publications (2)

Publication Number Publication Date
JP2021043092A JP2021043092A (en) 2021-03-18
JP7242482B2 true JP7242482B2 (en) 2023-03-20

Family

ID=74863920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019166036A Active JP7242482B2 (en) 2019-09-12 2019-09-12 Object distance, shape measuring device and measuring method

Country Status (1)

Country Link
JP (1) JP7242482B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021187316A1 (en) * 2020-03-17 2021-09-23 ミネベアミツミ株式会社 Object three-dimensional data measurement method, object three-dimensional data measurement device, learning data generation method, and learning data generation device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007170851A (en) 2005-12-19 2007-07-05 Yokohama Rubber Co Ltd:The Method and system for measuring road surface shape
JP2009545818A (en) 2006-07-31 2009-12-24 オンライブ インコーポレイテッド System and method for performing motion capture and image reconstruction

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0914943A (en) * 1995-06-29 1997-01-17 Mitsubishi Heavy Ind Ltd Road surface condition measuring device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007170851A (en) 2005-12-19 2007-07-05 Yokohama Rubber Co Ltd:The Method and system for measuring road surface shape
JP2009545818A (en) 2006-07-31 2009-12-24 オンライブ インコーポレイテッド System and method for performing motion capture and image reconstruction

Also Published As

Publication number Publication date
JP2021043092A (en) 2021-03-18

Similar Documents

Publication Publication Date Title
JP2005516759A (en) Application method of paint or varnish
US6301763B1 (en) Determining position or orientation of object in three dimensions
CN106697326A (en) Advanced automated process for the wing-to-body join of an aircraft with predictive surface scanning
US10638899B2 (en) Cleaner
KR20160044432A (en) Systems and methods for tracking location of movable target object
ITRE20070116A1 (en) '' DEVICE AND METHOD FOR VERIFYING THE STRUCTURE OF A VEHICLE ''
CA2554031A1 (en) Method for automatically applying and controlling a structure applicable on a substrate and device for carrying out said method
KR101071109B1 (en) Wall climbing printing method and system thereof
US10837770B2 (en) Surface measurement by means of excited fluorescence
US20150331424A1 (en) Method of controlling a cleaner
JP7242482B2 (en) Object distance, shape measuring device and measuring method
JP7251240B2 (en) Optical devices, detection devices and electronics
US11688030B2 (en) Shading topography imaging for robotic unloading
CN111168669B (en) Robot control method, robot, and readable storage medium
CN104215200A (en) Device and method for the simultaneous three-dimensional measurement of surfaces with several wavelengths
KR20160099403A (en) Unlimited movable marking system and marking method thereof
KR100919944B1 (en) Map Creation system and Map Creation Method of Mobile Robot
US20130113890A1 (en) 3d location sensing system and method
JP2009175066A (en) Mobile robot and scanning speed control method of laser range sensor
KR102290218B1 (en) Position tracking system using a plurality of cameras and method for position tracking using the same
JP7184243B2 (en) POSITION RECOGNIZATION METHOD, POSITION RECOGNIZATION DEVICE, REFERENCE POINT SETTING MOBILE, WORK MOBILE, AND POSITION RECOGNIZATION SYSTEM
US20200205633A1 (en) Arrangement and Method for Contactless Distance Determination of the Type of the Light Intersection Method
JP2018024374A (en) Vehicular projection unit
JP2019137113A (en) Vehicle position estimation system and automatic valet parking system
JP3682461B1 (en) Drilling positioning control method for bogie mounted carriage

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230308

R150 Certificate of patent or registration of utility model

Ref document number: 7242482

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150