JP7242482B2 - Object distance, shape measuring device and measuring method - Google Patents
Object distance, shape measuring device and measuring method Download PDFInfo
- Publication number
- JP7242482B2 JP7242482B2 JP2019166036A JP2019166036A JP7242482B2 JP 7242482 B2 JP7242482 B2 JP 7242482B2 JP 2019166036 A JP2019166036 A JP 2019166036A JP 2019166036 A JP2019166036 A JP 2019166036A JP 7242482 B2 JP7242482 B2 JP 7242482B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- shape measuring
- distance
- imaging device
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明の実施形態は、物体の距離、形状計測装置及び計測方法に関する。 TECHNICAL FIELD Embodiments of the present invention relate to an object distance and shape measuring apparatus and measuring method.
従来の物体までの距離計測や物体の2次元/3次元の形状計測技術では、対象物に光を投射し、反射光を検出してタイムオブフライト法により対象物までの距離を算出する手段や、反射光をラインセンサや立体カメラで検出し三角測量法により対象物までの距離を算出する手段が一般的である。これらの計測手段は、計測装置を静止した状態で計測データを取得し、対象物までの距離、位置及び形状を算出する。 Conventional distance measurement to an object and 2D/3D shape measurement technology for an object include means for projecting light onto an object, detecting the reflected light, and calculating the distance to the object using the time-of-flight method. In general, the reflected light is detected by a line sensor or a stereoscopic camera, and the distance to the object is calculated by triangulation. These measurement means obtain measurement data while the measurement device is stationary, and calculate the distance, position and shape of the object.
これらの計測データに基づき、計測装置を搭載した自立型移動車や多関節アームとの位置関係を特定するには、対象物の特徴点の特定及び照合が必要となる。また、この特徴点の特定及び照合は、立体カメラで撮像した左右映像の各ポイントを照合する際も必要となっている。 Based on these measurement data, it is necessary to specify and collate the feature points of the object in order to specify the positional relationship with the self-supporting mobile vehicle and the articulated arm equipped with the measuring device. In addition, specifying and collating this feature point is also necessary when collating each point of the left and right images captured by the stereoscopic camera.
上述したように、物体の距離や位置及び形状計測技術では特徴点を特定し照合する必要があるが、例えば均一な円形パイプ内を自立走行する移動ロボット等からなる移動体では、センサの視野内に特徴点がなく、距離、形状の計測データとの照合に利用することができない。 As mentioned above, in the distance, position and shape measurement technology of an object, it is necessary to identify and collate feature points. There is no feature point in the , and it cannot be used for collation with the measurement data of distance and shape.
そこで、移動体の車輪の回転量をエンコーダでカウントして移動距離を計測する方法や、ジャイロ等を搭載して経路計算する方法等が一般的に用いられているが、これらの移動体の状態を検知する内界センサによる計測では、累積誤差が発生し、移動距離が長くなるにつれて、移動体の位置情報を正確に把握することができなくなるという課題があった。 Therefore, a method of counting the amount of rotation of the wheels of a moving object with an encoder to measure the movement distance, or a method of calculating a route using a gyro or the like is generally used. In the measurement using an internal sensor that detects , there is a problem that an accumulated error occurs, and as the movement distance increases, it becomes impossible to accurately grasp the position information of the moving object.
また、多関節アームに計測装置を搭載した距離、形状計測技術では、多関節アームが対象物に接近するとセンサの視野範囲が均一な平面又は曲面となり、特徴点を見いだすことができず、距離、計測データとの照合に利用することができない。 In addition, in the distance and shape measurement technology in which a measuring device is mounted on an articulated arm, when the articulated arm approaches an object, the field of view of the sensor becomes a uniform plane or curved surface, making it impossible to find feature points. It cannot be used for comparison with measurement data.
そこで、計測装置が接近する対象面にシンボルシールやバーコードシール等を貼り付けて特徴点とする方法、又は対象物が自動車等の場合、誘導シールを走行面に貼り付けて特徴点とする方法等が用いられているが、適用分野が限定されているとともに、事前作業負担及び作業コストが増大するという課題があった。 Therefore, there is a method of attaching symbol stickers, bar code stickers, etc. to the target surface approached by the measuring device and using them as feature points, or if the target object is an automobile, etc., a method of attaching guide stickers to the running surface and using them as feature points. etc. have been used, but there have been problems in that the field of application is limited and that the preliminary work burden and work cost increase.
本発明の実施形態は上述した課題を解決するためになされたもので、特徴点の特定が困難な対象物に対して、蓄光塗料を用いて特徴点を形成することで、物体の距離、姿勢、形状等を高精度で計測することができる物体の距離、形状計測装置及び計測方法を提供することを目的とする。 The embodiments of the present invention have been made to solve the above-described problems. By forming feature points using phosphorescent paint on an object whose feature points are difficult to identify, the distance and orientation of the object can be calculated. It is an object of the present invention to provide an apparatus and method for measuring the distance and shape of an object, which can measure the shape, etc., of an object with high precision.
上記課題を解決するために、本実施形態に係る物体の距離、形状計測装置は、対象物に蓄光塗料を塗布する塗布装置と、前記蓄光塗料を発光させるための光を投光する投光装置と、前記蓄光塗料が発光した光を撮像する撮像装置と、前記撮像装置に接続され、前記撮像装置が撮像した撮像データに基づいて特徴点を特定する画像処理装置と、前記画像処理装置に接続され、2次元又は3次元マップを作成し物体の距離、形状を求める制御装置を有する。 In order to solve the above problems, the object distance and shape measuring apparatus according to the present embodiment includes a coating device that applies a luminous paint to an object and a light projecting device that projects light for causing the luminous paint to emit light. an imaging device for capturing an image of the light emitted by the phosphorescent paint; an image processing device connected to the imaging device for identifying a characteristic point based on image data captured by the imaging device; and a connection to the image processing device. and has a control device that creates a two-dimensional or three-dimensional map and obtains the distance and shape of an object.
また、本実施形態に係る物体の距離、形状計測方法は、塗布装置により対象物に蓄光塗料を塗布する塗布ステップと、投光装置により前記蓄光塗料を発光させるための光を投光する投光ステップと、撮像装置により前記蓄光塗料が発光した光を撮像する撮像ステップと、画像処理装置により前記撮像装置が撮像した撮像データに基づいて特徴点を特定する特定ステップと、制御装置により前記特徴点を用いて2次元又は3次元マップを作成し物体の距離、形状を求める距離、形状計測ステップと、を有する。 Further, the method for measuring the distance and shape of an object according to the present embodiment includes a coating step of applying a luminous paint to an object using an applicator, and a light projecting step of projecting light for causing the luminous paint to emit light using a light projecting device. an imaging step of imaging the light emitted by the phosphorescent paint with an imaging device; an identifying step of identifying a characteristic point based on imaging data captured by the imaging device with an image processing device; and a control device controlling the characteristic point. is used to create a two-dimensional or three-dimensional map to determine the distance and shape of the object, and the shape measurement step.
本発明の実施形態によれば、特徴点の特定及び照合が困難な対象物に対して、蓄光塗料を用いて特徴点を形成することで、物体の距離や位置及び形状を高精度で計測することが可能となる。 According to an embodiment of the present invention, the distance, position, and shape of an object can be measured with high precision by forming feature points using phosphorescent paint on an object whose feature points are difficult to identify and match. becomes possible.
以下、本発明に係る物体の距離、形状計測装置及び計測方法の実施形態について、図面を参照して説明する。
[第1の実施形態]
第1の実施形態に係る物体の距離、形状計測装置及び計測方法について、図1及び図2を用いて説明する。なお、本実施形態では距離、形状計測装置が床面上を移動する移動体に搭載されている例について説明する。
BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of an object distance/shape measuring apparatus and measuring method according to the present invention will be described below with reference to the drawings.
[First Embodiment]
An object distance/shape measuring apparatus and measuring method according to the first embodiment will be described with reference to FIGS. 1 and 2. FIG. In this embodiment, an example in which the distance and shape measuring device is mounted on a moving object that moves on the floor will be described.
(構成)
本実施形態に係る距離、形状計測装置1は、図1に示すように、例えば床面等の走行面12を移動する自立移動型の移動体8、移動体8に設けられ、蓄光塗料Aをスプレー塗布する塗布装置2、蓄光塗料Aを発光させる波長の光を投光する投光装置3、蓄光塗料Aからの発光状態を撮像する立体カメラやラインセンサ等からなる撮像装置4、撮像装置4に接続された画像処理装置5、画像処理装置5に接続され2次元/3次元マップを作成するためのデータ生成ソフト部6、移動体8の走行制御及び塗布装置2乃至データ生成ソフト部6の各構成要素を統括的に制御する制御装置10、から構成される。
(composition)
As shown in FIG. 1, the distance and
本実施形態では、塗布装置2及び投光装置3は移動体8の前部及び後部に設けられ、それぞれ前部及び後部から塗布装置2、投光装置3の順で設けられている。
図2は、距離、形状計測装置1を構成する各構成要素の制御ブロック図で、制御装置10が移動体8の走行制御及び塗布装置2乃至データ生成ソフト部6を統括的に制御する例を示している。
In this embodiment, the
FIG. 2 is a control block diagram of each component constituting the distance and
また、本実施形態では、自立移動型の移動体8のほか、無人走行台車、狭隘な空間を移動する移動ロボット、自動車等にも適用可能である。さらに、本実施形態では、画像処理装置5、データ生成ソフト部6及び制御装置10を移動体8に設ける例を示しているが、これに限定されず、通信環境が整っていれば移動体8以外の場所に設けてもよい。
Further, in addition to the self-reliant moving
(作用)
上記のように構成された距離、形状計測装置1において、まず、塗布装置2により走行面12へ蓄光塗料Aをスプレー塗布する(塗布ステップ)。次に、蓄光塗料Aが塗布された走行面12に投光装置3により所定の波長の光を投光し、蓄光塗料Aを発光させる(投光ステップ)。その際、投光装置3はスポット光や所定形状のマーカ状又はパターン状の光を投光すれば、走行面12は同じ形状の光を一定時間発光し続けることになる。
(Action)
In the distance and
そして、この発光状態を2次元カメラやラインセンサ等からなる撮像装置4で撮像し(撮像ステップ)、その画像データを画像処理装置5に送る。画像処理装置5では、逐次発生する画像データから特徴点を特定し(特定ステップ)、特徴点のマップデータを作成し、2次元/3次元のデータ生成ソフト部6に伝達される。
Then, this light emitting state is imaged by an
データ生成ソフト部6は、投光装置3が投光した個々の発光マーカや発光パターン等からなる特徴点のマップデータと、撮像装置4が読み取った特徴点のマップデータとを照合する。そして、走行面12で発光した発光マーカや発光パターン等の特徴点間の距離、方位等を計算し、この結果から、走行経路の2次元/3次元マップを作成し、最終的に制御装置10により移動体8の現在位置、方位、移動速度等を求め、移動体8の距離、形状を計測する(距離、形状計測ステップ)。
The data
また、本実施形態では、塗布装置2及び投光装置3は移動体8の前部及び後部にそれぞれ逆向きに設けられているため、移動体8の移動方向が紙面左側(前進方向)又は右側(後進方向)のいずれであっても距離、形状計測を行うことができる。
In addition, in this embodiment, since the
(効果)
本実施形態によれば、蓄光塗料Aの発光作用を利用して、非接触で走行面12上にマーカ状やパターン状の光を描くことができるようになる。この発光マーカや発光パターンは走行経路上で一定時間発光し続けるので、特徴点が確実に形成されるとともに、特徴点を容易に特定することが可能となる。これにより、移動体8の2次元/3次元マップの作成、並びに移動体8の位置、方位及び速度等の計測を高精度で行うことができる。
(effect)
According to this embodiment, by utilizing the luminous effect of the phosphorescent paint A, it is possible to draw marker-like or pattern-like light on the running
また、蓄光塗料Aは一時的なマーカの機能を有するため、事前に走行経路上に軌道シール等を貼ったものと同様な効果を得ることができるとともに、マーカやパターンの形状を適宜変更することで識別が容易な特徴点を複数形成することができる。
さらに、事前に軌道シールを設置する等の作業も必要としないので、事前作業負担及び作業コストを軽減することができる。
In addition, since the phosphorescent paint A has the function of a temporary marker, it is possible to obtain the same effect as a track seal or the like pasted on the traveling route in advance, and the shapes of the markers and patterns can be changed as appropriate. can form a plurality of feature points that are easy to identify.
Furthermore, since work such as installing a track seal in advance is not required, the work load and work cost can be reduced.
[第2の実施形態]
第2の実施形態に係る物体の距離、形状計測装置及び計測方法について、図3を用いて説明する。
[Second embodiment]
An object distance/shape measuring apparatus and measuring method according to the second embodiment will be described with reference to FIG.
(構成)
移動体8が高速に移動しているような場合、通常の投光装置3では光量が不足し撮像装置4で読み取れるレベルの明るさに蓄光塗料Aを光らせることができない場合や、光パターンが流れて輪郭が不明瞭になる等の不具合が生じるリスクがあり、特徴点を的確に抽出することができない可能性がある。
(composition)
When the moving
そのため、本第2の実施形態では、蓄光塗料Aが高輝度でかつ明瞭なマーカ状又はパターン状の光を発光可能とするために、投光装置3にフラッシュ装置3-1を付加する構成としている。
Therefore, in the second embodiment, in order to enable the phosphorescent paint A to emit high-intensity and clear marker-like or pattern-like light, a flash device 3-1 is added to the light projecting
具体的には、図3に示すように、投光装置3に充電部とフラッシュ回路部等(図示せず)からなるフラッシュ装置3-1を設けた構成としている。
これにより、フラッシュ装置3-1を有さない投光装置3に比較して、平均出力は同じでも大きなエネルギーの光を極めて短時間だけ発光させることができる。
More specifically, as shown in FIG. 3, the
As a result, compared to the light projecting
(作用効果)
本第2の実施形態によれば、投光装置3にフラッシュ装置3-1を設けたことで、投光装置3からの光の投光時間が短くても、高エネルギーの光を投光可能となるため、蓄光塗料Aから静止した状態で一定時間投光した時とほぼ変わらないような鮮明で明るい発光を得ることができる。
これにより、移動体8が高速で移動している場合でも、特定可能な特徴点を確実に形成することができる。
(Effect)
According to the second embodiment, since the flash device 3-1 is provided in the light projecting
As a result, even when the moving
[第3の実施形態]
第3の実施形態に係る物体の距離、形状計測装置について、図4を用いて説明する。
[Third Embodiment]
An object distance and shape measuring apparatus according to the third embodiment will be described with reference to FIG.
(構成)
本実施形態では、投光装置3として、フラッシュ装置3-1、ランプ等からなる光源3-2及び液晶プロジェクタ3-3を用いる構成としている。光源3-2は蓄光塗料Aを発光させる波長の光を生成し、液晶プロジェクタ3-3は、制御装置10からの指令により、所定の発光パターンを生成するような制御が行われる。
(composition)
In this embodiment, as the
発光パターンとしては後述する図10や図11に示すようなバーコード状の発光パターンを用いることができるが、これ以外にも液晶プロジェクタ3-3を制御することで任意の発光パターンを生成することも可能である。 As the light emission pattern, a barcode-like light emission pattern as shown in FIGS. 10 and 11, which will be described later, can be used. In addition to this, an arbitrary light emission pattern can be generated by controlling the liquid crystal projector 3-3. is also possible.
(作用効果)
本実施形態によれば、液晶プロジェクタ3-3を制御することで、種々のパターンの発光パターンを生成することができるため、複数の特徴点を明瞭に区別して特定することが可能となる。
(Effect)
According to this embodiment, various light emission patterns can be generated by controlling the liquid crystal projector 3-3, so that it is possible to clearly distinguish and specify a plurality of feature points.
また、画像処理装置5は抽出すべき特徴点の情報を事前に有しているので、データ生成ソフト部6の処理負担を軽減化することができるため、短時間で高精度の移動体8の2次元/3次元マップを作成し、移動体8の位置、方位及び移動速度等を高精度で求めることができる。
In addition, since the
また、発光パターンを図10や図11に示すようなバーコード状にすると、リニアエンコーダに使用されている磁気シールと同じような効果、作用を得ることも可能となる。なお、発光パターンを二次元的な縞模様状にすると、移動体8の方位を認識させることや、走行面12上に固有情報を表示することも可能となる。
Also, if the light emission pattern is in the form of a bar code as shown in FIGS. 10 and 11, it is possible to obtain the same effect and action as the magnetic seal used in the linear encoder. If the light emission pattern is made into a two-dimensional striped pattern, it becomes possible to recognize the direction of the moving
[第4の実施形態]
第4の実施形態に係る物体の距離、形状計測装置及び計測方法について、図5を用いて説明する。
[Fourth embodiment]
An object distance/shape measuring apparatus and measuring method according to the fourth embodiment will be described with reference to FIG.
(構成)
本実施形態では、上記実施形態における撮像装置4の受光面に色フィルタ11を設ける構成としている。
(composition)
In this embodiment, a
本実施形態において、蓄光塗料Aは投光装置3から投光される所定の波長の光により、特定の色の光を発光させる。そして、撮像装置4では色フィルタ11により特定の色(波長)の光を有する画像のみが撮像装置4で撮像される。
In this embodiment, the phosphorescent paint A emits light of a specific color when light of a predetermined wavelength projected from the light projecting
(作用効果)
本実施形態によれば、2次元カメラやラインセンサ等からなる撮像装置4の受光面に、蓄光塗料Aが発光する特定の色の光のみを通過可能な色フィルタ11を設けたことにより、蓄光塗料Aで発光した色の画像のみが輝度情報として撮像装置4に取り込まれる。これにより、外光反射による光や走行面12上の他の光をノイズとして減光又は遮断することができるため、特徴点の特定をより高精度で行うことができる。
(Effect)
According to this embodiment, the light-receiving surface of the
[第5の実施形態]
第5の実施形態に係る物体の距離、形状計測装置及び計測方法について、図6を用いて説明する。
[Fifth Embodiment]
An object distance/shape measuring apparatus and measuring method according to the fifth embodiment will be described with reference to FIG.
(構成)
本実施形態では、塗布装置2に隣接してドライヤ等からなる乾燥装置7を設けた構成としている。
(composition)
In this embodiment, a
具体的には、図6に例示するように、移動体8の前部及び後部において、塗布装置2と投光装置3との間に乾燥装置7を設けている。乾燥装置7は温風等を送風する公知のドライヤ等の送風装置が用いられる。
Specifically, as illustrated in FIG. 6 , a
(作用効果)
投光装置3により所定の発光マーカや発光パターンを有する光が投光される際に、走行面12に塗布された蓄光塗料Aが十分乾燥していないと、発光パターンが固定されないで流動したり、輪郭が不明確となる場合があり、撮像装置4で特徴点を的確に特定できなくなる可能性がある。
(Effect)
When light having a predetermined luminous marker or luminous pattern is projected by the
本実施形態によれば、塗布装置2に隣接して乾燥装置7を設けたことで、塗布された蓄光塗料Aを速やかに乾燥させ、明瞭な発光パターンを得ることが可能となる。これにより、撮像装置4で特徴点を的確に把握することができるようになるため、特徴点の特定をより高精度で行うことができる。
According to this embodiment, since the
[第6の実施形態]
第6の実施形態に係る物体の距離、形状計測装置及び計測方法について、図7(a)、(b)を用いて説明する。
[Sixth Embodiment]
An object distance/shape measuring apparatus and measuring method according to the sixth embodiment will be described with reference to FIGS.
本実施形態は、塗布装置2、投光装置3、乾燥装置7及び立体カメラ4-1、4-2からなる撮像装置4を1セットの形状測定部Bとした場合、1セットの形状測定部Bを移動体8の下部の中央部に配置した構成としている。
具体的には、図7(a)、(b)に例示するように、1セットの形状測定部Bを移動体8の下部で、かつ、左右一対の車輪9の間に配置している。
In this embodiment, when the
Specifically, as illustrated in FIGS. 7A and 7B, one set of shape measuring units B is arranged under the moving
本実施形態では、移動体8は図7(a)、(b)の紙面左側(便宜上、「前進方向」という。)に移動することを想定しており、1セットの形状測定部Bにより移動体8の距離、形状測定が可能である。
これにより、距離、形状計測装置1の小型化、演算処理負担の軽減化を図ることができる。
なお、本実施形態では、塗布装置2、投光装置3、乾燥装置7及び撮像装置4を1セットの形状測定部Bとしているが、乾燥装置7を省略してもよい。
In this embodiment, it is assumed that the moving
As a result, it is possible to reduce the size of the distance and
In addition, in this embodiment, the
[第7の実施形態]
第7の実施形態に係る物体の距離、形状計測装置及び計測方法について、図8(a)、(b)を用いて説明する。
[Seventh Embodiment]
An object distance/shape measuring apparatus and measuring method according to the seventh embodiment will be described with reference to FIGS.
本実施形態では、移動体8の車輪9に操舵可能なステアリング駆動軸9aを設け、塗布装置2、乾燥装置7、投光装置3及び撮像装置4(立体カメラ)からなる形状測定部B1、B2を、車輪9の両側にそれぞれ設けた構成としている。各形状測定部B1、B2は車輪9を支持固定する固定フレーム9bに取り付けられる。
In this embodiment, a steerable
また、形状測定部B1、B2は、移動体8が前進方向又は後進方向に移動する場合に備えて、形状測定部B1、B2を構成する塗布装置2、乾燥装置7、投光装置3及び撮像装置4を、相互に逆向きに配置している。
In addition, the shape measuring units B1 and B2 are provided with the
これにより、方向転換、前進又は後進等、いろいろな方向に移動する移動体8に対して、形状測定部B1、B2を車輪9の両側に設けたことで、移動体8の動きに沿った発光パターンを確実に形成することができるため、特徴点をより高精度で生成及び特定することができる。
By providing the shape measuring units B1 and B2 on both sides of the
[第8の実施形態]
第8の実施形態に係る物体の距離、形状計測装置及び計測方法について、図9~図11を用いて説明する。
[Eighth Embodiment]
An object distance/shape measuring apparatus and measuring method according to the eighth embodiment will be described with reference to FIGS. 9 to 11. FIG.
(構成)
本実施形態は、図9(a)、(b)に例示するように、移動体8の4つの側端部にそれぞれ1セットの形状測定部C1~C4を配置している。1つの形状測定部C1は、塗布装置2a、乾燥装置7a、フラッシュ装置3-1、光源3-2、液晶プロジェクタ3-3からなる投光装置3a、立体カメラ(ラインセンサを含む)からなる撮像装置4aからなり、各形状測定部C1~C4は、図10に示すように、一定区間移動する毎にバーコード状の発光パターンをフラッシュ点灯により形成する。
なお、移動体8が前進方向に移動する場合は形状測定部C1、C2が使用され、後進方向に移動する場合は、形状測定部C3、C4が使用される。
(composition)
In this embodiment, as illustrated in FIGS. 9A and 9B, one set of shape measuring units C1 to C4 are arranged at each of the four side ends of the moving
The shape measuring units C1 and C2 are used when the moving
(作用効果)
まず、移動体8が前進方向に移動開始すると、同時に塗布装置2により蓄光塗料Aを走行面12に散布し、乾燥装置7により速やかに乾燥される。次いで、投光装置3のフラッシュ点灯によりバーコード状の発光パターンが走行面に投光され、投光された部分は一定時間発光を継続する。
図10は上記のようにして形成されたバーコード状の発光パターンa1~anの模式図である。
(Effect)
First, when the moving
FIG. 10 is a schematic diagram of barcode-like light emission patterns a1 to an formed as described above.
投光装置3から投光される光領域は投光角度に応じた一定の面積を有しており、図10に示すように、次にフラッシュ点灯する領域と相互に重複しないように、好ましくは所定幅の非投光領域が形成されるように、制御装置10により移動体8の移動速度及び/又は投光装置3のフラッシュ点灯のタイミングが制御される。
なお、フラッシュ点灯のタイミングは、撮像装置4で得られた撮像結果に基づいて制御装置10が決定するようにしてもよい。
The light area projected from the light projecting
Note that the timing of lighting the flash may be determined by the
図11は移動体8の4つの側端部にそれぞれ1セットの形状測定部C1~C4を配置している形状計測装置(図9参照)によって得られた発光パターンの具体例である。
図11の具体例では、例えば、移動体8の前進方向に対して移動体8の前端部側部の左右の形状測定部C1、C2の投光装置3a、3bのフラッシュ点灯のタイミングをずらすことで、必ずいずれかの撮像装置4a、4bで発光パターンを撮像可能とするとともに、発光パターンの両端では、図11の領域Yとして図示しているように、撮像装置4a、4bが同時に発光パターンを撮像できるようにフラッシュ点灯のタイミングを制御する。
FIG. 11 is a specific example of a light emission pattern obtained by a shape measuring device (see FIG. 9) in which one set of shape measuring units C1 to C4 are arranged at each of the four side ends of the moving
In the specific example of FIG. 11, for example, the flash lighting timings of the
これにより、移動体8の現在位置を途切れることなく連続的に計測することが可能となる。また、各発光パターンが重ならないようにフラッシュ点灯のタイミングを制御することも可能であり、各発光パターンの特徴点の分離、特定が容易になる。
また、後進方向についても移動体8の後端部側部の左右の形状測定部C3、C4により、同様にフラッシュ点灯のタイミングを制御する。
This makes it possible to continuously measure the current position of the moving
In addition, in the backward direction, the timing of lighting the flash is similarly controlled by the left and right shape measuring units C3 and C4 on the rear end side portion of the moving
ところで、車輪9で走行する移動体8に固定された投光装置3と走行面12との距離は既知であるので、発光パターン(輝度分布)投影面の実距離は、既知とすることができる。
By the way, since the distance between the light projecting
したがって、走行面12上のこの発光パターンを撮像装置4a、4bで読み取り、画像処理装置5で各撮像画像の同じポイントを発光パターンの既知の特徴点情報より抽出して同定し、その同定結果より三角測量法により各ポイント間の距離を計算することができる。そして、この計算データからデータ生成ソフト部6にて、高精度の2D/3D経路データを作成することができる。
Therefore, the light emission pattern on the running
従来の距離、形状計測手段において、車輪9により駆動される移動体8の走行では、走行中にすべりが発生し、車輪駆動情報からの走行経路測定だけでは累積誤差が出る問題があり、この累積誤差をキャンセルするために、走行面に位置同定のためシールや、リニアの移動距離を計測するための磁気テープを貼るなどの事前作業が必要となっていた。
In the conventional distance and shape measuring means, when the
しかしながら、本実施形態の距離、形状計測装置によれば、シールや磁気テープ設置等の事前作業が不要となり、作業負担やコストの軽減化を図ることができるとともに、4セットの形状測定部C1~C4を用いることで、累積誤差を少なくし、より高精度の距離、形状計測が可能となる。 However, according to the distance and shape measuring device of this embodiment, pre-work such as seals and magnetic tape installation is not required, and it is possible to reduce the work burden and cost, and four sets of shape measurement units C1 to By using C4, it is possible to reduce the accumulated error and measure the distance and shape with higher accuracy.
(変形例)
本変形例では、図12(a)、(b)に示すように、形状測定部C1~C4をクローラ走行式の移動体8に適用した構成例である。
(Modification)
In this modified example, as shown in FIGS. 12A and 12B, the shape measuring units C1 to C4 are applied to a crawler-
従来のクローラ走行式の移動体8では、左右のクローラ17の速度差を与えることで、移動体8の旋回を行っており、その時、左右のクローラは走行面12に対し滑りを発生する。そのため、クローラ17の回転量から走行距離を計測することが困難で、正確な経路を算出することも難しかった。
In the conventional crawler-
本変形例によれば、上記第8の実施形態と同様に、走行面12に形成した発光パターンから移動距離を読み取っているので、累積誤差が少ない、より高精度の距離、形状計測が可能となる。
なお、その他の作用効果は、上記第8の実施形態と同様なので説明を省略する。
According to this modification, as in the eighth embodiment, since the movement distance is read from the light emitting pattern formed on the running
Other effects are the same as those of the eighth embodiment, so description thereof will be omitted.
[第9の実施形態]
第9の実施形態に係る物体の距離、形状計測装置及び計測方法について、図13、図14を用いて説明する。
[Ninth Embodiment]
An object distance/shape measuring apparatus and measuring method according to the ninth embodiment will be described with reference to FIGS. 13 and 14. FIG.
(構成)
本実施形態では、第8の実施形態で説明したクローラ走行式の移動体8の上部に、形状測定部Dが先端部に取り付けられた多関節アーム15を搭載し、例えば、広範囲の壁面に複数のネジ穴を開ける作業を行うため、作業対象の壁面の2次元/3次元マップを作成する例について説明する。
(composition)
In this embodiment, a
多自由度の多関節アーム15は、図13に示すように、塗布装置2、投光装置3、乾燥装置7及び2台の立体カメラからなる撮像装置4を1セットとする形状測定部Dを多関節アーム15の先端のエンドエフェクタ18に取付け固定する。なお、塗布装置2、投光装置3、乾燥装置7及び撮像装置4の具体的構成は上記実施形態のものと重複するので説明を省略する。
また、移動体8としてクローラ走行式の代わりに車輪9を用いた移動体8にも適用できることはもちろんである。
As shown in FIG. 13, the multi-degree-of-
In addition, it is of course possible to apply the
(作用効果)
まず、作業開始前に、撮像装置4にてネジ穴作業の基点20となるポイント(本例では、例えば、ドア枠14を基準位置と想定)を認識し(図14参照)、移動体8を位置決めし、移動体8の動きと多関節アーム15の動作により、基点20から特定のネジ穴位置22の方向に向かって、ネジ穴位置22付近まで万遍なく蓄光塗料Aを塗布する。
(Effect)
First, before starting the work, the
移動中、壁面13と形状測定部Dとの距離は、壁面13と走行面12との境界線23を撮像装置4で認識することや、移動体8自身が有する形状測定部C1~C4による移動体8の距離測定機能により、壁面13に対して一定距離を維持しながら形状測定部を移動させることが可能である。
During movement, the distance between the
この塗布作業を完了した後、移動体8を基点20まで戻し、多関節アーム15を塗布した面に位置決めし、投光装置3により蓄光塗料Aに発光パターン(濃度分布又は意図的なパターン)を投光し、発光させる。
After completing this coating operation, the
この発光パターンを、撮像装置4により撮影し、得られた撮像画像の特徴点を画像処理装置5で分析し、それぞれの同一ポイントの3次元の位置を三角測量法より求め、壁面13の2D/3Dデータをデータ生成ソフト部6で作成する。
This light emission pattern is photographed by the
この2D/3Dデータより、多関節アーム15から壁面13までの距離、姿勢を計算し、多関節アーム15と壁面13との位置、姿勢が一定となるように移動体8と多関節アーム15を移動制御する。
Based on this 2D/3D data, the distance and posture from the articulated
多関節アーム15が一定速度で一定距離移動する毎にこの作業が行われ、この作業は、最終的に多関節アームが塗布終了点(本例では特定のネジ穴位置22)まで到達するまでに繰り返される。
This work is performed each time the articulated
本実施形態によれば、各撮像画像の特徴点の間の距離を三角測量計算により求めることができ、移動体8や多関節アーム15が移動又は動作中でも、撮像画像は移動しないので、累積誤差がない距離、形状計測を行うことができる。 According to this embodiment, the distance between the feature points of each captured image can be obtained by triangulation calculation. There is no distance, shape measurement can be done.
また、第3の実施形態で説明した液晶プロジェクタ3-3を用いた場合等は、バーコード状の発光パターンを得ることができるようになり、絶対位置式の磁気エンコーダの磁気パターンのような効果を得ることも可能である。 In addition, when the liquid crystal projector 3-3 described in the third embodiment is used, it becomes possible to obtain a barcode-like light emission pattern, which has an effect similar to the magnetic pattern of an absolute position type magnetic encoder. It is also possible to obtain
なお、本実施形態では、蓄光塗料を開始点から最終点まで塗布した後、開始点に戻って発光パターンを形成しているが、第1~第8の実施形態で説明したように、塗布作業と同時に発光パターンを形成、撮像するようにしてもよい。 In this embodiment, after the phosphorescent paint is applied from the starting point to the final point, the luminous pattern is formed by returning to the starting point. At the same time, a light emission pattern may be formed and imaged.
また、本実施形態では、形状測定部Dの撮像装置4として2台のカメラからなる立体カメラを用いているが、これに限定されず、撮像装置4として1台のカメラを用い、当該カメラの視野範囲中の特定の1点の距離を非接触にて計測可能な光学系式距離センサを搭載することで、撮像装置4と撮影面までの距離が特定できるため、立体カメラによる三角測量法と同等の距離、形状計測が可能である。
Further, in the present embodiment, a stereoscopic camera consisting of two cameras is used as the
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。また、これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the invention have been described above, these embodiments are presented by way of example and are not intended to limit the scope of the invention. In addition, these novel embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and equivalents thereof.
A…蓄光塗料、B、B1、B2、C1~C4、D…形状測定部、1…距離、形状計測装置、2…塗布装置、3…投光装置、3-1…フラッシュ装置、3-2…光源、3-3…液晶プロジェクタ、4…撮像装置、5…画像処理装置、6…データ生成ソフト部、7…乾燥装置、8…移動体、9…車輪、10…制御装置、11…色フィルタ、12…走行面、13…壁面、15…多関節アーム、17…クローラ、18…エンドエフェクタ
A... Phosphorescent paint, B, B1, B2, C1 to C4, D... Shape measuring unit, 1... Distance, shape measuring device, 2... Coating device, 3... Projector, 3-1... Flash device, 3-2 Light source 3-3
Claims (10)
A coating step of applying a luminous paint to an object with a coating device, a light projecting step of projecting light for causing the luminous paint to emit light from a light projecting device, and an imaging device capturing an image of the light emitted by the luminous paint. an image capturing step, a specifying step of specifying a feature point based on image data captured by the image capturing device by an image processing device, a two-dimensional or three-dimensional map created by a control device using the feature point, and an object distance; A distance and shape measuring method for an object, comprising a distance and shape measuring step for obtaining a shape.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019166036A JP7242482B2 (en) | 2019-09-12 | 2019-09-12 | Object distance, shape measuring device and measuring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019166036A JP7242482B2 (en) | 2019-09-12 | 2019-09-12 | Object distance, shape measuring device and measuring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021043092A JP2021043092A (en) | 2021-03-18 |
JP7242482B2 true JP7242482B2 (en) | 2023-03-20 |
Family
ID=74863920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019166036A Active JP7242482B2 (en) | 2019-09-12 | 2019-09-12 | Object distance, shape measuring device and measuring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7242482B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021187316A1 (en) * | 2020-03-17 | 2021-09-23 | ミネベアミツミ株式会社 | Object three-dimensional data measurement method, object three-dimensional data measurement device, learning data generation method, and learning data generation device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007170851A (en) | 2005-12-19 | 2007-07-05 | Yokohama Rubber Co Ltd:The | Method and system for measuring road surface shape |
JP2009545818A (en) | 2006-07-31 | 2009-12-24 | オンライブ インコーポレイテッド | System and method for performing motion capture and image reconstruction |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0914943A (en) * | 1995-06-29 | 1997-01-17 | Mitsubishi Heavy Ind Ltd | Road surface condition measuring device |
-
2019
- 2019-09-12 JP JP2019166036A patent/JP7242482B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007170851A (en) | 2005-12-19 | 2007-07-05 | Yokohama Rubber Co Ltd:The | Method and system for measuring road surface shape |
JP2009545818A (en) | 2006-07-31 | 2009-12-24 | オンライブ インコーポレイテッド | System and method for performing motion capture and image reconstruction |
Also Published As
Publication number | Publication date |
---|---|
JP2021043092A (en) | 2021-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005516759A (en) | Application method of paint or varnish | |
US6301763B1 (en) | Determining position or orientation of object in three dimensions | |
CN106697326A (en) | Advanced automated process for the wing-to-body join of an aircraft with predictive surface scanning | |
US10638899B2 (en) | Cleaner | |
KR20160044432A (en) | Systems and methods for tracking location of movable target object | |
ITRE20070116A1 (en) | '' DEVICE AND METHOD FOR VERIFYING THE STRUCTURE OF A VEHICLE '' | |
CA2554031A1 (en) | Method for automatically applying and controlling a structure applicable on a substrate and device for carrying out said method | |
KR101071109B1 (en) | Wall climbing printing method and system thereof | |
US10837770B2 (en) | Surface measurement by means of excited fluorescence | |
US20150331424A1 (en) | Method of controlling a cleaner | |
JP7242482B2 (en) | Object distance, shape measuring device and measuring method | |
JP7251240B2 (en) | Optical devices, detection devices and electronics | |
US11688030B2 (en) | Shading topography imaging for robotic unloading | |
CN111168669B (en) | Robot control method, robot, and readable storage medium | |
CN104215200A (en) | Device and method for the simultaneous three-dimensional measurement of surfaces with several wavelengths | |
KR20160099403A (en) | Unlimited movable marking system and marking method thereof | |
KR100919944B1 (en) | Map Creation system and Map Creation Method of Mobile Robot | |
US20130113890A1 (en) | 3d location sensing system and method | |
JP2009175066A (en) | Mobile robot and scanning speed control method of laser range sensor | |
KR102290218B1 (en) | Position tracking system using a plurality of cameras and method for position tracking using the same | |
JP7184243B2 (en) | POSITION RECOGNIZATION METHOD, POSITION RECOGNIZATION DEVICE, REFERENCE POINT SETTING MOBILE, WORK MOBILE, AND POSITION RECOGNIZATION SYSTEM | |
US20200205633A1 (en) | Arrangement and Method for Contactless Distance Determination of the Type of the Light Intersection Method | |
JP2018024374A (en) | Vehicular projection unit | |
JP2019137113A (en) | Vehicle position estimation system and automatic valet parking system | |
JP3682461B1 (en) | Drilling positioning control method for bogie mounted carriage |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230308 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7242482 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |