JP7006847B2 - Mobile positioning device and mobile positioning system - Google Patents
Mobile positioning device and mobile positioning system Download PDFInfo
- Publication number
- JP7006847B2 JP7006847B2 JP2021529663A JP2021529663A JP7006847B2 JP 7006847 B2 JP7006847 B2 JP 7006847B2 JP 2021529663 A JP2021529663 A JP 2021529663A JP 2021529663 A JP2021529663 A JP 2021529663A JP 7006847 B2 JP7006847 B2 JP 7006847B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinates
- landmark
- image
- marker
- positioning device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003550 marker Substances 0.000 claims description 77
- 238000001514 detection method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000009434 installation Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 239000002131 composite material Substances 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Navigation (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
この発明は、移動体測位装置および移動体測位システムに関する。 The present invention relates to a mobile positioning device and a mobile positioning system.
特許文献1は、移動体測位装置を開示する。当該移動体測位装置によれば、移動体の位置を算出し得る。 Patent Document 1 discloses a mobile positioning device. According to the mobile body positioning device, the position of the mobile body can be calculated.
しかしながら、特許文献1に記載の移動体測位装置は、移動体の位置を算出する際に移動体の速度を用いる。このため、移動体の位置の誤差が大きくなることもある。 However, the mobile body positioning apparatus described in Patent Document 1 uses the speed of the moving body when calculating the position of the moving body. Therefore, the error in the position of the moving body may become large.
この発明は、上述の課題を解決するためになされた。この発明の目的は、移動体の位置を精度よく算出することができる移動体測位装置および移動体測位システムを提供することである。 The present invention has been made to solve the above-mentioned problems. An object of the present invention is to provide a mobile body positioning device and a mobile body positioning system capable of accurately calculating the position of a moving body.
この発明に係る移動体測位装置は、建築物のランドマークが撮影範囲の内部に入るように設けられたカメラが移動体に設けられたマーカーを撮影した際の画像に基づいて、当該画像の内部における前記ランドマークと前記マーカーとの座標を算出する画像処理部と、前記画像処理部の算出結果に基づいて、実座標における前記ランドマークに対する前記移動体の相対座標を算出する位置算出部と、を備え、前記画像処理部は、前記マーカーの画像から高さ情報を読み取り、前記位置算出部は、前記カメラの内部パラメータとランドマーク形状サイズと前記ランドマークの座標とを用いて、前記カメラの画像の内部における前記ランドマークの座標と前記マーカーの座標との相対ベクトルを算出し、前記高さ情報に基づき前記相対ベクトルの高度補正を行い、前記高度補正された相対ベクトルを実座標における前記ランドマークの座標と前記マーカーの座標との相対ベクトルに変換することで、実座標における前記ランドマークに対する前記移動体の相対座標を算出する。
The mobile body positioning device according to the present invention is based on an image obtained when a camera provided so that a landmark of a building is inside the shooting range captures a marker provided on the moving body, and is inside the image. An image processing unit that calculates the coordinates of the landmark and the marker in the above, a position calculation unit that calculates the relative coordinates of the moving body to the landmark in real coordinates based on the calculation result of the image processing unit, and a position calculation unit. The image processing unit reads height information from the image of the marker, and the position calculation unit uses the internal parameters of the camera, the landmark shape size, and the coordinates of the landmark of the camera. A relative vector between the coordinates of the landmark and the coordinates of the marker inside the image is calculated, the altitude of the relative vector is corrected based on the height information, and the altitude-corrected relative vector is used as the land in real coordinates. By converting to a relative vector of the coordinates of the mark and the coordinates of the marker, the relative coordinates of the moving body with respect to the landmark in real coordinates are calculated.
この発明に係る移動体測位システムは、建築物のランドマークが撮影範囲の内部に入るように設けられたカメラと、前記カメラが移動体に設けられたマーカーを撮影した際の画像に基づいて、実座標における前記ランドマークに対する前記移動体の相対座標を算出する請求項1から請求項7のいずれか一項に記載の移動体測位装置と、を備えた。 The mobile positioning system according to the present invention is based on a camera provided so that a landmark of a building is inside the shooting range and an image obtained when the camera captures a marker provided on the moving body. The mobile body positioning apparatus according to any one of claims 1 to 7, which calculates the relative coordinates of the moving body with respect to the landmark in real coordinates.
この発明によれば、移動体測位装置は、ランドマークとマーカーとの画像から実座標におけるランドマークに対する移動体の相対座標を算出する。このため、移動体の位置を精度よく算出することができる。 According to the present invention, the mobile body positioning device calculates the relative coordinates of the moving body with respect to the landmark in real coordinates from the images of the landmark and the marker. Therefore, the position of the moving body can be calculated accurately.
この発明を実施するための形態について添付の図面に従って説明する。なお、各図中、同一または相当する部分には同一の符号が付される。当該部分の重複説明は適宜に簡略化ないし省略する。 A mode for carrying out the present invention will be described with reference to the accompanying drawings. In each figure, the same or corresponding parts are designated by the same reference numerals. The duplicate description of the relevant part will be simplified or omitted as appropriate.
実施の形態1.
図1は実施の形態1における移動体測位システムの構成図である。Embodiment 1.
FIG. 1 is a configuration diagram of a mobile positioning system according to the first embodiment.
図1において、ランドマーク1は、建築物に設けられる。ランドマーク1は、画像認識し得るように設けられる。例えば、ランドマーク1は、二次元バーコードである。例えば、ランドマーク1は、建築物の一部で特徴的な形状の部分である。 In FIG. 1, the landmark 1 is provided on the building. The landmark 1 is provided so that the image can be recognized. For example, landmark 1 is a two-dimensional bar code. For example, Landmark 1 is a part of a building having a characteristic shape.
移動体2は、自律移動し得るように設けられる。マーカー3は、移動体2の上面に設けられる。例えば、マーカー3は、二次元バーコードである。
The
移動体測位システムは、少なくとも一つのカメラ4と移動体測位装置5とを備える。
The mobile positioning system includes at least one camera 4 and a
例えば、カメラ4は、建築物の天井に設けられる。カメラ4は、ランドマーク1が撮影範囲に入るように配置される。 For example, the camera 4 is installed on the ceiling of a building. The camera 4 is arranged so that the landmark 1 is within the shooting range.
移動体測位装置5は、画像処理部6と位置算出部7とを備える。
The
画像処理部6は、ランドマーク検出部6aとランドマーク座標算出部6bとマーカー検出部6cとマーカー座標算出部6dとを備える。
The image processing unit 6 includes a
ランドマーク検出部6aは、カメラ4の画像からランドマーク1を検出する。ランドマーク座標算出部6bは、ランドマーク検出部6aの検出結果に基づいてカメラ4の画像の内部におけるランドマーク1の座標を算出する。マーカー検出部6cは、移動体2がカメラ4の撮影範囲に入った際にカメラ4の画像からマーカー3を検出する。マーカー座標算出部6dは、マーカー検出部6cの検出結果に基づいてカメラ4の画像の内部におけるマーカー3の座標を算出する。
The
位置算出部7は、カメラ内部パラメータ記憶部7aとランドマーク形状サイズ記憶部7fと画像内相対ベクトル算出部7bと実座標内相対ベクトル算出部7cとを備える。
The
カメラ内部パラメータ記憶部7aは、カメラ4の内部パラメータの情報を記憶する。ランドマーク形状サイズ記憶部7fは、ランドマーク形状サイズの情報を記憶する。ランドマーク形状サイズの情報は、ランドマーク1と合同な図形を再現可能とするための情報である。例えば、ランドマーク1が多角形である場合、ランドマーク形状サイズの情報として、各辺の長さと対応する内角との情報があればよい。
The camera internal
画像内相対ベクトル算出部7bは、画像処理部6からのカメラ4の画像の内部におけるランドマーク1の座標とマーカー3の座標との相対ベクトルを算出する。実座標内相対ベクトル算出部7cは、カメラ内部パラメータ記憶部7aに記憶された情報とランドマーク形状サイズ記憶部7fに記憶された情報とランドマーク検出部6aが出力したランドマーク1の座標の情報とに基づいて、画像内相対ベクトル算出部7bにより算出された相対ベクトルを実座標におけるランドマーク1の座標とマーカー3の座標との相対ベクトルに変換する。
The in-image relative
なお、画像の内部におけるランドマーク1の座標は、カメラ4による投影面上におけるランドマーク1の位置を表す。従って、カメラ4の座標系と実座標系との関係を示す投影行列は、ランドマーク形状サイズとランドマーク1の座標とから、例えば公知の手法であるpnp問題を解くことで算出される。次に、当該投影行列にカメラ4の内部パラメータの補正を加えて得た行列を、画像の内部における相対ベクトルに乗ずることで、実座標における相対ベクトルが得られる。 The coordinates of the landmark 1 inside the image represent the position of the landmark 1 on the projection surface of the camera 4. Therefore, the projection matrix showing the relationship between the coordinate system of the camera 4 and the actual coordinate system is calculated from the landmark shape size and the coordinates of the landmark 1 by solving, for example, the pnp problem which is a known method. Next, the relative vector in real coordinates is obtained by multiplying the matrix obtained by correcting the internal parameters of the camera 4 to the projection matrix by the relative vector inside the image.
次に、図2を用いて、カメラ4の画像の内部におけるランドマーク1の座標とマーカー3の座標との相対ベクトルを説明する。
図2は実施の形態1における移動体測位システムにおいて算出される相対ベクトルを示す図である。Next, the relative vector between the coordinates of the landmark 1 and the coordinates of the
FIG. 2 is a diagram showing a relative vector calculated in the mobile positioning system according to the first embodiment.
図2に示されるように、カメラ4の画像の内部において、平面座標は、ランドマーク1の位置を原点として予め設定される。平面座標において、x軸とy軸とは、互いに直交する。相対ベクトルは、ランドマーク1とマーカー3との距離およびx軸に対するマーカー3の方向の角度で定義される。
As shown in FIG. 2, inside the image of the camera 4, the plane coordinates are preset with the position of the landmark 1 as the origin. In plane coordinates, the x-axis and y-axis are orthogonal to each other. The relative vector is defined by the distance between the landmark 1 and the
次に、図3を用いて、移動体測位装置5の動作の概要を説明する。
図3は実施の形態1における移動体測位システムの移動体測位装置の動作の概要を説明するためのフローチャートである。Next, the outline of the operation of the
FIG. 3 is a flowchart for explaining an outline of the operation of the mobile positioning device of the mobile positioning system according to the first embodiment.
ステップS1では、移動体測位装置5は、ランドマーク1を検出する。その後、移動体測位装置5は、ステップS2の動作を行う。ステップS2では、移動体測位装置5は、カメラ4の画像の内部におけるランドマーク1の座標を算出する。
In step S1, the
その後、移動体測位装置5は、ステップS3の動作を行う。ステップS3では、移動体測位装置5は、マーカー3が検出されたか否かを判定する。ステップS3でマーカー3が検出されない場合、移動体測位装置5は、ステップS3の動作を行う。ステップS3でマーカー3が検出された場合、移動体測位装置5は、ステップS4の動作を行う。ステップS4では、移動体測位装置5は、カメラ4の画像の内部におけるマーカー3の座標を算出する。
After that, the
その後、移動体測位装置5は、ステップS5の動作を行う。ステップS5では、移動体測位装置5は、カメラ4の画像の内部におけるランドマーク1の座標とマーカー3の座標との相対ベクトルを算出する。
After that, the
その後、移動体測位装置5は、ステップS6の動作を行う。ステップS6では、実座標におけるランドマーク1の座標とマーカー3の座標との相対ベクトルを算出する。その後、移動体測位装置5は、動作を終了する。
After that, the
以上で説明した実施の形態1によれば、移動体測位装置5は、ランドマーク1とマーカー3との画像から実座標におけるランドマーク1に対する移動体2の相対座標を算出する。このため、移動体2の位置を精度よく算出することができる。
According to the first embodiment described above, the mobile
また、移動体測位装置5は、カメラ4の内部パラメータとランドマーク形状サイズ記憶部7fに記憶された情報とランドマーク検出部6aが出力したランドマーク1の座標の情報とを用いて、カメラ4の画像の内部におけるランドマーク1の座標とマーカー3の座標との相対ベクトルを実座標におけるランドマーク1の座標とマーカー3の座標との相対ベクトルに変換することで、実座標におけるランドマーク1に対する移動体2の相対座標を算出する。このため、移動体2の位置をより確実に精度よく算出することができる。
Further, the
なお、位置算出部7において、ランドマーク1の絶対座標の情報を記憶し、ランドマーク1の絶対座標と実座標におけるランドマーク1の座標とマーカー3の座標との相対ベクトルとに基づいて、移動体2の絶対座標を算出してもよい。この場合、移動体2の絶対位置をより確実に精度よく算出することができる。
The
次に、図4を用いて、移動体測位装置5の例を説明する。
図4は実施の形態1における移動体測位システムの移動体測位装置のハードウェア構成図である。Next, an example of the
FIG. 4 is a hardware configuration diagram of the mobile positioning device of the mobile positioning system according to the first embodiment.
移動体測位装置5の各機能は、処理回路により実現し得る。例えば、処理回路は、少なくとも1つのプロセッサ100aと少なくとも1つのメモリ100bとを備える。例えば、処理回路は、少なくとも1つの専用のハードウェア200を備える。
Each function of the
処理回路が少なくとも1つのプロセッサ100aと少なくとも1つのメモリ100bとを備える場合、移動体測位装置5の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせで実現される。ソフトウェアおよびファームウェアの少なくとも一方は、プログラムとして記述される。ソフトウェアおよびファームウェアの少なくとも一方は、少なくとも1つのメモリ100bに格納される。少なくとも1つのプロセッサ100aは、少なくとも1つのメモリ100bに記憶されたプログラムを読み出して実行することにより、移動体測位装置5の各機能を実現する。少なくとも1つのプロセッサ100aは、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSPともいう。例えば、少なくとも1つのメモリ100bは、RAM、ROM、フラッシュメモリ、EPROM、EEPROM等の、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等である。
When the processing circuit includes at least one
処理回路が少なくとも1つの専用のハードウェア200を備える場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、またはこれらの組み合わせで実現される。例えば、移動体測位装置5の各機能は、それぞれ処理回路で実現される。例えば、移動体測位装置5の各機能は、まとめて処理回路で実現される。
If the processing circuit comprises at least one
移動体測位装置5の各機能について、一部を専用のハードウェア200で実現し、他部をソフトウェアまたはファームウェアで実現してもよい。例えば、画像処理部6の機能については専用のハードウェア200としての処理回路で実現し、画像処理部6の機能以外の機能については少なくとも1つのプロセッサ100aが少なくとも1つのメモリ100bに格納されたプログラムを読み出して実行することにより実現してもよい。
For each function of the
このように、処理回路は、ハードウェア200、ソフトウェア、ファームウェア、またはこれらの組み合わせで移動体測位装置5の各機能を実現する。
As described above, the processing circuit realizes each function of the
実施の形態2.
図5は実施の形態2における移動体測位システムの構成図である。なお、実施の形態1の部分と同一又は相当部分には同一符号が付される。当該部分の説明は省略される。
FIG. 5 is a configuration diagram of the mobile positioning system according to the second embodiment. The same or corresponding parts as those of the first embodiment are designated by the same reference numerals. The explanation of this part is omitted.
画像処理部6は、マーカー設置高算出部6eを備える。
The image processing unit 6 includes a marker installation
マーカー設置高算出部6eは、マーカー3の画像から高さ情報を読み取る。例えば、マーカー設置高算出部6eは、マーカー3の画像から情報を復号することで予めマーカー3に埋め込まれた高さ情報を読み込む。
The marker installation
位置算出部7は、高度補正部7dを備える。
The
高度補正部7dは、カメラ内部パラメータ記憶部7aに記憶された情報と画像処理部6からの高さ情報とに基づいて、画像内相対ベクトル算出部7bにより算出された相対ベクトルの高度補正を行う。
The
実座標内相対ベクトル算出部7cは、カメラ内部パラメータ記憶部7aに記憶された情報に基づいて、高度補正部7dにより補正された相対ベクトルを実座標における前記ランドマーク1の座標と前記マーカー3の座標との相対ベクトルに変換する。
The relative
次に、図6を用いて、移動体測位装置5の動作の概要を説明する。
図6は実施の形態2における移動体測位システムの移動体測位装置の動作の概要を説明するためのフローチャートである。Next, the outline of the operation of the
FIG. 6 is a flowchart for explaining an outline of the operation of the mobile positioning device of the mobile positioning system according to the second embodiment.
ステップS11では、移動体測位装置5は、ランドマーク1を検出する。その後、移動体測位装置5は、ステップS12の動作を行う。ステップS12では、移動体測位装置5は、カメラ4の画像の内部におけるランドマーク1の座標を算出する。
In step S11, the
その後、移動体測位装置5は、ステップS13の動作を行う。ステップS13では、移動体測位装置5は、マーカー3が検出されたか否かを判定する。ステップS13でマーカー3が検出されない場合、移動体測位装置5は、ステップS13の動作を行う。ステップS13でマーカー3が検出された場合、移動体測位装置5は、ステップS14の動作を行う。ステップS14では、移動体測位装置5は、カメラ4の画像の内部におけるマーカー3の座標を算出する。
After that, the
その後、移動体測位装置5は、ステップS15の動作を行う。ステップS15では、移動体測位装置5は、マーカー3の高さ情報を読み取る。その後、移動体測位装置5は、ステップS16の動作を行う。ステップS16では、移動体測位装置5は、カメラ4の画像の内部におけるランドマーク1の座標とマーカー3の座標との相対ベクトルを算出する。
After that, the
その後、移動体測位装置5は、ステップS17の動作を行う。ステップS17では、移動体測位装置5は、カメラ4の画像の内部におけるランドマーク1の座標とマーカー3の座標との相対ベクトルの高度補正を行う。その後、移動体測位装置5は、ステップS18の動作を行う。ステップS18では、実座標におけるランドマーク1の座標とマーカー3の座標との相対ベクトルを算出する。その後、移動体測位装置5は、動作を終了する。
After that, the
以上で説明した実施の形態2によれば、移動体測位装置5は、カメラ4の内部パラメータと画像処理部6により読み取られた高さ情報とランドマーク形状サイズ記憶部7fに記憶された情報とランドマーク検出部6aが出力したランドマーク1の座標とに基づいて、ランドマーク1に対する移動体2の相対座標に対して高度補正を行う。このため、移動体2の位置をより確実に精度よく算出することができる。
According to the second embodiment described above, the mobile
実施の形態3.
図7は実施の形態3における移動体測位システムの構成図である。なお、実施の形態2の部分と同一又は相当部分には同一符号が付される。当該部分の説明は省略される。
FIG. 7 is a configuration diagram of the mobile positioning system according to the third embodiment. The same or corresponding parts as those of the second embodiment are designated by the same reference numerals. The explanation of this part is omitted.
画像処理部6は、識別情報読取部6fとランドマーク座標記憶部6gとランドマーク差分算出部6hとを備える。
The image processing unit 6 includes an identification information reading unit 6f, a landmark coordinate storage unit 6g, and a landmark
識別情報読取部6fは、マーカー3の画像から識別情報を読み取る。ランドマーク座標記憶部6gは、識別情報ごとにランドマーク座標算出部6bにより算出された座標の情報を記憶する。ランドマーク差分算出部6hは、ランドマーク座標記憶部6gに記憶された情報に基づいて、識別情報ごとに前回のカメラ4の画像と今回のカメラ4の画像とを比較することでカメラ4の画像の内部におけるランドマーク1の画像の差分を算出する。
The identification information reading unit 6f reads the identification information from the image of the
マーカー座標算出部6dは、識別情報ごとにカメラ4の画像の内部におけるマーカー3の座標を算出する。マーカー設置高算出部6eは、識別情報ごとにカメラ4の画像の内部におけるマーカー3の高さ情報を読み取る。
The marker coordinate
位置算出部7は、相対ベクトル補正部7eを備える。
The
相対ベクトル補正部7eは、識別情報ごとに実座標内相対ベクトル算出部7cにより算出された相対ベクトルを補正する。この際、相対ベクトル補正部7eは、カメラ内部パラメータ記憶部7aに記憶された情報と画像処理部6からのランドマーク1の画像の差分の情報とを用いる。
The relative
次に、図8を用いて、移動体測位装置5の動作の概要を説明する。
図8は実施の形態3における移動体測位システムの移動体測位装置の動作の概要を説明するためのフローチャートである。Next, the outline of the operation of the
FIG. 8 is a flowchart for explaining an outline of the operation of the mobile positioning device of the mobile positioning system according to the third embodiment.
ステップS21では、移動体測位装置5は、ランドマーク1を検出する。その後、移動体測位装置5は、ステップS22の動作を行う。ステップS22では、移動体測位装置5は、カメラ4の画像の内部におけるランドマーク1の座標を算出する。
In step S21, the
その後、移動体測位装置5は、ステップS23の動作を行う。ステップS23では、移動体測位装置5は、マーカー3が検出されたか否かを判定する。ステップS23でマーカー3が検出されない場合、移動体測位装置5は、ステップS23の動作を行う。ステップS23でマーカー3が検出された場合、移動体測位装置5は、ステップS24の動作を行う。ステップS24では、移動体測位装置5は、マーカー3の画像から識別情報を読み取る。その後、ステップS25の動作を行う。ステップS25では、移動体測位装置5は、カメラ4の画像の内部におけるマーカー3の座標を算出する。
After that, the
その後、移動体測位装置5は、ステップS26の動作を行う。ステップS26では、移動体測位装置5は、マーカー3の高さ情報を読み取る。その後、移動体測位装置5は、ステップS27の動作を行う。ステップS27では、移動体測位装置5は、カメラ4の画像の内部におけるランドマーク1の座標とマーカー3の座標との相対ベクトルを算出する。
After that, the
その後、移動体測位装置5は、ステップS28の動作を行う。ステップS28では、移動体測位装置5は、カメラ4の画像の内部におけるランドマーク1の座標とマーカー3の座標との相対ベクトルの高度補正を行う。その後、移動体測位装置5は、ステップS29の動作を行う。ステップS29では、移動体測位装置5は、実座標におけるランドマーク1の座標とマーカー3の座標との相対ベクトルを算出する。
After that, the
その後、移動体測位装置5は、ステップS30の動作を行う。ステップS30では、移動体測位装置5は、カメラ4の画像の内部においてランドマーク1の座標の差分があるか否かを判定する。
After that, the
ステップS30でランドマーク1の画像の差分がある場合、移動体測位装置5は、ステップS31の動作を行う。ステップS31では、移動体測位装置5は、ランドマーク1の座標の差分を算出する。その後、移動体測位装置5は、ステップS32の動作を行う。ステップS32では、移動体測位装置5は、実座標におけるランドマーク1の座標とマーカー3の座標との相対ベクトルを補正する。
If there is a difference between the images of the landmark 1 in step S30, the
ステップS30でランドマーク1の画像の差分がない場合またはステップS32の後、移動体測位装置5は、その後、移動体測位装置5は、動作を終了する。
If there is no image difference of the landmark 1 in step S30 or after step S32, the
以上で説明した実施の形態3によれば、移動体測位装置5は、マーカー3の画像から識別情報を読み取り、当該識別情報に基づいて移動体2を識別する。このため、移動体2を容易に識別することができる。
According to the third embodiment described above, the mobile
なお、複数のマーカー3から複数の識別情報がそれぞれ読み取られた場合は、当該複数の識別情報に基づいて複数の移動体2を識別すればよい。この場合、複数の移動体2を容易に判別することができる。
When a plurality of identification information is read from each of the plurality of
また、移動体測位装置5は、前回のカメラ4の画像と今回のカメラ4の画像におけるランドマーク1の画像の差分に基づいて、実座標におけるランドマーク1の座標とマーカー3の座標との相対ベクトルを補正する。このため、カメラ4とランドマーク1との位置関係が意図せずに変動した場合でも、移動体2の位置をより確実に精度よく算出することができる。また、カメラ4の画角を変更した場合でも、移動体2の位置を精度よく算出することができる。
Further, the mobile
なお、移動体測位装置5において、識別情報と高さ情報とを対応付けて記憶してもよい。この場合、識別情報読取部6fが識別情報を読み取った際に当該識別情報に対応付けられた高さ情報に基づいてカメラ4の画像の内部におけるランドマーク1の座標とマーカー3の座標との相対ベクトルの高度補正を行ってもよい。
In the
また、実施の形態1から実施の形態3において、向きを識別できるマーカー3を採用してもよい。この場合、移動体2の位置だけでなく向きも精度よく算出することができる。
Further, in the first to third embodiments, the
また、実施の形態1から実施の形態3において、1つのカメラ4の撮影範囲の内部に複数のランドマーク1が入るようにしてもよい。この場合、カメラ4の画像において、ランドマーク1の1つが通行する人等により隠れていても、他のランドマーク1の画像を用いて移動体2の位置を精度よく算出することができる。
Further, in the first to third embodiments, a plurality of landmarks 1 may be included in the shooting range of one camera 4. In this case, even if one of the landmarks 1 is hidden by a passing person or the like in the image of the camera 4, the position of the moving
以上のように、この発明に係る移動体測位装置および移動体測位システムは、移動体を制御するシステムに利用できる。 As described above, the mobile body positioning device and the mobile body positioning system according to the present invention can be used for a system for controlling a mobile body.
1 ランドマーク、 2 移動体、 3 マーカー、 4 カメラ、 5 移動体測位装置、 6 画像処理部、 6a ランドマーク検出部、 6b ランドマーク座標算出部、 6c マーカー検出部、 6d マーカー座標算出部、 6e マーカー設置高算出部、 6f 識別情報読取部、 6g ランドマーク座標記憶部、 6h ランドマーク差分算出部、 7 位置算出部、 7a カメラ内部パラメータ記憶部、 7b 画像内相対ベクトル算出部、 7c 実座標内相対ベクトル算出部、 7d 高度補正部、 7e 相対ベクトル補正部、 7f ランドマーク形状サイズ記憶部、 100a プロセッサ、 100b メモリ、 200 ハードウェア 1 Landmark, 2 Mobile, 3 Marker, 4 Camera, 5 Mobile Positioning Device, 6 Image Processing Unit, 6a Landmark Detection Unit, 6b Landmark Coordinate Calculation Unit, 6c Marker Detection Unit, 6d Marker Coordinate Calculation Unit, 6e Marker installation height calculation unit, 6f identification information reading unit, 6g landmark coordinate storage unit, 6h landmark difference calculation unit, 7 position calculation unit, 7a camera internal parameter storage unit, 7b in-image relative vector calculation unit, 7c in real coordinates Relative vector calculation unit, 7d altitude correction unit, 7e relative vector correction unit, 7f landmark shape size storage unit, 100a processor, 100b memory, 200 hardware
Claims (6)
前記画像処理部の算出結果に基づいて、実座標における前記ランドマークに対する前記移動体の相対座標を算出する位置算出部と、
を備え、
前記画像処理部は、前記マーカーの画像から高さ情報を読み取り、
前記位置算出部は、前記カメラの内部パラメータとランドマーク形状サイズと前記ランドマークの座標とを用いて、前記カメラの画像の内部における前記ランドマークの座標と前記マーカーの座標との相対ベクトルを算出し、前記高さ情報に基づき前記相対ベクトルの高度補正を行い、前記高度補正された相対ベクトルを実座標における前記ランドマークの座標と前記マーカーの座標との相対ベクトルに変換することで、実座標における前記ランドマークに対する前記移動体の相対座標を算出する移動体測位装置。 The coordinates of the landmark and the marker inside the image based on the image when the camera provided so that the landmark of the building is inside the shooting range captures the marker provided on the moving body. Image processing unit that calculates
A position calculation unit that calculates the relative coordinates of the moving object to the landmark in real coordinates based on the calculation result of the image processing unit.
Equipped with
The image processing unit reads the height information from the image of the marker and reads the height information.
The position calculation unit calculates a relative vector between the coordinates of the landmark and the coordinates of the marker inside the image of the camera by using the internal parameters of the camera, the landmark shape size, and the coordinates of the landmark. Then, the altitude of the relative vector is corrected based on the height information, and the altitude-corrected relative vector is converted into a relative vector of the coordinates of the landmark and the coordinates of the marker in the actual coordinates. A mobile body positioning device that calculates the relative coordinates of the moving body with respect to the landmark in.
前記位置算出部は、前記画像処理部により算出された差分に基づいて、実座標における前記ランドマークの座標と前記マーカーの座標との相対ベクトルを補正する請求項1から請求項4のいずれか一項に記載の移動体測位装置。 The image processing unit calculates the difference between the image of the landmark inside the image of the camera by comparing the image of the previous camera with the image of the camera this time.
One of claims 1 to 4, wherein the position calculation unit corrects a relative vector between the coordinates of the landmark and the coordinates of the marker in actual coordinates based on the difference calculated by the image processing unit. The mobile positioning device described in the section.
前記カメラが移動体に設けられたマーカーを撮影した際の画像に基づいて、実座標における前記ランドマークに対する前記移動体の相対座標を算出する請求項1から請求項5のいずれか一項に記載の移動体測位装置と、
を備えた移動体測位システム。 A camera installed so that the landmark of the building is inside the shooting range,
6. Mobile positioning device and
Mobile positioning system equipped with.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/026666 WO2021002001A1 (en) | 2019-07-04 | 2019-07-04 | Moving body positioning device and moving body positioning system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021002001A1 JPWO2021002001A1 (en) | 2021-10-28 |
JP7006847B2 true JP7006847B2 (en) | 2022-01-24 |
Family
ID=74101203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021529663A Active JP7006847B2 (en) | 2019-07-04 | 2019-07-04 | Mobile positioning device and mobile positioning system |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7006847B2 (en) |
CN (1) | CN114127506B (en) |
WO (1) | WO2021002001A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7282934B1 (en) | 2022-01-24 | 2023-05-29 | エヌ・ティ・ティ・インフラネット株式会社 | Accuracy improvement method, separation distance acquisition method, location information calculation support device, location information calculation support program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009098319A2 (en) | 2008-02-09 | 2009-08-13 | Trw Limited | Navigational device for a vehicle |
JP2010133711A (en) | 2008-12-02 | 2010-06-17 | Sumitomo Heavy Ind Ltd | Method and device of measuring temporal variation of position of object |
JP2017207942A (en) | 2016-05-19 | 2017-11-24 | 株式会社リコー | Image processing apparatus, self position estimation method and program |
JP2017537484A (en) | 2015-09-11 | 2017-12-14 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | System and method for detecting and tracking movable objects |
JP2019050007A (en) | 2018-11-01 | 2019-03-28 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Method and device for determining position of mobile body and computer readable medium |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2607558B2 (en) * | 1987-11-18 | 1997-05-07 | 株式会社東芝 | Moving object position detection device |
JP3288474B2 (en) * | 1993-03-31 | 2002-06-04 | 富士通株式会社 | Image processing device |
JP3079186B2 (en) * | 1995-09-28 | 2000-08-21 | 株式会社小松製作所 | Structure measurement system |
JPH11160021A (en) * | 1997-11-27 | 1999-06-18 | Nippon Telegr & Teleph Corp <Ntt> | Wide area three-dimensional position measuring method and equipment |
JP2001264037A (en) * | 2000-03-22 | 2001-09-26 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for calibrating camera, and storage medium stored with camera calibration program |
JP3986360B2 (en) * | 2002-05-14 | 2007-10-03 | 松下電器産業株式会社 | Camera calibration device |
JP2006113645A (en) * | 2004-10-12 | 2006-04-27 | Kajima Corp | Moving locus analysis method |
JP4860978B2 (en) * | 2005-10-17 | 2012-01-25 | 富士通株式会社 | Container management system and program |
JP3974633B1 (en) * | 2006-05-30 | 2007-09-12 | 京セラ株式会社 | Imaging apparatus and imaging method |
DE112016005125B4 (en) * | 2015-11-09 | 2022-06-15 | Mitsubishi Electric Corporation | Optical projection instrument and headlight device |
JP2017196319A (en) * | 2016-04-28 | 2017-11-02 | ソニー株式会社 | Imaging device, authentication processing device, imaging method, authentication processing method, and program |
KR102024525B1 (en) * | 2017-09-29 | 2019-11-04 | 주식회사 유진로봇 | Apparatus for Recognizing Artificial Landmark, Artificial Landmark, and Moving Object |
JP6701153B2 (en) * | 2017-11-10 | 2020-05-27 | 株式会社Subaru | Position measurement system for moving objects |
CN108305264B (en) * | 2018-06-14 | 2018-10-02 | 江苏中科院智能科学技术应用研究院 | A kind of unmanned plane precision landing method based on image procossing |
-
2019
- 2019-07-04 CN CN201980097863.6A patent/CN114127506B/en active Active
- 2019-07-04 WO PCT/JP2019/026666 patent/WO2021002001A1/en active Application Filing
- 2019-07-04 JP JP2021529663A patent/JP7006847B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009098319A2 (en) | 2008-02-09 | 2009-08-13 | Trw Limited | Navigational device for a vehicle |
JP2010133711A (en) | 2008-12-02 | 2010-06-17 | Sumitomo Heavy Ind Ltd | Method and device of measuring temporal variation of position of object |
JP2017537484A (en) | 2015-09-11 | 2017-12-14 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | System and method for detecting and tracking movable objects |
JP2017207942A (en) | 2016-05-19 | 2017-11-24 | 株式会社リコー | Image processing apparatus, self position estimation method and program |
JP2019050007A (en) | 2018-11-01 | 2019-03-28 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Method and device for determining position of mobile body and computer readable medium |
Also Published As
Publication number | Publication date |
---|---|
CN114127506A (en) | 2022-03-01 |
JPWO2021002001A1 (en) | 2021-10-28 |
WO2021002001A1 (en) | 2021-01-07 |
CN114127506B (en) | 2024-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107328420B (en) | Positioning method and device | |
JP5842248B2 (en) | Marker | |
EP2017573B1 (en) | Estimation device, estimation method and estimation program for estimating a position of mobile unit | |
JP6394005B2 (en) | Projection image correction apparatus, method and program for correcting original image to be projected | |
CN107727104A (en) | Positioning and map building air navigation aid, apparatus and system while with reference to mark | |
KR20100005488A (en) | Apparatus and method for building map for mobile robot | |
JP2012084149A (en) | Navigation of mobile divice | |
US9591228B2 (en) | Method for the localization of a tool in a workplace, corresponding system and computer program product | |
JP5085230B2 (en) | Mobile system | |
JP7006847B2 (en) | Mobile positioning device and mobile positioning system | |
CA2988843C (en) | Traffic signal detection device and traffic signal detection method | |
JP2018051728A (en) | Detection method and detection apparatus for detecting three-dimensional position of object | |
JP2017207942A (en) | Image processing apparatus, self position estimation method and program | |
KR101092002B1 (en) | Artificial landmark, appratus and method for navigation using artificial landmark and natural landmark | |
JP6088864B2 (en) | Calibration system and calibration method | |
CA2818164A1 (en) | Spherical pin-hole model for use with camera lens image data | |
KR101233938B1 (en) | Robot and method of tracing object | |
WO2021129071A1 (en) | Robot, positioning method, and computer readable storage medium | |
US10935375B2 (en) | Portable 3D document scanning device and method | |
JP6582405B2 (en) | Assembly apparatus, robot hand position correcting method, and robot hand position correcting program | |
KR20100081881A (en) | Data matching device and method, and robot using these | |
KR100698535B1 (en) | Position recognition device and method of mobile robot with tilt correction function | |
KR102070540B1 (en) | System and method for 3 dimensional scanning using gray pattern and phase shift pattern | |
US20240116186A1 (en) | Calibration apparatus, calibration system, mobile system, calibration method, and control program | |
US11948321B2 (en) | Three-dimensional geometry measurement apparatus and three-dimensional geometry measurement method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210628 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210628 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7006847 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |