JP6242699B2 - Mobile object position detection system and method - Google Patents
Mobile object position detection system and method Download PDFInfo
- Publication number
- JP6242699B2 JP6242699B2 JP2014011732A JP2014011732A JP6242699B2 JP 6242699 B2 JP6242699 B2 JP 6242699B2 JP 2014011732 A JP2014011732 A JP 2014011732A JP 2014011732 A JP2014011732 A JP 2014011732A JP 6242699 B2 JP6242699 B2 JP 6242699B2
- Authority
- JP
- Japan
- Prior art keywords
- plane
- image
- moving body
- imaging
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 88
- 238000000034 method Methods 0.000 title claims description 15
- 238000003384 imaging method Methods 0.000 claims description 138
- 230000003287 optical effect Effects 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 2
- 238000012795 verification Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Images
Description
本発明は、移動体位置検出システムおよび方法に関するものである。 The present invention relates to a moving body position detection system and method.
従来、平面上に配置したパターン(模様)を利用して、平面上を移動する移動体の位置の検出を行う方法が知られている(例えば、特許文献1〜3を参照)。 Conventionally, a method for detecting the position of a moving body that moves on a plane using a pattern (pattern) arranged on the plane is known (see, for example, Patent Documents 1 to 3).
特許文献1、2の移動体位置検出方法は、既知のドットパターンが描画してある床面上に配置した移動体に備わるカメラから床面を撮像し、撮像した画像中にあるドットのドットパターンの特徴量を、床面全体のドットパターンの特徴量が格納されたデータベースと照合することで、撮像した画像中のドットが床面上のどのドットに相当するのかを割り出し、床面上における移動体の位置を検出するものである。 The moving body position detection methods disclosed in Patent Documents 1 and 2 capture the floor surface from a camera provided on a moving body arranged on the floor surface on which a known dot pattern is drawn, and the dot pattern of dots in the captured image. By comparing the feature quantity of the image with a database that stores the feature quantity of the dot pattern of the entire floor surface, it is possible to determine which dot on the floor surface corresponds to the dot in the captured image and move on the floor surface. It detects the position of the body.
特許文献3の移動体位置検出方法は、上記の特許文献1、2の移動体位置検出方法におけるデータベースと撮像画像中のドットの点群との照合アルゴリズムとして、人工衛星の姿勢検出に使われるポールスターアルゴリズム(例えば、非特許文献1を参照)を適用し、位置検出の信頼性をより高めたものである。なお、人工衛星では搭載されたカメラで天空を撮像し、撮像画像中の恒星点の配置を既知の恒星配置図(星図)と照合することでカメラの向いている方向を特定し人工衛星の姿勢検出をしているが、このポールスターアルゴリズムは、対象外の星の混入や星の消失に強いアルゴリズムとされている。 The moving body position detection method of Patent Document 3 is a pole used for detecting the attitude of an artificial satellite as a collation algorithm between the database in the moving body position detection method of Patent Documents 1 and 2 and a dot point group in a captured image. A star algorithm (see, for example, Non-Patent Document 1) is applied to further improve the reliability of position detection. In addition, the satellite captures the sky with an onboard camera, and by comparing the location of the star points in the captured image with a known star map (star map), the direction of the camera is identified and the attitude of the satellite Although it has been detected, this Polestar algorithm is considered to be an algorithm that is resistant to the inclusion of non-target stars and the disappearance of stars.
ところで、上記の従来の特許文献1〜3の移動体位置検出方法では、カメラおよび移動体と床面(平面)間の距離は一定で、カメラ光軸は床面に対して垂直であることを前提に床面を撮像してデータベースと照合し、床面内での移動体の2次元位置とカメラ光軸周りの方向を検出する。このため、カメラ(および移動体)と床面間の距離が大きく変動したり、床面に対してカメラ光軸(および移動体)が傾く場合には、照合不良が起こって、移動体の位置・方向の検出が困難となるおそれがあった。 By the way, in the above-described conventional moving body position detection methods of Patent Documents 1 to 3, the distance between the camera and the moving body and the floor (plane) is constant, and the camera optical axis is perpendicular to the floor. Assuming that the floor surface is imaged and collated with the database, the two-dimensional position of the moving body within the floor surface and the direction around the camera optical axis are detected. For this reason, when the distance between the camera (and the moving body) and the floor surface fluctuates greatly or the camera optical axis (and the moving body) tilts with respect to the floor surface, a collation failure occurs, and the position of the moving body・ There was a risk that direction detection would be difficult.
本発明は、上記に鑑みてなされたものであって、カメラと平面間の距離が変動したり、カメラ光軸が傾く際に懸念される照合不良を起こし難くして、検出の信頼性を確保した移動体位置検出システムおよび方法を提供することを目的とする。 The present invention has been made in view of the above, and it is difficult to cause a collation failure that is a concern when the distance between the camera and the plane fluctuates or the camera optical axis is tilted, thereby ensuring detection reliability. It is an object of the present invention to provide a mobile body position detection system and method.
上記した課題を解決し、目的を達成するために、本発明に係る移動体位置検出システムは、平面上を移動する移動体の位置を検出する移動体位置検出システムであって、前記平面上に配置された複数のドットからなるドットパターンと、前記移動体に備えられ、前記移動体が位置する平面上の領域を撮像する撮像手段と、前記撮像手段により取得した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出する検出特徴量算出手段と、前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合することにより、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択する特徴量照合手段と、前記特徴量照合手段により選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出する位置検出手段と、前記撮像手段と前記平面との距離を検出する距離検出手段と、前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段と、前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御する制御手段と、前記距離検出手段により検出した距離に基づいて、前記撮像手段により取得した画像を、前記平面から所定の距離に位置する前記撮像手段により前記平面を撮像したときに得られる画像に拡大・縮小する画像変換手段とを備えることを特徴とする。 In order to solve the above-described problems and achieve the object, a mobile body position detection system according to the present invention is a mobile body position detection system that detects the position of a mobile body that moves on a plane, and is on the plane. A dot pattern composed of a plurality of arranged dots, an imaging unit that is provided in the moving body and images a region on a plane on which the moving body is located, and a plurality of dots in an image acquired by the imaging unit Detection feature amount calculating means for calculating a positional relationship between the selected dot and a plurality of dots located around the dot as a detection feature amount of the selected dot, and the detection feature amount, A predetermined reference feature amount having a high degree of coincidence with the detected feature amount is selected from the reference feature amount database by collating with a reference feature amount database in which the predetermined reference feature amount is stored. Based on the feature amount matching unit, the position detection unit that detects the current position of the moving body on the plane based on the reference feature amount selected by the feature amount matching unit, and the distance between the imaging unit and the plane A distance detecting means for detecting; an inclination detecting means for detecting an inclination of the imaging means relative to the plane; a driving means capable of changing the inclination of the imaging means by acting on the imaging means; and detected by the inclination detecting means. An image acquired by the imaging means based on the distance detected by the control means for driving the drive means so that the optical axis of the imaging means is perpendicular to the plane based on the tilt, and the distance detected by the distance detection means Image conversion means for enlarging / reducing the image to an image obtained when the plane is imaged by the imaging means located at a predetermined distance from the plane To.
また、本発明に係る移動体位置検出方法は、平面上を移動する移動体の位置を検出する移動体位置検出方法であって、前記平面上には複数のドットからなるドットパターンが配置され、前記移動体には前記移動体が位置する平面上の領域を撮像する撮像手段と、前記撮像手段と前記平面との距離を検出する距離検出手段と、前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段とが備えられ、前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御し、前記距離検出手段により検出した距離に基づいて、前記撮像手段により取得した画像を、前記平面から所定の距離に位置する前記撮像手段により前記平面を撮像したときに得られる画像に拡大・縮小し、拡大・縮小して取得した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出し、前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合することにより、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択し、選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出することを特徴とする。 The moving body position detection method according to the present invention is a moving body position detection method for detecting the position of a moving body that moves on a plane, and a dot pattern composed of a plurality of dots is arranged on the plane, The moving body includes an imaging unit that captures an area on a plane where the moving body is located, a distance detection unit that detects a distance between the imaging unit and the plane, and an inclination of the imaging unit with respect to the plane. A tilt detecting unit; and a driving unit capable of changing the tilt of the imaging unit by acting on the imaging unit. Based on the tilt detected by the tilt detecting unit, the optical axis of the imaging unit is on the plane. The image pickup means which controls the drive means so as to be vertical and positions an image acquired by the image pickup means at a predetermined distance from the plane based on the distance detected by the distance detection means. The image is enlarged / reduced to an image obtained when the plane is imaged, and a predetermined dot is selected from a plurality of dots in the image obtained by enlargement / reduction, and the selected dot is positioned around this dot. By calculating a positional relationship with a plurality of dots as a detected feature amount of the selected dot, and comparing the detected feature amount with a reference feature amount database in which a predetermined reference feature amount is stored, the reference feature amount database A predetermined reference feature amount having a high degree of coincidence with the detected feature amount is selected, and a current position of the moving body on the plane is detected based on the selected reference feature amount.
本発明に係る移動体位置検出システムによれば、平面上を移動する移動体の位置を検出する移動体位置検出システムであって、前記平面上に配置された複数のドットからなるドットパターンと、前記移動体に備えられ、前記移動体が位置する平面上の領域を撮像する撮像手段と、前記撮像手段により取得した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出する検出特徴量算出手段と、前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合することにより、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択する特徴量照合手段と、前記特徴量照合手段により選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出する位置検出手段と、前記撮像手段と前記平面との距離を検出する距離検出手段と、前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段と、前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御する制御手段と、前記距離検出手段により検出した距離に基づいて、前記撮像手段により取得した画像を、前記平面から所定の距離に位置する前記撮
像手段により前記平面を撮像したときに得られる画像に拡大・縮小する画像変換手段とを備えるので、仮に撮像手段(カメラ)の光軸が傾いたとしても、駆動手段および制御手段によって、撮像手段の光軸は平面(床面)に垂直になり、撮像手段により取得した画像は、画像変換手段によって、このときの撮像手段と平面間の距離に応じて所定の正規の大きさの画像に変換される。このため、検出特徴量算出手段および特徴量照合手段は正常に機能できる。したがって、照合不良を起こし難くして位置検出の信頼性を確保することができるという効果を奏する。
According to the mobile body position detection system according to the present invention, the mobile body position detection system detects the position of the mobile body moving on a plane, a dot pattern composed of a plurality of dots arranged on the plane, An imaging unit that is provided in the moving body and captures an area on a plane on which the moving body is located; a predetermined dot is selected from a plurality of dots in an image acquired by the imaging unit; A detection feature amount calculating means for calculating a positional relationship with a plurality of dots positioned around the dot as a detection feature amount of the selected dot; and a reference feature amount in which a predetermined reference feature amount is stored as the detection feature amount A feature quantity matching means for selecting a predetermined reference feature quantity having a high degree of coincidence with the detected feature quantity from the reference feature quantity database by matching with a database; and the feature quantity matching means Based on the selected reference feature amount, a position detection unit that detects a current position of the moving body on the plane, a distance detection unit that detects a distance between the imaging unit and the plane, and the plane relative to the plane An optical axis of the imaging means based on an inclination detected by the inclination detecting means, a driving means capable of changing the inclination of the imaging means by acting on the imaging means, and an inclination detected by the inclination detecting means An image acquired by the imaging unit is located at a predetermined distance from the plane based on a control unit that drives and controls the driving unit so that is perpendicular to the plane and a distance detected by the distance detection unit Image conversion means for enlarging / reducing the image obtained when the plane is imaged by the imaging means, and assuming that the optical axis of the imaging means (camera) is inclined. The optical axis of the image pickup means is perpendicular to the plane (floor surface) by the drive means and the control means, and the image acquired by the image pickup means depends on the distance between the image pickup means and the plane at this time by the image conversion means. The image is converted into an image having a predetermined regular size. For this reason, the detected feature quantity calculation means and the feature quantity verification means can function normally. Therefore, there is an effect that the reliability of position detection can be secured by making it difficult to cause a verification failure.
また、位置検出手段によって撮像手段(および移動体)の平面内の2次元的な位置が検出され、距離検出手段によって撮像手段の平面からの距離が検出される。平面が床面である場合には、撮像手段の床面からの高さを検出できる。このため、撮像手段および移動体の3次元的な位置および姿勢(平面内の方向)を検出することができるという効果を奏する。 In addition, the two-dimensional position in the plane of the imaging means (and the moving body) is detected by the position detection means, and the distance from the plane of the imaging means is detected by the distance detection means. When the plane is the floor surface, the height of the imaging means from the floor surface can be detected. For this reason, there exists an effect that the three-dimensional position and attitude | position (direction in a plane) of an imaging means and a mobile body can be detected.
また、本発明に係る移動体位置検出方法によれば、平面上を移動する移動体の位置を検出する移動体位置検出方法であって、前記平面上には複数のドットからなるドットパターンが配置され、前記移動体には前記移動体が位置する平面上の領域を撮像する撮像手段と、前記撮像手段と前記平面との距離を検出する距離検出手段と、前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段とが備えられ、前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御し、前記距離検出手段により検出した距離に基づいて、前記撮像手段により取得した画像を、前記平面から所定の距離に位置する前記撮像手段により前記平面を撮像したときに得られる画像に拡大・縮小し、拡大・縮小して取得した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出し、前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合することにより、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択し、選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出するので、仮に撮像手段(カメラ)の光軸が傾いたとしても、駆動手段の制御によって、撮像手段の光軸は平面(床面)に垂直になり、撮像手段により取得した画像は、拡大・縮小によって、このときの撮像手段と平面間の距離に応じて所定の正規の大きさの画像に変換される。このため、基準特徴量データベースとの照合を正常に行うことができる。したがって、照合不良を起こし難くして位置検出の信頼性を確保することができるという効果を奏する。 The moving body position detecting method according to the present invention is a moving body position detecting method for detecting the position of a moving body moving on a plane, wherein a dot pattern comprising a plurality of dots is arranged on the plane. The moving body has an imaging means for imaging an area on a plane where the moving body is located, a distance detection means for detecting a distance between the imaging means and the plane, and an inclination of the imaging means with respect to the plane. An inclination detecting means for detecting; and a driving means capable of changing the inclination of the imaging means by acting on the imaging means, and the optical axis of the imaging means is based on the inclination detected by the inclination detecting means. The drive unit is driven and controlled to be perpendicular to a plane, and an image acquired by the imaging unit is captured at a predetermined distance from the plane based on the distance detected by the distance detection unit. A predetermined dot is selected from a plurality of dots in the image obtained by enlarging / reducing the image obtained by imaging the plane by means, and enlarging / reducing, and the selected dot and a position around this dot Calculating a positional relationship with a plurality of dots as a detected feature amount of the selected dot, and comparing the detected feature amount with a reference feature amount database in which a predetermined reference feature amount is stored. A predetermined reference feature amount having a high degree of coincidence with the detected feature amount is selected from the database, and the current position of the moving body on the plane is detected based on the selected reference feature amount. ), The optical axis of the imaging means is perpendicular to the plane (floor surface), and the image acquired by the imaging means is enlarged or reduced. It is converted into a predetermined regular size of the image according to the distance between the imaging means and the plane of the case. For this reason, collation with the reference feature database can be performed normally. Therefore, there is an effect that the reliability of position detection can be secured by making it difficult to cause a verification failure.
また、撮像手段(および移動体)の平面内の2次元的な位置と、撮像手段の平面からの距離が検出される。平面が床面である場合には、撮像手段の床面からの高さを検出できる。このため、撮像手段および移動体の3次元的な位置および姿勢(平面内の方向)を検出することができるという効果を奏する。 Further, the two-dimensional position in the plane of the imaging means (and the moving body) and the distance from the plane of the imaging means are detected. When the plane is the floor surface, the height of the imaging means from the floor surface can be detected. For this reason, there exists an effect that the three-dimensional position and attitude | position (direction in a plane) of an imaging means and a mobile body can be detected.
以下に、本発明に係る移動体位置検出システムおよび方法の実施の形態について、ポールスターアルゴリズムを適用して点群の照合を行う場合を例にとり、図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。 In the following, embodiments of a moving body position detection system and method according to the present invention will be described in detail with reference to the drawings, taking as an example a case of collating point clouds by applying a pole star algorithm. Note that the present invention is not limited to the embodiments.
図1および図2に示すように、本発明に係る移動体位置検出システム10は、建物内の床面(平面)12上に配置されたドットパターン14と、移動体16に備えられ、移動体16とともに床面12上を移動する移動体位置検出装置18とから構成されている。ここで、移動体16とは、例えば搬送台車、ロボット、人間等である。ドットパターン14は、印刷や描画等の手段によって床面12上にランダムに配置されている。
As shown in FIGS. 1 and 2, a moving body
移動体位置検出装置18は、移動体16が位置する床面12上の領域を撮像する撮像手段20と、ポールスター特徴量格納手段22と、ポールスター照合手段24(検出特徴量算出手段および特徴量照合手段)と、絞り込み手段26と、撮像手段20によって撮像した画像に基づいて移動体16の位置を検出する位置検出手段28と、を備える。
The moving body
また、この移動体位置検出装置18は、撮像手段20と床面12との距離を検出する距離検出手段36と、床面12に対する撮像手段20の傾きを検出する傾き検出手段38と、駆動手段40と、制御手段42と、画像変換手段44とをさらに備える。
The moving body
撮像手段20は、CCDカメラ等の画像取得装置である。撮像手段20は移動体16に固定されており、移動体16とともに移動しながら、移動体16の位置する床面12上の領域を所定の時間間隔で撮像し、図2の右側に示したような画像を取得する。本実施の形態では、高速度カメラを用いて、例えば10ms程度の時間間隔で画像を取得している。また、図1に示すように、LEDなどの照明30を用いることで、外乱光の影響の少ない画像を取得することができる。なお、撮像手段20と床面12との間の距離は数センチメートルとすることが好ましいが、外乱光の影響の少ない画像を取得可能であればこの距離に限るものではない。
The imaging means 20 is an image acquisition device such as a CCD camera. The imaging means 20 is fixed to the moving
ポールスター特徴量格納手段22は、図3に示すように、移動体16の検出を行う前に、床面12上のドットパターン14におけるすべてのドット32のポールスター特徴量(基準特徴量)を予め算出し、これをポールスターデータベース34(基準特徴量データベース)に格納する。
As shown in FIG. 3, the pole star feature
ポールスター照合手段24は、検出特徴量算出手段および特徴量照合手段として機能するものであり、図3に示すように、取得画像中の複数のドット32から所定のドット32aを選択し、ドット32aや周辺に位置する複数のドット32b1〜32b5等から得られるポールスター特徴量(検出特徴量)を、予め作成したポールスターデータベース34と照合する。
The pole
ここで、このポールスター照合手段24は、尤度を設定したポールスター特徴量を用いて、ポールスター照合を行うものである。ここで、この尤度は、撮像手段20により取得した画像中のドットと、このドットに対応するポールスターアルゴリズムのポールスターデータベース34中のドットとの間の誤差を吸収するためのものである。
Here, the pole star collating means 24 performs pole star collation using the pole star feature quantity for which the likelihood is set. Here, this likelihood is for absorbing an error between the dot in the image acquired by the imaging means 20 and the dot in the
絞り込み手段26は、ポールスター照合手段24により照合された照合ドット候補から所定の照合ドットに絞り込むためのものである。 The narrowing means 26 is for narrowing down the matching dot candidates collated by the pole star matching means 24 to a predetermined matching dot.
位置検出手段28は、絞り込み手段26により絞り込んだ所定の照合ドットからなるドットパターンの位置関係に基づいて、移動体16の床面12上での現在位置および方向を
検出するものである。
The
距離検出手段36は、図4に示すように、例えば床面12に向けてレーザ光を出射して反射光を計測することで距離を検出するレーザ測距器を用いて構成することができる。距離検出手段36は撮像手段20に設けられており、撮像手段20と床面12との間の垂直距離Lを検出する。この距離Lは床面12からの撮像手段20の高さ位置を意味する。なお、距離検出手段36は、レーザ測距器に限るものではなく、撮像手段20と床面12との間の距離を計測できるものであればいかなる検出器を用いてもよい。
As shown in FIG. 4, the
傾き検出手段38は、例えばジャイロセンサなどのMEMS慣性センサを用いて構成することができる。傾き検出手段38は撮像手段20に固定されており、床面12に対する撮像手段20の傾きを検出する。ここで、図5に示すように、X軸を左右方向とし、Y軸を上下方向とし、Z軸を前後方向とすると、図4に示すように、傾き検出手段38は、X軸が回転軸となる回転方向θxの撮像手段20の傾斜角ηxを検出するX軸傾き検出部38aと、Z軸が回転軸となる回転方向θzの撮像手段20の傾斜角ηzを検出するZ軸傾き検出部38bとで構成される。ここで、図4においては、傾斜角ηzがない場合を図示しており、撮像手段20の光軸AXは床面12に垂直な線に対して傾斜角ηxだけ傾いている。なお、傾き検出手段38は、慣性センサに限るものではなく、撮像手段20の傾きを計測できるものであればいかなる検出器を用いてもよい。
The inclination detection means 38 can be configured using a MEMS inertial sensor such as a gyro sensor, for example. The inclination detection means 38 is fixed to the imaging means 20 and detects the inclination of the imaging means 20 with respect to the
駆動手段40は、撮像手段20に作用して撮像手段20の傾きを変更可能なものであり、例えばモータを用いて構成することができる。駆動手段40の出力軸は撮像手段20に接続して、その回転駆動力を撮像手段20に伝達可能となっており、駆動した際に撮像手段20の傾きを変更する。より具体的には、図4に示すように、駆動手段40は、X軸が回転軸となる回転方向θxの撮像手段20の傾斜角ηxを変更するX軸傾き変更部40aと、Z軸が回転軸となる回転方向θzの撮像手段20の傾斜角ηzを変更するZ軸傾き変更部40bとからなる直交2軸の駆動手段として構成される。なお、図4では、駆動手段40の作動直前の状態を概念的に示している。駆動手段40は、モータに限るものではなく、撮像手段20の傾きを変更できるものであればいかなる駆動手段を用いてもよい。
The driving
制御手段42は、傾き検出手段38により検出した傾斜角ηx、ηzに基づいて、撮像手段20の光軸AXが床面12に垂直になるように駆動手段40を駆動制御するものである。
The control means 42 drives and controls the drive means 40 so that the optical axis AX of the imaging means 20 is perpendicular to the
画像変換手段44は、距離検出手段36により検出した距離Lに基づいて、撮像手段20により取得した画像を、床面から所定の基準距離(例えば、数センチメートル)に位置する撮像手段20により床面12を撮像したときに得られる画像に拡大・縮小するものである。ここで、距離Lが所定の基準距離に一致する場合には、等倍の倍率にて拡大・縮小を行うものとする。なお、拡大・縮小により所定の正規の大きさに変換された画像はポールスター照合手段24に入力されて、ポールスター特徴量を得るための画像として用いられる。
The
上記構成の動作および作用を説明する。
図6に示すように、傾き検出手段38による検出の結果、撮像手段20に傾きが生じている場合には(ステップS11でYes)、制御手段42はこの傾きに基づいて、撮像手段20の光軸AXが床面12に垂直になるように駆動手段40を駆動制御する(ステップS12)。続いて、画像変換手段44は取得画像を所定の正規の大きさの画像に拡大・縮小して、ポールスター照合手段24に出力する(ステップS13)。一方、ステップS11において撮像手段20に傾きが生じていない場合には(ステップS11でNo)、ステップS12を経ることなく処理をステップS13に進める。そして、移動体位置検出装置
18は、画像取得して画像中の点にラベリングをし(ステップS14)、この画像点群を用いてポールスター照合手段24で尤度を導入したポールスター照合を行い(ステップS15)、照合床点候補群について絞り込み手段26で点群相互間距離の組み合わせの照合を行って(ステップS16)、位置検出手段28で撮像手段20のカメラ位置・方向の計算をし(ステップS17)、照合率による確認をする(ステップS18)。なお、上記のうちステップS14〜S18の具体的な処理内容については、上記の特許文献3に記載の処理内容と同様であるから、詳細な説明は省略する。
The operation and action of the above configuration will be described.
As shown in FIG. 6, when the
このように、撮像手段20の光軸AXが傾く場合には、駆動手段40および制御手段42によって、撮像手段20の光軸AXは床面12に垂直になり、撮像手段20により取得した画像は、画像変換手段44によって、このときの撮像手段20と床面12間の距離Lに応じて所定の正規の大きさの画像に変換される。このため、撮像手段20の光軸AXの傾きに伴う画像の投射歪に関する補正処理を要しない。また、画像変換手段44によって変換された画像はポールスター照合手段24に入力されて、ポールスター特徴量を得るための画像として用いられる。このため、検出特徴量算出手段および特徴量照合手段としてのポールスター照合手段24による照合は正常に機能し、照合不良は起こさない。したがって、本発明によれば、照合不良を起こし難くして位置検出の信頼性を確保することができる。
As described above, when the optical axis AX of the
また、位置検出手段28によって撮像手段20(および移動体16)の床面12内の2次元的な位置が検出され、距離検出手段36によって撮像手段20の床面12からの距離L、すなわち撮像手段20の床面12からの高さを検出できる。このため、撮像手段20および移動体16の3次元的な位置および姿勢(床面12内の方向)を検出することができる。
Further, the two-dimensional position of the imaging means 20 (and the moving body 16) in the
なお、傾き検出手段38に用いるような慣性センサでは、鉛直軸(Y軸)周りの回転(図5のθy)については、誤差が累積される傾向があり、特に温度に依存してドリフトが生じるため、精度の高い値が求められない。また、慣性センサで検出した角速度を積分することにより床面12内の位置を算出できるが、これも誤差の累積が生じる。これに対し、ポールスター照合手段24による照合を用いる本発明では、鉛直軸周りの回転位置(方向)および床面12内の位置をそれぞれ正確に求めることができる。
Note that in an inertial sensor such as that used for the
また、本発明に係る移動体位置検出システムおよび方法は、映像放送用のバーチャルスタジオの撮影に適用することも可能である。バーチャルスタジオでは、拡張現実感(Augmented Reality)を使った撮影が行われるが、この種の撮影ではTVカメラの位置と姿勢の正確な把握が必要となる。この位置と姿勢を把握するために従来、TVカメラを載せる三脚の各車輪の回転履歴を取得する精密な機構を備えた重量の大きい高価な装置が使用されていた。そこで、本発明の移動体16をTVカメラ用の台車とし、これに比較的軽量な慣性センサ(傾き検出手段38)、レーザ測距器(距離検出手段36)、モータ(駆動手段40)、カメラ(撮像手段20)を取り付けた構成とすれば、比較的安価かつ簡易にTVカメラのバーチャルスタジオ内での位置と姿勢を検出することができる。
In addition, the moving body position detection system and method according to the present invention can also be applied to shooting in a virtual studio for video broadcasting. In a virtual studio, shooting using augmented reality is performed, but this type of shooting requires accurate grasping of the position and orientation of the TV camera. In order to grasp this position and posture, conventionally, an expensive heavy apparatus equipped with a precise mechanism for acquiring the rotation history of each wheel of a tripod on which a TV camera is mounted has been used. Therefore, the moving
以上説明したように、本発明に係る移動体位置検出システムによれば、平面上を移動する移動体の位置を検出する移動体位置検出システムであって、前記平面上に配置された複数のドットからなるドットパターンと、前記移動体に備えられ、前記移動体が位置する平面上の領域を撮像する撮像手段と、前記撮像手段により取得した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出する検出特徴量算出手段と、前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合すること
により、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択する特徴量照合手段と、前記特徴量照合手段により選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出する位置検出手段と、前記撮像手段と前記平面との距離を検出する距離検出手段と、前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段と、前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御する制御手段と、前記距離検出手段により検出した距離に基づいて、前記撮像手段により取得した画像を、前記平面から所定の距離に位置する前記撮像手段により前記平面を撮像したときに得られる画像に拡大・縮小する画像変換手段とを備えるので、仮に撮像手段(カメラ)の光軸が傾いたとしても、駆動手段および制御手段によって、撮像手段の光軸は平面(床面)に垂直になり、撮像手段により取得した画像は、画像変換手段によって、このときの撮像手段と平面間の距離に応じて所定の正規の大きさの画像に変換される。このため、検出特徴量算出手段および特徴量照合手段は正常に機能できる。したがって、照合不良を起こし難くして位置検出の信頼性を確保することができる。
As described above, according to the moving object position detection system of the present invention, the moving object position detection system detects the position of the moving object that moves on the plane, and includes a plurality of dots arranged on the plane. A predetermined dot from a plurality of dots in an image acquired by the imaging unit, an imaging unit that images the area on the plane on which the moving body is located, and a dot pattern comprising: A detection feature amount calculating means for calculating a positional relationship between the selected dot and a plurality of dots positioned around the dot as a detection feature amount of the selected dot; and the detection feature amount is a predetermined reference feature amount. Feature quantity matching means for selecting a predetermined reference feature quantity having a high degree of coincidence with the detected feature quantity from the reference feature quantity database by collating with a stored reference feature quantity database; Position detecting means for detecting a current position of the moving body on the plane based on the reference feature quantity selected by the feature quantity checking means; distance detecting means for detecting a distance between the imaging means and the plane; Based on the inclination detected by the inclination detecting means, the inclination detecting means for detecting the inclination of the imaging means with respect to the plane, the driving means capable of changing the inclination of the imaging means by acting on the imaging means, Based on the distance detected by the control means for driving the drive means so that the optical axis of the image pickup means is perpendicular to the plane, and the distance detected by the distance detection means, an image acquired by the image pickup means is predetermined from the plane. Image conversion means for enlarging / reducing the image obtained when the plane is imaged by the imaging means located at a distance of, for example, an imaging means (camera) Even if the optical axis is tilted, the optical axis of the imaging means is perpendicular to the plane (floor surface) by the driving means and the control means, and the image acquired by the imaging means is the same as the imaging means at this time by the image conversion means. The image is converted into an image having a predetermined regular size according to the distance between the planes. For this reason, the detected feature quantity calculation means and the feature quantity verification means can function normally. Accordingly, it is possible to ensure the reliability of position detection by making it difficult to cause a verification failure.
また、位置検出手段によって撮像手段(および移動体)の平面内の2次元的な位置が検出され、距離検出手段によって撮像手段の平面からの距離が検出される。平面が床面である場合には、撮像手段の床面からの高さを検出できる。このため、撮像手段および移動体の3次元的な位置および姿勢(平面内の方向)を検出することができる。 In addition, the two-dimensional position in the plane of the imaging means (and the moving body) is detected by the position detection means, and the distance from the plane of the imaging means is detected by the distance detection means. When the plane is the floor surface, the height of the imaging means from the floor surface can be detected. For this reason, it is possible to detect the three-dimensional position and orientation (direction in the plane) of the imaging means and the moving body.
また、本発明に係る移動体位置検出方法によれば、平面上を移動する移動体の位置を検出する移動体位置検出方法であって、前記平面上には複数のドットからなるドットパターンが配置され、前記移動体には前記移動体が位置する平面上の領域を撮像する撮像手段と、前記撮像手段と前記平面との距離を検出する距離検出手段と、前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段とが備えられ、前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御し、前記距離検出手段により検出した距離に基づいて、前記撮像手段により取得した画像を、前記平面から所定の距離に位置する前記撮像手段により前記平面を撮像したときに得られる画像に拡大・縮小し、拡大・縮小して取得した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出し、前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合することにより、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択し、選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出するので、仮に撮像手段(カメラ)の光軸が傾いたとしても、駆動手段の制御によって、撮像手段の光軸は平面(床面)に垂直になり、撮像手段により取得した画像は、拡大・縮小によって、このときの撮像手段と平面間の距離に応じて所定の正規の大きさの画像に変換される。このため、基準特徴量データベースとの照合を正常に行うことができる。したがって、照合不良を起こし難くして位置検出の信頼性を確保することができる。 The moving body position detecting method according to the present invention is a moving body position detecting method for detecting the position of a moving body moving on a plane, wherein a dot pattern comprising a plurality of dots is arranged on the plane. The moving body has an imaging means for imaging an area on a plane where the moving body is located, a distance detection means for detecting a distance between the imaging means and the plane, and an inclination of the imaging means with respect to the plane. An inclination detecting means for detecting; and a driving means capable of changing the inclination of the imaging means by acting on the imaging means, and the optical axis of the imaging means is based on the inclination detected by the inclination detecting means. The drive unit is driven and controlled to be perpendicular to a plane, and an image acquired by the imaging unit is captured at a predetermined distance from the plane based on the distance detected by the distance detection unit. A predetermined dot is selected from a plurality of dots in the image obtained by enlarging / reducing the image obtained by imaging the plane by means, and enlarging / reducing, and the selected dot and a position around this dot Calculating a positional relationship with a plurality of dots as a detected feature amount of the selected dot, and comparing the detected feature amount with a reference feature amount database in which a predetermined reference feature amount is stored. A predetermined reference feature amount having a high degree of coincidence with the detected feature amount is selected from the database, and the current position of the moving body on the plane is detected based on the selected reference feature amount. ), The optical axis of the imaging means is perpendicular to the plane (floor surface), and the image acquired by the imaging means is enlarged or reduced. It is converted into a predetermined regular size of the image according to the distance between the imaging means and the plane of the case. For this reason, collation with the reference feature database can be performed normally. Accordingly, it is possible to ensure the reliability of position detection by making it difficult to cause a verification failure.
また、撮像手段(および移動体)の平面内の2次元的な位置と、撮像手段の平面からの距離が検出される。平面が床面である場合には、撮像手段の床面からの高さを検出できる。このため、撮像手段および移動体の3次元的な位置および姿勢(平面内の方向)を検出することができる。 Further, the two-dimensional position in the plane of the imaging means (and the moving body) and the distance from the plane of the imaging means are detected. When the plane is the floor surface, the height of the imaging means from the floor surface can be detected. For this reason, it is possible to detect the three-dimensional position and orientation (direction in the plane) of the imaging means and the moving body.
以上のように、本発明に係る移動体位置検出システムおよび方法は、建物内の床面上などの平面上に配置した移動体の位置検出に有用であり、特に、カメラ(撮像手段)と平面
間の距離が変動したり、カメラ光軸が傾く際に懸念される照合不良を起こし難くして、検出の信頼性を確保するのに適している。
As described above, the moving body position detection system and method according to the present invention are useful for detecting the position of a moving body placed on a plane such as a floor surface in a building, and in particular, a camera (imaging means) and a plane. It is suitable for ensuring the reliability of detection by making it difficult to cause a collation failure which is a concern when the distance between them fluctuates or when the camera optical axis is tilted.
10 移動体位置検出システム
12 床面(平面)
14 ドットパターン
16 移動体
18 移動体位置検出装置
20 撮像手段
22 ポールスター特徴量格納手段
24 ポールスター照合手段(検出特徴量算出手段、特徴量照合手段)
26 絞り込み手段
28 位置検出手段
30 照明
32 ドット
34 ポールスターデータベース(基準特徴量データベース)
36 距離検出手段
38 傾き検出手段
40 駆動手段
42 制御手段
44 画像変換手段
L 距離
ηx,ηz 傾斜角(傾き)
10 Moving body
DESCRIPTION OF
26 Narrowing means 28 Position detecting means 30
36 Distance detection means 38 Inclination detection means 40 Drive means 42 Control means 44 Image conversion means L Distance ηx, ηz Inclination angle (inclination)
Claims (2)
前記平面上に配置された複数のドットからなるドットパターンと、
前記移動体に備えられ、前記移動体が位置する平面上の領域を撮像する撮像手段と、
前記撮像手段により取得した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出する検出特徴量算出手段と、
前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合することにより、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択する特徴量照合手段と、
前記特徴量照合手段により選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出する位置検出手段と、
前記撮像手段と前記平面との距離を検出する距離検出手段と、
前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、
前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段と、
前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御する制御手段と、
前記距離検出手段により検出した距離に基づいて、光軸が前記平面に垂直にされた前記撮像手段により取得した画像を、前記平面から所定の距離に位置するとともに光軸が前記平面に垂直である前記撮像手段により前記平面を撮像したときに得られる画像に拡大・縮小することによって所定の大きさの画像に変換する画像変換手段とを備え、
前記撮像手段の光軸に傾きが生じている場合には、前記駆動手段および前記制御手段によって、前記撮像手段の光軸は前記平面に垂直にされ、光軸が前記平面に垂直にされた前記撮像手段により取得した画像は、前記画像変換手段によって所定の大きさの画像に変換され、変換された画像は、前記検出特徴量算出手段におけるドットの検出特徴量を算出するための画像として用いられることを特徴とする移動体位置検出システム。 A moving body position detection system for detecting a position of a moving body moving on a plane,
A dot pattern consisting of a plurality of dots arranged on the plane;
An imaging means provided in the moving body for imaging a region on a plane on which the moving body is located;
A predetermined dot is selected from a plurality of dots in the image acquired by the imaging means, and the positional relationship between the selected dot and a plurality of dots positioned around this dot is calculated as a detected feature amount of the selected dot. Detection feature amount calculating means for
A feature quantity for selecting a predetermined reference feature quantity having a high degree of coincidence with the detected feature quantity from the reference feature quantity database by comparing the detected feature quantity with a reference feature quantity database in which the predetermined reference feature quantity is stored. Matching means;
Position detecting means for detecting a current position of the moving body on the plane based on the reference feature quantity selected by the feature quantity matching means;
Distance detecting means for detecting a distance between the imaging means and the plane;
An inclination detecting means for detecting an inclination of the imaging means with respect to the plane;
Drive means that can act on the imaging means to change the inclination of the imaging means;
Control means for drivingly controlling the drive means so that the optical axis of the imaging means is perpendicular to the plane based on the inclination detected by the inclination detection means;
Based on the distance detected by the distance detecting means, an image in which the optical axis is acquired by the image pickup means which is perpendicular to the plane, which is perpendicular to the optical axis the plane as well as the position from the plane at a predetermined distance Image conversion means for converting into an image of a predetermined size by enlarging / reducing to an image obtained when the plane is imaged by the imaging means ,
When the optical axis of the imaging means is inclined, the driving means and the control means cause the optical axis of the imaging means to be perpendicular to the plane and the optical axis to be perpendicular to the plane. The image acquired by the imaging unit is converted into an image having a predetermined size by the image conversion unit, and the converted image is used as an image for calculating the detection feature amount of the dot in the detection feature amount calculation unit. A moving body position detection system characterized by the above.
前記平面上には複数のドットからなるドットパターンが配置され、
前記移動体には前記移動体が位置する平面上の領域を撮像する撮像手段と、前記撮像手段と前記平面との距離を検出する距離検出手段と、前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段とが備えられ、
前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御して、光軸が前記平面に垂直にされた前記撮像手段により画像を取得した後、
前記距離検出手段により検出した距離に基づいて、前記撮像手段により取得した画像を、前記平面から所定の距離に位置するとともに光軸が前記平面に垂直である前記撮像手段により前記平面を撮像したときに得られる画像に拡大・縮小することによって所定の大きさの画像に変換し、
変換した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出し、
前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合することにより、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択し、
選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出することを特徴とする移動体位置検出方法。 A moving body position detection method for detecting a position of a moving body moving on a plane,
A dot pattern consisting of a plurality of dots is arranged on the plane,
The moving body includes an imaging unit that captures an area on a plane where the moving body is located, a distance detection unit that detects a distance between the imaging unit and the plane, and an inclination of the imaging unit with respect to the plane. Inclination detection means, and drive means capable of changing the inclination of the imaging means by acting on the imaging means,
Based on the inclination detected by the inclination detecting means, the driving means is driven and controlled so that the optical axis of the imaging means is perpendicular to the plane, and the imaging means whose optical axis is perpendicular to the plane is used. After acquiring the image,
Based on the distance detected by the distance detection unit, when the image acquired by the imaging unit is imaged by the imaging unit that is located at a predetermined distance from the plane and whose optical axis is perpendicular to the plane By converting to an image of a predetermined size by enlarging or reducing the image obtained in
A predetermined dot is selected from a plurality of dots in the converted image, and the positional relationship between the selected dot and a plurality of dots located around this dot is calculated as a detection feature amount of the selected dot.
By comparing the detected feature quantity with a reference feature quantity database in which a predetermined reference feature quantity is stored, a predetermined reference feature quantity having a high degree of coincidence with the detected feature quantity is selected from the reference feature quantity database,
A moving body position detecting method, comprising: detecting a current position of the moving body on the plane based on the selected reference feature amount.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014011732A JP6242699B2 (en) | 2014-01-24 | 2014-01-24 | Mobile object position detection system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014011732A JP6242699B2 (en) | 2014-01-24 | 2014-01-24 | Mobile object position detection system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015138531A JP2015138531A (en) | 2015-07-30 |
JP6242699B2 true JP6242699B2 (en) | 2017-12-06 |
Family
ID=53769446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014011732A Active JP6242699B2 (en) | 2014-01-24 | 2014-01-24 | Mobile object position detection system and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6242699B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6439972B2 (en) * | 2014-12-18 | 2018-12-19 | 清水建設株式会社 | Mobile object position detection system and method |
JP6630881B2 (en) * | 2016-09-15 | 2020-01-15 | 株式会社五合 | Information processing apparatus, camera, moving object, moving object system, information processing method and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01211007A (en) * | 1988-02-18 | 1989-08-24 | Toyota Autom Loom Works Ltd | Image type stopping method for unmanned vehicle |
JP2002354331A (en) * | 2001-05-25 | 2002-12-06 | Canon Inc | Imaging equipment and electronic component |
JP5483090B2 (en) * | 2010-03-30 | 2014-05-07 | 清水建設株式会社 | Mobile object position detection system and method |
-
2014
- 2014-01-24 JP JP2014011732A patent/JP6242699B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015138531A (en) | 2015-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210096230A1 (en) | Calibration of laser sensors | |
JP5618840B2 (en) | Aircraft flight control system | |
US20200003878A1 (en) | Calibration of laser and vision sensors | |
JP5775632B2 (en) | Aircraft flight control system | |
JP5204785B2 (en) | Image processing apparatus, photographing apparatus, reproduction apparatus, integrated circuit, and image processing method | |
KR100922494B1 (en) | Method for measuring pose of a mobile robot and method and apparatus for measuring position of the mobile robot using the method | |
JP4345014B2 (en) | Measurement and stabilization system for machine-controllable vehicles | |
US11490005B2 (en) | Overhead line image capturing system and overhead line image capturing method | |
JP2006252473A (en) | Obstacle detector, calibration device, calibration method and calibration program | |
JP4608015B2 (en) | camera | |
WO2014072377A1 (en) | Method to determine a direction and amplitude of a current velocity estimate of a moving device | |
JPWO2009060624A1 (en) | Camera, camera system and camera body | |
CN105324792B (en) | For estimating method of the moving element relative to the angular displacement of reference direction | |
JP2009115621A (en) | Mobile image tracking device | |
US20060072019A1 (en) | System and method for detecting image capture device movement with two dual axis linear accelerometers | |
KR102152720B1 (en) | Photographing apparatus and method for 3d modeling | |
US20230305152A2 (en) | Three-dimensional survey apparatus, three-dimensional survey method, and three-dimensional survey program | |
JP6242699B2 (en) | Mobile object position detection system and method | |
JP7008736B2 (en) | Image capture method and image capture device | |
JP6249864B2 (en) | Inertial navigation system for flying objects | |
JP2015138010A (en) | Position detection system and method for photographing camera | |
KR102503308B1 (en) | Apparatus for following lane on road by unmanned aerial vehicle and method the same | |
JP2021028188A (en) | Drone imaging device and method | |
JP2021017073A (en) | Position estimation apparatus | |
JP2015138530A (en) | Mobile body position detection system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6242699 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |