JP6242699B2 - Mobile object position detection system and method - Google Patents

Mobile object position detection system and method Download PDF

Info

Publication number
JP6242699B2
JP6242699B2 JP2014011732A JP2014011732A JP6242699B2 JP 6242699 B2 JP6242699 B2 JP 6242699B2 JP 2014011732 A JP2014011732 A JP 2014011732A JP 2014011732 A JP2014011732 A JP 2014011732A JP 6242699 B2 JP6242699 B2 JP 6242699B2
Authority
JP
Japan
Prior art keywords
plane
image
moving body
imaging
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014011732A
Other languages
Japanese (ja)
Other versions
JP2015138531A (en
Inventor
深瀬 勇太郎
勇太郎 深瀬
洋史 金森
洋史 金森
優 多賀
優 多賀
大一郎 加藤
大一郎 加藤
一利 武藤
一利 武藤
秀樹 三ツ峰
秀樹 三ツ峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimizu Corp
Japan Broadcasting Corp
NHK Engineering System Inc
Original Assignee
Shimizu Corp
Japan Broadcasting Corp
NHK Engineering System Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimizu Corp, Japan Broadcasting Corp, NHK Engineering System Inc filed Critical Shimizu Corp
Priority to JP2014011732A priority Critical patent/JP6242699B2/en
Publication of JP2015138531A publication Critical patent/JP2015138531A/en
Application granted granted Critical
Publication of JP6242699B2 publication Critical patent/JP6242699B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、移動体位置検出システムおよび方法に関するものである。   The present invention relates to a moving body position detection system and method.

従来、平面上に配置したパターン(模様)を利用して、平面上を移動する移動体の位置の検出を行う方法が知られている(例えば、特許文献1〜3を参照)。   Conventionally, a method for detecting the position of a moving body that moves on a plane using a pattern (pattern) arranged on the plane is known (see, for example, Patent Documents 1 to 3).

特許文献1、2の移動体位置検出方法は、既知のドットパターンが描画してある床面上に配置した移動体に備わるカメラから床面を撮像し、撮像した画像中にあるドットのドットパターンの特徴量を、床面全体のドットパターンの特徴量が格納されたデータベースと照合することで、撮像した画像中のドットが床面上のどのドットに相当するのかを割り出し、床面上における移動体の位置を検出するものである。   The moving body position detection methods disclosed in Patent Documents 1 and 2 capture the floor surface from a camera provided on a moving body arranged on the floor surface on which a known dot pattern is drawn, and the dot pattern of dots in the captured image. By comparing the feature quantity of the image with a database that stores the feature quantity of the dot pattern of the entire floor surface, it is possible to determine which dot on the floor surface corresponds to the dot in the captured image and move on the floor surface. It detects the position of the body.

特許文献3の移動体位置検出方法は、上記の特許文献1、2の移動体位置検出方法におけるデータベースと撮像画像中のドットの点群との照合アルゴリズムとして、人工衛星の姿勢検出に使われるポールスターアルゴリズム(例えば、非特許文献1を参照)を適用し、位置検出の信頼性をより高めたものである。なお、人工衛星では搭載されたカメラで天空を撮像し、撮像画像中の恒星点の配置を既知の恒星配置図(星図)と照合することでカメラの向いている方向を特定し人工衛星の姿勢検出をしているが、このポールスターアルゴリズムは、対象外の星の混入や星の消失に強いアルゴリズムとされている。   The moving body position detection method of Patent Document 3 is a pole used for detecting the attitude of an artificial satellite as a collation algorithm between the database in the moving body position detection method of Patent Documents 1 and 2 and a dot point group in a captured image. A star algorithm (see, for example, Non-Patent Document 1) is applied to further improve the reliability of position detection. In addition, the satellite captures the sky with an onboard camera, and by comparing the location of the star points in the captured image with a known star map (star map), the direction of the camera is identified and the attitude of the satellite Although it has been detected, this Polestar algorithm is considered to be an algorithm that is resistant to the inclusion of non-target stars and the disappearance of stars.

特許第5147015号公報Japanese Patent No. 5147015 特許第5219205号公報Japanese Patent No. 5219205 特開2011−210183号公報JP 2011-210183 A

E. SILANI, M. LOVERA : Ploitecnico di Milano Italy, “Star Identification Algorithms : Novel Approach & Comparison Study”, IEEE Transactions on Aerospace and Electronic Systems, Vol.42, No.4 October 2006E. SILANI, M. LOVERA: Ploitecnico di Milano Italy, “Star Identification Algorithms: Novel Approach & Comparison Study”, IEEE Transactions on Aerospace and Electronic Systems, Vol.42, No.4 October 2006

ところで、上記の従来の特許文献1〜3の移動体位置検出方法では、カメラおよび移動体と床面(平面)間の距離は一定で、カメラ光軸は床面に対して垂直であることを前提に床面を撮像してデータベースと照合し、床面内での移動体の2次元位置とカメラ光軸周りの方向を検出する。このため、カメラ(および移動体)と床面間の距離が大きく変動したり、床面に対してカメラ光軸(および移動体)が傾く場合には、照合不良が起こって、移動体の位置・方向の検出が困難となるおそれがあった。   By the way, in the above-described conventional moving body position detection methods of Patent Documents 1 to 3, the distance between the camera and the moving body and the floor (plane) is constant, and the camera optical axis is perpendicular to the floor. Assuming that the floor surface is imaged and collated with the database, the two-dimensional position of the moving body within the floor surface and the direction around the camera optical axis are detected. For this reason, when the distance between the camera (and the moving body) and the floor surface fluctuates greatly or the camera optical axis (and the moving body) tilts with respect to the floor surface, a collation failure occurs, and the position of the moving body・ There was a risk that direction detection would be difficult.

本発明は、上記に鑑みてなされたものであって、カメラと平面間の距離が変動したり、カメラ光軸が傾く際に懸念される照合不良を起こし難くして、検出の信頼性を確保した移動体位置検出システムおよび方法を提供することを目的とする。   The present invention has been made in view of the above, and it is difficult to cause a collation failure that is a concern when the distance between the camera and the plane fluctuates or the camera optical axis is tilted, thereby ensuring detection reliability. It is an object of the present invention to provide a mobile body position detection system and method.

上記した課題を解決し、目的を達成するために、本発明に係る移動体位置検出システムは、平面上を移動する移動体の位置を検出する移動体位置検出システムであって、前記平面上に配置された複数のドットからなるドットパターンと、前記移動体に備えられ、前記移動体が位置する平面上の領域を撮像する撮像手段と、前記撮像手段により取得した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出する検出特徴量算出手段と、前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合することにより、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択する特徴量照合手段と、前記特徴量照合手段により選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出する位置検出手段と、前記撮像手段と前記平面との距離を検出する距離検出手段と、前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段と、前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御する制御手段と、前記距離検出手段により検出した距離に基づいて、前記撮像手段により取得した画像を、前記平面から所定の距離に位置する前記撮像手段により前記平面を撮像したときに得られる画像に拡大・縮小する画像変換手段とを備えることを特徴とする。   In order to solve the above-described problems and achieve the object, a mobile body position detection system according to the present invention is a mobile body position detection system that detects the position of a mobile body that moves on a plane, and is on the plane. A dot pattern composed of a plurality of arranged dots, an imaging unit that is provided in the moving body and images a region on a plane on which the moving body is located, and a plurality of dots in an image acquired by the imaging unit Detection feature amount calculating means for calculating a positional relationship between the selected dot and a plurality of dots located around the dot as a detection feature amount of the selected dot, and the detection feature amount, A predetermined reference feature amount having a high degree of coincidence with the detected feature amount is selected from the reference feature amount database by collating with a reference feature amount database in which the predetermined reference feature amount is stored. Based on the feature amount matching unit, the position detection unit that detects the current position of the moving body on the plane based on the reference feature amount selected by the feature amount matching unit, and the distance between the imaging unit and the plane A distance detecting means for detecting; an inclination detecting means for detecting an inclination of the imaging means relative to the plane; a driving means capable of changing the inclination of the imaging means by acting on the imaging means; and detected by the inclination detecting means. An image acquired by the imaging means based on the distance detected by the control means for driving the drive means so that the optical axis of the imaging means is perpendicular to the plane based on the tilt, and the distance detected by the distance detection means Image conversion means for enlarging / reducing the image to an image obtained when the plane is imaged by the imaging means located at a predetermined distance from the plane To.

また、本発明に係る移動体位置検出方法は、平面上を移動する移動体の位置を検出する移動体位置検出方法であって、前記平面上には複数のドットからなるドットパターンが配置され、前記移動体には前記移動体が位置する平面上の領域を撮像する撮像手段と、前記撮像手段と前記平面との距離を検出する距離検出手段と、前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段とが備えられ、前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御し、前記距離検出手段により検出した距離に基づいて、前記撮像手段により取得した画像を、前記平面から所定の距離に位置する前記撮像手段により前記平面を撮像したときに得られる画像に拡大・縮小し、拡大・縮小して取得した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出し、前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合することにより、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択し、選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出することを特徴とする。   The moving body position detection method according to the present invention is a moving body position detection method for detecting the position of a moving body that moves on a plane, and a dot pattern composed of a plurality of dots is arranged on the plane, The moving body includes an imaging unit that captures an area on a plane where the moving body is located, a distance detection unit that detects a distance between the imaging unit and the plane, and an inclination of the imaging unit with respect to the plane. A tilt detecting unit; and a driving unit capable of changing the tilt of the imaging unit by acting on the imaging unit. Based on the tilt detected by the tilt detecting unit, the optical axis of the imaging unit is on the plane. The image pickup means which controls the drive means so as to be vertical and positions an image acquired by the image pickup means at a predetermined distance from the plane based on the distance detected by the distance detection means. The image is enlarged / reduced to an image obtained when the plane is imaged, and a predetermined dot is selected from a plurality of dots in the image obtained by enlargement / reduction, and the selected dot is positioned around this dot. By calculating a positional relationship with a plurality of dots as a detected feature amount of the selected dot, and comparing the detected feature amount with a reference feature amount database in which a predetermined reference feature amount is stored, the reference feature amount database A predetermined reference feature amount having a high degree of coincidence with the detected feature amount is selected, and a current position of the moving body on the plane is detected based on the selected reference feature amount.

本発明に係る移動体位置検出システムによれば、平面上を移動する移動体の位置を検出する移動体位置検出システムであって、前記平面上に配置された複数のドットからなるドットパターンと、前記移動体に備えられ、前記移動体が位置する平面上の領域を撮像する撮像手段と、前記撮像手段により取得した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出する検出特徴量算出手段と、前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合することにより、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択する特徴量照合手段と、前記特徴量照合手段により選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出する位置検出手段と、前記撮像手段と前記平面との距離を検出する距離検出手段と、前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段と、前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御する制御手段と、前記距離検出手段により検出した距離に基づいて、前記撮像手段により取得した画像を、前記平面から所定の距離に位置する前記撮
像手段により前記平面を撮像したときに得られる画像に拡大・縮小する画像変換手段とを備えるので、仮に撮像手段(カメラ)の光軸が傾いたとしても、駆動手段および制御手段によって、撮像手段の光軸は平面(床面)に垂直になり、撮像手段により取得した画像は、画像変換手段によって、このときの撮像手段と平面間の距離に応じて所定の正規の大きさの画像に変換される。このため、検出特徴量算出手段および特徴量照合手段は正常に機能できる。したがって、照合不良を起こし難くして位置検出の信頼性を確保することができるという効果を奏する。
According to the mobile body position detection system according to the present invention, the mobile body position detection system detects the position of the mobile body moving on a plane, a dot pattern composed of a plurality of dots arranged on the plane, An imaging unit that is provided in the moving body and captures an area on a plane on which the moving body is located; a predetermined dot is selected from a plurality of dots in an image acquired by the imaging unit; A detection feature amount calculating means for calculating a positional relationship with a plurality of dots positioned around the dot as a detection feature amount of the selected dot; and a reference feature amount in which a predetermined reference feature amount is stored as the detection feature amount A feature quantity matching means for selecting a predetermined reference feature quantity having a high degree of coincidence with the detected feature quantity from the reference feature quantity database by matching with a database; and the feature quantity matching means Based on the selected reference feature amount, a position detection unit that detects a current position of the moving body on the plane, a distance detection unit that detects a distance between the imaging unit and the plane, and the plane relative to the plane An optical axis of the imaging means based on an inclination detected by the inclination detecting means, a driving means capable of changing the inclination of the imaging means by acting on the imaging means, and an inclination detected by the inclination detecting means An image acquired by the imaging unit is located at a predetermined distance from the plane based on a control unit that drives and controls the driving unit so that is perpendicular to the plane and a distance detected by the distance detection unit Image conversion means for enlarging / reducing the image obtained when the plane is imaged by the imaging means, and assuming that the optical axis of the imaging means (camera) is inclined. The optical axis of the image pickup means is perpendicular to the plane (floor surface) by the drive means and the control means, and the image acquired by the image pickup means depends on the distance between the image pickup means and the plane at this time by the image conversion means. The image is converted into an image having a predetermined regular size. For this reason, the detected feature quantity calculation means and the feature quantity verification means can function normally. Therefore, there is an effect that the reliability of position detection can be secured by making it difficult to cause a verification failure.

また、位置検出手段によって撮像手段(および移動体)の平面内の2次元的な位置が検出され、距離検出手段によって撮像手段の平面からの距離が検出される。平面が床面である場合には、撮像手段の床面からの高さを検出できる。このため、撮像手段および移動体の3次元的な位置および姿勢(平面内の方向)を検出することができるという効果を奏する。   In addition, the two-dimensional position in the plane of the imaging means (and the moving body) is detected by the position detection means, and the distance from the plane of the imaging means is detected by the distance detection means. When the plane is the floor surface, the height of the imaging means from the floor surface can be detected. For this reason, there exists an effect that the three-dimensional position and attitude | position (direction in a plane) of an imaging means and a mobile body can be detected.

また、本発明に係る移動体位置検出方法によれば、平面上を移動する移動体の位置を検出する移動体位置検出方法であって、前記平面上には複数のドットからなるドットパターンが配置され、前記移動体には前記移動体が位置する平面上の領域を撮像する撮像手段と、前記撮像手段と前記平面との距離を検出する距離検出手段と、前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段とが備えられ、前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御し、前記距離検出手段により検出した距離に基づいて、前記撮像手段により取得した画像を、前記平面から所定の距離に位置する前記撮像手段により前記平面を撮像したときに得られる画像に拡大・縮小し、拡大・縮小して取得した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出し、前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合することにより、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択し、選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出するので、仮に撮像手段(カメラ)の光軸が傾いたとしても、駆動手段の制御によって、撮像手段の光軸は平面(床面)に垂直になり、撮像手段により取得した画像は、拡大・縮小によって、このときの撮像手段と平面間の距離に応じて所定の正規の大きさの画像に変換される。このため、基準特徴量データベースとの照合を正常に行うことができる。したがって、照合不良を起こし難くして位置検出の信頼性を確保することができるという効果を奏する。   The moving body position detecting method according to the present invention is a moving body position detecting method for detecting the position of a moving body moving on a plane, wherein a dot pattern comprising a plurality of dots is arranged on the plane. The moving body has an imaging means for imaging an area on a plane where the moving body is located, a distance detection means for detecting a distance between the imaging means and the plane, and an inclination of the imaging means with respect to the plane. An inclination detecting means for detecting; and a driving means capable of changing the inclination of the imaging means by acting on the imaging means, and the optical axis of the imaging means is based on the inclination detected by the inclination detecting means. The drive unit is driven and controlled to be perpendicular to a plane, and an image acquired by the imaging unit is captured at a predetermined distance from the plane based on the distance detected by the distance detection unit. A predetermined dot is selected from a plurality of dots in the image obtained by enlarging / reducing the image obtained by imaging the plane by means, and enlarging / reducing, and the selected dot and a position around this dot Calculating a positional relationship with a plurality of dots as a detected feature amount of the selected dot, and comparing the detected feature amount with a reference feature amount database in which a predetermined reference feature amount is stored. A predetermined reference feature amount having a high degree of coincidence with the detected feature amount is selected from the database, and the current position of the moving body on the plane is detected based on the selected reference feature amount. ), The optical axis of the imaging means is perpendicular to the plane (floor surface), and the image acquired by the imaging means is enlarged or reduced. It is converted into a predetermined regular size of the image according to the distance between the imaging means and the plane of the case. For this reason, collation with the reference feature database can be performed normally. Therefore, there is an effect that the reliability of position detection can be secured by making it difficult to cause a verification failure.

また、撮像手段(および移動体)の平面内の2次元的な位置と、撮像手段の平面からの距離が検出される。平面が床面である場合には、撮像手段の床面からの高さを検出できる。このため、撮像手段および移動体の3次元的な位置および姿勢(平面内の方向)を検出することができるという効果を奏する。   Further, the two-dimensional position in the plane of the imaging means (and the moving body) and the distance from the plane of the imaging means are detected. When the plane is the floor surface, the height of the imaging means from the floor surface can be detected. For this reason, there exists an effect that the three-dimensional position and attitude | position (direction in a plane) of an imaging means and a mobile body can be detected.

図1は、本発明に係る移動体位置検出システムの実施例を示す構成図である。FIG. 1 is a configuration diagram showing an embodiment of a moving body position detection system according to the present invention. 図2は、ドットパターンと取得画像の一例を示す図である。FIG. 2 is a diagram illustrating an example of a dot pattern and an acquired image. 図3は、取得画像から位置を検出する概念を説明する図である。FIG. 3 is a diagram for explaining the concept of detecting a position from an acquired image. 図4は、撮像手段が傾いている場合の図である。FIG. 4 is a diagram when the imaging means is tilted. 図5は、各軸周りの回転方向を説明する図である。FIG. 5 is a diagram illustrating the rotation direction around each axis. 図6は、本発明に係る移動体位置検出システムおよび方法の実施例を示すフローチャート図である。FIG. 6 is a flowchart showing an embodiment of a moving body position detection system and method according to the present invention.

以下に、本発明に係る移動体位置検出システムおよび方法の実施の形態について、ポールスターアルゴリズムを適用して点群の照合を行う場合を例にとり、図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。   In the following, embodiments of a moving body position detection system and method according to the present invention will be described in detail with reference to the drawings, taking as an example a case of collating point clouds by applying a pole star algorithm. Note that the present invention is not limited to the embodiments.

図1および図2に示すように、本発明に係る移動体位置検出システム10は、建物内の床面(平面)12上に配置されたドットパターン14と、移動体16に備えられ、移動体16とともに床面12上を移動する移動体位置検出装置18とから構成されている。ここで、移動体16とは、例えば搬送台車、ロボット、人間等である。ドットパターン14は、印刷や描画等の手段によって床面12上にランダムに配置されている。   As shown in FIGS. 1 and 2, a moving body position detection system 10 according to the present invention is provided with a dot pattern 14 arranged on a floor surface (plane) 12 in a building and a moving body 16, and the moving body 16 and a moving body position detecting device 18 that moves on the floor surface 12. Here, the moving body 16 is, for example, a transport cart, a robot, a human being, or the like. The dot pattern 14 is randomly arranged on the floor 12 by means such as printing or drawing.

移動体位置検出装置18は、移動体16が位置する床面12上の領域を撮像する撮像手段20と、ポールスター特徴量格納手段22と、ポールスター照合手段24(検出特徴量算出手段および特徴量照合手段)と、絞り込み手段26と、撮像手段20によって撮像した画像に基づいて移動体16の位置を検出する位置検出手段28と、を備える。   The moving body position detection device 18 includes an imaging unit 20 that captures an area on the floor 12 where the moving body 16 is located, a pole star feature amount storage unit 22, and a pole star collation unit 24 (detected feature amount calculation unit and feature). A quantity collating unit), a narrowing unit 26, and a position detecting unit 28 that detects the position of the moving body 16 based on the image captured by the imaging unit 20.

また、この移動体位置検出装置18は、撮像手段20と床面12との距離を検出する距離検出手段36と、床面12に対する撮像手段20の傾きを検出する傾き検出手段38と、駆動手段40と、制御手段42と、画像変換手段44とをさらに備える。   The moving body position detection device 18 includes a distance detection unit 36 that detects a distance between the imaging unit 20 and the floor surface 12, an inclination detection unit 38 that detects an inclination of the imaging unit 20 with respect to the floor surface 12, and a driving unit. 40, a control means 42, and an image conversion means 44 are further provided.

撮像手段20は、CCDカメラ等の画像取得装置である。撮像手段20は移動体16に固定されており、移動体16とともに移動しながら、移動体16の位置する床面12上の領域を所定の時間間隔で撮像し、図2の右側に示したような画像を取得する。本実施の形態では、高速度カメラを用いて、例えば10ms程度の時間間隔で画像を取得している。また、図1に示すように、LEDなどの照明30を用いることで、外乱光の影響の少ない画像を取得することができる。なお、撮像手段20と床面12との間の距離は数センチメートルとすることが好ましいが、外乱光の影響の少ない画像を取得可能であればこの距離に限るものではない。   The imaging means 20 is an image acquisition device such as a CCD camera. The imaging means 20 is fixed to the moving body 16, and while moving with the moving body 16, the area on the floor 12 where the moving body 16 is located is imaged at predetermined time intervals, as shown on the right side of FIG. The correct image. In the present embodiment, images are acquired at a time interval of about 10 ms, for example, using a high-speed camera. Also, as shown in FIG. 1, by using an illumination 30 such as an LED, it is possible to acquire an image with little influence of ambient light. The distance between the image pickup means 20 and the floor 12 is preferably several centimeters, but is not limited to this distance as long as an image with little influence of disturbance light can be acquired.

ポールスター特徴量格納手段22は、図3に示すように、移動体16の検出を行う前に、床面12上のドットパターン14におけるすべてのドット32のポールスター特徴量(基準特徴量)を予め算出し、これをポールスターデータベース34(基準特徴量データベース)に格納する。   As shown in FIG. 3, the pole star feature amount storage unit 22 calculates the pole star feature amount (reference feature amount) of all the dots 32 in the dot pattern 14 on the floor 12 before detecting the moving body 16. It is calculated in advance and stored in the pole star database 34 (reference feature database).

ポールスター照合手段24は、検出特徴量算出手段および特徴量照合手段として機能するものであり、図3に示すように、取得画像中の複数のドット32から所定のドット32aを選択し、ドット32aや周辺に位置する複数のドット32b〜32b等から得られるポールスター特徴量(検出特徴量)を、予め作成したポールスターデータベース34と照合する。 The pole star collating unit 24 functions as a detected feature amount calculating unit and a feature amount collating unit. As shown in FIG. 3, a predetermined dot 32a is selected from a plurality of dots 32 in the acquired image, and the dot 32a is selected. Pole star feature values (detected feature values) obtained from a plurality of dots 32b 1 to 32b 5 and the like located in the vicinity are collated with a pole star database 34 created in advance.

ここで、このポールスター照合手段24は、尤度を設定したポールスター特徴量を用いて、ポールスター照合を行うものである。ここで、この尤度は、撮像手段20により取得した画像中のドットと、このドットに対応するポールスターアルゴリズムのポールスターデータベース34中のドットとの間の誤差を吸収するためのものである。   Here, the pole star collating means 24 performs pole star collation using the pole star feature quantity for which the likelihood is set. Here, this likelihood is for absorbing an error between the dot in the image acquired by the imaging means 20 and the dot in the pole star database 34 of the pole star algorithm corresponding to this dot.

絞り込み手段26は、ポールスター照合手段24により照合された照合ドット候補から所定の照合ドットに絞り込むためのものである。   The narrowing means 26 is for narrowing down the matching dot candidates collated by the pole star matching means 24 to a predetermined matching dot.

位置検出手段28は、絞り込み手段26により絞り込んだ所定の照合ドットからなるドットパターンの位置関係に基づいて、移動体16の床面12上での現在位置および方向を
検出するものである。
The position detection unit 28 detects the current position and direction of the moving body 16 on the floor surface 12 based on the positional relationship of the dot pattern composed of the predetermined collation dots narrowed down by the narrowing-down unit 26.

距離検出手段36は、図4に示すように、例えば床面12に向けてレーザ光を出射して反射光を計測することで距離を検出するレーザ測距器を用いて構成することができる。距離検出手段36は撮像手段20に設けられており、撮像手段20と床面12との間の垂直距離Lを検出する。この距離Lは床面12からの撮像手段20の高さ位置を意味する。なお、距離検出手段36は、レーザ測距器に限るものではなく、撮像手段20と床面12との間の距離を計測できるものであればいかなる検出器を用いてもよい。   As shown in FIG. 4, the distance detecting unit 36 can be configured by using a laser range finder that detects a distance by emitting laser light toward the floor 12 and measuring reflected light, for example. The distance detection unit 36 is provided in the imaging unit 20 and detects the vertical distance L between the imaging unit 20 and the floor surface 12. This distance L means the height position of the imaging means 20 from the floor 12. The distance detecting unit 36 is not limited to the laser range finder, and any detector that can measure the distance between the imaging unit 20 and the floor 12 may be used.

傾き検出手段38は、例えばジャイロセンサなどのMEMS慣性センサを用いて構成することができる。傾き検出手段38は撮像手段20に固定されており、床面12に対する撮像手段20の傾きを検出する。ここで、図5に示すように、X軸を左右方向とし、Y軸を上下方向とし、Z軸を前後方向とすると、図4に示すように、傾き検出手段38は、X軸が回転軸となる回転方向θxの撮像手段20の傾斜角ηxを検出するX軸傾き検出部38aと、Z軸が回転軸となる回転方向θzの撮像手段20の傾斜角ηzを検出するZ軸傾き検出部38bとで構成される。ここで、図4においては、傾斜角ηzがない場合を図示しており、撮像手段20の光軸AXは床面12に垂直な線に対して傾斜角ηxだけ傾いている。なお、傾き検出手段38は、慣性センサに限るものではなく、撮像手段20の傾きを計測できるものであればいかなる検出器を用いてもよい。   The inclination detection means 38 can be configured using a MEMS inertial sensor such as a gyro sensor, for example. The inclination detection means 38 is fixed to the imaging means 20 and detects the inclination of the imaging means 20 with respect to the floor 12. Here, as shown in FIG. 5, when the X-axis is the left-right direction, the Y-axis is the up-down direction, and the Z-axis is the front-rear direction, as shown in FIG. An X-axis inclination detector 38a that detects the inclination angle ηx of the imaging means 20 in the rotational direction θx, and a Z-axis inclination detection part that detects the inclination angle ηz of the imaging means 20 in the rotational direction θz whose rotation axis is the Z-axis. 38b. Here, FIG. 4 shows a case where there is no inclination angle ηz, and the optical axis AX of the imaging means 20 is inclined by an inclination angle ηx with respect to a line perpendicular to the floor surface 12. Note that the inclination detection means 38 is not limited to an inertial sensor, and any detector may be used as long as the inclination of the imaging means 20 can be measured.

駆動手段40は、撮像手段20に作用して撮像手段20の傾きを変更可能なものであり、例えばモータを用いて構成することができる。駆動手段40の出力軸は撮像手段20に接続して、その回転駆動力を撮像手段20に伝達可能となっており、駆動した際に撮像手段20の傾きを変更する。より具体的には、図4に示すように、駆動手段40は、X軸が回転軸となる回転方向θxの撮像手段20の傾斜角ηxを変更するX軸傾き変更部40aと、Z軸が回転軸となる回転方向θzの撮像手段20の傾斜角ηzを変更するZ軸傾き変更部40bとからなる直交2軸の駆動手段として構成される。なお、図4では、駆動手段40の作動直前の状態を概念的に示している。駆動手段40は、モータに限るものではなく、撮像手段20の傾きを変更できるものであればいかなる駆動手段を用いてもよい。   The driving unit 40 can change the inclination of the imaging unit 20 by acting on the imaging unit 20, and can be configured using, for example, a motor. The output shaft of the drive means 40 is connected to the image pickup means 20 so that the rotational driving force can be transmitted to the image pickup means 20 and changes the inclination of the image pickup means 20 when driven. More specifically, as shown in FIG. 4, the driving unit 40 includes an X-axis inclination changing unit 40 a that changes the inclination angle ηx of the imaging unit 20 in the rotation direction θx in which the X-axis is a rotation axis, and the Z-axis is It is configured as an orthogonal two-axis driving unit including a Z-axis inclination changing unit 40b that changes the inclination angle ηz of the imaging unit 20 in the rotation direction θz serving as a rotation axis. FIG. 4 conceptually shows a state immediately before the operation of the driving means 40. The driving means 40 is not limited to a motor, and any driving means may be used as long as the inclination of the imaging means 20 can be changed.

制御手段42は、傾き検出手段38により検出した傾斜角ηx、ηzに基づいて、撮像手段20の光軸AXが床面12に垂直になるように駆動手段40を駆動制御するものである。   The control means 42 drives and controls the drive means 40 so that the optical axis AX of the imaging means 20 is perpendicular to the floor surface 12 based on the inclination angles ηx and ηz detected by the inclination detection means 38.

画像変換手段44は、距離検出手段36により検出した距離Lに基づいて、撮像手段20により取得した画像を、床面から所定の基準距離(例えば、数センチメートル)に位置する撮像手段20により床面12を撮像したときに得られる画像に拡大・縮小するものである。ここで、距離Lが所定の基準距離に一致する場合には、等倍の倍率にて拡大・縮小を行うものとする。なお、拡大・縮小により所定の正規の大きさに変換された画像はポールスター照合手段24に入力されて、ポールスター特徴量を得るための画像として用いられる。   The image conversion unit 44 converts the image acquired by the imaging unit 20 based on the distance L detected by the distance detection unit 36 by the imaging unit 20 located at a predetermined reference distance (for example, several centimeters) from the floor surface. The image is enlarged or reduced to an image obtained when the surface 12 is imaged. Here, when the distance L coincides with a predetermined reference distance, enlargement / reduction is performed at the same magnification. Note that the image converted into a predetermined regular size by the enlargement / reduction is input to the pole star collating means 24 and used as an image for obtaining the pole star feature amount.

上記構成の動作および作用を説明する。
図6に示すように、傾き検出手段38による検出の結果、撮像手段20に傾きが生じている場合には(ステップS11でYes)、制御手段42はこの傾きに基づいて、撮像手段20の光軸AXが床面12に垂直になるように駆動手段40を駆動制御する(ステップS12)。続いて、画像変換手段44は取得画像を所定の正規の大きさの画像に拡大・縮小して、ポールスター照合手段24に出力する(ステップS13)。一方、ステップS11において撮像手段20に傾きが生じていない場合には(ステップS11でNo)、ステップS12を経ることなく処理をステップS13に進める。そして、移動体位置検出装置
18は、画像取得して画像中の点にラベリングをし(ステップS14)、この画像点群を用いてポールスター照合手段24で尤度を導入したポールスター照合を行い(ステップS15)、照合床点候補群について絞り込み手段26で点群相互間距離の組み合わせの照合を行って(ステップS16)、位置検出手段28で撮像手段20のカメラ位置・方向の計算をし(ステップS17)、照合率による確認をする(ステップS18)。なお、上記のうちステップS14〜S18の具体的な処理内容については、上記の特許文献3に記載の処理内容と同様であるから、詳細な説明は省略する。
The operation and action of the above configuration will be described.
As shown in FIG. 6, when the imaging unit 20 is tilted as a result of detection by the tilt detecting unit 38 (Yes in step S11), the control unit 42 determines the light of the imaging unit 20 based on this tilt. The drive unit 40 is driven and controlled so that the axis AX is perpendicular to the floor surface 12 (step S12). Subsequently, the image conversion means 44 enlarges / reduces the acquired image to an image of a predetermined normal size and outputs it to the pole star collation means 24 (step S13). On the other hand, if there is no tilt in the imaging means 20 in step S11 (No in step S11), the process proceeds to step S13 without passing through step S12. Then, the moving body position detection device 18 acquires an image, labels the points in the image (step S14), and performs pole star matching in which likelihood is introduced by the pole star matching means 24 using the image point group. (Step S15), the collation floor point candidate group is collated with the combination of the distances between the point groups by the narrowing means 26 (Step S16), and the position detection means 28 calculates the camera position / direction of the imaging means 20 ( Step S17), confirmation by the collation rate is performed (step S18). In addition, about the specific processing content of step S14-S18 among the above, since it is the same as that of the processing content of said patent document 3, detailed description is abbreviate | omitted.

このように、撮像手段20の光軸AXが傾く場合には、駆動手段40および制御手段42によって、撮像手段20の光軸AXは床面12に垂直になり、撮像手段20により取得した画像は、画像変換手段44によって、このときの撮像手段20と床面12間の距離Lに応じて所定の正規の大きさの画像に変換される。このため、撮像手段20の光軸AXの傾きに伴う画像の投射歪に関する補正処理を要しない。また、画像変換手段44によって変換された画像はポールスター照合手段24に入力されて、ポールスター特徴量を得るための画像として用いられる。このため、検出特徴量算出手段および特徴量照合手段としてのポールスター照合手段24による照合は正常に機能し、照合不良は起こさない。したがって、本発明によれば、照合不良を起こし難くして位置検出の信頼性を確保することができる。   As described above, when the optical axis AX of the imaging unit 20 is inclined, the optical unit AX of the imaging unit 20 is perpendicular to the floor surface 12 by the driving unit 40 and the control unit 42, and the image acquired by the imaging unit 20 is The image conversion means 44 converts the image into an image having a predetermined normal size according to the distance L between the imaging means 20 and the floor 12 at this time. For this reason, the correction process regarding the projection distortion of the image accompanying the inclination of the optical axis AX of the imaging means 20 is not required. The image converted by the image conversion unit 44 is input to the pole star collating unit 24 and used as an image for obtaining the pole star feature amount. For this reason, the collation by the pole star collating means 24 as the detected feature quantity calculating means and the feature quantity collating means functions normally, and no collation failure occurs. Therefore, according to the present invention, it is possible to ensure the reliability of position detection by making it difficult to cause a verification failure.

また、位置検出手段28によって撮像手段20(および移動体16)の床面12内の2次元的な位置が検出され、距離検出手段36によって撮像手段20の床面12からの距離L、すなわち撮像手段20の床面12からの高さを検出できる。このため、撮像手段20および移動体16の3次元的な位置および姿勢(床面12内の方向)を検出することができる。   Further, the two-dimensional position of the imaging means 20 (and the moving body 16) in the floor surface 12 is detected by the position detection means 28, and the distance L from the floor surface 12 of the imaging means 20, that is, imaging is detected by the distance detection means 36. The height of the means 20 from the floor 12 can be detected. For this reason, it is possible to detect the three-dimensional positions and postures (directions in the floor surface 12) of the imaging means 20 and the moving body 16.

なお、傾き検出手段38に用いるような慣性センサでは、鉛直軸(Y軸)周りの回転(図5のθy)については、誤差が累積される傾向があり、特に温度に依存してドリフトが生じるため、精度の高い値が求められない。また、慣性センサで検出した角速度を積分することにより床面12内の位置を算出できるが、これも誤差の累積が生じる。これに対し、ポールスター照合手段24による照合を用いる本発明では、鉛直軸周りの回転位置(方向)および床面12内の位置をそれぞれ正確に求めることができる。   Note that in an inertial sensor such as that used for the inclination detecting means 38, errors tend to accumulate for rotation around the vertical axis (Y axis) (θy in FIG. 5), and drift occurs particularly depending on temperature. Therefore, a highly accurate value is not required. Further, the position in the floor surface 12 can be calculated by integrating the angular velocity detected by the inertial sensor, but this also causes accumulation of errors. On the other hand, in the present invention using the collation by the pole star collating means 24, the rotational position (direction) around the vertical axis and the position in the floor 12 can be accurately obtained.

また、本発明に係る移動体位置検出システムおよび方法は、映像放送用のバーチャルスタジオの撮影に適用することも可能である。バーチャルスタジオでは、拡張現実感(Augmented Reality)を使った撮影が行われるが、この種の撮影ではTVカメラの位置と姿勢の正確な把握が必要となる。この位置と姿勢を把握するために従来、TVカメラを載せる三脚の各車輪の回転履歴を取得する精密な機構を備えた重量の大きい高価な装置が使用されていた。そこで、本発明の移動体16をTVカメラ用の台車とし、これに比較的軽量な慣性センサ(傾き検出手段38)、レーザ測距器(距離検出手段36)、モータ(駆動手段40)、カメラ(撮像手段20)を取り付けた構成とすれば、比較的安価かつ簡易にTVカメラのバーチャルスタジオ内での位置と姿勢を検出することができる。   In addition, the moving body position detection system and method according to the present invention can also be applied to shooting in a virtual studio for video broadcasting. In a virtual studio, shooting using augmented reality is performed, but this type of shooting requires accurate grasping of the position and orientation of the TV camera. In order to grasp this position and posture, conventionally, an expensive heavy apparatus equipped with a precise mechanism for acquiring the rotation history of each wheel of a tripod on which a TV camera is mounted has been used. Therefore, the moving body 16 of the present invention is a cart for a TV camera, and a relatively lightweight inertial sensor (tilt detecting means 38), laser rangefinder (distance detecting means 36), motor (driving means 40), camera With the configuration in which the (imaging means 20) is attached, the position and orientation of the TV camera in the virtual studio can be detected relatively inexpensively and easily.

以上説明したように、本発明に係る移動体位置検出システムによれば、平面上を移動する移動体の位置を検出する移動体位置検出システムであって、前記平面上に配置された複数のドットからなるドットパターンと、前記移動体に備えられ、前記移動体が位置する平面上の領域を撮像する撮像手段と、前記撮像手段により取得した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出する検出特徴量算出手段と、前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合すること
により、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択する特徴量照合手段と、前記特徴量照合手段により選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出する位置検出手段と、前記撮像手段と前記平面との距離を検出する距離検出手段と、前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段と、前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御する制御手段と、前記距離検出手段により検出した距離に基づいて、前記撮像手段により取得した画像を、前記平面から所定の距離に位置する前記撮像手段により前記平面を撮像したときに得られる画像に拡大・縮小する画像変換手段とを備えるので、仮に撮像手段(カメラ)の光軸が傾いたとしても、駆動手段および制御手段によって、撮像手段の光軸は平面(床面)に垂直になり、撮像手段により取得した画像は、画像変換手段によって、このときの撮像手段と平面間の距離に応じて所定の正規の大きさの画像に変換される。このため、検出特徴量算出手段および特徴量照合手段は正常に機能できる。したがって、照合不良を起こし難くして位置検出の信頼性を確保することができる。
As described above, according to the moving object position detection system of the present invention, the moving object position detection system detects the position of the moving object that moves on the plane, and includes a plurality of dots arranged on the plane. A predetermined dot from a plurality of dots in an image acquired by the imaging unit, an imaging unit that images the area on the plane on which the moving body is located, and a dot pattern comprising: A detection feature amount calculating means for calculating a positional relationship between the selected dot and a plurality of dots positioned around the dot as a detection feature amount of the selected dot; and the detection feature amount is a predetermined reference feature amount. Feature quantity matching means for selecting a predetermined reference feature quantity having a high degree of coincidence with the detected feature quantity from the reference feature quantity database by collating with a stored reference feature quantity database; Position detecting means for detecting a current position of the moving body on the plane based on the reference feature quantity selected by the feature quantity checking means; distance detecting means for detecting a distance between the imaging means and the plane; Based on the inclination detected by the inclination detecting means, the inclination detecting means for detecting the inclination of the imaging means with respect to the plane, the driving means capable of changing the inclination of the imaging means by acting on the imaging means, Based on the distance detected by the control means for driving the drive means so that the optical axis of the image pickup means is perpendicular to the plane, and the distance detected by the distance detection means, an image acquired by the image pickup means is predetermined from the plane. Image conversion means for enlarging / reducing the image obtained when the plane is imaged by the imaging means located at a distance of, for example, an imaging means (camera) Even if the optical axis is tilted, the optical axis of the imaging means is perpendicular to the plane (floor surface) by the driving means and the control means, and the image acquired by the imaging means is the same as the imaging means at this time by the image conversion means. The image is converted into an image having a predetermined regular size according to the distance between the planes. For this reason, the detected feature quantity calculation means and the feature quantity verification means can function normally. Accordingly, it is possible to ensure the reliability of position detection by making it difficult to cause a verification failure.

また、位置検出手段によって撮像手段(および移動体)の平面内の2次元的な位置が検出され、距離検出手段によって撮像手段の平面からの距離が検出される。平面が床面である場合には、撮像手段の床面からの高さを検出できる。このため、撮像手段および移動体の3次元的な位置および姿勢(平面内の方向)を検出することができる。   In addition, the two-dimensional position in the plane of the imaging means (and the moving body) is detected by the position detection means, and the distance from the plane of the imaging means is detected by the distance detection means. When the plane is the floor surface, the height of the imaging means from the floor surface can be detected. For this reason, it is possible to detect the three-dimensional position and orientation (direction in the plane) of the imaging means and the moving body.

また、本発明に係る移動体位置検出方法によれば、平面上を移動する移動体の位置を検出する移動体位置検出方法であって、前記平面上には複数のドットからなるドットパターンが配置され、前記移動体には前記移動体が位置する平面上の領域を撮像する撮像手段と、前記撮像手段と前記平面との距離を検出する距離検出手段と、前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段とが備えられ、前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御し、前記距離検出手段により検出した距離に基づいて、前記撮像手段により取得した画像を、前記平面から所定の距離に位置する前記撮像手段により前記平面を撮像したときに得られる画像に拡大・縮小し、拡大・縮小して取得した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出し、前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合することにより、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択し、選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出するので、仮に撮像手段(カメラ)の光軸が傾いたとしても、駆動手段の制御によって、撮像手段の光軸は平面(床面)に垂直になり、撮像手段により取得した画像は、拡大・縮小によって、このときの撮像手段と平面間の距離に応じて所定の正規の大きさの画像に変換される。このため、基準特徴量データベースとの照合を正常に行うことができる。したがって、照合不良を起こし難くして位置検出の信頼性を確保することができる。   The moving body position detecting method according to the present invention is a moving body position detecting method for detecting the position of a moving body moving on a plane, wherein a dot pattern comprising a plurality of dots is arranged on the plane. The moving body has an imaging means for imaging an area on a plane where the moving body is located, a distance detection means for detecting a distance between the imaging means and the plane, and an inclination of the imaging means with respect to the plane. An inclination detecting means for detecting; and a driving means capable of changing the inclination of the imaging means by acting on the imaging means, and the optical axis of the imaging means is based on the inclination detected by the inclination detecting means. The drive unit is driven and controlled to be perpendicular to a plane, and an image acquired by the imaging unit is captured at a predetermined distance from the plane based on the distance detected by the distance detection unit. A predetermined dot is selected from a plurality of dots in the image obtained by enlarging / reducing the image obtained by imaging the plane by means, and enlarging / reducing, and the selected dot and a position around this dot Calculating a positional relationship with a plurality of dots as a detected feature amount of the selected dot, and comparing the detected feature amount with a reference feature amount database in which a predetermined reference feature amount is stored. A predetermined reference feature amount having a high degree of coincidence with the detected feature amount is selected from the database, and the current position of the moving body on the plane is detected based on the selected reference feature amount. ), The optical axis of the imaging means is perpendicular to the plane (floor surface), and the image acquired by the imaging means is enlarged or reduced. It is converted into a predetermined regular size of the image according to the distance between the imaging means and the plane of the case. For this reason, collation with the reference feature database can be performed normally. Accordingly, it is possible to ensure the reliability of position detection by making it difficult to cause a verification failure.

また、撮像手段(および移動体)の平面内の2次元的な位置と、撮像手段の平面からの距離が検出される。平面が床面である場合には、撮像手段の床面からの高さを検出できる。このため、撮像手段および移動体の3次元的な位置および姿勢(平面内の方向)を検出することができる。   Further, the two-dimensional position in the plane of the imaging means (and the moving body) and the distance from the plane of the imaging means are detected. When the plane is the floor surface, the height of the imaging means from the floor surface can be detected. For this reason, it is possible to detect the three-dimensional position and orientation (direction in the plane) of the imaging means and the moving body.

以上のように、本発明に係る移動体位置検出システムおよび方法は、建物内の床面上などの平面上に配置した移動体の位置検出に有用であり、特に、カメラ(撮像手段)と平面
間の距離が変動したり、カメラ光軸が傾く際に懸念される照合不良を起こし難くして、検出の信頼性を確保するのに適している。
As described above, the moving body position detection system and method according to the present invention are useful for detecting the position of a moving body placed on a plane such as a floor surface in a building, and in particular, a camera (imaging means) and a plane. It is suitable for ensuring the reliability of detection by making it difficult to cause a collation failure which is a concern when the distance between them fluctuates or when the camera optical axis is tilted.

10 移動体位置検出システム
12 床面(平面)
14 ドットパターン
16 移動体
18 移動体位置検出装置
20 撮像手段
22 ポールスター特徴量格納手段
24 ポールスター照合手段(検出特徴量算出手段、特徴量照合手段)
26 絞り込み手段
28 位置検出手段
30 照明
32 ドット
34 ポールスターデータベース(基準特徴量データベース)
36 距離検出手段
38 傾き検出手段
40 駆動手段
42 制御手段
44 画像変換手段
L 距離
ηx,ηz 傾斜角(傾き)
10 Moving body position detection system 12 Floor (plane)
DESCRIPTION OF SYMBOLS 14 Dot pattern 16 Mobile body 18 Mobile body position detection apparatus 20 Imaging means 22 Pole star feature-value storage means 24 Pole star collation means (detection feature-value calculation means, feature-value collation means)
26 Narrowing means 28 Position detecting means 30 Illumination 32 Dots 34 Pole star database (reference feature database)
36 Distance detection means 38 Inclination detection means 40 Drive means 42 Control means 44 Image conversion means L Distance ηx, ηz Inclination angle (inclination)

Claims (2)

平面上を移動する移動体の位置を検出する移動体位置検出システムであって、
前記平面上に配置された複数のドットからなるドットパターンと、
前記移動体に備えられ、前記移動体が位置する平面上の領域を撮像する撮像手段と、
前記撮像手段により取得した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出する検出特徴量算出手段と、
前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合することにより、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択する特徴量照合手段と、
前記特徴量照合手段により選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出する位置検出手段と、
前記撮像手段と前記平面との距離を検出する距離検出手段と、
前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、
前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段と、
前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御する制御手段と、
前記距離検出手段により検出した距離に基づいて、光軸が前記平面に垂直にされた前記撮像手段により取得した画像を、前記平面から所定の距離に位置するとともに光軸が前記平面に垂直である前記撮像手段により前記平面を撮像したときに得られる画像に拡大・縮小することによって所定の大きさの画像に変換する画像変換手段とを備え、
前記撮像手段の光軸に傾きが生じている場合には、前記駆動手段および前記制御手段によって、前記撮像手段の光軸は前記平面に垂直にされ、光軸が前記平面に垂直にされた前記撮像手段により取得した画像は、前記画像変換手段によって所定の大きさの画像に変換され、変換された画像は、前記検出特徴量算出手段におけるドットの検出特徴量を算出するための画像として用いられることを特徴とする移動体位置検出システム。
A moving body position detection system for detecting a position of a moving body moving on a plane,
A dot pattern consisting of a plurality of dots arranged on the plane;
An imaging means provided in the moving body for imaging a region on a plane on which the moving body is located;
A predetermined dot is selected from a plurality of dots in the image acquired by the imaging means, and the positional relationship between the selected dot and a plurality of dots positioned around this dot is calculated as a detected feature amount of the selected dot. Detection feature amount calculating means for
A feature quantity for selecting a predetermined reference feature quantity having a high degree of coincidence with the detected feature quantity from the reference feature quantity database by comparing the detected feature quantity with a reference feature quantity database in which the predetermined reference feature quantity is stored. Matching means;
Position detecting means for detecting a current position of the moving body on the plane based on the reference feature quantity selected by the feature quantity matching means;
Distance detecting means for detecting a distance between the imaging means and the plane;
An inclination detecting means for detecting an inclination of the imaging means with respect to the plane;
Drive means that can act on the imaging means to change the inclination of the imaging means;
Control means for drivingly controlling the drive means so that the optical axis of the imaging means is perpendicular to the plane based on the inclination detected by the inclination detection means;
Based on the distance detected by the distance detecting means, an image in which the optical axis is acquired by the image pickup means which is perpendicular to the plane, which is perpendicular to the optical axis the plane as well as the position from the plane at a predetermined distance Image conversion means for converting into an image of a predetermined size by enlarging / reducing to an image obtained when the plane is imaged by the imaging means ,
When the optical axis of the imaging means is inclined, the driving means and the control means cause the optical axis of the imaging means to be perpendicular to the plane and the optical axis to be perpendicular to the plane. The image acquired by the imaging unit is converted into an image having a predetermined size by the image conversion unit, and the converted image is used as an image for calculating the detection feature amount of the dot in the detection feature amount calculation unit. A moving body position detection system characterized by the above.
平面上を移動する移動体の位置を検出する移動体位置検出方法であって、
前記平面上には複数のドットからなるドットパターンが配置され、
前記移動体には前記移動体が位置する平面上の領域を撮像する撮像手段と、前記撮像手段と前記平面との距離を検出する距離検出手段と、前記平面に対する前記撮像手段の傾きを検出する傾き検出手段と、前記撮像手段に作用して前記撮像手段の傾きを変更可能な駆動手段とが備えられ、
前記傾き検出手段により検出した傾きに基づいて、前記撮像手段の光軸が前記平面に垂直になるように前記駆動手段を駆動制御して、光軸が前記平面に垂直にされた前記撮像手段により画像を取得した後、
前記距離検出手段により検出した距離に基づいて、前記撮像手段により取得した画像を、前記平面から所定の距離に位置するとともに光軸が前記平面に垂直である前記撮像手段により前記平面を撮像したときに得られる画像に拡大・縮小することによって所定の大きさの画像に変換し、
変換した画像中の複数のドットから所定のドットを選択し、選択したドットと、このドットの周辺に位置する複数のドットとの位置関係を、選択したドットの検出特徴量として算出し、
前記検出特徴量を、所定の基準特徴量が格納された基準特徴量データベースと照合することにより、前記基準特徴量データベースから前記検出特徴量と一致度の高い所定の基準特徴量を選択し、
選択した前記基準特徴量に基づいて、前記平面上における前記移動体の現在位置を検出することを特徴とする移動体位置検出方法。
A moving body position detection method for detecting a position of a moving body moving on a plane,
A dot pattern consisting of a plurality of dots is arranged on the plane,
The moving body includes an imaging unit that captures an area on a plane where the moving body is located, a distance detection unit that detects a distance between the imaging unit and the plane, and an inclination of the imaging unit with respect to the plane. Inclination detection means, and drive means capable of changing the inclination of the imaging means by acting on the imaging means,
Based on the inclination detected by the inclination detecting means, the driving means is driven and controlled so that the optical axis of the imaging means is perpendicular to the plane, and the imaging means whose optical axis is perpendicular to the plane is used. After acquiring the image,
Based on the distance detected by the distance detection unit, when the image acquired by the imaging unit is imaged by the imaging unit that is located at a predetermined distance from the plane and whose optical axis is perpendicular to the plane By converting to an image of a predetermined size by enlarging or reducing the image obtained in
A predetermined dot is selected from a plurality of dots in the converted image, and the positional relationship between the selected dot and a plurality of dots located around this dot is calculated as a detection feature amount of the selected dot.
By comparing the detected feature quantity with a reference feature quantity database in which a predetermined reference feature quantity is stored, a predetermined reference feature quantity having a high degree of coincidence with the detected feature quantity is selected from the reference feature quantity database,
A moving body position detecting method, comprising: detecting a current position of the moving body on the plane based on the selected reference feature amount.
JP2014011732A 2014-01-24 2014-01-24 Mobile object position detection system and method Active JP6242699B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014011732A JP6242699B2 (en) 2014-01-24 2014-01-24 Mobile object position detection system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014011732A JP6242699B2 (en) 2014-01-24 2014-01-24 Mobile object position detection system and method

Publications (2)

Publication Number Publication Date
JP2015138531A JP2015138531A (en) 2015-07-30
JP6242699B2 true JP6242699B2 (en) 2017-12-06

Family

ID=53769446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014011732A Active JP6242699B2 (en) 2014-01-24 2014-01-24 Mobile object position detection system and method

Country Status (1)

Country Link
JP (1) JP6242699B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6439972B2 (en) * 2014-12-18 2018-12-19 清水建設株式会社 Mobile object position detection system and method
JP6630881B2 (en) * 2016-09-15 2020-01-15 株式会社五合 Information processing apparatus, camera, moving object, moving object system, information processing method and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01211007A (en) * 1988-02-18 1989-08-24 Toyota Autom Loom Works Ltd Image type stopping method for unmanned vehicle
JP2002354331A (en) * 2001-05-25 2002-12-06 Canon Inc Imaging equipment and electronic component
JP5483090B2 (en) * 2010-03-30 2014-05-07 清水建設株式会社 Mobile object position detection system and method

Also Published As

Publication number Publication date
JP2015138531A (en) 2015-07-30

Similar Documents

Publication Publication Date Title
US20210096230A1 (en) Calibration of laser sensors
JP5618840B2 (en) Aircraft flight control system
US20200003878A1 (en) Calibration of laser and vision sensors
JP5775632B2 (en) Aircraft flight control system
JP5204785B2 (en) Image processing apparatus, photographing apparatus, reproduction apparatus, integrated circuit, and image processing method
KR100922494B1 (en) Method for measuring pose of a mobile robot and method and apparatus for measuring position of the mobile robot using the method
JP4345014B2 (en) Measurement and stabilization system for machine-controllable vehicles
US11490005B2 (en) Overhead line image capturing system and overhead line image capturing method
JP2006252473A (en) Obstacle detector, calibration device, calibration method and calibration program
JP4608015B2 (en) camera
WO2014072377A1 (en) Method to determine a direction and amplitude of a current velocity estimate of a moving device
JPWO2009060624A1 (en) Camera, camera system and camera body
CN105324792B (en) For estimating method of the moving element relative to the angular displacement of reference direction
JP2009115621A (en) Mobile image tracking device
US20060072019A1 (en) System and method for detecting image capture device movement with two dual axis linear accelerometers
KR102152720B1 (en) Photographing apparatus and method for 3d modeling
US20230305152A2 (en) Three-dimensional survey apparatus, three-dimensional survey method, and three-dimensional survey program
JP6242699B2 (en) Mobile object position detection system and method
JP7008736B2 (en) Image capture method and image capture device
JP6249864B2 (en) Inertial navigation system for flying objects
JP2015138010A (en) Position detection system and method for photographing camera
KR102503308B1 (en) Apparatus for following lane on road by unmanned aerial vehicle and method the same
JP2021028188A (en) Drone imaging device and method
JP2021017073A (en) Position estimation apparatus
JP2015138530A (en) Mobile body position detection system and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171108

R150 Certificate of patent or registration of utility model

Ref document number: 6242699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250