JP5282457B2 - Rescue robot system, rescue method, and rescue robot - Google Patents
Rescue robot system, rescue method, and rescue robot Download PDFInfo
- Publication number
- JP5282457B2 JP5282457B2 JP2008163527A JP2008163527A JP5282457B2 JP 5282457 B2 JP5282457 B2 JP 5282457B2 JP 2008163527 A JP2008163527 A JP 2008163527A JP 2008163527 A JP2008163527 A JP 2008163527A JP 5282457 B2 JP5282457 B2 JP 5282457B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- rescue
- rescued
- information
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 17
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 18
- 238000011084 recovery Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000012797 qualification Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000008571 general function Effects 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Description
本発明は、救援ロボットに係り、特に自己位置の推定に失敗し、移動できなくなった被救援ロボットの位置に救援ロボットが移動し、正確な位置、方位のリカバリを行い、被救援ロボットを移動可能にする救援ロボットシステム、救援方法及び救援ロボットに関するものである。 The present invention relates to a rescue robot, and in particular, the rescue robot moves to the position of the rescued robot that has failed to estimate its own position and can no longer move. The present invention relates to a rescue robot system, a rescue method, and a rescue robot.
作今、多種・多様の自律移動ロボットが様々な場所でその機能を発揮している。それらは距離センサを備え自己の位置を推定しながら設定された移動経路を自律移動している。ロボットが位置推定計算でのエラー発生などのトラブル発生、あるいは、自己位置推定機能の推定誤差の発生などにより、ロボットが自己位置の推定に失敗した場合、移動ができなくなり、立ち往生してしまうことがある。引き続き動作するために、正しい位置と目的の移動経路の方位のリカバリが必要である。 Now, a wide variety of autonomous mobile robots are performing their functions in various places. They are equipped with a distance sensor and autonomously move along a set movement route while estimating their own position. If the robot fails to estimate its own position due to the occurrence of an error such as an error in the position estimation calculation or the estimation error of the self-position estimation function, it may become unable to move and get stuck. is there. In order to continue to operate, it is necessary to recover the correct position and the direction of the target movement path.
従来、立ち往生したロボットのリカバリには管理者がその場所に行き、リカバリの操作・介入により対応してきた。しかしながら、管理者の移動、リカバリ処置のタイミングは非効率であり、自律移動ロボットが実行する処理機能の運用上の問題になっていた。 Conventionally, the recovery of a robot that has been stuck has been handled by an administrator by going to that location and performing recovery operations and interventions. However, the timing of the manager's movement and recovery treatment is inefficient, which has been a problem in the operation of the processing function executed by the autonomous mobile robot.
移動するロボットの外部に備えた発光手段が発光し、立ち往生したロボットは該光を受光して受光した光像の方向、位置により発光部からの距離を認識して自己の正確な位置を取得する方法がある（特許文献１）。
自律移動ロボットが自己位置の推定に失敗し立ち往生し自己の担当業務ができなくなるが、管理者による操作・介入によるリカバリでは管理者の場所への移動、リカバリのタイミングに問題がある。自己位置の推定に失敗したロボットの救援リカバリを高性能制御装置で対処することなく、また、ロボットが保持するＣＰＵの処理量及びメモリ使用量が少なく、管理者による介入無しに実現することが、自律移動ロボットが継続的に業務を実行する上で重要である。 Although the autonomous mobile robot fails to estimate its own position and gets stuck and cannot perform its own work, recovery by operation / intervention by the administrator has a problem in the movement to the administrator's location and the timing of recovery. Realizing without the intervention of the administrator, without dealing with the rescue recovery of the robot that failed to estimate the self-position, without dealing with the high-performance control device, the CPU processing amount and memory usage held by the robot is small, It is important for autonomous mobile robots to continuously perform their work.
本発明は、自己位置推定に失敗し、移動できなくなった自律移動ロボットの位置と、目的移動経路の方位を救援ロボットが確認し、自律移動ロボットの再移動を可能にする救援ロボットシステム、救援方法及び救援ロボットを実現することを目的とする。 The present invention relates to a rescue robot system and a rescue method in which a rescue robot confirms the position of an autonomous mobile robot that has failed in self-position estimation and cannot move, and the direction of a target travel route, and enables the autonomous mobile robot to move again. And it aims at realizing a rescue robot.
配下の自律移動ロボットの移動領域の情報とロボット情報を保持し、また、定期的に自律移動ロボットから位置情報を取得するシステムを構成し、自己の推定に失敗した前記自律移動ロボットから救援の通知を受けた場合に配下のロボットに救援を指示し、救援指示を受けた救援ロボットは最新の被救援ロボットの位置情報と外観情報より被救援ロボットの探索を行い、被救援ロボットとの相対位置より被救援ロボットの絶対位置と方位を算出して被救援ロボットのリカバリを行う。 Information on the movement area of the subordinate autonomous mobile robot and the robot information are stored, and a system for periodically acquiring position information from the autonomous mobile robot is configured. If the robot is subordinate to the rescue robot, the rescue robot that received the rescue instruction will search for the rescue robot from the latest location information and appearance information of the rescue robot, and from the relative position with the rescue robot. The rescue robot is recovered by calculating the absolute position and orientation of the rescue robot.
自律移動ロボットには方位を示す複数のマークを付け、救援ロボットは被救援ロボットに付けたマークに示された方位により前記被救援ロボットとの相対位置から絶対位置を算出し、算出した移動領域絶対座標系での被救援ロボットの位置と原点との角度を被救援ロボットに通知してリカバリを行う。 A plurality of marks indicating the direction are attached to the autonomous mobile robot, and the rescue robot calculates the absolute position from the relative position with the rescued robot based on the direction indicated on the mark attached to the rescued robot, and calculates the absolute movement area Recovery is performed by notifying the rescued robot of the angle between the position and origin of the rescued robot in the coordinate system.
また、自律移動ロボットの移動領域情報、ロボット情報を保持し、自律移動ロボットから位置情報を受信する機能を持たせた専用救援ロボットにより被救援ロボットの救援を行う。 Further, the rescue robot is rescued by a dedicated rescue robot that holds the movement area information and robot information of the autonomous mobile robot and has a function of receiving position information from the autonomous mobile robot.
本発明により、自己位置の推定に失敗し、移動できなくなった自律移動ロボットのリカバリを管理者による操作・介入を必要とせずに、立ち往生したロボットが効率良く業務に復帰可能となる。また、仲間のロボットを救援ロボットにすることにより特別な救援装置は不要となる。あるいは沢山のロボットが存在する状況下では専用のサーバ機能を備えた専用ロボットによる簡易な救援ロボットシステムが提供可能となる。 According to the present invention, a robot that has stalled can efficiently return to work without the need for operation / intervention by an administrator to recover an autonomous mobile robot that has failed to estimate its own position and cannot move. Moreover, a special relief apparatus becomes unnecessary by making a fellow robot into a relief robot. Or, in a situation where there are many robots, it is possible to provide a simple rescue robot system using a dedicated robot having a dedicated server function.
（実施例１）
図１は救援ロボットシステムの基本イメージを示す図である。救援ロボット１、被救援ロボット２、ロボット３と管理サーバ４で構成し、いずれかのロボット３が自己位置の推定に失敗し立ち往生した場合、当該ロボットは被救援ロボット２となり、ロボット３のいずれかの救援資格のあるロボットが救援ロボット１となり被救援ロボット２を救援するシステムを示している。
Example 1
FIG. 1 is a diagram showing a basic image of a rescue robot system. If the robot 3 is composed of the rescue robot 1, the rescue robot 2, the robot 3, and the management server 4 and one of the robots 3 fails to estimate its own position, the robot becomes the rescue robot 2. This shows a system in which a robot with a rescue qualification becomes a rescue robot 1 and rescues a rescued robot 2.
先ず、救援ロボットシステムの概要動作を説明する。救援方法の詳細は後述する。
１）複数のロボット３は、定期的に自己の位置を管理サーバ４に送信しながら、業務を遂行している。
２）これらのロボット３の内、自己位置の推定に失敗したいずれかのロボット３は自己位置の推定に失敗したことを管理サーバ４に送信すると共に被救援ロボット２となる。
３）管理サーバ４は配下の全てのロボット３から送信された自己位置推定失敗による救援要請を受信する。あるいは定期的に受信するロボットの位置が受信できない場合、該当のロボットが自己位置の推定に失敗したと判断し（被救援ロボット２と判断）し、管理下のロボット３の内、救援資格有りとして登録されているロボットのいずれかに救援ロボット１となるよう指示する。ロボット３の内、簡易な自己位置推定機能のみ備え救援ロボットとして行動できないロボットもあり得る。その場合、該当ロボットは救援ロボット１として登録しない。
４）管理サーバ４から救援の指示を受けたロボットは救援ロボット１となり、被救援ロボット２のロボット情報を管理サーバ４から受信し救援を行う。救援の方法については後述する。
First, an outline operation of the rescue robot system will be described. Details of the rescue method will be described later.
1) The plurality of robots 3 perform their work while periodically transmitting their positions to the management server 4.
2) Among these robots 3, any robot 3 that has failed to estimate its own position transmits to the management server 4 that it has failed to estimate its own position, and becomes a rescued robot 2.
3) The management server 4 receives the rescue request due to the self-position estimation failure transmitted from all of the subordinate robots 3. Alternatively, when the position of the robot that is regularly received cannot be received, it is determined that the corresponding robot has failed to estimate its own position (determined to be a rescued robot 2), and among the managed robots 3, there is a relief qualification. Instruct one of the registered robots to become the rescue robot 1. Among the robots 3, there may be a robot that has only a simple self-position estimation function and cannot act as a rescue robot. In that case, the corresponding robot is not registered as the rescue robot 1.
4) The robot that has received the rescue instruction from the management server 4 becomes the rescue robot 1, receives the robot information of the rescued robot 2 from the management server 4, and performs rescue. The rescue method will be described later.
すなわち、システム内の全てのロボット３は定期的に自己位置推定結果を管理サーバ４に送信しながら、所定の業務を遂行している。それらの内、救援資格のあるロボットが、被救援ロボット２となったロボットを救援する救援ロボット１となる。救援ロボット１として登録されているロボットも自己位置の推定に失敗した場合は被救援ロボット２にもなり得る。また、専用の救援ロボットがあり得るが、専用救援ロボットについては後述する。 In other words, all the robots 3 in the system perform predetermined tasks while periodically transmitting the self-position estimation results to the management server 4. Among them, a robot with a rescue qualification becomes the rescue robot 1 that rescues the robot that has become the rescue target robot 2. A robot registered as the rescue robot 1 can also be a rescued robot 2 when the self-position estimation fails. There may be a dedicated rescue robot, but the dedicated rescue robot will be described later.
図２は救援ロボットシステムを示す図である。救援ロボット１、被救援ロボット２、管理サーバ４で構成する。 FIG. 2 is a diagram showing a rescue robot system. It consists of a rescue robot 1, a rescued robot 2, and a management server 4.
救援ロボット１は、指定された移動経路における自己の絶対位置、方位を正確に算出できる機能を保持しているものとする。救援処理の処理機能を行う救援処理部１０、管理サーバ４と通信を行う通信部１１、自律移動の移動制御を行う移動部１２、ＣＰＵ・メモリ部を備え救援ロボット１の各部の移動、処理機能の制御を行うロボット制御部１３で構成する。 It is assumed that the rescue robot 1 has a function that can accurately calculate its own absolute position and direction in the designated movement route. Relief processing unit 10 that performs the processing function of the relief process, communication unit 11 that communicates with the management server 4, a moving unit 12 that performs movement control of autonomous movement, movement and processing functions of each part of the rescue robot 1 that includes a CPU / memory unit The robot control unit 13 is configured to control the above.
以下では、通常の自律移動ロボットが備えている機能一般については説明を省略し、本発明に係る事項の説明を行う。 In the following, description of general functions provided in a normal autonomous mobile robot is omitted, and matters relating to the present invention are described.
救援処理部１０は被救援ロボットの形状・特徴などの情報と救援場所のロボットのマッチングを行うテンプレートマッチング部１４、被救援ロボットとの相対距離、相対方位を計測するためのステレオ距離計測部１５、計測した被救援ロボットとの絶対位置、方位を算出する位置・方位計算部１６で構成し、ロボット制御部１３の指示により機能を実行する。 The rescue processing unit 10 includes a template matching unit 14 for matching information such as the shape and characteristics of the robot to be rescued with the robot at the rescue location, a stereo distance measuring unit 15 for measuring the relative distance and relative orientation with the rescued robot, A position / orientation calculation unit 16 that calculates the absolute position and direction of the measured robot to be rescued is configured, and functions are executed according to instructions from the robot control unit 13.
ロボット制御部１３は通信部１１経由で受信した管理サーバ４からの被救援ロボット情報を取得して救援処理部１０、移動部１２に指示して自律移動し、被救援ロボットのリカバリを行う。取得したロボット情報（ロボット番号、ロボットのテンプレート情報、最新のロボットの位置）をメモリに保持する。また、システム内のロボットの構成に依存して各ロボットのバッテリの残量を把握しておき、複数の被救援ロボットの救援が必要時にバッテリ残量の少ない被救援ロボットから救援することも考えられる。 The robot control unit 13 acquires the rescued robot information from the management server 4 received via the communication unit 11, instructs the rescue processing unit 10 and the movement unit 12 to autonomously move, and recovers the rescued robot. The acquired robot information (robot number, robot template information, latest robot position) is held in the memory. Also, depending on the configuration of the robot in the system, it is possible to grasp the remaining amount of the battery of each robot, and to rescue from a rescued robot with a low remaining battery level when relief of multiple rescued robots is necessary .
通信部１１は管理サーバ４との通信を行い、また、救援ロボットとして指示を受ける前の通常のロボット（図１）の場合、推定した自己の位置を定期的に管理サーバ４に送信する。また、救援ロボット１になった場合は、被救援ロボット２のロボット情報を受信し、ロボット制御部１３に送信する。 The communication unit 11 communicates with the management server 4, and in the case of a normal robot (FIG. 1) before receiving an instruction as a rescue robot, periodically transmits the estimated position of itself to the management server 4. When the rescue robot 1 is selected, the robot information of the rescued robot 2 is received and transmitted to the robot control unit 13.
次に管理サーバ４について一般のサーバ機能を省略して本発明に係る事項の説明を行う。管理サーバ４はＤＢ２０に図３で示す情報を保持する。 Next, the management server 4 will be described with respect to the present invention with the general server function omitted. The management server 4 holds the information shown in FIG.
管理サーバ４は配下のロボットから、自己位置推定に失敗し立ち往生したロボットから「自己位置推定不可」の情報を受信した場合、ありいは、定期的に受信する所定時間を越えても位置情報が受信できない場合は、該当のロボットが位置の推定に失敗したと判断し、管理下の救援資格のあるロボットの中から救援ロボットを指定し、救援を指示する。救援指示に当たっては、該当の被救援ロボットのロボット情報（ロボット番号、テンプレート、受信した最後の位置）を救援ロボットに送信する。 When the management server 4 receives the information “impossible self-position estimation” from a subordinate robot that has failed in self-position estimation and stuck, the position information may not be received even if a predetermined time is periodically received. If it cannot be received, it is determined that the corresponding robot has failed to estimate the position, a rescue robot is designated from among the robots with the qualifications for rescue under management, and the rescue is instructed. In the rescue instruction, the robot information (robot number, template, received last position) of the corresponding rescued robot is transmitted to the rescue robot.
次に被救援ロボット２について説明する。基本的には被救援ロボット２も上述した救援ロボット１と同一の機能で構成する。救援ロボット１の資格を有しない簡易機能の被救援ロボット２もあり得るが、被救援ロボット２は少なくも、以下の機能を有し、上位からの位置情報を使って現在位置情報（Ｘ，Ｙ，θ）を更新し、指定経路を自律移動する。
ア．指定経路を自律的に走行する機能
自律移動ロボットが備えている一般の自律移動機能（通常の自律移動機能を有するロボットが備えている機能）については説明を省略する。
イ．サーバとの通信機能を備え、定期的に推定した自己位置を管理サーバ４に送信する。
Next, the rescue robot 2 will be described. Basically, the rescue robot 2 also has the same function as the rescue robot 1 described above. There may be a simple rescue robot 2 that does not have the qualification of the rescue robot 1, but the rescue robot 2 has at least the following functions, and uses the location information from the upper level to obtain the current location information (X, Y , Θ), and autonomously moves on the designated route.
A. A function for autonomously traveling on a specified route A description of a general autonomous movement function (a function included in a robot having a normal autonomous movement function) included in the autonomous mobile robot is omitted.
A. A communication function with the server is provided, and the self-location estimated periodically is transmitted to the management server 4.
図３は管理サーバが保持する配下のロボット情報を示す図である。１）に管理領域の地図情報、２）にロボット情報を示す。
１）管理領域の地図情報
管理サーバ４配下のロボットが自律移動する地図の情報として、平面での座標（Ｘ、Ｙ）と周辺の特定物とその座標を保持する。地図情報は配下のロボット毎に保持する場合もあり得る。
２）ロボット情報
ロボット識別番号、外観テープレート、救援資格、ロボットからの取得位置情報とその時間で基本的に構成する。提供する救援システムの内容により必要な情報を保持する。
FIG. 3 is a diagram showing subordinate robot information held by the management server. The map information of the management area is shown in 1), and the robot information is shown in 2).
1) Map information management server 4 in the management area The coordinates (X, Y) on the plane, surrounding specific objects, and their coordinates are held as information on the map on which the robot under the control of the server 4 autonomously moves. The map information may be held for each subordinate robot.
2) Robot information Basically composed of robot identification number, appearance tape rate, rescue qualification, position information obtained from the robot and its time. Necessary information is held according to the contents of the relief system provided.
図４はロボットが自己位置を推定できない例を示す図である。 FIG. 4 is a diagram illustrating an example in which the robot cannot estimate its own position.
ロボットは以下の場合に自己位置が推定できないと判断して管理サーバ４に「自己位置推定不可」の情報を送信する。
ア．推定誤差を示す値（分散値など）が予め設定した閾値を越え、誤差が大きい。
イ．推定計算中にエラーが発生した。
ウ．誤動作などにより経路以外の場所に行ってしまい推定した位置が地図と照合できない。
The robot determines that its own position cannot be estimated in the following cases, and transmits information indicating that “self-position estimation is impossible” to the management server 4.
A. A value indicating an estimation error (such as a variance value) exceeds a preset threshold value, and the error is large.
A. An error occurred during estimation calculation.
C. The estimated position cannot be checked against the map because it went to a place other than the route due to a malfunction.
図５は被救援ロボットの救援手順を示す図である。管理サーバ４から指示を受けた救援ロボット１が被救援ロボット２の情報を取得して救援位置に移動し、被救援ロボットの位置、方位を算出して被救援ロボットのリカバリ処理を行う手順を示している。
Ｓ１：管理サーバは自己位置推定に失敗したロボットから「自己位置推定不可」情報の受信、あるいは所定時間を越えても位置情報が受信できない場合は、該当ロボットを被救援ロボットと認定し、配下のロボットの中から救援可能なロボットを救援ロボットとして選択し、救援指示を行う。
Ｓ２：救援ロボットはサーバから被救援ロボットの以下の情報を取得する。
ア．ロボット番号
イ．テンプレート情報
ウ．被救援ロボットの位置（被救援ロボットが送信した最後の位置情報）
Ｓ３：救援ロボットは取得した被救援ロボット情報より以下の設定を行い、移動を開始する。
ア．被救援ロボットのテンプレート情報の登録
イ．目的位置までの移動経路の生成
Ｓ４、Ｓ５：救援ロボットは目的の位置付近に到着して、付近で被救援ロボットの探索を行う。探索はテンプレートマッチングで行う。ロボット一般の外観情報からテンプレートマッチングにより該当の被救援ロボットの外観情報とのマッチングに順次絞り込み、探索したロボットが被救援ロボットであると判断する。
Ｓ６：救援ロボットは被救援ロボットに向き合い、被救援ロボットに貼られたマークの情報を取得する。
Ｓ７：救援ロボットはステレオ計測により被救援ロボットのマークとの相対位置、相対、方位を計測する。
Ｓ８：救援ロボットは被救援ロボットの絶対位置、方位を算出する。（算出方法図６、図７参照）
Ｓ９：救援ロボットは被救援ロボットのリカバリとして所定の処理を行う。リカバリ処理については図８で説明する。
FIG. 5 is a diagram illustrating a rescue procedure of the robot to be rescued. The rescue robot 1 that has received an instruction from the management server 4 acquires the information of the rescued robot 2, moves to the rescue position, calculates the position and orientation of the rescued robot, and performs the recovery process of the rescued robot. ing.
S1: The management server receives “self-position estimation impossibility” information from a robot that has failed in self-position estimation, or if position information cannot be received even after a predetermined time, recognizes the robot as a rescued robot, A rescueable robot is selected from the robots as a rescue robot, and a rescue instruction is issued.
S2: The rescue robot acquires the following information of the rescued robot from the server.
A. Robot number a. Template information c. Position of rescued robot (last position information sent by the rescued robot)
S3: The rescue robot performs the following settings based on the acquired rescued robot information and starts moving.
A. Registration of template information of rescued robot b. Generation of travel route to the target position S4, S5: The rescue robot arrives near the target position and searches for the rescue robot near the target position. The search is performed by template matching. The robot is sequentially narrowed down from the general appearance information of the robot to the matching with the appearance information of the corresponding rescued robot by template matching, and the searched robot is determined to be the rescued robot.
S6: The rescue robot faces the rescue robot, and acquires information on the mark affixed to the rescue robot.
S7: The rescue robot measures the relative position, relative, and direction with the mark of the rescued robot by stereo measurement.
S8: The rescue robot calculates the absolute position and direction of the rescued robot. (Calculation method See Fig. 6 and Fig. 7 )
S9: The rescue robot performs a predetermined process as recovery of the rescued robot. The recovery process will be described with reference to FIG.
図６は救援ロボットによる被救援ロボットとの位置・方位計測を示す図である。
１）被救援ロボットへの相対、２）マーク例と相対方位の決定を示している。
１）被救援ロボットに相対
救援ロボットは被救援ロボットの近傍の位置に移動して探索して該当の被救援ロボットと判断した場合に被救援ロボットに相対する。被救援ロボットに貼り付けられたマークの内容より相対方位を決定する。方位決定の方法は救援ロボットの正面から見たマーク上の角度で判断する。
２）マーク例と方位の決定
マークには被救援ロボットに例えば、「−９０度」から所定のステップ（例えば「１０度」）で「９０度」まで救援ロボットが認識可能なマークを付けておく。角度範囲は「−１８０度」から「１８０度」までの中の救援ロボットの認識可能な視野範囲とすれば良い。また角度ステップも救援ロボットの角度の分解能、及び被救援ロボットのリカバリ後の自律移動可能な角度に応じて設定する。
FIG. 6 is a diagram illustrating position / orientation measurement with the rescued robot by the rescue robot.
1) Relative to rescue robot, 2) Mark example and determination of relative orientation.
1) Relative to the robot to be rescued When the rescue robot moves to a position near the robot to be rescued and searches and determines that the robot is to be rescued, it is opposed to the robot to be rescued. The relative orientation is determined from the contents of the mark attached to the rescue robot. The direction is determined by the angle on the mark as seen from the front of the rescue robot.
2) A mark that can be recognized by the rescue robot from “−90 degrees” to “90 degrees” in a predetermined step (for example, “10 degrees”) is attached to the rescue robot, for example, in the mark example and the direction determination mark. . The angle range may be a visual field range that can be recognized by the rescue robot from “−180 degrees” to “180 degrees”. The angle step is also set according to the resolution of the angle of the rescue robot and the angle at which the rescue robot can move autonomously after recovery.
救援ロボットはステレオ計測機能により、マークとの距離を計測して被救援ロボットとの相対位置を決定する。ステレオ計測については一般的に知られているので説明は省略する。 The rescue robot measures the distance to the mark by the stereo measurement function and determines the relative position with the rescued robot. Since stereo measurement is generally known, description thereof is omitted.
図７は被救援ロボットの絶対位置・方位算出方法を示す図である。救援ロボットが算出した被救援ロボットとの相対方位、相対位置から被救援ロボットの絶対位置・方位の算出を示す図である。絶対座標系の座標をＸ軸、Ｙ軸で表し、自己位置と絶対座標の原点との角度をθとする。 FIG. 7 is a diagram showing a method for calculating the absolute position / orientation of the robot to be rescued. It is a figure which shows calculation of the absolute position and azimuth | direction of a robot to be rescued from the relative azimuth | direction with the robot to be rescued and the relative position which the rescue robot computed. The coordinates of the absolute coordinate system are represented by the X and Y axes, and the angle between the self position and the origin of the absolute coordinates is θ.
以下では記号として絶対座標系を「Ａ」、救援ロボットを「Ｓ」、被救援ロボットを「Ｒ」で表す。また、位置を「Ｐ」、角度を「θ」で表す。
１）上記及び（式４）、（式５）の定義より救援ロボットの絶対座標での位置をＡＰＳ、絶対座標の原点座標との角度をＡθＳと表現できる。
２）救援ロボットと被救援ロボットとの相対位置はＳＰＲ、相対角度ＳθＲと表現できる。
３）これより、被救援ロボットの絶対座標での位置ＡＰＲと絶対座標原点との角度 A θＲは（式１）、（式２）で表せる。
In the following, the absolute coordinate system is represented by “A”, the rescue robot is represented by “S”, and the rescued robot is represented by “R”. The position is represented by “P” and the angle is represented by “θ”.
1) above and (Equation 4) can be expressed as angle A theta S of the position in the absolute coordinate rescue robot by definition A P S, the origin coordinates of the absolute coordinate of (Equation 5).
2) the relative position between the relief robot and the relief robot can be expressed as S P R, the relative angle S theta R.
3) than this, the angle A theta R between the position A P R and the absolute coordinate origin of the absolute coordinate of the rescue robot (Equation 1) can be expressed by (Equation 2).
ここで、（式３）は相対座標が絶対座標系に対して回転する時の変換行列であり（式４）、（式５）は各々絶対座標系（Ａで示す）で観測した点「ｉ」の位置、方位を示す。 Here, (Equation 3) is a transformation matrix when the relative coordinates rotate with respect to the absolute coordinate system (Equation 4), and (Equation 5) is the point “i” observed in the absolute coordinate system (indicated by A). "Indicates the position and orientation.
算出した被救援ロボットの絶対座標系での位置、方位より被救援ロボットのリカバリ方法を示している。
１）前述したように被救援ロボットは指定された移動経路の位置情報（Ｘ，Ｙ，θ）と移動経路の地図情報を保持し、指定経路を移動する。ここで、Ｘは絶対座標のＸ座標、Ｙは絶対座標のＹ座標、θは自己位置の絶対座標系原点との角度である。
２）救援ロボットは算出した位置情報（Ｘ，Ｙ，θ）を被救援ロボットに送信し、被救援ロボットは保持している位置情報を受信した位置情報に置き換え、指定経路に復帰する。
（実施例２）
図９は専用救援ロボットによる救援を示す図である。専用救援ロボットが以下の機能を備えることにより管理サーバを必要としないシステムで被救援ロボットの救援を行う。
１）分担領域の地図情報を保持し、その領域内を自律移動ができる。
２）配下のロボットのロボット情報を保持管理する。
３）配下のロボットからロボット位置情報を定期的に受信し保持する。
４）被救援ロボットとの相対位置、相対方位から被救援ロボットの絶対位置、方位を算出する。
５）被救援ロボットに算出した絶対位置、方位を送信する。
（付記１）
複数の自律移動ロボットの移動領域の地図情報と、各ロボットのロボット情報と、を保持し、前記自律移動ロボットから定期的に自己位置推定結果を受信する機能を備えたサーバと救援ロボットと、により自己位置の推定に失敗した前記自律移動ロボットを救援する救援ロボットシステムであって、
前記サーバは、
自己位置推定に失敗した前記自律移動ロボットから自己位置推定失敗の通知を受信すると、該ロボットを被救援ロボットと判断して、該ロボットを救援する救援ロボットの選定を行い、
前記選定した救援ロボットに前記被救援ロボットの救援指示を行い、
前記救援指示を受けた救援ロボットは、
前記被救援ロボットのロボット情報を前記サーバから取得して前記被救援ロボットの探索を行い、
前記探索した被救援ロボットとの相対位置の計測を行い、
前記探索した被救援ロボットの位置を前記被救援ロボットに通知して前記被救援ロボットの自己位置推定のリカバリを行うことを特徴とする救援ロボットシステム。
（付記２）
付記１記載の被救援ロボットのロボット情報は前記被救援ロボットが自己位置推定に失敗した位置の近辺の位置情報と前記被救援ロボットの外観情報であることを特徴とする付記１記載の救援ロボットシステム。
（付記３）
付記１記載の自律移動ロボットに方位を示す複数のマークを付け、前記救援ロボットは前記探索した被救援ロボットの前記マークに示された方位により前記被救援ロボットとの相対位置を算出することを特徴とする付記１記載の救援ロボットシステム。
（付記４）
サーバからの指示により自己位置の推定に失敗して立ち往生した被救援ロボットを救援する自律移動可能な救援ロボットであって、
前記救援ロボットは、
サーバから前記被救援ロボットの救援指示と共に前記被救援ロボットの近辺の位置情報と外観情報を受信する手段と、
前記被救援ロボットの外観情報から前記被救援ロボットを探索し、被救援ロボットと判断する手段と、
前記判断した被救援ロボットとの相対位置を計測する手段と、
前記相対位置より前記被救援ロボット位置の算出を行う手段と、
前記算出した前記被救援ロボットの位置を前記救援ロボットに通知する手段と
を備えることを特徴とする救援ロボット。
（付記５）
方位を示すマークを付け自律移動する自律移動ロボットの移動領域の地図情報と、各ロボットの外観情報と、を保持し、自己位置の推定に失敗して立ち往生した前記自律移動ロボットを救援する自律移動可能な救援ロボットであって、
前記救援ロボットは、
前記自律移動ロボットから定期的に自己位置推定結果と周辺位置の情報を受信する手段と、
前記自律移動ロボットの自己位置推定失敗結果と、周辺位置情報と、外観情報と、から前記被救援ロボットを探索し、被救援ロボットと判断する手段と、
前記探索した被救援ロボットとの相対位置を計測する手段と、
前記相対位置より前記被救援ロボット位置の算出を行う手段と、
前記探索した被救援ロボットの位置を前記被救援ロボットに通知する手段と、
を備えることを特徴とする救援ロボット。
（付記６）
複数の自律移動ロボットの移動領域の地図情報と各ロボットのロボット情報と、を保持し、前記自律移動ロボットから定期的に自己位置推定結果を受信する機能を備えたサーバと救援ロボットと、により自己位置の推定に失敗した前記自律移動ロボットを救援するロボット救援方法であって、
前記サーバは、自己位置推定に失敗した前記自律移動ロボットから自己位置推定失敗の通知を受信すると、該ロボットを被救援ロボットと判断して、該ロボットを救援する救援ロボットの選定を行い、
前記選定した救援ロボットに前記被救援ロボットの救援指示を行い、
前記救援指示を受けた救援ロボットは前記被救援ロボットのロボット情報を前記サーバから取得して前記被救援ロボットの探索を行い、
前記探索した被救援ロボットとの相対位置の計測を行い、
前記探索した被救援ロボットの位置を前記被救援ロボットに通知して前記被救援ロボットの自己位置推定のリカバリを行うことを特徴とするロボット救援方法。
（付記７）
付記１記載の前記被救援ロボットのリカバリは前記被救援ロボットに移動領域の絶対座標での位置座標と原点との角度を通知するリカバリであることを特徴とする付記１記載の救援ロボットシステム。
1) As described above, the rescued robot holds position information (X, Y, θ) of the designated movement route and map information of the movement route, and moves along the designated route. Here, X is the X coordinate of the absolute coordinate, Y is the Y coordinate of the absolute coordinate, and θ is the angle with the absolute coordinate system origin of the self position.
2) The rescue robot transmits the calculated position information (X, Y, θ) to the rescue robot, and the rescue robot replaces the position information held by the received position information and returns to the designated route.
(Example 2)
FIG. 9 is a diagram showing relief by a dedicated rescue robot. The rescue robot is rescued by a system that does not require a management server by providing a dedicated rescue robot with the following functions.
1) The map information of a shared area can be held and autonomous movement can be performed within the area.
2) Maintain and manage robot information of subordinate robots.
3) Periodically receive and hold robot position information from subordinate robots.
4) The absolute position and orientation of the rescued robot are calculated from the relative position and relative orientation with the rescued robot.
5) Transmit the calculated absolute position and direction to the rescued robot.
(Appendix 1)
A server and a rescue robot having a function of holding map information of moving areas of a plurality of autonomous mobile robots, robot information of each robot, and receiving a self-position estimation result periodically from the autonomous mobile robot, A rescue robot system that rescues the autonomous mobile robot that failed to estimate its own position,
The server
Upon receiving a notification of self-position estimation failure from the autonomous mobile robot that failed self-position estimation, the robot is determined to be a rescued robot, and a rescue robot that rescues the robot is selected,
Provide the rescue instruction of the rescued robot to the selected rescue robot,
The rescue robot receiving the rescue instruction is
Obtaining robot information of the rescued robot from the server and searching for the rescued robot,
Measure the relative position with the searched robot to be rescued,
A rescue robot system, wherein the rescued robot is notified of the position of the rescued robot and the self-position estimation of the rescued robot is recovered.
(Appendix 2)
The rescue robot system according to appendix 1, wherein the robot information of the rescue robot according to appendix 1 includes position information in the vicinity of the position where the rescue robot has failed in self-position estimation and appearance information of the rescue robot. .
(Appendix 3)
A plurality of marks indicating the direction are attached to the autonomous mobile robot according to appendix 1, and the rescue robot calculates a relative position with respect to the rescued robot based on the direction indicated by the mark of the searched rescued robot. The rescue robot system according to appendix 1.
(Appendix 4)
A self-moving rescue robot that rescues a rescued robot that has failed to estimate its own position according to instructions from the server,
The rescue robot is
Means for receiving position information and appearance information in the vicinity of the rescued robot together with a rescue instruction of the rescued robot from a server;
Means for searching the rescue robot from the appearance information of the rescue robot, and determining the rescue robot;
Means for measuring the relative position of the determined robot to be rescued;
Means for calculating the rescued robot position from the relative position;
A rescue robot comprising: means for notifying the rescue robot of the calculated position of the rescue robot.
(Appendix 5)
Autonomous movement that retains the map information of the moving area of the autonomous mobile robot that moves autonomously with a mark indicating the direction and the appearance information of each robot, and rescues the autonomous mobile robot that has stalled due to failure to estimate its own position A possible rescue robot,
The rescue robot is
Means for periodically receiving self-position estimation results and peripheral position information from the autonomous mobile robot;
Means for searching for the rescued robot from the self-position estimation failure result of the autonomous mobile robot, peripheral position information, and appearance information, and determining the rescued robot;
Means for measuring a relative position of the searched robot to be rescued;
Means for calculating the rescued robot position from the relative position;
Means for notifying the rescued robot of the position of the searched rescued robot;
A rescue robot characterized by comprising:
(Appendix 6)
A server and a rescue robot having a function of holding map information of moving areas of a plurality of autonomous mobile robots and robot information of each robot and receiving periodic self-position estimation results from the autonomous mobile robots A robot rescue method for rescue of the autonomous mobile robot that failed to estimate a position,
When the server receives a notification of self-position estimation failure from the autonomous mobile robot that has failed in self-position estimation, the server determines that the robot is a rescued robot, selects a rescue robot that rescues the robot,
Provide the rescue instruction of the rescued robot to the selected rescue robot,
The rescue robot that has received the rescue instruction acquires the robot information of the rescued robot from the server and searches for the rescued robot.
Measure the relative position with the searched robot to be rescued,
A robot rescue method comprising: notifying the rescued robot of the searched position of the rescued robot and recovering the self-position estimation of the rescued robot.
(Appendix 7)
The rescue robot system according to supplementary note 1, wherein the recovery of the rescued robot according to supplementary note 1 is a recovery in which the rescue robot is notified of the angle between the position coordinate in the absolute coordinate of the moving area and the origin.
１ 救援ロボット
２ 被救援ロボット
３−１、３−ｎ ロボット
４ 管理サーバ
５ 専用救援ロボット
１０ 救援処理部
１１ 通信部
１２ 移動部
１３ ロボット制御部
１４ テンプレートマッチング部
１５ ステレオ距離計測部
１６ 位置・方位計測部
２０ ＤＢ
２１ サーバ一般機能部
1 rescue robot 2 rescued robot 3-1, 3-n robot 4 management server 5 dedicated rescue robot 10 rescue processing unit 11 communication unit 12 moving unit 13 robot control unit 14 template matching unit 15 stereo distance measurement unit 16 position / orientation measurement Part 20 DB
21 Server General Function Department
Claims (4)
前記サーバは、
自己位置推定に失敗した前記自律移動ロボットから自己位置推定失敗の通知を受信すると、該ロボットを被救援ロボットと判断して、該ロボットを救援する救援ロボットの選定を行い、
前記選定した救援ロボットに前記被救援ロボットの救援指示を行い、
前記救援指示を受けた救援ロボットは、
前記被救援ロボットが自己位置推定に失敗した位置の近辺の位置情報と前記被救援ロボットの外観情報のロボット情報を前記サーバから取得して前記被救援ロボットの探索を行い、
前記被救援ロボットの前記マークに示された方位により前記探索した被救援ロボットとの相対位置の計測を行い、
前記相対位置から前記被救援ロボットの絶対位置の算出を行い、
前記探索した被救援ロボットの位置を前記被救援ロボットに通知して前記被救援ロボットの自己位置推定のリカバリを行うことを特徴とする救援ロボットシステム。 A function of holding the map information of the movement areas of a plurality of autonomous mobile robots with a plurality of marks indicating directions and the robot information of each robot, and periodically receiving the self-position estimation result from the autonomous mobile robot A rescue robot system that rescues the autonomous mobile robot that has failed to estimate its own position by a server and a rescue robot provided,
The server
Upon receiving a notification of self-position estimation failure from the autonomous mobile robot that failed self-position estimation, the robot is determined to be a rescued robot, and a rescue robot that rescues the robot is selected,
Provide the rescue instruction of the rescued robot to the selected rescue robot,
The rescue robot receiving the rescue instruction is
Obtain the robot information of the position information in the vicinity of the position where the rescued robot has failed in self-position estimation and the appearance information of the rescued robot from the server, and search for the rescued robot.
Measure the relative position of the rescued robot with the searched robot according to the direction indicated by the mark of the rescued robot,
Calculate the absolute position of the rescued robot from the relative position,
A rescue robot system, wherein the rescued robot is notified of the position of the rescued robot and the self-position estimation of the rescued robot is recovered.
前記救援ロボットは、
前記サーバから前記被救援ロボットの救援指示と共に前記被救援ロボットの近辺の位置情報と外観情報を受信する手段と、
前記被救援ロボットの外観情報から前記被救援ロボットを探索し、被救援ロボットと判断する手段と、
前記被救援ロボットの前記マークに示された方位により前記判断した被救援ロボットとの相対位置を計測する手段と、
前記相対位置より前記被救援ロボットの位置の算出を行う手段と、
前記算出した前記被救援ロボットの位置を前記被救援ロボットに通知する手段と、
を備えることを特徴とする救援ロボット。 A self-moving rescue robot that rescues a rescued robot with a plurality of marks indicating directions that have failed due to an instruction from the server and failed to estimate its own position,
The rescue robot is
Means for receiving position information and appearance information of the vicinity of the rescued robot together with a rescue instruction of the rescued robot from the server;
Means for searching the rescue robot from the appearance information of the rescue robot, and determining the rescue robot;
Means for measuring a relative position with the rescued robot determined by the orientation indicated by the mark of the rescued robot;
Means for calculating the position of the rescued robot from the relative position;
It means for notifying the position of the object relief robot the calculated to the target relief robot,
A rescue robot characterized by comprising:
前記救援ロボットは、
前記自律移動ロボットから定期的に自己位置推定結果と周辺位置の情報を受信する手段と、
前記自律移動ロボットの自己位置推定失敗結果と、周辺位置情報と、外観情報と、から前記被救援ロボットを探索し、被救援ロボットと判断する手段と、
前記被救援ロボットの前記マークに示された方位により前記探索した被救援ロボットとの相対位置を計測する手段と、
前記相対位置より前記被救援ロボットの絶対位置を算出する手段と、
前記探索した被救援ロボットの位置を前記被救援ロボットに通知する手段と、
を備えることを特徴とする救援ロボット。 Autonomous movement that retains the map information of the moving area of the autonomous mobile robot that moves autonomously with a mark indicating the direction and the appearance information of each robot, and rescues the autonomous mobile robot that has stalled due to failure to estimate its own position A possible rescue robot,
The rescue robot is
Means for periodically receiving self-position estimation results and peripheral position information from the autonomous mobile robot;
Means for searching for the rescued robot from the self-position estimation failure result of the autonomous mobile robot, peripheral position information, and appearance information, and determining the rescued robot;
Means for measuring a relative position of the searched robot with the orientation indicated by the mark of the rescued robot;
Means for calculating the absolute position of the rescued robot from the relative position;
Means for notifying the rescued robot of the position of the searched rescued robot;
A rescue robot characterized by comprising:
前記サーバは、自己位置推定に失敗した前記自律移動ロボットから自己位置推定失敗の通知を受信すると、該ロボットを被救援ロボットと判断して、該ロボットを救援する救援ロボットの選定を行い、
前記選定した救援ロボットに前記被救援ロボットの救援指示を行い、
前記救援指示を受けた救援ロボットが自己位置推定に失敗した位置の近辺の位置情報と前記被救援ロボットの外観情報の前記被救援ロボットのロボット情報を前記サーバから取得して前記被救援ロボットの探索を行い、
前記探索した前記被救援ロボットの前記マークに示された方位により被救援ロボットとの相対位置の計測を行い、
前記相対位置から前記被救援ロボットの絶対位置の算出を行い、
前記探索した被救援ロボットの位置を前記被救援ロボットに通知して前記被救援ロボットの自己位置推定のリカバリを行うことを特徴とするロボット救援方法。 It has a function to hold the map information of the movement area of a plurality of autonomous mobile robots with a plurality of marks indicating the direction and the robot information of each robot, and periodically receive the self-position estimation result from the autonomous mobile robot A robot rescue method that rescues the autonomous mobile robot that failed to estimate its own position by using a server and a rescue robot,
When the server receives a notification of self-position estimation failure from the autonomous mobile robot that has failed in self-position estimation, the server determines that the robot is a rescued robot, selects a rescue robot that rescues the robot,
Provide the rescue instruction of the rescued robot to the selected rescue robot,
The rescue robot that has received the rescue instruction acquires position information in the vicinity of the position where the self-position estimation has failed and the robot information of the rescued robot in the appearance information of the rescued robot from the server, and searches for the rescue robot And
Measure the relative position with the rescued robot according to the direction indicated in the mark of the rescued robot searched,
Calculate the absolute position of the rescued robot from the relative position,
A robot rescue method comprising: notifying the rescued robot of the searched position of the rescued robot and recovering the self-position estimation of the rescued robot.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008163527A JP5282457B2 (en) | 2008-06-23 | 2008-06-23 | Rescue robot system, rescue method, and rescue robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008163527A JP5282457B2 (en) | 2008-06-23 | 2008-06-23 | Rescue robot system, rescue method, and rescue robot |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010003240A JP2010003240A (en) | 2010-01-07 |
| JP5282457B2 true JP5282457B2 (en) | 2013-09-04 |
Family
ID=41584887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008163527A Expired - Fee Related JP5282457B2 (en) | 2008-06-23 | 2008-06-23 | Rescue robot system, rescue method, and rescue robot |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5282457B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220291695A1 (en) * | 2021-03-12 | 2022-09-15 | Honda Motor Co., Ltd. | Rescue system |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5487756B2 (en) * | 2009-06-26 | 2014-05-07 | 富士通株式会社 | Robot control apparatus, robot control program, and robot control method |
| CN105425805A (en) * | 2015-12-25 | 2016-03-23 | 河池学院 | Traffic rescue robot control system |
| JP6758915B2 (en) * | 2016-05-24 | 2020-09-23 | 日立Ｇｅニュークリア・エナジー株式会社 | Autonomous work control system and autonomous work control method |
| WO2018207908A1 (en) * | 2017-05-11 | 2018-11-15 | Ｇｒｏｏｖｅ Ｘ株式会社 | Autonomous behavior-type robot, accessory, and robot control program |
| CN116830060A (en) * | 2021-02-02 | 2023-09-29 | 三菱电机株式会社 | Service plan making device and service plan making method |
| CN113219976A (en) * | 2021-05-10 | 2021-08-06 | 深圳市海柔创新科技有限公司 | Fault rescue method, equipment, robot and system |
| WO2023080230A1 (en) * | 2021-11-08 | 2023-05-11 | Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 | Management device, management system, management method, and management program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH115520A (en) * | 1997-06-16 | 1999-01-12 | Hitachi Kiden Kogyo Ltd | Unmanned carrier car |
| JP2002073170A (en) * | 2000-08-25 | 2002-03-12 | Matsushita Electric Ind Co Ltd | Movable working robot |
| JP4369439B2 (en) * | 2006-03-17 | 2009-11-18 | 富士通株式会社 | Robot position control device and robot self-position recovery method |
-
2008
- 2008-06-23 JP JP2008163527A patent/JP5282457B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220291695A1 (en) * | 2021-03-12 | 2022-09-15 | Honda Motor Co., Ltd. | Rescue system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010003240A (en) | 2010-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5282457B2 (en) | Rescue robot system, rescue method, and rescue robot | |
| US11865708B2 (en) | Domestic robotic system | |
| CN106541404B (en) | A kind of Robot visual location air navigation aid | |
| TWI827649B (en) | Apparatuses, systems and methods for vslam scale estimation | |
| KR101739996B1 (en) | Moving robot and simultaneous localization and map-buliding method thereof | |
| KR101407158B1 (en) | lifesaving system and method to save thereof | |
| WO2017068417A3 (en) | Automated fault diagnosis and recovery of machines | |
| JP2009093308A (en) | Robot system | |
| US20220245856A1 (en) | Position identification system for construction machinery | |
| CN109443345B (en) | Positioning method and system for monitoring navigation | |
| CN110740841B (en) | Operating system | |
| JP4175165B2 (en) | Autonomous mobile device | |
| JP2008059218A (en) | Method for restoring self-position of autonomously traveling robot | |
| JP6699034B2 (en) | Autonomous mobile robot | |
| JPWO2019234858A1 (en) | Mobile terminal and current position correction system | |
| JP5439552B2 (en) | Robot system | |
| JP2017134834A (en) | Computer vision positioning system and method | |
| JP2018036151A (en) | Positioning method using landmark | |
| CN115570569A (en) | Robot system guiding method, device, computer equipment and storage medium | |
| CN109471443A (en) | A kind of wheeled robot localization method and wheeled robot | |
| JP2020008461A (en) | Autonomous moving body location estimation device | |
| AU2014271294B2 (en) | Machine positioning system utilizing relative pose information | |
| JP7062138B2 (en) | Information processing equipment, information processing method, and information processing program | |
| JP6717476B1 (en) | Space recognition system, space recognition device, space recognition method and program | |
| JP6227950B2 (en) | Sensor orientation control method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110315 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120321 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130408 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130430 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130513 |
|
| LAPS | Cancellation because of no payment of annual fees |